JP2016194834A - Conformity determination method, conformity determination program, and conformity determination system - Google Patents
Conformity determination method, conformity determination program, and conformity determination system Download PDFInfo
- Publication number
- JP2016194834A JP2016194834A JP2015074646A JP2015074646A JP2016194834A JP 2016194834 A JP2016194834 A JP 2016194834A JP 2015074646 A JP2015074646 A JP 2015074646A JP 2015074646 A JP2015074646 A JP 2015074646A JP 2016194834 A JP2016194834 A JP 2016194834A
- Authority
- JP
- Japan
- Prior art keywords
- information
- color
- data
- shelf label
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、整合判定方法、整合判定プログラム、及び整合判定装置に関する。 The present invention relates to a matching determination method, a matching determination program, and a matching determination apparatus.
スーパーやドラッグストア等の小売店では、商品の価格を提示する棚札（値札）が商品陳列棚に取り付けられている。しかし、期間限定の特売セールの商品マスタの変更ミス等により棚札の表示価格とＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システム上の実際の売価とが異なってしまうことがある。 In retail stores such as supermarkets and drug stores, shelf labels (price tags) for presenting product prices are attached to product display shelves. However, the display price of the shelf label and the actual selling price on the POS (Point of Sales) system may be different due to a mistake in changing the product master of a limited sale sale.
ハンディターミナルを用いて商品の値札等を個別にスキャンし、ＰＯＳシステム上の売価と突き合わせれば、棚札の表示価格と実際の売価の確認を行なうことができる。しかしながら、この様な作業は、商品を個別にスキャンするため、作業効率が悪く、目視による確認であるため人為的過誤が発生し得る。 If the handy terminal is used to individually scan the price tag of the product and match the selling price on the POS system, the display price of the shelf label and the actual selling price can be confirmed. However, such an operation scans commodities individually, resulting in poor work efficiency and visual confirmation, which can cause human error.
また、画像に含まれる棚札を認識し、認識された棚札から商品を識別するための商品識別情報を読み取り、更に認識された棚札に記載されている文字を認識し、読み取られた商品識別情報に対応して登録されている情報と、認識された文字との照合を行なう技術がある。 Also, it recognizes the shelf label included in the image, reads the product identification information for identifying the product from the recognized shelf label, further recognizes the characters written on the recognized shelf label, and reads the product There is a technique for collating information registered corresponding to identification information with recognized characters.
上記技術では、画像の文字認識において「円」が含まれる文字列を価格として読み取るため、棚札の価格の表記と「円」の表記とが離間している場合には、価格の認識が困難であり、様々な表記配置の棚札に適用が難しい。 In the above technology, the character string that contains “yen” is read as the price in the character recognition of the image, so it is difficult to recognize the price if the price on the shelf label is separated from the “yen”. It is difficult to apply to shelf labels with various notation arrangements.
一側面では、本発明は、棚札表記の誤判定を抑制することを目的とする。 In one aspect, an object of the present invention is to suppress erroneous determination of shelf label notation.
整合判定方法の一観点では、棚札の画像を取得し、取得した棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、商品識別情報と金額情報との対応関係を示す商品データを参照して、第１の色で示された情報から読み取った第１のデータと、第２の色で示された情報から読み取った第２のデータとが、対応関係を有するか否か判定し、判定の結果に応じた出力を行なう。 In one aspect of the alignment determination method, an image of a shelf label is acquired, and the first data read from the information indicated by the first color associated with the product identification information among the acquired image of the shelf label; The second data read from the information indicated by the second color associated with the amount information is extracted, and the first item is referred to the item data indicating the correspondence between the item identification information and the amount information. It is determined whether the first data read from the information indicated by the color and the second data read from the information indicated by the second color have a correspondence relationship, and depending on the result of the determination Output.
本発明によれば、棚札表記の誤判定を抑制することができる。 According to the present invention, erroneous determination of shelf label notation can be suppressed.
以下、添付図面を参照して各実施形態について詳細に説明する。各実施形態における各処理は適宜組み合わせることが可能である。なお、各実施形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, each embodiment will be described in detail with reference to the accompanying drawings. Each process in each embodiment can be appropriately combined. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiments, and the repetitive description thereof will be omitted.
（第１実施形態）
本発明の各実施形態に係る整合判定装置のハードウェア構成例について、図１を用いて説明する。図１は、整合判定装置１００のハードウェア構成例を示す図である。整合判定装置１００としては、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット端末、スマートフォン、ハンディターミナル等の情報処理装置を用いても良い。整合判定装置１００には、各実施形態における整合判定プログラム（例えば、ソフトウェア）がインストールされている。整合判定装置１００は、インストールされた整合判定プログラムを用いて、以下に説明する整合判定方法を実施する。
(First embodiment)
A hardware configuration example of the consistency determination device according to each embodiment of the present invention will be described with reference to FIG. FIG. 1 is a diagram illustrating a hardware configuration example of the matching determination apparatus 100. As the consistency determination apparatus 100, for example, an information processing apparatus such as a PC (Personal Computer), a tablet terminal, a smartphone, or a handy terminal may be used. In the consistency determination apparatus 100, the consistency determination program (for example, software) in each embodiment is installed. The consistency determination apparatus 100 implements the consistency determination method described below using the installed consistency determination program.
整合判定装置１００は、制御部１０と、記憶部１１と、表示部１２と、ネットワーク接続部１３とを有し、これらはシステムバス１４で相互に接続されている。 The consistency determination apparatus 100 includes a control unit 10, a storage unit 11, a display unit 12, and a network connection unit 13, which are connected to each other via a system bus 14.
制御部１０は、整合判定装置１００を制御するデバイスである。制御部１０としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の電子回路を用いても良い。制御部１０は、記憶部１１に格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等の処理を制御する。プログラムの実行中に必要となる各種情報等は、例えば記憶部１１から取得することができる。なお、各種の処理を専用のハードウェアを用いて実現しても良い。 The control unit 10 is a device that controls the matching determination apparatus 100. As the control unit 10, an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) may be used. The control unit 10 controls processing such as various operations and data input / output with each hardware component based on an OS (Operating System) and various programs stored in the storage unit 11. Various information required during the execution of the program can be acquired from the storage unit 11, for example. Various processes may be realized using dedicated hardware.
記憶部１１は、主記憶装置及び補助記憶装置を含んでも良い。主記憶装置は、例えば、制御部１０に実行させるＯＳやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、主記憶装置は、制御部１０による処理に必要な各種データを記憶する。なお、主記憶装置としては、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いても良い。 The storage unit 11 may include a main storage device and an auxiliary storage device. For example, the main storage device temporarily stores at least a part of the OS and application programs to be executed by the control unit 10. Further, the main storage device stores various data necessary for processing by the control unit 10. As the main storage device, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), or the like may be used.
補助記憶装置は、例えば、各実施形態に係る実行プログラムや、コンピュータに設けられた制御プログラム等を記憶する。補助記憶装置は、制御部１０からの制御信号に基づいて、記憶された各種情報の読み出しや、書き込みを行なうことができる。補助記憶装置としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ等を用いても良い。補助記憶装置は、各実施形態の整合判定の処理において使用される情報や整合判定の処理の結果を記憶しても良い。また、主記憶装置と補助記憶装置は、互いの機能を担い合っても良い。 The auxiliary storage device stores, for example, an execution program according to each embodiment, a control program provided in a computer, and the like. The auxiliary storage device can read and write various stored information based on a control signal from the control unit 10. As the auxiliary storage device, for example, a storage such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) may be used. The auxiliary storage device may store information used in the matching determination process of each embodiment and the result of the matching determination process. Further, the main storage device and the auxiliary storage device may share each other's functions.
表示部１２は、制御部１０からの制御信号に基づき、プログラムの実行経過や各実施形態に係る整合判定の結果等を表示する。表示部１２としては、例えば、液晶ディスプレイ、タッチパネル等を用いても良い。 Based on the control signal from the control unit 10, the display unit 12 displays the program execution progress, the result of matching determination according to each embodiment, and the like. As the display unit 12, for example, a liquid crystal display, a touch panel, or the like may be used.
ネットワーク接続部１３は、制御部１０からの制御信号に基づき、通信ネットワークを介して、他の端末やＰＯＳシステムサーバ等との通信を行なう。整合判定装置１００は、ネットワーク接続部１３を介して接続された外部装置等から各種プログラムや設定情報等を取得しても良い。また、整合判定装置１００は、ネットワーク接続部１３を介して、プログラムを実行することで得られた各実施形態における整合判定結果を外部装置等に提供することができる。なお、ネットワーク接続部は、有線、又は無線により通信ネットワークに接続する有線通信部、又は、無線通信部であっても良い。 The network connection unit 13 communicates with other terminals, POS system servers, and the like via a communication network based on a control signal from the control unit 10. The consistency determination device 100 may acquire various programs, setting information, and the like from an external device connected via the network connection unit 13. In addition, the consistency determination apparatus 100 can provide an external apparatus or the like with the consistency determination result in each embodiment obtained by executing a program via the network connection unit 13. The network connection unit may be a wired communication unit or a wireless communication unit that connects to a communication network by wire or wirelessly.
上述したようなハードウェア構成により、整合判定装置１００は、各実施形態に係る整合判定を実行することができる。各機能をコンピュータに実行させることができるプログラムを、例えば汎用のＰＣ等にインストールすることで、ハードウェア資源とソフトウェアとが協働して各実施形態における整合判定が実行されるようにしても良い。 With the hardware configuration described above, the consistency determination device 100 can execute the consistency determination according to each embodiment. For example, by installing a program capable of causing a computer to execute each function on a general-purpose PC or the like, the hardware resource and the software cooperate to execute the matching determination in each embodiment. .
以下、第１実施形態に係る整合判定装置１００の各種処理について詳述する。図２は、棚札２１を含む画像２０の一例を示す。 Hereinafter, various processes of the matching determination apparatus 100 according to the first embodiment will be described in detail. FIG. 2 shows an example of the image 20 including the shelf label 21.
制御部１０は、棚札２１を含む画像２０を取得し、取得した画像２０に含まれる棚札２１に第１の色で表記された情報２２（ここでは、ＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コードに対応する「４９０２１０２０７４９０２」）と第２の色で表記された情報２３（ここでは、価格に対応する「１７８」）を読み取る。より具体的には、制御部１０は、予め指定された第１の色情報及び第２の色情報に基づき、取得された画像２０に含まれる、第１の色で表記された情報２２及び第２の色で表記された情報２３のペアを特定する。更に、制御部１０は、特定した第１の色で表記された情報２２及び第２の色で表記された情報２３を文字情報に変換し、其々第１のデータ及び第２のデータとして抽出する。 The control unit 10 acquires the image 20 including the shelf label 21, and corresponds to information 22 (here, a JAN (Japan Article Number) code) written in the first color on the shelf label 21 included in the acquired image 20. "4902102074902") and the information 23 written in the second color (here, "178" corresponding to the price) are read. More specifically, the control unit 10, based on the first color information and the second color information designated in advance, includes information 22 written in the first color and the first color information included in the acquired image 20. A pair of information 23 expressed in two colors is specified. Furthermore, the control unit 10 converts the information 22 expressed in the specified first color and the information 23 expressed in the second color into character information, and extracts them as first data and second data, respectively. To do.
第１の色情報及び第２の色情報とは、例えば、ユーザによって予め指定された２色の色情報である。色情報は、例えば、ＲＧＢ（レッド（Ｒｅｄ）、グリーン（Ｇｒｅｅｎ）、ブルー（Ｂｌｕｅ））表色系により定義される。この場合、例えば、第１の色がレッドの場合、例えば、第１の色情報はＲ（２５５）、Ｇ（０）、Ｂ（０）としても良い。第２の色がシアンの場合、例えば、第２の色情報はＲ（０）、Ｇ（２５５）、Ｂ（２５５）としても良い。また、色情報は、所定の数値範囲（閾値）を含むように設定しても良い。例えば、第１の色情報はＲ（２２０〜２５５）、Ｇ（０〜３０）、Ｂ（０〜３０）としても良い。 The first color information and the second color information are, for example, color information of two colors designated in advance by the user. The color information is defined by, for example, an RGB (Red, Green, Blue) color system. In this case, for example, when the first color is red, for example, the first color information may be R (255), G (0), and B (0). When the second color is cyan, for example, the second color information may be R (0), G (255), and B (255). The color information may be set so as to include a predetermined numerical range (threshold value). For example, the first color information may be R (220 to 255), G (0 to 30), and B (0 to 30).
なお、第１の色及び第２の色の閾値を離すために、第１の色と第２の色とが反対色（例えば、レッドとシアン、グリーンとマゼンタ等）であること、又はＲＧＢの各値の閾値が異なることが好ましい。本発明はこれに限られるものではなく、色情報は、例えば、ＨＳＶ（色相(Ｈｕｅ)、彩度(Ｓａｔｕｒａｔｉｏｎ)、明度(Ｖａｌｕｅ)）表色系等の他の表色系により定義されても良い。 In order to separate the threshold values of the first color and the second color, the first color and the second color are opposite colors (for example, red and cyan, green and magenta), or RGB It is preferable that the threshold value of each value is different. The present invention is not limited to this, and color information may be defined by another color system such as HSV (Hue, Saturation, Value) color system, for example. good.
また、第１の色で表記された情報２２及び第２の色で表記された情報２３の文字情報への変換は、例えばＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いても良い。 Further, the conversion of the information 22 expressed in the first color and the information 23 expressed in the second color into character information may use, for example, an OCR (Optical Character Recognition) technique.
制御部１０は、画像２０に含まれる第１の色で表記された情報２２及び第２の色で表記された情報２３の画像２０上の座標を特定し、特定された座標に基に、それぞれの間隔が最も短いもの同士を、第１の色で表記された情報２２と第２の色で表記された情報２３のペアとして特定しても良い。なお、画像２０上の座標は、例えば、画像２０の左下端を原点とし、横にＸ軸、縦にＹ軸と定義し、画像のピクセル毎にＸ軸Ｙ軸の数値を設定しても良い。 The control unit 10 specifies the coordinates on the image 20 of the information 22 written in the first color and the information 23 written in the second color included in the image 20, and based on the specified coordinates, respectively. Those having the shortest interval may be specified as a pair of information 22 written in the first color and information 23 written in the second color. The coordinates on the image 20 may be defined, for example, with the lower left corner of the image 20 as the origin, the horizontal X axis and the vertical Y axis, and the X axis and Y axis values may be set for each pixel of the image. .
また、制御部１０は、画像２０に含まれる棚札２１を形状認識（方形、又は、所定の縦横比を有する長方形等）により特定し、特定した棚札２１の領域内に表記されている第１の色で表記された情報２２と、特定した棚札２１の領域内に表記されている第２の色で表記された情報２３とを、第１の色で表記された情報２２及び第２の色で表記された情報２３のペアとして特定しても良い。 In addition, the control unit 10 specifies the shelf label 21 included in the image 20 by shape recognition (rectangular shape, a rectangle having a predetermined aspect ratio, etc.) and is written in the area of the specified shelf label 21. The information 22 written in the first color and the information 23 written in the second color written in the area of the specified shelf label 21 are converted into the information 22 written in the first color and the second You may specify as a pair of the information 23 described by the color of.
第１の色で表記された情報２２に対応する第１のデータは、棚札２１に含まれる商品識別情報である。具体的に、商品識別情報としては、例えば、ＪＡＮコードを用いても良く、数値やアルファベットを含むコードを用いても良い。第２の色で表記された情報２３に対応する第２のデータは、棚札２１に含まれる商品の価格情報である。 The first data corresponding to the information 22 written in the first color is product identification information included in the shelf label 21. Specifically, as the product identification information, for example, a JAN code may be used, or a code including numerical values and alphabets may be used. The second data corresponding to the information 23 written in the second color is price information of the products included in the shelf label 21.
制御部１０は、ネットワーク接続部１３を介してＰＯＳシステムサーバに記憶された各商品識別情報と各商品の価格情報とが対応付けられた商品データを参照し、商品識別情報と商品の価格情報の対応関係を取得する。例えば、制御部１０は、抽出した第１のデータ（商品識別情報）を、ネットワーク接続部１３を介してＰＯＳシステムサーバに送信し、ＰＯＳシステムサーバは、商品データを参照し、受信した商品識別情報に対応する商品の価格情報を整合判定装置１００に送信する。この際、ＰＯＳシステムサーバから商品識別情報と商品の価格情報のペアを送信するようにしても良い。 The control unit 10 refers to product data in which each product identification information stored in the POS system server via the network connection unit 13 is associated with the price information of each product, and stores the product identification information and the price information of the product. Get correspondence. For example, the control unit 10 transmits the extracted first data (product identification information) to the POS system server via the network connection unit 13, and the POS system server refers to the product data and receives the received product identification information. The price information of the product corresponding to is transmitted to the alignment determination device 100. At this time, a pair of product identification information and product price information may be transmitted from the POS system server.
制御部１０は、取得した商品の価格情報と、第２のデータとが同一かどうかを判定する。 The control unit 10 determines whether the price information of the acquired product is the same as the second data.
制御部１０は、判定結果を表示部１２に出力する。判定結果は、第１のデータと第２のデータとの対応関係に関するものである。判定結果は、例えば、商品データに含まれる商品の価格情報と、画像２０から抽出した第２のデータと、が一致している若しくは一致していない旨の情報を含んでも良い。また、判定結果は、例えば、商品データに含まれる商品の価格情報と、画像２０から抽出した第２のデータと、が一致していない棚札２１を抽出した情報でも良い。 The control unit 10 outputs the determination result to the display unit 12. The determination result relates to the correspondence between the first data and the second data. The determination result may include, for example, information indicating that the price information of the product included in the product data matches or does not match the second data extracted from the image 20. The determination result may be, for example, information obtained by extracting the shelf label 21 in which the price information of the product included in the product data and the second data extracted from the image 20 do not match.
更に、判定結果は、記憶部１１に記憶され、ネットワークや記録媒体を介して、他の装置で出力されても良い。 Furthermore, the determination result may be stored in the storage unit 11 and output by another device via a network or a recording medium.
続いて図３を参照して、第１実施形態に係る整合判定方法の手順を説明する。図３は、第１実施形態に係る整合判定方法の一例を示すフローチャートである。 Subsequently, the procedure of the matching determination method according to the first embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of the matching determination method according to the first embodiment.
制御部１０は、撮像装置により撮像された画像２０を取得し、予め設定された第１の色情報及び第２の色情報に基づき、取得した画像２０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３とのペアを特定する（Ｓ１０１）。制御部１０は、特定したペアのうち、第１の色で表記された情報２２から文字情報である第１のデータを抽出し、特定したペアのうち、第２の色で表記された情報２３から文字情報である第２のデータを抽出する（Ｓ１０２）。 The control unit 10 acquires the image 20 captured by the imaging device, and is represented by the first color included in the acquired image 20 based on the first color information and the second color information set in advance. A pair of the information 22 and the information 23 written in the second color is specified (S101). The control unit 10 extracts first data that is character information from the information 22 expressed in the first color among the specified pairs, and information 23 expressed in the second color among the specified pairs. 2nd data which is character information is extracted from (S102).
次に、制御部１０は、商品識別情報と商品の価格情報が対応付けられた商品データを参照し、抽出した第１のデータ（商品識別情報）に対応付けられた商品の価格情報を取得する（Ｓ１０３）。制御部１０は、取得した商品の価格情報に基づいて、第１のデータと第２のデータとの対応関係を判定する（Ｓ１０４）。制御部１０は、判定結果に基づく出力（例えば、表示）を行なう（Ｓ１０５）。 Next, the control unit 10 refers to the product data in which the product identification information and the price information of the product are associated, and acquires the price information of the product associated with the extracted first data (product identification information). (S103). The control unit 10 determines the correspondence between the first data and the second data based on the acquired price information of the product (S104). The control unit 10 performs output (for example, display) based on the determination result (S105).
また、制御部１０は、画像２０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３の組み合わせ毎に、Ｓ１０１〜Ｓ１０５の処理を実行しても良い。これにより、画像２０に含まれる全ての棚札２１について、棚札２１に含まれる価格情報と、商品データに登録された価格情報との整合判定を実行することができる。 Further, the control unit 10 may execute the processes of S101 to S105 for each combination of the information 22 written in the first color and the information 23 written in the second color included in the image 20. As a result, for all the shelf labels 21 included in the image 20, it is possible to execute the matching determination between the price information included in the shelf label 21 and the price information registered in the product data.
第１実施形態によれば、例えば、棚札２１を含む画像２０に基づいて、棚札２１に含まれる商品と価格情報の対応関係の整合性の判定を行なうことができる。これにより、ユーザは、画像２０に含まれる全ての棚札２１のうち、表示価格と実際の価格（販売価格）とに差がある棚札２１を一括して把握できるため、棚札２１の修正や取り替えを効率よく行なうことができる。また、整合判定装置１００は、棚札２１に表記されている色に基づいて整合判定を行なっているため、棚札２１内の価格情報等の表記位置に影響されることなく、整合判定を実行することができる。 According to the first embodiment, for example, based on the image 20 including the shelf label 21, it is possible to determine the consistency of the correspondence between the product included in the shelf label 21 and the price information. As a result, the user can grasp all the shelf labels 21 included in the image 20 that have a difference between the display price and the actual price (sales price). And can be replaced efficiently. Moreover, since the alignment determination apparatus 100 performs the alignment determination based on the color written on the shelf label 21, the alignment determination is performed without being affected by the position of price information or the like in the shelf label 21. can do.
なお、第１の色と第２の色とが反対色に相当する場合、制御部１０による第１の色で表記された情報２２及び第２の色で表記された情報２３の認識精度が向上するため、整合判定のエラーを抑制することができる。 When the first color and the second color correspond to opposite colors, the recognition accuracy of the information 22 written in the first color and the information 23 written in the second color by the control unit 10 is improved. Therefore, it is possible to suppress errors in matching determination.
更に、整合判定装置１００が撮像部を備える場合、撮像部により取得した画像２０に基づき、整合判定の処理を行なっても良い。また、整合判定装置１００は、他の端末や監視カメラの様な固定されたカメラ等で撮像された画像２０を、ネットワークや記憶媒体等を介して取得し、取得した画像２０に基づいて、整合判定の処理を行なっても良い。 Furthermore, when the matching determination apparatus 100 includes an imaging unit, the matching determination process may be performed based on the image 20 acquired by the imaging unit. In addition, the alignment determination apparatus 100 acquires an image 20 captured by a fixed camera such as another terminal or a monitoring camera via a network, a storage medium, or the like, and based on the acquired image 20, the alignment is determined. A determination process may be performed.
（第２実施形態）
続いて、第２実施形態に係る整合判定装置１００の各種処理について詳述する。
(Second Embodiment)
Subsequently, various processes of the consistency determination apparatus 100 according to the second embodiment will be described in detail.
第２実施形態に係る整合判定装置１００は、第１実施形態に係る整合判定の処理に加えて、撮像装置により撮像された画像４０に基づき判定結果画面４１を作成する処理を行なう。 In addition to the alignment determination process according to the first embodiment, the alignment determination apparatus 100 according to the second embodiment performs a process of creating a determination result screen 41 based on the image 40 captured by the imaging apparatus.
図４ａは、棚札２１を含む画像４０の一例を示す。図４ｂは、図４ａの画像４０に基づき作成された判定結果画面４１の一例を示す。制御部１０は、画像４０に基づいて、判定結果画面４１を作成する。例えば、整合判定において第１のデータと第２のデータとが適正な対応関係を有していないと判定された棚札２１があった場合、制御部１０は、棚札２１に対応づけて、適正な対応関係を有していない旨の判定結果表示４２を画像４０に重畳し、判定結果画面４１を作成する。但し、本実施形態に係る判定結果画面４１は、これに限られるものではなく、例えば、棚札２１に対応付けて、適切な対応関係を有している旨の判定結果表示４２や読取りに失敗した旨の判定結果表示４２を含んでも良い。なお、判定結果表示４２の表示位置は、第１の色で表記された情報２２の認識位置、第２の色で表記された情報２３の認識位置、棚札２１の枠の認識位置等を指し示すようにしても良い。 FIG. 4 a shows an example of an image 40 that includes a shelf label 21. FIG. 4b shows an example of the determination result screen 41 created based on the image 40 of FIG. 4a. The control unit 10 creates a determination result screen 41 based on the image 40. For example, when there is a shelf label 21 determined that the first data and the second data do not have an appropriate correspondence in the matching determination, the control unit 10 associates the shelf data with the shelf label 21, A determination result display 42 that does not have an appropriate correspondence is superimposed on the image 40 to create a determination result screen 41. However, the determination result screen 41 according to the present embodiment is not limited to this. For example, the determination result display 42 indicating that there is an appropriate correspondence with the shelf label 21 and reading failure has occurred. A determination result display 42 may be included. The display position of the determination result display 42 indicates the recognition position of the information 22 written in the first color, the recognition position of the information 23 written in the second color, the recognition position of the frame of the shelf label 21, and the like. You may do it.
続いて図５を参照して、第２実施形態に係る整合判定方法の手順を説明する。図５は、第２実施形態に係る整合判定方法の一例を示すフローチャートである。 Next, with reference to FIG. 5, the procedure of the consistency determination method according to the second embodiment will be described. FIG. 5 is a flowchart illustrating an example of the matching determination method according to the second embodiment.
制御部１０は、例えば、撮像装置により撮像された画像４０を取得し、予め設定された第１の色情報及び第２の色情報に基づき、取得した画像４０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３とのペアを特定する（Ｓ２０１）。制御部１０は、特定したペアのうち、第１の色で表記された情報２２から文字情報である第１のデータを抽出し、特定されたペアのうち、第２の色で表記された情報２３から文字情報である第２のデータを抽出する（Ｓ２０２）。 For example, the control unit 10 acquires the image 40 captured by the imaging device, and expresses the first color included in the acquired image 40 based on the first color information and the second color information set in advance. A pair of the recorded information 22 and the information 23 written in the second color is specified (S201). The control unit 10 extracts first data that is character information from the information 22 expressed in the first color among the specified pairs, and information expressed in the second color among the specified pairs. The second data as character information is extracted from 23 (S202).
次に、制御部１０は、商品識別情報と商品の価格情報が対応付けられた商品データを参照し、抽出した第１のデータ（商品識別情報）に対応付けられた商品の価格情報を取得する（Ｓ２０３）。制御部１０は、取得した商品の価格情報に基づいて、第１のデータと第２のデータとの対応関係を判定する（Ｓ２０４）。制御部１０は、判定結果に基づく判定結果画面４１を作成する（Ｓ２０５）。制御部１０は、判定結果画面４１の出力を行なう（Ｓ２０６）。 Next, the control unit 10 refers to the product data in which the product identification information and the price information of the product are associated, and acquires the price information of the product associated with the extracted first data (product identification information). (S203). The control unit 10 determines the correspondence between the first data and the second data based on the acquired price information of the product (S204). The control unit 10 creates a determination result screen 41 based on the determination result (S205). The control unit 10 outputs the determination result screen 41 (S206).
また、制御部１０は、画像４０に含まれる第１の色で表記された情報２２と第２の色で表記された情報２３の組み合わせ毎に、Ｓ２０１〜Ｓ２０６の処理を実行しても良い。これにより、画像４０に含まれる全ての棚札２１について、棚札２１に含まれる価格情報と、商品データとして登録された価格情報との整合判定を実行することができる。 Further, the control unit 10 may execute the processes of S201 to S206 for each combination of the information 22 written in the first color and the information 23 written in the second color included in the image 40. As a result, for all the shelf labels 21 included in the image 40, it is possible to execute the matching determination between the price information included in the shelf label 21 and the price information registered as the product data.
第２実施形態によれば、制御部１０は、判定対象の画像４０に基づき作成された判定結果画面４１を出力する。そのため、ユーザが、画像４０に含まれる適切な対応関係を有していない棚札２１や読取りに失敗した棚札２１等を、一見して確認できる判定結果画面４１を出力できる。 According to the second embodiment, the control unit 10 outputs a determination result screen 41 created based on the determination target image 40. Therefore, it is possible to output the determination result screen 41 that allows the user to confirm at a glance the shelf label 21 that does not have an appropriate correspondence included in the image 40, the shelf label 21 that has failed to be read, and the like.
なお、本発明は、上述した各実施形態に記載した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更することが可能である。 In addition, this invention is not limited to the structure described in each embodiment mentioned above, A various change is possible in the range which does not deviate from the meaning of this invention.
１００：整合判定装置
１０：制御部
１１：記憶部
１２：表示部
１３：ネットワーク接続部
１４：システムバス
２０，４０：画像
２１：棚札
２２：第１の色で表記された情報
２３：第２の色で表記された情報
４１：判定結果画面
４２：判定結果表示
100: Match determination device 10: Control unit 11: Storage unit 12: Display unit 13: Network connection unit 14: System bus 20, 40: Image 21: Shelf label 22: Information described in the first color 23: Second 41: Judgment result screen 42: Judgment result display
Claims (7)
取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、
商品識別情報と金額情報との対応関係を示す商品データを参照して、前記第１の色で示された情報から読み取った前記第１のデータと、前記第２の色で示された情報から読み取った前記第２のデータとが、対応関係を有するか否か判定し、
前記判定の結果に応じた出力を行う、
処理をコンピュータが実行することを特徴とする棚札表記と商品データの整合判定方法。 Get an image of the shelf label
Of the acquired images of the shelf labels, the first data read from the information indicated by the first color associated with the product identification information and the second color associated with the amount information are indicated. To extract the second data read from the information,
Referring to the product data indicating the correspondence between the product identification information and the money amount information, the first data read from the information indicated by the first color and the information indicated by the second color It is determined whether or not the read second data has a correspondence relationship,
Output according to the result of the determination,
A method for determining consistency between shelf label notation and product data, wherein the computer executes processing.
前記判定の結果に応じて、前記画像に基づき作成された出力画面を出力することを特徴とする請求項１乃至３のいずれか１項に記載の棚札表記と商品データの整合判定方法。 In the output according to the result of the determination,
The shelf label notation and product data matching determination method according to any one of claims 1 to 3, wherein an output screen created based on the image is output according to the determination result.
取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出する、
処理をコンピュータが実行することを特徴とする棚札表記の整合判定方法。 Get an image of the shelf label
Of the acquired images of the shelf labels, the first data read from the information indicated by the first color associated with the product identification information and the second color associated with the amount information are indicated. Extracting the second data read from the acquired information,
A shelf label notation matching determination method characterized in that a computer executes processing.
棚札の画像を取得し、
取得した前記棚札の画像のうち、商品識別情報に対応づけられた第１の色で示された情報から読み取った第１のデータと、金額情報に対応づけられた第２の色で示された情報から読み取った第２のデータとを抽出し、
商品識別情報と金額情報との対応関係を示す商品データを参照して、前記第１の色で示された情報から読み取った前記第１のデータと、前記第２の色で示された情報から読み取った前記第２のデータとが、対応関係を有するか否か判定し、
前記判定の結果に応じた出力を行う、
処理を実行させることを特徴とする棚札表記と商品データの整合判定プログラム。 On the computer,
Get an image of the shelf label
Of the acquired images of the shelf labels, the first data read from the information indicated by the first color associated with the product identification information and the second color associated with the amount information are indicated. To extract the second data read from the information,
Referring to the product data indicating the correspondence between the product identification information and the money amount information, the first data read from the information indicated by the first color and the information indicated by the second color It is determined whether or not the read second data has a correspondence relationship,
Output according to the result of the determination,
A program for determining consistency between shelf label notation and product data, characterized in that processing is executed.
を備えることを特徴とする棚札表記と商品データの整合判定装置。
The image of the shelf label is acquired, and among the acquired image of the shelf label, the first data read from the information indicated by the first color associated with the product identification information is associated with the amount information. The second data read from the information indicated by the second color is extracted, and the product data indicating the correspondence relationship between the product identification information and the money amount information is referred to and indicated by the first color. It is determined whether the first data read from the information and the second data read from the information indicated by the second color have a correspondence relationship, and an output corresponding to the result of the determination A control unit,
A device for determining the consistency between shelf label notation and product data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015074646A JP2016194834A (en) | 2015-03-31 | 2015-03-31 | Conformity determination method, conformity determination program, and conformity determination system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015074646A JP2016194834A (en) | 2015-03-31 | 2015-03-31 | Conformity determination method, conformity determination program, and conformity determination system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016194834A true JP2016194834A (en) | 2016-11-17 |
Family
ID=57323735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015074646A Pending JP2016194834A (en) | 2015-03-31 | 2015-03-31 | Conformity determination method, conformity determination program, and conformity determination system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016194834A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201423A1 (en) * | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
| JP2020119381A (en) * | 2019-01-25 | 2020-08-06 | 株式会社Ｎｔｔドコモ | Shelf allocation information generating apparatus and shelf allocation information generating program |
| US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
| US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
| US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
| US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
| US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
| US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
| US11592826B2 (en) | 2018-12-28 | 2023-02-28 | Zebra Technologies Corporation | Method, system and apparatus for dynamic loop closure in mapping trajectories |
| US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
| US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
| US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
| US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
| US11978011B2 (en) | 2017-05-01 | 2024-05-07 | Symbol Technologies, Llc | Method and apparatus for object status detection |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155588A (en) * | 2004-11-05 | 2006-06-15 | Fuji Xerox Co Ltd | Image processing device, image processing method and image processing program |
| JP2012053711A (en) * | 2010-09-01 | 2012-03-15 | Toshiba Tec Corp | Information processor, store system and program |
-
2015
- 2015-03-31 JP JP2015074646A patent/JP2016194834A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155588A (en) * | 2004-11-05 | 2006-06-15 | Fuji Xerox Co Ltd | Image processing device, image processing method and image processing program |
| JP2012053711A (en) * | 2010-09-01 | 2012-03-15 | Toshiba Tec Corp | Information processor, store system and program |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
| US11978011B2 (en) | 2017-05-01 | 2024-05-07 | Symbol Technologies, Llc | Method and apparatus for object status detection |
| US11600084B2 (en) | 2017-05-05 | 2023-03-07 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
| WO2018201423A1 (en) * | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
| US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
| US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
| US11592826B2 (en) | 2018-12-28 | 2023-02-28 | Zebra Technologies Corporation | Method, system and apparatus for dynamic loop closure in mapping trajectories |
| JP7108553B2 (en) | 2019-01-25 | 2022-07-28 | 株式会社Ｎｔｔドコモ | Planogram information generation device and planogram information generation program |
| JP2020119381A (en) * | 2019-01-25 | 2020-08-06 | 株式会社Ｎｔｔドコモ | Shelf allocation information generating apparatus and shelf allocation information generating program |
| US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
| US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
| US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
| US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
| US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
| US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
| US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016194834A (en) | Conformity determination method, conformity determination program, and conformity determination system | |
| US20230394430A1 (en) | Information processing apparatus, control method, and program | |
| JP6202215B2 (en) | Information processing apparatus, shelf label management system, control method, and program | |
| JP7147921B2 (en) | Image processing device, image processing method and program | |
| US20160292628A1 (en) | Method, and storage medium | |
| WO2016052382A1 (en) | Information processing device, shelf label management system, control method, and program | |
| JP5760022B2 (en) | Product information display device and computer program | |
| JP7259754B2 (en) | Information processing device, information processing method, and program | |
| JP6624063B2 (en) | Vending machine recognition device, merchandise shelf recognition device, vending machine recognition method, program and image processing device | |
| JP2013210970A (en) | Coordination list providing system and program | |
| JP6695454B1 (en) | Information processing apparatus, information processing method, and program | |
| JP6131398B1 (en) | Management apparatus, management method, program, and non-transitory computer-readable information recording medium | |
| JP7485140B2 (en) | Information processing device, information processing method, and program | |
| US20140201393A1 (en) | Image processing apparatus and method | |
| US20170161529A1 (en) | Object recognition encoder | |
| JP7381330B2 (en) | Information processing system, information processing device, and information processing method | |
| US20160232510A1 (en) | Checkout apparatus and method for presenting candidate merchandise | |
| US20200394637A1 (en) | Registration apparatus, registration method, and non-transitory storage medium | |
| JP2016224884A (en) | Information processing apparatus and program | |
| JP2008110867A (en) | Stock control device and stock moving processing method | |
| JP2015212945A (en) | Method for displaying information on point of sales (pos) system, pos system, and computer program that enables the method to be executed | |
| JP2015176202A (en) | Reading device, distribution method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190307 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190709 |