JP2021103405A

JP2021103405A - Image data registration system, image data registration method, and settlement system

Info

Publication number: JP2021103405A
Application number: JP2019234002A
Authority: JP
Inventors: 智義池田; Tomoyoshi Ikeda
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2021-07-15

Abstract

To provide a system capable of easily registering image data of unregistered articles.SOLUTION: An image data registration system according to the present invention acquires image data of a commodity with its commodity information unregistered in a second database from a first database, registers the acquired image data in the second database in association with the commodity information, uses the image data of the commodity to allow a calculation unit to determine whether or not the commodity is correctly identified, and allows the calculation unit to check whether or not the commodity can be identified based on the image data of the commodity.SELECTED DRAWING: Figure 1

Description

本発明は、画像データの登録システム、画像データの登録方法及び精算システムに関するものである。 The present invention relates to an image data registration system, an image data registration method, and a settlement system.

認識システムにおいて、カメラの撮像画像を用いて物品（商品）の自動識別を行う技術が開示されている（例えば、特許文献１）。 In the recognition system, a technique for automatically identifying an article (commodity) using an image captured by a camera is disclosed (for example, Patent Document 1).

特開２０１７−２２０１９８号公報JP-A-2017-220198

このような認識システムにおいて、物品の自動識別のための画像データベースを構築するために、登録作業者が物品の画像データを大量に撮像する必要があり、作業が煩雑になる。 In such a recognition system, in order to construct an image database for automatic identification of articles, it is necessary for a registered worker to capture a large amount of image data of articles, which complicates the work.

上述した目的を達成するため、本開示の一側面である画像データの登録システムは、センサから取得され、商品に関する未登録の画像データを格納する第１のデータベースと、前記画像に含まれる前記商品の特定を行う演算部と前記画像データを商品情報と紐づけて格納する第２のデータベースと、を備え、前記演算部は、前記画像データを用いて、前記商品が正しく特定されるかどうかの特定を可能にし、前記画像データを基に前記演算部にて前記商品の特定可否を判断することを含む。 In order to achieve the above-mentioned object, the image data registration system, which is one aspect of the present disclosure, includes a first database for storing unregistered image data related to a product acquired from a sensor, and the product included in the image. The calculation unit includes a calculation unit that identifies the product and a second database that stores the image data in association with the product information, and the calculation unit uses the image data to determine whether or not the product is correctly specified. This includes enabling the identification and determining whether or not the product can be specified by the calculation unit based on the image data.

また、本開示の一側面である画像データの登録方法は、商品に関する未登録の画像データを第１のデータベースから取得し、前記画像データを商品情報と紐づけて、第２のデータベースにて管理し、前記商品の画像データを用いて、演算部にて前記商品が正しく特定されるかどうかの特定を可能にし、前記商品の画像データを基に前記演算部にて前記商品の特定可否を確認することを含む。 Further, in the image data registration method, which is one aspect of the present disclosure, unregistered image data related to a product is acquired from the first database, the image data is associated with the product information, and the image data is managed in the second database. Then, using the image data of the product, the calculation unit can specify whether or not the product is correctly specified, and the calculation unit confirms whether or not the product can be specified based on the image data of the product. Including doing.

上記のように構成された本開示によれば、簡便な画像データの登録システムを提供できる。 According to the present disclosure configured as described above, a simple image data registration system can be provided.

図１は、システムの例を示すブロック図である。FIG. 1 is a block diagram showing an example of a system. 図２は、画像の登録フローの一例を示す図である。FIG. 2 is a diagram showing an example of an image registration flow.

以下、本発明の実施の形態について説明する。図１に、画像データの登録システムのブロック図の一例を示す。 Hereinafter, embodiments of the present invention will be described. FIG. 1 shows an example of a block diagram of an image data registration system.

センサ１は、小売店舗等に配置され、商品や製品等の物品（以下、商品と表記）の画像データを取得するセンサである。センサ１は、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等に代表される光学系カメラでもよいし、赤外線カメラでもよい。センサ１は、商品の外側から画像データを取得するものであればよい。 The sensor 1 is a sensor that is placed in a retail store or the like and acquires image data of an article such as a product or a product (hereinafter referred to as a product). The sensor 1 may be an optical system camera typified by, for example, CMOS (Complementary Metal-Oxide Sensor) or CCD (Charge Coupled Device), or may be an infrared camera. The sensor 1 may be any one that acquires image data from the outside of the product.

精算装置２は、例えばレジ等に代表される店舗に配置される支払精算装置である。精算装置２は、買い物の際に購入希望の商品が特定されると、客の現金、クレジットカードまたは決済機能を有する磁気カード等を受け付けて精算する精算機能を備える。精算装置２は、表示部、スピーカ部、プロセッサ、入力部（キー操作部またはタッチパネル部等）または通信部を備えていてもよい。 The payment settlement device 2 is a payment settlement device arranged in a store represented by, for example, a cash register. The settlement device 2 has a settlement function of accepting a customer's cash, a credit card, a magnetic card having a payment function, or the like when a product desired to be purchased is specified at the time of shopping. The settlement device 2 may include a display unit, a speaker unit, a processor, an input unit (key operation unit, touch panel unit, etc.) or a communication unit.

第１のデータベース３は、商品に関する未登録の画像データ等を格納している。第１のデータベース３に格納される画像データは、例えば商品の外観であるパッケージ用のデザインとなる画像データや商品の外観の意匠出願用の６面図等の画像データでもよい。あるいは新商品のパッケージを広告宣伝用に撮影した画像データでもよい。また製造工程においてパッケージの外観検査時に撮影された画像データでもよい。このようにして取得された画像は、それぞれ向きや形状等が様々に異なる画像が複数含まれやすい。 The first database 3 stores unregistered image data and the like related to the product. The image data stored in the first database 3 may be, for example, image data that is a design for a package that is the appearance of a product, or image data such as a six-view drawing for design application of the appearance of a product. Alternatively, it may be image data obtained by taking a package of a new product for advertising. Further, the image data taken at the time of visual inspection of the package in the manufacturing process may be used. The images acquired in this way tend to include a plurality of images having different orientations, shapes, and the like.

演算部４は、本開示の一側面である画像データの登録システムにおける各種処理を統合的に担う演算機能を含む。演算部４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などを含むプロセッサを含んで構成される。演算部４は、画像に含まれる物品を特定する。演算部４は例えば、深層学習を含む機械学習に基づくＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）エンジンまたはパターンマッチング処理を行うパターンマッチングエンジンを備える。演算部４は、ＡＩエンジンまたはパターンマッチングエンジンの双方を備えてもよい。当該商品の画像データを十分に学習させている場合やパターンマッチング用の画像データが多数登録されている場合、正しい商品の特定が可能である。なお、図示はしていないが、ＡＩエンジンまたはパターンマッチングエンジンが学習等のために用いる画像は、例えば第２のデータベース６に格納されている画像を用いてもよい。あるいは、別途ＡＩエンジンまたはパターンマッチングエンジンで用いる学習済みモデルまたは画像を含む第３のデータベースを備え、これを用いてもよい。 The calculation unit 4 includes a calculation function that integrally handles various processes in the image data registration system, which is one aspect of the present disclosure. The arithmetic unit 4 includes a processor including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), and the like. The calculation unit 4 identifies the article included in the image. The arithmetic unit 4 includes, for example, an AI (Artificial Intelligence) engine based on machine learning including deep learning or a pattern matching engine that performs pattern matching processing. The calculation unit 4 may include both an AI engine and a pattern matching engine. When the image data of the product is sufficiently learned or when a large number of image data for pattern matching are registered, it is possible to identify the correct product. Although not shown, the image used by the AI engine or the pattern matching engine for learning or the like may be, for example, an image stored in the second database 6. Alternatively, a third database containing trained models or images used separately by the AI engine or the pattern matching engine may be provided and used.

入力装置５は、本システムに対して何らかの情報、コマンドを入力する。キーボード、タッチパネルまたはマイク等を備えた情報が入力できる装置であればよい。なお、図１の例では、センサ１や精算装置２、入力装置５等は一つしか記載されていないが、実際は、店舗ごとに必要な数だけ準備されてもよい。もちろん、演算部４が各精算装置２やセンサ１ごとに備わっていてもよい。 The input device 5 inputs some information or a command to the system. Any device provided with a keyboard, touch panel, microphone, etc. that can input information may be used. In the example of FIG. 1, only one sensor 1, the settlement device 2, the input device 5, and the like are described, but in reality, a necessary number may be prepared for each store. Of course, the calculation unit 4 may be provided for each settlement device 2 or sensor 1.

第２のデータベース６は、物品の情報として、例えば、価格、割引率、製造者、製造年月日に加えて、当該商品の外形（パッケージや外観）の画像、赤外線またはＸ線による画像等の商品に係る画像データ等を格納している。 In the second database 6, as information on the goods, for example, in addition to the price, discount rate, manufacturer, date of manufacture, an image of the outer shape (package or appearance) of the product, an image by infrared rays or X-rays, etc. Stores image data, etc. related to products.

図２は、一実施例にかかる未登録の商品（例えば、発売開始直後の新商品）の情報及び画像を登録し、演算部４が商品を特定できるようにするためのフローを説明する図である。 FIG. 2 is a diagram for explaining a flow for registering information and an image of an unregistered product (for example, a new product immediately after the start of sale) according to an embodiment so that the calculation unit 4 can identify the product. is there.

この例では、例えば製造メーカや問屋などから送付されてきた商品リストなどから、消費者への販売、つまり製造メーカや問屋からの購入を希望する商品を入力装置５から指定する。あるいはこの指定は、入力装置５から直接商品の例えばＪＡＮコードまたは商品名等を含む商品識別子が従業員により入力されることにより行われてもよい。また、商品リストから第２のデータベース６に登録することをセレクトする操作に基づいて入力されてもよい。この場合、すでに商品の詳細情報を取得していればよいが、もし取得していない場合や更新がある場合は、詳細な商品情報を入手して第２のデータベース６に記録する。なお第２のデータベース６は、小売業社が管理するサーバ内に構築されてもよい。 In this example, from the product list sent from the manufacturer or the wholesaler, for example, the product to be sold to the consumer, that is, the product desired to be purchased from the manufacturer or the wholesaler is specified from the input device 5. Alternatively, this designation may be made by the employee directly inputting the product identifier including, for example, the JAN code or the product name of the product from the input device 5. Further, it may be input based on the operation of selecting registration in the second database 6 from the product list. In this case, it is sufficient that the detailed product information has already been acquired, but if it has not been acquired or there is an update, the detailed product information is obtained and recorded in the second database 6. The second database 6 may be built in a server managed by a retailer.

次に、演算部４は、指定された商品のうち、少なくとも第２のデータベース６に登録されていない商品（以下、新商品）について詳細な商品情報を第２のデータベース６に登録する。 Next, the calculation unit 4 registers detailed product information in the second database 6 for at least a product (hereinafter, a new product) that is not registered in the second database 6 among the designated products.

次に、演算部４は、新商品の画像データを第１のデータベース３から取得する。第１のデータベース３は例えば製造メーカや問屋等、小売側とは異なる者の管理するサーバであってもよい。 Next, the calculation unit 4 acquires the image data of the new product from the first database 3. The first database 3 may be a server managed by a person different from the retail side, such as a manufacturer or a wholesaler.

そして、演算部４は、第１のデータベース３から取得した新商品の画像データを第２のデータベース６に登録し、さらに新商品の画像データと新商品の詳細な商品情報とを紐づけて第２のデータベース６にて管理する。 Then, the calculation unit 4 registers the image data of the new product acquired from the first database 3 in the second database 6, and further links the image data of the new product with the detailed product information of the new product. It is managed in database 6 of 2.

次に、演算部４は、新商品の画像データを基に新商品の特定を可能にする。新商品の特定を可能にするために、画像データをＡＩエンジンに学習させること、エッジ検出技術等を用いて画像データの特徴を抽出して記憶すること、またはパターンマッチングを可能にすること等が実行されてよい。 Next, the calculation unit 4 enables the identification of the new product based on the image data of the new product. In order to enable identification of new products, it is possible to train the image data in the AI engine, extract and store the features of the image data using edge detection technology, or enable pattern matching. May be executed.

次に、演算部４は、新商品の画像データを基に新商品の特定可否を判断する。これは例えば小売店舗用の精算装置２に備えられるセンサ１に新商品をかざし、新商品がきちんと正しく特定されたかどうかを確認することによって行われてもよい。 Next, the calculation unit 4 determines whether or not the new product can be specified based on the image data of the new product. This may be done, for example, by holding the new product over the sensor 1 provided in the checkout device 2 for a retail store and confirming whether or not the new product has been properly identified.

演算部４が正しく新商品を特定ができなかった場合や別の商品と間違えたりした場合、演算部４は、新商品の追加の画像データを第１のデータベース３に要求する。このときは、同じ新商品について、すでに登録されている画像データとは異なる画像データを第２のデータベース６に登録するとよい。例えば、すでに登録されている画像データが、商品の外観のパッケージデザインを印刷するためのデザイン画であった場合、例えば次の画像は、パッケージの外観検査時に取得された画像データであってもよい。そして、追加された画像データを用いて、演算部４は、再度、新商品の画像データを基に新商品の特定を可能にする。この追加される画像の入手及び登録、特定可能化作業のフローは、演算部４が所定の基準、例えば９５％以上の認識成功率を達成するなど、新商品を実用レベルで精算装置２にて正しく特定できると思われる基準を満たすまで行われる。なお、この基準は任意に設定してよい。 If the calculation unit 4 cannot correctly identify the new product or mistakes it for another product, the calculation unit 4 requests additional image data of the new product from the first database 3. At this time, for the same new product, image data different from the image data already registered may be registered in the second database 6. For example, if the image data already registered is a design image for printing the package design of the appearance of the product, for example, the next image may be the image data acquired at the time of the appearance inspection of the package. .. Then, using the added image data, the calculation unit 4 enables the identification of the new product again based on the image data of the new product. In the flow of obtaining, registering, and specifying the added image, the calculation unit 4 achieves a predetermined standard, for example, a recognition success rate of 95% or more, and the new product is settled at a practical level by the settlement device 2. It is done until it meets the criteria that can be identified correctly. This standard may be set arbitrarily.

そして、新商品をセンサ１にかざして、演算部４が正しく新商品を特定できた場合、演算部４は、新商品の特定可能化を完了する。特定可能化を終了することによって、本開示の画像データ登録システムまたは画像の登録方法に基づいて小売店舗の精算装置２にて商品の精算が可能となる。なお、演算部４が実行する確認は、演算部４が正しい特定結果を出した時点で終了としてもよい。あるいは演算部４の結果に基づいて、新商品の商品情報を第２のデータベース６から読みだして、精算装置２にて正しく精算ができたことまでを確認することを実行してもよい。 Then, when the new product is held over the sensor 1 and the calculation unit 4 can correctly identify the new product, the calculation unit 4 completes the identification of the new product. By terminating the identification, the product can be settled by the settlement device 2 of the retail store based on the image data registration system of the present disclosure or the image registration method. The confirmation executed by the calculation unit 4 may be terminated when the calculation unit 4 produces a correct specific result. Alternatively, based on the result of the calculation unit 4, the product information of the new product may be read from the second database 6 and the settlement device 2 may confirm that the settlement has been performed correctly.

なお、第２のデータベース６には、商品情報として、商品識別子、価格、割引率、外観パッケージ等の一あるいは複数の画像データ、製造者、製造年月日、原材料またはトレサビリティついて等の情報が登録されている。本開示の画像データの登録システムまたは画像の登録方法に基づいて、第２のデータベース６からの情報のうち、少なくとも精算装置２の精算に必要な情報が精算装置２に送信されて、当該商品の価格を加えた代金表示に変更する処理等を行う精算システムを備えてもよい。精算システムを備えることによって、精算装置２において商品の精算処理が可能となる。 In the second database 6, information such as product identifier, price, discount rate, one or more image data such as appearance package, manufacturer, date of manufacture, raw material or traceability is registered as product information. Has been done. Based on the image data registration system or the image registration method of the present disclosure, at least the information necessary for the settlement of the settlement device 2 among the information from the second database 6 is transmitted to the settlement device 2 to obtain the product. It may be provided with a settlement system that performs processing such as changing to a price display with a price added. By providing the settlement system, the settlement apparatus 2 can perform the settlement processing of the product.

１センサ
２精算装置
３第１のデータベース
４演算部
５入力装置
６第２のデータベース 1 Sensor 2 Settlement device 3 First database 4 Calculation unit 5 Input device 6 Second database

Claims

Equipped with a calculation unit
The calculation unit acquires unregistered image data related to the product from the first database.
The image data is linked with the product information and managed in the second database.
Using the image data, it is possible to identify the product,
An image data registration system that determines whether or not the product can be specified based on the image data.

The image data registration system according to claim 1, wherein the calculation unit further acquires additional image data of the product and registers the product in the second database when the product cannot be correctly specified.

The image data registration system according to claim 2, wherein the calculation unit enables identification of the product by using the additional image data.

The settlement system using the image data registration system according to claim 3, wherein when the image data of the product is acquired from the sensor, the calculation unit identifies the product related to the image data and setstles the product with the settlement device.

Obtain unregistered image data about the product from the first database,
The image data is linked with the product information and managed in the second database.
Using the image data of the product, the calculation unit can identify the product.
A method of registering image data in which the calculation unit determines whether or not the product can be specified based on the image data of the product.