JP2017178574A - Inspection processing device, inspection system, commodity master registration device, inspection processing method and program - Google Patents
Inspection processing device, inspection system, commodity master registration device, inspection processing method and program Download PDFInfo
- Publication number
- JP2017178574A JP2017178574A JP2016069899A JP2016069899A JP2017178574A JP 2017178574 A JP2017178574 A JP 2017178574A JP 2016069899 A JP2016069899 A JP 2016069899A JP 2016069899 A JP2016069899 A JP 2016069899A JP 2017178574 A JP2017178574 A JP 2017178574A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- product
- image
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
Description
本発明は、検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラムに関する。 The present invention relates to an inspection processing apparatus, an inspection system, a product master registration apparatus, an inspection processing method, and a program.
倉庫業や卸売業など物流業者が取り扱う流通商品を出荷する過程において、商品の出荷前に、出荷伝票と比較して、出荷する商品が出荷伝票に記載された商品であるかどうかを確認する作業がある。この作業を検品作業と呼ぶ。この検品作業の中には、「１００部の同じカタログ」、「６０部の同じ箱」のように、同じ商品を複数個まとめて検品する検品作業もある。このような検品作業の場合、商品の束のうち一番上に置かれた商品の表面等をカメラで撮像し、予め登録した商品のマスタ画像と照合して商品の特定を行う技術が存在する。さらに、検品対象となる商品の重量測定値と検品数量とから、その商品の単位重量を算出し、商品の画像と単位重量とから商品の特定を行う技術が存在する（例えば特許文献１）。 In the process of shipping distribution products handled by logistics companies such as warehousing and wholesalers, before shipping products, work to confirm whether the products to be shipped are products listed in the shipping slips There is. This work is called inspection work. Among the inspection operations, there is an inspection operation for inspecting a plurality of the same products, such as “100 parts of the same catalog” and “60 parts of the same box”. In the case of such inspection work, there is a technology for identifying the product by capturing the surface of the product placed at the top of the bundle of products with a camera and comparing it with a master image of the product registered in advance. . Furthermore, there is a technique for calculating a unit weight of a product from the weight measurement value and the inspection quantity of the product to be inspected and specifying the product from the product image and the unit weight (for example, Patent Document 1).
しかし、商品の特定をマスタ画像との照合によって行う場合、物流業者が取り扱う商品数は１万種類を超えることが多くあり、全ての商品のマスタ画像を登録するのに多くの手間や時間が掛かっている。また、商品の中には、立体的な形状をした商品も存在する。このような商品の場合、検品作業中にどの面が撮像されても照合ができるように、複数の側面についてマスタ画像を撮像することが多く、登録の手間や時間に加え、マスタ画像の増加による照合処理時間の増大が問題となる。 However, when identifying a product by collating it with a master image, the number of products handled by logistics companies often exceeds 10,000, and it takes a lot of time and effort to register the master image of all the products. ing. In addition, some products have a three-dimensional shape. In the case of such products, in many cases, a master image is taken for a plurality of sides so that verification can be performed regardless of which side is taken during inspection work. Increase in verification processing time becomes a problem.
そこでこの発明は、上述した課題を解決する検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラムを提供することを目的としている。 Accordingly, an object of the present invention is to provide an inspection processing apparatus, an inspection system, a product master registration apparatus, an inspection processing method, and a program that solve the above-described problems.
本発明は、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する商品画像決定部と、前記商品画像決定部が特定した画像を記憶部に登録する商品データ登録部と、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する照合部と、を備える検品処理装置である。 The present invention specifies an image for each inspection product based on inspection data including an inspection product and an inspection quantity, and an inspection target image obtained by imaging an inspection product and an inspection product group included in the inspection data. An image to be inspected corresponding to new inspection data based on the image stored in the storage unit, the product data registration unit that registers the image specified by the product image determination unit in the storage unit, and the image stored in the storage unit An inspection processing apparatus comprising: a matching unit that identifies a product to be included.
また本発明は、検品データに含まれる検品商品および検品数量と一致する商品群を撮像する撮像装置と、前記商品群の重量を測定する重量計測器と、前記撮像装置が撮像した検品対象画像と、前記重量計測器が測定した重量を取得する上記の検品処理装置と、を備えることを特徴とする検品システムである。 Further, the present invention provides an imaging device that captures a product group that matches the inspection product and the inspection quantity included in the inspection data, a weight measuring device that measures the weight of the product group, and an inspection target image captured by the imaging device. And an inspection processing apparatus for acquiring the weight measured by the weight measuring instrument.
また本発明は、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する商品画像決定部と、前記商品画像決定部が特定した画像を商品マスタに登録する商品データ登録部と、を備える商品マスタ登録装置である。 Further, the present invention provides an image for each inspection product based on inspection data including the inspection product and the inspection quantity, and an inspection target image obtained by imaging the inspection product included in the inspection data and a product group that matches the inspection quantity. A product master registration device comprising: a product image determination unit to be specified; and a product data registration unit for registering an image specified by the product image determination unit in a product master.
また本発明は、検品処理装置が、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定し、前記特定した画像を記憶部に登録し、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する、検品処理方法である。 Further, the present invention provides the inspection processing device based on the inspection object image obtained by imaging the inspection data including the inspection product and the inspection quantity, and the inspection product and the inspection product included in the inspection data. An inspection process for specifying an image for each product, registering the specified image in a storage unit, and specifying a product included in an inspection target image corresponding to new inspection data based on the image stored in the storage unit Is the method.
また本発明は、検品処理装置のコンピュータを、検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する手段、前記特定した画像を記憶部に登録する手段、前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する手段、として機能させるためのプログラムである。 Further, the present invention provides a computer of an inspection processing apparatus based on inspection data including inspection products including inspection products and inspection quantities, and inspection target images obtained by imaging inspection products and inspection products included in the inspection data. A means for specifying an image for each inspection product, a means for registering the specified image in a storage unit, and a product included in an inspection target image corresponding to new inspection data based on the image stored in the storage unit It is a program for making it function as a means to do.
本発明によれば、検品作業に用いる商品のマスタ画像の登録作業を効率化するという効果が得られる。 According to the present invention, it is possible to obtain an effect of improving the efficiency of registering a master image of a product used for inspection work.
＜第一の実施形態＞
以下、本発明の一実施形態による検品処理装置を図１〜図１２を参照して説明する。
図１は第一の実施形態による検品処理装置の最小構成を示す図である。
図１に示す通り、検品処理装置１００は、商品データ登録部１０９と、商品画像決定部１１０と、照合部１１５と、を少なくとも備えている。検品処理装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたコンピュータである。
商品画像決定部１１０は、検品すべき対象である商品（検品商品）の識別情報とその商品について検品すべき数量（検品数量）とを含む検品データ（伝票データ）と、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、検品対象商品毎の画像を特定する。
商品データ登録部１０９は、商品画像決定部１１０が特定した画像を記憶部に登録する。なお、記憶部とは、後述する商品データ格納部１１７であり、商品マスタに相当する。
照合部１１５は、商品画像決定部１１０が特定した商品の画像が登録された記憶部（商品マスタ）が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する。
<First embodiment>
Hereinafter, an inspection processing apparatus according to an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram showing a minimum configuration of an inspection processing apparatus according to the first embodiment.
As shown in FIG. 1, the
The product
The product
The matching
図２は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図２に示す通り、検品処理装置１００は、制御判定部１０１と、重量取得部１０２と、商品画像取得部１０３と、入力受付部１０４と、表示情報出力部１０５と、特徴量計算部１０６と、検品データ保存部１０７と、目標総重量計算部１０８と、商品データ登録部１０９と、商品画像決定部１１０と、商品重量計算部１１４と、照合部１１５と、検品データ格納部１１６と、商品データ格納部１１７とを備えている。なお、検品データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。また、検品対象商品群を撮像した画像を検品対象画像と呼ぶ。また、検品対象画像から切り出した検品商品の候補となる一まとまりの画像を商品画像と呼ぶ。
FIG. 2 is a block diagram showing an example of the configuration of the inspection processing apparatus according to the first embodiment.
As shown in FIG. 2, the
制御判定部１０１は、他の機能部へ、情報の伝達や処理の指示を行う。
重量取得部１０２は、重量計測器が測定した検品対象商品の重量を、重量計測器から取得する。
商品画像取得部１０３は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した検品対象画像を取得する。
入力受付部１０４は、作業員の入力操作を受け付ける。また、入力受付部１０４は、作業員による検品データの入力操作に基づいて、検品データを取得する。
表示情報出力部１０５は、検品作業に必要な各種情報を生成し、検品処理装置１００に接続された表示装置に出力する。
特徴量計算部１０６は、商品画像取得部１０３が取得した検品対象画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
検品データ保存部１０７は、作業員が入力した検品作業の対象となる検品データを検品データ格納部１１６に記録する。
目標総重量計算部１０８は、検品データに含まれる検品商品の総重量（目標総重量）を計算する。また、目標総重量計算部１０８は、計算した目標総重量と重量取得部１０２が取得した検品対象商品の重量とを比較し、差を計算する。
The
The
The product
The
The display
The feature
The inspection
The target
商品データ登録部１０９は、商品データ格納部１１７に検品商品を撮像した画像、単位重量などを登録する。商品データ登録部１０９は、商品画像決定部１１０と商品重量計算部１１４とを備える。
商品画像決定部１１０は、画像抽出部１１１と、画像分析部１１２と、商品特定部１１３とを備えている。
画像抽出部１１１は、検品対象画像から前記検品対象商品の候補となる一まとまりの画像（商品画像）を切り出す。
画像分析部１１２は、切り出した商品画像を互いに照合し、検品対象画像に含まれる商品画像の種類別の数量を算出する。
商品特定部１１３は、商品画像の種類別の数量と、検品データに含まれる検品商品ごとの検品数量とを比較して、商品画像の各々が示す商品を特定する。
商品画像決定部１１０は、商品特定部１１３が特定した商品画像と検品商品とを対応付けて商品データ格納部１１７（商品マスタ）に記録する。
The product
The product
The
The
The
The product
商品重量計算部１１４は、検品データに含まれる検品商品ごとの単位重量および検品商品ごとの検品数量と、検品データに含まれる検品商品および検品数量と一致する商品群の重量を測定した重量データとの関係を示す方程式に基づいて、検品商品ごとの単位重量を算出する。
照合部１１５は、商品データ格納部１１７が記憶する商品のマスタ画像を用いて、検品商品を撮像した検品対象画像を照合して検品対象画像に写る商品を特定し、特定した商品が検品データに含まれる検品商品と一致するかどうかを判定する。
The product
The
検品データ格納部１１６は、検品対象の検品データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部１１７は、商品ごとに、商品名、商品の画像（マスタ画像）、商品画像の特徴量、単位重量などを格納するデータベースである。
なお、制御判定部１０１、重量取得部１０２、商品画像取得部１０３、入力受付部１０４、表示情報出力部１０５、特徴量計算部１０６、検品データ保存部１０７、商品データ登録部１０９、商品画像決定部１１０、画像抽出部１１１、画像分析部１１２、商品特定部１１３、商品重量計算部１１４、照合部１１５の少なくとも一部は検品処理装置１００の備えるＣＰＵがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
The inspection
The product
Note that the
図３は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、図３を用いて、本実施形態の検品システムの説明を行う。
図３に示す通り、検品システム１は、検品処理装置１００と、撮像装置２００と、重量計測器３００と、表示装置４００と、入力装置５００とを備えている。また、重量計測器３００には１つまたは複数の検品対象商品（検品対象商品６００）が置かれている。なお、重量計測器３００の表面（検品対象商品を置く面）には、格子状など特徴のある既知の模様が描かれている。
FIG. 3 is a diagram showing an example of an inspection system according to the first embodiment of the present invention.
Hereinafter, the inspection system of this embodiment will be described with reference to FIG.
As shown in FIG. 3, the
撮像装置２００は、検品対象商品を撮像する例えばカメラである。重量計測器３００は、検品対象商品の重量を測定する装置である。図３において、撮像装置２００は、重量計測器３００の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱３０２に取り付けられている。支柱３０２は、土台３０１によって固定され、重量計測器３００は、土台３０１の上に設置されている。撮像装置２００の取り付け位置は、この図の例に限定されない。検品処理装置１００は、撮像装置２００と接続されており、撮像装置２００が撮像した検品対象商品の画像を取得する。検品処理装置１００は、重量計測器３００と接続されており、重量計測器３００が測定した検品対象商品の重量を取得する。
The
表示装置４００は、例えばディスプレイである。表示装置４００は、検品処理装置１００と接続されており、検品処理装置１００が生成した検品作業に必要な情報を表示する。入力装置５００は、キーボード、マウス、あるいは任意のデータ読み取り手段（記憶媒体読み取り装置など）である。作業員は、表示装置４００に表示される情報を参照しながら、入力装置５００を用いて検品処理装置１００を操作し、検品作業を行う。
The
次に、図３を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業の対象となる１枚の伝票に記載された１つまたは複数の検品商品の候補を商品棚などから取り出し重量計測器３００の上に置く。重量計測器３００の上に置かれた検品対象商品６００は、作業員が誤って類似する商品を選択する場合もある。１枚の伝票には、複数種類の商品が含まれていることも多く、その場合、検品対象商品６００には、複数種類の商品が含まれることになる。作業員が検品対象商品６００を重量計測器３００の上に置くと、重量計測器３００は、検品対象商品６００の重量を測定し、測定した重量データを検品処理装置１００に送信する。検品処理装置１００は、重量データを受信したタイミングで撮像装置２００に撮像指示信号を送信する。撮像装置２００は、撮像指示信号を受信すると、検品対象商品６００を上から撮像し、撮像した検品対象画像を検品処理装置１００に送信する。
また、これらの処理と並行して、作業員は、１枚の伝票に含まれる検品データ（検品商品の名称、検品数量など）を、入力装置５００を用いて入力する。例えば、伝票のデータは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置１００に入力する。なお、検品データに含まれる１つずつの明細を明細情報と呼ぶ。
Next, a rough flow of the inspection work will be described with reference to FIG. First, the worker takes out one or a plurality of inspection product candidates described in one slip to be inspected from a product shelf and puts them on the
In parallel with these processes, the worker inputs inspection data (name of inspection product, inspection quantity, etc.) included in one slip using the
検品対象画像を取得すると、検品処理装置１００は、商品データ格納部１１７が記憶する商品のマスタ画像と照合処理を行って、検品対象画像に含まれる商品を特定する。また、検品処理装置１００は、照合処理の結果、画像に写っていると特定した商品と、検品データに含まれる検品商品とが一致するかどうかを判定する。検品処理装置１００は、検品データに含まれる全ての検品商品についてこの照合処理および判定処理を行う。また、検品処理装置１００は、検品データに含まれる全ての検品商品の総重量を計算し、重量計測器３００が測定した重量データと比較する。
そして、検品処理装置１００は、全ての検品対象商品についての照合処理結果と、重量データの比較結果とを表示装置４００に表示する。また、検品処理装置１００は、検品データの一覧を表示装置４００に表示する。
When the inspection target image is acquired, the
Then, the
作業員は、表示装置４００に表示された検品データの一覧、照合処理結果、重量データ比較結果を目視によって確認し、検品結果を把握する。作業員は、過不足分の数量の検品対象商品６００を重量計測器３００に載せたり、取り除いたりして数量の調整を行う。以上の作業と処理の結果、作業員が表示装置４００に表示された商品の数量が検品データ通りになれば、その検品データについての検品作業は終了である。
The worker visually confirms the list of inspection data displayed on the
ところで、物流業者が扱う商品は１万点を超える場合があり、例えば新商品が開発され市場へと提供された場合、新たにその新商品のマスタ画像を商品データ格納部１１７へ登録しなければならない。新商品が出る度にマスタ画像の登録を行わなければならないのは手間がかかる。特に、その新商品が立体物の場合、作業員が、どの面を上にして重量計測器３００に載せるのかが分からない為、全ての側面のマスタ画像を登録する必要があり、さらに多くの手間や時間を費やすことになる。また、マスタ画像が多く登録されると、それだけ照合処理に時間が掛かるという問題も存在する。
By the way, the product handled by the logistics company may exceed 10,000 items. For example, when a new product is developed and provided to the market, a master image of the new product must be newly registered in the product
そこで、本実施形態では、新商品など商品データ格納部１１７に登録されていない商品について、目視検品を行った結果の情報を記録し、記録した情報に基づいて、自動的に未登録商品のマスタ画像、単位重量を商品データ格納部１１７に登録する方法を提供する。次に本実施形態における未登録商品の商品画像、単位重量の登録処理について説明を行う。
Therefore, in the present embodiment, information on the result of visual inspection is recorded for products that are not registered in the product
図４は、本発明の第一の実施形態による検品処理装置を用いた検品処理の一例を示すフローチャートである。
図５は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
まず、作業員がある１つの検品データを検品処理装置１００に入力する。検品処理装置１００では、入力受付部１０４がその検品データを取得し、制御判定部１０１に出力する。すると、目標総重量計算部１０８は、制御判定部１０１の指示に基づいて目標総重量を計算する（ステップＳ１１）。具体的には、目標総重量計算部１０８は、入力された検品データについて、検品商品ごとに商品データ格納部１１７が記憶するその検品商品の単位重量と、その検品商品の検品数量とを乗算して検品数量分の重量（検品重量とよぶ）を計算する。目標総重量計算部１０８は、全ての検品重量を合計して目標総重量を計算し、目標総重量をメモリに記録する。なお、検品データに含まれる検品商品が未登録の場合、単位重量の情報が得られないので、その検品商品についての検品重量は０となる。
FIG. 4 is a flowchart showing an example of inspection processing using the inspection processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a first diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
First, the worker inputs one inspection data to the
次に、作業員は、検品処理装置１００に入力した検品データを参照して検品対象商品６００を商品棚などから取り出し重量計測器３００に置く。検品対象商品６００が重量計測器３００に置かれると、重量取得部１０２は、重量計測器３００が測定した検品対象商品６００の重量データを取得する（ステップＳ１２）。重量取得部１０２は、取得した重量データを制御判定部１０１に出力する。制御判定部１０１は、重量データをメモリに記録する。
次に、制御判定部１０１は、重量データを取得したことを契機として、商品画像取得部１０３に撮像指示信号を出力する。すると、商品画像取得部１０３は、撮像装置２００に撮像指示を行い、撮像装置２００が検品対象商品６００の検品対象画像を撮像する。商品画像取得部１０３は、撮像装置２００が撮像した検品対象画像を取得し（ステップＳ１３）、メモリに格納する。
Next, the worker refers to the inspection data input to the
Next, the
メモリに画像が格納されると、制御判定部１０１は、特徴量計算部１０６に、格納した画像の特徴量を計算するように指示を行う。特徴量計算部１０６は、メモリから検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し（ステップＳ１４）、計算結果を制御判定部１０１に出力する。この計算結果には、検品対象画像上の特徴量の分布が含まれている。また、この特徴量分布には、重量計測器３００に置かれた検品対象商品６００の全ての商品による特徴量が含まれている。制御判定部１０１は、特徴量をメモリに記録する。
When the image is stored in the memory, the
次に、照合部１１５は、商品データ格納部１１７に記録されたマスタ画像に基づいて、検品対象画像に含まれる商品を検索する（ステップＳ１５）。具体的には、照合部１１５は、商品データ格納部１１７に登録された全商品のマスタ画像のうち、検品データに含まれる検品商品のマスタ画像を読み出して、それらのマスタ画像と検品対象画像とを比較して、検品対象画像に写る商品を特定する。例えば、照合部１１５は、検品データに含まれる商品名に基づいて商品データ格納部１１７からその商品の特徴量を読み出す。そして、商品特定部１１３は、読み出した照合商品の特徴量と検品対象画像の特徴量分布とを比較して、検品商品の特徴量が検品対象画像の特徴量分布に含まれているかどうかを照合する検索処理を行う。照合部１１５は、検品商品の特徴量と検品対象画像に含まれる特徴量との類似度が所定の閾値以上であれば、検品対象画像に検品商品が写っていると判定する。照合部１１５は、検品データに含まれる各検品商品について検索処理を行い、その検索結果（検索できた数量）を制御判定部１０１に出力する。
Next, the
照合部１１５から検索結果を取得すると、制御判定部１０１は、その検索結果を表示情報出力部１０５に出力し、検品確認画面を表示するよう指示する。次に表示情報出力部１０５は、検品データ格納部１１６に記録された「明細番号」、「商品コード」、「検品数量」、商品データ格納部１１７に記録された「単位重量」を読み出す。また、表示情報出力部１０５は、制御判定部１０１に、目標総重量、重量取得部１０２が取得した重量データ、総重量誤差の情報を要求する。総重量誤差は、目標総重量計算部１０８が計算した目標総重量と重量取得部１０２が取得した重量データとの差である。制御判定部１０１は、目標総重量計算部１０８に総重量誤差の計算を指示する。目標総重量計算部１０８は、先に計算した目標総重量と重量取得部１０２が取得した重量データとをメモリから読み出して、総重量誤差を計算する。目標総重量計算部１０８は、目標総重量、重量データ、計算した総重量誤差を、制御判定部１０１に出力する。制御判定部１０１は、それらの情報を表示情報出力部１０５に出力する。また、表示情報出力部１０５は、メモリから検品対象画像を取得する。
表示情報出力部１０５は、照合部１１５の判定結果、検品データ格納部１１６から取得した検品データ、目標総重量計算部１０８が出力した総重量誤差などのデータ、検品対象画像を用いて、作業員が検品作業に使用する検品確認画面の画像を生成し、表示装置４００に表示する（ステップＳ１６）。
When the search result is acquired from the
The display
ここで、図５を用いて、検品確認画面について説明する。図５は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、検品データ表示欄６１、検品対象画像表示欄６２、画像照合結果表示欄６３、重量比較結果表示欄６４、ＯＫボタン６５を含む。表示情報出力部１０５は、検品データ表示欄６１に検品データ格納部１１６等から取得した検品データ（「明細番号」、「商品コード」、「検品数量」、「単位重量」の各欄）および照合部１１５から取得した検索結果（「検品実績」欄）を表示する。表示情報出力部１０５は、取得した検品対象画像を検品対象画像表示欄６２に表示する。また、表示情報出力部１０５は、商品特定部１１３による判定結果を画像照合結果表示欄６３に表示する。例えば、表示情報出力部１０５は、照合部１１５から取得した検索結果が検品データに含まれている全ての商品と一致することを示している場合、「画像ＯＫ」などの表示を行い、検品データに含まれている商品と一致しないとの判定結果が一つでも含まれていれば、「画像ＮＧ」などの表示を行う。また、表示情報出力部１０５は、目標総重量計算部１０８から取得した総重量誤差などのデータに基づいて重量比較結果表示欄６４の表示を行う。例えば、総重量誤差が０の場合、表示情報出力部１０５は、重量比較結果表示欄６４に「重量ＯＫ」などの表示を行う。また、総重量誤差が０ではない場合、表示情報出力部１０５は、重量比較結果表示欄６４に「重量ＮＧ」などの表示を行う。また、表示情報出力部１０５は、目標総重量、重量データ、総重量誤差を重量比較結果表示欄６４に表示する。また、表示情報出力部１０５は、ＯＫボタン６５を表示する。ＯＫボタン６５は、作業員が現在表示している検品データに対する検品作業が終了すると押下するボタンである。
Here, the inspection confirmation screen will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of an inspection confirmation screen. As shown in the drawing, the inspection confirmation screen includes an inspection
作業員は、商品を全て特定できたかどうかを確認する（ステップＳ１７）。例えば、作業員は、検品対象画像表示欄６２に「画像ＯＫ」が表示されているかどうかで商品を全て特定できたかどうかを確認することができる。特定できなかった場合（ステップＳ１７；Ｎｏ）、表示情報出力部１０５は、目視検品画面（図示せず）の画像を生成し、表示装置４００に表示する（ステップＳ１８）。目視検品画面は、重量計測器３００に置かれた各検品対象商品６００を目視によって確認するための画面である。目視検品画面では、各検品対象商品がより拡大されて表示されてもよい。作業者は検品確認画面を見て、表示された商品の画像や商品名を目視によって確認する。検品対象商品や数量に過不足がある場合、作業員は、商品の過不足を調整する。目視検品の結果、全ての検品対象商品が正しく重量計測器３００に載せられた場合、検品終了となる。なお、商品の入れ替えや、追加、削除された際に、撮像装置２００は、新たな検品対象画像を撮像し、商品画像取得部１０３は、その画像を取得する。また、重量計測器３００は、重量を再計測し、重量取得部１０２が再計測された新たな重量データ取得する。なお、目視確認画面のレイアウトは、検品対象商品が目視で確認できるものであれば任意でよいが、例えば、図５等に例示する検品確認画面と同様であってもよい。
The worker checks whether or not all the products have been identified (step S17). For example, the worker can confirm whether or not all the products have been specified based on whether or not “image OK” is displayed in the inspection target
一方、商品が特定できた場合（ステップＳ１７；Ｙｅｓ）、次に作業員は、総重量誤差は許容範囲内かどうか確認する（ステップＳ１９）。許容範囲内ではない場合（ステップＳ１９；Ｎｏ）、作業員は、商品の過不足を調整する。重量計測器３００に載せられた商品の数量が変化すると、重量取得部１０２が新たな重量データ取得する。また、目標総重量計算部１０８は、総重量誤差を再計算する。そして、表示情報出力部１０５は、重量比較結果表示欄６４の表示を更新する。このような作業員の調整作業により総重量誤差が許容範囲内となると（ステップＳ１９）、検品終了となる。
On the other hand, if the product can be identified (step S17; Yes), the worker next checks whether the total weight error is within the allowable range (step S19). If not within the allowable range (step S19; No), the worker adjusts the excess or deficiency of the product. When the quantity of products placed on the
検品終了となると、検品データ保存部１０７は、検品対象画像と、重量データと、検品データとを対応付けて検品データ格納部１１６に記録する（ステップＳ２０）。なお、検品対象画像と重量データは検品終了時のもの（つまり検品データの内容と一致する検品対象商品群の検品対象画像と重量データ）である。また、検品データ保存部１０７は、今回の検品データに目視によって検品した明細情報が含まれている場合、検品データ等と目視による検品を行ったこと示す情報とを対応付けて検品データ格納部１１６に記録する。次に検品処理装置１００は、マスタ登録処理を行う（ステップＳ２１）。このマスタ登録処理は、ステップＳ１７にて、全ての商品が特定できた場合、つまり、商品データ格納部１１７に商品のマスタ画像が記録されている場合には必要のない処理である。次に図５〜図１２用いて、マスタ登録処理の説明を行う。
When the inspection ends, the inspection
図６は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図７は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
図８で説明するマスタ登録処理において、商品データ格納部１１７に記録のない商品である商品コード「Ａ」、「Ｂ」、「Ｃ」の商品を含む検品データ（図５〜図７）に対して、「出荷伝票１」〜「出荷伝票３」の順に図４で説明した検品処理を行うとする。また、ステップＳ２０で記録された検品対象画像等は、図５〜図７で例示する３件の検品データについてのみであるとする。
具体的には、まず、図５で例示する検品データ「出荷伝票１」について検品処理を行うとする。「出荷伝票１」には、商品コード「Ａ」の商品（商品Ａとする）の検品数量が「２」、商品コード「Ｂ」の商品（商品Ｂとする）の検品数量が「１」、商品コード「Ｃ」の商品（商品Ｃとする）の検品数量が「１」、の明細情報が含まれている。図４で説明した検品処理の結果、検品データ格納部１１６には、「出荷伝票１」の検品データに対応して、目視検品画面で確認された検品対象画像と、その検品対象画像が示す状態で測定された重量データが記録される。
FIG. 6 is a second diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
FIG. 7 is a third diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
In the master registration process described with reference to FIG. 8, for inspection data (FIG. 5 to FIG. 7) including products with product codes “A”, “B”, and “C” that are products not recorded in the product
Specifically, first, it is assumed that the inspection process is performed on the inspection data “
次に図６で例示する検品データ「出荷伝票２」について検品処理を行うとする。「出荷伝票２」には、商品Ａの検品数量が「２」、商品Ｂの検品数量が「２」の明細情報が含まれている。図４で説明した検品処理の結果、検品データ格納部１１６には、「出荷伝票２」の検品データに対応して、目視検品画面で確認された検品対象画像と、対応する重量データが記録される。以下に説明するステップＳ３９〜ステップＳ４２のマスタ画像の登録処理については、「出荷伝票２」について検品処理を行い、ステップＳ２０で検品対象画像などの記録を行い、次にマスタ登録処理を行う場面であると仮定して説明を行う。
次に図７で例示する検品データ「出荷伝票３」について検品処理を行うとする。「出荷伝票３」には、商品Ｂの検品数量が「２」、商品Ｃの検品数量が「１」の明細情報が含まれている。図４で説明した検品処理の結果、検品データ格納部１１６には、「出荷伝票３」の検品データに対応して、目視検品画面で確認された検品対象画像と、その画像に対応する重量データが記録される。以下に説明するステップＳ４３〜ステップＳ４５の単位重量の登録処理については、この「出荷伝票３」について検品処理を行い、ステップＳ２０で検品対象画像などの記録を行い、次にマスタ登録処理を行う場面であると仮定して説明を行う。
Next, it is assumed that the inspection process is performed on the inspection data “
Next, it is assumed that the inspection process is performed on the inspection data “
図８は、本発明の第一の実施形態による検品処理装置のマスタ登録処理の一例を示すフローチャートである。
図９は、本発明の第一の実施形態による検品処理を説明する第一の図である。
図１０は、本発明の第一の実施形態による検品処理を説明する第二の図である。
図１１は、本発明の第一の実施形態による検品処理を説明する第三の図である。
図１２は、本発明の第一の実施形態による検品処理を説明する第四の図である。
図８は、ステップＳ２１のマスタ登録処理を詳細に説明する図である。
まず、商品データ登録部１０９が検品データをカウントする変数Ｎを初期化し、Ｎに１を設定する（ステップＳ３１）。商品データ登録部１０９は、Ｎ回目の検品処理のステップＳ２０で登録した検品データと検品対象画像・重量データを検品データ格納部１１６から読み出して取得する（ステップＳ３２）。今回はＮ＝１なので、商品データ登録部１０９は、図５で例示した１回目の検品データ、検品対象画像・重量データを取得する。
FIG. 8 is a flowchart showing an example of a master registration process of the inspection processing apparatus according to the first embodiment of the present invention.
FIG. 9 is a first diagram illustrating inspection processing according to the first embodiment of the present invention.
FIG. 10 is a second diagram illustrating the inspection processing according to the first embodiment of the present invention.
FIG. 11 is a third diagram for explaining the inspection processing according to the first embodiment of the present invention.
FIG. 12 is a fourth diagram for explaining the inspection processing according to the first embodiment of the present invention.
FIG. 8 is a diagram for explaining the master registration process in step S21 in detail.
First, the product
次に、商品データ登録部１０９は、１回目の検品データに目視による検品結果が１件でも含まれているかどうかを判定する（ステップＳ３３）。目視による検品結果が１件でも含まれているかどうかとは、図４で目視検品画面にて検品を行った商品が含まれているかどうかである。例えば、商品データ登録部１０９は、検品データと目視による検品を行ったことを示す情報が対応付けて検品データ格納部１１６に記録されている場合、目視による検品結果が１件でも含まれていると判定する。Ｎ件目の検品データが目視による検品を含まない場合（ステップＳ３３；Ｎｏ）ステップＳ３７の判定にすすむ。Ｎ件目の検品データが目視による検品結果が含まれている場合（ステップＳ３３；Ｙｅｓ）、商品データ登録部１０９は、画像抽出部１１１に画像の切り出しを指示する。画像抽出部１１１は、読み出した検品対象画像において商品画像の切り出しを行う（ステップＳ３４）。上述のとおり重量計測器３００には、例えば、格子状の模様が描かれている。画像抽出部１１１は、この既知の背景模様を利用して、背景差分法等の画像処理により、商品の候補となる一まとまりの物体が写った部分の画像（商品画像）を切り出す。Ｎ＝１の場合、図９（ａ）の左図が、切り出し後の状態の例を示している。図９（ａ）の左図は、画像抽出部１１１による切り出し後、１１、１２、１３、１４の符号が付された商品画像が切り出されたことを示している。なお、ここで、同じ商品Ａを撮像した画像であっても商品Ａが立体形状をしている場合など、商品Ａのどの面が上向きになるように置くかで、商品画像は異なるが、以下の説明においては、同じ検品対象商品については同じ面が撮影されているものとする。
Next, the product
次に、商品データ登録部１０９は、画像抽出部１１１が切り出した各商品画像の特徴量を計算するよう特徴量計算部１０６に指示する。特徴量計算部１０６は、切り出した各商品画像に対して特徴量を計算し（ステップＳ３５）、その値を商品データ登録部１０９に出力する。商品データ登録部１０９は、特徴量を各商品画像と対応付けてメモリに記録する。例えば、図９（ａ）の切り出し画像「１１」の特徴量が「ＡＡＡ」であれば、商品データ登録部１０９は、「１１」と「ＡＡＡ」を対応付けてメモリに記録する。
Next, the product
次に、商品データ登録部１０９は、商品重量計算部１１４に方程式の作成を指示する。商品重量計算部１１４は、Ｎ回目の検品データとＮ回目の重量データとを用いて、重量データと検品データの関係を数式化する（ステップＳ３６）。例えば、図１１（ａ）は、１回目の検品データと重量データを示した図である。図１１（ａ）のデータから検品データと重量データとの関係を求めると、Ｗａ（商品Ａの単位重量）×２（個）＋Ｗｂ（商品Ｂの単位重量）×１（個）＋Ｗｃ（商品Ｃの単位重量）×１（個）＝４５０（総重量）となる。商品重量計算部１１４は、このような方程式（図１２（ａ）の出荷伝票１の行）を生成しメモリに記録する。
Next, the product
次に、商品データ登録部１０９は、変数Ｎが検品データ格納部１１６に記録済みの検品データの個数と等しいかどうかを判定する（ステップＳ３７）。変数Ｎが記録済みの検品データの個数と等しくない場合（ステップＳ３７；Ｎｏ）、商品データ登録部１０９は、変数Ｎに１を加算し（ステップＳ３８）、ステップＳ３２からの処理を繰り返す。具体的には、Ｎ＝２の「出荷伝票２」の検品データに対して、画像抽出部１１１は、図９（ｂ）の左図のように商品画像２１〜２４を切り出す。また、特徴量計算部１０６は、商品画像２１〜２４それぞれの特徴量を計算する。また、商品重量計算部１１４は、図１１（ｂ）のデータから方程式「Ｗａ×２＋Ｗｃ×２＝３００」（図１２（ａ）の出荷伝票２）を生成する。記録済みの検品データの個数が２の場合、ステップＳ３９の処理に進む。記録済みの検品データの個数が３の場合は、商品データ登録部１０９は、変数Ｎに１を加算し、続いてＮ＝３の「出荷伝票３」の検品データに対して同様の処理を行う。例えば、商品重量計算部１１４は、図１１（ｃ）のデータから方程式「Ｗｂ×２＋Ｗｃ×１＝４５０」（図１２（ａ）の出荷伝票３）を生成する。
Next, the product
変数Ｎが記録済みの検品データの個数と等しい場合（ステップＳ３７；Ｙｅｓ）、商品データ登録部１０９は、切り出した画像どうしの照合を、画像分析部１１２に指示する。画像分析部１１２は、画像抽出部１１１によって切り出された商品画像同士を照合する（ステップＳ３９）。具体的には、画像分析部１１２は、ステップＳ３２〜ステップＳ３７で得られた全ての商品画像のそれぞれについて、他の商品画像と特徴量を比較する照合処理を行う。ここでは、Ｎ＝２（つまり、現在、出荷伝票１および出荷伝票２の検品データが検品データ格納部１１６に記録済み）であるとして説明を行う。図９の商品画像１１について、商品画像１１と商品画像１２、１３、１４、２１、２２、２３、２４のそれぞれを照合する。同様に商品画像１２と商品画像１１、１３、１４、２１、２２、２３、２４のそれぞれを照合する。他の商品画像１３、１４、２１、２２、２３、２４についても同様である。
When the variable N is equal to the number of recorded inspection data (step S37; Yes), the product
次に、画像分析部１１２は、全ての切り出し画像のうち、特徴量が一致する商品の画像があるかどうかを判定する（ステップＳ４０）。画像分析部１１２は、例えば、商品画像１１の特徴量と商品画像１４の特徴量との類似度が所定の範囲内にあれば、両者は一致する商品の画像であると判定する。図１０（ａ）は、画像分析部１１２による照合結果の一例を示している。図１０（ａ）によれば、照合処理の結果、画像分析部１１２は、商品画像１１、商品画像１４、商品画像２２、商品画像２３は一致する商品の画像であると判定したことを示している。同様に、画像分析部１１２は、商品画像１２、商品画像２１、商品画像２４は一致する商品の画像、商品画像１４、商品画像２２、商品画像２３は一致する商品の画像、商品画像２１、商品画像２４は一致する商品の画像、商品画像２２、商品画像２３は一致する商品の画像であると判定されたことを示している。特徴量が一致する商品の画像がある場合（ステップＳ４０；Ｙｅｓ）、画像分析部１１２は、照合を行った検品対象画像に含まれる商品画像の種類別の数量を、検品対象画像別（検品データ別）に算出する。図１０（ａ）の例では、画像分析部１１２は、商品画像１１と商品画像１４が一致することから、出荷伝票１の検品対象画像には、商品画像１１と同じ種類の商品画像が２つ（商品画像１１と商品画像１４）含まれることを算出する。また、画像分析部１１２は、商品画像１２と同じ種類の商品画像が１つ（商品画像１２自身）、商品画像１３と同じ種類の商品画像が１つ（商品画像１３自身）含まれることを算出する。画像分析部１１２は、同様に出荷伝票２についても、商品画像１１と同じ種類の商品画像が２つ（商品画像２２と商品画像２３）含まれることを算出する。また、画像分析部１１２は、商品画像１２と同じ種類の商品画像が２つ（商品画像２１と商品画像２４）、商品画像１３と同じ種類の商品画像が０個含まれることを算出する。一方、特徴量が一致する商品の画像が無い場合（ステップＳ４０；Ｎｏ）、ステップＳ４３の処理にすすむ。
Next, the
特徴量が一致する商品の画像がある場合、次に商品特定部１１３は、特徴量が一致した画像の個数と伝票の検品数量が一致する商品があるかどうかを判定する（ステップＳ４１）。具体的には、商品特定部１１３は、画像分析部１１２による検品対象画像別（検品データ別）の商品画像の種類別の数量と、検品データに含まれる検品商品の検品数量とを比較して、商品画像の各々が示す検品商品を特定する。図１０（ｂ）を用いてより詳しく説明する。図１０（ｂ）の「一致画像」欄、「出荷伝票１」欄、「出荷伝票２」欄は、画像分析部１１２による算出結果を表にまとめたものである。商品特定部１１３は、この検品対象画像別の商品画像の種類別の数量（図１０（ｂ））と、出荷伝票１（図９（ａ）の右図）および出荷伝票２（図９（ｂ）の右図）とを比較する。図１０（ｂ）によると、例えば、商品画像１１、１４、２２、２３は同種、かつ出荷伝票１に２個、出荷伝票２に２個含まれることが分かる。そのような商品は商品Ａのみであるため、商品特定部１１３は、商品画像１１等が示すのは商品Ａであると特定する。また、商品画像１２、２１、２４については、出荷伝票１に１個、出荷伝票２に２個含まれる商品は、検品データに照らし合わせると商品Ｃであるため、商品特定部１１３は、商品画像１２等が示すのは商品Ｃであると特定する。また、商品画像１３について、出荷伝票１に１個、出荷伝票２に０個含まれる商品は、検品データに照らし合わせると商品Ｂであるため、商品特定部１１３は、商品画像１３は商品Ｂを撮像した画像であると特定する。特定できた商品がある場合、商品特定部１１３は、特徴量が一致した画像の個数と伝票の検品数量が一致する商品があると判定する。一致する商品があると判定した場合（ステップＳ４１）、商品特定部１１３は、特定した結果を商品データ登録部１０９に出力する。続いて、商品データ登録部１０９は、検品対象画像に含まれる商品画像の数量と検品データに含まれる検品数量が一致した商品画像を、その商品と対応付けて商品データ格納部１１７に登録する（ステップＳ４２）。このように本実施形態によれば、事前に画像をマスタ登録しなくとも、検品作業の流れの中で自動的に商品の画像をマスタ登録することができる。
なお、一致する商品が一つもないと判定した場合（ステップＳ４１；Ｎｏ）、ステップＳ４３へ進む。
If there is an image of the product with the matching feature quantity, the
In addition, when it determines with there being no matching goods (step S41; No), it progresses to step S43.
次に、商品重量計算部１１４が、ステップＳ３６で生成した全ての方程式を連立させて解く（ステップＳ４３）。ここでは、Ｎ＝３（つまり、現在、出荷伝票１、出荷伝票２、出荷伝票３の検品データが検品データ格納部１１６に記録済み）であるとして説明を行う。図１２（ａ）に商品重量計算部１１４が生成した方程式を示す。なお、図中、Ｗａは商品Ａの単位重量、Ｗｂは商品Ｂの単位重量、Ｗｃは商品Ｃの単位重量を示している。ここで、求める変数は３種類（Ｗａ、Ｗｂ、Ｗｃ）、方程式が３つあるので、この連立方程式を解くことにより、Ｗａ、Ｗｂ、Ｗｃを求めることができる。実際にこれらを解くと、商品Ａの重量は１００、商品Ｂの重量は２００、商品Ｃの重量は５０となる。図１２（ｂ）に連立方程式を解いて得た各商品Ａ〜Ｃの単位重量を示す。商品重量計算部１１４は、連立方程式の解（単位重量）を商品と対応付けて、商品データ登録部１０９に出力する。また、商品重量計算部１１４は、連立方程式が解けない場合は、解なしなどの情報を商品データ登録部１０９に出力する。
Next, the product
商品データ登録部１０９は、商品重量計算部１１４から取得した情報に基づいて、連立方程式の解があるかどうかを判定する（ステップＳ４４）。連立方程式の解がある場合（ステップＳ４４；Ｙｅｓ）、商品データ登録部１０９は、商品重量計算部１１４から取得した単位重量を、商品と対応付けて商品データ格納部１１７に登録する（ステップＳ４５）。連立方程式の解がない場合（ステップＳ４４；Ｎｏ）、マスタ登録処理を終了する。このように本実施形態によれば、事前に単位重量をマスタ登録しなくとも、検品作業の流れの中で自動的に単位重量をマスタ登録することができる。
なお、上記の例では、商品画像の登録については、出荷伝票２の検品処理後のマスタ登録処理において商品画像の登録が可能である。また、単位重量の登録については、出荷伝票３の検品処理後のマスタ登録処理において可能となる。つまり、商品画像のマスタ登録処理と単位重量のマスタ登録処理は独立したタイミングで行われる。また、上記の説明では、ステップＳ３２において、検品データ格納部１１６に格納されている全ての検品データを読み出して処理を行っているが、最後に行った検品処理で用いた検品データに含まれる検品対象商品を明細情報に含む検品データだけを読み出してもよい。
The product
In the above example, as for the registration of the product image, the product image can be registered in the master registration process after the inspection process of the
本実施形態の検品処理装置によれば、照合部１１５が、商品データ格納部１１７に記録されているマスタ画像を用いて対象商品を撮像した画像に写る商品を特定できなかった場合でも、検品作業を何度か繰り返すうちに記録された検品データと検品対象画像に基づいて、検品商品と、その検品商品のマスタ画像とを対応付けて自動的に商品データ格納部１１７に登録することができる。また、検品作業を何度か繰り返すうちに記録された検品データと重量データに基づいて、検品商品と、その検品商品の単位重量とを対応付けて自動的に商品データ格納部１１７に登録することができる。従って、商品のマスタ画像および単位重量を予めマスタ登録する必要がなく、マスタ登録の手間を減らすことができる。また、検品時の撮像画像を用いてマスタ登録するため、実際に上を向けて置かれる側面のみのマスタ画像が登録され、そうでない側面の画像は登録されることはない。したがって、照合対象の画像数が実際に検品作業で用いられる側面のみに限定されるため、照合時間を短縮することができる。
According to the inspection processing apparatus of the present embodiment, even when the
＜第二の実施形態＞
以下、本発明の第二の実施形態による検品処理装置を図１３〜図１７を参照して説明する。
検品対象商品が多い場合など、重量計測器３００におかれる検品対象商品同士が重なることがある。そのような場合、商品画像を商品ごとに個別に切り出すことが困難であるため、第一の実施形態と同様の処理で商品画像を、自動的にマスタ登録することは難しい。第二の実施形態では、商品同士が重なって置かれた場合でも、重なった商品の画像を分割して、それぞれの商品画像を商品データ格納部１１７に登録する。
図１３は、本発明の第二の実施形態による検品処理装置の構成の一例を示すブロック図である。
図１３で示すように、第二の実施形態による検品処理装置１００Ａは、第一の実施形態における表示情報出力部１０５、商品データ登録部１０９に代えて、表示情報出力部１０５Ａ、商品データ登録部１０９Ａを備えている点で第一の実施形態と異なる。表示情報出力部１０５Ａは、作業員による検品商品と検品対象画像における当該検品商品が写った部分の対応付け操作の入力手段を提供する。商品データ登録部１０９Ａは、商品画像決定部１１０Ａと、商品重量計算部１１４とを備える。商品画像決定部１１０Ａは、第一の実施形態と同様に画像抽出部１１１および画像分析部１１２および商品特定部１１３を備え、さらに本実施形態の特徴である部分画像選択部１１８を備えている。他の構成は、第一の実施形態と同様である。
<Second Embodiment>
The inspection processing apparatus according to the second embodiment of the present invention will be described below with reference to FIGS.
When there are many inspection target products, the inspection target products placed in the
FIG. 13 is a block diagram showing an example of the configuration of the inspection processing apparatus according to the second embodiment of the present invention.
As shown in FIG. 13, the
部分画像選択部１１８は、検品対象画像において、切り出された一まとまりの画像（商品画像）の数が、検品データに含まれる検品数量の合計に比べ小さい場合、検品データに含まれる検品商品とその検品商品が写った画像の部分とを対応付ける操作に基づいて、一まとまりの画像のうち複数の商品を含む画像であって、ある一つの検品商品（例えば、商品Ａ）を含む画像と、同じ検品商品（商品Ａ）を含む他の一まとまりの画像とを照合し、照合の結果、特徴量が一致する範囲の画像を、当該検品商品（商品Ａ）の部分画像として選択する。
また、商品データ登録部１０９Ａは、部分画像選択部１１８が選択した範囲の画像を、対応付けられた商品および当該画像が不完全であることを示す情報と対応付けて商品データ格納部１１７に登録する。また、商品データ登録部１０９Ａは、部分画像が登録されたある一つの商品（例えば、商品Ａ）について、当該商品の輪郭が切り出せた一まとまりの画像（商品Ａ単体の商品画像）が得られた場合、その画像を部分画像の代わりに登録する。
The partial image selection unit 118, when the number of cut-out images (product images) in the inspection target image is smaller than the total of the inspection quantities included in the inspection data, the inspection product included in the inspection data and the inspection product Based on the operation of associating the image portion in which the inspection product is shown, the same inspection with an image including a plurality of products among a group of images and including an inspection product (for example, product A) The image is collated with another group of images including the product (product A), and as a result of the collation, an image in a range where the feature amounts match is selected as a partial image of the inspection product (product A).
Further, the product
次に図１４〜図１６を用いて、第二の実施形態に固有の処理について説明する。
図１４は、本発明の第二の実施形態による検品確認画面の一例を示す図である。
図１４に示すのは「出荷伝票４」について検品処理を行った場合に表示される検品確認画面の例である。「出荷伝票４」には、商品Ａが２つ、商品Ｂが１つ、商品Ｃが３つ含まれている。また、商品Ａ、商品Ｂ、商品Ｃは、商品データ格納部１１７に登録されていないとする。その為、画像照合結果表示欄６３には「画像ＮＧ」、重量比較結果表示欄６４に「重量ＮＧ」が表示されている。この「出荷伝票４」についての検品作業において、商品Ａ〜商品Ｃは、重量計測器３００上に、検品対象画像表示欄６２に示すように置かれている。つまり、１つの商品Ａの一部と商品Ｃが重なるように置かれ、もう一つの商品Ａの一部と商品Ｂが重なるように置かれている。このように商品同士が重なるように置かれた場合、画像抽出部１１１が商品画像の切り出しを行うと、重なるように置かれた商品Ａと商品Ｃは一つのまとまった商品画像として切り出される（破線で囲った商品画像４１）。また、重なるように置かれた商品Ａと商品Ｂは一つのまとまった商品画像として切り出される（破線で囲った商品画像４４）。つまり、実際には、６個の商品が重量計測器３００に置かれているところ、背景差分法等による画像処理では、４つの商品しか切り出すことができない。そこで、本実施形態では、部分画像選択部１１８が、重なって置かれた商品の画像を商品ごとに分割して、半自動的なマスタ登録処理を実現する。より具体的には、目視検品画面（図４のステップＳ１８）において、入力受付部１０４は、作業員による検品データに含まれる検品商品と、検品対象画像におけるその検品商品が写った画像部分を対応付ける操作を受け付ける。部分画像選択部１１８は、この操作に基づいて、商品画像の分割を行う。なお、本実施形態において目視検品画面は、検品対象画像を表示し、検品対象画像のうちある商品が写った画像部分とその商品とを対応付ける操作の入力手段を有していれば、任意のものであって構わないが、ここでは、図１４に例示した検品確認画面と同様の画面であるとして以下の説明を行う。
Next, processing unique to the second embodiment will be described with reference to FIGS.
FIG. 14 is a diagram showing an example of an inspection confirmation screen according to the second embodiment of the present invention.
FIG. 14 shows an example of an inspection confirmation screen displayed when an inspection process is performed on “shipment slip 4”. “Shipping slip 4” includes two products A, one product B, and three products C. Further, it is assumed that the product A, the product B, and the product C are not registered in the product
図１５は、本発明の第二の実施形態によるマスタ登録処理を説明する第一の図である。
図１５の左図は、作業員による商品とその商品が写った画像部分とを対応付ける操作を行った後の検品対象画像表示欄６２の一例である。図１５の右図は、「出荷伝票４」の明細データである。作業員は、例えば、図１４の検品確認画面と同様の目視確認画面において、検品データ表示欄６１の１行目をマウス等で選択する操作を行い、さらに検品対象画像表示欄６２に写った商品Ａをマウス等で選択する（図１５の点４１Ａ、４４Ａ）操作を行う。そして、作業員は、指さし確認ボタン６６を押下する。これが、検品データに含まれる検品商品（商品Ａ）と検品対象画像におけるその検品商品（商品Ａ）が写った画像部分を対応付ける操作の例である。作業員がこの対応付け操作を行うと、入力受付部１０４はこの操作を受け付け、商品Ａの識別情報と作業員が選択した画像部分の座標情報とを、制御判定部１０１を介して、商品データ登録部１０９Ａに出力する。商品データ登録部１０９Ａでは、部分画像選択部１１８がこれらの情報を取得する。また、部分画像選択部１１８は、画像抽出部１１１による切り出し後の商品画像４１、商品画像４４を取得する。また、部分画像選択部１１８は、特徴量計算部１０６が計算した商品画像４１、商品画像４４の特徴量を取得する。部分画像選択部１１８は、これらの情報を用いて、重なり合った商品の画像を分割する処理を行う。なお、同様に作業員は、商品Ｂ、商品Ｃについても、商品とその商品が写った画像部分を対応付ける操作を行ってもよい。その場合、部分画像選択部１１８は、商品Ｂの識別情報と商品Ｂの座標情報、商品Ｃの識別情報と商品Ｃの座標情報を取得する。
FIG. 15 is a first diagram illustrating a master registration process according to the second embodiment of the present invention.
The left figure of FIG. 15 is an example of the inspection object
図１６は、本発明の第二の実施形態によるマスタ登録処理を説明する第二の図である。
図１６を用いて部分画像選択部１１８の切り出し処理について説明する。部分画像選択部１１８は、商品画像４１と商品画像４４に対して、移動、回転などの画像処理を行いつつ両画像を照合し、両画像の特徴量が重なり合う位置関係を探す。すると、図１６（ａ）のように、商品Ａが写っている領域が部分的に一致する位置関係が見つかる。部分画像選択部１１８は、図１６（ａ）に例示する特徴量が一致するような位置関係で重ね合わせた画像から、特徴量が一致する範囲の領域のみを切り出す。すると、部分画像選択部１１８は、図１６（ｂ）に例示する商品Ａの部分的な画像を得る。このとき、図１６（ａ）のように商品Ａが他商品の下に一部隠れていた場合、商品Ａの画像の中に他の商品が写りこむことがある。従って、部分画像選択部１１８は、図１６（ａ）に例示する画像からでは、商品Ａの正確な輪郭を認識できず、部分的な画像しか得られない場合がある。しかし、切り出された部分的な画像の中に、商品Ａの特徴量が十分含まれていれば、検品処理において商品Ａの照合処理を行うことができる。そこで、本実施形態では、部分画像選択部１１８が切り出した部分的な画像（部分画像）を商品Ａの画像として、商品データ格納部１１７に登録する。
FIG. 16 is a second diagram illustrating the master registration process according to the second embodiment of the present invention.
The clipping process of the partial image selection unit 118 will be described with reference to FIG. The partial image selection unit 118 collates both images while performing image processing such as movement and rotation on the
次に図１７を用いて本実施形態のマスタ登録処理について説明する。前提として、図４のステップＳ１７にてＮｏの場合、目視検品画面（例えば、図１４の検品確認画面と同様であってよい）において、入力受付部１０４は、作業員による検品商品とその検品商品が写った画像部分とを対応付ける操作を受け付ける。入力受付部１０４は、対応付けられた検品商品の識別情報と作業員が選択した画像部分の座標情報とを、制御判定部１０１へ出力する。制御判定部１０１は、これらの情報をメモリに記録する。また、ステップＳ２０において、制御判定部１０１は、検品対象画像と、重量データと、検品データと、商品の識別情報と、作業員が選択した画像部分の座標情報とを対応付けて検品データ格納部１１６に記録する。
なお、表示情報出力部１０５Ａが目視検品画面を出力する際、例えば、画像抽出部１１１が検品対象画像から商品の切り出し処理を行い、商品データ登録部１０９Ａが、検品データに含まれる検品数量の合計と切り出された商品画像数とを比較して、両者の数量が一致しない場合、表示情報出力部１０５Ａに「重ねて置かれた商品が存在するので、検品商品とその検品商品が写った画像部分を対応付ける操作を行ってください」等のメッセージを表示して、作業員に対応付け操作を促してもよい。
Next, master registration processing according to the present embodiment will be described with reference to FIG. As a premise, in the case of No in step S17 in FIG. 4, in the visual inspection screen (for example, the same as the inspection confirmation screen in FIG. 14), the
Note that when the display
図１７は、本発明の第二の実施形態による検品処理装置のマスタ登録処理の一例を示すフローチャートである。
図８と同様の処理については簡単に説明を行う。まず、商品データ登録部１０９Ａが変数Ｎに１を設定する（ステップＳ３１）。商品データ登録部１０９Ａは、Ｎ回目に登録した検品データと検品対象画像・重量データを検品データ格納部１１６から読み出して取得する（ステップＳ３２）。次に、商品データ登録部１０９Ａは、Ｎ回目の検品データに目視による検品結果が１件でも含まれているかどうかを判定する（ステップＳ３３）。Ｎ件目の検品データが目視による検品を含まない場合（ステップＳ３３；Ｎｏ）ステップＳ３７の判定にすすむ。目視による検品結果が含まれている場合（ステップＳ３３；Ｙｅｓ）、画像抽出部１１１は、検品対象画像について商品画像の切り出しを行う（ステップＳ３４）。次に特徴量計算部１０６は、切り出した各商品画像に対して特徴量を計算する（ステップＳ３５）。商品データ登録部１０９Ａは、画像抽出部１１１が切り出した商品画像、その商品画像の特徴量を取得する。次に商品データ登録部１０９Ａは、切り出された商品画像の数とＮ回目の検品データに含まれる全検品商品の個数とが一致するかどうか判定する（ステップＳ３５１）。一致する場合（ステップＳ３５１；Ｙｅｓ）、ステップＳ３６へ進む。
FIG. 17 is a flowchart showing an example of a master registration process of the inspection processing apparatus according to the second embodiment of the present invention.
A process similar to that of FIG. 8 will be briefly described. First, the product
一致しない場合（ステップＳ３５１；Ｎｏ）、制御判定部１０１は、検品データ格納部１１６に記録された、商品の識別情報とその商品の画像部分の座標情報とを読み出して（ステップＳ３５２）、これらの情報を、商品データ登録部１０９Ａへ出力する。次に商品データ登録部１０９Ａでは部分画像選択部１１８が、部分画像を切り出す処理を行う（ステップＳ３５３）。具体的には、図１６を用いて説明したように、部分画像選択部１１８が、同じ商品を含む複数の画像を、その画像が含む特徴量の分布が一致するように重ね合わせる画像処理を行う。そして、部分画像選択部１１８は、特徴量が一致する部分の範囲のみを切り出す（図１６の例では商品Ａ）。なお、商品Ａのように重なって写った商品が複数種類ある場合、部分画像選択部１１８は、それら複数の種類の商品のそれぞれについて部分画像の切り出し処理を行う。また、部分画像選択部１１８は、切り出された画像以外の部分の画像（図１５の例では、商品画像４１の商品Ｃが写った部分、商品画像４４の商品Ｂが写った部分）についても複数商品を含んだ商品画像からの切り出しを行う。ステップＳ３５３の処理では、部分画像選択部１１８は、商品Ａの特徴量が含まれる２つの画像と、商品Ａを切り出した後の商品Ｂの特徴量を含む画像１つと、商品Ｃの特徴量を含む画像１つとを得る。
If they do not match (step S351; No), the
次に、商品重量計算部１１４は、Ｎ回目の検品データとそれに対応する重量データとを用いて、重量データと検品データの関係を数式化する（ステップＳ３６）。次に、商品データ登録部１０９Ａは、変数Ｎが記録済みの検品データの個数と等しいかどうかを判定する（ステップＳ３７）。変数Ｎが記録済みの検品データの個数と等しくない場合（ステップＳ３７；Ｎｏ）、商品データ登録部１０９Ａは、変数Ｎに１を加算し（ステップＳ３８）、ステップＳ３２からの処理を繰り返す。変数Ｎが記録済みの検品データの個数と等しい場合（ステップＳ３７；Ｙｅｓ）、画像分析部１１２は、画像抽出部１１１、部分画像選択部１１８による切り出し画像同士（一つの商品が写った商品画像と、複数の商品が写った商品画像から切り出した部分画像が含まれる）を照合する（ステップＳ３９）。図１５のような検品対象画像が得られた場合、画像分析部１１２は、画像抽出部１１１が切り出した商品Ｃの画像２つ、部分画像選択部１１８が切り出した商品Ａの画像２つ、部分画像選択部１１８が切り出した残りの商品Ｂの画像１つと商品Ｃの画像１つ、及び、他の出荷伝票の検品対象画像から切り出された商品画像を用い、それらの中で互いに特徴量が一致する画像があるかどうか総当たりで照合処理を行う。次に、画像分析部１１２は、全ての切り出し画像のうち、一致する商品の画像があるかどうかを判定する（ステップＳ４０）。一致する商品の画像が無い場合（ステップＳ４０；Ｎｏ）、ステップＳ４３の処理に進む。
Next, the product
一致する商品の画像がある場合（ステップＳ４０；Ｙｅｓ）、画像分析部１１２は、照合を行った検品対象画像に含まれる商品画像および部分画像の種類別の数量を、検品対象画像別に算出する。次に商品特定部１１３は、特徴量が一致した画像の個数と検品データの検品数量が一致する商品があるかどうかを判定する（ステップＳ４１）。一致する商品がある場合（ステップＳ４１；Ｙｅｓ）、商品データ登録部１０９Ａは、検品対象画像に含まれる商品画像等の数量と検品データに含まれる検品数量が一致した商品の商品画像や部分画像を、その商品と対応付けて商品データ格納部１１７に登録する（ステップＳ４２）。このとき、登録する画像が部分画像であって、商品の輪郭が不明確な商品については、商品データ登録部１０９Ａは、画像が不完全であることを示す情報と対応付けて登録する。なお、特徴量が一致した画像の個数と検品データの検品数量が一致する商品が無い場合（ステップＳ４１；Ｎｏ）、ステップＳ４３の処理に進む。
When there is a matching product image (step S40; Yes), the
次に、商品重量計算部１１４が、ステップＳ３６で生成した全ての方程式を連立させて解く（ステップＳ４３）。連立方程式の解がある場合（ステップＳ４４；Ｙｅｓ）、商品データ登録部１０９Ａは、商品重量計算部１１４が計算した単位重量を、商品と対応付けて商品データ格納部１１７に登録する（ステップＳ４５）。連立方程式の解がない場合（ステップＳ４４；Ｎｏ）、ステップＳ４６に進む。
次に商品データ登録部１０９Ａは、部分画像が登録された商品について、輪郭が含まれた画像が得られるかどうかを判定する（ステップＳ４６）。部分画像が登録された商品とは、例えば上記の「出荷伝票４」の商品Ａのような商品のことである。ここで、「出荷伝票４」の次に「出荷伝票５」の検品処理を行ったとする。その場合、商品データ登録部１０９Ａは、出荷伝票５の検品データに含まれる商品について、商品データ格納部１１７を検索し、不完全な画像であることを示す情報と対応付けて登録されたマスタ画像が登録されているかどうかを確認する。例えば、「出荷伝票５」の検品データに商品Ａが含まれていれば、商品データ登録部１０９Ａは、商品データ格納部１１７を検索し、検品データに部分画像が登録された商品が含まれていると判定する。続いて、商品データ登録部１０９Ａは、「出荷伝票５」の検品対象画像に商品Ａの輪郭がわかる形態で写っているかどうか判定する。例えば、画像抽出部１１１が検品対象画像から全ての商品を切り出し、商品データ登録部１０９Ａが切り出された商品画像数と検品データに含まれる検品数量の合計が一致するかどうかを判定する。一致する場合、画像分析部１１２が、画像抽出部１１１によって切り出された各画像のそれぞれと、商品データ格納部１１７に登録された商品Ａの部分画像とを照合する。照合の結果、商品画像の中に、商品Ａの部分画像と特徴量が一致する画像が見つかれば、その商品画像は商品Ａの特徴量が含まれた商品Ａの輪郭が分かる画像であると考えられる。この場合、商品データ登録部１０９Ａは、輪郭が含まれた画像が得られると判定する。輪郭が含まれた画像が得られると判定した場合（ステップＳ４６；Ｙｅｓ）、画像分析部１１２は輪郭が含まれた商品画像を、商品データ登録部１０９Ａへ出力する。商品データ登録部１０９Ａは、その商品画像で登録済みの商品Ａの部分画像を更新する（ステップＳ４７）。例えば、商品データ登録部１０９Ａは、画像分析部１１２が照合の結果一致すると判定した商品Ａの商品画像を、商品Ａと対応付けて商品データ格納部１１７に登録する。また、登録済みの商品Ａの部分画像と商品Ａに対応付けられた不完全な画像であることを示す情報とを商品データ格納部１１７から削除する。輪郭が含まれた画像が得られないと判定した場合（ステップＳ４６；Ｎｏ）、マスタ登録処理を終了する。
Next, the product
Next, the product
本実施形態によれば、第一の実施形態の効果に加えて、商品同士が重なるように置かれた状況下においても、事前に画像をマスタ登録せずに、検品作業の流れの中で半自動的にマスタ画像を商品データ格納部１１７に登録することができる。また、検品作業を続ける中で、部分画像を登録した検品商品について、重なりのない状態で撮像された商品画像が検品対象画像に含まれる場合、マスタ画像をその商品画像に差し替える処理を行えば、他商品と重なった状態で登録されたマスタ画像を是正することができ、より照合の精度を高めることができる。
According to this embodiment, in addition to the effects of the first embodiment, even in the situation where the products are placed so as to overlap each other, the image is not registered in advance as a master, but semi-automatically in the inspection work flow In particular, the master image can be registered in the product
＜第三の実施形態＞
以下、本発明の第三の実施形態による検品処理の一例を、図１８を参照して説明する。
第三の実施形態では、商品の画像が商品データ格納部１１７に登録されていない場合、作業員の指さし確認操作によって、その商品の商品画像を商品データ格納部１１７に登録することができる。指さし確認操作とは、検品商品とその商品が写った画像部分を対応付ける操作である。第三の実施形態の構成は、例えば、第二実施形態の検品処理装置１００Ａと同様である。次に図１８を用いて、本実施形態の検品処理および商品画像の登録処理について説明する。
<Third embodiment>
Hereinafter, an example of inspection processing according to the third embodiment of the present invention will be described with reference to FIG.
In the third embodiment, when an image of a product is not registered in the product
図１８は、本発明の第三の実施形態による検品処理装置を用いた検品処理の一例を示すフローチャートである。
図１９は、本発明の第三の実施形態による検品確認画面の一例を示す図である。
第一実施形態の図４と同様の処理については簡単に説明する。
前提として検品データが検品処理装置１００Ａに入力されたとする。すると、目標総重量計算部１０８は、検品データに含まれる検品商品の単位重量、検品数量を用いて目標総重量を計算する（ステップＳ１１）。次に、作業員は、検品対象商品６００を重量計測器３００に置く。すると、重量計測器３００が重量を測定し、重量取得部１０２は、重量データを取得する（ステップＳ１２）。次に撮像装置２００が検品対象商品６００の検品対象画像を撮像し、商品画像取得部１０３がその検品対象画像を取得する（ステップＳ１３）。次に特徴量計算部１０６は、検品対象画像の特徴量を計算する（ステップＳ１４）。次に照合部１１５は、商品データ格納部１１７に登録されたマスタ画像を用いて検品対象画像に検品商品が写っているかどうかを検索する（ステップＳ１５）。次に表示情報出力部１０５Ａは、図１９で例示する検品確認画面の画像を生成し、表示装置４００に表示する（ステップＳ１６）。
FIG. 18 is a flowchart showing an example of inspection processing using the inspection processing apparatus according to the third embodiment of the present invention.
FIG. 19 is a diagram showing an example of an inspection confirmation screen according to the third embodiment of the present invention.
Processing similar to that of FIG. 4 of the first embodiment will be briefly described.
Assuming that inspection data is input to the
次に作業員は、商品を全て特定できたかどうかを確認する（ステップＳ１７）。例えば、特定できなかった場合（ステップＳ１７；Ｎｏ）、表示情報出力部１０５Ａは目視確認画面（例えば、図１９で例示する検品確認画面と同様であってよい）を表示する（ステップＳ１８）。作業員は、目視確認画面上で、目視による検品が完了するまで重量計測器３００に載せる商品の調整を行う。検品データに含まれる検品商品を過不足なく重量計測器３００に置くと、作業員は、未登録商品の登録操作を行う。目視確認画面が図１９で例示する画面と同様であるとして登録操作の説明を行う。まず、作業員は、検品商品とその検品商品が写った画像部分を対応付ける操作を行う。例えば、作業員は、検品データ表示欄６１の１行目を選択する操作を行い、さらに、検品対象画像表示欄６２の商品Ａが写った部分２箇所を選択する操作を行う。そして、作業員は、指さし確認ボタン６６を押下する。作業員は、商品Ｂ、商品Ｃについても同様の操作を行う。入力受付部１０４は、作業員による検品商品とその検品商品が写った画像部分を対応付ける操作を受け付ける（ステップＳ２２）。入力受付部１０４は、対応付けられた検品商品の識別情報と作業員が選択した画像部分の座標情報を、制御判定部１０１を介して、商品データ登録部１０９Ａへ出力する。次に商品データ登録部１０９Ａが、商品の画像を商品データ格納部１１７に登録する（ステップＳ２３）。具体的には、画像抽出部１１１が検品対象画像から各商品画像を切り出す処理を行い、商品データ登録部１０９Ａが、切り出された商品画像のうち、作業員が選択した部分の座標情報を含む商品画像を、作業員がその商品画像に対応付けた検品商品と対応付けて商品データ格納部１１７に登録する。これにより、検品終了となる。
Next, the worker checks whether or not all the products have been specified (step S17). For example, when it cannot be specified (step S17; No), the display
一方、商品が特定できている場合（ステップＳ１７；Ｙｅｓ）、作業員は、総重量誤差は許容範囲内かどうか確認する（ステップＳ１９）。許容範囲内ではなかった場合（ステップＳ１９；Ｎｏ）、作業員は、商品の過不足を調整する。作業員の調整作業により総重量誤差が許容範囲内となると（ステップＳ１９）、検品終了となる。検品終了となると、制御判定部１０１は、検品対象画像と、重量データと、検品データとを対応付けて検品データ格納部１１６に記録する（ステップＳ２０）。次に検品処理装置１００は、マスタ登録処理を行う（ステップＳ２４）。本実施形態のマスタ処理においては、マスタ画像の登録処理は、作業員の操作によって完了しているので、商品重量計算部１１４が単位重量の算出を行い、商品データ登録部１０９Ａが商品ごとの単位重量を商品データ格納部１１７に登録する。
On the other hand, when the product can be specified (step S17; Yes), the worker checks whether the total weight error is within an allowable range (step S19). When it is not within the allowable range (step S19; No), the worker adjusts the excess or deficiency of the product. When the total weight error falls within the allowable range due to the adjustment work by the worker (step S19), the inspection is finished. When the inspection ends, the
本実施形態によれば、マスタ画像が商品データ格納部１１７に登録されていない検品商品が存在する場合、作業員は、検品作業中に当該検品商品とその検品商品の画像とを対応付ける操作を行うだけでマスタ画像の登録を行うことができる。これによって、マスタ画像の事前登録が不要となり手間を省くことができる。また、目視確認画面において、作業員が、検品対象画像に写る各商品画像と検品データに含まれる検品商品とを指さし確認することによって、検品作業における誤りを低減する効果が期待できる。
According to the present embodiment, when there is an inspection product whose master image is not registered in the product
＜変形例＞
なお、第一の実施形態における商品データ登録部１０９、第二の実施形態における商品データ登録部１０９Ａは、独立した装置として構成し、商品マスタ登録装置として用いることができる。
図２０は、本発明に係る商品マスタ登録装置の構成の一例を示すブロック図である。
図２０に示すように、商品マスタ登録装置１５０は、制御判定部１０１と、入力受付部１０４と、商品データ登録部１０９とを備えている。
商品マスタ登録装置１５０では、入力受付部１０４は、複数の検品データと、それらの検品データに対する検品済みの検品対象画像および重量データとを取得する。商品データ登録部１０９は、例えば、作業員のマスタ登録指示操作などに基づいて、入力受付部１０４が取得したデータを用いて、図８で説明した処理によって、検品データに含まれる商品のマスタ画像、単位重量を求め、それらの情報を商品マスタ１５１に登録する。商品マスタ登録装置１５０によれば、検品作業で得られた検品データ、検品対象画像、重量データを利用して、商品マスタ１５１へのマスタ画像等の登録を行うことができる。
<Modification>
The product
FIG. 20 is a block diagram showing an example of the configuration of the product master registration apparatus according to the present invention.
As illustrated in FIG. 20, the product
In the merchandise
図２１は、本発明の検品処理装置および商品データ登録装置のハードウェア構成の一例を示すブロック図である。
図２１に示す通り、検品処理装置１００、１００Ａは、ＣＰＵ９０１と、メモリ９０２と、ハードディスク等の記憶装置９０３と、ネットワーク接続用の通信ＩＦ９０４（通信インターフェース）とを含む、コンピュータ装置によって実現される。ただし、検品処理装置１００、１００Ａの構成は、図２１に示すコンピュータ装置に限定されない。例えば、検品処理装置１００、１００Ａは、通信ＩＦ９０４を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。商品マスタ登録装置１５０についても同様である。
FIG. 21 is a block diagram illustrating an example of a hardware configuration of the inspection processing apparatus and the commodity data registration apparatus according to the present invention.
As shown in FIG. 21, the
なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置１００、１００Ａ、商品マスタ登録装置１５０は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
Note that the block diagram used in the present embodiment shows functional unit blocks, not hardware unit configurations. These functional blocks are realized by any combination of hardware and software. Further, the
なお、上述の検品処理装置１００、１００Ａ、商品マスタ登録装置１５０は内部にコンピュータを有している。そして、上述した検品処理装置１００、１００Ａ、商品マスタ登録装置１５０の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。 In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
１・・・検品システム
１００・・・検品処理装置
１０１・・・制御判定部
１０２・・・重量取得部
１０３・・・商品画像取得部
１０４・・・入力受付部
１０５、１０５Ａ・・・表示情報出力部
１０６・・・特徴量計算部
１０７・・・検品データ保存部
１０８・・・目標総重量計算部
１０９・・・商品データ登録部
１１０・・・商品画像決定部
１１１・・・画像抽出部
１１２・・・画像分析部
１１３・・・商品特定部
１１４・・・商品重量計算部
１１５・・・照合部
１１６・・・検品データ格納部
１１７・・・商品データ格納部
１１８・・・部分画像選択部
１５０・・・商品マスタ登録装置
１５１・・・商品マスタ
２００・・・撮像装置
３００・・・重量計測器
３０１・・・土台
３０２・・・支柱
４００・・・表示装置
５００・・・入力装置
６００・・・検品対象商品
９０１・・・ＣＰＵ
９０２・・・メモリ
９０３・・・記憶装置
９０４・・・通信ＩＦ
DESCRIPTION OF
902 ...
Claims (12)
前記商品画像決定部が特定した画像を記憶部に登録する商品データ登録部と、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する照合部と、
を備える検品処理装置。 Product image determination that identifies an image for each inspection product based on inspection data including the inspection product and the inspection quantity, and an inspection target image obtained by imaging a product group that matches the inspection product and the inspection quantity included in the inspection data And
A product data registration unit for registering the image specified by the product image determination unit in a storage unit;
Based on the image stored in the storage unit, a collation unit that identifies a product included in an inspection target image corresponding to new inspection data;
Inspection processing apparatus comprising:
前記検品対象画像から前記検品商品の画像の候補となる一まとまりの画像を切り出す画像抽出部と、
前記切り出した画像を互いに照合し、それらの画像の種類別の数量を算出する画像分析部と、
前記画像の種類別の数量と、前記検品データに含まれる検品商品ごとの検品数量とを比較して、前記画像の各々が示す検品商品を特定する商品特定部と、
を備える請求項１に記載の検品処理装置。 The product image determination unit
An image extraction unit that cuts out a group of images that are candidates for the image of the inspection product from the inspection target image;
An image analysis unit that collates the cut-out images with each other and calculates a quantity for each type of the images;
Compared with the quantity for each type of image and the inspection quantity for each inspection product included in the inspection data, a product specifying unit for specifying the inspection product indicated by each of the images,
The inspection processing apparatus according to claim 1, comprising:
一つ又は複数の前記検品データと、各々の検品データに対する検品処理において得られた当該検品データに含まれる検品商品および検品数量に一致する検品対象画像と、に基づいて、前記一つ又は複数の検品データに含まれる検品商品ごとの画像を特定する、
請求項１または請求項２に記載の検品処理装置。 The product image determination unit
Based on one or a plurality of the inspection data and an inspection target image matching the inspection product and the inspection quantity included in the inspection data obtained in the inspection processing for each inspection data, the one or more inspection data Identify images for each inspection product included in the inspection data.
The inspection processing apparatus according to claim 1 or 2.
をさらに備える請求項１から請求項３の何れか１項に記載の検品処理装置。 A product weight calculator for calculating a unit weight of the inspection product based on an equation indicating a relationship between a unit weight and an inspection quantity of the inspection product based on the inspection data and a weight data obtained by measuring a weight of the product group;
The inspection processing apparatus according to any one of claims 1 to 3, further comprising:
一つ又は複数の前記検品データと、各々の検品データに対する検品処理において得られた当該検品データに含まれる検品商品および検品数量に一致する前記商品群の重量データとに基づいて、前記一つ又は複数の検品データに含まれる検品商品ごとの単位重量を算出する、
請求項４に記載の検品処理装置。 The product weight calculator
Based on one or a plurality of the inspection data and the weight data of the product group that matches the inspection product and the inspection quantity included in the inspection data obtained in the inspection processing for each inspection data, Calculate the unit weight for each inspection product included in multiple inspection data.
The inspection processing apparatus according to claim 4.
をさらに備え、
前記商品データ登録部は、前記部分画像選択部が選択した部分画像を、前記一つの検品商品および当該画像が不完全であることを示す情報と対応付けて登録する、
をさらに備える請求項１から請求項５の何れか１項に記載の検品処理装置。 In the inspection object image, when the number of cut out images is smaller than the total inspection quantity included in the inspection data, the inspection product included in the inspection data and the portion of the image showing the inspection product And an image including a plurality of inspection products among the group of images, and an image including one inspection product among the inspection products, and the other including the one inspection product. A partial image selection unit that collates with a group of images and selects, as a result of the collation, an image in a range where the feature amounts match as a partial image of the one inspection product,
Further comprising
The product data registration unit registers the partial image selected by the partial image selection unit in association with the one inspection product and information indicating that the image is incomplete,
The inspection processing apparatus according to any one of claims 1 to 5, further comprising:
請求項６に記載の検品処理装置。 The product data registration unit registers the image instead of the partial image when the batch of images obtained by cutting out the outline of the one inspection product is obtained for the one inspection product.
The inspection processing apparatus according to claim 6.
前記検品データに含まれる検品商品と前記検品対象画像における当該検品商品が写った部分とを対応付ける操作に基づいて、前記検品対象画像から切り出された一まとまりの画像を、前記操作によって対応付けられた検品商品の画像として前記記憶部に登録する、
請求項１から請求項７の何れか１項に記載の検品処理装置。 The product data registration unit
Based on the operation of associating the inspection product included in the inspection data with the portion of the inspection target image in which the inspection product is reflected, a group of images cut out from the inspection target image are associated by the operation. Register as an image of the inspection product in the storage unit,
The inspection processing apparatus according to any one of claims 1 to 7.
前記商品群の重量を測定する重量計測器と、
前記撮像装置が撮像した検品対象画像と、前記重量計測器が測定した重量を取得する請求項１から請求項８の何れか１項に記載の検品処理装置と、
を備えることを特徴とする検品システム。 An imaging device for imaging a product group that matches the inspection product and the inspection quantity included in the inspection data;
A weight measuring instrument for measuring the weight of the product group;
The inspection processing apparatus according to any one of claims 1 to 8, wherein the inspection target image captured by the imaging apparatus and the weight measured by the weight measuring device are acquired.
An inspection system comprising:
前記商品画像決定部が特定した画像を商品マスタに登録する商品データ登録部と、
を備える商品マスタ登録装置。 Product image determination that identifies an image for each inspection product based on inspection data including the inspection product and the inspection quantity, and an inspection target image obtained by imaging a product group that matches the inspection product and the inspection quantity included in the inspection data And
A product data registration unit for registering the image specified by the product image determination unit in a product master;
A product master registration device comprising:
検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定し、
前記特定した画像を記憶部に登録し、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する、
検品処理方法。 Inspection processing equipment
Based on the inspection data including the inspection product and the inspection quantity, and the inspection target image obtained by imaging the inspection commodity included in the inspection data and the product group that matches the inspection quantity, the image for each inspection product is identified,
Register the identified image in the storage unit,
Based on the image stored in the storage unit, the product included in the inspection target image corresponding to the new inspection data is specified.
Inspection processing method.
検品商品と検品数量とを含む検品データと、当該検品データに含まれる検品商品および検品数量と一致する商品群を撮像した検品対象画像に基づいて、前記検品商品ごとの画像を特定する手段、
前記特定した画像を記憶部に登録する手段、
前記記憶部が記憶する画像に基づいて、新たな検品データに対応する検品対象画像に含まれる商品を特定する手段、
として機能させるためのプログラム。 Computer of inspection processing equipment,
Means for specifying an image for each inspection product based on inspection data including the inspection data including the inspection product and the inspection quantity, and the inspection product included in the inspection data and the product group matching the inspection quantity;
Means for registering the identified image in a storage unit;
Means for specifying a product included in an inspection target image corresponding to new inspection data based on the image stored in the storage unit;
Program to function as.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016069899A JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
| SG11201807007PA SG11201807007PA (en) | 2016-03-31 | 2017-03-24 | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program |
| PCT/JP2017/012121 WO2017170260A1 (en) | 2016-03-31 | 2017-03-24 | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program |
| TW106110272A TWI770015B (en) | 2016-03-31 | 2017-03-28 | Inspection processing device, inspection system, item master registration device, inspection processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016069899A JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017178574A true JP2017178574A (en) | 2017-10-05 |
| JP6724484B2 JP6724484B2 (en) | 2020-07-15 |
Family
ID=59964579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016069899A Active JP6724484B2 (en) | 2016-03-31 | 2016-03-31 | Inspection processing device, inspection system, product master registration device, inspection processing method and program |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6724484B2 (en) |
| SG (1) | SG11201807007PA (en) |
| TW (1) | TWI770015B (en) |
| WO (1) | WO2017170260A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019181441A1 (en) * | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Information processing device, control method, program |
| JP2022084807A (en) * | 2017-11-02 | 2022-06-07 | 株式会社オービック | Calculation processing apparatus, calculation processing method, and calculation processing program |
| JP7388871B2 (en) | 2019-10-18 | 2023-11-29 | 株式会社キッツ | Judgment device, judgment method and judgment program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443553B (en) * | 2019-08-15 | 2022-08-23 | 深圳市海思睿科技有限公司 | Unattended article management method based on article storage box |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0891543A (en) * | 1994-09-28 | 1996-04-09 | Omron Corp | Image processing method, and device therefor |
| JP2004318488A (en) * | 2003-04-16 | 2004-11-11 | Konica Minolta Photo Imaging Inc | Product inspection method and product inspection device |
| JP2011039872A (en) * | 2009-08-13 | 2011-02-24 | Komatsu Denshi Kk | Device and method for counting article |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8131055B2 (en) * | 2008-01-31 | 2012-03-06 | Caterpillar Inc. | System and method for assembly inspection |
| BRPI0800754A2 (en) * | 2008-03-25 | 2020-09-24 | Sicpa Holding S.A. | PRODUCTION CONTROL SYSTEM INTEGRATED BY IMAGE PROCESSING AND AUTOMATED CODING |
| CN103901489B (en) * | 2012-12-27 | 2017-07-21 | 清华大学 | Check method, display methods and the equipment of object |
-
2016
- 2016-03-31 JP JP2016069899A patent/JP6724484B2/en active Active
-
2017
- 2017-03-24 WO PCT/JP2017/012121 patent/WO2017170260A1/en active Application Filing
- 2017-03-24 SG SG11201807007PA patent/SG11201807007PA/en unknown
- 2017-03-28 TW TW106110272A patent/TWI770015B/en active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0891543A (en) * | 1994-09-28 | 1996-04-09 | Omron Corp | Image processing method, and device therefor |
| JP2004318488A (en) * | 2003-04-16 | 2004-11-11 | Konica Minolta Photo Imaging Inc | Product inspection method and product inspection device |
| JP2011039872A (en) * | 2009-08-13 | 2011-02-24 | Komatsu Denshi Kk | Device and method for counting article |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022084807A (en) * | 2017-11-02 | 2022-06-07 | 株式会社オービック | Calculation processing apparatus, calculation processing method, and calculation processing program |
| JP7291264B2 (en) | 2017-11-02 | 2023-06-14 | 株式会社オービック | Computational processing device, computational processing method and computational processing program |
| WO2019181441A1 (en) * | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Information processing device, control method, program |
| JPWO2019181441A1 (en) * | 2018-03-20 | 2021-03-18 | 日本電気株式会社 | Information processing device and control method |
| JP7067812B2 (en) | 2018-03-20 | 2022-05-16 | 日本電気株式会社 | Information processing device and control method |
| US11966435B2 (en) | 2018-03-20 | 2024-04-23 | Nec Corporation | Information processing apparatus, control method, and program |
| JP7388871B2 (en) | 2019-10-18 | 2023-11-29 | 株式会社キッツ | Judgment device, judgment method and judgment program |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11201807007PA (en) | 2018-09-27 |
| WO2017170260A1 (en) | 2017-10-05 |
| TW201804381A (en) | 2018-02-01 |
| TWI770015B (en) | 2022-07-11 |
| JP6724484B2 (en) | 2020-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017170260A1 (en) | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program | |
| JP6679891B2 (en) | Inspection processing device, inspection system, inspection processing method and program | |
| JP2019055828A (en) | Shelf information estimation device and information processing program | |
| JP5522065B2 (en) | Board inspection system | |
| WO2014030399A1 (en) | Object discrimination device, object discrimination method, and program | |
| EP2584527B1 (en) | Three dimensional measurement apparatus, control method and program therefor | |
| JP6278276B2 (en) | Object identification device, object identification method, and program | |
| WO2016158438A1 (en) | Inspection processing apparatus, method, and program | |
| JP6458239B1 (en) | Image recognition system | |
| JP5888358B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6052448B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6651169B2 (en) | Display status judgment system | |
| JP6769554B2 (en) | Object identification device, object identification method, computing device, system and recording medium | |
| CN111164622B (en) | Work analysis device and work analysis method | |
| CN111832381B (en) | Object information registration device and object information registration method | |
| CN104637781A (en) | Method of generating process for positioning wafer on processing machine table | |
| US9045283B2 (en) | Object information management system and program | |
| US20060028465A1 (en) | Contact definition device, contact definition program, and contact definition method | |
| JP6582875B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| US11462004B2 (en) | Object identification device, object identification method, calculation device, system, and recording medium | |
| JP6981495B2 (en) | Inspection processing equipment | |
| JP2016018403A (en) | Image processing device, image processing system, image processing method, and image processing program | |
| JP2015141696A (en) | Provided commodity confirmation system, provided commodity confirmation method, and provided commodity confirmation program | |
| JP2020057298A (en) | Determination device, determination method, and determination program | |
| JP6941331B2 (en) | Image recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6724484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |