JP2017081708A - Inspection processing device, inspection system, inspection processing method and program - Google Patents
Inspection processing device, inspection system, inspection processing method and program Download PDFInfo
- Publication number
- JP2017081708A JP2017081708A JP2015212717A JP2015212717A JP2017081708A JP 2017081708 A JP2017081708 A JP 2017081708A JP 2015212717 A JP2015212717 A JP 2015212717A JP 2015212717 A JP2015212717 A JP 2015212717A JP 2017081708 A JP2017081708 A JP 2017081708A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- article
- product
- slip data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、検品処理装置、検品システム、検品処理方法及びプログラムに関する。 The present invention relates to an inspection processing apparatus, an inspection system, an inspection processing method, and a program.
倉庫業や卸売業など物流業者が取り扱う流通商品を、棚から取り出し出荷する過程において、商品の出荷前に、伝票と比較して出荷する商品が伝票に記載された商品であるかどうかを確認する作業がある。この作業を検品作業と呼ぶこととする。この検品作業の中には、「１００部の同じカタログ」、「６０部の同じ箱」のように、複数個まとめて検品する作業もある。このような商品を検品する場合、商品の束のうち一番上に置かれた商品の表面または裏面をカメラで撮像し、予め登録した商品のマスタ画像と照合して商品の特定を行い、一方、商品の数量については、商品の束ごとに重量の測定を行い、測定した重量をその商品の単位重量で除算して数量を計算する検品装置が存在する。 In the process of taking out and shipping a distribution product handled by a logistics company such as warehousing or wholesale, before shipping the product, check whether the product to be shipped is a product described in the voucher compared to the voucher. There is work. This work is called inspection work. Among the inspection operations, there are also operations for inspecting a plurality of items such as “100 parts of the same catalog” and “60 parts of the same box”. When inspecting such a product, the front or back surface of the product placed at the top of the bundle of products is imaged with a camera, and the product is identified by collating with a master image of the product registered in advance. With regard to the quantity of goods, there is an inspection device that measures the weight for each bundle of goods and calculates the quantity by dividing the measured weight by the unit weight of the goods.
また、特許文献１には、パレットに積みつけられた商品を画像認識によって特定し、さらに、特定した商品について、パレットに載せることができるその商品の１段あたりの個数と、画像に写る荷物が積まれた段数によって、パレットに積みつけられた商品の数量を計算する検品方法が記載されている。この検品方法を用いると、作業員は、商品の照合と、数量を数える作業の両方を省力化することができる。
Further, in
一つの伝票には複数種類の商品が含まれることが多くある。そのような場合、例えば、異種商品の束同士が互いに重ならないように配置した商品群を撮像した画像を用いて、照合処理を行い、その画像に写る全ての商品を特定することが可能である。しかし、多種類の商品を含んだ画像は情報量が多いため、個々の商品を特定するための照合時間が長くなり、待ち時間が発生し、検品効率が上がらないことが考えられる。 A single slip often includes a plurality of types of products. In such a case, for example, it is possible to perform a matching process using an image obtained by capturing a group of products arranged so that a bundle of different types of products do not overlap each other, and to identify all products that appear in the image. . However, since an image including many types of products has a large amount of information, it takes a long time for collation for specifying individual products, a waiting time occurs, and inspection efficiency does not increase.
なお、検品候補の商品を撮像した画像の特徴量を計算し、予め特徴量の範囲ごとに分類したグループに属する商品群とのみ画像照合を行うことで、照合時間を大幅に短縮する方法がある（特願２０１４−０５８０８６）。しかし、この方法は、画像に１商品のみが含まれていることを前提とした方法であり、複数種類の商品を含んだ画像について用いることはできないという問題がある。 In addition, there is a method that greatly reduces the verification time by calculating the feature amount of the image obtained by capturing the inspection candidate product and performing image matching only with the product group belonging to the group classified in advance for each feature amount range. (Japanese Patent Application No. 2014-058086). However, this method is based on the premise that only one product is included in the image, and there is a problem that it cannot be used for an image including a plurality of types of products.
そこでこの発明は、上述した課題を解決する検品処理装置、検品システム、検品処理方法及びプログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an inspection processing apparatus, an inspection system, an inspection processing method, and a program that solve the above-described problems.
本発明は、伝票データに含まれる１つまたは複数の検品物品のそれぞれについて、前記検品物品と類似する画像の特徴量を有する物品グループを選択する物品グループ選択部と、前記選択した物品グループに属する１つまたは複数の商品の画像と、１つまたは複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定する物品特定部と、前記物品特定部の特定した物品と前記伝票データに含まれる検品物品とを比較する物品判定部と、を備える検品処理装置である。 The present invention relates to an article group selection unit that selects an article group having an image feature amount similar to the inspection article for each of one or a plurality of inspection articles included in the slip data, and belongs to the selected article group An article specifying unit for specifying an article included in the inspection target image by collating an image of one or a plurality of products with an inspection target image obtained by imaging one or more inspection article candidates; An inspection processing apparatus comprising: an article determination unit that compares an article specified by the unit with an inspection article included in the slip data.
また本発明は、１つまたは複数の検品物品の候補の画像を撮像する撮像装置と、前記検品物品の候補の重量を測定する重量計測器と、前記撮像装置が撮像した１つまたは複数の検品物品の候補を撮像した検品対象画像を取得する、上述の検品処理装置と、を備える検品システムである。 The present invention also provides an imaging apparatus that captures one or more inspection article candidate images, a weight measuring instrument that measures the weight of the inspection article candidate, and one or more inspections captured by the imaging apparatus. An inspection system including the above-described inspection processing apparatus that acquires an inspection target image obtained by capturing an article candidate.
また本発明は、伝票データに含まれる１つまたは複数の検品物品のそれぞれについて、前記検品物品と類似する画像の特徴量を有する物品グループを選択し、前記選択した物品グループに属する１つまたは複数の物品の画像と、複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定し、前記特定した物品と前記伝票データに含まれる検品物品とを比較する、検品処理方法である。 Further, the present invention selects, for each of one or more inspection articles included in the slip data, an article group having an image feature amount similar to the inspection article, and one or more belonging to the selected article group. The image of the article and the inspection target image obtained by imaging a plurality of inspection article candidates to identify the article included in the inspection target image, and the specified article and the inspection article included in the slip data Is an inspection processing method.
また本発明は、検品処理装置のコンピュータを、伝票データに含まれる１つまたは検品物品のそれぞれについて、前記検品物品と類似する画像の特徴量を有する物品グループを選択する手段、前記選択した物品グループに属する複数の商品の画像と、複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定する手段、前記特定した物品と前記伝票データに含まれる検品物品とを比較する手段、として機能させるためのプログラムである。 According to the present invention, the computer of the inspection processing apparatus selects, for each of one or inspection articles included in the slip data, an item group having an image feature amount similar to the inspection article, the selected article group Means for collating an image of a plurality of products belonging to the image and an inspection object image obtained by imaging a plurality of inspection article candidates, and identifying the article included in the inspection object image, included in the identified article and the slip data This is a program for functioning as a means for comparing the inspection article to be checked.
本発明によれば、検品作業の効率化および検品精度を高めるという効果が得られる。 According to the present invention, it is possible to obtain the effects of increasing the efficiency of inspection work and increasing inspection accuracy.
＜第一の実施形態＞
以下、本発明の一実施形態による検品処理装置を図１〜図１２を参照して説明する。
図１は第一の実施形態による検品処理装置の最小構成を示す図である。
この図において、符号１００は検品処理装置を表している。図１に示す通り、検品処理装置１００は、商品グループ選択部１１０と、商品特定部１１１と、商品判定部１１２と、を少なくとも備えている。検品処理装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたコンピュータである。
商品グループ選択部１１０は、伝票データに含まれる１つまたは複数の検品商品のそれぞれについて、検品商品と類似する画像の特徴量を有する商品グループを選択する。
商品特定部１１１は、商品グループ選択部１１０が特定した商品グループに属する１つまたは複数の外観が類似する商品の画像と、１つまたは複数の検品商品の候補を撮像した検品対象画像とを照合して検品対象画像に含まれる商品を特定する。
商品判定部１１２は、商品特定部１１１の特定した商品と伝票データに含まれる検品商品とを比較して、特定した商品が伝票データの検品商品と一致するかどうかを判定する。
<First embodiment>
Hereinafter, an inspection processing apparatus according to an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram showing a minimum configuration of an inspection processing apparatus according to the first embodiment.
In this figure,
The product
The
The
図２は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図２に示す通り、検品処理装置１００は、制御判定部１０１と、重量取得部１０２と、商品画像取得部１０３と、入力受付部１０４と、表示データ出力部１０５と、特徴量計算部１０６と、伝票データ保存部１０７と、目標総重量計算部１０８と、照合部１０９と、商品グループ選択部１１０と、商品特定部１１１と、商品判定部１１２と、伝票データ格納部１１３と、商品データ格納部１１４と、グループ情報格納部１１５とを備えている。なお、伝票データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。
FIG. 2 is a block diagram showing an example of the configuration of the inspection processing apparatus according to the first embodiment.
As shown in FIG. 2, the
制御判定部１０１は、他の機能部へ、情報の伝達や処理の指示を行う。
重量取得部１０２は、重量計測器が測定した検品対象商品の重量を、重量計測器から取得する。
商品画像取得部１０３は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した検品対象画像を取得する。
入力受付部１０４は、作業員の入力操作を受け付ける。
表示データ出力部１０５は、検品作業に必要な各種情報を生成し、検品処理装置１００に接続された表示装置に出力する。
特徴量計算部１０６は、商品画像取得部１０３が取得した検品対象画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
The
The
The product
The
The display
The feature
伝票データ保存部１０７は、作業員が入力した検品作業の対象となる伝票データを伝票データ格納部１１３に記録する。
目標総重量計算部１０８は、伝票データに含まれる検品商品の総重量（目標総重量）を計算する。また、目標総重量計算部１０８は、計算した目標総重量と重量取得部１０２が取得した検品対象商品の重量とを比較する。
照合部１０９は、検品対象商品を撮像した検品対象画像の特徴量を用いて、検品対象画像に写る商品を特定し、特定した商品が伝票データに含まれる検品商品と一致するかどうかを判定する。特に本実施形態における照合部１０９は、伝票データに含まれる検品商品と外観が類似する商品群の画像を検品対象画像と照合することで、照合処理の高速化、高精度化を図る。なお、照合部１０９は、商品グループ選択部１１０と、商品特定部１１１と、商品判定部１１２とを備えている。これらの機能部については、図１を用いて説明したとおりである。
The slip
The target total
The matching
伝票データ格納部１１３は、検品対象の伝票データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部１１４は、商品ごとに、商品名、商品の画像（マスタ画像）、商品画像の特徴量、単位重量などを格納するデータベースである。
グループ情報格納部１１５は、商品データ格納部１１４に登録された各商品の画像の特徴量が類似するもの同士をグループ化したグループに、グループ番号を対応付けて記憶するデータベースである。
なお、制御判定部１０１、重量取得部１０２、商品画像取得部１０３、入力受付部１０４、表示データ出力部１０５、特徴量計算部１０６、伝票データ保存部１０７、目標総重量計算部１０８、照合部１０９、商品グループ選択部１１０、商品特定部１１１、商品判定部１１２の少なくとも一部は検品処理装置１００の備えるＣＰＵがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
The slip
The product
The group
In addition, the
図３は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、図３を用いて、本実施形態の検品システムの説明を行う。
図３に示す通り、検品システム１は、検品処理装置１００と、撮像装置２００と、重量計測器３００と、表示装置４００と、入力装置５００とを備えている。また、重量計測器３００には１つまたは複数の検品対象商品（検品対象商品６００）が置かれている。
FIG. 3 is a diagram showing an example of an inspection system according to the first embodiment of the present invention.
Hereinafter, the inspection system of this embodiment will be described with reference to FIG.
As shown in FIG. 3, the
撮像装置２００は、検品対象商品を撮像する例えばカメラである。重量計測器３００は、検品対象商品の重量を測定する装置である。図３において、撮像装置２００は、重量計測器３００の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱３０２に取り付けられている。支柱３０２は、土台３０１によって固定され、重量計測器３００は、土台３０１の上に設置されている。撮像装置２００の取り付け位置は、この図の例に限定されない。検品処理装置１００は、撮像装置２００と接続されており、撮像装置２００が撮像した検品対象商品の画像を取得する。検品処理装置１００は、重量計測器３００と接続されており、重量計測器３００が測定した検品対象商品の重量を取得する。
The
表示装置４００は、例えばディスプレイである。表示装置４００は、検品処理装置１００と接続されており、検品処理装置１００が生成した検品作業に必要な情報を表示する。入力装置５００は、キーボード、マウス、あるいは任意のデータ読み取り手段（記憶媒体読み取り装置など）である。作業員は、表示装置４００に表示される情報を参照しながら、入力装置５００を用いて検品処理装置１００を操作し、検品作業を行う。
The
次に、図３を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業の対象となる１枚の伝票に記載された１つまたは複数の検品商品の候補を商品棚などから取り出し重量計測器３００の上に置く。重量計測器３００の上に置かれた検品対象商品６００は、作業員が誤って類似する商品を選択する場合もある。１枚の伝票には、複数種類の商品が含まれていることも多く、その場合、検品対象商品６００には、複数種類の商品が含まれることになる。作業員が検品対象商品６００を重量計測器３００の上に置くと、重量計測器３００は、検品対象商品６００の重量を測定し、測定した重量データを検品処理装置１００に送信する。検品処理装置１００は、重量データを受信したタイミングで撮像装置２００に撮像指示信号を送信する。撮像装置２００は、撮像指示信号を受信すると、検品対象商品６００を上から撮像し、撮像した検品対象画像を検品処理装置１００に送信する。
また、これらの処理と並行して、作業員は、１枚の伝票に含まれる明細データ（検品商品の名称、検品数量など）を、入力装置５００を用いて入力する。例えば、伝票のデータは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置１００に入力する。なお、ある1枚の伝票に含まれる明細データ、伝票番号などの情報をまとめて伝票データと呼ぶ。
Next, a rough flow of the inspection work will be described with reference to FIG. First, the worker takes out one or a plurality of inspection product candidates described in one slip to be inspected from a product shelf and puts them on the
In parallel with these processes, the worker inputs detailed data (name of inspection product, inspection quantity, etc.) included in one slip using the
検品対象画像を取得すると、検品処理装置１００は、伝票データに含まれた検品商品のそれぞれについて、各検品商品が属する商品グループを特定する処理を行う。そして、検品処理装置１００は、特定した商品グループに属する商品のマスタ画像を使用して、撮像装置２００が撮像した検品対象画像にその商品が含まれているか照合処理を行う。検品処理装置１００は、照合処理の結果、画像に写っていると特定した商品と、伝票データに含まれる検品商品とが一致するかどうかを判定する。検品処理装置１００は、伝票データに含まれる全ての検品商品についてこの照合処理および判定処理を行う。また、検品処理装置１００は、伝票データに含まれる全ての検品商品の総重量を計算し、重量計測器３００が測定した重量データと比較する。
そして、検品処理装置１００は、全ての検品対象商品についての照合処理結果と、重量データの比較結果とを表示装置４００に表示する。また、検品処理装置１００は、伝票データの一覧を表示装置４００に表示する。照合処理の結果、検品対象画像に写っていると特定した商品と検品商品とが一致する場合、検品処理装置１００は、伝票データの一覧表示において、その検品商品を含む明細データを消し込み表示する。
When the inspection target image is acquired, the
Then, the
作業員は、表示装置４００に表示された伝票データの一覧、照合処理結果、重量データ比較結果を目視によって確認し、検品結果を把握する。例えば、照合処理結果がＮＧ（異常）の場合、伝票データの一覧のうち消し込み表示されていない明細について検品対象商品の入れ替えを行う。また、照合処理結果がＯＫ（正常）で重量データ比較結果がＮＧの場合、検品対象商品の数量を調整する。照合処理結果と重量データ比較結果が共にＯＫとなれば、その伝票データについての検品作業は完了する。
The worker visually confirms the list of slip data displayed on the
ここで、上記の検品処理の特徴について説明する。本実施形態では、照合の対象を伝票データに含まれる商品のマスタ画像のみに絞り込んだうえで、検品対象画像と照合し、照合時間を大幅に短縮する。しかしこの場合、伝票データに含まれる商品（αとする）に類似かつ、伝票データには存在しない商品（βとする）を作業者が誤って重量計測器３００に載せると、伝票データに含まれる商品αとのみ照合し、正解である商品βとは照合しないため、商品βのことを伝票データの中で商品βと最も類似度の高い商品αであると誤って判定する可能性が高く、誤検品につながる恐れがある。そこで、本実施形態では、伝票データに含まれる検品商品だけでなく、予め作成しておいた類似商品グループ内の商品も照合の対象に加えることで、類似商品に誤って判定する可能性を低減する。以下に本実施形態の検品処理について詳しく説明する。 Here, the characteristics of the inspection process will be described. In the present embodiment, the target of collation is narrowed down to only the master image of the product included in the slip data, and then collated with the inspection target image, thereby greatly shortening the collation time. However, in this case, if an operator mistakenly places a product (β) that is similar to the product (α) included in the slip data and does not exist in the slip data, it is included in the slip data. Since it matches only the product α and not the correct product β, it is highly likely that the product β is erroneously determined to be the product α having the highest similarity to the product β in the slip data. There is a risk of erroneous inspection. Therefore, in the present embodiment, not only the inspection products included in the slip data but also the products in the similar product group created in advance are added to the target of matching, thereby reducing the possibility of erroneously determining similar products. To do. The inspection process of this embodiment will be described in detail below.
図４は、本発明の第一の実施形態による検品処理装置の処理フローを示す第一の図である。
図９は、本発明の第一の実施形態による検品処理装置で使用するデータの一例を示す図である。
図４の処理フローを用いて上述の検品作業における伝票データ保存部１０７が伝票データに基づいて行う検品処理の準備段階の処理について説明する。
まず、作業員がある１つの伝票データを検品処理装置１００に入力する。例えば、作業員は、電子ファイル形式の伝票データを検品処理装置１００に入力する。検品処理装置１００では、入力受付部１０４がその伝票データを取得し、制御判定部１０１に出力する。制御判定部１０１は、伝票データを伝票データ保存部１０７に出力する。次に伝票データ保存部１０７は、伝票データに含まれる明細をカウントする変数Ｎを初期化し、Ｎに１を設定する（ステップＳ１０）。次に伝票データ保存部１０７は、伝票の明細Ｎ番目の検品商品の商品名、検品数量、その検品商品の単位重量を取得する（ステップＳ１１）。ここで図９（ｃ）を用いて伝票データについて説明する。図９（ｃ）は、伝票データの一例を示している。伝票データには、伝票明細番号、検品商品名、検品数量、単位重量が含まれている。例えば、伝票データ保存部１０７は、伝票データの１番目の明細について、検品商品名（「Ａ」）、検品数量（「１」）、単位重量（「１００」）を取得する。伝票データ保存部１０７は、取得した商品、数量、単位重量を伝票データ格納部１１３に格納する（ステップＳ１２）。
FIG. 4 is a first diagram showing a processing flow of the inspection processing apparatus according to the first embodiment of the present invention.
FIG. 9 is a diagram showing an example of data used in the inspection processing apparatus according to the first embodiment of the present invention.
The process in the preparation stage of the inspection process performed by the slip
First, the worker inputs one piece of slip data to the
次に商品グループ選択部１１０は、伝票の明細Ｎ番目の検品商品の商品グループ番号を取得する（ステップＳ１３）。商品グループとは、その商品を撮像した画像におけるその画像の特徴量が類似する商品のグループである。特徴量とは、商品を撮像した画像からその商品がどの商品であるかを特定するために用いる数量であって、公知の適切な計算手法によって算出すればよい。ここで図９（ａ）を用いて商品データについて説明する。商品データは、商品データ格納部１１４に格納されている。図９（ａ）は、商品データの一例を示している。商品データには、グループ番号、商品名、商品画像、特徴量、単位重量が含まれている。「グループ番号」欄には、その商品が属する商品グループのグループ番号が格納されている。「商品名」欄には、その商品の商品名、「商品画像」欄には、その商品を撮像した画像、「単位重量」欄には、その商品の単位重量がそれぞれ格納されている。また、「特徴量」欄には、その商品の特徴量が格納されている。この例では、画像の特徴量が、ある１次元の値で表されると仮定する。伝票データ保存部１０７は、伝票データのＮ番目の商品名に基づいて、商品データを検索し、その商品のグループ番号を読み出して取得する。例えば、図９（ａ）の例では、商品名が「Ａ」の場合、グループ番号は「００１」である。次に、伝票データ保存部１０７は、取得したグループ番号が保存済みかどうかを判定する（ステップＳ１４）。例えば、伝票データ保存部１０７は、メモリを検索して、グループ番号は「００１」が既に保存されているかどうかを検索する。既に保存されている場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１８の処理に進む。
未だ保存されていない場合（ステップＳ１４；Ｎｏ）、伝票データ保存部１０７は、グループ番号をメモリに記録して保存する（ステップＳ１５）。つまり、ステップＳ１３、Ｓ１４の処理は伝票データに含まれる検品商品に類似するグループを全て抽出する処理である。
Next, the merchandise
If not saved yet (step S14; No), the slip
次に、伝票データ保存部１０７は、現在処理している明細データの伝票明細番号が伝票データに含まれる最後の伝票明細番号かどうかを判定する（ステップＳ１６）。最後の伝票明細番号ではない場合（ステップＳ１６；Ｎｏ）、伝票データ保存部１０７は、変数Ｎに１を加算してステップＳ１１からの処理送り返す。つまり、伝票データ保存部１０７は、これから行う検品作業の対象となる伝票データに含まれる全ての検品商品について、その商品の商品名、検品数量、単位重量、グループ番号を記録する。
Next, the slip
一方、最後の伝票明細番号の場合（ステップＳ１６；Ｙｅｓ）、目標総重量計算部１０８は、目標総重量を計算する。具体的には、目標総重量計算部１０８は、伝票データ格納部１１３に保存された伝票データのうち、各検品商品の単位重量と検品数量とを読み出して検品商品ごとに検品数量分の重量（検品重量とよぶ）を計算する。図９（ｃ）の伝票データを例にすると、目標総重量計算部１０８は、商品名が「Ａ」について、単位重量「１００」に検品数量「１」を乗算して検品重量「１００」を算出する。同様に、目標総重量計算部１０８は、商品名が「Ｂ」について単位重量「２００」に検品数量「１」を乗算して検品重量「２００」を算出する。次に、目標総重量計算部１０８は、全ての検品商品の検品重量を合計して目標総重量を計算する。上記の例では、目標総重量は、「３００（１００＋２００）」である。全検品商品の商品名、検品数量、単位重量、グループ番号を記録し、目標総重量を計算すると、続いて、検品処理装置１００は、次に図５を用いて説明する検品処理を行う。
On the other hand, in the case of the last slip detail number (step S16; Yes), the target total
なお、図９（ａ）、図９（ｃ）で例示した伝票データ、商品データは一例である。例えば、伝票データおよび商品データには、商品名の他にその商品の識別番号（商品コード）が含まれていてもよい。また、伝票データには、単位重量の項目が含まれておらず、伝票データ保存部１０７が、伝票データの商品名や商品コードを用いて商品データを検索して、その商品の単位重量を取得してもよい。
Note that the slip data and product data illustrated in FIGS. 9A and 9C are examples. For example, the slip data and product data may include the product identification number (product code) in addition to the product name. The slip data does not include the unit weight item, and the slip
図５は、本発明の第一の実施形態による検品処理装置の処理フローを示す第二の図である。
図６は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
図７は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図８は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図５の処理フローを用いて伝票データ保存部１０７が伝票データに基づいて保存した伝票データに含まれる全検品商品のグループ番号を利用して行う検品処理について説明する。
検品処理の前に、作業員は、検品処理装置１００に入力した伝票データを参照して検品対象商品を商品棚などから取り出し重量計測器３００に置く。検品対象商品６００が重量計測器３００に置かれると、重量取得部１０２は、重量計測器３００が測定した検品対象商品６００の重量データを取得する（ステップＳ２０）。重量取得部１０２は、取得した重量データを制御判定部１０１に出力する。制御判定部１０１は、重量データをメモリに記録する。
次に、制御判定部１０１は、重量データを取得したことを契機として、商品画像取得部１０３に撮像指示信号を出力する。すると、商品画像取得部１０３は、撮像装置２００に撮像指示を行い（ステップＳ２１）、撮像装置２００が検品対象商品６００の検品対象画像を撮像する。商品画像取得部１０３は、撮像装置２００が撮像した検品対象画像を取得し（ステップＳ２２）、メモリに格納する。
FIG. 5 is a second diagram showing a processing flow of the inspection processing apparatus according to the first embodiment of the present invention.
FIG. 6 is a first diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
FIG. 7 is a second diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
FIG. 8 is a second diagram showing an example of an inspection confirmation screen according to the first embodiment of the present invention.
The inspection process performed by using the group number of all the inspection products included in the slip data stored by the slip
Prior to the inspection process, the worker refers to the slip data input to the
Next, the
メモリに画像が格納されると、制御判定部１０１は、特徴量計算部１０６に、格納した画像の特徴量を計算するように指示を行う。特徴量計算部１０６は、メモリから検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し（ステップＳ２３）、計算結果を制御判定部１０１に出力する。この計算結果には、検品対象画像上の特徴量の分布パターンが含まれている。また、この特徴量分布には、重量計測器３００に置かれた検品対象商品６００の全ての商品による特徴量が含まれている。制御判定部１０１は、特徴量をメモリに記録する。
When the image is stored in the memory, the
次に、商品グループ選択部１１０は、ステップＳ１５で保存されたグループ番号に属する全商品の中から商品を検索する（ステップＳ２４）。具体的には、商品グループ選択部１１０は、グループ番号をメモリから読み出す。次に商品グループ選択部１１０は、読み出したグループ番号を用いて、グループ情報格納部１１５からそのグループに属する商品名を読み出す。ここで、図９（ｂ）を用いてグループ情報格納部１１５に格納されている情報について説明する。図９（ｂ）は、グループ情報格納部１１５に格納されているグループ情報の一例を示している。グループ情報格納部１１５は、グループ番号とそのグループに属している商品とを対応付けたグループ情報を記憶している。図９（ｂ）の１行目のデータは、グループ番号「００１」には、商品「Ａ」と「Ｅ」が属していることを示している。これは、商品「Ａ」と商品「Ｅ」を撮像した場合、両者の画像の特徴量が類似していることを示している。また、図９（ｂ）の１行目のデータは、グループ番号「００３」には商品「Ｃ」のみが属していることを示している。これは、商品「Ｃ」を撮像した画像と特徴量が類似する商品が他に無いことを示している。図９（ｃ）の伝票データから抽出されたグループ番号は、「００１」、「００３」であるから、商品グループ選択部１１０は、グループ情報格納部１１５から、これらのグループの属する商品の商品名（「Ａ」、「Ｅ」、「Ｃ」）を読み出す。商品グループ選択部１１０は、読み出した商品名を商品特定部１１１へ出力する。
Next, the merchandise
次に、商品特定部１１１は、取得したグループ番号に属する全商品（「Ａ」、「Ｅ」、「Ｃ」）のマスタ画像と検品対象商品６００を撮像した検品対象画像とを比較して、検品対象画像に写る商品を特定する。まず、商品特定部１１１は、取得した商品名を用いて商品データ（図９（ａ））からそれらの商品（照合商品とよぶ）の特徴量を読み出す。そして、商品特定部１１１は、読み出した照合商品の特徴量と検品対象画像の特徴量分布とを比較して、照合商品の特徴量が検品対象画像の特徴量分布に含まれているかどうかを照合する処理を行う。例えば、商品特定部１１１は、商品データから商品「Ａ」の特徴量「ＡＡ」を読み出す。次に商品特定部１１１は、特徴量「ＡＡ」と検品対象画像の特徴量分布とを比較して、特徴量「ＡＡ」とみなせる領域が存在するかどうかを判定する。なお、ある特徴量とみなせるかどうかについては、商品特定部１１１は、検品対象画像の特徴量と特徴量「ＡＡ」との類似度を計算して、その類似度が所定の閾値以上の類似度を有しているかどうかによって判定する。商品特定部１１１は、特徴量「ＡＡ」と特徴量「ＡＡ」とみなせる領域の特徴量と閾値以上であれば、検品対象画像に商品「Ａ」が写っていると判定する。次に、商品特定部１１１は、商品「Ｅ」についても特徴量「ＥＥ」を商品データから読み出して、検品対象画像の特徴量分布と比較して画像に商品「Ｅ」が写っているかどうかの判定を行う。同様に、商品特定部１１１は、商品「Ｃ」についても特徴量「ＣＣ」を商品データから読み出して、検品対象画像の特徴量分布と比較して画像に商品「Ｃ」が写っているかどうかの判定を行う。商品特定部１１１は、商品「Ａ」、「Ｅ」、「Ｃ」について、それらの商品が検品対象画像に写っているかどうかの判定を行う。また、このとき、商品特定部１１１は、検品対象画像にある商品が複数検索できた場合は、検索できた個数分その商品が写っていると判定する。このように、商品特定部１１１は、伝票データに記載のある検品商品が属するグループの全商品を候補として、検品対象画像に写っている商品を検索し、検索できた個数を求める。このように照合する商品を伝票データに記載のある検品商品が属するグループの商品に絞ることで照合処理の迅速化、計算負荷の削減を図ることができる。また、検品商品が属するグループの全商品を対象とすることにより、類似する特徴量を持つ商品を対象に照合処理を行うので類似商品との誤認識を防ぎ、より正確に商品を特定することができる。この誤認識の防止については、後に例を挙げて詳しく説明する。
Next, the
商品特定部１１１は、全商品に対する判定が完了すると、検品対象画像に写っていると特定した商品の商品名とその個数を商品判定部１１２に出力する。次に商品判定部１１２は、商品特定部１１１が特定した商品名と、伝票データ格納部１１３に格納された商品名とを比較して、商品特定部１１１が特定した商品が伝票データに含まれる検品商品と全て一致するかどうかを判定する。例えば、商品特定部１１１が商品「Ａ」、「Ｃ」を特定した場合、商品判定部１１２は、商品特定部１１１が特定した商品は伝票データ（図９（ｃ））に記載された検品対象物品と一致すると判定する。商品判定部１１２は、商品「Ａ」および「Ｃ」が伝票データと一致するとの判定結果を制御判定部１０１に出力する。また、例えば、商品特定部１１１が商品「Ａ」のみを特定した場合、商品判定部１１２は、商品特定部１１１が特定した商品は伝票データに記載された検品対象物品と一致しないと判定する。商品判定部１１２は、商品「Ａ」が伝票データと一致し、商品「Ｃ」が伝票データと一致しないとの判定結果を制御判定部１０１に出力する。
When the determination for all the products is completed, the
商品判定部１１２から判定結果を取得すると、制御判定部１０１は、その結果を表示データ出力部１０５に出力し、検品確認画面を表示するよう指示する。次に表示データ出力部１０５は、伝票データ格納部１１３に格納された「伝票明細番号」、「商品名」、「検品数量」、「単位重量」を読み出す。また、表示データ出力部１０５は、制御判定部１０１に、目標総重量、重量取得部１０２が取得した重量データ、総重量誤差の情報を要求する。総重量誤差は、目標総重量計算部１０８が計算した目標総重量と重量取得部１０２が取得した重量データとの差である。制御判定部１０１は、目標総重量計算部１０８に総重量誤差の計算を指示する。目標総重量計算部１０８は、先に計算した目標総重量と重量取得部１０２が取得した重量データとをメモリから読み出して、総重量誤差を計算する。目標総重量計算部１０８は、目標総重量、重量データ、計算した総重量誤差を、制御判定部１０１に出力する。制御判定部１０１は、それらの情報を表示データ出力部１０５に出力する。また、表示データ出力部１０５は、メモリから検品対象画像を取得する。
表示データ出力部１０５は、商品判定部１１２の判定結果、伝票データ格納部１１３から取得した伝票データ、目標総重量計算部１０８が出力した総重量誤差などのデータ、検品対象画像を用いて、作業員が検品作業に使用する検品確認画面の画像を生成し、表示装置４００に表示する（ステップＳ２５）。
When the determination result is acquired from the
The display
ここで、図６〜図８を用いて、検品確認画面について説明する。図６は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、伝票データ表示欄６１、検品対象画像表示欄６２、商品照合結果表示欄６３、重量比較結果表示欄６４、ＯＫボタン６５を含む。表示データ出力部１０５は、伝票データ表示欄６１に伝票データ格納部１１３から取得した伝票データを表示する。また、表示データ出力部１０５は、伝票データ表示欄６１のそれぞれの明細について、商品判定部１１２の判定結果に応じて消し込み表示を行う。消し込み表示とは、例えば、消し込む表示を行う明細データをグレーアウトして表示することをいう。表示データ出力部１０５は、商品判定部１１２が伝票データと一致すると判定した検品商品を含む明細データを消し込み表示する。表示データ出力部１０５は、取得した検品対象画像を検品対象画像表示欄６２に表示する。このとき表示データ出力部１０５は、商品判定部１１２が伝票データと一致すると判定した商品の輪郭を強調する表示を行う。また、表示データ出力部１０５は、商品判定部１１２による判定結果を商品照合結果表示欄６３に表示する。例えば、表示データ出力部１０５は、商品判定部１１２から取得した判定結果が伝票データに含まれている全ての商品と一致することを示している場合、「画像ＯＫ」などの表示を行い、伝票データに含まれている商品と一致しないとの判定結果が一つでも含まれていれば、「画像ＮＧ」などの表示を行う。また、表示データ出力部１０５は、目標総重量計算部１０８から取得した総重量誤差などのデータに基づいて重量比較結果表示欄６４の表示を行う。例えば、総重量誤差が０の場合、表示データ出力部１０５は、重量比較結果表示欄６４に「重量ＯＫ」などの表示を行う。また、総重量誤差が０ではない場合、表示データ出力部１０５は、重量比較結果表示欄６４に「重量ＮＧ」などの表示を行う。また、表示データ出力部１０５は、目標総重量、重量データ、総重量誤差を重量比較結果表示欄６４に表示する。また、表示データ出力部１０５は、ＯＫボタン６５を表示する。ＯＫボタン６５は、作業員が現在表示している伝票データに対する検品作業が終了すると押下するボタンである。
Here, the inspection confirmation screen will be described with reference to FIGS. FIG. 6 is a diagram illustrating an example of an inspection confirmation screen. As shown in the figure, the inspection confirmation screen includes a slip data display
図６に示す例では、伝票データ表示欄６１の全ての明細が消し込み表示されていて、商品照合結果表示欄６３に「画像ＯＫ」が表示されている。また、検品対象画像表示欄６２の各商品は輪郭が強調表示されている。これらの表示から、作業員は、現在、重量計測器３００に置かれた検品対象商品６００が伝票データに含まれる検品商品と一致することを把握できる。さらに重量比較結果表示欄６４を見ると、「重量ＯＫ」および「総重量：４５０、目標総重量：４５０、総重量誤差：０」が表示されている。これらの表示から、作業員は、現在、重量計測器３００に置かれた各検品対象商品６００の数量が伝票データに含まれる商品それぞれに対する検品数量と一致することを把握できる。この場合、この伝票データに対する検品作業は完了である。
In the example shown in FIG. 6, all the details in the slip data display
図７に示す例では、伝票データ表示欄６１の２行目の明細が消し込み表示されておらず、商品照合結果表示欄６３に「画像ＮＧ」が表示されている。また、検品対象画像表示欄６２の各商品を見ると、輪郭が強調表示されていない商品が存在することがわかる。また重量比較結果表示欄６４を見ると、「重量ＯＫ」および「総重量：４５０、目標総重量：４５０、総重量誤差：０」が表示されている。これらの表示から、作業員は、重量データは一致しているが、現在、重量計測器３００に置かれた検品対象商品６００には、伝票データに含まれる商品Ｂと一致しない商品が置かれていることを把握できる。なお、「画像ＮＧ」の表示は、「画像ＯＫ」の場合とは異なる色彩で表示されてもよい。
In the example shown in FIG. 7, the details of the second line of the slip data display
図８に示す例では、伝票データ表示欄６１の全ての明細が消し込み表示されていて、商品照合結果表示欄６３に「画像ＯＫ」が表示されている。しかし、検品対象画像表示欄６２の商品Ｄについては輪郭が強調表示されていない。また、重量比較結果表示欄６４を見ると、「重量ＮＧ」および「総重量：５００、目標総重量：４５０、総重量誤差：５０」が表示されている。これらの表示から、作業員は、重量データは一致しているが、現在、重量計測器３００に置かれた検品対象商品６００のうち商品Ｄは伝票データに含まれない余計な商品であって、その分重量が重くなっていることを把握できる。なお、「重量ＮＧ」や誤差がある場合の総重量誤差の表示は、重量データが目標重量に一致する場合とは異なる色彩で表示されてもよい。
In the example shown in FIG. 8, all the details in the slip data display
また、図示しないが、伝票データ表示欄６１の全ての明細が消し込み表示されていて、検品対象画像表示欄６２の全商品について輪郭の強調表示がされている場合でも重量比較結果表示欄６４に「重量ＮＧ」が表示される場合、正しい種類の商品を重量計測器３００に置いたが、何れかの商品の数量が間違えていることが考えられる。この場合も作業員は、検品確認画面の表示を見て検品作業の誤りを把握することができる。
Although not shown, even if all the details in the slip
図５の処理フローに戻る。表示データ出力部１０５が、検品確認画面の画像を生成し、表示装置４００に表示すると、作業員は、商品を全て特定できたか否かの判定を行う（ステップＳ２６）。つまり、検品確認画面において、伝票データ表示欄６１の全ての明細が消し込み表示されていて、検品対象画像表示欄６２の全商品について輪郭の強調表示がされているかどうかを確認する。商品を全て特定できていない場合（ステップＳ２６；Ｎｏ）、作業員は、より詳細に商品を目視によって確認できる画面を呼び出す操作を行う。例えば、作業員は、マウス等で検品対象画像表示欄６２を選択する動作を行う。すると、入力受付部１０４がこの指示動作を受け付ける。すると、制御判定部１０１は、表示データ出力部１０５に目視検品画面の表示を指示する。表示データ出力部１０５は、目視検品画面の画像を生成し、表示装置４００に表示する（ステップＳ２７）。目視検品画面（図示せず）は、重量計測器３００に置かれた各検品対象商品６００を目視によって確認するための画面である。目視検品画面では、各検品対象商品がより拡大されて表示される。作業者は検品確認画面を見て、検品対象商品や数量に過不足がある場合、該当の商品を選択して目視検品画面を表示し、表示された商品の画像や商品名を目視によって確認する。目視検品の結果、全ての検品対象商品が正しく特定された場合、総重量誤差が許容範囲内であれば、検品終了となる。その場合、作業員は、ＯＫボタン６５を押下する。また、目視の結果、その商品が誤った商品ならば、作業員は重量計測器３００に置く検品対象商品６００を調整し、再度、入力装置５００を用いて検品指示操作を行う。検品処理装置１００は、ステップＳ２０からの処理を繰り返す。
Returning to the processing flow of FIG. When the display
商品を全て特定できている場合（ステップＳ２６；Ｙｅｓ）、作業員は、総重量誤差は許容範囲内かどうかを判定する（ステップＳ２８）。例えば、重量比較結果表示欄６４の表示が「重量ＯＫ」または「総重量誤差」の値が許容範囲内かどうかを確認する。許容範囲内の場合（ステップＳ２８；Ｙｅｓ）、現在の伝票データに対する検品作業は完了したとみなし処理フローは終了する。許容範囲内ではない場合（ステップＳ２８；Ｎｏ）、作業員は、重量比較結果表示欄６４の表示を参考にして、重量計測器３００に置かれた各検品対象商品６００の数量を調整する。そして、作業員は、再度、入力装置５００を用いて検品指示操作を行う。検品処理装置１００は、ステップＳ２０からの処理を繰り返す。この場合、ステップＳ２１〜ステップＳ２４の処理はスキップするように構成されていてもよい。作業員は、総重量誤差が許容範囲内となるまで繰り返し商品の数量を調整する。
When all the products have been specified (step S26; Yes), the worker determines whether the total weight error is within an allowable range (step S28). For example, the display of the weight comparison
ここで、商品データ格納部１１４とグループ情報格納部１１５へのデータの格納方法について説明する。まず、商品名、商品の画像から計算した特徴量、および商品一つあたりの単位重量を商品ごとに商品データ格納部１１４に登録する。次に、全ての商品の特徴量を相互に照合し、類似度が所定の値以上の商品どうしをまとめてグループ化する。類似商品が存在しない場合は、商品一つで1グループとする。このようにして分類したグループの番号を各商品に割り当てて商品データ格納部１１４に登録する。また、グループ情報格納部１１５へは、各グループの商品をグループごとに登録する。
Here, a method of storing data in the product
図１０は、本発明の第一の実施形態による検品処理の効果を説明する第一の図である。
図１０を用いて、本実施形態のように外観が類似する商品を含めて照合処理を行うのではなく、伝票に記載された商品とのみ照合処理を行う場合の検品結果について考察する。以下の図１０を用いて説明する検品処理を行う装置を検品処理装置１００Ａと呼ぶ。
図１０（ａ）は、ある伝票データに対する検品作業の結果の一例である。図示するように、この例では検品商品として商品Ａおよび商品Ｃを含んでいる。一方、重量計測器３００に置かれた各検品対象商品６００は商品Ｅおよび商品Ｃである。ここで商品Ａと商品Ｅは、図９（ｂ）で例示したように同じグループに属するほどその画像が類似しているものとする。また、図９（ｂ）で例示したように商品Ａと商品Ｅの単位重量は同じであるとする。
図１０（ｂ）は、重量計測器３００に置かれた商品Ｅおよび商品Ｃを撮像した検品対象画像と伝票に記載された商品（商品Ａと商品Ｃ）とのみ照合処理を行う場合の照合結果を示している。具体的に説明すると、まず検品処理装置１００Ａは、商品Ａのマスタ画像の特徴量と検品対象画像の特徴量とを比較して照合を行う。図１０（ｂ）の表は、照合処理の結果、検品対象画像に写る商品Ｃと商品Ａとの類似度は５０％（１行目）、検品対象画像に写る商品Ｅと商品Ａとの類似度は９２％（３行目）であることを示している。同様に、商品Ｃのマスタ画像の特徴量と検品対象画像の特徴量とを比較して照合を行う。その結果、図１０（ｂ）の２行目に示すように検品対象画像に写る商品Ｃと商品Ｃとの類似度は９０％、４行目に示すように検品対象画像に写る商品Ｅと商品Ｃとの類似度は５５％であった。これらの照合結果から、検品処理装置１００Ａは、重量計測器３００に置かれた検品対象商品６００は商品Ａと商品Ｃであると判定する。つまり重量計測器３００に載せたのが商品Ｅであるにも関わらず、検品処理装置１００Ａは、誤って商品Ａと判定するため誤検品が生じる。
このように、検品処理装置１００Ａにおいては、伝票に記載された商品とのみ照合処理を行うので、照合対象に検品対象の商品Ｅが含まれないため、同じグループの類似商品Ａとの類似度が最も高くなり、誤検品する可能性が高くなる。
FIG. 10 is a first diagram for explaining the effect of the inspection processing according to the first embodiment of the present invention.
With reference to FIG. 10, the inspection result in the case where the matching process is performed only with the product described in the slip, instead of performing the matching process including products having similar appearances as in the present embodiment, will be considered. An apparatus that performs an inspection process described with reference to FIG. 10 is referred to as an inspection processing apparatus 100A.
FIG. 10A is an example of a result of inspection work for certain slip data. As shown in the figure, in this example, a product A and a product C are included as inspection products. On the other hand, the
FIG. 10B shows a verification result when the verification processing is performed only on the inspection target image obtained by imaging the products E and C placed on the
Thus, in the inspection processing apparatus 100A, the verification process is performed only with the product described in the slip, and therefore the product E to be inspected is not included in the verification target. It becomes the highest and the possibility of erroneous inspection is increased.
図１１は、本発明の第一の実施形態による検品処理の効果を説明する第二の図である。
図１１を用いて、図１０の誤検出の可能性を排除した本実施形態の照合処理について説明する。
伝票データに含まれる検品商品（商品Ａおよび商品Ｃ）と重量計測器３００に置かれた検品対象商品６００（商品Ｅおよび商品Ｃ）は図１０と同じである。しかし、本実施形態では、検品対象商品６００と照合処理を行う対象が図１０の場合と異なる。既に説明したように本実施形態では、商品グループ選択部１１０が伝票に記載された検品商品と同じグループに属する全ての商品のマスタ画像と検品対象画像との照合処理を行う。具体的には、図９（ｂ）より、検品商品のうち商品Ａと同じグループの属する商品Ａおよび商品Ｅと、検品商品のうち商品Ｃと同じグループの属する商品Ｃとを用いて照合処理を行う。
図１１（ｂ）は、本実施形態による照合結果を示している。まず、検品対象画像に写る商品Ｃに対する照合結果を見ると、商品Ａとの類似度は５０％（１行目）、商品Ｃとの類似度は９０％（２行目）、商品Ｅとの類似度は５５％（３行目）である。この結果に基づいて商品特定部１１１は、検品対象画像に含まれる商品Ｃについて商品Ｃであると特定する。また、検品対象画像に写る商品Ｅに対する照合結果を見ると、商品Ａとの類似度は９２％（４行目）、商品Ｃとの類似度は５５％（５行目）、商品Ｅとの類似度は９４％（３行目）である。この結果に基づいて商品特定部１１１は、検品対象画像に含まれる商品Ｅについて正しく商品Ｅであると特定する。このように本実施形態では、類似商品も対象として照合処理を行うため、図１０で説明したような誤検出が生じにくいという効果が得られる。なお、類似度については商品ごとあるいはグループごとに異なる閾値を基準として定めておき、グループの中で最も類似度が高いことに加え、この基準以上であることも商品を特定する条件としてもよい。例えば、基準を設けることで、類似度が５０％であるにも関わらず、その類似度が最も高いという理由で類似度５０％の商品を特定することを防ぐことができる。また、例えば商品Ａと商品Ｅは極めて類似度が高いことから、このグループについては例えば類似度が９３％であることを基準とし、類似度が最も高く且つその時の類似度が９３％以上の場合のみ、その商品であると特定してもよい。
FIG. 11 is a second diagram for explaining the effect of the inspection processing according to the first embodiment of the present invention.
With reference to FIG. 11, the collation processing of the present embodiment in which the possibility of erroneous detection in FIG. 10 is eliminated will be described.
The inspection products (product A and product C) included in the slip data and the inspection target product 600 (product E and product C) placed on the
FIG. 11B shows the collation result according to the present embodiment. First, looking at the matching result for the product C shown in the inspection target image, the similarity with the product A is 50% (first line), the similarity with the product C is 90% (second line), and the product E The degree of similarity is 55% (third line). Based on this result, the
最後に参考として、検品対象商品６００を撮像した画像には１つの商品だけが写っていることを前提にした検品方法（例えば、特願２００４−０５８０８６）との差異について説明する。検品対象画像に１つの商品しか含まれていないことを前提にする場合、検品対象画像の特徴量を算出し、検品対象画像に基づく特徴量を、あらかじめ登録された商品の画像と照合するのが一般的な方法である。また、このとき、データベースに登録された全商品の画像と照合を繰り返すと照合処理に時間が掛かってしまう。そこで、予め登録された商品の画像についてもその特徴量を計算して、特徴量の類似度に基づいてグルーピングしておく。このようにすると次のような処理が可能になる。つまり、まず検品対象画像に基づく特徴量に基づいて、その特徴量に類似するグループを特定する。そして、特定したグループに属する商品とのみ照合処理を行い、最も類似する商品を検品対象画像に写る商品であると特定する。このようにすると照合対象を絞ることができるので照合処理に要する時間を短縮化できる。この処理を本実施形態で前提とする検品対象画像に複数商品が写っている場合に適用することを考える。複数の検品対象商品を同時に撮像した場合、検品対象画像の特徴量を算出してもそこには複数種類の商品の特徴量が含まれており、また、検品対象画像には何種類の商品がそれぞれどの位置に配置されて撮像されたかが分からない。この場合、複数種類の特徴量が混在する検品対象画像から、その検品対象画像に含まれる商品に対応するグループを探し出して、特定したグループに属する商品とのみ照合処理を行うといったことを行うのは困難である。そこで、本実施形態では、検品対象画像に写る商品を、データベースに格納された商品の画像と次々と照合するのではなく、伝票データに含まれる検品商品の画像を、検品対象画像と照合して検品商品が検品対象画像に含まれているかどうかを判定する。また、その際、類似商品による誤検出を防ぐために検品商品の類似商品にまで範囲を広げ、それら類似商品の画像と検品対象画像との照合処理を行う。これにより、複数種類の商品を同時に撮像した画像についても高速かつ精度よく照合処理を行うことができる。なお、本実施形態の検品処理を、検品対象画像に１つの商品しか含まれていないことを前提にする場合の検品処理に適用することは可能である。
Finally, as a reference, a difference from an inspection method (for example, Japanese Patent Application No. 2004-058086) based on the premise that only one product is shown in an image obtained by imaging the
本実施形態によれば、一つの伝票に複数種類の商品が含まれる場合や取扱商品が大量にある場合でも、類似商品への誤りを抑制しつつ、照合にかかる時間を短縮することができる。そのため、誤検品を抑制し、かつ作業者の待ち時間を減らすことができる。 According to this embodiment, even when a plurality of types of products are included in one slip or when there are a large number of handled products, it is possible to reduce the time required for matching while suppressing errors in similar products. Therefore, it is possible to suppress erroneous inspection and reduce the waiting time of the worker.
図１２は、本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。
図１２に示す通り、検品処理装置１００は、ＣＰＵ９０１と、メモリ９０２と、ハードディスク等の記憶装置９０３と、ネットワーク接続用の通信ＩＦ９０４（通信インターフェース）とを含む、コンピュータ装置によって実現される。ただし、検品処理装置１００の構成は、図１２に示すコンピュータ装置に限定されない。例えば、検品処理装置１００は、通信ＩＦ９０４を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。
FIG. 12 is a block diagram showing an example of a hardware configuration of the inspection processing apparatus according to the first embodiment of the present invention.
As shown in FIG. 12, the
なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置１００は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
Note that the block diagram used in the present embodiment shows functional unit blocks, not hardware unit configurations. These functional blocks are realized by any combination of hardware and software. Further, the
なお、上述の検品処理装置１００は内部にコンピュータを有している。そして、上述した検品処理装置１００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、目標総重量計算部１０８は重量比較部の一例であり、商品特定部１１１は物品特定部の一例である。また、商品グループ選択部１１０は物品グループ選択部の一例であり、商品判定部１１２は物品判定部の一例である。また、商品グループは物品グループの一例であり、商品は物品の一例であり、検品商品は検品物品の一例である。
In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. The target total
１・・・検品システム
１００・・・検品処理装置
１０１・・・制御判定部
１０２・・・重量取得部
１０３・・・商品画像取得部
１０４・・・入力受付部
１０５・・・表示データ出力部
１０６・・・特徴量計算部
１０７・・・伝票データ保存部
１０８・・・目標総重量計算部
１０９・・・照合部
１１０・・・商品グループ選択部
１１１・・・商品特定部
１１２・・・商品判定部
１１３・・・伝票データ格納部
１１４・・・商品データ格納部
１１５・・・グループ情報格納部
２００・・・撮像装置
３００・・・重量計測器
３０１・・・土台
３０２・・・支柱
４００・・・表示装置
５００・・・入力装置
６００・・・検品対象商品
９０１・・・ＣＰＵ
９０２・・・メモリ
９０３・・・記憶装置
９０４・・・通信ＩＦ
DESCRIPTION OF
902 ...
Claims (12)
前記選択した物品グループに属する１つまたは複数の商品の画像と、１つまたは複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定する物品特定部と、
前記物品特定部の特定した物品と前記伝票データに含まれる検品物品とを比較する物品判定部と、
を備える検品処理装置。 An article group selection unit that selects an article group having an image feature amount similar to the inspection article for each of one or a plurality of inspection articles included in the slip data;
An article that identifies an article included in the inspection target image by collating an image of one or more products belonging to the selected article group with an inspection target image obtained by imaging one or more inspection article candidates A specific part,
An article determination unit that compares the article specified by the article specifying unit with the inspection article included in the slip data;
Inspection processing apparatus comprising:
請求項１に記載の検品処理装置。 The article specifying unit specifies an article having the highest similarity among articles belonging to the same article group as a reference, based on a similarity that differs for each article or article group, as the article.
The inspection processing apparatus according to claim 1.
をさらに備える請求項１または請求項２に記載の検品処理装置。 A weight comparison unit for comparing the total weight of a plurality of inspection article candidates with the total weight of the inspection articles included in the slip data;
The inspection processing apparatus according to claim 1, further comprising:
をさらに備え、
前記表示データ出力部は、前記物品判定部が前記伝票データに含まれる全ての検品物品について前記物品特定部の特定した物品と一致し、さらに一致した物品の数量が該当する検品物品について検品すべき数量である検品数量と等しい場合、前記検品対象画像に基づく検品が正常であることを示す表示を行う、
請求項３に記載の検品処理装置。 A display data output unit for outputting a determination result by the article determination unit and a list of the slip data;
Further comprising
The display data output unit should be inspected for an inspection article corresponding to the article specified by the article specifying unit for all the inspection articles included in the slip data by the article determination unit, and the number of the matching articles is the same. If the quantity is equal to the quantity to be inspected, a display indicating that the inspection based on the inspection object image is normal is performed.
The inspection processing apparatus according to claim 3.
請求項４に記載の検品処理装置。 The display data output unit matches the inspection target article included in the slip data and the article specified by the article specifying unit, and the number of matched articles is equal to the inspection quantity of the corresponding inspection article, In the list of slip data, display that the inspection has been completed for the details of the inspection article.
The inspection processing apparatus according to claim 4.
請求項４または請求項５に記載の検品処理装置。 The display data output unit further outputs a comparison result by the weight comparison unit,
The inspection processing apparatus according to claim 4 or 5.
請求項４から請求項６の何れか１項に記載の検品処理装置。 The display data output unit further outputs the inspection target image, and highlights the articles determined by the article determination unit to match the inspection articles included in the slip data among the articles included in the inspection target image. ,
The inspection processing apparatus according to any one of claims 4 to 6.
前記検品物品の候補の重量を測定する重量計測器と、
前記撮像装置が撮像した１つまたは複数の検品物品の候補を撮像した検品対象画像を取得する、請求項１から請求項７の何れか１項に記載の検品処理装置と、
を備えることを特徴とする検品システム。 An imaging device that captures images of one or more inspection article candidates;
A weight measuring instrument for measuring the weight of the inspection article candidate;
The inspection processing apparatus according to any one of claims 1 to 7, wherein an inspection target image obtained by imaging one or a plurality of inspection article candidates captured by the imaging apparatus is acquired;
An inspection system comprising:
前記選択した物品グループに属する１つまたは複数の物品の画像と、複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定し、
前記特定した物品と前記伝票データに含まれる検品物品とを比較する、
検品処理方法。 For each of one or more inspection articles included in the slip data, an article group having an image feature amount similar to the inspection article is selected,
Collating an image of one or more articles belonging to the selected group of articles with an inspection target image obtained by imaging a plurality of inspection article candidates, and specifying an article included in the inspection target image;
Comparing the identified article with the inspection article included in the slip data;
Inspection processing method.
前記特定した物品と前記伝票データに含まれる検品対象物品とが一致し、かつ、前記複数の検品対象物品の候補の総重量と前記伝票データに含まれる検品対象物品の総重量とが一致すると、検品結果は正常とする検品処理方法。 The inspection processing method according to claim 9, further comprising comparing a total weight of a plurality of inspection article candidates with a total weight of inspection target articles included in the slip data.
When the specified article matches the inspection target article included in the slip data, and the total weight of the plurality of inspection target articles candidates matches the total weight of the inspection target article included in the slip data, Inspection processing method in which inspection results are normal.
伝票データに含まれる１つまたは検品物品のそれぞれについて、前記検品物品と類似する画像の特徴量を有する物品グループを選択する手段、
前記選択した物品グループに属する複数の商品の画像と、複数の検品物品の候補を撮像した検品対象画像と、を照合して前記検品対象画像に含まれる物品を特定する手段、
前記特定した物品と前記伝票データに含まれる検品物品とを比較する手段、
として機能させるためのプログラム。 Computer of inspection processing equipment,
Means for selecting an article group having an image feature amount similar to the inspection article for each of one or inspection articles included in the slip data;
Means for collating an image of a plurality of products belonging to the selected article group and an inspection object image obtained by imaging a plurality of inspection article candidates to identify an article included in the inspection object image;
Means for comparing the specified article with the inspection article included in the slip data;
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015212717A JP6582875B2 (en) | 2015-10-29 | 2015-10-29 | Inspection processing apparatus, inspection system, inspection processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015212717A JP6582875B2 (en) | 2015-10-29 | 2015-10-29 | Inspection processing apparatus, inspection system, inspection processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017081708A true JP2017081708A (en) | 2017-05-18 |
| JP6582875B2 JP6582875B2 (en) | 2019-10-02 |
Family
ID=58713997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015212717A Active JP6582875B2 (en) | 2015-10-29 | 2015-10-29 | Inspection processing apparatus, inspection system, inspection processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6582875B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03280168A (en) * | 1990-03-29 | 1991-12-11 | Anritsu Corp | Product inspection device |
| JP2008085874A (en) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | Person monitoring system, and person monitoring method |
| JP2014210646A (en) * | 2013-04-18 | 2014-11-13 | 三菱化学エンジニアリング株式会社 | Commodity check system, commodity check device, and commodity check method |
| JP2015182825A (en) * | 2014-03-20 | 2015-10-22 | 日本電気株式会社 | inspection processing equipment, inspection system, inspection processing method and program |
-
2015
- 2015-10-29 JP JP2015212717A patent/JP6582875B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03280168A (en) * | 1990-03-29 | 1991-12-11 | Anritsu Corp | Product inspection device |
| JP2008085874A (en) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | Person monitoring system, and person monitoring method |
| JP2014210646A (en) * | 2013-04-18 | 2014-11-13 | 三菱化学エンジニアリング株式会社 | Commodity check system, commodity check device, and commodity check method |
| JP2015182825A (en) * | 2014-03-20 | 2015-10-22 | 日本電気株式会社 | inspection processing equipment, inspection system, inspection processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6582875B2 (en) | 2019-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522780B (en) | Shelf information estimating device, information processing method, and terminal device | |
| JP6555866B2 (en) | Product registration apparatus and program | |
| JP6693059B2 (en) | Product shelf recognition device, product shelf recognition method, program, and image processing device | |
| US20150317620A1 (en) | Digital point-of-sale analyzer | |
| JP6679891B2 (en) | Inspection processing device, inspection system, inspection processing method and program | |
| EP2375365A1 (en) | Digital point-of-sale analyzer | |
| US20160292628A1 (en) | Method, and storage medium | |
| JP2020061158A (en) | Image processing apparatus, display control apparatus, image processing method, and recording medium | |
| JP6458239B1 (en) | Image recognition system | |
| JP6558020B2 (en) | Inspection processing apparatus, inspection processing method and program | |
| JP7485140B2 (en) | Information processing device, information processing method, and program | |
| JP2018139062A (en) | Commodity information acquisition system | |
| JPWO2015147333A1 (en) | Sales registration device, program and sales registration method | |
| JP2019046484A (en) | Image recognition system | |
| WO2017170260A1 (en) | Inspection processing device, inspection system, commodity master registration device, inspection processing method, and program | |
| JP5888358B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP2014191423A (en) | Selling commercial article recognition device and selling commercial article recognition method of automatic vending machine and computer program | |
| JP6052448B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6651169B2 (en) | Display status judgment system | |
| JP6769554B2 (en) | Object identification device, object identification method, computing device, system and recording medium | |
| JP2021119475A (en) | Narrowing down processing system | |
| JP6582875B2 (en) | Inspection processing apparatus, inspection system, inspection processing method and program | |
| JP6981495B2 (en) | Inspection processing equipment | |
| US11462004B2 (en) | Object identification device, object identification method, calculation device, system, and recording medium | |
| JP6209694B1 (en) | Product discrimination device, product discrimination program, and product discrimination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6582875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |