JP2020093937A - 検品処理装置 - Google Patents

Abstract

【課題】検品作業の効率を高める検品作業支援情報を表示する検品処理装置を提供する。【解決手段】検品処理装置は、１つまたは複数の検品物品の候補を撮像した検品対象画像と、物品を複数の方向から撮像して得られた各方向ごとのマスタ画像とを照合し、前記検品対象画像に含まれる物品を特定する物品特定部と、前記物品特定部が特定した物品が、伝票データに含まれる検品物品か否かを判定する物品判定部と、前記物品判定部による判定結果に基づく検品作業支援情報を表示する表示制御部と、を備える。【選択図】図１

Description

本発明は、検品処理装置、検品システム、検品処理方法及びプログラムに関する。

物流倉庫へ商品を入荷、または、物流センターから商品を出荷する際に商品の種類と数量が正しいかどうかをチェックする検品作業を行う。この検品作業は、入荷または出荷の最小作業単位を定めた伝票を選択し、その伝票に記載された商品と検品対象商品の現品とを一点一点確認をおこなうのが一般的な方法である。このとき、バーコードが予め印刷された商品はバーコードリーダーで自動認識させ、バーコードが印刷されていない商品については、商品名や商品コードの文字列を人が目視で確認している。しかし、目視での確認作業の場合は、作業効率の低下やヒューマンエラーにより間違いが生じる可能性がある。また、バーコードリーダーで自動認識させる場合は、認識精度は高いが、バーコードが印刷されている面を探す作業が生じる為、効率が良いとはいえない。
これら課題を解決するため、カメラで商品の画像を撮像し、商品の全ての側面それぞれについて予め登録されたマスタ画像との画像照合をおこない商品を特定する画像検品システムが提供されている。この画像検品システムを用いれば、商品の置き方を気にかけることなく、また、複数の商品を一度に照合させることができ、効率的に検品作業を進めることができる。

また、例えば特許文献１には、複数の荷物を一括して撮像し、撮像した画像に写ったバーコードやロゴを認識して画像に含まれる荷物を検出する情報読取装置について開示されている。また、特許文献１には、検出できた荷物については、その荷物の画像上に「済」の表示を付加することが記載されている。

特開２０１２−０６４１１０号公報

ところで、上述の画像検品システムにおいては、商品を一意に特定するための特徴的なデザイン等が印刷された側面が、商品が置かれた方向や商品どうしの重なりによって撮像されない場合がある。このような場合、画像検品システムは商品の特定ができない。従って作業員は置き間違いを是正して再度検品操作を行なわなければならない。しかし、複数種類の商品が置かれている場合、どの商品の置き方を是正しなければならないかを特定する作業は煩わしく、時間がかかっていた。また、是正する商品が特定できても、どのように是正すべきかがわからないため、特定できるまで何度も商品の置き方を変える必要があった。また、是正しても商品の特定ができない場合は、目視によって検品作業を行う必要があった。このような問題に対して一般的には、商品どうしが接したり重なったりしないように並べるなど運用面を工夫することによって対応する場合が多い。しかし、このような対応では、毎回の検品作業において商品の位置を正しく整理しなければならないという煩わしさがあった。また、特許文献１にもこのような課題を解決する手段については記載が無い。

そこでこの発明は、上述の課題を解決することのできる検品処理装置、検品システム、検品処理方法及びプログラムを提供することを目的としている。

本発明は、１つまたは複数の検品物品の候補を撮像した検品対象画像と、物品を複数の方向から撮像して得られた各方向ごとのマスタ画像とを照合し、前記検品対象画像に含まれる物品を特定する物品特定部と、前記物品特定部が特定した物品が、伝票データに含まれる検品物品か否かを判定する物品判定部と、前記物品判定部による判定結果に基づく検品作業支援情報を表示する表示制御部と、を備える検品処理装置である。

また本発明は、１つまたは複数の検品物品の候補の画像を撮像する撮像装置と、前記撮像装置が撮像した１つまたは複数の検品物品の候補を撮像した検品対象画像を取得する、上述の検品処理装置と、を備える検品システムである。

また本発明は、１つまたは複数の検品物品の候補を撮像した検品対象画像と、物品を複数の方向から撮像して得られた各方向ごとのマスタ画像とを照合し、前記検品対象画像に含まれる物品を特定し、前記特定した物品が、伝票データに含まれる検品物品か否かを判定し、前記判定結果に基づく検品作業支援情報を表示する、検品処理方法である。

また本発明は、検品処理装置のコンピュータを、１つまたは複数の検品物品の候補を撮像した検品対象画像と、物品を複数の方向から撮像して得られた各方向ごとのマスタ画像とを照合し、前記検品対象画像に含まれる物品を特定する手段、前記特定した物品が、伝票データに含まれる検品物品か否かを判定する手段、前記判定結果に基づく検品作業支援情報を表示する手段、として機能させるためのプログラムである。

本発明の認証によれば、検品作業の効率化、作業員の利便性向上を図ることができる。

本発明の第一の実施形態による検品処理装置の最小構成を示すブロック図である。 本発明の第一の実施形態による検品処理装置の構成の一例を示すブロック図である。 本発明の第一の実施形態による検品システムの一例を示す図である。 本発明の第一の実施形態による照合処理の概要を説明する図である。 本発明の第一の実施形態による検品処理装置の処理フローを示す第一の図である。 本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。 本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。 本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。 本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。

以下、本発明の一実施形態による検品処理装置を図１〜図１２を参照して説明する。
図１は第一の実施形態による検品処理装置の最小構成を示す図である。
この図において、符号１００は検品処理装置を表している。図１に示す通り、検品処理装置１００は、表示制御部１０５と、商品特定部１０９と、商品判定部１１０と、を少なくとも備えている。検品処理装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたコンピュータである。
商品特定部１０９は、１つまたは複数の検品商品の候補を撮像した検品対象画像と、商品を複数の方向から撮像して得られた各方向ごとのその商品の画像であって、予め登録されたマスタ画像とを照合し、検品対象画像に含まれる商品を特定する。
商品判定部１１０は、商品特定部１０９が特定した商品が、伝票データに含まれる商品か否かを判定する。
表示制御部１０５は、検品対象画像の商品上に、当該商品に対する商品判定部１１０による判定結果に基づく検品作業支援情報を付加した画像を表示する。例えば、商品判定部１１０が、商品特定部１０９によって特定された商品Ａが伝票データに含まれていると判定した場合、表示制御部１０５は、検品対象画像の商品Ａの上に、伝票データにおける商品Ａの明細番号を付加した画像を生成し、検品処理装置１００に接続されたディスプレイにその画像を表示する。

図２は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図２に示す通り、検品処理装置１００は、制御判定部１０１と、商品画像取得部１０２と、画像バッファ部１０３、入力受付部１０４と、表示制御部１０５と、特徴量計算部１０６と、伝票データ保存部１０７と、照合部１０８と、商品特定部１０９と、商品判定部１１０と、特徴箇所特定部１１１と、伝票データ格納部１１２と、商品データ格納部１１３とを備えている。なお、伝票データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。

制御判定部１０１は、他の機能部へ、情報の伝達や処理の指示を行う。
商品画像取得部１０２は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した画像（検品対象画像）を取得する。
画像バッファ部１０３は、商品画像取得部１０２が取得した検品対象画像を格納する領域である。
入力受付部１０４は、検品作業員の入力操作を受け付ける。
特徴量計算部１０６は、商品画像取得部１０２が取得した画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。

伝票データ保存部１０７は、作業員が入力した検品作業の対象となる伝票データを伝票データ格納部１１２に記録する。
照合部１０８は、検品対象商品を撮像した検品対象画像の特徴量を用いて、その画像に写る商品を特定し、特定した商品が伝票データに含まれる検品商品と一致するかどうかを判定する。特に本実施形態における照合部１０８は、検品対象画像と照合する商品の種類を、伝票データに含まれる検品商品と検品商品に外観が類似する商品に限定することで照合処理の高速化を図る。なお、照合部１０８は、商品特定部１０９と、商品判定部１１０と、特徴箇所特定部１１１とを備えている。商品特定部１０９と、商品判定部１１０については、図１を用いて説明したとおりである。
特徴箇所特定部１１１は、検品対象画像に写った商品について、その商品を特定することができる特徴のある箇所を特定する。特徴のある箇所とは、例えば、商品のある面の一部分の表示（商品名など）やある面の大部分を占める表示（模様など）である。

伝票データ格納部１１２は、検品作業の対象となる出荷または入荷の伝票データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部１１３は、商品ごとに、商品名、複数の方向からその商品を撮像したマスタ画像、マスタ画像の特徴量、単位重量、などを格納するデータベースである。
なお、制御判定部１０１、商品画像取得部１０２、入力受付部１０４、表示制御部１０５、特徴量計算部１０６、伝票データ保存部１０７、照合部１０８、商品特定部１０９、商品判定部１１０、特徴箇所特定部１１１の少なくとも一部は検品処理装置１００の備えるＣＰＵがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。

図３は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、図３を用いて、本実施形態の検品システムの説明を行う。
この図において、符号１は検品システムを表している。図３に示す通り、検品システム１は、検品処理装置１００と、撮像装置２００と、表示装置３００と、入力装置４００とを備えている。また、荷台３０１には１つまたは複数の検品対象商品（検品対象商品５００）が置かれている。

撮像装置２００は、検品対象商品を撮像する例えばカメラである。図３において、撮像装置２００は、荷台３０１の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱３０２に取り付けられている。支柱３０２は、荷台３０１によって固定されている。撮像装置２００の取り付け位置は、この図の例に限定されない。検品処理装置１００は、撮像装置２００と接続されており、撮像装置２００が撮像した検品対象商品の画像を取得する。

表示装置３００は、例えばディスプレイである。表示装置３００は、検品処理装置１００と接続されており、検品処理装置１００が生成した検品作業に必要な情報を表示する。入力装置４００は、キーボード、マウス、あるいは任意のデータ読み取り手段（記憶媒体読み取り装置など）である。作業員は、表示装置３００に表示される情報を参照しながら、入力装置４００を用いて検品処理装置１００を操作し、検品作業を行う。

次に、図３を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業を行う対象の伝票に記載された検品対象商品を商品棚などから取り出し荷台３０１の上に置く。伝票データには、複数種類の商品が含まれていることも多く、その場合、検品対象商品５００には、複数種類の商品が含まれることになる。このとき作業員は、検品対象商品がなるべく重ならないように荷台３０１の上に置く。また、作業員は、検品対象商品の特徴ある箇所が撮像されるように置く。作業員は、検品対象商品５００を荷台３０１の上に置くと、検品処理装置１００に自動検品処理の開始を指示する操作を行う。すると、検品処理装置１００は撮像装置２００に撮像指示信号を送信する。撮像指示信号を受信すると、撮像装置２００は、検品対象商品５００を撮像し、撮像した検品対象画像を検品処理装置１００に送信する。
また、これらの処理と並行して、作業員は、伝票データ（検品商品の名称、検品数量など）を、入力装置４００を用いて入力する。例えば、伝票データは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置１００に入力する。なお、１枚の伝票に含まれる明細データや伝票番号などをまとめて伝票データと呼ぶ。

すると、検品処理装置１００は、伝票データに含まれた検品商品のそれぞれについて、検品商品と検品商品に外観が類似する商品のマスタ画像を取得する。そして、検品処理装置１００は、商品のマスタ画像を使用して、撮像装置２００が撮像した検品対象画像にどの商品が含まれているか特定する。次に検品処理装置１００は、検品対象画像に写っていると特定した商品と、伝票データに含まれる検品商品とが一致するかどうかを判定する判定処理を行う。検品処理装置１００は、伝票データに含まれる全ての検品商品について同様の判定処理を行う。この画像の照合による商品の特定と判定処理をまとめて検品処理とよぶ。

検品処理装置１００は、全ての検品商品についての検品処理結果を表示する検品確認画面の画像を生成して表示装置３００に表示する。検品確認画面には、伝票データの明細一覧と検品対象画像とが表示される。例えば、検品処理の結果、検品対象画像から特定された商品Ａが伝票データに含まれている場合、検品確認画面の伝票データの明細一覧では、商品Ａの明細が消し込み表示される。消し込み表示とは、例えば、消し込む表示を行う明細行をグレーアウトして表示することをいう。また、検品確認画面の検品対象画像表示欄では、商品Ａの画像上に伝票データにおける商品Ａを含む明細データの明細番号が表示される。作業員は、表示装置３００に表示された伝票データの明細一覧および検品対象画像表示欄に表示された情報を参照して荷台３０１に置かれた検品対象商品５００が正しいかどうかを把握することができる。作業員は、過不足分する検品対象商品を荷台３０１に置いたり、減らしたりして検品作業を進める。以上の作業と検品処理の結果、伝票データに含まれる検品商品の全ての検品処理結果が正常となればその伝票データに対する検品作業は終了である。

ところで、検品対象商品５００が立体物の場合、検品対象商品の荷台３０１への搭載方法はさまざまである。例えば、商品Ａが立方体形状であれば、その商品Ａのどの面を上にして荷台３０１へ置くかについては６通りの方法が存在する。従って商品データ格納部１１３には、この商品Ａについて、各面を撮像した６種類の照合用のマスタ画像を登録しておく必要がある。しかし、商品データ格納部１１３に商品Ａの６面それぞれのマスタ画像を格納していたとしても必ずしも商品を特定できるとは限らない。何故ならば、商品Ａに外観が類似する商品Ａ´が存在し、商品Ａと商品Ａ´は５面がほぼ同じ外観で残りの１面のある部分でのみ両商品の判別が可能であるような場合が存在するためである。このような場合、作業員は、商品Ａ´ではなく正しく商品Ａを商品棚から取り出して、さらに商品Ａの判別が可能な部分が写るように荷台３０１に置かなければならない。

また、伝票データに商品Ａの他に商品Ｂが含まれている場合、作業員は商品Ｂも荷台３０１へ置いて一度に照合処理を行う。この場合、商品Ｂを商品Ａの横に置く場合もあれば、商品Ｂの上に商品Ａを載せる場合もある。このとき商品Ｂを商品Ａの特徴ある部分を隠すように載せた場合、やはり検品処理装置１００は、商品Ａを特定することができないことになる。このような場合、作業員は、商品Ａの特徴ある箇所が撮像されるように商品Ｂを移動させ、その状態で撮像した検品対象画像を用いて、再度検品処理を行わなければならない。

荷台３０１に置かれた検品対象商品が１〜２種類の商品であれば、作業員がそれらの商品の特徴ある部位が撮像されるように並べたり置き直したりすることも容易であるかもしれない。しかし、検品対象商品の種類が増えるにつれ、どの検品対象商品が正しい商品で置き直しなどの必要が無く、また、どの検品対象商品が置き直す必要がある商品か、あるいは、どの検品対象商品は誤った商品なので商品棚の正しい商品と取り替えなければならないかを把握するは大変になってくる。かといって１商品ずつ荷台３０１に置いて検品処理を行うと作業効率上問題がある。

そこで、本実施形態の検品処理装置１００は、複数商品を同時に検品可能とするうえで必要となる検品作業の支援情報を表示し、検品作業の利便性向上および作業効率の向上を図る。例えば、検品処理の結果、検品対象画像から伝票データには無い商品が特定された場合、検品処理装置１００は、検品確認画面における検品対象画像表示欄の当該商品上に伝票データに含まれる商品と異なる商品であることを示す表示を行う。また、例えば、検品処理の結果、検品対象画像に一意に特定できない商品が検出された場合、検品処理装置１００は、検品対象画像表示欄に、どの商品が一意に特定できないかを示す表示を行う。また、この場合、一意に特定できないとされた商品については、その商品のどの部位を撮像するようにすればその商品を特定することができるようになるかを教示する表示を行う。これらの検品作業支援情報によって作業員は、荷台３０１の商品を置き直したり、正しい商品と入れ替えたりして、効率よく検品作業を進めることができるようになる。

図４は、本発明の第一の実施形態による照合処理の概要を説明する図である。
図４の下図は、商品データ格納部１１３に格納されている商品のマスタ画像を示している。図示するように商品データ格納部１１３には、各商品について、その商品を荷台３０１に置く場合の、全て置き方のパターンに対して撮像装置２００が撮像する面のマスタ画像が格納されている。例えば商品Ａのように立方体であれば、商品Ａの上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。また、商品Ｅのように円柱型の商品についても、上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。このように商品の載置パターンに対応する全ての面のマスタ画像を有していることで、商品がどのように置かれたとしても照合処理を行うことができる。なお、商品データ格納部１１３には、各商品の各面を撮像したマスタ画像の特徴量が、予め所定の計算手法によって計算され、格納されていてもよい。以下の説明では、商品データ格納部１１３には、各商品の載置パターンに対応する全ての面のマスタ画像に基づく特徴量が格納されているものとする。

図４の上図は、荷台３０１に商品Ａ、商品Ｄ、商品Ｅ、商品Ｚが置かれている様子を示している。商品Ａは右側面、商品Ｄは前側面、商品Ｅは上面、商品Ｚは底面が撮像装置２００に向けられている。撮像装置２００は、この様子を撮像すると、その検品対象画像を検品処理装置１００に送信する。検品処理装置１００では、商品画像取得部１０２が検品対象画像を画像バッファ部１０３に格納する。また、特徴量計算部１０６は、画像バッファ部１０３から検品対象画像を読み出して、所定の公知の計算手法により、この検品対象画像の特徴量を計算する。また、照合部１０８では、商品特定部１０９が、検品対象画像の特徴量と、図４の下図で例示した複数方向から撮像した商品のマスタ画像の特徴量とを照合して検品対象画像に含まれる商品を特定する。具体的には、商品特定部１０９は、商品データ格納部１１３からまず商品Ａ上面のマスタ画像の特徴量を読み出す。そして、商品特定部１０９は、検品対象画像について計算した特徴量分布をスキャンして、検品対象画像の特徴量分布に商品Ａ上面画像の特徴量と合致する箇所があるかどうか検索する。合致するとは、特徴量の類似度が所定の閾値以上となることをいう。商品Ａ上面の特徴量と合致する箇所があれば、商品特定部１０９は、検品対象画像に含まれる商品として、商品Ａを特定する。現在、荷台３０１に置かれた商品Ａは右側面が撮像されているので、商品特定部１０９は、検品対象画像の特徴量分布の中に商品Ａ上面の特徴量パターンを見つけることはできない。次に商品特定部１０９は、商品データ格納部１１３から商品Ａ前側面のマスタ画像の特徴量を読み出す。そして同様に商品特定部１０９は、検品対象画像について計算された特徴量分布をスキャンして、商品Ａ前側面の特徴量と合致する箇所を探す処理を行う。この場合も商品特定部１０９は、商品Ａ前側面の特徴量に合致する箇所を見つけることができない。商品特定部１０９は、以下同様にして、商品Ａ〜商品Ｅについて格納された全ての面のマスタ画像に基づく特徴量それぞれについて、それらの特徴量と合致する箇所が検品対象画像の特徴量分布の中に存在するかどうかを検索する。そして商品特定部１０９は、検索できた商品について、その商品が検品対象画像に含まれる商品であると特定する。図４の例では、商品特定部１０９は、商品Ａ右側面マスタ画像の特徴量、商品Ｄ前側面マスタ画像の特徴量、商品Ｅ上面マスタ画像の特徴量を用いて検索した場合に、それらの特徴量を検索できることになる。従ってこの例では商品特定部１０９は、検品対象画像から、商品Ａと商品Ｄと商品Ｅを特定することができる可能性がある。なお、ここで説明したある商品のマスタ画像に基づく特徴量を、検品対象画像の特徴量分布の中に探して商品を特定する処理を照合処理という。なお、照合処理を行って、ある商品の特徴量が複数検索できた場合、商品特定部１０９は、検索できた個数分その商品が写っていると判定する。

ところで、図４の例の場合、商品Ａの右側面や商品Ｅの上面に特徴があれば、商品特定部１０９は、検品対象画像に写るのは商品Ａおよび商品Ｅであると特定することはできる。しかしながら、例えば、商品Ａと商品Ｂが類似していて、商品Ａの右側面の特徴量と商品Ｂの右側面の特徴量がさほど変わらない場合には、商品特定部１０９は、検品対象画像に写るが商品Ａか商品Ｂの何れであるかが判別できないことになる。従って、商品データ格納部１１３には、他の商品と判別できる特徴量が存在する部位が分かるような情報も格納されている。図４下図の斜線部分は、特徴的な部位を示す情報が格納されていることを概念的に示したものである。図４下図の例では、商品Ｅについては上面の画像に、他の商品と判別できる特徴が存在する。従って、商品特定部１０９は、図４上図の検品対象画像から商品Ｅを特定することができる。一方、商品Ａについては、上面の画像に特徴ある部位が存在するにもかかわらず、検品対象画像には商品Ａの右側面の画像が含まれている。従って、このままでは、商品特定部１０９は、商品Ａの右側面画像の照合結果によって、商品Ａの可能性がある商品が含まれていることは認識できても、はっきりとその商品が商品Ａであると特定することができない。このような場合、特徴箇所特定部１１１が、商品データ格納部１１３を参照して、商品Ａの上面に特徴があることを認識する。さらに、特徴箇所特定部１１１は、現在、撮像されている商品Ａの右側面と特徴箇所が存在する商品Ａの上面との位置関係を特定する。表示制御部１０５は、特徴箇所特定部１１１による特定結果に基づいて、商品Ａ上面を撮像装置２００に向けるよう促す特徴箇所ガイド情報を表示する。作業員は、この表示を見て、商品Ａの上面が撮像装置２００に向くように商品Ａを置き直す。その状態で再度照合処理を行えば、商品特定部１０９は、商品Ａを特定することができる。なお、表示制御部１０５による特徴箇所ガイド情報の表示例については後述する。

ところで、商品データ格納部１１３には、大量の商品に関するマスタ画像およびその特徴量の情報が格納されている。これら全ての商品の各面のマスタ画像一つ一つについて上述の照合処理を行うのは効率的ではない。従って本実施形態では、伝票データに含まれる商品とその商品に外観が類似する商品を抽出して、それらの商品についてのみ検品処理を行う。このように商品を限定することで検品処理の高速化を図ることができる。また、類似商品も検品処理の対象とすることで、荷台３０１に置かれた商品が伝票データに含まれる検品商品ではなく、それに類似する商品であるにもかかわらず、誤って検品商品であると誤認識することを防ぐことができる。商品データ格納部１１３には、どの商品が他のどの商品の外観と類似しているかを定義したグループ情報が格納されている。商品特定部１０９は、伝票データに含まれる検品対象商品を用いて、このグループ情報を参照し、検品商品と類似する商品を読み出す。そして商品特定部１０９は、検品商品とそれに類似する商品に限定して上述の検品処理を行う。次に検品処理装置１００を用いた検品作業の処理の流れについて説明する。

図５は、本発明の第一の実施形態による検品処理装置の処理フローを示す図である。
図６は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
図７は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図８は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
荷台３０１には、図４上図で例示したように検品対象商品が置かれているものとする。また、作業員は、検品処理装置１００に対して検品確認画面の表示を指示する操作を入力する。検品処理装置１００では表示制御部１０５が、検品確認画面の画像を生成し、表示装置３００に検品確認画面を表示する。検品確認画面の詳細については後述する。
まず、作業員がある伝票データを検品処理装置１００に入力する。例えば、作業員は、電子ファイル形式の伝票データを検品処理装置１００に入力する。検品処理装置１００では、入力受付部１０４がその入力操作を受け付け、伝票データ保存部１０７が入力された伝票データを取得する（ステップＳ１０）。伝票データには、明細番号、商品名、検品数量が含まれている。伝票データの一例（伝票データα）を示す。
明細番号「１」、商品名「商品Ａ」、検品数量「１」
明細番号「２」、商品名「商品Ｃ」、検品数量「１」
明細番号「３」、商品名「商品Ｅ」、検品数量「１」
伝票データ保存部１０７は、取得した伝票データを伝票データ格納部１１２に格納する。次に作業者は、検品確認画面に伝票番号を入力し、検品作業の対象となる伝票データを呼び出す。

次に、制御判定部１０１は、呼び出した伝票データに含まれる検品商品の商品名を商品特定部１０９に出力し、照合処理に用いる商品（照合対象商品）の選択を指示する。商品特定部１０９は、商品データ格納部１１３から検品商品とそれに類似した外観を有する商品を選択する（ステップＳ１１）。

作業員は、入力した伝票データが記載された伝票や検品確認画面に表示された伝票データの明細一覧を参照して、検品対象商品を商品棚などから取り出し荷台３０１に置く。次に作業員は、検品処理装置１００に検品処理の開始を指示する操作を行う。すると、入力受付部１０４がこの指示操作を受け付ける。すると、制御判定部１０１は、商品画像取得部１０２に撮像指示信号を出力する。商品画像取得部１０２は、撮像装置２００に撮像指示を行い（ステップＳ１２）、撮像装置２００が検品対象商品５００の画像を撮像する。商品画像取得部１０２は、撮像装置２００が撮像した検品対象商品５００の検品対象画像を取得し、画像バッファ部１０３に格納する。

画像バッファ部１０３に検品対象画像が格納されると、制御判定部１０１は、特徴量計算部１０６に、格納した検品対象画像の特徴量を計算するように指示を行う。特徴量計算部１０６は、画像バッファ部１０３から検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し、計算結果を制御判定部１０１に出力する。制御判定部１０１は、検品対象画像の特徴量をメモリに記録する。なお、この特徴量には、荷台３０１に置かれた全ての商品の特徴量が含まれている。

次に制御判定部１０１は、商品特定部１０９に検品処理の開始を指示する。商品特定部１０９は、照合対象商品のマスタ画像に基づく特徴量を用いて検品処理を実行する（ステップＳ１３）。具体的には、商品特定部１０９は、ステップＳ１１で選択した照合対象商品の全ての載置パターンに対応するマスタ画像に基づく特徴量を次々に商品データ格納部１１３から読み出して、検品対象画像の特徴量分布と照合する。そして、商品特定部１０９は、検品対象画像に含まれる商品を特定する。次に商品特定部１０９は、特定した商品を商品判定部１１０に出力する。例えば、図４の上図の例の場合、商品特定部１０９は、商品Ｄおよび商品Ｅを特定する。また、商品特定部１０９は、商品Ａについて、一意に特定できないと判定する。また、商品特定部１０９は、商品Ｚについては、照合対象商品に含まれていないためその存在を認識することがない。商品判定部１１０は、伝票データ格納部１１２から伝票データを読み出して、読み出した伝票データに含まれる商品と、商品特定部１０９が特定したと商品を比較する。そして、商品判定部１１０は、商品特定部１０９が特定した商品が伝票データに含まれる商品であるかどうかを判定する。例えば、商品判定部１１０は、商品特定部１０９が特定した商品Ｅと上で例示した伝票データとを比較して商品Ｅは伝票データに含まれる（明細番号「３」の明細データ）と判定する。商品判定部１１０は、商品特定部１０９が商品Ａについて一意に特定できないことについて、その物品が伝票データに含まれる物品であるかどうか不明と判定する。また、商品判定部１１０は、商品特定部１０９が特定した商品Ｄと上で例示した伝票データとを比較して商品Ｄは伝票データに無いと判定する。また、商品Ｚについては、商品特定部１０９にから照合処理の結果を通知されないので商品判定部１１０は何の判定もしない。商品判定部１１０は、すべての商品についての判定結果を制御判定部１０１に出力する。制御判定部１０１は、表示制御部１０５へその判定結果を出力し、検品確認画面の更新を指示する。

表示制御部１０５は、判定結果に応じて検品確認画面の表示を更新する。例えば、特定した商品が伝票データに含まれる場合（ステップＳ１４：伝票データに有り）、表示制御部１０５は、検品対象画像の特定された物品上に、伝票データにおけるその商品の明細番号を表示する（ステップＳ１５）。また、表示制御部１０５は、伝票データの明細一覧においてその商品が含まれる明細データの消し込み表示を行う（ステップＳ１６）。消し込み表示とは、その明細の商品に関して検品が完了したことを示す表示である。

また、例えば、特定した商品が伝票データに含まれない場合（ステップＳ１４：伝票データに無し）、表示制御部１０５は、検品対象画像に写る特定された商品上に、「誤」を表示する（ステップＳ１７）。この表示は、当該商品が伝票データに含まれる商品と異なる商品であることを示す表示である。

次に、図６を用いて検品確認画面について説明する。図６は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、伝票番号入力欄６１、伝票番号確定ボタン６２、伝票データ表示欄６３、メッセージ表示欄６４、検品対象画像表示欄６５、自動検品実行ボタン６６、検品確定ボタン６７、作業リセットボタン６８、終了ボタン６９を含む。表示制御部１０５は、伝票番号入力欄６１に入力された伝票番号の伝票データを伝票データ格納部１１２から読み出して伝票データに含まれる明細の一覧を伝票データ表示欄６３に表示する。また、表示制御部１０５は、画像バッファ部１０３に格納された検品対象画像を検品対象画像表示欄６５に表示する。また、表示制御部１０５は、検品処理結果をメッセージ表示欄６４に表示する。また、作業員が自動検品実行ボタン６６を押下すると、商品特定部１０９などがステップＳ１３の検品処理を行い、その結果に応じて表示制御部１０５が、伝票データ表示欄６３、メッセージ表示欄６４、検品対象画像表示欄６５の表示を更新する。

図６は、検品処理の結果、表示制御部１０５が更新した検品確認画面の一例である。図６の例では、伝票データ表示欄６３において、明細番号「１」〜「５」、「７」に対して消し込み表示されている。これは、明細番号「１」〜「５」、「７」に対応する「商品１」〜「商品５」、「商品７」が検品対象画像において特定され、さらに伝票データに含まれると判定されたことを示している。表示制御部１０５は、このように検品処理が成功した商品について伝票データ表示欄６３での消し込み表示を行う。また、図示するように表示制御部１０５は、検品対象画像表示欄６５に表示した画像において伝票データに含まれると判定された検品対象商品の上に、その商品に対応する明細番号を表示する。図中、「１」〜「５」、「７」の数字が表示されているのは、それぞれの位置に、その位置に表示された明細番号に対応する明細データに含まれる商品が写っていることを示している。作業員は、これらの検品作業支援情報の表示を見てどの商品の検品が正常に完了したかを把握することができる。なお、検品が正常に完了した商品について、明細データと同様、当該商品をグレーアウト表示する等の表示を行ってもよい。

次に、明細番号「６」のデータについて説明する。伝票データ表示欄６３において、表示制御部１０５は、明細番号「６」の行を消し込み表示していない。これは明細番号「６」の明細データに含まれる「商品６」が検品対象画像に含まれていないことを示している。また、検品対象画像表示欄６５を見ると、「誤」の文字が表示された箇所がある。これは、商品特定部１０９が、当該位置に置かれた検品対象商品について特定した商品が、伝票データに含まれていない商品であることを示している。このように商品が一意に特定でき、かつその商品が伝票データに含まれてない場合、表示制御部１０５は、その商品の位置に「誤」を表示する。表示制御部１０５は、「誤」の文字を太字や目立つ色で表示する等の強調表示を行ってもよい。また、表示制御部１０５は、メッセージ表示欄６４に伝票データに含まれていない商品が存在することを示すメッセージ（「リストにない商品が見つかりました」）を表示する。なお、伝票データに含まれてないことを示す表示の他の例としてその商品上に「×」を表示したりその商品の輪郭を強調する表示を行ったりといった方法でもよい。

作業員は、これらの表示を見て、「誤」が表示された位置に置かれた検品対象商品が誤っていることを把握することができる。なお、「誤」が表示された位置に置かれた検品対象商品は、例えば「商品６」と外観が類似する商品である可能性がある。作業員が外観の似ている商品を商品棚から誤って取り出し、荷台３０１に置いた場合、商品特定部１０９は、ステップＳ１１で選択した類似商品のマスタ画像の特徴量によって、この商品が「商品６」に類似する商品（例えば「商品６´」）であると特定する。商品判定部１１０は、「商品６´」と伝票データに含まれる検品商品（「商品６」）とを比較して「商品６´」が伝票データに含まれていないと判定する。この判定結果に基づいて、表示制御部１０５は、この商品上に「誤」を表示する。
この検品作業支援情報の表示により、作業員は、どの位置に置かれた商品が誤った商品であるかを把握することができる。作業員は、正しい商品を荷台３０１に置き直して、自動検品実行ボタン６６を押下する。すると、商品特定部１０９が、再度、検品処理を行い、表示制御部１０５が検品処理結果に基づいて、検品確認画面を更新する。

図５の処理フローに戻って、商品特定部１０９が商品を一意に特定することができなかった場合（ステップＳ１４：不明）について説明する。その場合、商品判定部１１０はその商品が伝票データに含まれる検品商品であるかどうかが不明と判定し、表示制御部１０５は、伝票データに含まれる検品商品であるかどうかが不明とされた検品対象商品の上に、その商品が一意に特定できないことを示す「？」を表示する（ステップＳ１８）。また、表示制御部１０５は、特徴箇所特定部１１１が特定した特徴箇所を示すガイド表示を行う（ステップＳ１９）。なお、検品対象商品を一意に特定することができない場合とは、例えば、商品を特定するための特徴的な個所が検品対象画像に写っていないような場合が考えられる。

ここで、図７を用いて、商品を一意に特定することができなかった場合の表示例を具体的に説明する。
図７の例では、伝票データ表示欄６３において、明細番号「１」〜「４」、「７」について消し込み表示されている。また、検品対象画像表示欄６５では、明細番号「１」〜「４」、「７」に対応する「商品１」〜「商品４」、「商品７」の上に明細番号を示す「１」〜「４」、「７」の数字が表示されている。一方、商品を一意に特定することができない商品については、表示制御部１０５は、その商品の位置に「？」を表示する。また、表示制御部１０５は、その商品を特定するために必要な特徴ある箇所がどの位置に存在するかを示す特徴箇所ガイド情報を一意に特定できない商品上に表示する。破線７１、破線７２は、表示制御部１０５が表示した特徴箇所ガイド情報である。破線７１は、商品どうしの重なりによって下に置かれた商品の特徴箇所が隠れることによって、下に置かれた商品が一意に特定できない旨を示す表示である。破線７１は、特徴箇所の位置を示している。破線７２は、撮像される側面に特徴箇所が写っていないことによって商品が一意に特定できない旨を示す表示である。破線７２は、特徴箇所が含まれる側面を示している。特徴箇所特定部１１１は、商品特定部１０９によって商品が一意に特定はできないと判定されたときに用いられた画像がどの側面のマスタ画像であるかの情報と、商品データ格納部１１３が記憶する特徴的な箇所を示す情報とに基づいて、特徴箇所ガイド情報を表示する位置を特定する。表示制御部１０５は、その特定に従って特徴箇所の強調表示を行う。なお、特徴箇所が含まれる部位を強調する表示は、その部位を破線で囲む表示に限らない。例えば、その部位を目立つ色で表示したり、「この位置に特徴的な表示があります」といったメッセージとともに特徴箇所を指し示す吹き出し表示を行ったりといった方法でもよい。

また、表示制御部１０５は、メッセージ表示欄６４に一意に特定できない伝票データに含まれていない商品が存在することを示すメッセージ（「商品が一意に特定できませんでした。置き方を是正してください。」）を表示する。
作業員は、これらの表示を見て、一意に特定できない商品がどこに置かれた商品であって、その商品をどの向きに置き直せば特定できるようになるかを把握することができる。

なお、作業員が誤って検品商品と類似しない商品を荷台３０１に載せてしまうことがある。そのような場合の表示例を図８を用いて説明する。
図８の例では、伝票データ表示欄６３において、明細番号「１」〜「６」について消し込み表示されている。また、検品対象画像表示欄６５では、明細番号「１」〜「６」に対応する「商品１」〜「商品６」の上に明細番号を示す「１」〜「６」の数字が表示されている。また、メッセージ表示欄６４には検品処理が完了したことを示すメッセージ（「検品処理が完了しました。」）が表示されている。
しかし、検品対象画像表示欄６５には、「ＡＡＡＡ」と表示された商品が写っており、この商品については「誤」の表示や特徴箇所を指示する特徴箇所ガイド情報が表示されていない。
伝票データに含まれる検品商品およびそれに類似する商品以外が荷台３０１に置かれた場合、その商品は、上述の照合処理の対象とならない。そのため、そのような商品については、検品対象画像表示欄６５において、何ら情報が付加されることなく、そのままの状態で表示されることになる。作業員は、検品対象画像表示欄６５にそのまま表示されている商品を見つけると、その商品は余分な商品であると判断し、荷台３０１からその商品を取り除く。なお、本実施形態では、検品対象画像と照合する商品を、伝票データに含まれる検品商品とその検品商品に外観が類似する商品に限定しているので、外観が異なる商品を誤って置いてしまった場合には、何の支援情報も表示しないことにより、その商品の存在を速やかに作業員に通知することができる。

ここで、伝票データが上記の伝票データαで、荷台３０１に置かれた商品が図４上図、ステップＳ１１で選択された照合対象商品および各商品の特徴箇所が図４下図のようであったとする。すると、検品確認画面の表示は以下のようになる。まず、商品Ａは、照合対象商品に含まれるが特徴箇所が写っていないので一意に特定することができず、検品対象画像表示欄６５において特徴箇所ガイド情報が表示される。また、商品Ｅについては、照合対象商品であって特徴箇所が写っている。また、伝票データに含まれる検品商品である（明細番号「３」）。従って、検品対象画像表示欄６５の商品Ｅ上には、明細番号「３」が表示される。また、商品Ｄについては、照合対象商品であって特徴箇所が写っている。しかし、伝票データに含まれない商品である。従って、検品対象画像表示欄６５の商品Ｅ上には、明細番号「誤」が表示される。商品Ｚについては、照合対象商品に含まれていないので、照合処理自体が行われず検品対象画像表示欄６５においてそのままの状態で表示される。伝票データ表示欄６３に注目すると、検品が成功したのは、商品Ｅだけであるから、明細番号「３」の明細データだけが消し込み表示される。作業員は、これらの検品作業支援情報の表示を見て、商品Ａの置き方が誤っていることを把握できる。また、商品Ｄについては、他の商品（「商品Ｃ」）と間違えて置いてあることを把握できる。また、商品Ｚについては、誤って置かれた商品であることを把握できる。

図５の処理フローに戻る。表示制御部１０５が、検品確認画面の画像を更新し、表示装置３００に表示すると、作業員は、伝票データに含まれる全ての検品対象商品について検品が完了したか否かの判定を行う（ステップＳ２０）。つまり、検品確認画面において、伝票データ表示欄６３の全ての明細データが消し込み表示されているかどうかを確認する。検品処理が完了していない場合（ステップＳ２０；Ｎｏ）、作業員は、検品確認画面の表示を参照して、荷台３０１に置かれた検品対象商品５００を調整する。例えば、上記の伝票データαの例の場合、作業員は、一意に特定できない商品Ａについては向きを変更して置き直し、商品Ｄについては伝票データを確認して商品Ｃと入れ替える。また、不要な商品Ｚについては取り除く。そして作業員は、再度、自動検品実行ボタン６６を押下する。すると、検品処理装置１００は、ステップＳ１２からの処理を繰り返す。

なお、１つの伝票データに荷台３０１に置ききれない量の検品商品が含まれる場合がある。このような場合、現在荷台３０１に置いた検品対象商品に対する検品処理は完了していても、伝票データには未検品の明細データが残っている場合がある。このような状況に対して、本実施形態の検品確認画面を用いると検品作業を分割して行うことができる。例えば商品１〜商品１０の１０種類の検品対象商品が存在するとする。荷台３０１に１度に置くことができるのは５種類であるとする。この場合、作業員は５種類の商品を荷台３０１に置き検品処理を行う。５種類の検品が完了すると検品確定ボタン６７を押下する。すると、表示制御部１０５は、伝票データ表示欄６３において、検品が終了した５種類の商品が含まれた明細データの消し込み表示を保持する。作業員は、荷台３０１から確定した商品を取り除き、残りの５種類の検品対象商品を新たに荷台３０１に置いて自動検品実行ボタン６６を押下し、全ての検品商品が検品完了となるまで検品作業を継続する。なお、作業リセットボタン６８を押下すると、表示制御部１０５は、検品確認画面の検品作業支援情報を消去する。作業員は、検品作業をやり直すことができる。

一方、検品処理が完了した場合（ステップＳ２０；Ｙｅｓ）、本処理フローは終了する。作業員は、伝票番号入力欄６１に新たな検品作業の検品内容が記載された伝票の伝票番号を入力して、検品作業を続けたり、他に伝票が無ければ終了ボタン６９を押下して検品確認画面を終了させたりする。

一般的な目視による検品では、１回の検品作業に数十秒かかることもある。商品の入れ替えや置き換えが発生した場合はさらに多くの時間がかかる場合もある。本実施形態によれば、荷台３０１に置かれた商品が正しいかどうかを数秒でチェックし、さらに商品の置き方の是正を支援する情報や伝票に無い誤った商品を表示する情報を提供することができる。これにより作業員は、検品中の商品に対して、どの商品が正しい、間違っている、もしくは、わからない、ということを瞬時に判断することができる。また、作業員はどの商品を入れ替えるべきか、あるいは商品の置き方をどのように是正すべきかを瞬時に判断することができる。また、作業員は商品の置き方を気にしなくて済むため、作業負荷が低減され、検品作業の効率化が実現できる。
なお、本実施形態の検品処理装置１００は、多くの種類の商品をまとめて発送する物流センター（ネット通販など）や、見た目や名前が似ている商品を多く扱う店舗（調剤薬局など）に好適である。

図９は、本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。
図９に示す通り、検品処理装置１００は、ＣＰＵ９０１と、メモリ９０２と、ハードディスク等の記憶装置９０３と、ネットワーク接続用の通信ＩＦ９０４（通信インターフェース）とを含む、コンピュータ装置によって実現される。ただし、検品処理装置１００の構成は、図９に示すコンピュータ装置に限定されない。例えば、検品処理装置１００は、通信ＩＦ９０４を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。

なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置１００は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。

なお、上述の検品処理装置１００は内部にコンピュータを有している。そして、上述した検品処理装置１００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、商品特定部１０９は物品特定部の一例であり、商品判定部１１０は物品判定部の一例である。また、検品商品は検品物品の一例であり、商品は物品の一例である。

１・・・検品システム
１００・・・検品処理装置
１０１・・・制御判定部
１０２・・・商品画像取得部
１０３・・・画像バッファ部
１０４・・・入力受付部
１０５・・・表示制御部
１０６・・・特徴量計算部
１０７・・・伝票データ保存部
１０８・・・照合部
１０９・・・商品特定部
１１０・・・商品判定部
１１１・・・特徴箇所特定部
１１２・・・伝票データ格納部
１１３・・・商品データ格納部
２００・・・撮像装置
３００・・・表示装置
３０１・・・荷台
３０２・・・支柱
４００・・・入力装置
５００・・・検品対象商品
９０１・・・ＣＰＵ
９０２・・・メモリ
９０３・・・記憶装置
９０４・・・通信ＩＦ

Claims (1)

1. １つまたは複数の検品物品の候補を撮像した検品対象画像と、物品を複数の方向から撮像して得られた各方向ごとのマスタ画像とを照合し、前記検品対象画像に含まれる物品を特定する物品特定部と、
   前記物品特定部が特定した物品が、伝票データに含まれる検品物品か否かを判定する物品判定部と、
   前記物品判定部による判定結果に基づく検品作業支援情報を表示する表示制御部と、
   を備える検品処理装置。

Images