JP2017007861A - 画像処理装置 - Google Patents

Abstract

【課題】物品の配置状態をチェックできる画像処理装置を提供する。
【解決手段】実施形態によれば、画像処理装置は、取得部と、ラベル特定部と、物品位置情報取得部と、物品探索部と、を備える。取得部は、物品に関する情報を示すラベルを撮影した撮影画像を取得する。ラベル特定部は、前記撮影画像からラベルを特定する。物品位置情報取得部は、前記ラベルに対応付けた、物品の位置を前記ラベルとの相対的な位置関係で示す物品位置情報を取得する。物品探索部は、前記物品位置情報が示す位置に前記ラベルに対応付けた物品があるか探索する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

商品を取り扱う店舗などにおいて、商品は、商品配置計画図などに基づいて棚などに配置される。店舗の店員は、商品が商品配置計画図通りに配置されているかを定期的にチェックする必要がある。従来、商品の陳列状態の確認は、店員が目視で行うため、人手及び時間がかかる。

ＵＳ２０１０／０１３５５２２Ａ１

上記の課題を解決するために、物品の配置状態をチェックできる画像処理装置を提供する。

実施形態によれば、画像処理装置は、取得部と、ラベル特定部と、物品位置情報取得部と、物品探索部と、を備える。取得部は、物品に関する情報を示すラベルを撮影した撮影画像を取得する。ラベル特定部は、前記撮影画像からラベルを特定する。物品位置情報取得部は、前記ラベルに対応付けた、物品の位置を前記ラベルとの相対的な位置関係で示す物品位置情報を取得する。物品探索部は、前記物品位置情報が示す位置に前記ラベルに対応付けた物品があるか探索する。

図１は、第１実施形態に係る画像処理装置の構成例を概略的に示す図である。 図２は、第１実施形態に係る画像処理装置の構成例を示すブロック図である。 図３は、第１実施形態に係る棚商品データベースの構成例を示す図である。 図４は、第１実施形態に係る画像処理装置の動作例を示すフローチャートである。 図５は、第２実施形態に係る画像処理装置の構成例を概略的に示す図である。 図６は、第２実施形態に係るラベルの例を示す図である。 図７は、第２実施形態に係る画像処理装置の構成例を示すブロック図である。 図８は、第２実施形態に係るラベル商品データベースの構成例を示す図である。 図９は、第２実施形態に係る商品位置データベースの構成例を示す図である。 図１０は、第２実施形態に係る商品位置情報の構成例を示す図である。 図１１は、第２実施形態に係る商品位置情報の他の構成例を示す図である。 図１２は、第２実施形態に係る画像処理装置の動作例を示すフローチャートである。 図１３は、第３実施形態に係る画像処理装置の構成例を示すブロック図である。 図１４は、第３実施形態に係る商品配置の例を示す図である。 図１５は、第３実施形態に係る商品配置の他の例を示す図である。 図１６は、第３実施形態に係る商品配置の他の例を示す図である。 図１７は、第４実施形態に係る画像処理装置の構成例を示すブロック図である。 図１８は、第４実施形態に係るアラートテーブルの構成例を示す図である。 図１９は、第４実施形態に係るアラートテーブルの他の構成例を示す図である。 図２０は、第４実施形態に係るアラートテーブルの他の構成例を示す図である。 図２１は、第４実施形態に係るアラートテーブルの他の構成例を示す図である。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態に係る画像処理装置について説明する。
図１は、第１実施形態に係る画像処理装置１及び商品棚４の構成例を概略的に示す。
画像処理装置１は、商品棚４に商品を配置する店舗などに設置される。画像処理装置１は、商品棚４に配置されている商品（物品）が適切に配置されているかをチェックする。画像処理装置１は、商品棚４が設置される店舗の開店前に商品棚４の商品が適切に配置されているかチェックしてもよい。また、画像処理装置１は、営業中に定期的に商品の配置をチェックしてもよい。

なお、画像処理装置１が配置をチェックする対象物は、店舗に陳列されている商品に限定されるものではない。画像処理装置１が配置をチェックする対象物は、特定の物品に限定されるものではない。

画像処理装置１は、制御装置１１、撮影部１２及び台車１３などを備える。
制御装置１１は、撮影部１２が撮影した画像に基づいて商品が適切に配置されているかチェックする。制御装置１１については後に詳述する。

撮影部１２は、商品棚４を撮影する。撮影部１２は、台車１３に所定の高さに固定される。たとえば、撮影部１２は、商品棚４の上端から下端までを撮影可能な高さに固定される。

撮影部１２は、制御装置１１からの信号に従って、商品棚４を撮影する。撮影部１２は、撮影した画像を制御装置１１へ送信する。
撮影部１２は、たとえば、ＣＣＤカメラなどである。

台車１３は、制御装置１１及び撮影部１２を積載する。台車１３は、制御装置１１及び撮影部１２を移動可能にする。たとえば、台車１３は、撮影部１２を所定の高さに固定した状態で移動可能にする。たとえば、台車１３は、商品棚４を撮影可能な高さに撮影部１２を固定する。たとえば、台車１３は、係員が押すことで移動する。

なお、制御装置１１と撮影部１２とは、無線で接続されてもよい。たとえば、撮影部１２は、持ち運び可能なカメラ、スマートフォン又はタブレットＰＣなどであってもよい。
また、画像処理装置１は、台車１３を備えなくともよい。たとえば、画像処理装置１は、所定の場所に固定されてもよい。また、撮影部１２は、所定の商品棚４を撮影可能なように所定の場所に固定されてもよい。

商品棚４は、店舗などにおいて、商品をディスプレイ可能に配置される。たとえば、商品棚４は、商品が外部に提示されるように商品を収納する。

商品棚４は、収納スペース４１ａ乃至４１ｃ及びコード表示領域４２などを備える。
収納スペース４１ａ乃至４１ｃは、商品を収納する。たとえば、収納スペース４１ａ乃至４１ｃは、商品棚４の所定の面（表面）から商品を配置し又は取り出せるように形成される。ここでは、商品棚４は、３つの収納スペース４１を備える。なお、商品棚４が備える収納スペース４１の数及び形状は、特定の構成に限定されるものではない。

コード表示領域４２は、商品棚４を特定する棚特定コードが表示される領域である。たとえば、棚特定コードは、一次元コード又は二次元コードなどである。たとえば、棚特定コードは、デコードされることで商品棚４を固有に特定する商品棚ＩＤなどを示す。なお、棚特定コードは、文字列、数字、記号、又は、それらの組み合わせであってもよい。棚特定コードの構成は、特定の構成に限定されるものではない。

図１が示す例において、コード表示領域４２は、商品棚４の左上方に配置される。コード表示領域４２は、商品棚４のいずれの場所にあってもよい。また、コード表示領域４２は、商品棚４の上方などに設置されるプレートなどに配置されてもよい。コード表示領域４２が配置される場所は、特定の構成に限定されるものではない。

次に、画像処理装置１の構成例について説明する。
図２は、画像処理装置１の構成例を示すブロック図である。
図２が示すように、画像処理装置１は、制御装置１１及び撮影部１２などを備える。

制御装置１１は、処理部２１、インターフェース２２、記憶部２３、入力部２４及び表示部２５などを備える。

処理部２１は、画像処理装置１全体の動作を制御する機能を有する。処理部２１は、たとえば、プロセッサ（ＣＰＵ）、内部メモリ、ＲＯＭ、ＲＡＭ及び各種のインターフェースなどを備えても良い。処理部２１のプロセッサは、内部メモリ、ＲＯＭ、ＲＡＭ又は記憶部２３などに予め記憶したプログラムを実行することにより処理部２１の機能を実現する。

なお、処理部２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、処理部２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭは、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭに記憶される制御プログラム及び制御データは、予め画像処理装置１の仕様に応じて組み込まれる。ＲＯＭは、たとえば、画像処理装置１の回路基板を制御するプログラム（例えば、ＢＩＯＳ）などを格納している。

ＲＡＭは、揮発性のメモリである。ＲＡＭは、処理部２１の処理中のデータなどを一時的に格納する。ＲＡＭは、処理部２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭは、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

インターフェース２２は、撮影部１２と通信するインターフェースである。たとえば、インターフェース２２は、処理部２１からの信号に応じて撮影部１２に画像を撮影させる信号を撮影部１２へ送信する。また、インターフェース２２は、撮影部１２が撮影した画像を処理部２１へ送信する。たとえば、インターフェース２２は、ＵＳＢ接続をサポートするインターフェースであってもよい。

記憶部２３は、不揮発性のメモリである。たとえば、記憶部２３は、データの書き込み及び書き換えが可能なメモリである。記憶部２３は、例えば、ハードディスク、ＳＳＤ、又はフラッシュメモリなどにより構成される。記憶部２３は、画像処理装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納してもよい。

記憶部２３は、棚商品データベースを格納する記憶領域２３ａなどを備える。棚商品データベースについては後述する。

入力部２４は、画像処理装置１の操作者によって、種々の操作指示が入力される。入力部２４は、操作者に入力された操作指示のデータを処理部２１へ送信する。入力部２４は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。

表示部２５は、処理部２１の制御により種々の情報を表示する表示装置である。表示部２５は、たとえば、液晶モニタなどである。なお、入力部２４がタッチパネルなどで構成される場合、表示部２５は、入力部２４と一体的に形成されてもよい。

次に、記憶部２３の記憶領域２３ａが格納する棚商品データベースについて説明する。
棚商品データベースは、商品棚４に配置される商品を特定する商品特定情報を示す。
図３が示すように、棚商品データベースは、商品棚ＩＤ、商品ＩＤ及び商品特定情報を対応付けて格納する。

商品棚ＩＤは、商品棚４を特定するＩＤである。たとえば、商品棚ＩＤは、棚特定コードをデコードすることで得られるＩＤである。
商品ＩＤは、対応する商品棚ＩＤが示す商品棚４に配置される商品を示すＩＤである。即ち、商品ＩＤは、当該商品棚４が格納すべき商品を示すＩＤである。

商品特定情報（物品特定情報）は、対応する商品棚ＩＤが示す商品棚４に配置される商品を特定するための情報である。たとえば、商品特定情報は、当該商品の画像である。また、商品特定情報は、当該商品の画像から所定の処理によって抽出された特徴量（たとえば、商品画像の勾配情報（ＨＯＧ情報））であってもよい。また、商品特定情報は、当該特徴量の分布を示す情報であってもよい。また、商品特定情報は、商品の３Ｄデータ、商品名などの文字列、又は、商品を示すコードなどであってもよい。商品特定情報の構成は、特定の構成に限定されるものではない。

次に、処理部２１が実現する機能について説明する。
処理部２１は、画像取得部３１、商品棚特定部３２、商品有無判定部３３及び計算部３４などを実現する。

画像取得部３１（取得部）は、撮影部１２が撮影した画像（撮影画像）を取得する。たとえば、画像取得部３１は、インターフェース２２を通じて、撮影部１２に画像を撮影させる信号を送信する。画像取得部３１は、インターフェース２２を通じて、撮影部１２が撮影した画像を取得する。なお、画像取得部３１は、外部装置から通信インターフェースなどを通じて撮影画像を取得してもよい。

商品棚特定部３２（棚特定部）は、撮影画像から商品棚４を特定する。たとえば、商品棚特定部３２は、撮影画像からコード表示領域４２を特定する。たとえば、商品棚特定部３２は、撮影画像に対してラスタスキャンなどを行うことでコード表示領域４２を特定する。コード表示領域４２を特定すると、商品棚特定部３２は、コード表示領域４２が表示する棚特定コードを読み取る。商品棚特定部３２は、棚特定コードをデコードして商品棚ＩＤを得る。

商品有無判定部３３は、商品棚特定部３２が特定した商品棚４に配置すべき商品が配置されているか判定する。たとえば、商品有無判定部３３は、商品特定情報取得部３３ａ、商品探索部３３ｂ及び商品有無決定部３３ｃなど備える。

商品特定情報取得部３３ａ（物品特定情報取得部）は、特定された商品棚４に対応する商品特定情報を取得する。たとえば、商品特定情報取得部３３ａは、記憶部２３の記憶領域２３ａが格納する棚商品データベースを参照して、商品棚ＩＤに対応する商品特定情報を取得する。なお、商品特定情報取得部３３ａは、通信インターフェースなどを通じて外部装置から商品特定情報を取得してもよい。

商品探索部３３ｂ（物品探索部）は、商品特定情報が特定する商品を商品棚４から探索する。たとえば、商品探索部３３ｂは、撮影画像内の商品棚４の収納スペース４１内に商品特定情報が特定する商品があるか探索する。

商品探索部３３ｂは、商品特定情報の構成に応じて商品を探索する。たとえば、商品探索部３３ｂは、収納スペース４１内を所定のマッチング処理を用いてラスタスキャンすることで商品を検索する。たとえば、商品探索部３３ｂは、特徴点マッチング処理、テンプレートマッチング、３Ｄマッチング、特徴量マッチング、文字列マッチング、又は、数列マッチングなどによって商品を探索する。商品探索部３３ｂが商品を探索する方法は、特定の方法に限定されるものではない。

なお、商品探索部３３ｂは、コード表示領域４２の位置に基づいて収納スペース４１を特定してもよい。たとえば、コード表示領域４２は商品棚４の所定の位置（たとえば、左上）にあり、商品探索部３３ｂは、コード表示領域４２の位置から商品棚４又は収納スペース４１の位置を特定してもよい。また、商品探索部３３ｂは、輝度などの特徴量に応じて収納スペース４１を特定してもよい。

商品有無決定部３３ｃは、商品探索部３３ｂの探索結果に基づいて商品棚４に配置されるべき商品の有無を決定する。たとえば、商品有無決定部３３ｃは、棚商品データベースにおいて商品棚４内にあるはずの商品が発見された場合には、商品棚特定部３２が特定した商品棚４に配置すべき商品が配置されていると判定する。また、商品有無決定部３３ｃは、棚商品データベースにおいて商品棚４内にあるはずの商品が発見されない場合には、当該商品が配置されていないと判定する。

計算部３４は、種々の計算を実行する。たとえば、計算部３４は、コード表示領域４２を発見するため、撮影画像の各部の所定の特徴量などを計算してもよい。また、計算部３４は、商品を探索するため、撮影画像の各部の所定の特徴量などを計算してもよい。

なお、処理部２１は、表示部２５などを通じて、商品有無判定部３３の判定結果を表示してもよい。たとえば、処理部２１は、表示部２５に、商品棚４に配置すべき商品が配置されている旨を表示してもよい。また、処理部２１は、表示部２５に、商品棚４に配置すべき商品の中で配置されていない商品を示す情報を表示してもよい。

次に、画像処理装置１の動作例について説明する。
図４は、画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１の処理部２１は、撮影画像を取得する（ＡＣＴ１１）。撮影画像を取得すると、処理部２１は、取得された撮影画像に基づいて商品棚４を特定する（ＡＣＴ１２）。

商品棚４を特定すると、処理部２１は、棚商品データベースから、特定された商品棚４に対応する商品特定情報を取得する（ＡＣＴ１３）。商品特定情報を取得すると、処理部２１は、撮影画像の収納スペース４１から、取得された商品特定情報が特定する商品を探索する（ＡＣＴ１４）。

商品を探索すると、処理部２１は、探索結果に基づいて、商品棚４の収納スペース４１に配置されるはず商品が配置されているか判定する（ＡＣＴ１５）。商品棚４の収納スペース４１に配置されるはず商品が配置されているか判定すると、処理部２１は、判定結果を外部に表示する（ＡＣＴ１６）。
判定結果を外部に表示すると、処理部２１は、動作を終了する。

なお、処理部２１は、判定結果を外部装置へ送信してもよい。
また、棚商品データベースは、ＰＯＳ情報と連動又は一体化されていてもよい。

以上のように構成された画像処理装置は、撮影画像から商品棚に配置されるはずの商品を特定し、特定された商品が商品棚に配置されているかをチェックすることができる。そのため、画像処理装置は、適切に商品棚に配置されなかった商品を特定することができる。その結果、画像処理装置は、効果的に商品の配置をチェックすることができる。
（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係る画像処理装置１は、商品棚４に貼付されるラベルに対応する位置に商品が配置されるかをチェックする点で第１実施形態に係る画像処理装置１と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

図５は、第２実施形態に係る画像処理装置１及び商品棚４の構成例を示す図である。
図５が示すように、商品棚４は、収納スペース４１ｄ、収納スペース４１ｅ、ラベル４３ａ、ラベル４３ｂ、及び、ラベル４３ｃなどを備える。

収納スペース４１ｄ及び４１ｅは、収納スペース４１ａ乃至４１ｃと同様である。
収納スペース４１ｄは、１つの商品Ａ、及び、２つの商品Ｂを収納する。また、収納スペース４１ｅは、３の商品Ｃを収納する。

ラベル４３は、商品の詳細を示す。たとえば、ラベル４３は、対応する商品の名称又は価格などを示す。なお、ラベル４３は、産地、割引、又は、クーポンなどを示すものであってもよい。ラベル４３が示す情報は、特定の構成に限定されるものではない。

たとえば、ラベル４３ａは、商品Ａに対応する。即ち、ラベル４３ａは、商品Ａの詳細を示す。また、ラベル４３ｂ及び４３ｃは、それぞれ商品Ｂ及び商品Ｃに対応する。

ラベル４３は、複数個の同種の商品に対応してもよい。たとえば、ラベル４３ｂは、２つの商品Ｂに対応する。また、ラベル４３ｃは、３つの商品Ｃに対応する。

次に、ラベル４３について説明する。
ラベル４３は、文字列表示領域４４及びコード表示領域４５などを備える。
図６は、ラベル４３ａの構成例について説明するための図である。
図６が示すように、ラベル４３ａは、文字列表示領域４４ａ及びコード表示領域４５ａなどを備える。

文字列表示領域４４ａは、商品の詳細を文字列で表示する。図６が示す例では、文字列表示領域４４ａは、商品名及び価格を表示する。文字列表示領域４４ａが表示する内容は、特定の構成に限定されるものではない。

コード表示領域４５ａは、ラベル４３ａを特定するラベル特定コードが表示される領域である。たとえば、ラベル特定コードは、一次元コード又は二次元コードなどである。たとえば、ラベル特定コードは、デコードされることでラベル４３ａを固有に特定するラベルＩＤなどを示す。なお、ラベル特定コードは、文字列、数字、記号、又は、それらの組み合わせであってもよい。ラベル特定コードの構成は、特定の構成に限定されるものではない。

次に、画像処理装置１の構成例について説明する。
図７は、画像処理装置１の構成例を示すブロック図である。
記憶部２３は、ラベル商品データベースを格納する記憶領域２３ｂ及び商品位置データベースを格納する記憶領域２３ｃなどを備える。

まず、ラベル商品データベースについて説明する。
図８は、ラベル商品データベースの構成例を示す図である。
ラベル商品データベースは、ラベル４３に対応する商品特定情報を示す。
図８が示すように、棚商品データベースは、ラベルＩＤ、ラベルの種類、商品ＩＤ及び商品特定情報を対応付けて格納する。

ラベルＩＤは、ラベル４３を特定するＩＤである。たとえば、ラベルＩＤは、ラベル特定コードをデコードすることで得られるＩＤである。
ラベルの種類は、対応するラベルＩＤの種類を示す。ラベルの種類は、ラベル４３が貼付される位置と商品が配置される位置との相対的な位置関係の区分である。

商品ＩＤ及び商品特定情報は、第１実施形態のそれらと同様である。

次に、商品位置データベースについて説明する。
図９は、商品位置データベースの構成例を示す図である。
商品位置データベースは、ラベルの種類に対応する商品位置情報を示す。

図９が示すように、商品位置データベースは、ラベルの種類及び商品位置情報を対応付けて格納する。

ラベルの種類は、前述の通りである。

商品位置情報（物品位置情報）は、商品が配置される位置をラベルのサイズを基準としてラベル４３との相対的な位置関係で示す情報である。商品位置情報は、１つの商品の位置を示してもよいし、複数個の商品の位置を示してもよい。商品位置情報が位置を示す商品の個数は、特定の個数に限定されるものではない。

図１０は、商品位置情報の構成例を示す。
図１０が示す例では、商品位置情報は、相対的な値で商品を配置する位置を示す。商品位置情報は、２Ａ×Ａピクセルのラベル４３に対応する。商品位置情報は、商品を配置する配置領域５１ａ及び５１ｂを示す。即ち、商品位置情報は、配置領域５１ａとして、ラベル４３の左上の頂点からベクトル５２ａ（−３Ａ,−Ａ）の先端の位置を左下の頂点とする３Ａ×３Ａの領域を示す。また、商品位置情報は、配置領域５１ｂとして、ラベル４３の左上の頂点からベクトル５２ｂ（Ａ,−Ａ）の先端の位置を左下の頂点とする３Ａ×３Ａの領域を示す。

図１１は、商品位置情報の他の構成例を示す。
図１１が示す例では、商品位置情報は、絶対的な値で商品を配置する位置を示す。商品位置情報は、１０×５ピクセルのラベル４３に対応する。商品位置情報は、商品を配置する配置領域５３ａ及び５３ｂを示す。即ち、商品位置情報は、配置領域５３ａとして、ラベル４３の左上の頂点からベクトル５４ａ（−１５,−５）の先端の位置を左下の頂点とする１５×１５の領域を示す。また、商品位置情報は、配置領域５３ｂとして、ラベル４３の左上の頂点からベクトル５４ｂ（５,−５）の先端の位置を左下の頂点とする１５×１５の領域を示す。
なお、商品位置情報の構成は、特定の構成に限定されるものではない。

次に、処理部２１が実現する機能について説明する。
処理部２１は、画像取得部３１、計算部３４、ラベル特定部３５、及び、商品有無判定部３６などを実現する。
計算部３４は、第１実施形態に係るそれらと同様である。
画像取得部３１は、ラベル４３を写した撮影画像を取得する。

ラベル特定部３５は、撮影画像からラベル４３とラベル４３の位置とを特定する。たとえば、ラベル特定部３５は、撮影画像からコード表示領域４５を特定する。たとえば、ラベル特定部３５は、画像に対してラスタスキャンなどを行うことでコード表示領域４５を特定する。コード表示領域４５を特定すると、ラベル特定部３５は、コード表示領域４５が表示するラベル特定コードを読み取る。たとえば、ラベル特定部３５は、ラベル特定コードをデコードしてラベルＩＤを得る。また、たとえば、ラベル特定部３５は、コード表示領域４５の位置からラベル４３の位置を特定する。

商品有無判定部３６は、ラベル特定部３５が特定したラベル４３に対応する商品がラベル４３に対応する位置に配置されているかを判定する。たとえば、商品有無判定部３６は、商品特定情報取得部３６ａ、商品位置情報取得部３６ｂ、商品探索部３６ｃ及び商品有無決定部３６ｄなど備える。

商品特定情報取得部３６ａ（物品特定情報取得部）は、特定されたラベル４３に対応する商品特定情報を取得する。たとえば、商品特定情報取得部３６ａは、記憶部２３の記憶領域２３ｂが格納するラベル商品データベースを参照して、特定されたラベル４３のラベルＩＤに対応付けられた商品特定情報を取得する。なお、商品特定情報取得部３６ａは、通信インターフェースなどを通じて外部装置から、ラベル４３に対応する商品特定情報を取得してもよい。

商品位置情報取得部３６ｂ（物品位置情報取得部）は、特定されたラベル４３に対応する商品位置特定情報を取得する。たとえば、商品位置情報取得部３６ｂは、記憶部２３の記憶領域２３ｂが格納するラベル商品データベースを参照して、特定されたラベル４３のラベルＩＤに対応付けられたラベルの種類を取得する。商品位置情報取得部３６ｂは、記憶部２３の記憶領域２３ｃが格納する商品位置データベースを参照して、取得されたラベルの種類に対応する商品位置情報を取得する。なお、商品位置情報取得部３６ｂは、通信インターフェースなどを通じて外部装置から、ラベル４３に対応する商品位置情報を取得してもよい。

商品探索部３６ｃ（物品探索部）は、商品位置情報が示す位置に商品特定情報が特定する商品があるか探索する。たとえば、商品探索部３６ｃは、ラベル４３の位置と撮影画像におけるラベル４３のサイズとラベル４３に対応する商品位置情報とに基づいて撮影画像に商品が写る商品領域（物品領域）を設定する。たとえば、商品特定情報が相対的な値で配置領域を示す場合（たとえば、図１０の場合）、商品探索部３６ｃは、撮影画像におけるラベル４３のサイズに基づいて、商品領域を設定する。また、商品特定情報が絶対的な値で配置領域を示す場合（たとえば、図１１の場合）、商品探索部３６ｃは、撮影画像におけるラベル４３のサイズと商品位置情報が示すラベル４３のサイズとの比率に基づいて、商品領域を設定する。

商品探索部３６ｃは、設定された商品領域に商品特定情報が特定する商品があるかを判定する。商品探索部３６ｃは、商品特定情報の構成に応じて商品を探索する。たとえば、商品探索部３６ｃは、商品領域を所定のマッチング処理を用いて商品を検索する。たとえば、商品探索部３６ｃは、特徴点マッチング処理、テンプレートマッチング、３Ｄマッチング、特徴量マッチング、文字列マッチング、又は、数列マッチングなどによって商品を探索する。商品探索部３６ｃが商品を探索する方法は、特定の方法に限定されるものではない。

商品有無決定部３６ｄは、商品探索部３６ｃの探索結果に基づいて商品の有無を決定する。たとえば、商品有無決定部３６ｄは、ラベル４３に対応する商品位置情報が示す位置にラベル４３に対応する商品特定情報が特定する商品が発見された場合には、ラベル特定部３５が特定したラベル４３に対応する商品がラベル４３に対応する位置に配置されていると判定する。また、商品有無決定部３６ｄは、ラベル４３に対応する商品位置情報が示す位置にラベル４３に対応する商品特定情報が特定する商品が発見されない場合には、ラベル特定部３５が特定したラベル４３に対応する商品がラベル４３に対応する位置に配置されていないと判定する。

なお、処理部２１は、表示部２５などを通じて、商品有無判定部３６の判定結果を表示してもよい。たとえば、処理部２１は、表示部２５に、ラベル４３に対して適切に商品が配置されている旨を表示してもよい。また、処理部２１は、表示部２５に、ラベル４３に対応する位置に配置されていない商品を示す情報を表示してもよい。

次に、画像処理装置１の動作例について説明する。
図１２は、画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１の処理部２１は、撮影画像を取得する（ＡＣＴ２１）。撮影画像を取得すると、処理部２１は、撮影画像からラベル４３を特定する（ＡＣＴ２２）。

ラベル４３を特定すると、処理部２１は、ラベル４３に対応する商品特定情報を取得する（ＡＣＴ２３）。商品特定情報を取得すると、処理部２１は、ラベル４３に対応する商品位置情報を取得する（ＡＣＴ２４）。

商品位置情報を取得すると、処理部２１は、商品位置情報に基づいて設定される商品領域から、商品特定情報が特定する商品を探索する（ＡＣＴ２５）。商品を探索すると、処理部２１は、探索結果に基づいてラベル４３に対応する位置に商品があるか判定する（ＡＣＴ２６）。ラベル４３に対応する位置に商品があるか判定すると、処理部２１は、判定結果を表示する（ＡＣＴ２７）。判定結果を表示すると、処理部２１は、動作を終了する。

なお、撮影画像が複数個のラベル４３を有する場合、処理部２１は、各ラベル４３に対してＡＣＴ２２乃至２６を実行してもよい。また、処理部２１は、ＡＣＴ２２で複数個のラベルと特定し、複数個のラベルに対して平行してＡＣＴ２３乃至ＡＣＴ２６を実行してもよい。
また、処理部２１は、判定結果を外部装置へ送信してもよい。

以上のように構成された画像処理装置は、撮影画像からラベルを特定し、ラベルに対応する商品及び商品の位置を特定することができる。また、画像処理装置は、商品の位置に適切に商品が配置されるかをチェックすることができる。その結果、画像処理装置は、効果的に商品の配置をチェックすることができる。
（第３実施形態）
次に、第３実施形態に係る画像処理装置１について説明する。
第３実施形態に係る画像処理装置１は、商品棚４にある商品の残数を推定する点で第２実施形態に係る画像処理装置１と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

図１３は、第３実施形態に係る画像処理装置１の構成例を示す図である。
処理部２１は、残数推定部３７を実現する。
残数推定部３７は、撮影画像に基づいて収納スペース４１に配置される商品数（物品数）を推定する。
たとえば、残数推定部３７は、商品画像のサイズ、明るさ又はコントラストなどに基づいて商品の残数を推定する。

図１４は、商品棚４を収納スペース４１の撮影画像の例である。
図１４が示すように、収納スペース４１は、商品６１及び６２などを備える。また、収納スペース４１は、商品６１の背後から奥までの間、及び、商品６２の背後から奥までの間に同種の商品を収納する。

商品６１は、商品棚４に向かって比較的手前に配置される。そのため、商品６１の商品画像は、比較的大きく、明るく、かつ、高コントラストになる。
商品６２は、商品棚４に向かって比較的奥に配置される。そのため、商品６２の商品画像は、比較的小さく、暗く、かつ、低コントラストになる。

残数推定部３７は、商品画像のサイズ、明るさ又はコントラストなどに基づいて商品の位置（即ち、収納スペース４１の奥から手前方向の位置）を推定し、商品の位置に基づいて収納スペース４１に配置される商品数を推定する。たとえば、残数推定部３７は、商品の位置が比較的手前である場合には、背後に多数の商品があると推定し、商品数を比較的多く推定する。また、残数推定部３７は、商品の位置が比較的奥である場合には、背後に少数の商品があると推定し、商品数を比較的少なく推定する。

なお、画像処理装置１は、撮影部１２から商品までの距離を測定する距離センサなどを備え、残数推定部３７は、距離センサが測定する距離に基づいて商品の位置を推定してもよい。

また、残数推定部３７は、商品が積載された高さから商品の残数を推定する。
図１５及び１６は、他の収納スペース４１の側面図の例である。
図１５及び１６が示す例において、収納スペース４１は、商品を斜めのトレイ上に収納する。斜面の下部は、収納スペース４１の手前側に位置し、斜面の上部は、収納スペース４１の奥側に位置する。矢印は、撮影部１２が撮影する方向を示す。

図１５に示す例において、収納スペース４１は、２つの商品６３ａ及び６３ｂを収納する。トレイの傾斜によって、商品６３ａ及び６３ｂは、斜面の下部（収納スペース４１の手前側）に位置する。

撮影部１２が矢印の方向から収納スペース４１を撮影すると、撮影画像には、商品６３ａ及び商品６３ｂが写る。傾斜するトレイ上に商品６３ａ及び商品６３ｂがあるため、撮影画像では、商品６３ｂは、商品６３ａの背後の上方に位置する。収納スペース４１は、２つの商品６３ａ及び商品６３ｂを有するため、撮影画像において積載された商品（商品６３ａ及び６３ｂ）の高さは比較的低くなる。

図１６に示す例において、収納スペース４１は、６つの商品６４ａ乃至６４ｆを収納する。トレイの傾斜によって、商品６４ａ乃至６４ｆは、斜面の下部（収納スペース４１の手前側）に位置する。

撮影部１２が矢印の方向から収納スペース４１を撮影すると、撮影画像には、商品６４ａ乃至６４ｆが写る。傾斜するトレイ上に商品６４ａ乃至６４ｆがあるため、撮影画像では、商品６４ｂ乃至６４ｆは、商品６４ａの背後の上方に連なって位置する。収納スペース４１は、６つの商品６４ａ乃至６４ｆを有するため、撮影画像において積載された商品（商品６４ａ乃至６４ｆ）の高さは比較的高くなる。

残数推定部３７は、撮影画像から積載された商品の高さを推定し、積載された商品の高さに基づいて商品数を推定する。たとえば、残数推定部３７は、積載された商品の高さが比較的低い場合には、商品数を比較的少なく推定する。また、残数推定部３７は、積載された商品の高さが比較的高い場合には、商品数を比較的多く推定する。

また、残数推定部３７は、積載された商品の面積などに基づいて商品数を推定してもよい。
残数推定部３７が残数を推定する方法は、特定の構成に限定されるものではない。

なお、処理部２１は、推定された残数を表示部２５などに表示してもよい。
また、第１実施形態に係る画像処理装置１の処理部２１が残数推定部３７を実現してもよい。

以上のように構成された画像処理装置は、撮影画像から収納スペースに配置される商品数を推定することができる。従って、画像処理装置は、適切な個数の商品が収納スペースに配置されているかをチェックすることができる。その結果、画像処理装置は、効果的に商品の配置をチェックすることができる。
（第４実施形態）
次に、第４実施形態に係る画像処理装置１について説明する。
第４実施形態に係る画像処理装置１は、商品の残数に基づいて警告を発報する点で第３実施形態に係る画像処理装置１と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

図１７は、第４実施形態に係る画像処理装置１の構成例を示す図である。
記憶部２３は、アラートテーブルを格納する記憶領域２３ｄなどを備える。

図１８は、アラートテーブルの構成例を示す図である。
アラートテーブルは、警告を発報する条件を示す。

ここでは、Ａは、残数推定部３７が推定した商品数である。また、Ｂは、画像処理装置１が設置される店舗のバックヤードに配置される在庫数である。

アラートテーブルは、収納スペース４１の商品数Ａが０でない場合（Ａ≠０）、アラートを発報しないことを示す。また、アラートテーブルは、収納スペース４１の商品数Ａが０であって在庫数Ｂも０である場合（Ａ＝０かつＢ＝０）、在庫切れを示す警告を発報することを示す。また、アラートテーブルは、収納スペース４１の商品数が０であって在庫数Ｂが０でない場合（Ａ＝０かつＢ≠０）、欠品を示す警告を発報することを示す。

処理部２１は、警告発報部３８を実現する。
警告発報部３８は、推定された商品数に基づいて商品に関する警告を発報する。たとえば、警告発報部３８は、表示部２５に所定の警告メッセージを表示する。また、警告発報部３８は、商品数に応じて異なる警告を発報してもよい。

たとえば、警告発報部３８は、在庫数Ｂを取得する。警告発報部３８は、商品数Ａと在庫数Ｂとに基づいて、記憶領域２３ｄが格納するアラートテーブルに従って警告を発報する。たとえば、警告発報部３８は、Ａ＝０かつＢ≠０である場合に、欠品を示す警告を発報する。

警告発報部３８は、残数推定部３７が商品数Ａを推定する度に、警告を発報する条件が充足したか判定してもよい。また、警告発報部３８は、所定の間隔で警告を発報する条件が充足したか判定してもよい。

次に、アラートテーブルの他の例について説明する。
図１９は、アラートテーブルの他の構成例を示す。
図１９が示すように、アラートテーブルは、収納スペース４１の商品数Ａが所定の閾値αより大きい場合（Ａ＞α）、アラートを発報しないことを示す。また、アラートテーブルは、商品数Ａがα以下であって在庫数Ｂが０である場合（Ａ≦αかつＢ＝０）、在庫切れ注意を示すアラートを発報することを示す。また、アラートテーブルは、商品数Ａがα以下であって在庫数Ｂが０でない場合（Ａ≦αかつＢ≠０）、欠品注意を示すアラートを発報することを示す。また、アラートテーブルは、収納スペース４１の商品数Ａが０であって在庫数Ｂも０である場合（Ａ＝０かつＢ＝０）、在庫切れを示すアラートを発報することを示す。また、アラートテーブルは、収納スペース４１の商品数が０であって在庫数Ｂが０でない場合（Ａ＝０かつＢ≠０）、欠品を示すアラートを発報することを示す。

次に、在庫数Ｂが不明である場合のアラートテーブルの例について説明する。
ここでは、警告発報部３８は、商品を仕入れた個数（仕入数Ｃ）を取得するものとする。

図２０は、アラートテーブルの例を示す。
アラートテーブルは、収納スペース４１の商品数Ａが０でない場合（Ａ≠０）、アラートを発報しないことを示す。また、アラートテーブルは、収納スペース４１の商品数Ａが０であって仕入数Ｃから販売数を減算した予測残数が所定の閾値β以下である場合（Ａ＝０かつＣ−販売数≦β）、在庫切れを示すアラートを発報することを示す。また、アラートテーブルは、収納スペース４１の商品数が０であって予測残数がβより大きい場合（Ａ＝０かつＣ−販売数＞β）、欠品を示すアラートを発報することを示す。βは、バックヤードの商品数が紛失又は破損などで減少している場合を考慮したバッファである。なお、βは、０であってもよい。

図２１は、アラートテーブルの他の構成例を示す。
図２１が示すように、アラートテーブルは、収納スペース４１の商品数Ａが所定の閾値αより大きい場合（Ａ＞α）、アラートを発報しないことを示す。また、アラートテーブルは、商品数Ａがα以下であって予測残数がβ以下である場合（Ａ≦αかつＣ−販売数≦β）、在庫切れ注意を示すアラートを発報することを示す。また、アラートテーブルは、商品数Ａがα以下であって予測残数がβより大きい場合（Ａ≦αかつＣ−販売数＞β）、欠品注意を示すアラートを発報することを示す。また、アラートテーブルは、収納スペース４１の商品数Ａが０であって予測残数が所定の閾値β以下である場合（Ａ＝０かつＣ−販売数≦β）、在庫切れを示すアラートを発報することを示す。また、アラートテーブルは、収納スペース４１の商品数が０であって予測残数がβより大きい場合（Ａ＝０かつＣ−販売数＞β）、欠品を示すアラートを発報することを示す。

警告発報部３８は、仕入数Ｃ及び販売数を取得する。警告発報部３８は、商品数Ａ、仕入数Ｃ及び販売数に基づいて、記憶領域２３ｄが格納するアラートテーブルに従って警告を発報する。
なお、アラートテーブルの構成は、特定の構成に限定されるものではない。

以上のように構成された画像処理装置は、収納スペースに配置されている商品の残数に応じて警告を発報することができる。その結果、画像処理装置は、収納スペースの商品が減少した場合などにおいて商品を補充するように促すことができる。そのため、画像処理装置は、商品の適切な配置を促すことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置、４…商品棚、１１…制御装置、１２…撮影部、２１…処理部、２３…記憶部、２３ａ乃至２３ｄ…記憶領域、２５…表示部、３１…画像取得部、３２…商品棚特定部、３３…商品有無判定部…、３３ａ…商品特定情報取得部、３３ｂ…商品探索部、３３ｃ…商品有無決定部、３４…計算部、３５…ラベル特定部、３６…商品有無判定部、３６ａ…商品特定情報取得部、３６ｂ…商品位置情報取得部、３６ｃ…商品探索部、３６ｄ…商品有無決定部、３７…残数推定部、３８…警告発報部、４１ａ乃至４１ｅ…収納スペース、４２…コード表示領域、４３ａ乃至４３ｃ…ラベル、４４ａ…文字列表示領域、４５ａ…コード表示領域、５１ａ及び５１ｂ…配置領域、５２ａ乃至５２ｂ…ベクトル、５３ａ及び５３ｂ…配置領域、５４ａ乃至５４ｂ…ベクトル、６１及び６２…商品、６３ａ乃至６３ｆ…商品。

Claims (5)

1. 物品に関する情報を示すラベルを撮影した撮影画像を取得する取得部と、
   前記撮影画像からラベルを特定するラベル特定部と、
   前記ラベルに対応付けた、物品の位置を前記ラベルとの相対的な位置関係で示す物品位置情報を取得する物品位置情報取得部と、
   前記物品位置情報が示す位置に前記ラベルに対応付けた物品があるか探索する物品探索部と、
   を備える画像処理装置。
2. 前記ラベルに対応付けた物品を特定する物品特定情報を取得する物品特定情報取得部を備え、
   前記物品探索部は、前記物品特定情報に基づいて前記物品位置情報が示す位置に前記ラベルに対応付けた物品があるか探索する、
   前記請求項１に記載の画像処理装置。
3. 前記ラベル特定部は、前記ラベルの位置を特定し、
   前記物品探索部は、前記ラベル特定部が特定した前記ラベルの位置と前記撮影画像における前記ラベルのサイズと前記物品位置情報とに基づいて前記撮影画像に前記物品特定情報が特定する前記物品が写る物品領域を設定し、前記物品領域に前記物品があるか探索する、
   前記請求項２に記載の画像処理装置。
4. 前記ラベルは、前記ラベルを特定するラベル特定コードを表示する表示領域を備え、
   前記ラベル特定部は、前記ラベル特定コードに基づいて前記ラベルを特定する、
   前記請求項１に記載の画像処理装置。
5. 棚を写した撮影画像を取得する取得部と、
   前記取得部が取得する前記撮影画像から棚を特定する棚特定部と、
   前記棚特定部が特定した前記棚に対応する物品特定情報を取得する物品特定情報取得部と、
   前記撮影画像に基づいて、前記棚に前記物品特定情報取得部が取得した前記物品特定情報が特定する物品があるか探索する物品探索部と、
   を備える画像処理装置。