JP2020194565A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】商品又は棚札の配置の確認を支援する。【解決手段】情報処理装置２０００は、商品認識部２０２０、棚札認識部２０４０、及び判定部２０６０を有する。商品認識部２０２０は、対象画像から、商品の種類の数又は種類ごとの商品の位置を認識する。棚札認識部２０４０は、対象画像から、各商品の情報を示す棚札の数又は位置を認識する。判定部２０６０は、認識された商品の種類の数と棚札の数との関係、又は認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあるか否かを判定する。【選択図】図１

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

店舗等の商品棚では、商品の付近に商品の名前や値段等の情報が記載された棚札が付されている。そして近年、このような棚札の管理を支援するシステムが開発されている。

特許文献１は、商品情報及び棚札識別情報を表示する棚札が商品棚に付されている状況で、各棚札の棚札識別情報をカメラで撮像して認識し、棚札を管理するシステムを開示している。具体的には、このシステムは、各棚札の位置を示すマップを生成したり、使用期限が過ぎている棚札を検出して報知をしたりする。

特開２０１４−４８７５２号公報

店舗などでは、商品のラインナップの変更などに伴い、棚札の配置変更、追加、又は削減などの必要が生じる。また、顧客や店員が誤って棚札の位置をずらしてしまうこともあり、このような場合には棚札の位置を修正する必要が生じる。このような棚札の配置変更等を忘れたり又は間違えたりすると、棚札と商品との間の数や位置の関係に不整合が生じ、顧客が商品の情報を適切に把握することができないといった問題が生じる。特許文献１のシステムは、棚札と商品との間の数や位置の関係の整合性を管理する技術は開示していない。

本発明は以上の課題に鑑みてなされたものである。本発明は、商品又は棚札の配置の確認を支援する技術を提供することである。

本発明が提供する情報処理装置は、商品及び棚札が撮像された画像から、商品を認識する商品認識手段と、前記画像から、商品の情報を示す棚札を認識する棚札認識手段と、認識された前記商品と認識された前記棚札に基づいて、商品と棚札の関係における誤りを検出する検出手段と、前記検出手段により検出された誤りに関連する領域を強調表示した画像を出力する出力手段と、を有する。

本発明が提供する制御方法は、コンピュータによって実行される。当該制御方法は、商品及び棚札が撮像された画像から、商品を認識する商品認識ステップと、前記画像から、商品の情報を示す棚札を認識する棚札認識ステップと、認識された前記商品と認識された前記棚札に基づいて、商品と棚札の関係における誤りを検出する検出ステップと、前記検出手段により検出された誤りに関連する領域を強調表示した画像を出力する出力ステップと、を有する。

本発明が提供するプログラムは、コンピュータに、本発明が提供する情報処理装置として動作する機能を持たせる。

本発明によれば、商品又は棚札の配置の確認を支援する技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理装置を例示するブロック図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 情報処理装置を実現する計算機のハードウエア構成を例示するブロック図である。 対象画像を例示する図である。 数の関係に誤りがある様子を表す対象画像を例示する第１の図である。 数の関係に誤りがある様子を表す対象画像を例示する第２の図である。 位置の関係に誤りがある様子を表す対象画像を例示する図である。 棚札が２つの商品グループの境界に位置する様子を表す対象画像を例示する図である。 図８における商品グループの境界付近を拡大した図である。 数の関係と位置の関係の双方を利用する実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 実施形態２に係る情報処理装置を例示するブロック図である。 実施形態２の情報処理装置が行う処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る情報処理装置２０００を例示するブロック図である。図１において、矢印は情報の流れを示している。また図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

情報処理装置２０００は、商品認識部２０２０、棚札認識部２０４０、及び判定部２０６０を有する。商品認識部２０２０は、商品及び棚札が撮像された画像（以下、対象画像）から、商品の種類の数又は種類ごとの商品の位置を認識する。

ここで、「商品の種類の数を認識する」とは、同じ種類の商品が隣接して複数置かれている場合に、その同じ種類の商品のまとまりを１つと認識することを意味する。例えば商品Ａが３列、商品Ｂが２列、商品Ｃが２列という順番で置かれているとする。この場合、商品の種類の数は３である。以下、このように隣接して並べられている同一種類の商品のまとまりを、商品グループと表記する。なお、商品グループに含まれる商品の数は１つでもよい。

また、「種類ごとの商品の位置」とは、商品グループの位置を意味する。より具体的には、前述のように商品Ａが３列、商品Ｂが２列、商品Ｃが２列という順で置かれている場合、商品Ａの商品グループの位置、商品Ｂの商品グループの位置、及び商品Ｃの商品グループの位置のそれぞれが、「種類ごとの商品の位置」となる。「商品グループの位置」の具体的な表現方法などについては後述する。

棚札認識部２０４０は、対象画像から、各商品の情報を示す棚札の数又は位置を認識する。

判定部２０６０は、認識された商品の種類の数（商品グループの数）と棚札の数との関係、又は種類ごとの商品の位置（商品グループの位置）と棚札の位置との関係の誤りを判定する。

＜処理の流れ＞
図２は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００は、対象画像を取得する（Ｓ１０２）。商品認識部２０２０は、対象画像から、商品グループの数又は位置を認識する（Ｓ１０４）。棚札認識部２０４０は、対象画像から、棚札の数又は位置を認識する（Ｓ１０６）。判定部２０６０は、認識された商品グループの数と棚札の数との関係、又は認識された商品グループの位置と棚札の位置との関係の誤りを判定する（Ｓ１０８）。

本実施形態の情報処理装置２０００によれば、商品及び棚札を撮像した対象画像を用いて、商品グループの数（商品の種類の数）と棚札の数との関係、又は商品グループの位置（種類ごとの商品の位置）と棚札の位置との関係の誤りが判定される。そのため、商品グループの数と棚札の数との関係や、商品グループの位置と棚札の位置との関係に誤りがある場合、店員等が、棚札又は商品グループについて数又は位置を修正することで、棚札と商品グループとの関係を適切にすることができる。なお、商品グループの数と棚札の数との関係が誤っている具体的な状況や、商品グループの位置と棚札の位置との関係が誤っている具体的な状況については、後に具体例を交えて説明する。

以下、情報処理装置２０００についてさらに詳細に説明する。

＜ハードウエア構成例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、各機能構成部をハードウエアとソフトウエアとの組み合わせで実現する場合について、その構成を具体的に例示する。

情報処理装置２０００は、携帯型端末、PC（Personal Computer）、又はサーバなどの種々の計算機として実現される。ここで情報処理装置２０００は、情報処理装置２０００を実装するための専用の計算機で実現されてもよいし、その他のアプリケーション等も動作させる汎用の計算機で実現されてもよい。

図３は、情報処理装置２０００を実現する計算機５０００のハードウエア構成を例示するブロック図である。計算機５０００は、バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージ５０８０、及び入出力インタフェース５１００を有する。バス５０２０は、プロセッサ５０４０、メモリ５０６０、ストレージ５０８０、及び入出力インタフェース５１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ５０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ５０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ５０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ５０８０は、RAM や ROM 等のメモリであってもよい。

入出力インタフェース５１００は、計算機５０００が外部の装置等との間でデータを送受信するための入出力インタフェースである。例えば情報処理装置２０００が外部の装置から対象画像を取得する場合、情報処理装置２０００を実現する計算機５０００は、入出力インタフェース５１００を介してその外部の装置と接続されている。なお、入出力インタフェースを介して計算機５０００と外部の装置とを接続する方法は様々である。例えばこの接続は、バス回線（例えばUSB (Universal Serial Bus) 回線）を介したバス接続や、ネットワーク回線を介したネットワーク接続などである。なお、ネットワーク回線は無線回線であってもよいし有線回線であってもよい。

ストレージ５０８０は、情報処理装置２０００の機能を実現するためのプログラムを記憶している。具体的には、商品認識部２０２０、棚札認識部２０４０、及び判定部２０６０の機能をそれぞれ実現するプログラムモジュールを記憶している。プロセッサ５０４０は、これら各プログラムモジュールを実行することで、商品認識部２０２０、棚札認識部２０４０、及び判定部２０６０の機能をそれぞれ実現する。ここでプロセッサ５０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ５０６０上に読み出してから実行してもよいし、メモリ５０６０上に読み出さずに実行してもよい。

なお、情報処理装置２０００の実現に用いる計算機５０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ５０６０に格納されてもよい。この場合、計算機５０００はストレージ５０８０を備えていなくてもよい。

＜対象画像の取得方法＞
対象画像は、店舗等に設置されたカメラによって撮像される。１つの対象画像には、１種類の商品又は１つの棚札のみが写っていてもよいし、異なる複数の商品又は複数の棚札が写っていてもよい。

例えば情報処理装置２０００は、このカメラの内部に記憶されている対象画像を取得する。また、カメラによって撮像された対象画像がカメラの外部の記憶装置に記憶される場合、情報処理装置２０００は、その記憶装置から対象画像を取得してもよい。また、撮像した対象画像を情報処理装置２０００の内部に設けられている記憶装置に記憶するようにカメラを構成してもよい。この場合、情報処理装置２０００は、情報処理装置２０００の内部に設けられている記憶部から対象画像を取得する。

カメラは、情報処理装置２０００を実現する計算機と一体として設けられてもよいし、この計算機の外部に設けられてもよい。情報処理装置２０００を実現する計算機と一体としてカメラを設ける例として、情報処理装置２０００をカメラ付きの携帯端末として実現する場合がある。この場合、情報処理装置２０００は、携帯端末のカメラによって撮像された対象画像について処理を行う。

＜商品認識部２０２０の詳細＞
商品認識部２０２０は、対象画像を解析して商品を認識する。ここで、画像に写っている商品等のオブジェクトを認識する技術は既知の技術であり、オブジェクトの認識には様々な既知の技術が利用できる。以下、商品認識部２０２０が行う処理の一例を説明する。

図４は、対象画像１０を例示する図である。対象画像１０には、商品が陳列されている商品棚が写っている。なお、対象画像には商品及び棚札が写っていればよく、その商品の陳列方法は商品棚に陳列する方法に限定されない。

外枠２０は商品棚の外枠である。棚板３０は、商品を置く板である。商品グループ４０は商品グループを表す。図４の対象画像１０には、３つの商品グループが写っている。棚札５０は商品の情報を表示する札である。図４の対象画像１０には、３つの棚札が写っている。ここで、棚札５０は、紙などのアナログ媒体で作られた棚札であってもよいし、電子媒体で作られた棚札であってもよい。

まず商品認識部２０２０は、対象画像１０の中から商品を認識する。そして、商品認識部２０２０は、認識された商品のうち、隣接しておりかつ特徴量が類似している商品のまとまりを、１つの商品グループ４０として認識する。例えば図４の対象画像１０からは、商品グループ４０−１、商品グループ４０−２、及び商品グループ４０−３が認識される。

＜＜商品グループ４０を認識する方法１＞＞
例えば商品認識部２０２０は、隣接する商品の特徴量を左右いずれかから順に比較していくことで、各商品を商品グループ４０に分類する。具体的には、商品認識部２０２０は、隣接する商品の特徴量が同一又は類似である場合、それらの商品を同じ商品グループ４０に分類する。一方、商品認識部２０２０は、隣接する商品の特徴量が類似してない場合、それらの商品を異なる商品グループ４０に分類する。

例えば図４の例の場合、商品認識部２０２０は、棚板３０−１の上に置かれている各商品の特徴量を、左から順に比較していく。まず、商品認識部２０２０は、１番目の商品と２番目の商品の特徴量が類似していると判定し、１番目の商品と２番目の商品を同じ商品グループ４０−１に分類する。同様に商品認識部２０２０は、２番目と３番目の商品の特徴量が類似していると判定し、３番目の商品も商品グループ４０−１に分類する。一方、商品認識部２０２０は、３番目の商品と４番目の商品の特徴量を比較した結果、これらの特徴量は類似していないと判定する。その結果、４番目の商品は、商品グループ４０−１とは異なる商品グループである商品グループ４０−２に分類される。

この方法によれば、商品認識部２０２０は、各商品の特徴量を予め把握しておく必要がない。よって、情報処理装置２０００の実現に必要な計算機資源を削減することができる。

＜＜商品グループ４０を認識する方法２＞＞
商品認識部２０２０は、商品とその商品の外見の特徴を表す特徴量とを対応付けた情報（以下、商品情報）を利用して、商品グループ４０を認識してもよい。商品情報は、情報処理装置２０００の内部又は外部に設けられている記憶部に予め記憶しておく。商品認識部２０２０は、この記憶部から商品情報を取得する。

商品情報は、１つの商品に対して、１つ又は複数の特徴量を対応付ける。ここで、１つの商品に対して複数の特徴量を対応付ける場合、例えばこれらの特徴量は、それぞれ異なる方向から見た商品の特徴を表す特徴量である。商品によっては、見る方向によって外見が大きく異なるものもある。例えば、ある方向から見た場合と別の方向から見た場合とで、商品に付されているラベルの柄などが大きく異なる商品がある。陳列されている商品は必ずしも同じ方向を向けて陳列されているとは限らないため、このように見る方向によって外見が大きく異なる商品の場合、同じ商品であっても対象画像から抽出される商品の特徴量が類似しないことがありうる。

そこで商品認識部２０２０は、対象画像１０から算出した各商品の特徴量を商品情報に示されている特徴量と比較することで、算出した各特徴量に対応する商品を割り出す。そして商品認識部２０２０は、同一の商品でありかつ隣り合っている商品を同じ商品グループ４０に分類する。

この方法によれば、対象画像から算出される特徴量が類似しない同一種類の商品（異なる方向を向いて置かれている商品など）が、同じ商品グループ４０に分類される。よって、商品グループ４０の分類の精度を高くすることができる。

＜＜商品グループ４０の数を認識する方法＞＞
商品認識部２０２０は、認識した商品グループ４０の数をカウントすることで、商品グループ４０の数を認識する。

＜＜商品グループ４０の位置を認識する方法＞＞
例えば商品認識部２０２０は、各商品グループ４０の対象画像１０上の座標を、商品グループ４０の位置として認識する。ここで、商品グループ４０の座標は、商品グループ４０を表す領域の内、予め定められた条件に合致する座標である。例えばこの条件は、商品グループ４０を表す領域の中心、左端、又は右端などである。なお、商品認識部２０２０は、商品グループ４０の位置を２次元座標（水平方向と垂直方向の組み合わせ）で表してもよいし、一次元座標（水平方向の座標）で表してもよい。

＜棚札認識部２０４０の詳細＞
棚札認識部２０４０は、対象画像を解析して棚札を認識する。ここで商品認識部２０２０と同様に、棚札認識部２０４０も、画像からオブジェクトを認識する各種の既存技術を利用できる。以下、棚札認識部２０４０が行う処理の一例を例示する。

＜＜棚札５０の認識方法＞＞
商品認識部２０２０の場合と同様に、図４を用いて説明する。例えば棚札認識部２０４０は、棚札５０の特徴量を表す情報を取得し、対象画像からその特徴量に合致するオブジェクトを認識することで、棚札５０を認識する。ここで、棚札５０の特徴量は、情報処理装置２０００の内部又は外部に設けられている記憶部に予め記憶しておく。

また例えば、棚札認識部２０４０は、棚板３０を表す領域を認識し、棚板３０を表す領域内に含まれる所定形状（長方形など）のオブジェクトを棚札５０として認識してもよい。棚札認識部２０４０は、例えば棚板３０を表す特徴量を取得して利用することで、棚板３０を認識する。ここで、棚札５０を表す所定形状や棚板３０の特徴量は、情報処理装置２０００の内部又は外部に設けられている記憶部に予め記憶しておく。

＜＜棚札の数を認識する方法＞＞
棚札認識部２０４０は、上述の方法で認識した棚札５０の数をカウントすることで、棚札５０の数を認識する。

＜＜棚札の位置を認識する方法＞＞
棚札認識部２０４０が棚札５０の位置を認識する方法は、商品認識部２０２０が商品グループ４０の位置を認識する方法と同様である。

＜判定部２０６０の詳細＞
判定部２０６０は、前述のように、認識された商品グループ４０の数と棚札５０の数との関係、又は商品グループ４０の位置と棚札５０の位置との関係の誤りを判定する。

＜＜数の関係の判定方法＞＞
判定部２０６０は、商品グループ４０の数と棚札５０の数とを比較する。そして判定部２０６０は、例えば商品グループ４０の数と棚札５０の数とが一致しない場合に、これらの数の関係が誤っていると判定する。

図４から図６を用いて、具体的に説明する。前述した図４の例では、商品グループ４０の数が３であり、棚札５０の数も３である。そのため、判定部２０６０は、商品グループ４０の数と棚札５０の数との関係が正しいと判定する。

図５は、数の関係に誤りがある様子を表す対象画像を例示する第１の図である。図５の場合、商品グループ４０の数が３であるのに対し、棚札５０の数は２である。そのため、判定部２０６０は、商品グループ４０の数と棚札５０の数との関係が誤っていると判定する。例えば、新たに商品グループ４０−３の商品を陳列したにも関わらず棚札５０−３を追加する作業を忘れたり、棚札５０−３が落下してしまった場合などに、図５の状況が起こりうる。判定部２０６０による判定結果を利用することにより、店員等は、このような状況が起こっていることを把握することができる。

図６は、数の関係に誤りがある様子を表す対象画像を例示する第２の図である。図６の場合、商品グループ４０の数が２であるのに対し、棚札５０の数が３である。この場合も、判定部２０６０は、商品グループ４０の数と棚札５０の数との関係が誤っていると判定する。例えば、商品グループ４０−３の商品の陳列を止めたにも関わらず棚札５０−３を外し忘れたり、商品グループ４０−３の商品を新たに陳列するために棚札５０−３を追加したものの商品の追加を忘れたり、商品グループ４０−３の商品が売り切れたりした場合などに、図６の状況が起こりうる。判定部２０６０による判定結果を利用することにより、店員等は、このような状況が起こっていることを把握することができる。

＜＜位置の関係の判定方法＞＞
例えば判定部２０６０は、商品グループ４０に対して所定方向に棚札５０が無ければ、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定する。所定方向とは、例えば上、下、左、又は右などである。

ここで、前述したように、情報処理装置２０００の内部又は外部の記憶部に、商品グループ４０に対してどの方向に棚札５０が付されるか表す情報などが予め記憶されているとする。例えば商品グループ４０の上に棚札５０が付される場合、判定部２０６０は、商品グループ４０の上に棚札５０が無ければ、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定する。

図４及び図７を用いて、判定部２０６０が行う処理を具体的に説明する。これらの図において、棚札５０は商品グループ４０の下に付されるものとする。

図４の場合、商品グループ４０−１の下には棚札５０−１があり、商品グループ４０−２の下には棚札５０−２があり、商品グループ４０−３の下には棚札５０−３がある。よって、判定部２０６０は、商品グループ４０の位置と棚札５０の位置との関係が正しいと判定する。

図７は、位置の関係に誤りがある様子を表す対象画像を例示する図である。図７の場合、商品グループ４０−１の下に棚札５０がない。そのため、判定部２０６０は、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定する。

ここで、棚札が２つの商品グループの境界に位置し、２つ商品グループの下に同一の棚札が位置している場合がある。図８は、棚札が２つの商品グループの境界に位置する様子を表す対象画像を例示する図である。図８において、棚札５０は２つの商品グループ４０−１と商品グループ４０−２の境界に位置する。判定部２０６０は、棚札がどちらか一方の商品グループの下にあると判定する必要がある。

このような場合、棚札５０がどちらの商品グループ４０の下に位置すると考えるかによって、判定部２０６０による判定結果が異なる。棚札５０が商品グループ４０−１の下にあると判定されれば、各商品グループ４０の下に棚札５０が付されていることとなる。そのため判定部２０６０は、商品グループ４０の位置と棚札５０の位置との関係が正しいと判定する。一方、棚札５０が商品グループ４０−２の下にあると判例されれば、商品グループ４０−１の下に棚札５０が無いこととなる。そのため判定部２０６０は、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定する。

このように２つの商品グループ４０の境界に棚札５０がある場合、例えば判定部２０６０は、棚札５０がより近い商品グループ４０の下にあると判定する。図９を用いて具体的に説明する。図９は、図８における商品グループ４０−１と商品グループ４０−２の境界付近を拡大した図である。図を見やすくするため、棚札５０−１の記載内容は省略されている。図９において、商品グループ４０−１の右端と棚札５０−１の中心との水平距離はｄ１である。一方、商品グループ４０−２の左端と棚札５０−１の中心との水平距離はｄ２である。ここで、ｄ２はｄ１より小さいため、商品グループ４０−１よりも商品グループ４０−２の方が棚札５０−１の近くに位置しているといえる。そのため、判定部２０６０は、棚札５０−１が商品グループ４０−２の下にあると判定する。

この結果、図８の例において商品グループ４０−１の下には棚札５０がないこととなる。そのため判定部２０６０は、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定する。

なお、対象画像に商品棚の複数の段が写っている場合、判定部２０６０は、どの商品グループ４０とどの棚札５０が同じ段に含まれるかを考慮するようにしてもよい。具体的には、判定部２０６０は、位置の関係又は数の関係に誤りがないか否かを判定する対象の商品及び棚札を、同じ段に含まれる商品及び棚札に限定する。

ここで、図４では棚札５０に対応する商品グループ４０を棚札５０の上に置いているが、棚札５０に対応する商品グループ４０を棚札５０の下に置くという陳列方法もある。つまり、商品棚の或る段は、１）棚板３０とその棚板３０の上に置かれている商品グループ４０を含む領域、又は２）棚板３０とその棚板３０の下に置かれている商品グループ４０を含む領域となる。判定部２０６０が段として１）と２）のどちらを認識すべきかは、予め設定しておく。例えば段として１）と２）のどちらを認識すべきかを特定するための情報（商品グループ４０の上と下のどちらに棚札５０が付されるかを表す情報など）を、情報処理装置２０００の内部又は外部に設けられた記憶部に予め記憶しておく。商品認識部２０２０は、この情報を参照して、１つの段として認識する領域を決定する。そして商品認識部２０２０は、同じ段に含まれる商品グループ４０と棚札５０との関係を判定する。

また判定部２０６０は、ある商品グループ４０から所定距離の範囲内に棚札５０が無い場合に、商品グループ４０の位置と棚札５０の位置との関係が誤っていると判定してもよい。この場合、情報処理装置２０００の内部又は外部の記憶部に、上記所定距離が記憶されているものとする。さらに判定部２０６０は、方向と距離の双方を考慮してもよい。具体的には、判定部２０６０は、ある商品グループ４０について、「商品グループ４０に対して所定方向にあり、かつ商品グループ４０との間の距離が所定距離以下である」という条件を満たす棚札５０が無い場合に、商品グループ４０と棚札５０との位置関係が誤っていると判定する。

＜数の関係と位置の関係の双方に着目する判定方法＞
判定部２０６０は、数の関係と位置の関係との双方に着目して、商品グループ４０と棚札５０との関係の誤りを判定してもよい。図５を用いて具体的に説明する。図５の状況で判定部２０６０が上述した商品グループ４０の位置と棚札５０の位置との関係の誤りを判定すると、位置の関係が誤っていると判定される。商品グループ４０−３の下に棚札５０が無いためである。しかし、見方によっては、図５の状況は、「位置関係に誤りはなく、数の関係に誤りがある」ともいえる。

そこで判定部２０６０は、商品グループ４０の数と棚札５０の数との関係が正しい場合にのみ、商品グループ４０の位置と棚札５０の位置との関係に誤りがあるか否かを判定するようにしてもよい。この処理の流れを例示するフローチャートを図１０に示す。

情報処理装置２０００は、対象画像を取得する（Ｓ２０２）。商品認識部２０２０は、対象画像から、商品グループ４０の数及び位置を認識する（Ｓ２０４）。棚札認識部２０４０は、対象画像から、棚札５０の数及び位置を認識する（Ｓ２０６）。判定部２０６０は、商品グループ４０の数と棚札５０の数とを比較する（Ｓ２０８）。

商品グループ４０の数と棚札５０の数が一致しない場合（Ｓ２１０：ＮＯ）、図１０の処理はステップＳ２１２に進む。ステップＳ２１２において、判定部２０６０は、商品グループ４０と棚札５０の数の関係に誤りがあると判定する。

一方、商品グループ４０の数と棚札５０の数が一致する場合（Ｓ２１０：ＹＥＳ）、図１０の処理はステップＳ２１４に進む。ステップＳ２１４において、判定部２０６０は、商品グループ４０の位置と棚札５０の位置とを比較する。対応する棚札５０がない商品グループ４０がある場合（Ｓ２１６：ＹＥＳ）、図１０の処理はステップＳ２１８に進む。ステップＳ２１８において、判定部２０６０は、商品グループ４０と棚札５０の位置関係に誤りがあると判定する。一方、対応する棚札５０がない商品グループ４０がない場合（Ｓ２１６：ＮＯ）、図１０の処理は終了する。

このように数の関係と位置の関係の双方を用いて判定を行うことで、判定部２０６０による判定結果がより正確なものとなる。

＜情報処理装置２０００が処理を実行するタイミング＞
情報処理装置２０００が上述した各処理を実行するタイミングは様々である。例えば情報処理装置２０００は、定期的に処理を実行する。この場合、処理を実行する日時や周期などを、予め情報処理装置２０００に設定しておく。また例えば、情報処理装置２０００は、店員等による操作を受け付けたタイミングで処理を実行してもよい。さらに、情報処理装置２０００は、対象画像が生成されたタイミングや対象画像を取得したタイミングで処理を実行してもよい。

［実施形態２］
図１１は、実施形態２に係る情報処理装置２０００を例示するブロック図である。図１１において、矢印は情報の流れを示している。また図１１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態２の情報処理装置２０００は、通知部２０８０を有する。通知部２０８０は、判定部２０６０によって誤りが判定された場合に通知又は表示を行う。このように通知又は表示を行うことで、店員等は判定部２０６０による判定結果を容易に把握することができる。

＜処理の流れ＞
図１２は、実施形態２の情報処理装置２０００が行う処理の流れを例示するフローチャートである。ここで、ステップＳ１０２からＳ１０８については図２のフローチャートと同様であるため、説明を省略する。図１２の処理は、ステップＳ３０２で分岐する。具体的には、ステップＳ１０８において商品グループ４０と棚札５０との間の数又は位置の関係に誤りがないと判定された場合（ステップＳ３０２：ＮＯ）、図１２の処理は終了する。一方、ステップＳ１０８において商品グループ４０と棚札５０との間の数又は位置の関係に誤りがあると判定された場合（ステップＳ３０２：ＹＥＳ）、図１２の処理はステップＳ３０４に進む。ステップＳ３０４において、通知部２０８０は、商品グループ４０と棚札５０との間の数又は位置の関係に誤りがある旨の通知又は表示を行う。

＜通知先又は表示先の端末について＞
情報処理装置２０００が導入されている店舗等における店員等は、情報処理装置２０００を直接利用してもよいし、情報処理装置２０００と通信可能に接続されている別の端末（以下、ユーザ端末）を利用してもよい。例えばユーザ端末は、各店員が携帯する携帯型端末である。

店員等が情報処理装置２０００を直接利用する場合、例えば通知部２０８０は、判定部２０６０によって商品グループ４０と棚札５０との間の数又は位置の関係が誤っていると判定されたとき、情報処理装置２０００に接続されている表示画面上にその旨を表示する。一方、店員等がユーザ端末を利用する場合、情報処理装置２０００は、商品グループ４０と棚札５０との間の数又は位置の関係が誤っていると判定されたとき、ユーザ端末に対して判定部２０６０による判定結果を通知する。この通知を受けたユーザ端末は、ユーザ端末が有する表示画面などに判定結果を表示する。ただし、通知部２０８０は、情報処理装置２０００における表示とユーザ端末への通知の双方を行ってもよい。

ここで、商品グループ４０と棚札５０との間の数又は位置の関係が誤っていると判定された場合に情報処理装置２０００やユーザ端末が行う処理は、表示画面への出力に限定されない。例えば情報処理装置２０００やユーザ端末は、誤りが判定された旨を知らせる音声を出力したり、ライトを点灯させる処理をしたりしてもよい。

＜誤りの内容の通知方法＞
通知部２０８０は、「誤りがあるという旨」の通知又は表示だけでなく、「どのような誤りがあるか」の通知又は表示を行ってもよい。例えば通知部２０８０は、誤りがあると判定された場所（商品棚や段など）を特定する情報を通知する。これにより、店員等は、商品や棚札を追加したり取り除いたりする必要がある箇所を容易に把握できるようになる。なお通知部２０８０は、以下で説明する各種通知方法と同様の方法で、表示画面などへの表示を行う。

＜＜対象の場所の通知方法＞＞
例えば通知部２０８０は、通知対象の場所（商品グループ４０と棚札５０との関係に誤りが見つかった場所）が写っている対象画像を添付した通知を行う。ここで、対象画像に商品を陳列する場所（商品棚など）が複数写っている場合、通知部２０８０は、対象の場所を強調表示した画像を添付したり、対象の場所のみを切り出した画像を添付したりしてもよい。

また例えば、通知部２０８０は、通知対象の場所を特定し、その場所に関する情報を通知してもよい。例えばこの情報は、商品棚のＩＤや店舗内における位置である。

各商品棚にその商品棚のＩＤが表示されている場合、通知部２０８０は、対象画像に写っている通知対象の商品棚のＩＤを認識する。そして通知部２０８０は、認識した商品棚のＩＤを通知する。また通知部２０８０は、商品棚のＩＤを用いてその商品棚の店舗内における位置を特定し、その位置を通知してもよい。この場合、情報処理装置２０００の内部又は外部の記憶部に、商品棚のＩＤとそのＩＤの商品棚の店舗内における位置とを対応付ける情報（以下、商品棚情報）を予め記憶しておく。

また通知部２０８０は、対象画像を撮像したカメラの撮像範囲に関する情報と商品棚の配置（店舗のマップなど）に関する情報を利用することで、通知対象の商品棚の店舗内における位置を特定し、その位置を通知してもよい。ここで、対象画像を撮像したカメラの撮像範囲に関する情報は、カメラから取得してもよいし、カメラに関する情報を記憶した記憶部から取得してもよい。ここで通知部２０８０は、上述した商品棚情報をさらに利用することで、通知対象の商品棚の店舗内における位置から商品棚のＩＤを特定し、そのＩＤを通知してもよい。

また通知部２０８０は、上述の商品棚に関する情報を通知する方法と同様の方法で、通知対象の段（商品グループ４０と棚札５０との関係に誤りが見つかった段）に関する情報を通知してもよい。

＜＜通知対象の商品グループ４０の通知方法＞＞
例えば商品グループ４０の上又は下に棚札５０が無い場合、通知部２０８０は、その商品グループ４０に対応する棚札５０がないことを通知することが好ましい。ここで、この通知対象の商品グループ４０を通知する方法は様々である。例えば通知部２０８０は、通知対象の商品グループ４０を強調表示した対象画像や、対象画像から通知対象の商品グループ４０のみを切り出した画像を添付した通知を行う。

また例えば、通知部２０８０は、前述した商品情報（商品と、その商品の外見の特徴を表す特徴量とを対応づけた情報）を利用して、通知対象の商品グループ４０を特定する。ここで、各商品グループ４０の商品の特徴量は、商品認識部２０２０によって既に算出されている。そこで通知部２０８０は、商品情報を用いて、通知対象の商品グループ４０の商品の特徴量と対応する商品を特定する。そして通知部２０８０は、例えば特定した商品グループ４０のＩＤなどを通知する。

また商品には、商品を識別するＩＤが付されていてもよい。このＩＤは、英数字等の文字列で表されていてもよいし、バーコードや二次元コードなどの画像で表されていてもよい。このＩＤは、商品認識部２０２０によって認識される。この場合、通知部２０８０は、通知対象の商品のＩＤを通知する。

＜＜通知対象の棚札５０の特定方法＞＞
例えば棚札５０の上又は下に商品グループ４０がない場合、通知部２０８０は、その棚札５０に対応する商品が無いことを通知することが好ましい。例えば通知部２０８０は、通知対象の棚札５０を強調表示した対象画像や、対象画像から通知対象の棚札５０のみを切り出した画像を添付した通知を行う。

また、前述した商品にＩＤを付する方法と同様の方法で、棚札にＩＤが付されていてもよい。このＩＤは、画像棚札認識部２０４０によって認識される。この場合、通知部２０８０は、通知対象の棚札のＩＤを通知する。

＜誤りがないことの通知＞
通知部２０８０は、商品グループ４０と棚札５０との関係に誤りがないと判定された場合に、誤りがない旨を通知又は表示してもよい。また、通知部２０８０は、誤りがないと判定された場所、商品グループ、又は棚札に関する情報を通知又は表示してもよい。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、及び上記実施形態以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 画像から、商品の種類の数又は種類ごとの商品の位置を認識する商品認識手段と、
前記画像から、各商品の情報を示す棚札の数又は位置を認識する棚札認識手段と、
前記認識された商品の種類の数と棚札の数との関係、又は前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあるか否かを判定する判定手段と、
を有する情報処理装置。
２． 前記判定手段は、前記認識された商品の種類の数と棚札の数とが一致しない場合に、前記認識された商品の種類の数と棚札の数との関係に誤りがあると判定する１．に記載の情報処理装置。
３． 前記判定手段は、或る種類の商品に対して所定方向に棚札が付されていない場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定する１．又は２．に記載の情報処理装置。
４． 前記判定手段は、或る種類の商品から所定距離の範囲内に棚札が付されていない場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定する１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記判定手段は、前記認識された商品の種類の数と棚札の数との関係に誤りがあると判定した場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあるか否かを判定する１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記判定手段によって前記認識された商品の種類の数と棚札の数との関係、又は前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定された場合に、通知又は表示を行う通知手段を有する１．乃至５．いずれか一つに記載の情報処理装置。
７． コンピュータによって実行される制御方法であって、
商品及び棚札が撮像された画像から、商品の種類の数又は種類ごとの商品の位置を認識する商品認識ステップと、
前記画像から、各商品の情報を示す棚札の数又は位置を認識する棚札認識ステップと、
前記認識された商品の種類の数と棚札の数との関係、又は前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあるか否かを判定する判定ステップと、
を有する制御方法。
８． 前記判定ステップは、前記認識された商品の種類の数と棚札の数とが一致しない場合に、前記認識された商品の種類の数と棚札の数との関係に誤りがあると判定する７．に記載の制御方法。
９． 前記判定ステップは、或る種類の商品に対して所定方向に棚札が付されていない場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定する７．又は８．に記載の制御方法。
１０． 前記判定ステップは、或る種類の商品から所定距離の範囲内に棚札が付されていない場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定する７．乃至９．いずれか一つに記載の制御方法。
１１． 前記判定ステップは、前記認識された商品の種類の数と棚札の数との関係に誤りがあると判定した場合に、前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあるか否かを判定する７．乃至１０．いずれか一つに記載の制御方法。
１２． 前記判定ステップによって前記認識された商品の種類の数と棚札の数との関係、又は前記認識された種類ごとの商品の位置と棚札の位置との関係に誤りがあると判定された場合に、通知又は表示を行う通知ステップを有する７．乃至１１．いずれか一つに記載の制御方法。
１３． コンピュータを、１．乃至６．いずれか一つに記載の情報処理装置として動作させるプログラム。

この出願は、２０１４年９月３０日に出願された日本出願特願２０１４−２０１３６３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (4)

1. 商品及び棚札が撮像された画像から、商品を認識する商品認識手段と、
   前記画像から、商品の情報を示す棚札を認識する棚札認識手段と、
   認識された前記商品と認識された前記棚札に基づいて、商品と棚札の関係における誤りを検出する検出手段と、
   前記検出手段により検出された誤りに関連する領域を強調表示した画像を出力する出力手段と、
   を有する情報処理装置。
2. 前記棚札認識手段は、商品の情報を示す棚札の位置を認識する、請求項１に記載の情報処理装置。
3. コンピュータによって実行される制御方法であって、
   商品及び棚札が撮像された画像から、商品を認識する商品認識ステップと、
   前記画像から、商品の情報を示す棚札を認識する棚札認識ステップと、
   認識された前記商品と認識された前記棚札に基づいて、商品と棚札の関係における誤りを検出する検出ステップと、
   前記検出手段により検出された誤りに関連する領域を強調表示した画像を出力する出力ステップと、
   を有する制御方法。
4. コンピュータに、
   商品及び棚札が撮像された画像から、商品を認識する商品認識ステップと、
   前記画像から、商品の情報を示す棚札を認識する棚札認識ステップと、
   認識された前記商品と認識された前記棚札に基づいて、商品と棚札の関係における誤りを検出する検出ステップと、
   前記検出手段により検出された誤りに関連する領域を強調表示した画像を出力する出力ステップと、
   を実行させるプログラム。

Images