本発明の商品特定システム1のシステム構成の一例を図1に示す。商品特定システム1は,管理端末2と撮影画像情報入力端末3とを用いる。
管理端末2は,商品特定システム1を運営する企業等の組織が利用するコンピュータである。また,撮影画像情報入力端末3は,店舗の陳列棚を撮影した撮影画像情報の入力を管理端末2に行う。
商品特定システム1における管理端末2,撮影画像情報入力端末3は,コンピュータを用いて実現される。図2にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,情報を表示するディスプレイなどの表示装置72と,情報の入力が可能なキーボードやマウスなどの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。
コンピュータがタッチパネルディスプレイを備えている場合には,表示装置72と入力装置73とが一体的に構成されていてもよい。タッチパネルディスプレイは,たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが,それに限定するものではない。
タッチパネルディスプレイは,そのディスプレイ上で,直接,所定の入力デバイス(タッチパネル用のペンなど)や指などによって入力を行える点で,表示装置72と入力装置73の機能が一体化した装置である。
撮影画像情報入力端末3は,上記の各装置のほか,カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末3として,携帯電話,スマートフォン,タブレット型コンピュータなどの可搬型通信端末を用いることもできる。
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
商品特定システム1における管理端末2は,撮影画像情報入力端末3とネットワークを介して情報の送受信が可能である。
商品特定システム1における管理端末2は,撮影画像情報入力受付処理部20と撮影画像情報記憶部21と台形補正処理部22と頂点座標記憶部23と正置画像情報記憶部24と棚段位置特定処理部25と棚段位置座標記憶部26とフェイス特定処理部27とフェイス座標記憶部28と商品識別情報特定処理部29と標本画像情報記憶部30と商品識別情報記憶部31と棚段画像マッチング処理部32とを有する。
撮影画像情報入力受付処理部20は,撮影画像情報入力端末3で撮影した店舗の陳列棚の画像情報(撮影画像情報)の入力を受け付け,後述する撮影画像情報記憶部21に記憶させる。撮影画像情報入力端末3からは,撮影画像情報のほか,撮影日時,店舗名などの店舗識別情報,画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。
撮影画像情報記憶部21は,撮影画像情報入力受付処理部20で受け付けた撮影画像情報,撮影日時,店舗識別情報,画像情報識別情報などを対応づけて記憶する。撮影画像情報とは,台形補正処理を実行する対象となる画像情報であればよく,一つの陳列棚を複数枚で撮影した場合に,それが一つの画像情報として合成された画像情報も含まれる。また,歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。
台形補正処理部22は,撮影画像情報記憶部21に記憶した撮影画像情報に対して台形補正処理を実行して正置化し,正置画像情報を生成する。正置画像情報は,正置画像情報記憶部24に記憶させる。この際に,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報なども対応づけて記憶させるとよい。台形補正処理は,撮影画像情報に写っている陳列棚の棚段が水平に,そこに陳列されている商品が垂直になるように行う補正処理である。
台形補正処理部22における台形補正処理としては,初回の台形補正処理と,二回目以降の台形補正処理とに分かれる。
台形補正処理部22における初回の台形補正処理は,陳列棚の長方形の領域の4頂点の指定の入力を受け付ける。陳列棚の長方形の領域の4頂点としては,陳列棚の棚位置の4頂点であってもよいし,棚段の4頂点であってもよい。また,2段,3段の棚段のまとまりの4頂点であってもよい。ここで指定を受け付けた4頂点は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部23に記憶させる。そして台形補正処理部22は,指定を受け付けた4頂点の座標に基づいて,撮影画像情報に対して台形補正処理を実行し,正置画像情報として正置画像情報記憶部24に記憶させる。この際に,台形補正処理部22は,正置画像情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報と対応づけて正置画像情報記憶部24に記憶をさせる。指定を受け付けた4頂点の座標情報に基づく正置化の処理は公知の方法を用いることができる
撮影画像情報は,一定期間ごとに,同じような領域を同じような角度で撮影がされることが望ましい。しかし完全に同じ領域を同じ角度で撮影をすることはできない。そこで,台形補正処理部22は,二回目以降の台形補正処理を以下のように実行をする。
まず,台形補正処理部22は,N回目の撮影画像情報に対応する同じ(ほぼ同じ)領域を撮影したN−1回目の撮影画像情報の頂点座標を頂点座標記憶部23から特定する。N回目の撮影画像情報に対応する同じ(ほぼ同じ)領域を撮影したN−1回目の撮影画像情報の頂点座標は,撮影画像情報に対応する店舗識別情報,画像識別情報,撮影日時情報などに基づいて特定をする。そして,N−1回目の撮影画像情報に対して,特定をした4頂点の頂点座標を含む所定の大きさの矩形領域,たとえば棚段の幅の1/5程度の正方形を特徴量採取領域220として設定をする。N−1回目の撮影画像情報に対して,特徴量採取領域220を設定した状態の一例を図5に示す。特徴量採取領域220は,頂点座標を含む矩形領域であればよい。一方,陳列棚の背景同士がマッチングをしてしまうと,撮影位置が少しずれるだけで背景が大きくずれてしまう。そこで,特徴量採取領域220は,なるべく陳列棚の内側を多く含む位置に設定することが好ましい。つまり,頂点座標は,特徴量採取領域220において,特徴量採取領域220の中心点よりも陳列棚の外側方向に位置していることが好ましい。たとえば,頂点座標の4点は左上,右上,左下,右下に位置する。そして,特徴量採取領域220の矩形領域を縦横の中心でそれぞれ2分割した合計4領域に分割すると,左上の頂点座標を含む特徴量採取領域220では,その頂点座標が矩形領域のうち左上の領域に位置するように特徴量採取領域220を設定する。同様に,右上の頂点座標を含む特徴量採取領域220では,その頂点座標が矩形領域のうち右上の領域に位置するように特徴量採取領域220を設定し,左下の頂点座標を含む特徴量採取領域220では,その頂点座標が矩形領域のうち左下の領域に位置するように特徴量採取領域220を設定し,右下の頂点座標を含む特徴量採取領域220では,その頂点座標が矩形領域のうち右下の領域に位置するように特徴量採取領域220を設定する。これによって,頂点座標は,特徴量採取領域220において,特徴量採取領域220の中心点よりも陳列棚の外側方向に位置することとなる。
つぎに,台形補正処理部22は,N回目の撮影画像情報において,N−1回目の撮影画像情報に設定した特徴量採取領域220を内包し,N−1回目の撮影画像情報の特徴量採取領域220以上の大きさの特徴量採取領域221を設定する。N回目の撮影画像情報に設定する特徴量採取領域221は,短辺の1/2の大きさは超えない。さらに,撮影画像情報よりも外側に出る場合には,その範囲をトリミングする。N回目の撮影画像情報に対して特徴量採取領域221を設定した状態の一例を図6に示す。
そして台形補正処理部22は,N−1回目の撮影画像情報に対して設定した各特徴量採取領域220において,局所特徴量を採取し,局所特徴量による特徴点とその座標のセットとを記憶する。また,N回目の撮影画像情報に対して設定した各特徴量採取領域221において,局所特徴量を採取し,局所特徴量による特徴点とその座標のセットとを記憶する。
台形補正処理部22は,N−1回目の撮影画像情報の特徴量採取領域220における特徴点の局所特徴量と,N−1回目の撮影画像情報の特徴量採取領域220に対応する位置にあるN回目の撮影画像情報の特徴量採取領域221における特徴点の局所特徴量とを比較する。そして,N−1回目の撮影画像情報の各特徴点の各局所特徴量にもっとも近い,N回目の撮影画像情報の各局所特徴量の特徴点を特定する。そしてもっとも近い局所特徴量同士の特徴点をペアとし,ペアとなる局所特徴量による特徴点の座標を対応づける。なお,この際に,局所特徴量同士の近さ(類似性)があらかじめ定められた閾値未満のペアは除外をする。これによって,N−1回目の特徴量採取領域220における局所特徴量の特徴点と,N回目の特徴量採取領域221におけるもっとも近い局所特徴量の特徴点同士のペアを特定できる。N−1回目の特徴量採取領域220の局所特徴量の特徴点と,N回目の特徴量採取領域221の局所特徴量の特徴点とのペアの関係を図7に示す。図7では,N−1回目の特徴量採取領域220における局所特徴量による特徴点の点群をA,N回目の特徴量採取領域221における局所特徴量による特徴点の点群をB,N−1回目の台形補正処理に用いた頂点をCで示している。
N−1回目の特徴量採取領域220における局所特徴量による特徴点の点群Aの座標と,点群Aに対応するN回目の特徴量採取領域221における局所特徴量による特徴点の点群Bの座標とに基づいて,点群Aを点群Bに射影する関数F(アフィン変換)を求める。関数Fは,サンプリング推定を反復する,ロバスト推定の一種であるOpenCVのRANSACを利用するなどの方法があるが,それらに限定しない。なお,射影の関係にある関係線からずれが大きいペアは処理対象から除外をする。
台形補正処理部22において関数Fを求めたのち,台形補正処理部22は,N−1回目の台形補正処理で用いた頂点Cの座標を,関数Fに基づいてN回目の撮影画像情報に射影し,N回目の台形補正処理のための頂点Dの座標として特定する。これを模式的に示すのが図8である。
以上の処理を各特徴量採取領域220,221に対して行うことで,N回目の撮影画像情報における台形補正処理のための棚位置の4頂点を特定する。そして,台形補正処理部22は,特定した4頂点に基づいて,N回目の撮影画像情報に対する台形補正処理を実行して正置化し,正置画像情報を正置画像情報記憶部24に記憶させる。この際に,台形補正処理部22は,正置画像情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報と対応づけて正置画像情報記憶部24に記憶をさせる。特定したN回目の撮影画像情報に対応する頂点の座標は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部23に記憶させる。
なお,台形補正処理部22における台形補正処理で用いる頂点の特定処理は,本発明のように陳列棚を撮影した画像情報から商品を特定する場合に限らず,同一の撮影対象物を撮影した複数の画像情報を正置化し,正置画像情報を生成する画像処理システムにも適用することができる。これによって,同一の撮影対象物を撮影した複数の画像情報について,それぞれ正置化して,その撮影対象物の正置画像情報を生成することができる。
また,N回目の撮影画像情報における台形補正処理のための棚位置の4頂点を特定するため,上述では,N−1回目の撮影画像情報における特徴量採取領域220での局所特徴量による特徴点の点群Aと,N回目の撮影画像情報における特徴量採取領域221での局所特徴量による特徴点の点群Bとを用いて関数Fを求め,N−1回目の台形補正処理で用いた頂点Cの座標を,関数FによりN回目の撮影画像情報に射影し,N回目の台形補正処理のための頂点Dの座標として特定する処理を説明した。しかし,かかる処理では,N−1回目の撮影画像情報と,N回目の撮影画像情報とにおいて,類似する画像情報の対応点の座標(位置)を見つければよいので,上記の方法にするものではなく,画像情報内の箇所を特定するタイプの特徴量であればいかなるものであってもよい。たとえば,画像情報内における尖った箇所,ハイライトのポイントなどがある。本明細書では,局所特徴量などの,画像情報内の箇所を特定する特徴量を画像特徴量(位置特定型画像特徴量)という。なお,本明細書の説明では,画像特徴量として,上述のように局所特徴量を用いる場合を説明する。
頂点座標記憶部23は,台形補正処理部22で台形補正処理を行うにあたり用いる4頂点の座標情報を記憶する。座標情報は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報と対応づけられている。
正置画像情報記憶部24は,台形補正処理部22で台形補正処理をした正置画像情報を記憶する。正置画像情報記憶部24は,正置画像情報に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報と対応づけて記憶させるとよい。
棚段位置特定処理部25は,正置画像情報に写っている陳列棚における棚段について,その位置の入力を受け付ける。棚段位置の指定は,領域222の指定を受け付け,その4点を棚段位置の座標とする。受け付けた棚段の領域222を構成する座標は,棚段位置座標記憶部26に記憶する。棚段の領域222を構成する座標は,撮影日時情報,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報に対応づけて記憶させるとよい。この座標は,正置画像情報における陳列棚内での所定箇所(たとえば陳列棚の左上の頂点C1)を基準とした相対座標である。図9に,指定を受け付けた棚段の領域222の一例を示す。また同一の陳列棚については,N−1回目の正置画像情報の棚段の領域222を構成する座標を,N回目の棚段の領域222を構成する座標として特定する。
棚段位置座標記憶部26は,正置画像情報における棚段の領域222を構成する座標を記憶する。たとえば,棚段の領域222を構成する座標に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報とを対応づけて記憶する。
フェイス特定処理部27は,正置画像情報における棚段ごとに,商品が置かれているフェイスを特定する。フェイス特定処理部27は,初回のフェイスの特定処理と,二回目以降のフェイスの特定処理とに分かれる。
フェイス特定処理部27における初回のフェイスの特定処理は,棚段位置座標記憶部26に記憶する棚段位置の座標で構成される領域222(好ましくは矩形領域)の範囲内において,商品が置かれている領域(フェイス)を特定する。具体的には,商品と商品との間の影を特定する,画像の繰り返しパターンを特定する,パッケージの上辺の段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,フェイスの領域を特定する。フェイスの特定処理としては,商品のカテゴリや商品の形態によって,任意の方法を採用可能であり,上記に限定するものではない。また,自動的に特定したフェイスに対して,担当者による修正入力を受け付けてもよい。さらに,担当者からフェイスの位置の入力を受け付けるのでもよい。特定したフェイスを構成する領域の座標は,フェイスフェイス座標記憶部28に記憶させる。この際には,正置画像情報におけるフェイスの領域の座標に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報とを対応づけて記憶させる。またフェイスの領域を示す座標としては,矩形領域を特定するために必要な頂点の座標であり,たとえば4点,または右上と左下,左上と右下の2点の座標でよい。
フェイス特定処理部27における二回目以降のフェイスの特定処理は,同一の陳列棚の同一の棚段について,フェイス座標記憶部28に記憶する前回(N−1回目)の正置画像情報で特定したフェイスの領域の座標を抽出し,その座標を今回(N回目)の正置画像情報で特定したフェイスの領域の座標とする。
フェイスの領域の座標は,棚段の位置の座標と同様に,正置画像情報における陳列棚内での所定箇所(たとえば陳列棚の左上の頂点C1)を基準とした相対座標である。
フェイス座標記憶部28は,フェイスの領域の座標を記憶する。たとえば,正置画像情報におけるフェイスの領域の座標に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報とを対応づけて記憶する。
商品識別情報特定処理部29は,陳列棚の棚段ごとに,フェイスに表示されている商品の商品識別情報を特定する。商品識別情報としては,商品名のほか,その商品に対して割り当てられているJANコードなどがあるが,それに限定されない。商品を識別することができる情報であればいかなるものでもよい。
商品識別情報特定処理部29は,初回の商品識別情報の特定処理と,二回目以降の商品識別情報の特定処理とに分かれる。
初回の商品識別情報の特定処理は,フェイスごとに,フェイスの画像情報と,後述する標本画像情報記憶部30に記憶する商品の標本画像情報とマッチングすることで,そのフェイスに表示されている商品の商品識別情報を特定する。具体的には,まず,処理対象となるフェイスの座標をフェイス座標記憶部28から特定する。そしてその座標で構成される領域の画像情報と,標本画像情報記憶部30に記憶する標本画像情報との類似性を判定し,その類似性がもっとも高い標本画像情報に対応する商品識別情報を,上記座標で構成されるフェイスに表示されている商品の商品識別情報として特定をする。
ここでフェイスの画像情報と標本画像情報との類似性を判定するには,以下のような処理を行う。まず,商品識別情報特定処理部29における商品識別情報の特定処理の前までの処理において,正置画像情報におけるフェイスの領域の画像情報と,標本画像情報との方向が同じ(横転や倒立していない)となっており,また,それぞれの画像情報の大きさがおおよそ同じとなっている(所定範囲以上で画像情報の大きさが異なる場合には,類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく)。そして,フェイスの画像情報と,標本画像情報との類似性は,フェイスの画像情報の画像特徴量(たとえば局所特徴量)に基づく特徴点と,標本画像情報との画像特徴量(たとえば局所特徴量)に基づく特徴点を,それぞれ抽出する。そして,フェイスの画像情報の特徴点と,標本画像情報の特徴点とでもっとも類似性が高いペアを検出し,それぞれで対応する点の座標の差を求める。そして,差の平均値を求める。差の平均値は,フェイスの画像情報と,標本画像情報との全体の平均移動量を示している。そして,すべての特徴点のペアの座標差を平均の座標差と比較し,外れ度合いの大きなペアを除外する。そして,残った対応点の数で類似性を順位付ける。
以上のような方法でフェイスの画像情報と,標本画像情報との類似性を算出できる。また,その精度を向上させるため,さらに,色ヒストグラム同士のEMD(Earth Movers Distance)を求め,類似性の尺度としてもよい。これによって,撮影された画像情報の明度等の環境変化に比較的強い類似性の比較を行うことができ,高精度で特定をすることができる。なお,類似性の判定は,上述に限定をするものではない。特定した商品識別情報は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部31に記憶する。
商品識別情報特定処理部29は,二回目以降の商品識別情報の特定処理を以下のように実行する。N回目の正置画像情報におけるフェイスの商品識別情報の特定処理は,まず処理対象となるフェイスのフェイス識別情報をフェイス座標記憶部28から特定する。特定したフェイス識別情報をXとする。そして,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,フェイス識別情報Xに対応する位置にあるN−1回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については,色ヒストグラム同士のEMDを求め,類似性の尺度とすることが好ましいが,それに限定するものではない。その類似性が一定の閾値以上であれば,N−1回目の正置画像情報におけるその領域のフェイスに対応する商品識別情報を商品識別情報記憶部31から抽出し,N回目の正置画像情報におけるフェイス識別情報Xの商品識別情報とする。これによって,処理対象となるN回目の正置画像情報におけるフェイス識別情報Xの商品識別情報を特定できる。もし類似性が一定の閾値未満であれば,初回の場合と同様に,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,標本画像情報記憶部30に記憶する標本画像情報とを比較して,類似性が所定の閾値以上で,かつ,もっとも類似性が高い商品識別情報を,N回目の正置画像情報におけるフェイス識別情報Xのフェイスの商品識別情報として特定をする。
なお,N−1回目の正置画像情報におけるフェイスの領域の画像情報との比較において,対応するフェイスの位置との比較のみならず,所定範囲のフェイスを比較対象として含めてもよい。たとえばN回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と比較する場合,比較対象としては,N−1回目の正置画像情報におけるフェイス識別情報Xの領域のほか,その領域から所定範囲にあるフェイスの領域,たとえばその左右方向に一または複数離隔している位置にあるフェイス,上下の棚段に位置するフェイスの領域も含めてもよい。さらに,N−1回目の正置画像情報におけるフェイス識別情報Xの領域のほか,フェイス識別情報X−2,X−1,X,X+1,X+2のように,複数の隣接するフェイスの領域を含めてもよい。
この場合,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,N−1回目の正置画像情報における,比較対象となる範囲のフェイスの範囲の領域のそれぞれの画像情報とを比較し,もっとも類似性が高いN−1回目の正置画像情報のフェイス識別情報を特定する。なお,類似性は,類似性は一定の閾値以上であることを条件としてもよい。そして特定したN−1回目の正置画像情報のフェイス識別情報に対応する商品識別情報を商品識別情報記憶部31から抽出し,N回目の正置画像情報におけるフェイス識別情報Xの商品識別情報とする。この処理を模式的に示すのが図10である。図10(a)は前回(N−1回目)の正置画像情報であり,図10(b)は今回(N回目)の正置画像情報である。そして,N回目の正置画像情報の棚段1の各フェイスの領域の画像情報と,N−1回目の正置画像情報の棚段1の各フェイスの領域の画像情報とをそれぞれ比較することで類似性を判定し,もっとも類似性が高いN−1回目の正置画像情報の棚段1のフェイスの商品識別情報を,N回目の正置画像情報の棚段1のフェイスの商品識別情報として特定をすることを示す。図10では,N回目の正置画像情報のフェイスに対応する位置にあるN−1回目の正置画像情報のフェイスに加え,その左右2つずつのフェイスとの比較を行う場合を示している。なお同一棚段のみならず,上下の棚段のフェイス位置の画像情報との比較を行ってもよい。たとえば図10の場合,N回目の正置画像情報の棚段2の中心のフェイス位置の商品識別情報を特定する際に,N−1回目の正置画像情報の棚段2の中心およびその左右2つずつのフェイスの領域の画像情報と比較するのみならず,N−1回目の正置画像情報の棚段1の中心およびその左右2つずつのフェイスの領域の画像情報,N−1回目の正置画像情報の棚段3の中心およびその左右2つずつのフェイスの領域の画像情報と類似性の比較を行ってもよい。
N−1回目の正置画像情報のフェイスの画像情報との比較の結果,類似性が閾値を充足しないなどによって商品識別情報を特定できなかった場合には,N回目の正置画像情報におけるフェイス識別情報Xの領域の画像情報と,標本画像情報記憶部30に記憶する標本画像情報とを比較して,類似性が所定の閾値以上で,かつ,もっとも類似性が高い商品識別情報を,N回目の正置画像情報におけるフェイス識別情報Xのフェイスの商品識別情報として特定をする。この場合の類似性の判定処理は,初回の商品識別情報の特定処理と同様に行える。
以上のようにして特定した商品識別情報は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部31に記憶する。
標本画像情報記憶部30は,正置画像情報に写っている陳列棚の棚段における各フェイスの商品がどの商品であるかを識別するための標本画像情報を記憶する。標本画像情報は,陳列棚に陳列される可能性のある商品を,上下,左右,斜めなど複数の角度から撮影をした画像情報である。図25に標本画像情報記憶部30に記憶される標本画像情報の一例を示す。図25では,標本画像情報として,缶ビールをさまざまな角度から撮影をした場合を示しているが,缶ビールに限られない。標本画像情報記憶部30は,標本画像情報と,商品識別情報とを対応付けて記憶する。
なお,標本画像情報記憶部30には,標本画像情報とともに,または標本画像情報に代えて,標本画像情報から抽出された,類似性の算出に必要となる情報,たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本画像情報には,類似性の算出に必要となる情報も含むとする。この場合,商品識別情報特定処理部29は,フェイスの領域の画像情報と,標本画像情報とのマッチング処理を行う際に,標本画像情報について毎回,画像特徴量を算出せずともよくなり,計算時間を短縮することができる。
商品識別情報記憶部31は,陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を記憶する。たとえば,商品識別情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部31に記憶する。
棚段画像マッチング処理部32は,前回(N−1回目)の正置画像情報における棚段の領域222の画像情報と,今回(N回目)の正置画像情報における棚段の領域222の画像情報とに基づいて,その類似性が高ければその棚段における各フェイスの商品識別情報は同一と判定する。この類似性の判定処理は,上述のように,前回(N−1回目)の正置画像情報における棚段の領域222の画像情報の画像特徴量と,今回(N回目)の正置画像情報における棚段の領域222の画像情報とに基づく類似性の判定でもよいし,色ヒストグラム同士のEMDを用いたものであってもよい。また,それらに限定するものではない。そして,商品識別情報特定処理部29におけるフェイス単位ごとの特定処理ではなく,商品識別情報特定処理部29に,N回目の正置画像情報におけるその棚段における各フェイスの商品識別情報を,N−1回目の同一の棚段における各フェイスの商品識別情報と同一として,商品識別情報記憶部31に記憶させる。これによって,あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など,変化がほとんど生じない棚段についての処理を省略することができる。なお,棚段画像マッチング処理部32による処理は設けなくてもよい。
つぎに,本発明の商品特定システム1を用いた処理プロセスの一例を図3および図4のフローチャートを用いて説明する。
まず初回の処理プロセスを図3のフローチャートを用いて説明する。
店舗の陳列棚が撮影された撮影画像情報は,撮影画像情報入力端末3から入力され,管理端末2の撮影画像情報入力受付処理部20でその入力を受け付ける(S100)。図11に,撮影画像情報の一例を示す。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,撮影画像情報入力受付処理部20は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部21に記憶させる。
管理端末2において所定の操作入力を受け付けると,台形補正処理部22は撮影画像情報記憶部21に記憶する撮影画像情報を抽出し,台形補正処理を行うための頂点である棚位置(陳列棚の位置)の4点C(C1乃至C4)の入力を受け付ける(S110)。図11の撮影画像情報に対して,棚位置C1乃至C4の入力を受け付けた状態の一例を図12に示す。入力を受け付けた棚位置の座標C1乃至C4は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部23に記憶させる。台形補正処理部22は,入力を受け付けた棚位置(頂点C1乃至C4)の座標に基づいて,撮影画像情報に対する台形補正処理を実行し正置化して正置画像情報を生成する(S120)。生成した正置画像情報は,台形補正処理前の撮影画像情報に対応する撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報に対応づけて正置画像情報記憶部24に記憶させる。図11の撮影画像情報に台形補正処理を実行して正置化した正置画像情報を図13に示す。
棚段位置特定処理部25は,正置画像情報記憶部24に記憶する正置画像情報を抽出し,棚段位置の指定の入力を受け付ける(S130)。指定を受け付けた棚段位置T(図9における領域222)の座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報に対応づけて棚段位置座標記憶部26に記憶させる。指定を受け付けた棚段位置Tの一例を図14に示す。図14では,棚段1の棚段位置を座標T11乃至T14,棚段2の棚段位置を座標T21乃至T24,棚段3の棚段位置を座標T31乃至T34で指定を受け付け,その入力を受け付ける。各棚段は,それぞれの4点の座標で構成される矩形領域222となる。なお,棚段位置の座標は4点を記憶せずとも,T11,T14など矩形領域222を特定可能な2点であってもよい。
そして,フェイス特定処理部27は,S130で入力を受け付けた棚段位置に基づいて,棚段ごとに,フェイスを特定する処理を実行する(S140)。具体的には,棚段1について,座標T11乃至T14で構成される矩形領域222の範囲内において,商品と商品との間の影を特定する,画像の繰り返しパターンを特定する,パッケージの上辺の段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,フェイスを特定する。また,棚段2について座標T21乃至T24で構成される矩形領域222の範囲内において,および棚段3について座標T31乃至T34で構成される矩形領域222の範囲内において,棚段1と同様に,フェイスを特定する。フェイスを特定した正置画像情報の一例を図15に示す。特定したフェイスの座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイスを識別するためのフェイス識別情報と対応付けてフェイス座標記憶部28に記憶させる。たとえば図15における棚段1の左端のフェイスの座標(F11乃至F14)を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応付けて記憶させる。なお,フェイスの座標は4点を記憶せずとも,F11,F14など矩形領域を特定可能な2点であってもよい。
以上のように正置画像情報における各棚段の各フェイスを特定すると,商品識別情報特定処理部29は,フェイスごとに,標本画像情報記憶部30に記憶する標本画像情報とマッチング処理を実行し,そのフェイスに表示されている商品の商品識別情報を特定する(S150)。すなわち,図15における棚段1の左端のフェイスの場合,正置画像情報の座標F11乃至F14の矩形領域(この領域のフェイスのフェイス識別情報をXとする)における画像情報と,標本画像情報記憶部30に記憶する各標本画像情報とから,それぞれの画像特徴量を算出し,特徴点のペアを求めることで,類似性を判定する。そして,もっとも類似性の高い標本画像情報を特定し,そのときの類似性があらかじめ定められた閾値以上であれば,その標本画像情報に対応する商品識別情報を標本画像情報記憶部30に基づいて特定する。そして,特定した商品識別情報を,そのフェイス識別情報Xのフェイスに表示されている商品の商品識別情報とする。そして商品識別情報特定処理部29は,特定した商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて商品識別情報記憶部31に記憶する(S160)。
なお,すべてのフェイスの商品識別情報を特定できるとは限らない。そこで,特定できていないフェイスについては,商品識別情報の入力を受け付け,入力を受け付けた商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて商品識別情報記憶部31に記憶する。また,特定した商品識別情報の修正処理についても同様に,入力を受け付けてもよい。
以上のような処理を行うことで,撮影画像情報(図11)に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。
つぎに,所定期間(たとえば一週間)経過後に,同一の陳列棚について,同じような領域を同じような角度で撮影した撮影画像情報について,本発明の処理プロセスを実行する場合を図4のフローチャートを用いて説明する。
店舗の陳列棚が撮影された撮影画像情報は,撮影画像情報入力端末3から入力され,管理端末2の撮影画像情報入力受付処理部20でその入力を受け付ける(S200)。図16に,撮影画像情報の一例を示す。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,撮影画像情報入力受付処理部20は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,画像情報識別情報を対応づけて撮影画像情報記憶部21に記憶させる。
管理端末2において所定の操作入力を受け付けると,台形補正処理部22は撮影画像情報記憶部21に記憶する撮影画像情報を抽出し,台形補正処理を実行するための,棚位置の頂点D(D1乃至D4)を特定する処理を実行する(S210)。
今回(N回目)の撮影画像情報(図16)に対応する同じまたはほぼ同じ領域を撮影した前回(N−1回目)の撮影画像情報の頂点座標を頂点座標記憶部23から特定する。つまり,前回の撮影画像情報が図11の場合,その頂点座標C1乃至C4を頂点座標記憶部23から特定する。前回の撮影画像情報の頂点座標は,撮影日時,店舗識別情報,撮影画像情報の画像識別情報などに基づいて特定をすればよい。
台形補正処理部22は,撮影画像情報記憶部21からN−1回目の撮影画像情報(図11)を抽出し,それぞれの頂点C1乃至C4について,頂点を一つずつ含む所定の大きさの矩形領域を特徴量採取領域220として,N−1回目の撮影画像情報に設定する。N−1回目の撮影画像情報に特徴量採取領域220を設定した状態を図17に示す。
また,台形補正処理部22は,撮影画像情報記憶部21からN回目の撮影画像情報(図16)を抽出し,N−1回目の特徴量採取領域220よりも広い範囲の特徴量採取領域221を,N回目の撮影画像情報に設定する。N回目の撮影画像情報に特徴量採取領域221を設定した状態を図18に示す。N回目の撮影画像情報におけるそれぞれの特徴量採取領域221は,N−1回目の特徴量採取領域220を一つずつ含む。
そして台形補正処理部22は,N−1回目の撮影画像情報に対して設定した各特徴量採取領域220において局所特徴量を採取し,局所特徴量による特徴点と座標のセットとを記憶する。また,N回目の撮影画像情報に対して設定した各特徴量採取領域221において局所特徴量を採取し,局所特徴量による特徴点と座標のセットとを記憶する。
台形補正処理部22は,N−1回目の撮影画像情報の特徴量採取領域220での各特徴点の各局所特徴量にもっとも近いN回目の撮影画像情報の特徴量採取領域221での局所特徴量の特徴点を特定し,それらをペアとなる局所特徴量の特徴点として,それぞれの座標を対応付ける。図7に示すのがN−1回目のN−1回目の特徴量採取領域220と,N回目の特徴量採取領域221とのペアの関係である。
そして,N−1回目の特徴量採取領域220における局所特徴量による特徴点の点群をA,N回目の特徴量採取領域221における局所特徴量による特徴点の点群をB,N−1回目の台形補正処理に用いた頂点をC(C1乃至C4)とすると,台形補正処理部22は,点群Aと点群Bの座標とに基づいて,点群Aを点群Bに射影する関数F(アフィン変換)を求める。
そして台形補正処理部22は,N−1回目の台形補正処理で用いた頂点C(C1乃至C4)の座標を,求めた関数Fに基づいて射影し,N回目の台形補正処理のための頂点D(D1乃至D4)の座標として特定する。
以上の処理を各特徴量採取領域220,221に対して行うことで,N回目の台形補正処理のための4頂点D(D1乃至D4)が自動的に特定できる。特定したN回目の頂点D(D1乃至D4)の座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部23に記憶させる。特定された頂点D1乃至D4を示すのが図19である。
以上のようにして,N回目の撮影画像情報に対する台形補正処理のための棚位置の頂点D(D1乃至D4)を特定すると,台形補正処理部22は,頂点D(D1乃至D4)に基づいて,N回目の撮影画像情報に対して台形補正処理を実行する(S220)。そしてN回目の撮影画像情報を正置化した正置画像情報を,台形補正処理前の撮影画像情報に対応する撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報に対応づけて正置画像情報記憶部24に記憶させる。図16の撮影画像情報に対して,特定した頂点D(D1乃至D4)を用いて台形補正処理を実行して正置化した正置画像情報を図20に示す。
そして棚段位置特定処理部25は,N−1回目の正置画像情報に対応する棚段位置の座標を,棚段位置座標記憶部26から抽出し,それを,N回目の正置画像情報(図20)に写っている陳列棚の棚段位置の座標とする。すなわち,N−1回目の正置画像情報に対応する棚段1の座標T11乃至T14,棚段2の座標T21乃至T24,棚段3の座標T31乃至T34を抽出し,その座標を,N回目の正置画像情報の陳列棚の棚段1,棚段2,棚段3の座標として,それぞれの棚段位置を特定する(S230)。N回目の正置画像情報(図20)に写っている陳列棚の各棚段の位置を特定した状態を図21に示す。特定した棚段位置の座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報に対応付けて棚段位置座標記憶部26に記憶させる。
以上のようにして特定した棚段位置に基づいて,フェイス特定処理部27は,N−1回目の各棚段における各フェイスの座標Fおよびフェイス識別情報をフェイス座標記憶部28から抽出し,N回目の各棚段におけるフェイスの座標Fおよびフェイス識別情報として特定する(S240)。特定したフェイスの座標およびフェイス識別情報は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報に対応付けて記憶させる。これによって,N回目の正置画像情報における各棚段についても,N−1回目の正置画像情報と同様に,それぞれのフェイスおよびその座標が特定できる。これを模式的に示すのが図22である。
そして棚段画像マッチング処理部32は,N回目の正置画像情報の棚段の画像情報と,N−1回目の正置画像情報の棚段の画像情報との類似性を判定する(S250)。すなわち,N回目の正置画像情報の棚段1の画像情報(座標T11乃至T14の領域の画像情報)と,N−1回目の正置画像情報の棚段1の画像情報(座標T11乃至T14の領域の画像情報)とを,色ヒストグラム同士のEMDを求め,類似性を判定する。
もしN回目の正置画像情報の棚段1の画像情報と,N−1回目の正置画像情報の棚段1の画像情報とが類似と判定できた場合(S260),商品識別情報特定処理部29は,N−1回目の正置画像情報の棚段1のそれぞれのフェイスの商品識別情報を商品識別情報特定処理部29から抽出し,N回目の正置画像情報の棚段1のそれぞれ対応する位置にあるフェイスの商品識別情報として特定する(S270)。そして商品識別情報特定処理部29は,特定したフェイスの商品識別情報を,商品識別情報記憶部31に記憶させる。
一方,棚段画像マッチング処理部32におけるN回目の正置画像情報の棚段の画像情報と,N−1回目の正置画像情報の棚段の画像情報との類似性の判定の結果,類似と判定できなかった場合(S260),商品識別情報記憶部31は,その棚段におけるフェイス単位での商品識別情報の特定処理を実行する(S280)。
すなわち,N回目の正置画像情報におけるフェイスの画像情報と,そのフェイスに対応するN−1回目の正置画像情報におけるフェイスおよびそのフェイスから所定範囲のフェイスの画像情報とを比較し,もっとも類似性が高いN−1回目の正置画像情報のフェイスを特定する。そしてその類似性が一定の閾値以上であれば,N回目の正置画像情報におけるフェイスの商品識別情報を,当該特定したN−1回目の正置画像情報におけるフェイスに対応する商品識別情報として特定する。この処理を模式的に示すのが図23および図24である。図23は,N回目の正置画像情報におけるフェイスの画像情報と,そのフェイスに対応するN−1回目の正置画像情報におけるフェイスの画像情報との類似性の比較をすることで,商品識別情報を特定する処理を示している。図24は,N回目の正置画像情報におけるフェイスの画像情報と,そのフェイスに対応するN−1回目の正置画像情報におけるフェイスおよび左右1個ずつのフェイスの画像情報との類似性の比較をすることで,商品識別情報を特定する処理を示している。なお,図24に示すように,N−1回目の正置画像情報における同一の棚段で対応するフェイスのみならず,その左右に所定数分のフェイス,その棚段の上下に位置する棚段におけるフェイスを類似性の比較対象としてもよい。
もしもっとも類似性が高いN−1回目の正置画像情報のフェイスについて,その類似性が一定の閾値を充足していなければ,そのフェイスの商品識別情報を未確定とする。そして,商品識別情報特定処理部29は,そのフェイスの領域の画像情報と,標本画像情報記憶部30に記憶する各標本画像情報と画像マッチング処理を実行することで,商品識別情報を特定する(S290)。
以上のようにして特定したフェイスごとの商品識別情報を,商品識別情報特定処理部29は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて商品識別情報記憶部31に記憶する(S300)。
なお,すべてのフェイスの商品識別情報を特定できるとは限らない。そこで,特定できていないフェイスについては,商品識別情報の入力を受け付け,入力を受け付けた商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,フェイス識別情報に対応づけて商品識別情報記憶部31に記憶する。また,特定した商品識別情報の修正処理についても同様に,入力を受け付けてもよい。
以上のような処理を行うことで,撮影画像情報(図16)に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。また,二回目以降の撮影画像情報については,台形補正処理のための頂点を自動的に特定できるので,担当者による作業を軽減することができる。また,フェイスの画像情報を,標本画像情報と比較するのではなく,前回の同一またはそこから所定範囲の位置にあるフェイスの画像情報と比較することで,画像マッチング処理を減らすことができるとともに,商品の特定精度を向上させることができる。
なお,N回目の撮影画像情報に対する処理については,N−1回目の撮影画像情報または正置画像情報での処理結果を用いることが好ましいが,任意のタイミングで,初回の場合と同様の処理を実行することで,自動処理によるデータのズレを元に修正することができる。