JP2019185684A

JP2019185684A - 陳列状況判定システム

Info

Publication number: JP2019185684A
Application number: JP2018079440A
Authority: JP
Inventors: 成吉谷井; Seikichi Tanii
Original assignee: Marketvision Co Ltd
Current assignee: Marketvision Co Ltd
Priority date: 2018-04-17
Filing date: 2018-04-17
Publication date: 2019-10-24
Anticipated expiration: 2038-04-17
Also published as: JP6651169B2

Abstract

【課題】陳列している商品の商品識別情報と，商品タグにおける商品の商品識別情報とを比較することで，陳列棚に陳列されている商品の陳列状況，たとえば商品の欠品などを精度よく特定するための陳列状況判定システムを提供することを目的とする。【解決手段】陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，陳列されている商品の商品識別情報と，商品タグの商品識別情報とを比較することで，商品の陳列状況を判定する陳列状況判定処理部と，を有する陳列状況判定システムである。【選択図】図１

Description

本発明は，陳列している商品の商品識別情報と，商品タグにおける商品の商品識別情報とを比較することで，陳列棚に陳列されている商品の陳列状況を精度よく判定するための陳列状況判定システムに関する。

コンビニエンスストア，スーパーなどの各種の店舗では，販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため，陳列棚に商品を複数陳列しておくことで，商品の一つが購入されても，同一の商品をほかの人が購入できるようになっている。そして，仮に，陳列棚に陳列されている商品の陳列がなくなってしまうと，その商品の販売機会の損失となり，好ましい状態とはいえない。

そこで商品の陳列状況，とくに陳列棚に陳列している商品に欠品がないかを管理することが求められている。

この目的を達成するためには，店舗で導入しているＰＯＳシステムを用いる方法が考えられる。ＰＯＳシステムでは，商品の仕入れと販売とを統合的に管理しているため，商品の在庫数を適切に把握できる。

しかしＰＯＳシステムのみから商品の欠品の管理を行うことはできない。ＰＯＳシステムは，商品の仕入れ数と販売数とから在庫数を特定することはできるが，在庫のすべてが陳列棚に並んでいるとは限らず，店舗の倉庫に存在する可能性もあるからである。また，ＰＯＳシステムを介さない商品の減少，たとえば万引きなどによる商品の減少もある。この場合にも，ＰＯＳシステムの在庫数としては存在していても，実際には商品が陳列されていない，という状況となる。

このようなことから，商品の陳列状況（陳列中，欠品など），とくに欠品の有無について適切に把握するためには，陳列棚の実際の陳列から把握することが好ましい。これを実現するためには，陳列棚を撮影装置で撮影し，その撮影した画像情報から欠品を特定できればよい。これを正確に行うためには，陳列棚を撮影した画像情報から，陳列されている商品，および欠品となっている商品を人間が手作業で特定することが考えられる。しかし，陳列棚を撮影した画像情報から毎回，人間が商品の欠品を特定するのは負担が大きく，また非効率である。

また商品の欠品のほか，どのような商品が陳列中であるかを特定することも，商品の開発戦略，営業戦略などの観点から，商品の製造会社や販売会社にとっては重要な課題である。そしてそれらを人手で特定することの負担が大きく，非効率であることも同様である。

そこで店舗の陳列棚から，そこに陳列されている商品を自動的に特定し，商品の陳列状況を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１，特許文献２がある。また，商品の陳列棚における欠品を特定するための技術として，特許文献３がある。

特開平５−３４２２３０号公報特開平５−３３４４０９号公報国際公開２０１２／０２９５４８

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，実際に陳列されている商品の欠品を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際に陳列されている商品が欠品であるか，陳列中であるかを示す陳列状況を把握することはできない。

特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明の場合，陳列棚にすべての商品が配置されているときの画像をあらかじめ撮影しておき，現在の画像との差分を求めることで空き空間の位置であると特定する，あるいは棚板の色や柄を捉えたときに空き空間であることを特定している。しかし，陳列棚に陳列される商品には商品の入れ替えなどもあることから，すべての商品が配置されているときと現在の画像の差分について，具体的にどのような処理をすれば空き空間と特定できるのか，その具体的処理については一切記載も示唆もされていない。たとえば最初に撮影した画像と，次に撮影した画像とで陳列されている商品に変更があった場合，当然，画像の差分が発生するが，その差分をどのように処理するのか具体的な内容がわからなければ，当業者にとって，その差分について具体的にどのような処理をすることで空き空間として認識させるのかが不明であって，実現可能性がまったくない。また棚板の色や柄を捉えたときの認識であっても，陳列棚の奥付近は暗いことも多く，陳列棚の棚板の色情報が変化している場合も多い。そのため，単に陳列棚の色や柄を捉えるというだけでは，実際のコンピュータの処理として，空き空間として認識させるのは極めて困難であり，この場合も，当業者にとって実現可能性が全くない。

したがって，特許文献３を用いたとしても，陳列棚に陳列している商品が欠品であるか，陳列中であるかの判定を実際に行うことはできない

本発明者は上記課題に鑑み，陳列棚に陳列している商品の商品識別情報と，商品タグにおける商品の商品識別情報とを比較することで，陳列棚に陳列されている商品の陳列状況を精度よく特定が行える陳列状況判定システムを発明した。

請求項１の発明は，商品の陳列状況を判定する陳列状況判定システムであって，前記陳列状況判定システムは，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，前記陳列されている商品の商品識別情報と，前記商品タグの商品識別情報とを比較することで，前記商品の陳列状況を判定する陳列状況判定処理部と，を有する陳列状況判定システムである。

本発明では，陳列棚に陳列されている商品と，商品タグとに基づいて，商品の陳列状況を判定するので，商品の陳列状況を精度よく判定することができる。

上述の発明において，前記陳列状況判定処理部は，前記商品タグ認識処理部で認識した商品識別情報のうち，前記陳列商品認識処理部で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定する，陳列状況判定システムのように構成することができる。

商品タグから認識した商品識別情報のうち，陳列棚に陳列されている商品の商品識別情報がない場合には，その商品が欠品である可能性が高い。そこで，本発明のように構成することで，商品の欠品を精度よく判定することができる。

上述の発明において，前記陳列商品認識処理部は，前記陳列棚が写っている画像情報と標本情報との類似性を判定することで，前記陳列棚に陳列されている商品の商品識別情報を認識する，陳列状況判定システムのように構成することができる。

陳列棚に陳列されている商品の商品識別情報の認識には様々な方法があるが，本発明のように，陳列棚を撮影した画像情報に基づいて行うことができる。この場合，陳列棚が写っている画像情報と，標本情報とのマッチング処理を行い，その類似性を判定することで，陳列棚に陳列されている商品の商品識別情報を判定することができる。

上述の発明において，前記陳列商品認識処理部は，前記陳列棚が写っている画像情報と標本情報との類似性がもっとも高い標本情報が対応する商品識別情報のうち，その類似性が所定の閾値以上でない場合には，前記商品識別情報は認識しない，陳列状況判定システムのように構成することができる。

陳列棚が写っている画像情報と標本情報とでマッチング処理を行うので，その類似性が必ず導出できる。しかしその類似性が低い場合，信頼性が高いとはいえない。そこで，類似性が所定の閾値以上でない場合には，そのマッチング処理の結果を用いないとすることで，商品の陳列状況の判定の精度向上につなげることができる。

上述の発明において，前記陳列商品認識処理部は，前記陳列棚を撮影する撮影装置と，前記陳列棚との間の距離を示す深さ情報を取得し，その距離情報を用いて，商品が置かれていない領域を判定する，陳列状況判定システムのように構成することができる。

陳列棚に陳列されている商品に欠品がある場合，その商品が置かれるべき領域は空隙となっている可能性が高い。そこで，陳列棚の撮影に用いる撮影装置から赤外線などの光線を照射して反射光を計測する，ステレオカメラの視差を用いるなどによって，撮影装置と陳列棚との間の深さ情報を取得することで，商品が置かれていない領域を特定できるとよい。

上述の発明において，前記陳列商品認識処理部は，前記深さ情報について，前記陳列棚が写っている画像情報に対する正置化処理と同一の変換処理を行い，前記陳列棚が写っている画像情報における商品が置かれる領域ごとの深さ情報を求め，前記求めた深さ情報によって特定する回帰平面と，各領域の深さ情報とを比較し，所定の閾値よりも深さ情報が大きければ，その領域を商品が置かれていない領域として判定する，陳列状況判定システムのように構成することができる。

商品が置かれていない領域の特定処理に際しては，本発明のような処理を実行することで，精度よく特定することができる。

上述の発明において，前記陳列状況判定処理部は，前記欠品している商品の商品識別情報として判定した商品は，前記判定した商品が置かれていない領域に置かれる商品であることを判定する，陳列状況判定システムのように構成することができる。

本発明のように構成することで，欠品となっている商品が，本来置かれるべき領域を判定することができる。

上述の発明において，前記陳列商品認識処理部は，所定の読取装置で読み取った，前記陳列棚に陳列されている商品に付された電子タグに記憶された商品識別情報に基づいて，前記陳列棚に陳列されている商品の商品識別情報を認識する，陳列状況判定システムのように構成することができる。

陳列している商品を認識するためには，上述のように画像情報を用いた処理のほか，商品にＩＣタグなどの電子タグを付しておき，それを読取装置で読み取ることでもよい。この方法の場合には，陳列している商品の誤認識を減らすことができる。

上述の発明において，前記商品タグ認識処理部は，前記陳列棚が写っている画像情報において商品タグ領域を特定する商品タグ特定処理部と，前記特定した商品タグ領域の一部または全部において，ＯＣＲ認識処理を行うことで商品識別情報を認識する商品タグ内情報特定処理部と，を有する陳列状況判定システムのように構成することができる。

商品タグの商品識別情報の認識には様々な方法があるが，本発明のように，陳列棚を撮影した画像情報に基づいて行うことができる。この場合，本発明のような処理を実行するとよい。

上述の発明において，前記商品タグ特定処理部は，前記画像情報の明度情報を用いて商品タグ領域を特定する，陳列状況判定システムのように構成することができる。

商品タグの商品識別情報を認識するためには，商品タグの領域をできるだけ正確に特定する必要がある。一般的に，商品タグの地の色は白色が多いことから，陳列棚を撮影した場合，商品タグの部分は明るくなる。そこでこの点に着目し，明度情報（画像情報を色相，明度，彩度の情報に分解したときにおける明度の量の情報）を用いて商品タグ領域を特定することで，商品タグ領域を精度よく特定することができる。

上述の発明において，前記商品タグ特定処理部は，前記画像情報の明度情報を横方向に積算することで，商品タグの上辺位置，下辺位置を特定し，前記画像情報の明度情報を縦方向に積算することで，商品タグの左辺位置，右辺位置を特定する，陳列状況判定システムのように構成することができる。

上述の発明において，前記商品タグ特定処理部は，前記画像情報の明度情報を横方向に積算したヒストグラムの立ち上がり，立ち下がりを特定することで，商品タグの上辺位置，下辺位置を特定し，前記画像情報の明度情報を縦方向に積算したヒストグラムの立ち上がり，立ち下がりを特定することで，立ち上がりから所定距離内にある立ち下がりをペアとして商品タグの左辺位置，右辺位置を特定する，陳列状況判定システムのように構成することができる。

画像情報の明度情報に着目して商品タグ領域の特定を行う場合，画像情報の明度情報を縦方向，横方向にそれぞれ積算することで，商品タグ領域を精度よく特定することができる。

上述の発明において，前記商品タグ内情報特定処理部は，前記特定した商品タグ領域を二値化してラベリング処理を行うことでボックスを特定し，特定したボックスのうち，所定条件を充足するボックス同士をブロックとして特定し，前記特定したブロックに対して前記ＯＣＲ認識処理を実行する，陳列状況判定システムのように構成することができる。

商品タグに表記されている情報を認識するためには，商品タグ領域のすべてに対してＯＣＲ認識処理を実行してもよいが，その場合，ノイズ等が多く検出されてしまい，精度の悪化に繋がる。また処理時間も多くなる。そこで，商品タグ領域の一部分のみにＯＣＲ認識処理を実行することが好ましい。そこで，本発明の処理で特定したブロックに対してＯＣＲ認識処理を実行することで，その認識精度を向上させることができる。

上述の発明において，前記商品タグ認識処理部は，前記商品タグ配置領域においてエッジ検出を行い，垂直方向の角度の所定条件を充足する直線群を検出し，前記検出した直線群のうち，少なくとも２本の直線を特定し，前記特定した２本の直線を用いて台形補正処理を実行する商品タグ配置領域正置化処理部，を有する，陳列状況判定システムのように構成することができる。

陳列棚の面が垂直であるのに対し，商品タグの面は，垂直面よりも上向き（顧客向き）に取り付けられていることが多い。これは，顧客が商品タグを視認しやすくするためである。そのため，商品タグ配置領域を正置化処理することで，商品タグ領域をより精度よく特定することができる。これは，たとえば明度情報におけるヒスとグラムの立ち上がり，立ち下がりが急峻になるためである。また，本発明によって，商品タグ領域におけるＯＣＲ認識処理の精度を向上させることができる。

上述の発明において，前記商品タグ認識処理部は，所定の読取装置で読み取った，前記陳列棚の商品タグまたはその近傍に付された電子タグに記憶された商品識別情報，またはコード化された商品識別情報に基づいて，前記商品タグにおける商品識別情報を認識する，陳列状況判定システムのように構成することができる。

商品タグの商品識別情報を認識するためには，上述のように画像情報を用いた処理のほか，商品タグまたはその近傍にＩＣタグなどの電子タグを付しておき，それを読取装置で読み取ることで，商品タグ認識処理部が商品タグの商品識別情報を認識してもよい。また，商品タグやその近傍に付されたコード化された商品識別情報を読取装置で読み取ることで，商品タグ認識処理部が商品タグの商品識別情報を認識してもよい。これらの方法の場合には，商品タグの商品識別情報の誤認識を減らすことができる。

請求項１６の発明は，商品の欠品を判定する陳列状況判定システムであって，前記陳列状況判定システムは，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，前記陳列商品認識処理部で認識した商品の商品識別情報と，ＰＯＳシステムで管理する前記商品の在庫情報とを照合処理することで欠品の判定を行う陳列状況判定処理部と，を有する陳列状況判定システムである。

欠品の可能性を判定する場合，商品タグの商品識別情報を認識するほか，ＰＯＳシステムの在庫情報を利用することもできる。すなわち，ＰＯＳシステムで在庫があると判定されたにもかかわらず，陳列棚に陳列されている商品の商品識別情報が認識できない場合には，陳列棚に陳列されておらず，欠品の可能性が高い。そこで，本発明の処理を実行することでも，欠品の可能性を判定できる。

請求項１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，商品タグの商品識別情報を認識する商品タグ認識処理部，前記陳列されている商品の商品識別情報と，前記商品タグの商品識別情報とを比較することで，前記商品の陳列状況を判定する陳列状況判定処理部，として機能させる陳列状況判定プログラムである。

請求項１６の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，前記陳列商品認識処理部で認識した商品の商品識別情報と，ＰＯＳシステムで管理する前記商品の在庫情報とを照合処理することで欠品の判定を行う陳列状況判定処理部，として機能させる陳列状況判定プログラムである。

本発明の陳列状況判定システムを用いることによって，陳列棚に陳列されている商品の陳列状況を精度よく判定が行える。

本発明の陳列状況判定システムの構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける商品タグ認識処理部の構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける全体の処理プロセスの一例を示すフローチャートである。本発明の画像情報処理部における処理プロセスの一例を示すフローチャートである。撮影画像情報の一例を示す図である。撮影画像情報の一例を示す図である。図６の撮影画像情報に対して，台形補正処理が実行された正置画像情報の一例を示す図である。図７の撮影画像情報に対して，台形補正処理が実行された正置画像情報の一例を示す図である。飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。標本情報記憶部に記憶する標本情報の一例を示す図である。陳列棚におけるプレイスとフェイスとの関係を模式的に示す図である。図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す図である。図１０の商品タグ配置領域の画像情報の一例を示す図である。商品タグ特定処理部における商品タグ領域の上辺位置，下辺位置を特定する処理を模式的に示す図である。商品タグ特定処理部における商品タグ領域の横方向の位置を特定する処理を模式的に示す図である。図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を模式的に示す図である。商品タグ内情報特定処理部における処理において，商品タグ領域を二値化した画像情報を模式的に示す図である。商品タグ内情報特定処理部における処理において，ボックスを生成した状態を模式的に示す図である。商品タグ内情報特定処理部における処理において，ブロックを生成した状態を模式的に示す図である。商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す図である。最終候補の文字数ごとの確定してよい編集距離の対応関係の一例を示す図である。陳列商品認識処理部で認識した商品識別情報と，商品タグ認識処理部で認識した商品タグの商品識別情報とを紐付けする処理の一例を模式的に示す図である。撮影画像情報の一例を示す図である。図２５の撮影画像情報に対して台形補正処理を実行した正置画像情報の一例を示す図である。撮影画像情報と深さ情報との対応関係を模式的に示す図である。深さ情報の一例を示す図である。撮影画像情報における台形補正処理などの正置化処理と同様の変換処理を，深さ情報に対しても実行した状態を模式的に示す図である。図２８の深さ情報に対して，撮影画像情報における台形補正処理などの正置化処理と同様の変換処理を実行した状態を模式的に示す図である。各プレイスについて，プレイスの回帰平面からの深さの一例を模式的に示す図である。プレイス位置の回帰平面を求める処理を模式的に示す図である。前回（Ｎ−１回）と今回（Ｎ回）とのプレイスの状態の変化，商品タグの変化に基づいて判定を行う処理の一例を示す図である。実施例５における，商品識別情報特定処理部におけるＮ回目の処理を模式的に示す図である。

本発明の陳列状況判定システム１の処理機能の一例をブロック図で図１乃至図３に示す。陳列状況判定システム１は，管理端末２と撮影画像情報入力端末３とを用いる。図１は陳列状況判定システム１の全体の機能を示すブロック図であり，図２は後述する陳列商品認識処理部２４の機能を示すブロック図であり，図３は後述する商品タグ認識処理部２５の機能を示すブロック図である。

管理端末２は，陳列状況判定システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した画像情報の入力を行う端末である。

陳列状況判定システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。

撮影画像情報に基づいて商品の陳列状況を判定する場合，陳列状況判定システム１は，撮影画像情報入力受付処理部２０と撮影画像情報記憶部２１と撮影画像情報正置化処理部２２と位置特定処理部２３と陳列商品認識処理部２４と商品タグ認識処理部２５と標本情報記憶部２６と商品識別情報記憶部２７と陳列状況判定処理部２８とを有する。そのため，後述するように，画像情報を用いない場合には，撮影画像情報入力受付処理部２０，撮影画像情報記憶部２１，撮影画像情報正置化処理部２２を設けずともよく，また陳列商品認識処理部２４，商品タグ認識処理部２５において，画像情報にかかる処理を設けなくてもよい。

撮影画像情報入力受付処理部２０は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する撮影画像情報記憶部２１に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図６，図７に撮影画像情報の一例を示す。図６，図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。

撮影画像情報記憶部２１は，撮影画像情報入力端末３から受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。一般的には，単に撮影した場合，撮影対象物を正対した状態で撮影することが困難であることから，それを正対した状態に補正する補正処理，たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

撮影画像情報正置化処理部２２は，撮影画像情報記憶部２１に記憶した撮影画像情報に対して，撮影対象物が正対した状態になるように補正する処理（正置化処理），たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグが垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。

撮影画像情報正置化処理部２２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図８に図６の撮影画像情報を，図９に図７の撮影画像情報をそれぞれ正置化した撮影画像情報（正置画像情報）の一例を示す。

位置特定処理部２３は，撮影画像情報正置化処理部２２において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち，商品が配置される可能性のある棚段の領域（棚段領域），商品タグが取り付けられる可能性のある領域（商品タグ配置領域）を特定する。すなわち，撮影画像情報および正置画像情報には陳列棚が写っているが，陳列棚には，商品が陳列される棚段領域と，そこに陳列される商品に対する商品タグが取り付けられる可能性のある商品タグ配置領域とがある。そのため，正置画像情報から棚段領域と商品タグ配置領域を特定する。棚段領域，商品タグ配置領域の特定としては，管理端末２の操作者が手動で棚段領域，商品タグ配置領域を指定し，それを位置特定処理部２３が受け付けてもよいし，初回に手動で入力を受け付けた棚段領域，商品タグ配置領域の情報に基づいて，二回目以降は自動で棚段領域，商品タグ配置領域を特定してもよい。

図１０に，飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。また，図１１に，歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。

陳列商品認識処理部２４は，正置画像情報に写っている陳列棚における棚段に陳列されている商品を認識する処理を実行する。陳列商品認識処理部２４の処理の詳細は，後述する。なお，後述の処理では，陳列商品認識処理部２４は，陳列棚を撮影した撮影画像情報に基づいて陳列している商品の商品識別情報を認識する場合を説明するが，商品に商品識別情報を記憶したＩＣタグ（電子タグ）などを付しておき，ＩＣタグから陳列している商品の商品識別情報を読み取ることで，陳列している商品の商品識別情報を認識してもよい。

商品タグ認識処理部２５は，正置画像情報に写っている陳列棚の商品タグ領域にある商品タグに記載されている商品識別情報を認識する処理を実行する。商品タグ認識処理部２５の処理の詳細は後述する。なお以下の説明では，商品識別情報の認識としては，商品タグに記載されている文字情報を読み取ることで商品識別情報を認識する場合を説明するが，商品タグまたはその近傍に記載されているバーコード，２次元コード，カラーコードなどの商品識別情報がコード化された情報（コード情報）を読み取ることで商品識別情報を認識してもよい。また，商品タグまたはその近傍に設置されたＩＣタグ（電子タグ）などから商品識別情報を読み取ることで商品識別情報を認識することでもよい。コード情報やＩＣタグから商品識別情報を読み取る場合には，たとえばコードリーダや非接触通信装置７４などの読取装置によって商品識別情報を読み取り，読取装置で読み取った情報を商品タグ認識処理部２５で認識する。

標本情報記憶部２６は，正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図１２に標本情報記憶部２６に記憶される標本情報の一例を示す。図１２では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２６は，標本情報と，商品識別情報とを対応付けて記憶する。

なお，標本情報記憶部２６には，標本情報とともに，または標本情報に代えて，標本情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には，類似性の算出に必要となる情報も含むとする。この場合，陳列商品認識処理部２４は，後述するプレイスの領域の画像情報と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

商品識別情報記憶部２７は，陳列棚の棚段の各プレイスに表示されている商品の商品識別情報または「空」であることを示す情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。図１３に陳列棚におけるプレイスとフェイスとの関係を模式的に示す。

陳列状況判定処理部２８は，商品が陳列中であるか，欠品であるかの陳列状況を判定する。たとえば陳列状況として商品の欠品を判定する場合には，商品タグから認識できる商品であるが，陳列棚に陳列されていると認識されない商品を欠品として判定する。具体的には，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定する。

たとえば以下のような方法により，欠品を判定する。陳列商品認識処理部２４で認識したプレイスごとの商品識別情報（フェイスの商品識別情報）のうち，隣接するプレイスに同一の商品識別情報が含まれている場合には，それらを一つの商品グループとして商品識別情報をまとめる。また，商品タグ認識処理部２５において認識した商品識別情報のうち，同一の商品識別情報について一つの商品識別情報にまとめる。そして，それぞれまとめた商品識別情報同士を比較し，一致する商品識別情報があるかを判定する。この場合，商品識別情報の順番は問わない。

そして，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報は，陳列中であることを判定する。陳列商品認識処理部２４において認識した商品識別情報のうち，商品タグ認識処理部２５で認識した商品識別情報にはない商品識別情報は，商品タグの不存在であると判定する。また，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定する。このとき，欠品として判定した商品の商品識別情報の商品タグの対応するプレイスが「空」であれば，欠品として精度よく確定することができる。なお，プレイスとして「空」でなくても，欠品として判定できる。この処理を模式的に示すのが図２４である。

撮影画像情報に基づいて陳列棚に陳列している商品の商品識別情報を認識する場合，陳列商品認識処理部２４は，棚段領域処理部２４１とプレイス特定処理部２４２と商品識別情報特定処理部２４３と棚段画像マッチング処理部２４４とを有する。

棚段領域処理部２４１は，位置特定処理部２３で特定した棚段領域の画像情報を棚段領域画像情報として特定する。棚段領域処理部２４１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，領域の画像情報を特定するなどによって，仮想的に切り出すのでもよい。なお，陳列棚に棚段が複数ある場合には，それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

プレイス特定処理部２４２は，正置画像情報における棚段領域における棚段ごとに，プレイスの領域を特定する。プレイスとは商品が置かれる領域であって，その商品が置かれているか否かは問わない。プレイスの領域の大きさは，そこに置かれるべき商品と同一または略同一の大きさである。そして，実際に商品が陳列されているプレイスを「フェイス」とする。またプレイスに商品が陳列されていない場合を「空」とする。プレイス特定処理部２４２は，初回のプレイスの特定処理と，二回目以降のプレイスの特定処理とに分かれることが好ましい。

プレイス特定処理部２４２における初回のプレイスの特定処理は，位置特定処理部２３で特定した棚段の座標で構成される領域（好ましくは矩形領域）の範囲内において，プレイスを特定する。具体的には，棚段領域における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスの領域を特定する。プレイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したプレイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からプレイスの位置の入力を受け付けるのでもよい。特定したプレイスを構成する領域の座標は，正置画像情報におけるプレイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報とを対応づけて管理する。またプレイスの領域を示す座標としては，矩形領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

一般的には，一つの棚段には，同じような種類の商品が置かれることが多い。その場合，商品の大きさもほぼ同じ大きさである。そこで，一つの商品のプレイスの領域を特定した場合，その領域を棚段において反復して設定することで，当該棚段におけるプレイスを特定してもよい。

プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ−１回目）の正置画像情報で特定したプレイスの領域の座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とするようにしてもよい。

商品識別情報特定処理部２４３は，陳列棚の棚段ごとに，プレイスに表示されている商品の商品識別情報を，標本情報に記憶する標本情報を用いて特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

商品識別情報特定処理部２４３は，以下のような処理を実行する。すなわち，プレイスごとに，プレイスの画像情報と，標本情報記憶部２６に記憶する商品の標本情報とマッチングすることで，そのプレイスに表示されている商品の商品識別情報を特定する。具体的には，まず，処理対象となるプレイスの座標で構成される領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，上記座標で構成されるプレイスに表示されている商品の商品識別情報として特定をする。

ここでプレイスの画像情報と標本情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２４３における商品識別情報の特定処理の前までの処理において，正置画像情報の棚段におけるプレイスの領域の画像情報と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

商品識別情報特定処理部２４３は，プレイスの画像情報と，標本情報との類似性を判定するため，プレイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，プレイスの画像情報の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，プレイスの画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。

以上のような方法でプレイスの画像情報と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（ＥａｒｔｈＭｏｖｅｒｓＤｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。

類似性の判定としては，ほかにも，各プレイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえばプレイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

なお，商品識別情報が特定できたプレイスはフェイスとなるので，商品識別情報記憶部２７にそのプレイスが「フェイス」であることを示す情報が記憶され，商品識別情報が特定できなかったプレイスは「空」となるので，商品識別情報記憶部２７にそのプレイスが「空」であることを示す情報が記憶される。

陳列商品認識処理部２４が，商品に付されたＩＣタグに記憶された商品識別情報を認識する場合には，所定のＩＣタグの読取装置を備えた可搬型通信端末で読み取った情報を，その棚段における位置情報とともに，当該可搬型通信端末から受け付ければよい。この場合，上述の陳列商品認識処理部２４における各処理は設けてもよいし，設けなくてもよい。なお，この場合のプレイスは，読取装置でＩＣタグを読み取る順番をあらかじめ定めておくことで特定することもできる。すなわち，棚段の右から左に順番に読取装置をかざすことで，商品識別情報または読み取れないことを認識した順番に，プレイスを順番に特定する。この場合，商品がない位置（空隙）でも読取装置をかざし，商品識別情報を読み取れないこと，すなわち「空」であることを認識させてもよいし，商品がない位置については読み取らないようにしてもよい。また，上述のプレイス特定処理部２４２において，撮影画像情報または正置画像情報からプレイスを特定し，読取装置で読み取った商品識別情報と対応づけることで商品識別情報を特定させてもよい。

以上のようにして特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報，フェイスであるか空であるかを示す情報に対応づけて商品識別情報記憶部２７に記憶する。

棚段画像マッチング処理部２４４は，前回（Ｎ−１回目）の正置画像情報における棚段の領域の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて，その類似性が高ければその棚段における各プレイスの商品識別情報または「空」は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ−１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，商品識別情報特定処理部２４３におけるプレイス単位ごとの特定処理ではなく，商品識別情報特定処理部２４３に，Ｎ回目の正置画像情報におけるその棚段における各プレイスの商品識別情報を，Ｎ−１回目の同一の棚段における各プレイスの商品識別情報と同一として，商品識別情報記憶部２７に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部２４４による処理は設けなくてもよい。

撮影画像情報に基づいて商品タグの商品識別情報を認識する場合，商品タグ認識処理部２５は，商品タグ配置領域処理部２５１と商品タグ配置領域正置化処理部２５２と商品タグ特定処理部２５３と商品タグ内情報特定処理部２５４とを有する。

商品タグ配置領域処理部２５１は，位置特定処理部２３で特定した商品タグ配置領域の画像情報を商品タグ配置領域画像情報として切り出す。商品タグ配置領域処理部２５１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，仮想的に切り出すのでもよい。画像情報を仮想的に切り出すとは，特定した領域，たとえば商品タグ配置領域の範囲を処理対象として処理を実行させることをいう。なお，陳列棚に商品タグ配置領域が複数ある場合には，それぞれが商品タグ配置領域画像情報として切り出される。また商品タグ配置領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

商品タグ配置領域正置化処理部２５２は，商品タグ配置領域処理部２５１において切り出した商品タグ配置領域画像情報を正置化する台形補正処理を実行する。陳列棚の面が垂直であるのに対し，商品タグの面は，顧客から見やすいように，垂直面よりも上向きをしていることが多い。そこで商品タグ配置領域の画像情報を正置化することで，認識精度を向上させる。図１４に，図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す。図１４（ａ）が図１０における上の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報であり，図１４（ｂ）が図１０における下の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報である。

商品タグ配置領域正置化処理部２５２は，以下のような処理を実行することで，商品タグ配置領域の画像情報を正置化する。すなわち，商品タグ配置領域の画像情報において，エッジ検出を行い，左右の両端に近い箇所で，一定の長さ以上の垂直に近い輪郭線（たとえば７０度から１１０度のように，垂直（９０度）から所定範囲の角度内の輪郭線）を特定する。なお，左右の両端に近い箇所の輪郭線を抽出することが好ましいが，それに限定しない。図１０の商品タグ配置領域の画像情報の場合，図１５に示すように，Ｌ１乃至Ｌ４をそれぞれ特定する。図１５（ａ）が図１０における上の棚段の商品タグ配置領域であり，図１５（ｂ）が図１０における下の棚段の商品タグ配置領域である。なお，特定する輪郭線Ｌ１乃至Ｌ４は，実際に商品タグ配置領域の画像情報に描画するわけではない。そして図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理をそれぞれ実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。なお，商品タグ配置領域正置化処理部２５２の処理を実行することで，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４の精度を向上させることができることから，その処理を実行することが好ましいが，省略することもできる。その場合，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４は，商品タグ配置領域処理部２５１で切り出した商品タグ配置領域に対して実行することとなる。

商品タグ特定処理部２５３は，正置化した商品タグ配置領域画像情報から，各商品タグの領域（商品タグ領域）を特定する。商品タグ領域の特定処理には，主に２種類の方法を用いることができる。第１の方法は，輪郭線に基づいて商品タグ領域を特定する方法であり，第２の方法は，全体の明暗の分布などの全体的な特徴を，商品タグのテンプレートの画像情報とマッチングすることで商品タグ領域を特定する方法である。なお，第１の方法，第２の方法以外の方法を用いることもできる。

第１の方法は，商品タグの地の色（背景色）が白色が多い（背景より明るい）ことを利用する方法である。すなわち，まず正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成する。そしてヒストグラムの立ち上がり，立ち下がり位置を特定し，商品タグの上辺位置Ａ，下辺位置Ｂを特定する。この処理を模式的に示すのが図１６である。立ち上がりとは，ヒストグラムにおいて，黒から白の方向に急峻（あらかじめ定められた比率以上）に増加する箇所であり，立ち下がりとは，ヒストグラムにおいて，白から黒の方向に急峻に減少する箇所である。

そして，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域画像情報の明度情報を縦方向に積算したヒストグラムを生成する。そして，ヒストグラムの立ち上がり，立ち下がり位置を特定し，立ち上がりとその右の所定の距離範囲にある立ち下がりとをペアとし，それぞれを左辺位置，右辺位置として，商品タグ領域を特定する。そして，ペアを形成できなかった立ち上がりについてはその右側に，ペアを形成できなかった立ち下がりについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。この処理を模式的に示すのが図１７である。

また第１の方法により，図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を図１８に示す。上辺位置Ａ，下辺位置Ｂ，左辺位置（立ち上がり）Ｕ，右辺位置（立ち下がり）Ｄのそれぞれで構成される矩形領域が，特定された商品タグの領域である。

なお，商品タグの地の色（背景色）が白色以外，たとえば赤色であって，文字が白色などの商品タグもある。そこで，上述の処理によって商品タグにおける価格情報や商品識別情報が認識できなかった場合には，商品タグ配置領域の画像情報において，白色と黒色との関係を反転させて（明暗を反転させる），上述と同様の処理を実行するようにしてもよい。これによって，地の色が暗く，文字が明るい商品タグに対応させることもできる。

なお，商品タグ配置領域の画像情報の明暗を反転させる処理は，商品タグにおける情報が認識できない場合のほか，商品識別情報を特定する過程の処理のいずれかにおいて正常に認識できない場合に実行してもよいし，認識できるか否かにかかわらず実行をしてもよい。

第２の方法は，いわゆるテンプレートマッチングである。すなわち，テンプレートとして，商品タグの画像情報をあらかじめ登録しておき，テンプレートと，正置化した商品タグ配置領域の画像情報とのマッチングをすることで，商品タグ領域を特定する。

商品タグには，税抜価格，税込価格，商品識別情報（商品名など），メーカー名，定格などが含まれる。そのため，テンプレートとなる商品タグの画像情報に，商品名など商品識別情報や価格の具体的な数字，文字を含めるとその部分も含めて画像マッチング処理の判定対象となるため，その部分をモザイク化，削除等することで，判定対象から中立化や除外してあることが好ましい。中立化とは，どのような入力についても高い点，低い点を配点しないことであり，除外とは，画像マッチング処理の際に，その部分をマッチングの対象から除外することである。

商品タグ内情報特定処理部２５４は，商品タグ特定処理部２５３で特定した商品タグ領域に記載されている情報をＯＣＲ認識などにより特定する処理を実行する。ＯＣＲ認識をする場合には，商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので，ＯＣＲ認識をする対象領域を限定することが好ましい。この場合，商品タグ特定処理部２５３で用いた第１の方法，第２の方法にそれぞれ対応した処理を実行すればよい。

商品タグ特定処理部２５３で第１の方法を用いた場合，特定した商品タグ領域において，まず二値化処理を行う。二値化処理としては，ＨＳＶ色空間の明度を用いる方法，大津の手法，赤色を抽出する手法（商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い）などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。

そして，二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは，二値画像情報において，白または黒が連続した画素に同一の番号（識別情報）を割り振る処理を実行することで，連続する画素同士を一つの島（グループ）化する処理である。そしてラベリング処理によって検出した島を含む矩形領域（ボックス）を生成し，ボックスの高さ，幅，ベースラインを求める。ボックスを生成する際には，同一番号にラベリングされた領域を囲む最小の，垂直，水平の線分で囲まれた長方形を生成することが好ましいが，それに限定しない。なおボックスを生成する際に，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり，幅が広すぎる島はロゴなどの可能性があり，これらはノイズとして除去をする。

商品タグで使用される文字は，一般的には，太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため，画像情報に多少のピンぼけがある場合でも，一つの文字列を形成する文字群は，ベースラインと高さがそろった島として検出することができる。

そして商品タグ内情報特定処理部２５４は，所定の類似性を有する隣接したボックス同士を併合し，ブロックを構成する。すなわち，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し，ブロックを構成する。この際に，併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって，濁点，半濁点，ハイフンなども一つのブロックに取り込まれることとなる。ブロックは，ＯＣＲ認識の対象となる領域である。そして，ブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。また，ほかのブロックについても同様に，ＯＣＲ認識を行う。以上のような処理を実行することで，商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しＯＣＲ認識を行うよりも精度よく，文字認識処理を実行することができる。この処理を模式的に示すのが図１９乃至図２１である。図１９は二値化した画像情報であり，図２０はボックス（破線で示す領域）を生成した状態を示す図である。また図２１はブロック（破線で示す領域）を生成した状態を示す図である。

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。

商品タグ特定処理部２５３で第２の方法を用いた場合，テンプレートとした商品タグの画像情報に，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格が表記されるそれぞれの文字枠の位置，大きさ（高さ，幅）が設定されている。そのため，商品タグ特定処理部２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行する。この際に，価格，メーカー名，商品名などの商品識別情報，定格によって使用される文字種別（たとえば数字，ローマ字，記号，かな漢字のどれを含むかなど）を制約条件として定めておくことで，ＯＣＲ認識処理の精度を向上させることができる。

さらに商品タグ内情報特定処理部２５４は，読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては，辞書照合による整合性の確認処理，ロジカルチェックの２種類を行うことが好ましい。

辞書照合による整合性の確認処理は，たとえば以下のように実行する。陳列状況判定システム１には，陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と，それに対応するコード情報（たとえばＪＡＮコード）とを対応づけて記憶する商品辞書（図示せず）を備えている。そして，商品タグ内情報特定処理部２５４で認識した価格を示す領域から読み取った文字列以外の文字列と，商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離（レーベンシュタイン距離）やジャロ・ウィンクラー距離などを用いることができる。

上記で求めた文字列類似度の最大値が一つであるならば，その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して，許容できる類似度をあらかじめ定めておき，許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ，読み取った文字列は未確定とする。また，最大値の類似度の商品が複数ある場合には，読み取った文字列は未確定とする。

文字列類似度評価の一つである編集距離とは，二つの文字列がどの程度異なっているかを示す距離の一種であって，具体的には，一文字の挿入，削除，置換によって，一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図２２に商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す。また，図２３に，最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお，本明細書では編集距離を用いて処理をする場合を説明するが，置換が挿入，削除よりも類似度が大きくなるよう定義された字列類似度評価であってもよい。

そして，上記の最小の編集距離の商品名などの商品識別情報を求めた後，ＯＣＲ認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し，別に備える定格辞書（図示せず）に記憶する各定格との編集距離，メーカー名辞書（図示せず）に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図２２における「のどごし生３５０ｍｌ」の例では，「３５０ｍｌ」の部分に対し，定格の辞書における「３５０ｍｌ」と編集距離０で一致し，定格部分の文字列であることを同定する。同様に，メーカー名についても編集距離を求め，最小の編集距離にある文字列をメーカー名であることを同定する。そしてＯＣＲ認識結果から定格部分，メーカー名部分の各文字列を取り除いて，取り除いた残りの文字列に対し，商品名辞書における最短の編集距離にある文字列を求め，許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば，商品名などの商品識別情報，メーカー名，定格を確定する。このような処理をすることで，商品名などの商品識別情報に定格，メーカー名が含まれる場合にも適切に確定をすることができる。なお，定格辞書とは，陳列棚に陳列される可能性のある商品の定格（容量など）を記憶する辞書である。メーカー名辞書とは，陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。

商品タグ内情報特定処理部２５４による認識結果を最終的に利用者が判断，承認するため，認識結果の選択等の入力を受け付ける表示を行う際には，確定した文字列，未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける，確定の文字列および／または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については，最小の編集距離となった商品名などの商品識別情報が複数ある場合には，各商品識別情報を表示してもよい。

商品タグ内情報特定処理部２５４におけるロジカルチェック（認識した情報の論理的整合性の判定処理）は以下のように行うことができる。たとえば価格領域として２つの価格を読み取った場合，一つは税抜価格，一つは税込価格となるが，税抜価格が税込価格よりも高くなっている場合には，それらを逆転して認識させる。また，税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には，いずれかまたは双方に誤認識があるとする。さらに，商品名などの商品識別情報を認識した場合には，その商品または商品カテゴリの通常の価格帯に収まっているか，を判定する。また，商品名などの商品識別情報，メーカー名，定格の対応関係が一致しているかを判定してもよい。

以上のように商品タグ内の情報の整合性を確認することで，撮影画像情報に写っている商品タグに含まれる情報を確定することができる。このように確定した情報は，たとえば表形式で出力をすることができる。

つぎに本発明の陳列状況判定システム１の処理プロセスの一例を図５のフローチャートを用いて説明する。なお，以下の説明では，撮影画像情報から陳列している商品の商品識別情報，商品タグの商品識別情報を特定し，商品の欠品を判定する場合を説明するが，商品，商品タグまたはその近傍に設置されたＩＣタグに記憶された商品識別情報を読取装置で読み取ることで，商品識別情報を特定し，商品の欠品を判定することができる。

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。図２５に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。

管理端末２において所定の操作入力を受け付けると，正置画像情報正置化処理部は，撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理などの正値化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，正値化処理を実行する（Ｓ１１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が，図２６である。

そして，正置画像情報に対して，管理端末２において所定の操作入力を受け付けることで，位置特定処理部２３は，棚段位置領域および商品タグ配置領域を特定する（Ｓ１２０）。すなわち，正置画像情報における棚段領域，商品タグ配置領域の入力を受け付ける。図１０が，棚段領域および商品タグ配置領域が特定された状態を示す図である。

以上のようにして，棚段領域，商品タグ配置領域を特定すると，棚段領域における陳列商品の認識処理を陳列商品認識処理部２４が，商品タグ配置領域における商品タグ認識処理を商品タグ認識処理部２５がそれぞれ実行する（Ｓ１３０，Ｓ１４０）。なお陳列商品認識処理部２４における陳列商品の認識処理，商品タグ認識処理部２５による商品タグ認識処理は，並行して行ってもよいし，異なるタイミングで行ってもよい。

まず陳列商品認識処理部２４における商品の商品識別情報の認識処理を説明する。

陳列商品認識処理部２４における棚段領域処理部２４１は，Ｓ１２０で入力を受け付けた棚段の領域に基づいて，正置画像情報から棚段領域の画像情報を切り出す。そして，棚段領域画像情報における棚段ごとに，プレイスを特定する処理を実行する。具体的には，棚段領域における棚段について，４点の座標で構成される矩形領域の範囲内において，商品と商品との間に生ずる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスを特定する。特定したプレイスには，プレイスを識別するためのプレイス識別情報を付す。そして，特定した各プレイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイスを識別するためのプレイス識別情報と対応付けて記憶させる。なお，プレイスの座標は４点を記憶せずとも，矩形領域を特定可能な２点であってもよい。

以上のように正置画像情報の棚段位置領域画像情報における各棚段の各プレイスを特定すると，商品識別情報特定処理部２４３は，プレイスごとに，標本情報記憶部２６に記憶する標本情報とマッチング処理を実行し，そのプレイスに表示されている商品の商品識別情報を特定する。すなわち，ある棚段のプレイスの矩形領域（このプレイスの領域のプレイス識別情報をＸとする）における画像情報と，標本情報記憶部２６に記憶する各標本情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本情報に対応する商品識別情報を標本情報記憶部２６に基づいて特定する。そして，特定した商品識別情報を，そのプレイス識別情報Ｘのプレイスに表示されている商品の商品識別情報とする。なお，いずれの標本情報とも類似ではないと判定したプレイスについては，そのプレイス識別情報について「空」であることを示す情報を付する。商品識別情報特定処理部２４３は，特定した商品識別情報または「空」であることを示す情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

なお，すべてのプレイスの商品識別情報を特定できるとは限らない。そこで，特定できていないプレイスについては，上述のように最初から「空」の情報を付するのではなく，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。また，修正処理の結果，「空」であることの入力を受け付けた場合には，「空」の情報を付してもよい。

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

つぎに商品タグ認識処理部２５における商品タグの情報を認識する処理を説明する。

商品タグ認識処理部２５における商品タグ配置領域処理部２５１はＳ１２０で特定した商品タグ配置領域の画像情報を切り出し，商品タグ配置領域正置化処理部２５２が台形補正処理を実行することで，商品タグ配置領域の画像情報に対する正置化処理を実行する。

商品タグ配置領域の画像情報に対する正置化処理としては，まず，商品タグ配置領域の画像情報においてエッジ検出を行う。そして，検出したエッジのうち，一定の長さ以上であって，垂直から所定範囲の角度内にある輪郭線を特定する。そして，特定した輪郭線のうち，もっとも左および右にある輪郭線を特定する。このように特定した輪郭線の一例を図１５に示す。そして，特定した輪郭線（図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４）が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理を実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。

商品タグ配置領域の画像情報の正置化処理が終了すると，商品タグ特定処理部２５３が，第１の方法または第２の方法により，商品タグ配置領域の画像情報から，個々の商品タグ領域を特定する。

第１の方法の場合には，正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成し，ヒストグラムの立ち上がり，立ち下がり位置を特定する。そして，特定したヒストグラムの立ち上がりを商品タグの上辺位置Ａ，ヒストグラムの立ち下がり位置を商品タグの下辺位置Ｂとして特定する。

つぎに，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域の画像情報の明度情報を縦方向に積算したヒストグラムを生成する。

生成したヒストグラムにおいて立ち上がり位置Ｕ，立ち下がり位置Ｄを特定し，立ち上がり位置Ｕ（左辺位置）とその右の所定の距離範囲にある立ち下がり位置Ｄ（右辺位置）とをペアとして特定し，商品タグ領域として特定する。

ペアを形成できなかった立ち上がり位置Ｕについてはその右側に，ペアを形成できなかった立ち下がり位置Ｄについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。

以上のような処理によって，それぞれの商品タグ領域を特定した状態が図１８である。

また第２の方法を用いる場合には，商品タグ特定処理部２５３は，あらかじめ登録しているテンプレートの商品タグの画像情報と，正置化した商品タグ配置領域の画像情報との画像マッチング処理を実行することで，商品タグ領域を特定する。

以上のようにして商品タグ特定処理部２５３が商品タグ領域を特定すると，商品タグ内情報特定処理部２５４が，商品タグ内における情報を特定する。

商品タグ内情報特定処理部２５４における第１の方法は，特定した商品タグ領域について二値化処理することで，二値化した画像情報とする。そして，二値化した画像情報におけるラベリング処理により，ボックスを特定する。なお，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。

そして生成したボックスの高さ，幅，ベースラインを求め，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある隣接するボックスを特定することで，特定したボックスを併合し，ブロックを構成する。そしてブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。ＯＣＲ認識の結果，価格情報を得られなければ（数値の文字列を認識できなければ），高さが次に高いブロックを価格領域（税抜価格領域）と推定し，同様にＯＣＲ認識を行う。

なお上述のＯＣＲ認識においては，価格に用いる「数字」，「コンマ」等の価格表示を構成する文字認識を制約条件として付加することで価格の読み取り精度を向上することができる。

このように価格領域（税抜価格領域）と推定したブロックから価格情報をＯＣＲ認識により取得すると，価格領域（税抜価格領域）と推定して取得した価格情報以外のブロックを特定し，特定した各ブロックに対してＯＣＲ認識を行う。このＯＣＲ認識については，２種類のＯＣＲ認識処理を行うことが好ましい。すなわち，通常の標準的なＯＣＲ認識処理と，価格表示を構成する文字認識を制約条件として付加したＯＣＲ認識処理である。

上述で特定したブロックには，価格領域（税込価格領域）のブロックと，メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックが含まれる。そして各ブロックについて２種類のＯＣＲ認識処理を実行する。メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックについては，標準的なＯＣＲ認識処理では文字列を認識し，制約条件を付したＯＣＲ認識処理では多くはエラーを含む文字列となる。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違する場合には，標準的なＯＣＲ認識処理で実行した文字列を認識結果とし，価格領域（税込価格領域）のブロック以外のブロックであると判定する。一方，価格領域（税込価格領域）のブロックについては，標準的なＯＣＲ認識処理では価格情報の文字列を認識し，制約条件を付したＯＣＲ認識処理でも価格情報の文字列を認識する。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違しない場合には，価格領域（税込価格領域）のブロックであると判定し，制約条件を付加した認識処理による文字列を認識結果の価格情報とする。

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。商品の陳列状況を判定するためには，商品の商品識別情報があれば足りるが，税抜価格，税込価格などほかの情報を認識することで，価格情報などについても，陳列状況に対応づけて管理することが可能となる。

なお，商品タグ特定処理部２５３で第２の方法を用いた場合には，テンプレートとした商品タグには，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格がそれぞれ表記される文字枠の位置，サイズが設定されている。そのため，商品タグ特定処理部２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行すればよい。

そして商品タグ内情報特定処理部２５４は，特定した商品名等との辞書照合処理を実行する。すなわち，読み取った文字列と，商品辞書における各商品名などの商品識別情報との編集距離を求め，最小の編集距離の商品名などの商品識別情報を特定し，それがあらかじめ定めた所定距離内であれば商品名などの商品識別情報として同定する。そして，読み取った文字列から最短の編集距離の商品名部分を取り除き，残りの部分文字列に対し，定格辞書における各定格との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分を定格の文字列として同定する。同様に，読み取った文字列から最小の編集距離の商品名部分と定格部分を取り除き，残りの部分文字列に対し，メーカー名辞書における各メーカー名との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分をメーカー名の文字列として同定する。なお，編集距離ではなく，ジャロ・ウィンクラー距離を用いる場合には，それに応じた処理を適宜実行すればよい。

さらに，商品タグ内情報特定処理部２５４は，文字認識した文字列に対するロジカルチェックの処理を実行する。すなわち文字認識した文字列が論理的に矛盾しないか，などを判定する。

ロジカルチェックの結果，矛盾がないようであれば，それぞれ認識した文字列について，税抜価格，税込価格，商品名などの商品識別情報，メーカー，定格を特定し，それらを，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報と対応づけて所定の記憶領域に記憶，出力をする。たとえば表形式で出力をする。

以上のようにして，陳列商品認識処理部２４が棚段に陳列している商品の商品識別情報を，商品タグ認識処理部２５が商品タグの商品識別情報を認識した後，陳列状況判定処理部２８は，図２４に示すように，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定する（Ｓ１５０）。

すなわち，陳列状況判定処理部２８は，陳列商品認識処理部２４で認識したプレイスごとの商品識別情報（フェイスの商品識別情報）のうち，隣接するプレイスに同一の商品識別情報が含まれている場合には，それらを一つの商品グループとして商品識別情報をまとめる。また，陳列状況判定処理部２８は，商品タグ認識処理部２５において認識した商品識別情報のうち，同一の商品識別情報について一つの商品識別情報にまとめる。

そして，それぞれまとめた商品識別情報同士を比較し，一致する商品識別情報があるかを判定することで，認識した商品識別情報の商品について，陳列中，商品タグの不存在，欠品であるかを判定する。

すなわち欠品を判定する場合には，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定し，欠品であることを示す情報を，当該プレイスの識別情報に対応づけて商品識別情報記憶部２７に記憶させる。

欠品を判定するためには，この判定処理だけを実行すれば足りるが，商品の製造会社，販売会社としては自社または他社のどのような商品が店舗の陳列棚のどこにどの程度，露出して陳列されているかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。そこで，陳列中である商品の判定も併せて行うことで，このような製造会社，販売会社の要望を達成することができる。そのため，陳列状況判定処理部２８は，欠品の判定のほか，陳列中の商品をあわせて認識してもよい。すなわち，陳列状況判定処理部２８は，商品タグ認識処理部２５において認識した商品識別情報のうち，陳列商品認識処理部２４で認識した商品識別情報は，陳列中であることを判定してもよい。陳列中であることを認識した場合には，その商品識別情報，フェイスであることを示す情報を，当該プレイスの識別情報に対応づけて商品識別情報に記憶させる。

また，商品タグの不存在は，顧客が当該商品の価格を知ることができなくなるため，顧客が商品の購入を控える一因ともなる。そこで，商品の製造会社，販売会社は，商品タグの不存在を知ることも重要である。そのため，陳列状況判定処理部２８は，欠品の判定のほか，商品タグの不存在をあわせて認識してもよい。すなわち，陳列状況判定処理部２８は，陳列商品認識処理部２４において認識した商品識別情報のうち，商品タグ認識処理部２５で認識した商品識別情報にはない商品識別情報は，商品タグの不存在であると判定する。商品タグの不存在であることを認識した場合には，その商品識別情報，商品タグの不存在があることを示す情報を，当該プレイスの識別情報に対応づけて商品識別情報に記憶させる。

以上のような処理を実行することで，陳列棚の陳列状況において欠品の商品，場合によっては陳列中の商品，商品タグの不存在の商品も認識することができる。また，陳列棚のプレイスごとにそれらの情報が記憶されているので，プレイスの位置ごとに商品の欠品などの情報を把握することができる。

実施例１では，「空」の認識として，プレイスの領域の画像情報と標本情報とを用いて処理をする場合を説明したが，画像情報のマッチング処理だけであると撮影条件などにも左右されやすい。そこで，プレイス領域の画像情報と，標本情報とのマッチングに加えて，「空」を認識するための処理を行うことで，さらに精度を向上させることもできる。

この場合，陳列商品認識処理部２４は，以下の「空」を認識する処理を実行する。

まず，上述のように，陳列商品認識処理部２４における商品識別情報特定処理部２４３は，処理対象となるプレイスの座標で構成される領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，その類似性があらかじめ定めた閾値以上ではないプレイスが特定されている。

そこで，陳列商品認識処理部２４は，「空」を認識するための第１の方法の処理として，以下の処理Ａ，処理Ｂのいずれかに該当するかを判定する。

すなわち，処理Ａは，特定したプレイスの領域の画像情報について，当該領域の明度の平均値が所定の基準値よりも暗い場合には，「空」として判定をする。処理Ｂは，プレイス領域の画像情報が，棚段の後板の画像情報とマッチング処理をした場合に，その類似性がもっとも高くなっている場合には，「空」として判定をする。この場合，棚段の後板の画像情報を標本情報として記憶させていてもよい。なお，処理Ａ，処理Ｂ以外の判定処理を用いることもできる。

処理Ａについては，商品の標本情報として全体的に黒に近い色であり，商品名も明示されていないものは通常存在しないので，「空」として認識して問題ない。処理Ｂについては，棚段の後板が，商品の標本情報に類似することは通常ないので，棚段の後板と類似性が高いと判定される場合には「空」として認識することができる。

また，陳列商品認識処理部２４は，「空」を認識するための第２の方法の処理として，陳列棚の空隙（本来商品が置かれる領域であるが，欠品によって生じた空隙）を認識することでもよい。陳列棚の空隙を認識する処理は，以下によって判定することができる。この場合，陳列棚を撮影して撮影画像情報を取得する際に，当該撮影装置（たとえばスマートフォンなどの可搬型通信端末を含む）で，撮影対象となる陳列棚と，撮影装置との距離情報（深さ情報）を２次元情報として取得する。この場合，撮影装置における陳列棚の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。撮影画像と，深さ情報との対応関係を，図２７（ａ），（ｂ）に模式的に示す。撮影画像情報と，深さ情報とは，その位置が対応している。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。また，図２８に深さ情報の一例を模式的に示す。

そして撮影画像情報については，撮影画像情報正置化処理部２２において，正置画像情報とする。そして，同様に，深さ情報についても，同一の変換を実行する。すなわち，撮影画像情報における台形補正処理などの正置化処理と同様の変換処理を，深さ情報に対しても実行する。これを模式的に示すのが図２９（ａ），（ｂ）である。図２９（ａ）は，図２７（ａ）の撮影画像情報に対して正置化処理を実行した正置画像情報である。図２９（ｂ）は，図２７（ｂ）の深さ情報について，図２９（ａ）の正置化処理と同様の処理を各深さ情報に対して施した状態の深さ情報を示す図である。図３０に，図２８の深さ情報に対して，正置化処理を実行した状態の深さ情報の一例を模式的に示す。

このように深さ情報に対しても正置画像情報と同様の処理を実行することで，正置画像情報と同じ位置関係で深さ情報を特定することができる。

つぎに陳列商品認識処理部２４において特定するプレイスの領域について，プレイス領域内の深さ情報の最小値，平均値あるいは最大値のいずれかを求める（これをプレイス距離）という。そして，各プレイスの深さ情報の多数で定まる平面を求め，その平面から，各プレイスの深さを求める。各プレイスの深さを模式的に示すのが図３１である。そして，所定の閾値よりも深さが大きければ，そのプレイスを「空」として判定する。

なお，３次元空間上のすべてのプレイス位置の回帰平面を求め，そこからもっとも外れた値となる深さを除外してまた回帰平面を求めるという処理を繰り返し，一定値以上フィットする平面となれば，それを陳列している商品のプレイス（フェイス）からなる面とし，同平面からそれぞれのプレイス位置までの距離を，あらためて「プレイスの深さ」とすれば，図３１を得ることができる。プレイス位置の回帰平面を求める処理を図３２に模式的に示す。図３２（ａ）は正面図であり，図３２（ｂ）は上方からの図である。

陳列商品認識処理部２４は，以上の第１の方法の処理または第２の方法の処理を実行することで，プレイスが「空」であることをより正確に特定することができる。第１の方法の処理，第２の方法の処理は，商品識別情報特定処理部２４３におけるプレイス領域の画像情報と，標本情報とのマッチング処理に加えて行ってもよいし，プレイス領域の画像情報と，標本情報とのマッチング処理に代えて行ってもよい。

さらに，すでにプレイス領域の位置が特定できている場合，たとえば同一の陳列棚について２回目以降に処理を実行する場合には，プレイス領域の画像情報と，標本情報とのマッチング処理に代えて処理を実行すると，迅速に，精度よく，当該プレイスが「空」であるか否かを特定することができる。

なお，実施例１や本実施例などにおける「空」の認識処理を，商品に付されたＩＣタグから商品識別情報を読取装置が読み取り，陳列商品認識処理部２４がそれに基づいて商品識別情報を特定する場合に適用してもよい。すなわち，商品に付されたＩＣタグから商品識別情報を読み取る場合，商品が存在していなければ，ＩＣタグもないことから，当然，商品識別情報を読み取ることができない。そのため，横方向に陳列されている商品のプレイスしか認識できない場合がある。一方，本来は，「空」にも商品が陳列されているはずである。そこで，読取装置で読み取った商品識別情報が対応する商品の横方向，縦方向の大きさ（たとえば一つの商品でもよいし，読み取った商品の平均値でもよい）に相当する領域ごとに，本実施例などで認識した「空」の領域を区切ることで，自動的にプレイスを特定することもできる。このようにすることで，商品に付されたＩＣタグから商品識別情報を読み取る場合であっても，商品が存在すべき領域である「空」のプレイスを自動的に特定することができる。

実施例１および実施例２では，商品の欠品を判定するにあたり，プレイス領域の画像情報と，標本情報とのマッチング処理を用いることで実行していたが，同一の陳列棚について２回目以降に処理を実行する場合には，前回の処理結果を用いて陳列状況判定処理部２８が判定処理を実行することができる。

この場合の陳列状況判定処理部２８は，前回（Ｎ−１回）と今回（Ｎ回）とのプレイスの状態の変化，商品タグの変化に基づいて判定を行う。この判定処理の一例を，図３３に示す。

すなわち，陳列状況判定処理部２８は，陳列商品認識処理部２４で認識した今回（Ｎ回）のプレイスにおける商品識別情報と，前回（Ｎ−１回）の同一のプレイスにおける商品識別情報と，商品タグ認識処理部２５で認識した今回（Ｎ回）の商品タグの情報と，前回（Ｎ−１回）の商品タグの情報とを用いて，今回，前回の状態変化を図３３に示す判定テーブルなどに基づいて，当該プレイスについて欠品であるか否かの判定を行う。このような判定を行うことで，より迅速に判定を行うことができる。

さらに実施例１乃至実施例３のプレイス特定処理部２４２における特定処理の変形例を説明する。本実施例では，実施例１乃至実施例３のプレイスの特定処理を初回の処理として，二回目以降のプレイスの特定処理として，自動的にプレイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。

なお，初回とは一回目のほか，自動的に特定する際のずれを修正するため，任意のタイミングで実施例１乃至実施例３の処理を行う場合も含まれる。二回目以降とは初回以外である。また，二回目以降には，同一の陳列棚を同一の機会に撮影した撮影画像情報，正置画像情報について，異なる角度で撮影した撮影画像情報，正置画像情報に対する処理を行う場合も含まれる。

プレイス特定処理部２４２は，実施例１の処理と同様の処理を初回のプレイスの特定処理として実行する。そして，プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ−１回目）の正置画像情報で特定したプレイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とする。

プレイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における，陳列棚内での所定箇所を基準とした相対座標である。

さらに実施例１の変形例として，商品識別情報特定処理部２４３における，陳列棚の棚段ごとに，プレイスに表示されている商品の商品識別情報を特定する処理として，実施例１の処理を初回の商品識別情報の特定処理とし，二回目以降の商品識別情報の特定処理として，以下のような処理を実行する。

商品識別情報特定処理部２４３は，Ｎ回目の正置画像情報におけるプレイスの商品識別情報の特定処理として，まず処理対象となるプレイスのプレイス識別情報を特定する。特定したプレイス識別情報をＸとする。そして，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの領域の画像情報と，プレイス識別情報Ｘに対応する位置にあるＮ−１回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については，上述の実施例１乃至実施例４の処理のほか，各プレイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度とすることができる。シグネチャの画像特徴量としては，たとえばプレイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

プレイス領域の画像情報の類似性が一定の閾値以上であれば，Ｎ−１回目の正置画像情報におけるその領域のプレイスに対応する商品識別情報を商品識別情報記憶部２７から抽出し，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの商品識別情報とする。これによって，処理対象となるＮ回目の正置画像情報におけるプレイス識別情報Ｘの商品識別情報を特定できる。もし類似性が一定の閾値未満であれば，初回の場合と同様に，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの領域の画像情報と，標本情報記憶部２６に記憶する標本情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘのプレイスの商品識別情報として特定をする。

なお，Ｎ−１回目の正置画像情報におけるプレイスの領域の画像情報との比較において，対応するプレイスの位置との比較のみならず，所定範囲のプレイスを比較対象として含めてもよい。たとえばＮ回目の正置画像情報におけるプレイス識別情報Ｘの領域の画像情報と比較する場合，比較対象としては，Ｎ−１回目の正置画像情報におけるプレイス識別情報Ｘの領域のほか，その領域から所定範囲にあるプレイスの領域，たとえばその左右方向に一または複数離隔している位置にあるプレイス，上下の棚段に位置するプレイスの領域も含めてもよい。さらに，Ｎ−１回目の正置画像情報におけるプレイス識別情報Ｘの領域のほか，プレイス識別情報Ｘ−２，Ｘ−１，Ｘ，Ｘ＋１，Ｘ＋２のように，複数の隣接するプレイスの領域を含めてもよい。

この場合，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの領域の画像情報と，Ｎ−１回目の正置画像情報における，比較対象となる範囲のプレイスの範囲の領域のそれぞれの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のプレイス識別情報を特定する。なお，類似性は一定の閾値以上であることを条件としてもよい。そして特定したＮ−１回目の正置画像情報のプレイス識別情報に対応する商品識別情報を商品識別情報記憶部２７から抽出し，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの商品識別情報とする。この処理を模式的に示すのが図３４である。図３４（ａ）は前回（Ｎ−１回目）の正置画像情報であり，図３４（ｂ）は今回（Ｎ回目）の正置画像情報である。そして，Ｎ回目の正置画像情報の棚段１の各プレイスの領域の画像情報と，Ｎ−１回目の正置画像情報の棚段１の各プレイスの領域の画像情報とをそれぞれ比較することで類似性を判定し，もっとも類似性が高いＮ−１回目の正置画像情報の棚段１のプレイスの商品識別情報を，Ｎ回目の正置画像情報の棚段１のプレイスの商品識別情報として特定をすることを示す。図３４では，Ｎ回目の正置画像情報のプレイスに対応する位置にあるＮ−１回目の正置画像情報のプレイスに加え，その左右２つずつのプレイスとの比較を行う場合を示している。なお同一棚段のみならず，上下の棚段のプレイス位置の画像情報との比較を行ってもよい。たとえば図３４の場合，Ｎ回目の正置画像情報の棚段２の中心のプレイス位置の商品識別情報を特定する際に，Ｎ−１回目の正置画像情報の棚段２の中心およびその左右２つずつのプレイスの領域の画像情報と比較するのみならず，Ｎ−１回目の正置画像情報の棚段１の中心およびその左右２つずつのプレイスの領域の画像情報，Ｎ−１回目の正置画像情報の棚段３の中心およびその左右２つずつのプレイスの領域の画像情報と類似性の比較を行ってもよい。

Ｎ−１回目の正置画像情報のプレイスの画像情報との比較の結果，類似性が閾値を充足しないなどによって商品識別情報の候補を特定できなかった場合には，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘの領域の画像情報と，標本情報記憶部２６に記憶する標本情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるプレイス識別情報Ｘのプレイスの商品識別情報として特定をする。この場合の類似性の判定処理は，初回の商品識別情報の特定処理と同様に行える。

以上のようにして特定した商品識別情報の候補は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

実施例１乃至実施例５では，同一の陳列棚を同一の機会に異なる角度で撮影した画像情報のそれぞれにおいて，プレイスにおける商品識別情報を特定し，対応するプレイス同士を比較することで，当該プレイスにおける商品識別情報を確定した。そこで，異なる角度で撮影した画像情報のそれぞれについてプレイスにおける商品識別情報を特定するのではなく，異なる角度で撮影した画像情報を先に合成して光等の写り込み部分を消し込んだ上で得られた一枚の画像情報に対して，プレイスにおける商品識別情報の特定処理を実行するように構成してもよい。

上述の実施例１乃至実施例６の処理を，適宜，組み合わせることもできる。またその各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。また，陳列商品認識処理部２４，商品タグ認識処理部２５における各処理は，撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが，撮影画像情報に対して実行をしてもよい。その場合，正置画像情報を，撮影画像情報と読み替えればよい。

さらに，上述の実施例１乃至実施例６の処理においては，撮影画像情報または正置画像情報から，陳列商品認識処理部２４が商品の識別情報を特定し，また商品タグ認識処理部２５が商品の識別情報を特定し，これらを照合することによって，商品の欠品を判定していた。商品タグ認識処理部２５は，商品タグに記載されている文字情報を認識するほか，商品タグまたはその近傍に設けられている商品識別情報をコード化した情報を読み取ってもよいし，商品タグまたはその近傍に設けられているＩＣタグなどから商品識別情報を読み取るように構成してもよい。すなわち，商品タグ認識処理部２５は，商品タグに記載されている文字認識処理に限定されるものではなく，商品タグまたは商品タグの近傍にある商品識別情報を用いて，陳列商品認識処理部２４の商品の識別情報との照合処理を行うことで，欠品の判定を行えればよい。

さらに，陳列状況判定処理部２８は，陳列商品認識処理部２４で特定した商品の識別情報と，ＰＯＳシステムで管理する商品の在庫情報とを照合処理することで欠品の判定を行ってもよい。すなわち，ＰＯＳシステムで管理する商品の在庫数を抽出し，商品ごとの在庫数と，陳列商品認識処理部２４で特定した商品識別情報とを照合する。そして，ＰＯＳシステムで在庫数が存在する（在庫数が１以上）にもかかわらず，陳列商品認識処理部２４で特定できなかった商品の商品識別情報については，欠品の可能性があるとして判定してもよい。

さらに，陳列商品認識処理部２４は，撮影画像情報に基づいて陳列棚に陳列している商品を特定するほか，陳列している商品にＩＣタグを付しておき，そのＩＣタグに記憶された商品識別情報を読み取ることで，陳列棚に陳列している商品の商品識別情報を特定してもよい。陳列商品認識処理部２４が，商品に付されたＩＣタグから商品識別情報を読み取り，商品タグ認識処理部２５が，商品タグまたはその近傍に設置されたＩＣタグから商品識別情報を読み取る場合，それぞれがＩＣタグから商品識別情報を読み取るので，ＩＣタグには商品に付されたＩＣタグの商品識別情報，商品タグに付されたＩＣタグの商品識別情報であることが，フラグなどによって識別可能となっていることが好ましい。

また，単に商品が陳列中であるか，欠品であるか否かを特定するだけであるならば，プレイスごとにかかる処理は実行せずに，陳列商品認識処理部２４における陳列中の商品の商品識別情報の特定処理と，商品タグ認識処理部２５における商品タグの商品識別情報の特定処理とを行い，それらを照合することで，商品の陳列中，欠品であるか否かを特定できる。

本発明の陳列状況判定システム１を用いることによって，陳列棚に陳列されている商品の陳列状況を精度よく判定が行える。

１：陳列状況判定システム
２：管理端末
３：撮影画像情報入力端末
２０：撮影画像情報入力受付処理部
２１：撮影画像情報記憶部
２２：撮影画像情報正置化処理部
２３：位置特定処理部
２４：陳列商品認識処理部
２５：商品タグ認識処理部
２６：標本情報記憶部
２７：商品識別情報記憶部
２８：陳列状況判定処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２４１：棚段領域処理部
２４２：プレイス特定処理部
２４３：商品識別情報特定処理部
２４４：棚段画像マッチング処理部
２５１：商品タグ配置領域処理部
２５２：商品タグ配置領域正置化処理部
２５３：商品タグ特定処理部
２５４：商品タグ内情報特定処理部

本発明の陳列状況判定システムの構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける商品タグ認識処理部の構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。本発明の陳列状況判定システムにおける全体の処理プロセスの一例を示すフローチャートである。撮影画像情報の一例を示す図である。撮影画像情報の一例を示す図である。図６の撮影画像情報に対して，台形補正処理が実行された正置画像情報の一例を示す図である。図７の撮影画像情報に対して，台形補正処理が実行された正置画像情報の一例を示す図である。飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。標本情報記憶部に記憶する標本情報の一例を示す図である。陳列棚におけるプレイスとフェイスとの関係を模式的に示す図である。図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す図である。図１０の商品タグ配置領域の画像情報の一例を示す図である。商品タグ特定処理部における商品タグ領域の上辺位置，下辺位置を特定する処理を模式的に示す図である。商品タグ特定処理部における商品タグ領域の横方向の位置を特定する処理を模式的に示す図である。図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を模式的に示す図である。商品タグ内情報特定処理部における処理において，商品タグ領域を二値化した画像情報を模式的に示す図である。商品タグ内情報特定処理部における処理において，ボックスを生成した状態を模式的に示す図である。商品タグ内情報特定処理部における処理において，ブロックを生成した状態を模式的に示す図である。商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す図である。最終候補の文字数ごとの確定してよい編集距離の対応関係の一例を示す図である。陳列商品認識処理部で認識した商品識別情報と，商品タグ認識処理部で認識した商品タグの商品識別情報とを紐付けする処理の一例を模式的に示す図である。撮影画像情報の一例を示す図である。図２５の撮影画像情報に対して台形補正処理を実行した正置画像情報の一例を示す図である。撮影画像情報と深さ情報との対応関係を模式的に示す図である。深さ情報の一例を示す図である。撮影画像情報における台形補正処理などの正置化処理と同様の変換処理を，深さ情報に対しても実行した状態を模式的に示す図である。図２８の深さ情報に対して，撮影画像情報における台形補正処理などの正置化処理と同様の変換処理を実行した状態を模式的に示す図である。各プレイスについて，プレイスの回帰平面からの深さの一例を模式的に示す図である。プレイス位置の回帰平面を求める処理を模式的に示す図である。前回（Ｎ−１回）と今回（Ｎ回）とのプレイスの状態の変化，商品タグの変化に基づいて判定を行う処理の一例を示す図である。実施例５における，商品識別情報特定処理部におけるＮ回目の処理を模式的に示す図である。

Claims

商品の陳列状況を判定する陳列状況判定システムであって，
前記陳列状況判定システムは，
陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，
商品タグの商品識別情報を認識する商品タグ認識処理部と，
前記陳列されている商品の商品識別情報と，前記商品タグの商品識別情報とを比較することで，前記商品の陳列状況を判定する陳列状況判定処理部と，
を有することを特徴とする陳列状況判定システム。
前記陳列状況判定処理部は，
前記商品タグ認識処理部で認識した商品識別情報のうち，前記陳列商品認識処理部で認識した商品識別情報にはない商品識別情報を，欠品している商品の商品識別情報として判定する，
ことを特徴とする請求項１に記載の陳列状況判定システム。
前記陳列商品認識処理部は，
前記陳列棚が写っている画像情報と標本情報との類似性を判定することで，前記陳列棚に陳列されている商品の商品識別情報を認識する，
ことを特徴とする請求項１または請求項２に記載の陳列状況判定システム。
前記陳列商品認識処理部は，
前記陳列棚が写っている画像情報と標本情報との類似性がもっとも高い標本情報が対応する商品識別情報のうち，その類似性が所定の閾値以上でない場合には，前記商品識別情報は認識しない，
ことを特徴とする請求項１から請求項３のいずれかに記載の陳列状況判定システム。
前記陳列商品認識処理部は，
前記陳列棚を撮影する撮影装置と，前記陳列棚との間の距離を示す深さ情報を取得し，その距離情報を用いて，商品が置かれていない領域を判定する，
ことを特徴とする請求項１から請求項３のいずれかに記載の陳列状況判定システム。
前記陳列商品認識処理部は，
前記深さ情報について，前記陳列棚が写っている画像情報に対する正置化処理と同一の変換処理を行い，
前記陳列棚が写っている画像情報における商品が置かれる領域ごとの深さ情報を求め，前記求めた深さ情報によって特定する回帰平面と，各領域の深さ情報とを比較し，所定の閾値よりも深さ情報が大きければ，その領域を商品が置かれていない領域として判定する，
ことを特徴とする請求項５に記載の陳列状況判定システム。
前記陳列状況判定処理部は，
前記欠品している商品の商品識別情報として判定した商品は，前記判定した商品が置かれていない領域に置かれる商品であることを判定する，
ことを特徴とする請求項５または請求項６に記載の陳列状況判定システム。
前記陳列商品認識処理部は，
所定の読取装置で読み取った，前記陳列棚に陳列されている商品に付された電子タグに記憶された商品識別情報に基づいて，前記陳列棚に陳列されている商品の商品識別情報を認識する，
ことを特徴とする請求項１から請求項７のいずれかに記載の陳列状況判定システム。
前記商品タグ認識処理部は，
前記陳列棚が写っている画像情報において商品タグ領域を特定する商品タグ特定処理部と，
前記特定した商品タグ領域の一部または全部において，ＯＣＲ認識処理を行うことで商品識別情報を認識する商品タグ内情報特定処理部と，
を有することを特徴とする請求項１から請求項８のいずれかに記載の陳列状況判定システム。
前記商品タグ特定処理部は，
前記画像情報の明度情報を用いて商品タグ領域を特定する，
ことを特徴とする請求項９に記載の陳列状況判定システム。
前記商品タグ特定処理部は，
前記画像情報の明度情報を横方向に積算することで，商品タグの上辺位置，下辺位置を特定し，
前記画像情報の明度情報を縦方向に積算することで，商品タグの左辺位置，右辺位置を特定する，
ことを特徴とする請求項９または請求項１０に記載の陳列状況判定システム。
前記商品タグ特定処理部は，
前記画像情報の明度情報を横方向に積算したヒストグラムの立ち上がり，立ち下がりを特定することで，商品タグの上辺位置，下辺位置を特定し，
前記画像情報の明度情報を縦方向に積算したヒストグラムの立ち上がり，立ち下がりを特定することで，立ち上がりから所定距離内にある立ち下がりをペアとして商品タグの左辺位置，右辺位置を特定する，
ことを特徴とする請求項９から請求項１１のいずれかに記載の陳列状況判定システム。
前記商品タグ内情報特定処理部は，
前記特定した商品タグ領域を二値化してラベリング処理を行うことでボックスを特定し，
特定したボックスのうち，所定条件を充足するボックス同士をブロックとして特定し，
前記特定したブロックに対して前記ＯＣＲ認識処理を実行する，
ことを特徴とする請求項９から請求項１２のいずれかに記載の陳列状況判定システム。
前記商品タグ認識処理部は，
前記商品タグ配置領域においてエッジ検出を行い，垂直方向の角度の所定条件を充足する直線群を検出し，前記検出した直線群のうち，少なくとも２本の直線を特定し，前記特定した２本の直線を用いて台形補正処理を実行する商品タグ配置領域正置化処理部，を有する，
ことを特徴とする請求項１から請求項１３のいずれかに記載の陳列状況判定システム。
前記商品タグ認識処理部は，
所定の読取装置で読み取った，前記陳列棚の商品タグまたはその近傍に付された電子タグに記憶された商品識別情報，またはコード化された商品識別情報に基づいて，前記商品タグにおける商品識別情報を認識する，
ことを特徴とする請求項１から請求項１４のいずれかに記載の陳列状況判定システム。
商品の欠品を判定する陳列状況判定システムであって，
前記陳列状況判定システムは，
陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，
前記陳列商品認識処理部で認識した商品の商品識別情報と，ＰＯＳシステムで管理する前記商品の在庫情報とを照合処理することで欠品の判定を行う陳列状況判定処理部と，
を有することを特徴とする陳列状況判定システム。
コンピュータを，
陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，
商品タグの商品識別情報を認識する商品タグ認識処理部，
前記陳列されている商品の商品識別情報と，前記商品タグの商品識別情報とを比較することで，前記商品の陳列状況を判定する陳列状況判定処理部，
として機能させることを特徴とする陳列状況判定プログラム。
コンピュータを，
陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，
前記陳列商品認識処理部で認識した商品の商品識別情報と，ＰＯＳシステムで管理する前記商品の在庫情報とを照合処理することで欠品の判定を行う陳列状況判定処理部，
として機能させることを特徴とする陳列状況判定プログラム。