JP2019212262A - 位置関係検出装置 - Google Patents

Abstract

【課題】棚板を利用して配置される全ての情報コードが１つの撮像画像にて撮像されないような陳列棚に陳列される各物品であっても、各物品の位置関係を検出可能な構成を提供する。【解決手段】陳列棚１において、それぞれの種類の物品が陳列される位置ごとに棚板を利用して当該物品の種類を特定可能な特定情報が記録された情報コードＣ１〜Ｃ９がそれぞれ規定のサイズにて配置される。そして、記憶部に検出済コードが記憶されていない状態で撮像部により撮像された１つの撮像画像に特定情報が読み取られる２以上の情報コードが含まれていると、当該２以上の情報コードについて相対位置関係が、当該情報コードのサイズに基づいて検出される。また、少なくとも１つの検出済コードとともに未検出コードが含まれる一部未検出状態であると判定された撮像画像について、検出済コードに対する未検出コードの相対位置関係が、基準コードのサイズに基づいて検出される。【選択図】図１

Description

本発明は、情報コードを利用して陳列棚に陳列される各物品の位置関係を検出する位置関係検出装置に関するものである。

従来、陳列棚に陳列される商品等の管理に関して、陳列棚における商品ごとの位置関係を把握したいという要求があり、このように陳列棚に陳列される商品等の位置関係を検出する位置関係検出装置に関連する技術として、例えば、下記特許文献１に開示される商品陳列位置の判定処理方法が知られている。この商品陳列位置の判定処理方法では、商品陳列棚の各棚板の前側面に、商品陳列棚の各位置を識別する位置識別情報を付した位置ラベルと、商品陳列棚に陳列される各商品を識別する商品識別情報を付した商品ラベルとが取り付けられている。そして、商品陳列棚の撮像画像が取得されると、この撮像画像から検出された位置識別情報及び商品識別情報の撮像画像上での座標が特定される。そして、隣り合う一組の位置識別情報が選択されて、この選択した一組の位置識別情報の間に商品識別情報が検出されると、選択した一組の位置識別情報に対応付けられた２つの位置の間に、検出した商品識別情報に対応付けられた商品が陳列されているとして、商品陳列位置マスタに記録される。これにより、ユーザは、商品陳列棚を撮像するだけで、煩雑な位置登録作業を行うことなく、商品陳列位置マスタを作成することができる。

特開２０１６−１９４８３３号公報

ところで、上記特許文献１のような構成では、一組の位置識別情報が撮像されないとそれらの間にある商品識別情報の位置を特定できないという問題がある。このため、各位置識別情報を短い間隔で配置すると、商品識別情報を配置するスペースが狭くなるという問題が生じる。特に、店舗内に設けられる陳列棚は通路に沿って長くなるように設置される場合が多く、このように設置される陳列棚が１つの撮像画像に写らない場合には、各商品等がどのような位置関係にあるかを把握することができない。

例えば、パノラマ画像のように、連続して撮像される複数の撮像画像を連結して１つの大きな画像を生成してそれぞれの位置関係を検出する方法も考えられるが、各撮像画像を連結する時点では陳列棚に設置された全ての情報コードが読み取り可能に撮像されているか把握が困難である。そうすると、全ての撮像画像を連結し終えた後に、各情報コードから位置関係を取得しようとしても、取得できない位置が発生する場合がある。このような場合には、また最初から画像を撮りなおす必要があり、効率が悪いという問題がある。

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、棚板を利用して配置される全ての情報コードが１つの撮像画像にて撮像されないような陳列棚に陳列される各物品であっても、各物品の位置関係を検出可能な構成を提供することにある。

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
複数の棚板（２ａ〜２ｃ）にて仕切られた陳列棚（１，１ａ，１ｂ）に陳列される複数種類の物品（Ｇ１〜Ｇ９）の位置関係を検出する位置関係検出装置（１０）であって、
それぞれの種類の物品が陳列される位置ごとに前記棚板を利用して当該物品の種類を特定可能な特定情報が記録された情報コード（Ｃ１〜Ｃ９，Ｃ１１〜Ｃ１３，Ｃ２１〜Ｃ２７）がそれぞれ配置され、
撮像部（２２）と、
前記撮像部により撮像された撮像画像に含まれる前記情報コードから前記特定情報を読み取る読取部（２１）と、
前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる前記情報コードが２以上含まれる場合に、当該２以上の情報コードについて相対位置関係を検出可能な検出部（２１）と、
前記検出部により相対位置関係が検出された情報コードの前記特定情報が、検出済コードの前記特定情報として前記相対位置関係に関する相対位置情報とともに記憶される記憶部（２５）と、
前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる前記情報コードが２以上含まれる場合に、少なくとも１つの前記検出済コードとともに、前記記憶部に前記特定情報が記憶されていない前記情報コードが未検出コードとして含まれる一部未検出状態であるか否かについて判定する判定部（２１）と、
を備え、
前記検出部は、
前記記憶部に前記検出済コードが記憶されていない状態で前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる２以上の前記情報コードが含まれていると、当該２以上の情報コードについて相対位置関係を検出し、
前記判定部により前記一部未検出状態であると判定された前記撮像画像について、前記検出済コードに対する前記未検出コードの相対位置関係を、前記検出済コードに基づいて検出することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

請求項１の発明では、陳列棚において、それぞれの種類の物品が陳列される位置ごとに棚板を利用して当該物品の種類を特定可能な特定情報が記録された情報コードがそれぞれ配置される。そして、記憶部に検出済コードが記憶されていない状態で撮像部により撮像された１つの撮像画像に読取部にて特定情報が読み取られる２以上の情報コードが含まれていると、検出部により、当該２以上の情報コードについて相対位置関係が検出される。また、判定部により少なくとも１つの検出済コードとともに未検出コードが含まれる一部未検出状態であると判定された撮像画像について、検出部により、検出済コードに対する未検出コードの相対位置関係が検出済コードに基づいて検出される。

これにより、最初に撮像部に撮像された２以上の情報コードの相対位置関係が検出された後に、撮像部による撮像範囲を陳列棚の長手方向に沿って移動させるように撮像することで、新たな情報コード、すなわち、未検出コードが撮像されるごとに、その未検出コードの検出済コードに対する相対位置関係が検出されて検出済コードとして記憶部に記憶される。このため、全ての情報コードを読み取った後、記憶部に記憶される各検出済コードの相対位置関係に基づいて、検出済コードの特定情報から特定される種類の物品の位置関係、すなわち、陳列棚に陳列される各物品の位置関係を検出することができる。したがって、棚板を利用して配置される全ての情報コードが１つの撮像画像にて撮像されないような陳列棚に陳列される各物品であっても、各物品の位置関係を検出することができる。

請求項２の発明では、情報コードには、特定情報に加えて、当該情報コードのサイズに関する情報が記録される。このため、相対位置関係を検出するための情報コードのサイズを正確に取得できるので、各物品の位置関係を精度良く検出することができる。

請求項３の発明では、情報コードは、全て同じサイズに形成されるため、１つの情報コードのサイズを把握することで他の情報コードのサイズを把握する必要がないため、相対位置関係の検出に関して検出処理負荷を軽減することができる。

請求項４の発明では、陳列棚の長手方向一端に位置する棚板の部位には、当該長手方向一端を示す一端側情報が記録された情報コードが配置され、陳列棚の長手方向他端に位置する棚板の部位には、当該長手方向他端を示す他端側情報が記録された情報コードが配置される。そして、記憶部には、読取部により読み取られた一端側情報が記憶されるとともに、読取部により読み取られた他端側情報が記憶される。これにより、記憶部に一端側情報及び他端側情報の双方が記憶されていることで、陳列棚の長手方向一端から他端まで撮像範囲を移動させた状態であると判断でき、陳列棚に配置される全ての情報コードが読み取られたことを容易に推定することができる。

請求項５の発明では、一端側情報及び他端側情報の少なくともいずれか一方には、陳列棚を特定する情報が含まれるため、陳列棚の長手方向一端から他端までを把握できるだけでなく、どの陳列棚の物品の位置関係を検出しているかを容易に把握することができる。

請求項６の発明では、検出部は、記憶部に検出済コードが記憶されていない状態で撮像部により撮像された１つの撮像画像に読取部にて特定情報が読み取られる２以上の情報コードが含まれていると、いずれか１つの情報コードを基準コードとして、当該基準コードの撮像画像でのコード画像サイズを基準に、残りの情報コードの基準コードに対するサイズ比を検出するとともに、当該２以上の情報コードについて相対位置関係を検出する。また、検出部は、判定部により一部未検出状態であると判定された撮像画像について、当該撮像画像に含まれる基準コード又は検出済コードのサイズ比に基づいて、未検出コードの基準コードに対するサイズ比を検出するとともに、基準コード又は検出済コードに対する未検出コードの相対位置関係を検出する。

これにより、陳列棚に配置されるそれぞれの情報コードのサイズ（実寸法）を把握していない場合でも、基準コードのサイズを基準に、残りの情報コードのサイズ比や相対位置関係を検出することができる。

請求項７の発明では、陳列棚の長手方向一端に位置する棚板の部位には、当該長手方向一端を示す一端側情報が記録された情報コードとして一端側コードが配置され、陳列棚の長手方向他端に位置する棚板の部位には、当該長手方向他端を示す他端側情報が記録された情報コードとして他端側コードが配置され、一端側情報及び他端側情報の少なくともいずれか一方には、陳列棚の長手方向の長さに関する情報が含まれる。そして、算出部は、一端側コードと他端側コードとの間の上記長手方向の実際の距離が読取部の読み取りにより得られた陳列棚の長手方向の長さに一致することを前提に、複数の相対位置情報に基づいて各情報コード間の実際の距離を算出する。

記憶部に記憶される複数の相対位置情報から各情報コード間での相対位置関係を比率的に把握できても、撮像画像だけで実際の距離や寸法を正確に算出することは困難である。一方で、一端側コードと他端側コードとの間の長手方向の実際の距離は、一端側コード又は他端側コードの読み取りにより得られた陳列棚の長手方向の長さに一致するとみなすことができる。このため、実際の距離を把握できた一端側コードと他端側コードとの間での相対位置関係を基準とすることで、他の相対位置関係に基づく各情報コード間の実際の距離を算出することができる。

請求項８の発明では、記憶部に記憶される２以上の検出済コードからそれぞれ特定される物品の種類を示す情報が、相対位置情報に応じて第１表示領域にそれぞれ表示され、撮像部により撮像されている現在の撮像画像が、第２表示領域に表示される表示部が設けられる。これにより、第２表示領域に表示される現在の撮像画像を見ながらその撮像範囲を陳列棚の長手方向に移動させると、撮像範囲となった順に、陳列棚に陳列される物品の種類を示す情報がその相対位置に対応するよう第１表示領域に追加されて表示される。このため、各物品の位置関係の検出状況を、逐次視覚的に把握することができる。

請求項９の発明では、記憶部には、撮像部にて情報コードを撮像した撮像画像が複数記憶される。そして、記憶部に記憶される相対位置情報を利用して、記憶部に記憶される複数の撮像画像を情報コードの位置を基準に連結して陳列棚のパノラマ画像が生成部により生成され、この生成されたパノラマ画像の少なくとも一部が表示部に表示される。このように、記憶部に記憶される相対位置情報を利用して複数の撮像画像を情報コードの位置を基準に連結することで、各撮像画像の連結基準が明確になるので、陳列棚のパノラマ画像を容易かつ正確に生成することができる。

請求項１０の発明では、記憶部には、物品を撮像した物品画像が特定情報に関連付けられて当該物品ごとに予め記憶される。そして、生成部により生成されたパノラマ画像と記憶部に記憶される複数の物品画像とをそれぞれ画像比較することで、当該パノラマ画像において物品が陳列される陳列範囲が当該物品ごとに特定部により特定され、表示部では、この特定された複数の陳列範囲がパノラマ画像に対して明示される。これにより、陳列棚のパノラマ画像において各物品が陳列される範囲をそれぞれ明示できるので、各物品の陳列状態を容易に把握できるだけでなく、陳列される物品の個数もそのパノラマ画像から容易に調べることができる。

請求項１１の発明では、取得部により、物品画像が、読取部にて読み取った特定情報を利用して当該特定情報ごとに外部から取得されて記憶部に記憶される。これにより、陳列される可能性のある物品の物品画像を予め記憶部に記憶する作業が不要となり、作業性を向上させることができる。

請求項１２の発明では、表示部には、パノラマ画像の少なくとも一部が拡大可能に表示されるため、所望の物品の陳列範囲を拡大して見ることで、その物品の陳列状態の把握や個数調査をより正確に行うことができる。

第１実施形態に係る携帯端末と検出対象の陳列棚とを示す説明図である。 携帯端末の電気的構成を概略的に例示するブロック図である。 第１実施形態において制御部にて行われる位置関係検出処理の流れを例示するフローチャートである。 記憶部に記憶される特定情報及び相対位置情報を説明する説明図であり、図４（Ａ）は、図１の撮像領域Ｐ１を撮像したときの記憶状態を示し、図４（Ｂ）は、図１の撮像領域Ｐ１から撮像領域Ｐ２まで移動させながら撮像したときの記憶状態を示し、図４（Ｃ）は、図１の撮像領域Ｐ１から撮像領域Ｐ３まで移動させながら撮像したときの記憶状態を示す。 図４（Ａ）の記憶状態での第１表示領域の表示状態を説明する説明図である。 図４（Ｂ）の記憶状態での第１表示領域の表示状態を説明する説明図である。 図４（Ｃ）の記憶状態での第１表示領域の表示状態を説明する説明図である。 情報コードＣ８のみを読み飛ばした状態での第１表示領域の表示状態を説明する説明図である。 第２実施形態に係る携帯端末と検出対象の陳列棚とを示す説明図である。 第２実施形態において制御部にて行われる位置関係検出処理の流れを例示するフローチャートである。 第２実施形態において第３表示領域の表示状態を説明する説明図である。 第３実施形態に係る検出対象の陳列棚を示す説明図である。 第３実施形態において制御部にて行われる位置関係検出処理の流れを例示するフローチャートである。 図１４（Ａ）は、図１２における撮像領域Ｐ１１の撮像画像を説明する説明図であり、図１４（Ｂ）は、図１２における撮像領域Ｐ１２の撮像画像を説明する説明図である。 図１５（Ａ）は、図１２における撮像領域Ｐ１３の撮像画像を説明する説明図であり、図１５（Ｂ）は、図１２における撮像領域Ｐ１４の撮像画像を説明する説明図である。 図１４及び図１５の各撮像画像を基準コードのコード画像サイズを基準に基準平面に変換した状態を説明する説明図である。 第４実施形態に係る検出対象の陳列棚を例示する説明図である。 第４実施形態において制御部にて行われる位置関係検出処理の流れを例示するフローチャートである。 図１７の陳列棚を撮像したパノラマ画像に対して各商品が陳列される陳列範囲を明示した状態を説明する説明図である。

［第１実施形態］
以下、本発明に係る位置関係検出装置を携帯端末に適用した第１実施形態について、図面を参照して説明する。
図１に示す携帯端末１０は、情報コードを利用して陳列棚１に陳列される複数種類の物品の位置関係を検出する位置関係検出装置として構成される。本実施形態では、図１に示すような陳列棚１に陳列される各商品の位置関係を検出対象としており、陳列棚１は、３つの棚板２ａ〜２ｃにて上下に仕切られて、通路に沿って左右に長くなるように構成されている。

この陳列棚１には、商品Ｇ１としてクッキングシートと、商品Ｇ２としてフライパンホイルと、商品Ｇ３としてアルミホイルと、商品Ｇ４としてタッパー容器と、商品Ｇ５としてフリーザーバッグ（大）と、商品Ｇ６としてフリーザーバッグ（中）と、商品Ｇ７としてフリーザーバッグ（小）と、商品Ｇ８としてラップフィルムと、商品Ｇ９としてポリ袋とが陳列されている。

そして、各商品Ｇ１〜Ｇ９が陳列される位置ごとに、各棚板２ａ〜２ｃを利用して当該物品の種類を特定可能な特定情報が記録された情報コードＣ１〜Ｃ９がそれぞれ規定のサイズにて配置されている。具体的には、商品Ｇ１の種類としてクッキングシートを特定可能な特定情報が記録された情報コードＣ１が、棚板２ａの前面に設けられるラベル貼付部の左側であって各種のクッキングシートが陳列される範囲の中央近傍に配置されている。また、商品Ｇ２の種類としてフライパンホイルを特定可能な特定情報が記録された情報コードＣ２が、棚板２ａの前面に設けられるラベル貼付部の中央左側であって各種のフライパンホイルが陳列される範囲の中央近傍に配置されている。また、商品Ｇ３の種類としてアルミホイルを特定可能な特定情報が記録された情報コードＣ３が、棚板２ａの前面に設けられるラベル貼付部の中央右側であって各種のアルミホイルが陳列される範囲の中央近傍に配置されている。また、商品Ｇ４の種類としてタッパー容器を特定可能な特定情報が記録された情報コードＣ４が、棚板２ａの前面に設けられるラベル貼付部の右側であって各種のタッパー容器が陳列される範囲の中央近傍に配置されている。また、商品Ｇ５の種類としてフリーザーパック（大）を特定可能な特定情報が記録された情報コードＣ５が、棚板２ｂの前面に設けられるラベル貼付部の左側であって各種のフリーザーパック（大）が陳列される範囲の中央近傍に配置されている。また、商品Ｇ６の種類としてフリーザーバッグ（中）を特定可能な特定情報が記録された情報コードＣ６が、棚板２ｂの前面に設けられるラベル貼付部の中央であって各種のフリーザーバッグ（中）が陳列される範囲の中央近傍に配置されている。また、商品Ｇ７の種類としてフリーザーバッグ（小）を特定可能な特定情報が記録された情報コードＣ７が、棚板２ｂの前面に設けられるラベル貼付部の左側であって各種のフリーザーバッグ（小）が陳列される範囲の中央近傍に配置されている。また、商品Ｇ８の種類としてラップフィルムを特定可能な特定情報が記録された情報コードＣ８が、棚板２ｃの前面に設けられるラベル貼付部の左側であって各種のラップフィルムが陳列される範囲の中央近傍に配置されている。また、商品Ｇ９の種類としてポリ袋を特定可能な特定情報が記録された情報コードＣ９が、棚板２ｃの前面に設けられるラベル貼付部の右側であって各種のポリ袋が陳列される範囲の中央近傍に配置されている。なお、各情報コードＣ１〜Ｃ９は、全て同じコードサイズとなるように正方形状に形成されている。

次に、本実施形態に係る携帯端末１０の構成について、図面を参照して説明する。
携帯端末１０は、陳列棚１の陳列状態等を確認する作業者が携帯するタブレット端末やスマートフォンなどの携帯型の情報端末として構成されている。この携帯端末１０は、撮像部及び表示部等を有し、撮像した情報コードの読み取り結果を利用して陳列棚１に陳列される各商品の位置関係等を画面表示するための所定のアプリケーションプログラム（以下、位置関係検出アプリともいう）がインストールされて構成されるものである。

この携帯端末１０は、図２に示すように、ＣＰＵからなる制御部２１、受光センサ（例えば、Ｃ−ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成される撮像部２２、液晶表示器などからなる表示部２３、各種操作キーやタッチパネル等（図示略）によって構成される操作部２４、ＲＯＭ，ＲＡＭ、不揮発性メモリなどからなる記憶部２５、インターネット等の所定のネットワークを介して管理サーバ等の外部機器と無線または有線にて通信可能な通信インタフェースとして構成される通信部２６などを備えている。

制御部２１は、撮像部２２にて撮像された情報コードの画像データに対して公知のデコード処理を行うことで、情報コードに記録された情報を読み取る読取部として機能する。また、表示部２３は、制御部２１により制御されて、その表示画面２３ａに後述する第１表示領域２３ｂ及び第２表示領域２３ｃや所定の情報を画面表示可能な表示手段として機能する。

このように構成される携帯端末１０は、制御部２１にてなされる位置関係検出処理により、各情報コードＣ１〜Ｃ９を撮像することで得た当該各情報コードＣ１〜Ｃ９の相対位置関係と、各情報コードＣ１〜Ｃ９の読取結果とを利用して、各商品Ｇ１〜Ｇ９の位置関係を示す情報が表示部２３の表示画面２３ａに表示される。

以下、携帯端末１０を利用して陳列棚１に陳列される各商品Ｇ１〜Ｇ９の位置関係を検出する際に、携帯端末１０の制御部２１にて実行される位置関係検出処理について、図３に示すフローチャート等を参照して説明する。

利用者の操作部２４に対する所定の操作に応じて位置関係検出アプリが起動されることで制御部２１にて位置関係検出処理が開始されると、まず、図３のステップＳ１０１に示す撮像処理がなされ、撮像部２２にて撮像された撮像画像が取得される。続いて、ステップＳ１０３に示すデコード処理がなされ、撮像画像に含まれる情報コードを公知のデコード方法により解読するための処理がなされる。

次に、ステップＳ１０５に示す判定処理がなされ、１つの撮像画像に、上記特定情報が記録された情報コードが２以上含まれているか否かについて判定される。ここで、１つの撮像画像に、上記特定情報が記録された情報コードが含まれていないか、上記特定情報が記録された情報コードが１つ含まれる場合には、上記ステップＳ１０５にてＮｏと判定されて、上記ステップＳ１０１からの処理がなされる。

利用者が撮像部２２による撮像範囲を陳列棚１に向けることで、１つの撮像画像に、上記特定情報が記録された情報コードが２以上含まれると（Ｓ１０５でＹｅｓ）、ステップＳ１０７の判定処理にて、基準コードが設定されているか否かについて判定される。ここで、上記基準コードは、最初に撮像された２以上の情報コードのうちの１つに設定されるもので、今回初めて１つの撮像画像に上記特定情報が記録された情報コードが２以上含まれていると、ステップＳ１０７にてＮｏと判定される。そして、ステップＳ１０９の基準コード設定処理により、最初に撮像された２以上の情報コードのうちの１つが基準コードに設定される。例えば、図１の撮像領域Ｐ１が撮像されていることから、最初に情報コードＣ１、Ｃ５、Ｃ８が撮像されていると、撮像画像の左上側に位置することで最初に読み取られた情報コードＣ１が基準コードとして設定される。

次に、ステップＳ１１１に示すコード座標算出処理がなされる。この処理では、撮像される情報コードの形状に基づく射影変換等を利用して、各情報コードがほぼ同じ正方形状となるように基準平面に変換した情報コードについて、基準コードのサイズ（一辺の長さ）を基準に、基準コードに対する相対位置が算出される。

例えば、図１に示す撮像領域Ｐ１を撮像していると、基準平面に変換した後に、情報コードＣ１のサイズを基準に、情報コードＣ５の相対位置が（３０，２０）として算出され、情報コードＣ８の相対位置が（３６，４０）として算出される。このように、基準平面に変換した後に、情報コードのサイズを基準に相対位置を算出するので、各情報コードに予め位置情報等を記録する必要もなく、各情報コードの相対位置関係を検出することができる。なお、相対位置は、情報コードのサイズを基準に、例えば、情報コードの一辺の長さを所定値とするように算出されてもよいし、「ｃｍ」の単位で算出されてもよい。また、本実施形態では、基準平面において、図１の左右方向に相当する方向をＸ方向としてその右側を正側とし、図１の上下方向に相当する方向をＹ方向としてその下側を正側としている。なお、上記ステップＳ１１１のコード座標算出処理及び後述するステップＳ１１９のコード座標算出処理を行う制御部２１は、２以上の情報コードについて相対位置関係を当該情報コードのサイズに基づいて検出可能な「検出部」の一例に相当し得る。

上述のように各情報コードについて相対位置が算出されることでそれぞれの相対位置関係が検出されると、ステップＳ１１３に示す記憶処理がなされ、上述のように相対位置関係が検出された情報コードの特定情報が、検出済コードの特定情報として、相対位置に関する相対位置情報とともに記憶部２５に記憶される。上述のように情報コードＣ１、Ｃ５、Ｃ８が撮像されていると、図４（Ａ）に示すように、各情報コードＣ１、Ｃ５、Ｃ８の特定情報が相対位置情報とともに記憶部２５に記憶される。

続いて、ステップＳ１１５に示す表示処理がなされる。この処理では、表示画面２３ａの第１表示領域２３ｂに、記憶部２５に記憶される各検出済コードからそれぞれ特定される商品の種類を示す種類名が、相対位置情報に応じてそれぞれ表示される。さらに、表示画面２３ａの第２表示領域２３ｃに、撮像部２２により撮像されている現在の撮像画像が表示される。

例えば、図４（Ａ）に示すように検出済コードの特定情報等が記憶部２５に記憶されている場合には、図５に例示するように、第１表示領域２３ｂにおいて、情報コードＣ１の特定情報から特定される商品Ｇ１の種類名「クッキングシート」が、情報コードＣ１の中心を下端中央とするように表示される。同様に、第１表示領域２３ｂにおいて、情報コードＣ５の特定情報から特定される商品Ｇ５の種類名「フリーザーバッグ（大）」が、情報コードＣ５の中心を下端中央とするように表示され、情報コードＣ８の特定情報から特定される商品Ｇ８の種類名「ラップフィルム」が、情報コードＣ８の中心を下端中央とするように表示される。なお、第１表示領域２３ｂでは、所定の操作に応じて、拡大・縮小表示等がなされてもよい。

そして、所定の終了操作等がなされない場合には（Ｓ１２１でＮｏ）、上述のような表示状態にて、再度ステップＳ１０１からの処理がなされて、他の情報コードを撮像可能な状態になる。その後に撮像された１つの撮像画像に、上記特定情報が記録された情報コードが２以上含まれ（Ｓ１０５でＹｅｓ）、既に基準コードが設定されていると（Ｓ１０７でＹｅｓ）、ステップＳ１１７に示す判定処理がなされる。この判定処理では、記憶部２５に特定情報が記憶されていない情報コードを未検出コードとするとき、１つの撮像画像に含まれる２以上の情報コードの一部が検出済コードであって残りが未検出コードとなる状態（以下、一部未検出状態ともいう）であるか否かについて判定される。

ここで、１つの撮像画像に含まれる２以上の情報コードの全てが検出済コードであると、一部未検出状態でないとして（Ｓ１１７でＮｏ）、上記ステップＳ１２１の判定処理がなされる。また、１つの撮像画像に含まれる２以上の情報コードの全てが未検出コードであっても、一部未検出状態でないとして（Ｓ１１７でＮｏ）、上記ステップＳ１２１の判定処理がなされる。

一方、撮像部２２による撮像領域が図１の撮像領域Ｐ１から撮像領域Ｐ２となるように利用者が携帯端末１０を移動させたことから、１つの撮像画像に、未検出コードとなる情報コードＣ２と検出済コードとなる情報コードＣ５，Ｃ８とが含まれていると、一部未検出状態であるとして、上記ステップＳ１１７にてＹｅｓと判定される。この場合には、ステップＳ１１９に示すコード座標算出処理がなされ、撮像される情報コードの形状に基づく射影変換等を利用して、各情報コードがほぼ同じ正方形状となるように基準平面に変換した未検出コードについて、１つの検出済コードのサイズを基準に、当該検出済コードに対する相対位置が算出される。なお、上記ステップＳ１１７の判定処理を行う制御部２１は、「判定部」の一例に相当し得る。

上述のように、図１に示す撮像領域Ｐ２での撮像状態であれば、基準平面に変換した後に、検出済コードのいずれか１つ（例えば、情報コードＣ５）の相対位置とそのサイズを基準に、情報コードＣ２の相対位置が（７２，０）として算出される。特に、各情報コードがほぼ同じ正方形状となるように基準平面に変換するため、図１の撮像領域Ｐ１にて撮像される範囲の大きさと撮像領域Ｐ２にて撮像される範囲の大きさとが異なる場合でも、未検出コードの検出済コードに対する相対位置を正確に算出することができる。

上述のように各情報コードについて相対位置が算出されることでそれぞれの相対位置関係が検出されると、ステップＳ１１３の記憶処理にて、上述のように相対位置関係が検出された未検出コードの特定情報が、検出済コードの特定情報として、相対位置に関する相対位置情報とともに記憶部２５に追加されて記憶される。上述のように情報コードＣ２が撮像されている場合には、図４（Ｂ）に示すように、情報コードＣ２の特定情報が相対位置情報とともに追加されるように記憶部２５に記憶される。

続いて、ステップＳ１１５の表示処理にて、この追加された検出済コードから特定される商品の種類を示す種類名が、その相対位置情報に応じて追加されるように表示画面２３ａの第１表示領域２３ｂに表示される。

上述のように、図４（Ｂ）に示す検出済コードの特定情報等が記憶部２５に記憶されている場合には、図６に例示するように、第１表示領域２３ｂにおいて、情報コードＣ２の特定情報から特定される商品Ｇ２の種類名「フライパンホイル」が、情報コードＣ２の中心を下端中央とするように追加表示される。すなわち、撮像部２２による撮像領域を移動させることで、その撮像領域の移動に応じてそれまでに撮像された各情報コードの相対位置関係がリアルタイムに検出されて、第１表示領域２３ｂに表示される。そして、所定の終了操作等がなされない場合には（Ｓ１２１でＮｏ）、上述のような表示状態にて、再度ステップＳ１０１からの処理がなされる。

そして、撮像部２２による撮像領域が図１の撮像領域Ｐ３となるまで利用者が携帯端末１０を移動させたことから、陳列棚１において最も右側に配置される情報コードＣ４の相対位置が算出されることで、図４（Ｃ）に示すように、全ての情報コードＣ１〜Ｃ９の特定情報が相対位置情報とともに追加されるように記憶部２５に記憶される。これにより、ステップＳ１１５の表示処理では、図７に例示するように、全ての情報コードＣ１〜Ｃ９について、商品の種類を示す種類名がその相対位置情報に応じて表示画面２３ａの第１表示領域２３ｂに表示される。これにより、利用者により終了操作等がなされると（Ｓ１２１でＹｅｓ）、このように検出された各情報コードの相対位置関係等に関する情報が、陳列棚１に陳列される各商品の位置関係を把握するためのデータとして、通信部２６を介して管理サーバ等に送信されて（Ｓ１２３）、本位置関係検出処理が終了する。

以上の説明では、撮像部２２による撮像領域が図１の撮像領域Ｐ１から撮像領域Ｐ３となるまで利用者が携帯端末１０を移動させた場合の例について説明したが、このような撮像領域の変位と異なるように携帯端末１０を移動させても、各情報コードの相対位置を検出することができる。例えば、撮像部２２による撮像領域が図１の撮像領域Ｐ３から撮像領域Ｐ１となるまで利用者が携帯端末１０を移動させたような場合には、撮像領域Ｐ３にて撮像されることで最初に読み取られた情報コードＣ３が基準コードとして設定されて、この基準コードを基準に各未検出コード等の相対位置が算出される。

また、例えば、情報コードＣ８を除く各情報コードを読み取っており情報コードＣ８を読み飛ばしている場合には、図８に示すように、表示画面２３ａの第１表示領域２３ｂには、商品Ｇ８の種類名を除く各商品の種類名が表示されることとなる。このような表示状態になるため、利用者は、情報コードＣ８を読み飛ばしていることを容易に把握することができる。このような場合には、その読み飛ばした情報コードＣ８と少なくとも他の１つの検出コードとを１つの撮像画像にて撮像することで、図７に示すように、全ての情報コードＣ１〜Ｃ９について、商品の種類を示す種類名をその相対位置情報に応じて表示画面２３ａの第１表示領域２３ｂに表示することができる。

以上説明したように、本実施形態に係る携帯端末１０では、陳列棚１において、それぞれの種類の物品が陳列される位置ごとに棚板２ａ〜２ｃを利用して当該物品の種類を特定可能な特定情報が記録された情報コードＣ１〜Ｃ９がそれぞれ規定のサイズにて配置される。そして、記憶部２５に検出済コードが記憶されていない状態で撮像部２２により撮像された１つの撮像画像に特定情報が読み取られる２以上の情報コードが含まれていると、当該２以上の情報コードについて相対位置関係が、当該情報コードのサイズに基づいて検出される。また、少なくとも１つの検出済コードとともに未検出コードが含まれる一部未検出状態であると判定された撮像画像について（Ｓ１１７でＹｅｓ）、検出済コードに対する未検出コードの相対位置関係が、基準コード（検出済コード）のサイズに基づいて検出される。

これにより、最初に撮像部２２に撮像された２以上の情報コードの相対位置関係が検出された後に、撮像部２２による撮像範囲を陳列棚１の長手方向に沿って移動させるように撮像することで、新たな情報コード、すなわち、未検出コードが撮像されるごとに、その未検出コードの検出済コードに対する相対位置関係が検出されて検出済コードとして記憶部２５に記憶される。このため、全ての情報コードを読み取った後、記憶部２５に記憶される各検出済コードの相対位置関係に基づいて、検出済コードの特定情報から特定される種類の物品の位置関係、すなわち、陳列棚１に陳列される各物品の位置関係を検出することができる。したがって、棚板２ａ〜２ｃを利用して配置される全ての情報コードが１つの撮像画像にて撮像されないような陳列棚１に陳列される各物品であっても、各物品の位置関係を検出することができる。

さらに、各情報コードＣ１〜Ｃ９は、全て同じサイズに形成されるため、１つの情報コード（基準コード）のサイズを把握することで他の情報コードのサイズを把握する必要がないため、相対位置関係の検出に関して検出処理負荷を軽減することができる。

特に、表示部２３の表示画面２３ａでは、記憶部２５に記憶される２以上の検出済コードからそれぞれ特定される物品の種類を示す情報が、相対位置情報に応じて第１表示領域２３ｂにそれぞれ表示され、撮像部２２により撮像されている現在の撮像画像が、第２表示領域２３ｃに表示される。これにより、第２表示領域２３ｃに表示される現在の撮像画像を見ながらその撮像範囲を陳列棚１の長手方向に移動させると、撮像範囲となった順に、陳列棚１に陳列される物品の種類を示す情報がその相対位置に対応するよう第１表示領域２３ｂに追加されて表示される（図５〜図７参照）。このため、各物品の位置関係の検出状況を、逐次視覚的に把握することができる。

なお、陳列棚１の各棚板２ａ〜２ｃに配置される情報コードＣ１〜Ｃ９には、特定情報に加えて、当該情報コードのサイズに関する情報が記録されてもよい。このような構成では、相対位置関係を検出するための情報コードのサイズを、その情報コードを読み取ることで正確に取得できるので、各物品の位置関係を精度良く検出することができる。このような構成であれば、各情報コードＣ１〜Ｃ９は、全て同じコードサイズで形成されることに限らず、一部が異なるサイズで形成されてもよい。

［第２実施形態］
次に、第２実施形態に係る携帯端末について、図面を参照して説明する。
本第２実施形態では、陳列棚１の長手方向における両端を示す２つの情報コードをさらに追加して配置する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

本実施形態では、図９に例示するように、陳列棚１の長手方向一端に位置する棚板２ａの部位には、当該長手方向一端を示す一端側情報が記録された情報コードとして一端側コードＣａが配置されている。また、陳列棚１の長手方向他端に位置する棚板２ｃの部位には、当該長手方向他端を示す他端側情報が記録された情報コードとして他端側コードＣｂが配置されている。また、一端側情報及び他端側情報には、陳列棚１を特定するための棚情報が含まれている。なお、一端側情報及び他端側情報には、情報コードＣ１〜Ｃ９に記憶されるような特定情報が記録されてないため、一端側コードＣａ及び他端側コードＣｂの他の情報コードＣ１〜Ｃ９に対する相対位置関係が検出されることもない。

そして、制御部２１にてなされる位置関係検出処理では、図１０に示すフローチャートのように、ステップＳ１０３のデコード処理がなされた際、一端側コードＣａ及び他端側コードＣｂの少なくとも一方の端側コードがデコードされていると（Ｓ１０４でＹｅｓ）、そのデコードされた端側コード（一端側コードＣａ又は他端側コードＣｂ）が記憶部２５に記憶される（Ｓ１０４ａ）。

そして、ステップＳ１１５ａに示す表示処理では、第３表示領域２３ｄとして、一端側コードＣａ又は他端側コードＣｂから読み取った棚情報が表示される。例えば、棚情報として「棚１」が一端側コードＣａ及び他端側コードＣｂに記録されている場合には、図１１に示すように、第３表示領域２３ｄに「棚１」が表示される。

そして、ステップＳ１２１ａの判定処理では、一端側コードＣａ及び他端側コードＣｂの双方が記憶部２５に記憶されているか否かについて判定される。ここで、一端側コードＣａ及び他端側コードＣｂの双方が記憶部２５に記憶されていないか、一方のみが記憶部２５に記憶されている場合には、ステップＳ１２１ａにてＮｏと判定されて、全ての情報コードの相対位置関係が検出されていないとして、上記ステップＳ１０１からの処理がなされる。一方、一端側コードＣａ及び他端側コードＣｂの双方が記憶部２５に記憶されていると、陳列棚１に設けられる各情報コードＣ１〜Ｃ９が読み取られることで全ての情報コードの相対位置関係が検出されているとして、ステップＳ１２１ａにてＹｅｓと判定されて、上記ステップＳ１２３の処理がなされる。

以上説明したように、本実施形態に係る携帯端末１０では、陳列棚１の長手方向一端に位置する棚板２ａの部位には、一端側情報が記録された一端側コードＣａが配置され、陳列棚１の長手方向他端に位置する棚板２ｃの部位には、他端側情報が記録された他端側コードＣｂが配置される。そして、記憶部２５には、読み取られた一端側情報や他端側情報が記憶される（Ｓ１０４ａ）。これにより、記憶部２５に一端側情報及び他端側情報の双方が記憶されていることで、陳列棚１の長手方向一端から他端まで撮像範囲を移動させた状態であると判断でき、陳列棚１に配置される全ての情報コードＣ１〜Ｃ９が読み取られたことを容易に推定することができる。

特に、一端側情報及び他端側情報には、陳列棚１を特定する棚情報が含まれるため、陳列棚の長手方向一端から他端までを把握できるだけでなく、第３表示領域２３ｄでの表示を見ることで、どの陳列棚の物品の位置関係を検出しているかを容易に把握することができる。

［第３実施形態］
次に、第３実施形態に係る携帯端末について、図面を参照して説明する。
本第３実施形態では、陳列棚に配置されるそれぞれの情報コードのサイズ（実寸法）を取得していない状態で各情報コードの実際の距離等を算出する点が、上記第２実施形態と主に異なる。したがって、第２実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

本実施形態では、陳列棚に配置されるそれぞれの情報コードのサイズを直接取得していない状態であっても、上述した基準コードの撮像画像でのコード画像サイズ（撮像画像に占める基準コードの領域の大きさ）を基準に、残りの情報コードの基準コードに対するサイズ比を検出するとともに、各情報コードの相対位置を検出する。

また、本実施形態では、一端側コードＣａ及び他端側コードＣｂも他の情報コードと同様に相対位置関係等の検出対象となっており、撮像画像だけで実際の距離や寸法を正確に算出するため、一端側情報及び他端側情報には、棚情報の一部として陳列棚の長手方向（以下、棚長手方向ともいう）の長さに関する情報が含まれている。この理由について以下に説明する。

陳列棚のどの段にどのような商品が陳列しているかを把握する目的であれば、実際の各情報コード間の距離や寸法を把握する必要はないが、陳列棚に陳列される商品がどの程度のエリアを利用しているか等、詳細な情報を得たい場合には実際の各情報コード間の距離や寸法を把握する必要がある。しかしながら、陳列棚に配置されるそれぞれの情報コードのサイズを直接取得していない状態では、記憶部２５に記憶される複数の相対位置情報から各情報コード間での相対位置関係を比率的に把握できても、撮像画像だけで実際の距離や寸法を正確に算出することは困難である。また、例えば、各情報コードにその情報コードのサイズに関する情報を追加して記録すると、記録する情報量によってコードサイズも異なるため、商品ごとにサイズを入力する必要があり、手間がかかるという問題もある。また、全ての情報コードのコードサイズを同じサイズにすると、記録する情報量がばらつく場合には、より多い情報量が記録される情報コードにあわせてコードサイズを統一する必要があるため、情報コードをなるべく小さくしたいという要望に対応できない場合がある。

一方で、一端側コードＣａと他端側コードＣｂとの間の棚長手方向の実際の距離は、一端側コードＣａ又は他端側コードＣｂの読み取りにより得られた陳列棚の棚長手方向の長さに一致するとみなすことができる。このため、実際の距離を把握できた一端側コードＣａと他端側コードＣｂとの間での相対位置関係を基準とすることで、他の相対位置関係に基づく各情報コード間の実際の距離を算出することができる。

以下、本実施形態における位置関係検出処理について、図１２に例示するような、３つの情報コードＣ１１〜Ｃ１３と一端側コードＣａ及び他端側コードＣｂとが配置された陳列棚１ａを例に、図１３に示すフローチャートを参照して説明する。なお、本実施形態では、情報コードＣ１１〜Ｃ１３と一端側コードＣａ及び他端側コードＣｂとは、正方形状のＱＲコードとして形成されており、一端側コードＣａ及び他端側コードＣｂには、上述した棚情報に加えて、陳列棚１ａの棚長手方向の長さに関する情報として、陳列棚１ａの棚長手方向における実際の長さを示す数値（例えば、１００ｃｍ）が記録されている。このため、図１２に示すように、一端側コードＣａは、その一端側の外縁が陳列棚１ａの一端側の外縁に一致するように配置され、他端側コードＣｂは、その他端側の外縁が陳列棚１ａの他端側の外縁に一致するように配置されている。

制御部２１にて位置関係検出処理が開始され、１つの撮像画像に、上記特定情報が記録された情報コードＣ１１〜Ｃ１３、一端側コードＣａ及び他端側コードＣｂのいずれか２つ以上が含まれると（図１３のＳ１０５でＹｅｓ）、基準コードが設定されていない場合には（Ｓ１０７でＮｏ）、撮像された２以上の情報コードのうちの１つが基準コードに設定される（Ｓ１０９）。その際、一端側コードＣａが撮像されてそのデコードが成功していると（Ｓ１０４でＹｅｓ）、一端側コードＣａから読み取った一端側情報が記憶部２５に記憶される（Ｓ１０４ａ）。また、例えば、図１２の撮像領域Ｐ１１が撮像されていることから、図１４（Ａ）に例示するように、最初に一端側コードＣａ及び情報コードＣ１１が撮像されていると、情報コードＣ１１が基準コードとして設定される。

続いて、ステップＳ１１１ａにてコード座標等算出処理がなされ、基準コード（情報コードＣ１）のサイズを基準に、具体的には、陳列棚１ａの棚長手方向における基準コードの長さをＸとして、基準コードから一端側コードＣａまでの棚長手方向の長さと、一端側コードＣａの基準コードに対するサイズ比とが算出（検出）される。図１４（Ａ）の例では、基準コードから一端側コードＣａまでの棚長手方向の長さが２．６Ｘとして算出されるとともに、一端側コードＣａの基準コードに対するサイズ比が１．２として算出される。なお、本実施形態では、最初に撮像された２以上の情報コードのうち一端側コードＣａ及び他端側コードＣｂを除く情報コードが基準コードに設定されるが、これに限らず、一端側コードＣａ及び他端側コードＣｂのいずれか一方が基準コードに設定されてもよい。

そして、その後に撮像された１つの撮像画像に、上記特定情報が記録された情報コードが２以上含まれ（Ｓ１０５でＹｅｓ）、既に基準コードが設定され（Ｓ１０７でＹｅｓ）、一部未検出状態であると（Ｓ１１７でＹｅｓ）、ステップＳ１１９ａにてコード座標等算出処理がなされる。この処理では、基準コード又は検出済コードのサイズ比を基準に、基準コード又は検出済コードから未検出コードまでの棚長手方向の長さと、未検出コードの基準コードに対するサイズ比とが算出（検出）される。例えば、撮像部２２による撮像範囲が図１２の撮像領域Ｐ１１から撮像領域Ｐ１２に変わることで情報コードＣ１２が新たに撮像されると、図１４（Ｂ）に例示するように、基準コードである情報コードＣ１１から未検出コードである情報コードＣ１２までの棚長手方向の長さが４．８Ｘとして算出されるとともに、情報コードＣ１２の基準コードに対するサイズ比が０．８として算出される。

以降、同様に、撮像部２２による撮像範囲が図１２の撮像領域Ｐ１２から撮像領域Ｐ１３に変わることで情報コードＣ１３が新たに撮像されると、一部未検出状態であると判定される（Ｓ１１７でＹｅｓ）。この場合には、図１５（Ａ）に例示するように、検出済コードである情報コードＣ１２から未検出コードである情報コードＣ１３までの棚長手方向の長さが４．４Ｘとして算出されるとともに、情報コードＣ１３の基準コードに対するサイズ比が１．２として算出される（Ｓ１１９ａ）。

さらに、撮像部２２による撮像範囲が図１２の撮像領域Ｐ１３から撮像領域Ｐ１４に変わることで他端側コードＣｂが新たに撮像されてデコードされると、他端側コードＣｂから読み取った他端側情報が記憶部２５に記憶されて（Ｓ１０４ａ）、一部未検出状態であると判定される（Ｓ１１７でＹｅｓ）。この場合には、図１５（Ｂ）に例示するように、検出済コードである情報コードＣ１３から他端側コードＣｂまでの棚長手方向の長さが２．８Ｘとして算出されるとともに、他端側コードＣｂの基準コードに対するサイズ比が１．２として算出される（Ｓ１１９ａ）。

そして、一端側コードＣａ及び他端側コードＣｂが読み取られるために一端側情報及び他端側情報の双方が記憶部２５に記憶されていると（Ｓ１２１ａでＹｅｓ）、ステップＳ１２２に示す実距離等算出処理がなされる。この処理では、一端側情報又は他端側情報に含まれる陳列棚の棚長手方向の長さに関する情報に基づいて、読み取った各情報コード間の実際の距離やサイズが算出される。

具体的には、図１４及び図１５のように基準コードに対する各情報コード間の比率的な長さやサイズ比が算出されると、図１４及び図１５の各撮像画像を基準コードのコード画像サイズを基準に基準平面に変換した図１６からわかるように、陳列棚１ａ全体にて、各情報コード間での相対位置関係を比率的に把握することができる。さらに、基準コードのサイズＸを基準として一端側コードＣａから他端側コードＣｂまでの比率的な長さも算出でき、この比率的な長さは、一端側情報又は他端側情報に含まれる陳列棚の棚長手方向における実際の長さに一致するとして、各情報コード間の実際の距離や各情報コードの実際の大きさを算出することができる。

上述したように、陳列棚１ａの棚長手方向における実際の長さを示す数値として１００ｃｍが一端側コードＣａ及び他端側コードＣｂに記録されていると、一端側コードＣａから他端側コードＣｂまでの比率的な長さが２０Ｘであることから、基準コードの長さＸが５ｃｍであると算出することができる。このように基準コードの長さＸが算出されることで、他の情報コード間の実際の距離や各情報コードの実際の大きさを算出することができる。例えば、情報コードＣ１１から情報コードＣ１２までの実際の距離は、比率的な長さが４．８Ｘであることから、２４ｃｍであると算出することができる。なお、上記ステップＳ１２２の実距離等算出処理を行う制御部２１は、「算出部」の一例に相当し得る。

その後、このように算出（検出）された各情報コードの相対位置関係等に関する情報が、陳列棚１ａに陳列される各商品の位置関係を把握するためのデータとして、通信部２６を介して管理サーバ等に送信されて（Ｓ１２３）、本位置関係検出処理が終了する。

以上説明したように、本実施形態に係る携帯端末１０では、制御部２１にてなされる位置関係検出処理において、記憶部２５に検出済コードが記憶されていない状態で撮像部２２により撮像された１つの撮像画像に特定情報や一端側情報、他端側情報が読み取られる２以上の情報コードが含まれていると、いずれか１つの情報コードを基準コードとして、当該基準コードの撮像画像でのコード画像サイズを基準に、残りの情報コードの基準コードに対するサイズ比が検出されるとともに、当該２以上の情報コードについて相対位置関係が検出される。また、位置関係検出処理では、一部未検出状態であると判定された撮像画像について、当該撮像画像に含まれる基準コード又は検出済コードのサイズ比に基づいて、未検出コードの基準コードに対するサイズ比が検出されるとともに、基準コード又は検出済コードに対する未検出コードの相対位置関係が検出される。

これにより、陳列棚に配置されるそれぞれの情報コードのサイズ（実寸法）を把握していない場合でも、基準コードのサイズを基準に、残りの情報コードのサイズ比や相対位置関係を検出することができる。

特に、陳列棚の長手方向一端に位置する棚板の部位には、当該長手方向一端を示す一端側情報が記録された情報コードとして一端側コードＣａが配置され、陳列棚の長手方向他端に位置する棚板の部位には、当該長手方向他端を示す他端側情報が記録された情報コードとして他端側コードＣｂが配置され、一端側情報及び他端側情報の少なくともいずれか一方には、陳列棚の棚長手方向の長さに関する情報が含まれる。そして、ステップＳ１２２の実距離等算出処理にて、一端側コードＣａと他端側コードＣｂとの間の棚長手方向の実際の距離が読み取りにより得られた陳列棚の棚長手方向の長さに一致することを前提に、複数の相対位置情報に基づいて各情報コード間の実際の距離が算出される。

このように、実際の距離を把握可能な一端側コードＣａと他端側コードＣｂとの間での相対位置関係を基準とすることで、他の相対位置関係に基づく各情報コード間の実際の距離を算出することができる。

なお、上記ステップＳ１２２の実距離等算出処理では、各情報コードに関して棚長手方向（図１６等の左右方向）の相対位置関係について検出しているが、これに限らず、さらに、棚長手方向に直交する短手方向（図１６等の上下方向）の相対位置関係についても検出することができる。この場合、一端側情報及び他端側情報の少なくともいずれか一方に、陳列棚の短手方向の実際の長さ（一端側コードＣａと他端側コードＣｂとの棚長手方向に直交する方向の実際の長さ）に関する情報を含めることで、上記実距離等算出処理における算出精度を高めることができる。

また、陳列棚の棚長手方向の実際の長さは、その数値が一端側コードＣａ及び他端側コードＣｂに記録されることで取得されることに限らず、一端側コードＣａ及び他端側コードＣｂに記録される棚情報を利用して取得されてもよい。すなわち、携帯端末１０は、棚情報とその陳列棚の棚長手方向の長さとが関連付けられて記録されるデータベースを利用して、一端側コードＣａ又は他端側コードＣｂから読み取った棚情報に基づいてその陳列棚の棚長手方向の長さを取得することができる。この場合、陳列棚を特定するための棚情報は、陳列棚の棚長手方向の長さに関する情報の一例に相当し得る。

［第４実施形態］
次に、第４実施形態に係る携帯端末について、図面を参照して説明する。
本第４実施形態では、記憶部２５に記憶される相対位置情報を利用して生成した陳列棚のパノラマ画像に対して各商品が陳列される陳列範囲を明示する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

本実施形態では、陳列棚に陳列される各商品の個数の調査作業等を容易に実施できるようにするため、制御部２１にてなされる位置関係検出処理において、さらに陳列棚のパノラマ画像を生成し、第１表示領域２３ｂ等に代えて表示画面２３ａに表示したパノラマ画像において各物品が陳列される陳列範囲を明示する。

このため、本実施形態では、記憶部２５には、陳列棚への陳列が想定される物品を撮像した物品画像が、当該物品を陳列した位置に配置される情報コードの特定情報に関連付けられて当該物品ごとに予め記憶されている。そして、位置関係検出処理において、上述のように生成されたパノラマ画像と記憶部２５に記憶される複数の物品画像とをそれぞれ画像比較することで、当該パノラマ画像において物品が陳列される陳列範囲を当該物品ごとに特定する。

以下、携帯端末１０を利用して陳列棚のパノラマ画像を表示するとともに各陳列範囲を明示する際に、携帯端末１０の制御部２１にて実行される位置関係検出処理について、図１７に例示するような、７つの情報コードＣ２１〜Ｃ２７が配置された陳列棚１ｂを例に、図１８に示すフローチャートを参照して説明する。

制御部２１にて位置関係検出処理が開始され、１つの撮像画像に、上記特定情報が記録された情報コードＣ２１〜Ｃ２７のいずれか２つ以上が含まれると（図１７のＳ１０５でＹｅｓ）、ステップＳ１０６に示す画像記憶処理がなされ、その撮像画像が読み取られた特定情報に関連付けられて記憶部２５に記憶される。そして、基準コードが設定されていない場合には（Ｓ１０７でＮｏ）、上記ステップＳ１０９以降の処理がなされ、基準コードが既に設定されている場合には（Ｓ１０７でＹｅｓ）、上記ステップＳ１１７以降の処理がなされる。なお、図１７では、上記画像記憶処理にて記憶される撮像画像の例として、情報コードＣ２５，Ｃ２３が撮像された撮像画像に対応する範囲を符号Ｐ２１、情報コードＣ２５，Ｃ２３，Ｃ２１，Ｃ２６が撮像された撮像画像に対応する範囲を符号Ｐ２２、情報コードＣ２５，Ｃ２３，Ｃ２１，Ｃ２６，Ｃ２４，Ｃ２２が撮像された撮像画像に対応する範囲を符号Ｐ２３、情報コードＣ２１，Ｃ２６，Ｃ２４，Ｃ２２，Ｃ２７が撮像された撮像画像に対応する範囲を符号Ｐ２４にて示している。

そして、全ての情報コードＣ２１〜Ｃ２７が読み取られて、基準コードに対する各情報コードの相対位置がそれぞれ算出されることで、読み取りを終えるための終了操作がなされると（Ｓ１２１でＹｅｓ）、ステップＳ１２５に示すパノラマ画像生成処理がなされる。この処理では、記憶部２５に記憶される相対位置情報を利用して、上記ステップＳ１０６にて記憶部２５に記憶される複数の撮像画像を各情報コードの位置を基準に連結することで、陳列棚１ｂのパノラマ画像が生成される。なお、上記パノラマ画像生成処理を行う制御部２１は、「生成部」の一例に相当し得る。

続いて、ステップＳ１２７に示す陳列範囲特定処理がなされ、上述のように生成されたパノラマ画像において各物品が陳列される陳列範囲を特定するための処理がなされる。この処理では、読み取られた各特定情報に関連付けられて記憶部２５に記憶される物品画像をそれぞれ読み出し、これらの物品画像とパノラマ画像とについて類似度等を計算するようにそれぞれ画像比較することで、当該パノラマ画像において物品が陳列される陳列範囲が当該物品ごとに特定される。そして、ステップＳ１２９に示す陳列範囲明示処理がなされ、表示画面２３ａに表示したパノラマ画像において上述のように特定された陳列範囲が明示される。なお、上記陳列範囲特定処理を行う制御部２１は、「特定部」の一例に相当し得る。

具体的には、図１７の例では、例えば、商品Ｇ２１の陳列範囲Ｓ２１については、情報コードＣ２１の特定情報に関連付けられて記憶部２５に記憶される商品画像（図１９の符号Ｐｇ参照）と生成されたパノラマ画像のうち情報コードＣ２１の周囲の部分とについて類似度等を計算して画像比較することで、商品画像に類似する部分がパノラマ画像から複数箇所抽出される。そして、このように抽出された複数の抽出部分をまとめるように陳列範囲Ｓ２１が特定されて、図１９に例示するように、この陳列範囲Ｓ２１が枠線等を利用して強調されるようにパノラマ画像に対して追加表示される。同様に、各商品Ｇ２２〜Ｇ２７の陳列範囲Ｓ２２〜Ｓ２７については、パノラマ画像のうち各商品画像に類似する部分がそれぞれ複数箇所抽出され、これらの複数の抽出部分をそれぞれまとめるように陳列範囲Ｓ２２〜Ｓ２７が特定されてパノラマ画像に対して追加表示される。

以上説明したように、本実施形態に係る携帯端末１０では、記憶部２５には、撮像部２２にて情報コードを撮像した撮像画像が複数記憶される。そして、記憶部２５に記憶される相対位置情報を利用して、記憶部２５に記憶される複数の撮像画像を情報コードの位置を基準に連結して陳列棚のパノラマ画像が生成され、この生成されたパノラマ画像の少なくとも一部が表示部２３の表示画面２３ａに表示される。このように、記憶部２５に記憶される相対位置情報を利用して複数の撮像画像を情報コードの位置を基準に連結することで、各撮像画像の連結基準が明確になるので、陳列棚のパノラマ画像を容易かつ正確に生成することができる。

特に、記憶部２５には、物品を撮像した物品画像が特定情報に関連付けられて当該物品ごとに予め記憶される。そして、生成されたパノラマ画像と記憶部２５に記憶される複数の物品画像とをそれぞれ画像比較することで、当該パノラマ画像において物品が陳列される陳列範囲（Ｓ２１〜Ｓ２７）が当該物品ごとに特定され、表示部２３では、この特定された複数の陳列範囲がパノラマ画像に対して明示される。これにより、陳列棚（１ｂ）のパノラマ画像において各物品が陳列される範囲をそれぞれ明示できるので、各物品の陳列状態を容易に把握できるだけでなく、陳列される物品の個数もそのパノラマ画像から容易に調べることができる。

なお、物品画像は、その物品の前面を撮像した全体画像に限ることなく、陳列される際に目立つ特徴的部分の画像であってもよい。また、物品画像は、記憶部２５に予め記憶されることに限らず、その都度外部から取得してもよい。すなわち、取得部として機能する通信部２６を介してサーバ（クラウド）等に対して上述のように読み取った特定情報を送信することで、そのサーバ等から特定情報に対応する物品画像を取得（受信）して記憶部２５に記憶するようにしてもよい。これにより、陳列される可能性のある物品の物品画像を予め記憶部２５に記憶する作業が不要となり、作業性を向上させることができる。

また、上記ステップＳ１２９の陳列範囲明示処理では、タッチパネルとして構成される表示部２３を利用して、その表示画面２３ａにて、パノラマ画像の少なくとも一部がピンチアウト操作等を利用して拡大可能に表示されてもよい。これにより、所望の物品の陳列範囲を拡大して見ることで、その物品の陳列状態の把握や個数調査をより正確に行うことができる。

また、パノラマ画像生成に用いる撮像画像の一部には、上記ステップＳ１０６の画像記憶処理にて記憶された撮像画像に限らず、他のタイミングにて撮像部２２にて撮像された撮像画像を含めてもよい。

また、陳列棚のパノラマ画像に対して各商品が陳列される陳列範囲を明示する本実施形態の特徴的構成は、他の実施形態にも適用することができる。

なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）本発明は、上述のように陳列された商品Ｇ１〜Ｇ９の相対位置関係を情報コードを用いて検出する携帯端末（位置関係検出装置）に適用されることに限らず、食品や雑貨等、他の種別の物品について陳列された状態での相対位置関係を情報コードを用いて検出する携帯端末（位置関係検出装置）に適用されてもよい。また、本発明は、上述したような位置関係検出装置と各情報コードが設置された陳列棚とを備える位置関係検出システムにも適用することができる。

（２）上記位置関係検出処理では、撮像画像の左上側に位置することで最初に読み取られた情報コードが基準コードとして設定されることに限らず、撮像されたいずれかの任意の情報コードが基準コードとして設定されてもよい。また、撮像範囲を移動させることで基準コードが撮像されなくなると、その時点で撮像されている複数の情報コードの１つを基準コードとして新たに設定し直してもよい。この場合、それまでに算出されて記憶部２５に記憶される各相対位置情報を、新たに設定した基準コードに応じて更新することができる。

（３）表示画面２３ａでは、第１表示領域２３ｂ及び第２表示領域２３ｃの双方が表示されることに限らず、例えば、画面サイズが小さな携帯端末では、第２表示領域２３ｃを表示しないことで第１表示領域２３ｂが広く表示されてもよい。

（４）上記位置関係検出処理における基準平面への変換処理では、例えば、１つの情報コードが正対方向でかつ実際のコードサイズと同じサイズになるような変換行列を計算し、行列で他も変換すれば正対方向、かつ、サイズが実物と同じ画像に変換する処理を行ってもよい。これを他の画像でも同様に行えば、それぞれの画像における位置情報が等価となるため、簡単に連結することができる。他にも、撮像部２２からの位置を推定するような一般的な手法でそれぞれの情報コードの位置を把握するような手法でもよい。また、SURFやSIFTのような特徴量でマッチングする手法や、情報コードに記録される情報のマッチングによって連結の基準となる位置を検出してもよい。

（５）陳列棚１，１ａは、３つの棚板２ａ〜２ｃにより仕切られるように構成されることに限らず、例えば、２つの棚板により仕切られるように構成されてもよいし、４つ以上の棚板により仕切られるように構成されてもよい。また、情報コードは、陳列棚１，１ａを上下に仕切る複数の棚板を利用して配置されることに限らず、例えば、陳列棚１，１ａを左右に仕切る棚板や側板を構成する棚板を利用して配置されてもよい。

（６）本発明は、左右方向に長い陳列棚に陳列される複数種類の物品の位置関係を検出する位置関係検出装置に適用されることに限らず、上下方向に長い陳列棚に陳列される複数種類の物品の位置関係を検出する位置関係検出装置に適用されてもよいし、上下方向にも長く左右方向にも長い陳列棚に陳列される複数種類の物品の位置関係を検出する位置関係検出装置に適用されてもよい。

（７）各情報コードＣ１〜Ｃ９，Ｃ１１〜Ｃ１３に記録される特定情報は、対応する商品の種類名そのものであってもよいし、予め用意される対応表から対応する商品の種類名を特定するための固有の番号等であってもよい。

（８）陳列棚１，１ａに設けられる各情報コードは、ＱＲコード（登録商標）として形成されることに限らず、バーコード等の一次元コードやデータマトリックスコード、マキシコード等の二次元コードなどの他のコード種別の情報コードとして形成されてもよい。また、各情報コードは、上述したようにコードのサイズに関する情報が記録されることを前提に、一部の情報コードのコード種別が異なるように形成されてもよい。

１，１ａ，１ｂ…陳列棚
２ａ〜２ｃ…棚板
１０…携帯端末（位置関係検出装置）
２１…制御部（読取部，検出部，判定部，算出部，生成部，特定部）
２２…撮像部
２３…表示部
２３ａ…表示画面
２３ｂ…第１表示領域
２３ｃ…第２表示領域
２５…記憶部
Ｃ１〜Ｃ９，Ｃ１１〜Ｃ１３，Ｃ２１〜Ｃ２７…情報コード
Ｇ１〜Ｇ９，Ｇ２１〜Ｇ２７…商品（物品）
Ｃａ…一端側コード
Ｃｂ…他端側コード
Ｐｇ…物品画像
Ｓ２１〜Ｓ２７…陳列範囲

Claims (12)

1. 複数の棚板にて仕切られた陳列棚に陳列される複数種類の物品の位置関係を検出する位置関係検出装置であって、
   それぞれの種類の物品が陳列される位置ごとに前記棚板を利用して当該物品の種類を特定可能な特定情報が記録された情報コードがそれぞれ配置され、
   撮像部と、
   前記撮像部により撮像された撮像画像に含まれる前記情報コードから前記特定情報を読み取る読取部と、
   前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる前記情報コードが２以上含まれる場合に、当該２以上の情報コードについて相対位置関係を検出可能な検出部と、
   前記検出部により相対位置関係が検出された情報コードの前記特定情報が、検出済コードの前記特定情報として前記相対位置関係に関する相対位置情報とともに記憶される記憶部と、
   前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる前記情報コードが２以上含まれる場合に、少なくとも１つの前記検出済コードとともに、前記記憶部に前記特定情報が記憶されていない前記情報コードが未検出コードとして含まれる一部未検出状態であるか否かについて判定する判定部と、
   を備え、
   前記検出部は、
   前記記憶部に前記検出済コードが記憶されていない状態で前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる２以上の前記情報コードが含まれていると、当該２以上の情報コードについて相対位置関係を検出し、
   前記判定部により前記一部未検出状態であると判定された前記撮像画像について、前記検出済コードに対する前記未検出コードの相対位置関係を、前記検出済コードに基づいて検出することを特徴とする位置関係検出装置。
2. 前記情報コードには、前記特定情報に加えて、当該情報コードのサイズに関する情報が記録されることを特徴とする請求項１に記載の位置関係検出装置。
3. 前記情報コードは、全て同じサイズに形成されることを特徴とする請求項１又は２に記載の位置関係検出装置。
4. 前記陳列棚の長手方向一端に位置する前記棚板の部位には、当該長手方向一端を示す一端側情報が記録された情報コードが配置され、前記陳列棚の長手方向他端に位置する前記棚板の部位には、当該長手方向他端を示す他端側情報が記録された情報コードが配置され、
   前記記憶部には、前記読取部により読み取られた前記一端側情報が記憶されるとともに、前記読取部により読み取られた前記他端側情報が記憶されることを特徴とする請求項１〜３のいずれか一項に記載の位置関係検出装置。
5. 前記一端側情報及び前記他端側情報の少なくともいずれか一方には、前記陳列棚を特定する情報が含まれることを特徴とする請求項４に記載の位置関係検出装置。
6. 前記検出部は、
   前記記憶部に前記検出済コードが記憶されていない状態で前記撮像部により撮像された１つの撮像画像に前記読取部にて前記特定情報が読み取られる２以上の前記情報コードが含まれていると、いずれか１つの情報コードを基準コードとして、当該基準コードの前記撮像画像でのコード画像サイズを基準に、残りの情報コードの前記基準コードに対するサイズ比を検出するとともに、当該２以上の情報コードについて相対位置関係を検出し、
   前記判定部により前記一部未検出状態であると判定された前記撮像画像について、当該撮像画像に含まれる前記基準コード又は前記検出済コードの前記サイズ比に基づいて、前記未検出コードの前記基準コードに対するサイズ比を検出するとともに、前記基準コード又は前記検出済コードに対する前記未検出コードの相対位置関係を検出することを特徴とする請求項１に記載の位置関係検出装置。
7. 前記記憶部に記憶される複数の前記相対位置情報に基づいて各情報コード間の実際の距離を算出する算出部を備え、
   前記陳列棚の長手方向一端に位置する前記棚板の部位には、当該長手方向一端を示す一端側情報が記録された情報コードとして一端側コードが配置され、前記陳列棚の長手方向他端に位置する前記棚板の部位には、当該長手方向他端を示す他端側情報が記録された情報コードとして他端側コードが配置され、
   前記一端側情報及び前記他端側情報の少なくともいずれか一方には、前記陳列棚の前記長手方向の長さに関する情報が含まれ、
   前記算出部は、前記一端側コードと前記他端側コードとの間の前記長手方向の実際の距離が前記読取部の読み取りにより得られた前記陳列棚の前記長手方向の長さに一致することを前提に、複数の前記相対位置情報に基づいて各情報コード間の実際の距離を算出することを特徴とする請求項６に記載の位置関係検出装置。
8. 前記記憶部に記憶される２以上の前記検出済コードからそれぞれ特定される物品の種類を示す情報が、前記相対位置情報に応じて第１表示領域にそれぞれ表示され、前記撮像部により撮像されている現在の撮像画像が、第２表示領域に表示される表示部を備えることを特徴とする請求項１〜７のいずれか一項に記載の位置関係検出装置。
9. 前記記憶部には、前記撮像部にて前記情報コードを撮像した撮像画像が複数記憶され、
   前記記憶部に記憶される前記相対位置情報を利用して、前記記憶部に記憶される複数の前記撮像画像を前記情報コードの位置を基準に連結して前記陳列棚のパノラマ画像を生成する生成部と、
   前記生成部により生成された前記パノラマ画像の少なくとも一部が表示される表示部と、
   を備えることを特徴とする請求項１〜７のいずれか一項に記載の位置関係検出装置。
10. 前記記憶部には、物品を撮像した物品画像が前記特定情報に関連付けられて当該物品ごとに予め記憶され、
    前記生成部により生成された前記パノラマ画像と前記記憶部に記憶される複数の前記物品画像とをそれぞれ画像比較することで、当該パノラマ画像において前記物品が陳列される陳列範囲を当該物品ごとに特定する特定部を備え、
    前記表示部には、前記特定部により特定された複数の前記陳列範囲が前記パノラマ画像に対して明示されることを特徴とする請求項９に記載の位置関係検出装置。
11. 前記物品画像を、前記読取部にて読み取った前記特定情報を利用して当該特定情報ごとに外部から取得して前記記憶部に記憶する取得部を備えることを特徴とする請求項１０に記載の位置関係検出装置。
12. 前記表示部には、前記パノラマ画像の少なくとも一部が拡大可能に表示されることを特徴とする請求項９〜１１のいずれか一項に記載の位置関係検出装置。

Images