JP2017162013A - 情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】移動体の正確な位置情報を得ることを目的とする。【解決手段】複数の移動体と、複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、複数の移動体のそれぞれは、異なるテクスチャパターンが付された監視領域内の床面のうち、各移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から特徴量を抽出する抽出部と、抽出した特徴量を送信する送信部と、を有する。情報処理装置は、特徴量を受信する受信部と、特徴量と監視領域内の位置情報とを対応付けた記録部を参照して、受信した特徴量に対応する監視領域内の位置情報を特定する特定部と、を有する。【選択図】図５

Description

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。

百貨店やスーパーマーケットなどの店舗では、顧客のニーズに応えるとともに販売効率を高めるために、監視領域内の顧客の位置情報に注目し、所定の領域にいる顧客の状況を把握する試みが行われている。例えば、購買行動を顧客別に調査できるように、顧客が店舗における自分の位置を識別できるようにする技術が知られている（例えば、特許文献１）。

また、買い物カゴに収容された商品の商品点数をカウントする検知装置が、商品点数の通知と同時に光を発することで、情報提供装置において撮影画像内の発光箇所から買い物カゴの位置を特定する技術が知られている（例えば、特許文献２）。

特開２００２−１３３５１５号公報 特開２０１１−９６１４０号公報

特許文献１では、床面の色の違いにより顧客の位置の変化が検出される。しかしながら、店舗内では演出のために様々な色の光源を使用するため、照明によっては同一の色であっても、カメラが撮影した画像では異なる色と認識されることがある。この場合、店舗内の顧客がいる位置とは異なる誤った位置情報が収集されることがある。

また、特許文献１では、外部光源による色の変化に対し頑強であるためには、隣接する区画で色をある程度大きく変える必要がある。これは顧客の位置特定のために使用可能な色の数を制限し、取得する位置情報の粒度を大きくする。その結果、特許文献１では、顧客の位置情報を正確に取得することが困難になる場合がある。

特許文献２では、買い物カゴが発光する光を天井のカメラで検知する。このため、カートや買い物カゴ以外の発光源から光が発せられると、店舗内の顧客がいる位置とは異なる誤った位置情報が収集されることがある。また、特許文献２では、天井のカメラまで届く光を発光させる必要があるため、大きな容量を持つバッテリが必要になる。

そこで、一側面では、本発明は、移動体の正確な位置情報を得ることを目的とする。

一つの案では、複数の移動体と、前記複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、前記複数の移動体のそれぞれは、異なるテクスチャパターンが付された監視領域内の床面のうち、各移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から特徴量を抽出する抽出部と、抽出した前記特徴量を送信する送信部と、を有し、前記情報処理装置は、前記特徴量を受信する受信部と、特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する特定部と、を有する情報処理装置が提供される。

一側面によれば、移動体の正確な位置情報を得ることができる。

第１実施形態にかかる情報処理システムの全体構成の一例を示す図。 第１実施形態にかかるカゴのハードウェア構成と床面の一例を示す図。 第１及び第２実施形態にかかる情報処理装置のハードウェア構成の一例を示す図。 第１及び第２実施形態にかかるカゴの機能構成の一例を示す図。 第１実施形態にかかる情報処理装置の機能構成の一例を示す図。 第１実施形態にかかる特徴量データベースの一例を示す図。 第１実施形態にかかる位置記録データベースの一例を示す図。 第１実施形態にかかる抽出処理の一例を示すフローチャート。 第１実施形態にかかる抽出内容の一例を示す図。 第１実施形態にかかる位置情報算出処理の一例を示すフローチャート。 第１及び第２実施形態にかかる混雑度算出処理の一例を示すフローチャート。 第１及び第２実施形態にかかるエントリ削除処理の一例を示すフローチャート。 第１及び第２実施形態にかかる待ち人数算出処理の一例を示すフローチャート。 第２実施形態にかかる情報処理システムの全体構成の一例を示す図。 第２実施形態にかかるカゴのハードウェア構成と床面の一例を示す図。 第２実施形態にかかる情報処理装置の機能構成の一例を示す図。 第２実施形態にかかる位置対応テーブルの一例を示す図。 第２実施形態にかかる抽出処理の一例を示すフローチャート。 第２実施形態にかかる抽出内容の一例を示す図。 第２実施形態にかかる位置情報算出処理の一例を示すフローチャート。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜第１実施形態＞
［情報処理システムの全体構成］
まず、本発明の第１実施形態に係る情報処理システム１の全体構成について、図１を参照しながら説明する。図１は、第１実施形態に係る情報処理システム１の構成例を示す。本実施形態に係る情報処理システム１は、カゴ１０ａ〜１０ｊ及び情報処理装置２０を有する。

本実施形態では、店舗内のそれぞれのカゴ１０ａ〜１０ｊが床面を撮像し、得られた画像から抽出される特徴量を情報処理装置２０に送信する。情報処理装置２０は、抽出された特徴量を受信し、前記特徴量に基づきカゴ１０ａ〜１０ｊの位置を特定する。また、情報処理装置２０は、特定したカゴ１０ａ〜１０ｊの位置に基づきレジＲ１〜Ｒ３付近のユーザの状況を示す情報を算出し、その情報を電光掲示板等の表示装置１０２ａ〜１０２ｃ（総称して、「表示装置１０２」ともいう。）を用いて店舗内のユーザに提示する。本実施形態では、表示装置１０２ａ〜１０２ｃは、レジＲ１〜Ｒ３に一対一に対応して設置されているが、表示装置１０２の設置場所は、これに限らない。

ユーザの状況を示す情報は、例えば、店舗内の監視領域Ｖに設けられた区間ＴＰ１，ＴＰ２、ＴＰ３（総称して、「区間ＴＰ」ともいう。）のそれぞれにおけるユーザの待ち時間でもよいし、区間ＴＰのそれぞれに存在するユーザの人数であってもよい。ユーザの状況を示す情報は、各区間ＴＰのユーザの混雑度を比較した結果（例えば、混雑を高、中、低で示す等）であってもよい。

カゴ１０ａ〜１０ｊ（総称して、「カゴ１０」ともいう。）は、複数の移動体の一例である。複数の移動体は、ユーザの移動とともに移動する。移動体は、カゴ１０に限らず、カートやユーザが所持する携帯端末であってもよい。

情報処理装置２０は、複数の移動体と通信可能なコンピュータであって、店舗内に配置されてもよいし、店舗外に配置されてもよい。情報処理装置２０は、店舗内のカゴ１０とネットワークを介して接続されるサーバ、その他のクラウド上のサーバによって実現され得る。

店舗内の監視領域Ｖに設けられた各区間ＴＰ１〜ＴＰ３は、レジＲ１〜Ｒ３に一対一に対応して設けられ、ユーザが各レジを待つ領域となっている。つまり、各区間ＴＰ１〜ＴＰ３は、レジＲ１〜Ｒ３での精算のために、ユーザの待ち行列が発生する領域である。区間ＴＰ１〜ＴＰ３のそれぞれの床面には、区間毎に固有のテクスチャパターンが印刷されている。つまり、区間ＴＰ１〜ＴＰ３のそれぞれの床面には、異なるテクスチャパターンが付されている。

なお、本実施形態では、レジＲ１〜Ｒ３の周りの区間ＴＰ１〜ＴＰ３の床面に対して異なるテクスチャパターンが付されているが、これに限らず、例えばレジ以外の監視領域Ｖ内の複数のコーナーに対してそれぞれ異なるテクスチャパターンを付してもよい。その場合、各コーナーの特徴となるテクスチャパターンを用いて、例えば、野菜コーナーには、野菜のテクスチャパターンを付し、フルーツコーナーには、フルーツのテクスチャパターンを付してもよい。

［カゴのハードウェア構成］
カゴ１０は、図２に一例を示すように、カゴ本体１１、カメラ１２、マイコン１３及び通信装置１４を有する。カゴ本体１１の内部には、商品が納められる。カメラ１２は、カゴ本体１１の裏面に設置されており、カゴ本体１１の下側の床面を撮影可能なようになっている。図２では、カメラ１２は、区間ＴＰ内のカゴ１０の下の領域Ａｒの床面Ｓを撮影する。これにより、カメラ１２は、カゴ１０自身が存在する位置を含む床面Ｓのテクスチャパターンを撮影する。撮影した画像は、マイコン１３に送信される。

マイコン１３は、カゴ本体１１に取り付けられるか又はカゴ本体１１に内蔵され、カメラ１２が撮影したテクスチャパターンの画像から一つ以上の特徴点およびその特徴点における特徴量を算出する。特徴量は、本実施形態において特に限定されないが、例えば、ＳＩＦＴ特徴量（スケールと回転に不変な特徴量）を用いてもよい。ＳＩＦＴ特徴量は、一般に多次元の量として表現される。ＳＩＦＴ特徴量に関する参考文献としては、「ディジタル画像処理（改訂新版）第１１章３、４」が挙げられる。

抽出した一つ以上の特徴量は、通信装置１４に送信される。通信装置１４は、情報処理装置２０との無線通信を行い、算出した特徴量を情報処理装置２０に送信する。通信装置１４は、一つ以上の特徴量を、カゴ１０の識別番号及び特徴量の数と合わせて情報処理装置２０へ送信する。

カゴ１０に替えてカートを使用する場合、カメラ１２はカートの裏面に設置される。ユーザが所持する携帯端末を使用する場合、カゴ又はカートには、携帯端末の設置場所が用意される。ユーザが、携帯端末のカメラを床面に向けてカゴ又はカートの設置場所に置くことで、汎用性のあるカゴ又はカートを使用して携帯端末の通信機能、演算機能、撮像機能により、図２に示すカゴ１０と同様に情報処理装置２０とのデータの送受信を行うことができる。

［情報処理装置のハードウェア構成］
情報処理装置２０は、図３に一例を示すように、入力装置１０１、表示装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（Read Only Memory）１０５、ＣＰＵ（Central Processing Unit）１０６、通信装置１０７、及びＨＤＤ（Hard Disk Drive）１０８などを備え、それぞれがバスＢで相互に接続されている。

入力装置１０１は、キーボードやマウスなどを含み、情報処理装置２０に各操作信号を入力するために用いられる。表示装置１０２は、ディスプレイなどを含み、各区間におけるユーザの混雑度等のユーザの状況に関する情報、その他の処理結果を表示する。通信装置１０７は、情報処理装置２０をネットワークに接続し、カゴ１０やその他の機器とデータを送受信する。

ＨＤＤ１０８は、プログラムやデータを格納している不揮発性の記録装置である。格納されるプログラムやデータには、情報処理装置２０の全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。例えば、ＨＤＤ１０８には、各種のデータベースやプログラム等が格納されてもよい。

外部Ｉ／Ｆ１０３は、外部装置とのインターフェースである。外部装置には、記録媒体１０３ａなどがある。これにより、情報処理装置２０は、外部Ｉ／Ｆ１０３を介して記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０３ａには、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

ＲＯＭ１０５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記録装置）である。ＲＯＭ１０５には、ネットワーク設定等のプログラム及びデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記録装置）である。ＣＰＵ１０６は、上記記録装置（例えば「ＨＤＤ１０８」や「ＲＯＭ１０５」など）から、プログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。

［カゴの機能構成］
次に、第１実施形態に係るカゴ１０の機能構成の各装置の機能構成について、図４を参照しながら説明する。カゴ１０は、撮像部１６、抽出部１７及び送信部１８の各ブロックで示される機能を有する。

撮像部１６は、異なるテクスチャパターンが付された監視領域内のカゴ１０の下に位置する床面を撮像する。よって、撮像された床面の画像は、カゴ１０が存在する位置に描かれたテクスチャパターンを含む。

抽出部１７は、撮像した床面の画像のテクスチャパターンから特徴点及び各特徴点の特徴量を抽出する。送信部１８は、抽出した特徴点の数、特徴量、カゴの識別情報であるカゴＩＤを送信する。

なお、撮像部１６の機能は、例えばカメラ１２により実現される。抽出部１７の機能は、例えばマイコン１３により実現される。送信部１８の機能は、例えば通信装置１４により実現される。

また、図４は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。

［情報処理装置の機能構成］
次に、第１実施形態に係る情報処理装置２０の機能構成について、図５を参照しながら説明する。情報処理装置２０は、通信部２１、特定部２２、記録部２３、算出部２４及び表示制御部２５の各ブロックで示される機能を有する。

通信部２１は、複数のカゴ１０からカゴＩＤ、特徴点の数及び特徴量を受信する。特定部２２は、特徴量ＤＢ２３１を参照して、受信した特徴量に対応する監視領域Ｖ内の位置情報を特定する。これにより、カゴ１０の正確な位置情報を得ることができる。

ユーザの正確な位置情報を示す座標の特定方法の一例について説明する。特定部２２は、それぞれの特徴量に対応する座標が得られた場合、その重心の座標をカゴ１０の存在する座標と判定する。もしくは、特定部２２は、座標に対して階層的クラスタリングを実施し、もっとも多くの要素を含んでいるクラスの重心座標をカゴ１０の存在する座標と判定する。座標の特定方法に関する参考文献としては、「ディジタル画像処理（改訂新版）第１２章４−２」が挙げられる。

記録部２３は、特徴量ＤＢ２３１及び位置記録ＤＢ２３２を記録する。図６は、第１実施形態にかかる特徴量ＤＢ２３１の一例を示す。特徴量ＤＢ２３１には、座標２３１ａと対応させて特徴量（本実施形態では、ＳＩＦＴ特徴量）２３１ｂが記録される。これにより、特徴量２３１ｂの値から、店舗内のカゴ１０の座標２３１ａを得ることができる。カゴ１０の存在する座標が、ユーザの位置情報の一例に相当する。

図７は、第１実施形態にかかる位置記録ＤＢ２３２の一例を示す。位置記録ＤＢ２３２には、カゴＩＤ２３２ａに対応させて座標２３２ｂ及び時刻情報２３２ｃが記録される。これにより、カゴＩＤ２３２ａにより識別されるカゴを持つユーザがどの時刻にどの位置にいるかを知ることができる。

図５に戻り、算出部２４は、特定された座標に基づき、監視領域Ｖ内のユーザの状況を示す情報を算出する。例えば、算出部２４は、監視領域Ｖ内の各区画ＴＰにおけるユーザの混雑状況を算出する。

表示制御部２５は、ユーザの混雑状況を示す情報を表示装置１０２に表示させる。表示制御部２５は、ユーザの混雑状況を示す情報の一例として各区画のユーザの混雑度を表示させてもよい。図１では、レジＲ１，Ｒ２，Ｒ３を待つユーザの混雑度を示す一例である「待ち時間」を表示装置１０２ａ〜表示装置１０２ｃに表示させている。ただし、ユーザの状況を示す情報の表示は、これに限らず、各区間に存在するユーザの人数、各区間の単位面積当たりのユーザの人数及び各区間のユーザの滞在時間の平均値等を表示させてもよい。ユーザの状況を示す情報は、各区間を比較した結果得られる、各区間の混雑度のレベルであってもよい。この場合、図１の例では、表示装置１０２ａには、待ち時間「高」が表示され、表示装置１０２ｂ、１０２ｃには、待ち時間「中」が表示されてもよい。

なお、通信部２１の機能は、例えば通信装置１０７により実現される。特定部２２、算出部２４及び表示制御部２５の機能は、記録部２３として機能するＲＡＭ１０４、ＲＯＭ１０５及びＨＤＤ１０８等の記録装置にインストールされた情報処理プログラムが、ＣＰＵ１０６に実行させる処理により実現される。なお、特徴量ＤＢ２３１及び位置記録ＤＢ２３２の各データは、情報処理装置２０の内部に格納されてもよいし、情報処理装置２０とネットワークを介して接続されるサーバ、その他のクラウド上のサーバ等に格納され得る。

また、図５は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。

［抽出処理］
次に、第１実施形態に係る抽出処理について図８を参照して説明する。本処理が開始されると、撮像部１６は、所定時間が経過するまで待機する（ステップＳ１０）。次に、撮像部１６は、カメラ１２を起動し、その時点における床面を撮影する（ステップＳ１２）。次に、抽出部１７は、カメラ１２が撮影した床面の画像から特徴点を抽出する（ステップＳ１４）。次に、抽出部１７は、抽出したそれぞれの特徴点の特徴量を抽出する（ステップＳ１６）。次に、送信部１８は、カゴ１０毎に付与されたカゴＩＤ、抽出した特徴点の数及び抽出した特徴量を情報処理装置２０へ送信し（ステップＳ１８）、本処理を終了する。

以上の処理により、カゴ１０から情報処理装置２０へ送信される情報の一例を図９に示す。図９の例では、カゴＩＤ、特徴点の数及び各特徴点の特徴量１〜４の情報が、カゴ１０から情報処理装置２０へ送信されたことを示す。

［位置情報算出処理］
次に、第１実施形態に係る位置情報算出処理について図１０を参照して説明する。本位置情報算出処理は、カゴ１０から受信した特徴量のそれぞれに対して、最も距離が近い特徴量を有する座標を抽出する。ただし、ここでは、最短の距離を持つ座標の取得及び特徴量同士の距離の算出方法について具体的に説明するが、これは一例であり、ここに示した以外の方法を用いても位置情報を算出することが可能である。

本処理が開始されると、通信部２１は、初めに、カゴ１０から送信された特徴量のうちの一つを受信し、受信した値を特徴量Ｆｃに格納する（ステップＳ２０）。次に、特定部２２は、特徴量間の距離の最小値を格納する変数ｄｍｉｎを予め定められた最大値に設定する（ステップＳ２２）。次に、特定部２２は、特徴量Ｆｃに最も近い特徴量を持つ（つまり、最も距離が短い）最短の座標Ｐｍｉｎを初期化する（ステップＳ２４）。

次に、特定部２２は、特徴量ＤＢ２３１に基づき、特徴量ＤＢ２３１に格納されたすべての特徴量の要素について、ステップＳ３０〜ステップＳ３８の処理を実行したかを判定する（ステップＳ２６）。特定部２２は、この時点で、特徴量ＤＢ２３１に格納されたすべての特徴量の要素について、ステップＳ３０〜ステップＳ３８の処理の実行を完了していない。よって、特定部２２は、ステップＳ３０に進み、特徴量ＤＢ２３１に格納された一つの特徴量Ｆ（図６の特徴量２３１ｂ）とその特徴量に対応して特徴量ＤＢ２３１に記録された座標Ｐ（図６の座標２３１ａ）とを読み込む。

特定部２２は、特徴量ＤＢ２３１に格納された一つの特徴量Ｆと特徴量Ｆｃとを比較し、特徴量Ｆと特徴量Ｆｃとの距離ｄｃを算出する（ステップＳ３２）。特定部２２は、特徴量の距離をユークリッド距離を用いて算出する。

次に、特定部２２は、距離ｄｃが距離の最小値ｄｍｉｎよりも小さいか否かを判定する（ステップＳ３４）。特定部２２は、距離ｄｃが距離の最小値ｄｍｉｎよりも小さいと判定した場合、座標Ｐｍｉｎを座標Ｐの値に更新し（ステップＳ３６）、距離の最小値ｄｍｉｎを距離ｄｃの値に更新し（ステップＳ３８）、ステップＳ２６の処理に戻る。ステップＳ３４において、特定部２２は、距離ｄｃが距離の最小値ｄｍｉｎ以上であると判定した場合、直ちにステップＳ２６に戻る。

特定部２２は、特徴量ＤＢ２３１に格納されたすべての特徴量の要素についてのステップＳ３０〜ステップＳ３８の処理を実行したと判定するまで、ステップＳ３０〜ステップＳ３８の処理を繰り返す。特定部２２は、特徴量ＤＢ２３１に格納されたすべての特徴量の要素についてのステップＳ３０〜ステップＳ３８の処理を実行したと判定した場合、座標Ｐｍｉｎをカゴの位置情報と特定して、座標Ｐｍｉｎを出力する（ステップＳ４０）。

次に、算出部２４は、混雑度算出処理を実行する（ステップＳ４２）。算出部２４は、特定部２２からカゴＩＤとカゴの座標Ｐとを受信すると、レジＲ１〜Ｒ３のそれぞれにおいて精算を待っているカゴの数を算出し、それぞれの区画ＴＰ１〜ＴＰ３の最後尾にいるユーザの待ち時間の推定値を算出する。表示制御部２５は、算出した待ち時間をレジＲ１〜Ｒ３のそれぞれに対応する表示装置１０２ａ〜１０２ｃに転送し、各表示装置１０２ａ〜１０２ｃに表示させる。この結果、図１に示す表示装置１０２ａ〜１０２ｃには、算出した待ち時間の推定値が表示される。

（混雑度算出処理）
図１１は、混雑度算出処理の一例を示す。算出部２４は、所定時間Ｔｐが経過するまで待機する（ステップＳ４３）。次に、算出部２４は、位置記録ＤＢ２３２を参照し、現在時刻よりも所定時間Ｔｄより前のエントリを削除する処理を実行する（ステップＳ４４）。次に、算出部２４は、再び位置記録ＤＢ２３２の内容を検索し、待ち行列毎の人数を算出する処理を実行する（ステップＳ４５）。次に、通信部２１は、算出した待ち行列毎の人数を表示装置１０２へ送信し（ステップＳ４６）、本処理を終了する。

（エントリ削除処理）
図１１のステップＳ４４において呼び出されるエントリ削除処理の一例を図１２に示す。本処理では、算出部２４は、初めに現在の時刻Ｔを設定する（ステップＳ５０）。次に、算出部２４は、位置記録ＤＢ２３２を走査し、位置記録ＤＢ２３２に記録されたすべてのエントリ（図７では３エントリが示されている）を処理したか否かを判定する（ステップＳ５２）。算出部２４は、位置記録ＤＢ２３２から処理していないエントリを一つずつ取得し（ステップＳ５４）、現在の時刻Ｔからエントリ時刻を減算した結果が所定の時間Ｔｄよりも大きいか否かを判定する（ステップＳ５６）。算出部２４は、現在の時刻Ｔからエントリ時刻を減算した結果が所定の時間Ｔｄよりも大きい場合、所定の時間Ｔｄより前に記録されたエントリであると判定し、記録部２３は、そのエントリ（のカゴＩＤ２３２ａ、座標２３２ｂ及び時刻情報２３２ｃ）を、位置記録ＤＢ２３２から削除し（ステップＳ５８）。ステップＳ５２に戻る。算出部２４は、現在の時刻Ｔからエントリ時刻を減算した結果が所定の時間Ｔｄ以下である場合、現在の時刻Ｔから所定の時間Ｔｄ前より後に記録されたエントリであると判定し、直ちにステップＳ５２に戻る。

ステップＳ５２において、算出部２４は、位置記録ＤＢ２３２に記録された全てのエントリについて、ステップＳ５４〜Ｓ５８の処理を実行したと判定した場合、本処理を終了する。

（待ち人数算出処理）
図１１のステップＳ４５において呼び出される待ち人数算出処理の一例を図１３に示す。本処理では、まず、算出部２４は、フラグの初期化を行う（ステップＳ６０）。具体的には、算出部２４は、フラグ＿１、フラグ＿２、・・・、フラグ＿（最大カゴＩＤ）をFALSEに初期化する。ここでは、カゴ１０には、１番から昇順にカゴＩＤが付されている。

次に、算出部２４は、待ち行列人数＿０を「０」に初期化する（ステップＳ６２）。次に、算出部２４は、待ち行列人数＿１、待ち行列人数＿２、・・・、待ち行列人数＿（待ち行列の数）を「０」に初期化する（ステップＳ６４）。ここでは、待ち行列人数の番号は、区間ＴＰ毎に１番から昇順に番号が付されている。

次に、算出部２４は、位置記録ＤＢ２３２に記録されたすべてのエントリ（図７参照）を走査する（ステップＳ６６）。算出部２４は、位置記録ＤＢ２３２からエントリを一つずつ取得し（ステップＳ６８）、フラグ＿（取得したエントリのカゴＩＤ）がＦＡＬＳＥであるか否かを判定する（ステップＳ７０）。算出部２４は、フラグ＿（取得したエントリのカゴＩＤ）がＦＡＬＳＥであると判定した場合、フラグ＿（取得したエントリのカゴＩＤ）をＴｒｕｅに設定する（ステップＳ７２）。次に、算出部２４は、エントリの位置情報（すなわち、図１０のステップＳ４０において出力された座標Ｐ）から待ち行列の番号を取得する（ステップＳ７４）。例えば、図１では、座標Ｐが、区間ＴＰ１に含まれる場合、算出部２４は、待ち行列の番号「Ｎｏ．１」を得る。次に、算出部２４は、待ち行列人数＿（待ち行列の番号）に「１」を加算し（ステップＳ７６）、ステップＳ６６に戻る。

なお、ステップＳ７４において、算出部２４は、座標Ｐがどの待ち行列にも対応付けられない場合、特殊な番号として待ち行列人数＿０を使用し、待ち行列人数＿０に「１」を加算し、ステップＳ６６に戻る。

ステップＳ７０において、フラグ＿（取得したエントリのカゴＩＤ）がＦＡＬＳＥでないと判定した場合、直ちにステップＳ６６に戻る。なお、一つのカゴ１０を重複して複数回加算してしまわないように、既に算出したカゴＩＤに対応するフラグ（カゴＩＤで番号付けしたフラグ（フラグ_１、フラグ_２、・・・））には「Ｔｒｕｅ」が設定される。また、カゴ１０が位置情報（座標Ｐ）を送信する間隔は、所定時間Ｔｄよりも長くし、現在時刻より所定時間Ｔｄ前のエントリを削除した時点で同じカゴＩＤを持つエントリが現れないようにすれば、このようなフラグ管理は不要である。

ステップＳ６６において、算出部２４は、位置記録ＤＢ２３２に記録された全てのエントリについて、ステップＳ６６〜Ｓ７６の処理を実行したと判定した場合、本処理を終了する。

以上に説明したように、第１実施形態に係る情報処理システム１によれば、カゴ１０は、カゴ１０が位置する床面を撮像したテクスチャパターンの画像から特徴量を抽出し、情報処理装置２０に送信する。情報処理装置２０は、特徴量を受信し、特徴量ＤＢ２３１を参照して、監視領域Ｖ内のカゴ１０の位置（座標Ｐ）を算出する。これにより、異なるテクスチャパターンの画像から抽出した特徴量に基づき、ユーザの正確な位置情報を特定できる。これにより、監視領域Ｖ内の各区画ＴＰに存在するユーザの混雑度を算出することができる。これにより、監視領域Ｖ内のユーザの状況を把握することができる。
＜第２実施形態＞
［情報処理システムの全体構成］
次に、本発明の第２実施形態に係る情報処理システム１の全体構成について、図１４を参照しながら説明する。図１４は、第２実施形態に係る情報処理システム１の構成例を示す。本実施形態に係る情報処理システム１は、カゴ１０ａ〜１０ｊ及び情報処理装置２０を有する。本実施形態では、情報処理装置２０は、店舗内のそれぞれのカゴ１０ａ〜１０ｊの位置情報を取得し、レジＲ１〜Ｒ３付近の混雑情報を収集する。情報処理装置２０は、収集した混雑情報に基づき、店舗内のレジＲ１〜Ｒ３のうち、混雑しているレジ、そうでないレジを判別し、その情報を電光掲示板等の表示装置１０２ａ〜１０２ｃに表示して、店舗内の顧客に提示する。

第１実施形態に係る情報処理システム１と異なる点は、第２実施形態に係る情報処理システム１では、区画ＴＰ１〜ＴＰ３の監視領域Ｖの床面に、位置情報に対応した情報を含む符号化パターンＣ１、Ｃ２、Ｃ３、・・・（総称して、「符号化パターンＣ」ともいう。）が点在して付されている点である。本実施形態では、区画ＴＰ１〜ＴＰ３を区別するパターンの一例として符号化パターンＣが用いられる。符号化パターンＣは、監視領域Ｖ内の符号化パターンが付された位置に対応するコード情報を含む情報を符号化したものである。符号化パターンＣの一例としては、バーコード又はＱＲ（Quick Response）コードが挙げられるが、符号化の形式は限定されるものではなく、様々な形式を使用できる。

なお、本実施形態に係るカゴ１０のハードウェア構成、情報処理装置２０のハードウェア構成及びカゴ１０の機能構成は、第１実施形態と同様であるため説明を省略し、以下では、カゴ１０が撮影する床面及び情報処理装置２０の機能構成について説明する。

［カゴが撮影する床面］
本実施形態に係るカゴ１０は、図１５に一例を示すように、カゴ本体１１、カメラ１２、マイコン１３及び通信装置１４を有し、第１実施形態のカゴ１０の構成と同一である。図１５では、カメラ１２は、区間ＴＰ内のカゴ１０の下の領域Ａｒの床面Ｓを撮影する。これにより、区間ＴＰに付された符号化パターンＣの画像が撮影される。撮影された符号化パターンＣの画像は、マイコン１３に送信される。

マイコン１３は、画像中の符号化パターンＣに埋め込まれたコード情報を抽出する。通信装置１４は、情報処理装置２０との無線通信を行い、抽出したコード情報を情報処理装置２０に送信する。

符号化パターンＣに埋め込まれたコード情報は、カゴ１０の位置情報に対応する。つまり、コード情報は、店舗内の監視領域Ｖの座標と対応する情報であり、本実施形態では数値の情報である。このコード情報は、情報処理装置２０にて監視領域Ｖ内の座標に変換される。

コード情報に替えて、直接、監視領域Ｖ内の座標を符号化パターンＣに埋め込む方法も考えられる。この場合、情報処理装置２０において、座標からカゴ１０の位置情報を変換する処理が不要となる。一方、監視領域Ｖ内の座標が埋め込まれた符号化パターンＣを床面に付する際、符号化パターンＣを貼り付けた位置と、符号化パターンＣに埋め込まれた座標とが正確に一致するように、位置合わせを行う必要がある。このような正確な位置合わせは手間がかかることが予想される。このため、本実施形態では、パターンＣを貼り付けた位置情報とパターンＣに埋め込まれた座標との対応関係を示す位置対応テーブル２３３が、記録部２３に記録されている。これにより、本実施形態では、パターンＣを貼り付けた店舗内の位置情報と、パターンＣに埋め込まれた位置情報に対応するコード情報とが対応付けられるため、カゴ１０の正確な位置を特定できる。

［情報処理装置の機能構成］
図１６は、第２実施形態に係る情報処理装置２０の機能構成の一例を示す。記録部２３に記録されている位置対応テーブル２３３は、図１７に示すように、コード情報２３３ａと対応付けて座標２３３ｂが記録されている。これにより、特定部２２は、カゴ１０から受信したコード情報に対応する座標を特定する。

［抽出処理］
次に、第２実施形態に係る抽出処理について図１８を参照して説明する。本処理が開始されると、撮像部１６は、所定時間が経過するまで待機する（ステップＳ８０）。次に、撮像部１６は、カメラ１２を起動し、その時点における床面を撮影する（ステップＳ８２）。次に、抽出部１７は、カメラ１２が撮影した床面の画像中の符号化パターンＣから位置情報に対応するコード情報を抽出する（ステップＳ８４）。次に、送信部１８は、カゴ１０毎に付与されたカゴＩＤ及び抽出した位置情報に対応するコード情報を情報処理装置２０へ送信し（ステップＳ８６）、本処理を終了する。

以上の処理により、カゴ１０から情報処理装置２０へ送信される情報の一例を図１９に示す。図１９の例では、カゴＩＤ及び位置情報に対応するコード情報が、カゴ１０から情報処理装置２０へ送信される。

［位置情報算出処理］
次に、第２実施形態に係る位置情報算出処理について図２０を参照して説明する。本処理が開始されると、通信部２１は、初めに、カゴ１０から送信されたカゴＩＤ及び位置情報に対応するコード情報を受信する（ステップＳ９０）。次に、特定部２２は、位置対応テーブル２３３を参照して、コード情報に対応する座標を特定し、出力する（ステップＳ９２）。特定した座標は、カゴＩＤにより識別されるカゴ１０の位置を示す。

次に、算出部２４は、混雑度算出処理を実行する（ステップＳ９４）。混雑度算出処理については、第１実施形態と同様であるため、ここでは説明を省略する。

算出部２４は、特定部２２が特定した座標を受信すると、レジＲ１〜Ｒ３のそれぞれに対応する区画ＴＰ１〜ＴＰ３おいて精算を待っているカゴの数を算出し、それぞれの区画ＴＰ１〜ＴＰ３の最後尾にいるユーザの待ち時間の推定値を算出する。表示制御部２５は、算出した待ち時間をレジＲ１〜Ｒ３のそれぞれに対応する表示装置１０２ａ〜１０２ｃに転送し、各表示装置１０２ａ〜１０２ｃに表示させる。これにより、図１４に示すように、各表示装置１０２ａ〜１０２ｃには、算出した待ち時間の推定値が表示される。

以上に説明したように、第２実施形態に係る情報処理システム１によれば、カゴ１０は、カゴ２０の下の床面を撮像した画像中の符号化パターンＣから、コード情報を抽出し、情報処理装置２０に送信する。情報処理装置２０は、コード情報を受信し、位置対応テーブル２３３を参照して、コード情報に対応する座標を算出する。算出した座標から、各区画に存在するユーザの混雑状況を推定することができる。

以上、情報処理システム、情報処理方法及び情報処理プログラムを上記実施形態により説明したが、本発明にかかる情報処理システム、情報処理方法及び情報処理プログラムは、上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、本発明に係る情報処理システムは、店舗に限らず、イベント会場や学校や施設の食堂やその他のユーザが集まるあらゆる場所に適用可能である。本発明に係る情報処理システムによれば、特定の場所を複数の区間に分けて各区間のユーザの状況を収集することができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
複数の移動体と、前記複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、
前記複数の移動体のそれぞれは、
異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から特徴量を抽出する抽出部と、
抽出した前記特徴量を送信する送信部と、を有し、
前記情報処理装置は、
前記特徴量を受信する受信部と、
特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する特定部と、を有する、
情報処理システム。
（付記２）
複数の移動体と、前記複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、
前記複数の移動体のそれぞれは、
監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像からコード情報を抽出する抽出部と、
抽出した前記コード情報を送信する送信部と、を有し、
前記情報処理装置は、
前記コード情報を受信する受信部と、
コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する特定部と、を有する、
情報処理システム。
（付記３）
特定した前記監視領域内の位置情報に応じて前記監視領域内のユーザの状況を示す情報を算出する算出部を有する、
付記１又は２に記載の情報処理システム。
（付記４）
算出した前記監視領域内のユーザの状況を示す情報に基づき、前記監視領域内の複数の区画のそれぞれのユーザの状況を表示させる表示制御部を有する、
付記３に記載の情報処理システム。
（付記５）
複数の移動体のそれぞれから、異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から抽出した特徴量を受信し、
特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する、
処理をコンピュータが実行する情報処理方法。
（付記６）
複数の移動体のそれぞれから、監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像から抽出したコード情報を受信し、
コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する、
処理をコンピュータが実行する情報処理方法。
（付記７）
特定した前記監視領域内の位置情報に応じて前記監視領域内のユーザの状況を示す情報を算出する、
付記５又は６に記載の情報処理方法。
（付記８）
算出した前記監視領域内のユーザの状況を示す情報に基づき、前記監視領域内の複数の区画のそれぞれのユーザの状況を表示させる、
付記７に記載の情報処理方法。
（付記９）
複数の移動体のそれぞれから、異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から抽出した特徴量を受信し、
特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する、
処理をコンピュータに実行させるための情報処理プログラム。
（付記１０）
複数の移動体のそれぞれから、監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像から抽出したコード情報を受信し、
コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する、
処理をコンピュータに実行させるための情報処理プログラム。
（付記１１）
特定した前記監視領域内の位置情報に応じて前記監視領域内のユーザの状況を示す情報を算出する、
付記９又は１０に記載の情報処理方法。
（付記１２）
算出した前記監視領域内のユーザの状況を示す情報に基づき、前記監視領域内の複数の区画のそれぞれのユーザの状況を表示させる、
付記１１に記載の情報処理方法。

１ 情報処理システム
１０ カゴ
１２ カメラ
１３ マイコン
１４ 通信装置
１６ 撮像部
１７ 抽出部
１８ 送信部
２０ 情報処理装置
２１ 通信部
２２ 特定部
２３ 記録部
２４ 算出部
２５ 表示制御部
１０２ 表示装置
２３１ 特徴量ＤＢ
２３２ 位置記録ＤＢ
２３３ 位置対応テーブル
Ｖ 監視領域

Claims (8)

1. 複数の移動体と、前記複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、
   前記複数の移動体のそれぞれは、
   異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から特徴量を抽出する抽出部と、
   抽出した前記特徴量を送信する送信部と、を有し、
   前記情報処理装置は、
   前記特徴量を受信する受信部と、
   特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する特定部と、を有する、
   情報処理システム。
2. 複数の移動体と、前記複数の移動体と通信可能な情報処理装置とを有する情報処理システムであって、
   前記複数の移動体のそれぞれは、
   監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像からコード情報を抽出する抽出部と、
   抽出した前記コード情報を送信する送信部と、を有し、
   前記情報処理装置は、
   前記コード情報を受信する受信部と、
   コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する特定部と、を有する、
   情報処理システム。
3. 特定した前記監視領域内の位置情報に応じて前記監視領域内のユーザの状況を示す情報を算出する算出部を有する、
   請求項１又は２に記載の情報処理システム。
4. 算出した前記監視領域内のユーザの状況を示す情報に基づき、前記監視領域内の複数の区画のそれぞれのユーザの状況を表示させる表示制御部を有する、
   請求項３に記載の情報処理システム。
5. 複数の移動体のそれぞれから、異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から抽出した特徴量を受信し、
   特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する、
   処理をコンピュータが実行する情報処理方法。
6. 複数の移動体のそれぞれから、監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像から抽出したコード情報を受信し、
   コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する、
   処理をコンピュータが実行する情報処理方法。
7. 複数の移動体のそれぞれから、異なるテクスチャパターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像したテクスチャパターンの画像から抽出した特徴量を受信し、
   特徴量と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記特徴量に対応する前記監視領域内の位置情報を特定する、
   処理をコンピュータに実行させるための情報処理プログラム。
8. 複数の移動体のそれぞれから、監視領域内の位置に対応するコード情報を含む情報の符号化パターンが付された監視領域内の床面のうち、自移動体が存在する位置を含む床面を撮像した符号化パターンの画像から抽出したコード情報を受信し、
   コード情報と前記監視領域内の位置情報とを対応付けた記録部を参照して、受信した前記コード情報に対応する前記監視領域内の位置情報を特定する、
   処理をコンピュータに実行させるための情報処理プログラム。

Images