JP2016219990A - 位置推定システム、位置推定方法及びプログラム - Google Patents

Abstract

【課題】ユーザによる煩雑な処理を要することなく、かつ簡易な構成で、屋内及び屋外に関わらず、高精度にオブジェクトの位置を推定する位置推定システム、位置推定方法及びプログラムを提供する。
【解決手段】位置推定の対象者（顧客）Ａが装着又は携帯する第１の顧客端末１１０と、対象者Ａの位置を推定する位置推定装置とを備える位置推定システムであって、第１の顧客端末１１０は、撮影可能情報を出力する出力手段を有し、位置推定装置は、撮影可能情報の画像を含む撮影画像における撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定手段を有する。
【選択図】図１

Description

本発明は、位置推定システム、位置推定方法及びプログラムに関する。

従来、監視カメラに代表される監視システムが知られている。監視システムは、迷子検知、不審者検出等の目的の他、監視記録を用いた人物の消費行動の分析への応用にも利用されている。また、近年、ユーザの位置情報を取得することで、ユーザの現在位置に即したサービスを提供するシステムが増加している。例えば、ユーザの現在位置を取得することでその周辺の情報に絞って情報を提供するサービスが知られている。

屋外でのスマートフォン携帯機器を利用した位置情報の取得には、ＧＰＳやＷｉ−Ｆｉ、通信事業者の基地局情報が用いられている。しかしながら、これらの技術は、屋内では電波が届かないことや精度が低い等の課題があり、屋内での位置情報を利用したサービスには適さない。屋内における位置情報の推定技術としては、例えば、Ｗｉ−Ｆｉの受信信号強度を用いた位置推定が知られている。本技術では、事前にＷｉ−Ｆｉ機器のＭＡＣアドレス、受信信号強度、位置情報のデータベースを構築しておく。そして、位置推定時には、スマートフォンで受信強度を取得し、データベースの情報と照合することで現在位置を推定する。

また、特許文献１には、ＲＦＩＤタグを用いて店内での顧客の買い回り動線を収集する方法が開示されている。その仕組みは、ＲＦＩＤリーダ／ライターを付けたカートと買い物かごが売り場を通り過ぎると、ＲＦＩＤリーダ／ライターが商品ケースのコーナーの随所に設置してあるＲＦＩＤタグを読み取るというものである。そして、顧客が決済する際に、カードを提示すると該当顧客情報と動線、購買商品リスト情報がデータベースに登録される。

特許第４８７３１３３号公報

しかしながら、上述のように、データベースの情報との照合で位置推定を行う技術では、データベースの構築が手間である等、従来技術においては、特に屋内における位置情報の推定技術において改良が望まれている。

本発明はこのような問題点に鑑みなされたもので、ユーザによる煩雑な処理を要することなく、かつ簡易な構成で、屋内及び屋外に関わらず高精度に、オブジェクトの位置を推定することを目的とする。

そこで、本発明は、位置推定の対象者が装着又は携帯する第１の携帯端末と、前記対象者の位置を推定する位置推定装置とを備える位置推定システムであって、前記第１の携帯端末は、撮影可能情報を出力する出力手段を有し、前記位置推定装置は、前記撮影可能情報の画像を含む撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定手段を有することを特徴とする。

本発明によれば、ユーザによる煩雑な処理を要することなく、かつ簡易な構成で、屋内及び屋外に関わらず高精度に、オブジェクトの位置を推定することができる。

監視システムを示す図である。 監視システムのハードウェア構成を示す図である。 監視システムのソフトウェア構成を示す図である。 顧客ＤＢのデータ構成の一例を示す図である。 顧客対応処理を示すフローチャートである。 パルス信号の例を示す図である。 強調表示の一例を示す図である。 顧客対応処理における一部の処理を示すフローチャートである。 移動メッセージの表示画面の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る監視システムを示す図である。本実施形態においては、監視システムを、大規模商業施設において、顧客が自身の位置に店員を呼び出す場合に適用する例について説明する。この場合、監視システムは、顧客を位置推定の対象者とし、対象者の位置を推定し、推定結果を店員に通知する。これにより、店員は、推定結果をもとに、位置推定の対象者としての顧客のところへ行くことができる。なお、監視システムは、位置推定システムの一例である。

監視サーバ装置１００は通信回線１０２を介して、複数の監視カメラ１０３と接続され、監視空間１５０を監視している。ここで、監視サーバ装置１００は、位置推定装置の一例である。また、監視カメラ１０３は、固定式監視カメラであるものとする。また、他の例としては、監視カメラ１０３は、画角や向きの変更が可能なカメラ、雲台が移動可能なカメラであってもよい。

さらに、監視空間１５０には顧客Ａが存在している。顧客Ａは、顧客端末１１０を携帯している。顧客端末１１０は、例えば、スマートフォンやタブレット端末等の携帯端末である。顧客端末１１０は、無線通信装置１０１を介して、監視サーバ装置１００とデータの授受を行う。また、監視空間１５０には、店員Ｂが存在する。店員Ｂは、店員端末１２０を装着している。店員端末１２０は、例えば、グラス型等のウェアラブルデバイスである。店員端末１２０は、無線通信装置１０１を介して、監視サーバ装置１００とデータの授受を行う。なお、監視空間１５０に存在する顧客及び店員の数は、実施形態に限定されるものではない。

各監視カメラ１０３は、顧客Ａや、顧客Ａの所持する顧客端末１１０等を画像記録する。より具体的には、監視カメラ１０３は、動画を撮影するものとするが、他の例としては、監視カメラ１０３は、定期的に静止画を撮影することとしてもよい。

図２（ａ）は、監視サーバ装置１００のハードウェア構成を示す図である。演算部２０１は、ＣＰＵ等であり、情報処理のための演算、論理判断等を行う。演算部２０１は、システムバス２０６を介して、それらのバスに接続された各構成要素を制御する。表示部２０２は、画像情報の表示を制御するコントローラ及び液晶パネル等の出力装置である。ＵＩ部２０４は、ボタン、タッチパネル、キーボード、マウス等であり、ユーザからの指示が入力される。通信部２０５は、ＬＡＮ，３Ｇ，４Ｇ，Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術等に代表されるネットワークコントローラ等であり、他の装置との接続を制御する。通信方式は、特に限定されるものではない。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０７は、各構成要素からの各種データの一時記憶に用いられる。外部記憶部２０８は、フラッシュメモリ、ＨＤＤ、光学ディスク等の物理媒体を用い、本実施形態で実行される処理プログラム等の制御プログラムコードの他、各種設定データ、画像データ等を記憶する。

各構成要素からなる監視サーバ装置１００は、ＵＩ部２０４からの各種の入力及び通信部２０５から供給されるネットワーク経由の各種入力に応じて作動する。すなわち、ＵＩ部２０４からの入力及び通信部２０５からの入力が供給されると、まず、インタラプト信号が演算部２０１に送られる。そして、その演算部２０１が外部記憶部２０８に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御が行われる。なお、後述する監視サーバ装置１００の機能や処理は、演算部２０１が外部記憶部２０８等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２（ｂ）は、顧客端末１１０及び店員端末１２０のハードウェア構成を示す図である。顧客端末１１０及び店員端末１２０は、演算部２１１と、表示部２１２と、撮影部２１３と、ＵＩ部２１４と、通信部２１５と、バス２１６と、ＲＡＭ２１７と、外部記憶部２１８とを有している。撮影部２１３は、画像を撮影する。表示部２１２は、画像情報の表示を制御するコントローラおよび液晶パネル等の出力装置である。なお、顧客端末１１０の表示部２１２は、プロジェクタ等の出力装置を含むものとする。演算部２１１、ＵＩ部２１４、通信部２１５、バス２１６、ＲＡＭ２１７及び外部記憶部２１８は、それぞれ図２（ａ）に示す監視サーバ装置１００の演算部２０１、ＵＩ部２０４、通信部２０５、バス２０６、ＲＡＭ２０７及び外部記憶部２０８と同様である。

図３（ａ）は、監視サーバ装置１００のソフトウェア構成を示す図である。監視サーバ装置１００は、通信処理部３００と、顧客ＤＢ３０１と、ＤＢ管理部３０２と、識別コード特定部３０３と、画像特定部３０４と、顧客位置推定部３０５と、特徴量抽出部３０６と、追尾部３０７とを有している。通信処理部３００は、他の装置とのデータ通信を制御する。顧客ＤＢ３０１は、位置推定の対象となる顧客に関する情報を記憶する。ＤＢ管理部３０２は、顧客ＤＢ３０１を管理する。識別コード特定部３０３は、監視カメラ１０３により撮影され、通信処理部３００を介して受信した撮影画像に基づいて、位置推定の対象となる顧客に割り当てられた識別コードを特定する。画像特定部３０４は、撮影画像において、顧客画像を特定する。ここで、顧客画像とは、位置推定の対象となる顧客の画像である。顧客位置推定部３０５は、撮影画像中の顧客画像の位置に基づいて、実空間における顧客位置を特定する。特徴量抽出部３０６は、顧客画像の特徴量を抽出する。ここで、特徴量は、店員が顧客を特定することのできる外見上の特徴に関するものであるのが好ましい。特徴量は、例えば、顔、服装、服の色、メガネや帽子等の有無等が挙げられる。追尾部３０７は、画像特定部３０４により特定された顧客画像に基づいて、顧客の位置を追尾する。

図３（ｂ）は、顧客端末１１０のソフトウェア構成を示す図である。顧客端末１１０は、通信処理部３１０と、受付部３１１と、表示処理部３１２と、撮影可能情報生成部３１３と、出力処理部３１４とを有している。通信処理部３１０は、他の装置とのデータ通信を制御する。受付部３１１は、ユーザ、すなわち顧客からの指示を受け付ける。表示処理部３１２は、表示部２１２への表示を制御する。撮影可能情報生成部３１３は、通信処理部３１０が監視サーバ装置１００から受信した識別コードに基づいて、撮影可能情報を生成する。出力処理部３１４は、撮影可能情報の出力を制御する。

図３（ｃ）は、店員端末１２０のソフトウェア構成を示す図である。店員端末１２０は、通信処理部３２０と、受付部３２１と、表示処理部３２２と、撮影処理部３２３と、特徴領域検出部３２４と、画像処理部３２５とを有している。通信処理部３２０、受付部３２１及び表示処理部３２２は、それぞれ通信処理部３１０、受付部３１１及び表示処理部３１２と同様である。撮影処理部３２３は、店員端末１２０の撮影部２１３を制御する。特徴領域検出部３２４は、撮影処理部３２３の制御の下、店員端末１２０の撮影部２１３により得られた撮影画像から、監視サーバ装置１００から受信した特徴量を示す特徴領域を検出する。画像処理部３２５は、特徴領域の表示態様を変更することにより、撮影画像のうち、特徴領域を強調表示する。

図４は、監視サーバ装置１００の顧客ＤＢ３０１のデータ構成の一例を示す図である。顧客ＤＢ３０１は、レコードＩＤと、日時と、識別コードと、ユーザＩＤと、コマンドと、対応完了とを対応付けて記憶している。ここで、レコードＩＤは、図４に示す各行に対応する各レコードの識別情報である。日時は、監視サーバ装置１００が顧客端末１１０からコマンドを受信した日時を示す情報である。識別コードは、監視対象となる店舗において一意に識別可能な情報である。なお、識別コードとしては、店舗において一意に識別可能な制限の中で、できるだけ短いコードであることが、効率、精度の面で望ましい。そのために、対応完了となったレコードの識別コードは再度利用可能としてもよい。なお、本実施形態では識別コードは固定長のバイナリーとし、最上位ビットは１とする。

ユーザＩＤは、コマンドの送信元の顧客端末１１０を所持するユーザ（顧客）の識別情報である。対応完了は、コマンドに対応する、顧客への店員等による対応が完了したか否かを示す情報である。対応が完了した場合に、対応完了の欄に対応が完了した旨を示す情報（丸）が記録される。

図５は、監視システムによる顧客対応処理を示すフローチャートである。顧客対応処理は、顧客の呼び出しに応じて、顧客の位置を推定することにより、店員に顧客位置を通知するための処理である。なお、顧客対応処理の前提として、監視空間１５０に設置された各監視カメラ１０３は、それぞれ動画の撮影を継続しているものとする。Ｓ５００において、顧客端末１１０の受付部３１１は、顧客端末１１０を所持する顧客Ａからの入力に対応し、コマンドを受け付ける。例えば、顧客Ａが顧客端末１１０の専用アプリを起動し、「店員呼び出し」ボタンを押下すると、顧客端末１１０の受付部３１１は、店員呼び出しのコマンドを受け付ける。

次に、Ｓ５０１において、顧客端末１１０の通信処理部３１０は、監視サーバ装置１００に、顧客Ａがいる店舗を識別する店舗ＩＤと、顧客ＡのユーザＩＤと、「店員呼び出し」を表すコマンドと、を対応付けて送信する。店舗ＩＤは、例えば店舗名でもよい。なお、顧客端末１１０は、顧客Ａが事前に登録した店舗をリスト表示し、リストから顧客Ａにより、顧客Ａがいる店舗を選択させるものとする。また、他の例としては、顧客端末１１０は、Ｗｉ−Ｆｉの受信信号強度を用いた技術等を用いて店舗を自動推定してもよい。どの店舗にいるか程度の位置精度であれば既存技術の利用は現実的である。ユーザＩＤは、サービス利用時に顧客Ａが事前に登録しているものとする。ユーザＩＤを送信するのは、監視サーバ装置１００が、ユーザ（顧客）毎のサービス利用の履歴を管理するためであるが、その必要がなければ送信する必要はない。

一方、監視サーバ装置１００は、Ｓ５０１において、通信処理部３００が、顧客端末１１０から店舗ＩＤ、ユーザＩＤ及びコマンドを受信すると、処理をＳ５０２へ進める。Ｓ５０２において、監視サーバ装置１００のＤＢ管理部３０２は、顧客Ａが存在する店舗内で一意に識別可能な識別コードを発行する（発行処理）。そして、コマンドと、識別コードとを対応付けて、記憶部としての顧客ＤＢ３０１へ記録する（記録処理）。このとき、ＤＢ管理部３０２はさらに、受信日時も対応付けて記録する。なお、対応完了の欄にはこの時点では情報の記録は行われない。次に、Ｓ５０３において、監視サーバ装置１００の通信処理部３００は、顧客端末１１０に、Ｓ５０２において発行された識別コードを送信する（送信処理）。

顧客端末１１０は、識別コードを受信すると、処理をＳ５０４へ進める。Ｓ５０４において、顧客端末１１０の撮影可能情報生成部３１３は、Ｓ５０３において受信した識別コードに基づいて、撮影可能情報を生成する（生成処理）。具体的には、撮影可能情報生成部３１３は、識別コードを表現する視覚的な信号を撮影可能情報として生成する。次に、Ｓ５０５において、顧客端末１１０の出力処理部３１４は、撮影可能情報を、顧客端末１１０の表示部２１２や、ＬＥＤ等のＵＩ部２１４等から出力する（出力処理）。

ここで、撮影可能情報について説明する。撮影可能情報としては、バーコード等の２次元コードが挙げられる。ただし、監視カメラ１０３と顧客端末１１０の間の距離が長くなると、撮影画像から２次元コードを検出するのは困難である。このため、撮影可能情報として、解像度が低くても検出可能な２値（１と０）の視覚的信号を周期的に送るパルス信号を用いるのが望ましい。本実施形態に係る顧客端末１１０は、パルス信号を撮影可能情報として、パルス信号を生成し、出力するものとする。

図６は、識別コード"１０００１"を表現するパルス信号の例を示す図である。例えば、監視システムの監視サーバ装置１００と顧客端末１１０の間で、予めパルス信号の周期を定めておき、顧客端末１１０は、周期毎に１か０の信号を送るものとする。図６に示す６０１は空白を表し、識別コードのコード長以上（図６の例では５個）の０を送る。空白６０１に続いて、識別コード６０２である"１０００１"を送る。識別コードの最上位ビット６０３を必ず１とすることで、監視サーバ装置１００は、撮影画像から、空白６０１と識別コード６０２の切り替わりを特定することができる。

顧客端末１１０は、パルス信号の１と０を例えば表示部２１２等のインタフェースを用いて視覚的に発信する。具体的には、顧客端末１１０は、表示部２１２としての液晶画面において、輝度が明るい状態で「１」を表し、暗い状態で「０」を表してもよい。また、他の例としては、顧客端末１１０は、液晶画面に単純な図形を表示することで「１」を表し、単純な図形を非表示とすることで「０」を表してもよい。また、他の例としては、顧客端末１１０は、さらに不図示のＬＥＤライトを有し、ＬＥＤライトの点灯で「１」、消灯で「０」を表してもよい。

図５に戻り、監視サーバ装置１００は、Ｓ５０３の後、処理をステップＳ５０６へ進める。Ｓ５０６において、監視サーバ装置１００の通信処理部３００は、監視カメラ１０３により撮影された撮影画像（動画像）を取得する（取得処理）。そして、識別コード特定部３０３は、撮影画像から、顧客端末１１０が発信した撮影可能情報（パルス信号）の画像を検出する。そして、識別コード特定部３０３は、検出した撮影可能情報の画像から、識別コードを特定する（識別情報特定処理）。そして、監視サーバ装置１００のＤＢ管理部３０２は、特定した識別コードをキーとして、顧客ＤＢ３０１において、対応が完了していないレコードのコマンドを読み出す。そして、演算部２０１は、読み出したコマンドに応じて提供するサービスを選択し、サービスに応じた処理を実行する。なお、本実施形態においては、コマンドは、店員が顧客の位置を特定する必要のあるサービスの実行に係るものとする。コマンドとしては、顧客による店員の「呼び出し」のサービスの実行が挙げられる。

次に、Ｓ５０７において、監視サーバ装置１００の画像特定部３０４は、撮影画像において検出された撮影可能情報の画像に基づいて、識別コードに対応する撮影可能情報を出力した顧客端末１１０を所持する顧客Ａの顧客画像を特定する。ここで、顧客は、位置推定の対象者であり、顧客画像は、対象者画像の一例である。また、Ｓ５０７の処理は、画像特定処理の一例である。次に、Ｓ５０８において、顧客位置推定部３０５は、撮影画像における撮影可能情報の画像の位置に基づいて、実空間における顧客位置を推定する。ここで、顧客位置は、対象者位置の一例であり、Ｓ５０８の処理は、対象者位置を推定する位置推定処理の一例である。なお、顧客位置推定部３０５は、事前に定義されている監視カメラ１０３の撮影画像のピクセル位置と監視空間１５０における絶対位置との変換式に基づいて、顧客位置を推定する。また、Ｓ５０７及びＳ５０８の処理の処理順番は、実施形態に限定されるものではない。

次に、Ｓ５０９において、特徴量抽出部３０６は、顧客画像に基づいて、顧客の画像特徴量を抽出する（特徴量抽出処理）。特徴量抽出部３０６は、具体的には、特定した顧客を店員が識別する際の目印になるような外見上の特徴に対応する特徴量を抽出する。次に、Ｓ５１０において、通信処理部３００は、Ｓ５０６において特定したコマンドと、Ｓ５０８において推定された顧客位置と、Ｓ５０９において抽出された特徴量とを対応付けて店員端末１２０に送信する。次に、Ｓ５１１において、追尾部３０７は、追尾処理を開始する。ここで、追尾処理は、撮影画像中の顧客画像に基づいて、顧客位置を追尾する処理、すなわち顧客の移動に応じて変動する顧客位置を定期的に特定する処理である。

そして、追尾開始後、Ｓ５１２において、通信処理部３１０は、追尾部３０７により特定された顧客位置を、定期的に店員端末１２０に送信する（送信処理）。例えば、通信処理部３１０は、前回の顧客位置の送信タイミングから一定時間経過後に、顧客位置を店員端末１２０に送信する。次に、Ｓ５１３において、通信処理部３１０は、店員端末１２０から完了メッセージを受信したか否かを確認する。ここで、完了メッセージは、コマンドに対応する、顧客へのサービスが完了したことを示す情報である。

通信処理部３１０は、完了メッセージを受信した場合には（Ｓ５１３でＹｅｓ）、処理をＳ５１４へ進める。通信処理部３１０は、完了メッセージを受信しなかった場合には（Ｓ５１３でＮｏ）、処理をＳ５１２へ進める。Ｓ５１４において、ＤＢ管理部３０２は、顧客ＤＢ３０１において、位置推定の対象となっている顧客の識別コードのレコードに対応が完了した旨の情報を記録し、処理を終了する。

一方、店員端末１２０は、Ｓ５１０においてコマンド、顧客位置及び特徴量を受信すると、処理をＳ５１５へ進める。Ｓ５１５において、店員端末１２０の表示処理部３２２は、Ｓ５１０において受信した情報を元に、「呼び出し」のコマンドと、顧客Ａの位置と、特徴量とを表示する（表示処理）。これにより、店員Ｂは、店員端末１２０の表示部２１２に表示された情報を参考にして、コマンドの送信元の顧客Ａを探すことができる。さらに、店員端末１２０の撮影部２１３は動画を撮影し、表示部２１２には、動画が表示されているものとする。そして、Ｓ５１６において、特徴領域検出部３２４は、特徴量に基づいて、撮影部２１３により撮影された動画（撮影画像）において、特徴領域を検出する（検出処理）。ここで、特徴領域は、特徴量を満たす領域であり、すなわち顧客Ａの画像の領域が特徴領域として検出される。特徴領域検出部３２４は、特徴領域を検出した場合には（Ｓ５１６でＹｅｓ）、処理をＳ５１７へ進める。特徴領域検出部３２４は、特徴領域を検出しなかった場合には（Ｓ５１６でＮｏ）、処理をＳ５１８へ進める。

Ｓ５１７において、画像処理部３２５は、特徴領域を強調表示すべく、特徴領域の表示態様を変更するような画像処理を行う（画像処理）。図７に示す例においては、顧客Ａの画像に枠７００が追加されている。これにより、店員は、枠内の画像に対応する顧客がコマンドの送信元の顧客であると認識することができる。次に、Ｓ５１８において、通信処理部３２０は、定期的に顧客位置を受信し、受信する度に、定期的に、表示部２１２への表示対象とする顧客位置を、受信した顧客位置に更新する。次に、Ｓ５１９において、受付部３２１は、店員から完了情報を受け付けたか否かを確認する。なお、店員は、顧客を発見し、顧客へのサービスの提供が完了すると、完了情報を入力するものとする。受付部３２１は、完了情報を受け付けた場合には（Ｓ５１９でＹｅｓ）、処理をＳ５２０へ進める。受付部３２１は、完了情報を受け付けなかった場合には（Ｓ５１９でＮｏ）、処理をＳ５１６へ進める。Ｓ５２０において、通信処理部３２０は、完了メッセージを監視サーバ装置１００に送信し、処理を完了する。

以上のように、本実施形態に係る監視システムは、撮影画像における位置推定の対象者が所持する端末から出力される撮影可能情報の画像の位置に基づいて、位置推定を行う。したがって、ユーザによる煩雑な処理を要することなく、かつ簡易な構成で、屋内及び屋外に関わらず高精度に、顧客の位置を推定することができる。また、本実施形態に係る監視システムにおいては、位置推定の対象者の他にも多数の人物がいるような場合においても、他の人物と区別して、対象者を特定することができる。

さらに、本実施形態に係る監視システムにおいては、位置情報を用いて、顧客等の位置推定の対象者への様々なサービスの提供が可能となる。また、現在位置を推定した後に、追尾も可能である。このため、対象者は、サービスを受けるまでその場に留まる必要がない。本実施形態で例示した店員の呼び出しサービスはこの利点を享受する典型例である。さらに、監視カメラの監視下にいれば、どこにいても、複数人同時にサービスを受けることが可能である。もちろん、店員呼び出しサービスのように物理的にサービスを受けられる人数に制限があるものもあるが、Ｗｅｌｃｏｍｅポイントサービスや、クーポン配信、セール情報の配信等は複数人同時にサービス提供可能な例である。

第１の変更例としては、顧客端末１１０及び店員端末１２０は、それぞれ顧客及び店員と共に移動する装置であればよく、具体的な装置の種類は実施形態に限定されるものではない。例えば、顧客端末１１０は、装着型端末であってもよい。また、店員端末１２０は、携帯型端末であってもよい。

第２の変更例としては、監視サーバ装置１００は、追尾処理の開始後、定期的に顧客位置を店員端末１２０に送信することとしたが、顧客位置を送信するタイミングは、実施形態に限定されるものではない。他の例としては、監視サーバ装置１００は、直前に送信した顧客位置からの変化量が一定量を超えた場合に、顧客位置を送信することとしてもよい。

また、第３の変更例としては、監視サーバ装置１００は、追尾処理において、顧客位置だけでなく、特徴量も定期的に抽出し、Ｓ５１２において、顧客位置と共に、特徴量を定期的に送信してもよい。この場合、店員端末１２０は、顧客位置と共に、特徴量についても、適宜表示を更新するものとする。また、第２の変更例において説明したように、監視サーバ装置１００は、特徴量についても、送信タイミングは、実施形態に限定されるものではない。

第４の変更例としては、本実施形態に係る監視システムは、人物の位置を推定する位置推定システムの一例である。さらに、位置推定システムが位置推定の対象とするのは、移動可能なオブジェクトであればよく、人物に限定されるものではない。位置推定システムが、人物以外の移動可能なオブジェクト位置を推定するための、システムの構成及び処理は、実施形態において説明した監視システムの構成及び処理と同様である。

（第２の実施形態）
第２の実施形態に係る監視システムでは、監視サーバ装置１００は、顧客端末１１０から出力される撮影可能情報の画像を検出できなかった場合には、顧客端末１１０の顧客Ａに対し、移動を促す。以下、第２の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる点について説明する。

図８は、第２の実施形態に係る顧客対応処理における一部の処理を示すフローチャートである。監視サーバ装置１００は、図５に示すＳ５０３において識別コードを送信した後、処理を８００へ進める。Ｓ８００において、監視サーバ装置１００の識別コード特定部３０３は、撮影画像から撮影可能情報の画像を検索する。識別コード特定部３０３は、撮影可能情報の画像を検出できた場合には（Ｓ８００でＹｅｓ）、識別コードを特定した後、処理をＳ５０７へ進める。識別コード特定部３０３は、撮影可能情報の画像を検出できなかった場合には（Ｓ８００でＮｏ）、処理をＳ８０１へ進める。

Ｓ８０１において、監視サーバ装置１００の識別コード特定部３０３は、撮影可能情報の画像の検出開始から一定期間が経過したか否かを確認する。識別コード特定部３０３は、一定期間が経過するまで待機し、一定期間が経過すると（Ｓ８０１でＹｅｓ）、処理をＳ８０２へ進める。Ｓ８０２において、監視サーバ装置１００の通信処理部３００は、移動メッセージ（移動指示）を顧客端末１１０に送信する（送信処理）。撮影可能情報の画像が検出できない場合には、顧客端末１１０が監視カメラ１０３の死角に位置している可能性がある。移動メッセージは、死角に位置する可能性を通知し、顧客に監視カメラ１０３の撮影範囲内への移動を促すための情報である。

顧客端末１１０は、Ｓ８０２において、移動メッセージを受信すると、処理をＳ８０３へ進める。Ｓ８０３において、顧客端末１１０の表示処理部３１２は、移動メッセージを表示する。図９は、移動メッセージの表示画面の一例を示す図である。表示画面９００には、監視空間１５０を示すマップ９０１が表示されている。マップ９０１には、移動先の範囲として、監視カメラ１０３の撮影範囲９０２ａ〜９０２ｃが示されている。さらに、表示画面９００には、撮影範囲への移動をお願いするメッセージ９０３と、呼び出しボタン９０４とが表示されている。顧客は移動を完了した場合に呼び出しボタン９０４を選択するものとする。顧客により、呼び出しボタン９０４が選択されると、顧客端末１１０の受付部３１１は、移動完了情報を受け付ける。

Ｓ８０３の処理の後、Ｓ８０４において、顧客端末１１０の受付部３１１は、移動完了情報を受け付けるまで待機し、移動完了情報を受け付けた場合には（Ｓ８０４でＹｅｓ）、処理をＳ８０５へ進める。Ｓ８０５において、顧客端末１１０の出力処理部３１４は、撮影可能情報を再出力する。監視システムは、監視サーバ装置１００が撮影可能情報の画像を検出できるまで、Ｓ８００〜Ｓ８０５の処理を繰り返す。これにより、顧客が撮影範囲に入るまで待つのに比べて、より早く顧客位置を推定することができる。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。

（その他の実施形態）
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態を組み合わせても良い。本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。例えば、データ収集は個々のクライアント機器で行い、収集したデータはサーバ機器に集めることでまとめて処理を行うようにしてもよい。その際に、処理した情報は再度、個々のクライアント機器に送ることでクライアント機器が保持しても良いし、個々のクライアント機器が都度、サーバ機器に情報を問い合わせても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、ユーザによる煩雑な処理を要することなく、かつ簡易な構成で、屋内及び屋外に関わらず高精度に、オブジェクトの位置を推定することができる。

１００ 監視サーバ装置
１０３ 監視カメラ
１１０ 顧客端末
１２０ 店員端末

Claims (18)

1. 位置推定の対象者が装着又は携帯する第１の携帯端末と、前記対象者の位置を推定する位置推定装置とを備える位置推定システムであって、
   前記第１の携帯端末は、撮影可能情報を出力する出力手段を有し、
   前記位置推定装置は、前記撮影可能情報の画像を含む撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定手段を有することを特徴とする位置推定システム。
2. 前記位置推定装置は、
   前記撮影可能情報の画像の位置に基づいて、前記撮影画像から対象者画像を特定する画像特定手段と、
   前記対象者画像に基づいて、前記対象者の位置を追尾する追尾手段をさらに有することを特徴とする請求項１に記載の位置推定システム。
3. 前記位置推定システムは、第２の携帯端末をさらに有し、
   前記位置推定装置は、前記対象者位置を前記第２の携帯端末に送信する第１の送信手段をさらに有し、
   前記第２の携帯端末は、前記対象者位置を表示する表示手段を有することを特徴とする請求項１に記載の位置推定システム。
4. 前記位置推定装置は、
   前記撮影可能情報の画像の位置に基づいて、前記撮影画像から対象者画像を特定する画像特定手段と、
   前記対象者画像に基づいて、前記対象者の位置を追尾する追尾手段と
   をさらに有し、
   前記位置推定装置の前記第１の送信手段は、前記追尾手段により追尾された前記対象者の前記対象者位置を定期的に前記第２の携帯端末に送信し、
   前記第２の携帯端末の前記表示手段は、表示対象の対象者位置を、受信した前記対象者位置に更新することを特徴とする請求項３に記載の位置推定システム。
5. 前記位置推定装置は、
   前記撮影可能情報の画像の位置に基づいて、前記撮影画像から対象者画像を特定する画像特定手段と、
   前記対象者画像の特徴量を抽出する特徴量抽出手段と
   をさらに有し、
   前記第１の送信手段は、さらに前記特徴量を前記第２の携帯端末に送信し、
   前記第２の携帯端末の前記表示手段は、前記特徴量をさらに表示することを特徴とする請求項３に記載の位置推定システム。
6. 前記第２の携帯端末は、
   撮影手段と、
   前記撮影手段により撮影された撮影画像から、前記位置推定装置から受信した前記特徴量を示す特徴領域を検出する検出手段と、
   前記特徴領域の表示態様を変更する画像処理手段と
   をさらに有し、
   前記表示手段は、前記特徴領域の表示態様が変更された後の前記撮影画像を表示することを特徴とする請求項５に記載の位置推定システム。
7. 前記位置推定装置は、撮影画像から前記撮影可能情報の画像を検出できない場合に、前記第１の携帯端末に、移動指示を送信する第２の送信手段をさらに有することを特徴とする請求項１乃至６何れか１項に記載の位置推定システム。
8. 前記位置推定システムは、第２の携帯端末をさらに有し、
   前記第１の携帯端末は、コマンドを前記位置推定装置に送信する送信手段をさらに有し、
   前記位置推定装置は、
   前記コマンドの送信元の前記第１の携帯端末に対し、識別情報を発行する発行手段と、
   前記コマンドと前記識別情報とを対応付けて記憶手段に記録する記録手段と、
   前記識別情報を前記第１の携帯端末に送信する第１の送信手段と
   をさらに有し、
   前記第１の携帯端末は、前記識別情報に基づいて、前記撮影可能情報を生成する生成手段をさらに有し、
   前記位置推定装置は、
   前記撮影画像に示される前記撮影可能情報の画像から前記識別情報を特定する識別情報特定手段と、
   前記記憶手段において前記識別情報に対応付けられているコマンドと、前記対象者位置とを前記第２の携帯端末に送信する第２の送信手段と
   をさらに有することを特徴とする請求項１に記載の位置推定システム。
9. 前記第２の携帯端末は、前記コマンドと前記対象者位置とを表示する表示手段を有することを特徴とする請求項８に記載の位置推定システム。
10. 位置推定の対象のオブジェクトが装着又は携帯する第１の携帯端末と、前記オブジェクトの位置を推定する位置推定装置とを備える位置推定システムであって、
    前記第１の携帯端末は、撮影可能情報を出力する出力手段を有し、
    前記位置推定装置は、前記撮影可能情報の画像を含む撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間におけるオブジェクト位置を推定する位置推定手段を有することを特徴とする位置推定システム。
11. 位置推定の対象者が装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得手段と、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定手段と
    を有することを特徴とする位置推定装置。
12. 位置推定の対象のオブジェクトが装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得手段と、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間におけるオブジェクト位置を推定する位置推定手段と
    を有することを特徴とする位置推定装置。
13. 位置推定の対象者が装着又は携帯する第１の携帯端末と、前記対象者の位置を推定する位置推定装置とを備える位置推定システムが実行する位置推定方法であって、
    前記第１の携帯端末が、撮影可能情報を出力する出力ステップと、
    前記位置推定装置が、前記撮影可能情報の画像を含む撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定ステップと
    を含むことを特徴とする位置推定方法。
14. 位置推定の対象のオブジェクトが装着又は携帯する第１の携帯端末と、前記オブジェクトの位置を推定する位置推定装置とを備える位置推定システムが実行する位置推定方法であって、
    前記第１の携帯端末が、撮影可能情報を出力する出力ステップと、
    前記位置推定装置が、前記撮影可能情報の画像を含む撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間におけるオブジェクト位置を推定する位置推定ステップと
    を含むことを特徴とする位置推定方法。
15. 位置推定装置が実行する位置推定方法であって、
    位置推定の対象者が装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得ステップと、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定ステップと
    を含むことを特徴とする位置推定方法。
16. 位置推定装置が実行する位置推定方法であって、
    位置推定の対象のオブジェクトが装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得ステップと、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間におけるオブジェクト位置を推定する位置推定ステップと
    を含むことを特徴とする位置推定方法。
17. コンピュータを、
    位置推定の対象者が装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得手段と、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間における対象者位置を推定する位置推定手段と
    して機能させるためのプログラム。
18. コンピュータを、
    位置推定の対象のオブジェクトが装着又は携帯する携帯端末から出力される撮影可能情報の画像を含む撮影画像を取得する取得手段と、
    前記撮影画像における前記撮影可能情報の画像の位置に基づいて、実空間におけるオブジェクト位置を推定する位置推定手段と
    して機能させるためのプログラム。

Images