JP2016154329A - 移動端末を携帯するユーザの識別方法と装置 - Google Patents

移動端末を携帯するユーザの識別方法と装置 Download PDF

Info

Publication number
JP2016154329A
JP2016154329A JP2016021088A JP2016021088A JP2016154329A JP 2016154329 A JP2016154329 A JP 2016154329A JP 2016021088 A JP2016021088 A JP 2016021088A JP 2016021088 A JP2016021088 A JP 2016021088A JP 2016154329 A JP2016154329 A JP 2016154329A
Authority
JP
Japan
Prior art keywords
mobile terminal
position information
imaging
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016021088A
Other languages
English (en)
Other versions
JP6142931B2 (ja
Inventor
コォ リアオ
Ke Liao
コォ リアオ
ダ ビヌ
da Bin
ダ ビヌ
ワン ウェイ
Wei Wang
ウェイ ワン
ハイホア ユィ
Haihua Yu
ハイホア ユィ
ワン シヌ
Woo Wang Shin
ワン シヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2016154329A publication Critical patent/JP2016154329A/ja
Application granted granted Critical
Publication of JP6142931B2 publication Critical patent/JP6142931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】撮像設備により少なくとも一つの移動端末ユーザを識別する方法と装置を提供する。【解決手段】該方法は、撮像設備により少なくとも一つの移動端末のうちの各移動端末のユーザの第一位置情報を取得すること、前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得すること、取得した第一位置情報と第二位置情報を比較すること、前記比較結果に基づき移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定することを含むことができる。本発明によると、位置情報の比較に基づき、位置特定するユーザとそれに対応する識別情報とを互いに関連付け、これにより容易にユーザを識別することができる。【選択図】図2

Description

本発明は無線通信分野に関し、より具体的には、移動端末を携帯するユーザの識別方法と装置に関する。
対象の位置特定と追跡の技術は、多くの分野に広く応用されている。例えば、通常用いられているのはステレオ(3D)カメラによる方法で、ここでは、ステレオ視覚の識別方法により人の探索、位置特定及び追跡を行い、人の位置を確定し、どういう人であるかを識別する。多くの位置特定システムの中で、視覚による方法が、位置特定という目的を正確に実現することができるので、撮像設備による位置特定が、探索、追跡及び位置特定を要する室内での位置確定場面に広く応用されている。
しかし、大多数の応用、特に監視システムでは、「人が何処にいるか」という問いに答えるだけでなく、「そこにいるのは誰か」ということも知る必要がある。現在、撮像設備による位置特定方法は、人の位置を確定することができ、人の識別については、例えば、物体表面、色彩分析、モデル識別等の視覚特徴によりこれを実現する。この実現方法により人に余分な設備を装着させる必要がなく、また生物的情報による識別は信頼性があるため、唯一、人の存在をマーキング可能なものとなっている。しかし、視覚方法の精度は、光線や、画像品質等、環境因子の影響を受けやすい。その上、特徴の取得と処理の計算が、これらの識別方法の有効性と効率性に関係してくる。通常、識別精度が高くなるほど、カメラはより多くの処理作業をこなす必要がある。
もう一つ、常用される識別方法は、ステレオ視覚システム、ならびに別の補助システムにより、位置特定する人について身分識別を行う方法である。良く見かける補助システムは、無線システム或いは電子システムである。ステレオ識別システムと補助システムの両者により、同時に人の存在を位置特定し、両方の位置特定結果に基づき、位置特定した人に身分標識を割り当てる。無線システム或いは電子システムの古典的な代表はRFIDシステムで、この場合の身分標識は、即ちRFIDラベルのIDである。この方法では、バインディングと追跡の精度が、RFIDラベルの分布により決定される。通常、位置特定結果が正確なほど、より多くのRFIDラベルが必要となる。この方法は位置特定される人の身分を識別することができるが、例えばRFIDシステムの無線システムとか電子システムと言った、余分な装置が必要となり、システムの複雑さとコストが増加する。
以上の状況を考慮し、如何なる追加装置の配備をも必要とすることなく、正確かつ有効に対象の位置特定と識別を行うことのできる方法と装置が望まれている。
本発明による移動端末を携帯するユーザの識別方法と装置は、本発明の発明者が、上記問題を考慮し、また通常の場合、人々は自身の移動端末を身に着けていることを考慮し、提出されたものである。
本発明の一つの面においては、移動端末を携帯するユーザを識別する方法が提供され、該方法は、
撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程と、
前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程と、
取得した第一位置情報と第二位置情報を比較する工程と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程と、を含む。
本発明の別の面においては、移動端末を携帯するユーザを識別する装置が提供され、該装置は、
前記撮像設備により前記少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得するために用いる第一位置情報取得部と、
前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するために用いる第二位置情報取得部と、
取得した第一位置情報と第二位置情報を比較するために用いる比較部と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する確定部と、を含む。
本発明により、位置情報の比較に基づき、位置特定するユーザを相応する識別情報と互いに関連付け、これにより容易にユーザを識別することができ、「ここにいるのは誰か」という問題を解決することができた。しかも、当該識別方法では、既にある撮像設備と、ユーザ誰もが携帯する移動端末を使用するだけで実現し、如何なる余分な補助設備も必要ないので、コスト低減だけでなく、配置と実現が非常にしやすくなる。
しかも、位置情報に基づく身分識別方法を利用するので、撮像設備は正確な身分識別情報によって位置特定された物体を追跡することができ、特に、人ごみや、撮影エリアへの人の出入り、人が互いにすれ違う影響など、実際の比較的複雑な環境で、有効にかつ正確に追跡することができる。
本発明の識別方法と装置の応用場面例を示す図である。 本発明の一実施例による、撮像設備により少なくとも一つの移動端末ユーザを識別する方法のフローチャートである。 本発明の一実施例による、移動端末の第二位置情報と標識情報を取得する方法のフローチャートである。 撮像設備が、ステレオ視覚位置特定を一回行うタイムラグと、無線位置特定を一回行うタイムラグを示す図である。 距離比較の一例を示す図である。 第二方位角の計算方法を示す図である。 方位角比較の一例を示す図である。 移動履歴情報による位置特定精度の向上を示す図である。 3つのカメラを使うことによる位置特定精度の向上を示す図である。 本発明に用い得る撮像設備の構造ブロック図である。 本発明に用い得る移動端末の構造ブロック図である。 本発明による識別方法の具体的な応用実例の時系列チャートである。 本発明の別の一実施例による、撮像設備により少なくとも一つの移動端末ユーザを識別する装置の機能ブロック図である。
当業者に本発明をより良く理解してもらうように、以下、添付図と具体的な実施方式を参照して、本発明について更に詳細に説明する。
まず、図1を参考に、本発明の識別方法と装置の応用場面例を説明する。
図1に示すように、識別情報ID0を有する撮像設備が存在する無線ネットワーク中に、移動端末を携帯した複数のユーザが存在し、図中で移動端末はその標識情報ID1-ID3を用いて示すこととする。本発明は当該撮像設備によりユーザの身分情報、即ち、当該ユーザが使用する移動端末を携帯するユーザの標識情報を識別し、これから当該エリアに現れたユーザの位置特定、識別、追跡等を実現しようとするものである。
勿論、図1に示す状況は、本発明を便利に理解するために提示した例に過ぎず、本発明が応用できる場面はこれに限らない。例えば、図1には一つの撮像設備ID0しか示されていないが、以下の文中で更に詳細に説明するように、複数の撮像設備が存在しても良い。図1には3人の移動端末を携帯したユーザが示されているが、他の例では、移動端末を携帯するユーザの人数は一人でも、二人でも、或いはもっと多くても良い。その上、本発明は、撮像設備によりユーザを識別する必要のある、他の如何なる場合にも完全に応用することができる。
図2は、本発明の一実施例による、撮像設備により少なくとも一つの移動端末ユーザを識別する方法のフローチャートを示す。
図2に示すように、この実施例による識別方法200は、前記撮像設備により前記少なくとも一つの移動端末のうちの各移動端末ユーザの第一位置情報を取得するステップS210、前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するステップS220、取得した第一位置情報と第二位置情報を比較するステップS230、ならびに、前記比較結果に基づき移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定するステップS240を含む。
前述したように、撮像設備はステレオ視覚情報に基づいて人の位置特定を行うことができるが、これは、撮像設備の取得した視差画像によって人の三次元座標を取得することができるからであり、これにより、人の距離、撮像設備との方位角等々を確定することができる。このため、この実施例において、当該撮像設備の具体的な例は、例えば二眼カメラのような撮像設備となる。
ステップS210で、当該撮像設備により移動端末ユーザの視差情報を取得し、これにより当該ユーザの位置情報(以下、第一位置情報と言う)を取得することができる。一つの具体的な例として、当該第一位置情報は距離で良い。例えば、二眼カメラなどのステレオカメラで目標場面の画像を捉え視差画像を取得し、取得した視差画像から目標場面の各ユーザの視差情報を取得し、当該視差情報に基づき、ユーザの当該二眼カメラまでの距離(以下、第一距離、dncamと言う)を取得することができる。
勿論、ここに提示した第一距離の計算方法は、当業者に本発明の考え方を理解してもらうために提示した一つの具体例に過ぎず、本発明の距離計算方法はこれに限らず、移動端末ユーザと撮像設備間の距離を計算することのできる他の如何なる計算方法を用いても良い。
ステップS220で、撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得することができる。第一位置情報が距離情報である場合は、相応して、当該第二位置情報も距離情報となる。
以下、図3のフローチャートを参考に、移動端末の第二位置情報と標識情報を取得する一つの具体的実施例を説明する。
図3に示すように、この実施例による取得方法300は、以下のステップ、即ち、移動端末が前記撮像設備の無線ネットワークに加わるステップS310、前記撮像設備により当該無線ネットワーク中にある移動端末に向けて信号を発信するステップS320、移動端末が、前記信号を受信した時に、撮像設備に向けて当該移動端末自身の標識情報を含む応答信号を発信するステップS330、撮像設備が前記応答信号を受信し、これにより移動端末の標識情報を取得し、信号を発信した時間と前記応答信号を受信した時間により、移動端末と撮像設備の第二距離を計算するステップS340を含む。
ステップS310で、移動端末が、撮像設備のある無線ネットワークエリアに入ると、当該撮像設備のある無線ネットワークに加わる。例えば、当該撮像設備が無線ネットワークを構築し、移動端末が検索して撮像設備の構築した無線ネットワークに加わっても良い。無線ネットワークの位相構造は主従ノードの星形ネットワーク位相構造で良く、当該撮像設備が主ノードとなり、移動端末が従ノードとなる。使用できる無線ネットワークはWiFi(ワイアレスフィデリティ)、ブルートゥース或いはBLE(ローエナジーブルートゥース)を含むことができる。
ステップS320で、撮像設備が当該無線ネットワーク中にある移動端末に向けて信号を発信し、当該信号の発信時間(Tas)を記録する。発信する信号は、音声信号速度であれば距離計算が容易なので、全方向低周波音声信号で良い。移動端末の撮像設備識別に便利なように、発信する音声信号は、周波数に基づいて、撮像設備を有する標識情報をコード化することができ、例えば、上記撮像設備の標識情報はID0である。環境ノイズやドップラー効果の干渉を減少するために、音声信号は変調方式を採用することができる。
ステップS330で、移動端末が撮像設備の発信した音声信号を受信すると、受信した音声信号の周波数に基づいて当該音声信号を解読し、これによってコード化した撮像設備の標識情報を取得し、撮像設備に向けて応答信号を返信する。当該応答信号には、上記解読により取得した撮像設備を有する標識情報と当該移動端末自身の標識情報をコード化することができる。当該応答信号は、同様に音声信号で良く、或いは無線信号でも良い。ノイズの影響を減少し、データ交換率を高めるために、当該応答信号は無線信号を優先させる。通常、用いる無線信号には、BLE或いはWiFiが含まれる。
一例として、移動端末の標識情報は、当該移動端末のMACアドレスで良い。勿論、応用できる標識情報はこれに限らず、当該移動端末の具備する、ユーザ識別に用いることのできる他の如何なる情報でも良い。
ステップS340で、撮像設備は、移動端末の返信した応答信号を受信し、当該応答信号を解読し、これによってその中にコード化された撮像設備の標識情報、ならびに移動端末の標識情報を取得する。当該撮像設備は、応答信号から取得した撮像設備の標識情報とそれ自身の標識情報を比較し、これによってその受信した応答信号が、移動端末がその発信信号に応答して出したものであると確定し、これによってノイズを避ける。
更に、ステップS340で、撮像設備は、応答信号を受信した時間(Tar)を記録し、これから、信号のタイムオブフライト(TOF)により移動端末と撮像設備間の距離(以下の文中では第二距離、dmTOFと言う)を計算し、第二位置情報とする。
具体的には、以下の公式(1)に示すように、無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountを以下のように表示できる。
Tcount=tas−tar=Tsp+Tsr+Twswr (1)
このうち、Tspは音声信号の、撮像設備から移動端末に伝わるまでのタイムラグ、Tsrは移動端末が音声信号を受信し処理するタイムラグ、Twswrは無線信号のパッケージを作成し、発信し、受信するタイムラグである。無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountは、撮像設備の記録した発信信号の時間Tasと応答信号を受信した時間Tarの間の時間差であり、これは(Tas+Tar+Twswr)にほとんど等しいが、この中で無線信号の伝わるタイムラグを計算に入れないのは、音声信号の速度が応答信号である無線信号の速度に比して非常に遅いため、無線信号が移動端末から発信され撮像設備によって受信されるまでのタイムラグが、撮像設備が音声信号を移動端末に発信し当該音声信号を受信するタイムラグに比して小さく無視できるからである。このため、Tspを取得するためには、TsrとTwswrを知っていさえすれば良い。
無線信号のタイムラグTwawrに関しては、無線プロトコルの上層タイムラグが無線のネットワーク状況で決まるため予測が難しく、物理層から来る信号Twswrは小さく、ほとんど無視できるので、物理層の信号を優先使用し、タイムラグの影響を補償するようにして、距離の測定精度を高める。
移動端末が音声信号を受信し処理するタイムラグTsrに関しては、撮像設備が音声信号を発信する時に当該標識情報をコード化するパルス周波数と発信パルス数に基づき取得できる。通常、当該Tsrは以下の公式(2)と表示される。
このうち、Tpulseは一パルスの時間の長さを表し、音声信号を発信する時は、その発信周波数fが既に分かっているので、Tpulse=1/fとなる。Npulseは1ビットごとの標識情報に対して発信する必要のあるパルス数を表し、NIDは発信しようとする標識情報のビット数を表す。
標識情報をコード化する際は、通常、パルス信号を用い、一つの周波数f1から別の周波数f2までの周波数変化がビット0を表し、f2からf1までの周波数変化がビット1を表し、言い換えれば1ビットのデータ発信は、通常、二つの周波数のパルスを必要とし、これは当該公式(2)において、何故2を乗じる必要があるかの理由でもある。この時、当該公式(2)の中の周波数fは、この二つの発信周波数の平均値を取ることができ、即ち、f=(f1+f2)/2となる。コード化に使用できるパルス周波数帯は大多数の移動端末のマイクとスピーカーの周波数帯で決まり、一般に20Hzから20KHzである。低周波数音声信号は障害物をバイパスする特性があるので、コード化過程では優先的に低周波音声信号を使用することができる。
以下、20Hzと30Hzの二つの周波数間の変化を利用し、それぞれビット0、或いはビット1を表すことを例として、具体的な計算例を提示するが、このうち、周波数30Hzが20Hzに下がることをビット0と表し、周波数20Hzが30Hzに上がることをビット1と表す。仮にコード化しようとする撮像設備の標識情報を001とすると、冗長コード化を実現しコード化エラー率を下げるために、当該標識情報を4回繰り返す、言い換えれば、周波数変化を含む音声信号により、標識符号0000、0000、1111とコード化する。公式(2)により、移動端末がこのコード化されたパルスの受信後に解読と処理を行うタイムラグは、Tsr=2×2[2/(30+20)]×4×3=0.96秒となる。
これから、上記公式(1)で、取得したTcountとTsrの値により、Tspの値、即ち、音声信号の撮像設備から移動端末までの片道伝播時間を取得することができ、これにより音声信号速度によって、移動端末と撮像設備の第二距離を算出することができる。
これから、ステップS220で、撮像設備は、上記の取得方法300により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得することができる。
ステップS230で、ステップS210で取得した第一位置情報とステップS220で取得した第二位置情報を比較する。例えば、撮像設備の取得した各移動端末ユーザと撮像設備間の第一距離、ならびに各移動端末と撮像設備間の第二距離を比較する。
ここで、注意を要することは、撮像設備は所定の周波数で画像を捕捉、処理するが、同時に、無線ネットワーク中で所定の各時間おきに信号を無指向発信し、移動端末の応答を取得することであるので、撮像設備が第一位置情報を取得するタイムラグと第二位置情報を取得するタイムラグが同じ時間域になるように保証する必要があることで、つまり、この二つのシステムが基本的に一致した位置特定速度をもち、基本的に同じ時間(所定の時間差範囲内)に、取得した第一と第二の位置情報を比較し、これにより両システムの位置特定の正確な比較ができるようにすることである。
図4は、撮像設備がステレオ視覚位置特定を一回行うタイムラグと、無線位置特定を一回行うタイムラグの概念図を示した。図4に示すように、撮像設備がステレオ視覚位置特定を一回行うのに必要なタイムラグTcamera locateと、無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountとの間は、以下の関係を満足しなければならない。
Tcount≦Tcamera locate (3)
上述のように、無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountは、上記公式(1)により取得できる。撮像設備がステレオ視覚位置特定を一回完成させるのに必要なタイムラグTcamera locateは、カメラのフレーム切替速度、処理速度、及び視覚方法の計算アルゴリズムの複雑度で決まるが、撮像設備にとって、後の二つは普通、既定であるため、上記公式(3)に表わされた条件を満足するためには、通常、カメラのフレーム切替速度を調整して実現することになる。
ステップS240で、ステップS230の比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
理想的な状況においては、移動端末は各ユーザが携帯するので、撮像設備がステレオ視覚で位置特定した移動端末ユーザの距離と、撮像設備が無線方法で位置特定した当該移動端末の距離は等しいはずである。このため、撮像設備は上記第一位置情報と第二位置情報の比較に基づき、例えば第一距離と第二距離が同じか否かという比較により、両者が同一の移動端末に対する距離か否かを確定することができ、これによりユーザを移動端末の標識情報と互いに関連付けるか否かを決定し、ユーザを識別することができる。
しかし、実際の状況では、位置特定誤差が存在するので、同一の移動端末に対して、両方の位置特定システムが得る距離値が多少異なる可能性がある。このため、上記第一距離dncamと第二距離dmTOFの差の最小値によって移動端末ユーザを識別し(このうち、dncamは第nユーザと撮像設備の距離を表し、dmTOFは第m移動端末と撮像設備の距離を表す)、以下の公式(4)に示すとおりである。
|dncam−dmTOF|min (4)
即ち、移動端末が取得した複数の第一距離のうちの或る一つの第一距離dncamと複数の第二距離のうちの或る一つの第二距離dmTOF間の差が最小であれば、当該第一距離dncamの対応するユーザが当該第二距離dmTOFの対応する移動端末を携帯していることを示し、このため当該ユーザを予め取得した当該移動端末の標識情報と関連付けることができる。これから、撮像設備がステレオ視覚で位置特定したユーザに向けて相応の標識情報を割り当てることができる。
図5は、距離比較の一例の概念図を示した。図5で、二つの黒く丸い点は移動端末を表し、灰色の丸い点は撮像設備を表す。図5に示すように、第一ユーザに対する第一距離d1camと、第一移動端末に対する第二距離d1TOF間の差は最小で、第二ユーザに対する第一距離d2camと第二移動端末に対する第二距離d2TOF間の差は最小である。これから、取得した第一移動端末の標識情報を、位置特定した第一ユーザと関連付け、取得した第二移動端末の標識情報を、位置特定した第二ユーザと関連付けることができる。
以上の識別方法200により、位置情報の比較に基づき、位置特定したユーザと相応する識別情報を互いに関連付け、これにより容易にユーザを識別することができ、「ここにいるのは誰か」という問題を解決することができた。しかも、当該識別方法では、既にある撮像設備と、ユーザ誰もが携帯する移動端末を使用するだけで実現し、如何なる余分な補助設備も必要ないので、コスト低減だけでなく、配置と実現が非常にしやすくなる。
以上の実施例では、位置情報を例にして本発明の識別方法200を説明したが、位置情報の例はこれに限らず、別の実施例では、方位角を用いて位置情報としユーザを識別することができる。
具体的には、上記ステップS210で、各移動端末ユーザの、撮像設備に相対する方位角(以下の文中では第一方位角、αncamと言う)を取得できる。上記のとおり、ステップS210では、撮像設備の取得した視差画像によりユーザの三次元座標を取得することができるので、この三次元座標によって第一方位角を取得することができる。
上記ステップS220で、各移動端末の、撮像設備に相対する方位角(以下の文中では第二方位角、αmspと言う)を取得することができる。
通常、各移動端末には慣性センサーが備えられているが、慣性センサーは、加速度、傾斜、衝撃、振動、回転及び自由度の高い動きを検出し測定できるセンサーで、例えば、加速度計(或いは加速度センサー)や角速度センサー(或いはジャイロスコープ)等々を含むことができる。このように、移動端末の慣性センサーの慣性データは、移動端末自身の加速度(短時間内に、加速度で速度予測ができる)、角速度、姿、方位角等を含むことができる。
更に、音声信号がドップラー効果をもつことが知られており、音声信号の波長は、音源(撮像設備)と観測者(移動端末)の相対的な動きによって変化を生じる。運動する波源前方では、波が圧縮され、波長がより短くなり、周波数がより高くなるが、運動する波源後方では、相反する効果が生じ、波長がより長くなり、周波数がより低くなる。このため、移動端末の慣性データにより、ドップラー効果に基づいて移動端末の撮像設備に相対する第二方位角を計算することができる。
例えば、ステップS220で、より具体的には例えば上記ステップS310で、移動端末が撮像設備の無線ネットワークに加わる時、撮像設備は移動端末からその慣性データを取得できる。この他、ステップS320で、撮像設備は音声信号を発信する発信周波数を記録し、ステップS330で、移動端末は受信した、撮像設備の発信した音声信号の受信周波数を記録し、当該受信周波数を上記の応答信号の一部分として撮像設備に発信する。
これから、ステップS340で、撮像設備が応答信号を解読する時、移動端末が音声信号を受信した受信周波数を取得することができ、これにより、取得した受信周波数と、音声信号を発信した発信周波数の記録により、ドップラー効果に基づき、当該慣性データから移動端末の第二方位角を計算する。
図6は、第二方位角の計算方法の概念図を示した。図6に示すように、撮像設備は固定され、移動端末は移動中なので、撮像設備の方向を方位角計算の基準方向として、以下の公式(5)〜(8)により移動端末の撮像設備に対する第二方位角αを計算することができる。
α=θv0−>cam=θv−>cam−θv−>v0 (5)
θv−>cam=θV−θcam (6)
θv−>v0=cos-1(v/v0) (7)
v0=v×|1−f’/f| (8)
このうち、αは撮像設備と位置特定された移動端末間の第二方位角であり、vは移動端末の移動速度で、移動端末の慣性データにより取得できるものであり、v0は移動端末の撮像設備に対する相対速度であり、θv0−>camはv0の方向と撮像設備の基準方向との間の夾角、θv−>camはvの方向と撮像設備の基準方向との間の夾角で、それは移動端末の方位角θvと撮像設備の基準方向の方位角θcamの差から取得でき、移動端末の方位角θvは慣性データから取得でき、撮像設備の基準方向の方位角θcamは、通常、既知であり、θv−>v0はVの方向とv0の方向の間の夾角であり、f’は音声信号の受信周波数で、fは音声信号の発信周波数である。
上記のように、音声信号の発信周波数fと受信周波数f’により、ドップラー効果を予測することができる。具体的には、受信周波数f’が発信周波数fより大きい時は、移動端末が撮像設備に近づいていることを示し、この時、上記公式(8)は
と表せる。他方、受信周波数f’が発信周波数fより小さい時は、移動端末が撮像設備から離れつつあることを表し、この時、上記公式(8)は
と表せる。
これにより、ステップS230で、各移動端末ユーザの第一方位角と各移動端末の第二方位角を比較する。勿論、ここに提示した方位角の計算方法は、当業者に本発明の考え方を理解していただくために提示した一つの具体例に過ぎず、本発明の方位角の計算方法はこれに限らず、方位角を計算することのできる他の如何なる計算方法を用いても良い。
例えば、撮像設備は位置特定アルゴリズムによっても移動端末の座標を取得することができ、移動端末の座標、ならびに撮像設備自身の座標により、移動端末の撮像設備に対する方位角を計算する。具体的には、当該方位角αは、以下の公式(9)と表すことができる。
このうち、αは移動端末の撮像設備に相対する方位角、θは撮像設備の地磁気(絶対方向)に相対する角度、(x1,y1)は撮像設備の座標、(x2,y2)は移動端末の座標である。
移動端末の現在の座標(x2,y2)に対して、既知の移動端末の当初位置を(x20,y20)とすると、上記のように取得した移動端末の慣性データにより、移動端末の現在の座標(x2, y2)を推測することができる。当該移動端末の当初位置(x20, y20)を取得するためには、引き続き、位置特定過程を一回行う必要がある。従来の位置特定方法、例えば撮像設備と移動端末間の無線信号の発信により位置特定を実現しても良い。勿論、移動端末の現在の座標を取得すれば、撮像設備自身の座標は既知であるから、この方法も移動端末と撮像設備間の第二距離を計算するのに用いることができる。
しかし、従来の位置特定過程は、通常、比較的複雑であり、一般には、事前にビーコンノードを配置する必要がある。かつ、前記のように、無線信号を発信するのと同じ時に、信号を受信する移動端末が移動中かも知れないので、撮像設備と移動端末間にドップラー効果が存在する可能性があり、ドップラー効果が、発信する無線信号の、発信から受信までのルートを長く或いは短く変え、これによって無線信号の受信周波数が十分に正確とは言えなくなる可能性がある。
対照的に、ドップラー効果を利用し、公式(5)〜(8)により方位角を計算する方法は、より正確な計算結果を得ることができ、当初に如何なるビーコンノードも配置する必要がないため優先性が高い。同様に、上述した、方法300により第二距離を計算する方法も、当初に如何なるビーコンノードも配置する必要がなく、実現がより容易で、正確な計算結果を得ることができるため優先度が高い。
ステップS240で、方位角の比較結果に基づき移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
理想的な状況では、各ユーザの携帯する各移動端末は、撮像設備がステレオ視覚により位置特定した移動端末ユーザの第一方位角と、撮像設備がドップラー効果に基づいて位置特定した当該移動端末の第二方位角が等しいはずである。このことから、撮像設備は、上記第一方位角と第二方位角の比較に基づき、両者が同一の移動端末に対するものか否かを確定することができ、これによりユーザを移動端末の標識情報と互いに関連付けるか否かを決定することができ、これによってユーザを識別する。
しかし、実際の状況では、上述したように撮像システムに位置特定誤差が存在し、同一の移動端末に対して、二つの位置特定システムが得た方位角に多少の違いが生じる可能性がある。このため、上記の第一方位角αncamと第二方位角αmspの差の最小値によって移動端末ユーザ(このうちαncamは第nユーザと撮像設備との方位角を表し、αmspは第m移動端末と撮像設備との方位角を表す)を識別し、以下の公式(10)に示すとおりである。
ncam−αmsp|min (10)
即ち、移動端末の取得した複数の第一方位角の中の或る一つの第一方位角と、複数の第二方位角の中の或る一つの第二方位角の間の差が最小であれば、当該第一方位角の対応するユーザは当該第二方位角の対応する移動端末を携帯しているので、当該ユーザを予め取得した当該移動端末の標識情報と関連付けることを示している。これにより、撮像設備は、ステレオ視覚で位置特定したユーザに向けて、相応する標識情報を割り当てる。
図7は、方位角比較の一例の概念図を示した。図7で、二つの黒くて丸い点は移動端末を表し、灰色の丸い点は撮像設備を表す。図7に示すように、第一ユーザに対する第一方位角α1camと、第一移動端末に対する第二方位角α1spの間の差は最小であり、第二ユーザに対する第一方位角α2camと、第二移動端末に対する第二方位角α2spの間の差も最小である。これにより、取得した第一移動端末の標識情報を位置特定した第一ユーザと関連付け、取得した第二移動端末の標識情報を位置特定した第二ユーザと関連付ける。
実際の状況では、複数のユーザが、撮像設備に対しては異なる方向にあるものの、撮像設備との距離は等しいという状況が存在する可能性がある。勿論、上記のように、位置特定誤差が存在するので、ここで言う等しいとは誤差範囲内で等しいと言うこと、即ち、異なるユーザと撮像設備間の距離の差が所定の値(第一所定値)より小さいと言うことである。この状況では、上記識別方法200で、取得した各移動端末と撮像設備の第一距離の中に、距離の差が第一所定値より小さい複数の第一距離が存在する可能性があり、この時は、撮像設備が、距離の比較だけによって同じ距離を有するこれらのユーザを識別するのが難しいかもしれない。この場合は、更に複数の同じ第一距離をもつユーザの第一方位角と、各移動端末の第二方位角を比較し、方位角の比較結果に基づき移動端末の標識情報をユーザと互いに関連付け、ユーザを識別する。
他方、複数のユーザと撮像設備との距離は等しくないが、撮像設備に対しては同じ方向にあるという場合が存在するかもしれない。勿論、同様に、位置特定誤差が存在するので、ここで言う等しいとは誤差範囲内で等しいと言うこと、即ち、異なるユーザの撮像設備に対する方位角の差が所定の値(第二所定値)より小さいと言うことである。この時は、撮像設備が、方位角の比較だけによって同じ方位角を有するこれらのユーザを識別するのは難しいかもしれない。この場合は、更に、複数の同じ第一方位角をもつユーザと撮像設備との第一距離、ならびに各ユーザの第二距離を比較し、距離の比較結果に基づき移動端末の標識情報をユーザと互いに関連付けユーザを識別する。
言い換えれば、本発明の上記実施例による、距離の比較に基づきユーザを識別する方法、ならびに方位角の比較に基づきユーザを識別する方法は、単独で使用することも、互いに結合して使用することもでき、かつ比較の前後関係は制限を受けない。例えば、位置情報を比較する時、先に距離を比較し、距離の比較によってユーザを区分できなければ、更に方位角を比較する。或いは、先に方位角を比較し、方位角の比較によってユーザを区分できなければ、更に距離を比較する。勿論、以上の実施例では、距離と方位角を位置情報の例として、それぞれ、本発明によるユーザ識別方法を説明したが、位置情報の例はこれに限らず、ユーザ区分に用いることのできる他の如何なる位置情報も用いることができる。本発明による別の実施例では、位置特定精度を高め更に正確にユーザを識別するために、慣性データに基づき位置情報を校正することもできる。
具体的には、上記ステップS220で取得した移動端末の慣性データにより、取得した第一距離及び/或いは第一方位角を校正し、校正後の第一距離及び/或いは校正後の第一方位角と、第二距離及び/或いは第二方位角との比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
例えば、撮像設備は、移動端末の慣性データの累積誤差と、撮像設備自身の視覚位置特定誤差に基づき、有効な履歴ウィンドウを設定することができ、以下の公式(11)に示すとおりである。
th≦εlocationinertial
(11)
このうち、thは有効な履歴ウィンドウ、即ち、慣性センサーデータの累積誤差εinertialが視覚位置特定誤差εlocationより小さい時間である。
当該有効な履歴ウィンドウ内で、撮像設備は慣性センサーデータにより視覚位置特定結果を校正する。例えば、撮像設備が異動端末の慣性データにより、移動端末の異動履歴情報を取得し、それにより移動端末ユーザの、当該有効な履歴ウィンドウ内の位置履歴情報を取得し、校正後の第一位置情報とする。撮像設備は、校正後の第一位置情報と無線ネットワーク中の相対位置特定過程により得られた第二位置情報を比較し、比較結果に基づき、移動端末ユーザを移動端末の標識情報と互いに関連付ける。
一つの具体例として、例えば、上記方法200で取得した二つの移動端末の現在時刻での位置情報が誤差範囲内で一致した時に、上記公式(11)により、有効な履歴ウィンドウが3秒より小さいか等しい場合、現在時刻から3秒前までのこの時間内の慣性センサーデータにより、3秒前に二つの移動端末それぞれのいた位置(第一距離及び/或いは第一方位角)を推定し、校正した第一位置情報とする。その後、校正した第一位置情報を3秒前に無線方法で得られた第二位置情報と比較する。
図8は、移動履歴情報に基づき位置特定精度を高める概念図を示した。図8に示すように、第一及び第二移動端末C1とC2が撮像設備C0の位置特定誤差範囲内にいれば、第一及び第二移動端末C1とC2の慣性データにより、第一及び第二移動端末C1とC2の歴史位置C1’とC2’を確定することができる。撮像設備は位置C1’とC2’を識別することができ、これにより、位置C1’とC2’に基づき比較を行い、ユーザを識別することができる。
そのため、実際の状況では、複数のユーザが互いに近づき、彼らの撮像設備に対する距離と方位角が非常に接近する時に、例え、位置特定誤差の存在によって、撮像設備の位置特定誤差範囲内にある二つ或いは更に多くのユーザの距離と方位角が、撮像設備によって区別され難い可能性がある場合でも、撮像設備は移動端末の慣性データに基づいて第一位置情報を校正し、これにより位置特定精度を高め、その位置特定誤差範囲内のユーザも区別できるようにする。
本発明による別の実施例では、位置特定精度を高め、より正確にユーザを識別できるようにするために、複数の撮像設備の使用により位置特定精度を高め、これにより更に正確にユーザを識別することもできる。
当業者ならご存知の通り、撮像設備がステレオ視覚に基づいて位置特定を行う時、位置特定誤差の大小は位置特定距離の変化に連れて変化し、両者は一定の関数関係を呈する。通常、位置特定距離が長くなるほど、位置特定誤差範囲も大きくなる。一つの撮像設備が自分から比較的遠い二つのノードを位置特定し、誤差範囲が大きくなって、二つのノードを区別することができない時は、別の撮像設備を用いて位置特定結果の精度を高めることができる。
これにより、上記方法200で、複数の撮像設備を用いて、各移動端末ユーザと各撮像設備の第一距離を取得し、各移動端末ユーザと各撮像設備の第一距離に基づいて、各撮像設備の各移動端末に対する位置特定誤差範囲を計算し、各撮像設備の同一ユーザに対する位置特定誤差範囲に基づき、各撮像設備の当該ユーザに対する第一位置情報の計算結果を最適化し、撮像設備の最適化された第一位置情報と、同一の撮像設備の取得した第二位置情報との比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
具体的には、撮像設備の位置特定誤差δAは、通常、以下の公式(12)と表される。
δA=ferror(d) (12)
このうち、δAは位置特定誤差、dは撮像設備と位置特定された移動端末ユーザ間の距離、ferrorは位置特定距離dと位置特定誤差δ間の関数関係である。
位置特定された移動端末ユーザとの間の距離で決まると言うことは、各撮像設備が自己の位置特定誤差を有すると言うことであり、これにより、各撮像設備の位置特定誤差範囲は、それが位置特定するユーザの位置を円心とし、その位置特定誤差を半径とする円形で表すことができ、公式(13)に示すとおりである。
C1a error=(C1aA1a)
C2a error=(C2aA2a)
・・・・・・
Can error=(CnaAna) (13)
このうち、Canは第n撮像設備がステレオ視覚方式で位置特定するユーザの位置、δAnaは第n撮像設備の位置特定誤差、Can errorは第n撮像設備の位置特定誤差範囲である。
このうち、各撮像設備の位置特定するユーザの位置Cnaは三次元座標で表すことができ、以下の公式(14)に示すとおりである。
C1a(C1ax,C1ay,C1az)
C2a(C2ax,C2ay,C2az)
・・・・・・
Cna(Cnax,Cnay,Cnaz) (14)
また、上記公式(12)により、各移動端末の位置特定誤差δAnaは、以下の公式(15)と表すことができる。
δA1a=ferror(d1a)
δA2a=ferror(d2a)
・・・・・・
δAna=ferror(dna) (15)
上記のように、ユーザとの距離が異なるため、各撮像設備の位置特定誤差も同じではない。複数の撮像設備のうち、位置特定誤差の小さい撮像設備は、同じユーザに対する位置特定結果の信頼度がより高まるため、各撮像設備のウェイトを計算することができ、以下の公式(16)に示すとおりである。
kia weight=ΣδAia/δdia (16)
このうち、kia weightは第i撮像設備に対する位置特定誤差範囲Cia errorの加重ファクタ、δAiaは第i撮像設備の位置特定誤差である。
その後、当該加重ファクタkia weightを正規化し、三角重心位置特定方法を利用して、位置特定誤差区域を縮小し、位置特定精度を高め、最適化されたユーザ位置情報を取得することができる。その後、撮像設備が、最適化された位置情報に基づき上記比較処理を行うことができる。
図9は、3つの撮像設備を使って位置特定精度を高める概念図を示した。図9に示すように、位置特定されたノードa、bが同時に撮像設備2の位置特定誤差範囲内(図中、位置特定誤差範囲は円形で示されている)にあり、このため撮像設備2にとって、ノードa、bの位置情報を区別することが難しいかもしれない。しかし、3つの撮像設備を使うことにより、撮像設備1にとっては、そのノードa、bからの位置がより近く、位置特定誤差が相対的に小さく、その位置特定結果の信頼度が相対的に言って比較的に高い。3つの撮像設備の位置特定誤差範囲と相応する加重に基づき、位置特定誤差区域を縮小し、これによりノードa、bの位置情報を最適化することができ、図中で影を付した部分に示すとおりである。これにより、ノードa、bを区別することができ、これにより、相応する標識情報をそれに割り当てる。勿論、3つの撮像設備の使用は一例に過ぎず、使用できる撮像設備数に制限はなく、具体的な状況に応じて確定することができる。
注意を要することは、上記位置情報の最適化処理においては、複数の撮像設備を用いるが、各撮像設備全てについて自身の位置の最適化を行えば、各撮像設備はより正確な位置特定結果を得ることができる。しかし、実際に応用する時は、計算コストや時間の消耗等の問題があるため、移動端末の慣性データによって位置特定精度を高めることによっても、なお、近い位置のユーザを識別することができない時、例えば、異なるユーザの有効な履歴ウィンドウでの位置履歴情報がなお同じである時だけに、このような最適化を行うことができる。位置情報の比較を行う時は、そのうち一つの撮像設備の位置情報の最適化処理結果だけを用いて比較することも、複数の撮像設備の位置特定位置結果を結合して比較することもでき、それはシステムの位置特定精度と識別精度の要求によって決まるものであり、具体的な応用の際に、当業者が状況を見て臨機に確定する。
これにより、例え、位置の近い複数のユーザの、有効な履歴ウィンドウ内にある位置情報履歴が、なお、識別の難しい状況にある場合でも、例えば、上記したような慣性データによる校正後の第一距離の中に、距離の差が第一所定値より小さい複数の同じ第一距離が存在する、或いは、校正後の第一方位角の中に、方位角の差が第二所定値より小さい複数の同じ第一方位角が存在する状況でも、複数の撮像設備を使うことによって、移動端末ユーザの位置情報を最適化し、これらのユーザの位置を区別することもできる。
本発明による別の実施例では、ステップS240で、移動端末の標識情報を移動端末ユーザと関連付けた後、撮像設備が移動端末に向かって、当該移動端末と互いに関連付けられたユーザの第一位置情報を発信し、ならびに、無線ネットワーク全体の中で、標識情報を有する移動端末ユーザの位置情報を共有し、これによりユーザの追跡等を実現する。
本発明の上記実施例で説明した識別方法により、二つの位置特定方法を結合して、位置特定された人を識別し、それほど複雑でない識別機能を実現した。当該方法は外部から映像処理を加える必要のない方法なので、例えば光線による干渉など、外界の環境因子を受けることがない。
更に一歩進んだ実施例では、慣性データで位置情報を校正し、及び/或いは複数の撮像設備で位置情報を最適化することにより、高い位置特定精度を得、より正確にユーザを識別することができる。撮像設備がユーザの標識情報によりユーザの位置情報を共有することによって、ネットワーク全体の位置特定ニーズを実現し、その上、位置特定精度は、無線ネットワークだけに依拠した従来の位置特定方法より優れている。
しかも、位置情報に基づく身分識別方法を利用しているので、撮像設備は、正確な身分標識情報により位置特定された物体を追跡することができ、特に、例えば、人ごみや、撮影エリアへの人の出入り、人が互いにすれ違う影響など、実際の比較的に複雑な環境で、有効に追跡を準備することができる。
図10は、本発明中の撮像設備に応用した構造ブロック図を示した。図10に示すように、当該撮像設備は、撮像設備の動きを制御し、上記位置情報の取得、位置情報の比較等々に用いる処理ユニットU11、無線ネットワークの構築に用いる無線ネットワーク構築ユニットU12、音声信号を発信し、これによって無線位置特定過程を実現するのに用いる音声信号発信ユニットU13、画像を処理し、これによってステレオ視覚位置特定過程を実現するのに用いる視覚処理ユニットU14、信号発信時刻を記録し、TOF距離測定アルゴリズムを実現するのに用いる計時器U15、標識情報、無線方式による位置特定結果、ステレオ視覚方式による位置特定結果、及び慣性センサーから来る慣性データなど位置特定過程中のデータの保存に用いるメモリーユニットU16、電源供給に用いる電源供給ユニットU17を含む。
音声信号発信ユニットU13については、典型的な移動端末の応用において、発信と受信の音声信号は聴覚の範囲内にある。同時に、別の典型的な応用では、音声信号は超音波範囲のもの(高周波)でも、或いは亜音速波範囲のもの(低周波)でも良い。
図11は、本発明中の移動端末に応用した構造ブロック図を示した。図11に示すように、当該移動端末は、移動端末の動きを制御するのに用いる処理ユニットU21、無線ネットワークの構築に用いる無線ネットワーク構築ユニットU22、音声信号の受信と処理に用いる音声信号受信ユニットU23、慣性センサーデータの収集、位置特定過程の実現に用いる慣性センサーユニットU24、信号受信時刻を記録し、TOF距離測定アルゴリズムの実現に用いる計時器U25、標識情報や慣性センサーデータなどの位置特定過程中のデータの保存に用いるメモリーユニットU26、電源供給に用いる電源供給ユニットU27を含むことができる。
勿論、図10と図11は、本発明に関係する移動端末と撮像設備の構造を示しただけであり、移動端末と撮像設備は、他の可能な如何なるハードウェア及び/或いはソフトウェアの機能を含むこともできる。
図12は、本発明の識別方法による、一つの具体的な応用実例の時系列チャートを示した。図12に示すように、当該実例は、以下の過程、即ち、1)無線ネットワークの最初の段階で、撮像設備が無線ネットワークを構築する過程S11、2)移動端末が無線ネットワークに加わる過程S12、3)撮像設備が無線技術に基づいて移動端末の標識信号を収集する過程S13、4)撮像設備が視覚方式で人の位置を位置特定する過程S2、5)撮像設備の標識に基づいて音声周波数信号のコード化を行う過程S31、6)撮像設備が低周波音声コード化信号を位置特定された人の携帯する移動端末に発信する過程S32、7)撮像設備の発信作業完了後、発信時刻を記録する過程S33、8)移動端末が音声信号を受信し解読する過程S34、9)移動端末が無線信号のパッケージを作成し、無線信号に音声信号がコード化された撮像設備の身分標識情報と移動端末の自己の身分標識情報を含む過程S35、10)移動端末が無線信号を撮像設備に発信する過程S36、11)撮像設備の無線信号受信時に、撮像設備が受信時刻を記録する過程S37、12)撮像設備がTOF(タイムオブフライト)により距離を計算する過程S38、13)撮像設備がドップラー効果と慣性センサーデータにより方位角を計算する過程S39、14)距離と方位角の比較により、身分標識とその位置をバインディングする過程S41、15)バインディングが失敗した場合、移動情報が位置特定精度のアップを補助し、再度バインディングする過程S42、16)移動情報の補助が失敗した場合、複数の撮像設備が協力して位置特定精度のアップを補助し、再度バインディングする過程S43、17)撮像設備が移動端末の標識により、移動端末に向けて位置情報を発信し、全ネットワークの位置特定を実現する過程S5 を含むことができる。
図13は、本発明の別の実施例による、撮像設備により少なくとも一つの移動端末ユーザを識別する装置の機能ブロック図を示した。図13に示すように、当該装置1300は、前記撮像設備により前記少なくとも一つの移動端末の中の各移動端末ユーザの第一位置情報を取得するのに用いる第一位置情報取得部1310、前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するのに用いる第二位置情報取得部1320、取得した第一位置情報と第二位置情報を比較するのに用いる比較部1330、前記比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定するのに用いる確定部1340を含むことができる。
一つの実施例では、当該第一位置情報は、移動端末ユーザと撮像設備の第一距離を含むことができ、当該第二位置情報は、移動端末と撮像設備の第二距離を含むことができ、比較部1330が、第一距離のうちの一つと第二距離のうちの一つの間の差が最小であることを確定した場合、前記確定部1340が、前記第一距離のうちの一つに対応するユーザを、前記第二距離のうちの一つに対応する移動端末の標識情報と関連付ける。
一つの実施例では、前記第一位置情報取得部1310は、前記撮像設備により移動端末ユーザの視差情報を取得し、前記撮像設備により前記視差情報から移動端末ユーザと撮像設備の第一距離を取得する。
一つの実施例では、第二位置情報取得部1320は、前記移動端末が前記撮像設備の無線ネットワークに加わることにより、前記撮像設備が当該無線ネットワーク内にある移動端末に向けて信号を発信することにより、移動端末の前記信号受信時に、撮像設備に向けて当該移動端末自身の標識情報を含む応答信号を発信することにより、撮像設備が前記応答信号を受信し、これにより移動端末の標識情報を取得することにより、かつ信号発信時間と前記応答信号受信時間により、移動端末と撮像設備の第二距離を計算する。
一つの実施例では、第一位置情報には、移動端末ユーザの前記撮像設備に相対する第一方位角を含むことができ、第二位置情報には、各移動端末の前記撮像設備に相対する第二方位角も含むことができる。比較部1330は、移動端末ユーザの第一方位角と各移動端末の第二方位角を比較し、また前記確定部1340は、方位角の比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
一つの実施例では、比較部1330が、第一方位角のうちの一つと第二方位角のうちの一つとの間の差が最小であると確定すれば、前記確定部1340が、前記第一方位角のうちの一つに対応するユーザを、前記第二方位角のうちの一つに対応する移動端末の標識情報と関連付ける。
一つの実施例では、前記装置には、前記撮像設備により、各移動端末との無線通信に基づき各移動端末の慣性データを取得するのに用いる慣性データ取得部(未提示)、ならびに前記慣性データを利用して、取得した第一位置情報を校正するのに用いる校正部も含むことができる。このうち、前記確定部1340は、校正後の第一位置情報と第二位置情報の比較結果を基に、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
一つの実施例では、前記第一位置情報取得部1310は、複数の撮像設備により前記少なくとも一つの移動端末のうちの各移動端末ユーザと各撮像設備の第一距離を取得することもできる。前記装置には、各移動端末ユーザと各撮像設備の第一位置情報に基づき、各撮像設備の各移動端末に対する位置特定誤差範囲を計算するのに用いる位置特定誤差範囲取得部、各撮像設備の同一ユーザに対する位置特定誤差範囲に基づき、各撮像設備の当該ユーザに対する第一距離及び/或いは第一方位角の計算結果を最適化するのに用いる最適化部も含むことができる。前記比較部1330は、撮像設備の最適化された第一位置情報と、同一の撮像設備の取得した第二位置情報を比較し、前記確定部1340は、最適化された位置情報の比較結果に基づき、移動端末の標識情報を移動端末ユーザと関連付けるか否かを確定する。
一つの実施例では、前記装置には、前記確定部が移動端末の標識情報を移動端末ユーザと関連付けた後、撮像設備から移動端末に向けて当該移動端末と互いに関連するユーザの第一位置情報を発信するのに用いる発信部も含むことができる。
以上、添付図を参考にして、本発明の実施例によるユーザ識別方法と装置を詳細に説明した。上記においては、移動端末を携帯したユーザを対象にして説明を行ったが、当業者には、本発明の応用可能対象がこれに限らないことがはっきりしている。
本公開中に言及した装置、設備、システムのブロック図は単なる例であり、必ずブロック図に示された方式に従って接続、手配、配置しなければならないと要求し、或いは暗示することを意図しているわけではない。当業者なら、任意の方式でこれらの装置、設備、システムを接続、手配、配置できることを認識するだろう。例えば、「包括する」、「含む」、「有する」等々の言葉は非限定の用語であり、「含むが、これに限らない」ことを意味し、互換使用することができる。ここで使用した言葉、「或いは」や「及び」は、「及び/或いは」を指しており、前後の文脈から明確にこれと異なることが示されていない限り、互換使用することができる。ここで使用した言葉、「例えば」は、「例えば、但し、これに限らない」を意味し、互換使用することができる。
本公開中のステップフローチャートと上記の方法は単なる例であり、必ず提示された順序に従って実施例のステップを行わなければならないと要求し、或いは暗示することを意図しているわけではない。当業者なら、任意の順序で上記実施例中のステップの順序を行うことができることを認識するだろう。例えば、「その後」、「それから」、「続いて」等々の言葉は、ステップの順序を限定する意図はなく、読者にこれらの方法の説明を通読してもらうために用いているだけである。例えば、上記方法200で、説明の順序によればステップS210で第一位置情報を取得し、ステップS220で第二位置情報を取得するが、第一と第二の位置情報の取得順序はこれに限らず、先に第二位置情報を取得してから第一位置情報を取得しても良いし、或いは同時に第一と第二の位置情報を取得しても良い。
この他、例えば、冠詞、「一つの」、「一」、或いは「当該」を使用した単数要素に対する如何なる引用も、当該要素を単数に制限するものとは解釈されない。
公開した面における以上の説明を提供し、本分野の如何なる技術者も本発明を実行し、或いは使用することができるようにした。これらの面の各種修正は、当業者にとっては非常に明らかで見やすいものであり、ここに定義された一般原理は、他の面にも応用でき、かつ本発明の範囲を逸脱するものではない。従って、本発明は、ここに示された面に限定されるのではなく、この公開原理と新規性特徴に一致する最も広い範囲に照らして判断されることを意図している。

Claims (12)

  1. 撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程と、
    前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程と、
    取得した第一位置情報と第二位置情報を比較する工程と、
    前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程と、を含む、
    移動端末を携帯するユーザを識別する方法。
  2. 前記第一位置情報が、移動端末を携帯するユーザと撮像設備との第一距離を含み、前記第二位置情報が移動端末と撮像設備との第二距離を含み、
    前記比較結果に基づき、前記移動端末の標識と前記移動端末を携帯するユーザとを関連付けるか否かを確定する工程が、
    第一距離のうちの一つと第二距離のうちの一つの間の差が最小であれば、前記第一距離のうちの一つに対応する移動端末を携帯するユーザを、前記第二距離のうちの一つに対応する移動端末の標識情報と関連付ける工程を含む、
    請求項1に記載の方法。
  3. 前記撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程が、
    前記撮像設備が移動端末を携帯するユーザの視差情報を取得する工程と、
    前記撮像設備が前記視差情報から移動端末を携帯するユーザと撮像設備との第一距離を取得する工程を含む、
    請求項2に記載の方法。
  4. 前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程が、
    前記移動端末が前記撮像設備の無線ネットワークに加わる工程と、
    前記撮像設備により当該無線ネットワークの中に移動端末に向けて信号を発信する工程と、
    前記移動端末が前記信号を受信した時に、前記撮像設備に向けて当該移動端末自身の標識情報を含む応答信号を発信する工程と、
    前記撮像設備が前記応答信号を受信し、これにより前記移動端末の標識情報を取得し、信号の発信時間ならびに前記応答信号の受信時間により前記移動端末と前記撮像設備との第二距離を計算する工程を含む、
    請求項2に記載の方法。
  5. 前記第一位置情報が、移動端末を携帯するユーザの前記撮像設備に対する第一方位角を含み、前記第二位置情報が、各移動端末の前記撮像設備に対する第二方位角をさらに含み、
    前記比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確認する工程が、
    第一及び第二方位角の比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確定する工程を含む、
    請求項1に記載の方法。
  6. 第一及び第二方位角の比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程が、
    第一方位角のうちの一つと第二方位角のうちの一つの間の差が最小であれば、前記第一方位角のうちの一つに対応するユーザを、前記第二方位角のうちの一つに対応する移動端末の標識信号と関連付ける工程を含む、
    請求項5に記載の方法。
  7. 前記撮像設備により、各移動端末との無線通信に基づき各移動端末の慣性データを取得する工程、及び
    前記撮像設備により、前記慣性データを利用して、取得した第一位置情報を校正し、校正後の第一位置情報と前記第二位置情報の比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確認する工程をさらに含む、
    請求項1に記載の方法。
  8. 複数の撮像設備により、前記少なくとも一つの移動端末を携帯するユーザと各撮像設備との第一位置情報を取得する工程と、
    各移動端末を携帯するユーザと各撮像設備との第一位置情報に基づき、各撮像設備の各移動端末に対する位置特定誤差範囲を計算する工程と、
    各撮像設備の同一ユーザに対する位置特定誤差範囲に基づき、各撮像設備の当該ユーザの第一位置情報に対する計算結果を最適化する工程と、
    一つの撮像設備の最適化された第一位置情報と、同一の撮像設備の取得した第二位置情報との比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程も含む、
    請求項1に記載の方法。
  9. 移動端末の標識情報と移動端末を携帯するユーザとを関連付けた後、撮像設備が移動端末に向けて、当該移動端末と相互に関連付けられたユーザの第一位置情報を発信することをさらに含む、
    請求項1〜8の任意の1項に記載の方法。
  10. 前記撮像設備により前記少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得するために用いる第一位置情報取得部と、
    前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するために用いる第二位置情報取得部と、
    取得した第一位置情報と第二位置情報を比較するために用いる比較部と、
    前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する確定部と、を含む、
    移動端末を携帯するユーザを識別する装置。
  11. コンピュータに、請求項1〜9の任意の1項に記載の方法を実行させるためのプログラム。
  12. 請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2016021088A 2015-02-09 2016-02-05 移動端末を携帯するユーザの識別方法と装置 Active JP6142931B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510064943.5A CN105987694B (zh) 2015-02-09 2015-02-09 识别移动设备的用户的方法和装置
CN201510064943.5 2015-02-09

Publications (2)

Publication Number Publication Date
JP2016154329A true JP2016154329A (ja) 2016-08-25
JP6142931B2 JP6142931B2 (ja) 2017-06-07

Family

ID=56566910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016021088A Active JP6142931B2 (ja) 2015-02-09 2016-02-05 移動端末を携帯するユーザの識別方法と装置

Country Status (3)

Country Link
US (1) US10123158B2 (ja)
JP (1) JP6142931B2 (ja)
CN (1) CN105987694B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
WO2021251368A1 (ja) * 2020-06-08 2021-12-16 清水建設株式会社 情報表示装置及び情報表示方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101581632B1 (ko) * 2015-03-10 2015-12-30 최승욱 단말기 간의 접촉을 확인하는 방법 및 이를 실행하는 컴퓨터 프로그램 및 애플리케이션
CN108537094B (zh) * 2017-03-03 2022-11-22 株式会社理光 图像处理方法、装置和系统
CN108693538A (zh) * 2017-04-07 2018-10-23 北京雷动云合智能技术有限公司 基于双目结构光的准确置信度深度摄像机测距装置及方法
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location
CA3112512A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
CN113256078A (zh) * 2020-09-05 2021-08-13 苏州贝基电子科技有限公司 基于大数据的健康饮食管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099350A (ja) * 2001-05-31 2003-04-04 Seiko Epson Corp 位置情報関連サービスの提供方法
JP2006127240A (ja) * 2004-10-29 2006-05-18 Secom Co Ltd 不審者検出システム及び不審者検出プログラム
JP2006311111A (ja) * 2005-04-27 2006-11-09 Daikin Ind Ltd 位置検知システムおよび位置検知方法
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
US20120046044A1 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target Localization Utilizing Wireless and Camera Sensor Fusion

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558762B2 (en) * 2004-08-14 2009-07-07 Hrl Laboratories, Llc Multi-view cognitive swarm for object recognition and 3D tracking
US20080252527A1 (en) * 2007-04-03 2008-10-16 Juan Carlos Garcia Method and apparatus for acquiring local position and overlaying information
JP5487677B2 (ja) * 2009-03-30 2014-05-07 富士通株式会社 位置情報サービス装置、方法、及びプログラム
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
JP5494364B2 (ja) * 2010-09-02 2014-05-14 カシオ計算機株式会社 測位装置、測位方法、及び、プログラム
US8634849B2 (en) * 2011-01-19 2014-01-21 Qualcomm Incorporated Methods and apparatus for mobile device based location determination in a communications system
US20140036087A1 (en) * 2012-07-31 2014-02-06 Sony Corporation Enhancing a user experience utilizing camera location information and user device information
US9252878B2 (en) * 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
AU2014306813A1 (en) * 2013-08-12 2016-03-31 Flyby Media, Inc. Visual-based inertial navigation
CN103868511B (zh) * 2014-02-21 2017-01-25 武汉眸博科技有限公司 地理位置信息估算方法、修复方法和显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099350A (ja) * 2001-05-31 2003-04-04 Seiko Epson Corp 位置情報関連サービスの提供方法
JP2006127240A (ja) * 2004-10-29 2006-05-18 Secom Co Ltd 不審者検出システム及び不審者検出プログラム
JP2006311111A (ja) * 2005-04-27 2006-11-09 Daikin Ind Ltd 位置検知システムおよび位置検知方法
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
US20120046044A1 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target Localization Utilizing Wireless and Camera Sensor Fusion

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
US11061102B2 (en) 2017-11-30 2021-07-13 Kabushiki Kaisha Toshiba Position estimating apparatus, position estimating method, and terminal apparatus
WO2021251368A1 (ja) * 2020-06-08 2021-12-16 清水建設株式会社 情報表示装置及び情報表示方法
JP2021193769A (ja) * 2020-06-08 2021-12-23 清水建設株式会社 情報表示装置及び情報表示方法
JP7374851B2 (ja) 2020-06-08 2023-11-07 清水建設株式会社 情報表示装置及び情報表示方法

Also Published As

Publication number Publication date
US10123158B2 (en) 2018-11-06
JP6142931B2 (ja) 2017-06-07
CN105987694B (zh) 2019-06-07
US20160232677A1 (en) 2016-08-11
CN105987694A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6142931B2 (ja) 移動端末を携帯するユーザの識別方法と装置
Asaad et al. A comprehensive review of indoor/outdoor localization solutions in IoT era: Research challenges and future perspectives
Langlois et al. Indoor localization with smartphones: Harnessing the sensor suite in your pocket
EP3456040B1 (en) Surveillance system and method for camera-based surveillance
US9785857B2 (en) Hybrid multi-camera based positioning
US9772396B2 (en) Relative orientation angle calculation method and device as well as relative positioning method
US9084068B2 (en) Sensor-based placement of sound in video recording
CN105849579B (zh) 目标设备的定位方法和移动终端
US20180032829A1 (en) System for collecting event data, method for collecting event data, service server for collecting event data, and camera
US11893317B2 (en) Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area
CN105975967B (zh) 一种目标定位方法和系统
CN112098942B (zh) 一种智能设备的定位方法和智能设备
Fang et al. Eyefi: Fast human identification through vision and wifi-based trajectory matching
Ayllón et al. Indoor blind localization of smartphones by means of sensor data fusion
CN110431378A (zh) 相对于自主车辆和乘客的位置信令
CN112098943A (zh) 一种可穿戴设备的定位方法和智能设备
EP3899568A1 (en) System for localization of sound sources
US11956693B2 (en) Apparatus and method for providing location
Murakami et al. Five degrees-of-freedom pose-estimation method for smartphones using a single acoustic anchor
US20170359671A1 (en) Positioning arrangement
CN103776438B (zh) 定位设备和系统、用于即时定位与地图构建的设备及方法
Tiku et al. An Overview of Indoor Localization Techniques
KR102650647B1 (ko) 음원 위치 추정 장치 및 그의 음원 위치 추정 방법
CN112578338A (zh) 声源定位方法、装置、设备及存储介质
Jacob et al. Absolute geometry calibration of distributed microphone arrays in an audio-visual sensor network

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170424

R151 Written notification of patent or utility model registration

Ref document number: 6142931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151