JP2017215262A

JP2017215262A - 検出方法、被検出物、及びシステム

Info

Publication number: JP2017215262A
Application number: JP2016110423A
Authority: JP
Inventors: 田中　奈緒; Nao Tanaka; 奈緒田中
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2017-12-07
Anticipated expiration: 2036-06-01
Also published as: JP6689678B2

Abstract

【課題】利便性を向上させた検出方法、被検出物、及びシステムを提供する。【解決手段】第１撮像部が被検出物を撮像した第１撮像画像と、第２撮像部が被検出物を撮像した第２撮像画像と、に基づいて被検出物の向きを検出する検出方法は、第１撮像画像及び第２撮像画像に基づいて、被検出物に設けられた第１マーカ及び第２マーカの三次元空間における位置を特定するステップと、第１マーカ及び第２マーカの位置に基づいて、被検出物の向きを推定するステップと、を含む。【選択図】図１

Description

本発明は、検出方法、被検出物、及びシステムに関する。

従来、カメラを使用して物体の位置を検出するシステムが知られている。例えば、特許文献１には、カメラを使用して頭部装着型ディスプレイの位置及び姿勢を計測することにより、頭部装着型ディスプレイに表示する映像を変えるシステムが開示されている。

特開２００７−７１７８２号公報

しかしながら、従来のシステムには、例えば利便性向上の観点から、改善の余地があった。

かかる事情に鑑みてなされた本発明の目的は、利便性を向上させた検出方法、被検出物、及びシステムを提供することにある。

本発明の一実施形態に係る検出方法は、第１撮像部が被検出物を撮像した第１撮像画像と、第２撮像部が前記被検出物を撮像した第２撮像画像と、に基づいて前記被検出物の向きを検出する検出方法である。検出方法は、前記第１撮像画像及び前記第２撮像画像に基づいて、前記被検出物に設けられた第１マーカ及び第２マーカの三次元空間における位置を特定するステップと、前記第１マーカ及び前記第２マーカの位置に基づいて、前記被検出物の向きを推定するステップと、を含む。

また、本発明の一実施形態に係る被検出物は、第１撮像部が被検出物を撮像した第１撮像画像と、第２撮像部が前記被検出物を撮像した第２撮像画像と、に基づいて前記被検出物の向きを検出する検出方法に用いられる被検出物である。被検出物は、第１マーカ及び第２マーカを備える。

また、本発明の一実施形態に係るシステムは、第１マーカ及び第２マーカを有する被検出物と、前記被検出物を撮像した第１撮像画像を生成する第１撮像部と、前記被検出物を撮像した第２撮像画像を生成する第２撮像部と、情報処理装置と、を備える。前記情報処理装置は、前記第１撮像画像及び前記第２撮像画像に基づいて、前記第１マーカ及び前記第２マーカの三次元空間における位置を特定し、前記第１マーカ及び前記第２マーカの位置に基づいて、前記被検出物の向きを推定する。

本発明によれば、利便性を向上させた検出方法、被検出物、及びシステムを提供できる。

本発明の一実施形態に係る位置検出システムの概略構成を示す機能ブロック図である。図１の位置検出システムによる位置検出原理について説明する概略図である。図１の位置検出システムを用いた情報表示システムの概略構成を示す機能ブロック図である。図３のヘッドマウントディスプレイの一例を示す外観斜視図である。図３の情報表示システムによる情報表示処理の一例を示すシーケンス図である。図４のヘッドマウントディスプレイに備えられた光源の、三次元空間における位置を示す図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る位置検出システム１００の概略構成を示す機能ブロック図である。本実施形態に係る位置検出システム１００は、複数の撮像装置と、各撮像装置と通信可能に構成される情報処理装置１３０とを備える。本実施形態では、図１に示すように、位置検出システム１００は、複数の撮像装置として、第１撮像装置１１０と、第２撮像装置１２０という、２つの撮像装置を備える。位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。

図２は、図１の位置検出システム１００による位置検出原理について説明する概略図である。本実施形態に係る位置検出システム１００では、第１撮像装置１１０及び第２撮像装置１２０が、位置検出の対象である対象物（被検出物）Ｐを撮像し、情報処理装置１３０が、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。第１撮像装置１１０及び第２撮像装置１２０は、図２に一例として示すように、それぞれ異なる方向から対象物Ｐを撮像する。本実施形態において、対象物Ｐは、例えば７００〜１５００ｎｍ程度の近赤外線を発する赤外線ＬＥＤ（発光ダイオード：Light Emitting Diode）であるとして説明する。

再び図１を参照すると、第１撮像装置１１０は、制御部１１１と、記憶部１１２と、通信部１１３と、第１撮像部１１４とを備える。第１撮像装置１１０は、対象物Ｐを撮像し、撮像画像を情報処理装置１３０に送信する。

制御部１１１は、第１撮像装置１１０が備える各機能ブロックをはじめとして、第１撮像装置１１０の全体を制御及び管理するプロセッサである。制御部１１１は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１１２又は外部の記憶媒体等に格納される。制御部１１１は、例えば第１撮像部１１４による撮像処理の制御を行う。

記憶部１１２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１１１の動作に必要なデータ等を記憶する。また、記憶部１１２は、ワークメモリとして機能するＲＡＭ（Random Access Memory）等のデバイスも有する。記憶部１１２は、例えば第１撮像部１１４が撮像して取得した撮像画像（以下「第１撮像画像」ともいう）を記憶してもよい。

通信部１１３は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第１撮像装置１１０は、通信部１１３を介して、第１撮像画像を情報処理装置１３０に送信する。

第１撮像部１１４は、対象物Ｐを撮像する。第１撮像部１１４は、光を電気信号に変換することにより素子上に投影された画像を撮像する撮像素子（イメージセンサ）を備える。本実施形態では、第１撮像部１１４は、対象物Ｐが発する近赤外光を検出する赤外線カメラである。

第２撮像装置１２０は、制御部１２１と、記憶部１２２と、通信部１２３と、第２撮像部１２４とを備える。制御部１２１、記憶部１２２、通信部１２３及び第２撮像部１２４の各機能は、それぞれ第１撮像装置１１０の制御部１１１、記憶部１１２、通信部１１３及び第１撮像部１１４と同様であるため、ここではその詳細な説明を省略する。なお、本明細書において、第２撮像部１２４が撮像して取得した撮像画像を、以下「第２撮像画像」ともいう。

情報処理装置１３０は、制御部１３１と、記憶部１３２と、通信部１３３とを備える。情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。

制御部１３１は、情報処理装置１３０が備える各機能ブロックをはじめとして、情報処理装置１３０の全体を制御及び管理するプロセッサである。制御部１３１は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１３２又は外部の記憶媒体等に格納される。制御部１３１は、第１撮像装置１１０が取得した第１撮像画像と、第２撮像装置１２０が取得した第２撮像画像とに基づいて、検出対象の位置を算出する。制御部１３１による検出対象の位置の算出処理の詳細については、後述する。

記憶部１３２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１３１の動作に必要なデータ等を記憶する。また、記憶部１３２は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１３２は、例えば第１撮像装置１１０及び第２撮像装置１２０からそれぞれ取得した第１撮像画像及び第２撮像画像を記憶してもよい。また、記憶部１３２は、例えば算出した対象物の位置の履歴を記憶してもよい。情報処理装置１３０は、対象物の位置の履歴に基づき、対象物の変位（軌跡）を算出できる。

通信部１３３は、第１撮像装置１１０及び第２撮像装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、情報処理装置１３０は、通信部１３３を介して、第１撮像画像及び第２撮像画像を、それぞれ第１撮像装置１１０及び第２撮像装置１２０から取得する。

次に、図２を参照しながら、情報処理装置１３０による検出対象の位置の算出処理の詳細について説明する。

図２には、第１撮像装置１１０の撮像範囲Ａ及び第２撮像装置１２０の撮像範囲Ｂが、それぞれ仮想的に示されている。すなわち、図２において、撮像範囲Ａは、第１撮像装置１１０が取得した第１撮像画像を仮想的に示し、撮像範囲Ｂは、第２撮像装置１２０が取得した第２撮像画像を仮想的に示す。第１撮像画像及び第２撮像画像には、それぞれ画像平面上の所定の位置に、対象物Ｐが映っている。第１撮像画像及び第２撮像画像において、対象物Ｐが映っている位置の座標は、例えば、それぞれ第１撮像部１１４及び第２撮像部１２４の注視点を基準にして定められる。

本実施形態において、第１撮像装置１１０及び第２撮像装置１２０の位置ベクトルを、それぞれベクトルｃ_１及びベクトルｃ_２で示す。また、第１撮像装置１１０から対象物Ｐに向かう方向ベクトルをベクトルａで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルをベクトルｂで示す。方向ベクトルａは、例えば第１撮像部１１４が備える撮像素子の位置から第１撮像画像の画像平面上における検出対象Ｐに向かう方向ベクトルとして定義される。また、同様に、方向ベクトルｂは、例えば第２撮像部１２４が備える撮像素子の位置から第２撮像画像の画像平面上における対象物Ｐに向かう方向ベクトルとして定義される。方向ベクトルａ及び方向ベクトルｂは、例えば、情報処理装置１３０の制御部１３１が、それぞれ第１撮像画像及び第２撮像画像に基づいて算出する。なお、図２では、方向ベクトルａ及び方向ベクトルｂの長さは、例示的なものとして示している。また、対象物Ｐの位置ベクトルをベクトルｐで表す。

対象物Ｐの位置ベクトルｐは、位置ベクトルｃ_１及び方向ベクトルａを用いて、下式（１）のように表される。情報処理装置１３０の制御部１３１は、位置ベクトルｐを、下式（１）のように設定する。

式（１）において、ｎは、実数であり、例えば第１撮像部１１４のセンサ位置から検出対象Ｐまでの距離に応じて定まる。ｎが算出（決定）されることにより、位置ベクトルｐが定まり、対象物Ｐの位置が定まる。

ここで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトル（ここではベクトルｄとする）は、第２撮像装置１２０の位置ベクトルｃ_２を用いて、下式（２）のように表すことができる。制御部１３１は、方向ベクトルｄを算出する。

上式（２）に示す方向ベクトルｄは、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルとして定義したため、方向ベクトルｂと方向が等しい。従って、方向ベクトルｄと方向ベクトルｂとのなす角が０°であるため、方向ベクトルｄと方向ベクトルｂとの外積の大きさは０となる。これを式で表現すると、下式（３）のように表現される。

上式（３）を、ｎについて解くと、下式（４）が導出される。

上式（４）を、上式（１）に代入すると、位置ベクトルｐは、下式（５）のように表される。

上式（５）において、位置ベクトルｃ_１及び位置ベクトルｃ_２は、それぞれ第１撮像装置１１０及び第２撮像装置１２０を設置した位置により定まる。また、方向ベクトルａ及び方向ベクトルｂは、それぞれ第１撮像装置１１０及び第２撮像装置１２０が取得した第１撮像画像及び第２撮像画像から、情報処理装置１３０が算出することができる。従って、情報処理装置１３０は、上式（５）を用いて、対象物Ｐの位置ベクトルｐを算出できる。制御部１３１は、式（３）から式（５）に示すように、方向ベクトルｄと方向ベクトルｂとに基づいて、対象物Ｐの位置を算出する。とくに、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の値に基づいて、外積の値が０であると仮定して、対象物Ｐの位置を算出する。このようにして、位置検出システム１００によれば、対象物Ｐの位置を特定可能である。

また、本実施形態に係る位置検出システム１００によれば、第１撮像装置１１０及び第２撮像装置１２０が、それぞれ異なる方向から、対象物Ｐを撮像する。そのため、例えばステレオカメラ等のように、２つのカメラを使用して１つの方向から撮像した画像に基づいて、視差を利用して距離を算出するシステムと比較して、本実施形態に係る位置検出システム１００は、位置検出の精度が向上する。

次に、上述の位置検出システム１００の応用例について説明する。本明細書では、位置検出システム１００を、ユーザの頭部に装着される表示装置であるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の位置の特定に応用する場合の一例について説明する。位置検出システム１００を応用した情報表示システムでは、上述の位置検出システム１００によりＨＭＤの位置を特定し、特定した位置に応じた情報をＨＭＤが備える表示部に表示する。

図３は、位置検出システム１００を応用した情報表示システム２００の概略構成を示す機能ブロック図である。図３に示すように、情報表示システム２００は、位置検出システム１００が含む第１撮像装置１１０、第２撮像装置１２０及び情報処理装置１３０に加え、ＨＭＤ１４０を備える。情報処理装置１３０と、ＨＭＤ１４０とは、有線又は無線を介して通信可能に構成される。

図４は、ＨＭＤ１４０の一例を示す外観斜視図である。ＨＭＤ１４０は、ユーザが頭部に装着可能な略半球形状の装着部１４１と、ユーザがＨＭＤ１４０を装着した際にユーザに対して情報を表示する表示部１４２と、光源１４３とを備える。本実施形態では、ＨＭＤ１４０は、図４に示すように、光源１４３ａ（第１マーカ）及び光源１４３ｂ（第２マーカ）を備えるとして説明する。なお、２つの光源１４３ａ及び１４３ｂを区別しない場合には、まとめて光源１４３と記載する。

再び図３を参照すると、ＨＭＤ１４０は、表示部１４２と、光源１４３と、制御部１４４と、記憶部１４５と、通信部１４６と、角速度検出部１４７とを備える。

表示部１４２は、ＨＭＤ１４０を装着したユーザに情報を表示する。表示部１４２は、例えば情報を表示する液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等のディスプレイと、ディスプレイを保持するハウジングとを有する。図４には、ユーザの視線を外界から遮断するハウジングを有する、いわゆる没入型の表示部１４２が示されているが、表示部１４２は、没入型に限られない。表示部１４２は、例えば、ユーザが表示部１４２を介して外界を視認可能ないわゆる透過型（シースルー型）であってもよい。

光源１４３は、第１撮像装置１１０及び第２撮像装置１２０により検出される光を発するものであり、図２で説明した対象物Ｐに相当するものである。光源１４３は、例えば図２で説明したものと同様に、近赤外光を発する赤外線ＬＥＤである。本実施形態では、２つの光源１４３ａ及び１４３ｂは、図４に一例として示すように、ユーザがＨＭＤ１４０を装着した際に、前後方向に配列されるように、装着部１４１に設けられる。

制御部１４４は、ＨＭＤ１４０が備える各機能ブロックをはじめとして、ＨＭＤ１４０の全体を制御及び管理するプロセッサである。制御部１４４は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１４５又は外部の記憶媒体等に格納される。制御部１４４は、例えば、ユーザの位置及びユーザの頭部の向き等に基づいて、表示部１４２に多様な情報を表示する。具体的には、制御部１４４は、例えばユーザの位置及び頭部の向きに追従した仮想空間を表示部１４２に表示させる。なお、ユーザの位置は、情報処理装置１３０によって特定される、ユーザが装着したＨＭＤ１４０の位置により定められる。また、ユーザの頭部の向きは、ユーザの頭部に装着されたＨＭＤ１４０の向きにより定められる。

記憶部１４５は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１４４の動作に必要なデータ等を記憶する。また、記憶部１４５は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。また、記憶部１４５は、例えば表示部１４２に表示する仮想空間に関する各種データを記憶する。

通信部１４６は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う通信インターフェースを有する。例えば、ＨＭＤ１４０は、通信部１４６を介して、情報処理装置１３０から、第１撮像画像及び第２撮像画像に基づいて情報処理装置１３０が特定したＨＭＤ１４０の位置に関する情報を取得する。

角速度検出部１４７は、例えばＨＭＤ１４０の角速度の変化を検出するセンサである。角速度検出部１４７は、例えばジャイロセンサにより構成される。なお、角速度検出部１４７は、ジャイロセンサに限られない。角速度検出部１４７は、ＨＭＤ１４０の角度変化を検出できればよい。従って、角速度検出部１４７は、例えば、加速度センサ、角度センサ、その他のモーションセンサ、又はこれらのセンサの組合せ等によって構成されていてもよい。角速度検出部１４７が検出した角速度の変化に関する情報は、制御部１４４に送信される。制御部１４４は、角速度検出部１４７から取得した角速度の変化に関する情報に基づき、ユーザの頭部の向きを特定できる。本実施形態では、角速度検出部１４７は、例えば図４に示すように、ピッチ軸（ｘ軸）、ヨー軸（ｙ軸）、及びロール軸（ｚ軸）の３軸まわりの角速度の変化を検出する。また、制御部１４４は、角速度検出部１４７の出力に基づき、ユーザの頭部の３軸まわりの角度、具体的にはピッチ角θ、ヨー角ψ、及びロール角φを特定する。

次に、情報表示システム２００における仮想空間の表示処理について、図５を参照して説明する。

まず、第１撮像装置１１０が、光源１４３の画像を撮像することにより、第１撮像画像を取得する（ステップＳ１０１）。

第１撮像装置１１０は、取得した第１撮像画像を情報処理装置１３０に送信する（ステップＳ１０２）。

また、第２撮像装置１２０が、光源１４３の画像を撮像することにより、第２撮像画像を取得する（ステップＳ１０３）。

第２撮像装置１２０は、取得した第２撮像画像を情報処理装置１３０に送信する（ステップＳ１０４）。

なお、第１撮像装置１１０によるステップＳ１０１及びＳ１０２の処理と、第２撮像装置１２０によるステップＳ１０３及びＳ１０４の処理とは、同時に実行されてもよい。

情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０から、それぞれ第１撮像画像及び第２撮像画像を取得すると、取得した撮像画像に基づいて、ＨＭＤ１４０の位置を特定する（ステップＳ１０５）。具体的には、情報処理装置１３０は、例えば予め記憶部１３２に記憶された第１撮像装置１１０の位置及び第２撮像装置１２０の位置と、取得した撮像画像とを用いて、式（５）により、光源１４３の位置を算出することにより、ＨＭＤ１４０の位置を特定する。

情報処理装置１３０は、特定したＨＭＤ１４０の位置に関する情報をＨＭＤ１４０に送信する（ステップＳ１０６）。

ＨＭＤ１４０は、角速度検出部１４７を用いて、ＨＭＤ１４０の角速度の変化に関する情報を取得する（ステップＳ１０７）。

そして、ＨＭＤ１４０は、角速度検出部１４７が取得した角速度の変化に関する情報に基づいて、ユーザの頭部の向きを特定する（ステップＳ１０８）。

ＨＭＤ１４０は、ステップＳ１０６で情報処理装置１３０から取得した位置に関する情報と、ステップＳ１０８で特定した頭部の向きに基づいて、表示部１４２に仮想空間を表示する（ステップＳ１０９）。

このようにして、情報表示システム２００は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づいて、表示部１４２に仮想空間を表示する。情報表示システム２００では、上述の位置検出システム１００を応用して、ＨＭＤ１４０の位置を特定しているため、ＨＭＤ１４０の位置を正確に特定しやすくなる。

なお、本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記実施形態においては、位置検出システム１００は、２つの撮像装置１１０及び１２０を備えるとして説明したが、位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。位置検出システム１００が３つ以上の撮像装置を備える場合、情報処理装置１３０は、任意の２つの撮像装置が取得した撮像画像に基づいて、対象物Ｐの位置を特定できる。この場合、一部の撮像装置による撮像画像において、対象物Ｐが、例えば障害物に遮られることにより映っていない場合であっても、情報処理装置１３０は、対象物Ｐが映った他の撮像画像を用いて対象物Ｐの位置を特定することができる。

また、上記応用例では、ＨＭＤ１４０が光源１４３を備える場合について説明したが、応用例はこれに限られない。光源１４３は、ＨＭＤ１４０以外の他の機器が備えていてもよく、この場合、情報処理装置１３０は、光源１４３を備える装置の位置を特定できる。

また、ＨＭＤ１４０は、ユーザの頭部の向きに関する情報を、例えば情報処理装置１３０等の外部装置へ送信してもよい。かかる構成によって、以下に説明するように情報表示システム２００の利便性が更に向上する。

例えば、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づく所定の映像を、例えば外部の表示装置等に表示させることができる。所定の映像は、例えばＨＭＤ１４０に表示される映像と略同一の映像、及び仮想空間におけるユーザの位置及び向きを示すマップ映像等、多様な映像を含んでもよい。ここで、情報表示システム２００が複数のＨＭＤ１４０を備える場合、情報処理装置１３０は、例えば第１のＨＭＤ１４０に表示される映像を第２のＨＭＤ１４０に表示させたり、複数のユーザの位置及び向きを示すマップ映像を複数のＨＭＤ１４０に表示させたりすることができる。

また、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、当該向きに関する情報に基づき、ユーザの位置が次に変位する方向を予測することもできる。

上記応用例において、情報処理装置１３０が実行するあらゆる処理をＨＭＤ１４０が実行できるようにしてもよい。このとき、情報表示システム２００は、第１撮像装置１１０、第２撮像装置１２０及びＨＭＤ１４０からなるものであってよい。このとき、ＨＭＤ１４０は、有線又は無線を介して、第１撮像装置１１０及び第２撮像装置１２０と通信可能に構成される。

また、上記実施形態では、ＨＭＤ１４０がユーザの頭部の向きを特定するが、情報処理装置１３０がユーザの頭部の向きを特定してもよい。以下、具体的に説明する。

ＨＭＤ１４０には、例えば２つの光源１４３ａ、１４３ｂが備えられる。情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０から、第１撮像画像及び第２撮像画像をそれぞれ取得する。情報処理装置１３０は、取得した第１撮像画像及び第２撮像画像に基づいて、光源１４３ａ及び１４３ｂそれぞれの三次元空間における位置を算出する。情報処理装置１３０は、光源１４３ａ及び１４３ｂの位置に基づいて、ＨＭＤ１４０の位置を特定する。

また、情報処理装置１３０は、光源１４３ａ及び１４３ｂの位置に基づいて、ユーザの頭部の向き、ここではピッチ角θ、ヨー角ψ、及びロール角φを算出する。ここで図６を参照して、例えばヨー角ψを算出する方法について説明する。図６に示す左手座標系のｘ軸、ｙ軸、及びｚ軸は、それぞれピッチ軸、ヨー軸、及びロール軸に対応する。ここで、光源１４３ａの位置座標を（ｘ１，ｙ１，ｚ１）とし、光源１４３ｂの位置座標を（ｘ２，ｙ２，ｚ２）とする。このとき、ＨＭＤ１４０のｙ軸まわりの角度（ヨー角ψ）は、次式（６）で示される。
ψ＝ａｒｃｔａｎ｛（ｚ２−ｚ１）／（ｘ２−ｘ１）｝（６）

同様に、ＨＭＤ１４０のｘ軸まわりの角度（ピッチ角θ）及びｚ軸まわりの角度（ロール角φ）は、次式（７）及び次式（８）でそれぞれ示される。
θ＝ａｒｃｔａｎ｛（ｙ２−ｙ１）／（ｚ２−ｚ１）｝（７）
φ＝ａｒｃｔａｎ｛（ｙ２−ｙ１）／（ｘ２−ｘ１）｝（８）

このように、情報処理装置１３０は、ＨＭＤ１４０に備えられた２つの光源１４３ａ及び１４３ｂの位置に基づいて、ユーザの頭部の向きを特定する。ここで、情報表示システム２００によれば、上述したように光源１４３ａ及び１４３ｂの位置を精度良く特定可能である。したがって、特定されるユーザの頭部の向きの精度が向上する。また、情報処理装置１３０がユーザの頭部の向きを特定する構成によれば、ＨＭＤ１４０に角速度検出部１４７を備える必要が無いので、ＨＭＤ１４０の小型化及び低コスト化が可能である。

或いは、ＨＭＤ１４０及び情報処理装置１３０のそれぞれがユーザの頭部の向きを推定してもよい。そして、例えばＨＭＤ１４０が推定した向き（第１推定値）と、情報処理装置１３０が推定した向き（第２推定値）と、に基づいて、ユーザの頭部の向きを特定してもよい。

具体的には、情報処理装置１３０は、例えば周期的に、推定した第２推定値に関する情報をＨＭＤ１４０へ送信する。ＨＭＤ１４０は、情報処理装置１３０から第２推定値に関する情報を受信していないとき、ＨＭＤ１４０が推定した第１推定値を、ユーザの頭部の向きとして特定する。一方、ＨＭＤ１４０は、情報処理装置１３０から第２推定値に関する情報を受信すると、自装置において推定した第１推定値を、情報処理装置１３０において推定された第２推定値に基づいて補正する。具体的には、ＨＭＤ１４０は、第１推定値と第２推定値とが異なる場合、第１推定値を第２推定値に近付けるように補正する。好適には、ＨＭＤ１４０は、第１推定値を第２推定値に一致させるように補正する。ＨＭＤ１４０は、補正された第１推定値をユーザの頭部の向きとして特定する。

かかる構成によって、以下に述べるように、特定されるユーザの頭部の向きの精度が更に向上する。一般的に、ジャイロセンサは、ジャイロセンサ自体が回転したときに発生する角加速度を検出する。検出された角加速度は、時間領域で積分されることによって、基準方向からの相対角度（即ち、向き）に変換される。したがって、検出される角加速度に含まれる誤差が積分されるので、相対角度に積算誤差（ドリフティング）が発生し得る。

ここで、ピッチ角及びロール角に発生する積算誤差を低減するために、例えば加速度センサによって検出される重力成分に基づいてピッチ角及びロール角を補正することが知られている。また、ヨー角に発生する積算誤差を低減するために、例えば磁気センサによって検出される地磁気成分に基づいてヨー角を補正することが知られている。このため、ジャイロセンサを用いて対象物Ｐの向きを精度良く検出するためには、一般的に加速度センサ及び磁気センサが必要となるため、装置の大型化及び高コスト化を招き得る。また、磁気センサを用いたヨー角の補正は、地磁気成分の検出精度に依存するため、補正の精度が十分でない場合がある。

一方、上述の構成を有する情報表示システム２００によれば、角速度検出部１４７を用いてＨＭＤ１４０が推定したユーザの頭部の向きの第１推定値を、第１撮像画像及び第２撮像画像を用いて情報処理装置１３０が推定したユーザの頭部の向きの第２推定値に基づいて補正する。第２推定値に関する情報が情報処理装置１３０からＨＭＤ１４０へ送信される度に第１推定値が補正されるので、特定されるユーザの頭部の向きの精度が向上する。また、第２推定値に関する情報が周期的に送信されるタイミングの間の期間においては、第１推定値がユーザの頭部の向きとして特定される。このため、上述のようにユーザの頭部の向きの特定精度を向上させつつ、第２推定値に関する情報の送信周期よりも短い期間におけるユーザの頭部の向きの変化に追従したディレイの少ない映像をＨＭＤ１４０に表示させることができる。

ここで、ＨＭＤ１４０に２つの光源１４３ａ、１４３ｂ（第１マーカ及び第２マーカ）が備えられる構成について説明したが、所定の形状を有する１つの光源がＨＭＤ１４０に備えられる構成であっても、情報処理装置１３０はユーザの頭部の向きを特定（又は推定）可能である。所定の形状とは、光源における複数の特徴点を撮像画像上から検出可能な形状である。例えば、多角形の形状を有する光源を採用する場合、情報処理装置１３０は、多角形の頂点又は輪郭等を特徴点として撮像画像上で検出する。情報処理装置１３０は、撮像画像上の２つの光源１４３ａ、１４３ｂに替えて、撮像画像上の２つの特徴点を第１マーカ及び第２マーカとして用いて、ユーザの頭部の向きを特定（又は推定）する。

また、上記実施形態に係る撮像装置１１０及び１２０、情報処理装置１３０、並びにＨＭＤ１４０として機能させるために、コンピュータ又は携帯電話等の情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係る撮像装置１１０、１２０、情報処理装置１３０、又はＨＭＤ１４０の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることによって実現可能である。

１００位置検出システム
１１０第１撮像装置
１１１、１２１、１３１、１４４制御部
１１２、１２２、１３２、１４５記憶部
１１３、１２３、１３３、１４６通信部
１１４第１撮像部
１２０第２撮像装置
１２４第２撮像部
１３０情報処理装置
１４０ヘッドマウントディスプレイ（ＨＭＤ）
１４１装着部
１４２表示部
１４３光源
１４７角速度検出部
２００情報表示システム

Claims

第１撮像部が被検出物を撮像した第１撮像画像と、第２撮像部が前記被検出物を撮像した第２撮像画像と、に基づいて前記被検出物の向きを検出する検出方法であって、
前記第１撮像画像及び前記第２撮像画像に基づいて、前記被検出物に設けられた第１マーカ及び第２マーカの三次元空間における位置を特定するステップと、
前記第１マーカ及び前記第２マーカの位置に基づいて、前記被検出物の向きを推定するステップと、
を含む、検出方法。
請求項１に記載の検出方法であって、
前記被検出物の向きは、前記被検出物のヨー角を含む、検出方法。
請求項１又は２に記載の検出方法であって、
前記被検出物に設けられたセンサを用いて前記被検出物の向きを推定するステップと、
前記センサを用いて推定された前記被検出物の向きを、前記第１マーカ及び前記第２マーカの位置に基づいて推定された前記被検出物の向きに基づいて補正するステップと、
を更に含む、検出方法。
請求項１乃至３の何れか一項に記載の検出方法に用いられる被検出物であって、
前記第１マーカ及び前記第２マーカを備える、被検出物。
第１マーカ及び第２マーカを有する被検出物と、
前記被検出物を撮像した第１撮像画像を生成する第１撮像部と、
前記被検出物を撮像した第２撮像画像を生成する第２撮像部と、
情報処理装置と、を備え、
前記情報処理装置は、
前記第１撮像画像及び前記第２撮像画像に基づいて、前記第１マーカ及び前記第２マーカの三次元空間における位置を特定し、
前記第１マーカ及び前記第２マーカの位置に基づいて、前記被検出物の向きを推定する、システム。