JP2020154430A - 複数のマーカを備えたデバイス - Google Patents

Abstract

【課題】高精度なトラッキングを実現するように複数のマーカを配置したデバイスを提供する。【解決手段】入力デバイスは、ケース体と、ケース体の外部に光を出射する複数のマーカ３０ｄ、３０ｅ、３０ｐとを備える。２つのマーカ３０ｄ、３０ｅの法線方向の角度差が所定の閾値未満である場合、当該２つのマーカ３０ｄ、３０ｅの間隔は、所定の第１間隔以上とされる。２つのマーカ３０ｄ、３０ｐの法線方向の角度差が所定の閾値以上である場合、当該２つのマーカ３０ｄ、３０ｐの間隔は、所定の第２間隔以上とされる。第２間隔は、第１間隔よりも短い。【選択図】図８

Description

本発明は、複数のマーカを備えたデバイスに関する。

特許文献１は、ゲーム装置の前方を撮影したフレーム画像を取得して、フレーム画像におけるゲームコントローラのＬＥＤ像の位置から実空間におけるゲームコントローラの位置情報および姿勢情報を推定し、推定した位置情報および／または姿勢情報をゲームアプリケーションの処理に反映するゲーム装置を開示する。

特開２００７−２９６２４８号公報

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて、仮想現実（ＶＲ）の映像空間をユーザに提供する。ＨＭＤを装着したユーザは入力デバイスの操作ボタンを操作して、映像空間に対して様々な入力を行うことができる。

近年、デバイスの位置や姿勢をトラッキングし、ＶＲ空間の３Ｄモデルに反映させる技術が普及している。ゲーム空間のプレイヤキャラクタやゲームオブジェクトの動きを、トラッキング対象となるデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的な操作が実現される。デバイスのトラッキングには発光素子などの複数のマーカが利用され、複数のマーカを撮影した画像を解析して画像内の各マーカ像の位置を特定することで、実空間におけるデバイスの位置および姿勢が推定される。デバイスの位置および姿勢を高精度にトラッキングするためには、デバイスを撮影した画像内で、各マーカ像の位置が正確に特定されることが必要となる。

そこで本発明の目的は、高精度なトラッキングを実現するように複数のマーカを配置したデバイスを提供することにある。なおデバイスは操作ボタンを有する入力デバイスであってよいが、操作部材を有しない単にトラッキングの対象となるデバイスであってよい。

上記課題を解決するために、本発明のある態様のデバイスは、ケース体と、当該ケース体の外部に光を出射する複数のマーカとを備え、２つのマーカの法線方向の角度差が所定の閾値未満である場合、当該２つのマーカの間隔は、所定の間隔以上とされる。

本発明によると、高精度なトラッキングを実現するように複数のマーカを配置したデバイスを提供できる。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 入力デバイスの外観形状を示す図である。 入力デバイスの機能ブロックを示す図である。 入力デバイスを撮影した画像の一部の例を示す図である。 入力デバイスの右側面形状を示す図である。 湾曲部の概略構成を示す図である。 同一面における２つのマーカの法線方向を説明するための図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサを備え、所定の周期（たとえば１６００Ｈｚ）でセンサデータを情報処理装置１０に送信する。

実施例のゲームは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の位置、姿勢、動きなどを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば操作部材の操作情報は、プレイヤキャラクタを移動させるための情報として利用され、入力デバイス１６の位置、姿勢、動きなどの操作情報は、プレイヤキャラクタの腕を動かすための情報として利用されてよい。たとえばゲーム内の戦闘シーンにおいて、入力デバイス１６の動きが、武器をもつプレイヤキャラクタの動きに反映されることで、ユーザの直観的な操作が実現され、ゲームへの没入感が高められる。

入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、ＨＭＤ１００に搭載された撮像装置１４によって撮影可能な複数のマーカ（光出射部）が設けられる。情報処理装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置情報および姿勢情報を推定し、推定した位置情報および姿勢情報をゲームに提供する。

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像装置１４は、入力デバイス１６の複数のマーカの像を取得できる画像センサであればよい。たとえばマーカが可視光を出射する場合、撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有する。マーカが非可視光を出射する場合、撮像装置１４は非可視光センサを有する。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、入力デバイス１６を撮影した画像データを情報処理装置１０に送信する。

情報処理装置１０は、撮影画像に含まれる入力デバイス１６の複数のマーカ像の位置を特定する。なお１つの入力デバイス１６が同じタイミングで複数の撮像装置１４に撮影されることもあるが、撮像装置１４の取付位置および取付姿勢は既知であるため、その場合には情報処理装置１０は複数の撮影画像を合成して、マーカ像の位置を特定する。

入力デバイス１６の３次元形状と、その表面に配置された複数のマーカの位置座標は既知であり、情報処理装置１０は、撮影画像内のマーカ像の分布にもとづいて、入力デバイス１６の位置座標および姿勢を推定する。入力デバイス１６の位置座標は、基準位置を原点とした３次元空間における位置座標であってよく、基準位置はゲーム開始前に設定した位置座標（緯度、経度）であってよい。

なお情報処理装置１０は、入力デバイス１６の姿勢センサが検出したセンサデータを用いることでも、入力デバイス１６の位置座標および姿勢を推定できる。そこで実施例の情報処理装置１０は、撮像装置１４で撮影した撮影画像にもとづく推定結果と、センサデータにもとづく推定結果を用いて、高精度に入力デバイス１６のトラッキング処理を実施する。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの視線方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。このように複数の撮像装置１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。このユーザの視野は、３次元仮想空間におけるユーザの視野であってよい。

ＨＭＤ１００は、姿勢センサが検出したセンサデータおよび撮像装置１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータ、マイク１２６からの音声データ、撮像装置１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、入力デバイス１６の外観形状を示す。図４（ａ）は、入力デバイス１６の正面形状を示し、図４（ｂ）は、入力デバイス１６の背面形状を示す。入力デバイス１６は、ケース体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０ａ〜３０ｔ（以下、特に区別しない場合には「マーカ３０」と呼ぶ）とを備える。操作部材２２は、ケース体２０の頭部に配置され、傾動操作するアナログスティック、押下式ボタン、引き量を入力するトリガーボタンなどを含む。

ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは人差し指から小指までの指を把持部２１と湾曲部２３の間に通し、把持部２１を把持する。ユーザは把持部２１を把持した状態で、操作部材２２ａ、２２ｂ、２２ｃを親指で操作し、操作部材２２ｄを人差し指で操作する。マーカ３０ｈ、３０ｉ、３０ｊは把持部２１に設けられるが、ユーザが把持部２１を把持した状態であっても、手によって隠れない位置に配置される。１以上のマーカ３０を把持部２１に設けることで、トラッキング精度を高められる。

マーカ３０は、ケース体２０の外部に光を出射する光出射部であり、トラッキングされている間は、常に光を出射した状態にあってよい。マーカ３０はＬＥＤ（Light Emitting Diode）などの発光素子と、発光素子を覆って光を外部に拡散出射する樹脂部を含む。なおマーカ３０は、導光管などの導光部材に導かれた光を外部に出射する構成を有してよい。この場合、導光部材の入射口にはＬＥＤなどの発光素子が接続され、マーカ３０は導光部材の出射口と、出射口を覆って光を外部に拡散出射する樹脂部を含んでよい。

図５は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付け、また姿勢センサ５２により取得されたセンサデータを受け付ける。姿勢センサ５２は、入力デバイス１６の動きに関するセンサデータを取得し、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。制御部５０は、受け付けた操作情報およびセンサデータを通信制御部５４に供給する。通信制御部５４は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から出力される操作情報およびセンサデータを情報処理装置１０に送信する。また通信制御部５４は、情報処理装置１０から発光指示を取得してよい。制御部５０は、情報処理装置１０から供給される発光指示にもとづいて、複数のマーカ３０から光を出射させる。

図６は、入力デバイス１６を撮影した画像の一部の例を示す。図示されるように撮影画像には、光を出射するマーカ３０の像が含まれる。ＨＭＤ１００において、通信制御部１２８は、撮像装置１４が撮影した画像データを情報処理装置１０に送信し、情報処理装置１０は、画像データからマーカ３０の像を抽出する。入力デバイス１６の３次元形状と、その表面に配置された複数のマーカ３０の位置座標は既知であるため、情報処理装置１０は、撮影画像内のマーカ３０の像の分布から、ＰｎＰ（Perspective n-Point）問題を解くことで、撮像装置１４に対する入力デバイス１６の位置と姿勢を推定する。

情報処理装置１０がＰｎＰ問題を解くためには、入力デバイス１６がどの姿勢で撮影されても、撮影画像内でマーカ像が正確に特定されることが前提となる。そのため入力デバイス１６における複数のマーカ３０の配置は適切に設計される必要がある。

図７は、入力デバイス１６の右側面形状を示す。図示されるように湾曲部２３は、中央に尾根面２０ｃを有し、その両脇に第１面２０ａと第２面２０ｂを有する。尾根面２０ｃ、第１面２０ａ、第２面２０ｂのいずれも、入力デバイス１６の中心部から見て外側に膨らんだ湾曲面として形成され、第１面２０ａには、マーカ３０ｃ、３０ｄ、３０ｅ、３０ｆが、第２面２０ｂには、マーカ３０ｐ、３０ｑがそれぞれ配設されている。

図８は、湾曲部の概略構成を示す。矢印Ａは撮像装置１４の光軸方向を示す。撮像装置１４の光軸方向が第１面２０ａに略平行となる入力デバイス１６の姿勢で撮像装置１４が撮影する場合、第１面２０ａに配設されたマーカ３０ｄとマーカ３０ｅは、接近した状態で撮影される。なお撮像装置１４は第１面２０ａ側を撮影するが、第２面２０ｂ側は撮影しないため、マーカ３０ｐは撮影されない。

このとき情報処理装置１０は撮影画像内で２つのマーカ像を区別できずに、１つのマーカ像として誤認識することがある。その場合、情報処理装置１０は、ＰｎＰ問題を正しく解くことができず、入力デバイス１６の位置姿勢の推定に失敗する。

本発明者は、様々なシミュレーションおよび実験を行った結果、この失敗は、撮影画像内でマーカ３０ｄの像とマーカ３０ｅの像とが接近しすぎたことが原因であり、したがって第１面２０ａにあるマーカ３０ｄとマーカ３０ｅの間隔をより長くすることで、撮影画像内における２つのマーカ像の位置を離せることを知見として得た。この知見から、本発明者は各マーカ３０の法線方向に注目し、２つのマーカ３０の法線方向の角度差が小さければ、ある特定の姿勢において、撮影画像内で２つのマーカ像が接近する可能性があることを見いだした。

ここでマーカ３０の法線方向は、マーカ３０が配設されたケース体２０の面に垂直な方向として定義される。たとえばマーカ３０が、ケース体２０の表面に対してＬＥＤチップを平行に配置した構成を有する場合には、マーカ３０の法線方向が、ＬＥＤチップの光軸中心方向と定義されてよい。またマーカ３０が、導光管の出射口に拡散出射用樹脂部を備えた構成である場合には、マーカ３０の法線方向が、拡散発光面の中心の接面に対して垂直な線と定義されてもよい。

そこで実施例の入力デバイス１６では、２つのマーカ３０の法線方向の角度差が所定の閾値Ａth未満である場合、当該２つのマーカ３０の間隔（直線距離）は、所定の第１間隔Ｄ１以上とされる。なお閾値Ａthおよび第１間隔Ｄ１の数値は、撮像装置１４の解像度等の各種条件により定められる。たとえば、ある条件下において、閾値Ａthは３５度、第１間隔Ｄ１は３ｃｍであってよい。図８に示す例で、マーカ３０ｄとマーカ３０ｅの法線方向の角度差が閾値Ａth未満であれば、マーカ３０ｄとマーカ３０ｅの間隔は第１間隔Ｄ１以上とされる。これにより矢印Ａの方向から撮影した場合であっても、情報処理装置１０は、撮影画像内で２つのマーカ像をそれぞれ認識できる。

また本発明者は、矢印Ａの方向から撮影した結果、第２面２０ｂにおけるマーカ３０ｐはそもそも撮影されないため、マーカ３０ｐと、第１面２０ａにおけるマーカ３０ｄまたはマーカ３０ｅとの間隔は、第１間隔Ｄ１より短くて問題ないことも知見として得た。この知見から、本発明者は、２つのマーカ３０の法線方向の角度差が大きければ、撮影画像内で２つのマーカ像が接近する可能性がない（または小さい）ことを見いだした。

図９は、同一面における２つのマーカ３０の法線方向を説明するための図である。ここでは撮像装置１４の撮影方向に対して凸形状に湾曲した同一面上に、マーカ３０ｖとマーカ３０ｗが配設されている例を示す。このとき矢印Ｂで示す方向から撮像装置１４が撮影すると、マーカ３０ｖは撮影されるが、マーカ３０ｗは撮影されない。これは、マーカ配設面が凸形状に湾曲していることで、撮像装置１４に対して奥側のマーカ３０ｗが、マーカ３０ｖとマーカ３０ｗの間で盛り上がっている面によって撮像装置１４から隠されるためである。

したがって同一面においても、２つのマーカ３０の法線方向の角度差が大きければ、矢印Ｂの方向から撮影した場合に、マーカ３０ｖは撮影されず、結果として撮影画像内で２つのマーカ３０の像が近接することは生じない。なお参考までに、矢印Ｃで示す方向から撮像装置１４が撮影すると、マーカ３０ｖの像とマーカ３０ｗの像は、そもそも撮影画像内で離れた位置に存在するため、情報処理装置１０は問題なく両者を区別でき、２つのマーカ像を１つのマーカ像として誤認識することはない。

以上の考察から、入力デバイス１６では、２つのマーカ３０の法線方向の角度差が所定の閾値Ａth以上である場合、当該２つのマーカ３０の間隔（直線距離）は、所定の第２間隔Ｄ２以上とされる。なお第２間隔Ｄ２は、第１間隔Ｄ１よりも短い。第２間隔Ｄ２の数値も、撮像装置１４の解像度等の各種条件により定められ、たとえば撮像装置１４と入力デバイス１６との距離が最大距離となっても撮影画像内の２つのマーカ像を区別できる長さに設計される。たとえば、ある条件下において、第２間隔Ｄ２は２ｃｍであってよい。図８に示す例で、マーカ３０ｄとマーカ３０ｐの法線方向の角度差が閾値Ａth以上であれば、マーカ３０ｄとマーカ３０ｐの間隔は第２間隔Ｄ２以上とされる。

このように実施例の入力デバイス１６は、２つのマーカ３０の間隔が、それぞれのマーカ３０の法線方向の角度差にもとづいて設計されている。マーカ３０の配置設計に際しては、３次元形状が既知である入力デバイス１６の複数の位置にマーカ３０をランダムに配置し、最適な配置であるかシミュレーション等により検証する。この際、上記した閾値Ａthなどの条件をシミュレーション等で使用することで、複数のマーカ３０の最適配置を実現できる。

以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、操作部材２２を備えた入力デバイス１６における複数マーカ３０の配置について説明したが、トラッキングの対象となるデバイスは、必ずしも操作部材２２を備えていなくてよい。また実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、マーカ像を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１６・・・入力デバイス、２０・・・ケース体、２１・・・把持部、２２・・・操作部材、２３・・・湾曲部、３０・・・マーカ。

Claims (6)

1. ケース体と、当該ケース体の外部に光を出射する複数のマーカと、を備えたデバイスであって、
   ２つのマーカの法線方向の角度差が所定の閾値未満である場合、当該２つのマーカの間隔は、所定の第１間隔以上とされる、
   ことを特徴とするデバイス。
2. ２つのマーカの法線方向の角度差が所定の閾値以上である場合、当該２つのマーカの間隔は、所定の第２間隔以上とされ、第２間隔は、第１間隔よりも短い、
   ことを特徴とする請求項１に記載のデバイス。
3. ２つのマーカの間隔が、それぞれのマーカの法線方向の角度差にもとづいて設計されている、
   ことを特徴とする請求項１または２に記載のデバイス。
4. 前記デバイスは、ユーザが操作する操作部材を有する入力デバイスである、
   ことを特徴とする請求項１から３のいずれかに記載のデバイス。
5. ケース体は、ユーザの手により把持される把持部を有し、
   １以上のマーカが把持部に配置される、
   ことを特徴とする請求項１から４のいずれかに記載のデバイス。
6. 前記デバイスは、ヘッドマウントディスプレイに取り付けられた撮像装置により撮影される、
   ことを特徴とする請求項１から５のいずれかに記載のデバイス。