JP2018067300A - 情報処理装置及びその制御方法 - Google Patents
情報処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP2018067300A JP2018067300A JP2017168835A JP2017168835A JP2018067300A JP 2018067300 A JP2018067300 A JP 2018067300A JP 2017168835 A JP2017168835 A JP 2017168835A JP 2017168835 A JP2017168835 A JP 2017168835A JP 2018067300 A JP2018067300 A JP 2018067300A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- unit
- image display
- measurement frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】消費電力が増えることを抑制し、高い精度で位置検出でき、自然な複合現実感を提示する。【解決手段】画像表示装置200(HMD)と接続された情報処理装置300であって、画像表示装置に備えられた撮像部により撮像された現実空間の画像を取得する第1の取得部210と、画像表示装置に備えられた測定部120により測定された、画像表示装置から現実空間に含まれる物体までの距離を示すデータを取得する第2の取得部220と、第2の取得部により取得した距離を示すデータに基づいて、第1の取得部により取得した画像とCGとを重畳することにより合成画像を生成する生成部と、第1の取得部により取得した画像に特定の物体が含まれている場合、測定部の測定頻度を第1の測定頻度に設定し、第1の取得部により取得した画像に特定の物体が含まれていない場合、測定部の測定頻度を第1の測定頻度よりも低い第2の測定頻度に設定する設定部とを有する。【選択図】図1
Description
本発明は、情報処理装置及びその制御方法に関するものである。
コンピュータによって作られる仮想空間と現実空間とを繋ぎ目なく融合する複合現実感(Mixed Reality;以下、MR)技術が知られている。MR技術では、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て検証等、様々な分野への応用が進んでいる。ビデオシースルー型HMDを利用するMR技術では、HMDに内蔵されている撮影装置であるカメラから現実空間の画像を取得し、仮想物体と重畳してHMDの表示装置に表示を行う。MR技術で現実物体(例えばHMDを装着する操作者自身の手)と仮想物体との前後関係を正しく表現するために、現実物体と仮想物体の3次元位置情報を求める。すなわち、現実物体の3次元位置情報と仮想物体の3次元位置情報を比較し、現実物体が手前になる場合は、撮影した画像を手前に表示する。この前後関係を正しく表現するには、現実物体の3次元位置を正しく求める必要がある。
特許文献1では、デプスセンサを用いて、現実物体の3次元位置計測精度を向上させる試みがなされている。
MRシステムでは、左右の眼に対応して設けられたカメラによって現実空間を撮影した画像からステレオ法により、現実物体の3次元位置を求めることができる。しかし、前述のように、カメラとは別に距離計測部(デプスセンサ)を設けることで、その距離計測部による距離計測結果単独、またはカメラから求められる距離計測結果との併用により、三次元位置情報の精度を向上させることが可能である。しかし、そのために多くの装置や回路等を稼働させるため、消費電力が増えるという問題が発生する。
本発明はかかる問題に鑑みなされたものであり、計測部を有するものの、単純にその計測手段を設けるだけでは消費電力が増えることを抑制しつつ、高い精度で位置検出でき、自然な複合現実感を提示することを可能にする技術を提供しようとするものである。
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
画像表示装置と接続された情報処理装置であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第1の取得手段と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第2の取得手段と、
前記第2の取得手段により取得した距離を示すデータに基づいて、前記第1の取得手段により取得した画像とCGとを重畳することにより合成画像を生成する生成手段と、
前記第1の取得手段により取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第1の測定頻度に設定し、
前記第1の取得手段により取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する設定手段とを有する。
画像表示装置と接続された情報処理装置であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第1の取得手段と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第2の取得手段と、
前記第2の取得手段により取得した距離を示すデータに基づいて、前記第1の取得手段により取得した画像とCGとを重畳することにより合成画像を生成する生成手段と、
前記第1の取得手段により取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第1の測定頻度に設定し、
前記第1の取得手段により取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する設定手段とを有する。
本発明によれば、カメラとは別に計測手段を有するものの、単純にその計測手段の分だけ消費電力が増えることを抑制しつつ、高い精度で位置検出でき、自然な複合現実感を提示することが可能になる。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
[第1の実施形態]
本第1の実施形態では、ビデオシースルー型HMDを装着する体験者(ユーザ)の手をステレオカメラ及びデプスセンサで撮影し、第一、第二の手の領域の奥行き値を推定する。そして、推定結果を基にCGモデルと手との前後関係に応じてCGモデルの画像を加工し、実写画像とCGモデルの合成を、HMDのディスプレイに表示する例を説明する。
本第1の実施形態では、ビデオシースルー型HMDを装着する体験者(ユーザ)の手をステレオカメラ及びデプスセンサで撮影し、第一、第二の手の領域の奥行き値を推定する。そして、推定結果を基にCGモデルと手との前後関係に応じてCGモデルの画像を加工し、実写画像とCGモデルの合成を、HMDのディスプレイに表示する例を説明する。
図1(a)は、本実施形態における複合現実感提示システムのブロック構成図である。このシステムは、HMD200と情報処理装置300とで構成される。HMD200と情報処理装置300とは互いに通信可能に接続されている。接続形態は有線、無線を問わない。
HMD200は、HMD装置全体の制御を司る制御部250を有する。また、HMD200には、ステレオカメラとして機能するカメラ100、110、及び、その近傍に位置するデプスカメラ120が搭載されている。また、更に、HMD200は、カメラ100、110からの撮像画像を取得し、情報処理装置300に向けて送信する画像所得部210を有する。また、HMD200には、デプスカメラ120から取得したデプス画像(画素値が距離を示す画像)を取得し、情報処理装置300に向けて送信する奥行計測部220を有する。更に、HMD200には、情報処理装置300から、CGモデルと実写した画像との合成画像を受信し、表示する表示部230を有する。
説明を単純化するため、実施形態におけるカメラ100、110、及び、デプスカメラ120の撮像する視野範囲、及び、表示部230の表示の視野範囲は同じとして説明する。また、カメラ100、110及びデプスカメラ120は、それぞれ30フレーム/秒で撮像するものとする。
図1(b)は、表示部230の表示画面への表示例を示している。図1(b)ではCGオブジェクト160が、ユーザの手150より奥に位置した場合の合成画像の表示例を示している。図1(a)では、CGオブジェクト160は実在しないので破線で示している。
情報処理装置300は、CPU、ROM、RAM等で構成され、装置全体の制御を司る制御部400を備える。また、情報処理装置300は、画像記憶部310、位置姿勢推定部320、モデル形状記憶部330、画像生成部340、第一の奥行推定部350、第二の奥行推定部360、奥行決定部370、及び、画像合成部380を有する。なお、画像記憶部310、モデル形状記憶部330は、ハードディスク等の記憶装置で実現でき、それ以外は制御部409がアプリケーションプログラムを実行することで実現できる。もちろん、そのいくつかをCPU以内のハードウェアで実現しても構わない。
画像記憶部310は、HMD200から送信されてくる撮像画像(ステレオ画像)を一時的に記憶する。
位置姿勢推定部320は、画像記憶部310に記憶されたステレオ画像からHMD200(正確にはカメラ100、110)の位置姿勢を推定する。HMD200の位置姿勢を推定する技術として、現実空間内に位置姿勢検出のマーカ170(図1(b)参照)を複数個配置し、撮像画像中のマーカからHMD200の位置姿勢を推定するものがあり、本実施形態でもそれに従うものとする。例えば、画像を二値化し、四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ位置姿勢を推定すればよい。なお、HMD200の位置姿勢が検出できれば良く、その構成に特に制限はない。例えば、モーションキャプチャ装置や磁気センサーなど、その他の計測方法を用いてHMD200の位置姿勢を計測してもよい。
第一の奥行推定部350は、画像記憶部310からステレオ画像を取得し、ステレオマッチング方式を用いて、HMDを装着するユーザの視点位置から見える第一の奥行推定情報(奥行推定値を画素値とする画像)を生成し、出力する。第二の奥行推定部360は奥行計測部220から受信したデプス画像を取得し、第二の奥行推定情報として出力する。奥行決定部370は、第一の奥行推定情報と第二の奥行推定情報より、より確かな奥行推定情報を決定し、画像生成部340に出力する。ここで、より確かな奥行推定情報を決定するための方法としては、それぞれの推定方法に於ける精度が劣る部分を補い合う方法や、単純な平均、距離や位置で使い分ける方法などを適宜適用することが出来る。
位置姿勢推定部320では、カメラ100および110の位置姿勢を計測する。本実施形態では、撮像画像に映り込む正方形マーカ170の投影像に基づいてカメラ100、110の位置姿勢を推定する。例えば、画像を二値化し、四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ100、110の位置姿勢を推定すればよい。
なお、本実施形態は、位置姿勢推定部320の推定方法に依存するものではなく、モーションキャプチャ装置や磁気センサーなど、その他の計測方法を用いて撮像装置の位置姿勢を計測してもよい。
モデル形状記憶部330は、予め実空間におけるCGオブジェクト160の存在する位置、及び描画するための形状情報を記憶している。なお、記憶される仮想オブジェクトの数に制限はない。
画像生成部340は、モデル形状記憶部330に格納されたCGオブジェクト160、奥行き決定部370からの奥行推定情報に基づく手150の3次元形状、および位置姿勢推定部320から取得したHMD200の位置姿勢に基づいてCGモデル160の画像を生成する。画像生成部340は、CGオブジェクト60の描画ピクセルにおける手150との前後関係を比較して、CGオブジェクトを描画するかどうかを決定して描画を行う。すなわち、手150の方がCGオブジェクト160よりも手前にあると判定した画素位置では、画素にCGオブジェクト160の画素を描画しないようにする。
画像合成部380は、画像記憶部310に格納されているカメラ100、110の夫々の画像に対して、画像生成部340が生成したCGオブジェクト160の描画結果を夫々合成し、ステレオ合成画像を生成する。なお、実施形態では、手150の実画像とCGオブジェクトとを合成するものとしたが、手150の3次元形状をモデル化した手のCGオブジェクトを生成して合成しても良い。画像合成部380は、ステレオ合成画像を表示部230に向けて送信する。この結果、表示部230には、ユーザの左右の目に対応する画像が表示され、ユーザにとっては、自身の手150とCGオブジェクトの前後関係を視覚的に提示することになる。
上述の様に、異なる原理に基づく第1の奥行推定部350,第2の奥行推定部360の2つを用いて、奥行の測定精度を高めることが出来る。しかし、その一方で、距離の測定精度は、常に高い必要は無い。例えば画面内に手が表示されない場合や、CGオブジェクトと手が極端に離れている場合は、高い測定精度は必要ない。
よって、本実施形態は、精度が必要とされない状況か否かを判定する。そして、精度が要求されない状況であると判定された場合、複数の奥行推定に係る構成のうち、カメラ100、110による奥行推定に係る構成以外の構成(実施形態では2種類示しているので、デプスカメラ120に関する構成)の測定精度を落す、場合によっては休止させ、トータルの消費電力を下げる。なお、カメラ100、110による奥行推定に係る構成を、消費電力を下げる対象外とするのは、HMD200が有する表示部230には、リアルタイムな撮像画像(CGオブジェクトの合成画像)を表示するためである。
消費電力を低減させる具体的な方法としては、デプスカメラ120の通常の撮像フレームレートが30フレーム/秒であるところを、例えば10フレーム/秒に落とす(場合によっては可動を休止しても良い)。また、第二の奥行推定部360も、通常の処理の1/3まで落とすことができることを意味するので、例えば、第二の奥行推定部360に供給する駆動クロックの周波数も処理に間に合う程度まで落しても構わない。更に、デプスカメラ120が、TOF(Time of flight)方式のデプスセンサを採用している場合、測定の為に発光するLEDの駆動周期を落とすと良い。上記のようにすると、HMD200、情報処理装置300が無駄に電力を消費することを抑制できる。特に、HMD200が内蔵バッテリを電源として動作している場合には、その稼働時間を稼ぐことが可能となる。
さて、本実施形態では、情報処理装置300の制御部400が、HMD200のカメラ100,110による撮像画像(2枚の画像のうち少なくともいずれか)に、CGオブジェクトとの前後関係を正しく表現したい対象物(以下、測定対象物)が写っているか否かを判定する。そして、撮像画像内に測定対象物が入っていた場合、制御部400は第二の奥行推定部360へ供給される駆動クロックの周波数を下げ、且つ、HMD200の制御部250にもデプスカメラ120に撮像フレームレートを下げるように要求する。HMD200の制御部250は、この要求を受けた場合、奥行計測部220を制御し、デプスカメラ120の撮像フレームレートを30フレーム/秒から、例えば10フレーム/秒に落とさせる。また、デプスカメラ120が先に説明したようにTOF方式のデプスセンサを採用している場合には、フレームレートに応じて、発光用のLEDの駆動の周期も変更する。
以上の結果、撮像画像内に測定対象物が写っている図2(a)の状況と、写っていない図2(b)の状況とで、デプスカメラ120、並びに、デプスカメラ120よるデプス画像を利用する各種構成要素の消費電力を抑えることが可能になる。
図3は実施形態における情報処理装置300における制御部400の処理手順(アプリケーション)を示している。以下、同図に従い、制御部400の処理を説明する。
S301、S302にて、制御部400は、第一、第二の奥行推定部350、360による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。S303にて、制御部400は、奥行決定部370を制御し、第一、第二の奥行推定部350、360からの奥行情報からより高い精度の奥行情報を生成する。そして、S304にて、制御部400は、測定対象情報(モデル形状記憶部に予め記憶されているものとする)に基づき、奥行情報内に、測定対象物(実施形態ではユーザの「手」)が存在するか否かを判定する。測定対象情報は、測定対象物を特定するための情報であり、例えば、「手」の形状を示す形状情報であって、制御部400は奥行情報と形状情報とをマッチング処理し、マッチングする位置が見つかった場合に測定対象物が写っていると判定すればよい。測定対象物が写っていると判断された場合、制御部400は、S305にて、第二の奥行推定部360への動作クロックの周波数を高い状態(30フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対し、デプスカメラ120の撮像頻度(計測頻度でもある)を高い状態(実施形態では30フレーム/秒)となるよう要求する。一方、測定対象物が写っていないと判断された場合、制御部400は、S306にて、第二の奥行推定部360への動作クロックの周波数を低い状態(10フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対しても、デプスカメラ120の撮像頻度(フレームレート)を低い状態(実施形態では10フレーム/秒)となるよう要求する。
なお、デプスカメラ120の撮像フレームレートが10フレーム/秒になっている期間では、3回に1回の割合で、奥行決定部370は第一、第二の奥行推定部350,360の双方の奥行情報から、最終的な奥行情報を生成する。そして、3回に2回の割合で、奥行決定部370は、第一の奥行推定部350からの奥行情報を最終的な奥行情報として決定する。第二の奥行決定部360による奥行情報の更新は1/10秒となっているため、時間軸に対する精度が逆に落ちるためである。かかる点は、以下に説明する他の実施形態でも同様である。
上記説明では、測定対象物が写っているか否かを、奥行決定部370が決定した奥行情報と、測定対象情報が示す形状情報とのマッチング処理で判定するものとしたが、これに限定されない。例えば、ユーザの手の色を測定対象情報としても構わない。この場合、マッチングするする対象は、奥行情報ではなく、画像記憶部310に記憶された撮像画像となる。すなわち、制御部400は、撮像画像中に、手の色を示す所定サイズの領域が存在するか否かを判定すればよい。また、エッジ検出した画像を予め用意した手の姿勢のライブラリと照合し、その有無を判定しても良い。
また、上記説明では、第一の奥行推定情報と第二の奥行推定情報とを併用することによって、測定対象物の最終的な奥行き情報を決定している。しかし、本実施形態は、第二の奥行推定情報(デプスカメラによる距離情報)のみで最終的な奥行き情報を決定する場合にも適用可能である。その場合にも、測定対象物が映っているか否かによってデプスカメラ120の撮像頻度を制御することによって、その電力消費を抑制することが可能になる。
[第1の実施形態の変形例]
上記第1の実施形態では、HMD200はビデオシースルー型であるものとして説明したが、HMD200は光学シースルー型であっても構わない。
上記第1の実施形態では、HMD200はビデオシースルー型であるものとして説明したが、HMD200は光学シースルー型であっても構わない。
図8は、この場合の複合現実感提示システムのブロック構成図である。図1(a)との違いは2つある。1つ目は、図1の画像合成部380が無くなる点である。つまり、画像生成部340が生成したCGオブジェクト160が、HMD200に直接送信され、HMD200の表示部230に表示される。
2つ目は、画像生成部340が、HMD200を装着するユーザの「手」が示す領域を認識する。そして、「手」がCGオブジェクトよりユーザに近い場合には、画像生成部340はCGオブジェクトを、手が示す領域でマスクして描画する点である。
なお、HMD200を装着するユーザが視覚するユーザの手の画像を得る必要があるので、HMD200には第1の実施形態と同様、カメラ100、110、画像取得部210を有することになる。
以下に説明する第2、第3の実施形態では、HMD200がビデオシースルー型であることを前提に説明するが、本変形例のごとく、HMD200が光学シースルー型であっても良い。
[第2の実施形態]
上記実施形態では、撮像画像に測定対象物が存在するか否かの判定に基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力を削減した。本第2の実施形態では、CGオブジェクトから所定の範囲に測定対象物が存在するか否かに基づいて、測定頻度を制御するものである。より具体的には、CGオブジェクト(空間内の位置はモデル形状記憶部330に格納された情報から一意に判定できる)とHMD200の間に、前後関係を判断すべき測定対象物が存在するか否かに基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力の削減を行う。
上記実施形態では、撮像画像に測定対象物が存在するか否かの判定に基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力を削減した。本第2の実施形態では、CGオブジェクトから所定の範囲に測定対象物が存在するか否かに基づいて、測定頻度を制御するものである。より具体的には、CGオブジェクト(空間内の位置はモデル形状記憶部330に格納された情報から一意に判定できる)とHMD200の間に、前後関係を判断すべき測定対象物が存在するか否かに基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力の削減を行う。
具体的には、表示すべき仮想オブジェクトとHMD200(カメラ110、110)の位置との距離に対して、奥行き推定する測定対象物とHMD200との距離が十分に離れている場合には、奥行推定に係る一方の構成の測定精度を落し、消費電力の削減を行う。
図4(a),(b)は、測定対象物がテーブルとする例を示している。図4(a)に示すテーブルとHMD200との距離をL1,図4(b)におけるテーブルとHMD200との距離をL2と表す。ここで、表示するCGオブジェクトが、テーブルと同じ方向に、HMDから距離L0だけ隔てた場所に位置しているものとする。また、予め設定された閾値をTとする。
今、図4(a)において、L0+T≧L1であったとする。この場合、CGオブジェクトと被測定対処物間の距離が近いので、いずれがHMDに対して手前に位置するのか、奥に位置するのかを高い精度で判定する必要があると判断する。一方、図4(b)において、L0+T<L2であると判定された場合には、測定対象物は仮想オブジェクトから十分に離れて位置していると見なし、高い精度でいずれが奥に位置するのかを判定する必要はないので、消費電力の削減を行う。
図5は第2の実施形態における情報処理装置300における制御部400の処理手順を示している。以下、同図に従い、制御部400の処理を説明する。
S501、S502にて、制御部400は、第一、第二の奥行推定部350、360による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。S503にて、制御部400は、奥行決定部370を制御し、第一、第二の奥行推定部350、360からの奥行情報からより高い精度の奥行情報を生成する。そして、S504にて、制御部400は、HMD200の位置姿勢、及び、表示すべき仮想COオブジェクトの位置を取得し、奥行情報を参照して、HMDとCGオブジェクトの間に、測定対象物が存在するか否かを判定する。具体的には、HMDとCGとの距離をL0とし、奥行情報内の画素値(距離を示す)をL(x、y)と表す。そして、条件:L(x、y)≦L0+Tを満たす画素が存在する場合、HMDとCGオブジェクトとの間に測定対象物が有るものと推定する。そして、制御部400は、S505にて、第二の奥行推定部360への動作クロックの周波数を高い状態(30フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対し、デプスカメラ120の撮像頻度(フレームレート)を高い状態(実施形態では30フレーム/秒)となるよう要求する。一方、上記の条件を満たす画素が存在しない場合には、制御部400は、HMDとCGオブジェクトとの間に測定対象物が存在しないと推定する。すなわち、S506にて、制御部400は、第二の奥行推定部360への動作クロックの周波数を低い状態(10フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対しても、デプスカメラ120の撮像頻度(フレームレート)を低い状態(実施形態では10フレーム/秒)となるよう要求する。
なお、上記説明では、CGオブジェクトから所定の範囲に測定対象物が存在するか否かに基づいて、測定頻度を制御する形態を示したが、この所定の範囲とは、奥行き方向における、HMDとCGオブジェクトとの間の範囲であった。これに限らず、例えば、画面平面内において、測定対象物がCGオブジェクトから所定の範囲内にあるか否かを判断してもよい。すなわち、画面平面内において、測定対象物が所定範囲内にある(すなわち、CGオブジェクトの近くにある)場合には、測定頻度を高頻度に設定する。一方、画面平面内において、測定対象物が所定範囲内にない(すなわち、CGオブジェクトの遠くにある)場合には、測定頻度を低頻度に設定する。このような形態においても、測定対象物とCGオブジェクトとの奥行き方向における前後関係の推定が必要なときだけ、測定頻度を高めているので、消費電力の抑制となる。
[第3の実施形態]
本第3の実施形態では、測定対象物が、HMD200を装着するユーザの視野内に近づいているか否か、遠ざかっているか否かに基づき、省電力モードに移行するか否かを決定する例を説明する。
本第3の実施形態では、測定対象物が、HMD200を装着するユーザの視野内に近づいているか否か、遠ざかっているか否かに基づき、省電力モードに移行するか否かを決定する例を説明する。
本第3の実施形態を実現するため、カメラ100、110は、HMD200の表示部230に表示する表示範囲よりも十分に広い撮像範囲(視野角)を有するものとする。換言すれば、表示部230に表示する画像は、カメラ100、110による撮像画像の中心部分の画像とする。
図6(a)、(b)は、カメラ100、110による撮像範囲(外枠)と、表示部230の表示範囲(内枠)の関係を示している。図示の如く表示部230が表示する領域は、カメラ100、110が撮像した画像範囲よりも狭く、且つ、その中央部となっている。本実施形態では、測定対象物(ユーザの「手」)が表示範囲に近づいている状態が検出された場合(図6(a)の状態)、高い精度での奥行情報の推定処理の実行を開始する。一方、測定対象物が表示範囲外にあり、且つ、遠ざかっている状態が検出された場合(図6(b)の状態)では、奥行情報に高い精度は要求されないので、消費電力を下げる。なお、カメラ100、110による撮像範囲と、HMD200の表示部に表示する表示範囲との関係は既知であるので、撮像画像内の測定対象物の位置から、その測定対象物が表示範囲内にあるのか、外にあるのかの判定できる。また、実施形態では、カメラ100、110は30フレーム/秒で撮像するものとしているので、1/30秒の間隔で測定対象物の位置が判明する。従って、現在と前回(1/30秒前)の測定対象物の位置、及び、表示範囲から、測定対象物が表示範囲に近づいているか、表示範囲外にあって遠ざかっているのかを判定すればよい。
図7は、第3の実施形態における情報処理装置300における制御部400の処理手順を示している。以下、同図に従い、制御部400の処理を説明する。
S701、S702にて、制御部400は、第一、第二の奥行推定部350、360による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。S703にて、制御部400は、奥行決定部370を制御し、第一、第二の奥行推定部350、360からの奥行情報からより高い精度の奥行情報を生成する。そして、S704にて、制御部400は、被測定対象情報(モデル形状記憶部に予め記憶されているものとする)に基づき、現在の奥行情報における測定対象物の位置と、前回求めた測定対象物の位置、並びに表示範囲に基づき、測定対象情報が表示範囲に近づいているか否かを判定する。表示範囲に向かって、測定対象物が近づいていると判定された場合には、制御部400は、S705にて、第二の奥行推定部360への動作クロックの周波数を高い状態(30フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対し、デプスカメラ120の撮像頻度(フレームレート)を高い状態(実施形態では30フレーム/秒)となるよう要求する。一方、測定対象物が表示範囲外に位置し、且つ、表示範囲から遠ざかっていると判定された場合、S706にて、制御部400は、第二の奥行推定部360への動作クロックの周波数を低い状態(10フレーム/秒に対応する周波数)に設定すると共に、HMD200の制御部250に対しても、デプスカメラ120の撮像頻度(フレームレート)を低い状態(実施形態では10フレーム/秒)となるよう要求する。
なお、測定対象物が表示範囲に近づいていると判定された以降であって、表示範囲から遠ざかっていると判定されるまでの期間は、S704の判定はYesとして処理されるものとする。また、上記実施形態では、測定対象物が表示範囲に近づく、遠ざかるを判定するものとしたが、移動速度を加味しても良い。
また、測定体操物が表示範囲内に存在する場合の処理は、第1の実施形態、又は、第2の実施形態に従うものとする。
以上説明したように実施形態によれば、複数の位置検出部を搭載しても、常に高い消費電力を必要とせず、且つ、ユーザには、十分な精度で仮想オブジェクトと現実空間での測定対象物とを正しい位置関係で仮想現実感を提示することが可能になる。なお、実施形態では、カメラ100、110以外の実空間における測定対象物の位置検出に係る構成としてデプスカメラ120の1つを示したが、位置検出の種類及び数に特に制限はない。
なお、上記実施形態で示したHMD200の代わりに、同機能を持つのであればスマートホン等のデバイスを用いても構わない。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100、110…カメラ、120…デプスカメラ、200…HMD、210…画像取得部、220…奥行計測部、230…表示部、250…制御部、300…情報処理装置、310…画像記憶部、320…位置姿勢推定部、330…モデル形状記憶部、340…画像生成部、350…第一の奥行推定部、360…第二の奥行推定部、370…奥行決定部、380…画像合成部
Claims (15)
- 画像表示装置と接続された情報処理装置であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第1の取得手段と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第2の取得手段と、
前記第2の取得手段により取得した距離を示すデータに基づいて、前記第1の取得手段により取得した画像とCGとを重畳することにより合成画像を生成する生成手段と、
前記第1の取得手段により取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第1の測定頻度に設定し、
前記第1の取得手段により取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する設定手段と
を有することを特徴とする情報処理装置。 - 前記撮像手段は現実空間のステレオ画像を撮影する撮像手段であって、
前記撮像手段により撮像された現実空間のステレオ画像に基づいて、前記画像表示装置から前記物体までの距離を推定する推定手段と、
前記推定手段により推定した距離と、前記測定手段によって測定された画像表示装置から前記物体までの距離とに基づいて、前記測定手段によって測定された画像表示装置から前記物体までの距離を決定する決定手段と
を更に有することを特徴とする請求項1に記載の情報処理装置。 - 前記画像表示装置が表示する表示範囲は、前記撮像手段が撮像する撮像範囲よりも狭く、且つ、前記撮像範囲の中央部であって、
前記設定手段は、
前記撮像手段で撮像された画像内に前記表示範囲に向かって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第1の測定頻度に設定し、
前記撮像手段で撮像された画像内に、前記表示範囲外にあって当該表示範囲から遠ざかって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第2の測定頻度に設定する
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記画像表示装置はHMDであって、
前記撮像手段及び前記測定手段は前記HMDに搭載される
ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記特定の物体は、ユーザの手であることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記測定手段はTOF方式のセンサーであることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 画像表示装置と接続された情報処理装置であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第1の取得手段と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第2の取得手段と、
前記第2の取得手段により取得した距離を示すデータに基づいて、前記第1の取得手段により取得した画像とCGとを重畳することにより合成画像を生成する生成手段と、
前記第1の取得手段により取得した画像における特定の物体が前記CGから所定の範囲内に存在する場合、前記測定手段の測定頻度を第1の測定頻度に設定し、
前記第1の取得手段により取得した画像における特定の物体が前記所定の範囲外に存在する場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する設定手段と
を有することを特徴とする情報処理装置。 - 前記撮像手段は現実空間のステレオ画像を撮影する撮像手段であって、
前記撮像手段により撮像された現実空間のステレオ画像に基づいて、前記画像表示装置から前記物体までの距離を推定する推定手段と、
前記推定手段により推定した距離と、前記測定手段によって測定された画像表示装置から前記物体までの距離とに基づいて、前記測定手段によって測定された画像表示装置から前記物体までの距離を決定する決定手段と
を更に有することを特徴とする請求項7に記載の情報処理装置。 - 前記所定の範囲とは、前記撮像画像の画像平面内において、前記CGからの距離が所定値以内の範囲であることを特徴とする請求項7又は8に記載の情報処理装置。
- 前記所定の範囲とは、前記撮像画像の奥行き方向において、前記画像表示装置の位置と前記CGが表示される現実空間の位置との間の範囲であることを特徴とする請求項7又は8に記載の情報処理装置。
- 前記画像表示装置が表示する表示範囲は、前記撮像手段が撮像する撮像範囲よりも狭く、且つ、前記撮像範囲の中央部であって、
前記設定手段は、
前記撮像手段で撮像された画像内に前記表示範囲に向かって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第1の測定頻度に設定し、
前記撮像手段で撮像された画像内に、前記表示範囲外にあって当該表示範囲から遠ざかって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第2の測定頻度に設定する
ことを特徴とする請求項7乃至10のいずれか1項に記載の情報処理装置。 - 画像表示装置はHMDであって、
前記撮像手段及び前記測定手段は前記HMDに搭載される
ことを特徴とする請求項7乃至11のいずれか1項に記載の情報処理装置。 - 画像表示装置と接続された情報処理装置の制御方法であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する工程と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する工程と、
前記取得した距離を示すデータに基づいて、前記取得した画像とCGとを重畳することにより合成画像を生成する工程と、
前記取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第1の測定頻度に設定する工程と、
前記取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する工程と
を有することを特徴とする情報処理装置の制御方法。 - 画像表示装置と接続された情報処理装置の制御方法であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する工程と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する工程と、
前記取得した距離を示すデータに基づいて、前記取得した画像とCGとを重畳することにより合成画像を生成する工程と、
前記取得した画像における特定の物体が前記CGから所定の範囲内に存在する場合、前記測定手段の測定頻度を第1の測定頻度に設定する工程と、
前記取得した画像における特定の物体が前記所定の範囲外に存在する場合、前記測定手段の測定頻度を前記第1の測定頻度よりも低い第2の測定頻度に設定する工程と
を有することを特徴とする情報処理装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに、請求項13又は14に記載の方法の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/783,376 US10559087B2 (en) | 2016-10-14 | 2017-10-13 | Information processing apparatus and method of controlling the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203037 | 2016-10-14 | ||
JP2016203037 | 2016-10-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018067300A true JP2018067300A (ja) | 2018-04-26 |
Family
ID=62086237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017168835A Pending JP2018067300A (ja) | 2016-10-14 | 2017-09-01 | 情報処理装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018067300A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051031A (ja) * | 2019-09-26 | 2021-04-01 | 株式会社ミツトヨ | 測定支援システム |
WO2021070415A1 (ja) * | 2019-10-10 | 2021-04-15 | パナソニックIpマネジメント株式会社 | 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 |
-
2017
- 2017-09-01 JP JP2017168835A patent/JP2018067300A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051031A (ja) * | 2019-09-26 | 2021-04-01 | 株式会社ミツトヨ | 測定支援システム |
WO2021070415A1 (ja) * | 2019-10-10 | 2021-04-15 | パナソニックIpマネジメント株式会社 | 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 |
JP7489670B2 (ja) | 2019-10-10 | 2024-05-24 | パナソニックIpマネジメント株式会社 | 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US7825948B2 (en) | 3D video conferencing | |
US10293252B2 (en) | Image processing device, system and method based on position detection | |
TWI544781B (zh) | 具有功率有效深度感測器運用之即時三維重建 | |
US20200265633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN104380338B (zh) | 信息处理器以及信息处理方法 | |
US9767611B2 (en) | Information processing apparatus and method for estimating depth values using an approximate plane | |
US20150262412A1 (en) | Augmented reality lighting with dynamic geometry | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
JP5762600B1 (ja) | 情報処理装置及び情報処理方法 | |
US10634918B2 (en) | Internal edge verification | |
US10628964B2 (en) | Methods and devices for extended reality device training data creation | |
US11244145B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US11024040B2 (en) | Dynamic object tracking | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2018067300A (ja) | 情報処理装置及びその制御方法 | |
US10748344B2 (en) | Methods and devices for user interaction in augmented reality | |
US10559087B2 (en) | Information processing apparatus and method of controlling the same | |
KR20200117685A (ko) | 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템 | |
WO2012131862A1 (ja) | 画像処理装置、方法およびプログラム | |
JP6929037B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US12067677B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium |