JP2021063922A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】例えば、適切なキャリブレーションが行われる情報処理装置を提供する。【解決手段】実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、実物体上の接触操作が行われた位置を、オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行うキャリブレーション処理部を有する情報処理装置である。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

ユーザが視認している実物体に仮想表示物を重畳する、所謂、光学シースルー型のディスプレイを使用した拡張現実（ＡＲ(Augmented Reality)）に関する技術が知られている。係るＡＲ技術では、実物体の位置をディスプレイの位置に変換するパラメータを用いた演算が行われる。実物体の位置に精度良く仮想物体を重畳するために、当該パラメータをキャリブレーションする提案がなされている（例えば、下記非特許文献１を参照のこと）。

J. Grubert、Y. Itoh、K. Moser、J. E. Swan II、"A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays"、[online]、２０１７年９月１３日、[２０１９年８月２７日検索]、インターネット＜ＵＲＬ：https://arxiv.org/abs/1709.04299＞

このような分野では、できるたけ簡便にキャリブレーションが行われることが望まれる。

本開示は、上述した点に鑑みてなされたものであり、ユーザにかかる負荷を極力小さくした簡便な方法でパラメータをキャリブレーションすることが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。

本開示は、例えば、
実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、実物体上の接触操作が行われた位置を、オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行うキャリブレーション処理部を有する
情報処理装置である。

本開示は、例えば、
キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、実物体上の接触操作が行われた位置を、オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
情報処理方法である。

本開示は、例えば、
キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、実物体上の接触操作が行われた位置を、オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
情報処理方法をコンピュータに実行させるプログラムである。

図１は、本実施形態に係る情報処理装置の外観例を示す図である。 図２は、本実施形態に係る情報処理装置の内部構成例を説明する際に参照される図である。 図３は、本実施形態に係る情報処理装置が有する機能を説明する際に参照される図である。 図４は、本実施形態に係るオブジェクトの一例を説明する際に参照される図である。 図５は、本実施形態に係る情報処理装置で行われるキャリブレーション処理の流れを説明するためのフローチャートである。

以下、本開示の実施形態等について図面を参照した説明がなされる。なお、説明は以下の順序で行われる。
＜本実施形態において考慮すべき問題＞
＜一実施形態＞
＜変形例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜本実施形態において考慮すべき問題＞
始めに、本開示の理解を容易とするために、本開示において考慮すべき問題について説明する。光学シースルー型のディスプレイを用いたＡＲ技術ではカメラとディスプレイ間をキャリブレーションすることで、実物体に対する仮想物体の重畳を実現している。カメラとディスプレイとは、個々の内部パラメータと、相対関係の外部パラメータとで表現されて扱われる。ここで、ユーザ毎にディスプレイの視点位置は微妙に異なるため個別のキャリブレーションが必要となる。また、かけズレや後発におけるズレも発生することからユーザが光学シースルー型のディスプレイを視聴した際にキャリブレーションを行うことにより重畳精度を改善することが可能となる。係るキャリブレーションは、できるだけユーザに対して負担の少ない方法で行われることが望まれる。また、できるだけ場所の制約がないようにキャリブレーションを行えることが望まれる。以上の観点を踏まえつつ、本開示の実施形態についての詳細な説明がなされる。

＜一実施形態＞
［情報処理装置の外観例］
本実施形態では、情報処理装置（情報処理装置１）として眼鏡型のウエアラブル機器を例にした説明がなされる。図１は、本実施形態に係る情報処理装置１の外観例を示す図である。情報処理装置１は、通常の眼鏡と同様に、眼前に位置する左画像表示部３Ａ及び右画像表示部３Ｂを有している。左画像表示部３Ａ及び右画像表示部３Ｂは、例えば、シースルー型の表示部（光学シースルーディスプレイ）として構成されている。なお、左右の表示部を特に区別する必要無い場合には、左画像表示部３Ａ及び右画像表示部３Ｂは、表示部３と適宜、総称される。

情報処理装置１は、左画像表示部３Ａ及び右画像表示部３Ｂを保持するためのフレーム５を有する。フレーム５は、金属や合金、プラスチック、これらの組合せといった、通常の眼鏡を構成する材料と同じ材料から作製されている。

フレーム５には、電池、各種センサ、スピーカ等が搭載されている。例えば、フレーム５の所定位置には、ユーザの視線方向に存在する物体を認識するための外向きのカメラ１１が搭載されている。カメラ１１は、例えば、カメラ１１Ａ及びカメラ１１Ｂを有するステレオカメラとして構成されており、カメラ１１により奥行に関する情報が取得可能とされている。なお、奥行に関する情報を取得するためのデプスセンサ（例えば、ＴｏＦ(Time of Flight)やＬｉＤＡＲ(Light Detection and Ranging)等）がフレーム５に搭載されていても良い。また、フレーム５には、内向き（ユーザの目に向かう側）のカメラ１２が搭載されている。カメラ１２は、左目用のカメラ１２Ａ及び右目用のカメラ１２Ｂを有している。

［情報処理装置の内部構成例］
図２は、本実施形態に係る情報処理装置１の内部構成例を説明するための図である。情報処理装置１は、例えば、信号処理部２１と、センサ部２２と、キャリブレーション処理部２３と、ＡＲ重畳処理部２４と、描画処理部２５とを有している。

信号処理部２１は、情報処理装置１全体を統括的に制御する。また、信号処理部２１は、センサ部２２から供給されるセンシングデータに対して公知の処理を行う。例えば、信号処理部２１は、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作を、センサ部２２から供給されるセンシングデータに基づいて検出する。なお、信号処理部２１により行われる他の処理の具体的内容は後述される。

センサ部２２には、情報処理装置１が有するセンサを総称したものである。センサ部２２には、上述したカメラ１１や１２が含まれる。上述したように、センサ部２２に、奥行き情報を取得するためのデプスセンサが含まれていても良い。

キャリブレーション処理部２３は、キャリブレーション処理を行う。キャリブレーション処理とは、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、実物体上の接触操作が行われた位置を、オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定する処理である。なお、キャリブレーション処理の具体的な内容については後述される。

ＡＲ重畳処理部２４は、表示部３にオブジェクトを重畳する位置（具体的には、座標）を演算して設定する。ＡＲ重畳処理部２４は、演算結果を描画処理部２５に供給する。

描画処理部２５は、ＡＲ重畳処理部２４から供給された表示部３の位置（描画位置）に、仮想物体を重畳して表示する描画処理を行う。描画処理部２５による処理により、表示部３を介して視認される実空間にオブジェクトが描画（重畳表示）される。

メモリ部２６は、情報処理装置１が有するメモリを総称したものである。メモリ部２６は、例えば、情報処理装置１で実行されるプログラムが格納されるＲＯＭ(Read Only Memory)やワークメモリとして使用されるＲＡＭ(Random Access Memory)を含む。メモリ部２６は、情報処理装置１に内蔵されていても良いし、着脱自在とされていても良い。メモリ部２６の具体例としては、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス、これらを組み合わせた記憶デバイス等が挙げられる。メモリ部２６には、後述するキャリブレーションの対象となるパラメータを保存する領域が設定されている。

なお、以上説明した情報処理装置１の構成は一例であって、情報処理装置１が他の構成を有していても良い。例えば、情報処理装置１が、他の装置と通信を行うための通信部や音声を再生するためのスピーカ、自身の位置を把握するためのセンサ等を有していても良い。

［情報処理装置の機能］
図３は、情報処理装置１の機能の一例を説明するための機能ブロック図である。情報処理装置１の機能としては、例えば、平面検出処理、ポインタ生成処理、描画位置演算処理、ディスプレイ描画処理、タッチ検出処理、タッチ対応点保存処理、及び、キャリブレーション処理が挙げられる。

平面検出処理では、情報処理装置１の周囲に存在する壁面やテーブル上の面等の平面が検出される。例えば、接触操作が行われる実物体のデプスに基づいて当該実物体上の平面が検出される。平面検出処理は、カメラ１１により得られる画像やデプスセンサの出力に基づいて行われる。より具体的には、カメラ１１の撮像画像に基づいて検出される奥行方向の距離の差分が一定以内である面が平面として検出される。平面は、厳密な意味で平らである必要はなく、一定範囲内の凹凸があっても良い。平面検出処理により、検出された平面を規定する平面方程式が得られる。平面検出処理により検出された平面に、後述するオブジェクトが描画される。なお、平面検出処理には、カメラ１１により撮像した２次元画像に対する画像認識処理など、デプス検出以外の別の認識処理を用いてもよい。

なお、平面検出処理により複数の平面が検出され得る。本実施形態では、検出された複数の平面のうち、情報処理装置１（より具体的には情報処理装置１を使用しているユーザ）に最も近い位置にある平面が、オブジェクトが重畳される平面として設定される。

ポインタ生成処理では、平面検出処理により得られた平面方程式で規定される平面に、例えば３個のポインタ座標が設定される。そして、各ポインタ座標を中心とする円が規定される。設定されたポインタ座標は、描画位置演算処理で使用される。

描画位置演算処理では、各ポインタ座標をそれぞれ表示部３における座標（ｕ，ｖ）に変換する演算が行われる。具体的には、描画位置演算処理では、下記の数式１に基づく演算が行われる。

［式１］

数式１において、（ｕ，ｖ）は表示部３の座標、（ｘ，ｙ，ｚ）は実空間の座標であり、具体的にはポインタ座標、Ａは表示部３の内部パラメータ（画角、焦点距離等のパラメータ）であり情報処理装置１の出荷時に設定されている既知の値である。また、数式１における［Ｒ｜Ｔ］は、撮像ユニット（本実施形態におけるカメラ１１）の姿勢（回転（Rotation））と位置（並進（Translation））を表している。この［Ｒ｜Ｔ］がキャリブレーションの対象となるパラメータである。以下の説明では、［Ｒ｜Ｔ］がキャリブレーションパラメータ［Ｒ｜Ｔ］と適宜称される。

なお、描画位置演算処理で行われる演算で用いられるキャリブレーションパラメータ［Ｒ｜Ｔ］は、予め設定されているデフォルトのキャリブレーションパラメータである。描画位置演算処理により、ポインタ生成処理で設定された３個のポインタ座標（ｘ，ｙ，ｚ）に対応する３個のポインタ座標（ｕ，ｖ）が得られる。なお、本実施形態では、ポインタ生成処理で円が設定されていることから、円を平面に投影するために、円を楕円に変換する楕円方程式を用いた演算がなされる。描画位置演算処理による演算結果がディスプレイ描画処理に用いられる。また、描画位置演算処理による演算結果（３個のポインタ座標（ｕ，ｖ））は、タッチ対応点保存処理によりメモリ部２６に保存（記憶）される。

描画処理では、ポインタ座標（ｕ，ｖ）を中心とする楕円が、平面検出処理により検出された実物体上の平面上（同一平面上）のデプスの位置に描画される処理が行われる。例えば、図４に示すように、平面の一例であるテーブル面に、３個のポインタ座標のそれぞれを中心とする３個の楕円形状の仮想マーカ（３個のオブジェクトの一例）が描画される。表示部３に表示された３個の楕円をユーザは認識する。なお、オブジェクトの形状は楕円でなく、矩形、多角形等、任意の形状とすることができる。オブジェクトの形状によっては、上述した楕円方程式を用いた演算が行われなくても良い。また、個々のオブジェクトを明確に区別するために、オブジェクト毎の色や形状が異なるようにされても良い。

描画処理によりオブジェクトが描画された後、ユーザに対して、オブジェクトの中心付近を指でタッチする接触操作を促す報知がなされる。係る報知は、表示部３に文字を描画することにより行われても良いし、音声の再生により行われても良い。報知に応じてユーザはオブジェクトの中心付近に対する接触操作を行う。

タッチ検出処理では、ユーザによりなされた接触操作が検出される。接触操作は、例えば、ユーザの指先により行われる（図４参照）。なお、ユーザの指先でなく、ペン等を用いた接触操作が行われても良い。

一例として、所定のオブジェクトの中心付近のデプスとユーザの指先のデプスとが検出され、その差分が所定以下になったら、当該オブジェクトに対する接触操作がなされたものと検出される。ユーザの指先の動きが一定時間（例えば、数秒）、略静止していることが、カメラ１１による撮像画像に基づいて検出されたことに応じて、接触操作がなされものと検出されても良い。また、その他の公知の方法により接触操作が検出されても良い。

タッチ検出処理により、ユーザの接触操作に対応する位置であるタッチ点（ｘ，ｙ，ｚ）が検出される。本実施形態では、３個のオブジェクトのそれぞれに対して接触操作がなされることから、タッチ検出処理により３個のタッチ点が検出される。検出された３個のタッチ点は、タッチ点保存処理でメモリ部２６に保存される。即ち、メモリ部２６には、描画位置演算処理により得られたポインタ座標（ｕ，ｖ）とタッチ点（ｘ，ｙ，ｚ）の組が３組、保存される。

キャリブレーション処理では、メモリ部２６に保存されている３組のポインタ座標（ｕ，ｖ）とタッチ点（ｘ，ｙ，ｚ）の対応をそれぞれ使用した数式１による演算が行われることにより、現在のユーザの使用環境に対応するキャリブレーションパラメータ［Ｒ｜Ｔ］が演算される。換言すれば、キャリブレーション処理では、上述した接触操作の検出結果に基づいて、実物体の位置を表示部３における位置に変換するパラメータであるキャリブレーションパラメータ［Ｒ｜Ｔ］が適切に設定される。設定されたキャリブレーションパラメータ［Ｒ｜Ｔ］は、メモリ部２６に保存される。以降の情報処理装置１におけるＡＲ処理では、キャリブレーション処理により得られたキャリブレーションパラメータ［Ｒ｜Ｔ］が用いられる。

なお、本実施形態では、カメラと表示部３（ディスプレイ）間の相対関係、回転、並進を補正するためには、実空間における座標と表示部３における座標の対応が少なくとも３個（３組）必要であることから、３個のオブジェクトが平面上（平面上のデプス位置）に描画される。勿論、平面に描画されるオブジェクトの数は、３個ではなく４個以上であっても良い。

本実施形態では、上述した複数の機能のうち、平面検出処理、ポインタ生成処理、タッチ検出処理、タッチ対応点保存処理は、信号処理部２１により行われる。従って、本実施形態では、信号処理部２１が、接触操作を検出する接触操作検出部及び実物体上の平面を検出する平面検出部として機能する。また、本実施形態では、キャリブレーション処理は、キャリブレーション処理部２３により行われる。また、本実施形態では、描画位置演算処理はＡＲ重畳処理部２４により行われる。従って、本実施形態では、ＡＲ重畳処理部２４が描画位置演算処理部として機能する。また、本実施形態では、描画処理が描画処理部２５により行われる。

［キャリブレーション処理の流れ］
続いて、図５のフローチャートが参照されつつ、情報処理装置１で行われるキャリブレーション処理の流れについての説明がなされる。

ステップＳＴ１１では、キャリブレーション処理が開始される。キャリブレーション処理は、例えば、情報処理装置１の使用開始時に行われる。具体的には、圧力センサ等により情報処理装置１のフレーム５がユーザの耳に掛けられたことが検出される。かかる検出がなされると、以下に説明するキャリブレーション処理が行われる。なお、情報処理装置１に対する所定の操作（例えば、電源をオンする操作）がなされたときにキャリブレーション処理が行われるようにしても良い。また、内側のカメラ１２により表示部３と目（例えば瞳孔）との間の相対関係のズレが所定以上となったことが検出された場合に、キャリブレーション処理が行われるようにしても良い。また、使用中においても情報処理装置１の使用位置が変化することも想定されることから、使用開始後にもキャリブレーション処理が周期的に行われるようにしても良い。そして、処理がステップＳＴ１２に進む。

ステップＳＴ１２では、ユーザに対してテーブルや壁面等の平面に近づくことが指示される。係る指示は、文字の表示や音声の再生により行われる。そして、処理がステップＳＴ１３に進む。

ステップＳＴ１３では、平面検出処理により平面が検出される。例えば、ユーザにより接触操作が行われる。そして、当該接触操作が行われたテーブル等の実物体上の位置のデプスが検出され、検出されたデプスに基づいて実物体上の平面が検出される。なお、予め平面検出処理により検出された平面に近づくことがユーザに対して指示されても良い。そして、処理がステップＳＴ１４に進む。

ステップＳＴ１４では、ポインタ生成処理により３個のポインタ座標（ｘ，ｙ，ｚ）のそれぞれを中心とする円が設定される。そして、描画位置演算処理により、３個のポインタ座標（ｘ，ｙ，ｚ）のそれぞれにデフォルトのキャリブレーションパラメータを使用した演算が行われることにより３個のポインタ座標（ｕ，ｖ）が得られる。３個のポインタ座標（ｕ，ｖ）のそれぞれを中心とする３個の楕円状のオブジェクトが、平面検出処理で検出された平面上のデプスの位置に描画される。そして、描画されたオブジェクトの中心付近に対して接触操作を行うことを促す報知が、ユーザに対してなされる。そして、処理がステップＳＴ１５に進む。

ステップＳＴ１５では、ユーザによる接触操作に対応するタッチ点がタッチ点検出処理により検出される。そして、処理がステップＳＴ１６に進む。

ステップＳＴ１６では、ポインタ座標（ｕ，ｖ）とタッチ点（ｘ，ｙ，ｚ）とのペア数が十分であるか否かが判断される。本例では、３個のオブジェクトが描画されることから、３個のタッチ点（ｘ，ｙ，ｚ）が検出される。従って、ステップＳＴ１６では、ポインタ座標（ｕ，ｖ）とタッチ点（ｘ，ｙ，ｚ）とのペア数が３組以上であるか否かが判断される。係る判断は、例えば、信号処理部２１に行われる。

ステップＳＴ１６の判断結果がＮｏである場合には、処理がステップＳＴ１５に戻り、再度、タッチ点検出処理が行われる。なお、この際に、接触操作がなされていないオブジェクトが強調されたり、既に接触操作がなされたオブジェクトが消去されるようにし、ユーザが接触操作を行っていないオブジェクトが認識され易くしても良い。

ステップＳＴ１６の判断結果がＹｅｓである場合には、処理がステップＳＴ１７に進む。ステップＳＴ１７では、３組のポインタ座標（ｕ，ｖ）及びタッチ点（ｘ，ｙ，ｚ）の対応を使用したキャリブレーション処理が行われることによりキャリブレーションパラメータ［Ｒ｜Ｔ］が設定される。設定後のキャリブレーションパラメータ［Ｒ｜Ｔ］がメモリ部２６に保存される。保存されたキャリブレーションパラメータ［Ｒ｜Ｔ］が次に更新されるまで使用される。そして、処理がステップＳＴ１８に進み、キャリブレーション処理が終了される。

［本実施形態により得られる効果］
本実施形態によれば、キャリブレーションパラメータを適切に設定することできる。また、本実施形態では、キャリブレーション処理用の特定のオブジェクト等を用意する必要がない。
また、ユーザは、平面に描画されたオブジェクトに対して接触操作を行うだけで良いので、ユーザに対して過度の負担を強いることなく、簡便にキャリブレーション処理を行うことができる。また、ユーザは、実物体に対して接触操作を行うことにより触感を得られるのでタッチ点が空間中の実物体が存在しない位置に対する操作を行うことに比べて安定する。ユーザにとって位置を特定しやすい実物体上に重畳してオブジェクトが表示されることにより、実空間における３次元の位置が安定して検出されることで、キャリブレーション処理の精度が向上する。
また、例えば周囲の実物体の同一平面にオブジェクトが描画されることにより、タッチ点が当該平面上に存在するという拘束条件を利用できるので、キャリブレーション処理に係る演算を簡略化することができる。
また、周囲に平面が存在すればキャリブレーション処理を行うことができるので、キャリブレーション処理を行う際の場所的な制約を略なくすことができる。

＜変形例＞
以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した一実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

情報処理装置１は、眼鏡型に限定されることはなく、頭部に装着されるＨＵＤ(Head Up Display)でも良いし、ヘルメッ卜型や車のフロン卜ガラス(ヘッドアップディスプレイ)型の表示デバイスをであっても良い。また、必ずしも人体に装着されるものではなく、可搬型の装置であっても良い。

上述した実施形態に係る情報処理装置１の機能の一部がクラウド上の機器で行われても良い。この場合には、当該クラウド上の機器が情報処理装置となり得る。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。

なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。

本開示は、以下の構成も採ることができる。
（１）
実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行うキャリブレーション処理部を有する
情報処理装置。
（２）
前記接触操作が行われた前記実物体上の位置を検出する接触操作検出部を有する
（１）に記載の情報処理装置。
（３）
前記接触操作検出部は、前記接触操作が行われた前記実物体上の位置のデプスを検出する
（２）に記載の情報処理装置。
（４）
前記接触操作が行われる前記実物体のデプスに基づき前記実物体上の平面を検出する平面検出部を有し、
前記３個のオブジェクトは前記実物体上の前記平面上のデプスの位置に重畳表示される
（３）に記載の情報処理装置。
（５）
前記３個のオブジェクトは、検出された前記実物体上の同一平面上に重畳表示される
（４）に記載の情報処理装置。
（６）
前記パラメータは、前記実物体を撮影する撮影ユニットの姿勢と位置とを含むパラメータである
（１）から（５）までの何れかに記載の情報処理装置。
（７）
前記撮影ユニットを有する
（６）に記載の情報処理装置。
（８）
前記平面検出部は、検出された複数の平面のうち、最も近くに位置する平面を、前記オブジェクトを重畳表示する平面として設定する
（４）又は（５）に記載の情報処理装置。
（９）
前記キャリブレーション処理部は、前記情報処理装置の使用開始時に前記キャリブレーション処理を行う
（１）から（８）までの何れかに記載の情報処理装置。
（１０）
前記キャリブレーション処理部は、前記ディスプレイと目との位置の間のずれが所定以上である場合に前記キャリブレーション処理を行う
（１）から（８）までの何れかに記載の情報処理装置。
（１１）
前記３個のオブジェクトの前記ディスプレイにおけるそれぞれの描画位置を演算する描画位置演算処理部を有する
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記描画位置演算処理部により設定された前記描画位置に前記オブジェクトを表示する処理を行う描画処理部を有する
（１１）に記載の情報処理装置。
（１３）
キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
情報処理方法。
（１４）
キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
情報処理方法をコンピュータに実行させるプログラム。

１・・・情報処理装置
３・・・表示部
１１・・・カメラ
２１・・・信号処理部
２２・・・センサ部
２３・・・キャリブレーション処理部
２４・・・ＡＲ重畳処理部
２５・・・描画処理部

Claims (14)

1. 実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行うキャリブレーション処理部を有する
   情報処理装置。
2. 前記接触操作が行われた前記実物体上の位置を検出する接触操作検出部を有する
   請求項１に記載の情報処理装置。
3. 前記接触操作検出部は、前記接触操作が行われた前記実物体上の位置のデプスを検出する
   請求項２に記載の情報処理装置。
4. 前記接触操作が行われる前記実物体のデプスに基づき前記実物体上の平面を検出する平面検出部を有し、
   前記３個のオブジェクトは前記実物体上の前記平面上のデプスの位置に重畳表示される
   請求項３に記載の情報処理装置。
5. 前記３個のオブジェクトは、検出された前記実物体上の同一平面上に重畳表示される
   請求項４に記載の情報処理装置。
6. 前記パラメータは、前記実物体を撮影する撮影ユニットの姿勢と位置とを含むパラメータである
   請求項１に記載の情報処理装置。
7. 前記撮影ユニットを有する
   請求項６に記載の情報処理装置。
8. 前記平面検出部は、検出された複数の平面のうち、最も近くに位置する平面を、前記オブジェクトを重畳表示する平面として設定する
   請求項４に記載の情報処理装置。
9. 前記キャリブレーション処理部は、前記情報処理装置の使用開始時に前記キャリブレーション処理を行う
   請求項１に記載の情報処理装置。
10. 前記キャリブレーション処理部は、前記ディスプレイと目との位置の間のずれが所定以上である場合に前記キャリブレーション処理を行う
    請求項１に記載の情報処理装置。
11. 前記３個のオブジェクトの前記ディスプレイにおけるそれぞれの描画位置を演算する描画位置演算処理部を有する
    請求項１に記載の情報処理装置。
12. 前記描画位置演算処理部により設定された前記描画位置に前記オブジェクトを表示する処理を行う描画処理部を有する
    請求項１１に記載の情報処理装置。
13. キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
    情報処理方法。
14. キャリブレーション処理部が、実物体に対して重畳表示された少なくとも３個のオブジェクトのそれぞれに対する接触操作の検出結果に基づいて、前記実物体上の前記接触操作が行われた位置を、前記オブジェクトを表示するディスプレイにおける位置に変換するパラメータを設定するキャリブレーション処理を行う
    情報処理方法をコンピュータに実行させるプログラム。

Images