JP2022000640A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】実空間上の距離を、より簡便な操作で測定することが可能な、情報処理装置、情報処理方法、及び情報処理プログラムを提供すること。【解決手段】情報処理装置は、取得部と、推定部と、測定部と、出力制御部とを備える。取得部は、撮像部に撮像された画像と、撮像部の位置情報とを取得する。推定部は、ユーザによる撮像部の移動前に第一の視点で撮像部に撮像された第一の画像と、第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、撮像部の移動後に第二の視点で撮像部に撮像された第二の画像と、第二の視点の位置情報と、物体認識結果に基づいて、実空間上における第二の位置を推定する。測定部は、第一の位置と第二の位置の間の距離を測定する。出力制御部は、測定部の測定結果を含む表示情報を表示する制御を行う。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間上の物体）の位置及び姿勢を認識することが可能となっている。
このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。ＡＲ技術を利用することで、実空間の画像に撮像された実オブジェクトに対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳してユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術の一例が開示されている。

また、物体認識技術の応用により、オブジェクトの画像を撮像する撮像部（ひいては、当該撮像部を備える装置）の実空間上における位置を認識するための所謂自己位置推定を行うことも可能となる。このような自己位置推定を実現するための技術の一例として、ＳＬＡＭ（simultaneous localization and mapping）と称される技術が挙げられる。

特開２０１３−９２９６４号公報

一方で、上述したＡＲやＳＬＡＭ等の技術を応用することで、実空間上における距離の測定を、より簡便な操作により実現することを可能とする仕組みが求められている。

そこで、本開示では、実空間上の距離を、より簡便な操作で測定することが可能な、情報処理装置、情報処理方法、及び情報処理プログラムを提案する。

本開示によれば、撮像部に撮像された画像と、前記撮像部の位置情報とを取得する取得部と、ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定する推定部と、前記第一の位置と前記第二の位置の間の距離を測定する測定部と、前記測定部の測定結果を含む表示情報を表示する制御を行う出力制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定することと、前記第一の位置と前記第二の位置の間の距離を測定することと、前記距離の測定結果を含む表示情報を表示する制御を行うことと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定することと、前記第一の位置と前記第二の位置の間の距離を測定することと、前記距離の測定結果を含む表示情報を表示する制御を行うことと、を実行させる情報処理プログラムが提供される。

以上説明したように本開示によれば、実空間上の距離を、より簡便な操作で測定することが可能な、情報処理装置、情報処理方法、及び情報処理プログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。 本開示の第１の実施形態に係る情報処理システムの概要について説明するための説明図である。 距離の測定結果に応じて提示される表示情報の一例を示している。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 本開示の第２の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 本開示の第３の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 本開示の第４の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 変形例１に係る情報処理システムの概要について説明するための説明図である。 変形例２に係る情報処理システムの概要について説明するための説明図である。 変形例３に係る情報処理システムの概要について説明するための説明図である。 実空間上における距離の測定結果を利用した各種情報の提示方法の一例について説明するための説明図である。 実空間上における距離の測定結果を利用した各種情報の提示方法の一例について説明するための説明図である。 面積を測定する場合の測定手順の一例を示している。 体積を測定する場合の測定手順の一例を示している。 本開示の一実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．入出力装置の構成
１．２．自己位置推定の原理
２．第１の実施形態
２．１．測定方法
２．２．機能構成
２．３．処理
２．４．評価
３．第２の実施形態
３．１．測定方法
３．２．処理
３．３．評価
４．第３の実施形態
４．１．測定方法
４．２．機能構成
４．３．処理
４．４．評価
５．第４の実施形態
５．１．測定方法
５．２．機能構成
５．３．処理
５．４．評価
６．変形例
６．１．変形例１：曲線の長さの測定
６．２．変形例２：仮想オブジェクトの操作に基づく測定方法の一例
６．３．変形例３：複数の装置を連携させる場合の一例
７．適用例
８．ハードウェア構成例
９．むすび

＜＜１．はじめに＞＞
＜１．１．入出力装置の構成＞
まず、図１を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明する。図１は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図１に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、
第２撮像部２０３ａ及び２０３ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図１には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

ここで、入出力装置２０のより具体的な構成について説明する。例えば、図１に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。

第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。

また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、以降の説明では、視線が向いている方向を、「視線方向」とも称する。また、図１に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。

操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図１に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。

以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。

なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図１に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

なお、参考として、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成によ
り、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。

以上、図１を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。

＜１．２．自己位置推定の原理＞
次いで、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明する。

自己位置推定の具体的な一例として、入出力装置２０は、実空間上の実オブジェクト上に提示されたサイズが既知のマーカ等を、自身に設けられたカメラ等の撮像部により撮像する。そして、入出力装置２０は、撮像された画像を解析することで、マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、入出力装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該入出力装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよい。

具体的には、画像中に撮像されたマーカの向き（例えば、マーカの模様等の向き）に応じて、当該マーカに対する撮像部（ひいては、当該撮像部を備える入出力装置２０）の相対的な方向を推定することが可能である。また、マーカのサイズが既知の場合には、画像中におけるマーカのサイズに応じて、当該マーカと撮像部（即ち、当該撮像部を備える入出力装置２０）との間の距離を推定することが可能である。より具体的には、マーカをより遠くから撮像すると、当該マーカは、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間上の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカの大きさ（換言すると、画角内においてマーカが占める割合）に応じて、当該マーカと撮像部との間の距離を逆算することが可能である。以上のような構成により、入出力装置２０は、マーカに対する自身の相対的な位置及び姿勢を推定することが可能となる。

また、所謂ＳＬＡＭ（simultaneous localization and mapping）と称される技術が、入出力装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

以上のような構成のもとで、例えば、撮像部による既知のマーカの撮像結果に基づく、当該マーカに対する入出力装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、入出力装置２０は、マーカが撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカ（ひ
いては、当該マーカが提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。

以上、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明した。なお、以降においては、例えば、上述した原理に基づき、実空間上の物体（実オブジェクト）に対する入出力装置２０の位置及び姿勢を推定することが可能であるものして説明する。

＜＜２．第１の実施形態＞＞
続いて、本開示の第１の実施形態に係る情報処理システムの一例について説明する。本実施形態に係る情報処理システムは、前述したＡＲや自己位置推定（ＳＬＡＭ等）の技術を応用することで、入出力装置２０を介した操作に基づき、実空間上の複数の位置間の距離の測定を可能とする。そこで、以降では、本実施形態に係る情報処理システムについて、当該システムを利用した距離の測定方法、当該システムの構成、及び当該システムの処理についてそれぞれ説明する。

＜２．１．測定方法＞
まず、図２及び図３を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図２は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図２では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

本実施形態に係る情報処理システムにおいては、ユーザは、入出力装置２０を装着したうえで、視線により実空間上における距離の測定の開始点及び終点を指定する。このとき、システムは、入出力装置２０と実オブジェクト９０との間の距離の測定結果と、ユーザの視線の認識結果とに基づき、当該実オブジェクト９０上に指定された開始点及び終点の３次元的な位置を推定する。より具体的には、システムは、入出力装置２０と実オブジェクト９０との間の距離（深度）の測定結果に基づくメッシュ面と、視線方向を示すベクトル（以降では、「視線ベクトル」とも称する）との交点を、ユーザが指定した実オブジェクト９０上の点（即ち、開始点または終点）として認識する。

具体的な手順としては、まず、ユーザは、入出力装置２０を装着し、距離の測定の開始点とする実オブジェクト９０上の位置を注視した状態で、開始点の登録のための所定の操作（例えば、操作部２０７に対する操作）を行う。この操作を受けて、システムは、ユーザが注視している実空間上の３次元的な位置を推定し、推定した当該位置を開始点として登録する。また、このときシステムは、開始点として登録した実空間上の位置に、当該開始点を示す仮想オブジェクトＶ１１が重畳するように、当該仮想オブジェクトＶ１１を、入出力装置２０（例えば、出力部２１１）を介してユーザに提示してもよい。

開始点の登録が完了した後に、ユーザは、距離の測定の終点とする実オブジェクト９０上の位置を注視した状態で、終点の登録のための所定の操作を行う。この操作を受けて、システムは、開始点の場合と同様に、終点の登録を行う。また、このときシステムは、終点として登録した実空間上の位置に、当該終点を示す仮想オブジェクトＶ１３が重畳するように、当該仮想オブジェクトＶ１３を、入出力装置２０を介してユーザに提示してもよい。

そして、システムは、登録された開始点及び終点それぞれの３次元的な位置の推定結果
に基づき、当該開始点と当該終点との間の距離を測定（算出）し、測定結果を示す表示情報Ｖ１７を、入出力装置２０（例えば、表示部２１１）を介してユーザに提示する。例えば、図３は、距離の測定結果に応じて提示される表示情報の一例を示している。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

また、このときシステムは、実空間上の尺度（寸法）を示す表示情報を提示してもよい。例えば、図２及び図３に示す例では、システムは、開始点の登録後に、ユーザの視線の移動に応じて、開始点とユーザの視線が向けられた位置との間に巻尺状の仮想オブジェクトＶ１５ａ及びＶ１５ｂを提示している。具体的には、システムは、巻尺のケースに相当する仮想オブジェクトＶ１５ａを提示することで、ユーザの視線が向けられた実空間上の位置を示している。また、システムは、登録された開始点と、当該仮想オブジェクトＶ１５ａとの間に、実空間上の寸法に応じて目盛りが振られた帯状の仮想オブジェクトＶ１５ｂを提示している。このような制御により、ユーザは、物差しや巻尺等の道具を使用して実際に距離を測定する場合と同様の感覚で、入出力装置２０を介した操作により実空間上の距離を測定することが可能となる。なお、以降の説明においては、ユーザの視線が向けられた位置を「注視点」と称し、当該視線の基点となる位置（例えば、眼に相当する位置であり、換言すると、入出力装置２０の位置）を「視点」と称する場合がある。

以上、図２及び図３を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明した。

＜２．２．機能構成＞
続いて、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図４は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。

図４に示すように、本実施形態に係る情報処理システム１は、例えば、入出力装置２０と、情報処理装置１０とを含む。なお、入出力装置２０は、図１を参照して説明した入出力装置２０に相当する。

まず、入出力装置２０の構成に着目して説明する。図４に示すように、入出力装置２０は、第１撮像部２０１と、第２撮像部２０３と、入力部２０５と、出力部２１１とを含む。また、入力部２０５は、操作部２０７を含む。また、入力部２０５は、集音部２０９を含んでもよい。なお、第１撮像部２０１は、図１に示す第１撮像部２０１ａ及び２０１ｂに相当する。また、第２撮像部２０３は、図１に示す第２撮像部２０３ａ及び２０３ｂに相当する。また、操作部２０７及び出力部２１１は、図１に示す操作部２０７及び出力部２１１にそれぞれ相当する。

第１撮像部２０１は、所謂ステレオカメラとして構成されており、互いに異なる複数の位置から被写体の画像、即ち、右眼側に相当する視点からの被写体の画像と、左眼側に相当する視点からの被写体の画像とを撮像する。なお、以降の説明では、右眼側に相当する視点から撮像された画像を「右眼画像」とも称し、左眼側に相当する視点から撮像された画像を「左眼画像」とも称する。そして、第１撮像部２０１は、撮像した右眼画像及び左眼画像を情報処理装置１０に出力する。

第２撮像部２０３は、入出力装置２０を装着したユーザの眼球の画像を撮像し、撮像した画像を情報処理装置１０に出力する。なお、このとき第２撮像部２０３は、ユーザの右眼及び左眼それぞれの眼球の画像を撮像し、当該画像それぞれを情報処理装置１０に出力
してもよい。

操作部２０７は、ユーザからの操作を受け付けた場合に、当該操作の内容を示す制御情報を情報処理装置１０に出力する。また、集音部２０９は、ユーザの音声等の音響を集音し、当該音響の集音結果に基づく音響信号を情報処理装置１０に出力する。

出力部２１１は、所謂ディスプレイ等により構成され、情報処理装置１０からの制御に基づき、画像等のような表示情報を表示する。例えば、図１を参照して前述したように、出力部２１１は、所謂透過型のディスプレイとして構成されていてもよい。

次いで、情報処理装置１０の構成に着目して説明する。図４に示すように、情報処理装置１０は、深度検出部１０１と、位置姿勢推定部１０３と、視線検出部１０５と、注視点検出部１０７と、トリガ検出部１０９と、基準点推定部１１１と、距離算出部１１３と、出力制御部１１５とを含む。

深度検出部１０１は、第１撮像部２０１により撮像された右眼画像及び左眼画像を、当該第１撮像部２０１から取得する。深度検出部１０１は、右眼画像と左眼画像との間の視差に基づき、入出力装置２０と、当該右眼画像及び左眼画像に撮像された被写体との間の距離（即ち、深度）を算出する。そして、深度検出部１０１は、取得した被写体の画像（例えば、右眼画像及び左眼画像）と、算出した深度を示す深度情報（例えば、深度の測定結果に基づくメッシュ面を示す情報）とを、位置姿勢推定部１０３に出力する。また、深度検出部１０１は、当該深度情報を、注視点検出部１０７に出力する。

位置姿勢推定部１０３は、実空間上における入出力装置２０の位置及び姿勢の推定に係る処理（所謂自己位置推定に係る処理）を実行するための構成である。

具体的には、位置姿勢推定部１０３は、深度検出部１０１から、被写体の画像と、深度情報とを取得する。位置姿勢推定部１０３は、取得した各画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する。このとき、位置姿勢推定部１０３は、例えば、画像中に撮像された物体の特徴（例えば、形状、模様等の特徴）に基づき特徴量を算出し、既知の物体の特徴量を示す情報と照合することで、画像中に撮像された物体を認識してもよい。

次いで、位置姿勢推定部１０３は、取得した画像に撮像された実オブジェクトの認識結果と、取得した深度情報（即ち、入出力装置２０と、当該実オブジェクトとの距離を示す情報）とに基づき、当該実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定する。なお、このとき位置姿勢推定部１０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定してもよい。この場合には、位置姿勢推定部１０３は、図示しない所定の検知部（例えば、入出力装置２０に設けられた加速度センサや角速度センサ等）から、入出力装置２０の位置及び姿勢の変化を示す情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定（即ち、実オブジェクトに対する入出力装置２０の位置及び姿勢の推定）に利用してもよい。

そして、位置姿勢推定部１０３は、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を、基準点推定部１１１に出力する。また、位置姿勢推定部１０３は、実オブジェクトの認識結果と、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報とを、出力制御部１１５に出力する。

視線検出部１０５は、第２撮像部２０３により撮像されたユーザの眼球の画像を、当該第２撮像部２０３から取得する。視線検出部１０５は、取得した画像に対して解析処理を
施すことで、画像中に撮像された眼球が向いている方向を認識する。視線検出部１０５は、画像中に撮像された眼球が向いている方向の認識結果と、当該眼球と第２撮像部２０３との間の位置関係と、に基づき、実空間上において当該眼球が向いている方向、即ち、視線方向を検出する。なお、眼球と第２撮像部２０３との間の位置関係については、想定される入出力装置２０の装着状態に基づきあらかじめ認識または推定することが可能であることは言うまでもない。また、このとき検出される視線方向は、入出力装置２０の位置及び姿勢を基準として相対的な方向に相当する。そして、視線検出部１０５は、視線方向の検出結果を示す視線情報を、注視点検出部１０７に出力する。

注視点検出部１０７は、深度検出部１０１から、深度の検出結果を示す深度情報を取得する。また、注視点検出部１０７は、視線検出部１０５から、視線の検出結果を示す視線情報を取得する。そして、注視点検出部１０７は、取得した深度情報及び視線情報に基づき、ユーザの視線が向けられている実空間上の位置（即ち、注視点の実空間上の位置）を、入出力装置２０の位置及び姿勢を基準とした相対的な位置として検出する。

具体的には、注視点検出部１０７は、視線情報に基づき視線ベクトルを算出し、当該視線ベクトルと、深度情報に基づくメッシュ面（即ち、実オブジェクトの表面の３次元的な位置情報）との交点を、注視点の実空間上の位置として検出する。なお、このとき検出される位置は、前述したように、入出力装置２０の位置及び姿勢を基準とした相対的な位置となる。そして、注視点検出部１０７は、検出した位置、即ち、注視点の実空間上の位置を示す情報（以降では、「注視点の位置情報」とも称する）を基準点推定部１１１に出力する。

トリガ検出部１０９は、入力部２０５を介したユーザ入力を示す情報を、当該入力部２０５から取得する。そして、トリガ検出部１０９は、取得したユーザ入力を示す情報が、所定の操作内容を示す場合に、当該ユーザ入力をトリガとして、基準点推定部１１１に対して当該操作内容に関連付けられた指示を行う。具体的な一例として、トリガ検出部１０９は、取得したユーザ入力を示す情報が、前述した開始点や終点等のような、距離の測定の基準となる実空間上の位置（以降では、「基準点」とも称する）の登録を示す場合に、当該ユーザ入力をトリガとして、基準点推定部１１１に対して基準点の登録を指示する。

具体的な一例として、トリガ検出部１０９は、操作部２０７から、操作内容を示す制御情報を取得し、当該制御情報が、基準点を登録するための操作を示す場合に、当該操作をトリガとして、基準点推定部１１１に対して基準点の登録を指示する。

また、他の一例として、トリガ検出部１０９は、集音部２０９から、集音結果に基づく音響信号を取得してもよい。この場合には、トリガ検出部１０９は、取得した音響信号に対して所謂音声認識処理や自然語源処理に基づく各種解析処理を施すことで、ユーザが発話した内容を認識する。そして、トリガ検出部１０９は、ユーザが発話した内容が、基準点の登録を示す場合に、当該発話内容の認識結果をトリガとして、基準点推定部１１１に対して基準点の登録を指示してもよい。

基準点推定部１１１は、位置姿勢推定部１０３から、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を取得する。また、基準点推定部１１１は、注視点検出部１０７から、注視点の位置情報を取得する。そして、基準点推定部１１１は、トリガ検出部１０９から基準点の登録に係る指示を受けた場合に、入出力装置２０の位置及び姿勢の推定結果と、注視点の位置情報とに基づき、開始点や終点等のような基準点の実空間上の位置を推定する。

具体的には、基準点推定部１１１は、注視点検出部１０７から取得した注視点の位置情
報に基づき、注視点の実空間上における３次元的な位置を、入出力装置２０の位置及び姿勢を基準とした相対的な位置として認識する。また、基準点推定部１１１は、実空間上における入出力装置２０の位置及び姿勢については、位置姿勢推定部１０３から取得した情報に基づき認識する。これにより、基準点推定部１１１は、注視点の実空間上における３次元的な位置を、例えば、絶対位置として推定することが可能となる。

そして、基準点推定部１１１は、トリガ検出部１０９からの基準点の登録に係る指示に基づき、開始点や終点等のような基準点の登録を行う。例えば、基準点推定部１１１は、基準点の登録に係る指示を受けた場合に、基準点の登録状況に応じて、開始点や終点を登録してもよい。より具体的には、基準点推定部１１１は、当該指示を受けたときに、開始点が登録されていない場合には、そのときに推定した基準点（即ち、注視点の実空間上の位置）を開始点として登録する。また、基準点推定部１１１は、当該指示を受けたときに、開始点が既に登録されている場合には、そのときに推定した基準点を終点として登録してもよい。

また、他の一例として、基準点推定部１１１は、トリガ検出部１０９から、開始点及び終点それぞれについて、登録に係る指示を個別に受けてもよい。例えば、基準点推定部１１１は、トリガ検出部１０９からの指示に基づき、開始点の登録がユーザにより指示されたことを認識した場合に、そのときに推定した基準点を開始点として登録する。同様に、基準点推定部１１１は、トリガ検出部１０９からの指示に基づき、終点の登録がユーザにより指示されたことを認識した場合に、そのときに推定した基準点を終点として登録してもよい。

以上のようにして、基準点推定部１１１は、トリガ検出部１０９からの指示に基づき開始点や終点等の基準点を登録し、登録した基準点それぞれの実空間上における位置を示す位置情報を、距離算出部１１３に出力する。これにより、距離算出部１１３は、登録された各基準点の実空間上における位置を認識することが可能となる。

また、基準点推定部１１１は、注視点の実空間上における位置を示す情報を、距離算出部１１３に逐次出力してもよい。これにより、距離算出部１１３は、ユーザの視線が向けられている実空間上の位置（即ち、注視点の実空間上の位置）をリアルタイムで認識することが可能となる。

距離算出部１１３は、登録された各基準点（例えば、開始点及び終点）の実空間上における位置を示す位置情報を、基準点推定部１１１から取得する。距離算出部１１３は、登録された各基準点の位置情報に基づき、複数の基準点間の距離を算出し、当該距離の算出結果を示す情報を出力制御部１１５に出力する。また、このとき距離算出部１１３は、登録された各基準点の位置情報を示す情報を、出力制御部１１５に出力してもよい。

また、距離算出部１１３は、基準点推定部１１１から、注視点の実空間上の位置を示す情報を逐次取得してもよい。この場合には、距離算出部１１３は、例えば、登録された基準点（例えば、開始点）と注視点との間の距離を算出し、当該距離の算出結果を示す情報を出力制御部１１５に出力してもよい。また、このとき距離算出部１１３は、注視点の実空間上の位置を示す情報を、出力制御部１１５に出力してもよい。

出力制御部１１５は、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２１１を介してユーザに提示する。

具体的には、出力制御部１１５は、位置姿勢推定部１０３から、実オブジェクトの認識結果と、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報とを取得
する。これにより、出力制御部１１５は、実空間上における入出力装置２０と認識された実オブジェクトとの間の位置関係を推定することが可能となる。

そして、出力制御部１１５は、例えば、入出力装置２０と認識された実オブジェクトとの間の実空間上における位置関係に応じて、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２１１に表示させる。なお、このとき出力制御部１１５は、仮想オブジェクトをＣＧ（Computer Graphic）として提示するために、レンダリング等のような表示情報の生成に係る各種処理を実行してもよい。

また、出力制御部１１５は、距離算出部１１３から距離の算出結果を示す情報を取得し、当該情報に基づき、距離の算出結果に応じた表示情報を出力部２１１に表示させてもよい。また、このとき出力制御部１１５は、登録された各基準点の位置情報を、距離算出部１１３から取得してもよい。この場合には、出力制御部１１５は、取得した位置情報に基づき、各基準点を示す表示情報が、当該基準点の実空間上の位置に重畳するように、当該表示情報を出力部２１１に表示させてもよい。

また、出力制御部１１５は、登録された基準点と注視点との間の距離の算出結果を示す情報を、距離算出部１１３から取得し、当該情報に基づき、距離の算出結果に応じた表示情報を出力部２１１に表示させてもよい。また、このとき出力制御部１１５は、注視点の実空間上の位置を示す情報を、距離算出部１１３から取得してもよい。この場合には、出力制御部１１５は、例えば、登録された基準点と、注視点とのそれぞれの位置関係に応じた表示情報（例えば、図２及び図３に示すような仮想オブジェクトＶ１５ａ及びＶ１５ｂ）を、出力部２１１に表示させてもよい。

なお、図４に示した構成はあくまで一例であり、情報処理システム１の構成は、必ずしも図４に示す例には限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の構成のうち、一部の構成が、当該情報処理装置１０とは異なる装置（例えば、入出力装置２０や外部のサーバ等）に設けられていてもよい。

また、上記では、入出力装置２０が、図１に示すような所謂シースルー型ＨＭＤとして構成されている場合に着目して説明したが、前述したように、入出力装置２０は、ビデオシースルー型ＨＭＤや網膜投射型ＨＭＤとして構成されていてもよい。なお、その場合には、情報処理装置１０の構成や処理の一部を必要に応じて置き換えてもよいことは言うまでもない。具体的な一例として、入出力装置２０がビデオシースルー型ＨＭＤとして構成されている場合には、出力制御部１１５は、第１撮像部２０１により撮像された画像に、仮想オブジェクトを重畳させた画像を出力部２１１に表示させればよい。

また、上記に説明した例では、ステレオカメラにより撮像された画像に基づき、実空間上の物体（実オブジェクト）の画像と、入出力装置２０から当該物体までの距離を示す深度情報と、を取得する例について説明した。一方で、実空間上の物体の画像と、入出力装置２０から当該物体までの距離を示す深度情報とを取得することが可能であれば、当該画像及び当該深度情報を取得するための構成は特に限定されない。例えば、実空間上の物体の画像を取得するための撮像部とは別に、当該距離を測定するため測距部を設けてもよい。なお、測距部の構成についても特に限定されないことは言うまでもない。より具体的な一例として、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、入出力装置２０から当該物体までの距離が測定されてもよい。

ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体ま
での距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

以上、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。

＜２．３．処理＞
続いて、図５を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０の処理に着目して説明する。図５は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。

まず、情報処理装置１０（深度検出部１０１）は、第１撮像部２０１により撮像された右眼画像及び左眼画像に基づき、入出力装置２０と、撮像された被写体（即ち、実オブジェクト）との間の距離（深度）を算出する。これにより、実オブジェクトの画像と、入出力装置２０と当該実オブジェクトとの間の距離を示す深度情報とが取得される（Ｓ１０１）。

次いで、情報処理装置１０（位置姿勢推定部１０３）は、取得した画像及び深度情報に基づき、当該画像に撮像された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定する。また、このとき位置姿勢推定部１０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ１０３）。なお、入出力装置２０の相対的な位置及び姿勢の推定方法については、位置姿勢推定部１０３の処理として前述した通りである。

また、情報処理装置１０（視線検出部１０５）は、第２撮像部２０３により撮像されたユーザの眼球の画像と、当該眼球と第２撮像部２０３との間の位置関係と、に基づき視線方向を検出する（Ｓ１０５）。

次いで、情報処理装置１０（注視点検出部１０７）は、視線方向の検出結果と、取得した深度情報とに基づき、ユーザの視線が向けられている実空間上の位置（即ち、注視点の実空間上の位置）を、入出力装置２０の位置及び姿勢を基準とした相対的な位置として検出する。また、情報処理装置１０（基準点推定部１１１）は、注視点の実空間上の位置の検出結果と、実空間上における入出力装置２０の位置及び姿勢の推定結果と、に基づき、当該注視点の実空間上における３次元的な位置を絶対位置として推定する（Ｓ１０７）。

なお、情報処理装置１０は、入力部２０５を介したユーザ入力に基づく所定のトリガが検出されない限り（Ｓ１０９、ＮＯ）、参照符号Ｓ１０１〜Ｓ１０７で示された一連の処理を逐次実行する。そして、情報処理装置１０は、ユーザ入力に基づく所定のトリガが検出された場合には（Ｓ１０９、ＹＥＳ）、開始点や終点の登録に係る処理を実行する。

例えば、情報処理装置１０（基準点推定部１１１）は、開始点が登録されていない場合には（Ｓ１１１、ＮＯ）、トリガが検出されたときの注視点の実空間上における３次元的
な位置を、開始点として登録する（Ｓ１１３）。開始点の登録後は、情報処理装置１０（距離算出部１１３）は、登録された開始点から現在の注視点までの距離を算出する（Ｓ１１５）。

また、情報処理装置１０（基準点推定部１１１）は、開始点が既に登録されている場合には（Ｓ１１１、ＹＥＳ）、トリガが検出されたときの注視点の実空間上における３次元的な位置を、終点として登録する（Ｓ１１７）。この場合には、情報処理装置１０（距離算出部１１３）は、登録された開始点から終点までの距離を算出する。そして、情報処理装置１０（出力制御部１１５）は、当該距離の算出結果に基づく表示情報を、入出力装置２０の出力部２１１に表示させる。

情報処理装置１０は、ユーザから処理の終了（例えば、アプリケーションの終了）が指示されるまで、上述した一連の処理を実行する（Ｓ１２１、ＮＯ）。そして、ユーザから処理の終了が指示されると（Ｓ１２１、ＹＥＳ）、情報処理装置１０は、上述した一連の処理を終了する。

以上、図５を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０の処理に着目して説明した。

＜２．４．評価＞
以上、説明したように、本実施形態に係る情報処理システムにおいては、ユーザは、入出力装置２０を装着したうえで、視線により実空間上における距離の測定の開始点及び終点を指定する。このとき、情報処理装置１０は、入出力装置２０により互いに異なる複数の視点から撮像された各画像と、各視点における当該入出力装置２０の位置及び姿勢の推定結果とに基づき、開始点や終点等の基準点の実空間上における位置を推定する。また、情報処理装置１０は、開始点及び終点それぞれの実空間上における位置の推定結果に基づき、当該開始点と当該終点との間の距離を算出（測定）する。そして、情報処理装置１０は、開始点と終点との間の距離の算出結果に基づく表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

また、本実施形態に係る情報処理システムでは、実空間上の距離の測定に係る一連の動作時に、ＳＬＡＭ等のような自己位置推定の技術に基づき、入出力装置２０の位置及び姿勢を逐次推定する。このような構成により、開始点や終点等のような各基準点を登録する場合に、例えば、当該登録時における入出力装置２０の位置及び姿勢（換言すると、登録時における視点）を基準として、当該基準点の実空間上における位置を推定することが可能となる。そのため、本実施形態に係るシステムに依れば、開始点及び終点として登録する実空間上の各位置を、入出力装置２０により撮像される画像中に同時に収めることが困難な場合においても、当該開始点と当該終点との間の距離を測定することが可能となる。なお、開始点及び終点として登録する実空間上の各位置を画像中に同時に収めることが困難な状況としては、例えば、開始点と終点とが比較的離れている場合や、開始点と終点との間に遮蔽物が存在する場合等が挙げられる。

なお、上述した例では、開始点及び終点を基準点として登録することで、当該開始点と終点との間の距離が測定される場合の一例について説明したが、必ずしも同態様のみには限定されない。具体的な一例として、本実施形態に係る情報処理システムは、３つ以上の基準点が登録でき、かつ、登録された３つ以上の基準点それぞれの間の距離が測定できるように構成されていてもよい。より具体的な一例として、情報処理装置１０は、終点が登録された後に、新たに別の終点が登録された場合には、従前に登録された終点を経由点と
して、開始点と経由点との間の距離と、当該経由点と新たに登録された終点との間の距離とを算出してもよい。また、経由点の数は１つに限らず、複数登録できてもよい。これは、後述する他の実施形態や変形例に係る情報処理システムについても同様である。

＜＜３．第２の実施形態＞＞
続いて、本開示の第２の実施形態に係る情報処理システムの一例について説明する。

＜３．１．測定方法＞
まず、図６を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図６は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図６では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

本実施形態に係る情報処理システムは、入出力装置２０を装着したユーザの視線を検出し、当該視線の検出結果に基づき、開始点や終点等のような基準点を指定するための仮想オブジェクトＶ１９を、入出力装置２０を介してユーザに提示する。例えば、図６に示す例では、ユーザの視線方向を示す矢印状の仮想オブジェクトＶ１９ａ及びＶ１９ｂが提示されている。ユーザは、自身の視線の検出結果に応じて提示された仮想オブジェクトＶ１９の方向や長さを、入出力装置２０を介した操作に基づき調整することで、実空間上における距離の測定の開始点及び終点を指定する。

具体的には、まずユーザは、参照符号Ｐ１１に示すように、入出力装置２０を装着したうえで、開始点として登録する実空間上の位置を注視し、入出力装置２０に対して仮想オブジェクトＶ１９の配置に係る所定の操作を行う。当該操作を受けて、システムは、ユーザの視線を検出し、検出した視線の方向（即ち、視線ベクトル）に応じた仮想オブジェクトＶ１９ａが実空間上に重畳するように、入出力装置２０を介して当該仮想オブジェクトＶ１９ａをユーザに提示する。

次いで、ユーザは、参照符号Ｐ１２として示すように、実空間上に重畳するように提示された仮想オブジェクトＶ１９ａを、別の視点（例えば、別の角度）から参照し、入出力装置２０を介した操作により、当該仮想オブジェクトＶ１９ａの方向や長さを調整する。このような操作により、ユーザは、仮想オブジェクトＶ１９ａにより、開始点として登録する実空間上の位置を指定する。この操作を受けて、システムは、仮想オブジェクトＶ１９ａにより指定された実空間上の位置を開始点として登録する。例えば、図６に示す例では、システムは、矢印状の仮想オブジェクトＶ１９ａが指し示す実空間上の位置を開始点として登録する。

また、ユーザは、開始点と同様の方法で終点を登録する。例えば、ユーザは、参照符号Ｐ１３として示すように、終点として登録する実空間上の位置を注視し、所定の操作を行う。当該操作を受けて、システムは、ユーザの視線を検出し、検出結果に応じて仮想オブジェクトＶ１９ｂをユーザに提示する。またユーザは、提示された仮想オブジェクトＶ１９ｂを、別の視点から参照し、入出力装置２０を介した操作により、当該仮想オブジェクトＶ１９ｂの方向や長さを調整することで、終点として登録する実空間上の位置を指定する。そして、システムは、矢印状の仮想オブジェクトＶ１９ｂが指し示す実空間上の位置を終点として登録する。

なお、開始点及び終点の登録後の動作については、前述した第１の実施形態と同様である。即ち、システムは、登録された開始点及び終点それぞれの３次元的な位置に基づき、
当該開始点と当該終点との間の距離を測定（算出）し、測定結果に応じて各種表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

また、本実施形態に係る情報処理システムにおいては、仮想オブジェクトＶ１９の向きや長さを調整することで、開始点や終点等の基準点として登録する実空間上の位置が指定される。そのため、本実施形態に係る情報処理システムでは、第１の実施形態に係る情報処理システムとは異なり、実オブジェクトが存在しない実空間上の位置を基準点として登録することも可能である。

以上、図６を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明した。

＜３．２．処理＞
次いで、図７〜図９を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０の処理に着目して説明する。図７〜図９は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。なお、本実施形態に係る情報処理システムは、基本的な機能構成は、前述した第１の実施形態に係るシステム（図４参照）と同様であるが、一部の構成における処理が異なる。そこで、本説明では、本実施形態に係る情報処理システムの特徴について、特に、前述した第１の実施形態に係る情報処理システムと異なる処理に着目して、より詳しく説明する。

なお、参照符号Ｓ１０１〜Ｓ１０７で示された処理については、前述した第１の実施形態に係る情報処理システム（図５参照）と同様である。即ち、情報処理装置１０（深度検出部１０１）は、第１撮像部２０１により撮像された右眼画像及び左眼画像に基づき、実オブジェクトの画像と、入出力装置２０と当該実オブジェクトとの間の距離を示す深度情報とを取得する（Ｓ１０１）。次いで、情報処理装置１０（位置姿勢推定部１０３）は、取得した画像及び深度情報に基づき、当該画像に撮像された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定する（Ｓ１０３）。また、情報処理装置１０（視線検出部１０５）は、第２撮像部２０３により撮像されたユーザの眼球の画像と、当該眼球と第２撮像部２０３との間の位置関係と、に基づき視線方向を検出する（Ｓ１０５）。また、情報処理装置１０（注視点検出部１０７）は、視線方向の検出結果と、取得した深度情報とに基づき、注視点の実空間上の位置を、入出力装置２０の位置及び姿勢を基準とした相対的な位置として検出する。そして、情報処理装置１０（基準点推定部１１１）は、注視点の実空間上の位置の検出結果と、実空間上における入出力装置２０の位置及び姿勢の推定結果と、に基づき、当該注視点の実空間上における３次元的な位置を絶対位置として推定する（Ｓ１０７）。また、このとき情報処理装置１０（基準点推定部１１１）は、入出力装置２０と注視点とを結ぶベクトル（換言すると、視線ベクトル）の実空間上における３次元的な位置及び向きを絶対位置として推定してもよい。

なお、情報処理装置１０は、入力部２０５を介したユーザ入力に基づく所定のトリガが検出されない限り（Ｓ１２３、ＮＯ、かつ、Ｓ１２５、ＮＯ）、参照符号Ｓ１０１〜Ｓ１０７で示された一連の処理を逐次実行する。

また、情報処理装置１０は、基準点を調整するためのトリガを検出した場合には（Ｓ１２３、ＹＥＳ）、開始点や終点等の基準点の調整に係る各処理を実行する（Ｓ１５０）。例えば、図８は、基準点の調整に係る一連の処理の流れの一例について示したフローチャートである。

具体的には、情報処理装置１０（表示制御部１１５）は、入出力装置２０と注視点とを結ぶベクトルの実空間上における３次元的な位置及び向きに応じて、基準点を指定するための仮想オブジェクトＶ１９を、入出力装置２０の出力部２１１を介してユーザに提示する（Ｓ１５１）。

次いで、情報処理装置１０（基準点推定部１１１）は、開始点が登録されていない場合には（Ｓ１５３、ＮＯ）、ユーザ入力に基づく仮想オブジェクトＶ１９の向きや長さの調整結果に応じて、開始点として登録される基準点の３次元的な位置を調整する。即ち、情報処理装置１０は、向きや長さが調整された当該仮想オブジェクトＶ１９が指し示す３次元的な位置を、調整後の当該基準点の位置として認識する（Ｓ１５５）。開始点として登録される基準点の位置の調整後は、情報処理装置１０（距離算出部１１３）は、位置が調整された当該基準点から現在の注視点までの距離を算出する（Ｓ１５７）。

また、情報処理装置１０（基準点推定部１１１）は、開始点が既に登録されている場合には（Ｓ１５３、ＹＥＳ）、ユーザ入力に基づく仮想オブジェクトＶ１９の向きや長さの調整結果に応じて、終点として登録される基準点の３次元的な位置を調整する。即ち、情報処理装置１０は、向きや長さが調整された当該仮想オブジェクトＶ１９が指し示す３次元的な位置を、調整後の当該基準点の位置として認識する（Ｓ１５９）。この場合には、情報処理装置１０（距離算出部１１３）は、開始点から、位置が調整された当該基準点（即ち、終点として登録される基準点）までの距離を算出し、当該距離の算出結果に基づく表示情報を、入出力装置２０の出力部２１１に表示させる。

また、図７に示すように、情報処理装置１０は、基準点を登録するためのトリガを検出した場合には（Ｓ１２３、ＮＯ、かつ、Ｓ１２５、ＹＥＳ）、開始点や終点等の基準点の登録と、距離の測定とに係る処理を実行する（Ｓ１７０）。例えば、図９は、基準点の登録と、距離の測定とに係る一連の処理の流れの一例について示したフローチャートである。

具体的には、情報処理装置１０（基準点推定部１１１）は、開始点が登録されていない場合には（Ｓ１７１、ＮＯ）、トリガが検出されたときの注視点の実空間上における３次元的な位置（即ち、仮想オブジェクトＶ１９が指し示す位置）を、開始点として登録する（Ｓ１７３）。開始点の登録後は、情報処理装置１０（距離算出部１１３）は、登録された開始点から現在の注視点までの距離を算出する（Ｓ１７５）。

また、情報処理装置１０（基準点推定部１１１）は、開始点が既に登録されている場合には（Ｓ１７１、ＹＥＳ）、トリガが検出されたときの注視点の実空間上における３次元的な位置（即ち、仮想オブジェクトＶ１９が指し示す位置）を、終点として登録する（Ｓ１７７）。この場合には、情報処理装置１０（距離算出部１１３）は、登録された開始点から終点までの距離を算出し、当該距離の算出結果に基づく表示情報を、入出力装置２０の出力部２１１に表示させる。

そして、図７に示すように、情報処理装置１０は、ユーザから処理の終了（例えば、アプリケーションの終了）が指示されるまで、上述した一連の処理を実行する（Ｓ１２７、ＮＯ）。そして、ユーザから処理の終了が指示されると（Ｓ１２７、ＹＥＳ）、情報処理装置１０は、上述した一連の処理を終了する。

以上、図７〜図９を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０の処理に着目して説明した。

＜３．３．評価＞
以上、説明したように、本実施形態に係る情報処理システムにおいては、情報処理装置１０は、入出力装置２０を装着したユーザの視線を検出し、当該視線の検出結果に基づき、開始点や終点等のような基準点を指定するための仮想オブジェクトＶ１９を、入出力装置２０を介してユーザに提示する。ユーザは、自身の視線の検出結果に応じて提示された仮想オブジェクトＶ１９の方向や長さを、入出力装置２０を介した操作に基づき調整することで、実空間上における距離の測定の開始点及び終点を指定する。情報処理装置１０は、方向や長さが調整された仮想オブジェクトＶ１９が指し示す実空間上の位置に応じて開始点及び終点の３次元的な位置を認識し、当該開始点と当該終点との間の距離を算出（測定）する。そして、情報処理装置１０は、開始点と終点との間の距離の算出結果に基づく表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

また、本実施形態に係る情報処理システムにおいては、仮想オブジェクトＶ１９の向きや長さを調整することで、開始点や終点等の基準点として登録する実空間上の位置が指定される。そのため、本実施形態に係る情報処理システムでは、第１の実施形態に係る情報処理システムとは異なり、実オブジェクトが存在しない実空間上の位置を基準点として登録することも可能である。

＜＜４．第３の実施形態＞＞
続いて、本開示の第３の実施形態に係る情報処理システムの一例について説明する。

＜４．１．測定方法＞
まず、図１０及び図１１を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図１０及び図１１は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図１０及び図１１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

例えば、図１０に示すように、本実施形態に係る情報処理システムにおいては、ユーザは、実オブジェクト９０上の所望の位置に入出力装置２０を接触または近接させることで、実空間上における距離の測定の開始点及び終点を指定する。

具体的には、まずユーザは、参照符号Ｐ２１に示すように、入出力装置２０を、開始点として登録する実空間上の位置に接触または近接させ、当該入出力装置２０に対して開始点の登録に係る所定の操作を行う。当該操作を受けて、システムは、入出力装置２０の位置及び姿勢と、当該入出力装置２０と実オブジェクト９０との間の距離（深度）と、に基づき、当該入出力装置２０が接触または近接した実空間上の３次元的な位置を推定し、推定した当該位置を開始点として登録する。

また、終点の登録についても、開始点の場合と同様である。例えば、ユーザは、参照符号Ｐ２２に示すように、入出力装置２０を、終点として登録する実空間上の位置に接触または近接させ、当該入出力装置２０に対して終点の登録に係る所定の操作を行う。当該操作を受けて、システムは、入出力装置２０の位置及び姿勢と、当該入出力装置２０と実オブジェクト９０との間の距離（深度）と、に基づき、当該入出力装置２０が接触または近接した実空間上の３次元的な位置を推定し、推定した当該位置を終点として登録する。

なお、開始点及び終点の登録後の動作については、前述した各実施形態と同様である。
即ち、システムは、登録された開始点及び終点それぞれの３次元的な位置に基づき、当該開始点と当該終点との間の距離を測定（算出）し、測定結果に応じて各種表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

また、本実施形態に係るシステムにおいては、実空間上の距離を測定するための装置として、入出力装置２０に替えて、所謂スマートフォンやタブレット端末等のような端末装置３０が用いられてもよい。例えば、図１１は、本実施形態に係る情報処理システムにおいて、端末装置３０を用いて実空間上の距離を測定する場合の手順の概要について示している。なお、本実施形態に係る情報処理システムにおいて、端末装置３０は、入出力装置２０と同様に、実オブジェクトの画像と、当該端末装置３０と当該実オブジェクトとの間の距離を示す深度情報とを取得可能に構成されているものとする。

例えば、図１１に示す例では、ユーザは、参照符号Ｐ３１に示すように、端末装置３０を、開始点として登録する実空間上の位置に接触または近接させ、当該端末装置３０に対して開始点の登録に係る所定の操作を行う。当該操作を受けて、システムは、端末装置３０の位置及び姿勢と、当該端末装置３０と実オブジェクト９０との間の距離（深度）と、に基づき、当該端末装置３０が接触または近接した実空間上の３次元的な位置を推定し、推定した当該位置を開始点として登録する。

また、終点の登録についても、開始点の場合と同様である。例えば、ユーザは、参照符号Ｐ３２に示すように、端末装置３０を、終点として登録する実空間上の位置に接触または近接させ、当該端末装置３０に対して終点の登録に係る所定の操作を行う。当該操作を受けて、システムは、端末装置３０の位置及び姿勢と、当該端末装置３０と実オブジェクト９０との間の距離（深度）と、に基づき、当該端末装置３０が接触または近接した実空間上の３次元的な位置を推定し、推定した当該位置を終点として登録すればよい。

以上、図１０及び図１１を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明した。

＜４．２．機能構成＞
続いて、図１２を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図１２は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。なお、本説明においては、図１１に示すように、端末装置３０を用いて実空間上の距離を測定する場合に着目して、本実施形態に係る情報処理システムの機能構成について説明する。

図１２に示すように、本実施形態に係る情報処理システム２は、例えば、端末装置３０と、情報処理装置４０とを含む。なお、端末装置３０は、図１１に示す端末装置３０に相当する。

まず、端末装置３０の構成に着目して説明する。図１２に示すように、端末装置３０は、撮像部３０１と、入力部３０３と、出力部３０５とを含む。

撮像部３０１は、所謂ステレオカメラとして構成されており、互いに異なる複数の位置から被写体の画像、即ち、右眼側に相当する視点からの被写体の画像（即ち、右眼画像）と、左眼側に相当する視点からの被写体の画像（即ち、左眼画像）とを撮像する。そして、撮像部３０１は、撮像した右眼画像及び左眼画像を情報処理装置４０に出力する。

入力部３０３は、例えば、タッチパネルやボタン等のような入力インターフェースにより構成されている。入力部３０３は、ユーザからの操作を受け付けた場合に、当該操作の内容を示す制御情報を情報処理装置４０に出力する。なお、端末装置３０は、前述した第１の実施形態に係る入出力装置２０（図４参照）と同様に、入力インターフェースとして、ユーザの音声を集音するための集音部を含んでもよい。

出力部３０５は、ディスプレイ等により構成され、情報処理装置４０からの制御に基づき、画像等のような表示情報を表示する。

なお、端末装置３０は、例えば、加速度センサや角速度センサ等のように、当該端末装置３０の位置及び姿勢の変化を示す情報を取得するための検知部（図示を省略する）を備えてもよい。

次いで、情報処理装置４０の構成に着目して説明する。図１２に示すように、情報処理装置４０は、深度検出部４０１と、位置姿勢推定部４０３と、トリガ検出部４０５と、基準点推定部４０７と、距離算出部４０９と、出力制御部４１１とを含む。なお、深度検出部４０１、位置姿勢推定部４０３、及びトリガ検出部４０５は、前述した第１及び第２の実施形態に係る情報処理装置１０（図４参照）における深度検出部１０１、位置姿勢推定部１０３、及びトリガ検出部１０９に相当する。

即ち、深度検出部４０１は、撮像部３０１により撮像された右眼画像及び左眼画像に基づき、被写体の画像と、端末装置３０と当該被写体との間の距離を示す深度情報とを取得する。そして、深度検出部４０１は、取得した被写体の画像と、深度情報とを、位置姿勢推定部４０３に出力する。なお、深度検出部４０１は、当該深度情報を、基準点推定部４０７に出力してもよい。

位置姿勢推定部４０３は、実空間上における端末装置３０の位置及び姿勢の推定に係る処理（所謂自己位置推定に係る処理）を実行するための構成である。即ち、位置姿勢推定部４０３は、深度検出部４０１から、被写体の画像と、深度情報とを取得し、取得した当該画像と当該深度情報とに基づき、当該画像中に被写体として撮像された実オブジェクトを認識する。また、位置姿勢推定部４０３は、当該実オブジェクトの認識結果と、取得した深度情報とに基づき、当該実オブジェクトに対する端末装置３０の相対的な位置及び姿勢を推定する。なお、このとき位置姿勢推定部４０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する端末装置３０の相対的な位置及び姿勢を推定してもよい。そして、位置姿勢推定部４０３は、実空間上における端末装置３０の位置及び姿勢の推定結果を示す情報を、基準点推定部４０７に出力する。また、位置姿勢推定部４０３は、実空間上における端末装置３０の位置及び姿勢の推定結果を示す情報を、出力制御部４１１に出力してもよい。

トリガ検出部４０５は、入力部３０３を介したユーザ入力を示す情報を、当該入力部３０３から取得する。そして、トリガ検出部４０５は、取得したユーザ入力を示す情報が、所定の操作内容を示す場合に、当該ユーザ入力をトリガとして、基準点推定部４０７に対して当該操作内容に関連付けられた指示を行う。このような構成に基づき、例えば、トリガ検出部４０５は、所定のユーザ入力をトリガとして、距離の測定に係る開始点や終点等の基準点の登録を基準点推定部４０７に指示する。

基準点推定部４０７は、位置姿勢推定部４０３から、実空間上における端末装置３０の位置及び姿勢の推定結果を示す情報を取得する。また、基準点推定部４０７は、深度検出部４０１から深度情報を取得してもよい。そして、基準点推定部４０７は、トリガ検出部４０５から基準点の登録に係る指示を受けた場合に、端末装置３０の位置及び姿勢の推定
結果に基づき、開始点や終点等のような基準点の実空間上の位置を推定する。

より具体的には、基準点推定部４０７は、トリガ検出部４０５から基準点の登録に係る指示を受けた場合に、そのときの端末装置３０の特定箇所の位置（換言すると、端末装置３０の位置）を、前述した第１及び第２の実施形態において説明した注視点と見なし、当該注視点を基準点として登録してもよい。また、基準点推定部４０７は、端末装置３０の位置及び姿勢の推定結果と、取得した深度情報とに基づき、当該端末装置３０の特定箇所の位置から深度情報が示す距離だけ撮像部３０１の撮像方向に向けて離間した位置（即ち、実オブジェクト上の位置）を注視点と見なし、当該注視点を基準点として登録してもよい。

以上のようにして、基準点推定部４０７は、トリガ検出部４０５からの指示に基づき開始点や終点等の基準点を登録し、登録した基準点それぞれの実空間上における位置を示す位置情報を、距離算出部４０９に出力する。

距離算出部４０９は、前述した第１及び第２の実施形態に係る情報処理装置１０（図４参照）における距離算出部１１３に相当する。即ち、距離算出部４０９は、登録された各基準点の実空間上における位置を示す位置情報を、基準点推定部４０７から取得する。また、距離算出部４０９は、登録された各基準点の位置情報に基づき、複数の基準点間の距離を算出し、当該距離の算出結果を示す情報を出力制御部４１１に出力する。また、このとき距離算出部４０９は、登録された各基準点の位置情報を示す情報を、出力制御部４１１に出力してもよい。また、距離算出部４０９は、登録された基準点（例えば、開始点）と注視点との間の距離を算出し、算出した距離を示す情報を出力制御部４１１に出力してもよい。

出力制御部４１１は、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部３０５を介してユーザに提示する。

具体的な一例として、出力制御部４１１は位置姿勢推定部１０３から、実オブジェクトの認識結果と、実空間上における端末装置３０の位置及び姿勢の推定結果を示す情報とを取得する。これにより、出力制御部４１１は、実空間上における端末装置３０と認識された実オブジェクトとの間の位置関係を推定することが可能となる。そして、出力制御部４１１は、撮像部３０１により撮像された画像に対して、実空間上における端末装置３０と認識された実オブジェクトとの間の位置関係に応じて仮想オブジェクトを重畳させた画像を出力部２１１に表示させればよい。

また、出力制御部４１１は、距離算出部４０９から距離の算出結果を示す情報を取得し、当該情報に基づき、距離の算出結果に応じた表示情報を出力部３０５に表示させてもよい。当該動作については、前述した第１及び第２の実施形態に係る情報処理装置１０における出力制御部１１５と同様である。

なお、図１２に示した構成はあくまで一例であり、情報処理システム２の構成は、必ずしも図１２に示す例には限定されない。この点については、前述した第１の実施形態に係る情報処理システム１と同様である。また、実空間上の物体の画像と、端末装置３０から当該物体までの距離を示す深度情報とを取得することが可能であれば、当該画像及び当該深度情報を取得するための構成は特に限定されない点についても、前述した第１の実施形態に係る情報処理システム１と同様である。

以上、図１２を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。

＜４．３．処理＞
続いて、図１３を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置４０の処理に着目して説明する。図１３は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。

まず、情報処理装置４０（深度検出部４０１）は、撮像部３０１により撮像された右眼画像及び左眼画像に基づき、端末装置３０と、撮像された被写体（即ち、実オブジェクト）との間の距離（深度）を算出する。これにより、実オブジェクトの画像と、端末装置３０と当該実オブジェクトとの間の距離を示す深度情報とが取得される（Ｓ２０１）。

次いで、情報処理装置４０（位置姿勢推定部４０３）は、取得した画像及び深度情報に基づき、当該画像に撮像された実オブジェクトに対する端末装置３０の相対的な位置及び姿勢を推定する。また、このとき位置姿勢推定部４０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する端末装置３０の相対的な位置及び姿勢を推定してもよい（Ｓ２０３）。

次いで、情報処理装置４０（基準点推定部４０７）は、端末装置３０の位置及び姿勢の推定結果に基づき、当該端末装置３０の特定箇所の位置を注視点と見なし、当該注視点の実空間上における３次元的な位置を絶対位置として推定する（Ｓ２０５）。

なお、情報処理装置４０は、入力部３０３を介したユーザ入力に基づく所定のトリガが検出されない限り（Ｓ２０７、ＮＯ）、参照符号Ｓ２０１〜Ｓ２０５で示された一連の処理を逐次実行する。そして、情報処理装置４０は、ユーザ入力に基づく所定のトリガが検出された場合には（Ｓ２０７、ＹＥＳ）、開始点や終点の登録に係る処理を実行する。

例えば、情報処理装置４０（基準点推定部４０７）は、開始点が登録されていない場合には（Ｓ２０９、ＮＯ）、トリガが検出されたときの注視点の実空間上における３次元的な位置を、開始点として登録する（Ｓ２１１）。開始点の登録後は、情報処理装置４０（距離算出部４０９）は、登録された開始点から現在の注視点までの距離を算出する（Ｓ２１３）。

また、情報処理装置４０（基準点推定部４０７）は、開始点が既に登録されている場合には（Ｓ２０９、ＹＥＳ）、トリガが検出されたときの注視点の実空間上における３次元的な位置を、終点として登録する（Ｓ２１５）。この場合には、情報処理装置４０（距離算出部４０９）は、登録された開始点から終点までの距離を算出する。そして、情報処理装置４０（出力制御部４１１）は、当該距離の算出結果に基づく表示情報を、端末装置３０の出力部３０５に表示させる（Ｓ２１７）。

情報処理装置４０は、ユーザから処理の終了（例えば、アプリケーションの終了）が指示されるまで、上述した一連の処理を実行する（Ｓ２１９、ＮＯ）。そして、ユーザから処理の終了が指示されると（Ｓ２１９、ＹＥＳ）、情報処理装置４０は、上述した一連の処理を終了する。

以上、図１３を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置４０の処理に着目して説明した。

＜４．４．評価＞
以上、説明したように、本実施形態に係る情報処理システムにおいては、ユーザは、例えば、所望の実空間上の位置に端末装置３０を接触または近接させ、当該端末装置３０に
対して所定の操作を行うことで、実空間上における距離の測定の開始点及び終点を指定する。このとき、情報処理装置４０は、例えば、推定した端末装置３０の実空間上の位置を、開始点や終点等の基準点の位置として認識する。また、情報処理装置４０は、開始点及び終点それぞれの実空間上における位置の認識結果に基づき、当該開始点と当該終点との間の距離を算出（測定）する。そして、情報処理装置４０は、開始点と終点との間の距離の算出結果に基づく表示情報を、端末装置３０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、端末装置３０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

特に、本実施形態に係る情報処理システムに依れば、ユーザが、距離の測定対象となる実オブジェクトに接触または近接することが可能な状況下においては、前述した第１及び第２の実施形態に係る情報処理システムに比べて、より簡便な手順で距離の測定を行うことが可能となる。

＜５．第４の実施形態＞
続いて、本開示の第４の実施形態に係る情報処理システムの一例について説明する。

＜５．１．測定方法＞
まず、図１４を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図１４は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図１４では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

本実施形態に係る情報処理システムは、入出力装置２０に設けられた撮像部（前述した、ステレオカメラとして構成された第１撮像部２０１）により撮像された画像に基づき、端末装置３０等のような物体を認識する。そして、システムは、当該認識結果に応じて、認識した物体（即ち、端末装置３０）に対して、開始点や終点等のような基準点を指定するための仮想オブジェクトＶ４３が重畳するように、入出力装置２０を介して当該仮想オブジェクトＶ４３をユーザに提示する。例えば、図１４に示す例では、システムは、端末装置３０のディスプレイ等に提示されたマーカＶ４１を認識し、当該マーカＶ４１の認識結果に応じて、当該端末装置３０を認識する。これにより、システムは、マーカＶ４１の認識結果に基づき、実空間上における端末装置３０の位置や姿勢を認識することが可能となる。また、システムは、端末装置３０の認識結果に応じて、当該端末装置３０から、当該端末装置３０が向けられた方向に向けて延伸するように、仮想オブジェクトＶ４３を提示している。ユーザは、入出力装置２０を介して仮想オブジェクトＶ４３を確認しながら、端末装置３０の位置や向きを変えることで、当該仮想オブジェクトＶ４３により、実空間上における距離の測定の開始点及び終点として登録する実空間上の位置を指定する。

具体的には、まずユーザは、入出力装置２０を装着した状態で、マーカＶ４１が提示された端末装置３０を視認する。この操作を受けて、システムは、入出力装置２０の撮像部により撮像された画像に基づき、マーカＶ４１が提示された端末装置３０の位置及び姿勢を認識し、認識結果に基づき、入出力装置２０を介して仮想オブジェクトＶ４３をユーザに提示する。なお、このときシステムは、端末装置３０または入出力装置２０に対する所定の操作に応じて、仮想オブジェクトＶ４３の表示態様（例えば、長さ等）を制御してもよい。

次いで、ユーザは、参照符号Ｐ４１に示すように、端末装置３０の位置や向きを調整す
ることで、提示された仮想オブジェクトＶ４３により、開始点として登録する実空間上の位置を指し示し、端末装置３０または入出力装置２０に対して、開始点の登録に係る所定の操作を行う。この操作を受けて、システムは、仮想オブジェクトＶ４３により指定された実空間上の位置を開始点として登録する。例えば、図１４に示す例では、システムは、矢印状の仮想オブジェクトＶ４３が指し示す実空間上の位置を開始点として登録する。

また、ユーザは、開始点と同様の方法で終点を登録する。例えば、ユーザは、参照符号Ｐ４２として示すように、提示された仮想オブジェクトＶ４３により、終点として登録する実空間上の位置を指し示し、端末装置３０または入出力装置２０に対して、終点の登録に係る所定の操作を行う。この操作を受けて、システムは、矢印状の仮想オブジェクトＶ４３が指し示す実空間上の位置を終点として登録する。

なお、開始点及び終点の登録後の動作については、前述した第１〜第３の実施形態と同様である。即ち、システムは、登録された開始点及び終点それぞれの３次元的な位置に基づき、当該開始点と当該終点との間の距離を測定（算出）し、測定結果に応じて各種表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

なお、図１４に示す例では、仮想オブジェクトＶ４３を重畳する物体として端末装置３０を利用する例について説明した。一方で、ユーザが、提示された仮想オブジェクトＶ４３により開始点や終点等の基準点を指定することが可能であれば、仮想オブジェクトＶ４３が重畳される物体（換言すると、仮想オブジェクトＶ４３を提示するために認識される物体）は、必ずしも端末装置３０のみには限定されない。例えば、端末装置３０に替えて、マーカＶ４１が印刷されたカード等が使用されてもよい。

以上、図１４を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明した。

＜５．２．機能構成＞
続いて、図１５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図１５は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。

図１５に示すように、本実施形態に係る情報処理システム３は、例えば、入出力装置２０と、端末装置３０と、情報処理装置５０とを含む。なお、入出力装置２０及び端末装置３０は、図１４に示す入出力装置２０及び端末装置３０に相当する。

まず、入出力装置２０の構成に着目して説明する。図１５に示すように、本実施形態に係る入出力装置２０は、第１撮像部２０１と、入力部２０５と、出力部２１１とを含む。なお、第１撮像部２０１、入力部２０５、及び出力部２１１は、前述した第１の実施形態に係る入出力装置２０（図４参照）における第１撮像部２０１、入力部２０５、及び出力部２１１と実質的に同様であり、詳細な説明は省略する。

次いで、端末装置３０の構成に着目して説明する。図１５に示すように、端末装置３０は、入力部３０３を含む。なお、入力部３０３は、前述した第３の実施形態に係る端末装置３０（図１２参照）における入力部３０３と実質的に同様であり、詳細な説明は省略する。

次いで、情報処理装置５０の構成に着目して説明する。図１５に示すように、情報処理
装置５０は、深度検出部５０１と、位置姿勢推定部５０３と、物体認識部５０５と、トリガ検出部５０７と、基準点推定部５０９と、距離算出部５１１と、出力制御部５１３とを含む。なお、深度検出部５０１及び位置姿勢推定部５０３は、前述した第１及び第２の実施形態に係る情報処理装置１０（図４参照）における深度検出部５０１及び位置姿勢推定部５０３に相当する。

即ち、深度検出部５０１は、第１撮像部２０１により撮像された右眼画像及び左眼画像に基づき、被写体の画像と、入出力装置２０と当該被写体との間の距離を示す深度情報とを取得する。そして、深度検出部５０１は、取得した被写体の画像と、深度情報とを、位置姿勢推定部５０３に出力する。

位置姿勢推定部５０３は、実空間上における入出力装置２０の位置及び姿勢の推定に係る処理（所謂自己位置推定に係る処理）を実行するための構成である。即ち、位置姿勢推定部５０３は、深度検出部５０１から、被写体の画像と、深度情報とを取得し、取得した当該画像と当該深度情報とに基づき、当該画像中に被写体として撮像された実オブジェクトを認識する。そして、位置姿勢推定部５０３は、当該実オブジェクトの認識結果と、取得した深度情報とに基づき、当該実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定する。なお、このとき位置姿勢推定部５０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定してもよい。そして、位置姿勢推定部５０３は、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を、基準点推定部５０９に出力する。また、位置姿勢推定部５０３は、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を、出力制御部５１３に出力してもよい。

物体認識部５０５は、第１撮像部２０１により撮像された画像に基づき、端末装置３０の位置及び姿勢を認識するための構成である。例えば、物体認識部５０５は、図１４に示すような端末装置３０に提示されたマーカＶ４１を、第１撮像部２０１により撮像された画像中から認識し、当該認識結果に基づき、端末装置３０の位置及び姿勢を認識すればよい。なお、端末装置３０の認識方法については、位置姿勢推定部５０３が、画像中に被写体として撮像された実オブジェクトを認識する方法と実質的に同様のため、詳細な説明は省略する。そして、物体認識部５０５は、端末装置３０の位置及び姿勢の認識結果を示す情報を、基準点推定部５０９に出力する。また、物体認識部５０５は、端末装置３０の位置及び姿勢の認識結果を示す情報を、出力制御部５１３に出力してもよい。

なお、上述したように、物体認識部５０５の処理は、位置姿勢推定部５０３の処理の少なくとも一部と類似する場合がある。そのため、位置姿勢推定部５０３が、物体認識部５０５の処理を実行してもよい。

トリガ検出部５０７は、入力部３０３を介したユーザ入力を示す情報を、当該入力部３０３から取得する。また、トリガ検出部５０７は、入力部２０５を介したユーザ入力を示す情報を、当該入力部２０５から取得してもよい。そして、トリガ検出部５０７は、取得したユーザ入力を示す情報が、所定の操作内容を示す場合に、当該ユーザ入力をトリガとして、基準点推定部５０９に対して当該操作内容に関連付けられた指示を行う。このような構成に基づき、例えば、トリガ検出部５０７は、所定のユーザ入力をトリガとして、距離の測定に係る開始点や終点等の基準点の登録を基準点推定部５０９に指示する。

基準点推定部５０９は、位置姿勢推定部５０３から、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を取得する。また、基準点推定部５０９は、物体認識部５０５から、端末装置３０の位置及び姿勢の認識結果を示す情報を取得する。そして、基準点推定部５０９は、トリガ検出部５０７から基準点の登録に係る指示を受けた場合
に、入出力装置２０の位置及び姿勢の推定結果と、端末装置３０の位置及び姿勢の認識結果と、に基づき、開始点や終点等のような基準点の実空間上の位置を推定する。

より具体的には、基準点推定部５０９は、端末装置３０の位置及び姿勢の認識結果に基づき、実空間上における当該端末装置３０の位置及び姿勢を、入出力装置２０の位置及び姿勢を基準とした相対的な位置として認識する。また、基準点推定部５０９は、実空間上における入出力装置２０の位置及び姿勢については、位置姿勢推定部５０３から取得した情報に基づき認識する。これにより、基準点推定部５０９は、端末装置３０の実空間上における３次元的な位置及び姿勢を、例えば、絶対位置として推定することが可能となる。

次いで、基準点推定部５０９は、端末装置３０の実空間上における３次元的な位置及び姿勢の推定結果により、当該端末装置３０が向けられている実空間上の位置（即ち、図１４において、仮想オブジェクトＶ４１により指定されている実空間上の位置）を推定する。なお、このような処理により推定される実空間上の位置が、前述した第１及び第２の実施形態において説明した注視点に相当する。そこで、本説明では、便宜上、上記処理により推定された実空間上の位置（即ち、端末装置３０が向けられている実空間上の位置）を、「注視点」と称する。

なお、このとき基準点推定部５０９は、仮想オブジェクトＶ４１に対する操作結果に応じて、注視点の実空間上における３次元的な位置を推定してもよい。より具体的には、基準点推定部５０９は、仮想オブジェクトＶ４１の長さの調整結果に応じて、端末装置３０の実空間上の位置から、当該端末装置３０が向けられている方向に、当該仮想オブジェクトＶ４１の長さの分だけ離間した位置を、注視点の位置として推定してもよい。

そして、基準点推定部５０９は、トリガ検出部５０７からの基準点の登録に係る指示に基づき、開始点や終点等のような基準点を登録し、登録した基準点それぞれの実空間上における位置を示す位置情報を、距離算出部５１１に出力する。

また、基準点推定部５０９は、注視点の実空間上における位置を示す情報を、距離算出部５１１に逐次出力してもよい。これにより、距離算出部５１１は、端末装置３０が向けられている実空間上の位置をリアルタイムで認識することが可能となる。

距離算出部５１１の処理は、前述した第１及び第２の実施形態に係る情報処理装置１０における距離算出部１１３と実質的に同様である。即ち、距離算出部５１１は、登録された各基準点の実空間上における位置を示す位置情報を、基準点推定部５０９から取得する。また、距離算出部５１１は、登録された各基準点の位置情報に基づき、複数の基準点間の距離を算出し、当該距離の算出結果を示す情報を出力制御部５１３に出力する。また、このとき距離算出部５１１は、登録された各基準点の位置情報を示す情報を、出力制御部５１３に出力してもよい。

また、距離算出部５１１は、基準点推定部５０９から、注視点の実空間上の位置を示す情報を逐次取得してもよい。この場合には、距離算出部５１１は、例えば、登録された基準点（例えば、開始点）と注視点との間の距離を算出し、当該距離の算出結果を示す情報を出力制御部５１３に出力してもよい。また、このとき距離算出部５１１は、注視点の実空間上の位置を示す情報を、出力制御部５１３に出力してもよい。

出力制御部５１３は、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２１１を介してユーザに提示する。なお、出力制御部５１３による、仮想オブジェクトの提示に係る処理は、前述した第１及び第２の実施形態に係る情報処理装置１０（図４参照）の出力制御部１１５と実質的に同様のため、詳細
な説明は省略する。

例えば、出力制御部５１３は、物体認識部５０５から、端末装置３０の位置及び姿勢の認識結果を示す情報を取得する。また、出力制御部５１３は、位置姿勢推定部５０３から、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報を取得する。そして、出力制御部５１３は、取得した端末装置３０の位置及び姿勢の認識結果を示す情報と、実空間上における入出力装置２０の位置及び姿勢の推定結果を示す情報と、に基づき、端末装置３０の実空間上における３次元的な位置及び姿勢を推定してもよい。そして、出力制御部５１３は、例えば、当該推定結果に基づき、図１４に示すように、端末装置３０に対して仮想オブジェクトＶ４１が重畳するように、当該仮想オブジェクトＶ４１を出力部２１１に表示させてもよい。

また、出力制御部５１３は、距離算出部５１１から距離の算出結果を示す情報を取得し、当該情報に基づき、距離の算出結果に応じた表示情報を出力部２１１に表示させてもよい。当該動作については、前述した第１及び第２の実施形態に係る情報処理装置１０における出力制御部１１５と同様である。

なお、図１５に示した構成はあくまで一例であり、情報処理システム３の構成は、必ずしも図１５に示す例には限定されない。この点については、前述した第１の実施形態に係る情報処理システム１と同様である。また、実空間上の物体の画像と、入出力装置２０から当該物体までの距離を示す深度情報とを取得することが可能であれば、当該画像及び当該深度情報を取得するための構成は特に限定されない点についても、前述した第１の実施形態に係る情報処理システム１と同様である。

以上、図１５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。

＜５．３．処理＞
続いて、図１６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置５０の処理に着目して説明する。図１６は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。

まず、情報処理装置５０（深度検出部５０１）は、第１撮像部２０１により撮像された右眼画像及び左眼画像に基づき、入出力装置２０と、撮像された被写体（即ち、実オブジェクト）との間の距離（深度）を算出する。これにより、実オブジェクトの画像と、入出力装置２０と当該実オブジェクトとの間の距離を示す深度情報とが取得される（Ｓ３０１）。

次いで、情報処理装置５０（位置姿勢推定部５０３）は、取得した画像及び深度情報に基づき、当該画像に撮像された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定する。また、このとき位置姿勢推定部５０３は、ＳＬＡＭに基づき、認識された実オブジェクトに対する入出力装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ３０３）。

また、情報処理装置５０（物体認識部５０５）は、第１撮像部２０１により撮像された右眼画像及び左眼画像に基づき、端末装置３０の位置及び姿勢を認識する。また、情報処理装置５０（出力制御部５１３）は、端末装置３０の位置及び姿勢の認識結果に基づき、当該端末装置３０に対して仮想オブジェクトＶ４１が重畳するように、当該仮想オブジェクトＶ４１を入出力装置２０を介してユーザに提示する（Ｓ３０５）。なお、端末装置３０の位置及び姿勢を認識方法については、物体認識部５０５の処理として前述した通りで
ある。

次いで、情報処理装置５０（基準点推定部５０９）は、入出力装置２０の位置及び姿勢の推定結果と、端末装置３０の位置及び姿勢の認識結果と、に基づき、端末装置３０が向けられている実空間上の３次元的な位置（即ち、注視点の実空間上の位置）を推定する。なお、このとき情報処理装置５０は、端末装置３０の位置及び姿勢の認識結果に応じて提示した仮想オブジェクトＶ４１に対する操作結果に応じて、当該注視点の実空間上における３次元的な位置を推定してもよい（Ｓ３０７）。なお、注視点の位置の推定方法については、基準点推定部５０９の処理として前述した通りである。

なお、情報処理装置５０は、入力部２０５または入力部３０３を介したユーザ入力に基づく所定のトリガが検出されない限り（Ｓ３０９、ＮＯ）、参照符号Ｓ３０１〜Ｓ３０７で示された一連の処理を逐次実行する。そして、情報処理装置５０は、ユーザ入力に基づく所定のトリガが検出された場合には（Ｓ３０９、ＹＥＳ）、開始点や終点の登録に係る処理を実行する。

例えば、情報処理装置５０（基準点推定部５０９）は、開始点が登録されていない場合には（Ｓ３１１、ＮＯ）、トリガが検出されたときの注視点の実空間上における３次元的な位置を、開始点として登録する（Ｓ３１３）。開始点の登録後は、情報処理装置５０（距離算出部５１１）は、登録された開始点から現在の注視点までの距離を算出する（Ｓ３１５）。

また、情報処理装置５０（基準点推定部５０９）は、開始点が既に登録されている場合には（Ｓ３１１、ＹＥＳ）、トリガが検出されたときの注視点の実空間上における３次元的な位置を、終点として登録する（Ｓ３１７）。この場合には、情報処理装置５０（距離算出部５１１）は、登録された開始点から終点までの距離を算出する。そして、情報処理装置５０（出力制御部５１３）は、当該距離の算出結果に基づく表示情報を、入出力装置２０の出力部２１１に表示させる。

情報処理装置５０は、ユーザから処理の終了（例えば、アプリケーションの終了）が指示されるまで、上述した一連の処理を実行する（Ｓ３２１、ＮＯ）。そして、ユーザから処理の終了が指示されると（Ｓ３２１、ＹＥＳ）、情報処理装置５０は、上述した一連の処理を終了する。

以上、図１６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置５０の処理に着目して説明した。

＜５．４．評価＞
以上、説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置５０は、入出力装置２０に設けられた撮像部により撮像された画像に基づき、端末装置３０等のような物体を認識する。そして、情報処理装置５０は、当該認識結果に応じて、認識した物体に対して、開始点や終点等のような基準点を指定するための仮想オブジェクトＶ４３が重畳するように、入出力装置２０を介して当該仮想オブジェクトＶ４３をユーザに提示する。このような構成のもと、ユーザは、入出力装置２０を介して仮想オブジェクトＶ４３を確認しながら、端末装置３０の位置や向きを変えることで、当該仮想オブジェクトＶ４３により、開始点及び終点として登録する実空間上の位置を指定する。このとき、情報処理装置５０は、例えば、仮想オブジェクトＶ４３により指定された実空間上の位置を、端末装置３０の位置及び姿勢の認識結果に基づき推定し、推定した当該位置を、開始点や終点等の基準点の位置として登録する。

また、情報処理装置５０は、開始点及び終点それぞれの実空間上における位置の登録結果に基づき、当該開始点と当該終点との間の距離を算出（測定）する。そして、情報処理装置５０は、開始点と終点との間の距離の算出結果に基づく表示情報を、入出力装置２０を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置２０及び端末装置３０を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。

＜＜６．変形例＞＞
続いて、本開示の一実施形態に係る情報処理システムの変形例について説明する。

＜６．１．変形例１：曲線の長さの測定＞
まず、変形例１に係る情報処理システムについて説明する。前述した各実施形態では、開始点や終点等の基準点を指定することで、複数の基準点間の距離（即ち、直線距離）を測定する場合の例について説明した。一方で、変形例１に係る情報処理システムでは、直線距離に限らず、曲面の表面上の距離等のような曲線の長さを測定可能に構成されている。例えば、図１７は、変形例１に係る情報処理システムの概要について説明するための説明図である。なお、図１７では、変形例１に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

具体的には、変形例１に係る情報処理システムにおいては、ユーザは、入出力装置２０や端末装置３０を介して、距離の測定対象となる経路（軌跡）を指定する。

例えば、図１７に示す例では、ユーザは、所謂巻尺を物体に巻き付けて距離を測定する場合のように、端末装置３０を介した操作により仮想オブジェクトＶ５１を実オブジェクト９１の表面上に設置することで、実空間上における距離の測定の対象となる経路（軌跡）を設定する。このとき、システムは、例えば、端末装置３０と実オブジェクト９１との間の位置関係に応じて、仮想オブジェクトＶ５１のうち、まだ設置が行われていない部分Ｖ５１ａと当該実オブジェクト９１とが接触したか否かを判定する。なお、システムは、仮想オブジェクトＶ５１と実オブジェクト９１との間の実空間上における位置関係については、例えば、ＳＬＡＭ等の自己位置推定技術に基づく端末装置３０の位置及び姿勢の推定結果に応じて認識すればよい。そして、システムは、仮想オブジェクトＶ５１の当該部分Ｖ５１ａのうち、実オブジェクト９１と接触したものと判定した部分を、距離の測定対象となる経路として設定された部分Ｖ５１ｂとして認識してもよい。

また、他の一例として、ユーザは、上述した各実施形態において実空間上の位置を指定する場合と同様の要領で、例えば、距離の測定対象となる経路を設定してもよい。より具体的な一例として、ユーザは、入出力装置２０を装着した状態で視線を動かし、当該視線が向けられている位置（即ち、注視点）により、実空間上の経路（軌跡）をなぞることで、当該経路を距離の測定対象として指定してもよい。この場合には、例えば、システムは、ユーザの視線の変化を検出し、当該視線が向けられている注視点の変化に応じた軌跡を、距離の測定対象となる経路として認識すればよい。

以上のようにして、システムは、ユーザが入出力装置２０や端末装置３０を介して指定した経路（軌跡）を認識し、当該経路の距離を測定する。このような構成により、変形例１に係る情報処理システムは、直線距離に限らず、曲線状の軌跡に沿った距離を測定することも可能となる。なお、曲線の長さの測定方法については、一般的に知られている手法を適用することが可能であるため、詳細な説明は省略する。

以上、図１７を参照して、変形例１に係る情報処理システムについて説明した。

＜６．２．変形例２：仮想オブジェクトの操作に基づく測定方法の一例＞
次いで、変形例２に係る情報処理システムについて説明する。前述した各実施形態や変形例では、入出力装置２０や端末装置３０を介した指定された複数の基準点間の距離や、指定された軌跡に沿った距離を測定していた。これに対して、変形例２では、前述した各実施形態や変形例とは異なる手順に基づき、実空間上の距離を測定する手順や、当該手順を実現するための制御の一例について説明する。例えば、図１８は、変形例２に係る情報処理システムの概要について説明するための説明図である。なお、図１８では、変形例２に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

具体的には、変形例２に係る情報処理システムにおいては、ユーザは、システムにより実空間上に重畳するように提示された仮想オブジェクトのサイズを、入出力装置２０や端末装置３０を介した操作により調整することで、実空間上の距離の測定を行う。

例えば、図１８は、実オブジェクト９３ａと実オブジェクト９３ｂとの間の距離を測定する場合の一例について示している。具体的には、図１８に示す例では、システムは、ユーザからの所定の操作を受けて、実空間上の所望の位置に直方体状の仮想オブジェクトＶ６１が重畳するように、端末装置３０の出力部３０５を介して当該仮想オブジェクトＶ６１をユーザに提示している。

また、システムは、提示した仮想オブジェクトＶ６１のうち、所定の部分のサイズ（長さ）を示す表示情報Ｖ６３を、当該仮想オブジェクトＶ６１に関連付けて提示する。例えば、図１８に示す例では、システムは、直方体状の仮想オブジェクトＶ６１の、縦、横、奥行きそれぞれの長さを示す表示情報Ｖ６４ａ、Ｖ６３ｂ、及びＶ６３ｃを提示している。なお、システムは、仮想オブジェクトＶ６１が重畳される実空間上の位置や、当該仮想オブジェクトＶ６１の実空間上におけるサイズについては、例えば、ＳＬＡＭ等の自己位置推定技術に基づく端末装置３０の位置及び姿勢の推定結果に応じて認識すればよい。

このような構成のもと、ユーザは、端末装置３０の入力部３０３（例えば、タッチパネル等）を介した操作により、提示された仮想オブジェクトＶ６１が重畳される実空間上の位置や、当該仮想オブジェクトＶ６１の各部のサイズ（例えば、縦、横、奥行きの幅等）を調整することで距離の測定を行うことが可能である。例えば、図１８に示す例の場合には、ユーザは、仮想オブジェクトＶ６１の横幅が、実オブジェクトＶ９３ａ及びＶ９３ｂ間にちょうど収まるように、当該仮想オブジェクトＶ６１の位置や横幅を調整する。このような手順により、ユーザは、実オブジェクト９３ａと実オブジェクト９３ｂとの間の距離を、仮想オブジェクトＶ６１の横幅のサイズとして測定し、当該測定結果を表示情報Ｖ６３ｂにより認識することが可能となる。

また、他の一例として、ユーザは、対象となる実オブジェクトが直方体状の仮想オブジェクトＶ６１内に収まるように、当該仮想オブジェクトＶ６１の各部のサイズを調整してもよい。このような操作により、例えば、ぬいぐるみや荷物等のような方形状ではない物体（即ち、実オブジェクト）を収納するための箱のサイズを測定することも可能となる。

以上、図１８を参照して、変形例２に係る情報処理システムについて説明した。

＜６．３．変形例３：複数の装置を連携させる場合の一例＞
次いで、変形例３に係る情報処理システムについて説明する。変形例３では、入出力装置２０や端末装置３０等のような装置を複数台連携させることで、実空間上においてより離間した複数の位置の間の距離を測定する場合の構成や制御の一例について説明する。例えば、図１９は、変形例３に係る情報処理システムの概要について説明するための説明図
である。なお、図１９では、変形例３に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

図１９に示す例では、入出力装置２０ａ及び２０ｂと、情報処理装置１０とが連携して動作する。情報処理装置１０は、入出力装置２０ａ及び２０ｂのそれぞれと所定の通信経路（例えば、無線の通信経路等）を介して情報を送受信可能に構成されている。このような構成のもとで、例えば、入出力装置２０ａを介した操作により距離の測定の開始点が指定され、入出力装置２０ｂを介した操作により終点が指定される。

このとき、情報処理装置１０は、入出力装置２０ａ及び２０ｂ間の位置関係を、例えば、入出力装置２０ａ及び２０ｂそれぞれによる自己位置推定の結果や、ＧＰＳ（Global Positioning System）等のような測位システムによる当該入出力装置２０ａ及び２０ｂそれぞれの位置の測位結果に基づき認識する。これにより、情報処理装置１０は、入出力装置２０ａ及び２０ｂ間の位置関係の認識結果に基づき、入出力装置２０ａを介して指定された開始点と、入出力装置２０ｂを介して指定された終点との実空間上における位置関係を認識することが可能となる。

そして、情報処理装置１０は、開始点と終点との間の実空間上の位置関係の認識結果に応じて、当該開始点と当該終点との間の距離を測定すればよい。また、このとき情報処理装置１０は、距離の測定結果に応じた表示情報を、入出力装置２０ａや入出力装置２０ｂを介してユーザに提示してもよい。

なお、図１９に示した構成はあくまで一例であり、上述した機能を実現できれば、変形例３に係る情報処理システムの構成は、必ずしも図１９に示す例には限定されない。具体的な一例として、情報処理装置１０に相当する機能を、入出力装置２０ａ及び２０ｂのいずれかが担ってもよい。また、他の一例として、入出力装置２０ａと入出力装置２０ｂとが相互に情報を送受信することで、実空間上における互いの位置関係を認識し、それぞれが独立して距離の測定に係る処理を実行してもよい。

以上、図１９を参照して、変形例３に係る情報処理システムについて説明した。

＜＜７．適用例＞＞
続いて、本開示の各実施形態に係る情報処理システムの適用例について説明する。

（測定方法の選択的切り替え）
前述したように、各実施形態や各変形例として説明した各測定方法は、使用する装置や手順が異なる。そのため、システムが、例えば、上述した各測定方法のうち少なくとも一部を、状況に応じて選択的に利用可能に構成されていてもよい。

より具体的な一例として、第１の実施形態として説明した測定方法（図２参照）は、ユーザと測定対象との間が離間しているような場合において、当該対象のサイズ（距離等）を測定するような状況により適している。また、第２の実施形態として説明した測定方法（図６参照）は、ユーザが測定対象に対して接近することが可能な状況により適している。また、第３の実施形態として説明した測定方法（図１０及び図１１参照）については、ユーザが入出力装置２０や端末装置３０を測定対象に接触または近接させることが可能な状況により適している。そのため、このような状況の違いを想定し、システムは、各測定方法に応じたモード（例えば、「遠距離モード」、「近距離モード」等）を設定しておき、ユーザにより指定されたモードに応じて、上述した各測定方法を選択的に実行可能に構成されていてもよい。

また、各測定方法の手順の違いに応じて、各測定方法を選択的に実行するためのモードが設定されていてもよい。具体的な一例として、第１の実施形態として説明した測定方法（図２参照）は、より簡便な手順に基づき距離の測定を行うことが可能であるが、実オブジェクトの表面上の位置のみを基準点として登録することが可能である。これに対して、第２の実施形態として説明した測定方法（図６参照）は、第１の実施形態に比べて手順は増えるが、実オブジェクトが存在しない実空間上の位置についもて基準点として登録することが可能である。そのため、システムは、例えば、第１の実施形態として説明した測定方法を、「簡易モード」として提示し、その他の測定方法（例えば、第２の実施形態として説明した測定方法）を、「詳細モード」として提示してもよい。

（基準点の指定方法の一例）
また、開始点や終点等の基準点の設定方法は、上述した各測定手順で示した例に限定されず、状況に応じて適宜切り替えられてもよい。具体的な一例として、顔認識、手認識、及び足認識等のような、画像解析に基づく所謂物体認識を利用することで、基準点が自動で登録されてもよい。

より具体的な一例として、例えば、走り幅跳びにおける跳躍距離の測定に、本開示の一実施形態に係る情報処理システムを利用してもよい。この場合には、システムは、例えば、入出力装置２０の撮像部により選手が跳躍する画像を撮像し、当該画像に対して画像解析を施すことで、跳躍した当該選手の跳躍及び着地に係る動作を認識する。そして、システムは、跳躍した選手の着地を認識した場合に、着地時における当該選手の足を認識し、当該足の位置を着地点として認識すればよい。これにより、システムは、例えば、踏切板の位置を開始点とし、認識した着地点を終点として距離を測定することで、走り幅跳びにおける跳躍距離の測定を行うことも可能となる。

（距離の測定結果を利用した各種情報の提示）
また、実空間上における距離の測定結果を、各種情報の提示に利用してもよい。例えば、図２０及び図２１は、実空間上における距離の測定結果を利用した各種情報の提示方法の一例について説明するための説明図であり、キャンプ時に、距離の測定結果に応じて、テント等の設置イメージを提示する場合の一例を示している。

具体的には、まずユーザは、図２０に示すように、入出力装置２０を使用することで、テント等を配置する領域の寸法を、上述した各種測定方法に基づき測定する。このとき、システムは、ＳＬＡＭ等の自己位置推定の技術に基づき、実空間上における入出力装置２０の位置や姿勢を推定し、当該推定結果に基づき、ユーザにより指定された領域の実空間上における位置や寸法を認識する。

また、システムは、テント等のような設置対象となる物体の形状やサイズを示す情報を、あらかじめ記憶しておく。そして、システムは、物体の形状やサイズを示す情報と、ユーザにより指定された領域の実空間上における位置や寸法の認識結果とに基づき、テント等の物体を模した仮想オブジェクトＶ７１〜Ｖ７３を、実空間上のサイズで当該領域に重畳するように提示する。このような構成に基づき、システムは、例えば、図２１に示すように、ユーザにより指定された領域中に、テント等の物体の設置イメージを、実空間上に重畳された仮想オブジェクトＶ７１〜Ｖ７３として提示する。これにより、ユーザは、例えば、図２１に示すような設置イメージに基づき、テントの杭を打つためにより好適な実空間上の位置等を認識することも可能となる。

また、図２０及び図２１を参照して上述した仕組みが利用されるシーンは、上述したキャンプ時における利用例のみには限定されない。例えば、部屋の寸法の測定結果を利用することで、家具の設置イメージを提示することも可能となる。また、他の一例として、ス
ーツケース内の寸法の測定結果を利用することで、スーツケース内に収納する物の収納イメージを提示することも可能である。また、他の一例として、腕や足のような部位のサイズの測定結果を利用することで、服を着用した場合のイメージを提示してもよい。

（面積や体積の測定への応用）
また、上記では、距離等のような１次元のサイズの測定について説明したが、面積のような２次元的なサイズの測定や、体積のような３次元的なサイズの測定を行うことも可能である。

例えば、図２２は、面積を測定する場合の測定手順の一例を示している。図２２に示す例では、システムは、入出力装置２０や端末装置３０を介したユーザからの指定に基づき、３点以上の基準点を登録し、当該３点以上の基準点により囲まれた領域の面積を測定する。

具体的には、ユーザは、入出力装置２０を介した操作に基づき、参照符号Ｖ８１〜Ｖ８３で示した基準点を順次登録する。このときシステムは、例えば、入出力装置２０の実空間上における位置及び姿勢の推定結果に基づき、登録された基準点Ｖ８１〜Ｖ８３それぞれの実空間上の位置を認識する。そして、システムは、基準点Ｖ８１〜Ｖ８３により囲まれた領域の面積を、認識した当該基準点Ｖ８１〜Ｖ８３それぞれの実区間上の位置に基づき算出すればよい。また、このときシステムは、面積の算出結果を示す表示情報を、入出力装置２０を介してユーザに提示してもよい。

また、図２３は、体積を測定する場合の測定手順の一例を示している。例えば、システムは、入出力装置２０や端末装置３０を介したユーザからの指定に基づき、４点以上の基準点を登録し、当該４点以上の基準点それぞれの間を結ぶ辺に基づき形成される３次元的な領域の体積を測定する。

具体的には、図２３は、直方体状の実オブジェクトの体積を測定する場合の一例について示している。図２３に示す例では、ユーザは、入出力装置２０を介した操作に基づき、参照符号Ｖ８４〜Ｖ８８で示した基準点を順次指定することで、対象となる実オブジェクトの縦、横、及び奥行きの３辺を登録する。このときシステムは、例えば、入出力装置２０の実空間上における位置及び姿勢の推定結果に基づき、登録された基準点Ｖ８４〜Ｖ８８それぞれの実空間上の位置を認識する。また、システムは、基準点Ｖ８４〜Ｖ８８それぞれの位置の認識結果に基づき、測定対象となる実オブジェクトの縦、横、及び奥行きそれぞれの長さを算出する。そして、システムは、測定対象となる実オブジェクトの縦、横、及び奥行きそれぞれ長さの算出結果に基づき、当該実オブジェクトの体積を算出すればよい。また、このときシステムは、測定対象となる実オブジェクトの縦、横、及び奥行きそれぞれの長さの算出結果や、体積の算出結果を示す表示情報を、入出力装置２０を介してユーザに提示してもよい。

以上、本開示の各実施形態に係る情報処理システムの適用例について説明した。なお、上述した例はあくまで一例であり、本開示の各実施形態に係る情報処理システムの適用対象を限定するものではない。具体的な一例として、本開示の各実施形態に係る情報処理システムを、例えば、作業現場等における長さの測定等に利用してもよい。

＜＜８．ハードウェア構成例＞＞
次に、図２４を参照して、本開示の一実施形態にかかる情報処理装置１０、４０、及び５０、入出力装置２０、並びに端末装置３０のような所謂情報処理装置のハードウェア構成の一例について説明する。なお、本説明では、情報処理装置１０に着目して説明する。例えば、図２４は、本開示の一実施形態にかかる情報処理装置１０のハードウェア構成例
を示すブロック図である。

図２４に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。なお、前述した深度検出部１０１、位置姿勢推定部１０３、視線検出部１０５、注視点検出部１０７、トリガ検出部１０９、基準点推定部１１１、距離算出部１１３、及び出力制御部１１５等は、例えば、ＣＰＵ９０１により実現され得る。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。例えば、前述した操作部２０７及び集音部２０９等は、例えば、入力装置９１５により実現され得る。また、後述する撮像装置９３３も、ユーザの手や指の動き等を撮像することによって、入力装置として機能し得る。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などを出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。なお、前述した出力部２１１は、例えば、出力装置９１７により実現され得る。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。なお、前述した第１撮像部２０１及び第２撮像部２０３は、例えば、撮像装置９３３により実現され得る。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎
用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。

＜＜９．むすび＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得する取得部と、
第１の視点及び第２の視点それぞれにおいて撮像された前記画像である第１の画像及び第２の画像と、前記第１の視点及び前記第２の視点それぞれの前記位置情報である第１の位置情報及び第２の位置情報と、に基づき、実空間上における第１の位置及び第２の位置を推定する推定部と、
前記推定結果に基づき、前記第１の位置と前記第２の位置との間の距離を測定する測定部と、
を備える、情報処理装置。
（２）
ユーザの視線を検出する検出部を備え、
前記推定部は、
前記第１の視点における前記視線の検出結果と、前記第１の画像と、前記第１の位置情報と、に基づき、前記第１の位置を推定し、
前記第２の視点における前記視線の検出結果と、前記第２の画像と、前記第２の位置情報と、に基づき、前記第２の位置を推定する、
前記（１）に記載の情報処理装置。
（３）
前記推定部は、
前記第１の位置を、前記第１の視点からの前記視線による指定に基づき推定し、
前記第２の位置を、前記第２の視点からの前記視線による指定に基づき推定する、
前記（２）に記載の情報処理装置。
（４）
前記視線の検出結果に応じて、仮想オブジェクトを所定の表示部に表示させる表示制御部を備え、
前記推定部は、
前記第１の位置を、前記第１の視点からの視線に応じて表示された前記仮想オブジェクトによる指定に基づき推定し、
前記第２の位置を、前記第２の視点からの視線に応じて表示された前記仮想オブジェクトによる指定に基づき推定する、
前記（２）に記載の情報処理装置。
（５）
前記推定部は、前記第１の位置及び前記第２の位置のうち少なくともいずれかを、所定の検知部による実空間上の実オブジェクトへの接触または近接の検知結果に応じた指定に基づき推定する、前記（１）に記載の情報処理装置。
（６）
実空間上の実オブジェクトの認識結果に応じて、仮想オブジェクトを所定の表示部に表示させる表示制御部を備え、
前記推定部は、前記第１の位置及び前記第２の位置のうち少なくともいずれかを、前記仮想オブジェクトによる指定に基づき推定する、
前記（１）に記載の情報処理装置。
（７）
前記推定部は、前記第１の位置及び前記第２の位置のうち少なくともいずれかを、実空間上における物体の認識結果に応じた指定に基づき推定する、前記（１）に記載の情報処理装置。
（８）
前記距離の測定結果に基づき所定の表示部に表示情報を表示させる表示制御部を備える、前記（１）に記載の情報処理装置。
（９）
前記表示制御部は、前記距離の測定結果を示す前記表示情報を表示させる、前記（８）に記載の情報処理装置。
（１０）
前記表示制御部は、前記距離の測定結果に基づき、実空間上の尺度を示す前記表示情報を表示させる、前記（８）または（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記距離の測定結果に応じたサイズで前記表示情報を表示させる、前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記測定部は、前記第１の位置と前記第２の位置との間に指定された第３の位置を経由する、当該第１の位置と当該第２の位置との間の経路の距離を推定する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記測定部は、前記第１の位置と前記第２の位置との間に指定された軌跡の長さを前記距離として測定する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１４）
前記取得部は、前記第１の画像及び前記第１の位置情報と、前記第２の画像及び前記第２の位置情報とを、互いに異なる外部装置から取得する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得することと、
プロセッサが、
第１の視点及び第２の視点それぞれにおいて撮像された前記画像である第１の画像及び第２の画像と、前記第１の視点及び前記第２の視点それぞれの前記位置情報である第１の位置情報及び第２の位置情報と、に基づき、実空間上における第１の位置及び第２の位置を推定することと、
前記推定結果に基づき、前記第１の位置と前記第２の位置との間の距離を測定することと、
を含む、情報処理方法。
（１６）
コンピュータに、
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得することと、
第１の視点及び第２の視点それぞれにおいて撮像された前記画像である第１の画像及び第２の画像と、前記第１の視点及び前記第２の視点それぞれの前記位置情報である第１の位置情報及び第２の位置情報と、に基づき、実空間上における第１の位置及び第２の位置を推定することと、
前記推定結果に基づき、前記第１の位置と前記第２の位置との間の距離を測定することと、
を実行させるプログラムが記録された記録媒体。

１、２、３ 情報処理システム
１０ 情報処理装置
１０１ 深度検出部
１０３ 位置姿勢推定部
１０５ 視線検出部
１０７ 注視点検出部
１０９ トリガ検出部
１１１ 基準点推定部
１１３ 距離算出部
１１５ 出力制御部
２０ 入出力装置
２０１ 第１撮像部
２０３ 第２撮像部
２０５ 入力部
２０７ 操作部
２０９ 集音部
３０ 端末装置
３０１ 撮像部
３０３ 入力部
３０５ 出力部
４０ 情報処理装置
４０１ 深度検出部
４０３ 位置姿勢推定部
４０５ トリガ検出部
４０７ 基準点推定部
４０９ 距離算出部
４１１ 出力制御部
５０ 情報処理装置
５０１ 深度検出部
５０３ 位置姿勢推定部
５０５ 物体認識部
５０７ トリガ検出部
５０９ 基準点推定部
５１１ 距離算出部
５１３ 出力制御部

Claims (3)

1. 撮像部に撮像された画像と、前記撮像部の位置情報とを取得する取得部と、
   ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定する推定部と、
   前記第一の位置と前記第二の位置の間の距離を測定する測定部と、
   前記測定部の測定結果を含む表示情報を表示する制御を行う出力制御部と、
   を備える情報処理装置。
2. 撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、
   ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定することと、
   前記第一の位置と前記第二の位置の間の距離を測定することと、
   前記距離の測定結果を含む表示情報を表示する制御を行うことと、
   を含む情報処理方法。
3. コンピュータに、
   撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、
   ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における第二の位置を推定することと、
   前記第一の位置と前記第二の位置の間の距離を測定することと、
   前記距離の測定結果を含む表示情報を表示する制御を行うことと、
   を実行させる情報処理プログラム。

Images