JP2017103638A - 観察領域推定方法、観察領域推定装置、及びプログラム - Google Patents

Abstract

【課題】ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にする観察領域推定方法を提供すること。【解決手段】観察領域推定装置により実行される観察領域推定方法は、表示部から前記表示部に対向するユーザまでの距離を計測し、前記距離に基づき前記表示部における前記ユーザによる観察領域を推定する。【選択図】図７

Description

本発明は、ディスプレイの表示領域から、ユーザにより観察されている観察領域を推定する観察領域推定方法、観察領域推定装置、及びプログラムに関する。

シースルーディスプレイを有したデバイスが市場へ投入され始めている。シースルーディスプレイはディスプレイの背景映像をそのままユーザへ提示可能であるため、以下の様な特徴がある。
１．ディスプレイ内とディスプレイ外の映像に視差（ズレ）が生じない。
２．ディスプレイに提示される映像は実世界における光線をそのまま提示するため、背景情報の提示におけるレイテンシがない。

上記のような特徴があるため、例えばAR（Augumented Reality）アプリケーションとの親和性が高い。ARアプリケーションでは、例えば、ユーザが撮影した映像中の物体をトリガとして情報検索を行い、トリガとなった物体に関連する情報をユーザへ提示（表示）するといったものがある。そのため、シースルーディスプレイを通してユーザがどのような映像（物体）を観察しているかをシステムが取得する方法が必要となる。

シースルーディスプレイを利用した情報提示方法は大きく３つに分類される。
１．ハンドヘルド、HMD(Head Mounted Display)ビデオシースルー
２．HMDシースルー
３．ハンドヘルドシースルー
上記「１．」ではカメラで撮影した映像をユーザへ直接提示するため、ユーザが観察する映像とカメラで撮影する映像は同一のものとなるため、カメラで撮影した画像をトリガとすればよい。しかし、カメラ映像をディスプレイへ提示する周りの風景の間には視差が生じるため、シースルーディスプレイの長所である風景映像提示におけるレイテンシの無さや、ディスプレイ内とディスプレイ外の映像のつなぎ目がなくシームレスであるという特徴が失われてしまう。本方式ではシースルーディスプレイを用いる必要性が薄い。

次に、上記「２．」のようにユーザの頭部にカメラを固定するタイプでは、ユーザの頭部の向きによってトリガとなる物体の存在する方向は取得できるが、その映像中のどの領域をユーザがシースルーディスプレイを通して観察しているのかが取得できない。そこで、例えば、ハーフミラー等を使いユーザの視線を考慮してディスプレイとカメラを含めた光学系を設計する方法や、環境内に存在するマーカ等を指定することで、ディスプレイ座標系とカメラ座標系のキャリブレーションを行う方法（特許文献１）が存在する。これらによって頭部に固定したシースルーディスプレイを通したAR表示が可能となる。

最後に、上記「３．」のハンドヘルド型のものでも上記「２．」と同様の、ユーザが観察している領域が取得できないという問題が生じる。加えて、上記「２．」のようにカメラやディスプレイはユーザに固定されないため、新たにディスプレイをユーザから遠ざけたり、近づけたりといった奥行き方向の自由度が生じるためこれに対応する必要がある。これに対しては、例えば特許文献２のような、手鏡型のデバイスの裏面に設置したカメラとユーザ頭部に固定したカメラを用いて、手鏡に提示する映像を、手鏡外の映像とつなぎ目がなくシームレスに提示する手法が提案されている。また、特許文献２は、ディスプレイの透明状態、非透明状態を制御することで同一のディスプレイでディスプレイ越しの風景の撮影を可能とする方法が提案されている。

特開２００９−２８４１７５号公報 特許４４９０３５７号公報

Takumi Yoshida, Shinobu Kuroki, Hideaki Nii, Naoki Kawakami, and Susumu Tachi. 2008. ARScope. In ACM SIGGRAPH 2008 new tech demos (SIGGRAPH '08). ACM, New York, NY, USA, , Article 4 , 1 pages.

特許文献１の手法では、上記したハンドヘルドタイプではユーザの視線を基にカメラやディスプレイが固定されないため、例えばディスプレイをユーザから遠ざけたり近づけたりといった奥行き方向にディスプレイが移動した際のユーザ観察映像の変化に対応できない。また、キャリブレーションのために環境中にマーカを設置する必要が生じる。

また、非特許文献１では、ユーザが把持するデバイスとその周囲の環境が撮影可能な位置にカメラをユーザや環境に固定する必要がある。

特許文献２においても、参考文献１と同様に、ユーザが把持するデバイスとその周囲の環境を撮影するカメラを設置する必要が生じる。

以上のように、ユーザがハンドヘルドなシースルーディスプレイを通して観察する映像を取得するには、環境やユーザに対してマーカやカメラ、映像提示装置を設置する必要があり、シースルーディスプレイ端末のみではユーザが観察する映像を取得することが難しい。

本発明は上記事情に着目してなされたもので、その目的とするところは、ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にする観察領域推定方法、観察領域推定装置、及びプログラムを提供するところにある。

上記目的を達成するためにこの発明の観察領域推定方法、観察領域推定装置、及びプログラムは、以下の通りである。

（１）この発明の観察領域推定方法は、観察領域推定装置により実行される観察領域推定方法であって、表示部から前記表示部に対向するユーザまでの距離を計測し、前記距離に基づき前記表示部における前記ユーザによる観察領域を推定する。

（２）上記（１）の観察領域推定方法は、前記表示部の表示性能に関する情報に基づき、前記表示部の表示領域の中心を基準として前記観察領域のサイズを推定する。

（３）上記（１）又は（２）の観察領域推定方法は、前記距離の増減に対応して前記観察領域の幅を増減するパラメータに基づき前記観察領域の幅を推定する。

（４）上記（１）乃至（３）の何れか１つの観察領域推定方法は、前記観察領域に対応する映像を検出する。

（５）上記（１）乃至（４）の何れか１つの観察領域推定方法は、キャリブレーションモードを実行して、前記表示部から前記ユーザまでのテスト距離を計測し、前記テスト距離に対応する観察領域の入力を受け付けて前記テスト距離と前記観察領域の関係を検出し、観察領域推定モードを実行して、前記表示部から前記ユーザまでの前記距離を計測し、前記距離及び前記検出された関係に基づき、前記観察領域を推定する。

（６）この発明の観察領域推定装置は、表示部と、前記表示部から前記表示部に対向するユーザまでの距離を計測する計測部と、前距離に基づき前記表示部における前記ユーザによる観察領域を推定する推定部と、を備える。

（７）上記（６）の観察領域推定装置は、前記表示部は透過型の表示部である請求項６の観察領域推定装置。

（８）この発明のプログラムは、上記（１）乃至（５）の何れか一つの方法をコンピュータに実行させるための手順を備える。

本発明によれば、ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にする観察領域推定方法、観察領域推定装置、及びプログラムを提供できる。

（１）この発目の観察領域推定方法によれば、表示部からユーザまでの距離を計測し、計測された距離に基づき観察領域を推定するので、距離が変動しても、変動した距離に応じた観察領域を推定することができる。例えば、ハンドヘルド型のシースルーディスプレイにおいて、ユーザとディスプレイとの距離が変動しても、その都度、距離が測定され、測定された距離に基づき、ユーザ観察領域が推定され、ユーザ観察映像が検出される。よって、ユーザがシースルーディスプレイを通して観察する映像を検出することができる。

（２）この発明の観察領域推定方法によれば、表示部の表示性能に関する情報に基づき、表示領域の中心を基準として観察領域のサイズを推定することができる。例えば、表示領域の中心画素に相当するピクセルを中心として、観察領域のサイズを推定することができる。

（３）この発明の観察領域推定方法によれば、距離の増減に対応して、推定される観察領域の幅を増減することができる。距離変化に応じた観察領域を推定することができる。

（４）この発明の観察領域推定方法によれば、推定された観察領域に対応した映像を検出することができる。これにより例えば物体の視覚的な特徴量をトリガにした検索システムをシースルーディスプレイにより利用することが可能となる。また、ユーザが観察する映像を取得可能であるため、検索結果を対象の物体上に重畳表示することが可能となる。

（５）この発明の観察領域推定方法によれば、キャリブレーションモードを実行して、テスト距離と観察領域の関係（近似式）を得て、観察領域推定モードを実行して、前記関係を使って、計測された距離から観察領域を推定することができる。

（６）この発明の観察領域推定装置によれば、上記（１）と同様の効果が得られる。

（７）この発明の観察領域推定装置によれば、透過型の表示部において、ユーザにより観察される映像を検出することができる。

（８）この発明のプログラムによれば、上記（１）〜（５）と同様の効果が得られる。

ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。 HMDシースルーの情報提示システムの概略構成の一例を示す図である。 ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。 ユーザ端末間距離とユーザ観察画像（ユーザ観察領域）の関係を説明するための図である。 キャリブレーションの一例を説明するための図である。 ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するための機能ブロック図である。 ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するためのフローチャートである。 キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するための機能ブロック図である。 キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するためのフローチャートである。

以下、各実施形態について図面を参照して説明する。

最初に、図１〜図３を参照して、シースルーディスプレイを利用した情報提示システムの例について説明する。

図１は、ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。図１に示すように、情報提示システム１０は、カメラ１１、及びディスプレイ１２を備える。カメラ１１は、被写体１５、１６を含む画像を撮影する。ディスプレイ１２（表示面１２ａ）は、カメラ１１により撮影された画像を表示する。ユーザは、ディスプレイ１２に表示される画像を見ることができる。

図２は、HMDシースルーの情報提示システムの概略構成の一例を示す図である。図２に示すように、情報提示システム２０は、カメラ２１、及びディスプレイ２２、固定具２３を備える。固定具２３は、ユーザの頭部にカメラ２１を固定する。これにより、ユーザとディスプレイ２２の距離は一定に保たれる。カメラ２１は、被写体２５、２６を含む画像を撮影する。ディスプレイ２２（表示面２２ａ）は、シースルーディスプレイ（透過型ディスプレイ）であり、ディスプレイ２２を挟んで一方の側（ディスプレイ３２の前面）に位置するユーザは、ディスプレイ２２を透過して、ディスプレイ２２の他方の側（ディスプレイ３２の背面）の被写体２５、２６を含む景色を目視することができる。

図３は、ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。図３に示すように、情報提示システム３０は、カメラ３１、及びディスプレイ３２を備える。カメラ３１は、被写体３５、３６を含む画像を撮影する。ディスプレイ３２は、シースルーディスプレイ（透過型ディスプレイ）であり、ディスプレイ３２を挟んで一方の側に位置するユーザは、ディスプレイ３２を透過して、ディスプレイ３２の他方の側（ディスプレイ３２の背面）の被写体３５、３６を含む景色を目視することができる。

以下、本実施形態で説明するユーザ観察領域推定処理及びユーザ観察映像取得処理を、情報提示システム３０に適用するケースについて説明するが、その他の情報提示システムに適用してもよい。情報提示システム３０は、情報提示システム２０のように固定具２３を備えないので、ユーザとディスプレイ３２（表示面３２ａ）の間の距離（ユーザ端末間距離）は変動する。ユーザがディスプレイ３２の表示領域のうちのどの領域を観察しているかを推定するためには、変動するユーザ端末間距離を測定する必要がある。そして、この変動するユーザ端末間距離の測定結果に基づき、表示領域からユーザ観察領域を推定するユーザ観察領域推定処理を実行し、推定されたユーザ観察領域からユーザ観察映像を取得（検出）するユーザ観察映像取得処理を実行する。例えば、ユーザ端末間距離が短いと、ユーザ観察領域のサイズは比較的大きくなり（観察領域の幅が比較的長くなり）、逆に、ユーザ端末間距離が長いと、ユーザ観察領域のサイズは比較的小さくなり（観察領域の幅が比較的短くなり）、両者に比例関係が成立すると仮定する。なお、本実施形態では、両者に比例関係が成立するケースについて説明するが、様々な要因を考慮し、完全な比例関係でなくてもよい。

例えば、図４に示すように、情報提示システム３０において、あるユーザ端末間距離と、その距離においてユーザがディスプレイ３２を通して観察するユーザ観察領域（サイズ）との間の関係（関係式）を、キャリブレーションにより導出する。キャリブレーションは、情報提示システムの出荷前に製品担当者が実行してもよいし、出荷後にユーザが実行してもよいし、両方のタイミングで実行するようにしてもよい。

例えば、図３に示すように情報提示システム３０のディスプレイ３２の一方の面には距離センサ３３が設けられ、距離センサ３３は、赤外線又は超音波を利用し、ユーザ端末間距離を取得する。例えば、図５に示すように、キャリブレーションでは、例えば、2点以上のユーザ端末間距離におけるユーザ観察領域のサイズ（例えばユーザ観察映像幅）を記録する。

なお、あるユーザ端末間距離に対して、入力装置を利用してユーザ観察領域のサイズ情報（数値）を入力するようにしてもよい。また、あるユーザ端末間距離に対して、ディスプレイ３２が取得した映像を表示（フィードバック）し、ディスプレイ３２上でユーザ観察領域の指定を受け付けるようにしてもよい。

例えば、ユーザ端末間距離400mmにおいて、ユーザ観察領域は、カメラ取得映像におけるディスプレイ３２の中心に相当するピクセルより左右に217pixel分（幅434pixel）である。また、ユーザ端末間距離600mmにおいて、ユーザ観察領域は、カメラ取得映像におけるディスプレイ中心に相当するピクセルより左右に313pixel分（626pixel）であったとする。これらを基に、比例関係にあると仮定して回帰分析を行うと、近似式、Wuser = a + b * d における定数a、bを導出することができる。上記の値を例にすると、Wuser = -9.6 *d + 1010 という直線によって近似される。この式に基づいて、あるユーザ端末間距離におけるユーザ観察領域（幅）を取得することができ、また、既知であるディスプレイ縦横幅に基づき、カメラ映像中におけるディスプレイ３２の中心ピクセルを基準としてユーザ観察領域（縦横のサイズ）を推定し、このユーザ観察領域からユーザ観察映像（対象物）を検出することができる。なお、ユーザ観察領域から対象物を検出する手法は、様々な対象物検出を適用することができる。

図６及び図７を参照し、ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例について説明する。図６に示すように、情報提示システム３０は、透過型情報表示部４１、撮影機能部４２、ユーザ端末間距離計測機能部４３、ユーザ観察映像取得部４４、及びユーザ観察映像幅推定部４５を備える。透過型情報表示部４１は、ディスプレイ３２に対応し、撮影機能部４２は、カメラ３１に対応する。ユーザ端末間距離計測機能部４３は、距離センサ３３を含み、距離センサ３３からの情報に基づきユーザ端末間距離を計測する。なお、ユーザ端末間距離計測機能部４３、ユーザ観察映像取得部４４、及びユーザ観察映像幅推定部４５は、プロセッサー及びメモリを備えたコンピュータ等により実現することができる。

まず、撮影機能部４２が、映像を撮影する（ＳＴ１１）。例えば、撮影機能部４２は、静止画及び動画の何れも撮影することができる。また、ユーザ端末間距離計測機能部４３は、透過型情報表示部４１（表示面）の表示領域からこの表示領域に対向するユーザまでの距離を計測し、ユーザ端末間距離を取得する（ＳＴ１２）。ユーザ端末間距離計測機能部４３は、適切なタイミングで、距離を計測し計測結果を出力する。例えば、所定の時間間隔で距離を計測し、その都度、計測結果を出力してもよいし、所定の時間間隔で距離を計測し、距離に一定値以上の変化があった場合に、計測結果を出力するようにしてもよい。

ユーザ観察映像幅推定部４５は、ユーザ端末間距離計測機能部４３から出力されるユーザ端末間距離に基づいて、透過型情報表示部４１の表示領域上のユーザが観察するユーザ観察領域（ユーザ観察映像）のサイズ（幅）を推定する（ＳＴ１３）。

例えば、ユーザ観察映像取得部４４は、透過型情報表示部４１の表示性能に関する情報を保持する。表示性能に関する情報は、透過型情報表示部４１の表示領域のサイズ（高さ、幅、高さと幅の比率）、解像度、画素数などの情報である。ユーザ観察映像取得部４４は、ユーザ観察映像幅推定部４５で推定されたユーザ観察領域（ユーザ観察映像）のサイズ（幅）と、透過型情報表示部４１の表示性能（例えば高さと幅の比率）に関する情報とに基づいて、表示領域の中心画素に相当するピクセルを中心として、推定されたユーザ観察領域に対応する映像を検出する（ＳＴ１４）。例えば、推定されたユーザ観察領域の映像をそのまま検出してもよいし、推定されたユーザ観察領域に対してオブジェクト検出を適用し、推定されたユーザ観察領域中のオブジェクトを検出するようにしてもよい。

図８及び図９を参照し、キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例について説明する。図６に示す情報提示システム３０に対して、図８に示す情報提示システム３０は、さらに、パラメータ算出機能部４６を備える。なお、パラメータ算出機能部４６は、プロセッサー及びメモリ等を備えたコンピュータ等により実現することができる。

パラメータ算出機能部４６は入力部を含み、ユーザは、入力部を介して、キャリブレーションモードの実行を指示する。パラメータ算出機能部４６は、キャリブレーションモードの実行指示に対応して、キャリブレーションモードを実行する。

キャリブレーションモードの実行に対応して、撮影機能部４２が、映像を撮影し、また、ユーザ端末間距離計測機能部４３が、透過型情報表示部４１（表示面）の表示領域からこの表示領域に対向するユーザまでの距離（テスト距離）を計測し、ユーザ端末間距離（ユーザ端末間距離d1）を取得する。パラメータ算出機能部４６は、透過型情報表示部４１に撮影した映像を表示させるとともに、ユーザに対してユーザ観察領域（ユーザ観察映像）のサイズ（ユーザ観察映像幅Wuser1）の指定を要求する。例えば、透過型情報表示部４１の表示領域に対向してタッチパネルが配置され、ユーザはタッチパネルを介して表示映像上でユーザ観察領域（ユーザ観察映像）のサイズ（高さ及び幅）を指定する。或いは、ユーザは入力部を介してユーザ観察領域（ユーザ観察映像）のサイズ（高さ及び幅）を数値入力する。パラメータ算出機能部４６は、取得したユーザ端末間距離d1に対応付けて指定又は入力されたユーザ観察映像幅Wuser1を記録する（ＳＴ２１）。

同様に、撮影機能部４２が、映像を撮影し、また、ユーザ端末間距離計測機能部４３が、透過型情報表示部４１（表示面）の表示領域からこの表示領域に対向するユーザまでの距離（テスト距離）を計測し、ユーザ端末間距離（ユーザ端末間距離d2）を取得する。パラメータ算出機能部４６は、透過型情報表示部４１に撮影した映像を表示させるとともに、ユーザに対してユーザ観察領域（ユーザ観察映像）のサイズ（ユーザ観察映像幅Wuser2）の指定を要求する。例えば、透過型情報表示部４１の表示領域に対向してタッチパネルが配置され、ユーザはタッチパネルを介して表示映像上でユーザ観察領域（ユーザ観察映像）のサイズ（高さ及び幅）を指定する。或いは、ユーザは入力部を介してユーザ観察領域（ユーザ観察映像）のサイズ（高さ及び幅）を数値入力する。パラメータ算出機能部４６は、取得したユーザ端末間距離d2に対応付けて指定又は入力されたユーザ観察映像幅Wuser2を記録する（ＳＴ２２）。

パラメータ算出機能部４６は、ユーザ端末間距離d1に対応付けられたユーザ観察映像幅Wuser1、及びユーザ端末間距離d2に対応付けられたユーザ観察映像幅Wuser2に基づき、ユーザ端末間距離とユーザ観察映像幅との関係を示す情報（近似式、パラメータ）を導出し（ＳＴ２３）、ユーザ端末間距離とユーザ観察映像幅との関係を示す情報をユーザ観察映像幅推定部４５へ送信する（ＳＴ２４）。

また、ユーザ観察映像幅推定部４５は入力部を含み、ユーザは、入力部を介して、観察領域推定モードの実行を指示する。ユーザ観察映像幅推定部４５は、観察領域推定モードの実行指示に対応して、観察領域推定モードを実行する。

観察領域推定モードの実行に対応して、撮影機能部４２が、映像を撮影し（ＳＴ１１）、また、ユーザ端末間距離計測機能部４３が、透過型情報表示部４１（表示面）の表示領域からこの表示領域に対向するユーザまでの距離を計測し、ユーザ端末間距離を取得する（ＳＴ１２）。

ユーザ観察映像幅推定部４５は、ユーザ端末間距離計測機能部４３で取得されたユーザ端末間距離、及びユーザ端末間距離とユーザ観察映像幅との関係を示す情報に基づいて、透過型情報表示部４１の表示領域上のユーザが観察するユーザ観察領域（ユーザ観察映像）のサイズ（高さ及び幅）を推定する（ＳＴ１３）。

ユーザ観察映像取得部４４は、ユーザ観察映像幅推定部４５で推定されたユーザ観察領域（ユーザ観察映像）のサイズ（幅）と、透過型情報表示部４１の表示性能に関する情報とに基づいて、表示領域の中心画素に相当するピクセルを中心として、推定されたユーザ観察領域（ユーザ観察映像）に対応する映像を検出する（ＳＴ１４）。

以上により、情報提示システム３０において、ユーザ端末間距離とユーザ観察映像の幅との対応関係を基にキャリブレーションを行うことでユーザ端末間距離に基づいてユーザ観察映像の幅を導出可能な近似式を導出し、その近似式とシースルーディスプレイの高さと幅の比率を用いることで、ユーザがシースルーディスプレイを通して観察する映像を、カメラで取得する映像の中から切り出し取得することができる。

さらに、情報提示システム３０（プロセッサー等）は、無線通信等により外部サーバへアクセスし、切り出された映像に関係する関係情報を検索し、ディスプレイ３２に表示することもできる。上記説明したように、ディスプレイ３２は、シースルーディスプレイであり、ディスプレイ２２の一方の側のユーザは、ディスプレイ２２を透過して、ディスプレイ２２の他方の側（ディスプレイ３２の背面）の被写体２５、２６を含む景色を目視することができる。例えば、ディスプレイ３２に被写体２５、２６の関係情報が表示されることにより、ユーザは、被写体２５、２６を目視しながら、被写体２５、２６の関係情報を見ることができる。さらに、情報提示システム３０（プロセッサー等）は、被写体２５、２６（＝切り出した映像）に対応付けて関係情報を表示することもできる。例えば、切り出された映像がある商品であれば、その商品の販売及び購入に関係する関係情報（その商品を取り扱うショップ情報及びその商品の価格情報等）を表示する。

なお、上記処理の手順は全てソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを情報提示システム３０にインストールして実行するだけで、上記処理を容易に実現することができる。

例えば、情報提示システム３０が制御部、記憶部、及び通信部を有し、通信部を介して、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、記憶部等に読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。或いは、通信部を介して、上記プログラムをダウンロードし、記憶部等にダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報提示システム３０は、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。

以上により、本実施形態によれば、ハンドヘルド型のシースルーディスプレイにおいて、ユーザとディスプレイとの距離が変動しても、その都度、距離が測定され、測定された距離に基づき、ユーザ観察領域が推定され、ユーザ観察映像が検出される。よって、ユーザがシースルーディスプレイを通して観察する映像を検出することができ、システムがこの検出される映像を取得することができる。これにより例えば物体の視覚的な特徴量をトリガにした検索システムをシースルーディスプレイにより利用することが可能となる。また、ユーザが観察する映像を取得可能であるため、検索結果を対象の物体上に重畳表示することが可能となる。また、ユーザが観察する映像を取得するために、ユーザや環境中にマーカやディスプレイ、カメラといった装置を設置する必要がない。

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…情報提示システム、１１…カメラ、１２…ディスプレイ１２、１５、１６…被写体、２０…情報提示システム、２１…カメラ、２２…ディスプレイ、２３…固定具、２５、２６…被写体、３０…情報提示システム、３１…カメラ、３２…ディスプレイ、３５、３６…被写体、４１…透過型情報表示部、４２…撮影機能部、４３…ユーザ端末間距離計測機能部、４４…ユーザ観察映像取得部、４５…ユーザ観察映像幅推定部、４６…パラメータ算出機能部

Claims (8)

1. 観察領域推定装置により実行される観察領域推定方法であって、
   表示部から前記表示部に対向するユーザまでの距離を計測し、
   前記距離に基づき前記表示部における前記ユーザによる観察領域を推定する観察領域推定方法。
2. 前記表示部の表示性能に関する情報に基づき、前記表示部の表示領域の中心を基準として前記観察領域のサイズを推定する請求項１の観察領域推定方法。
3. 前記距離の増減に対応して前記観察領域の幅を増減するパラメータに基づき前記観察領域の幅を推定する請求項１又は２の観察領域推定方法。
4. 前記観察領域に対応する映像を検出する請求項１乃至３の何れか１つの観察領域推定方法。
5. キャリブレーションモードを実行して、前記表示部から前記ユーザまでのテスト距離を計測し、前記テスト距離に対応する観察領域の入力を受け付けて前記テスト距離と前記観察領域の関係を検出し、
   観察領域推定モードを実行して、前記表示部から前記ユーザまでの前記距離を計測し、前記距離及び前記検出された関係に基づき、前記観察領域を推定する請求項１乃至４の何れか１つの観察領域推定方法。
6. 表示部と、
   前記表示部から前記表示部に対向するユーザまでの距離を計測する計測部と、
   前距離に基づき前記表示部における前記ユーザによる観察領域を推定する推定部と、
   を備える観察領域推定装置。
7. 前記表示部は透過型表示器である請求項６の観察領域推定装置。
8. 請求項１乃至５の何れか１つの方法をコンピュータに実行させるための手順を備えるプログラム。