JP2015007722A - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP2015007722A JP2015007722A JP2013133158A JP2013133158A JP2015007722A JP 2015007722 A JP2015007722 A JP 2015007722A JP 2013133158 A JP2013133158 A JP 2013133158A JP 2013133158 A JP2013133158 A JP 2013133158A JP 2015007722 A JP2015007722 A JP 2015007722A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- optical system
- observer
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】ＭＲを体験する際に、現実世界の物体と仮想世界の物体との幾何学的大きさの整合性を保つことができるビデオシースルー型の画像表示装置を提供する。【解決手段】画像表示装置は、取得した現実世界の像に対して現実世界での幾何学的位置関係が整合性を有するように別の画像を重畳して合成画像を生成する合成画像生成手段１０４と、取得した現実世界の像または合成画像をディスプレイ１０１に表示する際に、観察者とディスプレイ１０１との距離と、現実物体１００と撮像光学系１０３との距離と、ディスプレイ１０１と撮像光学系１０３との距離とに応じて、撮像光学系１０３の焦点距離と取得した画像の一部を電子的にズーミングするデジタルズーム倍率との少なくとも一方を調整する調整手段とを有する。【選択図】図１
Description
本発明は、撮像手段と画像表示手段とを用いて画像を表示する画像表示装置に関するものである。
現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実世界とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。この技術により、観察者は現実世界に仮想の物体が存在するかのような体験をするといった事が可能となるため、各種分野への応用が期待されている。
観察者がＭＲ（以降、複合現実技術や拡張現実技術を総称してＭＲと記す）を体感するための装置の一つとして、ビデオシースルー型の画像表示装置がある。これは、ビデオカメラで現実世界を撮像し、その画像にリアルタイムにＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した合成画像を生成し、合成画像をディスプレイ等の表示手段に表示させ、観察者に提示する装置である。一般に、このような画像表示装置としては、背面にビデオカメラを有するタブレット型端末と呼ばれる携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが用いられる。
ＭＲを体験する際には、観察者が移動するなどしても、仮想物体と現実世界との幾何学的位置関係の整合性が常に保たれる必要がある。このため、これらの装置には、位置合わせ処理を行うための手段が搭載されている。位置合わせ処理を行うためには、観察者と画像表示装置と現実世界と仮想世界との位置関係を何らかの手法で特定する必要がある。一般的には、磁気センサー・ＧＰＳや、マーカーと呼ばれる基準画像等を用いて、これらの幾何学的位置関係を特定することが行われている。たとえば、特許文献１には、タブレット型端末を用いて位置合わせして情報を表示する技術が開示されている。また、特許文献２には、ビデオシースルー型ＨＭＤの構成が開示されている。
観察者がＭＲ（以降、複合現実技術や拡張現実技術を総称してＭＲと記す）を体感するための装置の一つとして、ビデオシースルー型の画像表示装置がある。これは、ビデオカメラで現実世界を撮像し、その画像にリアルタイムにＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した合成画像を生成し、合成画像をディスプレイ等の表示手段に表示させ、観察者に提示する装置である。一般に、このような画像表示装置としては、背面にビデオカメラを有するタブレット型端末と呼ばれる携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが用いられる。
ＭＲを体験する際には、観察者が移動するなどしても、仮想物体と現実世界との幾何学的位置関係の整合性が常に保たれる必要がある。このため、これらの装置には、位置合わせ処理を行うための手段が搭載されている。位置合わせ処理を行うためには、観察者と画像表示装置と現実世界と仮想世界との位置関係を何らかの手法で特定する必要がある。一般的には、磁気センサー・ＧＰＳや、マーカーと呼ばれる基準画像等を用いて、これらの幾何学的位置関係を特定することが行われている。たとえば、特許文献１には、タブレット型端末を用いて位置合わせして情報を表示する技術が開示されている。また、特許文献２には、ビデオシースルー型ＨＭＤの構成が開示されている。
ＭＲ技術において、現実世界と仮想世界の一体感を高めるためには、幾何学的位置関係の整合性のみならず、幾何学的大きさの整合を保つことが求められる。ここでいう幾何学的大きさの整合とは、観察者が実際に現実を見る場合に知覚する世界や物体の大きさと、ＭＲを通して知覚する世界や物体の大きさの一致を意味する。換言すれば、ビデオシースルー型画像表示装置の使用時と非使用時で観察者が現実の世界を同じ大きさで知覚できるか、ということである。
ところで、ビデオシースルー型画像表示装置において、幾何学的大きさの整合を保つことは一般に困難であった。これは、観察者の視角や位置と撮像装置の画角や位置が相違するためであり、たとえばタブレット型端末ではこの相違が顕著である。一方、ＨＭＤでは、被写体から入射する光をハーフミラーなどで分け、一方を撮像装置で撮像し、他方を観察者に導くことにより、視角（画各）や位置を同じする構成考えられる。しかしながら、ＨＭＤには小型、コンパクト性などが求められるため、物理的な配置に制限が生じる場合が多かった。このため、撮像系の位置と観察者の位置の一致という条件を厳密に満たすことは難しかった。このように、ＨＭＤを小型化しつつ、幾何学的大きさの整合性を保つことが困難であるという問題があった。
本発明は、上記のような課題に鑑みてなされたものであり、幾何学的大きさの整合の問題が解消されたビデオシースルー型の画像表示装置を提供することを目的とする。
ところで、ビデオシースルー型画像表示装置において、幾何学的大きさの整合を保つことは一般に困難であった。これは、観察者の視角や位置と撮像装置の画角や位置が相違するためであり、たとえばタブレット型端末ではこの相違が顕著である。一方、ＨＭＤでは、被写体から入射する光をハーフミラーなどで分け、一方を撮像装置で撮像し、他方を観察者に導くことにより、視角（画各）や位置を同じする構成考えられる。しかしながら、ＨＭＤには小型、コンパクト性などが求められるため、物理的な配置に制限が生じる場合が多かった。このため、撮像系の位置と観察者の位置の一致という条件を厳密に満たすことは難しかった。このように、ＨＭＤを小型化しつつ、幾何学的大きさの整合性を保つことが困難であるという問題があった。
本発明は、上記のような課題に鑑みてなされたものであり、幾何学的大きさの整合の問題が解消されたビデオシースルー型の画像表示装置を提供することを目的とする。
本発明の画像表示装置は、画像表示手段と、観察者から見て前記画像表示手段の背面方向に位置する現実世界の像を取得する映像撮像手段と、前記映像撮像手段により取得された前記現実世界の像に対して、現実世界での幾何学的位置関係が整合性を有するように別の画像を重畳する合成画像生成手段と、前記映像撮像手段により取得した現実世界の像または前記合成画像を前記画像表示手段に表示する際に、前記観察者と前記画像表示手段との距離と、前記現実世界と前記映像撮像手段との距離と、前記画像表示手段と前記映像撮像手段との距離とに応じて、前記映像撮像手段の撮像光学系の焦点距離と前記映像撮像手段の撮像素子により得られた画像の一部を電子的にズーミングするデジタルズーム倍率との少なくとも一方を調整する調整手段と、を有することを特徴とする。
本発明は、幾何学的大きさの整合の問題が解消されたビデオシースルー型の画像表示装置を提供することができる。
これにより、観察者は、従来のビデオシースルー型画像表示装置を利用した場合よりもより現実であるかのように感じられるＭＲを体験することが可能になる。
これにより、観察者は、従来のビデオシースルー型画像表示装置を利用した場合よりもより現実であるかのように感じられるＭＲを体験することが可能になる。
以下、図面を参照して、本発明の画像表示装置の各種実施の形態について説明する。
（第一の実施の形態）
第一の実施の形態では、画像表示装置の例として、タブレット型端末１０８を示す。
図１は、第一の実施形態の画像表示装置の例としてのタブレット型端末１０８の機能ブロック図である。タブレット型端末１０８は、映像撮像手段１１１と、映像表示手段の一例であるディスプレイ１０１と、合成画像生成手段１０４と、第一の距離検出手段１１３と、第二の距離検出手段１１４と、記憶手段１１６と、制御手段１１５とを含む。
第一の実施の形態では、画像表示装置の例として、タブレット型端末１０８を示す。
図１は、第一の実施形態の画像表示装置の例としてのタブレット型端末１０８の機能ブロック図である。タブレット型端末１０８は、映像撮像手段１１１と、映像表示手段の一例であるディスプレイ１０１と、合成画像生成手段１０４と、第一の距離検出手段１１３と、第二の距離検出手段１１４と、記憶手段１１６と、制御手段１１５とを含む。
映像撮像手段１１１は、現実世界の物体（以下、「現実物体」と記す）１００を含む現実世界の像を、画像データとして取得する。映像撮像手段１１１は、撮像光学系１０３と撮像素子１０２とを含む。
撮像光学系１０３は、現実世界の光学像を撮像素子１０２に結像する。撮像光学系１０３は、いわゆる光学ズーム機能を有していてもよく、有していなくてもよい。撮像光学系１０３がズーム機能を有する場合には、ズームレンズと、このズームレンズを駆動するための駆動機構（いずれも図略）とを有する。
撮像素子１０２は、撮像光学系１０３により結像した現実世界の像（光学像）を、電気信号に変換する。撮像素子１０２が変換した電気信号に所定の画像処理が施され、現実世界の画像データとなる。撮像素子１０２には、たとえば、ＣＣＤセンサーやＣＭＯＳセンサーなどが適用できる。ただし、撮像素子１０２は、これに限られない。さらに、タブレット型端末１０８は、撮像素子１０２が出力する電気信号に所定の画像処理を施す画像処理手段を有するが、ここでは図示および説明は省略する。
撮像光学系１０３は、現実世界の光学像を撮像素子１０２に結像する。撮像光学系１０３は、いわゆる光学ズーム機能を有していてもよく、有していなくてもよい。撮像光学系１０３がズーム機能を有する場合には、ズームレンズと、このズームレンズを駆動するための駆動機構（いずれも図略）とを有する。
撮像素子１０２は、撮像光学系１０３により結像した現実世界の像（光学像）を、電気信号に変換する。撮像素子１０２が変換した電気信号に所定の画像処理が施され、現実世界の画像データとなる。撮像素子１０２には、たとえば、ＣＣＤセンサーやＣＭＯＳセンサーなどが適用できる。ただし、撮像素子１０２は、これに限られない。さらに、タブレット型端末１０８は、撮像素子１０２が出力する電気信号に所定の画像処理を施す画像処理手段を有するが、ここでは図示および説明は省略する。
記憶手段１１６には、仮想世界の物体（以下、「仮想物体」と記す）の画像データが記憶される。
合成画像生成手段１０４は、取得した現実世界の画像データに対し、幾何学的位置関係が整合性を有するように位置合わせして、仮想物体の画像データを重畳する。合成画像生成手段１０４が重畳した画像を合成画像と記す。なお、幾何学的位置関係が整合性を保つように位置合わせする方法には、公知の方法が適用できる。したがって、説明は省略する。
画像表示手段の一例であるディスプレイ１０１は、合成画像を表示する。ディスプレイ１０１としては、たとえば、液晶方式や有機ＥＬ方式のフラットパネルディスプレイが適用できる。ただし、ディスプレイ１０１は、これらに限定されるものではない。画像表示手段の一例であるディスプレイ１０１は、映像撮像手段１１１が撮像した映像（画像データ）を表示できるものであればよく、公知の各種表示デバイスが適用できる。
合成画像生成手段１０４は、取得した現実世界の画像データに対し、幾何学的位置関係が整合性を有するように位置合わせして、仮想物体の画像データを重畳する。合成画像生成手段１０４が重畳した画像を合成画像と記す。なお、幾何学的位置関係が整合性を保つように位置合わせする方法には、公知の方法が適用できる。したがって、説明は省略する。
画像表示手段の一例であるディスプレイ１０１は、合成画像を表示する。ディスプレイ１０１としては、たとえば、液晶方式や有機ＥＬ方式のフラットパネルディスプレイが適用できる。ただし、ディスプレイ１０１は、これらに限定されるものではない。画像表示手段の一例であるディスプレイ１０１は、映像撮像手段１１１が撮像した映像（画像データ）を表示できるものであればよく、公知の各種表示デバイスが適用できる。
第一の距離検出手段１１３は、ディスプレイ１０１と観察者１０７との距離を検出する。第二の距離検出手段１１４は、撮像光学系１０３と現実物体１００との距離を検出する。第一の距離検出手段１１３と第二の距離検出手段１１４は、たとえば、離れた位置に設けられる２つのカメラを有し、これら２つのカメラが撮像した画像を用いてステレオ計測と呼ばれる方法を用いて各距離を検出する構成が適用できる。ただし、第一の距離検出手段１１３と第二の距離検出手段１１４とは、このような構成に限定されるものではない。第一の距離検出手段１１３と第二の距離検出手段１１４は、それぞれ前記の距離を検出できればよく、公知の各種距離検出デバイスが適用できる。
制御手段１１５は、後述する演算や処理を行うとともに、タブレット型端末１０８の各手段を制御する。タブレット型端末１０８の前記各手段は、制御手段１１５による制御にしたがって、所定の処理や動作を実行する。特に、制御手段１１５は、撮像光学系１０３のズームレンズの駆動機構を駆動制御し、撮像光学系１０３の焦点距離（光学ズームの倍率）を調整する（調整手段）。また、制御手段１１５は、第一の距離検出手段１１３と第二の距離検出手段１１４による距離の検出結果に基づいて、合成画像生成手段１０４に電子的なズーミング（デジタルズーム）を実行させる。このように、制御手段１１５は、焦点距離の調整と電子的なズーミングの少なくとも一方を実行することにより、現実物体１００と仮想物体との幾何学的大きさの整合性を保つ。
図２は、第一の実施の形態の画像表示装置の例としてのタブレット型端末１０８の説明図である。具体的には、図２は、観察者１０７がタブレット型端末１０８を用いてＭＲを体験している様子を示す垂直方向断面の模式図である。図中、右下に示すように、観察者１０７の視軸方向に向かって＋Ｚ軸を取り、Ｚ軸に対してＸ軸（水平方向）、Ｙ軸（垂直方向）を右手系座標で定義する。
図２に示すように、映像撮像手段１１１の撮像光学系１０３および撮像素子１０２は、タブレット型端末１０８の一側に設けられる。映像撮像手段１１１は、観察者１０７から見て、ディスプレイ１０１の背面方向に位置する現実物体１００を含む現実世界の像を、画像データとして取得する。映像表示手段の一例であるディスプレイ１０１は、映像撮像手段１１１とは反対側の一側に設けられる。
観察者１０７は、タブレット型端末１０８を用いてＭＲを体験する場合には、視軸方向に映像撮像手段１１１（撮像光学系１０３および撮像素子１０２）を向け、観察者１０７自身の側に画像表示手段（ディスプレイ１０１）を向ける。
図２中、１０５は、合成画像生成手段１０４が重畳して生成した合成画像のうち、現実物体１００に対応する画像（以下、「現実物体画像」と記す）である。１０６は、現実世界の画像データと幾何学的位置関係と幾何学的大きさの整合性を保つように重畳された仮想物体の画像（以下、「仮想物体画像」と記す）である。図２では、断面表示の都合上、ディスプレイ１０１と、現実物体画像１０５と仮想物体画像１０６のＺ方向位置が一致していないが、実際には一致しており、現実物体画像１０５と仮想物体画像１０６は、ディスプレイ１０１に表示されている。
このように、観察者１０７は、ディスプレイ１０１に表示された合成画像を観察することで、ＭＲを体験できる。
図２に示すように、映像撮像手段１１１の撮像光学系１０３および撮像素子１０２は、タブレット型端末１０８の一側に設けられる。映像撮像手段１１１は、観察者１０７から見て、ディスプレイ１０１の背面方向に位置する現実物体１００を含む現実世界の像を、画像データとして取得する。映像表示手段の一例であるディスプレイ１０１は、映像撮像手段１１１とは反対側の一側に設けられる。
観察者１０７は、タブレット型端末１０８を用いてＭＲを体験する場合には、視軸方向に映像撮像手段１１１（撮像光学系１０３および撮像素子１０２）を向け、観察者１０７自身の側に画像表示手段（ディスプレイ１０１）を向ける。
図２中、１０５は、合成画像生成手段１０４が重畳して生成した合成画像のうち、現実物体１００に対応する画像（以下、「現実物体画像」と記す）である。１０６は、現実世界の画像データと幾何学的位置関係と幾何学的大きさの整合性を保つように重畳された仮想物体の画像（以下、「仮想物体画像」と記す）である。図２では、断面表示の都合上、ディスプレイ１０１と、現実物体画像１０５と仮想物体画像１０６のＺ方向位置が一致していないが、実際には一致しており、現実物体画像１０５と仮想物体画像１０６は、ディスプレイ１０１に表示されている。
このように、観察者１０７は、ディスプレイ１０１に表示された合成画像を観察することで、ＭＲを体験できる。
ここで、図２の記号について説明する。
ｆ1は、撮像光学系１０３の焦点距離（ｍｍ）である。撮像光学系１０３がズーム機能を有している場合には、制御手段１１５が焦点距離ｆ1を調整することによって、いわゆる光学ズームの倍率を調整できる。Ｃy1は、撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ）（ｍｍ）である。Ａy1は、ディスプレイ１０１の垂直方向表示領域サイズ（Ｙ方向表示サイズ）（ｍｍ）である。αy1は、観察者１０７がディスプレイ１０１の垂直方向表示領域サイズＡy1を観察する際の垂直方向視角（Ｙ方向視角）（ｒａｄ）である。Ｄ1は、観察者１０７とディスプレイ１０１とのＺ方向の距離（以下、「観察者距離」と記す）（ｍｍ）である。Ｄ2は、撮像光学系１０３と現実物体１００とのＺ方向距離（以下、「現実物体距離」と記す）（ｍｍ）である。Ｄ3は、ディスプレイ１０１と撮像光学系１０３とのＺ方向距離（以下、「光学系距離」と記す）（ｍｍ）である。
なお、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の正負は、対象物どうしの関係が図１に示す位置関係の場合に正とする。たとえば、光学系距離Ｄ3を例に挙げれば、撮像光学系１０３が観察者１０７から見てディスプレイ１０１よりも＋Ｚ側（背面側）に存在する場合に正とし、−Ｚ側（手前側）に存在する場合に負とする。
ｆ1は、撮像光学系１０３の焦点距離（ｍｍ）である。撮像光学系１０３がズーム機能を有している場合には、制御手段１１５が焦点距離ｆ1を調整することによって、いわゆる光学ズームの倍率を調整できる。Ｃy1は、撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ）（ｍｍ）である。Ａy1は、ディスプレイ１０１の垂直方向表示領域サイズ（Ｙ方向表示サイズ）（ｍｍ）である。αy1は、観察者１０７がディスプレイ１０１の垂直方向表示領域サイズＡy1を観察する際の垂直方向視角（Ｙ方向視角）（ｒａｄ）である。Ｄ1は、観察者１０７とディスプレイ１０１とのＺ方向の距離（以下、「観察者距離」と記す）（ｍｍ）である。Ｄ2は、撮像光学系１０３と現実物体１００とのＺ方向距離（以下、「現実物体距離」と記す）（ｍｍ）である。Ｄ3は、ディスプレイ１０１と撮像光学系１０３とのＺ方向距離（以下、「光学系距離」と記す）（ｍｍ）である。
なお、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の正負は、対象物どうしの関係が図１に示す位置関係の場合に正とする。たとえば、光学系距離Ｄ3を例に挙げれば、撮像光学系１０３が観察者１０７から見てディスプレイ１０１よりも＋Ｚ側（背面側）に存在する場合に正とし、−Ｚ側（手前側）に存在する場合に負とする。
ここで、デジタルズーム倍率βy1について定義する。デジタルズームとは、画像の一部を電子的にズーミングすることを意味する。デジタルズーム倍率βy1は、撮像素子１０２で取り込んだ画像データのうち、垂直方向サイズＣy1に相当する最大サイズをディスプレイ１０１の垂直方向表示領域サイズＡy1（有効領域全体）に表示する場合に、 βy1＝１ とする。撮像素子１０２で取り込んだ画像データの一部をディスプレイ１０１の垂直方向表示領域サイズＡy1に拡大して表示する場合には、 βy1＞１ となる。つまり、垂直方向サイズＣy1に対して表示に使用される撮像素子１０２の領域の大きさをＣy1e（ｍｍ）とすると、式（１）で定義される。
たとえば、撮像素子１０２で取り込める領域である垂直方向サイズＣy1のうち、その半分をディスプレイ１０１の垂直方向表示領域サイズＡy1全体に拡大して表示する場合は、 βy1＝２ となる。
αy2は、撮像光学系１０３によって撮像素子１０２の領域Ｃy1eに取り込まれる垂直方向画角（Ｙ方向画角）（ｒａｄ）である。Ｙ1は、現実物体１００の存在する位置において、観察者１０７が垂直方向視角αy1で切り取る現実世界の大きさ（ｍｍ）である。Ｙ2は、現実物体１００の存在する位置において、撮像光学系１０３が垂直方向画角αy2で切り取る現実世界の大きさ（ｍｍ）である。
αy2は、撮像光学系１０３によって撮像素子１０２の領域Ｃy1eに取り込まれる垂直方向画角（Ｙ方向画角）（ｒａｄ）である。Ｙ1は、現実物体１００の存在する位置において、観察者１０７が垂直方向視角αy1で切り取る現実世界の大きさ（ｍｍ）である。Ｙ2は、現実物体１００の存在する位置において、撮像光学系１０３が垂直方向画角αy2で切り取る現実世界の大きさ（ｍｍ）である。
観察者１０７がタブレット型端末１０８を使用してＭＲを体験する際、現実世界との幾何学的大きさの関係が整合性を有するためには、Ｙ1とＹ2とを略一致させる。そしてその状態を維持しつつ、撮像光学系１０３および撮像素子１０２による現実世界の撮像と、仮想物体画像１０６が重畳された合成画像をディスプレイ１０１に表示させることができればよい。そのためには、制御手段１１５は、第一の距離検出手段１１３を介して観察者距離Ｄ1を検出し、第二の距離検出手段１１４を介して、現実物体距離Ｄ2を検出する。光学系距離Ｄ3は、ディスプレイ１０１と撮像光学系１０３との位置関係に応じて定まる。撮像光学系１０３がズーム機能を有する場合には、制御手段１１５は、撮像光学系１０３の焦点距離ｆ1とデジタルズーム倍率βy1の少なくとも一方を、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の値が以下の所定の条件を満たすように制御する。一方、撮像光学系１０３がズーム機能を有さない場合（焦点距離ｆ1が固定の場合）には、制御手段１１５は、デジタルズーム倍率βy1を、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の値が以下の所定の条件を満たすように制御する。
これにより、現実物体１００と仮想物体画像１０６との幾何学的大きさの整合性を、良好に保つことができる。以下、その条件について、図２に示す配置を例に具体的に説明する。図２に示すパラメータには、式（２）〜式（５）の関係が存在する。
これにより、現実物体１００と仮想物体画像１０６との幾何学的大きさの整合性を、良好に保つことができる。以下、その条件について、図２に示す配置を例に具体的に説明する。図２に示すパラメータには、式（２）〜式（５）の関係が存在する。
式（２）〜（５）およびＹ1とＹ2の一致度γy1を用いて Ｙ1＝γy1Ｙ2 となる条件を整理すると、式（６）を得る。
ここで、 γy1＝１．０ であれば、幾何学的大きさが一致した状態となる。よって、制御手段１１５は、最も好ましい条件として、式（７）を満たすように撮像光学系１０３の焦点距離ｆ1とデジタルズーム倍率βy1の少なくとも一方を調整する。そうすると、幾何学的大きさの整合性を保つことができる。
なお、現実物体１００との距離等によっては、 γy1＝１．０ よりも多少意図的に大きさの補正を行って観察者１０７の感覚的に合わせることも有効な場合がある。その場合には、少なくとも ０．９≦γy1≦１．１ の範囲で補正を行うことが好ましい。この場合、式（７）の関係は、式（８）のように表される。
そして、制御手段１１５は、式（８）を満たすように、撮像光学系１０３の焦点距離ｆ1とデジタルズーム倍率βy1の少なくとも一方を調整する。これにより、観察者の感覚に合わせた幾何学的大きさの整合性を保つことができる。
また、本発明者の検討によると、幾何学的大きさの整合に関して、観察者１０７が著しい違和感を持たないようにするためには、少なくとも ０．７≦γy1≦１．３ の範囲に入っていることが必要である。この場合、式（７）の関係は、式（９）のように表される。
また、本発明者の検討によると、幾何学的大きさの整合に関して、観察者１０７が著しい違和感を持たないようにするためには、少なくとも ０．７≦γy1≦１．３ の範囲に入っていることが必要である。この場合、式（７）の関係は、式（９）のように表される。
幾何学的大きさの整合に関して、観察者１０７が著しい違和感を持たないようにするためには、制御手段１１５は、式（９）を満たすように、撮像光学系１０３の焦点距離ｆ1とデジタルズーム倍率βy1の少なくとも一方を調整する必要がある。
なお、焦点距離を調整する場合は、ディスプレイの表示解像度と撮像素子の解像度との関係は一定であり、ディスプレイに表示される画像の精細感は変化しない。しかし、焦点距離の調整には限界があり、特に装置の肥大化を招かないようにコンパクトな光学系を用いる場合には、焦点距離の調整幅をあまり大きくできない。一方、デジタルズーム倍率を調整する場合は、ディスプレイに表示される画像の精細感を損なう可能性があるものの、単に画像信号の処理で済むため装置の肥大化を招かず、かつ倍率の調整幅自体は広い。そこで、両者を併用すれば、たとえば光学系の焦点距離の調整可能範囲内であれば、焦点距離によって幾何学的大きさの整合性を保つように制御し、その範囲を外れるようであればデジタルズーム倍率の調整によって幾何学的大きさの整合性を保つように制御する、といった手法を取ることが考えられる。この手法により、画質の低下を最小限に押さえつつ、画像観察装置をコンパクトにとどめることも可能である。
なお、ここで説明した概念を、図２のＸ軸方向でも同様に展開すれば、最も好ましい条件として式（１０）を得る。また、意図的な大きさ補正を実行しうる条件として、式（１１）を得る。観察者が著しい違和感を持たないための条件として式（１２）を得る。
なお、焦点距離を調整する場合は、ディスプレイの表示解像度と撮像素子の解像度との関係は一定であり、ディスプレイに表示される画像の精細感は変化しない。しかし、焦点距離の調整には限界があり、特に装置の肥大化を招かないようにコンパクトな光学系を用いる場合には、焦点距離の調整幅をあまり大きくできない。一方、デジタルズーム倍率を調整する場合は、ディスプレイに表示される画像の精細感を損なう可能性があるものの、単に画像信号の処理で済むため装置の肥大化を招かず、かつ倍率の調整幅自体は広い。そこで、両者を併用すれば、たとえば光学系の焦点距離の調整可能範囲内であれば、焦点距離によって幾何学的大きさの整合性を保つように制御し、その範囲を外れるようであればデジタルズーム倍率の調整によって幾何学的大きさの整合性を保つように制御する、といった手法を取ることが考えられる。この手法により、画質の低下を最小限に押さえつつ、画像観察装置をコンパクトにとどめることも可能である。
なお、ここで説明した概念を、図２のＸ軸方向でも同様に展開すれば、最も好ましい条件として式（１０）を得る。また、意図的な大きさ補正を実行しうる条件として、式（１１）を得る。観察者が著しい違和感を持たないための条件として式（１２）を得る。
ここで、Ｃx1は、撮像素子１０２のＸ方向すなわち水平方向サイズ（Ｙ方向有効サイズ）（ｍｍ）である。Ａx1は、ディスプレイ１０１の水平方向表示領域サイズ（Ｘ方向表示領域サイズ）（ｍｍ）である。デジタルズーム倍率βx1は、Ｙ方向と同様、水平方向サイズＣx1に対して表示に使用される領域をＣx1e（ｍｍ）とすると、式（１３）で定義される。
そして、制御手段１１５は、βx1とｆ1を少なくとも一方を調整し、式（１０）、式（１１）、式（１２）のいずれかの関係を満たすようにする。そうすることによって、Ｘ方向についても幾何学的大きさの整合性を保つことができる。
なお、制御手段１１５は、前記のような調整を、Ｙ方向とＸ方向の両方について行ってもよく、いずれか一方について行ってもよい。
また、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3等の値は、必ずしもリアルタイムで計測された値を用いる必要はない。たとえば、設計値や実使用で想定される値をあらかじめ決めておき、使用することも可能である。このように固定値を用いると、画像表示装置（本実施形態ではタブレット型端末１０８）の簡略化や小型化を図りつつ、観察者に対して幾何学的大きさの整合性を所定のレベルに収めることも可能となる。
観察者距離Ｄ1を定義するための基準としては、観察者１０７の瞳位置やディスプレイ１０１の表面を使用することができるが、必ずしもこれに限るものではない。現実物体距離Ｄ2を定義するための基準としては、撮像光学系１０３の主点位置や現実物体１００の表面位置などを用いることができるが、必ずしもこれに限られない。光学系距離Ｄ3を定義するための基準としては、撮像光学系１０３の主点位置やディスプレイ１０１の表面位置を用いることができるが、必ずしもこれに限られない。
また、観察者１０７、ディスプレイ１０１、撮像光学系１０３、撮像素子１０２の位置関係の間に、傾斜やＹ方向のずれが生じたとしても、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の値の基準位置を適宜変えるなどすればよい。そうすれば、本発明の効果を得ることができる。
また、観察者１０７、ディスプレイ１０１、撮像光学系１０３、撮像素子１０２の位置関係の間に、傾斜やＹ方向のずれが生じたとしても、観察者距離Ｄ1、現実物体距離Ｄ2、光学系距離Ｄ3の値の基準位置を適宜変えるなどすればよい。そうすれば、本発明の効果を得ることができる。
（第二の実施の形態）
第二の実施の形態の画像表示装置の例として、ビデオシースルー型ＨＭＤ（以下、単にＨＭＤと記す）１６０を示す。なお、第一の実施形態と共通の構成については、第一の実施形態と同じ符号を付し、説明は省略する。
第二の実施の形態の画像表示装置の例として、ビデオシースルー型ＨＭＤ（以下、単にＨＭＤと記す）１６０を示す。なお、第一の実施形態と共通の構成については、第一の実施形態と同じ符号を付し、説明は省略する。
図３は、ＨＭＤ１６０の機能ブロック図である。第一の実施形態と比較して、第一の距離検出手段１１３を有さず、ディスプレイ１０１がディスプレイ１５２に置き換わった点が相違する。それ以外は、第一の実施形態と共通の構成が適用できる。
図４は、第二の実施の形態の画像表示装置の例であるＨＭＤ１６０の説明図である。具体的には、図４は、ＨＭＤ１６０を用いて、観察者１０７がＭＲを体験している様子を示す垂直方向断面の模式図である。図中、右下に示すように、観察者１０７の視軸方向に向かって＋Ｚ軸を取り、Ｚ軸に対してＸ軸（水平方向）、Ｙ軸（垂直方向）を右手系座標で定義する。第二の実施形態においても、第一の実施形態と同様に、映像撮像手段１１１は、観察者１０７から見て、ディスプレイ１５２の背面方向に位置する現実物体１００を含む現実世界の像を、画像データとして取得する。
ディスプレイ１５２は、制御手段１１５による制御にしたがって、合成画像生成手段１０４が生成した合成画像を表示する。
ハーフミラー１５３および凹面ミラー１５４は、ディスプレイ１５２からの光束を観察者１０７の眼球に導く観察光学系を構成する。観察光学系は、ディスプレイ１５２の虚像を形成して、観察者１０７に提示する。観察者１０７は、ディスプレイ１５２に表示された合成画像の拡大虚像を観察することで、ＭＲを体験することができる。
ハーフミラー１５３および凹面ミラー１５４は、ディスプレイ１５２からの光束を観察者１０７の眼球に導く観察光学系を構成する。観察光学系は、ディスプレイ１５２の虚像を形成して、観察者１０７に提示する。観察者１０７は、ディスプレイ１５２に表示された合成画像の拡大虚像を観察することで、ＭＲを体験することができる。
ここで、図４の記号について説明する。
ｆ2は、撮像光学系１０３の焦点距離（ｍｍ）である。Ｃy2は撮像素子１０２の垂直方向サイズ（Ｙ方向サイズ）（ｍｍ）である。Ａy2はディスプレイ１５２の垂直方向サイズ（Ｙ方向有効サイズ）（ｍｍ）である。αy3は観察光学系によって形成された、ディスプレイ１５２の虚像の垂直方向画角（Ｙ方向画角）（ｒａｄ）である。虚像の垂直方向画角αy3は、ディスプレイ１５２の垂直方向サイズ（Ｙ方向有効サイズ）Ａy2に対応する。なお、ディスプレイ１５２の画面は図４中のＹ軸方向には沿っていないが、ディスプレイ１５２に表示された画像は最終的に図４におけるＹ軸方向、すなわち垂直方向の虚像として観察者１０７に認識される。このため、Ａy2を垂直方向サイズと記す。Ｄ4は観察者１０７と撮像光学系１０３とのＺ方向距離（以下、「観察者距離」と記す）（ｍｍ）である。Ｄ5は撮像光学系１０３と現実物体１００とのＺ方向距離（以下、「現実物体距離」と記す）（ｍｍ）である。
なお、観察者距離Ｄ4と現実物体距離Ｄ5の正負は、対象物どうしの関係が図４に示す位置関係の場合に正とする。
ｆ2は、撮像光学系１０３の焦点距離（ｍｍ）である。Ｃy2は撮像素子１０２の垂直方向サイズ（Ｙ方向サイズ）（ｍｍ）である。Ａy2はディスプレイ１５２の垂直方向サイズ（Ｙ方向有効サイズ）（ｍｍ）である。αy3は観察光学系によって形成された、ディスプレイ１５２の虚像の垂直方向画角（Ｙ方向画角）（ｒａｄ）である。虚像の垂直方向画角αy3は、ディスプレイ１５２の垂直方向サイズ（Ｙ方向有効サイズ）Ａy2に対応する。なお、ディスプレイ１５２の画面は図４中のＹ軸方向には沿っていないが、ディスプレイ１５２に表示された画像は最終的に図４におけるＹ軸方向、すなわち垂直方向の虚像として観察者１０７に認識される。このため、Ａy2を垂直方向サイズと記す。Ｄ4は観察者１０７と撮像光学系１０３とのＺ方向距離（以下、「観察者距離」と記す）（ｍｍ）である。Ｄ5は撮像光学系１０３と現実物体１００とのＺ方向距離（以下、「現実物体距離」と記す）（ｍｍ）である。
なお、観察者距離Ｄ4と現実物体距離Ｄ5の正負は、対象物どうしの関係が図４に示す位置関係の場合に正とする。
ここで、デジタルズーム倍率βy2について定義する。デジタルズーム倍率βy2は、撮像素子１０２で取り込んだ画像データのうち、垂直方向サイズＣy2に相当する最大サイズのデータが虚像の垂直方向画角αy3に対応する場合に βy2＝１ とする。撮像素子１０２で取り込んだ画像データの一部が虚像の垂直方向画角αy3に対応する場合に βy1＞１ となる。つまり、垂直方向サイズＣy2に対して虚像の垂直方向画角αy3で表示される領域に相当する撮像素子１０２の領域の大きさをＣy2e（ｍｍ）とすると、式（１４）で定義される。
たとえば、撮像素子１０２で取り込める領域である垂直方向サイズＣy2のうち、その半分が虚像の垂直方向画角αy3で表示される領域に相当する場合は、 βy2＝２ となる。
αy4は、撮像光学系１０３によって撮像素子１０２の領域Ｃy2eに取り込まれる垂直方向画角（Ｙ方向の画角）（ｒａｄ）である。Ｙ3は現実物体１００の存在する位置において、観察者１０７が垂直方向画角αy3で切り取る現実世界の大きさ（ｍｍ）であり、Ｙ4は現実物体１００の存在する位置において、撮像光学系１０３が垂直方向画角αy4で切り取る現実世界の大きさ（ｍｍ）である。
αy4は、撮像光学系１０３によって撮像素子１０２の領域Ｃy2eに取り込まれる垂直方向画角（Ｙ方向の画角）（ｒａｄ）である。Ｙ3は現実物体１００の存在する位置において、観察者１０７が垂直方向画角αy3で切り取る現実世界の大きさ（ｍｍ）であり、Ｙ4は現実物体１００の存在する位置において、撮像光学系１０３が垂直方向画角αy4で切り取る現実世界の大きさ（ｍｍ）である。
観察者１０７がＨＭＤ１６０を通してＭＲを体験する際、現実世界との幾何学的大きさが整合性を保つためには、第一の実施の形態と同様、Ｙ3とＹ4が略一致させる。そしてその状態を保つように、撮像光学系１０３および撮像素子１０２による現実世界の撮像と、仮想物体画像１０６が重畳された合成画像のディスプレイ１５２への表示および虚像の提示とができればよい。そのため、制御手段１１５は、撮像光学系１０３の焦点距離ｆ2とデジタルズーム倍率βy2の少なくとも一方を、観察者距離Ｄ4と現実物体距離Ｄ5の値に応じて、所定の関係を満たすように制御する。これにより、幾何学的大きさの整合性を良好に保つことができる。以下その条件について図４の配置を例に具体的に説明する。図４に示すパラメータには、式（１５）〜式（１７）の関係が存在する。
式（１５）〜（１７）およびＹ3とＹ4の一致度γy2を用いて Ｙ3＝γy2Ｙ4 となる条件を整理すると、式（１８）を得る。
γy2＝１．０ であれば、幾何学的大きさが一致した状態となる。よって、制御手段１１５は、最も好ましい条件として、式（１９）を満たすように撮像光学系１０３の焦点距離ｆ2およびデジタルズーム倍率βy2の少なくとも一方を調整する。これにより、幾何学的大きさの整合性を保つことができる。
なお、現実物体１００との距離等によっては、 γy2＝１．０ よりも多少意図的に大きさの補正を行って観察者の感覚的に合わせることも有効な場合がある。その場合には、制御手段１１５は、少なくとも ０．９≦γy2≦１．１ の範囲で補正を行うことが望ましい。この場合、式（１９）の関係は、式（２０）のように表される。
そして、制御手段１１５は、式（２０）を満たすように撮像光学系１０３の焦点距離ｆ2およびデジタルズーム倍率βy2の少なくとも一方を調整する。これにより、観察者の感覚に合わせた幾何学的大きさの整合性を保つことができる。
また、本発明者の検討によると、幾何学的大きさの整合に関して観察者が著しい違和感を持たないようにするためには、少なくとも ０．７≦γy2≦１．３ の範囲に入っていることが必要である。この場合、式（１９）の関係は、式（２１）のように表される。
また、本発明者の検討によると、幾何学的大きさの整合に関して観察者が著しい違和感を持たないようにするためには、少なくとも ０．７≦γy2≦１．３ の範囲に入っていることが必要である。この場合、式（１９）の関係は、式（２１）のように表される。
幾何学的大きさの整合に関して観察者が著しい違和感を持たないようにするためには、制御手段１１５は、式（２１）を満たすように、撮像光学系１０３の焦点距離ｆ2とデジタルズーム倍率βy2の少なくとも一方を調整する必要がある。
なお、ここで説明した概念を、図４のＸ軸方向でも同様に展開すれば、最も好ましい条件として式（２２）が得られる。意図的な大きさ補正を実行しうる範囲として式（２３）が得られる。観察者が著しい違和感を持たないための条件として式（２４）が得られる。
なお、ここで説明した概念を、図４のＸ軸方向でも同様に展開すれば、最も好ましい条件として式（２２）が得られる。意図的な大きさ補正を実行しうる範囲として式（２３）が得られる。観察者が著しい違和感を持たないための条件として式（２４）が得られる。
Ｃx2は、撮像素子１０２の水平方向サイズ（Ｘ方向有効サイズ）である。Ａx2は、ディスプレイ１５２の水平方向表示領域サイズ（Ｘ方向表示領域サイズ）である。デジタルズーム倍率βx2は、Ｙ方向と同様に、水平方向サイズＣx2に対して虚像の観察光学系における水平方向画角αx3で表示される領域に相当する撮像素子の領域の大きさをＣx2eとした式（２５）で定義される。
制御手段１１５は、式（２２）、式（２３）、式（２４）のいずれかの関係を満たすように、βx2とｆ2の少なくとも一方を調整する。そうすることによって、Ｘ軸方向についても幾何学的大きさの整合を保つことができる。
なお、観察光学系の形態はハーフミラー１５３と凹面ミラー１５４の組み合わせに限るものではない。観察光学系は、観察者１０７がディスプレイ１５２の虚像を観察できるものであればよく、具体的な構成は限定されない。
また、観察者距離Ｄ4や現実物体距離Ｄ5等の値は必ずしもリアルタイムで計測された値を用いる必要はなく、設計値や実使用で想定される値をあらかじめ決めておき、使用することも可能である。このように固定値を用いると、画像表示装置（ＨＭＤ１６０）の簡略化や小型化を図りつつ、幾何学的大きさの整合性を所定のレベルに収めることも可能である。
また、観察者距離Ｄ4を定義するための基準としては、観察者１０７の瞳の位置や撮像光学系１０３の主点位置によって決定できる。ただし、必ずしもこれに限るものではない。
現実物体距離Ｄ5を定義するための基準としては、撮像光学系１０３の主点位置や現実物体１００の表面位置などを用いることができる。ただし、必ずしもこれに限るものではない。
また、観察者１０７、撮像光学系１０３、撮像素子１０２の位置関係の間に、傾斜やＹ方向のずれが生じたとしても、観察者距離Ｄ4や現実物体距離Ｄ5といった値の基準位置を適宜変えるなどすればよい。そうすることによって、本発明の効果を得ることができる。
また、観察者距離Ｄ4や現実物体距離Ｄ5等の値は必ずしもリアルタイムで計測された値を用いる必要はなく、設計値や実使用で想定される値をあらかじめ決めておき、使用することも可能である。このように固定値を用いると、画像表示装置（ＨＭＤ１６０）の簡略化や小型化を図りつつ、幾何学的大きさの整合性を所定のレベルに収めることも可能である。
また、観察者距離Ｄ4を定義するための基準としては、観察者１０７の瞳の位置や撮像光学系１０３の主点位置によって決定できる。ただし、必ずしもこれに限るものではない。
現実物体距離Ｄ5を定義するための基準としては、撮像光学系１０３の主点位置や現実物体１００の表面位置などを用いることができる。ただし、必ずしもこれに限るものではない。
また、観察者１０７、撮像光学系１０３、撮像素子１０２の位置関係の間に、傾斜やＹ方向のずれが生じたとしても、観察者距離Ｄ4や現実物体距離Ｄ5といった値の基準位置を適宜変えるなどすればよい。そうすることによって、本発明の効果を得ることができる。
なお、本実施形態におけるＸ、Ｙ、Ｚ方向に関する記述の一部（本実施形態ではＡy2、Ａx2）は、虚像として観察者１０７が知覚する軸方向に対応した方向を意味している。すなわち、必ずしも物理的な配置方向（図２における軸の定義方向）に対応している訳ではない。同様の事が、折り畳み光路を用いた類似の実施形態においても生じる可能性がある。例えば、撮像光学系の光路を折り畳んだ構成においては、Ａy2、Ａx2だけでなくＣy2、Ｃx2も物理的な配置方向と一致しなくなる可能性がある。しかし、本実施形態における方向の意図は、本実施形態の説明により容易に理解されうるものである。光路を折り畳んだ類似の派生形態において、上記Ａy2、Ａx2、Ｃy2、Ｃx2等の物理的方向が本実施形態と異なっていたとしても、本実施形態との本質的な違いは無い。
以下、本発明のより具体的な数値実施例について説明する。
（数値実施例１）
本実施例では、タブレット型ビデオシースルー装置（タブレット型端末）の例について説明する。タブレット型ビデオシースルー装置については、図１および図２に示す構成をとる物とする。
本実施例では、ディスプレイ１０１の水平方向表示領域サイズ Ａx1＝２８０ｍｍ である。垂直方向表示領域サイズ Ａy1＝２１０ ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向有効サイズ）） Ｃx1＝８ｍｍ である。撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ） Ｃy1＝６ｍｍ である。
撮像光学系１０３は焦点距離ｆ＝４ｍｍの単焦点レンズである。また、一般的な観察者が両腕を伸ばしてタブレット型端末１０８を保持する状況を想定して観察者距離 Ｄ1＝４００ｍｍ を使用する。光学系距離として、ディスプレイ１０１の表面と撮像光学系１０３の主点との距離（設計値）である Ｄ3＝５ｍｍ を使用する。現実物体距離Ｄ2を、不図示の補助カメラを用いてステレオ計測法にて測定し、デジタルズーム倍率βx1およびβy1を用いて、以下の式を満たすように制御を行った。
（数値実施例１）
本実施例では、タブレット型ビデオシースルー装置（タブレット型端末）の例について説明する。タブレット型ビデオシースルー装置については、図１および図２に示す構成をとる物とする。
本実施例では、ディスプレイ１０１の水平方向表示領域サイズ Ａx1＝２８０ｍｍ である。垂直方向表示領域サイズ Ａy1＝２１０ ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向有効サイズ）） Ｃx1＝８ｍｍ である。撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ） Ｃy1＝６ｍｍ である。
撮像光学系１０３は焦点距離ｆ＝４ｍｍの単焦点レンズである。また、一般的な観察者が両腕を伸ばしてタブレット型端末１０８を保持する状況を想定して観察者距離 Ｄ1＝４００ｍｍ を使用する。光学系距離として、ディスプレイ１０１の表面と撮像光学系１０３の主点との距離（設計値）である Ｄ3＝５ｍｍ を使用する。現実物体距離Ｄ2を、不図示の補助カメラを用いてステレオ計測法にて測定し、デジタルズーム倍率βx1およびβy1を用いて、以下の式を満たすように制御を行った。
現実物体距離Ｄ2に対して、制御すべきデジタルズーム倍率βx1およびβy1の値を図５に示す。図５に示すように制御することで、観察者は幾何学的大きさの整合性を良好に保ちながら、ＭＲを体験することが可能となる。
（数値実施例２）
本実施例では、数値実施例１と同様、タブレット型端末の例について説明する。タブレット型端末は、図１と図２に示す構成と同様の構成とする。
本実施例では、ディスプレイ１０１の水平方向表示領域サイズ Ａx1＝４００ｍｍ である。垂直方向表示領域サイズ Ａy1＝３００ ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向有効サイズ） Ｃx1＝４ｍｍ である。撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ） Ｃy1＝ ３ｍｍ である。
本実施例では、デジタルズーム倍率βx1およびβy1を共に１に固定し、幾何学的大きさの整合性については、撮像光学系１０３の焦点距離によって調整する。すなわち、撮像光学系１０３はズームレンズである。また、一般的な観察者が両腕をやや曲げてタブレット型端末１０８を保持する状況を想定して、観察者距離 Ｄ1＝３００ｍｍとする。また、光学系距離Ｄ3としてディスプレイ１０１の表面と撮像光学系１０３の物体側第一面の間の距離（設計値）である６ｍｍを使用する。第二の距離検出手段の例としてカメラを用いて現実物体距離Ｄ2をステレオ計測法にて測定し、以下の式を満たすように焦点距離の制御を行った。
本実施例では、数値実施例１と同様、タブレット型端末の例について説明する。タブレット型端末は、図１と図２に示す構成と同様の構成とする。
本実施例では、ディスプレイ１０１の水平方向表示領域サイズ Ａx1＝４００ｍｍ である。垂直方向表示領域サイズ Ａy1＝３００ ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向有効サイズ） Ｃx1＝４ｍｍ である。撮像素子１０２の垂直方向サイズ（Ｙ方向有効サイズ） Ｃy1＝ ３ｍｍ である。
本実施例では、デジタルズーム倍率βx1およびβy1を共に１に固定し、幾何学的大きさの整合性については、撮像光学系１０３の焦点距離によって調整する。すなわち、撮像光学系１０３はズームレンズである。また、一般的な観察者が両腕をやや曲げてタブレット型端末１０８を保持する状況を想定して、観察者距離 Ｄ1＝３００ｍｍとする。また、光学系距離Ｄ3としてディスプレイ１０１の表面と撮像光学系１０３の物体側第一面の間の距離（設計値）である６ｍｍを使用する。第二の距離検出手段の例としてカメラを用いて現実物体距離Ｄ2をステレオ計測法にて測定し、以下の式を満たすように焦点距離の制御を行った。
現実物体距離Ｄ2に対して、制御すべき撮像光学系１０３の焦点距離の値を図６に示す。図６に示すように制御することで、観察者１０７は、幾何学的大きさの整合性が良好に保たれた状態でＭＲを体験することが可能となる。
（数値実施例３）
本実施例では、ＨＭＤ型ビデオシースルー装置（以下、ＨＭＤと記す）の例について説明する。ＨＭＤの機能ブロックは、図３に示す構成を有するものとする。なお、図３では不図示ではあるが、ＨＭＤは観察者が両眼でＭＲを体験できるように構成されており、観察光学系、ディスプレイ、撮像光学系、撮像素子等の構成要素は図３中のＸ方向に位置する観察者の両眼に対応する場所に配置されている。以下では、片眼に対応する構成要素についてのみ説明するが、両眼とも同じ要素で構成されている。
本実施例では、観察光学系の水平方向画角 αx3＝０．６９８ｒａｄ（≒４０ｄｅｇ）、垂直方向画角 αy3＝０．５３３ｒａｄ（≒３０．５ｄｅｇ） である。撮像光学系１０３は単焦点レンズで、焦点距離 ｆ＝４．０ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向の有効サイズ） Ｃx2＝４．０ｍｍ 、垂直方向サイズ（Ｙ方向の有効サイズ） Ｃy2＝３．０ ｍｍ である。ここで、観察者距離Ｄ4としては、平均的な観察者の眼球の旋回中心に対する、撮像光学系１０３の主点（設計値）までの距離を用いて Ｄ4＝４０ｍｍ とした。現実物体距離Ｄ5を、片眼それぞれの撮像素子からの画像を用いてステレオ計測法で測定し、デジタルズーム倍率を用いて、以下の式を満たすように制御を行った。
本実施例では、ＨＭＤ型ビデオシースルー装置（以下、ＨＭＤと記す）の例について説明する。ＨＭＤの機能ブロックは、図３に示す構成を有するものとする。なお、図３では不図示ではあるが、ＨＭＤは観察者が両眼でＭＲを体験できるように構成されており、観察光学系、ディスプレイ、撮像光学系、撮像素子等の構成要素は図３中のＸ方向に位置する観察者の両眼に対応する場所に配置されている。以下では、片眼に対応する構成要素についてのみ説明するが、両眼とも同じ要素で構成されている。
本実施例では、観察光学系の水平方向画角 αx3＝０．６９８ｒａｄ（≒４０ｄｅｇ）、垂直方向画角 αy3＝０．５３３ｒａｄ（≒３０．５ｄｅｇ） である。撮像光学系１０３は単焦点レンズで、焦点距離 ｆ＝４．０ｍｍ である。撮像素子１０２の水平方向サイズ（Ｘ方向の有効サイズ） Ｃx2＝４．０ｍｍ 、垂直方向サイズ（Ｙ方向の有効サイズ） Ｃy2＝３．０ ｍｍ である。ここで、観察者距離Ｄ4としては、平均的な観察者の眼球の旋回中心に対する、撮像光学系１０３の主点（設計値）までの距離を用いて Ｄ4＝４０ｍｍ とした。現実物体距離Ｄ5を、片眼それぞれの撮像素子からの画像を用いてステレオ計測法で測定し、デジタルズーム倍率を用いて、以下の式を満たすように制御を行った。
現実物体距離Ｄ5に対して、制御すべきデジタルズーム倍率βx2およびβy2の値を図７に示す。図７に示すように制御することで、観察者１０７は、幾何学的大きさの整合性が良好に保たれた状態で、ＭＲを体験することが可能となる。
ここで、ビデオシースルー型の画像表示装置において、幾何学的大きさの整合を保つこと困難であった理由について説明する。
図８は、比較例にかかるタブレット型端末３０８の外観を示す模式図である。比較例にかかるタブレット型端末３０８は、図８（ａ）に示すように、観察者１０７の側にディスプレイ３０１が配置される。また図９（ｂ）に示すように、観察者１０７から見て背面側にカメラ３０９が配置される。図９は、タブレット型端末３０８を用いて、観察者１０７がＭＲを体験している様子を示す垂直方向断面模式図である。図中、観察者１０７の視軸方向に向かって＋Ｚ軸を取るものとする。タブレット型端末３０８の撮像光学系３０３および撮像素子３０２は、現実物体１００を含む現実世界（外界）の画像データを取得する。不図示の位置合わせ手段は、仮想世界の物体を、取得した画像データに、幾何学的位置関係の整合性を保つように合成する。ディスプレイ３０１は、現実世界の画像に仮想世界の物体が合成された画像を表示する。観察者１０７は、ディスプレイ３０１に表示された合成画像を観察することで、ＭＲを体験することができる。
図８は、比較例にかかるタブレット型端末３０８の外観を示す模式図である。比較例にかかるタブレット型端末３０８は、図８（ａ）に示すように、観察者１０７の側にディスプレイ３０１が配置される。また図９（ｂ）に示すように、観察者１０７から見て背面側にカメラ３０９が配置される。図９は、タブレット型端末３０８を用いて、観察者１０７がＭＲを体験している様子を示す垂直方向断面模式図である。図中、観察者１０７の視軸方向に向かって＋Ｚ軸を取るものとする。タブレット型端末３０８の撮像光学系３０３および撮像素子３０２は、現実物体１００を含む現実世界（外界）の画像データを取得する。不図示の位置合わせ手段は、仮想世界の物体を、取得した画像データに、幾何学的位置関係の整合性を保つように合成する。ディスプレイ３０１は、現実世界の画像に仮想世界の物体が合成された画像を表示する。観察者１０７は、ディスプレイ３０１に表示された合成画像を観察することで、ＭＲを体験することができる。
図９中、３０５は、ディスプレイ３０１に表示された現実物体画像であり、現実物体１００に相当している。３０６は、現実世界の画像データと幾何学的位置関係の整合性を保つように重畳された仮想物体画像である。図９では、断面表示の都合上、ディスプレイ３０１、現実物体画像３０５および仮想物体画像３０６のＺ方向位置が一致していないが、実際には一致しており、現実物体画像３０５および仮想物体画像３０６はディスプレイ３０１上に表示されている。また、図９では説明の簡易化ために、ディスプレイ３０１を観察者１０７が観察する際の画角と、ディスプレイ３０１が存在していなかった場合に現実物体１００を観察者１０７が観察する画角とを一致させており、この画角をα1とする。図９において、Ｙ0は、現実物体１００の存在するＺ方向の位置で撮像素子３０２に最大限取りこむことのできる現実世界の大きさである。この大きさＹ0は、撮像光学系３０３によって撮像素子３０２に取り込まれる画角α2によって決まる。図９においては、Ｙ0は現実物体１００よりも大きい。この状態で、撮像素子３０２に取り込まれた画像をディスプレイ３０１に最大限表示させれば、Ｙ0がディスプレイ３０１の表示領域全体に表示されることになる。このため、観察者１０７がディスプレイ３０１上で現実物体画像３０５を観察する画角αは、画角α1よりも小さくなる。すなわち、観察者１０７がタブレット型端末３０８を通さずに直接に現実物体１００を見た際の大きさと、タブレット型端末３０８で提供されるＭＲ体験を通じて感じる現実物体１００の大きさが一致しない（幾何学的大きさの整合性がとれていない）状態となる。
一般に、タブレット型端末３０８は、必ずしもＭＲ体験のためだけに最適化されているわけではなく、ディスプレイ３０１の大きさ、撮像光学系３０３の画角、撮像素子３０２の大きさなどは目的に合わせて任意に選択されている。このようなタブレット型端末３０８をＭＲ体験に使用した場合、観察者１０７は、必ずしも幾何学的大きさの整合性の高いＭＲ体験ができる訳ではない。加えて、幾何学的大きさの整合に関する問題は、観察者１０７と現実物体１００の位置関係にも依存する。そのため、ある状態においては幾何学的大きさが整合していたとしても、観察者１０７の移動等に合わせて幾何学的大きさが整合しない状態になることがある。そうすると、観察者１０７に対して、適切なＭＲ体験を提供し続けることが難しい。
一般的に、タブレット型端末に比べ、ビデオシースルー型ＨＭＤ（以下、単に「ＨＭＤ」と記す）の方が、装置構成上幾何学的大きさを整合させやすい。しかし、ＨＭＤにおいても、幾何学的大きさの整合に関する問題が生じる場合がある。図１０は、比較例にかかるＨＭＤ４００を装着した観察者１０７がＭＲを体験している状態を示す模式図である。図１０において、４０２は、画像表示用の小型ディスプレイである。４０３は、ハーフミラーである。４０４は凹面ミラーである。ハーフミラー４０３と凹面ミラー４０４は観察光学系を構成し、画像表示用の小型ディスプレイ４０２の虚像を形成して観察者に提示する。
４０７はミラーである。４０６は撮像光学系である。４０５は撮像素子である。撮像素子４０５は、現実世界の映像を画像データとして取り込む。不図示の位置合わせ手段は、取り込んだ画像データに、仮想物体の画像を、幾何学的位置関係を整合させて重畳させる。これにより、合成画像を生成する。画像表示用の小型ディスプレイ４０２は、生成された合成画像を表示する。これにより、観察者１０７はＭＲを体験することができる。
図１０に示すように、比較例にかかるＨＭＤ４００では、ミラー４０７を用いて撮像系の光路を折り畳むといった構成を採用することができる。このため、実質的に撮像位置（光路を展開した場合の撮像光学系４０６の位置）を観察者１０７の位置と一致させることが可能である。したがって、撮像位置を観察者１０７の位置と略一致させ、かつ撮像光学系と観察光学系の画角を一致させれば、幾何学的大きさの不一致を解消することが可能である。しかしながら、ＨＭＤには小型、コンパクト性などが求められるため、物理的な配置に制限が生じる場合が多く、撮像光学系の位置と観察者１０７の位置の厳密に一致させることは難しい。そのため、比較例にかかる構成では、ＨＭＤ４００を小型化しつつ、幾何学的大きさの整合性を保つことが困難である。
４０７はミラーである。４０６は撮像光学系である。４０５は撮像素子である。撮像素子４０５は、現実世界の映像を画像データとして取り込む。不図示の位置合わせ手段は、取り込んだ画像データに、仮想物体の画像を、幾何学的位置関係を整合させて重畳させる。これにより、合成画像を生成する。画像表示用の小型ディスプレイ４０２は、生成された合成画像を表示する。これにより、観察者１０７はＭＲを体験することができる。
図１０に示すように、比較例にかかるＨＭＤ４００では、ミラー４０７を用いて撮像系の光路を折り畳むといった構成を採用することができる。このため、実質的に撮像位置（光路を展開した場合の撮像光学系４０６の位置）を観察者１０７の位置と一致させることが可能である。したがって、撮像位置を観察者１０７の位置と略一致させ、かつ撮像光学系と観察光学系の画角を一致させれば、幾何学的大きさの不一致を解消することが可能である。しかしながら、ＨＭＤには小型、コンパクト性などが求められるため、物理的な配置に制限が生じる場合が多く、撮像光学系の位置と観察者１０７の位置の厳密に一致させることは難しい。そのため、比較例にかかる構成では、ＨＭＤ４００を小型化しつつ、幾何学的大きさの整合性を保つことが困難である。
これに対して、本発明の各実施形態にかかる画像表示装置によれば、装置の小型化を図りつつ、幾何学的大きさの整合性を保つことができる。
ここで、本発明の各実施形態にかかる画像表示装置のハードウェア構成について、簡単に説明する。制御手段１１５と、合成画像生成手段１０４と、記憶手段１１６は、それぞれ別個のハードウェアにより実現される構成であってもよく、コンピュータプログラムによって実現される構成であってもよい。たとえば、前記各手段は、マイコンや論理回路などによって実現される構成であってもよい。また、ＣＰＵとＲＯＭとＲＡＭを有するコンピュータがコンピュータプログラムを実行することによって、前記各手段を実現する構成であってもよい。この場合には、画像表示装置を制御するためのコンピュータプログラムは、ＲＯＭやその他記憶媒体に、コンピュータ読取り可能に格納されている。そして、ＣＰＵはこのコンピュータプログラムをＲＯＭから読出し、ＲＡＭに展開して実行する。これにより、コンピュータが画像表示装置の前記各手段として機能し、前記処理および動作が実現する。
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び前記プログラムコードを記憶した記憶媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態および実施例について説明したが、本発明はこれらの実施形態および実施例に限定されるものではない。本発明は、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、ＭＲ技術を用いた画像表示装置に好適である。
１００：現実物体（現実世界の物体）、１０１：ディスプレイ、１０２：撮像素子、１０３：撮像光学系、１０５：現実物体画像、１０６：仮想物体画像、１０７：観察者、１０８：タブレット型端末、１５２：ディスプレイ、１５３：ハーフミラー、１５４：凹面ミラー、１６０：ＨＭＤ
Claims (4)
- 画像表示手段と、
観察者から見て前記画像表示手段の背面方向に位置する現実世界の像を取得する映像撮像手段と、
前記映像撮像手段により取得された前記現実世界の像に対して、現実世界での幾何学的位置関係が整合性を有するように別の画像を重畳する合成画像生成手段と、
前記映像撮像手段により取得した現実世界の像または前記合成画像を前記画像表示手段に表示する際に、前記観察者と前記画像表示手段との距離と、前記現実世界と前記映像撮像手段との距離と、前記画像表示手段と前記映像撮像手段との距離とに応じて、前記映像撮像手段の撮像光学系の焦点距離と前記映像撮像手段の撮像素子により得られた画像の一部を電子的にズーミングするデジタルズーム倍率との少なくとも一方を調整する調整手段と、
を有することを特徴とする画像表示装置。 - 前記調整手段は、以下の式の少なくとも一方を満たすようにｆ1、βx1、βy1の少なくとも１つを調整することを特徴とする請求項１に記載の画像表示装置。
Ｄ1：前記観察者と前記画像表示手段との距離（ｍｍ）
Ｄ2：前記現実世界と前記映像撮像手段との距離（ｍｍ）
Ｄ3：前記画像表示手段と前記映像撮像手段との距離（ｍｍ）
ｆ1：前記撮像光学系の焦点距離（ｍｍ）
βy1：前記デジタルズーム倍率の垂直方向の倍率
βx1：前記デジタルズーム倍率の水平方向の倍率
Ａy1：前記画像表示装置の垂直方向表示領域サイズ（ｍｍ）
Ａx1：前記画像表示装置の水平方向表示領域サイズ（ｍｍ）
Ｃy1：前記撮像素子の垂直方向サイズ（ｍｍ）
Ｃx1：前記撮像素子の水平方向サイズ（ｍｍ）
である。 - 画像表示手段と、
前記画像表示手段からの光束を観察者の眼球に導く観察光学系と、
現実世界の像を取得する映像撮像手段と、
前記映像撮像手段により取得された現実世界の像に対して前記現実世界での幾何学的位置関係が整合性を有するように別の画像を重畳する合成画像生成手段と
前記映像撮像手段により取得した現実世界の像または前記合成画像を前記画像表示手段に表示する際に、前記現実世界と前記映像撮像手段との距離と、前記観察者と前記映像撮像手段との距離とに応じて、前記映像撮像手段の撮像光学系の焦点距離と前記映像撮像手段の撮像素子により得られた画像の一部を電子的にズーミングするデジタルズーム倍率との少なくとも一方を調整する調整手段と
を有することを特徴とする画像表示装置。 - 前記調整手段は、以下の式の少なくとも一方を満たすようにｆ2、βx2、βy2の少なくとも１つを調整することを特徴とする請求項３に記載の画像表示装置。
Ｄ4：前記観察者と前記映像撮像手段との距離（ｍｍ）
Ｄ5：前記現実世界と前記映像撮像手段との距離（ｍｍ）
αy3：前記観察光学系の垂直方向画角（ｒａｄ）
αx3：前記観察光学系の水平方向画角（ｒａｄ）
ｆ2：前記撮像光学系の焦点距離（ｍｍ）
βy2：前記デジタルズーム倍率の垂直方向の倍率
βx2：前記デジタルズーム倍率の水平方向の倍率
Ｃy2：前記撮像素子の垂直方向サイズ（ｍｍ）
Ｃx2：前記撮像素子の水平方向サイズ（ｍｍ）
である。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013133158A JP2015007722A (ja) | 2013-06-25 | 2013-06-25 | 画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013133158A JP2015007722A (ja) | 2013-06-25 | 2013-06-25 | 画像表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015007722A true JP2015007722A (ja) | 2015-01-15 |
Family
ID=52338031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013133158A Pending JP2015007722A (ja) | 2013-06-25 | 2013-06-25 | 画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015007722A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019230115A1 (ja) * | 2018-05-30 | 2019-12-05 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置 |
| CN111751988A (zh) * | 2020-06-16 | 2020-10-09 | 深圳珑璟光电技术有限公司 | 一种景深调节方法、装置及双目近眼显示设备 |
| JPWO2022054740A1 (ja) * | 2020-09-09 | 2022-03-17 | ||
| WO2023157053A1 (ja) * | 2022-02-15 | 2023-08-24 | 日本電信電話株式会社 | 視野拡張装置、視野拡張方法、視野拡張プログラム、および、視野拡張システム |
-
2013
- 2013-06-25 JP JP2013133158A patent/JP2015007722A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019230115A1 (ja) * | 2018-05-30 | 2019-12-05 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置 |
| CN111751988A (zh) * | 2020-06-16 | 2020-10-09 | 深圳珑璟光电技术有限公司 | 一种景深调节方法、装置及双目近眼显示设备 |
| JPWO2022054740A1 (ja) * | 2020-09-09 | 2022-03-17 | ||
| JP7123452B2 (ja) | 2020-09-09 | 2022-08-23 | 株式会社Ｑｄレーザ | 画像投影装置 |
| WO2023157053A1 (ja) * | 2022-02-15 | 2023-08-24 | 日本電信電話株式会社 | 視野拡張装置、視野拡張方法、視野拡張プログラム、および、視野拡張システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106796344B (zh) | 锁定在感兴趣对象上的放大图像的系统、布置和方法 | |
| US20110234475A1 (en) | Head-mounted display device | |
| JP6658529B2 (ja) | 表示装置、表示装置の駆動方法、及び、電子機器 | |
| US20150084841A1 (en) | Apparatus and method for a bioptic real time video system | |
| JP2017524281A (ja) | 媒介現実の外科用視覚化のためのシステム及び方法 | |
| US9563058B2 (en) | Display device, display method, and readable medium | |
| JP6023568B2 (ja) | 頭部装着型装置 | |
| JP2017204674A (ja) | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
| JP2006267604A (ja) | 複合情報表示装置 | |
| JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
| WO2013177654A1 (en) | Apparatus and method for a bioptic real time video system | |
| JP6419118B2 (ja) | 画像表示システム | |
| JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
| JP2015007722A (ja) | 画像表示装置 | |
| JP2013148599A (ja) | 表示装置 | |
| JP6641122B2 (ja) | 表示装置及び情報処理装置及びその制御方法 | |
| JP6576639B2 (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
| US11061237B2 (en) | Display apparatus | |
| JP6500570B2 (ja) | 画像表示装置および画像表示方法 | |
| WO2016157923A1 (ja) | 情報処理装置及び情報処理方法 | |
| US20210014475A1 (en) | System and method for corrected video-see-through for head mounted displays | |
| US20210063732A1 (en) | Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system | |
| JP4994912B2 (ja) | 頭部装着型の映像表示装置 | |
| JP2012103941A (ja) | 画像処理装置および画像処理方法 | |
| JP2017049553A (ja) | 頭部装着装置の製造方法および頭部装着装置 |