JP2008216343A

JP2008216343A - 画像表示装置、プログラム、及び、記憶媒体

Info

Publication number: JP2008216343A
Application number: JP2007050201A
Authority: JP
Inventors: Hiroyuki Nakanishi; 博之中西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-02-28
Filing date: 2007-02-28
Publication date: 2008-09-18

Abstract

【課題】有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、品質の高い複合現実感を提供可能な技術を提供する。
【解決手段】撮像処理により撮像画像を生成する撮像手段と、前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、前記表示用画像を表示する表示手段と、を備える画像表示装置は、前記撮像手段の有効撮像領域の縦横比と、前記表示手段の有効表示領域の縦横比とが異なる場合、該有効撮像領域と該有効表示領域との少なくともいずれかを狭めることで、縦横比を一致させるように制御する制御手段を備える。
【選択図】図１

Description

本発明は、画像表示装置、プログラム、及び、記憶媒体に関し、特に、複合現実感を提供する技術に関する。

従来より、観察者の瞳位置に概略等しくなる位置で撮影したカメラの映像をコンピュータ等に取り込み、撮影したカメラ映像にＣＧを重ね合わせて表示するビデオシースルー・タイプの映像表示システムが知られている。このような技術としては、頭部装着型映像表示システム（ヘッドマウント・ディスプレイ）や手持ち型映像表示システム（ハンドヘルド・ディスプレイ）が提案されている。特許文献１には、ビデオシースルー・タイプの頭部装着型映像表示システム（ヘッドマウント・ディスプレイ）を用いた複合現実感を体験させるためのシステムが開示されている。なお、ＣＧは、コンピュータ・グラフィックス（Computer Graphics）の略称である。
特開２００２−２６８６２１号公報

しかしながら、従来より提案されているビデオシースルー・タイプの映像表示システムは撮像素子の縦横比と表示素子の縦横比が一致していること、即ち、有効撮像領域の縦横比と有効表示領域の縦横比とが一致していることが前提となっていた。言い換えると、両者の縦横比が異なる場合に関してはなんら考慮されていなかった。

昨今、テレビジョン放送においても画面の縦横の比率（アスペクト比）が変化してワイドアスペクト化が進んでおり、またＰＣのモニタに関しても高画素化が進んでいる。このため、撮像素子、表示素子とも様々なアスペクト比の素子が出回り始めている。しかしながら、実際には全てのアスペクト比において所望の素子が存在する訳でなく、諸々の制約あるいは要因により異なるアスペクト比の撮像素子、表示素子を使用せざるを得ないことが多い。従って、従前の構成では、縦横比が実際とは異なる歪んだ映像が出力された結果、現実空間が歪んでしまい、違和感のある複合現実感を提供せざるを得ない場合があった。

本発明は上記課題に鑑みなされたものであり、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、違和感のない品質の高い複合現実感を提供可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による画像表示装置は以下の構成を備える。即ち、
撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記撮像手段の有効撮像領域の縦横比と、前記表示手段の有効表示領域の縦横比とが異なる場合、該有効撮像領域と該有効表示領域との少なくともいずれかを狭めることで、縦横比を一致させるように制御する制御手段
を備える。

また、本発明による他の画像表示装置は以下の構成を備える。即ち、
撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記撮像手段の有効撮像領域の縦横比を、前記表示手段の有効表示領域の縦横比に一致させる変倍光学系と、
前記有効撮像領域に含まれる画素数を、前記有効表示領域に含まれる画素数に一致させるように、前記撮像画像又は前記表示用画像に対して画像処理を行う画像処理手段と、
を備える。

また、本発明による他の画像表示装置は以下の構成を備える。即ち、
撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記表示手段の有効表示領域の縦横比を、前記撮像手段の有効撮像領域の縦横比に一致させる変倍光学系と、
前記有効撮像領域に含まれる画素数を、前記有効表示領域に含まれる画素数に一致させるように、前記撮像画像又は前記表示用画像に対して画像処理を行う画像処理手段と、
を備える。

本発明によれば、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、違和感のない品質の高い複合現実感を提供可能な技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜＜第１実施形態＞＞
（頭部装着型映像表示装置の構成）
本実施形態に係る頭部装着型映像表示装置（画像表示装置）のブロック図を図１に示す。また本実施形態における、撮像領域の縦横比に合わせて有効表示領域を狭めた場合の例を図２に示す。以下、各図を参照して本実施形態に係る構成について説明する。

図１は、本実施形態に係るビデオシースルー・タイプの頭部装着型映像表示装置における電気的なブロック構成を示したブロック図である。なお、各符号の後ろに付けられたＲ／Ｌの文字は右眼（Right eye）用／左眼（Left eye）用を意味しており各々ペアになっているため、以下の説明においてはＲ／Ｌを省いた形で説明することにする。

図１において、１０１は頭部装着型映像表示装置の頭部装着ユニットであり、１０１Ｒは右眼映像撮像表示ユニット、１０１Ｌは左眼映像撮像表示ユニットである。頭部装着ユニット１０１は、ユーザが頭部に装着して使用する。１００は頭部装着型映像表示装置の制御ユニットであり、１０２は頭部装着ユニット１０１と制御ユニット１００を接続するためのケーブルである。１０３はシステム全体を制御する制御装置である。制御装置１０３は、一般的に、ＰＣ（Personal Computer）やＷＳ（Workstation）等の情報処理装置により実現されるが、これに限られるわけではない。

１０４は制御ユニット１００から制御装置１０３へ撮像データを転送するＩＥＥＥ１３９４等の撮像ケーブルであり、１０４Ｒは右眼用撮像ケーブル、１０４Ｌは左眼用撮像ケーブルである。１０５は制御装置１０３から制御ユニット１００へ表示データを転送するＤＶＩ等の表示ケーブルであり、１０５Ｒは右眼用表示ケーブル、１０５Ｌは左眼用表示ケーブルである。１０６は制御ユニット１００から制御装置１０３へ位置／姿勢センサ１４０の情報を転送するＵＳＢ等のセンサケーブルである。

頭部装着ユニット１０１において、１１０はＣＣＤやＣＭＯＳエリアセンサ等の、動画の撮影を行う撮像素子である。即ち、撮像処理により撮像画像を生成する撮像素子１１０は、ユーザの目が観察する映像を撮像するために用いられるため、通常は、ユーザの目の位置の近傍に設けられる。１１１はアナログ信号において映像信号の画像処理を行うＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）、ＡＤＣ（アナログ−ディジタル変換器）等のアナログ画像処理部である。１２４は表示素子に対するコントローラやドライバ等の表示素子駆動部である。１２５はＬＣＤ（液晶）、ＥＬ素子等の表示用画像を表示する小型表示素子（表示手段）である。小型表示素子１２５は、撮像素子１１０とその画角が略一致するように設けられる。例えば、撮像素子１１０と小型表示素子１２５とを、その位置および視軸を略一致するように設けることで、これらの画角が略一致することになる。なお、小型表示素子１２５は、ユーザがその虚像を観察可能な位置に設けられる。１４０は頭部装着ユニット１０１の位置／姿勢（位置及び姿勢の少なくともいずれか）を検出する位置／姿勢センサである。

制御ユニット１００において、１３０はＣＰＵ等の制御部であり、頭部装着型映像表示装置の全体の動作を制御する。１１２はディジタル信号化された後の撮像画像処理を行うディジタル画像処理部であり、γ（ガンマ）補正、色相補正、輪郭補正、撮像光学系に対する歪補正、解像度変換等を実行する。１１３は画像処理された信号を所定のビデオフォーマットに変換して出力するＩＥＥＥ１３９４インタフェース等の撮影映像出力部である。１３１は撮像光学系に対する歪補正テーブル部であり、撮像光学系の歪みを補正するための歪み補正データを格納している。

また、１２０は制御装置１０３（ＰＣ等）からの表示映像を取り込むＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等の表示映像入力部である。１２２は表示映像入力部１２０から入力された表示画像に対して解像度やフレーム周波数を表示素子に合わせて変換して更に表示光学系に対する歪の補正を行い、その後モアレ除去等を行うためにローパスフィルタを掛ける表示映像変換部である。１３２は表示光学系に対する歪補正テーブル部であり、表示光学系の歪みを補正するための歪み補正データを格納している。

制御装置１０３において、１５０は位置／姿勢センサ１４０のデータを制御装置１０３に取り込むためのセンサ情報入力部である。１５１は入力された位置／姿勢情報（位置及び姿勢の少なくともいずれかを示す情報）に応じて左右眼用のＣＧ画像を生成するＣＧ画像生成部である。１５２は、制御ユニット１００の撮影映像出力部１１３から出力された撮像情報を制御装置１０３に取り込むための撮像映像入力部である。１５３は撮像映像入力部１５２から取り込まれた撮像映像（撮像画像）にＣＧ画像生成部１５１で生成されたＣＧ画像（仮想画像）を重畳する撮像映像／ＣＧ画像重畳部である。なお、仮想画像としてのＣＧ画像は、人物や物体を示す画像、文字を示す画像などどのようなものでもよい。１５４は撮像映像／ＣＧ画像重畳部１５３で重畳して生成された画像（表示用画像）を所望の画像に変換するための画像処理部である。１５５は所望の画像に変換された重畳画像を制御ユニット１００を介して頭部装着ユニット１０１へ出力するための表示映像出力部である。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。本実施形態では、説明の便宜のため、本実施形態に係る構成を、便宜上、頭部装着ユニット１０１、制御ユニット１００、制御装置１０３で実現した構成について述べるが、同等の機能を実現するならばこのような構成に限られない。例えば、全ての機能を頭部装着ユニット１０１で実現するなど、全てのリソースを一つのユニットに集約して実現してもよい。或いは、例えば、複数の装置にリソースを本実施形態で例示するものとは異なる態様で分散した構成によって実現してもよい。

（頭部装着型映像表示装置の動作）
図２は本実施形態における撮像領域の縦横比に合わせて有効表示領域を狭めた場合の例を示した図である。図２において、(a)は有効表示領域と有効撮像領域が一致し、双方の画角が一致している状態を示している。このとき表示領域の中心と撮像領域の中心は両素子の位置調整を容易にするために一致させている。(b)、(c)は(a)の有効領域を分かり易く撮像系および表示系に各々分けたものであり、(b)は有効撮像領域（撮像有効領域）、(c)は表示領域および有効表示領域（表示有効領域）を示している。

以下、図１、図２を参照して、６４０x４８０画素の撮像素子と１２８０x１０２４画素の表示素子を用いた場合の実際の動作に関して例示的に説明する。ただし、ここに挙げる画素数は一例であり、これに限られるわけではない。

撮像素子１１０で撮影された映像は図１に例示される回路構成でＰＣやＷＳ等のコンピュータへ転送される。そして、頭部到着型映像表示装置は、転送された映像にコンピュータ・グラフィックス（ＣＧ）や文字等を重畳した映像を図１に例示される回路構成により小型表示素子１２５で表示させる。即ち、まずＣＣＤやＣＭＯＳエリアセンサのような動画の撮影を行う撮像素子１１０により図２の(a)で例示される画角で図２の(b)に例示されるような画像（即ち６４０x４８０画素）が撮影される。撮影された映像に対しては、まず、アナログ画像処理部１１１においてＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）、ＡＤＣ（アナログ−ディジタル変換器）等の画像処理が、アナログ信号の状態で施される。次にディジタル画像処理部１１２においてγ（ガンマ）補正、色相補正、輪郭補正等の画像処理が、ディジタル化された映像に対して行われる。またディジタル画像処理部１１２では、さらに撮像光学系に対する歪補正テーブル部１３１のデータを元に撮像光学歪を補正するための画像処理が行われ、撮影映像出力部１１３へ転送される。画像処理を施された映像信号は撮影映像出力部１１３においてＩＥＥＥ１３９４インタフェース等により所定のビデオフォーマットに変換して撮像ケーブル１０４を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

また、位置／姿勢センサ１４０で検出された頭部装着ユニット１０１の位置／姿勢情報はＨＭＤケーブル１０２を経由して制御ユニット１００へ転送され、ＣＰＵ１３０にて所定のフォーマットに変換される。その後、ＵＳＢ等のセンサケーブル１０６を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

一方、ＰＣやＷＳ等の制御装置１０３では、前記位置／姿勢センサ１４０のデータをセンサ情報入力部１５０から取り込む。そして、取り込んだ位置／姿勢情報に応じてＣＧ画像生成部１５１Ｒで右眼用の、ＣＧ画像生成部１５１Ｌで左眼用のＣＧ画像（１２８０x９６０画素）を生成する。撮像映像入力部１５２で取り込まれた撮像映像情報（６４０x４８０画素）を縦横とも２倍の解像度（即ち１２８０x９６０画素）に変換した後、撮像映像／ＣＧ画像重畳部１５３で前記撮像映像にＣＧ画像生成部１５１で生成されたＣＧ画像を重畳する。ＣＧ画像を重畳された画像（１２８０x９６０画素）は、画像処理部１５４で図２の(c)に示されるよう、上下に３２ラインずつの黒データを付加（即ち１２８０x１０２４画素）される。即ち、ＣＧ画像を重畳された画像に黒データを付加して小型表示素子１２５の全領域分の表示データが生成される。ここで、黒データが付加された領域は、ユーザにとって有用ではない非有効領域としての役割を果たす。その後、表示映像出力部１５５を経由して重畳画像として頭部装着ユニット１０１へ出力される。

ＰＣやＷＳ等の制御装置１０３からの表示映像は表示映像入力部１２０においてＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等で受信して後段の処理回路で使用可能なディジタル・ビデオ信号（１２８０x１０２４画素）へ変換される。変換されたビデオ信号は表示映像変換部１２２にて小型表示素子１２５に最適な画像に変換され、また同時に、表示光学系に対する歪補正テーブル部１３２のデータを元に表示光学歪を補正するための画像処理が行われる。さらに画像処理が行われたビデオ信号に対してローパスフィルタ処理を行い、モアレ等の軽減を行う。次に各種画像処理が施されたビデオ信号は表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工される。そして、この加工されたビデオ信号に基づいて、ＬＣＤ（液晶）、ＥＬ素子等の小型表示素子１２５により映像（即ち１２８０x１０２４画素）が表示される。

このように、本実施形態に係る構成においては、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる場合、該有効撮像領域と該有効表示領域との少なくともいずれかを狭めることで、縦横比を一致させるように制御する。これにより表示画角と撮像画角を略一致させることができ、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、品質の高い複合現実感を提供可能な技術を提供することが可能となる。なお、本実施形態では、有効表示領域を狭める場合について例示的に説明したが、有効撮像領域を狭める構成については後述する。

また、本実施形態では、有効撮像領域と有効表示領域との少なくともいずれかを狭める場合、有効撮像領域に含まれる画素数と有効表示領域に含まれる画素数とを比較して、画素数の多い領域の縦横比を、画素数の少ない領域の縦横比に合わせるように狭める。このため、本実施形態に係る構成によれば、有効領域を狭めることによって失われる、ユーザが知覚可能な情報を最小限に抑えることが可能となる。

また、本実施形態では、有効撮像領域と有効表示領域との少なくともいずれかを狭める場合、該領域の、上端及び下端と、左端及び右端と、のいずれかから同じ幅の領域を狭める。このため、ユーザにとって有用な情報の喪失を最小限に抑えることが可能となる。

また、本実施形態では、有効表示領域を狭める場合、表示用画像に非有効領域を付加して小型表示素子１２５の全領域分の表示データを生成することにより、該有効表示領域を狭める。このため、撮像素子１１０で撮像された画像の全ての領域を表示することが可能となる。

なお上記実施形態において、撮像画像の解像度を縦横ともに２倍に変換する処理を撮像映像入力部１５２で行っているが、ディジタル画像処理部１１２で行うことも可能である。この場合、制御ユニット１００の回路が増え、撮像データの転送量が増えるという制約が生ずる反面、制御装置１０３での処理が高速化される効果が生ずる。

また上記実施形態において、縦方向の有効領域を狭める場合について説明を行ったが、横方向の有効領域を狭めることも同様に行うことが可能である。この場合、左右両側に数列ずつ黒データを付加することになる。

また、上記解像度は一例に過ぎず、他の解像度においても同様に実施可能であることは言うまでもない。

＜＜第２実施形態＞＞
第１実施形態では、必要に応じて、制御装置１０３において黒データを付加する構成について説明した。本実施形態では、小型表示素子１２５において黒データを付加する構成について説明する。

本実施形態に係る頭部装着型映像表示装置の構成は、第１実施形態と同様に図１で示される。また本実施形態における、撮像領域の縦横比に合わせて有効表示領域を狭めた場合の様子も、第１実施形態と同様に図２で示される。このため、以下、第１実施形態で説明した箇所は説明を省き、相違する箇所のみについて説明を行う。なお、図１および図２に関する説明は第１実施形態と同様のため省略する。

以下、上記２つの図を用いて、第１実施形態と同様に６４０x４８０画素の撮像素子と１２８０x１０２４画素の表示素子を用いた場合の実際の動作に関して説明する。なお、撮像系の処理の流れ、および位置／姿勢センサの処理の流れは第１実施形態と同様のため割愛し、制御装置１０３での処理および表示系での処理の流れについて説明する。

ＰＣやＷＳ等の制御装置１０３は、前記位置／姿勢センサ１４０のデータを、制御ユニット１００を経由してセンサ情報入力部１５０から取り込む。そして、取り込んだ位置／姿勢情報に応じてＣＧ画像生成部１５１Ｒで右眼用の、ＣＧ画像生成部１５１Ｌで左眼用のＣＧ画像（１２８０x９６０画素）を生成する。撮像映像／ＣＧ画像重畳部１５３で撮像映像入力部１５２から取り込まれた撮像映像情報（６４０x４８０画素）を縦横とも２倍の解像度（即ち１２８０x９６０画素）に変換した後、ＣＧ画像生成部１５１で生成されたＣＧ画像を重畳する。ＣＧ画像を重畳された画像（１２８０x９６０画素）は、画像処理部１５４で表示に好適な画像（１２８０x９６０画素）に変換された後、表示映像出力部１５５を経由して、重畳画像として頭部装着ユニット１０１へ出力される。

ＰＣやＷＳ等の制御装置１０３からの表示映像は表示映像入力部１２０においてＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等で受信して後段の処理回路で使用可能なディジタル・ビデオ信号（１２８０x９６０画素）へ変換される。変換されたビデオ信号は表示映像変換部１２２にて小型表示素子１２５に最適な画像に変換され、また同時に、表示光学系に対する歪補正テーブル部１３２のデータを元に表示光学歪を補正するための画像処理が行われる。さらに画像処理が行われたビデオ信号に対してローパスフィルタ処理を行い、モアレ等の軽減を行う。次に各種画像処理が施されたビデオ信号は表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工される。そして、この加工されたビデオ信号に基づいて、ＬＣＤ（液晶）、ＥＬ素子等の小型表示素子１２５の３３ライン目から映像（即ち１２８０x９６０画素）が表示される。このとき１ラインから３２ラインまでの画素および９９３ラインから１０２４ラインまでの画素は全て黒データでマスクするようにする。

このように、本実施形態に係る構成においても、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる場合、該有効撮像領域と該有効表示領域との少なくともいずれかを狭めることで、縦横比を一致させるように制御する。これにより表示画角と撮像画角を略一致させることができ、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、品質の高い複合現実感を提供可能な技術を提供することが可能となる。

なお上記実施形態において、撮像画像の解像度を縦横ともに２倍に変換する処理を撮像映像入力部１５２で行っているが、第１実施形態と同様にディジタル画像処理部１１２で行うことも可能である。この場合、制御ユニット１００の回路が増え、撮像データの転送量が増えるという制約が生ずる反面、制御装置１０３での処理が高速化される効果が生ずる。

また上記実施形態において、縦方向の有効領域の減少に関して説明を行ったが、横方向の有効領域の減少も同様に行うことが可能である。この場合、数列目から表示することになる。また、上記解像度は一例に過ぎず、他の解像度においても同様に実施可能であることは言うまでもない。

＜＜第３実施形態＞＞
第１実施形態、及び第２実施形態では有効表示領域が有効撮像領域よりも広い場合について例示的に説明した。即ち、縦方向の画素数、横方向の画素数の両方について、有効表示領域の方が有効撮像領域を上回っている場合について例示的に説明した。本実施形態では、有効撮像領域が有効表示領域よりも広い、即ち、縦方向の画素数、横方向の画素数の両方について、有効撮像領域の方が有効表示領域を上回っている場合について例示的に説明する。

本実施形態に係る頭部装着型映像表示装置の構成は、第１実施形態と同様に図１で示される。また、表示領域の縦横比に合わせて有効撮像領域を狭めた場合の例を図３に示す。上記第１実施形態で説明した箇所は説明を省き、違いのあるところのみについて説明を行う。図１に関する説明は上記第１実施形態と同じため省略する。

図３は本実施形態における表示領域の縦横比に合わせて有効撮像領域を狭めた場合の例を示す図である。図３において、(a)は有効表示領域と有効撮像領域が一致し、双方の画角が一致している状態を示している。このとき表示領域の中心と撮像領域の中心は両素子の位置調整を容易にするために一致させている。(b)、(c)は(a)の有効領域を分かり易く撮像系および表示系に各々分けたものであり、(b)は撮像領域および有効撮像領域（撮像有効領域）、(c)は有効表示領域（表示有効領域）を示している。

以下、上記２つの図を用いて、１２８０x１０２４画素の撮像素子と６４０x４８０画素の表示素子を用いた場合の実際の動作に関して例示的に説明する。撮像素子１１０で撮影された映像は、図１に示される回路構成でＰＣやＷＳ等のコンピュータへ転送され、転送された映像にコンピュータ・グラフィックス（ＣＧ）や文字等を重畳した映像を再度図１に示される回路構成により小型表示素子１２５で表示される。即ち、まずＣＣＤやＣＭＯＳエリアセンサのような動画の撮影を行う撮像素子１１０により図２の(a)で示される画角で図２の(b)に示されるような画像（即ち１２８０x１０２４画素）が撮影される。撮影された映像は、まずアナログ画像処理部１１１においてＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）、ＡＤＣ（アナログ−ディジタル変換器）等の画像処理をアナログ信号の状態で施される。次に、ディジタル画像処理部１１２において、γ（ガンマ）補正、色相補正、輪郭補正等の画像処理が、ディジタル化された映像に対して行われる。またディジタル画像処理部１１２では、さらに撮像光学系に対する歪補正テーブル部１３１のデータを元に撮像光学歪を補正するための画像処理が行われる。その後、図３の(b)に示されるように上下２箇所の不要な３２ラインずつのデータを削除して１２８０x９６０画素のデータに変換し、さらに縦横とも１/２の解像度（即ち６４０x４８０）に変換した後、撮影映像出力部１１３へ転送される。ここで、削除した領域は、不使用領域に該当する。画像処理を施された映像信号は撮影映像出力部１１３においてＩＥＥＥ１３９４インタフェース等により所定のビデオフォーマットに変換して撮像ケーブル１０４を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

また、位置／姿勢センサ１４０で検出された頭部装着ユニット１０１の位置／姿勢情報は、ＨＭＤケーブル１０２を経由して制御ユニット１００へ転送され、ＣＰＵ１３０にて所定のフォーマットに変換される。その後、ＵＳＢ等のセンサケーブル１０６を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

一方、ＰＣやＷＳ等の制御装置１０３は、前記位置／姿勢センサ１４０のデータをセンサ情報入力部１５０から取り込む。そして、取り込んだ位置／姿勢情報に応じてＣＧ画像生成部１５１Ｒで右眼用の、ＣＧ画像生成部１５１Ｌで左眼用のＣＧ画像（６４０x４８０画素）を生成する。撮像映像入力部１５２から取り込まれた撮像映像情報（６４０x４８０画素）には、撮像映像／ＣＧ画像重畳部１５３においてＣＧ画像生成部１５１で生成されたＣＧ画像が重畳される。そして、ＣＧ画像を重畳された画像（６４０x４８０画素）は、表示映像出力部１５５を経由して重畳画像として頭部装着ユニット１０１へ出力される。

ＰＣやＷＳ等の制御装置１０３からの表示映像は、表示映像入力部１２０においてＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等で受信して後段の処理回路で使用可能なディジタル・ビデオ信号（６４０x４８０画素）へ変換される。変換されたビデオ信号は、表示映像変換部１２２にて小型表示素子１２５に最適な画像に変換され、また同時に、表示光学系に対する歪補正テーブル部１３２のデータを元に表示光学歪を補正するための画像処理が行われる。さらに画像処理が行われたビデオ信号に対してローパスフィルタ処理を行い、モアレ等の軽減を行う。次に各種画像処理が施されたビデオ信号は表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工される。そして、この加工されたビデオ信号に基づいて、ＬＣＤ（液晶）、ＥＬ素子等の小型表示素子１２５により映像（即ち６４０x４８０画素）が表示される。

また、本実施形態では、有効撮像領域を狭める場合、表示用画像の不使用領域を削除して小型表示素子１２５の全領域分の表示データを生成することにより、該有効撮像領域を狭める。このため、黒データを付加する場合よりも大きな画像を表示することが可能となる。

なお上記実施形態において、撮像画像の解像度を縦横ともに１/２倍に変換する処理をディジタル画像処理部１１２で行っているが、撮像映像入力部１５２で行うことも可能である。この場合、撮像データの転送量が増え、制御装置１０３での処理が増えるという制約が生ずる反面、制御ユニット１００の回路が削減される効果が生ずる。

また上記実施形態において、縦方向の有効領域の減少に関して説明を行ったが、横方向の有効領域の減少も同様に行うことが可能である。この場合、左右両側の数列ずつの撮像データを削除することになる。また、上記解像度は一例に過ぎず、他の解像度においても同様に実施可能であることは言うまでもない。

なお、第１〜第３実施形態では、縦方向の画素数、横方向の画素数の両方について、有効表示領域と有効撮像領域のいずれかが他方を上回っている場合について例示的に説明した。しかし、一方が、縦方向の画素数については他方を上回っているが、横方向の画素数については他方を下回っている場合も、第１〜第３実施形態に係る構成を適用可能であることは明らかである。

また、本実施形態では、有効撮像領域を削除する場合について例示的に説明したが、第１、第２実施形態のように黒データを付加してもよい。

＜＜第４実施形態＞＞
本実施形態に係る頭部装着型映像表示装置は、第１実施形態と同様に図１で示される。また本実施形態における、変倍撮像光学系（変倍光学系）を用いて撮像領域の縦横比を表示領域の縦横比に合わせる場合の例を図４に示す。上記第１実施形態で説明した箇所は説明を省き、違いのあるところのみを記す。図１に関する説明は上記第１実施形態と同じため省略する。

図４は本実施形態に係る変倍撮像光学系を用いて撮像領域の縦横比を表示領域の縦横比に合わせる場合の例を示す図である。図４において、(a)は有効表示領域と有効撮像領域が一致し、双方の画角が一致している状態を示している。このとき表示領域の中心と撮像領域の中心は両素子の位置調整を容易にするために一致させている。(b)は撮像素子による撮像領域、(c)は変倍光学系を用いたときの撮像画像、(d)は補間処理を行うことにより表示領域の解像度に合わせた撮像画像、(e)はＣＧを重畳した表示画像を示している。

以下、上記２つの図を用いて、第１実施形態と同様に６４０x４８０画素の撮像素子と１２８０x１０２４画素の表示素子を用いた場合の実際の動作に関して説明する。ただし、これらのサイズは一例であり、これに限られない。

撮像素子１１０で撮影された映像は図１に示される回路構成でＰＣやＷＳ等のコンピュータへ転送され、転送された映像にコンピュータ・グラフィックス（ＣＧ）や文字等を重畳した映像を再度図１に示される回路構成により小型表示素子１２５で表示させる。即ち、まずアスペクト比を５：４から４：３へ変換するアナモフィックレンズ等の変倍光学系を用いて、図４の(a)で示される画角で撮像する。この変倍光学系は、光学的に有効撮像領域の縦横比を、有効表示領域の縦横比に一致させる。また、この変倍光学系は、領域を縦横方向に一様に変倍する。なお、アスペクト比は、ここに例示したものに限られるわけではない。

ＣＣＤやＣＭＯＳエリアセンサのような動画の撮影を行う図４の(b)に示される撮像素子１１０にて、図４の(c)に示されるように６４０x４８０画素で少し上下方向に押し潰されたような画像が撮影される。撮影された映像は、まずアナログ画像処理部１１１においてＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）、ＡＤＣ（アナログ−ディジタル変換器）等の画像処理をアナログ信号の状態で施される。次にディジタル画像処理部１１２においてγ（ガンマ）補正、色相補正、輪郭補正等の画像処理をディジタル化された映像に対して行われる。またディジタル画像処理部１１２では、さらに撮像光学系に対する歪補正テーブル部１３１のデータを元に撮像光学歪を補正するための画像処理が行われ、撮影映像出力部１１３へ転送される。画像処理を施された映像信号は撮影映像出力部１１３においてＩＥＥＥ１３９４インタフェース等により所定のビデオフォーマットに変換して撮像ケーブル１０４を経由してＰＣやＷＳ等の制御装置１０３へ出力される。また、位置／姿勢センサ１４０で検出された頭部装着ユニット１０１の位置／姿勢情報はＨＭＤケーブル１０２を経由して制御ユニット１００へ転送され、ＣＰＵ１３０にて所定のフォーマットに変換される。その後、ＵＳＢ等のセンサケーブル１０６を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

一方、ＰＣやＷＳ等の制御装置１０３は、前記位置／姿勢センサ１４０のデータをセンサ情報入力部１５０から取り込む。そして、取り込んだ位置／姿勢情報に応じてＣＧ画像生成部１５１Ｒで右眼用の、ＣＧ画像生成部１５１Ｌで左眼用のＣＧ画像（１２８０x１０２４画素）を生成する。撮像映像入力部１５２から取り込まれた撮像映像情報（６４０x４８０画素）は補間処理により図４の(d)に示されるように表示解像度と同じ解像度（即ち１２８０x１０２４画素）に変換される。その後、撮像映像／ＣＧ画像重畳部１５３においてＣＧ画像生成部１５１で生成されたＣＧ画像が重畳される。ＣＧ画像を重畳された画像（１２８０x１０２４画素）は、画像処理部１５４で表示に好適な画像に変換された後、表示映像出力部１５５を経由して重畳画像として頭部装着ユニット１０１へ出力される。

上記のように、本実施形態に係る構成は、撮像素子１１０の有効撮像領域の縦横比を、小型表示素子１２５の有効表示領域の縦横比に一致させる変倍光学系を備えている。そして、有効撮像領域に含まれる画素数を、有効表示領域に含まれる画素数に一致させるように、撮像画像又は表示用画像に対して画像処理を行う。これにより表示画角と撮像画角を略一致させた映像表示システムを提供することが可能となる。また、表示画像データおよび撮像画像データを無駄なく使用することが可能となり、画質の向上が見込まれる。従って、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、品質の高い複合現実感を提供可能な技術を提供することができる。

なお、上記実施形態において、撮像画像の解像度を表示解像度と同じ解像度に変換する処理を撮像映像入力部１５２で行っているが、第１実施形態と同様にディジタル画像処理部１１２で行うことも可能である。この場合、制御ユニット１００の回路が増え、撮像データの転送量が増えるという制約が生ずる反面、制御装置１０３での処理が高速化される効果が生ずる。また、上記解像度は一例に過ぎず、他の解像度においても同様に実施可能であることは言うまでもない。

＜＜第５実施形態＞＞
第４実施形態では、有効撮像領域の縦横比を、有効表示領域の縦横比に一致させる変倍光学系を備えた構成について説明した。本実施形態では、有効表示領域の縦横比を、有効撮像領域の縦横比に一致させる変倍光学系を備えた構成について説明する。

本実施形態に係る頭部装着型映像表示装置のブロック図を図１に示す。また本実施形態における、変倍接眼光学系（変倍光学系）を用いて表示領域の縦横比を撮像領域の縦横比に合わせる場合の例を図５に示す。上記第１実施形態で説明した箇所は説明を省き、違いのあるところのみを記す。図１に関する説明は上記第１実施形態と同じため省略する。

図５は本実施形態に係る変倍接眼光学系を用いて表示領域の縦横比を撮像領域の縦横比に合わせる場合の例を示す図である。図５において、(a)は有効表示領域と有効撮像領域が一致し、双方の画角が一致している状態を示している。このとき表示領域の中心と撮像領域の中心は両素子の位置調整を容易にするために一致させている。(b)は通常の光学系を用いたときの撮像画像、(c)はＣＧを重畳した表示画像、(d)は補間処理を行うことにより表示領域の解像度に合わせた表示画像、(e)は表示素子による表示領域を示している。

以下、上記２つの図を用いて、第１実施形態と同様に６４０x４８０画素の撮像素子と１２８０x１０２４画素の表示素子を用いた場合の実際の動作に関して説明する。ただし、これらのサイズは一例でありこれに限られない。

撮像素子１１０で撮影された映像は図１に示される回路構成でＰＣやＷＳ等のコンピュータへ転送され、転送された映像にコンピュータ・グラフィックス（ＣＧ）や文字等を重畳した映像を再度図１に示される回路構成により小型表示素子１２５で表示させる。即ち、まず通常の光学系を用いて、図５の(a)で示される画角で撮像する。ＣＣＤやＣＭＯＳエリアセンサのような動画の撮影を行う撮像素子１１０にて、図４の(b)に示されるように６４０x４８０画素の画像が撮影される。撮影された映像は、まずアナログ画像処理部１１１においてＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）、ＡＤＣ（アナログ−ディジタル変換器）等の画像処理をアナログ信号の状態で施される。次にディジタル画像処理部１１２においてγ（ガンマ）補正、色相補正、輪郭補正等の画像処理をディジタル化された映像に対して行われる。またディジタル画像処理部１１２では、さらに撮像光学系に対する歪補正テーブル部１３１のデータを元に撮像光学歪を補正するための画像処理が行われ、撮影映像出力部１１３へ転送される。画像処理を施された映像信号は撮影映像出力部１１３においてＩＥＥＥ１３９４インタフェース等により所定のビデオフォーマットに変換して撮像ケーブル１０４を経由してＰＣやＷＳ等の制御装置１０３へ出力される。

一方、ＰＣやＷＳ等の制御装置１０３は、前記位置／姿勢センサ１４０のデータをセンサ情報入力部１５０から取り込む。そして、取り込んだ位置／姿勢情報に応じてＣＧ画像生成部１５１Ｒで右眼用の、ＣＧ画像生成部１５１Ｌで左眼用のＣＧ画像（６４０x４８０画素）を生成する。撮像映像入力部１５２から取り込まれた撮像映像情報（６４０x４８０画素）は、撮像映像／ＣＧ画像重畳部１５３においてＣＧ画像生成部１５１で生成されたＣＧ画像を重畳し、図５の(c)に示されるような画像（６４０x４８０画素）を生成する。ＣＧ画像を重畳された画像は画像処理部１５４で補間処理により表示解像度に合わせた図５の(c)に示されるような少し縦長な画像（１２８０x１０２４画素）に変換される。その後、表示映像出力部１５５を経由して重畳画像として頭部装着ユニット１０１へ出力される。

ＰＣやＷＳ等の制御装置１０３からの表示映像は表示映像入力部１２０においてＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等で受信して後段の処理回路で使用可能なディジタル・ビデオ信号（１２８０x１０２４画素）へ変換される。変換されたビデオ信号は表示映像変換部１２２にて小型表示素子１２５に最適な画像に変換され、また同時に、表示光学系に対する歪補正テーブル部１３２のデータを元に表示光学歪を補正するための画像処理が行われる。さらに画像処理が行われたビデオ信号に対してローパスフィルタ処理を行い、モアレ等の軽減を行う。次に各種画像処理が施されたビデオ信号は表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工される。そして、この加工されたビデオ信号に基づいて、ＬＣＤ（液晶）、ＥＬ素子等の小型表示素子１２５により映像（即ち１２８０x１０２４画素）が表示される。アスペクト比を５：４から４：３へ変換する自由曲面接眼光学系（変倍光学系）を介して、この表示画像を観察するとアスペクト比４：３の正常な画像を観察することが可能となる。この変倍光学系は、小型表示素子１２５の有効表示領域の縦横比を、撮像素子１１０の有効撮像領域の縦横比に一致させる。また、この変倍光学系は、領域を縦横方向に一様に変倍する。なお、アスペクト比は、ここに例示したものに限られるわけではない。

上記のように、本実施形態に係る構成は、小型表示素子１２５の有効表示領域の縦横比を、撮像素子１１０の有効撮像領域の縦横比に一致させる変倍光学系を備えている。そして、有効撮像領域に含まれる画素数を、有効表示領域に含まれる画素数に一致させるように、撮像画像又は表示用画像に対して画像処理を行う。これにより表示画角と撮像画角を略一致させた映像表示システムを提供することが可能となる。また、表示画像データおよび撮像画像データを無駄なく使用することが可能となり、画質の向上が見込まれる。従って、有効撮像領域の縦横比と有効表示領域の縦横比とが異なる環境においても、品質の高い複合現実感を提供可能な技術を提供することができる。

なお上記実施形態において、撮像画像の解像度を表示解像度と同じ解像度に変換する処理を撮像映像入力部１５２で行っているが、第１実施形態と同様にディジタル画像処理部１１２で行うことも可能である。この場合、制御ユニット１００の回路が増え、撮像データの転送量が増えるという制約が生ずる反面、制御装置１０３での処理が高速化される効果が生ずる。また、上記解像度は一例に過ぎず、他の解像度においても同様に実施可能であることは言うまでもない。

なお、今までに説明してきた全ての実施形態において、コンピュータへの撮影映像出力信号をＩＥＥＥ１３９４、コンピュータからの表示映像入力信号をＤＶＩとして説明を行っているがこれに限られない。例えば、ディジタル・インタフェースであるＵＳＢや他の信号等でも同様に実施することが可能である。また、今までに説明してきた全ての実施形態において、右眼用ユニットおよび左眼用ユニットを共に備えた両眼用として説明を行っているが、片眼であっても同様に実施することは可能である。

＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

ビデオシースルー・タイプの頭部装着型映像表示装置における電気的なブロック構成を示したブロック図である。撮像領域の縦横比に合わせて有効表示領域を狭めた場合の例を示した図である。表示領域の縦横比に合わせて有効撮像領域を狭めた場合の例を示す図である。変倍撮像光学系を用いて撮像領域の縦横比を表示領域の縦横比に合わせる場合の例を示す図である。変倍接眼光学系を用いて表示領域の縦横比を撮像領域の縦横比に合わせる場合の例を示す図である。

Claims

撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記撮像手段の有効撮像領域の縦横比と、前記表示手段の有効表示領域の縦横比とが異なる場合、該有効撮像領域と該有効表示領域との少なくともいずれかを狭めることで、縦横比を一致させるように制御する制御手段
を備えることを特徴とする画像表示装置。
前記制御手段は、前記有効撮像領域と前記有効表示領域との少なくともいずれかを狭める場合、前記有効撮像領域に含まれる画素数と、前記有効表示領域に含まれる画素数とを比較して、画素数の多い領域の縦横比を、画素数の少ない領域の縦横比に合わせるように狭める
ことを特徴とする請求項１に記載の画像表示装置。
前記制御手段は、前記有効撮像領域と前記有効表示領域との少なくともいずれかを狭める場合、該領域の、上端及び下端と、左端及び右端と、のいずれかから同じ幅の領域を狭める
ことを特徴とする請求項１又は２に記載の画像表示装置。
前記制御手段は、前記有効表示領域を狭める場合、前記表示用画像に非有効領域を付加して前記表示手段の全領域分の表示データを生成することにより、該有効表示領域を狭める
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
前記制御手段は、前記有効撮像領域を狭める場合、前記表示用画像の不使用領域を削除して前記表示手段の全領域分の表示データを生成することにより、該有効撮像領域を狭める
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記撮像手段の有効撮像領域の縦横比を、前記表示手段の有効表示領域の縦横比に一致させる変倍光学系と、
前記有効撮像領域に含まれる画素数を、前記有効表示領域に含まれる画素数に一致させるように、前記撮像画像又は前記表示用画像に対して画像処理を行う画像処理手段と、
を備えることを特徴とする画像表示装置。
撮像処理により撮像画像を生成する撮像手段と、
前記撮像画像に仮想画像を重畳して表示用画像を生成する生成手段と、
前記表示用画像を表示する表示手段と、
を備える画像表示装置であって、
前記表示手段の有効表示領域の縦横比を、前記撮像手段の有効撮像領域の縦横比に一致させる変倍光学系と、
前記有効撮像領域に含まれる画素数を、前記有効表示領域に含まれる画素数に一致させるように、前記撮像画像又は前記表示用画像に対して画像処理を行う画像処理手段と、
を備えることを特徴とする画像表示装置。
前記変倍光学系は、領域を縦横方向に一様に変倍する
ことを特徴とする請求項６又は７に記載の画像表示装置。
コンピュータを請求項１乃至５のいずれか１項に記載の画像表示装置として機能させるためのプログラム。
請求項９に記載のプログラムを格納したコンピュータで読み取り可能な記憶媒体。