JP2018088604A - 画像表示装置、画像表示方法、システム - Google Patents

Abstract

【課題】 撮像画像と仮想空間画像との合成の精度の低下を引き起こすことなく、頭部装着型表示装置から画像処理装置へ送信する情報の情報量を削減するための技術を提供すること。
【解決手段】 撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得し、撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する。情報量削減画像と抽出情報とを外部装置に対して出力し、抽出情報に基づいて外部装置が生成した仮想空間の画像と情報量削減画像とに基づいて生成された合成画像を受信する。
【選択図】 図１

Description

本発明は、複合現実空間の画像の提示技術に関するものである。

近年、現実空間と仮想空間とを違和感なく融合させて提示する複合現実感（Mixed Reality、MR）技術の研究が盛んである。MR技術の中でも、現実空間に仮想空間を重ね合わせて提示するAugmented Reality（AR、拡張現実感とも呼ばれる）技術が特に注目を集めている。

ARの画像提示は、主にビデオシースルー方式、または光学シースルー方式により実現される。ビデオシースルー方式の場合には、ビデオカメラ等の撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間の画像を重畳した画像が提示される。仮想空間は、具体的にはコンピュータグラフィクス（ＣＧ）により描画された仮想物体や文字情報などにより構成される。光学シースルー方式の場合には、画像提示装置の位置及び姿勢に応じて生成された仮想空間の画像を透過型のディスプレイに表示し、観察者の網膜上で現実空間と仮想空間が合成されて認識される。

AR技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに実時間で正確に行うかであり、従来より多くの取り組みが行われてきた。ARにおける位置合わせの問題は、ビデオシースルー方式を利用する場合には、シーン中における（すなわちシーン中に規定される基準座標系における）撮像装置の位置及び姿勢を求める問題となる。また光学シースルー方式を用いる場合には、シーン中における画像提示装置の位置及び姿勢を求める問題となる。

ビデオシースルー方式を利用する場合における位置合わせを実現する方法の代表例としてシーン中に形状の情報が既知な人工的指標（マーカ）を配置し、指標を撮像装置で撮影して認識し、基準座標系における撮像装置の位置及び姿勢を求める手法が挙げられる。基準座標系における撮像装置の位置及び姿勢は、撮像装置が撮影した画像内における該指標の投影位置と、既知の情報である指標の基準座標系における３次元位置姿勢との対応関係から求められる。

一方で、人工的な指標を用いるのではなく、シーン中に元来存在する特徴（以下、自然特徴）を利用する位置合わせの研究が盛んに行われている。例えば特許文献１では、点、線から、または画像強度から直接、３次元構造や撮像装置の位置及び姿勢を求めるアルゴリズムが開示されている。

前述の、人工的指標を利用する手法、および自然特徴を利用する方法では、人工的指標、もしくは自然特徴の環境内における３次元位置、および画像上における２次元位置に基づいて撮像装置の位置及び姿勢が求まる。ここで、位置および姿勢の計算には、画像に写る全ての人工的指標、もしくは自然特徴を均等に利用することで最適解を求めている。

一方、従来より、画像の描画に必要な時間を短縮することを目的として、画像内のユーザが注視する領域付近のみを基の解像度、それ以外の領域を基以下の解像度で描画する手法（フォビエイテッドレンダリング）が提案されている。フォビエイテッドレンダリングは、ユーザが注視する領域に基づく画像描画の最適化手法の一種である。ユーザの見る焦点位置については高い品質で画像をレンダリングし、焦点位置から遠くなるほど品質を下げてレンダリングする方法により、ユーザの体感する画像品質と画像のレンダリングに必要な計算コストの双方を考慮した最適化を行う手法が開示されている。フォビエイテッドレンダリングは、人間は焦点位置から遠くなるほど認識できる視野情報の量が減少するために、画像の品質、例えば解像度などを下げても体感品質には影響しないという特性を利用した手法である。

ビデオシースルー方式のＨＭＤにおいては、現実世界と仮想世界とを重畳した画像を生成するために、現実世界のビデオ画像をレンダリングを担う外部演算装置に送る必要がある。しかし、高画質の現実世界の画像を送るには伝送負荷が高いという問題があり、上述したフォビエイテッドレンダリングと同様にユーザが注視しない領域を低解像度にして送ることで現実画像の伝送容量を削減することが考えられる。現実画像の取得乃至は伝送時において伝送容量を削減できる技術として、例えば、ユーザの視点を検出して、撮像装置は注目位置を高解像度で撮像することが特許文献３に開示されている。また、画像情報を送信者から受信者に伝送し、画像表示する画像通信方式において、受信者の注視点情報を送信側に伝達し、注視点部分のみを高解像度の画像情報として伝送することが特許文献２に開示されている。

特許第3651590号公報 特開昭53-35313号公報 特開平04-248793号公報

しかしながら、上記の特許文献では、現実世界と仮想世界とを重畳するために位置合わせを行う、という思想がない。そのため、特許文献２，３に開示された技術をそのままＭＲシステムに適用すると、低解像度化された領域にあるマーカ乃至は自然特徴による撮像装置の位置及び姿勢の検出の精度が低くなる。その結果、現実世界と仮想世界との重畳の精度低下や安定性の欠如を招くことになってしまう。

本発明はこのような問題に鑑みてなされたものであり、撮像画像と仮想空間画像との合成の精度の低下を引き起こすことなく、頭部装着型表示装置から画像処理装置へ送信する情報の情報量を削減するための技術を提供する。

本発明の一様態は、撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得手段と、前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、前記情報量削減画像と前記抽出情報とを外部装置に対して出力する出力手段と、前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信手段とを備えることを特徴とする。

本発明の構成によれば、撮像画像と仮想空間画像との合成の精度の低下を引き起こすことなく、頭部装着型表示装置から画像処理装置へ送信する情報の情報量を削減することができる。

システムの機能構成例を示すブロック図。 ＨＭＤ１００及びＰＣ２００のそれぞれが行う処理のフローチャート。 システムの機能構成例を示すブロック図。 システムの機能構成例を示すブロック図。 ＨＭＤ１００及びＰＣ２００のそれぞれが行う処理のフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ビデオシースルー型の頭部装着型表示装置としてのＨＭＤ１００と、ＨＭＤ１００に仮想空間と現実空間とを融合させた複合現実空間の画像を提示する画像処理装置としてのＰＣ（外部演算装置）２００とを有する。

先ず、ＨＭＤ１００について説明する。ＨＭＤ１００は、指標を含む現実空間を撮像して、撮像画像と該撮像画像中の指標に係る情報と、をＰＣ２００に対して送信する撮像部１と、ＰＣ２００から送信された複合現実空間の画像を表示する表示部２と、を有する。先ず、撮像部１について説明する。

画像入力部１１は、レンズと撮像素子とを有し、ＨＭＤ１００を自身の頭部に装着するユーザの左眼に対応する現実空間の動画像を撮像するものであり、撮像した各フレームの画像（撮像画像）は順次、後段の関連情報取得部１４に対して送出される。

画像入力部１２は、レンズと撮像素子とを有し、ＨＭＤ１００を自身の頭部に装着するユーザの右眼に対応する現実空間の動画像を撮像するものであり、撮像した各フレームの画像（撮像画像）は順次、後段の画像処理部１５に対して送出される。

関連情報取得部１４は、画像入力部１１から受けた撮像画像から指標を識別し、該指標の識別情報と、該撮像画像における該指標の画像座標と、を該撮像画像から関連情報として抽出する。例えば、指標として２次元バーコードが印刷された矩形のマーカを複数用いる場合、関連情報取得部１４は、撮像画像中に写っているマーカの領域を特定し、該領域内の２次元バーコードを認識して該マーカの識別情報等を取得する。また関連情報取得部１４は、該特定した領域の重心位置を撮像画像におけるマーカの画像座標として特定する。この場合、関連情報には、認識したマーカの識別情報、撮像画像におけるマーカの画像座標が含まれることになる。また、指標として、撮像画像中に写っている窓枠や机の辺等、元来現実空間中に存在する特徴（自然特徴）を用いてもよい。

何れにせよ関連情報取得部１４は、画像入力部１１及び画像入力部１２の位置姿勢を求めるために関連情報を収集しているため、画像入力部１１及び画像入力部１２の位置姿勢の算出に利用可能な情報であれば如何なる情報を関連情報として収集しても構わない。なお、関連情報取得部１４が撮像画像から抽出する指標に係る情報は、画像入力部１１及び画像入力部１２の位置姿勢を求めること以外に利用しても構わない。関連情報取得部１４は、処理回路として実装しても良いし、ＨＭＤ１００が有する不図示のプロセッサにより実行されるコンピュータプログラムとして実装しても良い。視線検知部１３は、レンズと撮像素子と画像処理回路とを有し、ＨＭＤ１００を頭部に装着したユーザの右眼及び左眼のそれぞれの視線方向を検知するものである。

画像処理部１５は、画像入力部１１から入力された撮像画像及び画像入力部１２から入力した撮像画像のそれぞれに対し、該撮像画像上で（ＨＭＤ１００を自身の頭部に装着している）ユーザが注視している位置（注視位置）から離れるほど解像度を低くするような解像度変換処理（フォビエイテッド画像処理等）を行う。画像入力部１１から入力した撮像画像上における注視位置は、ユーザの左眼が注視している位置であり、画像入力部１２から入力した撮像画像上における注視位置は、ユーザの右眼が注視している位置である。ここで、画像入力部１１から入力した撮像画像に対する上記の解像度変換処理について説明するが、画像入力部１２から入力した撮像画像についても同様の処理を行う。

先ず画像処理部１５は、画像入力部１１から入力した撮像画像上でユーザが注視している位置（注視位置）を、視線検知部１３が検知した視線方向に基づいて特定する。視線検知部１３が検知した視線方向に対応する撮像画像上の位置（即ち撮像画像上でユーザが注視している位置）を求める方法については周知の技術であるため、これについての詳細な説明は省略する。そして画像処理部１５は、撮像画像において注視位置を中心とする一辺がＬ１の方形領域Ｒ１の内部については解像度は変換しない。また画像処理部１５は、撮像画像において注視位置を中心とする一辺がＬ２（＞Ｌ１）の方形領域Ｒ２の内部且つ方形領域Ｒ１の外部については解像度を方形領域Ｒ１内の解像度よりも低くする。また画像処理部１５は、方形領域Ｒ２の外部については解像度を方形領域Ｒ１外且つ方形領域Ｒ２内の解像度よりも低くする。このようにして画像処理部１５は、注視位置から離れるほど解像度を低くするような解像度変換処理を撮像画像に対して行う。なお、ここで説明した解像度変換処理は一例であり、注視位置から離れるほど解像度を低くするような解像度変換処理であれば、如何なる処理であっても良い。このような解像度変換処理を行うことで、撮像画像の情報量を削減させることができる。なお、撮像画像の情報量を削減させるための処理は解像度変換処理に限らない。例えば、注視位置から離れるほど色数を減らすことで撮像画像の情報量を削減しても良い。つまり、注視位置を含む領域以外の領域の情報量を削減するような処理であれば良い。画像処理部１５は、処理回路として実装しても良いし、ＨＭＤ１００が有する不図示のプロセッサにより実行されるコンピュータプログラムとして実装しても良い。

送信部１６は、画像処理部１５により情報量が削減された撮像画像（画像入力部１１、１２のそれぞれから入力した撮像画像に対して解像度変換処理を行った撮像画像）と、関連情報取得部１４が撮像画像から抽出した関連情報と、をＰＣ２００に送信する。ＨＭＤ１００とＰＣ２００との間のデータ通信は、有線通信であっても良いし、無線通信であっても良いし、これらの組み合わせであっても良い。

次に、ＨＭＤ１００の表示部２について説明する。受信部２５は、ＰＣ２００から送信された複合現実空間の画像（ユーザの右眼に提示する画像と左眼に提示する画像）を受信する。

表示駆動部２３は、画像表示部２１が有するＬＣＤ，ＥＬ等の表示素子などの駆動制御を行うためのものであり、表示駆動部２４は、画像表示部２２が有するＬＣＤ，ＥＬ等の表示素子などの駆動制御を行うためのものである。

画像表示部２１は、ＨＭＤ１００を頭部に装着したユーザの左眼の眼前に位置するようにＨＭＤ１００に取り付けられたもので、表示素子と該表示素子上に表示された画像を拡大虚像として提示するための光学系等を有する。画像表示部２１は表示駆動部２３による駆動制御の元、受信部２５が受信した左眼用の複合現実空間の画像を表示する。

画像表示部２２は、ＨＭＤ１００を頭部に装着したユーザの右眼の眼前に位置するようにＨＭＤ１００に取り付けられたもので、表示素子と該表示素子上に表示された画像を拡大虚像として提示するための光学系等を有する。画像表示部２２は表示駆動部２４による駆動制御の元、受信部２５が受信した右眼用の複合現実空間の画像を表示する。

次に、ＰＣ２００について説明する。ＰＣ２００は、受信部３１、演算部３、送信部３６を有する。先ず受信部３１について説明する。受信部３１は、ＨＭＤ１００の送信部１６が送信した情報、すなわち、解像度変換処理済みの撮像画像と関連情報とを受信し、該受信した撮像画像及び関連情報を後段の演算部３に転送する。

次に、演算部３について説明する。位置姿勢演算部３２は、関連情報を用いて、該関連情報を抽出した撮像画像を撮像した画像入力部１１の位置姿勢を求める。例えば位置姿勢演算部３２は、関連情報に含まれているマーカの識別情報を用いて、該識別情報と対応付けて管理している該マーカの現実空間中の配置位置を取得する。そして位置姿勢演算部３２は、該取得した配置位置と、関連情報に含まれている該マーカの画像座標と、に基づいて画像入力部１１の位置姿勢を算出する。撮像画像中の指標に基づいて該撮像画像を撮像した機器の位置姿勢を算出する技術については周知の技術であるため、これについての詳細な説明は省略する。

記憶部３３には、画像入力部１１に対する画像入力部１２の相対的な位置姿勢を示す相対位置姿勢情報が登録されている。然るに位置姿勢演算部３２は、求めた画像入力部１１の位置姿勢に相対位置姿勢情報が示す位置姿勢を加えることで、画像入力部１２の位置姿勢を求める。

ＣＧ生成部３４は画像入力部１１の位置姿勢を有する視点（左視点）から見える仮想空間の画像を左眼用の仮想空間画像として生成すると共に画像入力部１２の位置姿勢を有する視点（右視点）から見える仮想空間の画像を右眼用の仮想空間画像として生成する。

画像処理部３５は、受信部３１が受信した「画像入力部１１による撮像画像に対して解像度変換処理を行った解像度変換処理済みの撮像画像」上に左眼用の仮想空間画像を重畳した合成画像を、左眼用の複合現実空間の画像として生成する。更に画像処理部３５は、受信部３１が受信した「画像入力部１２による撮像画像に対して解像度変換処理を行った解像度変換処理済みの撮像画像」上に右眼用の仮想空間画像を重畳した合成画像を、右眼用の複合現実空間の画像として生成する。

送信部３６は、画像処理部３５が生成した左眼用の複合現実空間の画像と、右眼用の複合現実空間の画像と、をＨＭＤ１００に対して送信する。左眼用の複合現実空間の画像は画像表示部２１に表示され、右眼用の複合現実空間は画像表示部２２に表示される。

次に、上記のＨＭＤ１００及びＰＣ２００のそれぞれが行う処理について、図２のフローチャートに従って説明する。なお、図２のフローチャートに従った処理は、１フレーム分の複合現実空間の画像をユーザの右眼及び左眼に対して提示するための処理である。然るに、図２のフローチャートに従った処理を繰り返し行うことで、複数フレームぶんの複合現実空間の画像をユーザの右眼及び左眼に対して提示することができる。

ステップＳ２１では、画像入力部１１は現実空間を撮像した撮像画像を後段の関連情報取得部１４に対して送出し、画像入力部１２は現実空間を撮像した撮像画像を後段の画像処理部１５に対して送出する。

ステップＳ２２では、関連情報取得部１４は、画像入力部１１から受けた撮像画像から関連情報を抽出する。ステップＳ２３では、視線検知部１３は、ＨＭＤ１００を頭部に装着したユーザの右眼及び左眼のそれぞれの視線方向を検知する。

ステップＳ２４では、画像処理部１５は、画像入力部１１から入力された撮像画像及び画像入力部１２から入力した撮像画像のそれぞれに対し、該撮像画像上における注視位置から離れるほど解像度を低くするような解像度変換処理を行う。

ステップＳ２５では、送信部１６は、画像処理部１５により情報量が削減された撮像画像と、関連情報取得部１４が撮像画像から抽出した関連情報と、をＰＣ２００に送信する。

ステップＳ２６では、受信部２５は、ＰＣ２００から送信された左眼用の複合現実空間の画像及び右眼用の複合現実空間の画像を受信する。ステップＳ２７では、画像表示部２１は、受信部２５が受信した左眼用の複合現実空間の画像を表示し、画像表示部２２は、受信部２５が受信した右眼用の複合現実空間の画像を表示する。

ステップＳ２１０では、受信部３１は、ステップＳ２５で送信部１６が送信した解像度変換処理済みの撮像画像と関連情報とを受信し、該受信した撮像画像及び関連情報を後段の演算部３に転送する。

ステップＳ２１１では、位置姿勢演算部３２は、関連情報を用いて、該関連情報を抽出した撮像画像を撮像した画像入力部１１の位置姿勢（左視点の位置姿勢）を求める。更に位置姿勢演算部３２は、求めた画像入力部１１の位置姿勢に、記憶部３３に登録されている相対位置姿勢情報が示す位置姿勢を加えることで、画像入力部１２の位置姿勢（右視点の位置姿勢）を求める。

ステップＳ２１２では、ＣＧ生成部３４は、左視点から見える仮想空間の画像を左眼用の仮想空間画像として生成し、右視点から見える仮想空間の画像を右眼用の仮想空間画像として生成する。

ステップＳ２１３では、画像処理部３５は、受信部３１が受信した「画像入力部１１による撮像画像に対して解像度変換処理を行った解像度変換処理済みの撮像画像」上に左眼用の仮想空間画像を重畳して左眼用の複合現実空間の画像を生成する。更に画像処理部３５は、受信部３１が受信した「画像入力部１２による撮像画像に対して解像度変換処理を行った解像度変換処理済みの撮像画像」上に右眼用の仮想空間画像を重畳して右眼用の複合現実空間の画像を生成する。

ステップＳ２１４では、送信部３６は、画像処理部３５が生成した左眼用の複合現実空間の画像と、右眼用の複合現実空間の画像と、をＨＭＤ１００に対して送信する。

以上説明した本実施形態に係るシステムによれば、ＨＭＤ１００からＰＣ２００に送信する情報の情報量は２枚の撮像画像と関連情報の合計の情報量となる。ここで、上記の解像度変換処理を施していない２枚の撮像画像の合計の情報量と、上記の解像度変換処理を施した２枚の撮像画像の合計の情報量と、の差分は関連情報の情報量よりも大きい。つまり、ＨＭＤ１００からＰＣ２００に上記の解像度変換処理を施していない２枚の撮像画像を送信するよりも、上記の解像度変換処理を施した２枚の撮像画像と関連情報とを送信した方が、送信する情報量は小さくなっている。つまり、本実施形態に係るシステムは少なくとも以下の２つの利点を有することになる。

（利点１） … 上記の解像度変換処理を施した撮像画像からではなく、上記の解像度変換処理を施していないオリジナル解像度の撮像画像から関連情報を抽出するので、指標の検出精度は上記の解像度変換処理に関係なく維持できる
（利点２） … ＨＭＤ１００側で撮像した左右の眼の撮像画像をそのままＰＣ２００に対して送信するよりも送信情報量を削減することができる
なお、本実施形態では、図１に示す如く、画像入力部１１から入力された撮像画像から関連情報を抽出した後、この撮像画像に対して上記の解像度変換処理を行うようにしたが。上記の（利点１）を実現可能な構成は、図１に示した構成に限らない。例えば、図１に示したＨＭＤ１００の構成の代わりに、図３に示したＨＭＤ１００の構成を採用しても良い。図３に示した構成では、画像入力部１１が入力した撮像画像は関連情報取得部１４と画像処理部１５とに入力され、関連情報取得部１４による関連情報の抽出処理と画像処理部１５による上記の解像度変換処理とを並行して行っている。

＜変形例１＞
ＨＭＤ１００は画像入力部１１及び画像入力部１２の２つを設けずに１つの画像入力部を設けるようにしても良い。この場合、ＨＭＤ１００は、画像表示部２１及び画像表示部２２の２つの代わりに１つの画像表示部を有することになる（これに合わせて表示駆動部も１つとなる）。

このとき関連情報取得部１４は、該１つの画像入力部による撮像画像から関連情報を抽出し、画像処理部１５は、この撮像画像に対して上記の解像度変換処理を行う。そして送信部１６は、上記１つの画像入力部による撮像画像から抽出された関連情報と、上記１つの画像入力部による撮像画像に対して上記の解像度変換処理を行った解像度変換処理済みの撮像画像と、をＰＣ２００に送信する。

位置姿勢演算部３２は、受信部３１が受信した関連情報に基づいて上記１つの画像入力部の位置姿勢を求め、ＣＧ生成部３４は、位置姿勢演算部３２が求めた位置姿勢を有する視点から見た仮想空間の画像を生成する。そして画像処理部３５は、受信部３１が受信した解像度変換処理済みの撮像画像と、ＣＧ生成部３４が生成した仮想空間の画像との合成画像を複合現実空間の画像として生成する。送信部３６は、画像処理部３５が生成した複合現実空間の画像をＨＭＤ１００に送信する。

そして上記１つの画像表示部には、ＰＣ２００から送信された複合現実空間の画像が表示されることになり、この複合現実空間の画像は、ユーザの右眼及び左眼で共有して観察することになる。

＜変形例２＞
第１の実施形態では、一方の眼の撮像画像のみから関連情報を抽出していたが、左眼及び右眼のそれぞれの撮像画像から関連情報を抽出するようにしても良い。この場合、位置姿勢演算部３２は、左眼の撮像画像から抽出した関連情報を用いて画像入力部１１の位置姿勢を算出し、右眼の撮像画像から抽出した関連情報を用いて画像入力部１２の位置姿勢を算出する。

［第２の実施形態］
本実施形態を含め、以下の各実施形態や変形例では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態に係るシステムの構成例について、図４のブロック図を用いて説明する。図４において図１に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。図４に示した構成は、図１に示した構成において関連情報取得部１４の代わりに取得部１７を設け、位置姿勢演算部３２及び記憶部３３を省いたものである。

取得部１７は、位置姿勢演算部３２と同様にして、画像入力部１１から入力した撮像画像中の指標に基づいて、画像入力部１１の位置姿勢を求めると共に、画像入力部１２から入力した撮像画像中の指標に基づいて、画像入力部１２の位置姿勢を求める。

更に取得部１７は、画像入力部１１からの撮像画像と画像入力部１２からの撮像画像との間の相関と、画像入力部１１と画像入力部１２との間の視差量と、を用いて、画像入力部１１及び画像入力部１２からの撮像画像中に写っているユーザの手の情報を求める。例えば、取得部１７は、撮像画像（左眼及び右眼のそれぞれの撮像画像）中における手の領域を規定する領域情報を生成する。領域情報は、撮像画像中で肌色の画素値を有する画素群の領域を示す情報であっても良いし、撮像画像中で肌色の画素値を有する画素群の領域を包含する矩形領域を示す情報であっても良い。更に取得部１７は、領域情報が規定する領域の中心位置（手の上の何れかの位置）の３次元位置を上記視差量を用いて求める。撮像画像中の手の領域を規定する領域情報を求めるための技術や、２つの異なる撮像位置から撮像した対象物の３次元位置を求めるための技術については周知であるため、これらの技術についての詳細な説明は省略する。そして取得部１７は、生成した領域情報と求めた３次元位置とを含む手情報を送信部１６に対して出力する。

そして送信部１６は、画像処理部１５により情報量が削減された撮像画像、画像入力部１１及び画像入力部１２のそれぞれの位置姿勢、手情報、をＰＣ２００に対して送信する。

本実施形態に係るシステムが有するＨＭＤ１００及びＰＣ２００のそれぞれが行う処理について、図５のフローチャートに従って説明する。図５において図２に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。また、図５のフローチャートに従った処理は、１フレーム分の複合現実空間の画像をユーザの右眼及び左眼に対して提示するための処理である。然るに、図５のフローチャートに従った処理を繰り返し行うことで、複数フレームぶんの複合現実空間の画像をユーザの右眼及び左眼に対して提示することができる。

ステップＳ５１では、画像入力部１１及び画像入力部１２は現実空間を撮像した撮像画像を後段の取得部１７に対して送出する。ステップＳ５２では、取得部１７は、画像入力部１１から入力した撮像画像から検出した指標に基づいて画像入力部１１の位置姿勢を求める。このときに用いる指標は第１の実施形態と同様、マーカであっても良いし、自然特徴であっても良い。同様にして取得部１７は、画像入力部１２から入力した撮像画像から検出した指標に基づいて画像入力部１２の位置姿勢を求める。更にステップＳ５２で取得部１７は、画像入力部１１及び画像入力部１２から入力した撮像画像間の相関と、画像入力部１１と画像入力部１２との間の視差量とを用いて、画像入力部１１及び画像入力部１２による撮像画像中の手の手情報を求める。

ステップＳ５５で送信部１６は、画像処理部１５により情報量が削減された撮像画像、取得部１７が求めた画像入力部１１及び画像入力部１２のそれぞれの位置姿勢、画像入力部１１及び画像入力部１２による撮像画像中の手の手情報、をＰＣ２００に送信する。

ステップＳ５１０では、受信部３１は、ステップＳ５５で送信部１６が送信した解像度変換処理済みの撮像画像、画像入力部１１及び画像入力部１２のそれぞれの位置姿勢、手情報、を受信する。

ステップＳ５１２では、ＣＧ生成部３４は、ステップＳ５１０で受信した画像入力部１１の位置姿勢を有する視点から見える仮想空間の画像を左眼用の仮想空間画像として生成する。またＣＧ生成部３４は、ステップＳ５１０で受信した画像入力部１２の位置姿勢を有する視点から見える仮想空間の画像を右眼用の仮想空間画像として生成する。

なお、左眼用の仮想空間画像を生成する場合であっても、右眼用の仮想空間画像を生成する場合であっても、撮像画像上に合成した場合にユーザの手の奥側に位置する仮想物体については描画しないようにする。例えば、左眼用の仮想空間画像を生成する場合、手情報に含まれている領域情報が規定する面領域を左視点に面を向けて、手情報に含まれている３次元位置に配置した場合に、左視点から見て該面領域に隠蔽される部分仮想空間については描画しないようにする。例えば左眼用の仮想空間画像においてこの部分仮想空間に相当する領域には特定の画素値（例えば０）を割り当てる。同様に、右眼用の仮想空間画像を生成する場合、手情報に含まれている領域情報が規定する面領域を右視点に面を向けて、手情報に含まれている３次元位置に配置した場合に、右視点から見て該面領域に隠蔽される部分仮想空間については描画しないようにする。例えば右眼用の仮想空間画像においてこの部分仮想空間に相当する領域には特定の画素値（例えば０）を割り当てる。

なお、撮像画像上に合成した場合にユーザの手の奥側に位置する仮想物体（仮想空間）については描画しないようにするための方法には様々な方法があり、上記の方法に限るものではない。

ステップＳ２１３では、仮想空間画像において特定の画素値（上記の例では０）が割り当てられた画素位置には撮像画像において対応する画素位置の画素値が合成されるようにして、複合現実空間の画像が生成される。

以上説明した本実施形態に係るシステムによれば、ＨＭＤ１００からＰＣ２００に送信する情報の情報量は、２枚の撮像画像、画像入力部１１及び画像入力部１２のそれぞれの位置姿勢、手情報、の合計の情報量となる。ここで、画像入力部１１及び画像入力部１２のそれぞれの位置姿勢及び手情報の合計情報量は、上記の関連情報の情報量よりも小さくなりうるケースがある。このようなケースの場合、本実施形態では、ＨＭＤ１００からＰＣ２００に送信する情報の情報量を第１の実施形態よりも削減することができる。なお、撮像画像中の全ての現実物体について領域情報及び３次元位置を求めてＰＣ２００に送信すると、ＨＭＤ１００からＰＣ２００への送信情報量は多くなる。しかし本実施形態では、仮想物体との前後関係が重要な手についてのみ領域情報及び３次元位置を求めてＰＣ２００に送信するようにしており、ＰＣ２００に送信する情報量をできるだけ削減している。

なお、本実施形態では、図４に示す如く、取得部１７による処理の後、画像処理部１５による処理を行った。しかし、画像入力部１１及び画像入力部１２が入力した撮像画像は取得部１７と画像処理部１５とに入力されるようにして、取得部１７による処理と画像処理部１５による処理とを並行して行っても良い。

［第３の実施形態］
第１，２の実施形態では、撮像画像上の注視位置は視線検知部１３が検出したユーザの視線方向に基づくものであった。しかし、注視位置の決定は視線検知部１３による検出結果に基づくことに限らない。例えば、撮像画像上の規定の位置（例えば撮像画像の中心位置）を注視位置として予め設置しておいても良い。この場合、視線検知部１３は省いても良い。

［第４の実施形態］
ＨＭＤ１００の代わりにタブレット端末装置やスマートフォン等の機器を使用しても構わない。また、以上説明した実施形態や変形例の一部若しくは全部を適宜組み合わせて新たなシステムを構成しても良い。

つまり、以上の各実施形態や変形例において説明したＨＭＤ１００は、次のような構成を有する画像表示装置の一例である。この画像表示装置は、撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得し、撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する。そして画像表示装置は、情報量削減画像と抽出情報とを外部装置に対して出力し、抽出情報に基づいて外部装置が生成した仮想空間の画像と情報量削減画像とに基づいて生成された合成画像を受信する。

［第５の実施形態］
図１，３，４に示したＰＣ２００の各機能部は全てハードウェアで実現しても良い。しかし、記憶部３３はメモリとして実装し、受信部３１及び送信部３６はインターフェース回路として実装し、それ以外の機能部をソフトウェア（コンピュータプログラム）として実装しても良い。この場合、記憶部３３をメモリとして有し、受信部３１及び送信部３６をインターフェース回路として有し、上記のコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置であればＰＣ２００に適用可能である。このようなコンピュータ装置のハードウェア構成例について、図６のブロック図を用いて説明する。

ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ６０１は、コンピュータ装置全体の動作制御を行うと共に、ＰＣ２００が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ６０２は、ＲＯＭ６０３や外部記憶装置６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）６０７を介してＨＭＤ１００から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ６０２は各種のエリアを適宜提供することができる。なお、上記の記憶部３３はＲＡＭ６０２で実装しても良い。ＲＯＭ６０３には書き換え不要の本コンピュータ装置の設定データやブートプログラムなどが格納されている。

操作部６０４は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ６０１に対して入力することができる。

表示部６０５は、ＣＲＴや液晶画面、プロジェクタ装置などにより構成されており、ＣＰＵ６０１による処理結果を画像や文字などでもって表示若しくは投影することができる。例えば、表示部６０５には、ＨＭＤ１００に対して出力するものとして説明した複合現実空間の画像（右眼用及び／又は左眼用の複合現実空間の画像）を表示しても良い。なお、操作部６０４と表示部６０５とを一体化させてタッチパネル画面を構成しても構わない。

外部記憶装置６０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置６０６には、ＯＳ（オペレーティングシステム）や、ＰＣ２００が行うものとして上述した各処理をＣＰＵ６０１に実行させるためのコンピュータプログラムやデータが保存されている。外部記憶装置６０６に保存されているコンピュータプログラムには、図１，３，４において受信部３１、送信部３６、記憶部３３を除く各機能部の機能をＣＰＵ６０１に実現させるためのコンピュータプログラムが含まれている。外部記憶装置６０６に保存されているデータには、上記の説明において既知の情報として取り扱った情報、例えば仮想空間を描画するためのデータ、指標の識別情報と該指標の現実空間中における配置位置との対応関係が含まれている。記憶部３３を外部記憶装置６０６を用いて実装する場合、外部記憶装置６０６には、画像入力部１１に対する画像入力部１２の相対的な位置姿勢を示す相対位置姿勢情報も保存されていることになる。外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。

Ｉ／Ｆ６０７は、ＨＭＤ１００を本コンピュータ装置に接続するためのインターフェースとして機能するものであり、上記の送信部３６、受信部３１として機能するものである。

バス６０８には、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、操作部６０４、表示部６０５、外部記憶装置６０６、Ｉ／Ｆ６０７が接続されている。なお、ＰＣ２００に適用可能なコンピュータ装置のハードウェア構成は図６に示した構成に限らない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１：画像入力部 １２：画像入力部 １３：視線検知部 １４：関連情報取得部 １５：画像処理部 １６：送信部 ２５：受信部 ２３：表示駆動部 ２４：表示駆動部 ２１：画像表示部 ２２：画像表示部

Claims (12)

1. 撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得手段と、
   前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
   前記情報量削減画像と前記抽出情報とを外部装置に対して出力する出力手段と、
   前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信手段と
   を備えることを特徴とする画像表示装置。
2. 前記取得手段は、前記撮像画像中に写っている指標の識別情報及び画像座標を前記抽出情報として取得することを特徴とする請求項１に記載の画像表示装置。
3. 前記取得手段は、前記撮像画像中に写っている指標に基づいて求めた該撮像画像の視点の位置姿勢を表す情報を前記抽出情報として取得することを特徴とする請求項１に記載の画像表示装置。
4. 更に、指標を含む現実空間の撮像画像を撮像する撮像手段を備えることを特徴とする請求項１乃至３の何れか１項に記載の画像表示装置。
5. 更に、ユーザの視線方向を検知する手段を備え、
   前記変換手段は、前記撮像画像においてユーザが注視している位置を前記視線方向に基づいて特定し、該特定した位置から離れるに従って情報量を削減した情報量削減画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像表示装置。
6. 前記取得手段による抽出情報の取得と、前記変換手段による情報量削減画像の生成と、は並行して行われることを特徴とする請求項１乃至５の何れか１項に記載の画像表示装置。
7. 更に、
   前記撮像画像中の手に係る情報を生成する手段を備え、
   前記出力手段は、前記情報量削減画像と前記抽出情報と前記手に係る情報とを前記外部装置に対して送信し、
   前記外部装置は、前記仮想空間の画像において前記手に係る情報によって規定される領域以外を前記撮像画像と合成した合成画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像表示装置。
8. 前記画像表示装置は、頭部装着型表示装置であることを特徴とする請求項１乃至７の何れか１項に記載の画像表示装置。
9. 前記画像表示装置は、タブレット端末装置であることを特徴とする請求項１乃至７の何れか１項に記載の画像表示装置。
10. 前記受信手段により受信した合成画像を表示する表示手段を更に備えることを特徴とする請求項１乃至９の何れか１項に記載の画像表示装置。
11. 画像表示装置が行う画像表示方法であって、
    前記画像表示装置の取得手段が、撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得工程と、
    前記画像表示装置の変換手段が、前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換工程と、
    前記画像表示装置の出力手段が、前記情報量削減画像と前記抽出情報とを外部装置に対して出力する出力工程と、
    前記画像表示装置の受信手段が、前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信工程と
    を備えることを特徴とする画像表示方法。
12. 画像表示装置と外部装置とを有するシステムであって、
    前記画像表示装置は、
    撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得手段と、
    前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
    前記情報量削減画像と前記抽出情報とを前記外部装置に対して出力する出力手段と、
    前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信手段と
    を備え、
    前記外部装置は、
    前記抽出情報に基づいて仮想空間の画像を生成し、該生成した仮想空間の画像と前記情報量削減画像とに基づいて合成画像を生成し、該生成した合成画像を前記画像表示装置に対して送信する手段を備える
    ことを特徴とするシステム。

Images