JP2018005778A - 画像表示装置、画像表示システムおよび画像表示方法 - Google Patents

Abstract

【課題】画像データの伝送エラー等が生じて画像に欠落が生じた場合に、ＨＭＤ装着者に違和感の少ないＭＲ画像を提示できるようにする。【解決手段】合成画像で欠落が発生すると、同画像を用いた処理結果であるＣＧ抽出画像も同じ領域が欠落したものとなる。一方、１つ前のフレームにおけるＣＧ抽出画像と、過去のＣＧオブジェクトの位置姿勢変化とから、ＣＧ推定画像を生成する。そして、このＣＧ推定画像と撮像画像とから、補間用画像を生成する。一方、合成画像において欠落が発生した場合は、表示用画像として補間用画像を全面表示するか、もしくは欠落部分のみを補間用画像で補間し、表示用画像とする。【選択図】図２

Description

本発明は、特に、撮像画像にＣＧ画像を重畳して表示するために用いて好適な画像表示装置、画像表示システム、画像表示方法およびプログラムに関する。

従来、現実空間と仮想空間とをリアルタイムに且つシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の中には、ビデオシースルー型ＨＭＤ（Head Mounted Display）を利用したＭＲシステムがある。ＭＲシステムでは、ＨＭＤに内蔵された撮像ユニットによって取得された現実空間画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳した合成画像をＨＭＤ装着者は観察できる。これらの画像は左右の眼に対応してそれぞれ独立しており、ステレオ動画像による立体的なＭＲ空間をＨＭＤ装着者に提示できる。

ＭＲシステムは一般に、現実空間の撮像およびＭＲ画像の表示を主に司るＨＭＤと、ＣＧ画像の生成や現実空間画像への重畳の他各種画像処理を主に司るＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＷＳ（ＷｏｒｋＳｔａｔｉｏｎ）とで構成される。また、両者の間では、金属または光ケーブル等による有線接続、またはワイヤレスＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等による無線接続によって画像データ等が伝送される。

上記ＭＲシステムでは、エラーその他何らかの理由によってデータ伝送が途切れた場合にもＨＭＤ装着者にできるだけ違和感をなくすため、欠落した画像データを補間する技術が知られている。特許文献１には、アクセスポイント切替時に発生する欠落フレームを、既に伝送されたＣＧ画像をＨＭＤの位置姿勢情報に応じて補正して撮像画像に重畳する方法が開示されている。

特開２００９−１１１５１１号公報

しかしながら、特許文献１に記載の方法では、画像合成時における表示装置の位置姿勢情報に基づいてＣＧ画像を補正するため、固定されずに動くオブジェクト（ＣＧ画像）に対しては補正が対応できないという課題がある。

本発明は前述の問題点に鑑み、画像データの伝送エラー等が生じて画像に欠落が生じた場合に、ＨＭＤ装着者に違和感の少ないＭＲ画像を提示できるようにすることを目的としている。

本発明に係る画像表示装置は、現実空間を撮像して撮像画像を生成する撮像手段と、前記撮像画像が生成されたときの位置姿勢情報を取得する取得手段と、前記撮像手段によって生成された撮像画像と前記位置姿勢情報とを、前記撮像画像にＣＧ画像を重畳する画像処理装置に送信する送信手段と、前記画像処理装置から前記撮像画像と前記ＣＧ画像とが重畳された合成画像を受信する受信手段と、前記撮像画像と、前記受信手段によって受信された合成画像とに基づいて、前記ＣＧ画像に相当するＣＧ抽出画像を抽出する抽出手段と、前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出し、前記算出した撮像画像の位置姿勢変化に基づいて、前記抽出手段によって過去に抽出されたＣＧ抽出画像の位置姿勢変化を算出する算出手段と、前記算出手段によって算出された位置姿勢変化に基づいて、前記受信手段によって最新に受信された合成画像のＣＧ画像に相当するＣＧ推定画像を推定する推定手段と、前記推定手段によって推定されたＣＧ推定画像と前記撮像手段によって最新に生成された撮像画像とを重畳して補間用画像を生成する生成手段と、前記生成手段によって生成された補間用画像を表示部に表示する表示制御手段と、を有することを特徴とする。

本発明によれば、画像データの伝送エラー等が生じて画像に欠落が生じた場合に、ＨＭＤ装着者に違和感の少ないＭＲ画像を提示することができる。

実施形態における画像表示システムの概要を説明するための図である。 実施形態に係る画像表示システムの内部構成例を示すブロック図である。 実施形態におけるＨＭＤ１０の動作手順の一例を示すフローチャートである。 画像に欠落が生じた場合の表示内容を設定する詳細な処理手順の一例を示すフローチャートである。 画像表示装置の動作について、時系列に沿った模式画像を用いて例示した図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態における画像表示システム１００の概要を説明するための図である。
図１に示すように、画像表示システム１００は、頭部装着型の画像表示装置（以下、ＨＭＤ）１０と、現実空間と仮想空間とが融合した複合現実（ＭＲ）空間の画像を生成してＨＭＤ１０に提供する画像処理装置９０とで構成されている。また、ＨＭＤ１０と画像処理装置９０とはケーブル２０で接続されている。なお、ケーブル２０は有線接続の通信経路として図示しているが、無線接続の通信経路を用いても構わない。

図２は、本実施形態に係る画像表示システム１００の内部構成例を示すブロック図である。なお、本実施形態の画像表示システム１００は右目用画像と左目用画像とを用いた立体画像を扱うため、ＨＭＤ１０内における位置姿勢センサ２０４以外の各構成要素は右目用と左目用とで対の構成となるが、図２では簡単化のため片方のみを示している。また、立体画像の撮像および表示に関する技術については公知であるため、詳細な説明は省略する。

画像処理装置９０は、位置検出部２５１、ＣＧ生成部２５２、および合成部２５３で構成されている。位置検出部２５１は、ＨＭＤ１０から伝送された現実空間の撮像画像およびＨＭＤ１０の位置姿勢情報に基づいて、ＣＧ画像を生成する位置や視線の角度などＣＧ画像の生成に必要な情報を出力する。ＣＧ生成部２５２は、位置検出部２５１から出力された情報に従って、所定のＣＧ画像を生成する。ここで、ＣＧ画像は、画像処理装置９０内のＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等に格納された不図示のＣＡＤデータを基にレンダリングされる。合成部２５３は、ＣＧ画像を現実空間の撮像画像に合成し、合成画像をＨＭＤ１０に出力する。

図３は、本実施形態におけるＨＭＤ１０の動作手順の一例を示すフローチャートである。以下、図２に記載のＨＭＤ１０の各構成の動作について、図３のフローチャートを参照しながら説明する。
撮像部２０１は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補性金属酸化膜半導体）等の撮像素子（イメージセンサ）、その光学系並びに制御回路とで構成される。まず、Ｓ３０１においては、不図示の制御部からの制御信号に基づいて設定された露光時間やセンサゲイン、露光開始タイミング等に従って、撮像部２０１は、現実空間の撮像画像を取得する。

そして、Ｓ３０２において、位置姿勢センサ２０４は、撮像タイミングと同期して、ＨＭＤ１０の位置姿勢を検出して位置姿勢情報を取得する。位置姿勢センサ２０４としては、３軸加速度＋３軸角速度センサを統合した６軸ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）センサモジュール等を用いる。また、位置姿勢センサ２０４は、取得したデータを画像処理装置９０へも送信する。

次に、Ｓ３０３において、撮像部２０１は、取得した撮像画像を画像処理装置９０に送信するとともに、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶素子からなる格納部２０２に撮像画像を格納する。格納部２０２は、最新の撮像画像のフレームに相当する合成画像を取得できるまで数フレーム相当を格納可能なサイズのリングバッファ等で構成される。

次に、Ｓ３０４において、抽出部２０５は、前述した手順に従って生成された合成画像を画像処理装置９０から受信する。なお、合成画像は、抽出部２０５、欠落検知部２０９、および表示制御部２０８へ送られる。抽出部２０５は、画像処理装置９０から取得した過去の合成画像をも保持している。

次に、Ｓ３０５において、抽出部２０５は、合成画像と、格納部２０２に格納された、合成画像と同タイミングの撮像画像とを用いてＣＧ成分を抽出し、ＣＧ抽出画像を生成する。ＣＧ成分の抽出方法としては、例えば合成画像と撮像画像との差分画像を二値化することでＣＧ成分の領域を検出し、合成画像の当該領域をＣＧ抽出画像とする方法が、最も簡単な例として挙げられる。その他、公知の画像検出アルゴリズムを種々適用可能である。また、抽出部２０５は、画像処理装置９０から取得した過去の合成画像およびＣＧ抽出画像を保持している。

位置姿勢情報生成部２０６は、位置姿勢センサ２０４で取得した過去の位置姿勢情報を保持している。次に、Ｓ３０６において、位置姿勢情報生成部２０６は、位置姿勢センサ２０４で取得したＨＭＤ１０の位置姿勢情報の履歴から位置姿勢変化を検出する。そして、ＨＭＤ１０の位置姿勢変化と、過去の複数の異なるフレームにおけるＣＧ抽出画像とから、フレーム間におけるＣＧ抽出画像（ＣＧオブジェクト）の位置姿勢変化を画像処理によって算出する。そして、位置姿勢情報生成部２０６は、算出結果を推定部２０７へ出力する。なお、ＣＧ抽出画像の中に複数の独立した動きをもったＣＧオブジェクトが存在した場合は、個々のオブジェクト毎に位置姿勢変化が異なる。この場合は、ＣＧオブジェクト毎に位置姿勢変化を算出するものとする。

次に、Ｓ３０７において、推定部２０７は、抽出部２０５より伝送された過去の一つ以上のフレームにおけるＣＧ抽出画像と、位置姿勢情報生成部２０６より取得した位置姿勢変化の情報とから、最新フレームにおけるＣＧ画像を推定する。そして、推定したＣＧ画像をＣＧ推定画像として生成し、生成したＣＧ推定画像を、再構成部２０３へ出力する。

次に、Ｓ３０８において、再構成部２０３は、格納部２０２に格納されている、最新フレームの合成画像に対応する撮像画像と、推定部２０７で生成されたＣＧ推定画像とに基づいて、最新フレームにおける合成画像を推定する。そして、再構成部２０３は、画像処理装置９０から出力された合成画像に欠落があった場合に用いる補間用画像を再構成する。そして、再構成された補間用画像を表示制御部２０８へ出力する。

次に、Ｓ３０９において、欠落検知部２０９は、画像処理装置９０から出力された合成画像における欠落状況を算出する。欠落状況の算出には、パリティチェック、チェックサム、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）等の一般的なエラーチェック方法を用いればよい。これらのチェックは、画像データのフレーム毎やライン毎にヘッダ情報を付与し、フレーム番号やライン番号と組み合わせてもよい。また、不図示の画像処理装置９０との画像データ通信を制御する通信部にて生成されるパケットロス情報を用いてもよい。これらを適宜組み合わせることによって、欠落検知部２０９は、画像データ欠落の有無並びに欠落箇所を特定することができ、その欠落箇所を画像欠落情報として表示制御部２０８へ出力する。

次に、表示制御部２０８は、欠落検知部２０９より取得した合成画像の画像欠落情報に基づいて、表示部２１０に表示する表示用画像を設定する。具体的には、Ｓ３１０において、表示制御部２０８は、欠落検知部２０９より取得した合成画像の画像欠落情報に基づいて、画像処理装置９０から出力された合成画像において欠落箇所が存在するか否かを判定する。この判定の結果、欠落箇所が存在しない場合は、Ｓ３１１において、表示制御部２０８は、合成画像を全面表示するよう設定する。一方、欠落箇所が存在する場合は、Ｓ３１２において、表示制御部２０８は、欠落状況に応じて適切な表示内容を設定する。なお、Ｓ３１２における表示内容を設定する詳細な手順については後述する。

表示部２１０は、ＯＬＥＤ（Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示素子（ディスプレイ）、その光学系並びに制御回路とで構成される。Ｓ２１３においては、表示制御部２０８は、設定した表示用画像を表示部２１０の表示素子に表示する。これにより、ＨＭＤ１０の装着者に対してＭＲ空間が提示されることになる。

なお、図３に示す各処理は、１フレーム毎に繰り返される。また、ソフトウェアプログラムによる処理ではなく論理回路等のハードウェアによって実装される場合には、図３に示すシーケンシャルな動作に限らず、明確な因果関係が必要でない処理については並列に動作させることが可能である。

図４は、前述のＳ３１２における表示内容を設定する詳細な処理手順の一例を示すフローチャートである。以下、図４を用いてＳ３１２における表示制御部２０８の動作例並びにその変形例について説明する。

図４（ａ）は、最も簡易な動作例を示しており、画像に欠落箇所が存在する場合に、Ｓ４０１において、表示制御部２０８は、再構成画像を全面表示するよう設定する。この例は、いわゆるフレーム欠落やフレームエラーの対処内容としても用いることができる。

図４（ｂ）は、画像の欠落量に基づく処理の例を示しており、Ｓ４１１において、表示制御部２０８は、画像の欠落割合が所定値（例えば全体の５０％）を超えているか否かをチェックする。このチェックの結果、所定値（５０％）を超えている場合は、Ｓ４１２において、表示制御部２０８は、再構成画像を全面表示するよう設定する。一方、所定値以下（５０％以下）の場合には、Ｓ４１３において、表示制御部２０８は、欠落箇所のみ再構成画像を表示し、それ以外は合成画像を表示するよう設定する。つまり、表示制御部２０８は、再構成画像から欠落領域を切り取り、画像処理装置９０から出力された合成画像に補間して表示するよう設定する。このように、欠落割合が５０％を超えている場合は再構成画像を全面表示するよう設定するので、ＨＭＤ装着者に違和感の少ないＭＲ画像を提供することができる。

図４（ｃ）は、画像の欠落場所に基づく処理の例を示しており、Ｓ４２１において、表示制御部２０８は、画像の欠落領域にＣＧ領域と重複する領域があるか否かをチェックする。このチェックの結果、重複領域がある場合は、Ｓ４２２において、表示制御部２０８は、再構成画像を全面表示するよう設定する。一方、重複領域がない場合は、Ｓ４２３において、表示制御部２０８は、欠落領域のみ再構成画像を表示し、それ以外は合成画像を表示するよう設定する。つまり、表示制御部２０８は、再構成画像から欠落領域を切り取り、画像処理装置９０から出力された合成画像に補間して表示するよう設定する。このように、ＣＧ領域と重複する場合は再構成画像を全面表示するよう設定するので、ＨＭＤ装着者に違和感の少ないＭＲ画像を提供することができる。

図４（ｄ）は、画像の欠落量と欠落場所との組み合わせに基づく処理の例を示しており、まず、Ｓ４３１において、表示制御部２０８は、画像の欠落割合が所定値（全体の５０％）を超えているか否かをチェックする。このチェックの結果、所定値（５０％）を超えている場合は、Ｓ４３２において、表示制御部２０８は、再構成画像を全面表示するよう設定する。一方、所定値以下（５０％以下）である場合には、Ｓ４３３において、表示制御部２０８は、画像の欠落領域にＣＧ領域と重複する領域があるか否かをチェックする。このチェックの結果、重複領域がある場合は、Ｓ４３２に進み、表示制御部２０８は、再構成画像を全面表示するよう設定する。一方、重複領域がない場合には、Ｓ４３４において、表示制御部２０８は、欠落領域のみ再構成画像を表示し、それ以外は合成画像を表示するよう設定する。つまり、表示制御部２０８は、再構成画像から欠落領域を切り取り、画像処理装置９０から出力された合成画像に補間して表示するよう設定する。

なお、上述した欠落量の閾値や欠落場所の特徴、並びに組み合わせの方法について、この限りではなく、システムおよびその使用目的に応じて適宜設定すればよい。

図５は、画像表示システム１００の画像表示装置１０の動作について、時系列に沿った模式画像を用いて例示した図である。図５において、撮像部２０１から出力される撮像画像をＡ群とし、画像処理装置９０から出力される合成画像をＢ群としている。また、抽出部から出力されるＣＧ抽出画像をＣ群とし、推定部２０７から出力されるＣＧ推定画像をＤ群とし、再構成部２０３から出力される補間用画像をＥ群としている。

また、横方向に４列ある時系列は、左から順にフレーム（Ｎ−２）、フレーム（Ｎ−１）、フレームＮ、フレーム（Ｎ＋１）としている。図５においては、例えばフレーム（Ｎ−２）時点での撮像画像はＡ（Ｎ−２）、フレーム（Ｎ＋１）時点での補間用画像はＥ（Ｎ＋１）としている。なお、各列はある撮像タイミングにおける一つの撮像画像に基づいた同一フレームではあるものの、同時刻に処理されるものではない。各種画像処理や装置間伝送等に時間を要するため、例えばある撮像画像を生成してから、これに対応する合成画像を得られるまで、解像度にも依存するものの、数フレーム分のレイテンシが存在する。

また、以下の説明では、フレーム間を表す方法として、フレーム（Ｎ−２）とフレーム（Ｎ−１）との間を２１、フレーム（Ｎ−１）とフレームＮとの間を１０、フレームＮとフレーム（Ｎ＋１）との間を０１、と定義する。さらに、撮像画像と紐付く位置姿勢センサ２０４の出力データから算出される位置姿勢変化の情報群をａとし、位置姿勢情報生成部２０６から出力されるＣＧ抽出画像（ＣＧオブジェクト）の位置姿勢変化の情報群をｃとする。これにより、例えば撮像画像Ａ（Ｎ−２）から撮像画像Ａ（Ｎ−１）までのＨＭＤ１０の位置姿勢変化をａ２１とし、ＣＧ抽出画像Ｃ（Ｎ−１）からＣＧ抽出画像Ｃ（Ｎ）までのＣＧオブジェクトの位置姿勢変化をｃ１０とする。なお、図５に示す例では、ＣＧオブジェクトは自動車オブジェクトの１つのみであるため、ＣＧオブジェクトはＣＧ抽出画像に等しい。

図５に示す例は、ＨＭＤ１０の装着者が左方向に移動しながら家を見ている例である。そして、合成画像には、左方向に通過する自動車が画像処理装置９０によってＣＧオブジェクトとして重畳されている。ここで、フレームＮにおける合成画像Ｂ（Ｎ）で斜線部に示す範囲で欠落が発生した場合について説明する。

合成画像Ｂ（Ｎ）で欠落が発生すると、同画像を用いた処理結果であるＣＧ抽出画像Ｃ（Ｎ）も同じ領域が欠落したものとなる。一方、１つ前のフレームにおけるＣＧ抽出画像Ｃ（Ｎ−１）と、過去のＣＧオブジェクトの位置姿勢変化ｃ２１、ｃ３２、・・・とから、推定部２０７によりＣＧ推定画像Ｄ（Ｎ）が生成される。また、このＣＧ推定画像Ｄ（Ｎ）と撮像画像Ａ（Ｎ）とから、再構成部２０３により補間用画像Ｅ（Ｎ）も生成される。したがって、図４（ａ）〜図４（ｄ）の何れかの手順により、表示制御部２０８は欠落部分を修復して表示設定を行うことができる。

ここで、図５に示す例では、合成画像Ｂ（Ｎ）に応じてＣＧ抽出画像Ｃ（Ｎ）にも欠落が発生するため、欠落が発生した次のフレームのＣＧ推定画像Ｄ（Ｎ＋１）を生成するために用いるデータが若干変更される。ＣＧ抽出画像Ｃ（Ｎ）の欠落状況によって、その前後のＣＧ抽出画像の位置姿勢変化ｃ１０、ｃ０１が充分に検出できない場合もある。したがって、そのような場合は、以下の処理を行うようにする。

まず、欠落が発生する以前のＣＧ抽出画像の位置姿勢変化ｃ２１、ｃ３２、・・・から、想定される位置姿勢変化（ｃ１０＋ｃ０１に相当する部分）を外挿し、これとＣＧ抽出画像Ｃ（Ｎ−１）とに基づいてＣＧ推定画像Ｄ（Ｎ＋１）を生成する。ＣＧ抽出画像Ｃ（Ｎ）の欠落していない領域から位置姿勢変化ｃ１０、ｃ０１が検出可能な場合は、双方の手法を組み合わせてもよい。なお、２フレーム以上連続して合成画像に欠落が発生した場合も同様の処理を行うことで対応できる。つまり、欠落が発生した最初のフレーム以前のデータを用いて、欠落が発生した２つ目以降のフレームに相当するＣＧ推定画像を生成する。

以上、本実施形態では、上記説明した通りのシステム構成によって合成画像内の欠落の修復を行ったが、本発明はこれによって何ら限定されるものではない。例えば、欠落検知部２０９における合成画像の欠落状況について、前述したエラーチェック情報に基づく方法の他にも、合成画像と補間用画像との差分画像に基づいて算出してもよい。この場合、再構成部２０３から欠落検知部２０９へ補間用画像が出力されることになる。

以上説明したように、本実施形態画像表示システムによれば、画像データの伝送エラー等により生じた画像欠落を修復し、ＨＭＤ装着者に違和感の少ないＭＲ画像を提示することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態においては、位置姿勢情報生成部２０６の機能以外の基本的な構成および処理プロセスは第１の実施形態と同様であるため、詳細な説明は省略する。以下、第１の実施形態と異なる点について説明する。

図２において、位置姿勢情報生成部２０６は、３つの機能を有する。まず、第１の機能として、複数の異なるフレームの撮像画像から画像処理によってＨＭＤ１０の位置姿勢変化を検出する。画像処理による方法では、撮像画像内の特徴量（例えばオブジェクト）の位置姿勢変化を検出してもよいし、ＣＧを合成するために設置するマーカの位置姿勢変化を検出してもよい。

第２の機能としては、ＨＭＤ１０の位置姿勢変化の情報として、第１の機能にて検出したデータのみを用いるか、それに加えて位置姿勢センサ２０４の出力データとの双方を用いるかを選択する。第３の機能としては、第２の機能により選択されたＨＭＤ１０の位置姿勢変化の情報と、過去の複数の異なるフレームのＣＧ抽出画像とから、画像処理によりフレーム間におけるＣＧ抽出画像の位置姿勢変化を算出する。本実施形態では、図５において、ＨＭＤ１０の位置姿勢変化の情報群ａは、撮像画像内の特徴量またはマーカの位置姿勢変化、もしくはこれに位置姿勢センサ２０４の出力データを組み合わせた位置姿勢変化の情報群となる。これにより、撮像画像の位置姿勢変化をより正確に求めることができる。

以上説明したように、本実施形態に係る画像表示システムによれば、画像データの伝送エラー等により生じた画像の欠落を修復し、ＨＭＤ装着者により違和感の少ないＭＲ画像を提示することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 撮像部
２０３ 再構成部
２０４ 位置姿勢センサ
２０５ 抽出部
２０６ 位置姿勢情報生成部
２０７ 推定部
２０８ 表示制御部

Claims (13)

1. 現実空間を撮像して撮像画像を生成する撮像手段と、
   前記撮像画像が生成されたときの位置姿勢情報を取得する取得手段と、
   前記撮像手段によって生成された撮像画像と前記位置姿勢情報とを、前記撮像画像にＣＧ画像を重畳する画像処理装置に送信する送信手段と、
   前記画像処理装置から前記撮像画像と前記ＣＧ画像とが重畳された合成画像を受信する受信手段と、
   前記撮像画像と、前記受信手段によって受信された合成画像とに基づいて、前記ＣＧ画像に相当するＣＧ抽出画像を抽出する抽出手段と、
   前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出し、前記算出した撮像画像の位置姿勢変化に基づいて、前記抽出手段によって過去に抽出されたＣＧ抽出画像の位置姿勢変化を算出する算出手段と、
   前記算出手段によって算出された位置姿勢変化に基づいて、前記受信手段によって最新に受信された合成画像のＣＧ画像に相当するＣＧ推定画像を推定する推定手段と、
   前記推定手段によって推定されたＣＧ推定画像と前記撮像手段によって最新に生成された撮像画像とを重畳して補間用画像を生成する生成手段と、
   前記生成手段によって生成された補間用画像を表示部に表示する表示制御手段と、
   を有することを特徴とする画像表示装置。
2. 前記受信手段によって受信された合成画像の欠落を検知する欠落検知手段を更に有し、
   前記表示制御手段は、前記欠落検知手段によって欠落が検知された場合に、前記補間用画像を表示部に表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記欠落検知手段により欠落が検知され、該欠落の割合が所定値以下である場合に、前記表示制御手段は、前記補間用画像のうちの前記欠落した領域を前記合成画像に補間し、前記補間された合成画像を前記表示部に表示することを特徴とする請求項２に記載の画像表示装置。
4. 前記欠落検知手段により欠落が検知され、該欠落の領域が前記ＣＧ画像に相当する領域と重なっていない場合に、前記表示制御手段は、前記補間用画像のうちの前記欠落した領域を前記合成画像に補間し、前記補間された合成画像を前記表示部に表示することを特徴とする請求項２に記載の画像表示装置。
5. 前記欠落検知手段により欠落が検知され、該欠落の割合が所定値以下であり、かつ該欠落の領域が前記ＣＧ画像に相当する領域と重なっていない場合に、前記表示制御手段は、前記補間用画像のうちの前記欠落した領域を前記合成画像に補間し、前記補間された合成画像を前記表示部に表示することを特徴とする請求項２に記載の画像表示装置。
6. 前記欠落検知手段は、前記受信手段によって受信された合成画像のパケットロス情報に基づいて欠落を検知することを特徴とする請求項２〜５の何れか１項に記載の画像表示装置。
7. 前記欠落検知手段は、前記合成画像と前記補間用画像との差分に基づいて欠落を検知することを特徴とすることを特徴とする請求項２〜５の何れか１項に記載の画像表示装置。
8. 前記取得手段は、前記画像表示装置の位置姿勢を検出するセンサを用いて前記位置姿勢情報を取得することを特徴とする請求項１〜７の何れか１項に記載の画像表示装置。
9. 前記算出手段は、前記取得手段によって取得された位置姿勢情報の履歴に基づいて前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出することを特徴とする請求項１〜８の何れか１項に記載の画像表示装置。
10. 前記算出手段は、前記撮像手段によって過去に生成された撮像画像の中の特徴量またはマーカの変化を検出することにより、前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出することを特徴とする請求項１〜８の何れか１項に記載の画像表示装置。
11. 請求項１〜１０の何れか１項に記載の画像表示装置と、前記画像処理装置とを有することを特徴とする画像表示システム。
12. 現実空間を撮像して撮像画像を生成する撮像手段を有する画像表示装置の画像表示方法であって、
    前記撮像画像が生成されたときの位置姿勢情報を取得する取得工程と、
    前記撮像手段によって生成された撮像画像と前記位置姿勢情報とを、前記撮像画像にＣＧ画像を重畳する画像処理装置に送信する送信工程と、
    前記画像処理装置から前記撮像画像と前記ＣＧ画像とが重畳された合成画像を受信する受信工程と、
    前記撮像画像と、前記受信工程において受信された合成画像とに基づいて、前記ＣＧ画像に相当するＣＧ抽出画像を抽出する抽出工程と、
    前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出し、前記算出した撮像画像の位置姿勢変化に基づいて、前記抽出工程において過去に抽出されたＣＧ抽出画像の位置姿勢変化を算出する算出工程と、
    前記算出工程において算出された位置姿勢変化に基づいて、前記受信工程において最新に受信された合成画像のＣＧ画像に相当するＣＧ推定画像を推定する推定工程と、
    前記推定工程において推定されたＣＧ推定画像と前記撮像手段によって最新に生成された撮像画像とを重畳して補間用画像を生成する生成工程と、
    前記生成工程において生成された補間用画像を表示部に表示する表示制御工程と、
    を有することを特徴とする画像表示方法。
13. 現実空間を撮像して撮像画像を生成する撮像手段を有する画像表示装置を制御するためのプログラムであって、
    前記撮像画像が生成されたときの位置姿勢情報を取得する取得工程と、
    前記撮像手段によって生成された撮像画像と前記位置姿勢情報とを、前記撮像画像にＣＧ画像を重畳する画像処理装置に送信する送信工程と、
    前記画像処理装置から前記撮像画像と前記ＣＧ画像とが重畳された合成画像を受信する受信工程と、
    前記撮像画像と、前記受信工程において受信された合成画像とに基づいて、前記ＣＧ画像に相当するＣＧ抽出画像を抽出する抽出工程と、
    前記撮像手段によって過去に生成された撮像画像の位置姿勢変化を算出し、前記算出した撮像画像の位置姿勢変化に基づいて、前記抽出工程において過去に抽出されたＣＧ抽出画像の位置姿勢変化を算出する算出工程と、
    前記算出工程において算出された位置姿勢変化に基づいて、前記受信工程において最新に受信された合成画像のＣＧ画像に相当するＣＧ推定画像を推定する推定工程と、
    前記推定工程において推定されたＣＧ推定画像と前記撮像手段によって最新に生成された撮像画像とを重畳して補間用画像を生成する生成工程と、
    前記生成工程において生成された補間用画像を表示部に表示する表示制御工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images