JP2022105044A - 画像処理装置と、その処理方法、プログラム - Google Patents

Abstract

【課題】体験者の状態により合成画像のブレ補正を制御し、使い勝手のよい画像処理装置、方法及びプログラムを提供する。【解決手段】画像処理装置としてのＰＣ１００は、体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成手段と、生成手段が生成した合成画像を体験者の利用する第１表示装置（ＨＭＤ１０１）に出力する第１出力手段と、合成画像を用いてブレ補正された合成画像を第２表示装置（外部ディスプレイ１６０）に出力する第２出力手段と、を備える。第２出力手段は、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、生成手段が生成した合成画像を第２表示装置に出力する。【選択図】図１

Description

本発明は、合成画像のブレ補正に係る技術に関するものである。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いることで、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに対し、現実画像にＣＧモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界（複合現実空間）を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置とＣＧモデルの位置とを、センサや二次元マーカを用いて特定する手法が取られている。

特許文献２には、客観カメラにより撮影された体験者を含む画像と、体験者が体験している際に映し出されるＣＧ画像と、を合成して、ディスプレイに表示する技術が開示されている。

このように、単に体験者に画像を表示するばかりでなく、体験者が見ている画像や、体験者の体験状態を映し出すことが一般的に行われている。

特開２００３－３０８５１４号公報 特開２０１５－１７０２３２号公報

上述したように、ＭＲでは、体験者の見ている映像を外部ディスプレイに表示（体験者のＨＭＤに表示されている映像と同じ映像を表示）して、体験していない人が外部から確認することがある。

この場合、体験者は移動しているため、ＨＭＤで撮影した現実画像（動画）はブレが大きくなる（多くのブレが発生する）。体験者は自分の動きに合わせてＨＭＤに現実画像を用いて生成されたＭＲ画像が表示されるため、ブレとなるような表示があっても違和感がないものの、体験していない人は自分の動きとは関係ない映像（ブレのある映像）を外部ディスプレイで見ているため気分がわるくなる（酔いやすい）ということが発生する。

特に、外部ディスプレイは大型のディスプレイを用いていることが多く、よりブレが大きく感じることがあり、ＨＭＤに表示している映像は体験していない人には適さないという問題があった。

一方、体験していない人であっても、体験者の実際の作業状態を見る必要が場合（検証作業などの場合）、体験者のＨＭＤで表示している映像をそのまま見る必要があるため一律にブレを制御することにも問題がある。

そこで、本発明は、体験者の状態により合成画像のブレ補正を制御し、使い勝手のよい仕組みを提供することを目的とする。

本発明の目的を達成するための画像処理装置は、体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成手段と、前記生成手段により生成された合成画像を体験者の利用する第１表示装置に出力する第１出力手段と、前記合成画像を用いてブレ補正された合成画像を第２表示装置に出力する第２出力手段とを備え、前記第２出力手段は、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、前記生成手段により生成された合成画像を第２表示装置に出力することを特徴とする。

本発明により、体験者の状態により合成画像のブレ補正を制御し、使い勝手のよい仕組みを提供することができる。

システムの概要を示す図。 ＨＭＤ１０１及びＰＣ１００のそれぞれのハードウェア構成例を示すブロック図。 ＰＣ１００の機能構成例を示すブロック図。 ＰＣ１００のモジュール構成例を示すブロック図。 ＨＭＤ１０１、ＰＣ１００、外部ディスプレイ１６０が行う処理のフローチャート。 ステップＳ５１０における処理のフローチャート。 外部メモリ２１１に保持される情報の構成例を示す図。 外部ディスプレイ１６０のブレ補正時の表示例を示す図。 外部ディスプレイ１６０のブレ補正解除時の表示例を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

本実施形態に係るシステムは、現実空間と仮想空間との合成空間である複合現実空間を、ＨＭＤ等の頭部装着型表示装置や、頭部装着型表示装置は別個に設けられた表示装置に対して提示する複合現実感提示システムである。先ず、本実施形態に係るシステムの概要について、図１を用いて説明する。

ユーザの頭部にはＨＭＤ１０１が装着されており、ＨＭＤ１０１の表示画面には、画像処理装置としてのＰＣ１００から出力される複合現実空間の画像が表示される。ユーザはＨＭＤ１０１の表示画面に表示される複合現実空間の画像を観察することで複合現実空間を体験する。

また、本実施形態において、体験しているユーザは複数人（体験者Ａ、体験者Ｂ）いるものとして説明する。

ＨＭＤ１０１には、光学式センサ１０４で検知可能（計測可能）な光学式マーカ１０３が取り付けられており、光学式センサ１０４による光学式マーカ１０３の計測結果はＰＣ１００に送出される。図１では図示を簡略化するために、光学式センサ１０４の数を１としているが、実際には複数の光学式センサ１０４を配置する。ＰＣ１００は光学式センサ１０４による光学式マーカ１０３の計測結果に基づいて光学式マーカ１０３の位置姿勢を求める。光学式センサ１０４による光学式マーカ１０３の計測結果に基づいて該光学式マーカ１０３の位置姿勢を求めるための技術については周知であるため、該技術に係る詳細な説明は省略する。そしてＰＣ１００は、例えばＨＭＤ１０１に備わっているカメラをユーザの視点（ユーザ視点）とする場合には、予め求めた「ユーザ視点と光学式マーカ１０３との間の相対的な位置姿勢関係」を用いて、光学式マーカ１０３の位置姿勢をユーザ視点の位置姿勢に変換する。

なお、ユーザ視点の位置姿勢を取得する方法は特定の方法に限らない。例えば、ユーザ視点の位置姿勢を得るために用いる位置姿勢計測用センサは光学式センサ１０４に限らず、磁気センサ、超音波センサなど他の種類の位置姿勢計測用センサを用いてユーザ視点の位置姿勢を取得するようにしても良い。また、現実空間中に配されている二次元マーカ１０２をＨＭＤ１０１に備わっているカメラにより撮像し、該撮像により得られる撮像画像を用いてユーザ視点の位置姿勢を求めても良い。また、位置姿勢計測用センサと２次元マーカとを併用してユーザ視点の位置姿勢を取得するようにしても良い。

そしてＰＣ１００は、ＣＧモデル１３０等の仮想物体を生成して仮想空間中に配置し、ユーザ視点から見た仮想物体の画像を生成する。そしてＰＣ１００は、この生成した仮想物体の画像と、ＨＭＤ１０１が有するカメラにより撮像された現実空間の画像と、を合成した合成画像を複合現実空間の画像として生成し、該生成した複合現実空間の画像をＨＭＤ１０１に対して送出する。これによりユーザは、自身の視点の位置姿勢に応じた複合現実空間の画像を眼前に観察することができる。

また、現実空間には、ユーザが複合現実空間を体験している際の映像を表示する外部ディスプレイ１６０が配されている。この外部ディスプレイ１６０は、体験していないユーザにより体験者の映像を確認するために用いられる。

本実施形態では、外部ディスプレイ１６０が、ＨＭＤ１０１それぞれのＰＣ１００に接続されているものとする。そして、それぞれのＨＭＤ１０１で表示している映像がそれぞれの外部ディスプレイ１６０に表示されている。体験者ＡのＨＭＤ１０１の映像は、体験者Ａ用の外部ディスプレイ１６０に表示されている。また、体験者ＢのＨＭＤ１０１の映像は、体験者Ｂ用の外部ディスプレイ１６０に表示されている。

なお、この外部ディスプレイ１６０への表示制御が本実施形態における特徴の一例である。

次に、ＨＭＤ１０１及びＰＣ１００のそれぞれのハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、ＨＭＤ１０１、ＰＣ１００に適用可能なハードウェア構成の一例であり、図２の構成に限るものではない。

先ず、ＨＭＤ１０１について説明する。右目・左目ビデオカメラ２２１は、ユーザの右目に提供する現実空間の画像を撮像するための右目用ビデオカメラと、ユーザの左目に提供する現実空間の画像を撮像するための左目用ビデオカメラと、を有し、それぞれのビデオカメラによる撮像画像（現実空間の画像）はＰＣ１００に送出される。

右目・左目ディスプレイ２２２は、ユーザの右目に映像（画像及び文字を含む）を提供するための右目用ディスプレイと、ユーザの左目に映像（画像及び文字を含む）を提供するための左目用ディスプレイと、を有する。ＰＣ１００から送出された右目用の映像は右目用ディスプレイに表示され、左目用の映像は左目用ディスプレイに表示される。

次に、ＰＣ１００について説明する。汎用バス２１２は、右目・左目ビデオカメラ２２１から送出される現実空間の画像を受信するためのインターフェースとして機能するものであり、例えば、外部入力端子（例えば、ＩＥＥＥ１３９４端子）によって構成される。

ＣＰＵ２０１はＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、ＰＣ１００全体の動作制御を行うと共に、ＰＣ１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＯＭ２０２には、書換不要のコンピュータプログラムやデータ、例えば、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）が格納されている。

ＲＡＭ２０３は、ＲＯＭ２０２や外部メモリ２１１からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。またＲＡＭ２０３は、汎用バス２１２を介して右目・左目ビデオカメラ２２１から受信した現実空間の画像を格納するためのエリアを有する。またＲＡＭ２０３は、通信Ｉ／Ｆコントローラ２０８を介して光学式センサ１０４から受信した計測結果を格納するためのエリアを有する。またＲＡＭ２０３は、通信Ｉ／Ｆコントローラ２０８を介して客観カメラ１０６から受信した現実空間の画像を格納するためのエリアを有する。またＲＡＭ２０３は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０３は、各種のエリアを適宜提供することができる。

ビデオコントローラ２０６は、右目・左目ディスプレイ２２２、ディスプレイ２１０、外部ディスプレイ１６０の表示制御を行うためのものである。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて映像信号（画像や文字の表示用信号）の出力を行う。ディスプレイ２１０は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を画像や文字などでもって表示することができる。ディスプレイ２１０を用いて、システムの各種設定などの情報の入力・表示を行うことができる。

入力コントローラ２０５は、入力デバイス２０９の動作制御を行うためのものである。入力デバイス２０９は、マウスやキーボードなどのユーザインターフェースとして機能するものであり、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。例えば、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンを押下（指等でタッチ）することにより、各種の指示の入力を行うことができる。なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

メモリコントローラ２０７は、外部メモリ２１１への情報の読み書きを制御するためのものである。外部メモリ２１１は、ハードディスクドライブ装置、フレキシブルディスク、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等のメモリ装置である。外部メモリ２１１には、ＯＳ（オペレーティングシステム）や、ＰＣ１００が行うものとして後述する各処理をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。

外部メモリ２１１に保存されているコンピュータプログラムには、以下に説明する各フローチャートに従った処理をＣＰＵ２０１に実行させるためのコンピュータプログラムが含まれている。また、外部メモリ２１１に保存されているデータには、本実施形態を含む以下の各実施形態において既知の情報として取り扱う情報や、ＣＧモデル１３０を含む様々な仮想物体の描画に要するデータ（描画データ）が含まれている。外部メモリ２１１に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０３にロードされ、ＣＰＵ２０１による処理対象となる。なお、外部メモリ２１１は、ＵＳＢメモリ、ＳＤカードなどのメモリ装置であっても良い。

通信Ｉ／Ｆコントローラ２０８は、光学式センサ１０４から計測結果や現実空間の画像を受信するためのインターフェースとして機能するものである。また通信Ｉ／Ｆコントローラ２０８は、ＬＡＮやインターネットなどのネットワークを介して外部の機器との間のデータ通信を行うためのインターフェースとして機能するものである。例えば、通信Ｉ／Ｆコントローラ２０８は、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学式センサ１０４との通信も制御する。なお、図１では、光学式センサ１０４、及び外部ディスプレイ１６０と、ＰＣ１００と、の間のデータ通信は有線であるが、無線であっても良い。例えば、ＰＣ１００は、ＬＡＮケーブルやＵＳＢケーブル、無線通信など様々な通信形態によって光学式センサ１０４、外部ディスプレイ１６０との間のデータ通信を行うことができる。

上記の汎用バス２１２、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ビデオコントローラ２０６、入力コントローラ２０５、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８は何れも、システムバス２０４に接続されている。

なお、本実施形態では、ＨＭＤ１０１とＰＣ１００とを別個の機器とするが、ＨＭＤ１０１とＰＣ１００とを一体化させても良い。また、ＰＣ１００をサーバ装置として取り扱っても良い。

次に、ＰＣ１００のモジュール構成例について、図４のブロック図を用いて説明する。オペレーティングシステム４０１は、ＨＭＤ１０１との間の入出力を制御し、右目・左目ビデオカメラ２２１から汎用バス２１２を介して得られた現実空間の画像を複合現実感プラットフォーム４０３へと受け渡す。またオペレーティングシステム４０１は、グラフィックエンジン４０２で描画された複合現実空間の画像を、ビデオコントローラ２０６を介して、右目・左目ディスプレイ２２２へ出力する。

グラフィックエンジン４０２は、外部メモリ２１１に記憶されている仮想物体の描画データを用いて仮想物体の画像を生成し、該生成した仮想物体の画像を右目・左目ビデオカメラ２２１による撮像画像上に重畳することで複合現実空間の画像を生成する。仮想物体の画像の生成（描画）に利用するエンジンは、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてＯｐｅｎＧＬを利用するものとする。

複合現実感プラットフォーム（ＭＲプラットフォームともいう）４０３は、上記のようにしてユーザの視点の位置姿勢を求め、現実空間と仮想空間との位置合わせを行う。これらの技術は、例えば、特開２００２－３２７８４号公報、特開２００６－０７２９０３公報、特開２００７－１６６４２７公報等に開示されている既存の技術を用いて実現することが可能である。

複合現実感アプリケーション（ＭＲアプリケーションやビューアアプリケーションともいう）４０４は、複合現実感プラットフォーム４０３から視点の位置姿勢や、仮想物体の色や形状の情報、仮想物体の位置姿勢等の仮想物体の描画に要する情報を受け付け、グラフィックエンジン４０２に対して、仮想物体の画像の描画命令を発行する。この時、ＯｐｅｎＧＬのＡＰＩを用いて、描画する仮想物体の識別情報、位置姿勢の情報を設定した命令を発行する。

また、複合現実感プラットフォーム４０３は、客観カメラ１０６から撮像画像を受信すると、該撮像画像を複合現実感アプリケーション４０４へ受け渡す。補正モジュール４０５は、グラフィックエンジン４０２で描画された画像をブレ補正する処理を行う。ブレ補正する処理を行うか否かについての制御は、複合現実感プラットフォーム４０３や複合現実感アプリケーション４０４が制御するものとする。

補正モジュール４０５は、電子式の手ブレ補正技術を用いることで実現可能である。例えば、撮影された画像を一度メモリに読み込み、次に撮影された画像と比較して、像のズレを画素をずらすことで補正する。ブレ補正する技術については様々あり、いずれの補正技術を用いて実現してもよい。補正する画像は、ＨＭＤ１０１に出力する画像である。

補正モジュール４０５によりブレ補正した画像またはブレ補正しない画像を外部ディスプレイ１６０へ出力する。

次に、１枚（１フレーム分）の複合現実空間の画像を生成してＨＭＤ１０１や外部ディスプレイ１６０に表示するためにＨＭＤ１０１及びＰＣ１００が行う処理について、図５のフローチャートに従って説明する。

ステップＳ５００では、ＰＣ１００で、ブレ補正に係る補正処理設定を行う。補正処理設定については、ＨＭＤ情報７００とＣＧモデル情報７２０に設定される。ＰＣ１００のディスプレイ２１０で表示される設定画面から設定情報が入力される。

ここで、図７について説明する。図７は、本実施形態で用いる設定情報の一例を示す図である。設定情報は、外部メモリ２１１に記憶されるものとする。

設定情報には、ＨＭＤ情報７００とＣＧモデル情報７２０がある。ＨＭＤ情報７００は各ＨＭＤ１０１の設定が記憶されている。

ＣＧモデル情報７２０は、仮想空間における各ＣＧモデルの設定が記憶されている。

ＨＭＤ情報７００は、ＨＭＤＩＤ７０１、位置７０２、姿勢７０３、外部ディスプレイ表示有無７０４、対象７０５、設定値７０６の情報を有している。

ＨＭＤＩＤ７０１は、ＨＭＤ１０１ごとのＩＤを記憶しているものである。位置７０２と姿勢７０３は、複合現実感プラットフォーム４０３で算出されたＨＭＤ１０１の位置姿勢情報を記憶するものである。この情報は常に更新されるものである。

外部ディスプレイ表示有無７０４は、ＨＭＤ１０１に出力する画像を外部ディスプレイに出力するか否かを設定した情報（フラグ）である。ＯＮの場合には、外部ディスプレイ１６０に出力する設定でありブレ補正処理を行う場合の設定である。ＯＦＦの場合には、外部ディスプレイ１６０に出力しない設定であり、ブレ補正処理を行わない場合の設定である。また、ＯＮの場合には、対象７０５と設定値７０６が設定されるものとする。

なお、外部ディスプレイ表示有無７０４がＯＮの場合であっても、対象７０５と設定値７０６が設定されていない場合には、外部ディスプレイ１６０に画像を出力はするが補正処理をしないように制御する構成であってもよい。

対象７０５と設定値７０６は、ブレ補正処理を行う場合の設定であり、ブレ補正処理を行う基準が設定されている。

対象７０５は、他の体験者のＨＭＤ１０１との関係によりブレ補正処理を解除するか、ＣＧとの関係によりブレ補正処理を解除するのかを設定できる。ＨＭＤ１０１に近づいた際にブレ補正処理を解除する場合には、対象７０５に対象とするＨＭＤのＩＤが設定され、設定値７０６に距離情報が記憶される。

また、ＣＧに近づいた際に補正処理を解除する場合には、対象７０５に対象とするＣＧが設定され、設定値７０６に距離情報が記憶される。

対象７０５にＣＧのモデルＩＤが設定されてもよいが、本実施形態では、補正の解除処理がされるＣＧかは、ＣＧモデル情報７２０で設定されるものとする。

ＣＧモデル情報７２０は、モデルＩＤ７２１、モデル名７２２、ファイルパス７２３、位置７２４、姿勢７２５、補正制御解除対象７２６の情報を有している。

モデルＩＤ７２１はＣＧモデルのＩＤを記憶しているものである。モデル名７２２は、ＣＧモデル自体のファイル名称を記憶しているものである。ファイルパス７２３は、ＣＧモデルとなるファイルが保存されている場所を記憶しているものである。

位置７２４、姿勢７２５は、ＣＧモデルを表示する現実空間において表示すべき仮想空間上の位置姿勢の値を有している。

補正制御解除対象７２６は、補正処理を解除するか否かを設定する情報を記憶しているものである。補正処理（補正制御）を解除するＣＧモデルの場合には、ＯＮが設定される。補正処理（補正制御）を解除しないＣＧモデルの場合には、ＯＦＦが設定される。

すなわち、補正制御解除対象７２６でＯＮとなっており、対象７０５がＣＧとなっている場合に、所定の位置にＨＭＤ１０１があると補正処理が解除され、ＨＭＤ１０１で表示している画像と同じブレのある画像が外部ディスプレイ１６０に表示される。

ステップＳ５０１では、図７の設定情報をメモリに読み込み、ＨＭＤ１０１が起動される。ＨＭＤ１０１が起動されると、ステップＳ５０２へ処理を移す。

ステップＳ５０２では、右目・左目ビデオカメラ２２１の機能を用いて現実画像の撮像を開始する。

ステップＳ５０３では、右目・左目ビデオカメラ２２１は、撮像した現実空間の画像（右目用カメラによる撮像画像、左目用カメラによる撮像画像）をＰＣ１００に対して出力する。なお撮像と送信は繰り返し行われ、ＰＣ１００から順次ＭＲ画像を受信してＨＭＤ１０１の右目・左目ディスプレイ２２２で表示する。

ステップＳ５０４では、ＣＰＵ２０１は、右目・左目ビデオカメラ２２１から出力された現実空間の画像を汎用バス２１２を介して受信し、ステップＳ５０５ではＣＰＵ２０１は、該受信した現実空間の画像をＲＡＭ２０３や外部メモリ２１１に格納する。

ステップＳ５０６では、ＣＰＵ２０１は、光学式センサ１０４による光学式マーカ１０３の計測結果を通信Ｉ／Ｆコントローラ２０８を介して取得し、該取得した計測結果に基づいて上記のようにしてユーザ視点の位置姿勢（ＨＭＤ１０１の位置姿勢）を求める。ステップＳ５０６で求めるユーザ視点の位置姿勢は、右の視点（右目用ビデオカメラ）の位置姿勢、左の視点（左目用ビデオカメラ）の位置姿勢、である。右の視点については上記と同様、予め求めた「右の視点と光学式マーカ１０３との間の相対的な位置姿勢関係」を用いて、光学式マーカ１０３の位置姿勢を変換することで求めることができる。同様に、左の視点については上記と同様、予め求めた「左の視点と光学式マーカ１０３との間の相対的な位置姿勢関係」を用いて、光学式マーカ１０３の位置姿勢を変換することで求めることができる。

ステップＳ５０７では、ＣＰＵ２０１は、ステップＳ５０６で求めた視点の位置姿勢を、ＨＭＤ１０１の識別情報（ＩＤ）と関連づけて外部メモリ２１１に格納する。例えば、図７のＨＭＤ情報７００に示す如く、ＨＭＤごとにＩＤ、位置、姿勢を対応付けて管理している。

ステップＳ５０８では、ＣＰＵ２０１は、図７のＣＧモデル情報７２０を基に、外部メモリ２１１に格納されている仮想物体の描画データをＲＡＭ２０３に読み出し、該読み出した描画データに基づいて仮想物体を生成し、該生成した仮想物体を仮想空間中に配置する。そしてＣＰＵ２０１は、ステップＳ５０６で求めた視点の位置姿勢に基づいて、該視点から見た仮想物体の画像を生成する。そしてＣＰＵ２０１は、ステップＳ５０４で受信した現実空間の画像上に、仮想物体の画像を重畳させることで複合現実空間の画像（ＭＲ画像）を生成する。厳密にはＣＰＵ２０１は、右目用カメラによる撮像画像（現実空間の画像）上に、右の視点の位置姿勢に基づいて生成した仮想物体の画像を重畳させることで、右目用の複合現実空間の画像を生成すると共に、左目用カメラによる撮像画像（現実空間の画像）上に、左の視点の位置姿勢に基づいて生成した仮想物体の画像を重畳させることで、左目用の複合現実空間の画像を生成する。

ステップＳ５０８は、体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成処理の一例を示すものである。

ステップＳ５０９では、ＣＰＵ２０１は、外部ディスプレイ表示有無７０４の設定に基づいて、外部ディスプレイにステップＳ５０８で生成されたＭＲ画像を表示するか否かを判定する。ＯＮの場合には、ステップＳ５１０へ処理を移し、ＯＦＦの場合には、ステップＳ５１４へ処理を移す。

ステップＳ５１０では、ＣＰＵ２０１は、外部ディスプレイ１６０への出力の際の補正制御を行う。補正制御処理の詳細については、図６にて詳述する。

ステップＳ５１１では、ＣＰＵ２０１は、ビデオコントローラ２０６を介して外部ディスプレイ１６０へＭＲ画像を出力する。このＭＲ画像は、ブレ補正処理がされた画像の場合と、ブレ補正処理がされていない（解除された）画像の場合がある。

ステップＳ５１１は、合成画像を用いてブレ補正された合成画像を第２表示装置に出力する第２出力処理の一例を示すものである。また、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、ステップＳ５０８で生成された合成画像を第２表示装置に出力する第２出力処理の一例を示すものである。 更に、対象物との距離を満たさない場合に、ブレ補正された合成画像を第２表示装置に出力し、対象物との距離を満たさない場合に、ブレ補正を解除してステップＳ５０８で生成された合成画像を第２表示装置に出力するものである。

ステップＳ５１２では、外部ディスプレイ１６０が、ＭＲ画像をＰＣ１００から受信し、ステップＳ５１３で、受信したＭＲ画像を表示する。

ステップＳ５１３において、外部ディスプレイ１６０で表示した例が、図８と図９である。

図８は、補正制御解除するＣＧ８０２を体験者Ａが見ているが、設定値７０６の距離外にいる（条件を満たさない）ためブレ補正処理がされ表示されている状態である。

図９は、補正制御解除するＣＧ９０２を体験者Ａが見ており、設定値７０６の距離内にいる（基準を満たす）ためブレ補正処理が解除され表示されている状態である。９０２の点線のＣＧは、ブレにより表示されているモデルを示している。なお、９０３の点線の表示はブレを便宜的に説明するためのものであり、点線表示に限定されるものではない。

また、９０１のように、体験者以外で外部ディスプレイ１６０を見ているユーザに注意を促すため、「体験者と同じ映像が表示されています。ブレ補正処理がないため気分が悪くなることがあります。ご注意ください。」と表示する。この表示は、補正制御を解除した際に、ＰＣ１００から出力される情報である。また、９０１の表示は、図７の設定情報（不図示）にて、任意に設定することができるものとする。

ステップＳ５１４では、ＣＰＵ２０１は、ステップＳ５０８において生成したＭＲ画像（右目用の複合現実空間の画像、左目用の複合現実空間の画像）を、ビデオコントローラ２０６を介してＨＭＤ１０１に対して出力する。

ステップＳ５１４は、ステップＳ５０８で生成された合成画像を体験者の利用する第１表示装置に出力する第１出力処理の一例を示すものである。

ステップＳ５１５では、右目・左目ディスプレイ２２２は、ステップＳ５１４においてＰＣ１００から送信された右目用の複合現実空間の画像及び左目用の複合現実空間の画像を受信する。そしてステップＳ５１６では、右目・左目ディスプレイ２２２は、右目用の複合現実空間の画像を右目用ディスプレイに表示する。

次に、ステップＳ５１０の補正制御処理について、図６のフローチャートに従って説明する。

ステップＳ６０１では、ＣＰＵ２０１は、図７の設定情報に基づき、他の体験者のＨＭＤ１０１、或いは、対象のＣＧを特定する。なお、他の体験者のＨＭＤ１０１の場合には、他の体験者が撮像された画像に含まれることが望ましい。すなわち、他の体験者を見ている状態で設定値等の条件を満たした場合に、ブレ補正制御の解除がされるものである。

ステップＳ６０２では、ＣＰＵ２０１は、他の体験者のＨＭＤ１０１、或いは、対象のＣＧとの距離を算出して、取得する。距離の算出は、対象となる体験者のＨＭＤ１０１の位置と他の体験者のＨＭＤの位置、或いは、対象となる体験者のＨＭＤ１０１の位置とＣＧとの位置により算出することができる。

ステップＳ６０３では、ＣＰＵ２０１は、取得した距離が、設定値７０６の距離を満たすか否かを判定する。具体的には、設定値７０６の距離より遠い位置に対象となる体験者のＨＭＤ１０１が存在するか否かを判定する。遠い位置にある場合には、条件を満たさないとして、ステップＳ６０７へ処理を移す。近い位置にある場合には、条件を満たすとして、ステップＳ６０４へ処理を移す。 すなわち、上述の条件は、ブレ補正に係る条件であり、ブレ補正を解除する条件である。また、体験者の位置と対象物との距離でもある。

ステップＳ６０４では、ＣＰＵ２０１は、ブレ補正が解除されたか否かを判定する。すなわち、ブレ補正状態からブレ補正を行わない状態（解除状態）となった場合には、ステップＳ６０５へ処理を移す。既に解除状態である場合には、ステップＳ６０６へ処理を移す。

ステップＳ６０５では、通常の場合にはブレ補正を実行しているため、ブレ補正が解除された場合には、体験者以外のユーザに補正処理が解除されたことを注意喚起するべく、ＣＰＵ２０１は、ブレ補正がされていないことの情報を外部ディスプレイ１６０へ出力（通知）する。注意喚起の例が、図９の９０１である。

なお、本実施形態では、ブレ補正が解除された際に注意喚起するように制御したが、ブレ補正が解除されている間は注意喚起の情報を出力する（所定間隔で出力する）ようにしてもよい。

また、注意喚起の表示がされており、ブレ補正がされるタイミングになった場合には、注意喚起の表示を解除するように制御することは言うまでもない。

ステップＳ６０５は、体験者の位置に基づきブレ補正に係る条件を満たし、ステップＳ５０８で生成された合成画像を第２表示装置に出力する場合に、ブレ補正がされていないこと通知する通知処理の一例を示すものである。

ステップＳ６０６では、ＣＰＵ２０１は、ステップＳ５０８で生成されたＭＲ画像（補正処理なしのＭＲ画像）を取得する。

ステップＳ６０７では、ステップＳ５０８で生成されたＭＲ画像を用いて、補正モジュール４０５でブレ補正を実行する。

ステップＳ６０８では、ＣＰＵ２０１は、ステップＳ６０７で補正したＭＲ画像を取得する。

ステップＳ６０６又はステップＳ６０７で取得したＭＲ画像を、ステップＳ５１１で出力する。

以上、本実施形態によれば、ＨＭＤ１０１の条件により、ブレ補正処理の有無を切り替えて外部ディスプレイに表示を行うため、使い勝手のよい仕組みとなる。特に、長時間ブレのある映像をみることを軽減し、酔いなどを防ぐことができる。

他の実施形態として、以下のような形態も考えられる。 上記の実施形態では、条件を満たす場合にブレ補正処理を解除するものとしたが、他の実施形態では、条件を満たす（例えばＨＭＤ１０１が設定距離外にあるという条件を満たす）場合にブレ補正処理を実行し、条件を満たさない（例えばＨＭＤ１０１が設定距離内にあるという条件を満たす）場合にブレ補正処理を解除する構成とする。

このように、ブレの補正処理の実行と解除を切替することができればよく、条件を満たす基準（距離内か距離外どちらを基準とするか）については、どちらであってもよい。

最後に、上記のＰＣ１００の機能構成例について、図３のブロック図を用いて説明する。なお、図３の各機能部はハードウェアで実装しても良いし、ソフトウェア（コンピュータプログラム）で実装しても良い。前者の場合、例えばこのようなハードウェアをＨＭＤ１０１に搭載することで、ＨＭＤ１０１は、ＰＣ１００が行うものとして上述した各処理をも実行することができる。後者の場合、このようなコンピュータプログラムを外部メモリ２１１に保存しておき、ＣＰＵ２０１がこのコンピュータプログラムを適宜ＲＡＭ２０３に読み出して実行することで、対応する機能部の機能を実現することができる。 なお、ＰＣ１００は、画像処理装置として言い換えることも可能である。

生成部３０１は、体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する機能部である。撮像された現実画像とＣＧとを合成した複合現実空間の画像であることが望ましい。

第１出力部３０２は、生成部３０１により生成された合成画像を体験者の利用する第１表示装置（例えば、ＨＭＤ１０１）に出力する機能部である。

第２出力部３０３は、合成画像を用いてブレ補正された合成画像を第２表示装置（例えば、外部ディスプレイ１６０）に出力する機能部である。また、第２出力部３０３は、体験者の位置姿勢に基づき、ブレ補正に係る条件（具体的には、ブレ補正を解除する条件）を満たす場合に、生成部３０１により生成された合成画像を第２表示装置に出力する機能部である。

通知部３０４は、体験者の位置姿勢に基づきブレ補正を解除する条件を満たし、生成部３０１により生成された合成画像を第２表示装置に出力する場合に、ブレ補正がされていないこと通知する機能部である。通知の例は９０１である。

ブレ補正を解除する条件とは、体験者の位置姿勢と対象物との距離である。

また、第２出力部３０３は、対象物との距離を満たさない場合に、ブレ補正された合成画像を第２表示装置に出力し、対象物との距離を満たさない場合に、ブレ補正を解除して生成部３０１により生成された合成画像を第２表示装置に出力する。

つまり、本実施形態に係る画像処理装置は、外部ディスプレイへ合成画像を表示する際に、体験者の位置によりブレ補正をしない合成画像を出力することで検証などの形態において利便性を高めることができる。特に検証に不要な動作の場合にはブレ補正がされ、検証に必要（正確な表示が必要）な場合にはブレ補正がされないように制御するため、外部で確認しているユーザの酔いなどの体調不良を軽減しつつ、外部からの検証を容易にすることができる。

なお、外部ディスプレイは、体験者以外が利用する表示装置であればいずれの装置であってもよい。

なお、上述の実施形態では、ＨＭＤ１０１とＰＣ１００とを別個の装置としているが、ＨＭＤ１０１とＰＣ１００とを一体化させ、ＨＭＤ１０１は自機が行うものとして上述した各処理だけでなく、ＰＣ１００が行うものとして説明した上記の各処理も行うようにしても良い。

また上述の実施形態では、ＨＭＤ１０１はビデオシースルー方式の頭部装着型表示装置であるものとして説明した。しかし、ＨＭＤ１０１として光学シースルー方式の頭部装着型表示装置を使用しても良い。

また、ユーザの頭部に装着されているＨＭＤ１０１に加えて若しくは代えて他の表示装置、例えばタブレット端末装置やスマートフォン等の携帯端末装置に対してユーザ視点に基づく複合現実空間の画像を出力するようにしても良い。この場合、携帯端末装置は、該携帯端末装置に備わっているセンサやアプリケーションを使用することで該携帯端末装置の位置姿勢をユーザ視点として取得することができる。ユーザ視点に基づく複合現実空間の画像はＰＣ１００が生成しても良いし、携帯端末装置側で生成しても良い。

また、上述の実施形態では、現実空間と仮想空間とを合成した複合現実空間をユーザに提示する複合現実感提示システム（ＭＲシステム）を例にとり説明したが、仮想空間のみをユーザに提示する、所謂ＶＲシステムに適用しても構わない。その場合、現実空間の撮像や現実空間の画像との合成に係る処理は不要となる。

また、上述の実施形態では説明を簡単にするために、１台のＰＣ１００に１台のＨＭＤ１０１が接続されているものとしたが、１台のＰＣ１００に２台以上のＨＭＤ１０１を接続するようにしても良い。

以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、フローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は処理方法をコンピュータが実行可能なプログラムが記憶されている。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムを通信線上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わないし、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

１００ ＰＣ １０１ ＨＭＤ １０３ 光学式マーカ １０２ 二
次元マーカ １０４ 光学式センサ １３０ ＣＧモデル １６０ 外部デ
ィスプレイ

Claims (6)

1. 体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成手段と、 前記生成手段により生成された合成画像を体験者の利用する第１表示装置に出力する第１出力手段と、 前記合成画像を用いてブレ補正された合成画像を第２表示装置に出力する第２出力手段とを備え、 前記第２出力手段は、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、前記生成手段により生成された合成画像を第２表示装置に出力することを特徴とする画像処理装置。
2. 前記体験者の位置に基づきブレ補正に係る条件を満たし、前記生成手段により生成された合成画像を第２表示装置に出力する場合に、ブレ補正がされていないこと通知する通知手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. ブレ補正に係る条件とは、ブレ補正を解除する条件であって、体験者の位置と対象物との距離であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２出力手段は、対象物との距離を満たさない場合に、ブレ補正された合成画像を第２表示装置に出力し、対象物との距離を満たさない場合に、ブレ補正を解除して前記生成手段により生成された合成画像を第２表示装置に出力することを特徴とする請求項３に記載の画像処理装置。
5. 体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成ステップと、 前記生成ステップにより生成された合成画像を体験者の利用する第１表示装置に出力する第１出力ステップと、 前記合成画像を用いてブレ補正された合成画像を第２表示装置に出力する第２出力ステップとを実行し、 前記第２出力ステップは、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、前記生成ステップにより生成された合成画像を第２表示装置に出力することを特徴とする画像処理装置の処理方法。
6. 画像処理装置を 体験者の視点に係る位置姿勢に応じて表示される仮想物体の画像を合成した合成画像を生成する生成手段と、 前記生成手段により生成された合成画像を体験者の利用する第１表示装置に出力する第１出力手段と、 前記合成画像を用いてブレ補正された合成画像を第２表示装置に出力する第２出力手段として機能させ、 前記第２出力手段を、体験者の位置に基づき、ブレ補正に係る条件を満たす場合に、前記生成手段により生成された合成画像を第２表示装置に出力させるためのプログラム。
   
   

Images