JP2023089521A - 情報処理装置、情報処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】仮想空間の映像として現実空間の映像に合ったノイズ感の映像を生成することができ、ひいては、現実空間の映像に仮想空間の映像を重畳した映像として、ノイズ感に違和感の無い映像を得ることができる技術を提供する。【解決手段】本発明の情報処理装置は、現実空間の映像に重畳する仮想空間の映像を生成する生成手段と、前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性と前記現実空間の映像に施す画像処理との少なくとも一方に基づく特性でノイズを付加する付加手段とを有することを特徴とする。【選択図】図１

Description

本発明は、情報処理装置、情報処理装置の制御方法、及び、プログラムに関する。

現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ）に関する技術の１つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いるＭＲシステムが知られている。これは、ビデオカメラなどの撮像装置が撮像した現実空間映像上に、撮像装置の位置姿勢に応じて生成したコンピュータグラフィックス（ＣＧ）の映像を重畳表示し、それをＨＭＤのディスプレイなどの表示装置を通して観察するものである。

ビデオシースルー方式のＨＭＤを用いたＭＲシステムにおいて、現実空間映像とＣＧ映像をそのまま重畳表示すると、見た目に違和感のある映像となることが多い。これは、現実空間映像とＣＧ映像との間で、階調特性、ホワイトバランス、ノイズ感、解像感などの画質に関わる特性が異なるために生じる。

例えば、ノイズ感の異なる現実空間映像とＣＧ映像（例えばノイズのある現実空間映像とノイズの無いＣＧ映像）をそのまま重畳表示するとする。その場合には、図９に示すように、ＣＧ映像とその周辺の現実空間映像とでノイズ感が異なるため、ノイズ感に違和感のある映像が表示されることになる。このような違和感（現実空間映像とＣＧ映像を重畳表示する際の、ノイズ感の違和感）を軽減する技術は、特許文献１に開示されている。

特開２０１４－２０３３２６号公報

しかしながら、特許文献１に開示の技術などの従来技術では、予め定められた固定の基準で仮想空間映像（仮想空間の映像；ＣＧ映像）にノイズが付加される。そのため、従来技術では、現実空間映像（現実空間の映像）とはノイズ感の異なる仮想空間映像が生成され、現実空間映像に仮想空間映像を重畳した映像として、ノイズ感に違和感のある映像が得られることがある。

本発明は、仮想空間の映像として現実空間の映像に合ったノイズ感の映像を生成することができ、ひいては、現実空間の映像に仮想空間の映像を重畳した映像として、ノイズ感に違和感の無い映像を得ることができる技術を提供することを目的とする。

本発明の第１の態様は、現実空間の映像に重畳する仮想空間の映像を生成する生成手段と、前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性に基づく特性でノイズを付加する付加手段とを有することを特徴とする情報処理装置である。本発明の第２の態様は、現実空間の映像に重畳する仮想空間の映像を生成する生成手段と、前記仮想空間の映像に、前記現実空間の映像に施す画像処理に基づく特性でノイズを付加する付加手段とを有することを特徴とする情報処理装置である。

本発明の第３の態様は、現実空間の映像に重畳する仮想空間の映像を生成するステップ
と、前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性に基づく特性でノイズを付加するステップとを有することを特徴とする情報処理装置の制御方法である。本発明の第４の態様は、現実空間の映像に重畳する仮想空間の映像を生成するステップと、前記仮想空間の映像に、前記現実空間の映像に施す画像処理に基づく特性でノイズを付加するステップとを有することを特徴とする情報処理装置の制御方法である。

本発明の第５の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。本発明の第６の態様は、上述した情報処理装置と、前記付加手段によりノイズが付加された仮想空間の映像を、現実空間の映像に重畳して表示する表示手段とを有することを特徴とするヘッドマウントディスプレイである。

本発明によれば、仮想空間の映像として現実空間の映像に合ったノイズ感の映像を生成することができ、ひいては、現実空間の映像に仮想空間の映像を重畳した映像として、ノイズ感に違和感の無い映像を得ることができる。

第一の実施形態におけるＭＲシステムの構成例を示す図 第一の実施形態における撮像部の構成例を示す図 第一の実施形態におけるマーカーの一例を示す図 第一及び第二の実施形態におけるＣＧ映像補正部の構成例を示す図 第一及び第二の実施形態におけるノイズ特性評価部の動作例を示す図 第一の実施形態における画素値とノイズ付加量の相関関係の一例を示す図 第二の実施形態におけるＭＲシステムの構成例を示す図 第二の実施形態における撮像部の構成例を示す図 違和感のある複合現実映像の一例を示す図

以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。

ノイズ感の異なる現実空間映像（現実空間の映像）に仮想空間映像（仮想空間の映像）をそのまま重畳すると、ノイズ感に違和感のある映像が得られる。そして、このような違和感を軽減する技術として、予め定められた固定の基準で仮想空間映像にノイズを付加する技術が提案されている。

しかしながら、現実空間映像を撮像する撮像部のノイズ特性には個体差があるため、複数の撮像装置の間で現実空間映像のノイズ感（ノイズ特性）はばらつく。また、現実空間映像に画像処理を施すことよって現実空間映像のノイズ感は変化するが、現実空間映像に施す画像処理が複数の撮像装置の間で同じであるとは限らない。この理由からも、複数の撮像装置の間で現実空間映像のノイズ感はばらつく。そのため、従来技術では、現実空間映像（現実空間の映像）とはノイズ感の異なる仮想空間映像が生成され、現実空間映像に仮想空間映像を重畳した映像として、ノイズ感に違和感のある映像が得られることがある。

そこで、以下の実施形態では、撮像部に固有のノイズ特性や、現実空間映像に施す画像処理などを考慮して、仮想空間映像にノイズを付加する。こうすることで、仮想空間の映像として現実空間の映像に合ったノイズ感の映像を生成することができ、ひいては、現実空間の映像に仮想空間の映像を重畳した映像として、ノイズ感に違和感の無い映像を得ることができる。

（第一の実施形態）
本発明の第一の実施形態について説明する。図１は、第一の実施形態における情報処理システムとしての複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムの構成例を示すブロック図である。図１に示すＭＲシステムは、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いたＭＲシステムである。図１に示すＭＲシステムは、ビデオカメラなどの撮像装置が撮像した現実空間映像上に、撮像装置の位置姿勢に応じて生成した仮想空間映像としてのコンピュータグラフィックス（ＣＧ）の映像を重畳した複合現実映像をＨＭＤにより表示しユーザーに提供する。複合現実映像の表示は、現実空間映像とＣＧ映像の重畳表示とも言える。

図１に示すように、本実施形態におけるＭＲシステムは、情報処理装置１００及びＨＭＤ１１０を有する。なお、図１に示す構成は一例であり、例えば、ＨＭＤ１１０の中に情報処理装置１００の機能の一部もしくはすべてが含まれる構成であってもよい。

ＨＭＤ１１０は、ビデオシースルー方式のＨＭＤであり、撮像部１１１及び表示部１１２を有する。撮像部１１１は、現実空間を撮像して現実空間映像を取得し、それを情報処理装置１００に送信する。撮像部１１１から情報処理装置１００への現実空間映像の送信は、有線通信により行ってもよいし、無線通信により行ってもよい。表示部１１２は、映像を表示するディスプレイ等であり、例えば、情報処理装置１００から受信する表示映像を表示する。

図２は、撮像部１１１の構成例を示すブロック図である。

光学系２０１は複数のレンズと絞り機構とを含む光学系であり、具体的には、フォーカスに用いるフォーカスレンズ、ズームに用いるズームレンズ、及び、絞り機構を含む。

撮像素子２０２はＣＣＤやＣＭＯＳ等の撮像センサーであり、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像素子２０２の表面には、例えばベイヤー配列のＲＧＢカラーフィルタが形成されており、カラー撮影が可能となっている。被写体像が撮像素子２０２の撮像面に結像されると、撮像素子２０２は、画像データ（画像信号）を生成して出力する。撮像素子２０２から出力された画像データはメモリ２０３に記憶される。

本実施形態では、撮像素子２０２の撮像面は、現実空間映像を撮像するための領域（映像領域；上述した被写体像が結像される領域）と、光学的に遮光された領域（遮光領域；オプティカルブラック（ＯＢ）領域）とを含む。そして、撮像素子２０２からは、映像領域の画像データ（現実空間映像のデータ）と、ＯＢ領域の画像データとが出力される。ＯＢ領域の画像データは、いわゆる黒画像のデータであり、最低輝度の画素値を示す画像データとして出力される。

ＯＢ領域の画像データには、撮像部１１１に固有の特性のノイズ（例えば撮像素子２０２やその周辺の電気回路等で発生したノイズ）が混在する。そのため、実際には、ＯＢ領域の画像データは、最低輝度の画素値（固定値）ではなく、ノイズによって変動する画素値を示す。そして、ＯＢ領域の少なくとも一部に設定される所定の領域の全画素間での画素値のばらつき（例えば標準偏差）は、現実空間映像のフレーム画像のノイズ（いわゆるダークノイズ）量として計測することができる。

そこで、本実施形態では、撮像部１１１に固有の特性のノイズ（現実空間映像の各フレーム画像のノイズ）をＯＢ領域の撮像結果から推定し、その推定結果に基づくノイズをＣＧ映像に付加する。具体的には、ＯＢ領域をノイズ計測領域として用いてノイズ量を計測
し、ノイズ量計測結果（ノイズ量の計測結果）に基づくノイズをＣＧ映像に付加する。こうすることにより、撮像部１１１に固有の特性に基づく特性で、現実空間映像と同等のノイズを、ＣＧ映像に付加することができる。ノイズ量の計測は常に（例えば現実空間映像のフレームごとに）行われてもよいし、定期的に（例えば現実空間映像の複数フレームごとに）行われてもよい。

メモリ２０３は、撮像素子２０２から出力された画像データや、撮像部１１１の処理全般に必要なデータなどを保持することができる。メモリ２０３は、前述のノイズ量計測結果や後述の画像処理設定情報も保持することができる。

画像処理回路２０４は、メモリ２０３に保持された画像データ（現実空間映像）に対して所定の画素補間処理や色変換処理等の画像処理を施す。画像処理回路２０４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部２０５に撮影条件を通知することもできる。画像処理回路２０４は、画像の解析、フィルタ処理、ノイズリダクション処理、エッジ強調処理、コントラスト調整処理、合成処理などを行うこともできる。例えば、画像処理回路２０４は、ＯＢ領域のノイズ量計測結果をメモリ２０３から読み出し後、当該ノイズ量計測結果に基づいて現実空間映像のノイズ特性に合ったノイズリダクション処理を行う。

ユーザーは、画像処理回路２０４に行わせる画像処理やその強度を選択して設定することができ、好みの画質の現実空間映像を得ることができる。そして、上述したように、画像処理回路２０４が行う画像処理に依って、現実空間映像のノイズ特性は変化する。

そこで、本実施形態では、画像処理回路２０４が行う画像処理に基づく特性でＣＧ映像にノイズを付加する。画像処理に基づく特性は、ノイズリダクション設定やエッジ強調設定、コントラスト調整設定などの画像処理設定に基づく特性である。こうすることで、画像処理後の現実空間映像と同等のノイズを、ＣＧ映像に付加することができる。

また、画像処理回路２０４は、デジタルズームを行うことができる。デジタルズームは、光学系２０１のズームレンズを制御する光学ズームとは異なり、ズームレンズを制御せずにズームしたように見える画像を取得する画像処理であり、例えばバイキュービックなどによる拡大処理や、画像トリミングなどである。したがって、デジタルズーム倍率（デジタルズームの拡大倍率）に依って、ノイズの粒子の大きさが変化する。機能を選択し、デジタルズーム倍率を適宜変更することもできる。

そこで、本実施形態では、デジタルズーム倍率を考慮したノイズを生成して、ＣＧ映像に付加する。例えば、ノイズをデジタルズーム倍率と同じ倍率で拡大して、ＣＧ映像に付加する。

システム制御部２０５は、撮像部１１１全体を制御する。システム制御部２０５は、画像処理回路２０４が決定した撮影条件で撮影を行うために、シャッター速度、絞り機構、フォーカスレンズ、及び、ズームレンズを制御するよう指示を出力する。具体的には、システム制御部２０５は、露光量制御部２０６、フォーカスレンズ制御部２０７、及び、焦点距離制御部２０８に対して指示を出力する。

また、システム制御部２０５は、ＯＢ領域の画像データをメモリ２０３から読み出してＯＢ領域のノイズ量を計測し、ノイズ量計測結果をメモリ２０３に格納することができる。システム制御部２０５は、ユーザー操作に基づいて画像処理回路２０４の画像処理設定（デジタルズーム倍率設定を含む）を変更することもできる。システム制御部２０５は、メモリ２０３からノイズ量計測結果を読み出し、画像処理回路２０４から画像処理設定情
報（画像処理設定に関する情報）を読み出し、それらをＣＧ映像補正部１０６（後述）に通知することもできる。

露光量制御部２０６は、光学系２０１の絞り機構、撮像素子２０２の露光時間、及び、撮像感度（いわゆるＩＳＯ感度）を調整し、適切な露光量制御を行う。

フォーカスレンズ制御部２０７は、光学系２０１のフォーカスレンズを制御する。

焦点距離制御部２０８は、システム制御部２０５の指示に従って光学系２０１のズームレンズを制御することで、焦点距離を変更する。

操作部材２０９は、ボタンやタッチパネル等であり、撮影指示や画像処理の設定変更指示などのユーザー操作を受け付ける。システム制御部２０５は、操作部材２０９により受け付けたユーザー操作に従って、撮像部１１１の動作の決定や変更を行う。タッチパネルは表示部１１２に対して一体的に設けられていてもよい。

図１において、情報処理装置１００は、撮像映像取得部１０１、マーカー検出部１０２、位置姿勢推定部１０３、ＣＧデータ保持部１０４、ＣＧ映像生成部１０５、ＣＧ映像補正部１０６、及び、表示映像生成部１０７を有する。

撮像映像取得部１０１は、ＨＭＤ１１０の撮像部１１１により撮像された現実空間映像を取得し、取得した現実空間映像をマーカー検出部１０２及び表示映像生成部１０７に送信する。

マーカー検出部１０２は、取得した現実空間映像から、撮像装置としてのＨＭＤ１１０の位置姿勢の推定に用いられるマーカー（２次元コード）が映り込んだ箇所を特定する。マーカーとは、図３の３０１に示すように、白い背景に黒字でコードが記述されているものである。マーカー検出部１０２は、検出したマーカー３０１の位置や向き等を示す情報（いわゆる、マーカー箇所情報）を、現実空間映像と共に位置姿勢推定部１０３に送信する。

位置姿勢推定部１０３は、マーカー検出部１０２で検出したマーカー箇所情報と現実空間映像から、ＨＭＤ１１０の位置姿勢を求める。位置姿勢を推定する方法に関しては、種々の研究報告が行われており、どの手法を用いてもよい。また、位置姿勢情報の精度を上げるため、磁気式センサーや光学式センサーなどを併用するようにしてもよい。位置姿勢推定部１０３は、求めた位置姿勢情報をＣＧ映像生成部１０５に送信する。

ＣＧ映像生成部１０５は、ＣＧデータ保持部１０４からＣＧデータを取得して、移動や回転や拡大縮小などの処理を行い、現実空間映像に重畳する、ＨＭＤ１１０から見たとしたときの仮想空間の映像であるＣＧ映像を生成する。なお、ＣＧ映像生成部１０５は、ＣＧ映像の生成処理において、位置姿勢推定部１０３から取得した位置姿勢情報に加え、あらかじめ保存してある主点位置、焦点距離情報などを、撮像部１１１のシステム制御部２０５を介してメモリ２０３から読み出して用いる。そして、ＣＧ映像生成部１０５は、生成したＣＧ映像をＣＧ映像補正部１０６に送信する。

ＣＧ映像補正部１０６は、撮像部１１１のシステム制御部２０５から通知された、現実空間映像のノイズに関わる情報をもとにノイズを生成し、ＣＧ映像にノイズを付加する。ノイズに関わる情報は、例えば、ＯＢ領域のノイズ量計測結果と、ユーザー操作（ユーザー指示）による画像処理設定の情報とを含む。

本実施形態におけるＭＲシステムは、このＣＧ映像補正部１０６によりＣＧ映像を現実空間映像に合わせるようにＣＧ映像にノイズを付加することで、現実空間映像と仮想空間映像としてのＣＧ映像とを重畳表示する際の違和感を軽減する。ＣＧ映像補正部１０６は、補正したＣＧ映像を表示映像生成部１０７に送信する。

表示映像生成部１０７は、撮像映像取得部１０１から取得した現実空間映像に、ＣＧ映像補正部１０６から取得したＣＧ映像（ノイズが付加されたＣＧ映像）を重畳し、現実空間映像とＣＧ映像とからなる複合現実映像を表示映像として生成する。表示映像生成部１０７は、生成した複合現実映像を、ＨＭＤ１１０の表示部１１２に送信する。

図４はＣＧ映像補正部１０６の構成例を示すブロック図である。ＣＧ映像補正部１０６は、ノイズ特性評価部４０１、ノイズ付加量算出部４０２、及び、ノイズ付加処理部４０３を有する。

ノイズ特性評価部４０１は、撮像部１１１のシステム制御部２０５からノイズに関わる情報を取得して、当該情報に基づいて、ＣＧ映像の画素値と当該画素値に付加するノイズ量との相関関係（対応関係）を決定する。図５は、ノイズ特性評価部４０１の動作（相関関係を決定する動作）の一例を示すフローチャートである。

図５のＳ５０１では、ノイズ特性評価部４０１は、撮像素子２０２に設定されている撮像感度（ＩＳＯ感度）の情報を、メモリ２０３からシステム制御部２０５を介して取得する。ＩＳＯ感度情報もノイズに関わる情報の一つである。一般的には、ＩＳＯ感度の数値が増加すると、撮像素子２０２の受光感度が向上し、微弱な光が検出できるようになるが、撮像画像データに重畳されるノイズ量は増大（悪化）する。

Ｓ５０２では、ノイズ特性評価部４０１は、画像処理回路２０４における現在の画像処理設定の情報を、画像処理回路２０４からシステム制御部２０５を介して取得する。例えば、画像処理設定情報は、ノイズリダクションの強弱の設定情報を含む。画像処理設定情報は、ノイズ特性に関わる情報であればよく、例えばエッジ強調やコントラスト調整の強弱の設定情報を含んでもよい。画像処理設定情報は情報を１つだけを含んでもよいし、複数の情報を含んでもよい。画像処理設定情報は、デジタルズーム倍率の設定情報を含んでもよい。また、画像処理設定情報は、画像処理設定を示す情報以外の情報を含んでもよい。画像処理回路２０４が行う画像処理に依って撮像部１１１の温度（撮像素子２０２の温度）が変化し、撮像部１１１に固有のノイズ特性（撮像素子２０２のノイズ特性）も変化する。そのため、画像処理設定情報は、撮像部１１１の温度情報を含んでもよい。撮像部１１１の温度情報を用いて、例えば、過去に計測されたＯＢ領域のノイズ量から現在のノイズ量を推定することができる。

Ｓ５０３では、ノイズ特性評価部４０１は、ＯＢ領域のノイズ量計測結果を、メモリ２０３からシステム制御部２０５を介して取得する。

Ｓ５０４では、ノイズ特性評価部４０１は、Ｓ５０１～Ｓ５０３で取得した３種類の情報をもとに、ＣＧ映像の画素値と当該画素値に付加するノイズ量（ノイズ付加量）との相関関係を決定する。

本実施形態では、上記３種類の情報をもとに画素値とノイズ付加量との相関関係を決定したが、これに限られない。例えば、Ｓ５０２で取得する画像処理設定情報と、Ｓ５０３で取得するノイズ量計測結果との一方を使用せずに相関関係を決定してもよい。所定のＩＳＯ感度範囲内において撮像素子２０２のノイズ特性の個体差が小さい場合には、画像処理設定情報のみを取得して相関関係を決定してもよい。また、ＩＳＯ感度設定と画像処理
設定が固定（変更不可）である場合など、ＩＳＯ感度設定と画像処理設定が所定の設定である場合には、ノイズ量計測結果のみを取得して相関関係を決定してもよい。

図６（ａ），６（ｂ）は、Ｓ５０４で決定される相関関係の一例を示す。図６（ａ）は、ＩＳＯ感度「Ｘ」且つノイズリダクション設定「弱」の場合における、ＣＧ映像の画素値とノイズ付加量の相関関係を示す相関グラフである。図６（ｂ）は、ＩＳＯ感度「Ｘ」且つノイズリダクション設定「強」の場合における、ＣＧ映像の画素値とノイズ付加量の相関関係を示す相関グラフである。図６（ａ），６（ｂ）において、実線は、「ノイズ量計測結果１」の場合の相関関係を示し、破線は、「ノイズ量計測結果２」の場合の相関関係を示す。

例えば、ある撮影シーンにおいて図５の動作を実施したときに、Ｓ５０１でＩＳＯ感度「Ｘ」の情報、Ｓ５０２でノイズリダクション設定「弱」の情報、Ｓ５０３で「ノイズ量計測結果１」の情報が取得されたとする。この場合、Ｓ５０４では、図６（ａ）の実線の相関関係が決定され、当該相関関係の情報がノイズ付加量算出部４０２に送信される。

本実施形態では、ＩＳＯ感度と画像処理設定情報とノイズ量計測結果の複数の組み合わせにそれぞれ対応する複数の相関関係の情報が、ノイズ特性評価部４０１の不図示のメモリに予め格納されるとする。相関関係の情報は、表形式で相関関係を示す情報（テーブル）であるとする。相関関係の情報は、所定のチャート画像などの撮像結果に基づいて生成することができる。Ｓ５０４では、ノイズ特性評価部４０１は、メモリに格納されている複数の相関関係の情報のうち、Ｓ５０１～Ｓ５０３で取得した３種類の情報の組み合わせに対応する相関関係の情報を選択して取得する。

なお、上記相関関係を決定する代わりに、関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）を用いてノイズ付加量を算出してもよい。関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）は、「Ｎ」と「ＩＳＯ」と「Ｘ」と「Ｙ」を入力とし、ノイズ付加量を出力とする所定の関数である。「Ｎ」と「ＩＳＯ」と「Ｘ」のうちの１つまたは２つは入力から除外してもよい。関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）は、例えば、以下のように表される。
ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）＝ａ（Ｎ）×ｂ（ＩＳＯ）×ｃ（Ｘ）×ｆ_０（Ｙ）
Ｎ：ノイズ量計測結果
ＩＳＯ：ＩＳＯ感度
Ｘ：画像処理設定情報（画像処理に関連したパラメータ）
Ｙ：ＣＧ映像の画素値
ｆ_０（Ｙ）：ノイズ付加量を算出するための基準関数
ａ（Ｎ）：ノイズ量計測結果に応じた重み（ｆ_０（Ｙ）に対する重み付け係数）を算出するための関数
ｂ（ＩＳＯ）：ＩＳＯ感度に応じた重み（ｆ_０（Ｙ）に対する重み付け係数）を算出するための関数
ｃ（Ｘ）：画像処理設定情報に応じた重み（ｆ_０（Ｙ）に対する重み付け係数）を算出するための関数

基準関数ｆ_０（Ｙ）は、所定のＩＳＯ感度（例えばＩＳＯ１００）、所定の画像処理設定情報（例えばノイズリダクション設定「弱」）、及び、所定のノイズ量（例えば代表的な撮像素子のＯＢ領域のノイズ量）の組み合わせに対応する相関関係を示す。関数ａ（Ｎ），ｂ（ＩＳＯ），ｃ（Ｘ）は、いずれも、ノイズ量が多くなる条件の場合に大きい重みが得られ且つノイズ量が少なくなる条件の場合に小さい重みが得られるように定められている。

関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）を用いることができれば、複数の相関関係のテーブルを
ノイズ特性評価部４０１のメモリに予め格納する必要がない。そのため、ノイズ特性評価部４０１のメモリの使用量を減らすことができ、ハード負荷軽減の効果が期待できる。図５のＳ５０１～Ｓ５０３で取得した情報を関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）に入力することにより、ＣＧ映像の画素値とノイズ付加量の相関関係を示す関数が一意に決定される。

図４のノイズ付加量算出部４０２は、ノイズ特性評価部４０１により決定された相関関係に従って、ＣＧ映像の各フレーム画像の各画素に付加するノイズ量（ノイズ付加量）を決定する。ノイズ量は時間的に変動する。本実施形態においては、図６（ａ），６（ｂ）のグラフの横軸が示す画素値Ｙごとに定められた、当該グラフの縦軸が示すノイズ量は、時間的に変動するノイズ量の標準偏差σ（Ｙ）であるとする。例えば、上述した関数ｆ（Ｎ，ＩＳＯ，Ｘ，Ｙ）により算出されるノイズ付加量も、標準偏差σ（Ｙ）である。ノイズ付加量算出部４０２は、ＣＧ映像生成部１０５から出力されたＣＧ映像の画素ごとに、以下の式１を用いて、ＣＧ映像の画素値Ｙに対応するノイズ量σ（Ｙ）と、ランダム関数ＲＡＮＤとから、ノイズ量σ’（Ｙ）を算出する。ランダム関数ＲＡＮＤは、正規分布に従ってランダムに値を決定する関数である。式１を用いることで、ＣＧ映像の各画素に対して、ノイズ特性評価部４０１により決定された相関関係を反映したランダムなノイズ量を決定することができる。なお、ランダム関数ＲＡＮＤは、正規分布とは異なる分布に従ってランダムに値を決定する関数であってもよい。現実空間映像のノイズ特性を考慮して、ランダム関数ＲＡＮＤとして使用する関数を決定することが好ましい。
σ’（Ｙ）＝σ（Ｙ）×ＲＡＮＤ ・・・（式１）

ノイズ付加処理部４０３は、以下の式２を用いて、ＣＧ映像生成部１０５から出力されたＣＧ映像の各画素の画素値Ｙに、ノイズ付加量算出部４０２により決定されたノイズ量σ’（Ｙ）を加算して、ノイズ付加後のＣＧ映像の各画素の画素値Ｙ’を得る。
Ｙ’＝Ｙ＋σ’（Ｙ）＝Ｙ＋σ（Ｙ）×ＲＡＮＤ ・・・（式２）

以上のようにして、撮像部１１１のシステム制御部２０５から通知された現実空間映像のノイズに関連する種々の情報をもとに、現実空間映像相当のノイズをＣＧ映像に付加することができる。そして、ノイズを付加したＣＧ映像をＣＧ映像補正部１０６から表示映像生成部１０７に送信して、現実空間映像と同様のノイズを付加したＣＧ映像による複合現実映像を生成し、ＨＭＤ１１０の表示部１１２に表示することができる。

図５のＳ５０２で取得された画像処理設定情報が、デジタルズーム倍率の設定情報を含む場合について、以下に説明する。ノイズ付加量算出部４０２は、ランダムノイズσ’（Ｙ）からなるノイズ映像を生成し、当該ノイズ映像に対しデジタルズーム倍率で拡大処理を施す。そして、ノイズ付加量算出部４０２は、拡大処理後のノイズ映像に対し、ＣＧ映像の画像サイズに合うようにトリミング処理を施し、トリミング処理後のノイズ映像をノイズ付加処理部４０３に送信する。ノイズ付加処理部４０３は、ＣＧ映像生成部１０５からのＣＧ映像に対し、ノイズ付加量算出部４０２からのノイズ映像によるノイズを付加することにより、拡大されたノイズが付加されたＣＧ映像を生成する。これにより、デジタルズームにより拡大された現実空間映像のノイズと同様の見えを有するノイズを、現実空間映像に重畳されるＣＧ映像に付加することができ、デジタルズーム時においても違和感のない複合現実映像を得ることができる。

上述したＣＧ映像補正処理（ＣＧ映像へノイズを付加する一連の処理）は、ある一定の処理時間を必要とし、この処理を実現するために十分な容量のメモリなどのハードウェアリソースも必要とするため、装置コストの増加をまねく。これらのデメリット（装置コストの増加）を抑制するために、ＣＧ映像補正部１０６は、Ｓ５０３で取得したＯＢ領域のノイズ量計測結果に基づいて、ＣＧ映像補正処理を実施するか否かを判定してもよい。撮像部１１１が低感度で撮像を行う場合には、撮像部１１１で撮像される現実空間映像には
ノイズはほとんど見られず、ノイズのないＣＧ映像をそのまま重畳しても、違和感のほとんどない複合現実映像が得られる。そのため、Ｓ５０３で取得するＯＢ領域のノイズ量が所定の閾値よりも小さい場合は、ＣＧ映像補正部１０６は、ＣＧ映像補正処理を実施せずに、ＣＧ映像を現実空間映像にそのまま合成したものを複合現実映像として取得する。一方で、ＯＢ領域のノイズ量が所定の閾値よりも大きい場合は、ＣＧ映像補正部１０６は、ＣＧ映像補正処理を実施して、複合現実映像を取得する。これにより、上述のデメリット（装置コストの増加）を最小限に抑えることができる。ＯＢ領域のノイズ量が所定の閾値と等しい場合は、ＣＧ映像補正処理は実施してもよいし、実施しなくてもよい。

（第二の実施形態）
本発明の第二の実施形態について説明する。図７は、第二の実施形態における情報処理システムとしてのＭＲシステムの構成例を示すブロック図である。本実施形態におけるＭＲシステムは、第一の実施形態の表示映像生成部１０７を有していない。そして、第一の実施形態とは異なり、撮像部１１１が現実空間映像にＣＧ映像を重畳した複合現実映像を生成し、表示部１１２に送信する。第一の実施形態と同一符号が付された、その他の各モジュールは、第一の実施形態と同様に動作する。

図８は、本実施形態における撮像部１１１の構成例を示すブロック図である。本実施形態における撮像部１１１は、第一の実施形態と異なり、現実空間映像にＣＧ映像を重畳して複合現実映像を生成する複合映像生成部２１０を有する。さらに、本実施形態では、複合映像生成部２１０で生成された複合現実映像は、画像処理回路２０４を介してシステム制御部２０５に送信され、表示部１１２に送信される。第一の実施形態と同一符号が付された、その他の各モジュールは、第一の実施形態と同様に動作する。

本実施形態におけるＭＲシステムの動作例を説明する。

まず、撮像素子２０２が撮像を行う。これにより、光学系２０１を経由して撮像素子２０２で取得した現実空間映像の画像データ、及び、ＯＢ領域の画像データがメモリ２０３に保持される。次に、システム制御部２０５が、ＯＢ領域の画像データからＯＢ領域のノイズ量を計測し、その計測結果（ノイズ量計測結果）もメモリ２０３に格納する。その後、システム制御部２０５は、画像処理回路２０４を経ることなく、もしくは、画像処理回路２０４に画像処理を実施させずに、現実空間映像の画像データ、ＩＳＯ感度情報、及び、ノイズ量計測結果を、情報処理装置１００に送信する。画像処理回路２０４の画像処理は実施されないため、画像処理設定情報は情報処理装置１００に送信されない。

情報処理装置１００では、第一の実施形態と同様に、各モジュールの動作を実行して、ノイズが付加されたＣＧ映像をＣＧ映像補正部１０６から出力する。但し、ノイズが付加されたＣＧ映像は、ＣＧ映像補正部１０６から撮像部１１１に送信される。また、情報処理装置１００では、撮像部１１１の画像処理設定情報を考慮せずに、ＣＣ映像にノイズが付加される。ＣＧ映像に付加されたノイズは、撮像部１１１に固有の特性のノイズであり、画像処理回路２０４の画像処理が施される前の現実空間映像に合ったノイズである。

情報処理装置１００から撮像部１１１に送信されたＣＧ映像（ノイズが付加されたＣＧ映像）は、撮像部１１１の複合映像生成部２１０に送信される。複合映像生成部２１０は、メモリ２０３に保持された現実空間映像に、このＣＧ画像を重畳して、複合現実映像を生成する。ここでは、画像処理回路２０４の画像処理が施される前の現実空間映像にＣＧ映像を重畳した複合現実映像が生成される。

複合映像生成部２１０で生成された複合現実映像の画像データは、画像処理回路２０４に送信され、ユーザー指示による画像処理が実施される。その後、システム制御部２０５
は、画像処理後の画像データを介して表示部１１２に送信して、複合現実映像を表示部１１２に表示する。

以上述べたように、第二の実施形態によれば、画像処理前に、現実空間映像と同様のノイズを付加したＣＧ画像による複合現実映像が生成され、この複合現実映像に対して画像処理が実施される。これにより、ＣＧ映像にノイズを付加する際に画像処理設定情報を用いなくても、違和感のない複合現実映像を得ることができる。

なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報処理装置 １０５：ＣＧ映像生成部 １０６：ＣＧ映像補正部

Claims (14)

1. 現実空間の映像に重畳する仮想空間の映像を生成する生成手段と、
   前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性に基づく特性でノイズを付加する付加手段と
   を有することを特徴とする情報処理装置。
2. 前記撮像部は、前記現実空間の映像を撮像するための領域と、遮光領域とを撮像し、
   前記撮像部に固有の特性のノイズは、前記遮光領域の撮像結果から推定される
   ことを特徴とする請求項１に記載の情報処理装置。
3. 現実空間の映像に重畳する仮想空間の映像を生成する生成手段と、
   前記仮想空間の映像に、前記現実空間の映像に施す画像処理に基づく特性でノイズを付加する付加手段と
   を有することを特徴とする情報処理装置。
4. 前記画像処理に基づく特性は、ノイズリダクション設定、エッジ強調設定、コントラスト調整設定、及び、前記現実空間の映像を撮像する撮像部の温度の少なくともいずれかに基づく特性である
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記付加手段は、前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性と前記現実空間の映像に施す画像処理とに基づく特性で、ノイズを付加する
   ことを特徴とする請求項３または４に記載の情報処理装置。
6. 前記現実空間の映像を撮像する撮像部に固有の特性のノイズと前記現実空間の映像に施す画像処理との少なくとも一方に基づいて、前記仮想空間の映像の画素値と当該画素値に付加するノイズ量との対応関係を決定する決定手段
   をさらに有し、
   前記付加手段は、前記対応関係に従って、前記仮想空間の映像にノイズを付加する
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
7. 画素値とノイズ量の複数の対応関係が予め定められており、
   前記決定手段は、前記現実空間の映像を撮像する撮像部に固有の特性のノイズと前記現実空間の映像に施す画像処理との少なくとも一方に基づいて、前記複数の対応関係のいずれかを選択する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記現実空間の映像を撮像する撮像部に固有の特性のノイズ量と前記現実空間の映像に施す画像処理に関連したパラメータとの少なくとも一方、及び、前記仮想空間の映像の画素値を入力とし、当該画素値に付加するノイズ量を出力とする所定の関数を用いて、前記仮想空間の映像に付加するノイズ量を算出する算出手段
   をさらに有する
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
9. 前記付加手段は、現実空間の映像に拡大処理が施される場合に、ノイズを前記拡大処理と同じ拡大倍率で拡大して、前記仮想空間の映像に付加する
   ことを特徴とする請求項１～８のいずれか１項に記載の情報処理装置。
10. 前記付加手段は、
    前記現実空間の映像を撮像する撮像部に固有の特性のノイズ量が閾値よりも小さい場合には、前記仮想空間の映像にノイズを付加せず、
    前記現実空間の映像を撮像する撮像部に固有の特性のノイズ量が閾値よりも大きい場合に、前記仮想空間の映像にノイズを付加する
    ことを特徴とする請求項１～９のいずれか１項に記載の情報処理装置。
11. 現実空間の映像に重畳する仮想空間の映像を生成するステップと、
    前記仮想空間の映像に、前記現実空間の映像を撮像する撮像部に固有の特性に基づく特性でノイズを付加するステップと
    を有することを特徴とする情報処理装置の制御方法。
12. 現実空間の映像に重畳する仮想空間の映像を生成するステップと、
    前記仮想空間の映像に、前記現実空間の映像に施す画像処理に基づく特性でノイズを付加するステップと
    を有することを特徴とする情報処理装置の制御方法。
13. コンピュータを、請求項１～１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
14. 請求項１～１０のいずれか１項に記載の情報処理装置と、
    前記付加手段によりノイズが付加された仮想空間の映像を、現実空間の映像に重畳して表示する表示手段と
    を有することを特徴とするヘッドマウントディスプレイ。

Images