JP2017215688A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 左右の眼に提示する画像に対して黒部を目立たないようにするグラデーション処理を行う場合におけるコントラスト低下を低減するための技術を提供すること。【解決手段】 第１の画像の水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定し、該区間内の輝度値を該水平ラインの左端に近いほど小さくする。第２の画像水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定し、該区間内の輝度値を該水平ラインの右端に近いほど小さくする。【選択図】 図１

Description

本発明は、左右の眼に提示する画像の生成技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術を体現させる装置として、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている。ビデオシースルー型ＨＭＤは、ユーザの瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をユーザに観察させるものである。そのために、ビデオシースルー型ＨＭＤは撮像部と表示部とを有する。撮像部は、被写体を撮像して該被写体のデジタル画像データを得るための撮像光学系とＣＣＤ等の撮像素子とを有する。表示部は、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を装着者に表示するための液晶や有機ＥＬ等の表示素子と該表示素子に表示された画像を拡大して提示する表示光学系とを有する。

ＨＭＤ等に用いる画像表示装置には、観察者がより自然に映像観察を行うためや、臨場感のある映像観察を行うために、広画角の映像提示が望まれている。広画角の映像提示を可能にする技術として、左右の眼に異なる画角の映像を提示させる場合に、一部の画角のみ左右の眼で重なる構成にすることで、左右の眼に同じ画角の映像を表示させる場合よりも広画角の映像を観察可能にする画像表示技術が提案されている。

左右の眼に異なる画角の映像を提示する際に、一部の画角のみ左右の眼で重なる場合、単眼領域と両眼領域の境界部における表示素子の黒枠などが急激な輝度差となり、自然な観察ができない。両眼領域と単眼領域の境界で急激な輝度差が起こることによって、視野闘争を起こし、ユーザの視野内における画像中に図３（ｂ）に示すような黒部が発生する。

特許文献１に記載のヘッドマウントディスプレイ装置では、所定の位置から画像の明るさを所定の減少カーブで低下させることで急激な輝度変化を低減し、黒部を目立たないようにしている。

特開２００３−３３７２９９号公報

特許文献１に開示の技術では、黒部を目立たないようにしているが、黒部以外の領域にも広くグラデーションをかける必要があるため、黒部付近のコントラストが低下していた。本発明はこのような問題に鑑みてなされたものであり、左右の眼に提示する画像に対して黒部を目立たないようにするグラデーション処理を行う場合におけるコントラスト低下を低減するための技術を提供する。

本発明の一様態は、ユーザの右眼に提示するために生成された第１の画像と、該ユーザの左眼に提示するために生成された第２の画像と、を取得する取得手段と、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定する第１の特定手段と、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第１の特定手段が特定した区間内の輝度値を該水平ラインの左端に近いほど小さくする第１の処理手段と、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定する第２の特定手段と、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第２の特定手段が特定した区間内の輝度値を該水平ラインの右端に近いほど小さくする第２の処理手段と、前記第１の処理手段による処理後の前記第１の画像と、前記第２の処理手段による処理後の前記第２の画像と、を出力する出力手段とを備えることを特徴とする。

本発明の構成によれば、左右の眼に提示する画像に対して黒部を目立たないようにするグラデーション処理を行う場合におけるコントラスト低下を低減することができる。

システムの構成、コンピュータ装置１１０２の構成を示す図。 ＨＭＤ１１０１における表示画面及び光学系、ユーザの眼との関係を説明する図。 ユーザが知覚する画像について説明する図。 コンピュータ装置１１０２及びＨＭＤ１１０１の機能構成例を示すブロック図。 グラデーション処理を説明する図。 グラデーション処理を説明する図。 ステップＳ１０００８の処理を説明する図。 コンピュータ装置１１０２の処理のフローチャート、検波領域を示す図。 第２の実施形態の概要を説明する図。 第２の実施形態の概要を説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、以下のような構成を有する画像処理装置の一例について説明する。先ず、ユーザの右眼に提示するために生成された第１の画像と、該ユーザの左眼に提示するために生成された第２の画像と、を取得する。そして、第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定する（第１の特定）。そして、第１の画像の少なくとも一部の水平ラインに対し、該水平ラインについて第１の特定で特定した区間内の輝度値を該水平ラインの左端に近いほど小さくする（第１の処理）。また、第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定する（第２の特定）。そして、第２の画像の少なくとも一部の水平ラインに対し、該水平ラインについて第２の特定で特定した区間内の輝度値を該水平ラインの右端に近いほど小さくする（第２の処理）。そして、第１の処理による処理後の第１の画像と、第２の処理による処理後の第２の画像と、を出力する。

本実施形態では、このような画像処理装置を、ＰＣ（パーソナルコンピュータ）等のコンピュータ装置に適用したケースについて説明する。しかし、上記画像処理装置の適用先はこれに限らず、例えば、後述するようなＨＭＤ等の頭部装着型表示装置に適用しても構わない。

先ず、本実施形態に係るシステムの構成例について、図１（ａ）を用いて説明する。図１（ａ）に示す如く、本実施形態に係るシステムは、コンピュータ装置１１０２、表示装置１１０３、ＨＭＤ１１０１、を有する。表示装置１１０３はコンピュータ装置１１０２に接続されており、コンピュータ装置１１０２による処理結果を画像や文字などでもって表示する。一方、コンピュータ装置１１０２にはＨＭＤ１１０１が接続されている。コンピュータ装置１１０２とＨＭＤ１１０１との間は有線を介して接続しても良いし、無線を介して接続しても良い。後者の場合、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の小規模ネットワークを介して機器間を接続しても良い。本実施形態ではＨＭＤ１１０１はビデオシースルー方式の表示装置であるとするが、光学シースルー方式の表示装置であっても良い。

先ず、ＨＭＤ１１０１における表示画面及び光学系、そして該ＨＭＤ１１０１を頭部に装着したユーザの眼との関係について、図２を用いて説明する。表示画面１３０５は、ユーザの右眼１３０１に提示するために生成された画像を表示するための画面で、表示画面１３０５に表示された画像からの光束は、光学系１３０３を介して右眼１３０１に導かれる。これにより表示画面１３０５に表示されている画像は光学系１３０３で拡大されて右眼１３０１で観察されることになる。また、表示画面１３０５及び光学系１３０３のセットは、右眼１３０１の入射瞳中心を中心に、右眼視軸１３０７（正面を観察するときの右眼１３０１の視軸）から図中時計回りに７．５度傾いている。また、表示画面１３０５及び光学系１３０３のセットにより右眼１３０１に導かれる画像の画角は、右眼１３０１の入射瞳中心を中心に右眼視軸１３０７から時計回りに５０度、反時計回りに３５度である。以下では、表示画面１３０５及び光学系１３０３のセットを右眼用表示ユニットと呼称する。

表示画面１３０６は、ユーザの左眼１３０２に提示するために生成された画像を表示するための画面で、表示画面１３０６に表示された画像からの光束は、光学系１３０４を介して左眼１３０２に導かれる。これにより表示画面１３０６に表示されている画像は光学系１３０４で拡大されて左眼１３０２で観察されることになる。また、表示画面１３０６及び光学系１３０４のセットは、左眼１３０２の入射瞳中心を中心に、左眼視軸１３０８（正面を観察するときの左眼１３０２の視軸）から図中反時計回りに７．５度傾いている。また、表示画面１３０６及び光学系１３０４のセットにより左眼１３０２に導かれる画像の画角は、左眼１３０２の入射瞳中心を中心に左眼視軸１３０８から時計回りに３５度、反時計回りに５０度である。以下では、表示画面１３０６及び光学系１３０４のセットを左眼用表示ユニットと呼称する。

このような左眼用表示ユニット及び右眼用表示ユニットにより供給された画像をユーザが観察する場合、ユーザの正面方向（右眼視軸１３０７及び左眼視軸１３０８と並行）から反時計回りに５０度〜３５度の範囲は左眼１３０２のみで観察することになる。また、ユーザの正面方向から反時計回りに３５度〜時計回りに３５度の範囲は右眼１３０１及び左眼１３０２の両眼で観察することになる。また、ユーザの正面方向から時計回りに３５度〜５０度の範囲は右眼１３０１のみで観察することになる。その結果、ユーザの視界（水平画角）は１００度となる。

このように左右の眼に対して異なる画角の観察像を表示させて、一部の画角のみ左右の眼で重なるようにすることで、左右の表示画面の大きさが同じときには、左右の眼に同じ画角の観察像を表示させる場合よりも広画角の画像が観察可能となる。

次に、表示画面１３０５に表示される画像及び表示画面１３０６に表示される画像をそれぞれ右眼１３０１及び左眼１３０２で観察したユーザが観察したと知覚する１枚の画像について、図３（ａ）、（ｂ）を用いて説明する。

画像１５０１は表示画面１３０６に表示された画像、画像１５０２は表示画面１３０５に表示された画像である。画像１５０１が光学系１３０４を介してユーザの左眼１３０２に提示され、画像１５０２が光学系１３０３を介してユーザの右眼１３０１に提示されると、ユーザは１枚の画像１５９０を観察したものと知覚する。画像１５０１の左端は画像１５９０の左端に対応しており、画像１５０１の右端は境界１５０５ｂに対応している。また、画像１５０２の左端は境界１５０５ａに対応しており、画像１５０２の右端は画像１５９０の右端に対応している。そして、画像１５９０の左端と境界１５０５ａとの間の部分画像１５０４ａは、左眼１３０２のみで観察可能な画像部分であり、画像１５９０の右端と境界１５０５ｂとの間の部分画像１５０４ｂは、右眼１３０１のみで観察可能な部分画像である。また、境界１５０５ａと境界１５０５ｂとの間の部分画像１５０３は、右眼１３０１及び左眼１３０２の両眼で観察可能な部分画像である。

このような１枚の画像１５９０を観察したとユーザが知覚した場合、上記の通り、図３（ｂ）に示す如く、画像１５９０の左端から境界１５０５ａに向けて徐々に暗くなっており、且つ画像１５９０の右端から境界１５０５ｂに向けて徐々に暗くなっている。これは、部分画像１５０４ａ（部分画像１５０４ｂ）において、片眼には画像が表示されるが、もう片方の眼には画像が表示されず、その結果、黒部が見えてしまうことに起因している。その結果、片方の目において急激な輝度差を観察することで左右の眼の視野闘争により生じてしまう。

そこで本実施形態では、画像１５０１の右端付近、画像１５０２の左端付近の輝度を調整して、部分画像１５０３において左端（右端）に近づくにつれて暗くなるようにし、これにより、境界１５０５ａ（１５０５ｂ）を挟んで輝度差を軽減する。図２の場合、表示画面１３０５から光学系１３０３の左端部１３９８を介して右眼１３０１に導かれる光束、即ち表示画面１３０５の左端近傍に表示されている部分画像に対し、左端に近いほど暗くなるように処理（グラデーション処理）する。同様に、表示画面１３０６から光学系１３０４の右端部１３９９を介して左眼１３０２に導かれる光束、即ち表示画面１３０６の右端近傍に表示されている部分画像に対し、右端に近いほど暗くなるように処理（グラデーション処理）する。これにより、境界１５０５ａ（１５０５ｂ）が図３（ｂ）のように観察されることを防ぐことができる。

次に、コンピュータ装置１１０２及びＨＭＤ１１０１の機能構成例について、図４のブロック図を用いて説明する。先ず、コンピュータ装置１１０２の機能構成例について説明する。

コンテンツＤＢ（データベース）１２１２には、仮想空間を規定するデータ（仮想物体データ）が登録されている。仮想物体データには、仮想空間を構成する各仮想物体の描画に必要なデータや、各仮想物体の配置位置姿勢、仮想空間を照射する光源を規定するデータ（光源の種類、位置姿勢など）等が含まれている。

位置姿勢算出部１２１１は、通信部１２１０を介してＨＭＤ１１０１から受信した「撮像部１２０１が撮像した現実空間の撮像画像」を用いて、撮像部１２０１の位置姿勢を算出する。更に位置姿勢算出部１２１１は、通信部１２１０を介してＨＭＤ１１０１から受信した「撮像部１２０３が撮像した現実空間の撮像画像」を用いて、撮像部１２０３の位置姿勢を算出する。なお、撮像画像を用いて視点の位置姿勢を算出する技術は周知であるため、これに係る説明は省略する。また、視点として適用可能なものは撮像部１２０１及び撮像部１２０３に限らない。また、視点の位置姿勢を算出する方法は、撮像画像を用いた方法に限らず、例えば、ＨＭＤ１１０１に取り付けた位置姿勢を計測するセンサによる計測値に基づいて視点の位置姿勢を算出するようにしても良い。

ＣＧ描画部１２１３は、コンテンツＤＢ１２１２に登録されている仮想空間データを用いて仮想空間を構成する。そしてＣＧ描画部１２１３は、位置姿勢算出部１２１１が算出した撮像部１２０１の位置姿勢を有する視点から見た該仮想空間の画像、位置姿勢算出部１２１１が算出した撮像部１２０３の位置姿勢を有する視点から見た該仮想空間の画像を生成する。そしてＣＧ描画部１２１３は、通信部１２１０を介してＨＭＤ１１０１から受信した「撮像部１２０１が撮像した現実空間の撮像画像」と「撮像部１２０１の位置姿勢を有する視点から見た仮想空間の画像」とを合成した合成画像（左眼用合成画像）を生成する。更にＣＧ描画部１２１３は、通信部１２１０を介してＨＭＤ１１０１から受信した「撮像部１２０３が撮像した現実空間の撮像画像」と「撮像部１２０３の位置姿勢を有する視点から見た仮想空間の画像」とを合成した合成画像（右眼用合成画像）を生成する。

検波部１２１４は、左眼用合成画像（右眼用合成画像）を対象画像とし、該対象画像の水平ラインごとに、グラデーション処理の対象となる区間を規定するために、該ラインの端部における輝度値の収集を行う。決定部１２１５は、検波部１２１４による輝度値の収集結果に基づいて、対象画像の水平ラインごとに、グラデーション処理の対象となる区間を確定させる。補正部１２１６は、対象画像の水平ラインごとに、該水平ラインについて決定部１２１５が決定した区間に対してグラデーション処理を行う。

処理部１２１７は、補正部１２１６により補正された左眼用合成画像及び右眼用合成画像に対して各種の画像処理を施してから、通信部１２１０を介してＨＭＤ１１０１に対して送出する。

次に、ＨＭＤ１１０１の機能構成例について説明する。撮像部１２０１は、ＨＭＤ１１０１を頭部に装着するユーザの左眼に対応する現実空間を撮像し、該撮像した各フレームの画像（現実空間の画像）は処理部１２０６に対して順次出力する。撮像部１２０３は、ＨＭＤ１１０１を頭部に装着するユーザの右眼に対応する現実空間を撮像し、該撮像した各フレームの画像（現実空間の画像）は処理部１２０６に対して順次出力する。

処理部１２０６は、撮像部１２０１や撮像部１２０３から受けた現実空間の画像に対して各種の画像処理を施してから、通信部１２０７を介してコンピュータ装置１１０２に対して送出する。

表示部１２０４（右眼用表示ユニット）は、ＨＭＤ１１０１を頭部に装着したユーザの右眼の眼前に位置するものであり、通信部１２０７を介してコンピュータ装置１１０２から受信した右眼用合成画像を表示する。表示部１２０２（左眼用表示ユニット）は、ＨＭＤ１１０１を頭部に装着したユーザの左眼の眼前に位置するものであり、通信部１２０７を介してコンピュータ装置１１０２から受信した左眼用合成画像を表示する。

制御部１２０５は、ＨＭＤ１１０１の各機能部の動作制御を行う。

本実施形態では、ＨＭＤ１１０１からコンピュータ装置１１０２に対して撮像画像を送信し、コンピュータ装置１１０２は該撮像画像に基づいて算出した位置姿勢に基づいて仮想空間の画像を生成し、該撮像画像と合成した合成画像をＨＭＤ１１０１に送信した。しかし、ＨＭＤ１１０１が合成画像を取得することができるのであれば、合成画像を生成するまでの処理や、該処理を達成するためにＨＭＤ１１０１及びコンピュータ装置１１０２のそれぞれがどのような処理を分担するのかについては特定の形態に限らない。例えば、次のような構成も考えられる。すなわち、ＨＭＤ１１０１側で視点の位置姿勢をセンサを用いて取得してコンピュータ装置１１０２に対して送信し、コンピュータ装置１１０２は、ＨＭＤ１１０１から受信した位置姿勢に基づいて仮想空間の画像を生成してＨＭＤ１１０１に送信する。ＨＭＤ１１０１は撮像画像と受信した仮想空間の画像とを合成した合成画像を生成して表示する。

次に、コンピュータ装置１１０２が、左眼用合成画像及び右眼用合成画像を生成した後に該左眼用合成画像及び右眼用合成画像に対して行う処理について、図８（ａ）のフローチャートに沿って説明する。先ず、左眼用合成画像に対して行う処理について説明し、次に右眼用合成画像に対して行う処理について説明する。なお、左眼用合成画像に対して行う処理、右眼用合成画像に対して行う処理は、この順で実行しても良いし、逆の順で実行しても良いし、これらの処理を並行して実行しても良い。

ステップＳ１００２〜Ｓ１００４の処理により、図８（ｂ）に示す如く、左眼用合成画像８０１の右端を右辺とする幅ｄの領域８０１ａを検波領域とし、該検波領域の各水平ラインについて、該水平ラインを構成する各画素の輝度値を収集する。そして、水平ラインごとに、該水平ラインについて収集した輝度値に基づいてグラデーション処理を行う区間を決定する。

より具体的には、ステップＳ１００２において検波部１２１４は、領域８０１ａを構成する全ての水平ラインについて輝度値の収集を行ったのか否かを判断する。この判断の結果、領域８０１ａを構成する全ての水平ラインについて輝度値を収集したのであれば、処理はステップＳ１００５に進み、未だ輝度値を収集していない水平ラインが残っている場合には、処理はステップＳ１００３に進む。ステップＳ１００３では、検波部１２１４は、未だ輝度値を収集していない水平ラインのうちの１つを選択水平ラインとして選択し、該選択水平ラインを構成する各画素の輝度値を収集する。ステップＳ１００４では、決定部１２１５は先ず、選択水平ラインについて収集した輝度値のうち最大の輝度値及び最小の輝度値を除く輝度値の平均値を算出する。そして決定部１２１５は、該平均値に基づいて選択水平ラインにおいてグラデーション処理を行う区間（グラデーション領域）を決定する。

例えば決定部１２１５はｘを変数とする一次多項式において変数ｘに平均値を代入して該一次多項式の値ｐを求め、選択水平ラインにおいて右端から距離ｐだけ左方に離間した位置までの間の区間をグラデーション処理を行う区間（グラデーション範囲）とする。このとき、一次多項式の各項の係数は、様々な輝度平均値に対する一次多項式の値が適当なグラデーション範囲の一端の位置となるように予め定められたもので、合成画像の解像度、ＨＭＤ１１０１の特性などに応じて適当な値が設定されている。一次多項式は最大の平均輝度値に対して最長のグラデーション範囲（画像端部から最長のグラデーション範囲離間した位置）を返し、最小の平均輝度値に対して最短のグラデーション範囲（画像端部から最短のグラデーション範囲離間した位置）を返す関数である。

また、様々な輝度平均値に対応するグラデーション範囲長が登録されたテーブルを予め作成してコンピュータ装置１１０２に登録しておき、決定部１２１５が求めた平均値に対応するグラデーション範囲長をテーブルから取得するようにしても良い。このように、決定部１２１５が求めた平均値に応じた適当なグラデーション範囲長が得られるのであれば、如何なる構成を採用しても良い。また、検波部１２１４が収集した輝度値の平均値の代わりに、該輝度値の中央値など他の統計量を採用しても良い。

以上のステップＳ１００２〜Ｓ１００４の処理により、各水平ラインについてグラデーション範囲を決定することができる。しかし、周囲の水平ラインと比べて着目水平ラインにおけるグラデーション範囲長が著しく長くなってしまったり、短くなってしまうようなケースが考えられる。このようなケースが生じた場合に各水平ラインのグラデーション範囲に対してグラデーション処理を行うと、着目水平ラインに対するグラデーション処理の結果が他の水平ラインに対するグラデーション処理の結果と比べて目立ってしまう。そこでステップＳ１００５〜Ｓ１００８の処理により、このような他の水平ラインと比べて長さが著しく異なるグラデーション範囲長を補正する。

より具体的には、ステップＳ１００５では、決定部１２１５は、全ての水平ラインについてグラデーション範囲長の確認が完了したか否かを判断する。この判断の結果、全ての水平ラインについて確認が完了した場合には、処理はステップＳ１００９に進み、確認が完了していない水平ラインが未だ残っている場合には、処理はステップＳ１００６に進む。

ステップＳ１００６では、決定部１２１５は、未だ確認が完了していない水平ラインのうちの１つを選択水平ラインとして選択する。そして決定部１２１５は、選択水平ラインにおけるグラデーション範囲長と、該選択水平ラインの周囲の水平ライン（例えば選択水平ラインから上方Ｎ（Ｎは自然数）ライン及び／又は下方Ｎライン）と、の差分の絶対値を求める。

ステップＳ１００７では、決定部１２１５は、ステップＳ１００６で求めた何れかの差分の絶対値が規定値以上であるか否かを判断する。この判断の結果、何れかの差分の絶対値が規定値以上であれば、処理はステップＳ１００８に進み、何れも規定値未満であれば、処理はステップＳ１００５に進む。

ステップＳ１００８で決定部１２１５は、選択水平ラインのグラデーション範囲長と周囲の水平ラインのグラデーション範囲長との差分を小さくするために、選択水平ラインのグラデーション範囲長を周囲の水平ラインのグラデーション範囲長を用いて補正する。

Ｎ＝１である場合におけるステップＳ１００８の処理について、図７を用いて説明する。図７では、Ｙライン＝選択水平ラインとしており、Ｙ＋１ラインが選択水平ラインに隣接する直上の水平ライン、Ｙ−１ラインが選択水平ラインに隣接する直下の水平ラインとなっている。図７（ａ）は、ステップＳ１００８における補正前の状態を示しており、Ｙラインのグラデーション範囲１４０１の長さが、Ｙ＋１ライン、Ｙ−１ラインのそれぞれにおけるグラデーション範囲１４０１の長さと比べて著しく長くなっている。そこでこのような場合には、Ｙラインのグラデーション範囲１４０１の長さが、Ｙ＋１ライン、Ｙ−１ラインのそれぞれにおけるグラデーション範囲１４０１の長さとあまり変わらないようにするために、Ｙラインのグラデーション範囲１４０１の長さを補正する。この補正結果を図７（ｂ）に示す。例えば、Ｙ＋１ライン、Ｙ−１ラインのそれぞれにおけるグラデーション範囲１４０１の長さの平均値Ｌを求め、Ｙラインのグラデーション範囲１４０１の長さを平均値Ｌに補正しても良い。このように、Ｙラインのグラデーション範囲１４０１の長さが、Ｙ＋１ライン、Ｙ−１ラインのそれぞれにおけるグラデーション範囲１４０１の長さとあまり変わらないようにするために行う処理については特定の処理に限らない。

以上説明したステップＳ１００２〜Ｓ１００８の処理を行うことで、左眼用合成画像における各水平ラインのグラデーション範囲が決定したので、ステップＳ１００９で補正部１２１６は、各水平ラインのグラデーション範囲に対してグラデーション処理を行う。これにより、グラデーション範囲内では、右方に近いほど輝度値が小さくなる。

上記の通り、図８（ａ）のフローチャートに従った処理は右眼用合成画像に対しても行う。処理の内容は左眼用合成画像に対して行った上記の処理と同様である。すなわちステップＳ１００２〜Ｓ１００４では、図８（ｃ）に示す如く、右眼用合成画像８０２の左端を左辺とする幅ｄの領域８０２ａを検波領域とし、該検波領域の各水平ラインについて、該水平ラインを構成する各画素の輝度値を収集する。そして、水平ラインごとに、該水平ラインについて収集した輝度値に基づいてグラデーション処理を行う区間を決定する。区間の決定では、例えば上記の一次多項式を用いる場合には、選択水平ラインにおいて左端から距離ｐだけ右方に離間した位置までの間の区間をグラデーション処理を行う区間（グラデーション範囲）とする。そしてステップＳ１００５〜Ｓ１００８では、他の水平ラインと比べて長さが著しく異なるグラデーション範囲長を補正する。ステップＳ１００９では、各水平ラインのグラデーション範囲に対してグラデーション処理を行う。これにより、グラデーション範囲内では、左方に近いほど輝度値が小さくなる。

ここで、グラデーション処理について、図５，６を用いて説明する。図５では、左眼用合成画像の右端付近の輝度値が比較的小さいケース（ケースＡ）、図６では、左眼用合成画像の右端付近の輝度値が比較的大きいケース（ケースＢ）、を示している。なお、以下の説明は、右眼用合成画像にも同様に適用できる。

図５（ａ）の上側は、左眼用合成画像のグラデーション範囲１４０１内の画素のグラデーション処理前の輝度値１４０２のグラフを示しており、横軸は画像のｘ座標値、縦軸は輝度値を表している。グラデーション範囲１４０１内における輝度値１４０２に対して、例えば、輝度値が点線で示すような曲線以下となるようにグラデーション処理を行った結果としての輝度値１４０３を図５（ａ）の下側に示す。図５（ａ）においてグラデーション範囲１４０１の長さをより短くしたものを図５（ｂ）に示した。グラデーション範囲１４０１内における輝度値１４０２に対して、例えば、輝度値が点線で示すような曲線以下となるようにグラデーション処理を行った結果としての輝度値１４０３を図５（ｂ）の下側に示す。

図５（ａ）のように、ケースＡにおいてグラデーション範囲１４０１を広くとると、グラデーション処理が必要のない領域にもグラデーション処理が行われる。これに対して図５（ｂ）では狭い範囲に同様の輝度勾配になるよう、グラデーション処理を行っている。ケースＡの場合、合成画像の端部では輝度値が低いため狭い範囲にグラデーション処理を行う。

図６（ａ）の上側は、左眼用合成画像のグラデーション範囲１４０１内の画素のグラデーション処理前の輝度値１４０２のグラフを示しており、横軸は画像のｘ座標値、縦軸は輝度値を表している。グラデーション範囲１４０１内における輝度値１４０２に対して、例えば、輝度値が点線で示すような曲線以下となるようにグラデーション処理を行った結果としての輝度値１４０３を図６（ａ）の下側に示す。図６（ａ）においてグラデーション範囲１４０１の長さをより短くしたものを図６（ｂ）に示した。グラデーション範囲１４０１内における輝度値１４０２に対して、例えば、輝度値が点線で示すような曲線以下となるようにグラデーション処理を行った結果としての輝度値１４０３を図６（ｂ）の下側に示す。

ケースＢの場合、グラデーション処理の結果、画像の端部における急激な輝度低下が発生して黒部を生じてしまう可能性がある。ケースＢの場合には、グラデーション範囲を狭くすると輝度差が残り黒部が発生する可能性があるため、グラデーション処理を広くする。

このように、左眼用合成画像における右端付近の輝度値（例えば平均輝度値）が規定値以上であれば、決定したグラデーション範囲の長さを規定量だけ長くし、規定値未満であれば、決定したグラデーション範囲の長さを規定量だけ短くする。この規定量は平均輝度値などに応じて適宜変更しても構わない。これにより、上記の黒部を発生させず、コントラスト低下を軽減するグラデーション処理を実現することができる。

＜変形例＞
一次多項式の代わりに、輝度の変化や像の変化、黒部の見え方によってはｎ次元多項式やガウシアン関数等の曲線を用いても構わない。また、左眼用合成画像における水平ラインの右端（右眼用合成画像における水平ラインの左端）付近の輝度値が十分に小さい場合には、該水平ラインにはグラデーション範囲を設定せず、従って該水平ラインについてはグラデーション処理を省いても構わない。

また、左眼用合成画像（または右眼用合成画像）の左端近傍（右端近傍）の輝度値群に基づいて特定する処理そのものを行わないような水平ラインを設けてもよい。例えば、眼に着き易い中央の水平ラインについては、上述の第１、第２の特定処理を行い、特定されたグラデーション範囲に対して第１、第２の処理を行う。一方、眼に付きにくい画像の上下端の水平ラインでは第１、第２の特定処理は行わず、そして当然ながら、第１、第２の処理についても行わない。

このように、本実施形態は、右眼用合成画像および左眼用合成画像の各水平ラインに対して処理を行う形態に限られるようなものではない。すなわち、右眼用合成画像および左眼用合成画像の少なくとも一部の水平ラインに対して第１、第２の特定処理が行われ、その特定された範囲に対して第１、第２の処理が行われればよい。

また、第１の実施形態では、検波領域の水平方向のサイズは各水平ラインについて同じであったが、これに限らず、例えば、水平ラインの途中に黒部（輝度値が規定値以下の部分）があれば、その位置から輝度値の収集を行っても良い。

また、第１の実施形態では、ＨＭＤ１１０１は２つの表示画面を有するものとして説明したが、より多くの数の表示画面を搭載し、これらの表示画面を組み合わせて右眼及び左眼に画像を提示するようにしても良い。また、第１の実施形態では、１水平ラインごとに輝度値の収集を行ったが、複数水平ラインを同時に走査して輝度値の収集を行っても良い。

また、第１の実施形態では、ＨＭＤ１１０１には現実空間の画像と仮想空間の画像とを合成した複合現実空間の画像を表示するものとして説明したが、表示する画像は複合現実空間の画像に限らない。

［第２の実施形態］
本実施形態では、グラデーション範囲に含まれる画像の端部における輝度勾配に応じて、該グラデーション範囲に対するグラデーション処理を行うか否かを制御する。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

先ず、本実施形態の概要について説明する。図９（ａ）において上側のグラフは境界１５０５ｂ付近における画像１５０２（右眼用合成画像）の輝度分布を表しており、下側は境界１５０５ｂ付近における画像１５０１（左眼用合成画像）の輝度値１４０２を示している。図９（ａ）に示す如く、輝度値１４０２では境界１５０５ｂに向けて輝度が増加している。ここで、画像１５０１のグラデーション範囲１４０１に対してグラデーション処理を行うと、図９（ｂ）の下側に示す如く輝度値１４０２は輝度値１４０３となる。しかし、部分画像１５０３として観察した場合、グラデーション処理による輝度の低減による影響は画像１５０２の輝度分布によって軽減されてしまい、グラデーション処理を行った意味が無くなってしまう。また、同画角にある画像１５０２の輝度が明るくユーザの視覚に対して優勢となる。このため、視野闘争による黒部が発生しない。

図１０（ａ）において上側のグラフは境界１５０５ｂ付近における画像１５０２（右眼用合成画像）の輝度分布を表しており、下側は境界１５０５ｂ付近における画像１５０１（左眼用合成画像）の輝度値１４０２を示している。図１０（ａ）に示す如く、輝度値１４０２では境界１５０５ｂに向けて輝度が減少している。ここで、画像１５０１のグラデーション範囲１４０１に対してグラデーション処理を行うと、図１０（ｂ）の下側に示す如く輝度値１４０２は輝度値１４０３となる。しかし、元々輝度値１４０２において境界１５０５ｂ付近は暗いため、輝度値１４０２を輝度値１４０３に変換しても、大きな効果が得られるわけではなく、グラデーション処理を行った意味が無くなってしまう。

このように、境界付近で輝度勾配を発生する画像の場合は、グラデーション処理による影響が少ないため、グラデーション処理を省くことができる。然るに本実施形態では、図８（ａ）のフローチャートにおいて、ステップＳ１００３では、水平ラインの端部（左眼用合成画像の場合は右端、右眼用合成画像の場合は左端）付近の輝度勾配を取得する。そして、該取得した輝度勾配の絶対値が規定値以上であれば、該水平ラインについてはグラデーション範囲を設定せず、従って該水平ラインについてはグラデーション処理を行わないようする。

［第３の実施形態］
図４に示したコンピュータ装置１１０２の各機能部は何れもハードウェアで実装しても良いが、コンテンツＤＢ１２１２を除く各機能部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行する処理装置はコンピュータ装置１１０２に適用可能である。コンピュータ装置１１０２に適用可能な処理装置のハードウェア構成例について、図１（ｂ）のブロック図を用いて説明する。

ＣＰＵ１９１はＲＡＭ１９２やＲＯＭ１９３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行若しくは制御する。これによりＣＰＵ１９１は、処理装置全体の動作制御を行うと共に、処理装置を適用するコンピュータ装置１１０２が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１９２は、外部記憶装置１９５やＲＯＭ１９３からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１９６を介してＨＭＤ１１０１から受信した各種のデータを格納するためのエリアを有する。更にＲＡＭ１９２は、ＣＰＵ１９１が各種の処理を実行若しくは制御する際に用いるワークエリアを有する。このようにＲＡＭ１９２は、各種のエリアを適宜提供することができる。

ＲＯＭ１９３には、書き換え不要の本装置の設定データやブートプログラムなどが格納されている。操作部１９４は、キーボードやマウスなどにより構成されており、ユーザが操作することで、各紙の指示をＣＰＵ１９１に対して入力することができる。

外部記憶装置１９５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１９５には、ＯＳ（オペレーティングシステム）や、コンピュータ装置１１０２が行うものとして上述した各処理をＣＰＵ１９１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、図４に示したコンピュータ装置１１０２を構成する各機能部（コンテンツＤＢ１２１２を除く）の機能をＣＰＵ１９１に実行若しくは制御させるためのコンピュータプログラムが含まれている。また、外部記憶装置１９５に保存されているデータには、上記の説明において既知の情報として説明したものが含まれている。また、図４のコンテンツＤＢ１２１２は外部記憶装置１９５内に設けられる。外部記憶装置１９５に保存されているコンピュータプログラムやデータは、ＣＰＵ１９１による制御に従って適宜ＲＡＭ１９２にロードされ、ＣＰＵ１９１による処理対象となる。

Ｉ／Ｆ１９６は外部機器との通信を行うためのインターフェースとして機能するものであり、例えば、Ｉ／Ｆ１９６はＨＭＤ１１０１との間のデータ通信を行う。ＣＰＵ１９１、ＲＡＭ１９２、ＲＯＭ１９３、操作部１９４、外部記憶装置１９５、Ｉ／Ｆ１９６、表示装置１１０３は何れもバス１９７に接続されている。

また、図４に示したコンピュータ装置１１０２の各機能部のうち一部をハードウェア、残りをソフトウェアで実装しても良い。また、コンピュータ装置１１０２を２台以上の装置で構成しても良い。このようにシステムの構成には様々な構成が考えられ、上記の実施形態に係るシステムと同等以上の機能を有するのであれば、如何なる構成を採用しても良い。また、第１，２の実施形態や変形例はその一部若しくは全部を適宜組み合わせて使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２１３：ＣＧ描画部 １２１４：検波部 １２１５：決定部 １２１６：補正部 １２１７：処理部

Claims (15)

1. ユーザの右眼に提示するために生成された第１の画像と、該ユーザの左眼に提示するために生成された第２の画像と、を取得する取得手段と、
   前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定する第１の特定手段と、
   前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第１の特定手段が特定した区間内の輝度値を該水平ラインの左端に近いほど小さくする第１の処理手段と、
   前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定する第２の特定手段と、
   前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第２の特定手段が特定した区間内の輝度値を該水平ラインの右端に近いほど小さくする第２の処理手段と、
   前記第１の処理手段による処理後の前記第１の画像と、前記第２の処理手段による処理後の前記第２の画像と、を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の特定手段は、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端近傍の輝度値群のうち最大の輝度値及び最小の輝度値を除く輝度値の平均値を求め、該平均値に基づいて、該水平ラインの左端を一端とする区間を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の特定手段は更に、着目水平ラインについて特定した区間の長さを、該着目水平ラインの周囲の水平ラインについて特定した区間の長さに基づいて補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の特定手段は更に、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインについて特定した区間の長さを、該水平ラインの左端近傍の輝度値群に基づいて補正することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第１の特定手段は、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端近傍の輝度勾配の絶対値が規定値未満であれば、該水平ラインの左端を一端とする区間を特定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第２の特定手段は、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端近傍の輝度値群のうち最大の輝度値及び最小の輝度値を除く輝度値の平均値を求め、該平均値に基づいて、該水平ラインの右端を一端とする区間を特定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記第２の特定手段は更に、着目水平ラインについて特定した区間の長さを、該着目水平ラインの周囲の水平ラインについて特定した区間の長さに基づいて補正することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記第２の特定手段は更に、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインについて特定した区間の長さを、該水平ラインの右端近傍の輝度値群に基づいて補正することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記第２の特定手段は、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端近傍の輝度勾配の絶対値が規定値未満であれば、該水平ラインの右端を一端とする区間を特定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記第１の特定手段は、前記第１の画像の各水平ラインに対し、該水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定し、
    前記第１の処理手段は、前記第１の画像の各水平ラインに対し、該水平ラインについて前記第１の特定手段が特定した区間内の輝度値を該水平ラインの左端に近いほど小さくし、
    前記第２の特定手段は、前記第２の画像の各水平ラインに対し、該水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定し、
    前記第２の処理手段は、前記第２の画像の各水平ラインに対し、該水平ラインについて前記第２の特定手段が特定した区間内の輝度値を該水平ラインの右端に近いほど小さくすることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記出力手段は、前記第１の処理手段による処理後の前記第１の画像と、前記第２の処理手段による処理後の前記第２の画像と、を頭部装着型表示装置に対して出力することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記出力手段は、前記第１の処理手段による処理後の前記第１の画像と、前記第２の処理手段による処理後の前記第２の画像と、をそれぞれ、ユーザの右眼に対して画像を提示する表示画面、該ユーザの左眼に対して画像を提示する表示画面、に対して出力することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
13. 前記画像処理装置は頭部装着型表示装置であることを特徴とする請求項１２に記載の画像処理装置。
14. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の取得手段が、ユーザの右眼に提示するために生成された第１の画像と、該ユーザの左眼に提示するために生成された第２の画像と、を取得する取得工程と、
    前記画像処理装置の第１の特定手段が、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインの左端を一端とする区間を、該水平ラインの左端近傍の輝度値群に基づいて特定する第１の特定工程と、
    前記画像処理装置の第１の処理手段が、前記第１の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第１の特定工程で特定した区間内の輝度値を該水平ラインの左端に近いほど小さくする第１の処理工程と、
    前記画像処理装置の第２の特定手段が、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインの右端を一端とする区間を、該水平ラインの右端近傍の輝度値群に基づいて特定する第２の特定工程と、
    前記画像処理装置の第２の処理手段が、前記第２の画像の少なくとも一部の水平ラインに対し、該水平ラインについて前記第２の特定工程で特定した区間内の輝度値を該水平ラインの右端に近いほど小さくする第２の処理工程と、
    前記画像処理装置の出力手段が、前記第１の処理工程による処理後の前記第１の画像と、前記第２の処理工程による処理後の前記第２の画像と、を出力する出力工程と
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。