JP2015119203A - 画像処理装置、立体画像表示装置および画像処理方法 - Google Patents

Abstract

【課題】表示素子の積層数を抑制しつつ高画質の立体画像を表示可能とする。【解決手段】取得部１０１は複数の視差画像を取得する。第１算出部１０２は、重ねて配置される複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する視差画像の輝度値を対応付けた第１マップ情報を算出する。第１生成部１０３は、複数の視差画像ごとに当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する。第２算出部１０４は、複数の視差画像と１対１に対応する複数の特徴データに基づいて、光線ごとに、当該光線に対応する特徴データの第１の値を対応付けた第２マップ情報を算出する。第２生成部１０６は、第１マップ情報と第２マップ情報とに基づいて、複数の表示素子の各々に含まれる画素の輝度値を決定することで、複数の表示素子の各々に表示する画像を生成する。【選択図】図３

Description

本発明の実施形態は、画像処理装置、立体画像表示装置および画像処理方法に関する。

近年、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像（ボリュームデータ）を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、近年、ボリュームデータを複数の視点からレンダリングして、立体画像表示装置に立体的に表示することが検討されている。

立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置として一般的な方式は、視点の異なる複数の画像（以下ではそれぞれの画像を視差画像とよぶ）を表示し、これらの視差画像の光線を、光学的開口部（例えばパララックスバリア、レンチキュラレンズなど）によって制御するものである。この際、表示する画像は、光学的開口部を通して覗いた場合に、意図した方向で意図した画像が観察されるように並び替えられたものである。光学的開口部とそれに合わせた画像の並べ替えによって制御された光線は、視聴者の両眼に導かれ、視聴者の観察位置が適切であれば、視聴者は立体画像を認識できる。このように視聴者が立体画像を観察可能な領域を視域という。

以上の方式では、与えられた視差画像の解像度を全て足し合わせた解像度を表示可能な表示パネル（表示素子）が必要となるため、視差画像の数を増加させると視差画像１枚あたりに許される解像度が低下して画質が低下し、その逆の場合には視域が狭くなる。このような３Ｄ画質と視域との間のトレードオフの関係を緩和する方式として、複数枚の表示パネルを積層し、それぞれの画素の輝度値の組み合わせが視差画像を表現するように最適化された画像を表示することで立体視を可能とする方式が提案されている。この方式では各ピクセル（画素）が複数の視差画像を表現するのに再利用されるため、従来の裸眼３Ｄ表示方式に比べて高解像度の立体画像を表示できる可能性がある。

米国特許出願公開第２０１２／０１４０１３１号明細書

Tensor Displays: Compressive Light Field Synthesis using Multilayer Displays with Directional Backlighting

複数の表示パネルを積層する方式で立体画像を表示する方式の場合、視域を広く設定するほど、必要となる視差画像が増加するとともに、各ピクセルが再利用される可能性が増加する。この方式は、各ピクセルを複数の視差画像の表現のために再利用することで表示パネルの表現能力以上の視差画像を表現可能な方式であるが、再利用の可能性が過剰に増大すると、全てを満たす解が存在しなくなるため、画質や立体感の低下が著しくなるという問題がある。

特許文献１、および、非特許文献１に開示された技術では、視域内の見え方に影響のない部分（視域を通過しない光線に対応する画素の組み合わせ）については最適化時に考慮しない、あるいは、光学的開口部と組み合わせることにより必要となる視差数の増加を抑制するなどの方法により再利用の可能性を低下させているが、それでも、実用的な画質と視差数を担保しようとすると積層数を増加する必要がある。積層数の増加はコストの増加や表示輝度の低下に繋がるため、積層数を可能な限り少なくすることが求められている。

本発明が解決しようとする課題は、表示素子の積層数を抑制しつつ、高画質の立体画像を表示可能な画像処理装置、立体画像表示装置および画像処理方法を提供することである。

実施形態の画像処理装置は、取得部と第１算出部と第１生成部と第２算出部と第２生成部とを備える。取得部は、複数の視差画像を取得する。第１算出部は、重ねて配置される複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する視差画像の輝度値を対応付けた第１マップ情報を算出する。第１生成部は、複数の視差画像ごとに、当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する。第２算出部は、複数の視差画像と１対１に対応する複数の特徴データに基づいて、光線ごとに、当該光線に対応する特徴データの第１の値を対応付けた第２マップ情報を算出する。第２生成部は、第１マップ情報と、第２マップ情報とに基づいて、複数の表示素子の各々に含まれる画素の輝度値を決定することで、複数の表示素子の各々に表示する画像を生成する。

実施形態の画像表示システムの構成の一例を示す図。 実施形態のボリュームデータの一例を説明するための図。 実施形態の立体画像表示装置の構成の一例を示す図。 実施形態の第１マップ情報を説明するための図。 実施形態の第２マップ情報を説明するための図。 実施形態の第３マップ情報を説明するための図。 実施形態の立体画像表示装置の動作例を示すフローチャート。

以下、添付図面を参照しながら、本発明に係る画像処理装置、立体画像表示装置および画像処理方法の実施形態を詳細に説明する。

図１は、本実施形態の画像表示システム１の構成の一例を示すブロック図である。図１に示すように、画像表示システム１は、医用画像診断装置１０と、画像保管装置２０と、立体画像表示装置３０とを備える。図１に例示する各装置は、通信網２を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、医用画像等を相互に送受信することが可能である。通信網２の種類は任意であり、例えば各装置は、病院内に設置されたＬＡＮ（Local Area Network）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

画像表示システム１は、立体画像表示装置３０が、医用画像診断装置１０により生成された３次元の医用画像のボリュームデータの立体画像を表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。立体画像とは、互いに視差を有する複数の視差画像を含む画像であり、視差とは、異なる方向から見ることによる見え方の差をいう。画像とは、静止画像又は動画像のいずれであってもよい。以下、各装置を順に説明する。

医用画像診断装置１０は、３次元の医用画像のボリュームデータを生成可能な装置である。医用画像診断装置１０としては、例えば、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等が挙げられる。

医用画像診断装置１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、図２に示すように、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。図２の例では、被検体の「脳」のボリュームデータが生成されている。なお、医用画像診断装置１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。また、医用画像診断装置１０により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像が含まれる。また、ボリュームデータの等値面を多角形のポリゴンや曲面などの幾何的要素の集合で表現したデータを含んでもよい。

画像保管装置２０は、医用画像を保管するデータベースである。具体的には、画像保管装置２０は、医用画像診断装置１０から送信されたボリュームデータを格納し、これを保管する。

立体画像表示装置３０は、医用画像診断装置１０により生成されたボリュームデータの立体画像を表示する装置である。本実施形態の立体画像表示装置３０は、複数の画素がそれぞれに配列された複数（少なくとも２つ）の表示素子を積層し、各表示素子に２次元画像を表示することで、立体画像を表示する方式の立体画像表示装置である。

なお、以下では、立体画像表示装置３０は、医用画像診断装置１０により生成されたボリュームデータの立体画像を表示する場合を例に挙げて説明するが、これに限らず、立体画像表示装置３０が表示する立体画像の元となる３次元データの種類は任意である。３次元データとは、立体物の形状を表現可能なデータであり、ボリュームデータなどの空間分割モデルや境界表現モデルなどが含まれ得る。空間分割モデルとは、例えば空間を格子状に分割し、分割した格子を用いて、立体物を表現するモデルを指す。境界表現モデルとは、例えば空間において立体物の占める領域の境界を表現することで、当該立体物を表現するモデルを指す。

図３は、立体画像表示装置３０の構成の一例を示すブロック図である。図３に示すように、立体画像表示装置３０は、画像処理部１００と表示部２００とを備える。表示部２００は、積層された（重ね合わされた）複数の表示素子を含み、画像処理部１００により生成された２次元画像を各表示素子に表示することで、立体画像を表示する。以下では、表示部２００は、重ねて配置される２つの表示素子（２１０、２２０）を含んで構成される場合を例に挙げて説明する。また、以下では、表示部２００に含まれる２つの表示素子（２１０、２２０）の各々は、互いに対向する２つの透明基板と、２つの透明基板間に挟持された液晶層とを含む液晶型ディスプレイ（液晶パネル）で構成される場合を例に挙げて説明する。なお、液晶型ディスプレイの構造は、アクティブマトリクス型であってもよいし、パッシブマトリクス型であってもよい。

図３に示すように、表示部２００は、第１表示素子２１０と、第２表示素子２２０と、光源２３０とを含む。図３の例では、観察者２０１に近い方から、第１表示素子２１０、第２表示素子２２０、光源２３０の順番で配置される。この例では、第１表示素子２１０、および、第２表示素子２２０の各々を構成する液晶型ディスプレイは透過型の液晶型ディスプレイであり、光源２３０として、冷陰極管、熱陰極蛍光灯、エレクトロルミネセンスパネル、発光ダイオード、電球等を使用することができる。また、例えば液晶型ディスプレイは、反射型の液晶型ディスプレイで構成されてもよい。この場合、光源２３０として、太陽光や室内の電灯光などの外光を反射する反射層を使用することができる。さらに、例えば液晶型ディスプレイは、透過型と反射型を兼ね備えた半透過型の液晶型ディスプレイで構成されてもよい。

画像処理部１００は、各表示素子（２１０、２２０）に２次元画像を表示することで、立体画像を表示する制御を行う。本実施形態では、画像処理部１００は、表示したい立体画像のうち特徴量が大きい部分については高い画質を保証するよう、各表示素子（２１０、２２０）の画素の輝度値を最適化する。以下、画像処理部１００の具体的な内容を説明する。なお、本明細書において、「特徴量」とは、画質に対して影響を与える可能性が高いほど大きい値を示す指標である。

図３に示すように、画像処理部１００は、取得部１０１と、第１算出部１０２と、第１生成部１０３と、第２算出部１０４と、第３算出部１０５と、第２生成部１０６とを備える。

取得部１０１は、複数の視差画像を取得する。本実施形態では、取得部１０１は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。なお、例えば画像保管装置２０が設けられずに、医用画像診断装置１０内に、生成したボリュームデータを格納するメモリが設けられていてもよい。この場合は、取得部１０１は、医用画像診断装置１０にアクセスしてボリュームデータを取得する。

そして、取得部１０１は、複数の視点位置（仮想カメラが配置される位置）の各々から、取得したボリュームデータをレンダリングすることにより、複数の視差画像を生成する。ボリュームデータをレンダリングする際には、例えばレイキャスティング法などといった公知の様々なボリュームレンダリング技術を利用することができる。ここでは、取得部１０１は、複数の視点位置でボリュームデータをレンダリングすることにより複数の視差画像を生成する機能を有する場合を例に挙げて説明するが、これに限らず、例えば取得部１０１が、ボリュームレンダリング機能を有していない形態であってもよい。このような形態においては、取得部１０１は、医用画像診断装置１０により生成されたボリュームデータを複数の視点位置でレンダリングした結果を示す複数の視差画像を、外部装置から取得すればよい。要するに、取得部１０１は、複数の視差画像を取得する機能を有する形態であればよい。

第１算出部１０２は、重ねて配置される複数の表示素子（２１０、２２０）の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する視差画像の輝度値を対応付けた第１マップ情報Ｌを算出する。第１マップ情報Ｌは、特許文献１において４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓとして定義されているものと同様のものである。図４においては、第１表示素子２１０、および、第２表示素子２２０の各々の画素構造は、便宜的に１次元に展開していることを想定している。例えば行列状に並べられた画素構造の行方向を基準とし、行の終端と次の行の先頭をつなげて並べ替えていると考えればよい。

以下では、第１表示素子２１０に配列される画素の集合を「Ｇ」と表記し、第２表示素子２２０に配列される画素の集合を「Ｆ」と表記する場合がある。図４の例では、第１表示素子２１０に含まれる画素の数をｎ＋１個とし、第１表示素子２１０に含まれる複数の画素の各々をｇ_ｘ（ｘ＝０〜ｎ）と表記している。また、第２表示素子２２０に含まれる画素の数をｎ＋１個とし、第２表示素子２２０に含まれる複数の画素の各々をｆ_ｘ（ｘ＝０〜ｎ）と表記している。

いま、第１表示素子２１０および第２表示素子２２０の各々から１画素ずつ選択する場合を想定すると、その２画素を代表する点（例えば画素の中心）を結ぶベクトルを定義することができる。このベクトルを、以下では、モデル光線ベクトルと称し、このモデル光線ベクトルで表現される光線を「モデル光線」と称する場合がある。この例では、「モデル光線」は、請求項の「光線」に対応していると考えることができる。モデル光線ベクトルは、光源２３０から射出された光線のうち、選択された２画素を通過する光線の方向を表しており、この光線の輝度が、当該光線の方向に対応する視差画像の輝度値と一致すれば、それぞれの視点で当該視点に対応する視差画像を観察できるということであり、観察者は立体画像を観察することが可能になる。このモデル光線と視差画像との関係性をテンソル（多次元配列）の形で表現したものが第１マップ情報Ｌである。

以下、第１マップ情報Ｌの具体的な作成方法を説明する。まず第１の手順として、第１算出部１０２は、第１表示素子２１０および第２表示素子２２０の各々から１画素ずつを選択する。

第２の手順として、第１算出部１０２は、第１の手順で選択した２画素の組み合わせにより定義されるモデル光線ベクトル（モデル光線）に対応する視差画像の輝度値（真値となる輝度値）を決定する。ここでは、パネル（表示部２００）とカメラで決定される角度を元に、モデル光線ベクトルに対応する１つの視点が選択され、選択された視点に対応する視差画像が特定される。より具体的には、予め設定された複数のカメラごとに、当該カメラからパネル中心へ至るベクトル（以下の説明では、「カメラベクトル」と称する場合がある）を定義し、第１算出部１０２は、複数のカメラと１対１に対応する複数のカメラベクトルのうち、モデル光線ベクトルと最も向きが近いカメラベクトルを選択し、その選択したカメラベクトルの視点位置（カメラの位置）に対応する視差画像を、当該モデル光線ベクトルに対応する視差画像として特定するという具合である。

図４の（ａ）の例では、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトルに対応する視差画像として、視点ｉ１に対応する視差画像が特定される。また、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ−１番目の画素ｆ_ｍ−１との組み合わせにより定義されるモデル光線ベクトルに対応する視差画像として、視点ｉ２_ｍに対応する視差画像が特定される。さらに、第１表示素子２１０から選択された第ｍ＋１番目の画素ｇ_ｍ＋１と、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトルに対応する視差画像として、視点ｉ２_ｍに対応する視差画像が特定されるといった具合である。

そして、第１算出部１０２は、モデル光線ベクトルに対応する視差画像内の空間的な位置を決定し、その決定した位置での輝度値を、真値となる輝度値として決定する。例えば第１表示素子２１０および第２表示素子２２０のうちの何れかを基準とし、基準とした側で選択されている画素の位置に対応する視差画像上での位置を、モデル光線ベクトルに対応する視差画像内の位置として決定することもできる。また、これに限る必要は無く、例えば第１表示素子２１０と第２表示素子２２０との中間位置を通る平面を基準とした場合は、モデル光線ベクトルが、基準となる平面のどの位置と交差するかを計算し、その交差位置に対応する視差画像上での位置を、モデル光線ベクトルに対応する視差画像内の位置として決定することもできる。

図４の（ａ）の例では、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトルに対応する視差画像（視点ｉ１に対応する視差画像）内の位置の輝度値（真値となる輝度値）として、ｉ１_ｍが決定されるものとする。また、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ−１番目の画素ｆ_ｍ−１との組み合わせにより定義されるモデル光線ベクトルに対応する視差画像（視点ｉ２に対応する視差画像）内の位置の輝度値として、ｉ２_ｍが決定されるものとする。さらに、第１表示素子２１０から選択された第ｍ＋１番目の画素ｇ_ｍ＋１と、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトルに対応する視差画像（視点ｉ２に対応する視差画像）内の位置の輝度値として、ｉ２_ｍ＋１が決定されるものとする。

第３の手順として、第１の手順で第２表示素子２２０から選択した画素に対応する行を選択する。図４の（ｂ）の例では、画素構造を１次元に展開した第１表示素子２１０を行とし、画素構造を１次元に展開した第２表示素子２２０を列としているので、例えば第１の手順で、列方向に並べられた第２表示素子２２０の画素Ｆのうちの第ｍ番目の画素ｆ_ｍが選択された場合、当該第ｍ番目の画素ｆｍの位置において、列方向と直交する行Ｘｍが選択される。

第４の手順として、第１の手順で第１表示素子２１０から選択した画素に対応する列を選択する。上述したように、図４の（ｂ）の例では、画素構造を１次元に展開した第１表示素子２１０を行とし、画素構造を１次元に展開した第２表示素子２２０を列としているので、例えば第１の手順で、行方向に並べられた第１表示素子２１０の画素Ｇのうちの第ｍ番目の画素ｇ_ｍが選択された場合、当該第ｍ番目の画素ｇｍの位置において、行方向と直交する列Ｙｍが選択される。

第５の手順として、第３の手順で選択された行と、第４の手順で選択した列との交差に対応する要素に対して、第２の手順で決定した輝度値を代入する。例えば第３の手順で、列方向に並べられた第２表示素子２２０の画素Ｆのうちの第ｍ番目の画素ｆｍと直交する行Ｘｍが選択され、第４の手順で、行方向に並べられた第１表示素子２１０の画素Ｇのうちの第ｍ番目の画素ｇｍと直交する列Ｙｍが選択された場合、行Ｘｍと列Ｙｍとの交差に対応する要素として、第２の手順で決定された輝度値ｉ１_ｍ（第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトルに対応する視差画像内の位置の輝度値として決定されたｉ１_ｍ）が代入されるという具合である。これにより、第１表示素子２１０の第ｍ番目の画素ｇ_ｍと、第２表示素子２２０の第ｍ番目の画素ｆ_ｍとの組み合わせに応じて規定されるモデル光線に対して、当該モデル光線に対応する視差画像の輝度値ｉ１_ｍが対応付けられると考えることができる。

第１算出部１０２は、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の組み合わせを全て処理するまで、上述の第１の手順〜第５の手順を繰り返すことで、第１マップ情報Ｌを算出することができる。

本実施形態では、積層される表示素子の数が２つである場合を例に挙げているが、これに限らず、３つ以上の表示素子を積層することも当然に可能である。例えば３つの表示素子を積層する場合には、第１表示素子２１０に配列される画素の集合Ｇ、および、第２表示素子２２０に配列される画素の集合Ｆに加えて、第３表示素子に配列される画素の集合Ｈが追加され、それに伴ってテンソルも３階のテンソルとなるが、Ｆ、Ｇの場合と同様の処理をＨについても行って、モデル光線に対応する要素の位置と真値となる輝度値とを決定すればよい。要するに、第１算出部１０２は、重ねて配置される複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する視差画像の輝度値を対応付けた第１マップ情報を算出する形態であればよい。

次に、図３に示す第１生成部１０３について説明する。第１生成部１０３は、取得部１０１により取得された複数の視差画像ごとに、当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する。本実施形態では、特徴量として、視差画像の輝度勾配、奥行き情報（デプス）の勾配、飛び出し側になるほど大きな値を示すように奥行き情報を変換した奥行き位置、および、認識されたオブジェクトに対応する画素が、オブジェクトに対応しない画素に比べて大きな値を示すように定義されたオブジェクト認識結果の４種類を用いる。

この例では、複数の視差画像と１対１に対応する複数の特徴データの各々は、視差画像と同様の解像度の画像情報であり、特徴データの各画素値（第１の値）は、対応する視差画像から抽出された４つの特徴量（視差画像の輝度勾配、奥行き情報の勾配、奥行き位置、オブジェクト認識結果）の線形和により定義される。これらの特徴量は、画像と同様に２次元配列（行列）として定義される。第１生成部１０３は、複数の視差画像ごとに、当該視差画像に基づいて、輝度勾配を画素値とする画像情報Ｉ_ｇ、奥行き情報の輝度勾配を画素値とする画像情報Ｉ_ｄｅ、奥行き位置を画素値とする画像情報Ｉ_ｄ、および、オブジェクト認識結果を画素値とする画像情報Ｉ_ｏｂｊを生成し、これらの重み付き線形和を求めることで、当該視差画像に対応する特徴データＩ_ａｌｌを生成する。以下、具体的な内容を説明する。

まず、画像情報Ｉ_ｇの生成方法について説明する。画像情報Ｉ_ｇは、視差画像と同様の解像度の画像情報であって、当該視差画像の輝度勾配の最大値に応じた値が各画素値として定義される。第１生成部１０３は、一の視差画像に対応する画像情報Ｉ_ｇを生成する場合、当該一の視差画像の各画素の輝度値を参照して、処理対象とする画素の８近傍の画素それぞれに対して、処理対象画素との輝度差の絶対値を算出した場合の最大値を求め、その求めた最大値を、処理対象の画素の画素値として設定する。この場合、画素値は、エッジ境界付近で大きな値を示す傾向がある。なお、この例では、画像情報Ｉ_ｇの各画素値は、０〜１に正規化され、画像情報Ｉ_ｇの各画素値は、輝度勾配の最大値に応じて、０〜１の範囲内の値に設定されるという具合である。以上のようにして、第１生成部１０３は、視差画像と同様の解像度の画像情報Ｉ_ｇを生成する。

次に、画像情報Ｉ_ｄｅの生成方法について説明する。画像情報Ｉ_ｄｅは、視差画像と同様の解像度の画像情報であって、当該視差画像の奥行き情報の勾配の最大値に応じた値が各画素値として定義される。本実施形態では、第１生成部１０３は、取得部１０１により取得された複数の視差画像に基づいて（視差画像間のシフト量に基づいて）、視差画像ごとに、当該視差画像に含まれる複数の画素ごとの奥行き情報を示すデプスマップを生成するが、これに限らず、例えば取得部１０１が、各視差画像のデプスマップを生成して第１生成部１０３へ供給する形態であってもよいし、外部装置から各視差画像のデプスマップを取得する形態であってもよい。なお、例えば取得部１０１において視差画像を生成する際にレイトレーシングやレイキャスティングを用いる場合、レイ（光線）とオブジェクトが最初に交差したと判定された点までの距離に基づいて、デプスマップを生成する方法などが考えられる。

第１生成部１０３は、一の視差画像に対応する画像情報Ｉ_ｄｅを生成する場合、当該一の視差画像のデプスマップを参照して、処理対象とする画素の８近傍の画素それぞれに対して、処理対象画素との奥行き情報差の絶対値を算出した場合の最大値を求め、その求めた最大値を、処理対象の画素の画素値として設定する。この場合、画素値は、オブジェクト境界で大きな値を示す傾向がある。なお、この例では、画像情報Ｉ_ｄｅの各画素値は０〜１に正規化され、画像情報Ｉ_ｄｅの各画素値は、奥行き情報の勾配の最大値に応じて、０〜１の範囲内の値に設定されるという具合である。以上のようにして、第１生成部１０３は、視差画像と同様の解像度の画像情報Ｉ_ｄｅを生成する。

次に、画像情報Ｉ_ｄの生成方法について説明する。画像情報Ｉ_ｄは、視差画像と同様の解像度の画像情報であって、飛び出し側になるほど大きな値を示すように奥行き情報を変換した奥行き位置に応じた値が各画素値として定義される。第１生成部１０３は、一の視差画像に対応する画像情報Ｉ_ｄを生成する場合、当該一の視差画像のデプスマップを参照して、処理対象となる画素ごとに、飛び出し側になるほど大きな値を示すように当該画素の奥行き情報を変換した奥行き位置を求め、その求めた奥行き値を、当該処理対象の画素の画素値として設定する。なお、この例では、画像情報Ｉ_ｄの各画素値は０〜１に正規化され、画像情報Ｉ_ｄの各画素値は、奥行き位置に応じて、０〜１の範囲内の値に設定されるという具合である。以上のようにして、第１生成部１０３は、視差画像と同様の解像度の画像情報Ｉ_ｄを生成する。

次に、画像情報Ｉ_ｏｂｊの生成方法について説明する。画像情報Ｉ_ｏｂｊは、視差画像と同様の解像度の画像情報であって、オブジェクト認識結果に応じた値が各画素値として定義される。オブジェクトの例としては、顔や文字などが挙げられ、オブジェクト認識結果とは、顔認識や文字認識により、顔もしくは文字と認識された画素が、顔もしくは文字と認識されない画素に比べて大きな値となるように定義された特徴量である。顔認識や文字認識の手法としては、一般的な画像処理で用いられる公知の様々な技術を利用可能である。第１生成部１０３は、一の視差画像に対応する画像情報Ｉ_ｏｂｊを生成する場合、当該一の視差画像に対するオブジェクト認識処理を行い、その結果に基づいて各画素値を設定する。なお、この例では、画像情報Ｉ_ｏｂｊの各画素値は０〜１に正規化され、画像情報Ｉ_ｏｂｊの各画素値は、オブジェクト認識結果に応じて、０〜１の範囲内の値に設定されるという具合である。以上のようにして、第１生成部１０３は、視差画像と同様の解像度の画像情報Ｉ_ｏｂｊを生成する。

そして、第１生成部１０３は、重みの合計が１．０になるような重みを用いて、上述の画像情報Ｉ_ｇ、画像情報Ｉ_ｄｅ、画像情報Ｉ_ｄ、画像情報Ｉ_ｏｂｊの重み付き線形和を求めることで、最終的な特徴データＩ_ａｌｌを算出する。特徴データＩ_ａｌｌは、例えば以下の式１で表すことができる。式１におけるａ、ｂ、ｃ、ｄはそれぞれ重みを表す。重みａ〜ｄを調整することで、前述した特徴量のうちのどの特徴量を主として考慮するかを可変に設定することが可能である。この例では、特徴データＩ_ａｌｌの各画素値（第１の値）は、０以上、かつ、１以下に正規化され、特徴量に応じた値を示すことになる。

なお、本実施形態では、輝度勾配や奥行き情報の勾配の絶対値の最大値を特徴量として抽出しているが、そのほかの方法で輝度勾配や奥行き情報の勾配を評価した結果を用いてもよい。例えば、８近傍の画素との差の絶対値の合計を用いる方法や、８近傍よりさらに広範囲で評価するなどの方法が考えられる。そのほかにも、輝度勾配や奥行き情報の勾配を評価する方法として画像処理の分野で一般的な種々の方法を用いることが可能である。

また、本実施形態では、特徴量として、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置およびオブジェクト認識結果の全てを用いたが、必ずしも全てを用いる必要はない。例えば、特徴量として、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置およびオブジェクト認識結果のうちの何れか１つのみを用いる形態であってもよい。

また、例えば特徴量として、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置およびオブジェクト認識結果のうちの任意の２つの組み合わせ、または、任意の３つの組み合わせを用いる形態であってもよい。つまり、特徴量は、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置、および、オブジェクト認識結果のうちの少なくとも２つであり、視差画像に対応する特徴データの画素値（第１の値）は、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置、および、オブジェクト認識結果のうちの少なくとも２つの重み付き線形和に基づいて得られる形態であってもよい。

次に、図３に示す第２算出部１０４について説明する。第２算出部１０４は、取得部１０１により取得された複数の視差画像と１対１に対応する複数の特徴データに基づいて、モデル光線ごとに、当該モデル光線に対応する特徴データの画素値（第１の値）を対応付けた第２マップ情報Ｗ_ａｌｌを算出する。第２マップ情報Ｗ_ａｌｌは、モデル光線と特徴データとの関係性をテンソル（多次元配列）の形で表現したものであり、第２マップ情報Ｗ_ａｌｌの算出手順は、視差画像の代わりに、当該視差画像に対応する特徴データを用いる点を除いて、第１マップ情報Ｌの算出手順と同様である。図５の例では、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトル（モデル光線）に対応する特徴データの画素値（第１の値）として、当該特徴データのうち、当該モデル光線ベクトルに対応する視差画像内の位置（輝度値ｉ１_ｍを示す位置）に対応する位置の画素値ｗｘが決定されている。つまり、テンソル上の、行Ｘｍと列Ｙｍとの交差に対応する要素として、画素値ｗｘが代入されるという具合である。

次に、図３に示す第３算出部１０５について説明する。第３算出部１０５は、モデル光線ごとに、当該モデル光線が、予め指定される視域を通過するか否かに応じた第２の値を対応付けた第３マップ情報Ｗ_ｖを算出する。第３マップ情報Ｗ_ｖは、特許文献１に記載されたＷと同様のものであり、特許文献１と同様の方法で決定することができる。第３マップ情報Ｗ_ｖは、モデル光線と、視域通過の可否との関係性をテンソル（多次元配列）の形で表現したものであり、例えば第１マップ情報Ｌと同様の手順で、モデル光線ごとにテンソル上の対応する要素を特定し、図６に示すように、予め指定される視域内を通過するモデル光線に対しては、第２の値として「１．０」を設定し、視域を通過しないモデル光線に対しては、第２の値として「０．０」を設定することもできる。

図６の（ａ）の例では、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトル（モデル光線）は視域内を通過するので、図６の（ｂ）に示すように、列方向に並べられた第２表示素子２２０の画素Ｆのうちの第ｍ番目の画素ｆｍと直交する行Ｘｍと、行方向に並べられた第１表示素子２１０の画素Ｇのうちの第ｍ番目の画素ｇ_ｍと直交する列Ｙｍとの交差に対応する要素として、「１．０」を示す第２の値が代入される。

また、図６の（ａ）の例では、第１表示素子２１０から選択された第ｍ番目の画素ｇ_ｍと、第２表示素子２２０から選択された第ｍ−１番目の画素ｆ_ｍ−１との組み合わせにより定義されるモデル光線ベクトル（モデル光線）は視域内を通過しないので、図６の（ｂ）に示すように、列方向に並べられた第２表示素子２２０の画素Ｆのうちの第ｍ−１番目の画素ｆ_ｍ−１と直交する行Ｘｍ−１と、行方向に並べられた第１表示素子２１０の画素Ｇのうちの第ｍ番目の画素ｇ_ｍと直交する列Ｙｍとの交差に対応する要素として、「０．０」を示す第２の値が代入される。同様に、図６の（ａ）の例では、第１表示素子２１０から選択された第ｍ＋１番目の画素ｇ_ｍ＋１と、第２表示素子２２０から選択された第ｍ番目の画素ｆ_ｍとの組み合わせにより定義されるモデル光線ベクトル（モデル光線）は視域内を通過しないので、図６の（ｂ）に示すように、列方向に並べられた第２表示素子２２０の画素Ｆのうちの第ｍ番目の画素ｆ_ｍと直交する行Ｘｍと、行方向に並べられた第１表示素子２１０の画素Ｇのうちの第ｍ＋１番目の画素ｇ_ｍ＋１と直交する列Ｙｍ＋１との交差に対応する要素として、「０．０」を示す第２の値が代入される。

次に、図３に示す第２生成部１０６について説明する。本実施形態では、第２生成部１０６は、上述の第１マップ情報Ｌと、上述の第２マップ情報Ｗ_ａｌｌと、上述の第３マップ情報Ｗ_ｖとに基づいて、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の輝度値を決定する。より具体的には、第２生成部１０６は、モデル光線に対応する特徴データの画素値（第１の値）および当該モデル光線に対応する第２の値（「１．０」または「０．０」）の乗算結果が大きいほど、当該モデル光線に対応する視差画像の輝度値が優先的に得られるよう、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の輝度値を決定する。さらに詳述すれば、第２生成部１０６は、以下の式２を最適化することで、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の輝度値を決定する。なお、以下の式２では、ＦはＩ×１のベクトルであり、ＩはＦの画素数を表す。また、以下の式２では、Ｇは１×Ｊのベクトルであり、ＪはＧの画素数を表す。

前述したように、Ｆ、Ｇは画像を１次元に展開したものであるため、上記の式２を最適化した後に、そのルールを逆に適用して２次元にすることで、ＦとＧに表示すべき画像を得ることができる。このような、ＦおよびＧがそれぞれ未知であり、かつ、Ｌ，Ｆ，Ｇが正の値しかとらないという制約の下でＦ，Ｇを最適化する方法は、一般にＮＴＦ（２階のテンソルの場合はＮＭＦ）として知られており、収束計算により求めることができる。

例えば、図４に示すように、第１表示素子２１０の第ｍ番目の画素ｇ_ｍと、第２表示素子２２０の第ｍ番目の画素ｆ_ｍとの組み合わせにより規定されるモデル光線に対応する視差画像の輝度値がｉ１ｍであり、図５において、当該モデル光線に対応する特徴データの画素値ｗｘが上限値を示す「１．０」であり、図６に示すように、当該モデル光線に対応する第２の値が「１．０」である場合を想定する。この場合、第１表示素子２１０の第ｍ番目の画素ｇ_ｍと、第２表示素子２２０の第ｍ番目の画素ｆ_ｍとの組み合わせにより規定されるモデル光線に対応する特徴データの画素値（第１の値）および第２の値の乗算結果は、優先度としての上限値を示す「１．０」となり、当該モデル光線に対応する視差画像の輝度値ｉ１ｍの優先度は最も高くなるので、その輝度値ｉ１ｍが保証されるよう、第１表示素子２１０の第ｍ番目の画素ｇ_ｍ、および、第２表示素子２２０の第ｍ番目の画素ｆ_ｍの各々の輝度値が決定されるといった具合である。

なお、上記式２においては、Ｆ、およびＧはベクトルだが、これに限らず、例えば特許文献１と同様に、Ｆ、およびＧを行列として最適化することも可能である。つまり、ＦはＩ×Ｔ、ＧはＴ×Ｊの行列として解ける。この場合、Ｆは列ベクトルＦｔを１まとまりの画像、Ｇは行ベクトルＧｔを１まとまりの画像として考え、時間的に切り替えて表示することで、上記式２のＦＧに対応する表示を得ることが可能となる。なお、この場合は、Ｔに対応するインデックスが同じベクトルを１つの組として切り替えることに注意する。例えば、Ｔ＝２の場合、Ｆ_１とＧ_１で１つの組、Ｆ_２とＧ_２で１つの組となり、組単位で時間的に切り替える。

以上に説明した画像処理部１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能（取得部１０１、第１算出部１０２、第１生成部１０３、第２算出部１０４、第３算出部１０５、および、第２生成部１０６）は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路（例えば半導体集積回路等）で実現することもできる。本実施形態の画像処理部１００は、請求項の「画像処理装置」に対応する。

また、上述の画像処理部１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部１００で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の画像処理部１００で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

次に、図７を参照しながら、本実施形態の立体画像表示装置３０の動作例を説明する。図７は、立体画像表示装置３０の動作例を示すフローチャートである。

図７に示すように、まず取得部１０１は、複数の視差画像を取得する（ステップＳ１）。次に、第１算出部１０２は、ステップＳ１で取得した複数の視差画像を用いて、上述の第１マップ情報Ｌを算出する（ステップＳ２）。次に、第１生成部１０３は、ステップＳ１で取得した複数の視差画像ごとに、当該視差画像に基づいて、上述した４つの画像情報（Ｉ_ｇ、Ｉ_ｄｅ、Ｉ_ｄ、Ｉ_ｏｂｊ）を生成し、これらの重み付き線形和を求めることで特徴データＩ_ａｌｌを生成する（ステップＳ３）。次に、第２算出部１０４は、ステップＳ１で取得した複数の視差画像と１対１に対応する複数の特徴データＩ_ａｌｌに基づいて、上述のモデル光線ごとに、当該モデル光線に対応する特徴データの画素値（第１の値）を対応付けた第２マップ情報Ｗ_ａｌｌを算出する（ステップＳ４）。次に、第３算出部１０５は、予め指定された視域を示す視域情報を用いて、上述のモデル光線ごとに、当該モデル光線が、予め指定される視域を通過するか否かに応じた第２の値を対応付けた第３マップ情報Ｗ_ｖを算出する（ステップＳ５）。次に、第２生成部１０６は、ステップＳ２で算出した第１マップ情報Ｌと、ステップＳ４で算出した第２マップ情報Ｗ_ａｌｌと、ステップＳ５で算出した第３マップ情報Ｗ_ｖとに基づいて、各表示素子（２１０、２２０）に含まれる画素の輝度値を決定することで、各表示素子に表示する画像を生成する（ステップＳ６）。次に、第２生成部１０６は、ステップＳ７で生成した画像を各表示素子（２１０、２２０）に表示する制御を行う（ステップＳ７）。例えば第２生成部１０６は、各表示素子（２１０、２２０）の画素の輝度値が、ステップＳ６で決定した輝度値になるよう、液晶型ディスプレイの電極の電位や光源２３０の駆動を制御する。

なお、複数の視差画像が時分割に生成される場合においては、取得部１０１が、複数の視差画像を取得するたびに、上述のステップＳ２以降の処理が実行される。

以上に説明したように、視差画像のうち特徴量が大きくなる部分は、画質に対して影響を与える可能性が高い部分である。本実施形態では、特徴量として、視差画像の輝度勾配、奥行き情報の勾配、奥行き位置、および、オブジェクト認識結果を用いており、視差画像の輝度勾配を画素値とする画像情報Ｉ_ｇ、奥行き情報の輝度勾配を画素値とする画像情報Ｉ_ｄｅ、奥行き位置を画素値とする画像情報Ｉ_ｄ、オブジェクト認識結果を画素値とする画像情報Ｉ_ｏｂｊの重み付き線形和で得られる特徴データＩ_ａｌｌについても、画素値（第１の値）が大きい部分は、画質に対して影響を与える可能性が高い部分であると考えることができる。

そして、以上に説明したように、本実施形態では、第１表示素子２１０および第２表示素子２２０に含まれる画素の組み合わせに応じて規定される複数のモデル光線ごとに、当該モデル光線に対応する特徴データＩ_ａｌｌの画素値（第１の値）を優先度として用いて最適化を行う。より具体的には、上述の第１マップ情報Ｌと、上述の第２マップ情報Ｗ_ａｌｌとを用いて、モデル光線に対応する特徴データの画素値（第１の値）が大きいほど、当該モデル光線に対応する視差画像の輝度値（真値となる輝度値）が優先的に得られるよう、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の輝度値を決定する。すなわち、画質に対して影響を与える可能性が高い部分については高い画質が得られるよう、各表示素子（２１０、２２０）の画素の輝度値を最適化する制御を行うことにより、表示素子の積層数を抑制しつつ、高画質の立体画像を表示することが可能になるという有利な効果を達成できる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を説明する。

（１）変形例１
例えば、第２生成部１０６は、上述の第３マップ情報Ｗ_ｖを考慮せずに、第１表示素子２１０および第２表示素子２２０の各々に含まれる画素の輝度値を決定する形態（つまり、上述の第３算出部１０５が設けられない形態）であってもよい。要するに、第２生成部１０６は、上述の第１マップ情報と、上述の第２マップ情報とに基づいて、複数の表示素子の各々に含まれる画素の輝度値を決定することで、複数の表示素子の各々に表示する画像を生成する形態であればよい。より具体的には、第２生成部１０６は、上述のモデル光線に対応する特徴データの画素値（第１の値）が大きいほど、当該モデル光線に対応する視差画像の輝度値（真値となる輝度値）が優先的に得られるよう、複数の表示素子の各々に含まれる画素の輝度値を決定する形態であればよい。

（２）変形例２
表示部２００に含まれる第１表示素子２１０および第２表示素子２２０としては、液晶型ディスプレイに限られず、例えばプラズマ型ディスプレイ、電界放出型ディスプレイ、有機ＥＬ型ディスプレイを使用することができる。例えば第１表示素子２１０および第２表示素子２２０のうち観察者２０１から最も離間した第２表示素子２２０を、有機ＥＬ型ディスプレイなどの自発光ディスプレイで構成した場合は、光源２３０を省略することができる。ただし、半透過型の自発光ディスプレイで構成した場合は、光源２３０を併用することもできる。

（３）変形例３
上述の実施形態では、表示部２００は、重ねて配置される２つの表示素子（２１０、２２０）を含んで構成される場合を例に挙げて説明したが、これに限らず、重ねて配置される（積層される）表示素子の数は３つ以上であってもよい。

以上の実施形態および変形例は任意に組み合わせることが可能である。

１ 画像表示システム
１０ 医用画像診断装置
２０ 画像保管装置
３０ 立体画像表示装置
１００ 画像処理部
１０１ 取得部
１０２ 第１算出部
１０３ 第１生成部
１０４ 第２算出部
１０５ 第３算出部
１０６ 第２生成部
２００ 表示部
２０１ 観察者
２１０ 第１表示素子
２２０ 第２表示素子
２３０ 光源

Claims (10)

1. 複数の視差画像を取得する取得部と、
   重ねて配置される複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する前記視差画像の輝度値を対応付けた第１マップ情報を算出する第１算出部と、
   前記複数の視差画像ごとに、当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する第１生成部と、
   前記複数の視差画像と１対１に対応する複数の前記特徴データに基づいて、前記光線ごとに、当該光線に対応する前記特徴データの前記第１の値を対応付けた第２マップ情報を算出する第２算出部と、
   前記第１マップ情報と、前記第２マップ情報とに基づいて、前記複数の表示素子の各々に含まれる画素の輝度値を決定することで、前記複数の表示素子の各々に表示する画像を生成する第２生成部と、を備える、
   画像処理装置。
2. 前記第２生成部は、前記光線に対応する前記特徴データの前記第１の値が大きいほど、当該光線に対応する前記視差画像の輝度値が優先的に得られるよう、前記複数の表示素子の各々に含まれる画素の輝度値を決定する、
   請求項１に記載の画像処理装置。
3. 前記特徴量は、画質に対して影響を与える可能性が高いほど大きい値を示し、
   前記第１の値は、前記特徴量が大きいほど大きい値を示す、
   請求項１に記載の画像処理装置。
4. 前記光線ごとに、当該光線が、観察者が前記立体画像を観察可能な領域を示す視域を通過するか否かに応じた第２の値を対応付けた第３マップ情報を算出する第３算出部をさらに備え、
   前記第２生成部は、前記第１マップ情報と、前記第２マップ情報と、前記第３マップ情報とに基づいて、前記複数の表示素子の各々に含まれる画素の輝度値を決定する、
   請求項１に記載の画像処理装置。
5. 前記光線が前記視域を通過しない場合に対応する前記第２の値は、前記光線が前記視域を通過する場合に対応する前記第２の値よりも小さい値を示し、
   前記第２生成部は、前記光線に対応する前記特徴データの前記第１の値および前記第２の値の乗算結果が大きいほど、当該光線に対応する前記視差画像の輝度値が優先的に得られるよう、前記複数の表示素子の各々に含まれる画素の輝度値を決定する、
   請求項４に記載の画像処理装置。
6. 前記特徴量は、
   前記視差画像の輝度勾配、奥行き情報の勾配、飛び出し側になるほど大きな値を示すように前記奥行き情報を変換した奥行き位置、および、認識されたオブジェクトに対応する画素が、前記オブジェクトに対応しない画素に比べて大きな値を示すように定義されたオブジェクト認識結果のうちの何れかである、
   請求項１に記載の画像処理装置。
7. 前記特徴量は、
   記視差画像の輝度勾配、奥行き情報の勾配、飛び出し側になるほど大きな値を示すように前記奥行き情報を変換した奥行き位置、および、認識されたオブジェクトに対応する画素が、前記オブジェクトに対応しない画素に比べて大きな値を示すように定義されたオブジェクト認識結果のうちの少なくとも２つであり、
   前記第１の値は、前記視差画像の輝度勾配、前記奥行き情報の勾配、前記奥行き位置、および、前記オブジェクト認識結果のうちの少なくとも２つの重み付き線形和に基づいて得られる、
   請求項１に記載の画像処理装置。
8. 前記第１の値は、０以上、かつ、１以下に正規化される、
   請求項１に記載の画像処理装置。
9. 重ねて配置される複数の表示素子と、
   複数の視差画像を取得する取得部と、
   前記複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する前記視差画像の輝度値を対応付けた第１マップ情報を算出する第１算出部と、
   前記複数の視差画像ごとに、当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する第１生成部と、
   前記複数の視差画像と１対１に対応する複数の前記特徴データに基づいて、前記光線ごとに、当該光線に対応する前記特徴データの前記第１の値を対応付けた第２マップ情報を算出する第２算出部と、
   前記第１マップ情報と、前記第２マップ情報とに基づいて、前記複数の表示素子の各々に含まれる画素の輝度値を決定することで、前記複数の表示素子の各々に表示する画像を生成する第２生成部と、を備える、
   立体画像表示装置。
10. 複数の視差画像を取得する取得ステップと、
    重ねて配置される複数の表示素子の各々に含まれる画素の組み合わせに応じて規定される複数の光線ごとに、当該光線に対応する前記視差画像の輝度値を対応付けた第１マップ情報を算出する第１算出ステップと、
    前記複数の視差画像ごとに、当該視差画像の特徴量に応じた第１の値を画素値とする特徴データを生成する第１生成ステップと、
    前記複数の視差画像と１対１に対応する複数の前記特徴データに基づいて、前記光線ごとに、当該光線に対応する前記特徴データの前記第１の値を対応付けた第２マップ情報を算出する第２算出ステップと、
    前記第１マップ情報と、前記第２マップ情報とに基づいて、前記複数の表示素子の各々に含まれる画素の輝度値を決定することで、前記複数の表示素子の各々に表示する画像を生成する第２生成ステップとを含む、
    画像処理方法。

Images