JP2012028964A - 画像表示装置、画像供給装置、及び、画像処理方法 - Google Patents
画像表示装置、画像供給装置、及び、画像処理方法 Download PDFInfo
- Publication number
- JP2012028964A JP2012028964A JP2010164600A JP2010164600A JP2012028964A JP 2012028964 A JP2012028964 A JP 2012028964A JP 2010164600 A JP2010164600 A JP 2010164600A JP 2010164600 A JP2010164600 A JP 2010164600A JP 2012028964 A JP2012028964 A JP 2012028964A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- eye
- feature amount
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】画像表示装置1は、右目用画像データと左目用画像データとの間における視差を利用して画像データの輝度に係る画像特徴量を算出する特徴量算出部30と、特徴量算出部30により算出された画像特徴量に基づいて、伸張係数を算出する輝度伸張率算出部40と、輝度伸張率算出部40により算出された伸張係数に基づいて、右目用画像データ、及び、左目用画像データに輝度伸張処理を施す輝度伸張処理部50と、を備える。
【選択図】図1
Description
また、従来、スクリーンに画像を投射する画像表示装置において、スクリーンに投射される画像のダイナミックレンジを拡大しコントラスト感を向上すべく、画像データに対して輝度の伸張処理を施すものが知られている(例えば、特許文献2参照)。
この場合、右目用画像データ、及び、この右目用画像データに対応する左目用画像データは、画像を立体的に表現すべく、右目と左目との視差を反映して生成されたデータである、という特徴を踏まえて、効果的に輝度伸張処理を施したいとするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、右目用画像データと左目用画像データとの間における視差を踏まえて、これら画像データに効果的に輝度伸張処理を施すことを目的とする。
この構成によれば、特徴量算出部は、右目用画像データと左目用画像データとの間における視差を利用して画像データの輝度に係る画像特徴量を算出し、さらに、伸張係数算出部は、視差が反映されて算出された画像特徴量に基づいて伸張係数を算出する。このようにして伸張係数が算出されるため、伸張係数の値は、右目用画像データと左目用画像データとの視差が反映された値となる。そして、輝度伸張処理部は、算出された伸張係数に基づいて、右目用画像データと左目用画像データとに輝度伸張処理を施すため、輝度伸張処理部により視差を踏まえた効果的な伸張処理を施すことが可能となる。
ここで、「一方の画像データにおける1の基準領域と、他方の画像データにおいて当該1の基準領域に対応する領域との間の離間量」とは、右目用画像データと、左目用画像データとを同一の座標系に展開したときに、1の基準領域と、当該1の基準領域に対応する領域との間の座標上の距離に相当する値のことである。
また、「他方の画像データにおいて当該1の基準領域に対応する領域」とは、他方の画像データにおいて、一方の画像データの基準領域が示す画像の視差が反映された画像が位置する領域、のことである。
一方の画像データを区分して形成された基準領域のうちの1の基準領域、及び、他方の画像データにおいて当該1の基準領域に対応する領域の間における離間量と、当該1の基準領域における視差の大きさには以下のような関係がある。すなわち、右目用画像データ、及び、左目用画像データでは、これら画像データによって表現すべき立体画像に含まれる1のオブジェクトに係る画像について、当該立体画像に対応する仮想空間内で当該1のオブジェクトがより手前側に存在すればするほど(=視差が大きければ大きいほど)、右目用画像データにおける当該オブジェクトを示す領域と、左目用画像データにおける当該オブジェクトを示す領域との離間量が大きくなる。従って、一方の画像データの1の基準領域と、他方の画像データにおいて当該1の基準領域に対応する領域との間の離間量と、当該1の基準領域における視差の大きさとは、正の相関関係があり、離間量が大きいほど、視差が大きい関係にある。なお、上記の説明は、右目用画像データ、及び、左目用画像データによって表現すべき立体画像における仮想空間内で、オブジェクトは、遠近の判断の基準として仮想的に設定される基準面よりも手前側に存在しているものとする。
これを踏まえ、上述した構成によれば、特徴量算出部は、上述した離間量と正の相関関係を有する視差値を算出し、算出した視差値を利用して画像特徴量を算出する。そして、画像特徴量の算出に際して利用される視差値は、離間量と正の相関関係を有すると同時に、1の基準領域における視差の大きさと正の相関関係を有する値であるため、視差値を利用して画像特徴量を算出することにより、視差(視差の大きさ)を適切に反映した上で画像特徴量を算出できる。
ここで、右目用画像データ、及び、左目用画像データによって表現される立体画像は、背景を示す背景画像と、この背景画像上においてある程度の立体感を持って表現される画像とによって構成される場合がある。この場合、背景画像よりも、ある程度の立体感を持って表現される画像の方が重要である傾向があり、画像データに輝度伸張処理を施す場合は、当該立体感を持って表現される画像に係る画像データに適した伸張係数に基づいて輝度伸張処理を施したいとするニーズがある。
これを踏まえ、上記構成によれば、特徴量算出部は、視差値が所定の閾値を上回っており、背景画像に係る領域ではなくある程度の立体感をもって表現されるべき画像に係る領域である蓋然性が高い基準領域の輝度に係る情報に基づいて、画像特徴量を算出する。このため、算出した画像特徴量に基づいて算出される伸張係数は、背景画像を除いた画像に係る基準領域に基づいて算出された値、すなわち、背景画像ではなく立体感を持って表現される画像に係る画像データに適した値となる。
ここで、右目用画像データ、及び、左目用画像データにより表現される立体画像では、より手前に存在するように表現されるオブジェクトに係る画像ほど、立体感や迫力が強調された重要な画像である傾向があり、画像特徴量の算出に際し、手前に存在するように表現されるオブジェクトに係る画像を示す領域に係る情報ほど、算出される画像特徴量の値に反映するようにしたいとするニーズがある。
これを踏まえ、上記構成によれば、特徴量算出部は、視差値が大きい基準領域の情報ほど、算出される画像特徴量の値に反映するように重み付けを行った上で、基準領域のそれぞれの情報に基づいて画像特徴量を算出する。このため、算出される画像特徴量の値は、より手前に存在するオブジェクトに係る画像を示す基準領域の情報ほど、より反映された値となる。
ここで、右目用画像データ、及び、左目用画像データにより表現される立体画像では、奥行き方向における位置が同程度となるように表現されるオブジェクトが他により多く存在するオブジェクトに係る画像ほど、当該立体画像において重要な画像である傾向があり、画像特徴量の算出に際し、このようなオブジェクトに係る画像を示す基準領域に係る情報ほど、算出される画像特徴量の値に反映するようにしたいとするニーズがある。また、上述したように視差値は視差の大きさに対応した値であるため、奥行き方向における位置が同程度のオブジェクトに係る画像を示す基準領域のそれぞれは、同程度の視差値を有することとなる。
これを踏まえ、上記構成によれば、特徴量算出部は、同程度の視差値を有する基準領域の頻度を検出し、頻度が高い基準領域の輝度に係る情報ほど、算出される画像特徴量の値に反映するように重み付けを行った上で、基準領域のそれぞれの輝度に係る情報に基づいて画像特徴量を算出する。このため、奥行き方向における位置が同程度のオブジェクトが他により多く存在するオブジェクトに係る画像を示す基準領域に係る情報ほど、算出される画像特徴量の値に反映されることとなる。
この構成によれば、変調部を介して投射される画像について、画像の見かけ上の明るさを維持しつつ、画像のダイナミックレンジを拡大してコントラスト感を向上することができる。
この構成によれば、特徴量算出部は、右目用画像データと左目用画像データとの間における視差を反映して画像データの輝度に係る画像特徴量を算出し、さらに、伸張係数算出部は、視差が反映されて算出された画像特徴量に基づいて伸張係数を算出する。このようにして伸張係数が算出されるため、伸張係数の値は、右目用画像データと左目用画像データとの視差が反映された値となる。そして、輝度伸張処理部は、算出された伸張係数に基づいて、右目用画像データと左目用画像データとに輝度伸張処理を施すため、輝度伸張処理部により視差を踏まえた効果的な伸張処理を施すことが可能となる。
この画像処理方法によれば、右目用画像データと左目用画像データとの間における視差を反映して画像データの輝度に係る画像特徴量を算出し、視差が反映されて算出された画像特徴量に基づいて伸張係数を算出する。このようにして伸張係数が算出されるため、伸張係数の値は、右目用画像データと左目用画像データとの視差が反映された値となる。そして、算出された伸張係数に基づいて、右目用画像データと左目用画像データとに輝度伸張処理を施すため、視差を踏まえた効果的な伸張処理を施すことが可能となる。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した第1の実施形態に係る画像表示装置1の機能的構成を示す図である。
この図1に示す画像表示装置1は、スクリーン5に3D(立体)映像を投射するプロジェクターであり、光源装置110と、光源装置110が発した光を変調する変調部としてのライトバルブ130と、ライトバルブ130で変調された光を集光及び拡散してスクリーン5に投射する投射光学系140と、を備えて構成される。
画像表示装置1は、右目用の画像と左目用の画像とを交互にスクリーン5に投射することにより、時分割方式で立体画像をスクリーン5に投射する。この投射画像を見る人は、例えば液晶シャッターを備えた眼鏡型のフィルターを装用することで、立体的な画像を見ることができる。
光源装置110は、光源が発した光がライトバルブ130に至る経路上で、光量を減光させる調光素子120(調光部)を備えている。調光素子120は、例えば、光源装置110が発した光を遮る減光板と、この減光板の位置または角度を所定の減光率に合わせて調整する駆動回路とを備えて構成され、光を遮る位置に減光板を進出させることによって減光する。調光素子120は、減光板に変えて液晶シャッターで構成することも可能であり、この場合、液晶シャッターの全体または一部の透過率を調整することで減光する。
投射光学系140は、ライトバルブ130で変調されたRGB3色の変調光を合成するプリズム、プリズムで合成された投射画像をスクリーン5に結像させるレンズ群等を備えている。
これら光源装置110、ライトバルブ130、及び投射光学系140を含む画像の表示に係る各構成部は全体として、本発明の画像表示部に相当するが、画像を表示することが可能であれば、その一部または全部を上記のような各種の機能部によって代替できる。
画像表示装置1は、画像表示装置1全体を制御する制御部10、上記映像ソースまたは外部の画像供給装置から入力される立体映像信号をもとに、右目用画像データと左目用画像データとを交互に出力する画像入力部20、画像入力部20から入力された右目用画像データ及び左目用画像データに基づいて、画像特徴量を求める特徴量算出部30、特徴量算出部30が求めた画像特徴量に基づいて輝度伸張率(伸張係数)を算出する輝度伸張率算出部40(伸張係数算出部)、輝度伸張率算出部40が算出した輝度伸張率に従って輝度伸張処理を施す輝度伸張処理部50、特徴量算出部30が求めた画像特徴量から減光率を算出する減光率算出部60、及び、減光率算出部60が算出した減光率に基づいて調光素子120を駆動して減光させる減光処理部70を備えている。
画像表示装置1は、上記の各機能部によって、投射する画像の適応調光処理を行う。すなわち、光源装置110が発する光を減光するとともに、ライトバルブ130が描画する画像の階調を伸張させる処理を行い、これによりダイナミックレンジの拡大、コントラスト感の向上を図る。
本実施形態では、画像入力部20によって生成される右目用画像データ、及び、左目用画像データのそれぞれは、ビットマップ形式のデータであり、データ上でドットマトリクス状に配置された各画素について、画素ごとにRGB系の色成分を階調値(例えば、0−255段階の階調値)として保持したものである。
入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、画像入力部20は、入力信号から右目用画像データと左目用画像データとをそれぞれ切り出し、切り出した画像データをライトバルブ130の表示解像度に合わせて伸張する処理を行って、伸張後の画像データを出力する。
ここで、画像入力部20から特徴量算出部30及び輝度伸張処理部50には、右目用画像データと左目用画像データとが、右目用画像データが先になるように、交互に出力される。また、画像入力部20は、出力中の画像データが右目用画像データと左目用画像データのどちらであるかを示すRL識別信号と、右目用画像データと左目用画像データとの各々の垂直同期信号VSyncとを出力する。入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、この入力信号に含まれる垂直同期信号は一つのフレームに一つである。この場合、画像入力部20は、入力信号から右目用画像データと左目用画像データとをそれぞれ切り出すとともに、切り出した右目用画像データと左目用画像データとのそれぞれの描画開始タイミングを示す垂直同期信号VSyncを生成して出力する。
特徴量算出部30には、画像入力部20が出力する右目用画像データ及び左目用画像データと、RL識別信号と、垂直同期信号VSyncとが入力される。特徴量算出部30は、RL識別信号及び垂直同期信号VSyncに基づいて、画像入力部20から入力中の画像データが右目用画像データか左目用画像データかを識別し、右目用画像データと左目用画像データとをそれぞれ取得する。
そして、特徴量算出部30は、取得した画像データの各々に基づいて、画像特徴量を算出する(ステップS13)。特徴量算出部30が算出する画像特徴量は、画像データ全体の最大輝度値(白ピーク値)、APL(Average Picture Level)、最小輝度値(黒ピーク値)、及び、輝度ヒストグラムである。特徴量算出部30による画像特徴量の算出方法については、後に詳述する。
次いで、特徴量算出部30は、算出した画像特徴量を輝度伸張率算出部40及び減光率算出部60に出力する(ステップ14)。
輝度伸張率算出部40は、特徴量算出部30から入力される画像特徴量に基づいて、輝度伸張率を算出する(ステップS15)。
輝度伸張率算出部40は、LUT210を参照し、特徴量算出部30から入力された白ピーク値とAPLの値に対応してLUT210に定義されている輝度伸張率を取得することで、輝度伸張率を求める。白ピーク値とAPLの値が、輝度伸張率が定義された格子点から外れている場合、輝度伸張率算出部40は、白ピーク値とAPLの値の周囲の3点または4点の格子点に定義された輝度伸張率をもとに、補間演算を行って、輝度伸張率を算出する。このようにして輝度伸張率算出部40は輝度伸張率を求め、求めた輝度伸張率を、輝度伸張処理部50に出力する。
なお、輝度伸張率算出部40は、図3に示すLUT210に限らず、白ピーク値、黒ピーク値、及びAPLに対応して輝度伸張率を定義した3次元のLUTを用いてもよいし、黒ピーク値と白ピーク値または黒ピーク値とAPLを用いた2次元LUTを用いてもよく、白ピーク値、黒ピーク値、APL、及び輝度ヒストグラムのうち1つ以上に基づく演算処理により、輝度伸張率を求めてもよい。
輝度伸張処理部50は、1の立体画像データを構成する一組の右目用画像データと左目用画像データとの両方を、輝度伸張率算出部40が算出した共通の輝度伸張率に従って輝度伸張する。このため、一組の右目用画像データと左目用画像データの輝度やコントラスト感が揃って、ばらつきが無く、違和感ない立体画像データの適応調光を行うことができる。
そして、減光率算出部60は、算出した減光率kaとなるように調光素子120を駆動するための駆動信号を生成し、減光処理部70に出力する(ステップS18)。
特徴量算出部30に入力される立体映像信号が60フレーム/秒である場合、特徴量算出部30は、120フレーム/秒で右目用画像データと左目用画像データとを交互に出力する。これら右目用画像データと左目用画像データとは対になって一フレームの立体画像データを構成する。このような高速で画像を投射する場合、調光処理に伴う演算によってライトバルブ130の描画を遅延させないため、輝度伸張率と減光率の算出と調光処理とがシフトすることがある。すなわち、第nフレームの立体画像データを構成する右目用画像データと左目用画像データについて、輝度伸張率算出部40により輝度伸張率が算出され、減光率算出部60により減光率が算出された場合、この輝度伸張率と減光率に基づく調光処理は、第n+1フレームから適用される。この場合には、輝度伸張率と減光率とを算出した対象の画像データと、この輝度伸張率と減光率に基づく調光処理が施される画像データとが異なるが、この画像データのずれは1フレームに留まっているため、このシフトに起因して違和感が生じる可能性は極めて低く、調光処理によるコントラスト感の向上、ダイナミックレンジの拡大による品位向上の効果が期待できる。
以下の説明において、「右目用画像データと、左目用画像データとが対応している」とは、これら画像データが、1の画像を立体的に表現すべく、右目と左目の視差を反映して生成されたデータであるということである。より具体的には、入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、立体映像信号から切り出されて生成された一対の右目用画像データと左目用画像データとが、対応する画像データに該当し、また、右目用画像データに係る立体映像信号と、左目用画像データに係る立体映像信号とが順次入力される方式の場合、本実施形態では、1の右目用画像データと、当該1の右目用画像データの次に入力された左目用画像データとが、対応する画像データに該当するものとする。
図4では、右目用画像データ、及び、左目用画像データによって立体的に表現される画像(以下、「合成立体画像」という)に係る仮想空間(合成立体画像によって表現される奥行きをもった仮想的な空間)を上から見た様子を模式的に示している。
合成立体画像でより手前側に存在するように表現されるオブジェクトについては、仮想空間内でより手前側に配置され、一方、合成立体画像でより奥側に存在するように表現されるオブジェクトについては、仮想空間内でより奥側に配置される。例えば、図4の仮想空間では、オブジェクトM1の方が、オブジェクトM2よりも手前側に配置されているため、合成立体画像では、オブジェクトM1に係る画像の方が、オブジェクトM2に係る画像よりも手前側に存在するように表現される。なお、本実施形態では、全てのオブジェクトは、仮想空間内で、遠近の基準となる基準面よりも手前側に配置されることを前提としているものとする。
また、図4において、符号P1は、仮想空間を視認する左目の位置に対応する左目ポイントを示し、符号P2は、仮想空間を視認する右目の位置に対応する右目ポイントを示している。周知のとおり、左目ポイントP1に位置する左目と、右目ポイントP2に位置する右目との視差を利用して、右目用画像データ、及び、左目用画像データのそれぞれが生成される。
同様に、左目ポイントP1とオブジェクトM2とを結ぶ仮想直線SL2、及び、右目ポイントP2とオブジェクトM2とを結ぶ仮想直線SR2は、オブジェクトM2において角度βの視差対応角Q2をもって交わり、また、仮想直線SL2と基準面との交点KL2、及び、仮想直線SR2と基準面との交点KR2の間には、ギャップT2が形成される。
視差対応角Q1、Q2、及び、ギャップT1、T2は、左目ポイントP1と、右目ポイントP2との位置的な相違に起因して現出する値であり、仮想空間内におけるオブジェクトの位置がより手前側であればあるほど、当該オブジェクトに係る視差対応角Q、及び、ギャップTが大きな値となり、逆に、仮想空間内におけるオブジェクトの位置がより奥側であればあるほど、当該オブジェクトに係る視差対応角Q、及び、ギャップTがより小さな値となる。
従って、以下の説明において、例えば、右目画像データに含まれる1のオブジェクトに係る画像と、他のオブジェクトに係る画像について、「1のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも視差が大きい」と表現する場合、合成立体画像における仮想空間内で、1のオブジェクトの方が、他のオブジェクトよりも手前側に配置されていることを意味し、かつ、合成立体画像において、1のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも手前に存在するように表現されることを意味する。
視差の大きさは、右目用画像データ、及び、左目用画像データに、以下のように反映される。
図5では、右目用画像データ、及び、左目用画像データは、同一の座標系に、互いに対応するように展開されているものとする。すなわち、座標系において、右目用画像データの四隅と、左目用画像データの四隅とが重なるように展開され、右目用画像データに含まれる1の画素に定義される座標と、左目用画像データにおいて、右目用画像データにおける当該1の画素と同一の位置に配置された他の画素に定義される座標とが同一となっている。
上述したように、右目用画像データ、及び、左目用画像データは、データ上で各画素がドットマトリクス状に配置されたデータであるため、これら画像データを座標系に展開することにより、これら画像データの各画素の座標は、座標系において原点として定義された位置からの相対的な位置によって一意に定義される。
図5の右目用画像データ、及び、左目用画像データにおいて、画像データM´1は、図4のオブジェクトM1に対応する画像データであり、画像データM´2は、図4のオブジェクトM2に対応する画像データである。
図5に示すように、右目用画像データにおける画像データM´1と、左目用画像データにおける画像データM´1とは、離間量R1分、ずらして配置される。同様に、これら画像データにおいて、画像データM´2は、離間量R2分、ずらして配置される。
この離間量R1、R2は、オブジェクトM1、M2の視差に対応した値であり、仮想空間内でオブジェクトがより手前に配置されていればいるほど(=視差が大きいほど)、大きな値となり、逆に、仮想空間内でオブジェクトがより奥に配置されていればいるほど(=視差が小さいほど)、小さな値となる。
すなわち、仮想空間内でより手前に配置されており、合成立体画像においてより手前側に存在するように表現すべきオブジェクトほど、換言すれば、視差の大きなオブジェクトほど、右目用画像データ、及び、左目用画像データにおいて、当該オブジェクトに係る画像に対応する離間量Rが大きくなり、逆に、仮想空間内でより奥に配置されており、合成立体画像においてより奥側に存在するように表現すべきオブジェクトほど、換言すれば、視差の小さなオブジェクトほど、右目用画像データ、及び、左目用画像データにおいて、当該オブジェクトに係る画像に対応する離間量Rが小さくなる。
図6は、特徴量算出部30の機能的構成を示すブロック図である。
上述したように、特徴量算出部30は、画像特徴量として、最大輝度値(白ピーク値)、APL(Average Picture Level)、最小輝度値(黒ピーク値)、輝度ヒストグラムを算出し、算出したこれらの画像特徴量を輝度伸張率算出部40、及び、減光率算出部60に出力するものである。
以下の説明では、説明の明確化のため、特徴量算出部30から出力される最大輝度値を出力白ピーク値と、APLを出力APLと、最小輝度値を出力黒ピーク値と、輝度ヒストグラムを出力輝度ヒストグラムと、それぞれ称するものとする。
図6に示すように、特徴量算出部30は、基準領域輝度情報算出部31と、視差値算出部32と、出力特徴量算出部33と、を備えている。
まず、基準領域輝度情報算出部31は、画像入力部20から入力された右目用画像データ及び左目用画像データと、RL識別信号と、垂直同期信号VSyncとに基づいて、画像入力部20から入力中の画像データが右目用画像データか左目用画像データかを識別し、右目用画像データを取得する(ステップS21)。
次いで、基準領域輝度情報算出部31は、取得した右目用画像データを所定の座標系に展開すると共に、右目用画像データを基準領域に応じて区分する(ステップS22)。
ステップS22において、基準領域輝度情報算出部31は、例えば1920画素×1080画素の処理対象の右目用画像データを、図8に示すように、横16個×縦9個の144個の基準領域200−1〜200−144に区分する。この場合、基準領域200−1〜200−144のそれぞれのサイズは縦120画素、横120画素である。
上述したように、右目用画像データでは、画素ごとにRGBの色成分を階調値として保持しているが、ある1つの画素の輝度は、例えば、RGBの階調値の最大値を採用してもよいし、0.299×R信号値、0.587×G信号値、0.144×B信号値の合計値を採用してもよい。
また、1つの基準領域の代表輝度値は、平均輝度値には限定されず、例えば、基準領域200の中央付近の画素の輝度値を採用してもよい。
次いで、基準領域輝度情報算出部31は、右目用画像データ、及び、基準領域200のそれぞれを定義する座標に係る情報を視差値算出部32に出力すると共に、基準領域200のそれぞれの代表輝度値を出力特徴量算出部33に出力する(ステップS24)。
視差値算出部32は、画像入力部20から入力された右目用画像データ及び左目用画像データと、RL識別信号と、垂直同期信号VSyncとに基づいて、画像入力部20から入力中の画像データが右目用画像データか左目用画像データかを識別し、左目用画像データを取得する(ステップS31)。
次いで、視差値算出部32は、取得した左目用画像データを所定の座標系に展開する(ステップS32)。この所定の座標系は、図7に示すフローチャートのステップS22において、右目用画像データを展開した座標系と同一の座標系である。
次いで、視差値算出部32は、基準領域輝度情報算出部31から入力された右目用画像データ、及び、右目用画像データを区分して形成された基準領域200の座標に係る情報に基づいて、基準領域200のうちの1つの基準領域200を処理対象の基準領域200として特定し、処理対象の基準領域200として特定した基準領域200に対応する画像データ(以下、適宜、「基準領域画像データ」という)を取得する(ステップS33)。特定した基準領域200に対応する画像データとは、右目用画像データのうち、当該基準領域200によって規定される画像データのことである。例えば、図8を参照し、ステップS33において、視差値算出部32は、基準領域200−1を処理対象の基準領域とした場合、基準領域200−1によって規定される領域における画像データ(基準領域画像データ)を取得する。
次いで、視差値算出部32は、ステップS33で取得した基準領域画像データをテンプレート画像として、左目用画像データに対してテンプレートマッチング処理を行うことにより、左目用画像データにおいて、当該基準領域画像データに対応する画像データが位置する領域の座標を取得する(ステップS34)。
以下、ステップS34における動作について詳述する。
ステップS34において、まず、視差値算出部32は、左目用画像データを展開した所定の座標系に、ステップS33で取得した基準領域画像データを配置する。その際、視差値算出部32は、所定の座標系において、基準領域画像データの右目用画像データにおける配置位置に、当該基準領域画像データを配置する。例えば、図10を参照して、ステップS33で取得した基準領域画像データが、基準領域200−1(図8参照)に対応する基準領域画像データである場合、左目用画像データが展開された所定の座標系において、右目用画像データにおける基準領域200−1の位置(図10における領域X−0に対応する位置)に、基準領域画像データを配置する。
次いで、視差値算出部32は、基準領域画像データと、当該基準領域画像データが配置された領域における左目用画像データの画像データと、の類似度を算出する。本実施形態では、類似度は、正規化相互関数を用いて算出される−1〜1の範囲の値であり、その値が1に近いほど、類似度が高い。
次いで、視差値算出部32は、左目用画像データが展開された座標系において、テンプレート画像たる基準領域画像データを、画素1つ分、右方向(図10において矢印Y1で示す方向)にずらし、上述した方法と同様にして、基準領域画像データと、当該基準領域画像データが配置された領域における左目用画像データの画像データと、の類似度を算出する。
次いで、視差値算出部32は、算出した類似度のそれぞれを比較し、左目用画像データにおいて、類似度の算出対象となった領域のうち、類似度が最も高かった領域を特定し、当該領域を定義する座標を取得する。例えば、図10を参照して、ステップS33で取得した基準領域画像データが、基準領域200−1(図8参照)に対応する基準領域画像データである場合において、当該基準領域画像データと、領域X−2に対応する左目用画像データとの類似度が最も高かった場合、視差値算出部32は、この領域X−2を定義する座標を取得する。
以上のようにして、ステップS34において、視差値算出部32は、左目用画像データにおいて、ステップS33で取得した基準領域画像データに対応する画像データが位置する領域の座標を取得する。
そして、基準領域画像データと、ステップS34で特定された左目用画像データの領域に対応する画像データとのそれぞれは、類似度が最も高い画像データ、すなわち、最も「似ている」画像を示す画像データということであり、これらは、同一のオブジェクトに係る画像について、視差を反映して離間量R分ずらして形成された画像データのそれぞれである。
また、本実施形態では、基準領域画像データを、画素1つ分、「右方向」にずらした後、基準領域画像データと、左目用画像データとの類似度を算出する、という動作を、基準領域画像データが、左目用画像データの右端に至るまで繰り返し行うことにより、基準領域に対応する領域の検出を実行する。これは、図4、及び、図5を参照して、本実施形態のように全てのオブジェクトが仮想空間内で基準面よりも手前側に配置されることが前提となっている場合、図5に示すように、1のオブジェクトに係る画像の画像データの右目用画像データにおける位置は、必ず、当該1のオブジェクトに係る画像の画像データの左目用画像データにおける位置の、水平方向(右目と左目とを結ぶ直線が延びる方向に対応する方向)における「左」となるからであり、上述した動作によって基準領域200に対応する領域の検出を行うことにより、不必要に類似度を算出することを防止でき、処理効率の向上を図ることができるからである。
次いで、視差値算出部32は、算出した離間量Rを、そのまま、ステップS33で処理対象とした基準領域200の視差値として算出する(ステップS36)。すなわち、本実施形態では、視差値=離間量Rである。なお、本実施形態では、離間量Rをそのまま視差値としているが、視差値は、離間量Rと正の相関関係を有する値であればよい。すなわち、視差値は、離間量Rと正の相関関係を有することにより、視差の大きさと正の相関関係を有した値であればよい。
視差値算出部32は、右目用画像データに形成された全ての基準領域200に対して、ステップS33〜ステップS36に係る処理を行い、全ての基準領域200の視差値を算出する。
このようにして、右目用画像データに形成された全ての基準領域200の視差値を算出した後、視差値算出部32は、全ての基準領域200の視差値を示す情報を、出力特徴量算出部33に出力する(ステップS37)。
出力特徴量算出部33は、視差値算出部32から入力された情報に基づいて、基準領域200のうち、視差値が所定の閾値を上回っている基準領域200を特定する(ステップS41)。以下、ステップS41で特定された基準領域200を基準領域200という。
次いで、出力特徴量算出部33は、右目用画像データにおいて、特定した基準領域200に含まれる画像データに基づいて、画像特徴量として、出力白ピーク値、出力APL、出力黒ピーク値、及び、出力輝度ヒストグラムを算出する(ステップS42)。
具体的には、出力特徴量算出部33は、右目用画像データにおいて、特定した基準領域200のそれぞれの代表輝度値の最大値を出力白ピーク値とし、特定した基準領域200のそれぞれの代表輝度値の最小値を出力黒ピーク値とし、特定した基準領域200の代表輝度値のそれぞれの平均値を出力APLとする。また、出力特徴量算出部33は、特定した基準領域200の代表輝度値の分布から輝度ヒストグラムを生成する。
次いで、出力特徴量算出部33は、算出した各種の画像特徴量を輝度伸張率算出部40、及び、減光率算出部60に出力する。
すなわち、右目用画像データ、及び、左目用画像データによって表現される合成立体画像は、無限遠としての背景を示す背景画像と、この背景画像上においてある程度の立体感を持って表現される画像とによって構成される場合がある。この場合、背景画像よりも、ある程度の立体感を持って表現される画像の方が重要である傾向があり、画像データに輝度伸張処理を施す場合は、当該立体感を持って表現される画像に係る画像データに適した輝度伸張率に基づいて輝度伸張処理を施したいとするニーズがある。
これを踏まえ、本実施形態によれば、出力特徴量算出部33は、視差値が所定の閾値を上回っており、背景画像に係る領域ではなくある程度の立体感をもって表現されるべき画像に係る領域である蓋然性が高い基準領域200の情報に基づいて、各種の画像特徴量を算出する。このため、算出した画像特徴量に基づいて算出される輝度伸張率は、背景画像を除いた画像に係る基準領域200に基づいて算出された値、すなわち、背景画像ではなくある程度の立体感を持って表現される画像に係る画像データに適した値となる。
なお、所定の閾値は、背景画像と、ある程度の立体感を持って表現される画像とを判別する基準である、という観点から、事前のシミュレーション、テストを通して適切に定められる。
これによれば、特徴量算出部30は、右目用画像データと左目用画像データとの間における視差を反映して画像データの輝度に係る画像特徴量を算出し、さらに、輝度伸張率算出部40は、視差が反映されて算出された画像特徴量に基づいて輝度伸張率を算出する。このようにして輝度伸張率が算出されるため、輝度伸張率の値は、右目用画像データと左目用画像データとの視差が反映された値となる。そして、輝度伸張処理部50は、算出された輝度伸張率に基づいて、右目用画像データと左目用画像データとに輝度伸張処理を施すため、視差を踏まえた効果的な伸張処理を施すことが可能となる。
これによれば、特徴量算出部30は、離間量Rと正の相関関係を有する視差値を算出し、算出した視差値を利用して画像特徴量を算出する。そして、画像特徴量の算出に際して利用される視差値は、離間量Rと正の相関関係を有すると同時に、1の基準領域200における視差の大きさと正の相関関係を有する値であるため、視差値を利用して画像特徴量を算出することにより、視差(視差の大きさ)を適切に反映した上で画像特徴量を算出できる。
すなわち、右目用画像データ、及び、左目用画像データによって表現される合成立体画像は、無限遠としての背景を示す背景画像と、この背景画像上においてある程度の立体感を持って表現される画像とによって構成される場合がある。この場合、背景画像よりも、ある程度の立体感を持って表現される画像の方が重要である傾向があり、画像データに輝度伸張処理を施す場合は、当該立体感を持って表現される画像に係る画像データに適した輝度伸張率に基づいて輝度伸張処理を施したいとするニーズがある。
これを踏まえ、本実施形態によれば、出力特徴量算出部33は、視差値が所定の閾値を上回っており、背景画像に係る領域ではなくある程度の立体感をもって表現されるべき画像に係る領域である蓋然性が高い基準領域200の情報に基づいて、各種の画像特徴量を算出する。このため、算出した画像特徴量に基づいて算出される輝度伸張率は、背景画像を除いた画像に係る基準領域200に基づいて算出された値、すなわち、背景画像ではなく立体感を持って表現される画像に係る画像データに適した値となる。
これによれば、スクリーン5に投射される画像について、画像の見かけ上の明るさを維持しつつ、画像のダイナミックレンジを拡大してコントラスト感を向上することができる。
次いで、第2実施形態について説明する。
本実施形態では、上述した第1実施形態と、特徴量算出部30による、出力白ピーク値、出力APL、出力黒ピーク値、及び、出力輝度ヒストグラムの算出方法が異なっている。
上述した第1実施形態では、特徴量算出部30は、右目用画像データを区分して形成された基準領域200のうち、視差値が所定の閾値を上回っている基準領域200を特定し、これら基準領域200に含まれる右目用画像データに基づいて、出力白ピーク値、出力APL、出力黒ピーク値、及び、出力輝度ヒストグラムを算出していた。
一方、本実施形態では、まず、特徴量算出部30は、第1実施形態と同様の方法により、視差値が所定の基準領域200に対応する右目用画像データに基づいて、白ピーク値、APL、黒ピーク値、及び、輝度ヒストグラムを算出する。ここで算出された各種の画像特徴量を、説明の便宜のため、それぞれ、右白ピーク値、右APL、右黒ピーク値、及び、右輝度ヒストグラムと称するものとする。
さらに、特徴量算出部30は、左目用画像データを基準領域200によって区分すると共に、これら基準領域200の視差値を算出し、視差値が所定の閾値を上回っている基準領域200を特定し、特定した基準領域200に対応する左目用画像データに基づいて、白ピーク値、APL、黒ピーク値、及び、輝度ヒストグラムを算出する。左目用画像データを区分して形成された基準領域200の視差値の算出は、右目用画像データを区分して形成された基準領域200の視差値の算出と同様の方法により行われる。ここで算出された各種の画像特徴量を、説明の便宜のため、それぞれ、左白ピーク値、左APL、左黒ピーク値、及び、左輝度ヒストグラムと称するものとする。
次いで、特徴量算出部30は、以下のようにして、出力白ピーク値、出力APL、出力黒ピーク値、及び、出力輝度ヒストグラムを算出する。
出力白ピークは、右白ピーク値と左白ピーク値のうち大きい方、すなわち明るい方の値とする。これを数式で表すと、下記式(1)のようになる。
WP0=Max(WPR、WPL)…(1)
ここで、WP0は出力白ピーク値、WPRは右白ピーク値、WPLは左白ピーク値である。
これは、調光処理においては、画像データ中で最も輝度の高い部分の輝度を基準とすることが適しているからである。例えば、出力白ピーク値を右白ピーク値と左白ピーク値のうち小さい方にした場合、右目用画像データ又は左目用画像データにおいて、最も高輝度の部分が輝度伸張により白飛びする可能性がある。
出力APLの代表値は、右APLと左APLの平均値とする。これを数式で表すと、下記式(2)のようになる。
APL0=Avg(APLR、APLL)…(2)
ここで、APL0は出力APL、APLRは右APLであり、APLLは左APLである。
APLは本質的に輝度の平均値であるため、2つの画像データのAPLもまた平均値を求めることが適している。
出力黒ピーク値は、右黒ピーク値と左黒ピーク値のうち小さい方、すなわち暗い方の値を代表値とする。これを数式で表すと、下記式(3)のようになる。
BP0=Min(BPR、BPL)…(3)
ここで、BP0は出力黒ピーク値、BPRは右黒ピーク値であり、BPLは左黒ピーク値である。
出力黒ピーク値は画像データにおいて最も輝度が小さい部分の輝度であるから、対象となる画像データが2つであれば、これら2つの画像で最も暗い部分の輝度を代表値として採用することが、画像データのコントラストに適した輝度伸張処理を行うことができるため、好適である。
(D)輝度ヒストグラム
出力輝度ヒストグラムは、右輝度ヒストグラムと左輝度ヒストグラムの平均とする。これを数式で表すと、下記式(4)のようになる。
Hist0(X)={HistR(X)+HistL(X)}/2…(4)
ここで、Hist0(X)は出力輝度ヒストグラム、HistR(X)は右輝度ヒストグラムを表し、HistL(X)は左輝度ヒストグラムを表す。階調値10bitの画像データの場合、X=0〜1023である。
この式(4)によれば、輝度の各階級の平均値が代表値となる。
本実施形態では、上述した第1実施形態と、特徴量算出部30の出力特徴量算出部33が算出する各種の画像特徴量のうち、出力白ピーク値、及び、出力APLの算出方法が異なっている。以下、本実施形態に係る出力特徴量算出部33の出力白ピーク値、及び、出力APLのそれぞれの算出方法について説明する。
出力特徴量算出部33は、基準領域輝度情報算出部31から入力された基準領域200の代表輝度値、及び、視差値算出部32から入力された基準領域200の視差値に基づいて、右目用画像データを区分して形成された基準領域200のそれぞれについて、代表輝度値と視差値とを乗算して、判断値を算出する。つまり、「判断値=代表輝度値×視差値」である。
次いで、出力特徴量算出部33は、算出した判断値のそれぞれを比較し、最も大きな判断値を特定すると共に、当該判断値を有する基準領域200を特定する。
次いで、出力特徴量算出部33は、特定した基準領域200の代表輝度値を出力白ピーク値とする。
このようにして、出力白ピーク値を算出することにより、以下の効果を奏する。
すなわち、視差値は、上述したように、視差の大きさと正の相関関係を有する値であり、視差が大きいほど視差値も大きくなり、視差が小さいほど視差値も小さくなる。従って、判断値の算出のために代表輝度値に乗算される視差値は、視差が大きいほど、判断値を大きくさせる「重み」として機能する。そして、基準領域200のそれぞれについて、代表輝度値と視差値を乗算して判断値を求め、この判断値の最も大きい基準領域200の代表輝度値を出力白ピーク値とすることにより、視差の大きさを適切に加味した上で、出力白ピーク値となる代表輝度値を選定することができる。
ここで、右目用画像データ、及び、左目用画像データにより表現される合成立体画像では、より手前に存在するように表現されるオブジェクトに係る画像ほど(=より視差が大きい画像ほど)、立体感や迫力が強調された重要な画像である傾向があり、画像特徴量たる出力白ピーク値の算出に際し、手前に存在するように表現されるオブジェクトに係る画像を示す領域に係る情報ほど、算出される出力白ピーク値の値に反映するようにしたいとするニーズがあるが、上述したように、基準領域200の視差値を「重み」として利用した判断値を利用して、出力白ピーク値となる代表輝度値を選定することにより、当該ニーズに適切に応えることができる。
なお、判断値に対する視差値の反映の度合いを考慮して、判断値を求めるにあたり、視差値を適切に補正した上で、代表輝度値に掛け合わせるようにしてもよい。
出力特徴量算出部33は、基準領域200のそれぞれの代表輝度値の相加平均を求めるのではなく、基準領域輝度情報算出部31から入力された基準領域200の代表輝度値、及び、視差値算出部32から入力された基準領域200の視差値に基づいて、右目用画像データを区分して形成された基準領域200のそれぞれにおける視差値を「重み」とした代表輝度値の加重平均を算出し、算出した値を出力APLとする。より具体的には、基準領域200のそれぞれについて、代表輝度値と視差値とを乗算した上でこれらの総和を算出し、算出した総和を、基準領域200のそれぞれにおける視差値の総和(=重みの総和)で除算、これにより出力APLを算出する。
このようにして、出力APLを算出することにより、以下の効果を奏する。
すなわち、視差値は、上述したように、視差の大きさと正の相関関係を有する値であり、視差が大きいほど視差値も大きくなり、視差が小さいほど視差値も小さくなる。出力APLを、代表輝度値の相加平均によって求めるのではなく、視差値を「重み」とした加重平均によって求めることにより、視差の大きさを適切に加味した上で、出力APLを算出することができる。
ここで、上述したように、右目用画像データ、及び、左目用画像データにより表現される合成立体画像では、より手前に存在するように表現されるオブジェクトに係る画像ほど(=より視差が大きい画像ほど)、立体感や迫力が強調された重要な画像である傾向があり、画像特徴量たる出力APLの算出に際し、手前に存在するように表現されるオブジェクトに係る画像を示す領域に係る情報ほど、算出される出力APLの値に反映するようにしたいとするニーズがあるが、上述したように、視差値を「重み」とした加重平均によって出力APLを求めることにより、当該ニーズに適切に応えることができる。
本実施形態は、上述した第3実施形態の変形例である。
本実施形態では、出力白ピーク値、及び、出力APLを以下のようにして算出する。
出力白ピーク値の算出にあたり、まず、出力特徴量算出部33は、上述した第3実施形態と同様の方法により、代表輝度値と視差値とを乗算して算出される判断値を利用して、右目用画像データの白ピーク値(「右白ピーク値」という)を算出する。さらに、出力特徴量算出部33は、同様の方法により、判断値を利用して、左目用画像データの白ピーク値(「左白ピーク値」という)を算出する。
そして、出力特徴量算出部33は、右白ピーク値と左白ピーク値のうち大きい方、すなわち明るい方の値を出力白ピーク値とする。
また、出力APLの算出にあたり、まず、出力特徴量算出部33は、上述した第3実施形態と同様の方法により、視差値を重みとした加重平均により、右目用画像データのAPL(「右APL」という)を算出する。さらに、出力特徴量算出部33は、同様の方法により、視差値を重みとした加重平均により、左目用画像データのAPL(「左APL」という)を算出する。
そして、出力特徴量算出部33は、これら右APLと左APLの平均を出力APLとする。
このようにして、出力白ピーク値や、出力APLを算出することにより、これら画像特徴量の値に、右目用画像データにおける各基準領域200の視差だけでなく、左目用画像データにおける各基準領域200の視差を反映させることができ、より、右目用画像データと左目用画像データとの間における視差を踏まえた効果的な伸張処理を施すことが可能となる。
本実施形態では、上述した第1実施形態と、特徴量算出部30の出力特徴量算出部33により算出される各種の画像特徴量のうち、出力白ピーク値、及び、出力APLの算出方法が異なっている。
まず、特徴量算出部30は、基準領域輝度情報算出部31から入力された右目用画像データの基準領域200の代表輝度値、及び、視差値算出部32から入力された右目用画像データの基準領域200の視差値に基づいて、視差値の上限値と下限値を取得し、この上限値と下限値との間を所定の範囲ごとに区分する。次いで、特徴量算出部30は、区分した範囲ごとに、各範囲の視差値を有する基準領域200の個数を検出する。例えば、特徴量算出部30は、値A1≦視差値<値A2の基準領域200の個数は20個であり、値A2≦視差値<値A3の基準領域200の個数は15個であるといったことを検出する。そして、特徴量算出部30は、検出結果に基づいて、所定の範囲に区分された視差値を階級、当該範囲の視差値を有する基準領域200の個数(頻度)を度数とするヒストグラムを生成する。ここで生成されたヒストグラムを参照することにより、ある1の基準領域200について、当該基準領域200の視差値と同じ範囲に属する視差値を有する基準領域200が、右目用画像データの中にいくつ存在しているのかを検出することが可能となる。すなわち、当該ヒストグラムを参照することにより、基準領域200のそれぞれについて、同程度の視差値を有する基準領域200の右目用画像データにおける頻度を検出できる。
このようにして、ヒストグラムを生成した上で、特徴量算出部30は、出力白ピーク値、及び、出力APLを以下のようにして算出する。
なお、以下の説明において、「基準領域200の視差値の頻度」という場合は、右目用画像データを区分して形成された基準領域200のうち、当該基準領域200の視差値と同じ範囲に属する視差値を有する基準領域200の個数のことをいうものとする。
出力特徴量算出部33は、基準領域輝度情報算出部31から入力された基準領域200の代表輝度値、及び、視差値算出部32から入力された基準領域200の視差値に基づいて、右目用画像データを区分して形成された基準領域200のそれぞれについて、代表輝度値と、「視差値の頻度を基準領域200の総数で割った値」とを乗算して、判断値を算出する。つまり、「判断値=代表輝度値×(視差値の頻度/基準領域200の総数)」である。
次いで、出力特徴量算出部33は、算出した判断値のそれぞれを比較し、最も大きな判断値を特定すると共に、当該判断値を有する基準領域200を特定する。
次いで、出力特徴量算出部33は、特定した基準領域200の代表輝度値を出力白ピーク値とする。
このようにして、出力白ピーク値を算出することにより、以下の効果を奏する。
すなわち、判断値を求める式「判断値=代表輝度値×(視差値の頻度/基準領域200の総数)」において、「視差値の頻度/基準領域200の総数」の部分は、同程度の視差値を有する基準領域200の頻度が多いほど、判断値を大きくさせる「重み」として機能する。そして、上記の式によって判断値を求め、この判断値の最も大きい基準領域200の代表輝度値を出力白ピーク値とすることにより、視差の頻度を適切に反映した上で、出力白ピーク値を算出できる。
ここで、右目用画像データ、及び、左目用画像データにより表現される立体画像では、奥行き方向における位置が同程度となるように表現されるオブジェクトが他により多く存在するオブジェクトに係る画像ほど、当該立体画像において重要な画像である傾向があり、出力白ピーク値の算出に際し、このようなオブジェクトに係る画像を示す基準領域200に係る情報ほど、算出される出力白ピーク値の値に反映するようにしたいとするニーズがある。ここで、上述したように、視差値は視差の大きさに対応した値であるため、奥行き方向における位置が同程度のオブジェクトに係る画像を示す基準領域200のそれぞれは、同程度の視差値を有することとなるため、上述した式によって求めた判断値を利用して、出力白ピーク値を算出することにより、当該ニーズに適切に応えることができる。
出力特徴量算出部33は、基準領域200のそれぞれの代表輝度値の相加平均を求めるのではなく、基準領域輝度情報算出部31から入力された基準領域200の代表輝度値、及び、視差値算出部32から入力された基準領域200の視差値に基づいて、右目用画像データを区分して形成された基準領域200のそれぞれにおける視差値の頻度に対応する値を「重み」とした代表輝度値の加重平均を算出し、算出した値を出力APLとする。より具体的には、基準領域200のそれぞれについて、代表輝度値と「視差値の頻度/基準領域200の総数」(=重み)とを乗算した上でこれらの総和を算出し、算出した総和を、「視差値の頻度/基準領域200の総数」の総和(=重みの総和)で割り、これにより出力APLを算出する。
このようにして、出力APLを算出することにより、以下の効果を奏する。
すなわち、「視差値の頻度/基準領域200の総数」を重みとした加重平均により出力APLを求めることにより、視差の頻度を適切に反映した上で、出力白ピーク値を算出できる。
ここで、右目用画像データ、及び、左目用画像データにより表現される合成立体画像では、奥行き方向における位置が同程度となるように表現されるオブジェクトが他により多く存在するオブジェクトに係る画像ほど、当該立体画像において重要な画像である傾向があり、出力APLの算出に際し、このようなオブジェクトに係る画像を示す基準領域200に係る情報ほど、算出される出力白ピーク値の値に反映するようにしたいとするニーズがある。ここで、上述したように、視差値は視差の大きさに対応した値であるため、奥行き方向における位置が同程度のオブジェクトに係る画像を示す基準領域200のそれぞれは、同程度の視差値を有することとなるため、上述した式によって求めた判断値を利用して、出力白ピーク値を算出することにより、当該ニーズに適切に応えることができる。
本実施形態は、上述した第5実施形態の変形例である。
すなわち、第1実施形態と、出力白ピーク値、及び、出力APLの算出方法が異なっている。
出力白ピーク値の算出にあたり、まず、出力特徴量算出部33は、上述した第5実施形態と同様の方法により、代表輝度値と「視差値の頻度/基準領域200の総数」(=重み)とを乗算して算出される判断値を利用して、右目用画像データの白ピーク値(「右白ピーク値」という)を算出する。さらに、出力特徴量算出部33は、同様の方法により、判断値を利用して、左目用画像データの白ピーク値(「左白ピーク値」という)を算出する。
そして、出力特徴量算出部33は、右白ピーク値と左白ピーク値のうち大きい方、すなわち明るい方の値を出力白ピーク値とする。
また、出力APLの算出にあたり、まず、出力特徴量算出部33は、上述した第5実施形態と同様の方法により、「視差値の頻度/基準領域200の総数」を重みとした加重平均により、右目用画像データのAPL(「右APL」という)を算出する。さらに、出力特徴量算出部33は、同様の方法により、「視差値の頻度/基準領域200の総数」を重みとした加重平均により、左目用画像データのAPL(「左APL」という)を算出する。
そして、出力特徴量算出部33は、これら右APLと左APLの平均を出力APLとする。
このようにして、出力白ピーク値や、出力APLを算出することにより、これら画像特徴量の値に、右目用画像データにおける各基準領域200の視差だけでなく、左目用画像データにおける各基準領域200の視差を反映させることができ、より、右目用画像データと左目用画像データとの間における視差を踏まえた効果的な伸張処理を施すことが可能となる。
例えば、画像入力部20が、入力された立体映像信号から右目用画像データと左目用画像データとを生成し、これらの右目用画像データと左目用画像データとを交互に出力する構成としたが、本発明はこれに限定されるものではない。例えば、輝度伸張処理部50において右目用画像データと左目用画像データとを交互にライトバルブ130に出力してもよい。
また、上述した各機能部は、画像表示装置1の機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。
Claims (8)
- 立体画像データを構成する右目用画像データと左目用画像データとの間における視差を利用して画像データの輝度に係る画像特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された画像特徴量に基づいて、前記右目用画像データ及び前記左目用画像データに施す輝度伸張処理に係る伸張係数を算出する伸張係数算出部と、
前記伸張係数算出部により算出された伸張係数に基づいて、前記右目用画像データ、及び、前記左目用画像データに輝度伸張処理を施す輝度伸張処理部と、
前記輝度伸張処理が施された前記右目用画像データ及び前記左目用画像データに基づき、画像を表示する画像表示部と、を備えることを特徴とする画像表示装置。 - 前記特徴量算出部は、
前記右目用画像データ及び前記左目用画像データのうち、少なくとも一方の画像データを区分して形成された基準領域のそれぞれについて、他方の画像データにおける前記基準領域に対応する領域のそれぞれとの離間量を検出すると共に、検出した離間量と正の相関関係を有する視差値を算出し、算出した視差値を利用して画像特徴量を算出することを特徴とする請求項1に記載の画像表示装置。 - 前記特徴量算出部は、
前記右目用画像データと前記左目用画像データとの少なくとも一方の画像データに含まれる前記基準領域のうち、算出した視差値が所定の閾値を上回っている前記基準領域の情報に基づいて、画像特徴量を算出することを特徴とする請求項2に記載の画像表示装置。 - 前記特徴量算出部は、
前記右目用画像データと前記左目用画像データとの少なくとも一方の画像データについて、視差値が大きい前記基準領域の情報ほど、算出される画像特徴量の値に反映するように重み付けを行った上で、前記基準領域のそれぞれの情報に基づいて画像特徴量を算出することを特徴とする請求項2に記載の画像表示装置。 - 前記特徴量算出部は、
前記右目用画像データと前記左目用画像データとの少なくとも一方の画像データについて、同程度の視差値を有する前記基準領域の頻度を検出し、頻度が高い前記基準領域の情報ほど、算出される画像特徴量の値に反映するように重み付けを行った上で、前記基準領域のそれぞれの情報に基づいて画像特徴量を算出することを特徴とする請求項2に記載の画像表示装置。 - 光源が発した光を変調する変調部を備え、
前記輝度伸張処理部は、前記輝度伸張処理が施された前記右目用画像データ及び前記左目用画像データを前記変調部に出力し、
前記輝度伸張処理部による輝度伸張処理に対応して、前記光源が発した光を調光する調光部を備えること、を特徴とする請求項1乃至5のいずれかに記載の画像表示装置。 - 画像表示装置に画像データを供給する画像供給装置であって、
立体画像データを構成する右目用画像データと左目用画像データとの間における視差を利用して画像データの輝度に係る画像特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された画像特徴量に基づいて、前記右目用画像データ及び前記左目用画像データに施す輝度伸張処理に係る伸張係数を算出する伸張係数算出部と、
前記伸張係数算出部により算出された伸張係数に基づいて、前記右目用画像データ、及び、前記左目用画像データに輝度伸張処理を施す輝度伸張処理部と、を備えることを特徴とする画像供給装置。 - 立体画像データを構成する右目用画像データと左目用画像データとの間における視差を利用して画像データの輝度に係る画像特徴量を算出し、
算出した画像特徴量に基づいて、前記右目用画像データ及び前記左目用画像データに施す輝度伸張処理に係る伸張係数を算出し、
算出した伸張係数に基づいて、前記右目用画像データ、及び、前記左目用画像データに輝度伸張処理を施すことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164600A JP5585265B2 (ja) | 2010-07-22 | 2010-07-22 | 画像表示装置、画像供給装置、及び、画像処理方法 |
US13/187,122 US9350982B2 (en) | 2010-07-22 | 2011-07-20 | Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164600A JP5585265B2 (ja) | 2010-07-22 | 2010-07-22 | 画像表示装置、画像供給装置、及び、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012028964A true JP2012028964A (ja) | 2012-02-09 |
JP2012028964A5 JP2012028964A5 (ja) | 2013-08-15 |
JP5585265B2 JP5585265B2 (ja) | 2014-09-10 |
Family
ID=45781395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010164600A Expired - Fee Related JP5585265B2 (ja) | 2010-07-22 | 2010-07-22 | 画像表示装置、画像供給装置、及び、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5585265B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9039200B2 (en) | 2011-08-30 | 2015-05-26 | Seiko Epson Corporation | Projector and control method for projector |
US9355503B2 (en) | 2012-06-19 | 2016-05-31 | Seiko Epson Corporation | Image display apparatus and method for controlling the same |
US9412310B2 (en) | 2013-03-22 | 2016-08-09 | Seiko Epson Corporation | Image processing apparatus, projector, and image processing method |
US10134361B2 (en) | 2013-03-06 | 2018-11-20 | Seiko Epson Corporation | Image processing device, projector, and image processing method |
US10298920B2 (en) | 2013-12-18 | 2019-05-21 | Seiko Epson Corporation | Projector and method of controlling a projector |
CN110969581A (zh) * | 2018-09-30 | 2020-04-07 | 成都微晶景泰科技有限公司 | 无偏振片的液晶光学元件成像方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110360A (ja) * | 2005-10-13 | 2007-04-26 | Ntt Comware Corp | 立体画像処理装置およびプログラム |
JP2010020241A (ja) * | 2008-07-14 | 2010-01-28 | Sony Corp | 表示装置、表示装置の駆動方法、駆動用集積回路、駆動用集積回路による駆動方法及び信号処理方法 |
JP2010152521A (ja) * | 2008-12-24 | 2010-07-08 | Toshiba Corp | 画像立体化処理装置及び方法 |
JP2012015610A (ja) * | 2010-06-29 | 2012-01-19 | Fujitsu Semiconductor Ltd | 処理装置 |
-
2010
- 2010-07-22 JP JP2010164600A patent/JP5585265B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110360A (ja) * | 2005-10-13 | 2007-04-26 | Ntt Comware Corp | 立体画像処理装置およびプログラム |
JP2010020241A (ja) * | 2008-07-14 | 2010-01-28 | Sony Corp | 表示装置、表示装置の駆動方法、駆動用集積回路、駆動用集積回路による駆動方法及び信号処理方法 |
JP2010152521A (ja) * | 2008-12-24 | 2010-07-08 | Toshiba Corp | 画像立体化処理装置及び方法 |
JP2012015610A (ja) * | 2010-06-29 | 2012-01-19 | Fujitsu Semiconductor Ltd | 処理装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9039200B2 (en) | 2011-08-30 | 2015-05-26 | Seiko Epson Corporation | Projector and control method for projector |
US9258538B2 (en) | 2011-08-30 | 2016-02-09 | Seiko Epson Corporation | Projector and control method for projector |
US9355503B2 (en) | 2012-06-19 | 2016-05-31 | Seiko Epson Corporation | Image display apparatus and method for controlling the same |
US10134361B2 (en) | 2013-03-06 | 2018-11-20 | Seiko Epson Corporation | Image processing device, projector, and image processing method |
US9412310B2 (en) | 2013-03-22 | 2016-08-09 | Seiko Epson Corporation | Image processing apparatus, projector, and image processing method |
US10298920B2 (en) | 2013-12-18 | 2019-05-21 | Seiko Epson Corporation | Projector and method of controlling a projector |
CN110969581A (zh) * | 2018-09-30 | 2020-04-07 | 成都微晶景泰科技有限公司 | 无偏振片的液晶光学元件成像方法、装置、设备及介质 |
CN110969581B (zh) * | 2018-09-30 | 2023-10-20 | 成都微晶景泰科技有限公司 | 无偏振片的液晶光学元件成像方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5585265B2 (ja) | 2014-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8520038B2 (en) | Image display apparatus, image display method, and image supply apparatus | |
US9350982B2 (en) | Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image | |
KR101470693B1 (ko) | 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치 | |
KR101777875B1 (ko) | 입체 영상 표시장치와 그 입체 영상 조절 방법 | |
JP5585265B2 (ja) | 画像表示装置、画像供給装置、及び、画像処理方法 | |
US9380284B2 (en) | Image processing method, image processing device and recording medium | |
JP5585266B2 (ja) | 画像表示装置、画像供給装置、及び、画像処理方法 | |
US20170324944A1 (en) | Video display apparatus, video display system, and video display method | |
US9167237B2 (en) | Method and apparatus for providing 3-dimensional image | |
JP2012028964A5 (ja) | ||
US10992927B2 (en) | Stereoscopic image display apparatus, display method of liquid crystal display, and non-transitory computer-readable recording medium storing program of liquid crystal display | |
JP2012028965A5 (ja) | ||
US9516300B2 (en) | Image processing apparatus, image processing method, and program | |
JP6069854B2 (ja) | 映像表示装置および映像表示方法 | |
JP2005250978A (ja) | 三次元画像処理装置および三次元画像処理方法 | |
JP2013090272A (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
TWI449956B (zh) | 主動式偏光三維顯示裝置 | |
JP5573426B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
JP2013077863A (ja) | 立体表示装置および立体表示方法 | |
US20130293687A1 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
JP2015149547A (ja) | 画像処理方法、画像処理装置、及び電子機器 | |
KR20140088465A (ko) | 디스플레이 방법 및 디스플레이 장치 | |
JP2012151641A (ja) | 立体映像表示装置、立体映像表示装置の制御方法及び立体映像表示システム | |
JP2015154213A (ja) | プロジェクタ装置、および投影方法 | |
JP2009237310A (ja) | 疑似3次元表示方法および疑似3次元表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5585265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |