光源装置１１０は、キセノンランプや、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等の光源を備えている。また、光源装置１１０は、光源が発した光をライトバルブ１３０に導くリフレクター及び補助リフレクターを備えていてもよく、光の光学特性を高めるためのレンズ群（図示略）や偏光板等を備えたものであってもよい。
光源装置１１０は、光源が発した光がライトバルブ１３０に至る経路上で、光量を減光させる調光素子１２０を備えている。調光素子１２０は、例えば、光源装置１１０が発した光を遮る減光板と、この減光板の位置または角度を所定の減光率に合わせて調整する駆動回路とを備えて構成され、光を遮る位置に減光板を進出させることによって減光する。調光素子１２０は、減光板に代えて液晶シャッターで構成することも可能であり、この場合、液晶シャッターの全体または一部の透過率を調整することで減光する。
The light source device 110 includes a light source such as a xenon lamp, an ultra-high pressure mercury lamp, or an LED (Light Emitting Diode) . The light source device 110 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the light valve 130, and includes a lens group (not shown), a polarizing plate, and the like for enhancing the optical characteristics of the light. It may be a thing.
The light source device 110 includes a light control element 120 that reduces the amount of light on a path where light emitted from the light source reaches the light valve 130. The light control element 120 includes, for example, a light reduction plate that blocks light emitted from the light source device 110, and a drive circuit that adjusts the position or angle of the light reduction plate according to a predetermined light reduction rate. It is dimmed by advancing the light-reducing plate to the blocking position. The light control element 120 can also be constituted by a liquid crystal shutter instead of the light reducing plate, and in this case, the light is reduced by adjusting the transmittance of the whole or a part of the liquid crystal shutter.
制御部１０は、画像入力部２０から入力されるＲＬ識別信号及び垂直同期信号ＶＳｙｎｃに基づいて画像表示装置１の各部を制御する。
特徴量算出部３０には、画像入力部２０が出力する右目用画像データ及び左目用画像データと、ＲＬ識別信号と、垂直同期信号ＶＳｙｎｃとが入力される。特徴量算出部３０は、ＲＬ識別信号及び垂直同期信号ＶＳｙｎｃに基づいて、画像入力部２０から入力中の画像データが右目用画像データか左目用画像データかを識別し、右目用画像データと左目用画像データとをそれぞれ取得する。そして、特徴量算出部３０は、取得した両方の画像データの各々について、画像特徴量を算出する（ステップＳ１３）。特徴量算出部３０が算出する画像特徴量は、例えば、画像データ全体の最大輝度値（白ピーク値ＷＰ）、輝度値の平均値であるＡＰＬ（Average Picture Level）、最小輝度値（黒ピーク値ＢＰ）、輝度ヒストグラムである。特徴量算出部３０は、算出した画像特徴量を輝度伸張率算出部４０及び減光率算出部６０に出力する。
The control unit 10 controls each unit of the image display device 1 based on the RL identification signal and the vertical synchronization signal VSync input from the image input unit 20.
The feature amount calculation unit 30 receives the right-eye image data and the left-eye image data output from the image input unit 20, the RL identification signal, and the vertical synchronization signal VSync. Based on the RL identification signal and the vertical synchronization signal VSync, the feature amount calculation unit 30 identifies whether the image data being input from the image input unit 20 is right-eye image data or left-eye image data, and right-eye image data and left-eye image data. Image data is obtained. Then, the feature amount calculation unit 30 calculates an image feature amount for each of both acquired image data (step S13). The image feature amount calculated by the feature amount calculation unit 30 is, for example, the maximum luminance value (white peak value WP) of the entire image data , APL (Average Picture Level) that is an average value of luminance values, and minimum luminance value (black peak value). BP), a luminance histogram. The feature amount calculation unit 30 outputs the calculated image feature amount to the luminance expansion rate calculation unit 40 and the dimming rate calculation unit 60.
一方、減光率算出部６０は、特徴量算出部３０から入力される画像特徴量の代表値に基づいて、減光率を算出する（ステップＳ１７）。減光率の算出は、例えば、図４を参照して説明した輝度伸張率と同様に、白ピーク値ＷＰ、ＡＰＬ、黒ピーク値ＢＰのうちの２以上に対応して減光率が定義されたＬＵＴ（図示略）を用い、このＬＵＴを参照することで減光率を算出できる。すなわち、減光率算出部６０は、画像入力部２０から入力された白ピーク値ＷＰ、ＡＰＬ、或いは黒ピーク値ＢＰに対応してＬＵＴに定義されている減光率を取得する。また、減光率算出部６０は、画像入力部２０から入力された白ピーク値ＷＰ、ＡＰＬ、或いは黒ピーク値ＢＰが、減光率が定義された格子点から外れている場合、周囲の３点または４点の格子点に定義された減光率をもとに補間演算を行って、減光率を算出する。このようにして減光率算出部６０は減光率を求め、求めた減光率を、減光処理部７０に出力する。なお、減光率算出部６０は、２次元ＬＵＴに限らず、３次元のＬＵＴを用いても良いし、白ピーク値ＷＰ、黒ピーク値ＢＰ、ＡＰＬ、及び輝度ヒストグラムのうち１つ以上に基づく演算処理により、減光率を求めても良い。
そして、減光率算出部６０は、算出した減光率ｋａとなるように調光素子１２０を駆動するための駆動信号を生成し、減光処理部７０に出力する（ステップＳ１８）。
On the other hand, the light attenuation rate calculation unit 60 calculates the light attenuation rate based on the representative value of the image feature amount input from the feature amount calculation unit 30 (step S17). Calculation of extinction ratio, for example, similarly to the luminance expansion rate as described with reference, white peak value WP, APL, the extinction ratio in response to two or more of the black peak value BP is defined to 4 The light attenuation rate can be calculated by using the LUT (not shown) and referring to this LUT. That is, the light attenuation rate calculation unit 60 acquires the light attenuation rate defined in the LUT corresponding to the white peak value WP, APL, or black peak value BP input from the image input unit 20. Further, when the white peak value WP, APL, or black peak value BP input from the image input unit 20 is out of the lattice point where the light attenuation rate is defined, the light attenuation rate calculation unit 60 The light attenuation rate is calculated by performing an interpolation operation based on the light attenuation rate defined for the point or the four lattice points. In this way, the light attenuation rate calculation unit 60 obtains the light attenuation rate and outputs the obtained light attenuation rate to the light attenuation processing unit 70. The light attenuation rate calculation unit 60 is not limited to a two-dimensional LUT, and may use a three-dimensional LUT, or may be based on one or more of a white peak value WP, a black peak value BP, an APL, and a luminance histogram. The dimming rate may be obtained by arithmetic processing.
Then, the dimming rate calculation unit 60 generates a drive signal for driving the dimming element 120 so that the calculated dimming rate ka is obtained, and outputs the drive signal to the dimming processing unit 70 (step S18).
ここで、制御部１０の制御により、輝度伸張処理部５０によって輝度伸張の処理が施された画像データがライトバルブ１３０に入力され、垂直同期信号ＶＳｙｎｃに同期して描画されるとともに、このタイミングに同期して、減光処理部７０により、減光率算出部６０から入力された駆動信号に従って調光素子１２０が制御され、調光が行われる（ステップＳ１９）。
画像入力部２０に入力される立体映像信号が６０フレーム／秒である場合、画像入力部２０は、１２０フレーム／秒で右目用画像データと左目用画像データとを交互に出力する。これら右目用画像データと左目用画像データとは対になって一フレームの立体画像データを構成する。このような高速で画像を投射する場合、調光処理に伴う演算によってライトバルブ１３０の描画を遅延させないため、輝度伸張率と減光率の算出と調光処理とがシフトすることがある。すなわち、第ｎフレームの立体画像データを構成する右目用画像データと左目用画像データについて、輝度伸張率算出部４０により輝度伸張率が算出され、減光率算出部６０により減光率が算出された場合、この輝度伸張率と減光率に基づく調光処理は、第ｎ＋１フレームから適用される。この場合には、輝度伸張率と減光率とを算出した対象の画像データと、この輝度伸張率と減光率に基づく調光処理が施される画像データとが異なるが、この画像データのずれは１フレームに留まっているため、このシフトに起因して違和感が生じる可能性は極めて低く、調光処理によるコントラスト感の向上、ダイナミックレンジの拡大による品位向上の効果が期待できる。
Here, under the control of the control unit 10, the image data subjected to the luminance expansion processing by the luminance expansion processing unit 50 is input to the light valve 130, drawn in synchronization with the vertical synchronization signal VSync, and at this timing. In synchronization, the dimming processing unit 70 controls the dimming element 120 according to the drive signal input from the dimming rate calculating unit 60, and dimming is performed (step S19).
When the stereoscopic video signal input to the image input unit 20 is 60 frames / second, the image input unit 20 alternately outputs right-eye image data and left-eye image data at 120 frames / second. These right-eye image data and left-eye image data are paired to form one frame of stereoscopic image data. When an image is projected at such a high speed, the calculation of the light valve 130 is not delayed by the calculation associated with the dimming process, so the calculation of the luminance expansion rate and the dimming rate and the dimming process may shift. That is, for the right-eye image data and the left-eye image data constituting the n-th frame stereoscopic image data, the luminance expansion rate is calculated by the luminance expansion rate calculation unit 40, and the dimming rate is calculated by the dimming rate calculation unit 60. In this case, the dimming process based on the luminance expansion rate and the dimming rate is applied from the (n + 1) th frame. In this case, the target image data for which the luminance expansion rate and the light reduction rate are calculated are different from the image data subjected to the light control processing based on the luminance expansion rate and the light attenuation rate. Since the shift is limited to one frame, the possibility of an uncomfortable feeling due to this shift is extremely low, and an effect of improving the contrast feeling by the dimming process and improving the quality by expanding the dynamic range can be expected.
図５に示すように、左目ポイントＰ１とオブジェクトＭ１とを結ぶ仮想直線ＳＬ１、及び、右目ポイントＰ２とオブジェクトＭ１とを結ぶ仮想直線ＳＲ１は、オブジェクトＭ１において角度αの視差対応角θ１をもって交わり、また、仮想直線ＳＬ１と基準面との交点ＫＬ１、及び、仮想直線ＳＲ１と基準面との交点ＫＲ１の間には、ギャップＴ１が形成される。
同様に、左目ポイントＰ１とオブジェクトＭ２とを結ぶ仮想直線ＳＬ２、及び、右目ポイントＰ２とオブジェクトＭ２とを結ぶ仮想直線ＳＲ２は、オブジェクトＭ２において角度βの視差対応角θ２をもって交わり、また、仮想直線ＳＬ２と基準面との交点ＫＬ２、及び、仮想直線ＳＲ２と基準面との交点ＫＲ２の間には、ギャップＴ２が形成される。
視差対応角θ１、θ２、及び、ギャップＴ１、Ｔ２は、左目ポイントＰ１と、右目ポイントＰ２との位置的な相違に起因して現出する値であり、仮想空間内におけるオブジェクトの位置がより手前側であればあるほど、当該オブジェクトに係る視差対応角θ、及び、ギャップＴが大きな値となり、逆に、仮想空間内におけるオブジェクトの位置がより奥側であればあるほど、当該オブジェクトに係る視差対応角θ、及び、ギャップＴがより小さな値となる。
As shown in FIG. 5, a virtual straight line SL1 connecting the left eye point P1 and the object M1 and a virtual straight line SR1 connecting the right eye point P2 and the object M1 intersect with each other at a parallax corresponding angle θ1 of the angle α in the object M1. A gap T1 is formed between the intersection KL1 between the virtual straight line SL1 and the reference plane and the intersection KR1 between the virtual straight line SR1 and the reference plane.
Similarly, a virtual straight line SL2 connecting the left eye point P1 and the object M2 and a virtual straight line SR2 connecting the right eye point P2 and the object M2 intersect with each other at the parallax corresponding angle θ2 of the angle β in the object M2, and the virtual straight line SL2 A gap T2 is formed between the intersection KL2 between the reference plane and the intersection KR2 between the virtual straight line SR2 and the reference plane.
The parallax correspondence angles θ1 and θ2 and the gaps T1 and T2 are values that appear due to the positional difference between the left eye point P1 and the right eye point P2, and the position of the object in the virtual space is closer to the front. The closer to the side, the larger the parallax-corresponding angle θ 1 and the gap T related to the object, and conversely, the closer the position of the object in the virtual space is to the far side, the disparity related to the object The corresponding angle θ 1 and the gap T are smaller values.
そして、本実施形態では、これら視差対応角θや、ギャップＴを概念的に表したものが「視差」に相当する。すなわち、本実施形態における視差とは、左目ポイントＰ１と右目ポイントＰ２との位置的な相違に起因して、仮想空間内において手前にあるオブジェクトほど相対的に大きく、一方、奥にあるオブジェクトほど相対的に小さくなる値を概念的に示す値である。
従って、以下の説明において、例えば、右目画像データに含まれる１のオブジェクトに係る画像と、他のオブジェクトに係る画像について、「１のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも視差が大きい」と表現する場合、合成立体画像における仮想空間内で、１のオブジェクトの方が、他のオブジェクトよりも手前側に配置されていることを意味し、かつ、合成立体画像において、１のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも手前に存在するように表現されることを意味する。
視差の大きさは、右目用画像データ、及び、左目用画像データに、以下のように反映される。
In the present embodiment, the parallax-corresponding angle θ and the conceptual representation of the gap T correspond to “parallax”. That is, the parallax in the present embodiment is relatively larger as the object located in the front in the virtual space due to the positional difference between the left eye point P1 and the right eye point P2, while the object located in the back is relatively larger. It is a value that conceptually indicates a value that becomes smaller.
Therefore, in the following description, for example, for an image related to one object and an image related to another object included in the right-eye image data, “the image related to one object is more than the image related to the other object. When the expression “parallax is large”, it means that one object is arranged in front of other objects in the virtual space in the composite stereoscopic image, and in the composite stereoscopic image, 1 This means that the image related to the object is expressed so as to exist in front of the image related to the other object.
The magnitude of the parallax is reflected in the right-eye image data and the left-eye image data as follows.
以上説明したように、本実施形態では、輝度伸張処理部５０は、輝度伸張処理の対象となる画像データの基準領域３００のそれぞれについて、同程度の視差値を有する基準領域３００の頻度を検出し、より頻度が高い基準領域３００ほど、よりその値が高くなるように輝度伸張率を補正した上で、各基準領域３００に対応する画像データに輝度伸張処理を施す。
これによれば、上述したように、より手前側に存在するように表現されるオブジェクトに係る画像の画像データに対して、より高い輝度伸張率を有する伸張係数に基づいて輝度伸張処理を施すことが可能となり、輝度伸張処理部により視差を踏まえた効果的な輝度伸張処理を施すことが可能となる。
As described above, in this embodiment, the luminance expansion processing unit 50 detects the frequency of the reference region 300 having the same degree of parallax value for each of the reference regions 300 of the image data to be subjected to the luminance expansion processing. The luminance expansion rate is corrected so that the higher the frequency of the reference region 300 is, the higher the value is, and the luminance expansion processing is performed on the image data corresponding to each reference region 300.
According to this, as described above, the luminance expansion processing is performed on the image data of the image related to the object expressed so as to exist on the near side based on the expansion coefficient having a higher luminance expansion ratio. Thus, the luminance expansion processing unit can perform effective luminance expansion processing based on parallax.