JP2012156788A - Depth estimation data generation device, depth estimation data generation program, and pseudo stereoscopic image display device - Google Patents

Depth estimation data generation device, depth estimation data generation program, and pseudo stereoscopic image display device Download PDF

Info

Publication number
JP2012156788A
JP2012156788A JP2011014087A JP2011014087A JP2012156788A JP 2012156788 A JP2012156788 A JP 2012156788A JP 2011014087 A JP2011014087 A JP 2011014087A JP 2011014087 A JP2011014087 A JP 2011014087A JP 2012156788 A JP2012156788 A JP 2012156788A
Authority
JP
Japan
Prior art keywords
value
luminance signal
depth estimation
estimation data
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011014087A
Other languages
Japanese (ja)
Other versions
JP5500092B2 (en
Inventor
Shingo Kida
晋吾 木田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011014087A priority Critical patent/JP5500092B2/en
Publication of JP2012156788A publication Critical patent/JP2012156788A/en
Application granted granted Critical
Publication of JP5500092B2 publication Critical patent/JP5500092B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a depth estimation data generation device capable of obtaining a sufficient stereoscopic effect in every scene from a monotone image to a vivid image.SOLUTION: A depth estimation data generation device comprises: a saturation average value generation unit 12 that generates saturation average value data from color difference signal components; a luminance signal change value calculation unit 132 that calculates a difference between a luminance signal component and a predetermined value to calculate a luminance signal change value; an RB composite value calculation unit 133 that calculates an RB composite value obtained by performing composition so that an R component is positioned in front of a pseudo stereoscopic image and a B component is positioned behind the pseudo stereoscopic image; a gain generation unit 134 that generates a luminance signal gain for correcting the luminance signal change value and an RB gain for correcting the RB composite value based on the saturation average value data; and a depth estimation data calculation unit 135 that combines a calculation result of the luminance signal change value and the luminance signal gain and a calculation result of the RB composite value and the RB gain to calculate depth estimation data.

Description

本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像(非立体画像)から擬似的な立体画像を生成するための奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に関する。   The present invention is for generating a pseudo three-dimensional image from a normal still image or moving image, that is, an image (non-stereo image) in which depth information is not given explicitly or implicitly such as a stereo image. The present invention relates to a depth estimation data generation device, a depth estimation data generation program, and a pseudo stereoscopic image display device.

立体表示システムでは、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像(非立体画像)から、擬似的な立体化画像を生成する処理が行われている。   In a stereoscopic display system, in order to enable viewing of a non-stereo image by pseudo-stereoscopic view, a normal still image or moving image, that is, depth information for representing a stereoscopic image is expressed explicitly or implicitly like a stereo image. Also, a process of generating a pseudo three-dimensional image from an image (non-stereo image) that has not been given is performed.

このような技術の一例として、例えば特許文献1に開示された擬似立体画像生成装置がある。特許文献1の擬似立体画像生成装置では、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを用意しておき、上部及び下部の高域成分評価部からの高域成分評価値に応じて合成比率を決定し、この合成比率に応じて複数の基本奥行きモデルを合成する。そして、合成した基本奥行きモデルと非立体画像のR信号とを加算器で重畳して最終的な奥行き推定データを生成し、この奥行き推定データをもとにした処理を非立体画像に施すことで、立体感を感じさせる別視点画像を生成している。   As an example of such a technique, there is a pseudo-stereoscopic image generation apparatus disclosed in Patent Document 1, for example. In the pseudo-stereoscopic image generation device of Patent Document 1, in order to determine a scene structure that is as close to reality as possible, a plurality of basic depth models that indicate depth values for each of a plurality of basic scene structures are prepared, A synthesis ratio is determined according to the high-frequency component evaluation values from the upper and lower high-frequency component evaluation units, and a plurality of basic depth models are synthesized according to the synthesis ratio. Then, the synthesized basic depth model and the R signal of the non-stereo image are superimposed by an adder to generate final depth estimation data, and processing based on this depth estimation data is performed on the non-stereo image. Another viewpoint image that gives a three-dimensional feeling is generated.

特開2006−185033号公報JP 2006-185033 A

しかしながら、上述した特許文献1に開示された手法では、基本奥行きモデルに重畳する信号についてR信号だけでなく、B信号でもよく、R信号とB信号を併用した信号でも良いとしている。ところが、この手法は重畳する信号を選択する方式であるため、例えばR信号とB信号を併用した場合には、暖色や寒色が多く含まれている色鮮やかな画像であれば立体効果を大きく出せるが、モノトーン画像の場合には立体効果が小さくなってしまうという問題点があった。したがって、特許文献1に開示された手法では、すべてのシーンに対して十分な立体効果を得られるわけではないという課題があった。   However, in the method disclosed in Patent Document 1 described above, the signal to be superimposed on the basic depth model is not limited to the R signal, but may be a B signal or a signal using both the R signal and the B signal. However, since this method is a method of selecting a signal to be superimposed, for example, when the R signal and the B signal are used in combination, if the image is a colorful image containing a lot of warm colors and cold colors, the stereoscopic effect can be greatly produced. However, in the case of a monotone image, there is a problem that the stereoscopic effect is reduced. Therefore, the technique disclosed in Patent Document 1 has a problem that a sufficient stereoscopic effect cannot be obtained for all scenes.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることのできる奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置を提供することを目的とする。  Therefore, the present invention has been proposed in view of the above-described circumstances, and a depth estimation data generation apparatus and depth estimation data that can obtain a sufficient stereoscopic effect for any scene from a monotone image to a colorful image. It is an object to provide a generation program and a pseudo stereoscopic image display device.

上記した目的を達成するために、本発明に係る奥行き推定データ生成装置は、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、前記入力映像信号のR成分が前記擬似立体画像の手前側に、前記入力映像信号のB成分が前記擬似立体画像の奥側になるように合成したRB合成値を算出するRB合成値算出部と、前記輝度信号変更値を補正するための輝度信号ゲインと前記RB合成値を補正するためのRBゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記RB合成値と前記RBゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部とを備えていることを特徴とする。   In order to achieve the above-described object, the depth estimation data generation device according to the present invention calculates saturation from a color difference signal component of an input video signal, generates an average value of the saturation, and generates saturation average value data. A saturation average value generation unit that calculates a difference between a luminance signal component of the input video signal and a predetermined value that is set in advance, and calculates a luminance signal change value; and An RB composite value calculating unit that calculates an RB composite value so that an R component is on the near side of the pseudo stereoscopic image and a B component of the input video signal is on the deep side of the pseudo stereoscopic image; and the luminance signal change A gain generation unit that generates a luminance signal gain for correcting the value and an RB gain for correcting the RB composite value based on the saturation average value data; the luminance signal change value; and the luminance signal gain; The calculation result and A depth estimation data calculation unit configured to calculate depth estimation data for generating a signal indicating a pseudo-stereoscopic image from the input video signal by synthesizing a calculation result of the B synthesis value and the RB gain; It is characterized by.

また、本発明に係る奥行き推定データ生成プログラムは、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、前記入力映像信号のR成分が前記擬似立体画像の手前側に、前記入力映像信号のB成分が前記擬似立体画像の奥側になるように合成したRB合成値を算出するRB合成値算出ステップと、前記輝度信号変更値を補正するための輝度信号ゲインと前記RB合成値を補正するためのRBゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記RB合成値と前記RBゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップとをコンピュータに実行させることを特徴とする。   The depth estimation data generation program according to the present invention calculates a saturation from a color difference signal component of an input video signal, obtains an average value of the saturation, and generates a saturation average value data. A luminance signal change value calculation step of calculating a luminance signal change value by obtaining a difference between a luminance signal component of the input video signal and a predetermined value set in advance; and an R component of the input video signal is the pseudo stereoscopic image An RB composite value calculating step for calculating an RB composite value that is combined so that the B component of the input video signal is on the back side of the pseudo-stereoscopic image, and a brightness for correcting the brightness signal change value A gain generation step of generating a signal gain and an RB gain for correcting the RB composite value based on the saturation average value data, and a calculation result of the luminance signal change value and the luminance signal gain A depth estimation data calculation step for calculating depth estimation data for generating a signal indicating a pseudo stereoscopic image from the input video signal by combining the calculation result of the RB synthesis value and the RB gain is executed on a computer. It is characterized by making it.

さらに、本発明に係る擬似立体画像表示装置は、前記奥行き推定データを生成する請求項1に記載の奥行き推定データ生成装置と、前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。   Furthermore, the pseudo stereoscopic image display device according to the present invention generates the depth estimation data using the depth estimation data generation device according to claim 1, the depth estimation data, and the input video signal. A stereo pair generating device for generating another viewpoint image signal for displaying a pseudo-stereoscopic image by shifting the texture of the signal by an amount corresponding to the depth of the corresponding portion, the different viewpoint image signal, and the input video signal, And a stereo display device that displays a pseudo-stereoscopic image using the.

本発明に係る奥行き推定データ生成装置及び奥行き推定データ生成プログラムによれば、輝度信号から推定される奥行きとR信号及びB信号から推定される奥行きとを、彩度の平均値に応じて合成して奥行き推定データを生成するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。   According to the depth estimation data generation device and the depth estimation data generation program according to the present invention, the depth estimated from the luminance signal and the depth estimated from the R signal and the B signal are synthesized according to the average value of the saturation. Since depth estimation data is generated, a sufficient stereoscopic effect can be obtained for any scene from a monotone image to a colorful image.

また、本発明に係る擬似立体画像表示装置によれば、輝度信号から推定される奥行きとR信号及びB信号から推定される奥行きとを彩度の平均値に応じて合成し、この合成された奥行き推定データを用いて擬似立体画像を生成して表示するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果のある画像を表示することができる。   Further, according to the pseudo-stereoscopic image display device according to the present invention, the depth estimated from the luminance signal and the depth estimated from the R signal and the B signal are synthesized according to the average value of the saturation, and this synthesized Since the pseudo stereoscopic image is generated and displayed using the depth estimation data, it is possible to display an image having a sufficient stereoscopic effect for any scene from a monotone image to a colorful image.

本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the pseudo-stereoscopic image display apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置の彩度平均値生成部の構成を示すブロック図である。It is a block diagram which shows the structure of the saturation average value generation part of the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置の奥行き推定部の構成を示すブロック図である。It is a block diagram which shows the structure of the depth estimation part of the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置のリーク型積分部の構成を示すブロック図である。It is a block diagram which shows the structure of the leak type | mold integration part of the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置による彩度平均値データの生成処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the production | generation process of the saturation average value data by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the production | generation process of the depth estimation data by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度変更値の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of the luminance change value by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置によるRB合成値の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of the RB synthetic | combination value by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度信号ゲイン及びRBゲインの算出方法を説明するための図である。It is a figure for demonstrating the calculation method of the luminance signal gain and RB gain by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied. 本発明を適用した一実施形態に係る奥行き推定データ生成装置による効果を説明するための図である。It is a figure for demonstrating the effect by the depth estimation data generation apparatus which concerns on one Embodiment to which this invention is applied.

以下、本発明を適用した一実施形態について図面を参照して説明する。図1は本実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。   Hereinafter, an embodiment to which the present invention is applied will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a pseudo stereoscopic image display device according to the present embodiment.

図1に示すように、本実施形態に係る擬似立体画像表示装置は、奥行き推定データ生成装置1と、ステレオペア生成装置2と、ステレオ表示装置3とを備えており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が入力されると、時系列的に連続した複数の画像で構成されている非立体画像から左目画像信号と右目画像信号とを生成し、ステレオ表示装置3で左目画像信号と右目画像信号とを用いて擬似立体画像を表示するように構成されている。   As shown in FIG. 1, the pseudo-stereoscopic image display device according to the present embodiment includes a depth estimation data generation device 1, a stereo pair generation device 2, and a stereo display device 3, and the depth information is explicitly shown. When a non-stereo image that is not given implicitly, such as a stereo image, is input, a left-eye image signal and a right-eye image signal are generated from the non-stereo image composed of a plurality of time-sequential images. And a pseudo stereoscopic image is displayed on the stereo display device 3 using the left eye image signal and the right eye image signal.

以下、擬似立体画像表示装置を構成する奥行き推定データ生成装置1とステレオペア生成装置2とステレオ表示装置3の各装置について説明する。   Hereinafter, each of the depth estimation data generation device 1, the stereo pair generation device 2, and the stereo display device 3 constituting the pseudo stereoscopic image display device will be described.

[奥行き推定データ生成装置の構成]
図1に示すように、本実施形態に係る奥行き推定データ生成装置1は、入力されたRGB信号を輝度信号と色差信号に変換するマトリクス変換部11と、入力映像信号の色差信号成分から彩度を算出して彩度平均値データを生成する彩度平均値生成部12と、奥行き推定データを生成する奥行き推定部13とを備えている。奥行き推定データは、奥行き情報が与えられていない画像(非立体画像ともいう)から擬似立体画像を生成するためのデータである。
[Configuration of depth estimation data generator]
As shown in FIG. 1, a depth estimation data generation apparatus 1 according to the present embodiment includes a matrix conversion unit 11 that converts an input RGB signal into a luminance signal and a color difference signal, and chroma from the color difference signal component of the input video signal. And a saturation average value generation unit 12 that generates saturation average value data and a depth estimation unit 13 that generates depth estimation data. The depth estimation data is data for generating a pseudo three-dimensional image from an image to which depth information is not given (also referred to as a non-stereo image).

ここで、図2を参照して彩度平均値生成部12の構成を説明する。図2に示すように、彩度平均値生成部12は、色差信号B−Y、R−Yから各画素の彩度(VC)を算出する彩度算出部121と、画素毎に算出された彩度の値を積算して1フレームの彩度積算値(VC_total)を算出する積算部122と、彩度積算値(VC_total)を1フレームの総画素数で除算して彩度の平均値(VC_ave)を算出する正規化部123と、算出された彩度の平均値(VC_ave)を保持するレジスタ124とを備えている。尚、本実施形態では1フィールド又は1フレーム毎に彩度平均値データを生成しているが、複数フィールド又は複数フレーム毎に彩度平均値データを生成してもよく、画面の所定単位(時間単位)毎に彩度平均値データを生成すればよい。ただし、1フィールド又は1フレーム毎に彩度平均値データを生成することが望ましい。   Here, the configuration of the saturation average value generation unit 12 will be described with reference to FIG. As shown in FIG. 2, the saturation average value generation unit 12 is calculated for each pixel, and a saturation calculation unit 121 that calculates the saturation (VC) of each pixel from the color difference signals BY and RY. An integration unit 122 that integrates the saturation values to calculate a saturation integrated value (VC_total) for one frame, and an average value of saturations by dividing the saturation integrated value (VC_total) by the total number of pixels in one frame ( VC_ave) and a register 124 that holds the calculated average value of saturation (VC_ave). In this embodiment, the saturation average value data is generated for each field or frame. However, the saturation average value data may be generated for a plurality of fields or a plurality of frames. Saturation average value data may be generated for each unit. However, it is desirable to generate saturation average value data for each field or frame.

次に、図3を参照して奥行き推定部13の構成を説明する。図3に示すように、奥行き推定部13は、彩度平均値データにリーク型積分処理を行うリーク型積分部131と、輝度信号Yと予め設定された所定値との差分を求めて輝度信号変更値(Y_out)を算出する輝度信号変更値算出部132と、R信号が擬似立体画像の手前側に、B信号が擬似立体画像の奥側になるように合成したRB合成値(RB_out)を算出するRB合成値算出部133と、輝度信号変更値(Y_out)を補正するための輝度信号ゲインGyとRB合成値(RB_out)を補正するためのRBゲインGrbとを彩度平均値データ(VC_ave_out)に基づいて生成するゲイン生成部134と、輝度信号変更値(Y_out)と輝度信号ゲインGyとの演算結果とRB合成値(RB_out)とRBゲインGrbとの演算結果とを合成して奥行き推定データを算出する奥行き推定データ算出部135とを備えている。   Next, the configuration of the depth estimation unit 13 will be described with reference to FIG. As shown in FIG. 3, the depth estimation unit 13 obtains a difference between a luminance type signal 131 and a predetermined value set in advance by using a leakage type integration unit 131 that performs a leakage type integration process on the saturation average value data. A luminance signal change value calculation unit 132 that calculates a change value (Y_out) and an RB composite value (RB_out) that is synthesized so that the R signal is on the near side of the pseudo stereoscopic image and the B signal is on the far side of the pseudo stereoscopic image. Saturation average value data (VC_ave_out) is calculated from the RB composite value calculation unit 133 to be calculated, the luminance signal gain Gy for correcting the luminance signal change value (Y_out), and the RB gain Grb for correcting the RB composite value (RB_out). ) Based on the gain generation unit 134, the calculation result of the luminance signal change value (Y_out) and the luminance signal gain Gy, the calculation result of the RB composite value (RB_out) and the RB gain Grb, and the depth estimation. Day And a depth estimation data calculating unit 135 for calculating a.

ここで、図4を参照してリーク型積分部131の回路構成を説明する。図4に示すように、リーク型積分部131は、加算器41と、レジスタ42と、乗算器43、44とを備えている。そして、彩度平均値データ(VC_ave)が入力されると、時間方向にリーク型の積分処理を実行する。このリーク型積分処理については後述する。   Here, the circuit configuration of the leaky integrator 131 will be described with reference to FIG. As shown in FIG. 4, the leaky integration unit 131 includes an adder 41, a register 42, and multipliers 43 and 44. When the saturation average value data (VC_ave) is input, leak type integration processing is executed in the time direction. The leak type integration process will be described later.

[彩度平均値データの生成処理の手順]
次に、本実施形態に係る奥行き推定データ生成装置1による彩度平均値データの生成処理の手順を図5のフローチャートを参照して説明する。
[Procedure for generating saturation value data]
Next, the procedure of the saturation average value data generation process by the depth estimation data generation apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.

図5に示すように、ステップS101において、まず入力された映像信号(RGB)を式(1)によってマトリクス変換部11が輝度信号Yと色差信号U(B−Y)、V(R−Y)に変換する。   As shown in FIG. 5, in step S101, the matrix conversion unit 11 first converts the input video signal (RGB) into the luminance signal Y and the color difference signals U (BY) and V (RY) according to the equation (1). Convert to

Y = 0.299×R + 0.587×G + 0.114×B
U = −0.169×R −0.331×G + 0.500×B (1)
V = 0.500×R − 0.419×G − 0.081×B
変換後の色差信号B−Y、R−Yは彩度平均値生成部12に供給され、輝度信号Yは奥行き推定部13に供給される。
Y = 0.299 × R + 0.587 × G + 0.114 × B
U = −0.169 × R −0.331 × G + 0.500 × B (1)
V = 0.500 × R − 0.419 × G − 0.081 × B
The converted color difference signals BY and RY are supplied to the saturation average value generation unit 12, and the luminance signal Y is supplied to the depth estimation unit 13.

次に、ステップS102において、彩度平均値生成部12に色差信号R−Y、B−Yが入力されると、式(2)に示す計算式によって各画素の彩度(VC)を算出する。
Next, in step S102, when the color difference signals RY and BY are input to the saturation average value generation unit 12, the saturation (VC) of each pixel is calculated by the calculation formula shown in Expression (2). .

画素毎に彩度(VC)が算出されると、彩度平均値生成部12はステップS103では算出された彩度の値を積算していき、1フレーム分の彩度の積算値(VC_total)を算出する。そして、ステップS104では算出した彩度の積算値を1フレームの総画素数で除算し、彩度の平均値(VC_ave)を算出する。   When the saturation (VC) is calculated for each pixel, the saturation average value generation unit 12 integrates the calculated saturation values in step S103, and the integrated value of saturation for one frame (VC_total). Is calculated. In step S104, the calculated integrated value of saturation is divided by the total number of pixels in one frame to calculate an average value of saturation (VC_ave).

VC_ave = VC_total / 総画素数 (3)
こうして1フレーム毎に彩度の平均値(VC_ave)が生成されると、レジスタ124で保持してから奥行き推定部13へ彩度平均値データとして供給し、本実施形態に係る奥行き推定データ生成装置1による彩度平均値データの生成処理は終了する。
VC_ave = VC_total / total number of pixels (3)
When the saturation average value (VC_ave) is generated for each frame in this manner, the saturation value is stored in the register 124 and then supplied to the depth estimation unit 13 as saturation average value data. The depth estimation data generation device according to the present embodiment The generation processing of the saturation average value data by 1 ends.

[奥行き推定データの生成処理の手順]
次に、本実施形態に係る奥行き推定データ生成装置1による奥行き推定データの生成処理の手順を図6のフローチャートを参照して説明する。
[Depth estimation data generation processing procedure]
Next, a procedure of depth estimation data generation processing by the depth estimation data generation apparatus 1 according to this embodiment will be described with reference to the flowchart of FIG.

図6に示すように、ステップS201において、彩度平均値生成部12から供給された彩度平均値データ(VC_ave)に対してリーク型積分部131でリーク型積分処理を行い、リーク型積分後の彩度平均値データ(VC_ave_out)を出力する。   As shown in FIG. 6, in step S201, the leak type integration unit 131 performs leak type integration processing on the saturation average value data (VC_ave) supplied from the saturation average value generation unit 12, and after leak type integration is performed. The saturation average value data (VC_ave_out) is output.

ここで、図4を参照してリーク型積分処理を説明する。図4に示すように、入力データとしてVC_ave_inが入力されると、レジスタ42から出力されたデータに乗算器43で15/16が乗算され、その値が加算器41で入力データに加算される。この加算された結果はレジスタ42に格納され、次のVC_ave_inが入力された際に同様に利用される。次に、レジスタ42から出力されたデータは乗算器44で1/16が乗算されて最終的な出力データであるVC_ave_outが出力される。このように、リーク型積分部131でリーク型積分処理を行うことによって、画像を緩やかに変化させてより自然な画質を提供することができる。   Here, the leakage type integration process will be described with reference to FIG. As shown in FIG. 4, when VC_ave_in is input as input data, the data output from the register 42 is multiplied by 15/16 by the multiplier 43, and the value is added to the input data by the adder 41. The added result is stored in the register 42 and used in the same manner when the next VC_ave_in is input. Next, the data output from the register 42 is multiplied by 1/16 by the multiplier 44 and the final output data VC_ave_out is output. In this way, by performing leak type integration processing in the leak type integration unit 131, it is possible to provide a more natural image quality by gradually changing the image.

次に、ステップS202では、マトリクス変換部11から供給された輝度信号Yと予め設定された所定値との差分を求めて輝度信号変更値(Y_out)を算出する。ここで、図7を参照して輝度信号変更値を算出する処理を説明する。図7に示すように、図7の横軸は入力の輝度信号Y(0〜255)であり、縦軸は出力される輝度信号変更値(Y_out)である。本実施形態では、式(4)に示す計算式によって輝度信号Yから128を減算している。   Next, in step S202, a difference between the luminance signal Y supplied from the matrix converter 11 and a predetermined value set in advance is obtained to calculate a luminance signal change value (Y_out). Here, the process of calculating the luminance signal change value will be described with reference to FIG. As shown in FIG. 7, the horizontal axis in FIG. 7 is the input luminance signal Y (0 to 255), and the vertical axis is the output luminance signal change value (Y_out). In the present embodiment, 128 is subtracted from the luminance signal Y by the calculation formula shown in Formula (4).

Y_out = Y − 128 (4)
このように輝度信号Yから所定値を減算する理由は、下記の2つの特徴を実現するためである。
Y_out = Y-128 (4)
The reason why the predetermined value is subtracted from the luminance signal Y is to realize the following two features.

1)白色は膨張色であり、黒色よりも奥行きが手前に認識される特徴を有する。 1) White is an expanded color, and has a feature that depth is recognized in front of black.

2)黒色は収縮色であり、白色よりも奥行きが奥に認識される特徴を有する。 2) Black is a contraction color and has a feature that the depth is recognized deeper than white.

すなわち、輝度信号Yから128を減算することによって黒色はマイナスの値になるので、擬似立体画像では奥側に配置され、白色はプラスの値になるので、擬似立体画像では手前側に配置される。したがって、輝度変更値(Y_out)を算出することによって、上記した2つの特徴を実現することができる。ただし、本実施形態では輝度信号Yに対して減算する処理を行っているが、G信号に対して処理を行うようにしてもよい。   That is, by subtracting 128 from the luminance signal Y, black becomes a negative value, so that it is arranged on the back side in the pseudo-stereoscopic image and white is a positive value, so it is arranged on the near side in the pseudo-stereoscopic image. . Therefore, the above two features can be realized by calculating the luminance change value (Y_out). However, in this embodiment, the subtraction process is performed on the luminance signal Y, but the process may be performed on the G signal.

次に、ステップS203では入力された映像信号のうちR信号とB信号に対して、R信号が擬似立体画像の手前側に、B信号が擬似立体画像の奥側になるように合成してRB合成値を算出する。ここで、図8を参照してRB合成値算出部133のRB合成値の算出処理を説明する。図8に示すように、X軸は入力されるB信号(0〜255)であり、Y軸は入力されるR信号(0〜255)であり、Z軸は式(5)に示す計算式によって算出されるRB_rateを示している。   Next, in step S203, the R and B signals of the input video signal are combined so that the R signal is on the near side of the pseudo stereoscopic image and the B signal is on the far side of the pseudo stereoscopic image. The composite value is calculated. Here, the calculation process of the RB composite value of the RB composite value calculation unit 133 will be described with reference to FIG. As shown in FIG. 8, the X axis is an input B signal (0 to 255), the Y axis is an input R signal (0 to 255), and the Z axis is a calculation formula shown in Expression (5). RB_rate calculated by the following.

RB_rate = ( 0.5 × R ) + { 0.5 × (255 − B) } (5)
さらに、式(6)に示す計算式によってRB_rateからRB合成値(RB_out)を算出する。
RB_rate = (0.5 × R) + {0.5 × (255−B)} (5)
Further, the RB composite value (RB_out) is calculated from RB_rate by the calculation formula shown in Formula (6).

RB_out = RB_rate − 128 (6)
このようにしてRB合成値(RB_out)を算出することにより、赤の強い部分を擬似立体画像の手前側に、青の強い部分を擬似立体画像の奥側に配置することができる。また、黒色や白色(グレースケール)の出力値は0となるので、奥行きは変化しない。したがって、モノトーン画像では立体効果は得られない。
RB_out = RB_rate-128 (6)
By calculating the RB composite value (RB_out) in this way, it is possible to arrange a strong red portion on the near side of the pseudo stereoscopic image and a strong blue portion on the far side of the pseudo stereoscopic image. Further, since the output values of black and white (gray scale) are 0, the depth does not change. Therefore, a stereoscopic effect cannot be obtained with a monotone image.

このようにRB合成値を算出する理由は以下に示す3つの特徴のためである。   The reason for calculating the RB composite value in this way is because of the following three features.

1)R信号が強い部分を手前側に配置する理由は、順光に近い環境で、尚且つテクスチャの明度が大きく異ならないような条件において、R信号の大きさは被写体の凹凸と一致する確率が高いという経験則があるためである。 1) The reason why the portion where the R signal is strong is arranged on the near side is that the probability that the magnitude of the R signal matches the unevenness of the subject in an environment close to direct light and under the condition that the brightness of the texture does not vary greatly. This is because there is a rule of thumb that is high.

2)B信号が強い部分を奥側に配置する理由は、光線の散乱によって遠くにあるもの程、青寄りに見えるという物理法則の一般論(空気遠近法)があるためである。 2) The reason why the portion where the B signal is strong is arranged on the back side is that there is a general theory of the physical law (air perspective method) that the farther away due to the scattering of light rays, the closer it is to appear blue.

3)暖色系は色彩学における前進色であり、寒色系(後退色)よりも奥行きが手前に認識されるという特徴があり、寒色系(後退色)は暖色系よりも奥行きが奥側に認識されるという特徴がある。 3) The warm color system is a forward color in chromatics, and has the feature that the depth is recognized in front of the cold color system (backward color). The cold color system (backward color) is recognized deeper than the warm color system. There is a feature that is.

したがって、RB合成値を算出することにより、これら3つの特徴によって擬似立体画像に立体効果を与えることができる。   Therefore, by calculating the RB composite value, it is possible to give a stereoscopic effect to the pseudo stereoscopic image by these three features.

次に、ステップS204において、輝度信号変更値(Y_out)を補正するための輝度信号ゲインGyとRB合成値(RB_out)を補正するためのRBゲインGrbとを彩度平均値データ(VC_ave_out)に基づいて生成する。   Next, in step S204, the luminance signal gain Gy for correcting the luminance signal change value (Y_out) and the RB gain Grb for correcting the RB composite value (RB_out) are based on the saturation average value data (VC_ave_out). To generate.

ここで、ゲイン生成部134における輝度信号ゲインGyとRBゲインGrbの生成方法を、図9を参照して説明する。図9(A)は輝度信号ゲインGyの生成方法を説明するための図であり、図9(B)はRBゲインGrbの生成方法を説明するための図である。   Here, a method of generating the luminance signal gain Gy and the RB gain Grb in the gain generation unit 134 will be described with reference to FIG. FIG. 9A is a diagram for explaining a method for generating the luminance signal gain Gy, and FIG. 9B is a diagram for explaining a method for generating the RB gain Grb.

図9(A)に示すように、横軸は彩度平均値(VC_ave_out)、縦軸は輝度信号ゲインGyを表しており、彩度平均値(VC_ave_out)が大きくなるにつれて輝度信号ゲインGyが小さくなるような特性を持たせている。   As shown in FIG. 9A, the horizontal axis represents the saturation average value (VC_ave_out), and the vertical axis represents the luminance signal gain Gy. As the saturation average value (VC_ave_out) increases, the luminance signal gain Gy decreases. It has the characteristic which becomes.

一方、図9(B)では横軸が彩度平均値(VC_ave_out)、縦軸がRBゲインGrbを表しており、彩度平均値(VC_ave_out)が大きくなるにつれてRBゲインGrbが大きくなるような特性を持たせている。そして、式(7)に示す計算式に基づいて、輝度信号ゲインGyとRBゲインGrbの特性を決定している。   On the other hand, in FIG. 9B, the horizontal axis represents the saturation average value (VC_ave_out) and the vertical axis represents the RB gain Grb, and the characteristic that the RB gain Grb increases as the saturation average value (VC_ave_out) increases. Is given. Then, the characteristics of the luminance signal gain Gy and the RB gain Grb are determined based on the calculation formula shown in Expression (7).

Gy + Grb = 1.0 (7)
但し、これはあくまで一例でありゲイン特性は式(7)に限定されるものではない。
Gy + Grb = 1.0 (7)
However, this is merely an example, and the gain characteristic is not limited to the equation (7).

こうして輝度信号ゲインGyとRBゲインGrbが決定すると、次にステップS205において、式(8)に示す計算式によって奥行き推定データ(Depth)を算出する。   When the luminance signal gain Gy and the RB gain Grb are determined in this way, next, in step S205, depth estimation data (Depth) is calculated by the calculation formula shown in formula (8).

Depth = ( Y_out × Gy ) + ( RB_out × Grb) (8)
この奥行き推定データ(Depth)では、輝度信号変更値(Y_out)に輝度信号ゲインGyを乗算し、RB合成値(RB_out)にRBゲインGrbを乗算してから、それぞれを加算している。
Depth = (Y_out x Gy) + (RB_out x Grb) (8)
In this depth estimation data (Depth), the luminance signal change value (Y_out) is multiplied by the luminance signal gain Gy, the RB composite value (RB_out) is multiplied by the RB gain Grb, and then added.

ここで、輝度信号ゲインGyとRBゲインGrbは彩度平均値データ(VC_ave_out)に基づいて生成されているので、式(8)の奥行き推定データでは、輝度信号(Y)から推定される奥行き推定データと色信号(R、B)から推定される奥行き推定データとの合成比率が、彩度平均値データ(VC_ave_out)に基づいて決定されている。   Here, since the luminance signal gain Gy and the RB gain Grb are generated based on the saturation average value data (VC_ave_out), in the depth estimation data of Expression (8), the depth estimation estimated from the luminance signal (Y). A synthesis ratio between the data and the depth estimation data estimated from the color signals (R, B) is determined based on the saturation average value data (VC_ave_out).

こうして奥行き推定データが生成されると、本実施形態に係る奥行き推定データ生成装置1による奥行き推定データの生成処理は終了する。   When the depth estimation data is generated in this way, the depth estimation data generation processing by the depth estimation data generation apparatus 1 according to the present embodiment ends.

[奥行き推定データ生成装置の効果]
次に、本実施形態に係る奥行き推定データ生成装置の効果について、図10を参照して説明する。
[Effect of depth estimation data generator]
Next, the effect of the depth estimation data generation device according to the present embodiment will be described with reference to FIG.

図10に示すように、入力画像として図10(a)に示すような空(モノトーン)の画像が入力された場合について説明する。この入力画像の輝度のレベルと画素の出現頻度との間の関係を示すと、図10(b)に示すようになり、中間輝度領域に画像が分布していることが分かる。   As shown in FIG. 10, a case where a sky (monotone) image as shown in FIG. 10A is input as an input image will be described. FIG. 10B shows the relationship between the luminance level of the input image and the appearance frequency of the pixels, and it can be seen that the image is distributed in the intermediate luminance region.

ここで、従来の処理を施したシフト量画像を図10(c)に示す。このシフト量画像はグレースケールで表現したものであり、黒〜白を256ステップで表示して黒側は奥行き(凹)方向へ移動し、白側は飛出し(凸)方向へ移動したものとする。図10(d)は横軸をシフト量、縦軸を画素頻度として表したものであり、シフト量は128に集中している。すなわち視差0となっており、図10(c)に示すようにフラットな立体効果の得られない出力画像となっている。   Here, a shift amount image subjected to the conventional processing is shown in FIG. This shift amount image is expressed in gray scale, black to white is displayed in 256 steps, the black side is moved in the depth (concave) direction, and the white side is moved in the protruding (convex) direction. To do. FIG. 10D shows the shift amount on the horizontal axis and the pixel frequency on the vertical axis, and the shift amount is concentrated at 128. That is, the parallax is 0, and as shown in FIG. 10C, the output image is a flat stereoscopic effect that cannot be obtained.

一方、図10(e)に示す本発明による処理を施したシフト量画像では、画像の彩度平均値を検出して輝度信号変更値とRB合成値との合成比率を決定している。したがって、図10(e)の画像ではモノトーンの画像なので彩度平均値が0になり、輝度信号ゲインGy=1、RBゲインGrb=0となって輝度信号から推定された奥行き値の比率が100%となる奥行き推定データを自動で生成することができる。これにより図10(f)に示す広い分布からも分かるように、濃淡の差が大きい、すなわち視差が大きくて十分な立体効果を有する出力画像を生成することが可能となる。   On the other hand, in the shift amount image subjected to the processing according to the present invention shown in FIG. 10E, the saturation average value of the image is detected to determine the combination ratio of the luminance signal change value and the RB combination value. Therefore, since the image of FIG. 10E is a monotone image, the saturation average value is 0, the luminance signal gain Gy = 1, and the RB gain Grb = 0, and the ratio of the depth value estimated from the luminance signal is 100. % Depth estimation data can be automatically generated. As a result, as can be seen from the wide distribution shown in FIG. 10F, it is possible to generate an output image having a large difference in shading, that is, a large parallax and a sufficient stereoscopic effect.

このように従来ではモノトーン画像に対して立体効果を得ることはできなかったが、本実施形態に係る奥行き推定データ生成装置1によれば、モノトーン画像であっても十分な立体効果を得ることができ、これによってモノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。   As described above, conventionally, a stereoscopic effect cannot be obtained with respect to a monotone image. However, according to the depth estimation data generation device 1 according to the present embodiment, a sufficient stereoscopic effect can be obtained even with a monotone image. Thus, a sufficient stereoscopic effect can be obtained for any scene from a monotone image to a colorful image.

[ステレオペア生成装置、ステレオ表示装置の構成]
上述したように奥行き推定データ生成装置1によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。ここで、図1を参照して、本実施形態に係るステレオペア生成装置2及びステレオ表示装置3の構成を説明する。
[Configuration of Stereo Pair Generation Device and Stereo Display Device]
As described above, when the depth estimation data is generated by the depth estimation data generation device 1, it is possible to generate an image of another viewpoint based on the depth estimation data. Here, with reference to FIG. 1, the structure of the stereo pair production | generation apparatus 2 and the stereo display apparatus 3 which concern on this embodiment is demonstrated.

図1に示すように、ステレオペア生成装置2は、入力される非立体画像の映像信号のテクスチャを奥行き推定データに基づいてシフトするテクスチャシフト部21と、オクルージョンを補償するオクルージョン補償部22と、ポスト処理を行うポスト処理部23と、左目画像信号生成部24と、右目画像信号生成部25とを備えている。   As shown in FIG. 1, the stereo pair generation device 2 includes a texture shift unit 21 that shifts the texture of an input non-stereo image video signal based on depth estimation data, an occlusion compensation unit 22 that compensates for occlusion, A post-processing unit 23 that performs post-processing, a left-eye image signal generation unit 24, and a right-eye image signal generation unit 25 are provided.

そして、ステレオペア生成装置2で生成された左目画像信号と右目画像信号は、ステレオ表示装置3へ入力され、ステレオ表示装置3で擬似的な立体画像として表示される。   Then, the left-eye image signal and the right-eye image signal generated by the stereo pair generation device 2 are input to the stereo display device 3 and displayed as a pseudo stereoscopic image on the stereo display device 3.

[ステレオペア生成装置2の動作の一例]
ステレオペア生成装置2では、奥行き推定データ生成装置1によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側(鼻側)に見えるので、対応部分のテクスチャを内側すなわち右側へ奥行きに応じた量だけ移動する。これに対して、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、対応部分のテクスチャを左側へ奥行きに応じた量だけ移動する。このような処理を施した画像を左目画像とし、入力された非立体画像を右目画像とすることによってステレオペアが構成される。
[Example of operation of stereo pair generation device 2]
The stereo pair generation device 2 generates another viewpoint image based on the depth estimation data generated by the depth estimation data generation device 1 and the input video signal of the non-stereo image. For example, when moving the viewpoint to the left, for objects that are displayed in front of the screen, the closer the object, the closer to the viewer, the inner (nose side) of the image is seen. Just move. On the other hand, as for the object to be displayed at the back of the screen, the closer the object is to the outside of the person viewing the image, the texture of the corresponding part is moved to the left by an amount corresponding to the depth. A stereo pair is configured by using the image subjected to such processing as the left-eye image and the input non-stereo image as the right-eye image.

つまり、図1に示す本実施形態に係るステレオペア生成装置2では、まずテクスチャシフト部21が奥行き推定部13から出力された奥行き推定データに基づいて、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量S画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量S画素分だけ左へシフトする。   That is, in the stereo pair generating apparatus 2 according to the present embodiment shown in FIG. 1, the texture shift unit 21 is firstly based on the depth estimation data output from the depth estimation unit 13, in order from the smallest value, that is, the one located in the back. The texture of the portion of the video signal corresponding to the value is shifted, for example, to the right by the shift amount S pixels indicated by the depth signal. When the depth signal is negative, the shift is made to the left by the shift amount S pixels indicated by the depth signal.

テクスチャシフト部21におけるシフト量Sに基づいた映像信号のテクスチャのシフト動作は、非立体画像のテクスチャのシフトに対応するものである。換言すると、非立体画像の各画素を、奥行き推定データの値であるシフト量Sの値に応じてそれぞれを左右に移動する処理である。   The texture shift operation of the video signal based on the shift amount S in the texture shift unit 21 corresponds to the texture shift of the non-stereo image. In other words, this is a process of moving each pixel of the non-stereoscopic image to the left and right according to the value of the shift amount S that is the value of the depth estimation data.

ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部22が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献(山田邦男,望月研二,相澤清晴,齊藤隆弘:“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5))等に記載された手法で充填する。   Here, there is a case where a portion where no texture exists, that is, an occlusion occurs due to a change in the positional relationship in the image due to the shift. For such a part, the occlusion compensation unit 22 fills the video signal with a video signal around the corresponding part of the video signal, or a known document (Kunio Yamada, Kenji Mochizuki, Kiyoharu Aizawa, Takahiro Saito: “Division by region competition method” Occlusion compensation based on the statistics of the texture of the recorded image ”, the Journal of Emotionology, Vol.56, No.5, pp.863-866 (2002.5)).

オクルージョン補償部22でオクルージョン補償された画像は、ポスト処理部23によって平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部24が左目画像信号として出力する。一方で、右目画像信号生成部25は、入力された映像信号を右目画像信号として出力する。   The image subjected to occlusion compensation by the occlusion compensation unit 22 is subjected to post processing such as smoothing by the post processing unit 23 to reduce noise generated in the previous processing, and the left eye image signal generation unit 24 performs the left eye image generation. Output as a signal. On the other hand, the right eye image signal generation unit 25 outputs the input video signal as a right eye image signal.

このようにして、ステレオペア生成装置2は、奥行き推定データ生成装置1によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして、左目画像信号と右目画像信号とのステレオペアを生成することができる。これらの左目画像信号と右目画像信号はステレオ表示装置3へ出力され、ステレオ表示装置3ではステレオペアによって画面全体として擬似的な立体感を向上させた擬似立体画像を表示することが可能となる。   In this way, the stereo pair generation device 2 uses the depth estimation data generated by the depth estimation data generation device 1 and the input non-stereo image video signal to generate a left-eye image signal and a right-eye image signal. Stereo pairs can be generated. These left-eye image signal and right-eye image signal are output to the stereo display device 3, and the stereo display device 3 can display a pseudo-stereoscopic image with an improved pseudo-stereoscopic effect as a whole screen by a stereo pair.

なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像とするステレオペアを構成してもよい。また、上記処理では、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。   In addition, regarding the stereo pair, a stereo pair in which the left-eye image signal is an original image and the right-eye image signal is a different viewpoint image may be configured by flipping left and right. In the above processing, a stereo pair is formed in which either the right-eye image signal or the left-eye image signal is a video signal, and the other is a different viewpoint image signal that is generated. That is, it is also possible to configure a stereo pair using another viewpoint image signal moved to the right and another viewpoint image signal moved to the left.

[ステレオ表示装置3の動作の一例]
図1に示す本実施形態に係るステレオ表示装置3は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイやステレオ画像の各画像に対応した2台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置2によって生成された左目画像信号と右目画像信号とが入力されてディスプレイ等に擬似立体画像を表示する。
[Example of operation of stereo display device 3]
The stereo display device 3 according to the present embodiment shown in FIG. 1 includes, for example, a projection system using polarized glasses, or a projection system or display system combining time-division display and liquid crystal shutter glasses, a lenticular stereo display, and an anaglyph method. A stereo display, a head-mounted display, and a projector system using two projectors corresponding to each image of a stereo image, and the left eye image signal and the right eye image signal generated by the stereo pair generation device 2 are input to the display or the like A pseudo stereoscopic image is displayed.

なお、上記実施形態の説明では、ステレオペア生成装置2として左目画像信号と右目画像信号の2視点での例を説明したが、本発明はこれに限定されるわけではない。すなわち、2視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。   In the description of the above embodiment, the stereo pair generation device 2 has been described with respect to the two viewpoints of the left-eye image signal and the right-eye image signal, but the present invention is not limited to this. In other words, when displaying on a display device capable of displaying two or more viewpoints, it is of course possible to generate a number of different viewpoint images corresponding to the number of viewpoints.

また、上記のように2視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。本立体表示システムでは音声出力を装備する形態のものを考慮してもよい。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。   In addition, as described above, it is possible to construct a multi-viewpoint stereoscopic image display system using a display device that can display two or more viewpoints. In this stereoscopic display system, a configuration equipped with audio output may be considered. In this case, for image content that does not have audio information, such as still images, an aspect in which an environmental sound suitable for an image is added can be considered.

さらに、本実施形態では、図1に示すように奥行き推定データ生成装置1と、ステレオペア生成装置2と、ステレオ表示装置3とをハードウエアによって構成する場合について説明したが、本発明はハードウエアによって構成されたものに限定されるわけではなく、例えば、CPUと、そのCPUを前述のように動作させるためのコンピュータプログラムのソフトウェアによって奥行き推定データ生成装置1、ステレオペア生成装置2及びステレオ表示装置3の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれるようにしても良い。   Furthermore, in this embodiment, the case where the depth estimation data generation device 1, the stereo pair generation device 2, and the stereo display device 3 are configured by hardware as shown in FIG. 1 has been described. The depth estimation data generation device 1, the stereo pair generation device 2, and the stereo display device are not limited to those configured by, for example, a CPU and software of a computer program for operating the CPU as described above. Of course, the third function may be achieved. In this case, the computer program may be taken into the computer from a recording medium, or may be taken into the computer via a network.

以上、本発明を一実施形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するためのものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。   The present invention has been described above with reference to one embodiment. However, the above embodiment is intended to exemplify an apparatus and method for embodying the technical idea of the present invention, and the technical idea of the present invention. Does not specify the material, shape, structure, arrangement, etc. of the component. The technical idea of the present invention can be variously modified within the scope of the claims.

1 奥行き推定データ生成装置
2 ステレオペア生成装置
3 ステレオ表示装置
11 マトリクス変換部
12 彩度平均値生成部
13 奥行き推定部
21 テクスチャシフト部
22 オクルージョン補償部
23 ポスト処理部
24 左目画像信号生成部
25 右目画像信号生成部
121 彩度算出部
122 積算部
123 正規化部
124 レジスタ
131 リーク型積分部
132 輝度信号変更値算出部
133 RB合成値算出部
134 ゲイン生成部
135 奥行き推定データ算出部
DESCRIPTION OF SYMBOLS 1 Depth estimation data generation apparatus 2 Stereo pair generation apparatus 3 Stereo display apparatus 11 Matrix conversion part 12 Saturation average value generation part 13 Depth estimation part 21 Texture shift part 22 Occlusion compensation part 23 Post processing part 24 Left eye image signal generation part 25 Right eye Image signal generation unit 121 Saturation calculation unit 122 Integration unit 123 Normalization unit 124 Register 131 Leakage type integration unit 132 Luminance signal change value calculation unit 133 RB composite value calculation unit 134 Gain generation unit 135 Depth estimation data calculation unit

Claims (3)

入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、
前記入力映像信号のR成分が前記擬似立体画像の手前側に、前記入力映像信号のB成分が前記擬似立体画像の奥側になるように合成したRB合成値を算出するRB合成値算出部と、
前記輝度信号変更値を補正するための輝度信号ゲインと前記RB合成値を補正するためのRBゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記RB合成値と前記RBゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部と
を備えていることを特徴とする奥行き推定データ生成装置。
A saturation average value generation unit that calculates saturation from the color difference signal component of the input video signal, calculates the average value of the saturation, and generates saturation average value data;
A luminance signal change value calculation unit that calculates a luminance signal change value by calculating a difference between a luminance signal component of the input video signal and a predetermined value set in advance;
An RB composite value calculation unit for calculating an RB composite value so that the R component of the input video signal is on the near side of the pseudo stereoscopic image and the B component of the input video signal is on the back side of the pseudo stereoscopic image; ,
A gain generation unit that generates a luminance signal gain for correcting the luminance signal change value and an RB gain for correcting the RB composite value based on the saturation average value data;
Depth for generating a signal indicating a pseudo stereoscopic image from the input video signal by combining the calculation result of the luminance signal change value and the luminance signal gain and the calculation result of the RB composite value and the RB gain. A depth estimation data generation apparatus comprising: a depth estimation data calculation unit that calculates estimation data.
入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、
前記入力映像信号のR成分が前記擬似立体画像の手前側に、前記入力映像信号のB成分が前記擬似立体画像の奥側になるように合成したRB合成値を算出するRB合成値算出ステップと、
前記輝度信号変更値を補正するための輝度信号ゲインと前記RB合成値を補正するためのRBゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記RB合成値と前記RBゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップと
をコンピュータに実行させることを特徴とする奥行き推定データ生成プログラム。
A saturation average value generation step of calculating saturation from the color difference signal component of the input video signal, obtaining an average value of the saturation and generating saturation average value data;
A luminance signal change value calculation step of calculating a luminance signal change value by obtaining a difference between a luminance signal component of the input video signal and a predetermined value set in advance;
An RB composite value calculating step for calculating an RB composite value so that the R component of the input video signal is on the near side of the pseudo stereoscopic image and the B component of the input video signal is on the back side of the pseudo stereoscopic image; ,
A gain generation step of generating a luminance signal gain for correcting the luminance signal change value and an RB gain for correcting the RB composite value based on the saturation average value data;
Depth for generating a signal indicating a pseudo stereoscopic image from the input video signal by combining the calculation result of the luminance signal change value and the luminance signal gain and the calculation result of the RB composite value and the RB gain. A depth estimation data generation program that causes a computer to execute a depth estimation data calculation step for calculating estimation data.
前記奥行き推定データを生成する請求項1に記載の奥行き推定データ生成装置と、
前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、
前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
The depth estimation data generation device according to claim 1, wherein the depth estimation data is generated.
Using the depth estimation data and the input video signal, a different viewpoint image signal for displaying a pseudo-stereoscopic image is generated by shifting the texture of the input video signal by an amount corresponding to the depth of the corresponding portion. A stereo pair generator,
A pseudo-stereoscopic image display device comprising: a stereo display device that displays a pseudo-stereoscopic image using the different viewpoint image signal and the input video signal.
JP2011014087A 2011-01-26 2011-01-26 Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device Active JP5500092B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011014087A JP5500092B2 (en) 2011-01-26 2011-01-26 Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011014087A JP5500092B2 (en) 2011-01-26 2011-01-26 Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device

Publications (2)

Publication Number Publication Date
JP2012156788A true JP2012156788A (en) 2012-08-16
JP5500092B2 JP5500092B2 (en) 2014-05-21

Family

ID=46838061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011014087A Active JP5500092B2 (en) 2011-01-26 2011-01-26 Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device

Country Status (1)

Country Link
JP (1) JP5500092B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244176A1 (en) * 2021-05-20 2022-11-24 日本電気株式会社 Out-of-stock detection device, out-of-stock detection method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051812A (en) * 1996-08-07 1998-02-20 Sanyo Electric Co Ltd Device and method for converting two-dimensional video into three-dimensional video
JP2006185033A (en) * 2004-12-27 2006-07-13 Victor Co Of Japan Ltd Pseudo three-dimensional image generating device, pseudo three-dimensional image generating program, and pseudo three-dimensional image display system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051812A (en) * 1996-08-07 1998-02-20 Sanyo Electric Co Ltd Device and method for converting two-dimensional video into three-dimensional video
JP2006185033A (en) * 2004-12-27 2006-07-13 Victor Co Of Japan Ltd Pseudo three-dimensional image generating device, pseudo three-dimensional image generating program, and pseudo three-dimensional image display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244176A1 (en) * 2021-05-20 2022-11-24 日本電気株式会社 Out-of-stock detection device, out-of-stock detection method, and program

Also Published As

Publication number Publication date
JP5500092B2 (en) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5402483B2 (en) Pseudo stereoscopic image creation device and pseudo stereoscopic image display system
US9922441B2 (en) Image processing device, image processing method, and program
JP5402504B2 (en) Pseudo stereoscopic image creation device and pseudo stereoscopic image display system
KR101574914B1 (en) Model-based stereoscopic and multiview cross-talk reduction
JP5692051B2 (en) Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program
JP5691965B2 (en) Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program
JP5387781B2 (en) Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, pseudo stereoscopic image signal generation program
JP5304758B2 (en) Multi-viewpoint image creation apparatus, multi-viewpoint image creation method, and multi-viewpoint image display system
JP2006186795A (en) Depth signal generating apparatus, depth signal generating program, pseudo stereoscopic image generating apparatus, and pseudo stereoscopic image generating program
JP4214527B2 (en) Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display system
JP5488482B2 (en) Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device
JP5500092B2 (en) Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device
JP5786807B2 (en) Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device
JP5254297B2 (en) Image processing device
JP5780214B2 (en) Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device
JP5691966B2 (en) Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program
JP2012084961A (en) Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program
JP5459231B2 (en) Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus
JP6028427B2 (en) Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device
JP6056459B2 (en) Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program
JP5888140B2 (en) Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program
JP2006186511A (en) Apparatus and program for generating depth signal and for generating pseudo stereoscopic image
JP2012060381A (en) Depth data generation device, pseudo stereoscopic image signal generation device, depth data generation method, pseudo stereoscopic image signal generation method, depth data generation program, and pseudo stereoscopic image signal generation program
JP2014072640A (en) Depth estimation data generation device, pseudo three-dimensional image generation device, depth estimation data generation method and depth estimation data generation program
JP2013017052A (en) Depth signal generating apparatus, pseudo stereoscopic image generating apparatus, depth signal generating method, and pseudo stereoscopic image generating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R150 Certificate of patent or registration of utility model

Ref document number: 5500092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150