JP2014011470A - Depth information generating device, depth information generating method, depth information generating program, and pseudo three-dimensional image generating device - Google Patents
Depth information generating device, depth information generating method, depth information generating program, and pseudo three-dimensional image generating device Download PDFInfo
- Publication number
- JP2014011470A JP2014011470A JP2012144154A JP2012144154A JP2014011470A JP 2014011470 A JP2014011470 A JP 2014011470A JP 2012144154 A JP2012144154 A JP 2012144154A JP 2012144154 A JP2012144154 A JP 2012144154A JP 2014011470 A JP2014011470 A JP 2014011470A
- Authority
- JP
- Japan
- Prior art keywords
- data
- screen
- gain
- color
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、通常の画像のように奥行き情報が明示的に与えておらず、ステレオ画像のように奥行き情報が暗示的にも与えられていない非立体画像から奥行き情報を生成する奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、奥行き情報を用いて擬似的な立体画像を生成する擬似立体画像生成装置に関する。 The present invention relates to a depth information generation device that generates depth information from a non-stereo image that is not given depth information explicitly as in a normal image and that is not given depth information like a stereo image. The present invention relates to a depth information generation method, a depth information generation program, and a pseudo stereoscopic image generation apparatus that generates a pseudo stereoscopic image using depth information.
近年、立体画像の普及に伴って、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を擬似的な立体画像に変換することが行われるようになってきた。非立体画像を擬似的な立体画像に変換するための擬似立体画像生成装置が種々提案されている。 In recent years, with the widespread use of stereoscopic images, non-stereo images that are not given depth information either explicitly or implicitly have been converted into pseudo stereoscopic images. Various pseudo-stereoscopic image generation apparatuses for converting a non-stereoscopic image into a pseudo-stereoscopic image have been proposed.
一例として、特許文献１には、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて奥行き推定データを生成する擬似立体画像生成装置が記載されている。 As an example, Patent Literature 1 describes a pseudo stereoscopic image generation device that generates depth estimation data using a plurality of types of basic depth models indicating depth values for each of a plurality of types of basic scene structures.
特許文献１に記載の擬似立体画像生成装置が備える奥行き情報生成装置においては、画面の中央部に人物等の注目被写体がある画像では十分な立体効果が得られる奥行き情報を生成することができないという問題点があった。 In the depth information generation device included in the pseudo-stereoscopic image generation device described in Patent Literature 1, it is impossible to generate depth information that can provide a sufficient stereoscopic effect with an image having a subject of interest such as a person in the center of the screen. There was a problem.
本発明はこのような問題点に鑑み、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムを提供することを目的とする。また、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる擬似立体画像生成装置を提供することを目的とする。 In view of such a problem, the present invention provides a depth information generation device, a depth information generation method, a depth information, and a depth information generation method capable of generating depth information that provides a sufficient stereoscopic effect for an image having a subject of interest in the center of the screen. An object is to provide an information generation program. It is another object of the present invention to provide a pseudo-stereoscopic image generation apparatus that can obtain a sufficient stereoscopic effect for an image having a subject of interest at the center of the screen.
本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部（１１４〜１１７）と、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部（２８０）と、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部（２８３）と、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するゲイン算出部（２８５）と、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部（２８７〜２８９）と、前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器（１１９）とを備えることを特徴とする奥行き情報生成装置を提供する。 In order to solve the above-described problems of the conventional technology, the present invention uses a basic depth model for determining the parallax value of the entire screen and generates parallax data indicating the parallax value of each pixel in the screen. A color data generation unit (280) that generates color data in which the warm color system takes a positive value and the cold color system takes a negative value using the generation unit (114 to 117) and the red and blue signals in the non-stereo image signal. ), And the red signal and the blue signal, the degree of difference between the color at the first peripheral portion of the screen and the color at the first central portion is detected, so that the subject of interest is the first object. A central part distribution ratio calculation unit (283) for calculating central part distribution ratio data indicating the degree of distribution in the central part, and a gain to be multiplied by a positive value in the color data, the first central part of the screen Same or different A first gain that increases as the central portion distribution ratio data increases and a gain that is multiplied by a negative value in the color data, and is the same as or different from the first peripheral portion of the screen. In the second peripheral portion, a gain calculation unit (285) that calculates a second gain that increases as the central portion distribution ratio data increases, and multiplies the positive value in the color data by the first gain. Then, an amplitude correction unit (287 to 289) that multiplies the negative value in the color data by the second gain, adds the two, and outputs a corrected non-stereoscopic image signal, and the parallax data generation unit are generated. An adder (119) that adds the parallax data thus obtained and the corrected non-stereoscopic image signal output from the amplitude correction unit to generate depth estimation data for each pixel in the screen. Providing depth information generating device, characterized in that it comprises and.
上記の奥行き情報生成装置において、前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部（１１７）を有することが好ましい。 In the depth information generation apparatus, the disparity data generation unit combines disparity data indicating disparity values of the entire screen of each of the plurality of basic depth models based on the characteristics of the non-stereoscopic image signal (117). ).
上記の奥行き情報生成装置において、画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部（１１２）と、画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部（１１３）とをさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成することが好ましい。
In the depth information generating apparatus, an upper high-frequency component evaluation unit (112) that evaluates the amount of a high-frequency component included in a predetermined region on the screen and generates an upper high-frequency component evaluation value, and a lower portion on the screen A lower high-frequency component evaluation unit (113) that evaluates the amount of the high-frequency component included in the predetermined region and generates a lower high-frequency component evaluation value,
The combining unit preferably combines disparity data indicating disparity values of the entire screen of each of the plurality of basic depth models according to the upper high-frequency component evaluation value and the lower high-frequency component evaluation value.
上記の奥行き情報生成装置において、前記赤色信号と前記青色信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部（２８０）と、前記第１の周辺部における前記色割合データのヒストグラムを検出する第１のヒストグラム検出部（２８２ａ）と、前記第１の中央部における前記色割合データのヒストグラムを検出する第２のヒストグラム検出部（２８２ｂ）とをさらに備え、前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムとを用いて、前記中央部分布割合データを算出することが好ましい。 In the depth information generation apparatus, a color ratio data generation unit (280) that generates color ratio data indicating a ratio of red and blue using the red signal and the blue signal, and the first peripheral section A first histogram detection unit (282a) for detecting a histogram of the color ratio data in the first and a second histogram detection unit (282b) for detecting a histogram of the color ratio data in the first central portion. Preferably, the central part distribution ratio calculation unit calculates the central part distribution ratio data using the histogram detected by the first histogram detection unit and the histogram detected by the second histogram detection unit. .
上記の奥行き情報生成装置において、前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムの差分に基づいて前記中央部分布割合データを算出することが好ましい。 In the depth information generating apparatus, the central part distribution ratio calculating unit is configured to calculate the central part distribution ratio based on a difference between the histogram detected by the first histogram detecting unit and the histogram detected by the second histogram detecting unit. It is preferable to calculate the data.
また、本発明は、上述した従来の技術の課題を解決するため、上記のいずれかの構成を有する奥行き情報生成装置と、前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部（２）とを備えることを特徴とする擬似立体画像生成装置を提供する。 In order to solve the above-described problems of the related art, the present invention provides a depth information generation apparatus having any one of the above configurations and a plurality of image data for a plurality of viewpoints based on the depth estimation data. Provided is a pseudo-stereoscopic image generation device including a viewpoint image data generation unit (2).
さらに、本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出し、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出し、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成し、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成することを特徴とする奥行き情報生成方法を提供する。 Furthermore, the present invention generates disparity data indicating the disparity value of each pixel in the screen using a basic depth model for determining the disparity value of the entire screen in order to solve the above-described problems of the conventional technology. Using the red signal and the blue signal in the non-stereo image signal, color data having a warm color system having a positive value and a cold color system having a negative value is generated, and the red signal and the blue signal are used to generate a screen. By detecting the degree of difference between the color in the first peripheral part and the color in the first central part, central part distribution ratio data indicating the degree to which the subject of interest is distributed in the first central part is obtained. A gain that is calculated and multiplied by a positive value in the color data, and increases as the central portion distribution ratio data increases in a second central portion that is the same as or different from the first central portion of the screen. And the gain of A gain that is multiplied by a negative value in the color coding data, and a second gain that increases as the central portion distribution ratio data increases in a second peripheral portion that is the same as or different from the first peripheral portion of the screen. , Multiplying the positive value in the color data by the first gain, multiplying the negative value in the color data by the second gain, and adding the two to obtain a corrected non-stereoscopic image signal. A depth information generation method is provided that generates and estimates the parallax data and the corrected non-stereoscopic image signal to generate depth estimation data for each pixel in the screen.
さらにまた、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成するステップと、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出するステップと、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するステップと、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成するステップと、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップとを実行させることを特徴とする奥行き情報生成プログラムを提供する。 Furthermore, in order to solve the above-described problems of the conventional technology, the present invention uses a basic depth model for determining the parallax value of the entire screen in the computer, and the parallax indicating the parallax value of each pixel in the screen. A step of generating data, a step of generating color data in which a warm color system takes a positive value and a cold color system takes a negative value using a red signal and a blue signal in a non-stereoscopic image signal; The degree to which the subject of interest is distributed in the first central portion by detecting the degree of difference between the color in the first peripheral portion of the screen and the color in the first central portion using the blue signal. Calculating a central portion distribution ratio data indicating a gain, and multiplying a positive value in the color data by a second central portion that is the same as or different from the first central portion of the screen. A first gain that increases as the combined data increases, and a gain that multiplies a negative value in the color data, and a second peripheral portion that is the same as or different from the first peripheral portion of the screen, A step of calculating a second gain that increases as the distribution ratio data increases, a positive value in the color data is multiplied by the first gain, and a negative value in the color data is multiplied by the second gain. And adding both to generate a corrected non-stereoscopic image signal, and adding the parallax data and the corrected non-stereoscopic image signal to generate depth estimation data for each pixel in the screen And a depth information generation program characterized in that
本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムによれば、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる。また、本発明の擬似立体画像生成装置によれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる。 According to the depth information generation device, the depth information generation method, and the depth information generation program of the present invention, it is possible to generate depth information that provides a sufficient stereoscopic effect for an image having a subject of interest at the center of the screen. In addition, according to the pseudo stereoscopic image generation device of the present invention, it is possible to obtain a sufficient stereoscopic effect for an image having a subject of interest in the center of the screen.
以下、本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置の一実施形態について、添付図面を参照して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, an embodiment of a depth information generation device, a depth information generation method, a depth information generation program, and a pseudo stereoscopic image generation device according to the present invention will be described with reference to the accompanying drawings.
図１において、Ｒ，Ｇ，Ｂ信号である入力信号（オブジェクト信号）は、擬似的な奥行き情報を生成する奥行き情報生成部１に入力される。奥行き情報生成部１は、一実施形態の奥行き情報生成装置を構成する。Ｒ，Ｇ，Ｂ信号は、３原色信号の赤色信号，緑色信号，青色信号である。 In FIG. 1, input signals (object signals) that are R, G, and B signals are input to a depth information generation unit 1 that generates pseudo depth information. The depth information generation unit 1 constitutes a depth information generation apparatus according to an embodiment. The R, G, and B signals are a red signal, a green signal, and a blue signal of the three primary color signals.
奥行き情報生成部１に入力されるＲ，Ｇ，Ｂ信号は、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を表す画像信号である。奥行き情報生成部１は、奥行き推定データを生成する奥行き推定部２１１を有する。奥行き推定部２１１の具体的な構成及び動作については後に詳述する。 The R, G, and B signals input to the depth information generation unit 1 are image signals representing non-stereoscopic images to which depth information is not given explicitly or implicitly. The depth information generation unit 1 includes a depth estimation unit 211 that generates depth estimation data. The specific configuration and operation of the depth estimation unit 211 will be described in detail later.
ステレオペア生成部２には、奥行き情報生成部１への入力信号であるＲ，Ｇ，Ｂ信号と、奥行き推定部２１１によって生成された奥行き推定データとが入力される。ステレオペア生成部２は、右目画像データと左目画像データとのステレオペアを生成する。 The stereo pair generation unit 2 receives the R, G, and B signals that are input signals to the depth information generation unit 1 and the depth estimation data generated by the depth estimation unit 211. The stereo pair generation unit 2 generates a stereo pair of right eye image data and left eye image data.
ステレオペア生成部２は、非立体画像信号に基づいて複数の視点の画像データを生成する複数視点画像データ生成部の一例である。奥行き情報生成部１とステレオペア生成部２とは、一実施形態の擬似立体画像生成装置を構成する。 The stereo pair generation unit 2 is an example of a multi-viewpoint image data generation unit that generates image data of a plurality of viewpoints based on a non-stereo image signal. The depth information generation unit 1 and the stereo pair generation unit 2 constitute a pseudo stereoscopic image generation apparatus according to an embodiment.
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま右目画像データとする。ステレオペア生成部２は、右目画像データ（Ｒ，Ｇ，Ｂ信号）に基づいて左目画像データを生成する。 The stereo pair generation unit 2 uses the input R, G, B signal as it is as the right-eye image data. The stereo pair generation unit 2 generates left eye image data based on the right eye image data (R, G, B signals).
画素シフト部２１には、Ｒ，Ｇ，Ｂ信号と奥行き推定データとが入力される。画素シフト部２１は、奥行き推定データに基づいてＲ，Ｇ，Ｂ信号それぞれの画素をシフトする。 The pixel shift unit 21 receives R, G, and B signals and depth estimation data. The pixel shift unit 21 shifts the pixels of the R, G, and B signals based on the depth estimation data.
例えば左に視点移動する場合、画面より手前に表示するものは近いものほど画像を見る者の内側（鼻側）に見える。そこで、画素シフト部２１は、対応部分の画素を奥行き推定データが示す奥行きに応じた量だけ、内側（右側）に移動させる。画面より奥に表示するものは近いものほど画像を見る者の外側に見える。そこで、画素シフト部２１は、対応部分の画素を奥行きに応じた量だけ、外側（左側）に移動させる。 For example, when moving the viewpoint to the left, the closer the object displayed in front of the screen is, the closer it is to the inside (nose side) of the person viewing the image. Therefore, the pixel shift unit 21 moves the corresponding part of the pixel to the inside (right side) by an amount corresponding to the depth indicated by the depth estimation data. The closer to the back of the screen, the closer it is to the outside of the viewer. Therefore, the pixel shift unit 21 moves the corresponding part of the pixel to the outside (left side) by an amount corresponding to the depth.
画素シフト部２１によって画素をシフトすると、画像内に、画素が存在しない、いわゆるオクルージョンが発生する場合がある。オクルージョン補償部２２は、画素シフト部２１より出力されたＲ，Ｇ，Ｂ信号のオクルージョンを補償する。 When pixels are shifted by the pixel shift unit 21, so-called occlusion may occur in which no pixels exist in the image. The occlusion compensation unit 22 compensates for the occlusion of the R, G, and B signals output from the pixel shift unit 21.
オクルージョン補償部２２は、オクルージョンの周辺の画素を用いて画素を補間する等の公知の方法によってオクルージョンを補償する。 The occlusion compensation unit 22 compensates for occlusion by a known method such as interpolation of pixels using pixels around the occlusion.
オクルージョン補償部２２より出力されたＲ，Ｇ，Ｂ信号は、ポスト処理部２３に入力される。ポスト処理部２３は、入力されたＲ，Ｇ，Ｂ信号に対して平滑化処理等のポスト処理を施す。ポスト処理部２３によってポスト処理を施すことにより、オクルージョン補償された画像が滑らかとなり、ノイズが軽減される。 The R, G and B signals output from the occlusion compensation unit 22 are input to the post processing unit 23. The post processing unit 23 performs post processing such as smoothing processing on the input R, G, and B signals. By performing the post processing by the post processing unit 23, the occlusion-compensated image becomes smooth and noise is reduced.
ポスト処理部２３より出力されたＲ，Ｇ，Ｂ信号は、左目画像データとなる。左目画像出力部２４は左目画像データを出力し、右目画像出力部２５は右目画像データを出力する。 The R, G, and B signals output from the post processing unit 23 become left eye image data. The left eye image output unit 24 outputs left eye image data, and the right eye image output unit 25 outputs right eye image data.
ステレオペア生成部２には、ステレオ画像表示装置３が接続されている。ステレオ画像表示装置３には、左目画像出力部２４より出力された左目画像データと、右目画像出力部２５より出力された右目画像データとのステレオペアが入力される。ステレオ画像表示装置３は、入力されたステレオペアに基づいてステレオ画像（立体画像）を表示する。 A stereo image display device 3 is connected to the stereo pair generation unit 2. A stereo pair of the left eye image data output from the left eye image output unit 24 and the right eye image data output from the right eye image output unit 25 is input to the stereo image display device 3. The stereo image display device 3 displays a stereo image (stereoscopic image) based on the input stereo pair.
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま左目画像データとし、左目画像データ（Ｒ，Ｇ，Ｂ信号）を画素シフトすることによって右目画像データを生成してもよい。 The stereo pair generation unit 2 may generate the right-eye image data by shifting the left-eye image data (R, G, and B signals) by using the input R, G, and B signals as they are as the left-eye image data.
ステレオペア生成部２は、右目画像データと左目画像データのいずれも、入力されたＲ，Ｇ，Ｂ信号をそのまま用いるのではなく、画素シフト部２１によって画素をシフトさせた左右の別視点の画像データをステレオペアとしてもよい。 The stereo pair generation unit 2 does not use the input R, G, and B signals as they are for both the right-eye image data and the left-eye image data, but the left and right viewpoint images obtained by shifting the pixels by the pixel shift unit 21. The data may be a stereo pair.
図２を用いて、奥行き推定部２１１の具体的構成例及びその動作について説明する。画像入力部１１１には、Ｒ，Ｇ，Ｂ信号が入力される。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号のみを、上部高域成分評価部１１２と下部高域成分評価部１１３とに供給する。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号及びＢ信号をオブジェクト信号補正部１２８に供給する。 A specific configuration example and the operation of the depth estimation unit 211 will be described with reference to FIG. The image input unit 111 receives R, G, and B signals. The image input unit 111 supplies only the R signal of the R, G, and B signals to the upper high frequency component evaluation unit 112 and the lower high frequency component evaluation unit 113. The image input unit 111 supplies the R signal and the B signal among the R, G, and B signals to the object signal correction unit 128.
上部高域成分評価部１１２は、それぞれのフレームの上部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、上部高域成分評価部１１２は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。上部高域成分評価部１１２は、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。上部高域成分評価値top_actは、合成部１１７に入力される。 The upper high-frequency component evaluation unit 112 evaluates how much high-frequency components are included in an upper 20% region of each frame. For example, the upper high frequency component evaluation unit 112 divides the upper 20% region into blocks of 8 horizontal pixels and 8 vertical pixels. The upper high frequency component evaluation unit 112 calculates the following expression (1) in each block, and sets the average of the blocks as the upper high frequency component evaluation value top_act. The upper high frequency component evaluation value top_act is input to the synthesis unit 117.
下部高域成分評価部１１３は、それぞれのフレームの下部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、下部高域成分評価部１１３は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。下部高域成分評価部１１３は、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。下部高域成分評価値bottom_actは、合成部１１７に入力される。 The lower high-frequency component evaluation unit 113 evaluates how much high-frequency components are included in the lower 20% region of each frame. For example, the lower high frequency component evaluation unit 113 divides the lower 20% region into blocks of 8 horizontal pixels and 8 vertical pixels. The lower high frequency component evaluation unit 113 calculates the above equation (1) in each block, and sets the average of the blocks as the lower high frequency component evaluation value bottom_act. The lower high-frequency component evaluation value bottom_act is input to the synthesis unit 117.
フレームメモリ１１４〜１１６は、擬似立体画像を生成する際の基本となる基本奥行きモデルを記憶している。フレームメモリ１１４，１１５，１１６が記憶している基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図３，図４，図５は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。 The frame memories 114 to 116 store a basic depth model that is a basis for generating a pseudo stereoscopic image. The basic depth models stored in the frame memories 114, 115, and 116 are referred to as Type 1, Type 2, and Type 3, respectively. 3, FIG. 4 and FIG. 5 show examples of three-dimensional structures of type 1, type 2 and type 3 of the basic depth model, respectively.
基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図３〜図５に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせるテーブルまたは計算式にて構成することができる。 The basic depth model is a model for determining the parallax value of the entire screen. The basic depth model can be configured by a table or a calculation formula that shifts each pixel on a plane in the pop-out direction or the depth direction, which has a non-planar shape characteristic as shown in FIGS.
合成部１１７は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、フレームメモリ１１４〜１１６より出力されるタイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。 The synthesizing unit 117 performs basic depth models of types 1 to 3 output from the frame memories 114 to 116 at a predetermined synthesis ratio according to the values of the upper high-frequency component evaluation value top_act and the lower high-frequency component evaluation value bottom_act. Synthesize.
合成部１１７は、図６に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図６の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。 The synthesizer 117 synthesizes the basic depth models of types 1 to 3 according to the synthesis ratio determination condition shown in FIG. The horizontal axis in FIG. 6 is the upper high-frequency component evaluation value top_act, and the vertical axis is the lower high-frequency component evaluation value bottom_act.
図６に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、合成部１１７は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。 As illustrated in FIG. 6, if the lower high-frequency component evaluation value bottom_act is equal to or less than the predetermined value bms, the synthesis unit 117 uses the type 3 basic depth model regardless of the value of the upper high-frequency component evaluation value top_act. . That is, the composition ratio of types 1 and 2 is set to zero.
下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、合成部１１７は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。 If the lower high frequency component evaluation value bottom_act is greater than the value bms and less than or equal to the predetermined value bml, the synthesis unit 117 synthesizes types 1 to 3 according to the value of the upper high frequency component evaluation value top_act as follows. . If the upper high-frequency component evaluation value top_act is equal to or less than the predetermined value tps, the combining unit 117 sets the combining ratio of type 1 to 0 and combines type 2 and type 3.
上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、合成部１１７は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。 If the upper high-frequency component evaluation value top_act is greater than the value tps and less than or equal to the predetermined value tpl, the synthesizer 117 synthesizes types 1 to 3. If the upper high frequency component evaluation value top_act is larger than the value tpl, the synthesizing unit 117 synthesizes the type 1 and the type 3 by setting the type 2 synthesis ratio to 0.
下部高域成分評価値bottom_actが値bmlより大きければ、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、合成部１１７は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。 If the lower high frequency component evaluation value bottom_act is larger than the value bml, the synthesis unit 117 synthesizes types 1 to 3 according to the value of the upper high frequency component evaluation value top_act as follows. If the upper high frequency component evaluation value top_act is equal to or less than the value tps, the synthesis unit 117 sets the synthesis ratio of types 1 and 3 to 0 and uses the type 2 basic depth model.
上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、合成部１１７は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。 If the upper high-frequency component evaluation value top_act is greater than the value tps and less than or equal to the value tpl, the synthesizer 117 synthesizes type 1 and type 2 with the synthesis ratio of type 3 set to 0. If the upper high frequency component evaluation value top_act is larger than the value tpl, the synthesizing unit 117 sets the synthesis ratio of types 2 and 3 to 0 and uses the type 1 basic depth model.
合成部１１７によって図６に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータは、加算器１１９に入力される。 Data indicating the parallax value of the entire screen synthesized by the synthesis unit 117 according to the synthesis ratio determination condition shown in FIG. 6 is input to the adder 119.
複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、画面全体の視差値を示すデータを発生する構成であればよい。 A configuration in which a plurality of types of basic depth models are combined according to the upper high-frequency component evaluation value top_act and the lower high-frequency component evaluation value bottom_act is not an essential configuration, but is a preferable configuration. Any configuration that generates data indicating the parallax value of the entire screen using at least one type of basic depth model may be used.
オブジェクト信号補正部１２８は、Ｒ信号とＢ信号とに基づいて補正オブジェクト信号を生成する。補正オブジェクト信号は、合成部１１７より出力されたデータが示す画面全体の視差値に対して付加される付加的な視差値のデータである。 The object signal correcting unit 128 generates a corrected object signal based on the R signal and the B signal. The correction object signal is additional parallax value data added to the parallax value of the entire screen indicated by the data output from the synthesis unit 117.
Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。 One reason for using the R signal is that there is a high probability that the magnitude of the R signal matches the degree of unevenness of the subject in an environment that is close to direct light and under the condition that the brightness in the screen does not differ greatly. . One of the other reasons is that warm colors such as red are progressive colors in chromaticity and are more easily recognized in the depth direction than cold colors.
Ｂ信号を用いる理由の１つは、物理法則的一般論（空気遠近法）により、光線の散乱により遠くにあるものほど、青寄りに見えるからである。 One of the reasons for using the B signal is that the farther away from the scattering of light rays, the closer to the blue, the more blue the light appears due to the general theory of physical laws (air perspective).
従って、Ｒ信号とＢ信号とを用いて補正オブジェクト信号を生成すれば、手前側に存在している被写体をより手前側へと補正し、奥側に存在している被写体をより奥側へと補正することが可能となる。 Therefore, if the corrected object signal is generated using the R signal and the B signal, the subject existing on the near side is corrected to the near side, and the subject existing on the far side is further moved to the far side. It becomes possible to correct.
図７を用いて、オブジェクト信号補正部１２８の具体的構成例及びその動作について説明する。図７において、ＲＢ割合算出部２８０には、Ｒ信号とＢ信号とが入力される。 A specific configuration example and the operation of the object signal correction unit 128 will be described with reference to FIG. In FIG. 7, the R signal and the B signal are input to the RB ratio calculation unit 280.
ＲＢ割合算出部２８０は、式（２）に示す計算式によってＲ信号とＢ信号との割合を算出してRB_rate信号を出力する。RB_rate信号はＲ信号とＢ信号との割合を示す信号である。ＲＢ割合算出部２８０は、Ｒ信号とＢ信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部である。 The RB ratio calculation unit 280 calculates the ratio of the R signal and the B signal using the calculation formula shown in Expression (2), and outputs an RB_rate signal. The RB_rate signal is a signal indicating the ratio of the R signal and the B signal. The RB ratio calculation unit 280 is a color ratio data generation unit that generates color ratio data indicating the ratio of red and blue using the R signal and the B signal.
RB_rate=(0.5×R)+{0.5×(255-B)} …（２） RB_rate = (0.5 × R) + {0.5 × (255-B)} (2)
Ｒ信号とＢ信号をそれぞれ８ビットとし、Ｘ軸にＢ信号、Ｙ軸にＲ信号、Ｚ軸に式（２）で得られるRB_rate信号をとると、RB_rate信号は図８に示すように表される。図８では、RB_rate信号の値の大きさによってＲｔ１〜Ｒｔ５までの５つの領域に分けている。 If the R signal and the B signal are each 8 bits, the B signal is taken on the X axis, the R signal is taken on the Y axis, and the RB_rate signal obtained by equation (2) is taken on the Z axis, the RB_rate signal is expressed as shown in FIG. The In FIG. 8, the area is divided into five areas Rt1 to Rt5 depending on the value of the RB_rate signal.
式（２）より、Ｒ信号が大きければRB_rate信号の値は大きくなり、Ｂ信号が大きければRB_rate信号の値は小さくなる。従って、赤や黄のような暖色は領域Ｒｔ５に含まれ、青やシアンのような寒色は領域Ｒｔ１に含まれる。 From equation (2), the value of the RB_rate signal increases when the R signal is large, and the value of the RB_rate signal decreases when the B signal is large. Accordingly, warm colors such as red and yellow are included in the region Rt5, and cold colors such as blue and cyan are included in the region Rt1.
ＲＢ割合算出部２８０は、式（３）に示す計算式によって、RB_rate信号の大きさの中心を０基準に変更したRB_out信号を出力する。 The RB ratio calculation unit 280 outputs an RB_out signal in which the center of the magnitude of the RB_rate signal is changed to 0 reference according to the calculation formula shown in Formula (3).
RB_out=RB_rate-128 …（３） RB_out = RB_rate-128 (3)
RB_out信号は図９に示すように表される。式（３）によって、図８におけるRB_rate信号が１２８を超える領域Ｒｔ５側の部分はプラスとなり、１２８未満の領域Ｒｔ１Ｒｔ５側の部分はマイナスとなる。プラスは飛び出し方向、マイナスは引っ込み方向である。 The RB_out signal is expressed as shown in FIG. According to Expression (3), the portion on the region Rt5 side where the RB_rate signal in FIG. 8 exceeds 128 is plus, and the portion on the region Rt1Rt5 side where it is less than 128 is minus. Plus is the direction of popping out, and minus is the direction of retracting.
従って、RB_rate信号を式（３）によって図９に示すようなRB_out信号に変換すると、赤の強い部分を手前側、青の強い部分を奥側へと配置させることができる。 Therefore, when the RB_rate signal is converted into the RB_out signal as shown in FIG. 9 by Expression (3), the strong red portion can be arranged on the near side and the strong blue portion can be arranged on the far side.
ＲＢ割合算出部２８０は、Ｒ信号とＢ信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部である。 The RB ratio calculation unit 280 is a color data generation unit that generates color data in which the warm color system takes a positive value and the cold color system takes a negative value using the R signal and the B signal.
RB_rate信号は画像特徴検出部２８１に入力され、RB_out信号は出力切換部２８６に入力される。画像特徴検出部２８１は、ヒストグラム検出部２８２ａ，２８２ｂを有する。 The RB_rate signal is input to the image feature detection unit 281, and the RB_out signal is input to the output switching unit 286. The image feature detection unit 281 includes histogram detection units 282a and 282b.
一例として、ヒストグラム検出部２８２ａは図１０に示す領域ＲｎＡLRにおけるRB_rate信号のヒストグラムを検出し、ヒストグラム検出部２８２ｂは、図１０に示す領域ＲｎＢCTRにおけるRB_rate信号のヒストグラムを検出する。 As an example, the histogram detector 282a detects the histogram of the RB_rate signal in the region RnA LR shown in FIG. 10, and the histogram detector 282b detects the histogram of the RB_rate signal in the region RnB CTR shown in FIG.
図１０に示す例は、１フレームまたは１フィールドである１画面の有効映像期間を水平方向４領域、垂直方向４領域の１６の領域に分割している。左上側の２つの領域と右上側の２つの領域とを合わせた４つの領域を領域ＲｎＡLRとしている。中央部の４つの領域を領域ＲｎＢCTRとしている。領域ＲｎＡLRの面積と領域ＲｎＢCTRの面積とは同じであることが好ましい。 In the example shown in FIG. 10, the effective video period of one screen that is one frame or one field is divided into 16 areas of 4 areas in the horizontal direction and 4 areas in the vertical direction. Four regions including the two regions on the upper left side and the two regions on the upper right side are defined as a region RnA LR . Four regions at the center are defined as region RnB CTR . The area of the region RnA LR and the area of the region RnB CTR are preferably the same.
領域ＲｎＡLRは画面の周辺部で背景と考えられる領域であり、領域ＲｎＢCTRは画面の中央部で注目被写体が位置すると考えられる領域である。 The region RnA LR is a region considered as a background at the periphery of the screen, and the region RnB CTR is a region where the subject of interest is considered to be located at the center of the screen.
図１１を用いて、ヒストグラム検出部２８２ａ，２８２ｂの具体的構成例及びその動作について説明する。ヒストグラム検出部２８２ａ，２８２ｂは、判定部８２１，累積カウント部８２２，保持部８２３を有する。 A specific configuration example and operation of the histogram detection units 282a and 282b will be described with reference to FIG. The histogram detection units 282a and 282b include a determination unit 821, a cumulative count unit 822, and a holding unit 823.
判定部８２１は、１６個の判定器８２１ａ〜８２１ｐを有する。累積カウント部８２２は、１６個の累積カウンタ８２２ａ〜８２２ｐを有する。保持部８２３は、１６個のレジスタ８２３ａ〜８２３ｐを有する。 The determining unit 821 has 16 determiners 821a to 821p. The accumulation count unit 822 includes 16 accumulation counters 822a to 822p. The holding unit 823 includes 16 registers 823a to 823p.
RB_rate信号は、判定器８２１ａ〜８２１ｐそれぞれに入力される。RB_rate信号のレベルは０〜２５５の２５６階調である。判定器８２１ａ〜８２１ｐには、RB_rate信号が取り得るレベルを１６のレベル領域に分割したそれぞれのレベル領域が設定されている。判定器８２１ａ〜８２１ｐは、それぞれ、入力されたRB_rate信号の画素毎に画素レベルが設定されているレベル領域に含まれるか否かを判定する。 The RB_rate signal is input to each of the determiners 821a to 821p. The level of the RB_rate signal is 256 gradations from 0 to 255. In the determiners 821a to 821p, respective level regions obtained by dividing the level that can be taken by the RB_rate signal into 16 level regions are set. Each of the determiners 821a to 821p determines whether or not a pixel level is set for each pixel of the input RB_rate signal.
RB_rate信号を分割するレベル領域の数は１６に限定されない。分割するレベル領域の数は適宜設定すればよい。 The number of level areas into which the RB_rate signal is divided is not limited to 16. The number of level regions to be divided may be set as appropriate.
例えば、判定器８２１ａには、RB_rate信号のレベルとして０以上１６未満が設定されており、入力されたRB_rate信号の画素レベルが０以上１６未満であれば“１”を出力し、そうでなければ“０”を出力する。判定器８２１ｂ〜８２１ｐも同様に、入力されたRB_rate信号の画素レベルが設定されているレベル領域に含まれていれば“１”を出力し、そうでなければ“０”を出力する。 For example, in the determiner 821a, the level of the RB_rate signal is set to 0 or more and less than 16, and “1” is output if the pixel level of the input RB_rate signal is 0 or more and less than 16, otherwise. Outputs “0”. Similarly, the determiners 821b to 821p output “1” if the pixel level of the input RB_rate signal is included in the set level region, and otherwise output “0”.
累積カウンタ８２２ａ〜８２２ｐは、判定器８２１ａ〜８２１ｐの出力を累積してカウントする。判定器８２１ａ〜８２１ｐのカウント値は、ヒストグラム検出部２８２ａであれば領域ＲｎＡLR内のそれぞれのレベル領域に含まれる画素の総数を示し、ヒストグラム検出部２８２ｂあれば領域ＲｎＢCTR内のそれぞれのレベル領域に含まれる画素の総数を示している。 The accumulation counters 822a to 822p accumulate and count the outputs of the determiners 821a to 821p. The count values of the determiners 821a to 821p indicate the total number of pixels included in each level region in the region RnA LR if the histogram detection unit 282a, and each level region in the region RnB CTR if the histogram detection unit 282b. The total number of pixels included in is shown.
レジスタ８２３ａ〜８２３ｐは、累積カウンタ８２２ａ〜８２２ｐがカウントしたカウント値を保持する。 The registers 823a to 823p hold the count values counted by the accumulation counters 822a to 822p.
以上のようにして、ヒストグラム検出部２８２ａは領域ＲｎＡLRにおけるヒストグラムデータHist_Aを生成し、ヒストグラム検出部２８２ｂは領域ＲｎＢCTRにおけるヒストグラムデータHist_Bを生成する。 As described above, the histogram detection unit 282a generates the histogram data Hist_A in the region RnA LR , and the histogram detection unit 282b generates the histogram data Hist_B in the region RnB CTR .
図１２の（ａ），（ｂ）は、それぞれ、ヒストグラムデータHist_A，Hist_Bの一例をグラフ化したものである。図１２の（ａ），（ｂ）において、横軸は２５６階調を１６分割した階調ｉを、縦軸は頻度を示している。領域ＲｎＡLRでは中間階調に画像データが集中しており、領域ＲｎＢCTRでは高階調（暖色系）に画像データが集中している。 12A and 12B are graphs showing examples of histogram data Hist_A and Hist_B, respectively. In (a) and (b) of FIG. 12, the horizontal axis indicates the gradation i obtained by dividing 256 gradations into 16, and the vertical axis indicates the frequency. In the area RnA LR , the image data is concentrated on the intermediate gradation, and in the area RnB CTR , the image data is concentrated on the high gradation (warm color system).
本実施形態では、１フレームまたは１フィールド毎にヒストグラムデータHist_A，Hist_Bを生成しているが、複数フレームまたは複数フィールド毎にヒストグラムデータHist_A，Hist_Bを生成してもよい。ヒストグラム検出部２８２ａ，２８２ｂは、画面の所定単位（時間単位）毎にヒストグラムデータHist_A，Hist_Bを生成すればよい。但し、１フレームまたは１フィールド毎にヒストグラムデータHist_A，Hist_Bを生成することが好ましい。 In this embodiment, histogram data Hist_A and Hist_B are generated for each frame or field, but histogram data Hist_A and Hist_B may be generated for a plurality of frames or fields. The histogram detection units 282a and 282b may generate the histogram data Hist_A and Hist_B for each predetermined unit (time unit) of the screen. However, it is preferable to generate the histogram data Hist_A and Hist_B for each frame or field.
図７に戻り、ヒストグラムデータHist_A，Hist_Bは中央部分布割合算出部２８３に入力される。中央部分布割合算出部２８３は、式（４）に示す計算式によって、中央部分布割合データHist_Centerを算出する。式（４）中のABSは絶対値を意味する。中央部分布割合データHist_Centerは、注目被写体が画面の周辺部（背景）を除く中央部に集中して分布している程度を示す。 Returning to FIG. 7, the histogram data Hist_A and Hist_B are input to the central portion distribution ratio calculation unit 283. The central part distribution ratio calculating unit 283 calculates the central part distribution ratio data Hist_Center according to the calculation formula shown in Expression (4). ABS in Formula (4) means an absolute value. The center portion distribution ratio data Hist_Center indicates the degree to which the subject of interest is concentrated and distributed in the center portion excluding the peripheral portion (background) of the screen.
中央部分布割合データHist_Centerの値が大きいほど、領域ＲｎＡLRと領域ＲｎＢCTRとで、分布している色に差があるということである。中央部分布割合算出部２８３は、画面の周辺部である領域ＲｎＡLRにおける色と画面の中央部である領域ＲｎＢCTRにおける色との差の程度を検出することにより、注目被写体が中央部に分布している程度を示す中央部分布割合データを算出する。 This means that as the value of the central portion distribution ratio data Hist_Center is larger, there is a difference in the color distributed between the region RnA LR and the region RnB CTR . The central portion distribution ratio calculating unit 283 detects the degree of difference between the color in the region RnA LR that is the peripheral portion of the screen and the color in the region RnB CTR that is the central portion of the screen, thereby distributing the subject of interest in the central portion. The central portion distribution ratio data indicating the degree to which it is being calculated is calculated.
中央部分布割合データHist_Centerは、リーク型積分回路２８４に入力される。リーク型積分回路２８４は、図１３に示すように、加算器2841と、レジスタ2842と、乗算器2843，2844を有する。リーク型積分回路２８４は、図１３に示す構成によって、中央部分布割合データHist_Centerに対して、時間方向にリーク型の積分処理を施す。 The central portion distribution ratio data Hist_Center is input to the leaky integration circuit 284. As shown in FIG. 13, the leaky integration circuit 284 includes an adder 2841, a register 2842, and multipliers 2843 and 2844. The leak type integration circuit 284 performs leak type integration processing in the time direction on the central portion distribution ratio data Hist_Center with the configuration shown in FIG.
加算器2841は、入力された中央部分布割合データHist_Centerと乗算器2843の出力とを加算する。レジスタ2842は、加算器2841の出力を保持する。乗算器2843は、レジスタ2842の出力に15/16を乗算して、加算器2841へと出力する。乗算器2844は、レジスタ2842の出力に1/16を乗算して、リーク型の積分処理を施した中央部分布割合データHist_Center_Leakを出力する。 The adder 2841 adds the input center distribution ratio data Hist_Center and the output of the multiplier 2843. The register 2842 holds the output of the adder 2841. Multiplier 2843 multiplies the output of register 2842 by 15/16 and outputs the result to adder 2841. The multiplier 2844 multiplies the output of the register 2842 by 1/16, and outputs the center distribution ratio data Hist_Center_Leak that has been subjected to the leak-type integration processing.
リーク型積分回路２８４によって中央部分布割合データHist_Centerに対してリーク型の積分処理を施すことにより、オブジェクト信号補正部１２８によって生成される補正オブジェクト信号は、画像の変化によって急激には変化しない。従って、ステレオペア生成部２によって生成されるステレオペアによるステレオ画像は緩やかに変化することになり、より自然な画質とすることができる。 By performing leak type integration processing on the central portion distribution ratio data Hist_Center by the leak type integration circuit 284, the corrected object signal generated by the object signal correction unit 128 does not change abruptly due to changes in the image. Accordingly, the stereo image generated by the stereo pair generated by the stereo pair generation unit 2 changes gradually, and a more natural image quality can be obtained.
リーク型積分回路２８４を設けることは必須ではないが、設けることが好ましい。 Although it is not essential to provide the leakage type integration circuit 284, it is preferable to provide it.
リーク型積分回路２８４より出力された中央部分布割合データHist_Center_Leakは、ゲイン算出部２８５に入力される。ゲイン算出部２８５には、画像情報として、奥行き情報生成部１に入力される画像データの水平幅データH_widthと垂直幅データV_widthも入力される。 The central portion distribution ratio data Hist_Center_Leak output from the leak type integration circuit 284 is input to the gain calculation unit 285. The gain calculation unit 285 also receives the horizontal width data H_width and vertical width data V_width of the image data input to the depth information generation unit 1 as image information.
ゲイン算出部２８５は、画面の位置に応じて、また、中央部分布割合データHist_Center_Leakの値に応じて、ゲインを算出する。図１４を用いて、画面の位置に応じたゲインの設定について説明する。図１４は、画面の水平方向の位置に応じたゲインの特性を示している。図１４の（ａ）〜（ｃ）において、H_Numは水平の画素番号である。 The gain calculation unit 285 calculates the gain according to the position of the screen and according to the value of the central portion distribution ratio data Hist_Center_Leak. The setting of the gain according to the screen position will be described with reference to FIG. FIG. 14 shows the gain characteristics according to the horizontal position of the screen. In FIGS. 14A to 14C, H_Num is a horizontal pixel number.
図１４の（ａ）は比較のため従来におけるゲインの特性を示している。横軸の左端部が画面の左端部であり、従来は、水平方向の左端部からH_widthで示す右端部まで一定のゲイン１である。 FIG. 14A shows a conventional gain characteristic for comparison. The left end of the horizontal axis is the left end of the screen. Conventionally, the gain is constant from the left end in the horizontal direction to the right end indicated by H_width.
これに対して、本実施形態では、正側では図１４の（ｂ）に示すゲインを用い、負側では図１４の（ｃ）に示すゲインを用いる。 On the other hand, in the present embodiment, the gain shown in FIG. 14B is used on the positive side, and the gain shown in FIG. 14C is used on the negative side.
図１４の（ｂ）に示す正側のゲインは次の式（５）で表される。Gain_Pは正側のゲインを示し、p11，p12，p13，p14は画面の水平位置を示すパラメータ、up_lim，lw_limはゲインの上限値と下限値を示すパラメータである。p11，p12，p13，p14，up_lim，lw_limはそれぞれ適宜設定すればよい。 The positive gain shown in FIG. 14B is expressed by the following equation (5). Gain_P indicates the positive gain, p11, p12, p13, and p14 are parameters indicating the horizontal position of the screen, and up_lim and lw_lim are parameters indicating the upper and lower gain values. p11, p12, p13, p14, up_lim, and lw_lim may be set as appropriate.
If(H_Num<p11) Gain_P=lw_lim;
If(H_Num<p12) Gain_P=(up_lim-lw_lim)×(H_NUM-p11)/(p12-p11)+lw_lim;
If(H_Num<p13) Gain_P= up_lim;
If(H_Num<p14) Gain_P=(up_lim-lw_lim)×(p14-H_Num)/（p14-p13）+lw_lim；
If(H_Num<H_width) Gain_P= lw_lim;
…（５）
If (H_Num <p11) Gain_P = lw_lim;
If (H_Num <p12) Gain_P = (up_lim-lw_lim) × (H_NUM-p11) / (p12-p11) + lw_lim;
If (H_Num <p13) Gain_P = up_lim;
If (H_Num <p14) Gain_P = (up_lim-lw_lim) × (p14-H_Num) / (p14-p13) + lw_lim;
If (H_Num <H_width) Gain_P = lw_lim;
... (5)
正側のゲインは式（５）に示す計算式によって、画面中央部により大きなゲインがかかるように重み付け補正される。画面中央部における正側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から上限値up_limまでの範囲で可変される。 The gain on the positive side is weighted and corrected so that a larger gain is applied to the center of the screen by the calculation formula shown in Formula (5). The positive gain at the center of the screen is variable in a range from gain 1 to the upper limit up_lim according to the value of the center distribution ratio data Hist_Center_Leak.
画面周辺部のp11までの部分及びp14以降の部分における正側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から下限値lw_limまでの範囲で可変される。 The positive gain in the portion up to p11 and the portion after p14 in the peripheral portion of the screen is variable in the range from gain 1 to the lower limit value lw_lim in accordance with the value of the center portion distribution ratio data Hist_Center_Leak.
図１４の（ｃ）に示す負側のゲインは次の式（６）で表される。Gain_Mは負側のゲインである。 The negative gain shown in (c) of FIG. 14 is expressed by the following equation (6). Gain_M is a negative gain.
If(H_Num<p11) Gain_M=up_lim;
If(H_Num<p12) Gain_M=(up_lim-lw_lim)×(p12-H_NUM)/(p12-p11)+lw_lim;
If(H_Num<p13) Gain_M=lw_lim;
If(H_Num<p14) Gain_M=(up_lim-lw_lim)×(H_Num-p3)/（p14-p13）+lw_lim;
If(H_Num<H_width) Gain_M=up_lim;
…（６）
If (H_Num <p11) Gain_M = up_lim;
If (H_Num <p12) Gain_M = (up_lim-lw_lim) × (p12-H_NUM) / (p12-p11) + lw_lim;
If (H_Num <p13) Gain_M = lw_lim;
If (H_Num <p14) Gain_M = (up_lim-lw_lim) × (H_Num-p3) / (p14-p13) + lw_lim;
If (H_Num <H_width) Gain_M = up_lim;
(6)
負側のゲインは式（６）に示す計算式によって、画面周辺部により大きなゲインがかかるように重み付け補正される。画面周辺部のp11までの部分及びp14以降の部分における負側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から上限値up_limまでの範囲で可変される。 The negative gain is weighted and corrected so that a larger gain is applied to the peripheral portion of the screen by the calculation formula shown in Formula (6). The gain on the negative side in the portion up to p11 and the portion after p14 in the peripheral portion of the screen is variable in the range from gain 1 to the upper limit value up_lim according to the value of the center portion distribution ratio data Hist_Center_Leak.
画面中央部における負側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から下限値lw_limまでの範囲で可変される。 The negative gain at the center of the screen is variable in a range from gain 1 to the lower limit lw_lim in accordance with the value of the center distribution ratio data Hist_Center_Leak.
図１４では、画面の水平方向の位置に応じてゲインを異ならせるように設定しているが、画面の垂直方向の位置に応じてゲインを異ならせるように設定してもよい。垂直方向の位置に応じてゲインを異ならせる場合も、図１４と同様の特性とすればよい。 In FIG. 14, the gain is set to be different according to the position in the horizontal direction of the screen. However, the gain may be set to be different according to the position in the vertical direction of the screen. Even when the gain is varied according to the position in the vertical direction, the same characteristics as in FIG. 14 may be used.
画面の水平方向及び垂直方向の双方で、位置に応じてゲインを異ならせるように設定してもよい。 The gain may be set to be different depending on the position in both the horizontal direction and the vertical direction of the screen.
領域ＲｎＢCTRの左端部をp12、右端部をp13としてもよい。即ち、図１４での画面中央部とは、図１０に示す画面中央の領域ＲｎＢCTRと同じでもよいし、同じでなくてもよい。画面周辺部におけるp11，p12の位置は適宜設定すればよい。図１４での画面周辺部とは、図１０に示す画面の周辺部である領域ＲｎＡLRと同じでなくてよい。 The left end of the region RnB CTR may be p12 and the right end may be p13. That is, the screen center in FIG. 14 may or may not be the same as the screen center region RnB CTR shown in FIG. The positions of p11 and p12 in the periphery of the screen may be set as appropriate. The screen peripheral portion in FIG. 14 may not be the same as the region RnA LR that is the peripheral portion of the screen shown in FIG.
図１５において、実線は、中央部分布割合データHist_Center_Leakの値に応じて可変される、画面中央部において直線状になっている正側のゲインと画面周辺部において直線状になっている負側のゲインを示している。一点鎖線は、中央部分布割合データHist_Center_Leakの値に応じて可変される、画面周辺部において直線状になっている正側のゲインと画面周辺部において直線状になっている負側のゲインを示している。 In FIG. 15, the solid line is variable according to the value of the central portion distribution ratio data Hist_Center_Leak, and the positive gain that is linear at the center of the screen and the negative gain that is linear at the periphery of the screen. Indicates the gain. The alternate long and short dash line indicates the positive gain that is linear at the periphery of the screen and the negative gain that is linear at the periphery of the screen, which is variable according to the value of the center distribution ratio data Hist_Center_Leak. ing.
図１５に示すように、中央部分布割合データHist_Center_Leakの値が所定の値ｒ１１以下であれば、画面中央部における正側のゲイン及び画面周辺部における負側のゲインは１であり、画面周辺部における正側のゲイン及び画面中央部における負側のゲインも１である。この場合、正側のゲイン及び負側のゲインはいずれも画面の位置にかかわらず１となる。 As shown in FIG. 15, if the value of the central portion distribution ratio data Hist_Center_Leak is equal to or less than a predetermined value r11, the positive gain at the center of the screen and the negative gain at the peripheral portion of the screen are 1. The positive gain at and the negative gain at the center of the screen are also 1. In this case, the positive gain and the negative gain are both 1 regardless of the screen position.
中央部分布割合データHist_Center_Leakの値が大きくになるに従って、画面中央部における正側のゲイン及び画面周辺部における負側のゲインは順次大きくなり、所定の値ｒ１２以上で上限値up_limとなり、一定となる。 As the value of the central portion distribution ratio data Hist_Center_Leak increases, the positive gain at the center of the screen and the negative gain at the peripheral portion of the screen increase sequentially, and become an upper limit up_lim above a predetermined value r12 and become constant. .
中央部分布割合データHist_Center_Leakの値が大きくになるに従って、画面周辺部における正側のゲイン及び画面中央部における負側のゲインは順次小さくなり、値ｒ１２以上で下限値lw_limとなり、一定となる。 As the value of the central portion distribution ratio data Hist_Center_Leak increases, the positive gain at the peripheral portion of the screen and the negative gain at the central portion of the screen sequentially decrease, and becomes a lower limit value lw_lim above the value r12 and constant.
図１４の（ｂ）に示す正側のゲインは、ＲＢ割合算出部２８０によって生成された色データ（RB_out信号）における正の値に乗じるゲインである。正側のゲインは、画面の中央部において、中央部分布割合データHist_Center_Leakが大きくなるに従って大きくなる特性を有する。 The positive gain shown in (b) of FIG. 14 is a gain that is multiplied by a positive value in the color data (RB_out signal) generated by the RB ratio calculation unit 280. The gain on the positive side has a characteristic that increases in the central portion of the screen as the central portion distribution ratio data Hist_Center_Leak increases.
図１４の（ｃ）に示す負側のゲインは、ＲＢ割合算出部２８０によって生成された色データ（RB_out信号）における負の値に乗じるゲインである。負側のゲインは、画面の周辺部において、中央部分布割合データHist_Center_Leakが大きくなるに従って大きくなる特性を有する。 The negative gain shown in (c) of FIG. 14 is a gain multiplied by a negative value in the color data (RB_out signal) generated by the RB ratio calculation unit 280. The gain on the negative side has a characteristic that increases in the peripheral portion of the screen as the central portion distribution ratio data Hist_Center_Leak increases.
図７に戻り、以上のようにして算出された正側のゲインGain_Pは乗算器２８８に供給され、負側のゲインGain_Mは乗算器２８７に供給される。 Returning to FIG. 7, the positive gain Gain_P calculated as described above is supplied to the multiplier 288, and the negative gain Gain_M is supplied to the multiplier 287.
出力切換部２８６は、入力されたRB_out信号が負の場合には、RB_out信号を乗算器２８７に供給し、RB_out信号が正の場合には、RB_out信号を乗算器２８８に供給する。 The output switching unit 286 supplies the RB_out signal to the multiplier 287 when the input RB_out signal is negative, and supplies the RB_out signal to the multiplier 288 when the RB_out signal is positive.
乗算器２８７は、負のRB_out信号に対してゲインGain_Mを乗算する。乗算器２８８は、正のRB_out信号に対してゲインGain_Pを乗算する。加算器２８９は、乗算器２８７の出力と乗算器２８８の出力とを加算して、補正オブジェクト信号（補正非立体画像信号）として出力する。 The multiplier 287 multiplies the negative RB_out signal by the gain Gain_M. The multiplier 288 multiplies the positive RB_out signal by the gain Gain_P. The adder 289 adds the output of the multiplier 287 and the output of the multiplier 288, and outputs the result as a corrected object signal (corrected non-stereoscopic image signal).
乗算器２８７，２８８及び加算器２８９は、色データ（RB_out信号）における正の値にゲインGain_Pを乗算し、色データ（RB_out信号）における負の値にゲインGain_Mを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部として動作している。 The multipliers 287 and 288 and the adder 289 multiply the positive value in the color data (RB_out signal) by the gain Gain_P, multiply the negative value in the color data (RB_out signal) by the gain Gain_M, and add both. It operates as an amplitude correction unit that outputs a corrected non-stereoscopic image signal.
オブジェクト信号補正部１２８より出力された補正オブジェクト信号は、正のRB_out信号に対しては図１４の（ｂ）に示すゲインGain_Pが乗算され、負のRB_out信号に対しては図１４の（ｃ）に示すゲインGain_Mが乗算されているので、画面中央部に位置する注目被写体を手前側に、画面周辺部の背景を奥側に補正することになる。 The corrected object signal output from the object signal correcting unit 128 is multiplied by the gain Gain_P shown in FIG. 14B for the positive RB_out signal, and FIG. 14C for the negative RB_out signal. Since the gain Gain_M shown in FIG. 5 is multiplied, the subject of interest located at the center of the screen is corrected to the near side, and the background of the peripheral portion of the screen is corrected to the back side.
以上のようにして生成された補正オブジェクト信号は、図２の加算器１１９に入力される。加算器１１９は、合成部１１７より出力された画面全体の視差値を示すデータと補正オブジェクト信号とを加算して、奥行き推定データとして出力する。 The corrected object signal generated as described above is input to the adder 119 in FIG. The adder 119 adds the data indicating the parallax value of the entire screen output from the combining unit 117 and the corrected object signal, and outputs the result as depth estimation data.
図１６を用いて、本実施形態による効果について説明する。図１６において、（ａ）は従来の処理による擬似立体画像であり、（ｂ）は本実施形態の処理による擬似立体画像である。図１６の（ａ）の擬似立体画像は、特許文献１に記載されている画面全体の視差値を示すデータに対してＲ信号をそのまま加算する処理による画像である。 The effect by this embodiment is demonstrated using FIG. In FIG. 16, (a) is a pseudo-stereoscopic image by conventional processing, and (b) is a pseudo-stereoscopic image by processing of the present embodiment. The pseudo-stereoscopic image in FIG. 16A is an image obtained by adding the R signal as it is to the data indicating the parallax value of the entire screen described in Patent Document 1.
図１６の（ａ），（ｂ）は、シフト量０〜２５５を黒から白までのグレースケールで表現している。シフト量０は奥行き方向の視差が最大の状態、シフト量１２８は視差が０の状態、シフト量２５５は飛び出し方向の視差が最大の状態である。 16A and 16B express the shift amount 0 to 255 in a gray scale from black to white. A shift amount 0 is a state in which the parallax in the depth direction is maximum, a shift amount 128 is a state in which the parallax is 0, and a shift amount 255 is a state in which the parallax in the pop-out direction is maximum.
図１６の（ａ），（ｂ）は、画面の中央部に注目被写体（象の画像）が存在しており、注目被写体の周囲が背景となっている画像の例である。この画像の場合には、合成部１１７において基本奥行きモデルのタイプ１が選択される。従って、注目被写体は基本奥行きモデルが示す視差値によって奥行き方向へと移動してしまう。従来では、図１６の（ａ）に示すように、注目被写体の立体の程度が限定的である。 FIGS. 16A and 16B are examples of images in which the subject of interest (elephant image) is present at the center of the screen and the background of the subject of interest is the background. In the case of this image, type 1 of the basic depth model is selected in the synthesis unit 117. Accordingly, the subject of interest moves in the depth direction depending on the parallax value indicated by the basic depth model. Conventionally, as shown in FIG. 16 (a), the degree of solid of the subject of interest is limited.
これに対して、本実施形態によれば、オブジェクト信号補正部１２８によって生成した補正オブジェクト信号によって、注目被写体が手前側（飛び出し側）、背景が奥側となるように、個別に重み付けしている。 On the other hand, according to the present embodiment, the weight is individually weighted so that the subject of interest is on the near side (protruding side) and the background is on the far side by the corrected object signal generated by the object signal correcting unit 128. .
従って、図１６の（ｂ）に示すように、注目被写体の飛び出し方向へのシフト量が大きくなり、注目被写体と背景との分離感が向上し、立体効果が大きく改善されていることが分かる。 Therefore, as shown in FIG. 16B, it can be seen that the shift amount of the subject of interest in the pop-out direction is increased, the feeling of separation between the subject of interest and the background is improved, and the stereoscopic effect is greatly improved.
本実施形態によれば、画面の中央部に注目被写体が存在している程度に応じて画面中央部を飛び出させ、画面周辺部を引っ込ませることができ、画像の絵柄に応じて適切な飛び出し及び引っ込みの程度とすることができる。 According to the present embodiment, it is possible to make the center of the screen pop out according to the extent to which the subject of interest is present in the center of the screen and to retract the peripheral portion of the screen, It can be the degree of retraction.
以上説明した本実施形態においては、ステレオペア生成部２が２視点の画像データを生成し、ステレオ画像表示装置３が２視点の画像データに基づいて立体画像を表示する構成を示している。３視点以上の画像データを生成し、３視点以上の画像データに基づいて立体画像を表示するいわゆる多視点画像表示装置によって立体画像を表示してもよい。 In the present embodiment described above, a configuration in which the stereo pair generation unit 2 generates two-viewpoint image data and the stereo image display device 3 displays a stereoscopic image based on the two-viewpoint image data is shown. A stereoscopic image may be displayed by a so-called multi-viewpoint image display device that generates image data of three or more viewpoints and displays a stereoscopic image based on the image data of three or more viewpoints.
ステレオ画像表示装置３は、偏光めがねを用いたプロジェクションシステム、時分割表示と液晶シャッタめがねとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のいずれでもよい。 The stereo image display device 3 includes any of a projection system using polarized glasses, a projection system or a display system combining time-division display and liquid crystal shutter glasses, a lenticular stereo display, an anaglyph stereo display, a head mounted display, etc. But you can.
プロジェクタシステムは、ステレオペアのそれぞれの画像データを投射する２台のプロジェクタで構成することができる。 The projector system can be composed of two projectors that project respective image data of a stereo pair.
本実施形態の奥行き情報生成装置または擬似立体画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。 The depth information generation apparatus or pseudo-stereoscopic image generation apparatus of the present embodiment may be configured by hardware, or may be configured by software by a computer program.
コンピュータに以上説明した奥行き情報生成装置及び方法、や似立体画像生成装置及び方法と同様の処理を実行させる場合、奥行き情報生成プログラムや擬似立体画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、奥行き情報生成プログラムや擬似立体画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。 When a computer performs the same processing as the above-described depth information generation apparatus and method and similar stereoscopic image generation apparatus and method, the depth information generation program and the pseudo stereoscopic image generation program are read from the recording medium and installed in the computer. Alternatively, the depth information generation program and the pseudo stereoscopic image generation program may be installed in the computer via a network.
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention.
１ 奥行き情報生成部（奥行き情報生成装置）
２ ステレオペア生成部
３ ステレオ画像表示装置
１１２ 上部高域成分評価部
１１３ 下部高域成分評価部
１１４〜１１６ フレームメモリ（視差データ発生部）
１１７ 合成部（視差データ発生部）
１１９ 加算器
１２８ オブジェクト信号補正部
２１１ 奥行き推定部
２１ 画素シフト部
２８０ ＲＢ割合算出部
２８１ 画像特徴検出部
２８２ａ，２８２ｂ ヒストグラム検出部
２８３ 中央部分布割合算出部
２８５ ゲイン算出部
２８７，２８８ 乗算器（振幅補正部）
２８９ 加算器（振幅補正部）
1 Depth information generator (depth information generator)
2 stereo pair generation unit 3 stereo image display device 112 upper high frequency component evaluation unit 113 lower high frequency component evaluation unit 114 to 116 frame memory (parallax data generation unit)
117 Synthesizer (parallax data generator)
119 Adder 128 Object signal correction unit 211 Depth estimation unit 21 Pixel shift unit 280 RB ratio calculation unit 281 Image feature detection unit 282a, 282b Histogram detection unit 283 Central part distribution ratio calculation unit 285 Gain calculation unit 287, 288 Multiplier (Amplitude) Correction part)
289 Adder (amplitude correction unit)
Claims (8)
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部と、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部と、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するゲイン算出部と、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部と、
前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器と、
を備えることを特徴とする奥行き情報生成装置。 Using a basic depth model for determining the parallax value of the entire screen, a parallax data generating unit for generating parallax data indicating the parallax value of each pixel in the screen;
A color data generation unit that generates color data in which a warm color system takes a positive value and a cold color system takes a negative value using a red signal and a blue signal in a non-stereoscopic image signal;
Using the red signal and the blue signal, the degree of difference between the color in the first peripheral portion of the screen and the color in the first central portion is detected, so that the subject of interest is placed in the first central portion. A central part distribution ratio calculating unit for calculating central part distribution ratio data indicating the degree of distribution;
A gain that is multiplied by a positive value in the color data, and a first gain that increases as the central portion distribution ratio data increases in a second central portion that is the same as or different from the first central portion of the screen. , A gain multiplied by a negative value in the color data, and a second gain that increases as the central portion distribution ratio data increases in a second peripheral portion that is the same as or different from the first peripheral portion of the screen. A gain calculation unit for calculating
Amplitude correction for multiplying a positive value in the color data by the first gain, multiplying a negative value in the color data by the second gain, and adding both to output a corrected non-stereoscopic image signal And
An adder that adds the parallax data generated by the parallax data generation unit and the corrected non-stereoscopic image signal output from the amplitude correction unit to generate depth estimation data for each pixel in the screen;
A depth information generating apparatus comprising:
画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部と、
をさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成する
ことを特徴とする請求項２記載の奥行き情報生成装置。 An upper high-frequency component evaluation unit that generates an upper high-frequency component evaluation value by evaluating the amount of a high-frequency component included in a predetermined region on the upper part of the screen;
A lower high-frequency component evaluation unit that generates a lower high-frequency component evaluation value by evaluating the amount of a high-frequency component included in a predetermined lower area on the screen;
Further comprising
The combining unit combines disparity data indicating disparity values of the entire screen of each of the plurality of basic depth models according to the upper high-frequency component evaluation value and the lower high-frequency component evaluation value. The depth information generation device according to claim 2.
前記第１の周辺部における前記色割合データのヒストグラムを検出する第１のヒストグラム検出部と、
前記第１の中央部における前記色割合データのヒストグラムを検出する第２のヒストグラム検出部と、
をさらに備え、
前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムとを用いて、前記中央部分布割合データを算出する
ことを特徴とする請求項１〜３のいずれか１項に記載の奥行き情報生成装置。 A color ratio data generation unit that generates color ratio data indicating a ratio between red and blue using the red signal and the blue signal;
A first histogram detector for detecting a histogram of the color ratio data in the first peripheral portion;
A second histogram detection unit for detecting a histogram of the color ratio data in the first central part;
Further comprising
The central part distribution ratio calculation unit calculates the central part distribution ratio data using the histogram detected by the first histogram detection unit and the histogram detected by the second histogram detection unit. The depth information generation device according to any one of claims 1 to 3.
前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部と、
を備えることを特徴とする擬似立体画像生成装置。 The depth information generation device according to any one of claims 1 to 5,
A multi-viewpoint image data generating unit that generates image data of a plurality of viewpoints based on the depth estimation data;
A pseudo-stereoscopic image generation apparatus comprising:
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出し、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出し、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成し、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する
ことを特徴とする奥行き情報生成方法。 Using a basic depth model for determining the parallax value of the entire screen, generating parallax data indicating the parallax value of each pixel in the screen,
Using the red and blue signals in the non-stereo image signal, generate color data in which the warm color system takes a positive value and the cold color system takes a negative value,
Using the red signal and the blue signal, the degree of difference between the color in the first peripheral portion of the screen and the color in the first central portion is detected, so that the subject of interest is placed in the first central portion. Calculate the central distribution ratio data indicating the degree of distribution,
A gain that is multiplied by a positive value in the color data, and a first gain that increases as the central portion distribution ratio data increases in a second central portion that is the same as or different from the first central portion of the screen. , A gain multiplied by a negative value in the color data, and a second gain that increases as the central portion distribution ratio data increases in a second peripheral portion that is the same as or different from the first peripheral portion of the screen. And
Multiplying a positive value in the color data by the first gain, multiplying a negative value in the color data by the second gain, and adding both to generate a corrected non-stereoscopic image signal;
A depth information generation method characterized by adding the parallax data and the corrected non-stereoscopic image signal to generate depth estimation data for each pixel in the screen.
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成するステップと、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出するステップと、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するステップと、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成するステップと、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップと、
を実行させることを特徴とする奥行き情報生成プログラム。 On the computer,
Generating disparity data indicating the disparity value of each pixel in the screen using a basic depth model for determining the disparity value of the entire screen;
Using the red signal and the blue signal in the non-stereo image signal to generate color data in which the warm color system has a positive value and the cold color system has a negative value;
Using the red signal and the blue signal, the degree of difference between the color in the first peripheral portion of the screen and the color in the first central portion is detected, so that the subject of interest is placed in the first central portion. Calculating central portion distribution ratio data indicating the degree of distribution;
A gain that is multiplied by a positive value in the color data, and a first gain that increases as the central portion distribution ratio data increases in a second central portion that is the same as or different from the first central portion of the screen. , A gain multiplied by a negative value in the color data, and a second gain that increases as the central portion distribution ratio data increases in a second peripheral portion that is the same as or different from the first peripheral portion of the screen. Calculating and
Multiplying a positive value in the color data by the first gain, multiplying a negative value in the color data by the second gain, and adding both to generate a corrected non-stereoscopic image signal; ,
Adding the parallax data and the corrected non-stereoscopic image signal to generate depth estimation data for each pixel in the screen;
A depth information generation program characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012144154A JP5786807B2 (en) | 2012-06-27 | 2012-06-27 | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012144154A JP5786807B2 (en) | 2012-06-27 | 2012-06-27 | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014011470A true JP2014011470A (en) | 2014-01-20 |
| JP5786807B2 JP5786807B2 (en) | 2015-09-30 |
Family
ID=50107830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012144154A Active JP5786807B2 (en) | 2012-06-27 | 2012-06-27 | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5786807B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148625A (en) * | 2023-04-20 | 2023-05-23 | 长鑫存储技术有限公司 | Method for testing semiconductor product |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087100A (en) * | 2009-10-15 | 2011-04-28 | Jvc Kenwood Holdings Inc | Pseudo-stereoscopic image generation device and pseudo-stereoscopic image display system |
-
2012
- 2012-06-27 JP JP2012144154A patent/JP5786807B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087100A (en) * | 2009-10-15 | 2011-04-28 | Jvc Kenwood Holdings Inc | Pseudo-stereoscopic image generation device and pseudo-stereoscopic image display system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148625A (en) * | 2023-04-20 | 2023-05-23 | 长鑫存储技术有限公司 | Method for testing semiconductor product |
| CN116148625B (en) * | 2023-04-20 | 2023-09-19 | 长鑫存储技术有限公司 | Method for testing semiconductor product |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5786807B2 (en) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5402483B2 (en) | Pseudo stereoscopic image creation device and pseudo stereoscopic image display system | |
| US20130038606A1 (en) | Image processing apparatus, image processing method, and program | |
| TWI493505B (en) | Image processing method and image processing apparatus thereof | |
| JP5692051B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
| US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| US9179132B2 (en) | Depth signal generation apparatus, pseudo stereo image signal generation apparatus, depth signal generation method, pseudo stereo image signal generation method, computer-readable recording medium recording depth signal generation program, and computer-readable recording medium recording pseudo stereo image signal generation program | |
| JP5304758B2 (en) | Multi-viewpoint image creation apparatus, multi-viewpoint image creation method, and multi-viewpoint image display system | |
| JP2013090129A (en) | Image processing apparatus, image processing method and program | |
| US8976175B2 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
| JP5786807B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
| JP5780214B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
| US9460550B2 (en) | Multi-viewpoint image generation apparatus and method | |
| JP5500092B2 (en) | Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device | |
| JP6028427B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
| JP5691966B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
| JP2012084961A (en) | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program | |
| JP5459231B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus | |
| JP5888140B2 (en) | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program | |
| JP6056459B2 (en) | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program | |
| JP2014072640A (en) | Depth estimation data generation device, pseudo three-dimensional image generation device, depth estimation data generation method and depth estimation data generation program | |
| JP2012060381A (en) | Depth data generation device, pseudo stereoscopic image signal generation device, depth data generation method, pseudo stereoscopic image signal generation method, depth data generation program, and pseudo stereoscopic image signal generation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150630 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150713 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5786807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |