JP2001320731A - Device for converting two-dimensional image into there dimensional image and its method - Google Patents

Device for converting two-dimensional image into there dimensional image and its method

Info

Publication number
JP2001320731A
JP2001320731A JP2000109211A JP2000109211A JP2001320731A JP 2001320731 A JP2001320731 A JP 2001320731A JP 2000109211 A JP2000109211 A JP 2000109211A JP 2000109211 A JP2000109211 A JP 2000109211A JP 2001320731 A JP2001320731 A JP 2001320731A
Authority
JP
Japan
Prior art keywords
amount
step
image
parallax
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000109211A
Other languages
Japanese (ja)
Inventor
Toshiya Iinuma
Takayuki Mori
Haruhiko Murata
Mitsuo Nakajima
Shiyuugo Yamashita
三生 中島
周悟 山下
治彦 村田
孝幸 森
俊哉 飯沼
Original Assignee
Sanyo Electric Co Ltd
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP33682499 priority Critical
Priority to JP11-336824 priority
Priority to JP2000-58047 priority
Priority to JP2000058047 priority
Application filed by Sanyo Electric Co Ltd, 三洋電機株式会社 filed Critical Sanyo Electric Co Ltd
Priority to JP2000109211A priority patent/JP2001320731A/en
Priority claimed from EP00977933A external-priority patent/EP1235438B1/en
Publication of JP2001320731A publication Critical patent/JP2001320731A/en
Application status is Withdrawn legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a method for converting a two-dimensional image into a three-dimensional image capable of avoiding that the stereoscopic effects of a conversion video are greatly different depending on an input image when a two-dimensional video is converted into a three-dimensional video by using an MTD method and a CID method together. SOLUTION: The device is provided with a parallax value correction means to correct the parallax value for each region calculated by the parallax value calculation means in compliance with the size of a motion vector for each region detected by a motion vector detecting means, and a phase control means to correct the phase of each region of the video for the right and left eyes outputted by a switching means based on the parallax value of each region corrected by the parallax value correction means, and then to output it as a stereoscopic video signal.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、2次元映像を3次元映像に変換する装置とその方法に関する。 The present invention relates to an apparatus for converting 2D images into 3D images and a method thereof.

【0002】 [0002]

【従来の技術】従来、2次元映像を3次元映像に変換する装置及びその方法は、特開平9−107562号公報及び特開平10−51812号公報に記載されている。 Conventionally, apparatus and method for converting 2D images into 3D images is described in JP-A-9-107562 and JP-A No. 10-51812.

【0003】まず、特開平9−107562号公報に記載されている概要を、図12に基づいて説明する。 [0003] First, an outline that is described in JP-A-9-107562 will be described with reference to FIG. 12.

【0004】2次元映像(2D映像)では、鳥が山の前を左から右へ飛んでいる様子を画像1から5に示すように、撮像したとする。 [0004] In the two-dimensional image (2D image), a state in which birds are flying before the mountain from left to right from the image 1, as shown in 5, and imaged.

【0005】まず、画像1から画像2に移行する際の動きベクトル、画像2から画像3に移行するための動きベクトル等のように、各画像間の動きベクトルを抽出する。 [0005] First, the motion vector at the time of transition from the image 1 to the image 2, as in the motion vector and the like for transition from the image 2 to the image 3, extracts a motion vector between images. 次に、抽出した動きベクトルから被写体(鳥)と背景(山)とを決定する。 Then, from the extracted motion vector and the object (birds) to determine the background (mountains). そして、被写体が背景の前に来るように基準画像を右または左目画像の一方に決め、動きベクトルの大きさに応じてフィールド数遅延させた画像を他方として決める。 Then, the object is determined in one of the right or the left-eye image the reference image to come in front of the background determines the image obtained by delaying the number of fields depending on the magnitude of the motion vector as the other.

【0006】例えば、基準画像、即ち現在の画像が画像4とすると、画像3と画像4とから得られた動きベクトルの大きさに応じてフィールド遅延させた画像、即ち遅延画像を画像2とし、動きベクトルの方向から基準画像を左目用画像、また遅延画像を右目画像に見せている。 [0006] For example, when the reference image, i.e. the current image and the image 4, image was field delay, i.e. the delay image and the image 2 in accordance with the magnitude of the motion vector obtained from the images 3 and 4 which, left eye image the reference image from the direction of the motion vector, also delayed images are shown to the right-eye image.

【0007】この動作を繰り返し実行することにより、 [0007] By repeating this operation,
立体感のある映像、即ち3次元映像を表示するのである。 It is to display images, i.e. a three-dimensional image of a three-dimensional appearance. この方法は、以下MTD法と呼ぶことにする。 This method is hereafter referred to as MTD method.

【0008】また、特開平10−51812号公報に記載されている概要を、図13に基づいて説明する。 Further, the summary that is described in JP-A-10-51812 will be described with reference to FIG. 13.

【0009】まず、2次元画像を複数の領域に分割し、 [0009] First, by dividing the two-dimensional image into a plurality of regions,
各領域毎に色成分、高周波成分、コントラストを抽出、 Color components for each of the regions, the high frequency component, the contrast extraction,
即ち画像特徴を抽出する。 That is, it extracts the image features. 次に色情報等により分割した各領域をグループ化する。 Then grouping the regions divided by the color information and the like. そして、グループ化した領域単位で、その領域の平均コントラスト及び平均高周波成分等の情報により、奥行き推定を行い視差量を算出する。 Then, in grouped region unit, the information such as the average contrast and the average high-frequency component of the region, and calculates the amount of parallax performs depth estimation. この算出した視差量に基づいて、分割した各領域毎に左目用画像と右目用画像を反対方法に水平シフトさせて、3次元映像を生成している。 Based on the calculated amount of parallax by horizontally shifting in opposite ways left eye images and right eye images for each of the regions divided, and generates a three-dimensional image.

【0010】このようにして作成した左目用映像及び右目用映像を立体表示手段に表示させて立体表示するのである。 [0010] than is stereoscopically displayed this way is displayed on the stereoscopic display means left-eye video and the right-eye image that was created. この方法は、CID法と呼ぶことにする。 This method will be referred to as CID method.

【0011】MTD法およびCID法について、さらに詳しく説明する。 [0011] For the MTD method and the CID method, it will be described in more detail.

【0012】1. [0012] 1. MTD法 MTD法では、画面内の動きに応じて、左右いずれかの目に入る映像を遅延させて立体感を作りだす。 The MTD method MTD method, in accordance with the movement of the screen, delaying the left or right eyes video create a stereoscopic effect. この際、 On this occasion,
映像にとって最適である(目標となる)フィールド遅延量(目標遅延量dly _target)は、被写体背景判別によって得た被写体領域の水平方向ベクトルの平均値obj _ Is optimal for image (the target) field delay amount (target delay dly _target), the average value of the horizontal vector of the object area obtained by the object background judgment obj _
xvec [pixel / field]と背景領域の水平方向ベクトルbg xvec [pixel / field] in the horizontal direction vector bg of the background area
_xvec [pixel / field]を用い、次式1により決定する。 Using _xvec [pixel / field], determined by the following equation 1. なお、ベクトルは右方向の動きに対して正の値を取る。 Incidentally, the vector takes a positive value for the right movement.

【0013】 [0013]

【数1】 [Number 1]

【0014】ここで、Mdly_sisaはMTD法によって生成する立体感を決定する視差量[pixel] を表し、その値はユーザーインターフェース等を介し予め設定される。 [0014] Here, Mdly_sisa represents parallax amount [pixel] to determine the three-dimensional effect produced by MTD method, the value is determined beforehand through the user interface or the like.

【0015】なお、左右いずれの目を遅延させるかという遅延方向は、目標遅延量dly _targetを用い次式2により決定される。 [0015] Note that the delay direction of whether to delay the right or left eye is determined by the following equation 2 using the target delay dly _target.

【0016】 [0016]

【数2】 [Number 2]

【0017】ここでは、便宜上、目標遅延量を例に遅延量の説明を行ったが実際の制御では、目標遅延量を時間的に平滑化した実遅延量delay により遅延するフィールド数と遅延方向を決定する。 [0017] Here, for convenience, the target delay but actual control was delay amount described as an example, the number of fields to be delayed by the real delay delay to the target delay temporally smoothing the delay direction decide.

【0018】2. [0018] 2. 被写体位置制御 被写体位置制御は、MTD法を行った場合に生じる管面に対する物体呈示位置のあいまいさを是正するために使用する。 Object position control object position control is used to correct the ambiguity of the object presentation position for the tube surface that occurs when performing MTD method. すなわち、MTD法では、図14に示すように被写体が動くか背景が動くかによって、見え方が異なる。 That is, in the MTD method, depending on whether the subject moves or the background as shown in FIG. 14 moves, appearance is different. このため、被写体位置制御の中央割り振り中央基準では、被写体が動く場合は、右眼映像の呈示位置を右にシフトし、左目映像の呈示位置を左にシフトすることで画面全体を奥方向にもっていくことによって、被写体から管面の画素数と管面から背景の画素数が等しくなるようにしている。 Therefore, in the central allocation center reference of the object position control, if the object moves shifts the presenting position of the right eye image to the right, with the entire screen depth direction by shifting to the left the presenting position of the left-eye image by going, so that the number of pixels of the background from the number of pixels and the tube surface of the tube surface from the object are equal. また、背景が動く場合は、右眼映像の呈示位置を左にシフトし、左目映像の呈示位置を右にシフトすることで画面全体を手前方向にもっていくことによって、被写体から管面の画素数と管面から背景の画素数が等しくなるようにしている。 Further, when the background moves, shifts the presenting position of the right eye image to the left, by bringing the whole screen in front direction by shifting to the right the presenting position of the left-eye image, the number of pixels of the tube surface from the object the number of pixels of the background is set to be equal from the tube surface and.

【0019】この被写体位置制御の中央割り振り中央基準によって算出される右眼の水平位相量phr と左眼の水平位相量phl は、フィールド遅延により発生する被写体の位相量obj _sisaと背景の位相量bg_sisaを次式3で表した場合、以下の式4で表現できる。 The horizontal phase amount phl horizontal phase amount phr and left of the right eye are calculated by the central allocation center reference of the object position control of the object generated by the field delay in the phase amount obj _Sisa the background phase amount bg_sisa the when expressed in the following equation 3 it can be expressed by equation 4 below.

【0020】 [0020]

【数3】 [Number 3]

【0021】 [0021]

【数4】 [Number 4]

【0022】なお、実遅延量delay は目標遅延量dly _ [0022] In addition, the actual delay amount of delay is the target amount of delay dly _
targetを時間的に平滑化しているため、MTD法により生成される視差量dly _sisa(=obj _sisa - bg _sis Due to the temporal smoothing target, parallax amount dly _sisa (= obj _sisa produced by MTD method - bg _sis
a) [pixel] (dly_sisaは飛び出している場合は正の値を、奥まっている場合は負の値を取る。) の絶対値とユーザ設定によって予め決定したMdly_sisa[pixel] とは完全に一致しない。 a) [pixel] (a positive value if dly_sisa has jumped out, if you are recessed a negative value.) Not fully agree with Mdly_sisa [pixel] which is previously determined by the absolute value and the user setting . また、遅延がない(dly _target = In addition, the delay is not (dly _target =
0)場合は、dly _sisa=0となる。 0) case, the dly _sisa = 0.

【0023】3. [0023] 3. CID法 CID法は、一画面を複数の領域に分割し、各々の領域から得た画像情報及び構図から各領域の奥行きを推定し、この推定した奥行きを基に画面内の各画素をシフトすることによって両眼視差を生成する手法である。 CID method CID method divides one screen into a plurality of regions, and estimating the depth of each region from the image information and the composition obtained from each of the regions, shifting the pixels in the screen based on the estimated depth it is a technique for generating a binocular parallax by.

【0024】また、本出願人は、既に開発したCID法をさらに改良したCID法をも開発している。 [0024] In addition, the present applicant has already also developed the CID method to further improve the CID method developed.

【0025】図15は、改良後のCID法(公知ではない)の制御手順を示している。 FIG. 15 shows a control procedure of CID method after the modification (not known).

【0026】まず、一画面を複数の領域に分割し、各々の領域から高周波、輝度コントラスト、色(BY、RY 成分) の情報を得る(ステップ61)。 Firstly, dividing one screen into a plurality of regions, obtaining a high frequency, luminance contrast, color (BY, RY component) information from each region (step 61). そして、これらの情報及び構図から推定した各領域の奥行き推定値を求める(ステップ62)。 Then, a depth estimation value for each estimated from the information and the composition region (step 62). 求めた奥行き推定値を単にシフト量に変換すると変換画像に歪みが目立つため、歪み抑圧処理を行う(ステップ63)。 For a simply convert to the shift amount of the depth estimation value obtained distortion is conspicuous in the converted image, it performs distortion suppression processing (step 63). 歪み抑圧処理後の奥行き推定値に距離スケール変換を施す(ステップ64)。 Subjected to distance scale conversion to the depth estimation value after the distortion suppression processing (step 64).

【0027】歪み抑圧処理について説明する。 [0027] The distortion suppression processing will be described. CID法では、2D画像を変形し左右画像を生成する。 The CID method generates the left and right images by modifying the 2D image. この変形が大きくなりすぎると不自然な映像となるため、CID Since this modification is increased and excessively if unnatural images, CID
法では、隣接する領域間の位相量の差が、ユーザによって予め定められた変換画像の歪み許容範囲h _supp_le In law, the difference between the phase amount between adjacent regions, the strain tolerance of the transformed image predetermined by the user h _Supp_le
v[Pixel]以下になるよう制御している。 v [Pixel] is controlled to be less. すなわち、推定した奥行きをMfrontとMrear との間に割り当てることによって求めた各領域の位相量から隣接する領域の位相量の差を求める。 That determines the difference in phase of adjacent regions from the phase of the regions obtained by assigning between the estimated depth of Mfront and Mrear. この差の最大値をh _dv_max[pixel]とし、h _dv_max が歪み許容範囲h _supp_lev[pixel] The maximum value of this difference and h _dv_max [pixel], h _dv_max distortion tolerance h _supp_lev [pixel]
を越える場合は、次式5を満足するまでMfrontとMrear If exceeding, Mfront and Mrear until satisfy the following equation 5
を0[pixel] に近づける方向に小さくする。 The smaller in the direction closer to 0 [pixel].

【0028】 [0028]

【数5】 [Number 5]

【0029】従って、h _dv_max がh _supp_lev より大きい場合は、図16の右側の図に示すように、変換映像の飛び出し位相量front[Pixel]と奥まり位相量rear [0029] Therefore, h _Dv_max is greater than h _Supp_lev, as shown on the right side of FIG. 16, protrusion of converted image phase amount front [Pixel] with OkuMari phase amount rear
[Pixel] を、次式6の線形演算により、ユーザが予め定めた最大飛び出し位相量Mfront[Pixel] と最大奥まり位相量Mrear[Pixel]より小さくする。 The [Pixel], by linear computation of the following equation 6, the user is smaller than the maximum OkuMari phase amount Mrear [Pixel] of maximum protrusion amount of phase Mfront [Pixel] as determined in advance.

【0030】 [0030]

【数6】 [6]

【0031】逆に、h _dv_max がh _supp_lev より小さい場合は、変換画像の歪みは許容範囲内であるから、図16の左側の図に示すように、次式7が成り立つ。 [0031] Conversely, if h _Dv_max is h _Supp_lev less, since the distortion of the converted image is within the allowable range, as shown in the left drawing of FIG. 16, the following equation 7 is established.

【0032】 [0032]

【数7】 [Equation 7]

【0033】つまり、h _dv_max がh _supp_lev より小さい場合は、変換映像の位相のダイナミックレンジ [0033] That is, if h _Dv_max is h _Supp_lev smaller than the phase dynamic range of the converted image
dv_range(=front rear) と、ユーザが予め定めた位相のダイナミックレンジMdv _range(=Mfront Mrear) とは等しくなる。 And dv_range (= front rear), is equal to the dynamic range of the user predetermined phase Mdv _range (= Mfront Mrear).

【0034】なお、実機におけるこのダイナミックレンジを抑圧する歪み抑圧処理は、CPU負荷を軽減するためh _supp_lev を推定した奥行きの単位に置き換えて行っているが、ここでは便宜上、画素の単位系を用いて説明を行った。 [0034] Incidentally, the distortion suppression processing for suppressing the dynamic range in actual, although carried out replacing the unit depth estimating the h _Supp_lev order to reduce the CPU load, for convenience, the use of a unit system of the pixel It has been described Te.

【0035】距離スケール変換方法について説明する。 The distance scale conversion method will be described.

【0036】2眼式立体ディスプレイでは、右眼用画像(R画像)と左眼用画像(L画像)の対応点の視差量W [0036] In the binocular stereoscopic display, a parallax amount W of the corresponding point of the right-eye image (R image) for the left eye image (L image)
とその融像位置(実際に見える管面からの距離)Ypとは、非線形の関係にある。 And its fusion position (distance from the tube surface to actually visible) Yp, are in a nonlinear relationship.

【0037】すなわち、ディスプレイ面上で視差W[mm] [0037] In other words, the parallax W [mm] on the display surface
を持つR画像およびL画像を管面から距離K[mm]離れた位置から観察した場合、管面からの融像位置までの距離 When observed from the position apart distance K [mm] the R image and an L image from the tube surface with the distance to the fusion position from the tube surface
Yp[mm]は次式8で表される。 Yp [mm] is expressed by the following equation 8.

【0038】 [0038]

【数8】 [Equation 8]

【0039】上記数式8において、各変数は以下の値を表す。 [0039] In the above Equation 8, each variable representing the following values. K :ディスプレイ管面からの観察者までの距離 [mm] E :眼間の1/2 の長さ [mm] W :ディスプレイ面上での左眼用画像と右眼用画像の対応点の視差量 [mm] Yp:管面から融像位置までの距離[mm] K: distance to the observer from the display tube surface [mm] E: the length of 1/2 of the interocular [mm] W: disparity of corresponding points of the left-eye image and the right-eye image on a display surface the amount [mm] Yp: distance from the tube surface to the fusion position [mm]

【0040】K=1000mm, 2E=65mm として上記数式8をグラフで表すと、図17のようになる。 [0040] K = 1000 mm, to represent the above equation 8 graphically as 2E = 65 mm, is shown in Figure 17.

【0041】図17より、奥行き推定値を線形的に画素の単位に置き換えただけでは、融像する映像には空間的な歪みを生じることが分かる。 [0041] From FIG. 17, only substituting the depth estimates to linearly unit pixel, it can be seen that the resulting spatial distortion to the video to fusion. そこで、距離スケール手法では、空間歪みを考慮して、奥行き推定値を画素の単位に変換する。 Therefore, in the distance scale approach, taking into account the spatial distortion, it converts the depth estimation value in the unit of pixel.

【0042】以下、距離スケール変換手法について簡単に説明する。 [0042] In the following, it will be briefly described distance scale conversion method.

【0043】今、ディスプレイ上の1画素の幅をU[mm] [0043] Now, the width of one pixel on the display U [mm]
とし、対応点がα画素分の視差Wがあるとすると、視差Wは次式9で表される。 And, when the corresponding point is that there is a disparity W of α pixels, the parallax W is expressed by the following equation 9.

【0044】 [0044]

【数9】 [Equation 9]

【0045】上記数式9を上記数式8に代入することにより、次式10に示すように、画素と融像位置の関係が求まる。 [0045] By substituting the equation 9 in the equation 8, as shown in the following equation 10, obtained the relationship between the pixel and fusion positions.

【0046】 [0046]

【数10】 [Number 10]

【0047】また、上式10を変形し次式11を得る。 Further, to obtain the following equation 11 by modifying the above equation 10.

【0048】 [0048]

【数11】 [Number 11]

【0049】完全距離スケール変換では、管面からの最大飛び出し量Ymax' と管面からの最大奥まり量Ymin' を指定すると、奥行き推定値depth (0〜100の値を持つ)が決まれば対応する奥行きYpは次式12で表される単純なスケール変換で得ることができる。 [0049] In full distance scale conversion, specifying the 'maximum OkuMari amount Ymin from the tube surface' amount of maximum protrusion Ymax from the tube surface, (with a value of 0 to 100) the depth estimate depth is Kimare if the corresponding depth Yp to can be obtained by simple scaling represented by the following formula 12.

【0050】 [0050]

【数12】 [Number 12]

【0051】そして、Ypに対応する視差量αは、上記1 [0051] Then, the parallax amount α corresponding to Yp, the above-mentioned 1
1により求められる。 It is determined by 1. これにより、空間歪みを考慮して、奥行き推定値を画素の単位に変換することができる。 This makes it possible to convert in consideration of spatial distortion, the depth estimation value in units of pixels.

【0052】完全距離スケール変換において、256段の視差量変換テーブルW" を用いる場合は、図18に示すように、まず、Ymax' 〜Ymin' の間を256等分し、 [0052] In complete distance scale conversion, when using a parallax amount conversion table W "of 256 stages, as shown in FIG. 18, first, 256 equally divided between Ymax '~Ymin',
各奥行き値Yp毎に対応した視差量変換テーブルW''[pixe Each depth value Yp parallax amount corresponding to each conversion table W '' [pixe
l]を上記式11に基づいて求める。 l] The obtained based on the equation 11.

【0053】この場合、W"[255] がYmax' に対応した視差量となり、W"[0] がYmin' に対応した視差量となる。 [0053] In this case, W "[255] is 'becomes a parallax amount corresponding to the, W [0] is Ymin Ymax"' a parallax amount corresponding to.
そして、奥行き推定値depth が決まれば、対応する視差量αは次式13より求まる。 Then, once the depth estimation value depth, the amount corresponding disparity α is obtained as the following equation 13.

【0054】 [0054]

【数13】 [Number 13]

【0055】ここで、lev は視差量変換テーブル上の段数を表し、次式14で与えられる。 [0055] Here, lev represents the number of stages of the parallax amount conversion table is given by the following equation 14.

【0056】 [0056]

【数14】 [Number 14]

【0057】ここまで、2D/3D変換における完全距離スケール変換手法について述べたが、この手法には以下に示す2つの問題がある。 [0057] Up to this point, has been described fully distance scale conversion method in 2D / 3D conversion, this approach has two problems described below.

【0058】(1) 奥行きYpが飽和する所まで最大飛び出し量Ymax' を大きくすると、Ymax'近傍の奥行き値を持つ部分において、変換画像自体の歪み( R画像、L画像自体の歪み) が大きくなる。 [0058] (1) 'A large, Ymax' depth Yp is the amount of maximum protrusion Ymax to where saturation in a portion having a depth value in the vicinity of, the converted image itself distortion (R image, the distortion of the L image itself) is large Become.

【0059】(2) 奥行き再現空間のダイナミックレンジを大きく取ろうとすると、最大奥まり量Ymin' を小さくするしかないので、管面より前に飛び出す領域が極端に少なくなる。 [0059] (2) When trying increase the dynamic range of the depth reproduction space, since only to reduce the maximum OkuMari amount Ymin ', region jumping out before the tube surface becomes extremely small.

【0060】上記の問題を回避するためには、奥行きと視差量がある程度比例関係にある領域のみ使用して変換する必要がある。 [0060] To avoid the above problem, it is necessary to depth and parallax amount is converted using only a region is proportional to a certain extent. しかし、それでは画素スケール変換とほぼ同じになってしまい、複雑な処理を行う関係上、完全距離スケール変換はもはや有用とは言い難い。 However, So becomes substantially equal to the pixel scale conversion, the relationship of performing complex processing, hardly complete distance scale conversion is no longer useful to say.

【0061】そこで、考案したのが次に紹介する折れ線距離スケール変換である。 [0061] Therefore, is a line distance scale conversion was devised in turn introduced. 折れ線距離スケール変換では、図19に示すように、飛び出し量比C[%] を導入し、Ymax' 〜0 を255*C/100 等分し、0 〜Ymin' を255 The polygonal line distance scale conversion, as shown in FIG. 19, by introducing a pop-out amount ratio C [%], Ymax '~0 255 * C / 100 equal parts, 0 ~Ymin' 255
{(1-C)/100)}等分することで、視差量変換テーブルを求める。 {(1-C) / 100)} By equally obtains a parallax amount conversion table.

【0062】すなわち、飛び出し量比Cを制御することで、管面より前の飛び出し量を変え、かつ、最大飛び出しとなる部分での変換画像自体の歪みを抑えることができる。 [0062] That is, by controlling the projection amount ratio C, changing previous pop-out amount from the tube surface, and it is possible to suppress the distortion of the converted image itself up to jump out to become part. なお、折れ線距離スケール変換において上記式1 The above formula polygonal line distance scale conversion 1
2に対応する式は、次式15となる。 Expression corresponding to 2, the following equation 15.

【0063】 [0063]

【数15】 [Number 15]

【0064】また、視差量変換テーブルW" の段数を表す上記式14に対応する式は、次式16となる。 [0064] In addition, the formula corresponding to the formula 14 that represents the number of parallax amount conversion table W "is represented by the following equation 16.

【0065】 [0065]

【数16】 [Number 16]

【0066】ここで、Dlevは、次式17で定義され、管面に対応する視差量変換テーブル上の段数を表す。 [0066] Here, DLEV is defined by the following equation 17 represents the number of stages of the parallax amount conversion table corresponding to the tube surface.

【0067】 [0067]

【数17】 [Number 17]

【0068】折れ線距離スケール変換は管面より前と、 [0068] polygonal line distance scale conversion and before the tube surface,
管面より奥において、それぞれ空間的な歪みが出ないようになっている。 In deeper than the tube surface, so as not out spatial distortion, respectively. 逆に言えば、管面において空間的な歪みがでることになる。 Conversely, so that the spatial distortion out in the tube surface. これは、「立体映像を見た場合、 This is because, when looking at the "three-dimensional image,
管面前後で見え方が違う。 Tube surface appearance is different before and after. 」という多くの視聴者から得た言葉より、空間的な歪みは管面近傍で最も分かりづらくなるという仮説に基づいている。 Than words obtained from a number of viewers that ", it is based on the hypothesis that spatial distortion becomes difficult most see at a pipe near the surface.

【0069】なお、実際に使用している値は、管面前後での奥行き視差量変換テーブルの傾向(ステップ幅)が大きく違わないようYmax',Ymin',C を決定している。 [0069] Note that actually used value, a tendency of depth parallax amount conversion table before and after tube surface so that (step width) do not differ significantly Ymax ', Ymin', determines the C.

【0070】4. [0070] 4. MTD法とCID法との併用 一般に、人は、目の位置の視差により生じる左右の死角部の差により立体視の距離感などを知覚している。 Combination general the MTD method and the CID method, a person is perceived like sense of distance stereoscopic due to the difference in dead portions of the right and left caused by the parallax of the eye position. この点、MTD法では、カバーできる反面、動きのない映像や動きの複雑な映像ではうまく3次元映像に変換できなかった。 In this regard, in the MTD method, although capable of covering, could not be converted to work three-dimensional image is a complex image of motionless images or motion. また、CID法では左右目用画像の視差量は自由に変更できる反面、人の左右の目にはその視差により被写体の影になる死角部分が異なって見えるように見せることができなかった。 Further, the CID method although the amount of parallax of left and right eye images are freely changed, to the left and right eyes of the person could not look like look different blind spot areas of shadow of the object using the disparity.

【0071】そこで、動画に対して効果的なMTD法と、静止画も変換可能なCID法を併用して、2D/3 [0071] Therefore, the effective MTD method on the moving, even in combination with convertible CID method still image, 2D / 3
D変換を行なうことが考えられる。 It is conceivable to perform D conversion. この場合には、MT In this case, MT
D法で得られた視差とCID法で得られた視差を単純に加算することが考えられる。 It is believed that simply adding the disparity obtained by the disparity and CID method obtained by D process.

【0072】しかしながら、MTD法による視差とCI [0072] However, the disparity by the MTD method and CI
D法による視差を個別に制御しているため、変換によって生成される視差は入力映像の動きの有無によって大きく左右される。 Due to the independent control of disparity by D method, parallax is generated by the conversion is greatly affected by the presence or absence of motion of the input image. すなわち、入力映像が動画の場合はMT In other words, if the input image is a moving image is MT
D法の視差とCID法の視差が変換映像に反映されるが、静止画の場合はMTD法の視差はなくCID法の視差のみとなる。 Although D Method of parallax disparity and CID method is reflected in the converted image, and only the parallax CID method rather than disparity MTD method in the case of a still image.

【0073】このように入力映像により変換映像の立体感が大きく異なる現象は、ユーザーが立体感を調整する際に都合が悪い。 [0073] significantly different phenomenon stereoscopic effect of converting the image by an input image in this way, inconvenient when a user adjusts the stereoscopic effect.

【0074】 [0074]

【発明が解決しようとする課題】この発明は、MTD法とCID法とを併用して2次元映像を3次元映像に変換する場合に、入力映像により変換映像の立体感が大きく異なるといったことを回避できる2次元映像を3次元映像に変換する方法を提供することを目的とする。 [Problems that the Invention is to Solve The present invention, when converting a combination of the MTD method and CID method 2D images into 3D images, that differ such stereoscopic effect of converting the image by an input image to provide a method of converting two-dimensional images that can be avoided in a three-dimensional image of interest.

【0075】 [0075]

【課題を解決するための手段】この発明による2次元映像を3次元映像に変換する装置は、映像信号源から入力された2次元映像信号をフィールド毎に記憶するフィールドメモリ、入力映像信号のフィールド間の動きに応じた動きベクトルを、入力映像の各領域毎に検出する動きベクトル検出手段、フィールドメモリに格納された映像信号のうちから、入力映像信号に対して、動きベクトル検出手段によって検出された各領域の動きベクトルから求められた遅延量だけ遅延した映像信号をフィールドメモリから読み出す読み出し手段、動きベクトル検出手段で検出された各領域の動きベクトルの水平成分の方向に基づいて、入力映像信号とフィールドメモリから読み出された映像信号とのうち、一方の映像信号を左目映像信号として、他方の SUMMARY OF THE INVENTION The apparatus for converting a 2D image according to the embodiment in a three-dimensional image includes a field memory, field of the input video signal for storing the two-dimensional image signal inputted from the video signal source for each field a motion vector corresponding to the movement between, the motion vector detecting means for detecting for each of the regions of the input image, from among the video signals stored in the field memory to the input video signal, detected by the motion vector detecting means reading means for reading a video signal from the field memory delayed by the delay amount obtained from the motion vectors of the respective areas, based on the direction of the horizontal component of the motion vector of each area detected by the motion vector detecting means, the input video signal of the video signal read from the field memory, the one of the video signals as a left-eye image signal, the other 像信号を右目映像信号として出力する切替手段、入力映像信号から映像特徴量を、入力映像の各領域毎に抽出する特徴量抽出手段、特徴量抽出手段で抽出された各領域毎の画像特徴量に基づいて、入力映像の各領域毎に奥行き量を算出し、算出した各領域毎の奥行き量から各領域毎の視差量を算出する視差量算出手段、視差量算出手段で算出された各領域毎の視差量を動きベクトル検出手段で検出された各領域毎の動きベクトルの大きさに応じて修正する視差量修正手段、ならびに視差量修正手段で修正された各領域の視差量に基づいて、切替手段で出力された右目用映像及び左目用映像の各領域の位相を修正して、立体映像信号として出力する位相制御手段を備えていることを特徴とする。 Switching means for outputting the image signal as the right-eye image signal, the image feature from the input video signal, feature extraction means for extracting for each of the regions of the input image, the image feature amount of each area extracted by the feature extraction means based on, to calculate the amount of depth for each region of the input image, the parallax amount calculation means for calculating the parallax amount of each area from the depth of each area calculated, each area calculated by the parallax amount calculation means parallax amount correction means for correcting in accordance with the magnitude of the motion vector of each region detected by the parallax amount of the motion vector detecting means for each, and on the basis of the parallax amount of each region corrected by the parallax amount correcting means, Correct the phase of each region of the right-eye video and the left-eye video output by the switching means, characterized in that it comprises a phase control means for outputting a stereoscopic video signal.

【0076】視差量修正手段としては、たとえば、視差量算出手段によって算出された各領域毎の視差量から、 [0076] The parallax amount correcting means, for example, from the parallax amount for each area calculated by the parallax amount calculation unit,
対応する領域の動きベクトルの大きさに応じた視差量を減算した差分視差量を各領域毎に算出する手段、および隣接領域間の差分視差量の差の最大値が所定範囲内となるように、ダイナミックレンジを変更して各領域毎の差分視差量を算出する手段を備えているものが用いられる。 As the maximum value of the difference of the difference parallax amount between the corresponding unit for calculating the difference parallax amount obtained by subtracting the amount of parallax corresponding to the magnitude of the motion vectors of regions for each of the regions, and the adjacent region is within a predetermined range , which comprises a means for calculating the difference between the amount of parallax of each area by changing the dynamic range is used.

【0077】視差量修正手段によって得られた各領域毎の差分視差量と対応する領域の動きベクトルの大きさに応じた視差量との和が所定範囲を越える場合には、その余剰視差量に応じた量だけ、遅延量を減少させる手段を設けることが好ましい。 [0077] When the sum of the differences parallax amount for each area obtained by the parallax amount correcting means and the parallax amount corresponding to the magnitude of the motion vector of the corresponding area exceeds a predetermined range, the surplus amount of parallax by an amount corresponding with, it is preferable to provide a means for reducing the amount of delay.

【0078】この発明による2次元映像を3次元映像に変換する方法は、映像信号源から入力された2次元映像信号をフィールド毎にフィールドメモリに記憶させる第1ステップ、入力映像信号のフィールド間の動きに応じた動きベクトルを、入力映像の各領域毎に検出する第2 [0078] The method of converting two-dimensional images according to the embodiment in a three-dimensional image, the first step of storing a two-dimensional image signal inputted from the video signal source in the field memory for each field, between fields of the input video signal a motion vector corresponding to the movement, the detection for each of the regions of the input image 2
ステップ、フィールドメモリに格納された映像信号のうちから、入力映像信号に対して、第2ステップによって検出された各領域の動きベクトルから求められた遅延量だけ遅延した映像信号をフィールドメモリから読み出す第3ステップ、第2ステップで検出された各領域の動きベクトルの水平成分の方向に基づいて、入力映像信号とフィールドメモリから読み出された映像信号とのうち、 Step, the reading out of the video signal stored in the field memory to the input video signal, the video signal from the field memory delayed by the delay amount obtained from the motion vector of each region detected by the second step 3 step, based on the direction of the horizontal component of the motion vector of each region detected in the second step, among the video signal read from the input video signal and the field memory,
一方の映像信号を左目映像信号として、他方の映像信号を右目映像信号として出力する第4ステップ、入力映像信号から映像特徴量を、入力映像の各領域毎に抽出する第5ステップ、第5ステップで抽出された各領域毎の画像特徴量に基づいて、入力映像の各領域毎に奥行き量を算出し、算出した各領域毎の奥行き量から各領域毎の視差量を算出する第6ステップ、第6ステツプで算出された各領域毎の視差量を第2ステップで検出された各領域毎の動きベクトルの大きさに応じて修正する第7ステップ、ならびに第7ステップで修正された各領域の視差量に基づいて、第4ステップで出力された右目用映像及び左目用映像の各領域の位相を修正して、立体映像信号として出力する第8ステップを備えていることを特徴とする。 One of the video signals as a left-eye image signal, a fifth step of extracting the other video signal fourth step of outputting a right-eye image signal, from the input video signal to the image feature, for each region of the input image, a fifth step in based on the image feature amount for each area extracted, the sixth step of calculating the amount of depth for each region of the input image, calculates the amount of parallax of each area from the depth of each area calculated, seventh step is modified according to the magnitude of the motion vectors for each region a parallax amount for each region calculated in the sixth step is detected in the second step, as well as the regions that have been fixed in the seventh step based on the parallax amount, and correct the phase of each region of the output right-eye video and the left-eye video in the fourth step, characterized in that it comprises an eighth step of outputting a stereoscopic image signal.

【0079】第7ステップとしては、たとえば、第6ステップによって算出された各領域毎の視差量から、対応する領域の動きベクトルの大きさに応じた視差量を減算した差分視差量を各領域毎に算出するステップ、および隣接領域間の差分視差量の差の最大値が所定範囲内となるように、ダイナミックレンジを変更して各領域毎の差分視差量を算出するステップを備えているものが用いられる。 [0079] As the seventh step, for example, the sixth from the parallax amount for each area calculated by the step, the corresponding motion vector region sizes in accordance with the parallax amount difference parallax amount for each region obtained by subtracting calculated in step, and so that the maximum value of the difference of the difference parallax amount between the adjacent areas is within a predetermined range is one that comprises the step of calculating the difference parallax amount for each area by changing the dynamic range used.

【0080】第7ステップによって得られた各領域毎の差分視差量と対応する領域の動きベクトルの大きさに応じた視差量との和が所定範囲を越える場合には、その余剰視差量に応じた量だけ、遅延量を減少させるステップを備えていることが好ましい。 [0080] When the sum of the amount of parallax corresponding to the magnitude of the motion vector of the region 7 corresponding to the difference parallax amount for each area obtained by step exceeds a predetermined range, depending on the excess amount of parallax amount was, it preferably includes the step of reducing the amount of delay.

【0081】 [0081]

【発明の実施の形態】以下、この発明の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, detailed description of the present invention.

【0082】〔1〕第1の実施の形態の説明 まず、図1および図2を参照して、この発明の第1の実施の形態について説明する。 [0082] [1] First described in the first embodiment, with reference to FIGS. 1 and 2, a description will be given of a first embodiment of the present invention.

【0083】図1において、1はVTR、CD−RO [0083] In FIG. 1, 1 VTR, CD-RO
M、TV放送等の映像信号供給手段となる映像供給源、 M, the video source to be the video signal supply means of TV broadcasting and the like,
2は映像供給源1から供給された2次元映像信号を3次元映像信号、即ち左目用映像信号L及び右目用映像信号Rに変換する2D/3D変換装置、3は2D/3D変換装置2から出力された3次元映像信号を表示するイメージスプリッター方式等を使用した立体表示手段である。 2 three-dimensional image signal a 2D video signal supplied from the video supply source 1, i.e. 2D / 3D conversion unit for converting the left-eye image signal L and the right-eye video signal R, 3 from 2D / 3D converting unit 2 a stereoscopic display device using the image splitter method for displaying the 3D video signal output.

【0084】2D/3D変換装置2の構成について説明する。 [0084] To describe the configuration of 2D / 3D converting unit 2.

【0085】4は、該映像供給源1からの映像信号を1 [0085] 4, the video signal from the video source 1 1
フィールド単位で映像を記憶するフィールドメモリ、5 Field memory, 5 for storing the image field by field
は映像供給源1からの映像信号から動きベクトルを検出する動きベクトル検出手段である。 It represents a motion vector detecting means for detecting a motion vector from the video signal from the video source 1.

【0086】6は映像供給源1から供給される映像から色成分を抽出する色抽出手段、7は映像供給源1の映像からコントラストを抽出するコントラスト抽出手段、8 [0086] The color extraction unit 6 for extracting a color component from the video supplied from the video source 1, a contrast extraction means for extracting a contrast from the image of the image source 1 is 7, 8
は映像信号源1の映像から高周波成分を抽出する高周波成分抽出手段である。 Is a high-frequency component extracting means for extracting a high frequency component from the image of the video signal source 1. かかる色抽出手段6、コントラスト抽出手段7、高周波成分抽出手段8は、本発明の画像特徴量抽出手段に相当する。 Such color extraction unit 6, the contrast extraction means 7, the high frequency component extraction unit 8 corresponds to the image feature extraction means of the present invention.

【0087】9は動きベクトル検出手段5で検出した動きベクトルから動きの方向とその動き量(動きベクトルの大きさ)とを求めて、出力する動き量算出手段、10 [0087] 9 seeking the direction and the movement amount of the movement (the magnitude of the motion vector) from the motion vector detected by the motion vector detection unit 5, output to the motion amount calculation means, 10
は現在の画像を基準として動き量算出手段9から出力された動き量に応じたフィールド数遅延した画像をフィールドメモリ4から読みだすメモリ制御手段、11は動き量算出手段9から出力された動きの方向に基づいて、基準画像即ち現在の画像を左目用映像信号Lまたは右目用映像信号Rのいずれにするのか切り換え3次元映像信号を出力する切換手段である。 Memory control means for reading out the number of fields delayed image corresponding to the motion amount outputted from the motion amount calculation unit 9 the current picture as a reference from the field memory 4, 11 of the motion output from the motion amount calculation means 9 based on the direction, which is the reference image or switching means for outputting a switching 3D video signal or to in any of the current image video signal video signal L or the right eye left eye R.

【0088】12は映像供給源1の映像から色抽出手段6の色成分及び動き量算出手段9で算出した動き量及び方向により被写体や背景などのように同じ物体と判断できる部分をグループ化し、グループ化情報を出力するグループ化手段、13は動き量算出手段9で算出した動き量とグループ化手段でグループ化した各領域情報とから奥行き情報を算出し、一画面の奥行きマップを作成する第1奥行きマップ作成手段である。 [0088] 12 groups the part that can be determined that the same object, such as object and background by calculated motion amount and direction of the color components and the motion amount calculation unit 9 of the color extraction unit 6 from the video image source 1, grouping means for outputting the grouping information, 13 calculates the depth information from the respective area information grouped by the motion amount and the grouping means calculated by the motion amount calculating means 9, to create a depth map for one screen the 1 depth map creation means.

【0089】14は該グループ化手段12でグループ化した領域毎に前記コントラスト抽出手段7で抽出したコントラスト情報より奥行き情報を算出し、一画面の奥行きマップを作成する第2奥行きマップ作成手段、15は前記グループ化手段12でグループ化した領域毎に前記高周波成分抽出手段8で抽出した高周波成分情報より奥行き情報を算出し、一画面の奥行きマップを作成する第3奥行きマップ作成手段、16は予め設定された構図情報とグループ化手段12でグループ化された領域情報とから奥行き情報を算出し、一画面の奥行きマップを作成する第4奥行きマップ作成手段である。 [0089] 14 calculates the depth information from contrast information extracted by the contrast extraction unit 7 for each region grouped in the grouping unit 12, the second depth map creation means for creating a depth map of one screen, 15 the third depth map creation means calculates the depth information from the high frequency component information extracted by the high-frequency component extraction unit 8 for each region grouped in the grouping unit 12, creating a depth map of one screen, 16 previously in the set composition information and grouping means 12 calculates the depth information from the grouped region information, a fourth depth map generating means for generating a depth map of one screen.

【0090】17は第1から第4奥行きマップ作成手段13、14、15,16で作成した奥行きマップを加重加算して合成し、合成マップを作成する合成マップ作成手段、18は該合成マップ作成手段17で作成した合成マップより各領域毎の視差量を算出する視差量算出手段、19は視差量算出手段18で算出した視差量に基づき、切換手段11から出力された左右目用画像の各領域を、たとえば画素単位で水平方向にシフトさせ、合成する水平位置設定手段である。 [0090] 17 was synthesized by weighted addition of the depth map created by the fourth depth map creation unit 13, 14, 15, 16 from the first, composite map creation means for creating a composite map, 18 the composite map creation parallax calculating means for calculating a parallax amount for each region from composite map created by a means 17, 19 based on the parallax amount calculated by the disparity calculating unit 18, each of the output left and right eye image from the switching means 11 the area, for example, is shifted in the horizontal direction in units of pixels, a horizontal position setting means for synthesizing.

【0091】なお、前記視差量算出手段18は、動き量算出手段9で算出された動き量に基づいてフレーム遅延が行われる分を考慮するため、前記動き量に応じて水平位置設定手段19に出力する視差量を修正、即ち減少させている。 [0091] Incidentally, the parallax amount calculation unit 18, to account for partial frame delay is performed based on the motion amount calculated by the motion amount calculation unit 9, the horizontal position setting means 19 in accordance with the motion amount Fixed parallax amount to be output, that is, reduced. したがって、本発明の視差量修正手段にも相当する。 Therefore, also corresponds to the parallax amount correcting means of the present invention.

【0092】かかる構成による動作を図2に基づいて説明する。 [0092] will be described based on operation by the above configuration in FIG.

【0093】ステップ1では、映像供給源1の映像信号を1フィールド単位でフィールドメモリ4に記憶させる。 In Step 1, it is stored in the field memory 4 to the video signal of the video source 1 in units of fields. ステップ2では動きベクトル検出手段5で映像供給源1の2次元映像信号の動きベクトルを検出する。 Step detecting a motion vector of the two-dimensional image signal of the video source 1 2 In the motion vector detecting means 5. 具体的には、現在の画像と1フィールド前の画像とを比較し、画像内の被写体の移動量とその方向とを動きベクトルとして抽出する。 Specifically, compared with the current image and the previous field image, the motion amount of movement of the object in the image and its direction is extracted as a vector. そして、動き量算出手段9で動きベクトルの動き量及びその方向を算出する。 Then, to calculate the motion amount and direction of the motion vector in the motion amount calculation means 9.

【0094】ステップ3では、ステップ2で検出した動きベクトルの動き量に応じてフィールド数遅延させた画像をフィールドメモリ4から読み出し、切換手段11から3次元映像信号として出力する。 [0094] In step 3, reads out the image obtained by delaying the number of fields according to the motion amount of the motion vector detected in the step 2 from the field memory 4, and outputs a 3D image signal from the switching means 11. この時、切換手段1 At this time, the switching means 1
1は、基準映像を映像供給源1からの2次元映像信号、 1, two-dimensional video signal from the video source 1 reference picture,
また遅延画像をフィールドメモリ4から読み出された映像信号とし、ステップ2で検出した動きベクトルの動きの方向に基づいて左目用映像信号L及び右目用映像信号Rに切り換えて出力している。 Also the video signal read delayed images from the field memory 4, and outputs by switching the left eye image signal L and the right-eye image signal R based on the direction of motion of the motion vector detected in step 2.

【0095】上記ステップ1〜ステップ3の動作は、M [0095] Operation of the steps 1 3, M
TD法の動作に相当する。 It corresponds to the operation of the TD method. 次にステップ4では、映像供給源1からの2次元映像信号から画像特徴を抽出する。 In step 4, it extracts image features from the 2-dimensional video signal from the video source 1.

【0096】具体的には、画像を複数の領域に分割し、 [0096] Specifically, an image is divided into a plurality of regions,
各領域の色情報を色抽出手段6で抽出し、またコントラスト情報をコントラスト抽出手段7で抽出し、さらに高周波成分情報を高周波抽出手段8で抽出し、画像特徴としている。 The color information of each area extracted by the color extraction unit 6, also the contrast information extracted by the contrast extraction means 7 extracts further a high frequency component information in the high frequency extraction unit 8, and an image feature.

【0097】また、本ステップ4では、被写体や背景などの判別に使用するために、色情報及びステップ2の動き量からグループ化手段12が画像内の領域をグループ化している。 [0097] In this step 4, for use in determination of such object and background, the grouping unit 12 is grouped area in the image from the motion amount of color information and step 2.

【0098】ステップ5ではステップ4で抽出したコントラスト及び高周波成分について、グループ化手段12 [0098] For the extracted contrast and high-frequency component in step 5 step 4, the grouping means 12
でグループ化情報に応じて第2及び第3奥行きマップ作成手段14,15で各奥行きマップを作成する。 In creating each depth map in the second and third depth map creation unit 14, 15 in accordance with the grouping information. また、 Also,
ステップS2で算出した動き量及びグループ化手段12 Movement calculated in step S2 amounts and grouping means 12
のグループ化情報に応じた奥行きマップを第1奥行きマップ作成手段13で作成する。 The depth map corresponding to the grouping information created in the first depth map generating unit 13. さらに、予め設定された画面の構図(たとえば風景画が主体であれば画面下部が地面で、画面上部が空、画面中央部に被写体という構図)及びグループ化手段12のグループ化情報に応じた奥行きマップを第4奥行きマップ作成手段16で作成する。 Moreover, (the bottom of the screen is on the ground as long as for example landscapes mainly the top of the screen is empty, the composition of the subject on the center of the screen) preset screen composition depth corresponding to and grouping information grouping means 12 create a map in a fourth depth map creation unit 16.

【0099】ステップ6では合成マップ作成手段17 [0099] In step 6 composite map creation means 17
が、第1乃至第4奥行きマップ作成手段13、14、1 But first to fourth depth map creation means 13,14,1
5、16で作成した奥行きマップを加重加算し、合成して合成マップを作成する。 Weighted by adding the depth map that you created in the 5, 16, combined to create a composite map.

【0100】ステップ7では視差量算出手段18がステップ6で作成した合成マップに基づいて左目用画像の視差量及び右目用画像の視差量を算出する。 [0100] parallax amount calculation unit 18 in step 7 to calculate the parallax amount of the parallax amount and the right-eye image of the left eye image based on the composite map created in step 6.

【0101】以上ステップ4及びステップ7は、CID [0102] The above steps 4 and step 7, CID
法の動作に相当する。 It corresponds to the operation of the law.

【0102】ステップ8では、視差量算出手段18が、 [0102] In step 8, the parallax amount calculation unit 18,
ステップ2で検出した動きベクトルの動き量に応じて、 According to the motion amount of the detected motion vector in step 2,
ステップS7で算出した各視差量を修正する。 Calculated in step S7 modifying each parallax amount. 具体的には、ステップ3から出力した3次元映像信号の視差量分を考慮し、その分視差量を減少させるように修正するのである。 Specifically, considering parallax amount of the three-dimensional video signal output from the step 3 is to correct to reduce correspondingly parallax amount.

【0103】ステップ9では、水平位置設定手段19がステップ3から出力された3次元映像信号をステップ8 [0103] In step 9, step a three-dimensional image signal a horizontal position setting means 19 is output from the Step 3 8
で修正された視差量に基づいて各領域を水平シフトし、 In horizontally shifting each region based on the corrected parallax amount,
合成する。 Synthesized. 具体的には、ステップ3で出力した3次元映像信号の右目用映像信号Rをステップ7の右目用画像の視差量に基づき、また左目用映像信号Lをステップ7の左目用画像の視差量に基づいて画面の各領域毎に水平シフトを施す。 Specifically, the right-eye video signal R 3D video signal output in step 3 on the basis of the amount of parallax of the right eye image of the step 7 and a left eye image signal L to the parallax amount of the left eye image of step 7 based subjected to horizontal shift for each of the regions of the screen.

【0104】そして、ステップ10では、立体表示手段3に水平位置設定手段19で合成した3次元映像信号を出力し、立体表示させるのである。 [0104] Then, in step 10, and outputs the 3D image signal synthesized in a horizontal position setting means 19 in the stereoscopic display unit 3 is cause displayed stereoscopically.

【0105】〔2〕第2の実施の形態の説明 [0105] [2] Description of Second Embodiment

【0106】図3〜図11を参照して、この発明の第2 [0106] With reference to FIGS. 3 to 11, the second of the present invention
の実施の形態について説明する。 It is described embodiment. 図3は、2次元映像を3次元映像に変換する装置(2D/3D変換装置)の構成を示している。 Figure 3 shows a structure of an apparatus for converting 2D images into 3D images (2D / 3D conversion unit).

【0107】図3において、101はVTR、CD−R [0107] In FIG. 3, 101 VTR, CD-R
OM、TV放送等の映像信号供給手段となる映像供給源、102は映像供給源1から供給された2次元映像信号を3次元映像信号、即ち左目用映像信号L及び右目用映像信号Rに変換する2D/3D変換装置、103は2 OM conversion, image source comprising an image signal supply means for TV broadcasting or the like, 102 is a three-dimensional image signal a 2D image signal supplied from the video supply source 1, i.e., in the left-eye image signal L and the right-eye image signal R 2D / 3D converter for, 103 2
D/3D変換装置2から出力された3次元映像信号を表示するイメージスプリッター方式等を使用した立体表示手段である。 A stereoscopic display device using the image splitter method for displaying the 3D video signal outputted from the D / 3D conversion unit 2.

【0108】2D/3D変換装置102の構成について説明する。 [0108] To describe the configuration of 2D / 3D conversion unit 102.

【0109】104は、該映像供給源101からの映像信号を1フィールド単位で記憶するフィールドメモリ、 [0109] 104, a field memory for storing the video signal from the video source 101 in units of fields,
105は映像供給源101からの映像信号から動きベクトルを検出する動きベクトル検出手段である。 105 is a motion vector detecting means for detecting a motion vector from the video signal from the video source 101.

【0110】106は映像供給源101から供給される映像から色成分、コントラスト、高周波成分等の画像特徴量を領域毎に抽出する画像特徴抽出手段である。 [0110] 106 is an image feature extraction means for extracting a color component from the video supplied from the video source 101, the contrast, the image feature amount such as a high-frequency component for each area.

【0111】110は、動きベクトル検出手段105で検出した動きベクトルから遅延量を算出する遅延量算出手段である。 [0111] 110 is a delay amount calculating means for calculating a delay amount from the motion vector detected by the motion vector detecting means 105. 107は現在の入力画像を基準として遅延量算出手段110によって算出された遅延量に応じたフィールド数遅延した画像(遅延画像)をフィールドメモリ104から読みだすメモリ制御手段である。 107 is a memory control means for reading out image field number of delay according to the delay amount calculated by the delay amount calculation unit 110 the current input image as a reference (delay image) from the field memory 104. 108は遅延量算出手段110から出力された動きの方向に基づいて、入力画像および遅延画像のうちの、いずれを左目用映像信号Lとし、いずれを右目用映像信号Rとするかを切り換える切換手段である。 108 based on the direction of movement which is output from the delay amount calculation unit 110, an input image and of the delayed image, one was a left-eye video signal L, switching means for switching one or the right-eye video signal R it is.

【0112】109は画像特徴抽出手段106によって抽出された領域毎の画像特徴量に基づいて、奥行き推定値を領域毎に算出する奥行き推定値算出手段である。 [0112] 109 based on the image feature quantity for each area extracted by the image feature extraction unit 106, a depth estimation value calculating means for calculating for each region a depth estimation value. 1
11は奥行き推定値算出手段によって算出された領域毎の奥行き推定値に基づいて、領域毎のCID法による視差量(位相量)を算出するとともに、遅延量算出手段1 11 based on depth estimation value for each area calculated by the depth estimation value calculating means, calculates a parallax amount of CID method for each region (phase amount), the delay amount calculating section 1
10から出力されたMTD法の視差量に基づいて、CI 10 based on the parallax amount of the output MTD method from, CI
D法による視差量を修正して統合視差量(統合位相量) Integrated parallax amount to correct the parallax amount by D method (amount integration phase)
を算出する視差量算出手段である。 A parallax amount calculation means for calculating.

【0113】113は視差量算出手段111で算出した統合視差量に基づき、切換手段108から出力された左右目用画像の各領域(たとえば画素単位)を、水平方向にシフトさせ、合成する立体映像合成手段である。 [0113] 113 is based on the unified parallax amount calculated by the disparity calculating unit 111, the regions of the output left and right eye image from the switching unit 108 (e.g., pixels) are shifted in the horizontal direction, synthesized stereoscopic image it is a synthetic means.

【0114】112は、視差量算出手段111で算出した統合視差量および遅延量算出手段110から出力されたMTD法の視差量に基づいて、遅延量を制御するための視差量監視手段である。 [0114] 112, based on the parallax amount of the output MTD method from unified parallax amount and the delay amount calculation unit 110 calculated by the parallax amount calculation unit 111, a parallax amount monitoring means for controlling the amount of delay.

【0115】この実施の形態では、CID法で得た奥行き推定値をベースに立体空間の再現を行う。 [0115] In this embodiment mode, the reproduction of the three-dimensional space based on the depth estimation value obtained in CID method. すなわち、 That is,
CID法にMTD法によるオクルージョンを付加した立体映像の提示を行う。 Performing presentation of a stereoscopic image obtained by adding an occlusion by MTD method CID method. 具体的な方法としては、CID法で算出した各領域の位相(視差量)からMTD法の位相(視差量:フィールド遅延によって結果として生成される位相)を減算することによって、MTD法とCID法を併用した後でも各領域の位相はCID法による位相と等しくなるようにする。 As a specific method, phase (parallax amount) of each region calculated in CID method from MTD method phase: by subtracting the (parallax amount of phase that results by a field delay), MTD method and CID method phase of each region even after combination is set to be equal to the phase due to CID method. このため、下記の優先順位によりMTD法とCID法によって生成される位相量を制御する。 Therefore, to control the phase of which is generated by the MTD method and the CID method by priority below.

【0116】優先順位1 ユーザが設定する位相量の最大レンジUrange[pixel] 優先順位2 変換画像における位相シフトに伴う画像歪みの制限h _supp_lev[pixel] 優先順位3 CID法によって推定される奥行き形状(奥行き推定値の形状) 優先順位4 Urangeを越えないMTD法によって生成される位相量dly _sisa[pixel] 優先順位5 CID法によって生成される位相量 [pixe [0116] Priority 1 user image distortion due to the phase shift in the maximum range urange [pixel] Priority 2 converts the image of the phase amount set limit h _supp_lev [pixel] Depth shape estimated by the priority 3 CID method ( depth shape estimate) priority 4 phase amount generated by MTD method which does not exceed urange dly _sisa [pixel] phase amount generated by the priority 5 CID method [PIXE
l] l]

【0117】以下、この優先順位の意味づけについて説明する。 [0117] In the following, a description will be given meaning of this priority.

【0118】最も優先順位が高い優先順位1は、統合位相がユーザが設定する位相量の最大レンジUrangeを越えないことを保証する。 [0118] highest priority Priority 1 ensures that the integrated phase does not exceed the maximum range Urange phase amount set by the user.

【0119】優先順位2は、統合位相制御(特にCID [0119] Priority 2, integrated phase control (in particular CID
法)によって生成される画像の歪みが、ある限界値内(h Distortion of the image generated by the law) is, within certain limits (h
_supp_lev 以内) であることを保証する。 To ensure that it is a _supp_lev within).

【0120】優先順位3は、CID法によって算出される各領域に対する奥行き推定値(奥行きの形状)がMT [0120] Priority 3, the depth estimate for each area calculated by the CID method (the shape of the depth) is MT
D法とCID法を併用した後も保全されることを意味する。 Also it means that the preserved after combination D method and CID method.

【0121】優先順位4は、MTD法によって生成される視差量がUrangeを越えないことを保証する。 [0121] Priority 4, parallax amount generated by the MTD method ensures that not exceed urange.

【0122】最も優先順位が低い優先順位5は、CID [0122] is the lowest priority Priority 5, CID
法によって生成される位相は、MTD法と併用することによってCID法単独で生成した位相と異なる値になることを意味する。 Phase produced by the law, which means that the phase is different from the value produced by the CID method alone by combining the MTD method.

【0123】図4は、CID法の奥行き形状を保った統合位相制御処理手順を示している。 [0123] Figure 4 shows the integrated phase control procedure keeping the depth shape of the CID method. また、図5は、実施時の位相の振る舞いを示している。 Further, FIG. 5 shows the behavior of implementation when the phase.

【0124】まず、画像特徴抽出手段106によって画像特徴量を抽出する(ステップ21)。 [0124] First, it extracts the image feature amount by the image feature extraction unit 106 (step 21). 奥行き推定値算出手段109は、画像特徴抽出手段106によって抽出された画像特徴量に基づいて、CID法の奥行き推定を行なう(ステップ22)。 Depth estimation value calculating means 109, based on the image features extracted by the image feature extraction unit 106 performs the depth estimation CID method (step 22). すなわち、算出周波数、コントラスト、構図重み、被写体背景判別結果重みを適当な割合で加算し、奥行き推定値を求める。 That is, calculated frequency, contrast, by adding the composition weight, the subject background determination result weighted in appropriate proportions to obtain the depth estimates.

【0125】なお、統合位相制御では、CID法は動画に対しても使用するため、この加算比率は映像内の動きの速さに応じ可変とする。 [0125] In the integrated phase control, for also be used for CID method movie, the addition ratio is varied according to the speed of motion in the video. 具体的には、速い動きによる高周波成分の値が下がる傾向を補償するため、動きが速くなる程、高周波成分を加算する割合を減らしている。 Specifically, to compensate for the tendency of the value of the high frequency component due to fast motion decreases, as the motion becomes faster, and reducing the rate of adding the high frequency components.

【0126】そして、このようにして求めた奥行き推定値をUfrontとUrear 内に距離スケール変換(完全距離スケール変換または折れ線距離スケール変換)し、CID [0126] Then, this way the distance scale conversion the depth estimation value obtained in the Ufront and Urear (complete distance scale conversion or line distance scale conversion), CID
法による各領域の位相量を求める(ステップ23)。 Determining the phase of the respective areas of law (step 23). このCID法の位相からMTD法の位相(=フィールド遅延量×その領域の水平方向動きベクトル値) を引いた差分位相を求め(ステップ24)、この差分位相に対して隣接する領域の位相量の差がh _supp_lev[pixel]以下となるよう歪み抑圧処理を施す(ステップ25)。 From this CID method of phase MTD method phase obtains a difference phase minus (= field delay amount × horizontal motion vector value for the region) (step 24), the phase of the area adjacent to this differential phase the difference is to perform distortion suppression processing such as the h _supp_lev [pixel] or less (step 25).

【0127】なお、図5の差分位相(=CID位相−M [0127] It should be noted that, as shown in FIG. 5 of the differential phase (= CID phase -M
TD位相)においてMTD位相の右端とCID位相の左端がオーバラップしているのは、領域毎に両手法の位相が異なるためである。 The left end of the right and CID phase of MTD phase in TD phase) is overlap, the phase of the two methods is different for each region. これは、図6に示すCID法の各領域の位相ph_cidjからMTD法の各領域の位相ph_mt This phase ph_mt of each region MTD method from the phase ph_cidj of each region CID method shown in FIG. 6
djを引いた各領域の差分位相ph_diffj (= ph_cidj− Differential phase ph_diffj of each region minus the dj (= ph_cidj-
ph_mtdj)の振る舞いから明らかである。 It is clear from the behavior of ph_mtdj). jは領域番号を表す。 j represents the area number.

【0128】図6では、上側の3行4列の値は各領域の位相量[pixel] を表し、下側の図で各領域の位相量を一列に並べて視覚的に分かりやすくしている。 [0128] In Figure 6, the values ​​of the upper three rows and four columns represent the amount of phase [pixel] for each region, and easy to understand visually side by side the phase of the respective regions in a row in the lower diagram.

【0129】また、図5の歪み抑圧処理後の位相は、差分位相に対して歪み抑圧処理を行うことを示している。 [0129] The phase after the distortion suppression processing of FIG. 5 shows that performs distortion suppression processing for the differential phase.
上記の歪み抑圧処理後のMTD法とCID法を統合した位相(統合位相)の最大飛び出し位相量ufront[pixel] Of maximum protrusion phase amount ufront of the distortion suppression processing after the MTD method and CID method integrated phase (Integrated Phase) [pixel]
と最大奥まり位相量urear[pixel]とは、図7に示すループ処理によって求められる。 Maximum OkuMari The phase amount urear [pixel], is determined by the loop process shown in FIG. 7 and.

【0130】図7は、図4のステップ23、24、25 [0130] FIG. 7, the steps of FIG. 4 23, 24, 25
の処理の詳細を示している。 It shows the details of the process. これらの処理は、視差量算出手段111によって行なわれる。 These processes are performed by the parallax amount calculation unit 111.

【0131】まず、変数Ufront' とUrear'に、ユーザが設定したUfrontとUrear を設定した後(ステップ3 [0131] First of all, the variable Ufront 'and Urear', after setting the Ufront and Urear set by the user (step 3
1)、Ufront' とUrear'とによって規定されるダイナミックレンジで距離スケール変換を施し、CID位相量を得る(ステップ32)。 1), subjected to distance scale conversion dynamic range defined by the Ufront 'and Urear', to obtain a CID phase amount (step 32). 次に、CID位相からMTD位相を引いた仮の差分位相を求める(ステップ33)。 Next, determine the temporary differential phase minus the MTD phase from the CID phase (step 33). この仮の差分位相量から求めた隣接領域間の位相差の最大値h _dv_max [pixel] 、(各隣接領域間での差分位相量の差のうちの最大値)を求める(ステップ34)。 Maximum value h _Dv_max the phase difference between adjacent regions obtained from the differential phase of the temporary [pixel], obtaining the (maximum value of the difference in the differential phase quantity between each adjacent area) (step 34). そして、ステップ35に進む。 Then, the process proceeds to step 35.

【0132】後述するように、隣接領域間の位相差の最大値h _dv_max [pixel] が歪み許容範囲h _supp_le [0132] As described below, the maximum value h _dv_max [pixel] is strain tolerance of the phase difference between adjacent areas range h _Supp_le
v [pixel] 内でない場合には、当該隣接領域間の位相差が歪み許容範囲内になるように、ダイナミックレンジが小さくした後、再び上記ステップ32、33、34の処理が行なわれる。 v If not within [pixel], the phase difference between the adjacent regions so that within the distortion allowable range, after the dynamic range is small, the process of step 32, 33 and 34 is performed again.

【0133】ステップ35では、このようなループ処理が行なわれた場合に前回のステップ34で算出された位相差の最大値h _dv_max [pixel] が、今回のステップ34で算出された位相差の最大値h _dv_max [pixel] [0133] At step 35, the maximum of the maximum value h _dv_max [pixel] is calculated in the present step 34 the phase difference of the phase difference calculated at the previous step 34 when such a loop process is performed value h _dv_max [pixel]
より小さいか否かを判別する。 To determine a smaller or not.

【0134】上記ループ処理が行なわれてない時点では、ステップ35でNOとなり、今回のステップ34で算出された位相差の最大値h _dv_max [pixel] が、歪み許容範囲h _supp_lev [pixel] 内であるか否かを判定する(ステップ36)。 [0134] At the time when the loop processing has not been performed, is NO in step 35, the maximum value h _Dv_max the phase difference calculated in this step 34 [pixel] is a strain tolerance h _Supp_lev in [pixel] It determines whether there (step 36). 範囲内であるなら、仮の差分位相を真の目標位相とする(ステップ42)。 If it is within the range, the tentative differential phase the true target phase (step 42).

【0135】逆に、範囲外であるなら、CPU負荷を軽減するために、ループ回数が制限ループ回数内であるか否かを判定する(ステップ37)。 [0135] Conversely, if it is out of range, in order to reduce the CPU load, it determines whether the loop count is within the restricted number of loops (step 37). ループ回数が制限ループ回数より大きい場合は、仮の差分位相に対する後述する強制歪み抑圧処理により真の目標位相を求める(ステップ43)。 If the loop count is greater than the limit number of loops, we obtain the true target phase by forced distortion suppression processing to be described later for temporary differential phase (step 43).

【0136】また、ループ回数が制限ループ回数より少ない場合は、仮の差分位相を退避した後(ステップ3 [0136] Also, if the loop count is less than the limit number of loops, after saving the temporary differential phase (Step 3
8)、隣接領域間の位相差がh _supp_lev 以下になるまで、Ufront' とUrear'によって規定されるダイナミックレンジを段階的に小さくすることによって最適なufro 8), optimal by the phase difference between the adjacent areas until the following h _Supp_lev, to reduce the dynamic range defined by Ufront 'and Urear' stepwise ufro
nt、urear 値を得る(ステップ39)。 nt, obtain urear value (step 39). この処理を、以下、逐次探索処理ということにする。 This process, hereinafter, will be referred to sequential search process. 逐次探索処理の詳細については後述する。 It will be described in detail later sequential search process.

【0137】逐次探索処理で求めたufrontとurear との距離比がユーザ指定の距離比になるよう変更する(ステップ40)。 [0137] The distance ratio between successively with search processing obtained ufront and urear changes so that the distance ratio of the specified user (step 40). そして、得られたufrontおよびurear を、 Then, the resulting ufront and Urear,
Ufront' およびUrear'に設定することにより、ダイナミックレンジを変更した後(ステップ41)、ステップ3 By setting the Ufront 'and Urear', after changing the dynamic range (step 41), step 3
2に戻って、再度、距離スケール変換を行う。 Returning to 2, again, it performs distance scale conversion.

【0138】ステップ32〜ステップ41の一連の処理を隣接領域間の位相差の最大値h _dv_max[pixel]が歪み許容範囲h _supp_lev [pixel] 内になるか、途中で中断されるまで繰り返し、最終的な目標位相量を得る。 [0138] or the maximum value h _Dv_max of a series of processes of steps 32 to step 41 phase difference between adjacent regions [pixel] is strain tolerance h _Supp_lev [pixel] in repeatedly until interrupted halfway, the final get a goal phase amount.

【0139】図7における2種類のループの中断について順に説明する。 [0139] The second type of loop interruptions in FIG be described in order.

【0140】まず、第1の中断は、ステップ37において、CPU負荷を軽減するためにループ回数が制限ループ回数に達したときに発生する。 [0140] First, the first interruption, at step 37 occurs when the number of loops has reached the limit number of loops in order to reduce the CPU load. この条件によって中断した場合は、仮の差分位相に対し、次式18に示すような、上記式6と同意義の画素スケール的な歪み抑圧処理を行いufront,urear値を決定し、このレンジ内に奥行き推定値をレンジ変換する。 If it interrupted by this condition, with respect to temporary differential phase, as shown in the following equation 18, the equation 6 and ufront performs pixel scale distortion suppression processing as defined, to determine the urear value, within this range the depth estimation value range conversion into.

【0141】 [0141]

【数18】 [Number 18]

【0142】ここで、df_ufront、df_urear はそれぞれ仮の差分位相の最大値と最小値を表し、差分位相に対する隣接領域間の最大位相差を算出する段階で取得するものとする。 [0142] Here, df_ufront, df_urear each represent a maximum value and the minimum value of the temporary differential phase shall be obtained by calculating a maximum phase difference between adjacent areas for the differential phase. そして、このようにして新たに求められたレンジ内に差分位相が収まるようにする。 Then, as this way differential phase newly sought within range fits. なお、上記式18のufrontとurear に対し、次式19で表される距離比維持の処理を行っても何等問題はない。 Incidentally, with respect to ufront and urear of formula 18, any way there is no problem even if the process of the distance ratio maintaining expressed by the following equation 19.

【0143】 [0143]

【数19】 [Number 19]

【0144】第2の中断は、ステップ35において、ステップ32〜ステップ41のループ処理が行なわれた場合に前回のステップ34で算出された位相差の最大値h [0144] The second interruption, at step 35, the maximum value h of the phase difference calculated at the previous step 34 when the loop process of steps 32 to step 41 is performed
_dv_max [pixel] が、今回のステップ34で算出された位相差の最大値h _dv_max [pixel] より小さい場合に発生する。 _dv_max [pixel] is generated when the maximum value h _Dv_max the phase difference calculated in this step 34 [pixel] smaller.

【0145】この中断が起こるのは、現ループでの隣接領域間の位相差の最大値h _dv_max が、ダイナミックレンジを十分小さくしたにも関わらず、1つ前のループで得た際の値より小さくならない場合である。 [0145] This disruption occurs, the maximum value h _Dv_max the phase difference between adjacent regions in the current loop, despite the dynamic range sufficiently smaller than the value of time obtained in the previous loop it is if you do not become smaller. これは、 this is,
歪み抑圧処理によりMTD法によって生成される位相が変更されないことにより起こる。 Caused by the phase generated by the MTD method by distortion suppression processing is not changed. すなわち、図8に示すように、MTD法によって生成される被写体と背景の位相の差が大きい場合は、ループ数を増やしてもMTD位相の位相差が邪魔をしダイナミックレンジが小さくならず、結果として差分位相が、h _supp_lev 以下にはならない。 That is, as shown in FIG. 8, if the difference between the phase of the object and the background generated by MTD method is large, not the phase difference of the MTD phase also increase the number of loops is the dynamic range to interfere less, results differential phase as is, it does not fall below h _supp_lev.

【0146】このような場合は、処理を中断し、ステップ43と同様な処理によって、ダイナミックレンジ変更を行う(ステップ44)。 [0146] In such a case, interrupt processing, the same processing as step 43, performs a dynamic range change (step 44). ただし、この場合には、ステップ38で退避された仮の退避差分位相に対しダイナミックレンジ変更を行う。 However, in this case, it performs the dynamic range changes to the saved temporary evacuation differential phase at step 38. ここで仮の退避差分位相に対してダイナミックレンジを変更しているのは、歪み抑圧のループを重ねるごとにMTD法の位相が差分位相の形状に影響を及ぼしかつ差分位相のダイナミックレンジが減少する傾向を緩和するためである。 Here are you change the dynamic range with respect to temporary save differential phase, the phase of the MTD method affects the shape of the differential phase and dynamic range of the differential phase is reduced to each successive loop of the distortion suppression in order to mitigate the trend.

【0147】しかし、このような手法はあくまで対症療法であり、根本的にMTD法の位相によって引き起こされる強制歪み抑圧処理の発生頻度を下げるまでには至らない。 [0147] However, this technique is only symptomatic, it does not lead to up lowering the frequency of the forced distortion suppression processing caused by fundamentally the MTD method phase.

【0148】このような現象の発生頻度を下げるためには、MTD位相自体の隣接領域間の位相差を小さくする必要がある。 [0148] In order to reduce the frequency of occurrence of such a phenomenon, it is necessary to reduce the phase difference between adjacent regions of the MTD phase itself. このため、統合位相制御では、各領域のM Therefore, the integrated phase control, M of each region
TD位相ph_mtdjとして、本来その領域が持つ視差量(=フィールド遅延量×その領域の水平方向動きベクトル値) を隣接領域間と平滑化した後の値を用いている。 As TD phase Ph_mtdj, and using the value after the adjacent region and the smoothing (horizontal motion vector value = field delay amount × the area) original parallax amount with its region.

【0149】また、強制歪み抑圧処理の発生頻度を下げるためには、MTD法とCID法の位相の形状を似せる必要がある。 [0149] In order to reduce the occurrence frequency of the forced distortion suppression processing, it is necessary to mimic the phases of the shape of the MTD method and CID method. このため、統合位相では図4に示すように、MTD位相が大きくなる領域ではCID位相も大きくなるように被写体背景判別の結果を考慮して奥行き推定を行っている。 Therefore, the integrated phase as shown in FIG. 4, in a region where the MTD phase increases doing depth estimation in consideration of the result of the subject background judgment as CID phase also increases.

【0150】図7のステップ39のダイナミックレンジの逐次探索処理について説明する。 [0150] sequential search process of the dynamic range of the step 39 of FIG. 7 will be described.

【0151】差分位相の隣接領域間の位相差が最大となる領域を決定する。 [0151] phase difference between adjacent regions of the differential phase determines an area having the largest.

【0152】探索の方向を決定する。 [0152] to determine the direction of the search. 具体的には、 In particular,
で決定した位相差が互いに最大となる2領域のCID位相の値に応じて探索の方向を決定する。 Phase difference determined in the direction of the search is determined in accordance with the value of the maximum and becomes the second region of the CID phase.

【0153】ufront値ないしurear 値を管面の値に近づける。 [0153] ufront value to bring the urear value to the value of the tube surface.

【0154】上記2領域に対して、更新後のufront値およびurear 値で規定されるダイナミックレンジを用いた距離スケール変換を行なって、上記2領域のCID位相を算出する。 [0154] with respect to the second region, it performs a distance scale conversion using the dynamic range defined by ufront values ​​and urear value after update, calculates the CID phase of the second region.

【0155】2領域の差分位相(=CID位相−MTD [0155] 2 area of ​​the differential phase (= CID phase -MTD
位相) を算出する。 To calculate the phase).

【0156】両領域間の差分位相の位相差h _dv_ma [0156] phase difference h _dv_ma of the differential phase between the two regions
x を算出する。 To calculate the x.

【0157】で求めた位相差h _dv_max を下記の順で判定する。 [0157] In the phase difference h _dv_max obtained is determined in the following order. 1). h_dv_max がh _supp_lev 以下の場合は、処理を終了する。 1). H_dv_max is the following cases: h _supp_lev, the process ends. 2). h_dv_max が1つ前のループのh _dv_max より大きくなる場合は、求める値を1つ前のループで使用したufront値ないしurear 値として、処理を終了する。 2). If h_dv_max is greater than h _Dv_max of the previous loop, as determined to ufront value not used in the previous loop value urear value, the process ends. 3). h_dv_max がh _supp_lev より大きい場合は、 3). If h_dv_max is greater than h _supp_lev is,
に飛ぶ。 Fly to.

【0158】次に、視差量監視手段112によって行なわれる、MTD法によって生成される視差(位相)の制御方法について説明する。 [0158] Next, is performed by the parallax amount monitoring unit 112, the control method of the parallax (phase) generated by the MTD method will be described.

【0159】CID法の立体再現性を保った統合位相制御では、MTD法では被写体位置制御を用いていない。 [0159] In integrated phase control keeping the stereo reproducibility of CID method, in the MTD method does not use the object position control.
このため、MTD法によって生成される位相はユーザが予め定めた最大飛び出し位相量Ufront[pixel] と最大奥まり位相量Urear[pixel]を越えることがある。 Therefore, the phase generated by the MTD method may exceed the maximum pop-out phase amount Ufront user defined previously [pixel] and maximum OkuMari phase amount Urear [pixel]. このような現象が起きる場合の位相の振る舞いを図9に示す。 It shows the behavior of a phase in the case where such a phenomenon occurs in FIG. 図中の右端のOKマークは、MTD位相と差分位相との和である統合位相が、ユーザによって予め定められたダイナミックレンジUrange内であることを表し、NGマークは統合位相がダイナミックレンジUrangeを越えることを表す。 The right end of the OK mark in the figure, the sum a is integrated phases of the MTD phase and differential phase, indicates that a predetermined in dynamic range Urange by the user, NG mark integration phase exceeds the dynamic range Urange indicating that.

【0160】NGのケースでは、以下に示す問題が発生する。 [0160] In the NG case, problems shown below.

【0161】Urear が眼間と同程度である場合、距離スケールでは眼間以上の奥行きが規定できない。 [0161] Urear is a case about the same as the inter-eye, it can not be defined the depth of more than between the eyes at a distance scale. また、N In addition, N
Gの現象が歪み抑圧処理後も維持する場合は、統合位相はその大前提であるUrange内の立体再現の原則が守られない。 If symptoms of G is also maintained after the distortion suppression processing, integration phase principle of stereoscopic reproduction in Urange its major premise is not protected.

【0162】このような問題を解決するため、MTD法によって生成する立体感を決定する視差量Mdly_sisaを予め小さく設定し、NGの現象が起こらないようにすることも可能であるが、この方法はMTD法による立体感を損なうため好ましいとは言い難い。 [0162] To solve such a problem, in advance set small amount of parallax Mdly_sisa to determine the three-dimensional effect produced by MTD method, it is also possible to phenomena of NG does not occur, the method the preferred and it is hard to say because it impairs a stereoscopic effect by the MTD method. そこで、Mdly_si So, Mdly_si
saを大きく取る代償としてNGの現象の発生をある程度認め、Ufront、Urear を越える位相が発生した場合にのみ目標遅延量dly _targetを小さくするという制御が必要となる(図10参照)。 Somewhat observed the occurrence of the phenomenon of NG in return for a large sa, Ufront, the control of reducing the target delay dly _target required only when the phase exceeding Urear occurs (see Fig. 10).

【0163】なお、この方法でUrange内に位相を抑えるためには、最初からユーザ設定値のUfront、Urear の代わりに、MTD併用時に発生するUrangeのオーバー分を見込んで、各々の値より絶対値が小さくなるような値を内部的なUfrontとUrear として処理する必要がある。 [0163] In order to suppress the phase in Urange in this way, from the beginning of the user setting value Ufront, instead of Urear, in anticipation of the over amount of Urange generated during MTD combination, absolute value than the respective values It should be treated as internal Ufront and Urear a value such decreases. また、視差量変換テーブルを用いて距離スケール変換を行う手法では、変換テーブル外となる位相量に対しては変換テーブルに収まるよう丸める必要がある。 Further, in the method for performing distance scale conversion using a parallax amount conversion table, it is necessary to round to fit the conversion table for the amount of phase is outside the conversion table.

【0164】図11は、図10の処理を実現する制御処理手順(視差量監視手段112によって行なわれる制御処理手順)を示している。 [0164] Figure 11 shows a control procedure for implementing the processing of FIG. 10 (control processing procedure performed by the parallax amount monitoring unit 112).

【0165】図11では、各領域の統合位相(実位相と実遅延量による位相との和)がUfront、Urear を越える場合に目標遅延量を小さくする。 [0165] In Figure 11, integration phase of each area (the sum of the actual phase and the phase due to the actual delay amount) Ufront, to reduce the target delay when exceeding Urear.

【0166】このため、毎フィールド被写体領域及び背景領域それぞれのMTD法による位相量を算出する必要がある(ステップ51)。 [0166] Therefore, it is necessary to calculate the phase amount by every field object area and the background area each MTD method (step 51). 現フィールドの位相量の算出には、精度を高めるため実位相phase[pixel]及び実遅延量delay [field] を用いて行う。 The calculation of the phase of the current field is performed using the actual phase phase [pixel] and the actual amount of delay delay [field] To increase the accuracy.

【0167】実際の制御では、まず、MTD法のフィールド遅延によって生じる被写体領域の実視差obj _sis [0167] In actual control, first, the actual disparity obj _Sis object region generated by the field delay in the MTD method
a'[pixe] 及び背景領域の実視差bg_sisa'[pixel]、いずれの領域に属するか不明のNG領域の実視差ng_sis a '[pixe] and the actual disparity bg_sisa of the background area' [pixel], the actual disparity ng_sis of any region belonging to or unknown NG area
a'[piexel] を、次式20で求める。 a 'a [piexel], calculated by the following equation 20.

【0168】 [0168]

【数20】 [Number 20]

【0169】次式21に示すように、これらと各領域の真の目標位相量を時間的に平滑化した実位相量rph _di [0169] As shown in the following equation 21, the actual amount of phase rph _Di the true target phase amount of each region is temporally smoothed
ffj[pixel]を加算することによって、各領域の実統合位相量u _phasej [pixel]を求める(ステップ52)。 By adding the ffj [pixel], determine the actual integration phase amount u _Phasej of each region [pixel] (Step 52).

【0170】 [0170]

【数21】 [Number 21]

【0171】そして、この実統合位相量u _phase がユーザの設定したUfrontからUrear の範囲に入るか否かを計るため、範囲外の場合はその領域の位相がユーザ設定からどのくらい離れているかを表す位相量over_phase [0171] Then, in order to measure whether the actual integration phase amount u _Phase is in the range of Urear from Ufront set by the user, in the case of out of range indicates whether the phase of the area is how far away from the user setting phase amount over_phase
[pixel]を次式22により求める(ステップ53)。 Determined by the following equation 22 [pixel] (Step 53).

【0172】 [0172]

【数22】 [Number 22]

【0173】次に1画面を構成する各領域のover_phas over_phas of each of the regions that make up the [0173] Next, 1 screen
e の最大値over_maxp[pixel] を求め、over_maxpが0 The maximum value determined the over_maxp [pixel] of e, over_maxp 0
でない場合は、目標遅延量を小さくする目標遅延量抑圧処理を行う(ステップ54)。 If not performs target delay suppression processing to reduce the target delay (step 54).

【0174】目標遅延量抑圧処理では、まずフィールド遅延によって発生する現フィールドの実視差量dly _si [0174] In the target delay suppression processing, the actual amount of parallax of the current field generated by the first field delay dly _Si
sa'[pixel]の絶対値から上記式22で求めたover_maxp over_maxp the sa 'from the absolute value of [pixel] calculated by formula 22
を引き、MTD法が生成可能な視差量dly _sisa" を次式23により求める。 The pull, MTD method determined by generatable parallax amount dly _Sisa following equation "23.

【0175】 [0175]

【数23】 [Number 23]

【0176】そして、このdly _sisa" を基に抑圧した目標遅延量dly _tartget'を次式24により求める。 [0176] Then, determine the target delay dly _Tartget following equation '24 suppressed based on this dly _sisa ".

【0177】 [0177]

【数24】 [Number 24]

【0178】実遅延量の推移速度が実遅延量と目標遅延量との差に応じて変化する手法に備え、dly _target' [0178] provided with a method of transition velocity of the actual delay amount changes in accordance with the difference between the actual delay amount and the target delay, dly _target '
と抑圧前の目標遅延量dly _targetの大きさを比較し、 And comparing the magnitude of the target delay dly _target before suppression,
より小さい方を最終的な抑圧後の目標遅延量dly _targ Final after the suppression target delay dly _targ towards smaller
et" とする。つまり、最終的な抑圧後の目標遅延量dly And et ". That is, the target delay dly after the final suppression
_target" は、次式25で表される。 _target "it is expressed by the following equation 25.

【0179】 [0179]

【数25】 [Number 25]

【0180】ここでは、実遅延量と実視差によりMTD [0180] In this case, MTD by the real delay amount and the actual parallax
法の位相の抑圧を行ったが、精度よりCPUへの負荷を優先させる場合は、目標位相、目標遅延量により行うことも可能である。 Were subjected to suppression of the law of the phase, if the priority is given to the load on the CPU than precision, it is also possible to carry out target phase, the target delay.

【0181】 [0181]

【発明の効果】本発明によれば、動きのない映像や動きの複雑な映像に対して、人によく立体感を知覚させることができるようになる。 According to the present invention, for complex images motionless images or motion, it is possible to better perceive the stereoscopic effect in humans.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】第1の実施の形態である2D/3D変換装置の概略構成を示す図である。 1 is a diagram showing a schematic configuration of a 2D / 3D conversion unit is a first embodiment.

【図2】図1の2D/3D変換装置の動作を示すフローチャートである。 2 is a flowchart showing the operation of the 2D / 3D conversion apparatus of FIG.

【図3】第2の実施の形態である2D/3D変換装置の概略構成を示す図である。 3 is a diagram showing a schematic configuration of a 2D / 3D conversion device according to a second embodiment.

【図4】統合位相制御の全体的な制御処理手順を示すフローチャートである。 4 is a flowchart showing an overall control processing procedure of the integrated phase control.

【図5】統合位相制御の全体的な振る舞いを示す模式図である。 5 is a schematic diagram showing the overall behavior of the integrated phase control.

【図6】統合位相制御時の各領域の振る舞いを示す模式図である。 6 is a schematic view showing the behavior of each area when integrated phase control.

【図7】図4のステップ23、24、25の詳細な処理手順を示すフローチャートである。 7 is a flowchart showing the detailed procedure of step 23, 24 and 25 in FIG. 4.

【図8】統合位相制御において行なわれる歪み抑圧例を示す模式図である。 8 is a schematic diagram showing a distortion suppression example carried out in an integrated phase control.

【図9】MTD法による位相の調整が必要な場合と必要でない場合とを示す模式図である。 9 is a schematic diagram illustrating a case not needed and when the adjustment of the phase is required by the MTD method.

【図10】MTD法の位相抑圧処理を説明するための模式図である。 10 is a schematic diagram for explaining the phase suppression of MTD methods.

【図11】遅延量抑圧処理手順を示すフローチャートである。 11 is a flowchart showing a delay suppression processing procedure.

【図12】従来のMTD法を説明するための模式図である。 12 is a schematic diagram for explaining a conventional MTD methods.

【図13】従来のCID法を説明するための模式図である。 13 is a schematic diagram for explaining a conventional CID method.

【図14】被写体位置制御を説明するための模式図である。 14 is a schematic diagram for explaining the object position control.

【図15】従来のCID法の制御処理手順を示すフローチャートである。 15 is a flowchart showing the control procedure of the conventional CID method.

【図16】従来のCID法におけるダイナミックレンジの抑圧処理を説明するための模式図である。 16 is a schematic diagram for explaining the suppression of the dynamic range in the conventional CID method.

【図17】視差量Wとその融像位置Ypとの関係を示すグラフである。 17 is a graph showing the relationship between the parallax amount W and its fusion position Yp.

【図18】完全距離スケール変換を説明するためのグラフである。 18 is a graph for explaining the full distance scale conversion.

【図19】折れ線距離スケール変換を説明するためのグラフである。 19 is a graph for explaining a line distance scale conversion.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、101 映像供給源 2、102 2D/3D変換装置 3、103 立体表示手段 4、104 フィールドメモリ 5、105 動きベクトル検出手段 9 動き量算出手段 11、108 切換手段 18、111 視差量算出手段 19 水平位置設定手段 106 画像特徴抽出手段 109 奥行き推定値算出手段 110 遅延量算出手段 112 視差量監視手段 113 立体映像合成手段 1,101 video source 2, 102 2D / 3D converter 3,103 stereoscopic display unit 4,104 field memory 5,105 motion vector detecting means 9 motion amount calculation means 11,108 switching means 18,111 parallax amount calculation unit 19 horizontal position setting unit 106 image feature extraction unit 109 depth estimation value calculating means 110 delay amount calculating unit 112 parallax amount monitoring unit 113 three-dimensional image synthesizing means

───────────────────────────────────────────────────── フロントページの続き (72)発明者 飯沼 俊哉 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 (72)発明者 中島 三生 大阪府大東市三洋町1番1号 三洋電子部 品株式会社内 (72)発明者 森 孝幸 大阪府大東市三洋町1番1号 三洋電子部 品株式会社内 Fターム(参考) 5B057 AA20 CA01 CA12 CB13 CD14 DA11 DB02 DB06 DC16 5C021 PA53 PA54 PA58 PA77 PA79 RA01 RA02 RA06 RA15 ZA00 5C023 AA10 AA34 AA37 AA38 BA01 BA02 BA04 BA11 CA02 DA04 5C061 AA21 AA25 AB08 AB18 5L096 AA02 BA20 GA08 HA04 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Toshiya Iinuma Osaka Prefecture Moriguchi Keihanhondori 2-chome No. 5 No. 5 Sanyo within Co., Ltd. (72) inventor Nakajima Sansei Osaka Prefecture Daito Sanyo-cho, No. 1 1 issue Sanyo electronic components within Co., Ltd. (72) inventor Takayuki Mori Osaka Prefecture Daito Sanyo-cho, No. 1 No. 1 Sanyo electronic components Co., Ltd. in the F-term (reference) 5B057 AA20 CA01 CA12 CB13 CD14 DA11 DB02 DB06 DC16 5C021 PA53 PA54 PA58 PA77 PA79 RA01 RA02 RA06 RA15 ZA00 5C023 AA10 AA34 AA37 AA38 BA01 BA02 BA04 BA11 CA02 DA04 5C061 AA21 AA25 AB08 AB18 5L096 AA02 BA20 GA08 HA04

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 映像信号源から入力された2次元映像信号をフィールド毎に記憶するフィールドメモリ、 入力映像信号のフィールド間の動きに応じた動きベクトルを、入力映像の各領域毎に検出する動きベクトル検出手段、 フィールドメモリに格納された映像信号のうちから、入力映像信号に対して、動きベクトル検出手段によって検出された各領域の動きベクトルから求められた遅延量だけ遅延した映像信号をフィールドメモリから読み出す読み出し手段、 動きベクトル検出手段で検出された各領域の動きベクトルの水平成分の方向に基づいて、入力映像信号とフィールドメモリから読み出された映像信号とのうち、一方の映像信号を左目映像信号として、他方の映像信号を右目映像信号として出力する切替手段、 入力映像信号から映像 1. A movement detecting the two-dimensional image signal inputted from the video signal source field memory for storing for each field, the motion vector corresponding to the movement between fields of the input video signal, for each region of the input image vector detecting means, from among the video signals stored in the field memory, the input to the video signal, the motion vector by a delay amount obtained from the motion vector of each area detected by the detecting means a field memory the video signal delayed reading read from the means, based on the direction of the horizontal component of the motion vector of each area detected by the motion vector detection means, among the video signal read from the input video signal and the field memory, the left eye and one video signal as a video signal, switching means for outputting the other image signal as the right-eye image signal, a video from the input video signal 徴量を、入力映像の各領域毎に抽出する特徴量抽出手段、 特徴量抽出手段で抽出された各領域毎の画像特徴量に基づいて、入力映像の各領域毎に奥行き量を算出し、算出した各領域毎の奥行き量から各領域毎の視差量を算出する視差量算出手段、 視差量算出手段で算出された各領域毎の視差量を動きベクトル検出手段で検出された各領域毎の動きベクトルの大きさに応じて修正する視差量修正手段、ならびに視差量修正手段で修正された各領域の視差量に基づいて、切替手段で出力された右目用映像及び左目用映像の各領域の位相を修正して、立体映像信号として出力する位相制御手段、 を備えていることを特徴とする2次元映像を3次元映像に変換する装置。 The symptom amount, the feature amount extraction means for extracting for each of the regions of the input image, based on the image feature amount of each area extracted by the feature extraction means calculates the amount of depth for each region of the input image, parallax calculating means for calculating a parallax amount for each area from the amount of depth for each area calculated, for each area detected by the parallax amount of the motion vector detecting means for each area calculated by the parallax amount calculation means parallax amount correction means for correcting in accordance with the magnitude of the motion vector, and based on the parallax amount of each region corrected by the parallax amount correcting means, of the output right-eye video and the left-eye video in the switching means of each region Correct phase, a device for converting the phase control means for outputting a stereoscopic image signal, the 2-dimensional image, characterized in that it comprises a three-dimensional image.
  2. 【請求項2】 視差量修正手段は、 視差量算出手段によって算出された各領域毎の視差量から、対応する領域の動きベクトルの大きさに応じた視差量を減算した差分視差量を各領域毎に算出する手段、および隣接領域間の差分視差量の差の最大値が所定範囲内となるように、ダイナミックレンジを変更して各領域毎の差分視差量を算出する手段、 を備えていることを特徴とする請求項1に記載の2次元映像を3次元映像に変換する装置。 2. A parallax amount correction means, the parallax amount for each area calculated by the parallax amount calculation unit, the difference parallax amount obtained by subtracting the amount of parallax corresponding to the magnitude of the motion vector corresponding regions each region as the maximum value of the difference of the difference parallax amount between means for calculating, and the adjacent area for each is within a predetermined range, and includes means for calculating the difference between parallax amount for each change the dynamic range regions, the apparatus for converting the 3D image of the two-dimensional image of claim 1, wherein the.
  3. 【請求項3】 視差量修正手段によって得られた各領域毎の差分視差量と対応する領域の動きベクトルの大きさに応じた視差量との和が所定範囲を越える場合には、その余剰視差量に応じた量だけ、遅延量を減少させる手段を備えていることを特徴とする請求項2に記載の2次元映像を3次元映像に変換する装置。 Wherein when the sum of the differences parallax amount for each area obtained by the parallax amount correcting means and the parallax amount corresponding to the magnitude of the motion vector of the corresponding area exceeds a predetermined range, the surplus parallax by an amount corresponding to the amount, a device for converting 2D images into 3D images according to claim 2, characterized in that it comprises a means for reducing the delay amount.
  4. 【請求項4】 映像信号源から入力された2次元映像信号をフィールド毎にフィールドメモリに記憶させる第1 4. A first for storing the 2D image signal inputted from the video signal source in the field memory for each field
    ステップ、 入力映像信号のフィールド間の動きに応じた動きベクトルを、入力映像の各領域毎に検出する第2ステップ、 フィールドメモリに格納された映像信号のうちから、入力映像信号に対して、第2ステップによって検出された各領域の動きベクトルから求められた遅延量だけ遅延した映像信号をフィールドメモリから読み出す第3ステップ、 第2ステップで検出された各領域の動きベクトルの水平成分の方向に基づいて、入力映像信号とフィールドメモリから読み出された映像信号とのうち、一方の映像信号を左目映像信号として、他方の映像信号を右目映像信号として出力する第4ステップ、 入力映像信号から映像特徴量を、入力映像の各領域毎に抽出する第5ステップ、 第5ステップで抽出された各領域毎の画像特徴量に基づ Step, a motion vector corresponding to the movement between fields of the input video signal, a second step of detecting for each region of the input image, from among the video signals stored in the field memory to the input video signal, the based video signal delayed by a delay amount obtained from the motion vector of each region detected by two-step third step of reading from the field memory, in the direction of the horizontal component of the motion vector of each region detected in the second step Te, of the video signal read from the input video signal and the field memory, one of the video signals as a left-eye image signal, a fourth step, the video feature from the input video signal for outputting the other image signal as the right-eye image signal based amounts, fifth step of extracting for each of the regions of the input image, the image feature amount for each area extracted in the fifth step て、入力映像の各領域毎に奥行き量を算出し、算出した各領域毎の奥行き量から各領域毎の視差量を算出する第6ステップ、 第6ステツプで算出された各領域毎の視差量を第2ステップで検出された各領域毎の動きベクトルの大きさに応じて修正する第7ステップ、ならびに第7ステップで修正された各領域の視差量に基づいて、第4ステップで出力された右目用映像及び左目用映像の各領域の位相を修正して、立体映像信号として出力する第8ステップ、 を備えていることを特徴とする2次元映像を3次元映像に変換する方法。 Te to calculate the amount of depth for each region of the input image, a sixth step of calculating a parallax amount for each area from the amount of depth for each area calculated amount of parallax for each region calculated in the sixth step the on the basis of the parallax amount of each region corrected in the seventh step, and a seventh step to fix in accordance with the magnitude of the motion vectors for each region detected in the second step, output by the fourth step Correct the phase of each region of the right-eye video and the left-eye image, a method of converting an eighth step of outputting a stereoscopic image signal, the 2-dimensional image, characterized in that it comprises a three-dimensional image.
  5. 【請求項5】 第7ステップは、 第6ステップによって算出された各領域毎の視差量から、対応する領域の動きベクトルの大きさに応じた視差量を減算した差分視差量を各領域毎に算出するステップ、および隣接領域間の差分視差量の差の最大値が所定範囲内となるように、ダイナミックレンジを変更して各領域毎の差分視差量を算出するステップ、 を備えていることを特徴とする請求項5に記載の2次元映像を3次元映像に変換する方法。 5. The seventh step is the parallax amount for each area calculated by the sixth step, the difference parallax amount obtained by subtracting the amount of parallax corresponding to the magnitude of the motion vector of the region corresponding to each region calculation steps, and so that the maximum value of the difference of the difference parallax amount between the adjacent areas is within a predetermined range that includes a step of calculating the difference parallax amount for each area by changing the dynamic range method of converting 2D images into 3D images according to claim 5, characterized.
  6. 【請求項6】 第7ステップによって得られた各領域毎の差分視差量と対応する領域の動きベクトルの大きさに応じた視差量との和が所定範囲を越える場合には、その余剰視差量に応じた量だけ、遅延量を減少させるステップを備えていることを特徴とする請求項5に記載の2次元映像を3次元映像に変換する方法。 6. If the sum of the amount of parallax corresponding to the magnitude of the motion vector of the region corresponding to the difference parallax amount for each area obtained by the seventh step exceeds a predetermined range, the excess amount of parallax by an amount corresponding to a method of converting a three-dimensional video to two-dimensional image according to claim 5, characterized in that it comprises the step of reducing the amount of delay.
JP2000109211A 1999-11-26 2000-04-11 Device for converting two-dimensional image into there dimensional image and its method Withdrawn JP2001320731A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP33682499 1999-11-26
JP11-336824 2000-03-02
JP2000-58047 2000-03-02
JP2000058047 2000-03-02
JP2000109211A JP2001320731A (en) 1999-11-26 2000-04-11 Device for converting two-dimensional image into there dimensional image and its method

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2000109211A JP2001320731A (en) 1999-11-26 2000-04-11 Device for converting two-dimensional image into there dimensional image and its method
EP00977933A EP1235438B1 (en) 1999-11-26 2000-11-24 Method for converting two-dimensional video to three-dimensional video
DE60014420T DE60014420T2 (en) 1999-11-26 2000-11-24 Method for 2d / 3d video conversion
PCT/JP2000/008315 WO2001039512A1 (en) 1999-11-26 2000-11-24 Device and method for converting two-dimensional video to three-dimensional video
AT00977933T AT278298T (en) 1999-11-26 2000-11-24 Method for 2d / 3d video conversion
US10/130,427 US7161614B1 (en) 1999-11-26 2000-11-24 Device and method for converting two-dimensional video to three-dimensional video
TW089125162A TW521519B (en) 1999-11-26 2000-11-24 Apparatus and method for converting a two dimensional image to a three dimensional image

Publications (1)

Publication Number Publication Date
JP2001320731A true JP2001320731A (en) 2001-11-16

Family

ID=27340801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000109211A Withdrawn JP2001320731A (en) 1999-11-26 2000-04-11 Device for converting two-dimensional image into there dimensional image and its method

Country Status (1)

Country Link
JP (1) JP2001320731A (en)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521405A (en) * 2000-08-04 2004-07-15 パルセント コーポレイション Method of determining the relative z ordering in the image, and using the relative z ordering
WO2004071102A1 (en) 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. Three-dimensional video providing method and three-dimensional video display device
WO2006028125A1 (en) * 2004-09-10 2006-03-16 Kazunari Era 3d image reproduction device
JP2010063083A (en) * 2008-08-06 2010-03-18 Sony Corp Image processor, image processing method, and program
JP2010515303A (en) * 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッドQualcomm Incorporated Complex adaptive 2D-to-3D video sequence conversion
JP2011124935A (en) * 2009-12-14 2011-06-23 Sony Corp Image processing apparatus, image processing method, and program
CN102209248A (en) * 2010-03-31 2011-10-05 株式会社东芝 Parallax image generating apparatus and method
KR20110113923A (en) * 2010-04-12 2011-10-19 삼성전자주식회사 Image converting device and three dimensional image display device including the same
KR20110113924A (en) * 2010-04-12 2011-10-19 삼성전자주식회사 Image converting device and three dimensional image display device including the same
JP2011216076A (en) * 2011-02-07 2011-10-27 Toshiba Corp Image processor, image processing method, and image display device
JP2011217294A (en) * 2010-04-02 2011-10-27 Sharp Corp Noise reduction processing apparatus
JP2011223284A (en) * 2010-04-09 2011-11-04 Victor Co Of Japan Ltd Pseudo-stereoscopic image generation device and camera
JP2012034339A (en) * 2010-07-08 2012-02-16 Toshiba Corp Stereoscopic image generating device and method
JP2012034214A (en) * 2010-07-30 2012-02-16 Casio Comput Co Ltd Image processing device, image processing method, projection device, and program
JP2012039484A (en) * 2010-08-10 2012-02-23 Nikon Corp Display device, display method, and program
JP2012080348A (en) * 2010-10-01 2012-04-19 Toshiba Corp Multiple parallax image receiving apparatus
JP2012099956A (en) * 2010-10-29 2012-05-24 Toshiba Corp Video reproduction device and video reproduction method
JP2012138787A (en) * 2010-12-27 2012-07-19 Sony Corp Image processor, image processing method, and program
JP2012205169A (en) * 2011-03-28 2012-10-22 Sony Corp Image processing apparatus and image processing method
JP2012227724A (en) * 2011-04-19 2012-11-15 Toshiba Corp Reproducing device, reproducing method, and program
WO2012169217A1 (en) * 2011-06-10 2012-12-13 シャープ株式会社 Image generation device, image display device, television reception device, image generation method, and computer program
JP2013509104A (en) * 2009-10-23 2013-03-07 クゥアルコム・インコーポレイテッドQualcomm Incorporated Depth map generation techniques for conversion to 3d video data 2d video data
WO2013080697A1 (en) * 2011-11-29 2013-06-06 ソニー株式会社 Image processing device, image processing method and program
JP2014506768A (en) * 2011-02-23 2014-03-17 コーニンクレッカ フィリップス エヌ ヴェ Processing of depth data of a three-dimensional scene
CN103686118A (en) * 2012-09-19 2014-03-26 珠海扬智电子科技有限公司 Image depth adjustment method and device
CN104025585A (en) * 2011-11-01 2014-09-03 皇家飞利浦有限公司 Saliency based disparity mapping
JP2016500975A (en) * 2012-11-01 2016-01-14 グーグル インコーポレイテッド Generating depth maps from the plan view image based on the combined depth cue

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521405A (en) * 2000-08-04 2004-07-15 パルセント コーポレイション Method of determining the relative z ordering in the image, and using the relative z ordering
JP4698926B2 (en) * 2000-08-04 2011-06-08 アルテラ コーポレイションAltera Corporation Method of determining the relative z ordering in the image, and using the relative z ordering
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
CN100551083C (en) 2003-01-20 2009-10-14 三洋电机株式会社;夏普株式会社 Three-dimensional video providing method and three-dimensional video display device
WO2004071102A1 (en) 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. Three-dimensional video providing method and three-dimensional video display device
WO2006028125A1 (en) * 2004-09-10 2006-03-16 Kazunari Era 3d image reproduction device
JP2006080982A (en) * 2004-09-10 2006-03-23 Kazunari Era Device for generating stereoscopic vision image, and program
JP4523368B2 (en) * 2004-09-10 2010-08-11 株式会社マーキュリーシステム Stereoscopic image generating apparatus and program
US7945088B2 (en) 2004-09-10 2011-05-17 Kazunari Era Stereoscopic image generation apparatus
AU2005280997B2 (en) * 2004-09-10 2009-11-12 Mercury Systems Co., Ltd 3D image reproduction device
JP2010515303A (en) * 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッドQualcomm Incorporated Complex adaptive 2D-to-3D video sequence conversion
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
JP2010063083A (en) * 2008-08-06 2010-03-18 Sony Corp Image processor, image processing method, and program
US8860784B2 (en) 2008-08-06 2014-10-14 Sony Corporation Image processing apparatus, image processing method, and program
JP2013509104A (en) * 2009-10-23 2013-03-07 クゥアルコム・インコーポレイテッドQualcomm Incorporated Depth map generation techniques for conversion to 3d video data 2d video data
JP2011124935A (en) * 2009-12-14 2011-06-23 Sony Corp Image processing apparatus, image processing method, and program
US8866884B2 (en) 2009-12-14 2014-10-21 Sony Corporation Image processing apparatus, image processing method and program
US20110242280A1 (en) * 2010-03-31 2011-10-06 Nao Mishima Parallax image generating apparatus and method
JP2011215949A (en) * 2010-03-31 2011-10-27 Toshiba Corp Parallax image generating apparatus and method therefor
CN102209248A (en) * 2010-03-31 2011-10-05 株式会社东芝 Parallax image generating apparatus and method
CN102209248B (en) * 2010-03-31 2014-12-10 株式会社东芝 Parallax image generating apparatus and method
US8665319B2 (en) * 2010-03-31 2014-03-04 Kabushiki Kaisha Toshiba Parallax image generating apparatus and method
JP2011217294A (en) * 2010-04-02 2011-10-27 Sharp Corp Noise reduction processing apparatus
JP2011223284A (en) * 2010-04-09 2011-11-04 Victor Co Of Japan Ltd Pseudo-stereoscopic image generation device and camera
KR101690297B1 (en) * 2010-04-12 2016-12-28 삼성디스플레이 주식회사 Image converting device and three dimensional image display device including the same
KR20110113923A (en) * 2010-04-12 2011-10-19 삼성전자주식회사 Image converting device and three dimensional image display device including the same
KR101674568B1 (en) * 2010-04-12 2016-11-10 삼성디스플레이 주식회사 Image converting device and three dimensional image display device including the same
JP2011223566A (en) * 2010-04-12 2011-11-04 Samsung Electronics Co Ltd Image converting device and three-dimensional image display device including the same
KR20110113924A (en) * 2010-04-12 2011-10-19 삼성전자주식회사 Image converting device and three dimensional image display device including the same
JP2012034339A (en) * 2010-07-08 2012-02-16 Toshiba Corp Stereoscopic image generating device and method
JP2012034214A (en) * 2010-07-30 2012-02-16 Casio Comput Co Ltd Image processing device, image processing method, projection device, and program
JP2012039484A (en) * 2010-08-10 2012-02-23 Nikon Corp Display device, display method, and program
JP2012080348A (en) * 2010-10-01 2012-04-19 Toshiba Corp Multiple parallax image receiving apparatus
JP2012099956A (en) * 2010-10-29 2012-05-24 Toshiba Corp Video reproduction device and video reproduction method
JP2012138787A (en) * 2010-12-27 2012-07-19 Sony Corp Image processor, image processing method, and program
JP2011216076A (en) * 2011-02-07 2011-10-27 Toshiba Corp Image processor, image processing method, and image display device
JP2014506768A (en) * 2011-02-23 2014-03-17 コーニンクレッカ フィリップス エヌ ヴェ Processing of depth data of a three-dimensional scene
US9338424B2 (en) 2011-02-23 2016-05-10 Koninklijlke Philips N.V. Processing depth data of a three-dimensional scene
US9779539B2 (en) 2011-03-28 2017-10-03 Sony Corporation Image processing apparatus and image processing method
JP2012205169A (en) * 2011-03-28 2012-10-22 Sony Corp Image processing apparatus and image processing method
JP2012227724A (en) * 2011-04-19 2012-11-15 Toshiba Corp Reproducing device, reproducing method, and program
WO2012169217A1 (en) * 2011-06-10 2012-12-13 シャープ株式会社 Image generation device, image display device, television reception device, image generation method, and computer program
JP2013004989A (en) * 2011-06-10 2013-01-07 Sharp Corp Video generating device, video display device, television image receiving device, video generating method and computer program
JP2015503258A (en) * 2011-11-01 2015-01-29 コーニンクレッカ フィリップス エヌ ヴェ Projecting base disparity mapping
CN104025585A (en) * 2011-11-01 2014-09-03 皇家飞利浦有限公司 Saliency based disparity mapping
CN104025585B (en) * 2011-11-01 2016-06-01 皇家飞利浦有限公司 Based on the projection of the disparity map
TWI574544B (en) * 2011-11-01 2017-03-11 Koninl Philips Electronics Nv Saliency based disparity mapping
WO2013080697A1 (en) * 2011-11-29 2013-06-06 ソニー株式会社 Image processing device, image processing method and program
CN103686118A (en) * 2012-09-19 2014-03-26 珠海扬智电子科技有限公司 Image depth adjustment method and device
JP2016500975A (en) * 2012-11-01 2016-01-14 グーグル インコーポレイテッド Generating depth maps from the plan view image based on the combined depth cue

Similar Documents

Publication Publication Date Title
US8879824B2 (en) Method and apparatus for processing three-dimensional images
CA2723627C (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
JP3728160B2 (en) Depth image measuring apparatus and method, and a mixed reality presentation system,
JP2846830B2 (en) Method of converting 2D images into 3D images
EP1582074B1 (en) Video filtering for stereo images
JP5692980B2 (en) Conversion method and apparatus using the depth map generation
US7894525B2 (en) Method for compressing video information
EP0918439B1 (en) Device for converting two-dimensional video into three-dimensional video
US20070052794A1 (en) 3D image processing apparatus and method
US6584219B1 (en) 2D/3D image conversion system
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
CN100574462C (en) Apparatus for controlling depth of 3D picture and method therefor
CN101682794B (en) Method, apparatus and system for processing depth-related information
US6496598B1 (en) Image processing method and apparatus
US8488869B2 (en) Image processing method and apparatus
JP5587894B2 (en) Method and apparatus for generating a depth map
US20070081716A1 (en) 3D image processing apparatus and method
US20050219239A1 (en) Method and apparatus for processing three-dimensional images
KR101749893B1 (en) Versatile 3-d picture format
WO2011024710A1 (en) Three-dimensional image display system, parallax conversion device, parallax conversion method, and program
EP1671276B1 (en) Image rendering with interactive motion parallax
CN101390131B (en) Rendering an output image
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US9445072B2 (en) Synthesizing views based on image domain warping
JP5594477B2 (en) An image display device, image display method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041206

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070727