JP2015226170A - Signal processing device and method for stereoscopic image display - Google Patents
Signal processing device and method for stereoscopic image display Download PDFInfo
- Publication number
- JP2015226170A JP2015226170A JP2014109622A JP2014109622A JP2015226170A JP 2015226170 A JP2015226170 A JP 2015226170A JP 2014109622 A JP2014109622 A JP 2014109622A JP 2014109622 A JP2014109622 A JP 2014109622A JP 2015226170 A JP2015226170 A JP 2015226170A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resizing
- parallax
- eye image
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、立体画像をリサイズして表示装置に表示するための信号処理装置および方法に関する。 The present invention relates to a signal processing apparatus and method for resizing a stereoscopic image and displaying it on a display device.
従来、立体画像を表示する装置では、人間の左右の目の視差を利用して画像を立体的に見せるために、左目用画像と右目用画像の２つの画像を信号処理で生成して表示する方法が普及している。 2. Description of the Related Art Conventionally, an apparatus that displays a stereoscopic image generates and displays two images, a left-eye image and a right-eye image, by signal processing in order to make the image appear stereoscopically using the parallax of human left and right eyes. The method is widespread.
近年、テレビやパソコン、携帯電話、デジタルビデオカメラやデジタルカメラなどの携帯型撮像装置では、様々な画素数や様々な画面水平垂直比率（アスペクト）の液晶や有機ＥＬを使用した表示装置が搭載されている。表示したい画像の画素数と、表示装置の画素数が異なる場合、画像をリサイズして表示装置の画素数に合わせる必要がある。立体表示用の画像も同様に、表示したい画像をリサイズ処理して表示装置の画素数に合わせる必要が生じる。 In recent years, portable imaging devices such as televisions, personal computers, mobile phones, digital video cameras, and digital cameras have been equipped with display devices that use liquid crystals or organic EL with various pixel numbers and various screen horizontal / vertical ratios (aspects). ing. When the number of pixels of the image to be displayed is different from the number of pixels of the display device, it is necessary to resize the image to match the number of pixels of the display device. Similarly, an image for stereoscopic display needs to be resized to match the number of pixels of the display device.
また、デジタルビデオカメラやデジタルカメラなどでは、撮影画像の歪補正処理が必要であり、立体画像を撮影する場合も同様に、撮影した立体画像の歪みを補正する必要がある。 In addition, in a digital video camera, a digital camera, and the like, distortion correction processing of a captured image is necessary. Similarly, when a stereoscopic image is captured, it is necessary to correct distortion of the captured stereoscopic image.
複数の視点情報を持つ立体画像の一部の領域を切り出して拡大や縮小の画像リサイズ処理をする場合に、リサイズ処理後の画像の最大視差量が所定のある大きさを超えた際、また、最小視差量が「０」ではない場合に、切り出し画像位置に応じて視点情報毎の複数の画像のずれ量の調整を行う方法が特許文献１で提案されている。 When a part of a stereoscopic image having a plurality of viewpoint information is cut out and subjected to enlargement or reduction image resizing processing, when the maximum parallax amount of the image after resizing processing exceeds a predetermined size, Patent Document 1 proposes a method of adjusting the shift amounts of a plurality of images for each viewpoint information according to the cutout image position when the minimum parallax amount is not “0”.
しかしながら、従来技術は立体画像の一部を切り出してリサイズ処理する場合に適した処理方法であり、立体画像全体をリサイズする場合にはリサイズ処理前の画像とリサイズ処理後の画像との立体的な見え方が異なる場合があった。 However, the conventional technique is a processing method suitable for cutting out a part of a stereoscopic image and resizing the stereoscopic image. When the entire stereoscopic image is resized, the stereoscopic image between the image before the resizing process and the image after the resizing process is processed. There were cases where it looked different.
そこで、本発明の目的は、立体画像にリサイズを施しても好適な表示を可能にすることにある。 Therefore, an object of the present invention is to enable a suitable display even if a stereoscopic image is resized.
上記の課題を解決するために、本発明は、立体画像を表示するための左目用画像と右目用画像の各信号を入力し、前記左目用画像と前記右目用画像の視差量を検出する検出手段と、前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ手段と、リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整手段と、前記調整手段によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示手段とを備えることを特徴とする。 In order to solve the above-described problem, the present invention inputs detection signals for a left-eye image and a right-eye image for displaying a stereoscopic image, and detects a parallax amount between the left-eye image and the right-eye image. Means for resizing the left-eye image and the right-eye image, and adjusting the parallax amount of the image after the resizing process from the parallax amount detected from the image before the resizing process and the resizing conversion ratio information Adjusting means for displaying, and a display means for displaying each signal of the image for the left eye and the image for the right eye adjusted by the adjusting means on a display device.
本発明によれば、立体画像をリサイズした後の画像の立体的な見え方を、リサイズ前の画像の立体的な見え方と等しくすることや、意図した立体的見え方に修正することが可能である。 According to the present invention, it is possible to make the stereoscopic appearance of the image after resizing the stereoscopic image equal to the stereoscopic appearance of the image before resizing, or to correct the intended stereoscopic appearance. It is.
以下、本発明の実施の形態に係る信号処理装置と信号処理方法について、詳細に説明する。 Hereinafter, a signal processing device and a signal processing method according to embodiments of the present invention will be described in detail.
実施例１に係る信号処理装置では、アスペクト３：２の（水平７２０画素）ｘ（垂直４８０画素）＝（３４５６００画素）の立体画像をアスペクト１６：９の立体画像に拡大変換して、（水平１９２０画素）ｘ（垂直１０８０画素）＝（２０７３６００画素）の表示装置に立体表示する場合を例として説明する。 In the signal processing apparatus according to the first embodiment, a stereoscopic image of aspect 3: 2 (horizontal 720 pixels) × (vertical 480 pixels) = (345600 pixels) is enlarged and converted into a stereoscopic image of aspect 16: 9 (horizontal A case where stereoscopic display is performed on a display device of 1920 pixels) × (vertical 1080 pixels) = (2073600 pixels) will be described as an example.
まず、本実施例１の機能構成ブロック図である図１の各ブロック動作を説明する。右元画像１０１と左元画像１０２は立体画像を表示するための２つの画像である。 First, each block operation of FIG. 1 which is a functional configuration block diagram of the first embodiment will be described. The right original image 101 and the left original image 102 are two images for displaying a stereoscopic image.
視差量検出１０３は、右元画像１０１と左元画像１０２との視差量を検出する。視差は画像の輝度値を右元画像１０１と左元画像１０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。 The parallax amount detection 103 detects the parallax amount between the right original image 101 and the left original image 102. The parallax is detected by comparing points corresponding to the luminance value of the image in the right original image 101 and the left original image 102, and comparing the amount of shift (distance) between left and right (or up and down). There are various methods for extracting the corresponding points for comparing the luminance values, such as edge detection of an object in the image, and a method of detecting the right and left image matching for each block by dividing the image into small blocks. The detection of the amount of parallax may be detected for the entire image or for each divided region obtained by dividing the image into several regions.
右画像分割リサイズ処理１０４は、右元画像１０１を数個の領域に分割して分割領域毎にリサイズ処理を行う。画像全体のリサイズ変換比率（拡大・縮小率）は右元画像１０１と表示装置１０９の画像サイズによって決定し、領域毎のリサイズ変換比率は画像全体のリサイズ変換比率から決定する。例えば、分割領域が３個（Ａ領域、Ｂ領域、Ｃ領域）として画像全体を横方向に２倍に拡大する場合に、３領域とも２倍に拡大する設定も可能だが、Ａ領域を１倍、Ｂ領域を２倍、Ｃ領域を３倍とする領域毎に異なる変換比率に設定することも可能である。同様に、左画像分割リサイズ処理１１０は、左元画像１０２を数個の領域に分割して分割領域毎にリサイズ処理を行う。 The right image division resizing process 104 divides the right original image 101 into several areas and performs the resizing process for each divided area. The resizing conversion ratio (enlargement / reduction ratio) of the entire image is determined by the image size of the right original image 101 and the display device 109, and the resizing conversion ratio for each region is determined by the resizing conversion ratio of the entire image. For example, when the entire image is magnified twice in the horizontal direction with three divided areas (A area, B area, and C area), it is possible to set all three areas to be doubled. It is also possible to set different conversion ratios for each region in which the B region is doubled and the C region is tripled. Similarly, the left image division resizing process 110 divides the left original image 102 into several areas and performs the resizing process for each divided area.
右画像視差補正１０６は、視差量検出１０３で検出した視差量を元に、右画像分割リサイズ処理１０４で変換したリサイズ後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎のリサイズ変換比率を元に算出する。画像のずれ量を算出した視差量に調整するため、リサイズ後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正１１１は、視差量検出１０３で検出した視差量を元に、左画像分割リサイズ処理１１１で変換したリサイズ後の左画像を視差量補正した画像に変換する。 The right image parallax correction 106 converts the resized right image converted by the right image division resizing process 104 into an image with the parallax amount corrected based on the parallax amount detected by the parallax amount detection 103. The amount of parallax actually corrected is calculated based on the resize conversion ratio for each divided region based on the amount of parallax detected for each divided region. In order to adjust the image shift amount to the calculated parallax amount, the resized right image is shifted in parallel to the left and right or up and down. Similarly, the left image parallax correction 111 converts the resized left image converted by the left image division resizing process 111 into an image with the parallax amount corrected based on the parallax amount detected by the parallax amount detection 103.
表示画像処理１０８は、視差量を補正した右画像と左画像を入力し、表示装置１０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。 The display image processing 108 inputs a right image and a left image whose parallax amount is corrected, and converts the image into a type of image signal that can be displayed on the display device 109. For the displayable image signal, a method for embedding the right image and the left image signal and a timing signal for display are defined.
表示装置１０９は、表示画像処理１０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。 The display device 109 displays a stereoscopic image on a display medium such as liquid crystal or organic EL based on the timing signal input from the display image processing 108.
次に、本実施例の特徴部分に関して図２のフローチャートに従いながら説明する。ステップＳ２００において、左右映像信号が入力されると、ステップＳ２０１で画像を分割して処理するかどうかを選択する。実施例１では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行い、領域毎のリサイズ比率をＡ領域は水平１８／５倍、垂直９／４倍、Ｂ領域は水平９／４倍、垂直９／４倍、Ｃ領域は水平１８／５倍、垂直９／４倍とする。垂直方向は元画像７２０画素数を１０８０画素数に変換し、水平方向はＡ領域とＣ領域は１１０画素数を３９８画素数に、Ｂ領域は５００画素数を１１２５画素数に変換する。Ｂ領域は水平と垂直の比率を等しくして画像のアスペクトをリサイズ変換前後で保持することによって図３（１）左画像や（２）画像に示すとおり、画像の歪みを生じさせていない。図３（１）左画像や（２）画像に示すとおり、Ａ領域とＣ領域は入力画像に対してリサイズ後の画像は横方向に歪んだ画像となる。 Next, the characteristic part of the present embodiment will be described with reference to the flowchart of FIG. In step S200, when the left and right video signals are input, it is selected in step S201 whether to divide and process the image. In the first embodiment, the image is divided into three parts (A area, B area, and C area) in the horizontal direction, and the resize ratio for each area is 18/5 times horizontal, 9/4 times vertical, and B area. Is 9/4 times horizontal and 9/4 times vertical, and region C is 18/5 times horizontal and 9/4 times vertical. In the vertical direction, the number of pixels of the original image 720 is converted to 1080 pixels, in the horizontal direction, the A and C regions are converted from 110 pixels to 398 pixels, and the B region is converted from 500 pixels to 1125 pixels. In the area B, the horizontal and vertical ratios are made equal, and the aspect of the image is held before and after the resizing conversion, so that the image is not distorted as shown in FIG. 3 (1) left image and (2) image. As shown in FIG. 3 (1) left image and (2) image, the A area and the C area are resized with respect to the input image.
ステップＳ２０３において、視差量検出１０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像１０１と左元画像１０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。 In step S203, the parallax amount detection 103 detects the parallax amount in each of the A, B, and C regions. For the amount of parallax, corresponding points of luminance are detected in each region of the right original image 101 and the left original image 102, and the amount of positional deviation is detected as parallax. The corresponding point of luminance is determined by detecting an object in each region. The object is detected by detecting the edge of the object and the amount of change in the luminance value by differential operation. The amount of parallax at the corresponding point in each area is PA, PB, and PC.
ステップＳ２０４において、右画像分割リサイズ処理１０４は右元画像１０１を、左画像分割リサイズ処理１１０は左元画像１０２を、領域毎のリサイズ比率で画像サイズの変換を行う。画像のリサイズ処理方法は、線形変換法やバイキュービック法、オーバーサンプリング法など様々な方法で可能だが、視差量の精度を上げるためにバイキュービック法やオーバーサンプリング法などの高品位の変換方法を採用する。 In step S204, the right image division resizing process 104 converts the right original image 101, the left image division resizing process 110 converts the left original image 102, and changes the image size at a resize ratio for each region. Image resizing can be performed by various methods such as linear transformation, bicubic, and oversampling, but high-quality transformation methods such as bicubic and oversampling are used to improve the accuracy of the amount of parallax. To do.
ステップＳ２０５において、視差量の補正の有無の選択を行う。分割領域毎のリサイズ比率が等しい場合は視差量の補正は通常必要はない。実施例１ではリサイズ比率が異なるため、視差量の補正を行う。リサイズ比率が分割領域で異なると、図３（３）左右立体画像イメージに示すとおり、視差量は元画像の視差量と変わり、実施例１では領域Ａと領域Ｃが視差量が小さくなる。分割領域毎のリサイズ比率が等しい場合も、意図的に視差量を補正したい場合、例えば意図的に立体的な見え方をリサイズ後に変えたい場合には視差量の補正をすることも可能である。 In step S205, whether or not to correct the parallax amount is selected. When the resizing ratio for each divided area is equal, correction of the amount of parallax is usually not necessary. Since the resizing ratio is different in the first embodiment, the parallax amount is corrected. When the resizing ratio is different in the divided areas, the parallax amount is different from the parallax amount of the original image, as shown in FIG. Even when the resizing ratios of the divided areas are equal, when the amount of parallax is intentionally corrected, for example, when the stereoscopic appearance is intentionally changed after resizing, the amount of parallax can be corrected.
ステップＳ２０６において、右画像視差補正１０６で各領域の視差量をＰＡ、ＰＢ、ＰＣとリサイズ比率に基づいて視差量の補正を行う。領域Ｂはリサイズ比率が水平方向、垂直方向で等しいことから視差量の補正を実施しない。領域Ａと領域Ｃは領域Ｂとは水平方向のリサイズ比率が異なるため、視差量の補正を実施しない場合、元画像の視差量の差の関係（ＰＢ−ＰＡやＰＢ−ＰＣ）がリサイズ後の画像では変わってしまう。よって、領域Ａと領域Ｃは視差量を補正する。補正視差量は検出した視差量ＰＡ、ＰＢ、ＰＣと、各領域の変換比率から次のように求める。
（領域Ａの補正視差量ＰＡ’）＝ＰＡｘ（Ａ領域のリサイズ比率１８／５）―ＰＡｘ（Ｂ領域のリサイズ比率９／４）ｘ（Ａ領域のリサイズ比率逆数５／１８）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域のリサイズ比率１８／５）―ＰＣｘ（Ｂ領域のリサイズ比率９／４）ｘ（Ｃ領域のリサイズ比率逆数５／１８）。
In step S206, the right image parallax correction 106 corrects the parallax amount of each region based on PA, PB, and PC and the resizing ratio. In the region B, since the resizing ratio is equal in the horizontal direction and the vertical direction, the parallax amount is not corrected. Since the area A and the area C are different in resizing ratio in the horizontal direction from the area B, when the parallax amount is not corrected, the relationship between the parallax amounts of the original image (PB-PA or PB-PC) is It will change in the image. Therefore, the areas A and C correct the amount of parallax. The corrected parallax amount is obtained as follows from the detected parallax amounts PA, PB, and PC and the conversion ratio of each region.
(Corrected parallax amount PA ′ of area A) = PAx (resizing ratio of area A 18/5) −PAx (resizing ratio of area B 9/4) × (resize of area A resizing ratio 5/18),
(Corrected parallax amount PC ′ of area C) = PCx (C area resizing ratio 18/5) −PCx (B area resizing ratio 9/4) × (C area resizing ratio reciprocal 5/18).
右画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例１では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。また、視差量補正後画像の画素数と表示装置１０９の画素数との差異が発生する場合があり、視差量補正後の画像の画素数が表示画素数より多い場合は視差量補正後の画像の画素数を差分画素数削除し、視差量補正後の画像の画素数が表示画素数より少ない場合は視差量補正後の画像の端の画素を差分画素数分追加する。 The region A of the right image is converted into an image in which the amount of (PA ′ / 2) is shifted, and the region C is converted into an image in which the amount of (PC ′ / 2) is shifted to the right. Region A of the left image is converted to an image in which the amount of (PA '/ 2) is shifted, and region C is converted to an image in which the amount of (PC' / 2) is shifted to the left. Since the image after the parallax amount correction has an image discontinuity at the boundary between the regions, after the parallax amount correction, a filter operation is further performed on the image region at the boundary portion to reduce the image discontinuity. In the first embodiment, an example is described in which the region is divided into three, but it is also possible to divide the vicinity of the boundary of the divided region into several narrow regions and perform resizing processing and parallax amount correction for each region. is there. In addition, there may be a difference between the number of pixels of the image after the parallax amount correction and the number of pixels of the display device 109. When the number of pixels of the image after the parallax amount correction is larger than the number of display pixels, the image after the parallax amount correction is performed. If the number of pixels in the image after the parallax amount correction is smaller than the number of display pixels, the number of pixels at the end of the image after the parallax amount correction is added by the number of difference pixels.
ステップＳ２０７において、表示画像処理１０８で表示装置１０９に映像を表示するためのタイミング信号を生成する。具体的には画像垂直と水平の基準信号を生成する。生成後、タイミング信号と映像信号を表示装置１０９で表示可能な信号型式に変換して表示装置１０９に送信する。 In step S207, the display image processing 108 generates a timing signal for displaying video on the display device 109. Specifically, image vertical and horizontal reference signals are generated. After the generation, the timing signal and the video signal are converted into a signal format that can be displayed on the display device 109 and transmitted to the display device 109.
最後にステップＳ２０８において、表示装置１０９に映像が表示される。 Finally, in step S208, an image is displayed on the display device 109.
ステップＳ２０１において領域分割しない選択を行った場合は、画像全体を一括でリサイズ処理する場合であり、ステップＳ２０９でリサイズ比率決定し、ステップＳ２１０で視差量を検出して、ステップＳ２１１でリサイズ処理する。リサイズ比率によってはステップＳ２１２で視差量の補正の有無を選択し、補正する場合はステップＳ２１３で視差量補正処理を行う。 If the selection not to divide the area is performed in step S201, the entire image is resized at once. The resize ratio is determined in step S209, the amount of parallax is detected in step S210, and the resize process is performed in step S211. Depending on the resizing ratio, whether or not to correct the parallax amount is selected in step S212, and in the case of correcting, the parallax amount correction process is performed in step S213.
以上、本発明では、分割した領域毎にリサイズ後の視差量補正を行うことにより、立体表示する画像の立体の見え方をリサイズ前の画像の見え方に近づけることが可能である。 As described above, in the present invention, by performing the parallax amount correction after resizing for each divided area, it is possible to bring the stereoscopic appearance of the stereoscopically displayed image closer to the appearance of the pre-resized image.
また、実施例１では画像を拡大する場合だったが、縮小する場合も実施例１のブロック図とフローチャートに従った処理で実現可能である。 In the first embodiment, the image is enlarged. However, the image can be reduced by processing according to the block diagram and the flowchart of the first embodiment.
実施例２に係る信号処理装置では、立体画像のリサイズ処理と視差量補正に関して、ビデオカメラの画像歪補正を行う場合を例として説明する。 In the signal processing apparatus according to the second embodiment, a case where image distortion correction of a video camera is performed as an example will be described with respect to the resize processing of the stereoscopic image and the parallax amount correction.
まず、本実施例２の機能構成ブロック図である図４の各ブロック動作を説明する。右元画像４０１と左元画像４０２は立体画像を表示するための２つの画像である。 First, each block operation of FIG. 4 which is a functional configuration block diagram of the second embodiment will be described. The right original image 401 and the left original image 402 are two images for displaying a stereoscopic image.
視差量検出４０３は、右元画像４０１と左元画像４０２との視差量を検出する。視差は画像の輝度値を右元画像４０１と左元画像４０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。 The parallax amount detection 403 detects the parallax amount between the right original image 401 and the left original image 402. The parallax is detected by comparing points corresponding to the luminance values of the image in the right original image 401 and the left original image 402, and comparing the amount of shift (distance) between left and right (or up and down). There are various methods for extracting the corresponding points for comparing the luminance values, such as edge detection of an object in the image, and a method of detecting the right and left image matching for each block by dividing the image into small blocks. The detection of the amount of parallax may be detected for the entire image or for each divided region obtained by dividing the image into several regions.
右画像歪補正処理４０５は、右元画像４０１を数個の領域に分割して分割領域毎に歪補正処理を行う。ビデオカメラで撮影した画像は、歪曲収差と呼ばれる画像周辺部が画像外側や内側に曲がる歪が発生する。歪補正はビデオカメラに搭載されたレンズ構造の工夫でも補正可能だが、画像処理で補正する場合は画像を領域分割して領域毎に射影変換などの画像変換処理を行う。同様に、左画像歪補正処理４１０は、左元画像４０２を数個の領域に分割して分割領域毎に歪補正処理を行う。 The right image distortion correction processing 405 divides the right original image 401 into several regions and performs distortion correction processing for each divided region. In an image taken with a video camera, a distortion called a distortion occurs in which the peripheral portion of the image is bent outward or inward. Distortion correction can also be corrected by devising the lens structure mounted on the video camera, but when correcting by image processing, the image is divided into regions and image conversion processing such as projective conversion is performed for each region. Similarly, the left image distortion correction processing 410 divides the left original image 402 into several regions and performs distortion correction processing for each divided region.
右画像視差補正４０６は、視差量検出４０３で検出した視差量を元に、右画像歪補正処理４０４で変換した歪補正処理後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎の歪補正処理を元に算出する。画像のずれ量を算出した視差量に調整するため、歪補正処理後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正４１１は、視差量検出４０３で検出した視差量を元に、左画像視差補正処理４１１で歪補正処理後の左画像を視差量補正した画像に変換する。 The right image parallax correction 406 converts, based on the parallax amount detected by the parallax amount detection 403, the right image after the distortion correction processing converted by the right image distortion correction processing 404 into an image whose parallax amount is corrected. The actual amount of parallax to be corrected is calculated based on the amount of parallax detected for each divided region based on distortion correction processing for each divided region. In order to adjust the image shift amount to the calculated parallax amount, the right image after the distortion correction processing is shifted in parallel to the left or right or up and down. Similarly, the left image parallax correction 411 converts the left image after the distortion correction processing in the left image parallax correction processing 411 into an image in which the parallax amount correction is performed based on the parallax amount detected by the parallax amount detection 403.
表示画像処理４０８は、視差量を補正した右画像と左画像を入力し、表示装置４０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。 The display image processing 408 inputs the right image and the left image with the parallax amount corrected, and converts the image into a type of image signal that can be displayed on the display device 409. For the displayable image signal, a method for embedding the right image and the left image signal and a timing signal for display are defined.
表示装置４０９は、表示画像処理４０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。 The display device 409 displays a stereoscopic image on a display medium such as a liquid crystal or an organic EL based on the timing signal input from the display image processing 408.
次に、本実施例の特徴部分に関して図５のフローチャートに従いながら説明する。ステップＳ５００において、左右映像信号が入力されると、ステップＳ５０１で歪補正領域の分割指定を行う。分割領域は、ビデオカメラに搭載されているレンズの特性と、撮影画像サイズから算出する。実施例２では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行い、Ａ領域とＣ領域に歪補正処理を行う。画像中央部のＢ領域は歪補正処理を実施しない。 Next, the characteristic part of the present embodiment will be described with reference to the flowchart of FIG. In step S500, when the left and right video signals are input, in step S501, the division of the distortion correction area is specified. The divided area is calculated from the characteristics of the lens mounted on the video camera and the captured image size. In the second embodiment, the image is divided into three parts (A area, B area, and C area) in the horizontal direction, and distortion correction processing is performed on the A area and the C area. Distortion correction processing is not performed on the B region in the center of the image.
ステップＳ５０２において、視差量検出４０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像４０１と左元画像４０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。 In step S502, the parallax amount detection 403 detects the parallax amounts of the A, B, and C regions. For the amount of parallax, corresponding points of luminance are detected in each region of the right original image 401 and the left original image 402, and a positional deviation amount is detected as parallax. The corresponding point of luminance is determined by detecting an object in each region. The object is detected by detecting the edge of the object and the amount of change in the luminance value by differential operation. The amount of parallax at the corresponding point in each area is PA, PB, and PC.
ステップＳ５０３において、右画像歪補正処理４０４は右元画像４０１を、左画像歪補正処理４１０は左元画像４０２を、領域毎に指定された歪補正処理を行う。Ａ領域とＣ領域の歪補正の特性は、ビデオカメラのレンズ特定と、撮影画像サイズからあらかじめ算出することが可能であり、算出された歪補正特定に基づいて画像の補正処理を射影変換処理などによって行う。歪補正処理は図６（１）左画像と（２）右画像に実施例２の補正処理前後の図を示す。図６（３）に直線が並んだ画像の左右端に歪曲が発生している一般的な歪補正処理のイメージ例を示す。 In step S503, the right image distortion correction process 404 performs the right original image 401 and the left image distortion correction process 410 performs the distortion correction process specified for each area. The distortion correction characteristics of the A area and the C area can be calculated in advance from the lens specification of the video camera and the captured image size, and the image correction processing is performed based on the calculated distortion correction specification. Do by. The distortion correction processing is shown in FIG. 6 (1) left image and (2) right image before and after the correction processing of the second embodiment. FIG. 6 (3) shows an image example of a general distortion correction process in which distortion occurs at the left and right ends of an image in which straight lines are arranged.
ステップＳ５０４において、視差量の補正の有無の選択を行う。分割領域毎の歪補正量が大きい場合は視差量の補正を行う。実施例３では、Ａ領域とＣ領域の視差量補正を行う。 In step S504, whether or not to correct the parallax amount is selected. When the distortion correction amount for each divided region is large, the parallax amount is corrected. In the third embodiment, the parallax amount correction between the A area and the C area is performed.
ステップＳ５０５において、右画像視差補正４０６で各領域の視差量をＰＡ、ＰＢ、ＰＣと歪補正量に基づいて視差量の補正を行う。領域Ｂは歪補正をしていないため、視差量の補正を実施しない。領域Ａと領域Ｃは歪補正処理を行っているため、視差量補正を行う。視差量補正処理で射影変換を行う場合、画像内の物体の形と位置を上下左右に変形する。Ｘ−Ｙ二次元軸上に描かれた物体のエッジの座標位置を変換するような処理である。補正視差量は検出した視差量ＰＡ、ＰＣと、各領域の歪み補正処理による座標位置の上下左右方向の変換量から次のように求める。
（領域Ａの補正視差量ＰＡ’）＝ＰＡｘ（Ａ領域の歪補正左右方向の最大座標変換量）―ＰＡｘ（Ａ領域の歪み補正左右方向の最小座標変換量）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域の歪補正左右方向の最大座標変換量）―ＰＣｘ（Ｃ領域の歪み補正左右方向の最小座標変換量）。
In step S505, the right image parallax correction 406 corrects the parallax amount of each region based on PA, PB, PC, and the distortion correction amount. Since the region B is not subjected to distortion correction, the parallax amount is not corrected. Since the areas A and C are subjected to the distortion correction process, the parallax amount is corrected. When projective transformation is performed in the parallax amount correction process, the shape and position of an object in the image are changed vertically and horizontally. In this process, the coordinate position of the edge of the object drawn on the XY two-dimensional axis is converted. The corrected parallax amount is obtained as follows from the detected parallax amounts PA and PC and the conversion amount of the coordinate position in the vertical and horizontal directions by the distortion correction processing of each region.
(Correction parallax amount PA ′ of area A) = PAx (maximum coordinate conversion amount of distortion correction left and right in area A) −PAx (minimum coordinate conversion amount of distortion correction in the left and right direction of area A)
(Correction parallax amount PC ′ of region C) = PCx (maximum coordinate conversion amount of distortion correction left and right direction of C region) −PCx (minimum coordinate conversion amount of distortion correction right and left direction of C region).
右画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例３では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。 The region A of the right image is converted into an image in which the amount of (PA ′ / 2) is shifted, and the region C is converted into an image in which the amount of (PC ′ / 2) is shifted to the right. Region A of the left image is converted to an image in which the amount of (PA '/ 2) is shifted, and region C is converted to an image in which the amount of (PC' / 2) is shifted to the left. Since the image after the parallax amount correction has an image discontinuity at the boundary between the regions, after the parallax amount correction, a filter operation is further performed on the image region at the boundary portion to reduce the image discontinuity. In the third embodiment, an example is described in which the region is divided into three. However, it is also possible to divide the vicinity of the boundary of the divided region into several narrow regions and perform resizing processing and parallax amount correction for each region. is there.
最後にステップＳ５０６において、記録画像処理４０８で記録用の映像を生成する。 Finally, in step S506, the recording image processing 408 generates a recording video.
ステップＳ５０４において、視差量の補正処理をしない選択をした場合、ステップＳ５０３で歪補正処理した画像が記録映像となる。 If it is selected in step S504 that the parallax amount correction process is not performed, the image subjected to the distortion correction process in step S503 becomes a recorded video.
以上、本発明では、分割した領域毎に歪補正処理後の視差量補正を行うことにより、立体表示する画像の立体の見え方を歪補正処理領域と歪補正未処理領域とで自然な見え方にすることが可能である。 As described above, according to the present invention, by performing the parallax amount correction after the distortion correction processing for each divided area, the stereoscopic appearance of the stereoscopically displayed image can be naturally viewed between the distortion correction processing area and the distortion correction unprocessed area. It is possible to
実施例３に係る信号処理装置では、アスペクト３：２の（水平７２０画素）ｘ（垂直４８０画素）＝（３４５６００画素）の立体画像をアスペクト１６：９の立体画像に拡大変換して、（水平１９２０画素）ｘ（垂直１０８０画素）＝（２０７３６００画素）の表示装置に立体表示する場合を例として説明する。 In the signal processing device according to the third embodiment, a stereoscopic image of aspect 3: 2 (horizontal 720 pixels) × (vertical 480 pixels) = (345600 pixels) is enlarged and converted into a stereoscopic image of aspect 16: 9 (horizontal A case where stereoscopic display is performed on a display device of 1920 pixels) × (vertical 1080 pixels) = (2073600 pixels) will be described as an example.
まず、本実施例３の機能構成ブロック図である図７の各ブロック動作を説明する。右元画像７０１と左元画像７０２は立体画像を表示するための２つの画像である。 First, each block operation of FIG. 7 which is a functional configuration block diagram of the third embodiment will be described. The right original image 701 and the left original image 702 are two images for displaying a stereoscopic image.
視差量検出７０３は、右元画像７０１と左元画像７０２との視差量を検出する。視差は画像の輝度値を右元画像７０１と左元画像７０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。また、視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。 The parallax amount detection 703 detects the parallax amount between the right original image 701 and the left original image 702. The parallax is detected by comparing points corresponding to the luminance values of the image in the right original image 701 and the left original image 702, and comparing the left and right (or up and down) deviation amounts (distances). There are various methods for extracting the corresponding points for comparing the luminance values, such as edge detection of an object in the image, and a method of detecting the right and left image matching for each block by dividing the image into small blocks. In addition, the amount of parallax may be detected for the entire image or for each divided region obtained by dividing the image into several regions.
右画像分割リサイズ処理７０４は、右元画像７０１を数個の領域に分割して分割領域毎にリサイズ処理を行う。画像全体のリサイズ変換比率（拡大・縮小率）は右元画像７０１と表示装置７０９の画像サイズによって決定し、領域毎のリサイズ変換比率は画像全体のリサイズ変換比率から決定する。例えば、分割領域が３個（Ａ領域、Ｂ領域、Ｃ領域）として画像全体を横方向に２倍に拡大する場合に、３領域とも２倍に拡大する設定も可能だが、Ａ領域を１倍、Ｂ領域を２倍、Ｃ領域を３倍とする領域毎に異なる変換比率に設定することも可能である。同様に、左画像分割リサイズ処理７１０は、左元画像７０２を数個の領域に分割して分割領域毎にリサイズ処理を行う。 The right image division resizing process 704 divides the right original image 701 into several areas and performs the resizing process for each divided area. The resizing conversion ratio (enlargement / reduction ratio) of the entire image is determined by the image size of the right original image 701 and the display device 709, and the resizing conversion ratio for each region is determined from the resizing conversion ratio of the entire image. For example, when the entire image is magnified twice in the horizontal direction with three divided areas (A area, B area, and C area), it is possible to set all three areas to be doubled. It is also possible to set different conversion ratios for each region in which the B region is doubled and the C region is tripled. Similarly, the left image division resizing process 710 divides the left original image 702 into several areas and performs the resizing process for each divided area.
右画像視差補正７０６は、視差量検出７０３で検出した視差量を元に、右画像分割リサイズ処理７０４で変換したリサイズ後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎のリサイズ変換比率を元に算出する。画像のずれ量を算出した視差量に調整するため、リサイズ後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正７１１は、視差量検出７０３で検出した視差量を元に、左画像分割リサイズ処理７１１で変換したリサイズ後の左画像を視差量補正した画像に変換する。 The right image parallax correction 706 converts the resized right image converted by the right image division resize processing 704 into an image with the parallax amount corrected based on the parallax amount detected by the parallax amount detection 703. The amount of parallax actually corrected is calculated based on the resize conversion ratio for each divided region based on the amount of parallax detected for each divided region. In order to adjust the image shift amount to the calculated parallax amount, the resized right image is shifted in parallel to the left and right or up and down. Similarly, the left image parallax correction 711 converts the resized left image converted by the left image division resizing process 711 into an image with the parallax amount corrected based on the parallax amount detected by the parallax amount detection 703.
表示画像処理７０８は、視差量を補正した右画像と左画像を入力し、表示装置７０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。 The display image processing 708 inputs the right image and the left image with the parallax amount corrected, and converts the image into a type of image signal that can be displayed on the display device 709. For the displayable image signal, a method for embedding the right image and the left image signal and a timing signal for display are defined.
表示装置７０９は、表示画像処理７０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。 The display device 709 displays a stereoscopic image on a display medium such as a liquid crystal or an organic EL based on the timing signal input from the display image processing 708.
次に、本実施例の特徴部分に関して図８のフローチャートに従いながら説明する。ステップＳ８００において、左右映像信号が入力されると、ステップＳ８０１で画像を分割して処理するかどうかを選択する。実施例３では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行う。 Next, the characteristic part of the present embodiment will be described with reference to the flowchart of FIG. In step S800, when the left and right video signals are input, it is selected in step S801 whether to divide and process the image. In the third embodiment, selection is performed to divide an image into three parts (A region, B region, and C region) in the horizontal direction.
ステップＳ８０２において、視差量検出７０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像７０１と左元画像７０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。 In step S <b> 802, the parallax amount detection 703 detects the parallax amount of each of the A, B, and C regions. For the amount of parallax, a corresponding point of luminance is detected in each region of the right original image 701 and the left original image 702, and a positional deviation amount is detected as parallax. The corresponding point of luminance is determined by detecting an object in each region. The object is detected by detecting the edge of the object and the amount of change in the luminance value by differential operation. The amount of parallax at the corresponding point in each area is PA, PB, and PC.
ステップＳ８０３において、領域毎のリサイズ比率を検出した視差量ＰＡ、ＰＢ、ＰＣに基づいて決定する。図９（３）に示すとおりＰＡがＰＢ、ＰＣよりも大きい場合、Ａ領域は水平９／４倍、垂直９／４倍、Ｂ領域は水平１８／５倍、垂直９／４倍、Ｃ領域は水平１８／５倍、垂直９／４倍とする。垂直方向は元画像７２０画素数を１０８０画素数に変換し、水平方向はＢ領域とＣ領域は１１０画素数を３９８画素数に、Ａ領域は５００画素数を１１２５画素数に変換する。視差量はＰＡが最大でありＡ領域が最も立体的に見える画像領域であり、Ａ領域は水平と垂直の比率を等しくして画像のアスペクトをリサイズ変換前後で保持することによって画像の歪みを生じさせていない。Ｂ領域とＣ領域は入力画像に対してリサイズ後の画像は横方向に歪んだ画像となる。 In step S803, the resize ratio for each region is determined based on the detected parallax amounts PA, PB, and PC. As shown in FIG. 9 (3), when PA is larger than PB and PC, A area is 9/4 times horizontal, 9/4 times vertical, B area is 18/5 times horizontal, 9/4 times vertical, C area Is 18/5 times horizontal and 9/4 times vertical. The vertical direction converts the number of 720 pixels of the original image into 1080 pixels, the horizontal direction converts the number of B pixels and the C region to 110 pixels, and the A region converts the number of 500 pixels to 1125 pixels. The parallax amount is the image area where PA is the largest and the A area looks the most stereoscopic, and the A area causes the image to be distorted by keeping the aspect ratio of the image before and after resizing by making the horizontal and vertical ratios equal. I have not let it. In the B area and the C area, the resized image becomes an image distorted in the horizontal direction with respect to the input image.
ステップＳ８０４において、右画像分割リサイズ処理７０４は右元画像７０１を、左画像分割リサイズ処理７１０は左元画像７０２を、領域毎のリサイズ比率で画像サイズの変換を行う。画像のリサイズ処理方法は、線形変換法やバイキュービック法、オーバーサンプリング法など様々な方法で可能だが、視差量の精度を上げるためにバイキュービック法やオーバーサンプリング法などの高品位の変換方法を採用する。 In step S804, the right image division resizing process 704 converts the right original image 701, and the left image division resizing process 710 converts the image size of the left original image 702 at a resizing ratio for each region. Image resizing can be performed by various methods such as linear transformation, bicubic, and oversampling, but high-quality transformation methods such as bicubic and oversampling are used to improve the accuracy of the amount of parallax. To do.
ステップＳ８０５において、視差量の補正の有無の選択を行う。分割領域毎のリサイズ比率が等しい場合は視差量の補正は通常必要はない。実施例３ではリサイズ比率が異なるため、視差量の補正を行う。分割領域毎のリサイズ比率が等しい場合も、意図的に視差量を補正したい場合、例えば意図的に立体的な見え方をリサイズ後に変えたい場合には視差量の補正をすることも可能である。 In step S805, whether to correct the parallax amount is selected. When the resizing ratio for each divided area is equal, correction of the amount of parallax is usually not necessary. Since the resizing ratio is different in the third embodiment, the parallax amount is corrected. Even when the resizing ratios of the divided areas are equal, when the amount of parallax is intentionally corrected, for example, when the stereoscopic appearance is intentionally changed after resizing, the amount of parallax can be corrected.
ステップＳ８０６において、右画像視差補正７０６で各領域の視差量をＰＡ、ＰＢ、ＰＣとリサイズ比率に基づいて視差量の補正を行う。領域Ａはリサイズ比率が水平方向、垂直方向で等しいことから視差量の補正を実施しない。領域Ｂと領域Ｃは領域Ａとは水平方向のリサイズ比率が異なるため、視差量の補正を実施しない場合、元画像の視差量の差の関係（ＰＡ−ＰＢやＰＡ−ＰＣ）がリサイズ後の画像では変わってしまう。よって、領域Ｂと領域Ｃは視差量を図９（１）左画像、（２）右画像に示すとおり、視差量の補正処理を行う。補正視差量は検出した視差量ＰＡ、ＰＢ、ＰＣと、各領域の変換比率から次のように求める。
（領域Ｂの補正視差量ＰＢ’）＝ＰＢｘ（Ｂ領域のリサイズ比率１８／５）―ＰＢｘ（Ａ領域のリサイズ比率９／４）ｘ（Ｂ領域のリサイズ比率逆数５／１８）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域のリサイズ比率１８／５）―ＰＣｘ（Ａ領域のリサイズ比率９／４）ｘ（Ｃ領域のリサイズ比率逆数５／１８）。
In step S806, the right image parallax correction 706 corrects the parallax amount of each region based on PA, PB, and PC and the resizing ratio. In the area A, since the resizing ratio is equal in the horizontal direction and the vertical direction, the parallax amount is not corrected. Since the area B and the area C are different in resizing ratio in the horizontal direction from the area A, when the amount of parallax is not corrected, the relationship between the differences in the amount of parallax of the original image (PA-PB or PA-PC) is It will change in the image. Therefore, the region B and the region C perform the parallax amount correction processing as illustrated in FIG. 9A (1) left image and (2) right image. The corrected parallax amount is obtained as follows from the detected parallax amounts PA, PB, and PC and the conversion ratio of each region.
(Corrected parallax amount PB ′ of area B) = PBx (resizing ratio of area B 18/5) −PBx (resizing ratio of area A 9/4) × (resize B area resizing ratio 5/18),
(Corrected parallax amount PC ′ of area C) = PCx (resizing ratio of area C 18/5) −PCx (resizing ratio of area A 9/4) × (resize C area resizing ratio 5/18).
右画像の領域Ｂは（ＰＢ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ｂは（ＰＢ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例３では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。また、視差量補正後画像の画素数と表示装置７０９の画素数との差異が発生する場合があり、視差量補正後の画像の画素数が表示画素数より多い場合は視差量補正後の画像の画素数を差分画素数削除し、視差量補正後の画像の画素数が表示画素数より少ない場合は視差量補正後の画像の端の画素を差分画素数分追加する。 The region B of the right image is converted into an image in which the amount of (PB ′ / 2) is shifted, and the region C is converted into an image in which the amount of (PC ′ / 2) is shifted to the right. The area B of the left image is converted to an image in which the amount of (PB ′ / 2) is shifted, and the area C is converted to an image in which the amount of (PC ′ / 2) is shifted to the left. Since the image after the parallax amount correction has an image discontinuity at the boundary between the regions, after the parallax amount correction, a filter operation is further performed on the image region at the boundary portion to reduce the image discontinuity. In the third embodiment, an example is described in which the region is divided into three. However, it is also possible to divide the vicinity of the boundary of the divided region into several narrow regions and perform resizing processing and parallax amount correction for each region. is there. In addition, there may be a difference between the number of pixels of the image after the parallax amount correction and the number of pixels of the display device 709. If the number of pixels of the image after the parallax amount correction is larger than the number of display pixels, the image after the parallax amount correction is performed. If the number of pixels in the image after the parallax amount correction is smaller than the number of display pixels, the number of pixels at the end of the image after the parallax amount correction is added by the number of difference pixels.
ステップＳ８０７において、表示画像処理７０８で表示装置７０９に映像を表示するためのタイミング信号を生成する。具体的には画像垂直と水平の基準信号を生成する。生成後、タイミング信号と映像信号を表示装置７０９で表示可能な信号型式に変換して表示装置７０９に送信する。 In step S807, the display image processing 708 generates a timing signal for displaying a video on the display device 709. Specifically, image vertical and horizontal reference signals are generated. After the generation, the timing signal and the video signal are converted into a signal format that can be displayed on the display device 709 and transmitted to the display device 709.
最後にステップＳ８０８において、表示装置７０９に映像が表示される。 Finally, in step S808, an image is displayed on the display device 709.
ステップＳ８０１において領域分割しない選択を行った場合は、画像全体を一括でリサイズ処理する場合であり、ステップＳ８０９でリサイズ比率決定し、ステップＳ８１０で視差量を検出して、ステップＳ８１１でリサイズ処理する。リサイズ比率によってはステップＳ２１２で視差量の補正の有無を選択し、補正する場合はステップＳ８１３で視差量補正処理を行う。 If selection not to divide the area is performed in step S801, the entire image is resized at once. The resize ratio is determined in step S809, the amount of parallax is detected in step S810, and the resize process is performed in step S811. Depending on the resizing ratio, whether or not to correct the parallax amount is selected in step S212, and in the case of correcting, the parallax amount correction process is performed in step S813.
以上、本発明では、分割した領域毎に視差量を検出して、視差量で領域毎のリサイズ比率を決定してリサイズ処理し、さらに領域毎に視差量補正を行うことにより、立体表示する画像の立体の見え方をリサイズ前の画像の見え方に近づけることが可能である。 As described above, in the present invention, a parallax amount is detected for each divided region, a resizing ratio is determined for each region based on the parallax amount, and resizing processing is performed, and further, the parallax amount correction is performed for each region, thereby displaying an image for stereoscopic display. It is possible to bring the three-dimensional appearance close to that of the image before resizing.
また、実施例３では画像を拡大する場合だったが、縮小する場合も実施例１のブロック図とフローチャートに従った処理で実現可能である。 In the third embodiment, the image is enlarged. However, the image can be reduced by processing according to the block diagram and the flowchart of the first embodiment.
１０１ 右元画像、１０２ 左元画像、１０３ 視差量検出、
１０４ 右画像分割リサイズ処理、１０５ 視差情報、１０６ 右画像視差補正、
１０７ リサイズ比率情報と領域情報、１０８ 表示画像処理、１０９ 表示装置、
１１０ 左画像分割リサイズ処理、１１１ 左画像視差補正、１１２ 視差情報
101 Right original image, 102 Left original image, 103 Parallax amount detection,
104 right image division resizing processing, 105 parallax information, 106 right image parallax correction,
107 Resize ratio information and area information, 108 display image processing, 109 display device,
110 Left image division resizing processing, 111 Left image parallax correction, 112 Parallax information
Claims (5)
前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ手段と、
リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整手段と、
前記調整手段によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示手段とを備えることを特徴とする立体画像の信号処理装置。 Detecting means for inputting a left eye image and a right eye image signal for displaying a stereoscopic image, and detecting a parallax amount between the left eye image and the right eye image;
Resizing means for resizing the left-eye image and the right-eye image;
Adjusting means for adjusting the parallax amount of the image after the resizing process from the parallax amount detected from the image before the resizing process and the resizing conversion ratio information;
A stereoscopic image signal processing apparatus comprising: display means for displaying each signal of the left-eye image and right-eye image adjusted by the adjustment means on a display device.
前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ工程と、
リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整工程と、
前記調整工程によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示工程とを有することを特徴とする立体画像の信号処理方法。 A detection step of inputting each signal of a left-eye image and a right-eye image for displaying a stereoscopic image, and detecting a parallax amount between the left-eye image and the right-eye image;
A resizing step for resizing the left-eye image and the right-eye image;
An adjustment step of adjusting the parallax amount of the image after the resizing process from the parallax amount detected from the image before the resizing process and the resizing conversion ratio information;
A stereoscopic image signal processing method comprising: a display step of displaying each signal of the left-eye image and the right-eye image adjusted in the adjustment step on a display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014109622A JP2015226170A (en) | 2014-05-28 | 2014-05-28 | Signal processing device and method for stereoscopic image display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014109622A JP2015226170A (en) | 2014-05-28 | 2014-05-28 | Signal processing device and method for stereoscopic image display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015226170A true JP2015226170A (en) | 2015-12-14 |
Family
ID=54842663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014109622A Pending JP2015226170A (en) | 2014-05-28 | 2014-05-28 | Signal processing device and method for stereoscopic image display |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015226170A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026321A1 (en) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | Image processing apparatus and image processing method |
-
2014
- 2014-05-28 JP JP2014109622A patent/JP2015226170A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026321A1 (en) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | Image processing apparatus and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364623B (en) | Information processing apparatus, information processing method, and computer readable medium | |
| JP4259913B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program | |
| JP6094863B2 (en) | Image processing apparatus, image processing method, program, integrated circuit | |
| EP2469870A2 (en) | Image processing device, image processing method, and program | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| US20140347350A1 (en) | Image Processing Method and Image Processing System for Generating 3D Images | |
| JP5669614B2 (en) | Image display apparatus and control method thereof | |
| EP2381693A1 (en) | Three-dimensional image display device and method of deriving motion vector | |
| WO2013105562A1 (en) | Image processing device, image processing method, image processing program, image capture device, and image display device | |
| JP5127973B1 (en) | Video processing device, video processing method, and video display device | |
| JP2015226170A (en) | Signal processing device and method for stereoscopic image display | |
| WO2012120880A1 (en) | 3d image output device and 3d image output method | |
| JP4892105B1 (en) | Video processing device, video processing method, and video display device | |
| JP2017045273A (en) | Image processing apparatus, image processing method, and program | |
| JP5765418B2 (en) | Stereoscopic image generation apparatus, stereoscopic image generation method, and stereoscopic image generation program | |
| US20140036045A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2012113398A (en) | Image processing device and image processing system | |
| JP2013192152A (en) | Imaging apparatus, imaging system, and image processing method | |
| WO2018189961A1 (en) | Image processing device, terminal device, and image processing program | |
| JPWO2019082415A1 (en) | Image processing device, imaging device, control method of image processing device, image processing program and recording medium | |
| WO2017212804A1 (en) | Image display device, method for controlling image display device, and control program for image display device | |
| US8976234B2 (en) | Method for controlling display of stereoscopic image, apparatus for controlling display of stereoscopic image, and imaging apparatus | |
| JP5395884B2 (en) | Video processing device, video processing method, and video display device | |
| TWI514325B (en) | System and method of revising depth of a 3d image pair | |
| EP2563021A2 (en) | Devices and methods for 3-D image processing |