JP2012147370A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2012147370A
JP2012147370A JP2011005810A JP2011005810A JP2012147370A JP 2012147370 A JP2012147370 A JP 2012147370A JP 2011005810 A JP2011005810 A JP 2011005810A JP 2011005810 A JP2011005810 A JP 2011005810A JP 2012147370 A JP2012147370 A JP 2012147370A
Authority
JP
Japan
Prior art keywords
image data
correlation
imaging
representative point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011005810A
Other languages
Japanese (ja)
Inventor
Hiroshi Ishii
浩史 石井
Original Assignee
Panasonic Corp
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, パナソニック株式会社 filed Critical Panasonic Corp
Priority to JP2011005810A priority Critical patent/JP2012147370A/en
Publication of JP2012147370A publication Critical patent/JP2012147370A/en
Granted legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of shooting 3D images and performing displacement detection in higher speed.SOLUTION: An imaging apparatus includes: first imaging means for shooting a subject to output image data P1(n); second imaging means for shooting a subject to output image data P2(n); a representative point memory for storing information of the image data P2(n) representative point; a first correlation operation part for calculating a correlation V1 between the image data P1(n) and the image data P2 (n-1) representative point stored in the representative point memory; a second correlation operation part for calculating a correlation V2 between the image data P2(n) and the image data P2 (n-1) representative point stored in the representative point memory; and a signal processing part for calculating a correlation V of the image data P1(n) and the P2(n) based on the correlations V1 and V2.

Description

本発明は、3次元画像データを取得可能な撮像装置に関し、特に、左右画像データの垂直ずれ補正機能を有する3次元動画を撮像可能な撮像装置に関する。   The present invention relates to an imaging apparatus capable of acquiring three-dimensional image data, and more particularly, to an imaging apparatus capable of imaging a three-dimensional moving image having a function of correcting vertical deviation of left and right image data.
2つの視点から被写体を同時に撮像し、立体画像を示す3次元(3D)画像データを取得可能な撮像装置(以下、3D撮像装置ともいう)が知られている。このような3次元撮像装置においては、左右の画角のずれに起因して左右の画像データに位置ずれが発生する。左右画像の位置ずれのうち、特に垂直方向のずれ(垂直ずれ)については、水平方向のずれと比較して、鑑賞者が立体画像として視聴する際により不快感を得る可能性がある。したがって、特に左右画像に対する垂直ずれを補正することが必要となる。そこで、撮像した左右画像データにおいて対応する特徴点の位置を比較し、その位置が一致するように補正パラメータを導出する方法が提案されている(例えば、特許文献1参照。)。特許文献1によれば、この構成により、画角のずれに起因する被写体の位置ずれを簡単に補正することができるとしている。   An imaging device (hereinafter also referred to as a 3D imaging device) that can simultaneously capture a subject from two viewpoints and acquire three-dimensional (3D) image data indicating a stereoscopic image is known. In such a three-dimensional imaging apparatus, a positional shift occurs in the left and right image data due to a shift in the left and right field angles. Among the positional deviations between the left and right images, in particular, the vertical deviation (vertical deviation) may cause the viewer to feel more uncomfortable when viewing the stereoscopic image as compared with the horizontal deviation. Therefore, it is necessary to correct the vertical shift particularly with respect to the left and right images. Therefore, a method has been proposed in which the positions of corresponding feature points in the captured left and right image data are compared, and correction parameters are derived so that the positions match (for example, see Patent Document 1). According to Japanese Patent Application Laid-Open No. 2004-133867, this configuration makes it possible to easily correct a subject position shift caused by a view angle shift.
また、1つの視点から被写体を撮像して画像データを取得する撮像装置(以下、2次元(2D)画像を取得可能な撮像装置、または2D撮像装置という)では、MPEG等の符号化処理における符号化効率向上のため、撮像した2つの画像データ間で検出した動きベクトルを考慮して符号化を行うことが一般的である。このような符号化処理においては、以下のような処理が行われる。すでに撮像済みの画像データから抽出した代表点の情報を代表点メモリに記憶しておく。新たに撮像素子からの画像データを取り込む際に順次、代表点の情報を抽出する。画像データ取り込み時に順次抽出した代表点の情報と、代表点メモリに記憶されている内容とで代表点マッチングを行うことにより、動きベクトルを検出する。このようにすることで、フレームメモリを使用せずに、撮像素子からの画像データ取り込み完了時に動きベクトルの検出も完了できるため、より高速に符号化処理が行える。   Further, in an imaging device that captures an image of a subject from one viewpoint and acquires image data (hereinafter referred to as an imaging device that can acquire a two-dimensional (2D) image, or a 2D imaging device), a code in an encoding process such as MPEG In order to improve the conversion efficiency, encoding is generally performed in consideration of a motion vector detected between two captured image data. In such an encoding process, the following process is performed. Information on representative points extracted from already captured image data is stored in the representative point memory. When newly acquiring image data from the image sensor, information on representative points is sequentially extracted. A motion vector is detected by performing representative point matching with information on representative points sequentially extracted at the time of capturing image data and the contents stored in the representative point memory. By doing so, the detection of the motion vector can be completed at the completion of the image data capture from the image sensor without using the frame memory, so that the encoding process can be performed at a higher speed.
特開2006−157432号公報JP 2006-157432 A
従来の2D撮像装置での動きベクトル検出を応用し、3D撮像装置における左右画像の位置ずれ検出を行うことを考える。従来の動きベクトル検出の方法は、入力される画像データから順次代表点の情報を抽出し、代表点メモリ上に存在する抽出済みの代表点の情報と比較する方法である。したがって、これをそのまま適用しようとすると、時間合わせのためにフレームメモリが必要となる。例えば、3D撮像装置において同時に撮像された左右画像データのうち、左画像データをフレームメモリに記憶する一方、右画像データからは代表点を抽出して代表点メモリに記憶する。次に、フレームメモリから左画像データを読み出しながら順次代表点の情報を抽出し、代表点メモリに記憶された右画像データの代表点の情報と比較する。このように2段階の処理となるため、その分だけ動きベクトル検出、ひいては左右画像の位置ずれ検出のタイミングが遅れてしまい、その結果3D画像の出力タイミングも遅れてしまうという課題があった。   Let us consider the application of motion vector detection in a conventional 2D imaging device to detect the displacement of the left and right images in the 3D imaging device. A conventional motion vector detection method is a method in which representative point information is sequentially extracted from input image data and compared with extracted representative point information existing in a representative point memory. Therefore, if this is applied as it is, a frame memory is required for time adjustment. For example, among the left and right image data simultaneously captured by the 3D imaging device, the left image data is stored in the frame memory, while the representative point is extracted from the right image data and stored in the representative point memory. Next, representative point information is sequentially extracted while reading the left image data from the frame memory, and is compared with the representative point information of the right image data stored in the representative point memory. As described above, since the processing is performed in two stages, there is a problem that the timing of motion vector detection, and hence the detection of the positional deviation of the left and right images, is delayed by that amount, and as a result, the output timing of the 3D image is also delayed.
本発明は、前記課題を解決し、3D画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することを目的とする。   An object of the present invention is to solve the above-mentioned problems and to provide an imaging device capable of detecting a displacement at a higher speed in an imaging device capable of capturing a 3D image.
前記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データP1(n)を出力する第1の撮像手段と、被写体を撮像して画像データP2(n)を出力する第2の撮像手段と、画像データP2(n)の代表点の情報を記憶する代表点メモリと、画像データP1(n)と代表点メモリに記憶されている画像データP2(n−1)の代表点との間の相関V1を求める第1の相関演算部と、画像データP2(n)と代表点メモリに記憶されている画像データP2(n−1)の代表点との間の相関V2を求める第2の相関演算部と、相関V1およびV2に基づいて画像データP1(n)およびP2(n)の相関Vを求める信号処理部と、を備える。   In order to solve the above-described problem, the imaging apparatus of the present invention captures a subject and outputs image data P1 (n), and captures the subject and outputs image data P2 (n). A second imaging means, a representative point memory for storing information of representative points of the image data P2 (n), and the image data P1 (n) and the image data P2 (n-1) stored in the representative point memory. A first correlation calculation unit for obtaining a correlation V1 between the representative points, and a correlation V2 between the image data P2 (n) and the representative points of the image data P2 (n-1) stored in the representative point memory. And a signal processing unit for obtaining the correlation V of the image data P1 (n) and P2 (n) based on the correlations V1 and V2.
本発明の撮像装置によれば、3D画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となる。   According to the imaging apparatus of the present invention, it is possible to provide an imaging apparatus capable of detecting a displacement at a higher speed in an imaging apparatus capable of capturing a 3D image.
本発明の実施の形態1に係るデジタルカメラの外観図1 is an external view of a digital camera according to Embodiment 1 of the present invention. 本発明の実施の形態1に係るデジタルカメラのブロック図1 is a block diagram of a digital camera according to Embodiment 1 of the present invention. 本発明の実施の形態1に係るデジタルカメラの検出エリアを説明する図The figure explaining the detection area of the digital camera which concerns on Embodiment 1 of this invention 本発明の実施の形態1に係るデジタルカメラの垂直ズレ補正処理を説明する図The figure explaining the vertical shift correction process of the digital camera which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係るデジタルカメラの相関演算処理を説明する図The figure explaining the correlation calculation process of the digital camera which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係るデジタルカメラの垂直ズレ補正の概要を説明する図The figure explaining the outline | summary of the vertical shift correction | amendment of the digital camera which concerns on Embodiment 1 of this invention. 本発明の実施の形態2に係るデジタルカメラの垂直ズレ補正処理を説明する図The figure explaining the vertical shift correction process of the digital camera which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係るデジタルカメラの相関演算処理を説明する図The figure explaining the correlation calculation process of the digital camera which concerns on Embodiment 2 of this invention. 本発明の実施の形態3に係るデジタルカメラの相関演算処理を説明する図The figure explaining the correlation calculation process of the digital camera which concerns on Embodiment 3 of this invention. 本発明の実施の形態3に係るデジタルカメラの垂直ズレ補正処理を説明する図The figure explaining the vertical shift correction process of the digital camera which concerns on Embodiment 3 of this invention. 本発明の他の実施の形態に係るデジタルカメラの水平ズレ補正処理を説明する図The figure explaining the horizontal shift correction process of the digital camera which concerns on other embodiment of this invention.
以下、図面を参照して実施の形態について説明する。   Hereinafter, embodiments will be described with reference to the drawings.
(実施の形態1)
(1.外観)
図1は本発明の実施の形態に係るデジタルカメラ100の外観図である。図1(a)は、正面図であり、図1(b)は、背面図である。
(Embodiment 1)
(1. Appearance)
FIG. 1 is an external view of a digital camera 100 according to an embodiment of the present invention. FIG. 1A is a front view, and FIG. 1B is a rear view.
デジタルカメラ100の正面(図1(a)参照)には、撮像光学系101L、101Rとフラッシュ102が配されている。撮像光学系101Lおよび101Rは左右方向に並んで配置されている。撮像光学系101Lはデジタルカメラ100を正面から見たときに、撮像光学系101Rに対して右側に配置されている。撮像光学系101Lおよび101Rの光軸は平行であり、その方向はデジタルカメラ100の正面方向と一致している。撮像光学系101Lおよび101Rは、被写体像をデジタルカメラ100内の2つの撮像素子の各々に結像させる。フラッシュ102は、暗所での撮影において、閃光を発して撮影光量の不足を補う。デジタルカメラ100の上面には、シャッターボタン103が配されている。撮影者がシャッターボタン103を押下すると、撮影モードに応じて各撮像素子に結像した被写体像に基づく3D画像データがメモリカード等の記録媒体に記録される。   Imaging optical systems 101L and 101R and a flash 102 are arranged in front of the digital camera 100 (see FIG. 1A). The imaging optical systems 101L and 101R are arranged side by side in the left-right direction. The imaging optical system 101L is disposed on the right side of the imaging optical system 101R when the digital camera 100 is viewed from the front. The optical axes of the imaging optical systems 101L and 101R are parallel, and the direction thereof coincides with the front direction of the digital camera 100. The imaging optical systems 101L and 101R form a subject image on each of the two imaging elements in the digital camera 100. The flash 102 emits a flash to compensate for the shortage of the photographing light amount when photographing in a dark place. A shutter button 103 is disposed on the upper surface of the digital camera 100. When the photographer presses the shutter button 103, 3D image data based on the subject image formed on each image sensor according to the shooting mode is recorded on a recording medium such as a memory card.
デジタルカメラ100の背面(図1(b)参照)には、液晶モニター104、モードダイヤル105、各種操作ボタン106が配されている。液晶モニター104は視差バリア方式等により立体画像の裸眼立体視が可能である。液晶モニター104には、2つの撮像素子に結像した被写体像に基づく立体画像が表示される。従って、液晶モニター104に表示された立体画像を観察しながら撮影のための構図を決定することができる。また、液晶モニター104は、記録媒体に記録された3D画像データに基づく立体画像を表示することができる。   On the back of the digital camera 100 (see FIG. 1B), a liquid crystal monitor 104, a mode dial 105, and various operation buttons 106 are arranged. The liquid crystal monitor 104 is capable of autostereoscopic viewing of a stereoscopic image by a parallax barrier method or the like. The liquid crystal monitor 104 displays a stereoscopic image based on the subject image formed on the two image sensors. Accordingly, it is possible to determine the composition for shooting while observing the stereoscopic image displayed on the liquid crystal monitor 104. The liquid crystal monitor 104 can display a stereoscopic image based on 3D image data recorded on the recording medium.
モードダイヤル105を操作することで、デジタルカメラ100の動作モードを決定することができる。デジタルカメラ100の動作モードには、撮影モードおよび再生モードがある。撮影モードにはさらに、静止画撮影モードおよび動画撮影モードがある。静止画撮影モードは、撮影者がシャッターボタン103を押下することにより、各撮像素子に結像した被写体像に基づく3D画像データを3D静止画データとしてメモリカード等の記録媒体に記録することができる動作モードである。静止画撮影モードは、さらに全自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、シーン別撮影モードに細分される。   By operating the mode dial 105, the operation mode of the digital camera 100 can be determined. The operation mode of the digital camera 100 includes a shooting mode and a playback mode. The shooting mode further includes a still image shooting mode and a moving image shooting mode. In the still image shooting mode, when the photographer presses the shutter button 103, 3D image data based on the subject image formed on each image sensor can be recorded as 3D still image data on a recording medium such as a memory card. It is an operation mode. The still image shooting mode is further subdivided into a fully automatic shooting mode, a program shooting mode, a shutter speed priority shooting mode, an aperture priority shooting mode, and a scene-specific shooting mode.
動画撮影モードは、各撮像素子に結像した被写体像に基づく3D画像データを3D動画データとしてメモリカード等の記録媒体に記録することができる動作モードである。待機状態において撮影者がシャッターボタン103を押下することにより、3D動画データの記録を開始する。また、動画データの記録中に再度撮影者がシャッターボタン103を押下すると、3D動画データの記録を終了する。   The moving image shooting mode is an operation mode in which 3D image data based on a subject image formed on each image sensor can be recorded as 3D moving image data on a recording medium such as a memory card. When the photographer presses the shutter button 103 in the standby state, recording of 3D moving image data is started. Further, when the photographer presses the shutter button 103 again during the recording of the moving image data, the recording of the 3D moving image data is ended.
再生モードは、記録媒体に記録された3D画像データに基づく立体画像を液晶モニター104に表示することができる動作モードである。各種操作ボタン106を操作することによって、撮影モードと再生モードにおける、さらに詳細な設定をすることができる。すなわち、撮影モードにおいては、露出補正、ホワイトバランス調整、フラッシュ102の発光に関する設定等を行うことができる。また、再生モードにおいては、液晶モニター104に表示された画像の拡大や縮小、液晶モニター104に同時に表示する画像の数の設定、メモリカード等の記録媒体に記録された画像データの検索等を行うことができる。   The playback mode is an operation mode in which a stereoscopic image based on 3D image data recorded on a recording medium can be displayed on the liquid crystal monitor 104. By operating the various operation buttons 106, more detailed settings can be made in the shooting mode and the playback mode. That is, in the shooting mode, settings relating to exposure correction, white balance adjustment, light emission of the flash 102, and the like can be performed. In the playback mode, the image displayed on the liquid crystal monitor 104 is enlarged or reduced, the number of images simultaneously displayed on the liquid crystal monitor 104, the image data recorded on a recording medium such as a memory card is searched, and the like. be able to.
(2.構成)
図2は、本実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。撮像光学系101Lは、被写体光を撮像素子であるCCDイメージセンサー301Lに結像させる。撮像光学系101Lは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のOIS用レンズ(図示せず)を含む。本実施の形態に係るデジタルカメラ100においては、撮像光学系101L内にシャッター装置101Laを配している。
(2. Configuration)
FIG. 2 is a block diagram showing an electrical configuration of the digital camera according to the present embodiment. The imaging optical system 101L forms an image of subject light on a CCD image sensor 301L that is an imaging element. The imaging optical system 101L includes a plurality of lens groups. The plurality of lens groups includes an OIS lens (not shown) for hand shake correction. In the digital camera 100 according to the present embodiment, a shutter device 101La is arranged in the imaging optical system 101L.
CCDイメージセンサー301Lは、結像した被写体光に基づく画像信号を出力する。AFE302Lは、CCDイメージセンサー301Lの出力するアナログ信号である画像信号をデジタル信号である左画像データに変換して出力する。左画像データは、バス303を経由して信号処理LSI305に入力されるのと並行してSDRAM304に格納される。   The CCD image sensor 301L outputs an image signal based on the imaged subject light. The AFE 302L converts an image signal that is an analog signal output from the CCD image sensor 301L into left image data that is a digital signal, and outputs the left image data. The left image data is stored in the SDRAM 304 in parallel with being input to the signal processing LSI 305 via the bus 303.
SDRAM304は、処理過程における各種画像データを記憶するフレームメモリとして機能する。また、代表点信号(後述)を記憶するための代表点メモリとしても機能する。   The SDRAM 304 functions as a frame memory that stores various image data in the process. It also functions as a representative point memory for storing representative point signals (described later).
撮像光学系101Rは、被写体光を撮像素子であるCCDイメージセンサー301Rに結像させる。撮像光学系101Rは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のOIS用レンズ(図示せず)を含む。本実施の形態に係るデジタルカメラ100においては、撮像光学系101R内にシャッター装置101Raを配している。   The imaging optical system 101R forms an image of subject light on a CCD image sensor 301R that is an imaging element. The imaging optical system 101R includes a plurality of lens groups. The plurality of lens groups includes an OIS lens (not shown) for hand shake correction. In the digital camera 100 according to the present embodiment, a shutter device 101Ra is arranged in the imaging optical system 101R.
CCDイメージセンサー301Rは、結像した被写体光に基づく画像信号を出力する。AFE302Rは、CCDイメージセンサー301Rの出力するアナログ信号である画像信号をデジタル信号である右画像データに変換して出力する。右画像データは、バス303を経由して信号処理LSI305に入力されるのと並行してSDRAM304に格納される。   The CCD image sensor 301R outputs an image signal based on the imaged subject light. The AFE 302R converts an image signal that is an analog signal output from the CCD image sensor 301R into right image data that is a digital signal, and outputs the right image data. The right image data is stored in the SDRAM 304 in parallel with being input to the signal processing LSI 305 via the bus 303.
本実施の形態に係るデジタルカメラ100では、撮像素子としてCCDイメージセンサーを示したが、CMOSイメージセンサー等その他の撮像素子であっても構わない。   In the digital camera 100 according to the present embodiment, a CCD image sensor is shown as an image sensor, but other image sensors such as a CMOS image sensor may be used.
信号処理LSI305は、CPU305a、信号処理部305b、揺れ検出部305c、SRAM305dによって構成されている。CPU305aは、デジタルカメラ100全体の制御を行う。CPU305aはシャッター装置101La、101Raの動作を制御することができるが、図2においては、図が煩雑になるため制御線を図示していない。   The signal processing LSI 305 includes a CPU 305a, a signal processing unit 305b, a shake detection unit 305c, and an SRAM 305d. The CPU 305a controls the entire digital camera 100. The CPU 305a can control the operations of the shutter devices 101La and 101Ra, but the control line is not shown in FIG. 2 because the figure becomes complicated.
信号処理部305bは、相関演算処理部1および相関演算処理部2を含む。AFE302Lから入力される左画像データ、AFE302Rから入力される右画像データ、および、代表点メモリに記憶された代表点信号に基づいて相関演算を行い、左右画像データ間の位置ずれ検出処理を行う。位置ずれ検出処理については後で動作の説明において詳しく述べる。   The signal processing unit 305b includes a correlation calculation processing unit 1 and a correlation calculation processing unit 2. A correlation calculation is performed based on the left image data input from the AFE 302L, the right image data input from the AFE 302R, and the representative point signal stored in the representative point memory, and a positional deviation detection process between the left and right image data is performed. The positional deviation detection process will be described in detail later in the explanation of the operation.
信号処理部305bは、SDRAM304に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する。出力された画像データは、各々切り出し右画像データおよび切り出し左画像データ(以下、これらを切り出し画像データと呼ぶ)としてSDRAM304に格納される。信号処理部305bは、右画像データおよび左画像データからの切り出し位置を、位置ずれ検出結果に基づいて決定する。したがって、切り出し右画像データおよび切り出し左画像データの間の位置ずれは解消または低減されたものとなっている。   The signal processing unit 305b cuts out and outputs image data of a predetermined size from the right image data and the left image data stored in the SDRAM 304. The output image data is stored in the SDRAM 304 as cut right image data and cut left image data (hereinafter referred to as cut image data). The signal processing unit 305b determines the cut-out positions from the right image data and the left image data based on the position shift detection result. Therefore, the positional deviation between the cut-out right image data and the cut-out left image data is eliminated or reduced.
信号処理部305bは、AFE302L、302RによってSDRAM304に格納された切り出し画像データからなる3D画像データを液晶モニター104による表示に適した3D画像データに変換し、液晶モニター104に出力する。   The signal processing unit 305 b converts 3D image data composed of cut-out image data stored in the SDRAM 304 by the AFEs 302 L and 302 R into 3D image data suitable for display on the liquid crystal monitor 104, and outputs the 3D image data to the liquid crystal monitor 104.
静止画撮影モードにおいては、シャッターボタン103の半押しによって合焦動作が開始され、全押しによって撮影が行われる。信号処理部305bは、SDRAM304に格納された切り出し画像データが、シャッターボタン103の全押しによって格納された画像データであるときは、メモリカード306への記録に適した3D画像データに変換し、メモリカード306に記録する。メモリカード306に記録された3D画像データは、信号処理部305bによって、液晶モニター104による表示に適した画像データに変換され、液晶モニター104に表示される。   In the still image shooting mode, the focusing operation starts when the shutter button 103 is half-pressed, and shooting is performed when the shutter button 103 is fully pressed. When the clipped image data stored in the SDRAM 304 is image data stored by fully pressing the shutter button 103, the signal processing unit 305b converts the cut image data into 3D image data suitable for recording on the memory card 306, and Record on the card 306. The 3D image data recorded on the memory card 306 is converted into image data suitable for display on the liquid crystal monitor 104 by the signal processing unit 305 b and displayed on the liquid crystal monitor 104.
動画撮影モードにおいては、シャッターボタン103の全押しによって動画撮影を開始する。信号処理部305bは、動画撮影中にSDRAM304に格納された画像データを順次、メモリカード306への記録に適した3D動画データに変換し、メモリカード306に記録する。メモリカード306に記録された3D動画データは、信号処理部305bによって、液晶モニター104による表示に適した画像データに変換され、液晶モニター104に表示される。   In the moving image shooting mode, moving image shooting is started by fully pressing the shutter button 103. The signal processing unit 305 b sequentially converts the image data stored in the SDRAM 304 during moving image shooting into 3D moving image data suitable for recording on the memory card 306, and records it on the memory card 306. The 3D moving image data recorded on the memory card 306 is converted into image data suitable for display on the liquid crystal monitor 104 by the signal processing unit 305 b and displayed on the liquid crystal monitor 104.
ジャイロセンサー307は、デジタルカメラ100の揺れに対応した揺れ信号を出力する。揺れ検出部305cは、ジャイロセンサー307の出力する揺れ信号をCPU305aに出力する。CPU305aは、揺れ信号に基づいて、撮像光学系101Lおよび撮像光学系101RのOIS用レンズを駆動することにより、CCDイメージセンサー301Lおよび301Rに結像する被写体像の揺れを低減させる。   The gyro sensor 307 outputs a shaking signal corresponding to the shaking of the digital camera 100. The shake detection unit 305c outputs the shake signal output from the gyro sensor 307 to the CPU 305a. The CPU 305a drives the OIS lenses of the image pickup optical system 101L and the image pickup optical system 101R based on the shake signal, thereby reducing the shake of the subject image formed on the CCD image sensors 301L and 301R.
本実施の形態と本発明との対応について説明する。信号処理LSI305は、本発明の画像処理装置の一例である。デジタルカメラ100は、本発明の撮像装置の一例である。   The correspondence between the present embodiment and the present invention will be described. The signal processing LSI 305 is an example of the image processing apparatus of the present invention. The digital camera 100 is an example of an imaging apparatus of the present invention.
(3.動作)
本実施の形態のデジタルカメラ100における、信号処理LSIを用いた3D画像の垂直ずれ検出の動作を説明する。
(3. Operation)
An operation of detecting vertical deviation of a 3D image using a signal processing LSI in the digital camera 100 of the present embodiment will be described.
デジタルカメラ100に内蔵されたジャイロセンサー307によって、撮影者の手揺れによる角速度変化が検知され、この検知された手揺れによる角速度変化を補正するため、左右レンズに内蔵されたOIS用レンズが駆動される。このとき左右レンズの制御駆動のばらつきにより、左右異なる補正残りが発生する。この左右異なる補正残りは、3D動画データにおける左右画像データのずれとなり、特に垂直方向のずれは、鑑賞時に鑑賞者の不自然さの感知や、頭痛やめまいの原因となる可能性もある。   The gyro sensor 307 built in the digital camera 100 detects a change in angular velocity due to the shake of the photographer, and the OIS lens built in the left and right lenses is driven to correct the change in angular velocity caused by the detected shake. The At this time, different left and right correction residues occur due to variations in control drive of the left and right lenses. This left and right correction residue causes a shift in the left and right image data in the 3D moving image data. In particular, the shift in the vertical direction may cause an unnaturalness of the viewer at the time of viewing and may cause a headache or dizziness.
そこでここでは、画像処理によってこの3D動画データにおける左右画像データの垂直ずれを検知し、補正することによって鑑賞者にとって安全な映像を提供する。   Therefore, here, a video that is safe for the viewer is provided by detecting and correcting the vertical shift of the left and right image data in the 3D moving image data by image processing.
左右のAFE302LおよびAFE302Rから出力された左右の画像データは、信号処理部305bに走査線毎に同時に入力される。   The left and right image data output from the left and right AFE 302L and AFE 302R are simultaneously input to the signal processing unit 305b for each scanning line.
前フレームの画像データが入力されるとき、信号処理LSI305は、AFE302Rから出力された右画像データのうち、画面上の代表点に位置する信号のみを、代表点メモリに記憶する。   When the image data of the previous frame is input, the signal processing LSI 305 stores, in the representative point memory, only the signal located at the representative point on the screen among the right image data output from the AFE 302R.
画面上の代表点の位置を図3を用いて説明する。画面は水平1920画素×垂直1080画素で構成される。この画面内に、8つの検出エリアが設定される。8つの検出エリアは、画面内の水平4箇所×垂直2箇所に分散して配置される。各検出エリア内には、水平10個×垂直10個の代表点が、水平40画素×垂直32画素の間隔を開けて設定している。すなわち、各検出エリアは水平400画素×垂直320画素で構成される。この検出エリアを水平10個×垂直10個のブロックに分割すると、各ブロックは水平40画素×垂直32画素となる。この各ブロックの中央に位置する画素を代表点とする。各検出エリアは代表点を100個含むので、画面全体ではこの8倍の800個の代表点を含む。代表点メモリは、右画像データにおけるこれら800個の代表点信号を記憶する。   The position of the representative point on the screen will be described with reference to FIG. The screen is composed of horizontal 1920 pixels × vertical 1080 pixels. Eight detection areas are set in this screen. The eight detection areas are distributed and arranged in 4 horizontal positions × 2 vertical positions in the screen. In each detection area, 10 horizontal points × 10 vertical points are set with an interval of 40 horizontal pixels × 32 vertical pixels. That is, each detection area is composed of horizontal 400 pixels × vertical 320 pixels. When this detection area is divided into 10 horizontal blocks × 10 vertical blocks, each block has horizontal 40 pixels × vertical 32 pixels. A pixel located at the center of each block is set as a representative point. Since each detection area includes 100 representative points, the entire screen includes 800 representative points, which is eight times this. The representative point memory stores these 800 representative point signals in the right image data.
次に、現フレームのAFE302L、302Rからの画像データが入力される。信号処理LSI305は、それぞれAFE302L、302Rからの左右の画像データについて、前フレームの右画像との間の相関について評価し、動きベクトルを求める。   Next, image data from the AFEs 302L and 302R of the current frame is input. The signal processing LSI 305 evaluates the correlation between the left and right image data from the AFEs 302L and 302R with the right image of the previous frame, and obtains a motion vector.
具体的には次のような処理を行う。まず、AFE302Lからの左画像データと前フレームの右画像との相関演算1について説明する。信号処理LSI305の相関演算処理部1は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの左画像データの代表点近傍の信号との間の相関演算1を行う。すなわち、代表点メモリの代表点信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に加算する相関演算1を行う。所定の偏移量は通常、代表点をほぼ中心とした、水平−19画素〜+20画素、垂直−15画素〜+16画素の範囲、すなわち代表点を含むブロックの範囲として設定される。   Specifically, the following processing is performed. First, the correlation calculation 1 between the left image data from the AFE 302L and the right image of the previous frame will be described. The correlation calculation processing unit 1 of the signal processing LSI 305 performs correlation calculation 1 between the representative point signal of the right image data of the previous frame stored in the representative point memory and the signal near the representative point of the left image data of the current frame. Do. That is, the absolute value of the difference between the representative point signal in the representative point memory and the signal shifted by a predetermined amount from the position of the representative point in the current frame is calculated, and correlation calculation 1 is performed for each predetermined deviation amount. The predetermined shift amount is normally set as a range of horizontal −19 pixels to +20 pixels and vertical −15 pixels to +16 pixels, that is, a block range including a representative point, with the representative point being substantially the center.
例えば、現フレームの右画像データの8つの検出エリアのうち左上隅のエリアに注目する。この検出エリアに含まれる100個のブロックの代表点の各々から水平−19画素、垂直−15画素偏移した位置(各ブロックの左上隅)の画素の信号(100個)と、代表点メモリに記憶されている対応する検出エリア、対応するブロックの代表点信号(100個)との間の差の絶対値を求める。これら100個分の絶対値の総和を求め、エリア相関値とする。この計算を全偏移量(40×32=1280通り)について行い、各偏移量におけるエリア相関値1を求める。次に、全エリア相関値(1280個)のうち最小のエリア相関値を求め、このときの偏移量を、この検出エリアにおける動きベクトルとする(なお、エリア相関値が最小となる偏移量に対応する位置を最小点と呼ぶことにする)。他の7つの検出エリアについても同様の計算を行い、8つの動きベクトルV1を求める。   For example, attention is paid to the upper left corner area among the eight detection areas of the right image data of the current frame. Signals (100) of pixels at positions (upper left corner of each block) shifted by horizontal −19 pixels and vertical −15 pixels from each of the representative points of 100 blocks included in this detection area, and the representative point memory The absolute value of the difference between the corresponding detection area stored and the representative point signals (100) of the corresponding block is obtained. The sum of the absolute values for these 100 is obtained and used as the area correlation value. This calculation is performed for all deviation amounts (40 × 32 = 1280), and an area correlation value 1 for each deviation amount is obtained. Next, a minimum area correlation value is obtained from all area correlation values (1280), and the shift amount at this time is used as a motion vector in the detection area (the shift amount that minimizes the area correlation value). The position corresponding to is called the minimum point). Similar calculations are performed for the other seven detection areas to obtain eight motion vectors V1.
同様にして信号処理LSI305の相関演算処理部2は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの右画像データの代表点近傍の信号との間の相関演算2を行い、エリア相関値2および8つの動きベクトルV2を求める。   Similarly, the correlation calculation processing unit 2 of the signal processing LSI 305 correlates between the representative point signal of the right image data of the previous frame stored in the representative point memory and the signal near the representative point of the right image data of the current frame. Calculation 2 is performed to obtain area correlation value 2 and eight motion vectors V2.
なお、動きベクトルの探索範囲は上記のように水平−19画素〜+20画素、垂直−15画素〜+16画素としたが、必ずしもこの通りである必要はなく、例えばこれはフレーム毎、エリア毎に水平0画素〜+39画素、水平−39画素〜0画素、垂直0画素〜+31画素、垂直−31画素〜0画素の間でシフトすることも可能である。   The search range of the motion vector is horizontal −19 pixels to +20 pixels and vertical −15 pixels to +16 pixels as described above. However, this is not necessarily the case. For example, this is horizontal for each frame and each area. It is also possible to shift between 0 pixels to +39 pixels, horizontal −39 pixels to 0 pixels, vertical 0 pixels to +31 pixels, and vertical −31 pixels to 0 pixels.
現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算1,2によって偏移量毎の相関演算結果(エリア相関値1、2)が得られ、検出エリア毎の動きベクトルV1、V2が求められる。   When input of the image signal of the current frame is completed, a correlation calculation result (area correlation value 1, 2) for each deviation amount is obtained by correlation calculation 1, 2 in each detection area, and a motion vector V1 for each detection area. , V2 is obtained.
相関演算1では、前フレームのAFE302Rからの出力と、現フレームのAFE302Lとの動きベクトルV1が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算2では、前フレームのAFE302Rからの出力と、現フレームのAFE302Rとの動きベクトルV2が検出され、これには前フレームと現フレーム間の動きのみが含まれている。   In the correlation calculation 1, a motion vector V1 between the output from the AFE 302R of the previous frame and the AFE 302L of the current frame is detected, and this includes both the motion between the previous frame and the current frame and the deviation of the left and right images. Yes. On the other hand, in the correlation calculation 2, the output from the AFE 302R of the previous frame and the motion vector V2 between the AFE 302R of the current frame are detected, and this includes only the motion between the previous frame and the current frame.
したがって、対応する検出エリアどうしで前記V1からV2を減ずることによって、現フレームにおける左右画像のズレのみを示す動きベクトルVが検出エリアごとに算出できる。   Therefore, by subtracting V2 from V1 between the corresponding detection areas, a motion vector V indicating only the deviation of the left and right images in the current frame can be calculated for each detection area.
V=V1−V2
8つのエリアについて、上記相関値から左右画像のズレを示す動きベクトルVを求めた後、左右画像のズレを補正する方法を、図4〜図6を用いて説明する。
V = V1-V2
A method of correcting the shift of the left and right images after obtaining the motion vector V indicating the shift of the left and right images from the correlation values for the eight areas will be described with reference to FIGS.
まず、左右の画像データにおいて、8つの検出エリアにおけるエリア相関値の最小点によって、動きベクトルV1,V2を算出する。   First, in the left and right image data, motion vectors V1 and V2 are calculated from the minimum points of the area correlation values in the eight detection areas.
一方、それぞれの検出エリアのエリア相関値について、エリア相関値の最小値、平均値および最小点の周りの傾きに基づいて信頼性判定を行う。ここで、各検出エリアの1280個のエリア相関値の最小値をminとする。各検出エリアの1280個のエリア相関値の平均値をaveとする。また、最小点におけるエリア相関値の水平方向および垂直方向の変化量を最小点の周りの傾きKHおよびKVとする。具体的には、最小点の左右に隣接する位置におけるエリア相関値の差を水平方向の傾きKH、最小点の上下に隣接する位置におけるエリア相関値の差を垂直方向の傾きKVとする。そして、以下の条件を満たすときに信頼性ありと判定する。   On the other hand, for the area correlation value of each detection area, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of the area correlation value. Here, the minimum value of 1280 area correlation values in each detection area is set to min. The average value of 1280 area correlation values in each detection area is assumed to be ave. Further, the amount of change in the horizontal direction and the vertical direction of the area correlation value at the minimum point is assumed to be inclinations KH and KV around the minimum point. Specifically, the difference between the area correlation values at the positions adjacent to the left and right of the minimum point is defined as the horizontal inclination KH, and the difference between the area correlation values at the positions adjacent above and below the minimum point is defined as the vertical inclination KV. And it determines with reliability when the following conditions are satisfy | filled.
min<Th1
ave>Th2
KH>Th3
KV>Th4
(ただし、Th1、Th2、Th3、Th4は所定のしきい値)
動きベクトルV1,V2より左右画像のズレを示す動きベクトルVを算出すると同時に、エリア相関値について信頼性ありと判定された検出エリアの動きベクトルVのみ信頼性ありと判定する。8つの検出エリアのうち、信頼性ありと判定された動きベクトルVを集め、その垂直方向成分の中間値Vyを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。
min <Th1
ave> Th2
KH> Th3
KV> Th4
(However, Th1, Th2, Th3, Th4 are predetermined threshold values)
A motion vector V indicating a deviation between the left and right images is calculated from the motion vectors V1 and V2, and at the same time, only the motion vector V in the detection area determined to be reliable with respect to the area correlation value is determined to be reliable. Of the eight detection areas, motion vectors V determined to be reliable are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images.
垂直ズレ補正は、信号処理部305bが、SDRAM304に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する際に、右画像データと左画像データとで垂直の切り出し位置をそれぞれ+Vy/2、−Vy/2だけずらすことで行う。ここでは、AFE302L、302Rから入力された画像信号は、RGB信号のRAWデータとしてSDRAM304に記憶される。つぎに画像処理部305bがRGB信号のRAWデータをYC信号に変換し、再びSDRAM304に記憶する。このとき図6に示すようにYC信号の切り出しを行い、垂直方向の位置ズレが補正される。   In the vertical shift correction, when the signal processing unit 305b cuts out and outputs image data of a predetermined size from the right image data and the left image data stored in the SDRAM 304, the vertical cut position between the right image data and the left image data is output. Are shifted by + Vy / 2 and −Vy / 2, respectively. Here, the image signals input from the AFEs 302L and 302R are stored in the SDRAM 304 as RAW data of RGB signals. Next, the image processing unit 305 b converts the RAW data of the RGB signal into a YC signal and stores it again in the SDRAM 304. At this time, the YC signal is cut out as shown in FIG. 6 to correct the vertical position shift.
SDRAM304に記憶されたYC信号は更に、動画圧縮等の処理が行われ、動画信号ストリームとしてメモリカード306に記憶される。   The YC signal stored in the SDRAM 304 is further subjected to processing such as moving image compression, and is stored in the memory card 306 as a moving image signal stream.
切り出された出力画像では、左右の画像の垂直ズレが補正されているため、出力結果の動画ストリームを液晶モニター104のような3Dディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。   In the cut out output image, the vertical misalignment between the left and right images is corrected, so there is no unnaturalness when viewing the output video stream on a 3D display such as the LCD monitor 104, and headaches and dizziness can be avoided. It can provide safe images that do not occur.
(実施の形態2)
実施の形態2について、図7、図8を用いて説明する。図8に示すように、実施の形態2の構成は実施の形態1に対して、2つの代表点メモリ1,2、と4つの相関演算処理部1,2,3,4を有する点が異なる。他の構成要素は、実施の形態1と同様であり、詳細な説明は省略する。
(Embodiment 2)
The second embodiment will be described with reference to FIGS. As shown in FIG. 8, the configuration of the second embodiment is different from the first embodiment in that it has two representative point memories 1 and 2 and four correlation calculation processing units 1, 2, 3, and 4. . Other components are the same as those in the first embodiment, and detailed description thereof is omitted.
前フレームの画像信号が入力されるとき、代表点メモリ1にはAFE302Lから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ2にはAFE302Rの出力信号の代表点位置の信号が記憶される。   When the image signal of the previous frame is input, the representative point memory 1 stores a signal located at the representative point of the image signal output from the AFE 302L, and the representative point memory 2 stores the representative point position of the output signal of the AFE 302R. The signal is stored.
次に、現フレームのAFE302L、302Rからの画像信号が入力されるとき、相関演算処理部1では、代表点メモリ2の出力とAFE302Lの出力信号について、相関演算処理部2では、代表点メモリ2の出力とAFE302Rの出力信号について、相関演算処理部3では、代表点メモリ1の出力とAFE302Lの出力信号について、相関演算処理部4では、代表点メモリ1の出力とAFE302Rの出力信号について、それぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算1,2,3,4を行う。   Next, when image signals from the AFEs 302L and 302R of the current frame are input, the correlation calculation processing unit 1 uses the representative point memory 2 for the output of the representative point memory 2 and the output signal of the AFE 302L. And the AFE 302R output signal, the correlation calculation processing unit 3 outputs the representative point memory 1 output and the AFE 302L output signal, and the correlation calculation processing unit 4 outputs the representative point memory 1 output and the AFE 302R output signal. Correlation calculation 1, 2 that calculates the absolute value of the difference between the signal stored in the representative point memory of the previous frame and the signal shifted by a predetermined amount from the position of the representative point of the current frame, and sums up the product for each predetermined shift amount , 3 and 4 are performed.
現フレームの画像信号が入力完了した時点で、各エリアでの相関演算1,2,3,4によって偏移量毎の相関演算結果(エリア相関値)が得られている。このエリア相関値が最小となる偏移量(最小点)を求め、これをエリア毎の動きベクトルとする。   When input of the image signal of the current frame is completed, a correlation calculation result (area correlation value) for each deviation amount is obtained by correlation calculation 1, 2, 3, 4 in each area. A deviation amount (minimum point) that minimizes the area correlation value is obtained, and this is used as a motion vector for each area.
相関演算1では、前フレームのAFE302Rからの出力と、現フレームのAFE302Lとの動きベクトルV1が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算2では、前フレームのAFE302Rからの出力と、現フレームのAFE302Rとの動きベクトルV2が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記V1からV2を減ずることによって、左右画像のズレのみを示す動きベクトルVが算出できる。   In the correlation calculation 1, a motion vector V1 between the output from the AFE 302R of the previous frame and the AFE 302L of the current frame is detected, and this includes both the motion between the previous frame and the current frame and the deviation of the left and right images. Yes. On the other hand, in the correlation calculation 2, the output from the AFE 302R of the previous frame and the motion vector V2 between the AFE 302R of the current frame are detected, and this includes only the motion between the previous frame and the current frame. Therefore, by subtracting V2 from V1, it is possible to calculate a motion vector V that indicates only the deviation between the left and right images.
V=V1−V2
また相関演算3では、前フレームのAFE302Lからの出力と、現フレームのAFE302Lとの動きベクトルV’1が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算4では、前フレームのAFE302Lからの出力と、現フレームのAFE302Rとの動きベクトルV’2が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記V’1からV’2を減ずることによっても、左右画像のズレのみを示す動きベクトルV’が算出できる。
V = V1-V2
Further, in the correlation calculation 3, the output from the AFE 302L of the previous frame and the motion vector V′1 between the AFE 302L of the current frame are detected, and this includes both the movement between the previous frame and the current frame and the deviation of the left and right images. include. On the other hand, in the correlation calculation 4, a motion vector V′2 between the output from the AFE 302L of the previous frame and the AFE 302R of the current frame is detected, and this includes only the motion between the previous frame and the current frame. Therefore, by subtracting V′2 from V′1, it is possible to calculate a motion vector V ′ indicating only the deviation between the left and right images.
V’=V’1−V’2
本来、VとV’は一致すべきであるが、ノイズの影響や、エリア内に遠近の異なる対象物の混在によって不一致となる場合がある。したがってこの両者の一致度を調べることでも、動きベクトルの信頼性を判定することができる。8つのエリアについて、上記、相関値1、2,3,4から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図7を用いて説明する。
V '= V'1-V'2
Originally, V and V ′ should match, but there may be a case where they do not match due to the influence of noise or a mixture of different objects in the distance. Therefore, the reliability of the motion vector can also be determined by checking the degree of coincidence between the two. A method of correcting the shift of the left and right images after obtaining the motion vectors indicating the shift of the left and right images from the correlation values 1, 2, 3, and 4 for the eight areas will be described with reference to FIG.
まず、8つの検出エリアのエリア相関値1、2においてそれぞれ、その最小点によって、動きベクトルV1,V2を算出する。一方、それぞれのエリア相関値1,2の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記V1,V2より左右ズレを示す動きベクトルVを算出すると同時に、エリア相関値1,2の両方とも信頼性ありと判定されたエリアの動きベクトルVのみ信頼性ありと判定する。   First, motion vectors V1 and V2 are calculated based on the minimum points in the area correlation values 1 and 2 of the eight detection areas. On the other hand, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each area correlation value 1 and 2. At the same time as calculating the motion vector V indicating the left / right deviation from the V1 and V2, only the motion vector V in the area where both the area correlation values 1 and 2 are determined to be reliable is determined to be reliable.
また、8つの検出エリアのエリア相関値3、4においてそれぞれ、その最小点によって、動きベクトルV’1,V’2を算出する。一方、それぞれのエリア相関値3,4の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記V’1,V’2より左右ズレを示す動きベクトルV’を算出すると同時に、エリア相関値3,4の両方とも信頼性ありと判定されたエリアの動きベクトルV’のみ信頼性ありと判定する。   Also, motion vectors V′1 and V′2 are calculated based on the minimum points in the area correlation values 3 and 4 of the eight detection areas. On the other hand, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each area correlation value 3 and 4. At the same time as calculating the motion vector V ′ indicating the left / right deviation from the V ′ 1 and V ′ 2, it is determined that only the motion vector V ′ of the area where the area correlation values 3 and 4 are determined to be reliable is reliable. To do.
8つの検出エリアのうち、前記信頼性判定で信頼性ありと判定された動きベクトルVとV’を集め、さらにそのVとV’の差の絶対値が所定の閾値=2画素以下で一致するときのみ、VとV’を信頼性ありと判定する第二の判定を行う。第二の判定で、信頼性ありと判定された、VとV’を集め、その垂直方向成分の中間値Vyを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態1と同様である。   Of the eight detection areas, motion vectors V and V ′ determined to be reliable in the reliability determination are collected, and the absolute value of the difference between V and V ′ matches with a predetermined threshold value = 2 pixels or less. Only when the second determination is made to determine that V and V ′ are reliable. V and V 'determined to be reliable in the second determination are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images. The correction method is the same as in the first embodiment.
実施の形態2の構成では、代表点メモリと演算処理部が、実施の形態1と比較して2倍必要となるが、VとV’との一致度で信頼性判定を加えることで、より安定して左右の画像の垂直ズレが補正できる。そのため、出力結果の動画ストリームを3Dディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。   In the configuration of the second embodiment, the representative point memory and the arithmetic processing unit are twice as much as those in the first embodiment. However, by adding reliability determination based on the degree of coincidence between V and V ′, The vertical misalignment between the left and right images can be corrected stably. Therefore, even if the moving image stream of the output result is viewed on a 3D display, there is no unnaturalness, and it is possible to provide a safe video that does not cause a headache or dizziness.
(実施の形態3)
実施の形態3について、図9、図10を用いて説明する。図9に示すように、実施の形態3の構成は実施の形態1に対して、2つの代表点メモリ1,2を有する点が異なる。他の構成要素は、実施の形態1と同様であり、詳細な説明は省略する。
(Embodiment 3)
A third embodiment will be described with reference to FIGS. As shown in FIG. 9, the configuration of the third embodiment is different from the first embodiment in that it has two representative point memories 1 and 2. Other components are the same as those in the first embodiment, and detailed description thereof is omitted.
実施の形態3では、図9に示すように、代表点メモリ1,2、と相関演算処理部1,2を有する。前フレームの画像信号が入力されるとき、代表点メモリ1にはAFE302Lから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ2にはAFE302Rの出力信号の代表点位置の信号が記憶される。   In the third embodiment, as shown in FIG. 9, representative point memories 1 and 2 and correlation calculation processing units 1 and 2 are provided. When the image signal of the previous frame is input, the representative point memory 1 stores a signal located at the representative point of the image signal output from the AFE 302L, and the representative point memory 2 stores the representative point position of the output signal of the AFE 302R. The signal is stored.
次に、現フレームのAFE302L、302Rからの画像信号が入力されるとき、相関演算処理部1では、代表点メモリ2の出力とAFE302Lの出力信号について、相関演算処理部2では、代表点メモリ1の出力とAFE302Rの出力信号についてそれぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算1,2を行う。   Next, when image signals from the AFEs 302L and 302R of the current frame are input, the correlation calculation processing unit 1 uses the representative point memory 1 for the output of the representative point memory 2 and the output signal of the AFE 302L. The absolute value of the difference between the signal stored in the representative point memory of the previous frame and the signal shifted by a predetermined amount from the position of the representative point of the current frame is calculated for each of the output of AFE and the output signal of the AFE 302R. Correlation calculations 1 and 2 are performed.
現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算1,2によって偏移量毎の相関演算結果(エリア相関値)が得られている。このエリア相関値が最小となる偏移量(最小点)を求め、これを検出エリア毎の動きベクトルとする。   When input of the image signal of the current frame is completed, a correlation calculation result (area correlation value) for each shift amount is obtained by correlation calculations 1 and 2 in each detection area. A deviation amount (minimum point) that minimizes the area correlation value is obtained and used as a motion vector for each detection area.
相関演算1では、前フレームのAFE302Rからの出力と、現フレームのAFE302Lからの出力との間の動きベクトルV1が検出され、これには前フレームと現フレーム間の動きVtと、左右画像のズレVdの両方が含まれている。   In the correlation calculation 1, a motion vector V1 between the output from the AFE 302R in the previous frame and the output from the AFE 302L in the current frame is detected. Both Vd are included.
V1=Vt+Vd
一方相関演算2では、前フレームのAFE302Lからの出力と、現フレームのAFE302Rからの出力との間の動きベクトルV2が検出され、これには前フレームと現フレーム間の動きVtと、左右画像のズレVdの両方が含まれている。ただし、V2には左右画像のズレVdは、下式のようにV1とは逆の符号で含まれている。
V1 = Vt + Vd
On the other hand, in the correlation calculation 2, a motion vector V2 between the output from the AFE 302L of the previous frame and the output from the AFE 302R of the current frame is detected, and this includes the motion Vt between the previous frame and the current frame and the left and right images. Both of the deviations Vd are included. However, the shift Vd between the left and right images is included in V2 with a sign opposite to that of V1 as shown in the following equation.
V2=Vt−Vd
したがって、下式のように前記V1からV2を減じた後、2で割ることにより、左右画像のズレのみを示す動きベクトルVdが算出できる。
V2 = Vt−Vd
Therefore, by subtracting V2 from V1 and dividing by 2 as shown in the following equation, a motion vector Vd indicating only the shift between the left and right images can be calculated.
Vd=(V1−V2)/2
また、前フレームと現フレーム間の動きを示す動きベクトルVtを、下式のように前記V1にV2を加えた後、2で割ることにより算出できる。
Vd = (V1-V2) / 2
Further, the motion vector Vt indicating the motion between the previous frame and the current frame can be calculated by adding V2 to V1 and dividing by 2 as shown in the following equation.
Vt=(V1+V2)/2
8つの検出エリアについて、上記、エリア相関値1、2から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図10を用いて説明する。まず、8つの検出エリアのエリア相関値1、2においてそれぞれ、その最小点によって、V1,V2を算出する。一方、それぞれのエリア相関値1,2の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記V1,V2より左右ズレを示す動きベクトルVdを算出すると同時に、相関値1,2の両方とも信頼性ありと判定されたエリアの動きベクトルVdのみ信頼性ありと判定する。
Vt = (V1 + V2) / 2
With respect to the eight detection areas, a method of correcting the shift of the left and right images after obtaining the motion vector indicating the shift of the left and right images from the area correlation values 1 and 2 will be described with reference to FIG. First, V1 and V2 are calculated based on the minimum points in the area correlation values 1 and 2 of the eight detection areas. On the other hand, the reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each of the area correlation values 1 and 2. At the same time as calculating the motion vector Vd indicating the left / right deviation from V1 and V2, only the motion vector Vd of the area where both the correlation values 1 and 2 are determined to be reliable is determined to be reliable.
8つのエリアのうち、前記判定で信頼性ありと判定された動きベクトルVdを集め、その垂直方向成分の中間値Vyを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態1と同様である。   Of the eight areas, the motion vectors Vd determined to be reliable in the determination are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images. The correction method is the same as in the first embodiment.
ここでは、代表点メモリが、実施の形態1と比較して2倍必要となるが、実施の形態1と比較して、V1からV2を減じた後、値を2で割っているため誤差が半分になるメリットがある。そのため、出力結果の動画ストリームを3Dディスプレイで鑑賞しても不自然さがなく、頭痛やめまいなど起こさない安全な映像を提供できる。   Here, the representative point memory is required twice as much as that in the first embodiment, but after subtracting V2 from V1 as compared with the first embodiment, the value is divided by 2, so that there is an error. There is a merit to halve. Therefore, even if the moving image stream of the output result is viewed on a 3D display, there is no unnaturalness and it is possible to provide a safe video that does not cause headaches or dizziness.
(他の実施の形態)
以上説明した実施の形態1、2および3では、左右の垂直ズレのみを補正する例を示した。さらにこれに前フレームと現フレーム間の動きを示す動きベクトルによって左右の画像の切り出し位置をさらに同様に補正することによって、OIS用レンズによる揺れ補正の残り成分も補正でき、ゆれの少ない映像を得ることもできる。
(Other embodiments)
In the first, second, and third embodiments described above, examples in which only the left and right vertical shifts are corrected have been shown. Further, by correcting the left and right image cutout positions in the same manner by using the motion vector indicating the motion between the previous frame and the current frame, the remaining component of the shake correction by the OIS lens can be corrected, and an image with less fluctuation is obtained. You can also.
また実施の形態1、2および3では、左右の垂直ズレのみを補正する例を示した。さらにこれに、水平方向のズレをも補正することができる。実施の形態2に追加する形で、図11に示すように、信頼性ありとなるVとV’を集め、その水平成分Vxを集計する。このとき水平成分Vxは、OIS用レンズの左右の制御誤差によるズレ成分以外に、対象物の遠近によるズレ成分を含む。したがって、集計された水平成分Vxのうち、その最大値Vxmaxと最小値Vxminを抽出する。   In the first, second, and third embodiments, the example in which only the left and right vertical shifts are corrected has been described. In addition, a horizontal shift can be corrected. In a form added to the second embodiment, as shown in FIG. 11, V and V ′ having reliability are collected and the horizontal components Vx are totaled. At this time, the horizontal component Vx includes a shift component due to the distance of the object in addition to the shift component due to the left and right control errors of the OIS lens. Therefore, the maximum value Vxmax and the minimum value Vxmin are extracted from the totaled horizontal component Vx.
鑑賞者からディスプレイ表示面までの距離を例えば3mと設定し、この距離の対象物を左右水平画素ズレ=0となるように、無限遠の対象物での左右水平画素ズレ=Vx∞を設定する。ここで検出された、水平ズレ最小値Vxminのエリアが無限遠にあると仮定して
Vx=Vxmin−Vx∞
の量の水平位置の補正を行う。
The distance from the viewer to the display surface is set to 3 m, for example, and the horizontal pixel shift = Vx∞ for the object at infinity is set so that the object at this distance becomes horizontal pixel shift = 0. . Assuming that the area of the horizontal displacement minimum value Vxmin detected here is at infinity, Vx = Vxmin−Vx∞
Correct the horizontal position of the amount.
3D映像信号の水平ズレは、垂直ズレに比べて、不自然さを感じにくいが、垂直ズレの補正に加え、この水平ズレの補正によって、より自然な映像を提供できる。また、3D映像信号では、想定範囲を越えて近づきすぎる対象物は、左右画像の水平ズレが、大きくなりずぎ、鑑賞者に不自然さや頭痛やめまいなどを感じさせる危険がある。前記検出された、水平ズレ最大値Vxmaxと最小値Vxminによって、補正された出力画像での水平ズレの最大値Vx’maxを算出できる。   The horizontal shift of the 3D video signal is less likely to feel unnaturalness than the vertical shift, but a more natural image can be provided by correcting the horizontal shift in addition to correcting the vertical shift. In addition, in a 3D video signal, an object that is too close to the expected range has a large horizontal shift between the left and right images, which may cause the viewer to feel unnaturalness, headache, dizziness, and the like. Based on the detected horizontal deviation maximum value Vxmax and minimum value Vxmin, the maximum value Vx′max of horizontal deviation in the corrected output image can be calculated.
Vx’max = Vxmax−Vx
= Vxmax+Vx∞−Vxmin
このVx’maxが、所定量の閾値を越えるとき、撮影者に「警告」を表示する。これによって、より安全な映像を提供できる3D動画撮影カメラを実現できる。
Vx′max = Vxmax−Vx
= Vxmax + Vx∞−Vxmin
When this Vx′max exceeds a predetermined amount of threshold, a “warning” is displayed to the photographer. As a result, a 3D video camera capable of providing safer video can be realized.
上記実施の形態では、代表点の水平垂直の間隔とベクトル探索範囲の水平垂直の大きさを等しくした。こうすることで、走査線にしたがって1画素の信号が入力される時点(クロック)で、1つの代表点との差分を演算し、その絶対値を相関値に加算すればいいので、並列に演算する回路が不要となる。しかしながら、並列に演算する回路を用いることで、代表点の間隔を狭くすることもできる。   In the above embodiment, the horizontal and vertical intervals of the representative points are made equal to the horizontal and vertical sizes of the vector search range. By doing this, the difference from one representative point can be calculated at the time (clock) when one pixel signal is input according to the scanning line, and the absolute value can be added to the correlation value. The circuit to perform becomes unnecessary. However, the interval between the representative points can be narrowed by using a circuit that operates in parallel.
たとえば、4重の並列回路を用いれば、代表点の間隔をたとえば垂直1/2、水平1/2とすることができ、代表点数を4倍にすることができ、動きベクトルの安定性を増やすこともできる。   For example, if a quadruple parallel circuit is used, the interval between the representative points can be, for example, vertical 1/2 and horizontal 1/2, the number of representative points can be quadrupled, and the motion vector stability is increased. You can also.
さらに並列回路の並列度を大きくすれば、代表点の間隔を垂直、水平ともに1画素とし、全画素を用いたマッチングをすることも可能である。この場合でも、本発明は、2つの撮像センサから走査線にしたがって、現フレームの画像データの入力が完了した時点で、2つの画像間の動きベクトルを示す相関値が演算完了しており、2つの画像間の動きベクトルを従来より早い時点で算出できるので、その効果は大きい。   Furthermore, if the parallelism of the parallel circuit is increased, the interval between the representative points can be set to one pixel both vertically and horizontally, and matching using all pixels can be performed. Even in this case, according to the present invention, when the input of the image data of the current frame is completed according to the scanning lines from the two image sensors, the correlation value indicating the motion vector between the two images is completely calculated. Since the motion vector between two images can be calculated at an earlier time point than before, the effect is great.
本発明によれば、シャッターチャンスに強い撮像装置を提供することができるので、デジタルスチルカメラのみならず、静止画を撮影することができるムービーカメラや携帯電話等、静止画の連写機能を備えた撮像装置全般に適用することができる。   According to the present invention, it is possible to provide an imaging device that is resistant to a photo opportunity, so that not only a digital still camera but also a movie camera and a mobile phone that can shoot still images are provided with a still image continuous shooting function. The present invention can be applied to all imaging devices.
本発明の撮像装置によれば、3D画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となるため、左右画像データの垂直ずれ補正機能を有する3次元画像を撮像可能なデジタルカメラ、ムービー、携帯電話等に適用可能である。   According to the imaging apparatus of the present invention, it is possible to provide an imaging apparatus capable of detecting a positional shift at a higher speed in an imaging apparatus capable of capturing a 3D image. The present invention can be applied to digital cameras, movies, mobile phones, and the like that can capture dimensional images.
100 デジタルカメラ
101L 撮像光学系
101La シャッター装置
101R 撮像光学系
101Ra シャッター装置
102 フラッシュ
103 シャッターボタン
104 液晶モニター
105 モードダイヤル
106 操作ボタン
301L CCDイメージセンサー
301R CCDイメージセンサー
302L AFE
302R AFE
303 バス
304 SDRAM
305 信号処理LSI
305a CPU
305b 信号処理部
305c 揺れ検出部
305d SRAM
306 メモリカード
307 ジャイロセンサー
DESCRIPTION OF SYMBOLS 100 Digital camera 101L Imaging optical system 101La Shutter apparatus 101R Imaging optical system 101Ra Shutter apparatus 102 Flash 103 Shutter button 104 Liquid crystal monitor 105 Mode dial 106 Operation button 301L CCD image sensor 301R CCD image sensor 302L AFE
302R AFE
303 Bus 304 SDRAM
305 Signal processing LSI
305a CPU
305b Signal processing unit 305c Shake detection unit 305d SRAM
306 Memory card 307 Gyro sensor

Claims (3)

  1. 被写体を撮像して第1の画像データを出力する第1の撮像手段と、
    前記第1の撮像手段とは異なる位置から前記第1の撮像手段と同期して前記被写体を撮像して第2の画像データを出力する第2の撮像手段と、
    前記第2の画像データの一部または全部を記憶するメモリと、
    前記第1の撮像手段がn番目に出力する第1の画像データを画像データP1(n)、前記第2の撮像手段がn番目に出力する第2の画像データを画像データP2(n)としたときに、
    画像データP1(n)と前記メモリに記憶されている画像データP2(n−1)との間の相関V1を求める第1の相関演算部と、
    画像データP2(n)と前記メモリに記憶されている画像データP2(n−1)との間の相関V2を求める第2の相関演算部と、
    前記相関V1および前記相関V2に基づいて画像データP1(n)および画像データP2(n)の相関Vを求める信号処理部と、
    を備えた撮像装置。
    First imaging means for imaging a subject and outputting first image data;
    Second imaging means for imaging the subject in synchronization with the first imaging means from a position different from the first imaging means and outputting second image data;
    A memory for storing a part or all of the second image data;
    The first image data output by the first image pickup means is the nth image data P1 (n), and the second image data output by the second image pickup means is the image data P2 (n). When
    A first correlation calculation unit for obtaining a correlation V1 between the image data P1 (n) and the image data P2 (n-1) stored in the memory;
    A second correlation calculation unit for obtaining a correlation V2 between the image data P2 (n) and the image data P2 (n-1) stored in the memory;
    A signal processing unit for obtaining a correlation V between the image data P1 (n) and the image data P2 (n) based on the correlation V1 and the correlation V2,
    An imaging apparatus comprising:
  2. 被写体を撮像して第1の画像データを出力する第1の撮像手段と、
    前記第1の撮像手段とは異なる位置から前記第1の撮像手段と同期して前記被写体を撮像して第2の画像データを出力する第2の撮像手段と、
    前記第2の画像データの代表点の情報を記憶する第2の代表点メモリと、
    前記第1の撮像手段がn番目に出力する第1の画像データを画像データP1(n)、前記第2の撮像手段がn番目に出力する第2の画像データを画像データP2(n)としたときに、
    画像データP1(n)と前記第2の代表点メモリに記憶されている画像データP2(n−1)の代表点との間の相関V1を求める第1の相関演算部と、
    画像データP2(n)と前記第2の代表点メモリに記憶されている画像データP2(n−1)の代表点との間の相関V2を求める第2の相関演算部と、
    前記相関V1および前記相関V2に基づいて画像データP1(n)および画像データP2(n)の相関Vを求める信号処理部と、
    を備えた撮像装置。
    First imaging means for imaging a subject and outputting first image data;
    Second imaging means for imaging the subject in synchronization with the first imaging means from a position different from the first imaging means and outputting second image data;
    A second representative point memory for storing information of representative points of the second image data;
    The first image data output by the first image pickup means is the nth image data P1 (n), and the second image data output by the second image pickup means is the image data P2 (n). When
    A first correlation calculator that obtains a correlation V1 between the image data P1 (n) and the representative point of the image data P2 (n-1) stored in the second representative point memory;
    A second correlation calculation unit for obtaining a correlation V2 between the image data P2 (n) and the representative point of the image data P2 (n-1) stored in the second representative point memory;
    A signal processing unit for obtaining a correlation V between the image data P1 (n) and the image data P2 (n) based on the correlation V1 and the correlation V2,
    An imaging apparatus comprising:
  3. 前記第1の画像データの代表点の情報を記憶する第1の代表点メモリと、
    画像データP1(n)と前記第1の代表点メモリに記憶されている画像データP1(n−1)の代表点との間の相関V’1を求める第3の相関演算部と、
    画像データP2(n)と前記第1の代表点メモリに記憶されている画像データP2(n−1)の代表点との間の相関V’2を求める第4の相関演算部と、
    前記相関V’1および前記相関V’2に基づいて画像データP1(n−1)および画像データP2(n−1)の相関V’を求める第2の信号処理部と、
    前記相関Vおよび前記相関V’に基づいて、前記相関Vの信頼性を判定する信頼性判定部と、
    をさらに備えた請求項2記載の撮像装置。
    A first representative point memory for storing information on representative points of the first image data;
    A third correlation calculation unit for obtaining a correlation V′1 between the image data P1 (n) and the representative point of the image data P1 (n−1) stored in the first representative point memory;
    A fourth correlation calculation unit for obtaining a correlation V′2 between the image data P2 (n) and the representative point of the image data P2 (n−1) stored in the first representative point memory;
    A second signal processing unit for obtaining a correlation V ′ of the image data P1 (n−1) and the image data P2 (n−1) based on the correlation V′1 and the correlation V′2,
    A reliability determination unit that determines the reliability of the correlation V based on the correlation V and the correlation V ′;
    The imaging apparatus according to claim 2, further comprising:
JP2011005810A 2011-01-14 2011-01-14 Imaging apparatus Granted JP2012147370A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011005810A JP2012147370A (en) 2011-01-14 2011-01-14 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011005810A JP2012147370A (en) 2011-01-14 2011-01-14 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2012147370A true JP2012147370A (en) 2012-08-02

Family

ID=46790453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011005810A Granted JP2012147370A (en) 2011-01-14 2011-01-14 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2012147370A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016016984A1 (en) * 2014-07-31 2016-02-04 日立マクセル株式会社 Image pickup device and tracking method for subject thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016016984A1 (en) * 2014-07-31 2016-02-04 日立マクセル株式会社 Image pickup device and tracking method for subject thereof
CN106575027A (en) * 2014-07-31 2017-04-19 日立麦克赛尔株式会社 Image pickup device and tracking method for subject thereof
JPWO2016016984A1 (en) * 2014-07-31 2017-06-01 日立マクセル株式会社 Imaging device and subject tracking method thereof
US10609273B2 (en) 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof

Similar Documents

Publication Publication Date Title
CN107079100B (en) Method and system for lens shift correction for camera arrays
US10306165B2 (en) Image generating method and dual-lens device
CN107948519B (en) Image processing method, device and equipment
US9210408B2 (en) Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
US9019387B2 (en) Imaging device and method of obtaining image
JP5683025B2 (en) Stereoscopic image capturing apparatus and stereoscopic image capturing method
JP4790086B2 (en) Multi-eye imaging apparatus and multi-eye imaging method
JP4657313B2 (en) Stereoscopic image display apparatus and method, and program
KR20170106325A (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN102282857B (en) Imaging device and method
CN100478728C (en) System and method for image capture device
US9081195B2 (en) Three-dimensional image display apparatus and three-dimensional image processing method
JP5789793B2 (en) Three-dimensional imaging device, lens control device, and program
US8441520B2 (en) Primary and auxiliary image capture devcies for image processing and related methods
JP5917017B2 (en) Image processing apparatus, control method therefor, and program
US9661227B2 (en) Method, circuit and system for stabilizing digital image
US8792019B2 (en) Video creation device, video creation method and non-transitory computer-readable storage medium
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8363091B2 (en) Stereoscopic image pick-up apparatus
CN102428707B (en) Stereovision-Image Position Matching Apparatus and Stereovision-Image Position Matching Method
KR20180032529A (en) Camera module, solid-state imaging device, electronic device and imaging method
US20110242286A1 (en) Stereoscopic Camera With Automatic Obstruction Removal
US10264174B2 (en) Photographing apparatus and focus detection method using the same