JP2016066848A - Imaging apparatus and method for controlling the same - Google Patents
Imaging apparatus and method for controlling the same Download PDFInfo
- Publication number
- JP2016066848A JP2016066848A JP2014193380A JP2014193380A JP2016066848A JP 2016066848 A JP2016066848 A JP 2016066848A JP 2014193380 A JP2014193380 A JP 2014193380A JP 2014193380 A JP2014193380 A JP 2014193380A JP 2016066848 A JP2016066848 A JP 2016066848A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- image sensor
- motion vector
- pixel
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
ＣＭＯＳ撮像素子（イメージセンサ）を用いてローリングシャッタ方式で撮像された画像を処理する撮像装置が提案されている。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ローリングシャッタ方式では、フレーム画像のデータ転送が１ラインごとに行われる。したがって、フレーム画像内における撮像タイミングが、ラインごとに僅かに異なるタイミングとなるので、撮像タイミングのズレに起因した、ローリングシャッタ歪み（フォーカルプレーン歪み）が発生する。このとき、ローリングシャッタ歪み成分によって、被写体の移動量にズレが生じてしまい、高品質な動きベクトルを算出できなくなる。 There has been proposed an image pickup apparatus that processes an image picked up by a rolling shutter system using a CMOS image pickup element (image sensor). CMOS is an abbreviation for Complementary Metal Oxide Semiconductor. In the rolling shutter system, frame image data is transferred line by line. Therefore, since the imaging timing in the frame image is slightly different for each line, rolling shutter distortion (focal plane distortion) due to the imaging timing shift occurs. At this time, the moving amount of the subject is shifted due to the rolling shutter distortion component, and a high-quality motion vector cannot be calculated.
特許文献１は、映像信号から求められた動きベクトルを用いて、カメラの動きによって生じたローリングシャッタ歪み成分を推定して、映像信号のローリングシャッタ歪みを補正する画像処理装置を開示している。また、特許文献２は、ＣＭＯＳイメージセンサの画素構造の例を開示している。 Patent Document 1 discloses an image processing apparatus that estimates a rolling shutter distortion component caused by camera movement using a motion vector obtained from a video signal and corrects the rolling shutter distortion of the video signal. Patent Document 2 discloses an example of a pixel structure of a CMOS image sensor.
特許文献１が開示する画像処理装置が動きベクトル検出に用いる映像信号には、ローリングシャッタ歪み成分があるので、映像信号から検出される動きベクトル１つ１つの精度が低い。したがって、ヒストグラム処理をするなどして、画面全体の動き（カメラの動き）に起因したローリングシャッタ歪み成分を推定することしかできない。そのため、画像処理装置は、手振れにより生じるローリングシャッタ歪みを補正することが可能だが、画面内の局所的な動き（例えば、被写体の動作）によって生じるローリングシャッタ歪み成分を推定し、補正することはできない。 Since the video signal used for motion vector detection by the image processing apparatus disclosed in Patent Document 1 has a rolling shutter distortion component, the accuracy of each motion vector detected from the video signal is low. Accordingly, it is only possible to estimate a rolling shutter distortion component caused by the movement of the entire screen (camera movement) by performing histogram processing or the like. For this reason, the image processing apparatus can correct rolling shutter distortion caused by camera shake, but cannot estimate and correct a rolling shutter distortion component caused by local movement (for example, movement of a subject) in the screen. .
本発明は、上記の課題の少なくとも一つを解決するためになされたものである。本発明は、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することが可能な撮像装置の提供を目的とする。 The present invention has been made to solve at least one of the above problems. An object of the present invention is to provide an imaging apparatus capable of detecting a high-quality motion vector with reduced rolling shutter distortion components.
本発明の一実施形態の撮像装置は、複数の映像信号を出力する撮像素子と、前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御手段と、前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出手段とを備える。 An imaging device according to an embodiment of the present invention reads out a first video signal for display / recording from the imaging device by driving an imaging device that outputs a plurality of video signals, and driving control of the imaging device, and performs the driving Control means for reading out a second video signal for detecting a motion vector from the image sensor by drive control different from the control, and detecting a motion vector based on the second video signal read from the image sensor Detecting means.
本発明の撮像装置によれば、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することが可能となる。 According to the imaging apparatus of the present invention, it is possible to detect a high-quality motion vector with a reduced rolling shutter distortion component.
（実施例１）
図１は、実施例１の撮像装置の構成を示す図である。
実施例１の撮像装置は、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出する。
Example 1
FIG. 1 is a diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
The imaging apparatus according to the first embodiment detects a high-quality motion vector in which a rolling shutter distortion component is reduced.
光学系１００を通過して撮像素子１０１に結像された光学像が、撮像素子１０１で、画像信号に変換される。撮像素子１０１は、２つの出力を持つ。撮像素子１０１は、カメラ信号処理手段１０３に対して記録／表示用の映像信号（第１の映像信号）を出力する。また、撮像素子１０１は、メモリ１０４とベクトル検出手段１０５とに対して、動きベクトル検出用の映像信号（第２の映像信号）を出力する。撮像素子１０１の詳細については後述する。
An optical image that passes through the
カメラ信号処理手段１０３は、ホワイトバランス処理や、輝度・色差信号生成処理などの、既知のカメラ信号処理を実行して、記録／表示用の映像信号を生成する。メモリ１０４には、１フレーム分の動きベクトル検出用の映像信号が保持される。
The camera signal processing means 103 executes known camera signal processing such as white balance processing and luminance / color difference signal generation processing to generate a video signal for recording / display. The
ベクトル検出手段１０５は、撮像素子１０１が出力する映像信号と、メモリ１０４が出力する１フレーム前の映像信号とを用いて、動きベクトルを検出（算出）する。ベクトル検出手段１０５は、検出した動きベクトルをシステム制御手段１０６に出力する。
The
システム制御手段１０６は、撮像装置全体の動作を制御する。システム制御部１０６は、光学系１００の制御として、例えば、ズーム駆動制御、絞り値の調整、防振制御等を実行する。また、システム制御部１０６は、撮像素子１０１を駆動制御して、撮像素子１０１から記録／表示用の映像信号と、動きベクトル検出用の映像信号とを読み出す。また、システム制御部１０６は、ベクトル検出手段１０５の制御として、動きベクトルの検出条件を設定する。また、システム制御部１０６は、カメラ信号処理手段１０３の制御として、画質の設定等を実行する。
The
図２は、本実施例で適用する撮像素子の構成を説明する図である。
撮像素子１０１は、例えば、ＣＭＯＳイメージセンサであり、画素部２０３を有している。画素部２０３は、２次元マトリックス状配列された複数の画素を有している。そして、画素の各々では、光電変換によって生じた電荷のリセットおよび読み出し動作が行われる。なお、画素部２０３には、黒信号レベルを決定するための、いわゆるオプティカルブラック画素および回路ノイズ除去などに用いられるダミー画素が含まれている。
FIG. 2 is a diagram illustrating the configuration of the image sensor applied in the present embodiment.
The
水平信号回路２０１は、画素部２０３および垂直信号回路２０２を制御して、画素部２０３において、各行の露光時間の設定、画素信号を読み出す読み出し行の選択および非選択設定などを行う。これらの設定はタイミングジェネレータ２００によって行われる。タイミングジェネレータ２００は、垂直同期信号の入力端子、水平同期信号の入力端子、タイミングジェネレータに対するリセット・読み出し制御信号の入力端子がある。これらの信号はシステム制御手段１０６より入力される。
The
垂直信号回路２０２は、例えば、列アンプ回路、及びＡ／Ｄ変換回路、画素加算回路、信号メモリ、信号出力選択スイッチ、および出力回路を有している。画素部２０３と垂直信号回路２０２とは、列間に共通する垂直信号線で接続されている。
The
撮像素子１０１は、複数列ごとに１つの垂直信号線が共有される構成としても良い。また、撮像素子１０１は、複数の垂直信号回路を有し、それぞれ異なる垂直信号線を交互に接続させて、複数列を同時に読み出せる構成としても良い。
The
デジタル処理回路（信号処理部）２０４は、複数の行を駆動制御して各行について独立して信号の増幅、Ａ／Ｄ変換回路の設定（Ａ／Ｄ変換精度、スピード、および変換ゲインなど）、出力順の制御などを行う。また、デジタル処理回路２０４は、画像信号に対するフィルタ演算、複数画素の加算処理、画像信号の間引き出力などの機能を有していても良い。
A digital processing circuit (signal processing unit) 204 drives and controls a plurality of rows, independently amplifies signals for each row, sets A / D conversion circuits (A / D conversion accuracy, speed, conversion gain, etc.), Control the output order. In addition, the
デジタル処理回路２０４は、垂直信号回路２０２からの出力信号に対してヘッダ情報を付加して、それぞれ、外部出力バッファ２０４ａおよび２０４ｂに出力する。図示のように、撮像素子は複数の外部出力バッファ２０４ａおよび２０４ｂを有しているので、同時に複数の画像信号を出力することができる。本実施例では、システム制御手段１０６は、外部出力バッファ２０４ａからの出力信号を、本線系信号すなわち表示／記録用の映像信号として、カメラ信号処理手段１０３に入力する。また、システム制御手段１０６は、外部出力バッファ２０４ｂからの出力信号を、動きベクトル検出用の映像信号として、メモリ１０４とベクトル検出手段１０５に入力する。
The
画素部２０３、水平信号回路２０１、および垂直信号回路２０２を第１の素子部と呼び、デジタル処理回路２０４および外部出力バッファ２０５ａおよび２０５ｂを第２の素子部と呼ぶ。第１および第２の素子部は、例えば、積層構造を有している。このようにして、多数の回路が集積するデジタル処理回路２０４を別の基板とすることによって、基板上の半導体面積を小さくすることができる。
The
画素部２０３の各画素（２０３−１、２０３−２）の構成は、複数のフォトダイオードで、１つのフローティングディフュージョンを共有する画素構造であり、画素加算を行わず非加算とする第１の動作モードと、画素加算を行う第２の動作モードを有する。
The configuration of each pixel (203-1, 203-2) of the
図８は、本実施例における画素部の構成例を示す図である。
８００−１、８００−２は、フォトダイオードである。スイッチ部８０１−１、８０１−２は、転送トランジスタ（ＭＯＳトランジスタ）である。スイッチ部８０１−１、８０１−２は、転送制御線を通じてゲート（転送ゲート）に駆動信号（画素読み出し制御信号）が与えられると、それぞれ、フォトダイオード８００−１、８００−２で光電変換された電子をＦＤ８０２に転送する。画素読み出し制御信号を制御することで画素加算と非加算とが切り替えられる。ＦＤ８０２は、フローティングディフュージョンであり、フォトダイオード８００−１とフォトダイオード８００−２とで共有される。画素加算時は、ＦＤ８０２は、フォトダイオード８００−１とフォトダイオード８００−２の電荷を蓄積する。スイッチ部８０３は、リセットトランジスタであり、画素リセット制御信号が与えられる。８０４は電源線である。スイッチ部８０５は、選択トランジスタであり、行選択制御信号が与えられる。スイッチ部８０６は、列読み出し信号が与えられるトランジスタである。
FIG. 8 is a diagram illustrating a configuration example of the pixel portion in the present embodiment.
800-1 and 800-2 are photodiodes. The switch units 801-1 and 801-2 are transfer transistors (MOS transistors). The switch units 801-1 and 801-2 are photoelectrically converted by the photodiodes 800-1 and 800-2, respectively, when a drive signal (pixel readout control signal) is given to the gate (transfer gate) through the transfer control line. The electrons are transferred to the
画素部２０３に含まれる本線用画素部２０３−１は、本線系映像信号の出力用に用いられる。画素部２０３に含まれるベクトル検出用画素部２０３−２は、動きベクトル検出用の映像信号の出力用に用いられる。本実施例では、本線用画素部２０３−１と、ベクトル検出用画素部２０３−２とは、行毎に交互に配置され、各々の画素部で独立して、前述の第１の動作モードと第２の動作モードを設定できる。すなわち、撮像素子は、本線形映像信号の読み出し用の第１の画素群と、動きベクトル検出用の映像信号の読み出し用の第２の画素群とを有し、第１の画素群と第２の画素群は、撮像素子において異なるラインに配置されている。
The main line pixel unit 203-1 included in the
本線系用画素部２０３−１は、複数のフォトダイオードで、１つのフローティングディフュージョンを共用する画素構造でなくとも良い。また、動きベクトル検出用画素部２０３−２は、よりまばらに、かつ周期的に配置する画素構成としても良い。つまり、第２の画素群に対応するライン数は、第１の画素群に対応するライン数より少なくしてもよい。この画素構成をとる場合、複数のフォトダイオードで、１つのフローティングディフュージョンを共用する画素構造でなくとも良い。 The main line pixel unit 203-1 does not have to have a pixel structure that shares a single floating diffusion with a plurality of photodiodes. Further, the motion vector detection pixel unit 203-2 may have a pixel configuration that is more sparsely and periodically arranged. That is, the number of lines corresponding to the second pixel group may be smaller than the number of lines corresponding to the first pixel group. In the case of this pixel configuration, a plurality of photodiodes may not have a pixel structure that shares one floating diffusion.
図３は、撮像装置が複数の映像信号を同時に取得する際のタイミングを説明する図である。
システム制御手段１０６が生成する垂直同期信号に応じて、複数の画像に関してそれぞれ露光および信号読み出しが行われる。システム制御手段１０６は、撮像素子１０１から本線系映像信号を読み出す際の撮像素子１０１の駆動制御と異なる駆動制御によって、動きベクトル検出用の映像信号を読み出す。本線系映像信号は、出力バッファ２０５ａより出力される画像データに対応する。動きベクトル検出用の映像信号は、出力バッファ２０５ｂより出力される画像データに対応する。
FIG. 3 is a diagram illustrating timing when the imaging apparatus acquires a plurality of video signals simultaneously.
In accordance with the vertical synchronization signal generated by the system control means 106, exposure and signal readout are performed for a plurality of images, respectively. The system control means 106 reads the motion vector detection video signal by drive control different from the drive control of the
図３に示す例では、システム制御手段１０６が動きベクトル検出用の映像信号を読み出す際の読み出し画素数は、本線系映像信号を読み出す際の読み出し画素数よりも少ない。したがって、動きベクトル検出用の映像信号を読み出す際のセンサの読み出し速度が、本線系映像信号を読み出す際のセンサの読み出し速度よりも高速となる。これにより、動きベクトル検出用の映像信号のほうが、本線系映像信号よりも、ローリングシャッタ歪み成分が小さくなる。 In the example shown in FIG. 3, the number of read pixels when the system control means 106 reads the video signal for motion vector detection is smaller than the number of read pixels when the main video signal is read. Therefore, the reading speed of the sensor when reading the video signal for motion vector detection is faster than the reading speed of the sensor when reading the main line video signal. Thereby, the rolling shutter distortion component is smaller in the motion vector detection video signal than in the main video signal.
図４は、垂直信号回路を示す図である。
垂直信号回路２０２は、本線系信号画素２０３−１、ベクトル検出用信号画素２０３−２と、垂直信号線で接続されている。
FIG. 4 is a diagram showing a vertical signal circuit.
The
垂直信号回路２０２は、２つの第１のスイッチ部４０１−１、４０１−２を有している。第１のスイッチ部４０１−１，４０１−２は、バッファ４１０を介して垂直信号線４００に接続される。第１のスイッチ部４０１−１、４０１−２は、それぞれデジタル処理回路２０４によってオンオフ制御される。垂直信号線４００に出力された増幅信号は、第１のスイッチ部４０１−１がオンとなると、信号メモリ４０２−１に電圧Ｖ１として与えられる。そして、第１のスイッチ４０１−１がオフされると、電圧に応じた電荷（第１の電圧信号）が信号メモリに一時的に蓄積される。
The
同様に、第１のスイッチ部４０１−２がオンオフされて、信号メモリ４０２−２に電圧Ｖ２に応じた電荷（第２の電圧信号）が一時的に蓄積される。このようにして、第１のスイッチ部４０１−１、４０１−２をオンオフ制御することによって、本線系映像信号（第１の電圧信号）、又は動きベクトル検出用の映像信号（第２の電圧信号）の読み出しの際に、もう一方の読み出しの影響を除去出来る。 Similarly, the first switch section 401-2 is turned on / off, and a charge (second voltage signal) corresponding to the voltage V2 is temporarily stored in the signal memory 402-2. In this way, the main switch video signal (first voltage signal) or the motion vector detection video signal (second voltage signal) is controlled by turning on / off the first switch units 401-1 and 401-2. ), The influence of the other reading can be removed.
垂直信号回路２０４は２つの第２のスイッチ部４０３−１、４０３−２を有する。第２のスイッチ部７０３−１はデジタル処理回路２０４によってオンオフ制御される。信号メモリ７０２−１に蓄積された電荷は、第２のスイッチ部４０３−１がオンすると、電圧Ｖ１としてＡ／Ｄ変換回路４０４−１に与えられる。また、第２のスイッチ部４０３−２はデジタル処理回路２０４によってオンオフ制御される。信号メモリ４０２−２に蓄積された電荷は、第２のスイッチ部４０３−２がオンすると、電圧Ｖ２としてＡ／Ｄ変換回路７０４−２に与えられる。このようにして、電圧Ｖ１とＶ２をそれぞれ別のＡ／Ｄ変換回路７０４−１、７０４−２に入力することによって、各々異なるタイミングで、Ａ／Ｄ変換制御を行うことができる。以上が、本実施例における撮像素子１０１の構成である。
The
次に、本実施例における、動きベクトル検出処理について説明する。
ベクトル検出手段１０５は、システム制御手段１０６が決定した、テンプレート配置に基づいて、入力された２枚のフレーム画像間での動きベクトルを検出する。動きベクトル検出方法に関しては、本実施例では、テンプレートマッチング方式を用いる。撮像素子１０１より入力される画像信号を原画像、メモリ１０４より入力される画像信号を参照画像とし、原画像中の任意の位置にテンプレートを配置し、テンプレートと参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には参照画像上の相関値を算出する矩形領域を探索範囲として設定する。本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を使用する。ＳＡＤの計算式を式１に示す。
The
式１において、ｆ（ｉ，ｊ）は、テンプレート内の座標（ｉ，ｊ）における画素値を表す。また、ｇ（ｉ，ｊ）は、探索範囲において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレートと同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さいこと、つまりテンプレートと相関値算出領域内のテクスチャが類似していることを示す。 In Equation 1, f (i, j) represents a pixel value at coordinates (i, j) in the template. Further, g (i, j) represents each pixel value in the region for which the correlation value is calculated in the search range. The correlation value calculation target area is the same size as the template. In SAD, the absolute value of the difference is calculated for each pixel value f (i, j) and g (i, j) in both blocks, and the correlation value S_SAD can be obtained by obtaining the sum. Therefore, the smaller the correlation value S_SAD, the smaller the difference in luminance value between the two blocks, that is, the similarity between the template and the texture in the correlation value calculation area.
ベクトル検出手段１０５は、テンプレートと最も類似している、相関値算出内領域内のテクスチャの相対位置を、動きベクトルとして算出する。なお、本実施例では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。
The
本実施例では、システム制御手段１０６が、各枠で算出した動きベクトルのヒストグラムをとることで、カメラの動きを示すグローバル動きベクトルを算出する。システム制御手段１０６は、算出したグローバル動きベクトルに基づいて、撮像装置に加えられる振れにより生じる像ブレを補正するための駆動信号を生成する。システム制御手段１０６は、生成した駆動信号を用いて、光学系１００に含まれるシフトレンズを駆動することで、像ブレを補正する。
In this embodiment, the system control means 106 calculates a global motion vector indicating the motion of the camera by taking a histogram of the motion vector calculated for each frame. Based on the calculated global motion vector, the
図５は、ＣＭＯＳイメージセンサの画素読み出しと、被写体の動きによる図形歪みを説明する図である。
被写体は点線で示される四角形（図５の５００）であり、右方向に被写体５００を動かしたとき、実際に撮像される画像が、ハッチングを施した図形５０１である。
FIG. 5 is a diagram for explaining pixel readout of a CMOS image sensor and graphic distortion due to movement of a subject.
The subject is a quadrangle (500 in FIG. 5) indicated by a dotted line, and when the subject 500 is moved in the right direction, an image actually captured is a figure 501 with hatching.
図５（Ａ）は、全ラインの画素を読み出しする例を示す。システム制御手段１０６は、本線系映像信号を読み出す際には、例えば、図５（Ａ）に示すように、全ラインの画素を読み出しする。図５（Ｂ）は、２ライン画素加算して画素読み出しする例を示す。システム制御手段１０６は、動きクトル検出用の映像信号を読み出す際には、図５（Ｂ）に示すように、図５（Ａ）に示す本線系映像信号を読み出す場合に比べて、読み出すライン数を少なく（この例では半分）にする。 FIG. 5A shows an example of reading out pixels of all lines. When reading the main line video signal, the system control means 106 reads out pixels of all lines, for example, as shown in FIG. FIG. 5B shows an example of pixel readout by adding two lines of pixels. As shown in FIG. 5B, the system control means 106 reads out the number of lines to be read out as compared with the case of reading out the main video signal shown in FIG. To less (half in this example).
ローリングシャッタ歪みは、撮像素子としてＣＭＯＳイメージセンサを用いた場合に、その駆動に起因する。ＣＭＯＳイメージセンサは、ライン単位で露光がズレていくため、読み出すライン数が多いほど、最上位ラインと最下位ラインの露光時間のズレが大きくなる。したがって、動いている被写体に対して図形歪み（ローリングシャッタ歪み）が生じる。 Rolling shutter distortion is caused by driving when a CMOS image sensor is used as an image sensor. In the CMOS image sensor, since the exposure shifts in line units, the difference in exposure time between the highest line and the lowest line increases as the number of lines to be read increases. Therefore, figure distortion (rolling shutter distortion) occurs with respect to the moving subject.
図５（Ｂ）のように、２ライン画素加算して読み出したほうが、同一画角で比較した場合において、ローリングシャッタ歪みが小さくなる。したがって、ベクトル検出においても、ローリングシャッタ歪みの影響が低い、品質の良い動きベクトルを求めることができる。 As shown in FIG. 5B, when the two-line pixels are added and read out, the rolling shutter distortion becomes smaller when compared at the same angle of view. Therefore, even in vector detection, a high-quality motion vector that is less affected by rolling shutter distortion can be obtained.
なお、本実施例では、２ライン画素加算した事例を示したが、２ライン以上画素加算して、読み出す画素数を更に削減しても良い。また、システム制御手段１０６が、撮像素子１０１の駆動制御として、複数画素を加算して読み出すのではなく、画素を間引いて読み出すようにしてもよい。
In this embodiment, an example in which two lines of pixels are added is shown, but two or more lines of pixels may be added to further reduce the number of pixels to be read. Further, the
また、撮像素子１０１で画素加算、間引きを行った場合、高周波成分において折り返しが生じてしまい、動きベクトルの誤検出が生じるおそれがある。したがって、画素部２０３−１、２０３−２に帯域制限手段を設け、画素加算前に帯域制限をかけて、折り返しが生じないようにする構成としても良い。また、前述したように、撮像素子１０１の画素構成において、ベクトル検出用画素部２０３−２を、よりまばらに、かつ周期的に配置する画素構成（即ち、動きベクトル検出用の映像信号の読み出し画素数を削減する画素構成）としても良い。この画素構成であっても、本線系映像信号に比べ、読み出すライン数が少なくなるため、ローリングシャッタ歪みが小さい映像信号にて動きベクトル検出処理をすることが可能である。以上が、本実施例における動きベクトル検出処理である。以上の構成により、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することができる。
In addition, when pixel addition and thinning are performed by the
（実施例２）
図６は、実施例２の撮像装置の構成を示す図である。
実施例２の撮像装置は、ローリングシャッタ歪み成分を低減した動きベクトルを検出し、求められた動きベクトルから映像信号のローリングシャッタ歪み成分を推定して、映像信号を補正する。
(Example 2)
FIG. 6 is a diagram illustrating a configuration of the imaging apparatus according to the second embodiment.
The image pickup apparatus according to the second embodiment detects a motion vector with a reduced rolling shutter distortion component, estimates the rolling shutter distortion component of the video signal from the obtained motion vector, and corrects the video signal.
図６に示す撮像装置は、光学系６００乃至幾何変形手段６０８を備える。図６に示す撮像装置が備える処理部のうち、図１に示す撮像装置が備える処理部と同じ構成のものは、説明を割愛する。光学系６００は光学系１００と、撮像素子６０１は撮像素子１０１と、カメラ信号処理手段６０３はカメラ信号処理１０３と、メモリ６０４はメモリ１０４と、ベクトル検出手段６０５はベクトル検出手段１０５と、同じ構成である。
The imaging apparatus shown in FIG. 6 includes an
システム制御手段６０６は、撮像装置全体の動作を制御する。本実施例に特有の動作として、システム制御手段６０６は、ベクトル検出手段６０５から取得した動きベクトルのベクトル値に基づいて、幾何変形手段６０８で使用する歪みパラメータを生成して、幾何変形手段６０８に出力する。カメラ信号処理手段６０３が出力する映像信号は、メモリ６０７に記憶される。
A
幾何変形処理手段６０８は、システム制御手段からの歪みパラメータを元に、幾何変形処理に必要となる、画素部のアドレス情報をメモリ６０７に発行する。メモリ６０７は、対応したアドレスの映像信号を幾何変形手段６０８に入力する。幾何変形手段６０８は、入力された信号を用いて幾何変形処理を行い、歪みを補正した映像信号を記録・表示部に出力する。
Based on the distortion parameter from the system control means, the geometric deformation processing means 608 issues the address information of the pixel portion necessary for the geometric deformation processing to the
次に、本実施例における、幾何変形手段６０８が実行する幾何変形処理について説明する。幾何変形手段６０８は、出力画像座標（Ｘ’，Ｙ’）に基づき、入力画像上で画素のサンプリング及び補間を行うことで、幾何変換処理を実現する。 Next, the geometric deformation process executed by the geometric deformation means 608 in this embodiment will be described. The geometric transformation means 608 implements a geometric transformation process by sampling and interpolating pixels on the input image based on the output image coordinates (X ′, Y ′).
幾何変形手段６０８は、出力画像上の画素を順次スキャンし、出力画像上の画素座標を入力画像上の画素座標（Ｘ，Ｙ）に変換する処理を行う。そして、入力画像上の画素座標（Ｘ，Ｙ）を基にサンプリングし、補間処理により出力画素のデータを生成する。補間処理としては、例えば、４近傍を用いて線形補間を行うバイリニア補間処理が実行される。補間処理に必要となるサンプリング座標近傍の画素部が異なるので、幾何変形手段６０８は、入力画素座標（Ｘ，Ｙ）と、補間に必要となる近傍画素部（Ｘ”，Ｙ”）の情報を、メモリ６０７に入力する。幾何変形手段６０８から入力される座標情報に従って、メモリ６０７から、補間処理に必要となるサンプリング画素近傍の画素値群が読み出される。
The geometric deformation means 608 sequentially scans the pixels on the output image and performs a process of converting the pixel coordinates on the output image into pixel coordinates (X, Y) on the input image. Then, sampling is performed based on pixel coordinates (X, Y) on the input image, and output pixel data is generated by interpolation processing. As the interpolation processing, for example, bilinear interpolation processing for performing linear interpolation using four neighborhoods is executed. Since the pixel portions in the vicinity of the sampling coordinates necessary for the interpolation processing are different, the geometric deformation means 608 obtains information on the input pixel coordinates (X, Y) and the neighboring pixel portions (X ″, Y ″) necessary for the interpolation. , Input to the
次に、本実施例における、幾何変形量算出の詳細について説明する。
幾何変形手段６０８は、複数の幾何変形による座標変換を１つの座標変換に合成し，入力される出力画像上の画素毎の座標を入力画像上のサンプリング画像に順次変換する座標演算を行う。
Next, details of geometric deformation amount calculation in the present embodiment will be described.
The geometric deformation means 608 combines coordinate conversions by a plurality of geometric deformations into one coordinate conversion, and performs coordinate calculation for sequentially converting the coordinates of each pixel on the input output image into a sampling image on the input image.
各座標演算処理では、幾何変形手段６０８は、システム制御手段６０６から入力される座標演算情報（それぞれの幾何変形パラメータと幾何変換前座標）から、座標移動ベクトルと、幾何変換処理後の座標を算出する。 In each coordinate calculation process, the geometric deformation means 608 calculates a coordinate movement vector and coordinates after the geometric conversion process from the coordinate calculation information (respective geometric deformation parameters and coordinates before geometric conversion) input from the system control means 606. To do.
幾何変形手段６０８は、ローリングシャッタ歪みを補正するための座標演算処理をするための座標演算処理部（不図示）を有する。座標演算処理部は、ローリングシャッタ歪みの補正を行うための参照座標を算出する。ローリングシャッタ歪みは、ＣＭＯＳイメージセンサのような、ライン毎に露光期間が異なる撮像素子で撮影を行った場合に、露光中の被写体の移動または撮影者の手ブレにより、ライン毎に被写体像が移動するために生じる撮影画像の歪みである。例えば、ローリングシャッタ歪み成分は、歪みのある座標系を（ｘ，ｙ，１）、歪みのない座標系を（Ｘ，Ｙ，１）とした場合に、以下の式２で算出される。
図７は、各画素の（ｄｘ，ｄｙ）の算出を説明する図である。
幾何変形手段６０８は、各画素の（ｄｘ，ｄｙ）を、図７で示すように、画像７００内に配置された、動きベクトル検出枠７０１から求められた動きベクトルから算出する。例えば、画像７００を、点線で分割された小区画７０２単位で分割する。各小区画に配置された動きベクトル検出枠７０１が、１つの場合（例えば、画素７０３−１）は、小区画内の動きベクトルを着目画素の動きベクトルとする。また、各小区画に配置された動きベクトル検出枠７０１が、複数の場合（例えば、画素７０３−２）は、複数の動きベクトル結果（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）を、着目画素と動きベクトルの重心の距離Ｄ１、Ｄ２に基づいた線形合成（式３）にて算出する。
The geometrical deformation means 608 calculates (dx, dy) of each pixel from the motion vector obtained from the motion
なお、着目画素と動きベクトルの重心の距離は、ｘ方向とｙ方向とに分解して求めても良い。また、小区画７０２に１つの動きベクトル検出枠７０１しか配置されていなくても、周囲の複数枠を用いて、線形合成、平均値算出、メディアンフィルタなどを行って、動きベクトルの誤検出対策を実施しても良い。
Note that the distance between the pixel of interest and the center of gravity of the motion vector may be obtained by decomposing into the x direction and the y direction. Also, even if only one motion
（ｄｘ，ｄｙ）は、実施例１で前述した方法で求められるグローバル動きベクトルにて、一意に決定しても良い。ただし、その場合は、カメラの動きによって生じるローリングシャッタ歪みが補正対象となる。 (Dx, dy) may be uniquely determined by the global motion vector obtained by the method described in the first embodiment. In this case, however, rolling shutter distortion caused by camera movement is a correction target.
前述した式２に示すように、Ｙの値が歪み成分に影響を与える。歪み係数αは、例えば、図５（Ａ）における、画像１ラインを読み込む時間ｔ０を、最初のラインを読み込んだ時刻から、最後のラインを読み込む時刻までの時間ｔ１で除算して算出される値に基づいて算出される。従って、歪み係数αは、撮像素子１０１の読み出しライン数が少ない程、歪みのない座標系に近づくこととなる。幾何変形手段６０８は、歪み係数αを、撮像素子１０１の仕様から算出しても良いし、静止画像と動画像を比較して、被写体の移動量と図形の歪み量の相関から算出しても良い。以上が、本実施形におけるローリングシャッタ歪みの補正量の算出方法である。
As shown in Equation 2 described above, the value of Y affects the distortion component. For example, the distortion coefficient α is a value calculated by dividing the time t0 for reading one image line in FIG. 5A by the time t1 from the time when the first line is read to the time when the last line is read. Is calculated based on Therefore, the smaller the number of readout lines of the
撮影者の手ブレにより生じるローリングシャッタ歪みの補正量は、実施例１で適用した方法で求めたグローバル動きベクトルに基づいて、以下のように算出してもよい。すなわち、グローバル動きベクトルから１Ｖのブレ角度変位量（θｘ，θｙ）を算出し、その値を垂直ライン数で割ることで、ライン間のブレ角度変位量を求めて、既知の演算方法で補正量を算出する。 The correction amount of the rolling shutter distortion caused by the camera shake of the photographer may be calculated as follows based on the global motion vector obtained by the method applied in the first embodiment. That is, by calculating the shake angle displacement amount (θx, θy) of 1V from the global motion vector and dividing the value by the number of vertical lines, the shake angle displacement amount between the lines is obtained, and the correction amount is obtained by a known calculation method. Is calculated.
また、幾何変形手段６０８内の座標演算処理部は、画像のリサイズ及び切り出し、光学系６００の歪曲収差補正、あおり補正などを行うための参照座標を算出し、求められる参照座標を既知の方法で合成して、幾何変形パラメータを求めても良い。以上が、本実施例における、幾何変形量算出方法である。求められた幾何変形パラメータを幾何変形処理手段６０８に入力することで、本線映像信号のローリングシャッタ歪み補正が実行される。以上の構成により、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出し、求められた動きベクトルより、本線系映像信号のローリングシャッタ歪みを補正することが出来る。
In addition, the coordinate calculation processing unit in the geometrical deformation means 608 calculates reference coordinates for performing image resizing and cropping, distortion aberration correction, tilt correction and the like of the
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.
１０１ 撮像素子
１０５ ベクトル検出手段
１０６ システム制御手段
101
Claims (11)
前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御手段と、
前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出手段とを備える
ことを特徴とする撮像装置。 An image sensor that outputs a plurality of video signals;
A first video signal for display / recording is read from the image sensor by drive control of the image sensor, and a second video signal for motion vector detection is output from the image sensor by drive control different from the drive control. Control means for reading out,
An imaging apparatus comprising: a detection unit configured to detect a motion vector based on the second video signal read from the imaging element.
ことを特徴とする請求項１に記載の撮像装置。 The control means drives and controls the image sensor so that a reading speed when reading the second video signal is higher than a reading speed when reading the first video signal. Item 2. The imaging device according to Item 1.
ことを特徴とする請求項１または請求項２に記載の撮像装置。 The number of readout pixels when the control means reads out the second video signal is smaller than the number of readout pixels when the first video signal is read out. Imaging device.
ことを特徴とする請求項３に記載の撮像装置。 The control unit reduces the number of readout pixels by reading out the second video signal by adding a plurality of pixels included in the imaging element or by thinning out the pixels. The imaging device described.
前記第１の画素群と前記第２の画素群は、前記撮像素子において異なるラインに配置されている
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The imaging device includes a first pixel group for reading the first video signal and a second pixel group for reading the second video signal;
The imaging device according to any one of claims 1 to 4, wherein the first pixel group and the second pixel group are arranged on different lines in the imaging device.
ことを特徴とする請求項５に記載の撮像装置。 The imaging apparatus according to claim 5, wherein the number of lines corresponding to the second pixel group is smaller than the number of lines corresponding to the first pixel group.
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 The control means further generates a drive signal for correcting image blur caused by shake applied to the imaging device based on the motion vector detected by the detection means. The imaging device according to any one of 6.
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 The control unit further generates a distortion parameter used for geometric deformation processing of the first video signal based on the motion vector detected by the detection unit. The imaging apparatus of Claim 1.
ことを特徴とする請求項８に記載の撮像装置。 The imaging apparatus according to claim 8, further comprising a geometric deformation unit that performs geometric deformation processing on the first video signal based on a distortion parameter generated by the control unit.
前記幾何変形手段は、前記幾何変形処理によって、ローリングシャッタ歪みを補正する
ことを特徴とする請求項９に記載の撮像装置。 The image sensor is a CMOS image sensor,
The imaging apparatus according to claim 9, wherein the geometric deformation unit corrects rolling shutter distortion by the geometric deformation process.
前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御工程と、
前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出工程とを有する
ことを特徴とする制御方法。 A method for controlling an imaging apparatus including an imaging device that outputs a plurality of video signals,
A first video signal for display / recording is read from the image sensor by drive control of the image sensor, and a second video signal for motion vector detection is output from the image sensor by drive control different from the drive control. A control process for reading out,
And a detection step of detecting a motion vector based on the second video signal read from the image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014193380A JP2016066848A (en) | 2014-09-24 | 2014-09-24 | Imaging apparatus and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014193380A JP2016066848A (en) | 2014-09-24 | 2014-09-24 | Imaging apparatus and method for controlling the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016066848A true JP2016066848A (en) | 2016-04-28 |
Family
ID=55805875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014193380A Pending JP2016066848A (en) | 2014-09-24 | 2014-09-24 | Imaging apparatus and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016066848A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018033100A (en) * | 2016-08-26 | 2018-03-01 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
| US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
| US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
| WO2020232186A1 (en) * | 2019-05-16 | 2020-11-19 | Pelco, Inc. | Video stabilization method with non-linear frame motion correction in three axis |
-
2014
- 2014-09-24 JP JP2014193380A patent/JP2016066848A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018033100A (en) * | 2016-08-26 | 2018-03-01 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
| US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
| US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
| WO2020232186A1 (en) * | 2019-05-16 | 2020-11-19 | Pelco, Inc. | Video stabilization method with non-linear frame motion correction in three axis |
| US10893201B2 (en) | 2019-05-16 | 2021-01-12 | Pelco, Inc. | Video stabilization method with non-linear frame motion correction in three axes |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5794705B2 (en) | Imaging apparatus, control method thereof, and program | |
| US9001233B2 (en) | Image pickup apparatus and image pickup apparatus control method that generates an image with transformed number of pixels | |
| JP6711612B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| US10638072B2 (en) | Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal | |
| JP6372983B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
| JP4689687B2 (en) | Imaging method and imaging apparatus | |
| JP2017216646A (en) | Imaging device, imaging apparatus and imaging signal processing method | |
| JP6326180B1 (en) | Image processing device | |
| US11830890B2 (en) | Image sensor, image capturing apparatus and image processing apparatus | |
| JP2016066848A (en) | Imaging apparatus and method for controlling the same | |
| JP7332302B2 (en) | Imaging device and its control method | |
| JP2017216626A (en) | Image pickup device and its control method and imaging apparatus and its control method | |
| JP6557499B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| JP2009135713A (en) | Method and device for correcting image distortion generated by blurring of imaging apparatus | |
| JP2016058877A (en) | Imaging apparatus and control method thereof | |
| US10922787B2 (en) | Imaging apparatus and method for controlling imaging apparatus | |
| JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
| JP2011151549A (en) | Signal processing apparatus, imaging device, and signal processing method | |
| US20210271915A1 (en) | Image sensor and control method thereof, and image capturing apparatus and control method thereof | |
| JP6545013B2 (en) | Image forming method, image forming apparatus, and image forming program | |
| JP6223135B2 (en) | Imaging apparatus and control method thereof | |
| JP2008235958A (en) | Imaging apparatus | |
| JP6728005B2 (en) | Imaging device, imaging method, and program | |
| JP2019114956A (en) | Image processing system, imaging system, mobile | |
| JP6516574B2 (en) | Image blur correction device, imaging device, image blur correction method |