JP2014003417A - Image pickup device - Google Patents
Image pickup device Download PDFInfo
- Publication number
- JP2014003417A JP2014003417A JP2012136574A JP2012136574A JP2014003417A JP 2014003417 A JP2014003417 A JP 2014003417A JP 2012136574 A JP2012136574 A JP 2012136574A JP 2012136574 A JP2012136574 A JP 2012136574A JP 2014003417 A JP2014003417 A JP 2014003417A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- main subject
- subject
- rolling shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cameras In General (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
固体撮像素子の水平ライン間で露光タイミングが異なることに起因して、取得される画像に歪み(ローリングシャッタ歪み)が生じることがある。このローリングシャッタ歪みを抑えるため、第1撮像を行った後で水平ライン間の走査方向を変えて第2撮像を行い、得られた2つの画像に基づいて画像の歪みを補正する技術が知られている(特許文献1参照)。 Due to the difference in exposure timing between horizontal lines of the solid-state image sensor, distortion (rolling shutter distortion) may occur in the acquired image. In order to suppress the rolling shutter distortion, a technique is known in which after the first imaging, the second imaging is performed by changing the scanning direction between the horizontal lines, and the distortion of the image is corrected based on the two obtained images. (See Patent Document 1).
従来技術では、2つの撮像タイミングに時間差があるので、速く移動する被写体を撮影する場合への適用が困難という問題があった。 In the conventional technique, there is a time difference between the two imaging timings, and thus there is a problem that it is difficult to apply to shooting a fast moving subject.
本発明による撮像装置は、被写体像を撮像する第1撮像素子と、被写体像を撮像する第2撮像素子と、第1撮像素子の露光タイミングを画素列ごとに所定方向に異ならせる第1ローリングシャッタ制御手段と、第2撮像素子の露光タイミングを画素列ごとに所定方向と反対向きに異ならせる第2ローリングシャッタ制御手段と、第1撮像素子で取得される第1画像と第2撮像素子で取得される第2画像との差分に基づいて補正対象領域を決定する決定手段と、第1画像のうち、決定手段で決定された補正対象領域内の主要被写体領域を画素列ごとにずらす補正手段と、を備えることを特徴とする。 An image pickup apparatus according to the present invention includes a first image pickup element that picks up a subject image, a second image pickup element that picks up a subject image, and a first rolling shutter that varies the exposure timing of the first image pickup element in a predetermined direction for each pixel column. Acquired by the control means, the second rolling shutter control means for changing the exposure timing of the second image sensor in a direction opposite to the predetermined direction for each pixel row, and the first image and the second image sensor acquired by the first image sensor. Determining means for determining a correction target area based on a difference from the second image to be corrected; and correcting means for shifting a main subject area in the correction target area determined by the determining means for each pixel column in the first image; It is characterized by providing.
本発明による撮像装置では、ローリングシャッタ歪みを適切に低減できる。 In the imaging apparatus according to the present invention, rolling shutter distortion can be appropriately reduced.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるカメラ100の構成を例示するブロック図である。本実施形態のカメラ100は、2つの撮像素子101、111によって同一の被写体を撮像する。このためにカメラ100は、第1撮像素子101と、A/D変換部102と、撮像制御部103と、第2撮像素子111と、A/D変部112と、撮像制御部113と、画像処理部115と、メモリ116と、CPU117と、操作部材118と、撮影レンズ121と、レンズ駆動部122と、絞り駆動部123と、ビームスプリッタ124と、を有する。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of a
撮影レンズ121は、ビームスプリッタ124を介して第1撮像素子101および第2撮像素子111の撮像面にそれぞれ被写体像を結像させる。レンズ駆動部122は、CPU117からの指示に基づいて、図示しないフォーカシングレンズおよびズームレンズをそれぞれ光軸方向に進退移動させる。
The photographing
絞り駆動部123は、CPU117からの指示に基づいて図示しない絞りを駆動することにより、撮影レンズ121からビームスプリッタ124へ入射される光束を制限する。ビームスプリッタ124は、例えばハーフミラーで構成される。ビームスプリッタ124は、入射された被写体光を2光束に分岐し、一方の光束を第2撮像素子111へ向けて射出し、他方の光束を第1撮像素子101へ向けて射出する。これにより、第1撮像素子101および第2撮像素子111のそれぞれの撮像面に被写体像が結像される。
The
第1撮像素子101および第2撮像素子111は、同じ画素数のCMOSイメージセンサによって構成される。両撮像素子101、111はそれぞれ、水平ラインごとに露光を開始させて順次光電変換信号を読み出すように撮像制御される(ローリングシャッタ制御)。撮像制御部103は、画面上側の水平ラインから画面下側の水平ラインへ向けて露光および読み出しを行うように第1撮像素子101を撮像制御する。撮像制御部113は、画面下側の水平ラインから画面上側の水平ラインへ向けて露光および読み出しを行うように第2撮像素子111を撮像制御する。
The
A/D変換部102は、第1撮像素子101から読み出された光電変換信号をデジタルデータに変換する。A/D変換部112は、第2撮像素子111から読み出された光電変換信号をデジタルデータに変換する。画像処理部115は、デジタル変換後の画像データに対して後述するローリングシャッタ歪み補正処理、および所定の画像処理を施す。メモリ116は、画像データの一時保存やCPU117のワークメモリとして用いられる。CPU117は、所定のプログラムを実行してカメラ100全体の動作を制御する。操作部材118は、ユーザ操作に応じた操作信号をCPU117へ送出する。
The A /
上述したカメラ100のCPU117が実行する撮影処理の流れについて、図2に例示するフローチャートを参照して説明する。CPU117は、ローリングシャッタ歪み補正処理を行う設定がなされた電源オン状態で、図2による処理を繰り返し行う。ローリングシャッタ歪み補正処理を行うか否かの設定切替えは、例えばメニュー操作によって行われる。
A flow of photographing processing executed by the
図2のステップS10において、CPU117は、操作部材118を構成するレリーズ釦が半押し操作されたか否かを判断する。CPU117は、操作部材118から半押し操作信号が入力されるとステップS10を肯定判断してステップS20へ進み、操作部材118から半押し操作信号が入力されない場合にはステップS10を否定判定し、図2による処理を終了する。
In step S <b> 10 of FIG. 2, the
ステップS20において、CPU117は撮像制御部103へ指示を送り、ライブビュー表示および露出制御用のために撮像素子101を撮像制御させる。ステップS30において、CPU117は露出演算およびライブビュー表示用処理を行う。これにより、撮像素子101で取得された画像データに基づいて露出演算が行われるとともに、取得された画像データにライブビュー表示用処理が施され、不図示の液晶モニタにライブビュー画像が表示される。ライブビュー画像は、撮影指示前に所定間隔(例えば30フレーム/秒)で取得するモニタ用画像のことをいう。
In step S20, the
ステップS40において、CPU117はAF演算を行う。本実施形態では、コントラスト検出方式によるAF演算を行う。具体的には、ライブビュー画像に基づいてコントラストを検出しながら、ステップS50においてレンズ駆動部122へ指示を送り、コントラストがより高く検出される向きへフォーカシングレンズを移動させる。
In step S40, the
ステップS60において、CPU117は、操作部材118を構成するレリーズ釦が全押し操作されたか否かを判断する。CPU117は、操作部材118から全押し操作信号が入力された場合にステップS60を肯定判断してステップS70へ進む。CPU117は、操作部材118から全押し操作信号が入力されない場合には、ステップS60を否定判定してステップS10へ戻る。
In step S60, the
ステップS70において、CPU117は、ステップS30での露出演算結果に基づいて自動露出制御(AE制御)を行う。具体的には、絞り制御部123へ指示を送り、演算結果に基づく絞り値に制御する。ステップS80において、CPU117は、ステップS30での露出演算結果に基づいて撮像制御部103へ指示を送り、第1撮像素子101を撮像制御させる。ステップS90において、CPU117は、ステップS30での露出演算結果に基づいて撮像制御部113へ指示を送り、第2撮像素子111を撮像制御させる。ステップS80およびステップS90による撮像を並行して行うことにより、両撮像素子101、111で略同時に取得された画像データを画像処理部115へ送る。
In step S70, the
ステップS100において、CPU117は画像処理部115へ指示を送り、ローリングシャッタ歪み補正処理を行う。本実施形態では、第1撮像素子101で取得された第1画像と第2撮像素子111で取得された第2画像との差に基づいてローリングシャッタ歪みが生じる範囲を求め、この範囲内で必要な補正処理を行う。ローリングシャッタ歪み補正処理の詳細については後述する。ステップS110において、CPU117はさらに、ローリングシャッタ歪み補正後の画像に輪郭強調処理やホワイトバランス処理などの画像処理を行ってステップS120へ進む。
In step S100, the
ステップS120において、CPU117は、画像処理後の画像を不図示の液晶モニタに表示させてステップS130へ進む。ステップS130において、CPU117はユーザによるOK操作を受け付ける。例えば、液晶モニタに表示された画像処理後の画像を確認したユーザは、操作部材118を構成する図示しないOK釦を操作する。CPU117は、操作部材118からOK操作信号が入力されるとステップS130を肯定判定してステップS140へ進み、操作部材118からOK操作信号が入力されない場合にはステップS130を否定判定してステップS10へ戻る。ステップS10へ戻る場合のCPU117は、撮影した画像データを記録せずに次の撮影に備える。ステップS140では、CPU117は、撮影した画像データを不図示の記録媒体へ記録して一連の撮影処理を終了し、図2による処理を終了する。
In step S120, the
<ローリングシャッタ歪み補正>
本実施形態の特徴であるローリングシャッタ歪み補正処理(S100)の詳細について、図3に例示するフローチャートを参照して説明する。図3のステップS101において、CPU117は画像処理部115へ指示を送り、画素単位で第1画像と第2画像との差分演算を行わせる。
<Rolling shutter distortion correction>
Details of the rolling shutter distortion correction process (S100), which is a feature of the present embodiment, will be described with reference to the flowchart illustrated in FIG. In step S101 in FIG. 3, the
差分演算を図4〜図7を参照して説明する。図4は、静止する主要被写体を撮影した場合に第1撮像素子101で取得される第1画像(画像Pとする)を例示する図である。画像データは20水平ライン×40垂直ラインで構成されており、座標(16,6)、(16,15)、(25,6)、(25,15)をそれぞれ頂点とする四角形が、撮像面中央部の主要被写体を表している。なお、主要被写体が静止する状態では、第2撮像素子111で取得される第2画像も画像Pと略同一となる。
The difference calculation will be described with reference to FIGS. FIG. 4 is a diagram illustrating a first image (referred to as an image P) acquired by the
(画面左から右へ移動する主要被写体)
図5は、主要被写体が画面左から右へ移動する場合において第1撮像素子101で取得される第1画像(画像Aとする)を例示する図である。図4の場合と同様に20水平ライン×40垂直ラインで構成されており、座標(16,6)、(25,15)、(25,6)、(34,15)をそれぞれ頂点とする四角形が主要被写体を表す。上述したローリングシャッタ制御によって画面上側の水平ラインほど画面下側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して主要被写体像が画像Pと比べて変形している。
(Main subject moving from left to right on the screen)
FIG. 5 is a diagram illustrating a first image (referred to as image A) acquired by the
図6は、主要被写体が画面左から右へ移動する場合において第2撮像素子111で取得される第2画像(画像Bとする)を例示する図である。画像Aと画像Bは水平ラインの走査方向が異なるだけで、略同時刻に取得される。図6の場合も20水平ライン×40垂直ラインで構成されており、座標(25,6)、(16,15)、(34,6)、(25,15)をそれぞれ頂点とする四角形が主要被写体を表す。上述したローリングシャッタ制御によって画面下側の水平ラインほど画面上側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して主要被写体像が画像Pと比べて変形している。
FIG. 6 is a diagram illustrating a second image (referred to as image B) acquired by the
図7は、ステップS101(図3)による差分演算結果(画像ABとする)を例示する図である。画像処理部115は、画像Aと画像Bの差をとって、画像Aおよび画像Bの少なくとも一方でローリングシャッタ歪みが生じる領域を検出する。なお、画像A、画像Bに含まれるノイズ等の影響を除くため、演算結果が所定値(例えば、±5LSB(最下位ビット))未満のデータを0として扱う。本実施形態では、演算結果が0でない領域を補正処理対象領域とする。
FIG. 7 is a diagram illustrating the difference calculation result (image AB) in step S101 (FIG. 3). The
図3のステップS102において、CPU117はローリングシャッタ歪み領域があるか否かを判定する。CPU117は、上述した差分演算結果が0でない補正処理対象領域が存在する場合にステップS102を肯定判定してステップS103へ進む。CPU117は、補正処理対象領域が存在しない場合は歪み補正処理が不要であるため、以降の処理をスキップして図3による処理を終了する。
In step S102 of FIG. 3, the
ステップS103において、CPU117は画像処理部115へ指示を送り、第1画像(画像A)から補正処理対象領域かつ主要被写体に対応する領域aを抽出させる。また、ステップS104において、CPU117は画像処理部115へ指示を送り、第2画像(画像B)から補正処理対象領域かつ主要被写体に対応する領域bを抽出させる。
In step S103, the
ステップS105において、CPU117は画像処理部115へ指示を送り、抽出した領域bにおいて水平ラインごとに領域aのデータと合致するデータを探索させる。例えば、領域aを構成する水平ライン方向のデータ列の1番左(座標(xa,y)とする)の画素データから所定画素分(例えば5画素)のデータからなるデータ列をテンプレートとして、このテンプレートと合致する(差が±5LSB未満)データ列を同じ水平ライン上で領域bを構成するデータから探す。この探索によって検出した領域bのデータ列の1番左の画素データの座標を(xb,y)とする。
In step S105, the
ステップS106において、CPU117は画像処理部115へ指示を送り、水平ラインごとに領域aのラインデータに対する移動量を算出する。本実施形態では、領域aおよび領域b間における対応するデータの距離の1/2、すなわち、(xb - xa)/2 をそのラインにおける領域aのラインデータに対する移動量とする。上記距離の1/2を移動量とするのは、演算を簡単にするためである。
In step S <b> 106, the
ステップS107において、CPU117は画像処理部115へ指示を送り、水平ラインごとに領域aを構成するラインデータを水平方向に(xb - xa)/2だけ移動させる。具体的には、領域aの各データを座標(xa,y)から座標(((xb - xa)/2+xa),y)へ平行移動させる 。図8は、画像Aから水平ラインごとにデータを移動した後の第1画像(画像Dとする)を例示する図である。
In step S107, the
ステップS108において、CPU117は画像処理部115へ指示を送り、水平ラインごとに、ステップS107による移動によって空いたデータ位置を、対応する第2画像(画像B)のデータで埋めて補間する。具体的には、画像Bにおいて領域bと隣接するデータを貼り付ける。図9は、画像Dに対して水平ラインごとにデータを補間した後の第1画像(画像Eとする)を例示する図である。
In step S108, the
ステップS109において、CPU117は、補正処理対象領域の全ての水平ラインについてS105〜S108の処理を終了したか否かを判定する。CPU117は、全水平ラインについて終了した場合にステップS109を肯定判定して図3の処理を終了して図2のステップS110へ進む。CPU117は、全水平ラインについて終了していない場合には、ステップS109を否定判定してステップS105へ戻る。ステップS105へ戻る場合は次の水平ラインについて上述した処理を繰り返す。
In step S109, the
(主要被写体が画面右から左へ移動する場合)
主要被写体の移動方向が上述した移動方向と異なる例を説明する。図10は、主要被写体が画面右から左へ移動する場合において第1撮像素子101で取得される第1画像(画像A1とする)を例示する図である。20水平ライン×40垂直ラインで構成されており、座標(25,6)、(16,15)、(34,6)、(25,15)をそれぞれ頂点とする四角形が主要被写体を表す。上述したローリングシャッタ制御によって画面上側の水平ラインほど画面下側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して本来は長方形である主要被写体像が変形している。
(When the main subject moves from right to left on the screen)
An example in which the moving direction of the main subject is different from the moving direction described above will be described. FIG. 10 is a diagram illustrating a first image (referred to as image A1) acquired by the
図11は、主要被写体が画面右から左へ移動する場合において第2撮像素子111で取得される第2画像(画像B1とする)を例示する図である。画像A1と画像B1は水平ラインの走査方向が異なるだけで、略同時刻に取得される。図11の場合も20水平ライン×40垂直ラインで構成されており、座標(16,6)、(25,15)、(25,6)、(34,15)をそれぞれ頂点とする四角形が主要被写体を表す。上述したローリングシャッタ制御によって画面下側の水平ラインほど画面上側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して本来は長方形である主要被写体像が変形している。
FIG. 11 is a diagram illustrating a second image (referred to as image B1) acquired by the
図12は、ステップS101(図3)による差分演算結果(画像AB1とする)を例示する図である。画像A1および画像B1間の差をとって、画像A1および画像B1の少なくとも一方でローリングシャッタ歪みが生じる領域を検出する。なお、演算結果が所定値未満のデータを0として扱う点、および、演算結果が0でない領域を補正処理対象領域とする点は、上述した通りである。 FIG. 12 is a diagram illustrating a difference calculation result (image AB1) in step S101 (FIG. 3). A difference between the image A1 and the image B1 is taken to detect a region where rolling shutter distortion occurs in at least one of the image A1 and the image B1. As described above, data whose calculation result is less than a predetermined value is treated as 0, and an area where the calculation result is not 0 is set as a correction processing target area.
図13は、画像A1から水平ラインごとにデータを移動した後の第1画像(画像D1とする)を例示する図である。図14は、画像D1に対して水平ラインごとにデータを補間した後の第1画像(画像E1とする)を例示する図である。図14によれば、図10の場合に比べて主要被写体の変形が抑えられる。 FIG. 13 is a diagram illustrating a first image (referred to as image D1) after data is moved from the image A1 for each horizontal line. FIG. 14 is a diagram illustrating a first image (referred to as image E1) after data is interpolated for each horizontal line with respect to image D1. According to FIG. 14, the deformation of the main subject can be suppressed compared to the case of FIG.
(主要被写体が画面左ら右へ移動して停止する場合)
主要被写体の移動後に停止する例を説明する。図15は、主要被写体が画面左から右へ移動して停止する場合において第1撮像素子101で取得される第1画像(画像A2とする)を例示する図である。20水平ライン×40垂直ラインで構成されており、座標(16,6)、(23,13)、(23,15)、(25,6)、(32,13)、(32,15)をそれぞれ頂点とする六角形が主要被写体を表す。上述したローリングシャッタ制御によって画面上側の水平ラインほど画面下側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して本来は長方形である主要被写体像が変形している。
(When the main subject moves from left to right on the screen and stops)
An example of stopping after the main subject moves will be described. FIG. 15 is a diagram illustrating a first image (referred to as image A2) acquired by the
図16は、主要被写体が画面左から右へ移動して停止する場合において第2撮像素子111で取得される第2画像(画像B2とする)を例示する図である。画像A2と画像B2は水平ラインの走査方向が異なるだけで、略同時刻に取得される。図16の場合も20水平ライン×40垂直ラインで構成されており、座標(23,6)、(23,8)、(16,15)、(32,6)、(32,8)、(25,15)をそれぞれ頂点とする六角形が主要被写体を表す。上述したローリングシャッタ制御によって画面下側の水平ラインほど画面上側の水平ラインより露光タイミングが早いので、ローリングシャッタ歪みに起因して本来は長方形である主要被写体像が変形している。
FIG. 16 is a diagram illustrating a second image (referred to as image B2) acquired by the
図17は、ステップS101(図3)による差分演算結果(画像AB2とする)を例示する図である。画像A2および画像B2間の差をとって、画像A2および画像B2の少なくとも一方でローリングシャッタ歪みが生じる領域を検出する。なお、演算結果が所定値未満のデータを0として扱う点、および、演算結果が0でない領域を補正処理対象領域とする点は、上述した通りである。 FIG. 17 is a diagram illustrating the difference calculation result (referred to as image AB2) in step S101 (FIG. 3). A difference between the image A2 and the image B2 is taken to detect a region where rolling shutter distortion occurs in at least one of the image A2 and the image B2. As described above, data whose calculation result is less than a predetermined value is treated as 0, and an area where the calculation result is not 0 is set as a correction processing target area.
図18は、画像A2から水平ラインごとにデータを移動した後の第1画像(画像D2とする)を例示する図である。図19は、画像D1に対して水平ラインごとにデータを補間した後の第1画像(画像E2とする)を例示する図である。図19によれば、図15の場合に比べて主要被写体の変形が抑えられる。 FIG. 18 is a diagram illustrating a first image (referred to as an image D2) after data is moved from the image A2 for each horizontal line. FIG. 19 is a diagram illustrating a first image (referred to as an image E2) after data is interpolated for each horizontal line with respect to the image D1. According to FIG. 19, the deformation of the main subject can be suppressed compared to the case of FIG.
以上説明した実施形態によれば、次の作用効果が得られる。
(1)カメラ100は、被写体像を撮像する第1撮像素子101と、被写体像を撮像する第2撮像素子111と、第1撮像素子101の露光タイミングを画面上側から画面下側に向けて水平ラインごとに異ならせる撮像駆動部103と、第2撮像素子111の露光タイミングを画面下側から画面上側に向けて水平ラインごとに異ならせる撮像駆動部113と、第1撮像素子101で取得される第1画像Aと第2撮像素子111で取得される第2画像Bとの差分に基づいて補正対象領域を決定するCPU117と、第1画像Aのうち、CPU117で決定された補正対象領域内の主要被写体領域aを水平ラインごとにずらす画像処理部115と、を備えるようにした。これにより、被写体が速く移動する場合であっても適切にローリングシャッタ歪みを低減できる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The
(2)上記カメラ100において、画像処理部115は、水平ラインごとに、第1画像Aの主要被写体領域aからテンプレートを抽出し、第2画像Bの主要被写体領域bからテンプレートと合致するデータを検出し、テンプレートと検出データとの間の相対距離(xb - xa)に基づいて主要被写体領域aのずらし量を決めるようにした。ローリングシャッタ歪みが生じている範囲のみ、主要被写体領域aのデータを水平方向にシフトするという簡単な処理を第1画像A側のみに行うので、軽い処理負荷でローリングシャッタ歪みを低減できる。
(2) In the
(3)上記カメラ100において、画像処理部115は、テンプレートと検出データとの間の相対距離の略1/2に相当する位置(xb - xa)/2へテンプレートが移動するように主要被写体領域のずらし量を決めるようにしたので、演算を簡単にして軽い処理負荷でローリングシャッタ歪みを低減できる。
(3) In the
(4)上記カメラ100において、画像処理部115はさらに、補正対象領域内で主要被写体領域aをずらすことによって空いたデータ位置を第2画像Bの対応するデータで補間するようにしたので、複雑な補間演算をすることなしに補間でき、ローリングシャッタ歪み補正後の画像サイズが小さくならないようにすることができる。
(4) In the
(5)上記カメラ100において、被写体光束を第1光束および第2光束に分岐するビームスプリッタ124をさらに備え、第1撮像素子101は、第1光束による被写体像を撮像し、第2撮像素子111は、第2光束による被写体像を撮像するようにした。1つの撮影レンズ121を通して2つの被写体像が得られるので、撮影レンズを2つ備える場合に比べてコンパクトに構成できる。
(5) The
(変形例1)
上述したステップS106(図3)の説明において、水平ラインごとの領域aのデータに対する移動量を算出する際に、領域aおよび領域b間で対応するデータの距離の1/2、すなわち、(xb - xa)/2 をそのラインにおける領域aのデータに対する移動量とする例を説明した。これによって、移動後のデータが領域aおよび領域bの略中央に位置することになる。この代わりに、移動後のデータが領域aおよび領域bの最左部に位置するように移動量を算出してもよい。また、領域aおよび領域bの最右部に位置するように移動量を算出してもよい。
(Modification 1)
In the description of step S106 (FIG. 3) described above, when calculating the movement amount for the data of the area a for each horizontal line, the distance of the corresponding data between the area a and the area b, that is, (xb In the example described above, xa) / 2 is set as the movement amount with respect to the data of the region a in the line. As a result, the data after movement is positioned at the approximate center of the region a and the region b. Instead, the amount of movement may be calculated so that the data after movement is located at the leftmost part of the region a and the region b. Further, the movement amount may be calculated so as to be located at the rightmost part of the region a and the region b.
(変形例2)
撮像素子101および撮像素子111の各画素にカラーフィルタが設けられている場合、上述した歪み補正処理は同色の画素データ同士で行う。例えば、RGBのカラーフィルタが設けられる場合には、R色フィルタが設けられた画素データ、G色フィルタが設けられた画素データ、B色フィルタが設けられた画素データごとに、それぞれ上述した歪み補正処理を行う。
(Modification 2)
When a color filter is provided for each pixel of the
(変形例3)
なお、撮像素子101および撮像素子111の各画素にカラーフィルタが設けられている場合において、いずれか一色(例えばG色)のカラーフィルタが設けられた画素データのみに上記歪み補正処理を行い、得られた結果を他の色(R色、B色)の画素データに反映させるようにしてもよい。あるいは、RGBデータにも度ついて輝度Yを算出して輝度Yのデータのみ上記処理を行い、得られた結果を全ての色(R、G、B)の画素データに反映させるようにしてもよい。
(Modification 3)
Note that in the case where a color filter is provided for each pixel of the
(変形例4)
上述した説明では、CMOSイメージセンサを第1撮像素子101および第2撮像素子111として用いた場合のローリングシャッタ制御について説明した。この他にも、CCDイメージセンサを第1撮像素子101および第2撮像素子111として用いる場合にも本発明を適用できる。この場合には、2つのCCDイメージセンサの撮像面側にそれぞれフォーカルプレーンシャッタを設け、これらフォーカルプレーンシャッタの羽根で水平ライン方向のスリットを形成させる。そして、水平方向のスリット開口を垂直方向へ移動させて、いわゆるスリット露光を行うようにフォーカルプレーンシャッターを開閉制御する。ここで、第1撮像素子101側のスリット開口は画面上から下へ向かって移動し、第2撮像素子111側のスリット開口は画面下から上へ向かって移動させる。
(Modification 4)
In the above description, the rolling shutter control when the CMOS image sensor is used as the
2つのCCDイメージセンサの蓄積時間は、上記スリット開口の移動開始時点から移動終了時点までとする。変形例4のようなメカニカルにローリングシャッタ制御を行う場合にもローリングシャッタ歪みが生じるが、上述した実施形態と同様に歪み補正処理を施すことにより、適切な歪み補正が可能である。
The accumulation time of the two CCD image sensors is from the movement start point to the movement end point of the slit opening. Rolling shutter distortion also occurs when mechanically performing rolling shutter control as in
(変形例5)
上記実施形態では、1つの撮影レンズを通過した被写体光束をビームスプリッタ124で分岐することにより、第1撮像素子101と第2撮像素子111とによって2つの撮影画像を取得する例を説明した。この代わりに、第1撮像素子に被写体像を結像する第1撮影レンズと、第2撮像素子に被写体像を結像する第2撮影レンズとを備え、両撮像素子でそれぞれ同じ被写体像を取得する構成にしてもよい。両撮像素子は、水平ラインの走査方向が異なるだけで、略同時に撮像を行う。
(Modification 5)
In the above embodiment, an example in which two photographed images are acquired by the
(変形例6)
以上の説明では、第1撮像素子101をローリングシャッタ制御する走査方向は、画面上側の水平ラインから画面下側の水平ラインへ向かう向きとし、第2撮像素子111をローリングシャッタ制御する走査方向は、画面下側の水平ラインから画面上側の水平ラインへ向かう向きとした。これらの走査方向は、第1撮像素子101と第2撮像素子101との間で相対的に反対向きであればよく、画面の垂直ラインを画面の左右方向に走査するようにしてもよい。
(Modification 6)
In the above description, the scanning direction for rolling shutter control of the
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
100…カメラ
101…第1撮像素子
102、112…A/D変換部
103、113…撮像駆動部
111…第2撮像素子
115…画像処理部
116…メモリ
117…CPU
118…操作部材
121…撮影レンズ
DESCRIPTION OF
118:
Claims (5)
前記被写体像を撮像する第2撮像素子と、
前記第1撮像素子の露光タイミングを所定方向に画素列ごとに異ならせる第1ローリングシャッタ制御手段と、
前記第2撮像素子の露光タイミングを前記所定方向と反対向きに画素列ごとに異ならせる第2ローリングシャッタ制御手段と、
前記第1撮像素子で取得される第1画像と前記第2撮像素子で取得される第2画像との差分に基づいて補正対象領域を決定する決定手段と、
前記第1画像のうち、前記決定手段で決定された補正対象領域内の主要被写体領域を前記画素列ごとにずらす補正手段と、
を備えることを特徴とする撮像装置。 A first image sensor that images a subject image;
A second image sensor that images the subject image;
First rolling shutter control means for varying the exposure timing of the first image sensor for each pixel column in a predetermined direction;
Second rolling shutter control means for varying the exposure timing of the second image sensor for each pixel column in a direction opposite to the predetermined direction;
Determining means for determining a correction target region based on a difference between a first image acquired by the first image sensor and a second image acquired by the second image sensor;
Correction means for shifting a main subject area in the correction target area determined by the determination means in the first image for each pixel column;
An imaging apparatus comprising:
前記補正手段は、前記画素列ごとに、
前記第1画像の前記主要被写体領域からテンプレートを抽出し、
前記第2画像の前記主要被写体領域から前記テンプレートと合致するデータを検出し、
前記テンプレートと前記検出データとの間の相対距離に基づいて前記主要被写体領域のずらし量を決めることを特徴とする撮像装置。 The imaging device according to claim 1,
The correcting means is provided for each pixel column.
Extracting a template from the main subject area of the first image;
Detecting data matching the template from the main subject area of the second image;
An image pickup apparatus, wherein a shift amount of the main subject region is determined based on a relative distance between the template and the detection data.
前記補正手段は、前記テンプレートと前記検出データとの間の相対距離の略1/2に相当する位置へ前記テンプレートが移動するように前記主要被写体領域のずらし量を決めることを特徴とする撮像装置。 The imaging device according to claim 2,
The correction device determines an amount of shift of the main subject region so that the template moves to a position corresponding to approximately a half of a relative distance between the template and the detection data. .
前記補正手段はさらに、前記補正対象領域内で前記主要被写体領域をずらすことによって空く位置を前記第2画像の対応するデータで補間することを特徴とする撮像装置。 The imaging device according to claim 3.
The image pickup apparatus according to claim 1, wherein the correction unit further interpolates a position vacated by shifting the main subject area within the correction target area using corresponding data of the second image.
被写体光束を第1光束および第2光束に分岐する分岐手段をさらに備え、
前記第1撮像素子は、前記第1光束による被写体像を撮像し、
前記第2撮像素子は、前記第2光束による被写体像を撮像することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
Branching means for branching the subject light beam into the first light beam and the second light beam;
The first imaging element captures a subject image by the first light flux,
The image pickup apparatus, wherein the second image pickup device picks up a subject image by the second light flux.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012136574A JP2014003417A (en) | 2012-06-18 | 2012-06-18 | Image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012136574A JP2014003417A (en) | 2012-06-18 | 2012-06-18 | Image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014003417A true JP2014003417A (en) | 2014-01-09 |
Family
ID=50036210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012136574A Pending JP2014003417A (en) | 2012-06-18 | 2012-06-18 | Image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014003417A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2524795A (en) * | 2014-04-03 | 2015-10-07 | Nokia Technologies Oy | Apparatus, method and computer program for obtaining images |
JP2016105547A (en) * | 2014-12-01 | 2016-06-09 | 株式会社ソシオネクスト | Image processing device and image processing method |
-
2012
- 2012-06-18 JP JP2012136574A patent/JP2014003417A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2524795A (en) * | 2014-04-03 | 2015-10-07 | Nokia Technologies Oy | Apparatus, method and computer program for obtaining images |
JP2016105547A (en) * | 2014-12-01 | 2016-06-09 | 株式会社ソシオネクスト | Image processing device and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460653B2 (en) | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program | |
US9538067B2 (en) | Imaging sensor capable of detecting phase difference of focus | |
JP5652157B2 (en) | Imaging apparatus, image processing method, and computer program | |
JP5195660B2 (en) | Imaging apparatus, focusing method, and program | |
JP5572700B2 (en) | Imaging apparatus and imaging method | |
JP5657184B2 (en) | Imaging apparatus and signal processing method | |
WO2017057492A1 (en) | Imaging device and image processing device | |
JP6644641B2 (en) | Imaging device, control method, and program | |
WO2013069445A1 (en) | Three-dimensional imaging device and image processing method | |
JP2009044637A (en) | Imaging apparatus | |
JP2012231262A (en) | Imaging apparatus, blur correction method, control program, and recording medium for recording control program | |
JP2007221268A (en) | Imaging apparatus | |
JP2013160991A (en) | Imaging apparatus | |
JP2011101158A (en) | Imaging apparatus | |
JP2010193178A (en) | Unit, method and program for processing image | |
JP6270400B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2014003417A (en) | Image pickup device | |
JP5397426B2 (en) | Imaging apparatus, focusing method, and program | |
JP2010134309A (en) | Autofocus device, autofocus method and imaging apparatus | |
JP2007251636A (en) | Object tracking system | |
JP6590899B2 (en) | Imaging apparatus, imaging method, and program | |
JP2008283477A (en) | Image processor, and image processing method | |
JP2011176457A (en) | Electronic camera | |
JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
JP6566800B2 (en) | Imaging apparatus and imaging method |