JP2014131190A - 撮像装置、その制御方法、および制御プログラム - Google Patents
撮像装置、その制御方法、および制御プログラム Download PDFInfo
- Publication number
- JP2014131190A JP2014131190A JP2012288035A JP2012288035A JP2014131190A JP 2014131190 A JP2014131190 A JP 2014131190A JP 2012288035 A JP2012288035 A JP 2012288035A JP 2012288035 A JP2012288035 A JP 2012288035A JP 2014131190 A JP2014131190 A JP 2014131190A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- frame rate
- rolling shutter
- shutter distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】ローリングシャッター歪を精度よく補正して、高画質の画像を得る。
【解決手段】システム制御回路50は、撮像素子14において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を読み出す。システム制御回路は読み出しタイミングに起因するローリングシャッター歪を補正する際、第2の画像信号を基準画像として第1の画像信号を補正して当該補正後の第1の画像信号を画像データとする。
【選択図】図4
【解決手段】システム制御回路50は、撮像素子14において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を読み出す。システム制御回路は読み出しタイミングに起因するローリングシャッター歪を補正する際、第2の画像信号を基準画像として第1の画像信号を補正して当該補正後の第1の画像信号を画像データとする。
【選択図】図4
Description
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像装置に備えられたCMOSセンサなどの撮像素子で生じるローリングシャッター歪の補正に関する。
近年、家庭用ビデオカメラ又はデジタルスチルカメラなどの撮像装置においては、撮像素子としてCCDに加えて、CMOSセンサが用いられることが多い。CMOSセンサはCCDに比べて高速の読み出しが可能であり、特に、連写又は動画撮影の際に有益である。
CMOSセンサには、所謂マルチストリーム出力と呼ばれるライン単位で独立して読みだしタイミングを変更して、フレームレートの異なる画像を並列して出力可能なものがある。
また、CMOSセンサでは連続撮影を行う際、読み出しライン毎に電子シャッター動作を行うとともに電荷の読み出しを行う。このようなシャッター動作および読み出し動作はローリングシャッターと呼ばれている。
上述のローリングシャッターによって、CMOSセンサではライン単位で露光時刻が異なるので、カメラをパンニングするか又は被写体が動くと所謂ローリングシャッター歪と呼ばれる現象が発生する。
このようなローリングシャッター歪を軽減するため、例えば、ローリングシャッター方式で撮像素子に電荷蓄積を行う際、第2方向の奇数番目に配列された素子列と第2方向の偶数番目に配列された素子列との一方については撮像素子の撮像面の上方から他方については撮像面の下方から交互に画像信号を読み出すようにしたものがある。ここでは、第2方向に隣接する2個の素子列から出力された画像信号を比較して撮像面に対して相対移動を行う移動被写体像についてずれ量を算出して、当該ずれ量に基づいて、移動被写体像に発生するローリングシャッター歪を補正するようにしている(特許文献1参照)。
しかしながら、特許文献1に記載の手法では、ライン単位に読み出し方向を変更してローリングシャッター歪の量を補正するようにしているものの、特許文献1に記載の手法では、正確にローリングシャッター歪の量を推定することが困難であることがある。
このため、特許文献1に記載の手法では、ローリングシャッター歪を精度よく補正して高画質の画像を得ることが困難となってしまう。
従って、本発明の目的はローリングシャッター歪を精度よく補正して、高画質の画像を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
上記の目的を達成するため、本発明による撮像装置は、マトリックス状に配置された複数の光電変換素子を備える撮像素子と、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出し手段と、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正手段と、を有することを特徴とする。
本発明による制御方法は、マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置の制御方法であって、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出しステップと、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正ステップと、を有することを特徴とする。
本発明による制御プログラムは、マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出しステップと、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正ステップと、を実行させることを特徴とする。
本発明によれば、ローリングシャッター歪を精度よく補正して、高画質の画像を得ることができる。
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
図1は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、デジタルカメラ(以下単にカメラと呼ぶ)100であり、カメラ100は撮影レンズユニット(以下単に撮影レンズと呼ぶ)10を備えている。撮影レンズ10の後段には絞り機能を備えるシャッター12が配置されている。シャッター12の後側には、光学像を電気信号に変換するCMOSセンサなどの撮像素子14が配置されている。この撮像素子14は複数の光電変換素子がマトリックス状に配列されている。撮像素子24の出力であるアナログ信号はA/D変換器16によってデジタル信号(画像データ)に変換される。
タイミング発生回路18は撮像素子14およびA/D変換器16にクロック信号又は制御信号を供給する。このタイミング発生回路18はメモリ制御回路22およびシステム制御回路50によって制御される。
なお、撮像素子18のリセットタイミングを制御することによる電子シャッター機能によって、撮像素子の電荷蓄積時間を制御することが可能であり、当該電子シャッター機能は動画撮影など際に使用される。
画像処理回路20はA/D変換器16の出力である画像データ、又はメモリ制御部22から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理回路20は画像データの切り出し処理および変倍処理を行うことによって電子ズーム機能を行う。
さらに、画像処理回路20は撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部50は当該演算結果に基づいて露光制御部40および測距制御部42を制御してそれぞれ露光制御および測距制御を行う。
これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、およびEF(フラッシュプリ発光)処理が行われる。
さらに、画像処理回路20は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
ところで、図示の撮像素子18は2系統の画像出力を有しており、低フレームレートの画像信号と高フレームレートの画像信号を所定の数のライン毎に並列に出力する。従って、A/D変換器16も2系統の入出力を有し、低フレームレートの画像信号および高フレームレートの画像信号の各々はA/D変換器16でA/D変換されてそれぞれデジタル信号として画像処理回路20に与えられる。
画像処理回路20は2系統の処理部を有する必要はなく、一方のデジタル信号(画像データ)を処理する際には、他方の画像データを一旦メモリ制御回路22を介してメモリ30に書き込んでおき、後で処理するようにすればよい。
A/D変換器16からの出力である画像データは、画像処理回路20およびメモリ制御回路22を介して、或いは直接メモリ制御回路22を介して、メモリ30に書き込まれる。メモリ30は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。
この結果、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合にも、高速かつ大量の画像データをメモリ30に書き込むことができる。メモリ30はシステム制御回路50の作業領域としても用いられる。
なお、メモリ制御回路22はA/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、および圧縮伸長回路32を制御する。
圧縮伸張回路32は、適応離散コサイン変換(ADCT)などによって画像データを圧縮伸張する。圧縮伸張回路32は、シャッター12の動作をトリガとしてメモリ30に格納された画像データを読み込んで圧縮処理を行い、圧縮処理後の画像データをメモリ30に書き込む。
また、圧縮伸張回路32は後述の記録部202からメモリ30に読み込まれた圧縮処理後の画像データを読み込んで伸張処理を行って、伸張処理後の画像データをメモリ30に書き込む。圧縮伸張回路32によってメモリ30に書き込まれた画像データは、システム制御回路50においてファイル化されて、インターフェース(I/F)90を介して記録媒体200(つまり、記録部202)に記録される。
図示のメモリ30は画像表示用のメモリを兼ねており、メモリ30に書き込まれた表示用の画像データは画像表示部28に与えられて、画像として表示される。なお、画像表示部28は、例えば、TFT LCDである。
また、画像表示部28に、撮像の結果得られた画像データを逐次表示するようにすれば、電子ファインダー機能を実現することができる。
さらに、画像表示部28は、システム制御回路50によってその表示をオン/オフ制御され、画像表示部28の表示をオフにするとカメラ100の電力消費を大幅に低減することができる。
システム制御回路50はカメラ100全体の制御を司る。不揮発性メモリ31は、例えば、フラッシュROMで構成され、システム制御回路50の動作用の定数、変数、およびプログラムなどが格納されている。また、不揮発性メモリ31にはシステム情報を記憶する領域およびユーザー設定情報を記憶する領域が規定されており、様々な情報および設定を次回起動時に、システム制御回路50が読み出して復元する。
露光制御部40はシステム制御回路50の制御下でシャッター12を制御する。露光制御部40はフラッシュ48と連動するフラッシュ調光機能を有している。
測距制御部42はシステム制御回路50の制御下で撮影レンズ10のフォーカシングを制御する。ズーム制御部44はシステム制御回路50の制御下で撮影レンズ10のズーミングを制御する。フラッシュ48はAF補助光の投光機能およびフラッシュ調光機能を有している。
図示のモードダイアルスイッチ60は、例えば、電源のオン又はオフ、システム制御回路50の動作モードを自動撮影モード、静止画撮影モード、連続撮影(連写)モード、動画モード、再生モード、PC接続モードのいずれかに切り替えるためのスイッチである。
図示のシャッターボタン62が操作途中(半押し)であると、第1のシャッタースイッチがオンとなって、第1のシャッタースイッチ信号SW1がシステム制御回路50に与えられる。これによって、システム制御回路50はAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、およびEF(フラッシュプリ発光)処理などの動作を開始する。
シャッターボタン61が操作完了(全押し)すると、第2のシャッタースイッチがオンとなって、第2のシャッタースイッチ信号SW2がシステム制御回路50に与えられる。これによって、システム制御回路50は撮像素子14の信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮像処理の動作を開始する。
例えば、フラッシュ撮影の際には、システム制御回路50はEF(フラッシュプリ発光)処理を行った後、AE処理によって決定された露光時間の間撮像素子14を露光する。そして、システム制御回路50は当該露光期間中にフラッシュ48を発光させ、露光期間終了と同時に露光制御部40によって遮光を行って撮像素子14の露光を終了することになる。
表示切替スイッチ66の操作によって、システム制御回路50は画像表示部28の表示切替を行う。ここでは、表示切替スイッチ66の操作によって、例えば、光学ファインダー104を用いて撮影を行う際、システム制御回路50は画像表示部28に対する電流の供給を遮断する。これによって、消費電力を低減することができる。
操作部70は各種ボタン、回転式ダイアル、およびタッチパネルなどを有している。各種ボタンとして、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンがある。また、操作部70にはメニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像移動−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、および日付/時間設定ボタンなどが備えられている。
メニューボタンが操作されると、システム制御回路50は各種設定を行うためのメニュー画面を画像表示部28に表示する。ユーザーは画像表示部28に表示されたメニュー画面を見て、4方向キーおよびセットボタンなどを用いて直感的に各種設定を行うことができる。
図示のように、システム制御回路50には加速度センサ(加速度検出手段)71が接続されており、この加速度センサ71によってカメラ100の移動量などが検出される。システム制御回路50は加速度センサ71の検出結果に応じて、例えば、手振れ補正および後述するローリングシャッター歪に係る補正量を算出する。
ズームスイッチ72は撮像の際に倍率変更を行うためのスイッチである。このズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと広角側に変更させるワイドスイッチとを有している。
ズームスイッチ72を操作すると、システム制御回路50はズーム制御部44に撮影レンズ10の撮像画角の変更を指示する。また、ズームスイッチ72の操作は、画像処理回路20による画像データの切り出しおよび画素補間処理などによる撮像画角の電子的なズーミング変更のトリガとなる。
電源部86はアルカリ電池又はリチウム電池などの一次電池、又はNiCd電池、NiMH電池、又はLi電池などの二次電池を備えるとともに、ACアダプターなどを有している。
インターフェース(I/F)90は記録媒体200とのインターフェースであり、コネクタ92によって記録媒体200に備えられたコネクタ206に接続される。記録媒体200はI/F204および前述の記録部202を有しており、記録部202としてメモリカード又はハードディスクなどが用いられる。
通信部110は、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、又は無線通信などに係る各種通信処理を行う。コネクタ(無線通信の場合はアンテナ)112は、通信部110をプリンタなどの外部機器と接続するためのものである。コネクタ112にプリンタが接続された場合、例えば、記録媒体200に記録された画像ファイルがプリンタに転送されて、PCなどを用いることなく直接プリンタによって画像の印刷を行うことができる。
なお、光学ファインダー104を用いれば、前述のように、画像表示部28の電子ファインダー機能を用いることなく、撮影を行うことができる。
図2は、図1に示すカメラ100における動画撮影の際の動作を説明するためのフローチャートである。なお、図示のフローチャートにおける処理はシステム制御回路50の制御下で行われる。
前述のように、撮像素子14は低フレームレートの画像信号と高フレームレートの画像信号を並列に出力する。いま、動画撮影が開始されると、システム制御回路50は低フレームレート(第1のフレームレート)による撮影を行うとともに(ステップS101)、高フレームレート(第1のフレームレートよりも高い第2のフレームレート)による撮影を行う(ステップS102)。
この際、ステップS102では、システム制御回路50は高フレームレートで複数回の撮影を行う。例えば、低フレームレートの画像(第1の画像信号)を1枚撮影する際、後述するように、高フレームレートの画像(第2の画像信号)を8枚撮影する。
一般に、高フレームレートの画像はローリングシャッター歪の影響を殆ど受けていないので、後述するように、高フレームレートの画像を基準画像として、低フレームレートの画像についてローリングシャッター歪の補正が行われる。
続いて、システム制御回路50は、高フレームレートの画像データと低フレームレートの画像データとを比較して、後述するようにして、ローリングシャッター歪の補正量(歪補正量)を算出する(ステップS103)。そして、システム制御回路50は当該歪補正量を適応して、ローリングシャッター歪の補正を行う(ステップS104)。
ローリングシャッター歪が補正された画像データ(補正後の画像データ)は撮像素子14からの出力データ形式であるので、システム制御回路50は画像処理回路20によって当該画像データについてYUV形式の現像処理を行った後、圧縮伸長回路32によって符号化処理を行う(ステップS105)。そして、システム制御回路50は符号化処理後、つまり、圧縮処理後の画像データを記録媒体200に動画像データとして記録する(ステップS106)。
続いて、システム制御回路50は動画データの記録が終了したか否かを判定する(ステップS107)。動画データの記録が終了していないと(ステップS107において、NO)、システム制御回路50はステップS101およびS102の処理に戻る。一方、動画データの記録が終了すると(ステップS107において、YES)、システム制御回路50は動画撮影を終了する。
図3は、図1に示すカメラ100における撮像素子14の読み出しタイミングを説明するための図である。
前述のように、撮像素子16からは低フレームレートの画像信号(高解像度)および高フレームレートの画像信号(低解像度)が並列に読み出される。図3に示す例では、低フレームレートの画像信号A1を読み出す間に、高フレームレート画像信号B11〜B18が読み出される。つまり、低フレームレートの画像を1枚読み出す間に、8枚の高フレームレートの画像が読み出されることになる。
高フレームレートの画像信号はローリングシャッター歪の影響を殆ど受けていないので、ここでは、高フレームレートの画像信号がローリングシャッター歪検出のための基準画像として用いられる。
図4および図5は、図1に示すカメラ100におけるローリングシャッター歪の補正量の算出を説明するための図である。
ローリングシャッター歪の補正を行う際には画像において任意の領域が切り出されるので、その画角は狭くなる。全画角に対して90%の領域を切り出す場合には、当該90%の領域において、システム制御回路50は水平方向の位置ずれを検出する。
図4に示すように、高フレームレートの画像はその解像度が低いので、解像度が低い状態では低フレームレートの画像との比較ができない。このため、画像処理回路20はシステム制御回路50の制御下で低フレームレートの画像と同一の解像度になるように予め高フレームレートの画像について拡大処理(拡大補間処理)を行う。
例えば、システム制御回路50は高フレームレート画像の任意のラインについて中央90%(m(mは2以上の整数)画素)の領域を切り出して、当該切り出し領域(拡大補間処理後の画像)と低フレームレートの画像の同一ラインとについて水平方向に沿って比較を行う。
そして、システム制御回路50は次の式(1)を用いて、水平ずれ差分評価値Diff(x)を算出する。
ここで、Diff(x)は水平ずれ差分評価値、LineLowFr(x,y)は低フレームレート画像の所定位置における画素値、LineHiFr(x,y)は高フレームレート画像の所定位置における画素値、Xminは差分評価値の算出開始位置、そして、Xmaxは差分評価値の算出終了位置を表す。
上述のようにして、水平ずれ差分評価値Diff(x)(つまり、ずれ差分量)を算出した後、システム制御回路50は、図5に示すように、低フレームレート画像および高フレームレート画像を所定のラインについて水平方向にずらしつつ、差分評価値Diff(x)が最小となる位置を探索する。差分評価値Diff(x)が最少となる位置が水平方向にずれた位置となる。
最終的に低フレームレート画像のn(nは2以上の整数)画素中からm画素を切り出す際には、高フレームレート画像の中央m画素を切り出して低フレームレート画像との水平差分を求める。
1ラインのローリングシャッター歪の補正量を求める際には、システム制御回路50は算出開始位置Xminを低フレームレート画像の左端(Xmin=0、Xmax=m)として、算出終了位置Xmaxが低フレームレート画像の右端(Xmin=a,Xmax=n)となるまで水平ずれ差分評価値Diff(x)を算出する。そして、全ての水平ずれ差分評価値Diff(x)を求めると、システム制御回路50はこれら水平ずれ差分評価値Diff(x)の最小値を求める。
図5に示す例では、水平ずれ差分評価値Diff(b)が最小となるbが当該ラインにおけるローリングシャッター歪の補正量となる。システム制御回路50はこのラインについては低フレームレート画像の左端からb画素の位置を基準としてm画素を切り出してローリングシャッター歪補正画像(ライン画像)とする。
上述の処理を、全てのラインについて行って、システム制御回路50は切り出したライン画像を上から順に並べてローリングシャッター歪が補正された画像を生成する。
図6は、図1に示すカメラ100においてローリングシャッター歪補正の際に加速度センサの検出結果を用いる例を説明するための図である。
加速度センサ71による検出結果によってカメラ100のおおよその移動量が分かるので、当該移動量を用いてローリングシャッター歪の検出範囲を狭めれば、検出処理を高速化することができる。
ここでは、加速度センサ71によって移動量が左方向にc画素移動したことが検出されると、左方向にc画素ずらした位置から±α画素の範囲を検出範囲(探索範囲)とする。そして、図5で説明したようにして、システム制御回路50は水平ずれ差分評価値Diff(0)〜Diff(2α−1)の範囲で差分評価値Diff(x)の最小値を探索して、ローリングシャッター歪の補正量を算出する。
このようにして探索範囲を狭めれば、システム制御回路50などにおける演算処理負荷を低減して高速化で検出処理を行うことができる。上記の探索範囲は加速度センサ71の検出精度に依存し、精度が高くなるほど探索範囲を狭めることができる。
図7は、図1に示すカメラ100においてローリングシャッター歪検出を失敗した場合の処理を説明するための図である。
前述のように、水平ずれ差分評価値Diff(X)からその最小値を求める際には、生データ(撮像素子14の出力をA/D変換したデータ)のままではノイズが大きいので移動平均処理を行った後最小値を検出する。
従って、水平ずれ差分評価値Diff(x)の信頼性を確かめるため、システム制御回路50は全ての水平ずれ差分評価値Diff(x)の平均値と最小値との差分を求めて、当該差分が所定の値以上であれば水平ずれ差分評価値Diff(x)の信頼性が高いと判定する。そして、システム制御回路50はローリングシャッター歪の検出成功とする。
一方、上記の平均値と最小値との差分が所定の値未満であると、システム制御回路50は水平ずれ差分評価値Diff(x)の信頼性が低いと判定して、ローリングシャッター歪の検出失敗とする。
上記の信頼性の判定は、ライン毎に行われ、1フレームにおいて所定のライン以上の失敗があると、システム制御回路50は加速度センサ71による検出結果に応じてローリングシャッター歪の補正を行う。一方、1フレームにおいて所定のライン未満の失敗であれば、システム制御回路50は失敗したラインについては加速度センサの検出結果に応じてローリングシャッター歪の補正を行い、成功したラインについて前述のローリングシャッター歪の補正量を用いてローリングシャッター歪の補正を行う。
図8は、図1に示すカメラ100においてローリングシャッター歪検出の際のライン比較を説明するための図である。
前述のように、低フレームレート画像と高フレームレート画像とはその読み出すタイミングが異なるので、比較すべきラインについて露光重心を一致させることが必要である。このため、図8に示すように、比較すべきライン(比較ライン)として露光重心が近いフレームのラインを選択する。
この際には、シャッター速度に応じて露光重心が異なるので、システム制御回路50はシャッター速度に応じた2画像(低フレームレート画像と高フレームレート画像)の露光重心を算出してラインの比較を行う。
また、システム制御回路50は高フレームレート画像を、低フレームレート画像相当の高解像度の画像サイズに拡大補間(拡大補間処理)して、予め同一の画像サイズにする。そして、システム制御回路50は低フレームレート画像のA1フレームについて上から順にライン毎の露光重心を求めて、当該露光重心にその露光重心が近似する高フレームレート画像のフレームを選択する。
図8に示す例では、A1フレームにおけるラインL0については、その露光重心は高フレームレート画像のラインL0においてB17フレームか又はB18フレームの露光重心が近似する。システム制御回路50はB17フレームとB18フレームとを比較してB17ラインの露光重心がA1フレームの露光銃身に近似するとして、ラインL0についてB17フレームのラインL0を比較ラインとして採用する。
同様にして、システム制御回路50はラインL1についてはB17フレームとB18フレームとを比較して、B17フレームのラインL1を比較ラインとして採用する。
以下同様に、ラインL2についてはB18フレームが採用され、ラインL3についてB18フレームが採用される。また、ラインL4についてはB19フレームが採用される。
このようにして、システム制御回路50は全ラインについて露光重心が近似するフレームを選択して、水平ずれ差分評価値を算出する。
上述の実施の形態では、ローリングシャッター歪補正量を算出する際、1フレームにおいて所定のライン以上で検出が失敗すると、加速度センサの検出結果のみを用いて補正を行うようにしたが、1ラインでも検出に失敗すると、加速度センサの検出結果のみを用いて補正を行うようにしてもよい。
さらには、検出に失敗したラインについて加速度センサの検出結果を用いることなく、当該失敗したラインの上下のラインに応じて補間処理を行って補正量を決定するようにしてもよい。
さらに、低フレームレート画像と高フレームレート画像とを比較する際、露光重心が近いフレームを選択するようにしたが、フレーム間の補間画像を生成することによって、露光重心が合致する画像を疑似的に生成して比較を行うようにしてもよい。また、ライン方向についてもライン間の補間画像を生成して比較ラインが合致する画像を疑似的に生成して比較を行うようにしてもよい。
加えて、上述の実施の形態では、加速度センサの検出結果を併用しているが、カメラ100が加速度センサを備えない場合には、探索範囲を広げて検出が失敗する可能性を下げるようにすればよい。
なお、被写体の動きに起因するローリングシャッター歪については、動きベクトルの検出結果を用いてローリングシャッター歪の検出を行うようにすればよい。
このようにして、本発明の実施の形態では、CMOSセンサなどの撮像素子において読み出しタイミングに起因するローリングシャッター歪を精度よく補正して、高画質な画像を得ることができる。
上述の説明から明らかなように、図1に示す例では、システム制御回路50、メモリ制御回路22、画像処理回路20、タイミング発生回路18、およびA/D変換器16が読み出し手段として機能し、システム制御回路50が補正手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
上記の制御方法および制御プログラムの各々は、少なくとも読み出しステップおよび補正ステップを有している。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
14 撮像素子
20 画像処理回路
22 メモリ制御回路
28 画像表示部
32 圧縮伸長回路
50 システム制御回路
62 シャッタースイッチ
66 表示切替スイッチ
70 操作部
71 加速度センサ
20 画像処理回路
22 メモリ制御回路
28 画像表示部
32 圧縮伸長回路
50 システム制御回路
62 シャッタースイッチ
66 表示切替スイッチ
70 操作部
71 加速度センサ
Claims (8)
- マトリックス状に配置された複数の光電変換素子を備える撮像素子と、
前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出し手段と、
前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正手段と、
を有することを特徴とする撮像装置。 - 前記補正手段は、前記第2の画像信号における所定のラインと前記第1の画像信号において前記所定のラインと同一の位置にあるラインとに応じてずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項1に記載の撮像装置。
- 前記補正手段は、前記第2の画像信号における所定のラインと前記第1の画像信号における複数のラインとのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項1に記載の撮像装置。
- 前記補正手段は、前記第2の画像信号に対して拡大補間処理を行って、当該拡大補間処理後の第2の画像信号および前記第1の画像信号の同一のラインについてそのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項1に記載の撮像装置。
- 前記補正手段は、前記第1の画像信号に係る露光重心に対して、前記第2の画像信号において最も露光重心が近似するフレームを選択して同一のラインについてそのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項1に記載の撮像装置。
- 前記撮像装置に加わる加速度を検出する加速度検出手段を有し、
前記補正手段は、前記加速度検出手段によって検出された加速度ら応じてローリングシャッター歪を検出する探索範囲を決定することを特徴とする請求項1に記載の撮像装置。 - マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置の制御方法であって、
前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出しステップと、
前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正ステップと、
を有することを特徴とする制御方法。 - マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第1のフレームレートの第1の画像信号と前記第1のフレームレートよりもフレームレートが高い第2のフレームレートの第2の画像信号を出力する読み出しステップと、
前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第2の画像信号を基準画像として前記第1の画像信号を補正して、当該補正後の第1の画像信号を画像データとする補正ステップと、
を実行させることを特徴とする制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288035A JP2014131190A (ja) | 2012-12-28 | 2012-12-28 | 撮像装置、その制御方法、および制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288035A JP2014131190A (ja) | 2012-12-28 | 2012-12-28 | 撮像装置、その制御方法、および制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014131190A true JP2014131190A (ja) | 2014-07-10 |
Family
ID=51409205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012288035A Pending JP2014131190A (ja) | 2012-12-28 | 2012-12-28 | 撮像装置、その制御方法、および制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014131190A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016134631A (ja) * | 2015-01-15 | 2016-07-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
JP2017085245A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | 撮像装置及び画像歪検出方法 |
JP2018033100A (ja) * | 2016-08-26 | 2018-03-01 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
CN114205525A (zh) * | 2021-12-02 | 2022-03-18 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
CN114359014A (zh) * | 2020-09-30 | 2022-04-15 | 安霸国际有限合伙企业 | 用于卷帘式快门传感器的动态驱动器机构以获取结构光图案 |
-
2012
- 2012-12-28 JP JP2012288035A patent/JP2014131190A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016134631A (ja) * | 2015-01-15 | 2016-07-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
JP2017085245A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | 撮像装置及び画像歪検出方法 |
JP2018033100A (ja) * | 2016-08-26 | 2018-03-01 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
CN114359014A (zh) * | 2020-09-30 | 2022-04-15 | 安霸国际有限合伙企业 | 用于卷帘式快门传感器的动态驱动器机构以获取结构光图案 |
CN114205525A (zh) * | 2021-12-02 | 2022-03-18 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
CN114205525B (zh) * | 2021-12-02 | 2024-05-31 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5054583B2 (ja) | 撮像装置 | |
EP2882183B1 (en) | Electronic apparatus and method of controlling the same | |
JP7086571B2 (ja) | 撮像装置、レンズ装置およびこれらの制御方法 | |
JP5782813B2 (ja) | 撮像装置および画像表示方法 | |
JP2011199565A (ja) | 撮像装置、及びプログラム | |
JP4605217B2 (ja) | 撮影装置及びそのプログラム | |
JP7009142B2 (ja) | 撮像装置および画像処理方法 | |
JP2012222495A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10839497B2 (en) | Image processing apparatus and method | |
JP2014131190A (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN104717424A (zh) | 图像处理设备、摄像设备及其控制方法 | |
JP2018148512A (ja) | 撮像装置と撮像装置の制御方法、及びプログラム | |
JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6559014B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2014168209A (ja) | 撮像装置、撮像方法ならびにプログラム | |
JP5742237B2 (ja) | 撮像装置および撮像方法 | |
CN112312007A (zh) | 信息处理设备、摄像设备、控制方法和存储介质 | |
JP4687619B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2024143042A1 (en) | Image processing device, image processing method, and storage medium | |
JP7523914B2 (ja) | 撮像装置及びその制御方法 | |
JP2019153208A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11283992B2 (en) | Image capturing apparatus that captures image for display and method of controlling image capturing apparatus | |
US20240127398A1 (en) | Image capturing apparatus and image capturing method for generating high-resolution image, and non-transitory computer-readable storage medium storing program | |
JP2018006888A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017038300A (ja) | 画像処理装置及び方法 |