JP2014131190A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】ローリングシャッター歪を精度よく補正して、高画質の画像を得る。
【解決手段】システム制御回路５０は、撮像素子１４において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を読み出す。システム制御回路は読み出しタイミングに起因するローリングシャッター歪を補正する際、第２の画像信号を基準画像として第１の画像信号を補正して当該補正後の第１の画像信号を画像データとする。
【選択図】図４

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像装置に備えられたＣＭＯＳセンサなどの撮像素子で生じるローリングシャッター歪の補正に関する。

近年、家庭用ビデオカメラ又はデジタルスチルカメラなどの撮像装置においては、撮像素子としてＣＣＤに加えて、ＣＭＯＳセンサが用いられることが多い。ＣＭＯＳセンサはＣＣＤに比べて高速の読み出しが可能であり、特に、連写又は動画撮影の際に有益である。

ＣＭＯＳセンサには、所謂マルチストリーム出力と呼ばれるライン単位で独立して読みだしタイミングを変更して、フレームレートの異なる画像を並列して出力可能なものがある。

また、ＣＭＯＳセンサでは連続撮影を行う際、読み出しライン毎に電子シャッター動作を行うとともに電荷の読み出しを行う。このようなシャッター動作および読み出し動作はローリングシャッターと呼ばれている。

上述のローリングシャッターによって、ＣＭＯＳセンサではライン単位で露光時刻が異なるので、カメラをパンニングするか又は被写体が動くと所謂ローリングシャッター歪と呼ばれる現象が発生する。

このようなローリングシャッター歪を軽減するため、例えば、ローリングシャッター方式で撮像素子に電荷蓄積を行う際、第２方向の奇数番目に配列された素子列と第２方向の偶数番目に配列された素子列との一方については撮像素子の撮像面の上方から他方については撮像面の下方から交互に画像信号を読み出すようにしたものがある。ここでは、第２方向に隣接する２個の素子列から出力された画像信号を比較して撮像面に対して相対移動を行う移動被写体像についてずれ量を算出して、当該ずれ量に基づいて、移動被写体像に発生するローリングシャッター歪を補正するようにしている（特許文献１参照）。

特開２０１２−８０４９０号公報

しかしながら、特許文献１に記載の手法では、ライン単位に読み出し方向を変更してローリングシャッター歪の量を補正するようにしているものの、特許文献１に記載の手法では、正確にローリングシャッター歪の量を推定することが困難であることがある。

このため、特許文献１に記載の手法では、ローリングシャッター歪を精度よく補正して高画質の画像を得ることが困難となってしまう。

従って、本発明の目的はローリングシャッター歪を精度よく補正して、高画質の画像を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、マトリックス状に配置された複数の光電変換素子を備える撮像素子と、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出し手段と、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正手段と、を有することを特徴とする。

本発明による制御方法は、マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置の制御方法であって、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出しステップと、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正ステップと、を有することを特徴とする。

本発明による制御プログラムは、マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出しステップと、前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正ステップと、を実行させることを特徴とする。

本発明によれば、ローリングシャッター歪を精度よく補正して、高画質の画像を得ることができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおける動画撮影の際の動作を説明するためのフローチャートである。 図１に示すカメラにおける撮像素子の読み出しタイミングを説明するための図である。 図１に示すカメラにおけるローリングシャッター歪の補正量の算出の一例を説明するための図である（その１）。 図１に示すカメラにおけるローリングシャッター歪の補正量の算出の一例を説明するための図である（その２）。 図１に示すカメラにおいてローリングシャッター歪補正の際に加速度センサの検出結果を用いる例を説明するための図である。 図１に示すカメラにおいてローリングシャッター歪検出を失敗した場合の処理を説明するための図である。 図１に示すカメラにおいてローリングシャッター歪検出の際のライン比較を説明するための図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、カメラ１００は撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０を備えている。撮影レンズ１０の後段には絞り機能を備えるシャッター１２が配置されている。シャッター１２の後側には、光学像を電気信号に変換するＣＭＯＳセンサなどの撮像素子１４が配置されている。この撮像素子１４は複数の光電変換素子がマトリックス状に配列されている。撮像素子２４の出力であるアナログ信号はＡ／Ｄ変換器１６によってデジタル信号（画像データ）に変換される。

タイミング発生回路１８は撮像素子１４およびＡ／Ｄ変換器１６にクロック信号又は制御信号を供給する。このタイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。

なお、撮像素子１８のリセットタイミングを制御することによる電子シャッター機能によって、撮像素子の電荷蓄積時間を制御することが可能であり、当該電子シャッター機能は動画撮影など際に使用される。

画像処理回路２０はＡ／Ｄ変換器１６の出力である画像データ、又はメモリ制御部２２から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理回路２０は画像データの切り出し処理および変倍処理を行うことによって電子ズーム機能を行う。

さらに、画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部５０は当該演算結果に基づいて露光制御部４０および測距制御部４２を制御してそれぞれ露光制御および測距制御を行う。

これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。

さらに、画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

ところで、図示の撮像素子１８は２系統の画像出力を有しており、低フレームレートの画像信号と高フレームレートの画像信号を所定の数のライン毎に並列に出力する。従って、Ａ／Ｄ変換器１６も２系統の入出力を有し、低フレームレートの画像信号および高フレームレートの画像信号の各々はＡ／Ｄ変換器１６でＡ／Ｄ変換されてそれぞれデジタル信号として画像処理回路２０に与えられる。

画像処理回路２０は２系統の処理部を有する必要はなく、一方のデジタル信号（画像データ）を処理する際には、他方の画像データを一旦メモリ制御回路２２を介してメモリ３０に書き込んでおき、後で処理するようにすればよい。

Ａ／Ｄ変換器１６からの出力である画像データは、画像処理回路２０およびメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。メモリ３０は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。

この結果、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合にも、高速かつ大量の画像データをメモリ３０に書き込むことができる。メモリ３０はシステム制御回路５０の作業領域としても用いられる。

なお、メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、および圧縮伸長回路３２を制御する。

圧縮伸張回路３２は、適応離散コサイン変換（ＡＤＣＴ）などによって画像データを圧縮伸張する。圧縮伸張回路３２は、シャッター１２の動作をトリガとしてメモリ３０に格納された画像データを読み込んで圧縮処理を行い、圧縮処理後の画像データをメモリ３０に書き込む。

また、圧縮伸張回路３２は後述の記録部２０２からメモリ３０に読み込まれた圧縮処理後の画像データを読み込んで伸張処理を行って、伸張処理後の画像データをメモリ３０に書き込む。圧縮伸張回路３２によってメモリ３０に書き込まれた画像データは、システム制御回路５０においてファイル化されて、インターフェース（Ｉ／Ｆ）９０を介して記録媒体２００（つまり、記録部２０２）に記録される。

図示のメモリ３０は画像表示用のメモリを兼ねており、メモリ３０に書き込まれた表示用の画像データは画像表示部２８に与えられて、画像として表示される。なお、画像表示部２８は、例えば、ＴＦＴ ＬＣＤである。

また、画像表示部２８に、撮像の結果得られた画像データを逐次表示するようにすれば、電子ファインダー機能を実現することができる。

さらに、画像表示部２８は、システム制御回路５０によってその表示をオン／オフ制御され、画像表示部２８の表示をオフにするとカメラ１００の電力消費を大幅に低減することができる。

システム制御回路５０はカメラ１００全体の制御を司る。不揮発性メモリ３１は、例えば、フラッシュＲＯＭで構成され、システム制御回路５０の動作用の定数、変数、およびプログラムなどが格納されている。また、不揮発性メモリ３１にはシステム情報を記憶する領域およびユーザー設定情報を記憶する領域が規定されており、様々な情報および設定を次回起動時に、システム制御回路５０が読み出して復元する。

露光制御部４０はシステム制御回路５０の制御下でシャッター１２を制御する。露光制御部４０はフラッシュ４８と連動するフラッシュ調光機能を有している。

測距制御部４２はシステム制御回路５０の制御下で撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４はシステム制御回路５０の制御下で撮影レンズ１０のズーミングを制御する。フラッシュ４８はＡＦ補助光の投光機能およびフラッシュ調光機能を有している。

図示のモードダイアルスイッチ６０は、例えば、電源のオン又はオフ、システム制御回路５０の動作モードを自動撮影モード、静止画撮影モード、連続撮影（連写）モード、動画モード、再生モード、ＰＣ接続モードのいずれかに切り替えるためのスイッチである。

図示のシャッターボタン６２が操作途中（半押し）であると、第１のシャッタースイッチがオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御回路５０に与えられる。これによって、システム制御回路５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの動作を開始する。

シャッターボタン６１が操作完了（全押し）すると、第２のシャッタースイッチがオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御回路５０に与えられる。これによって、システム制御回路５０は撮像素子１４の信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

例えば、フラッシュ撮影の際には、システム制御回路５０はＥＦ（フラッシュプリ発光）処理を行った後、ＡＥ処理によって決定された露光時間の間撮像素子１４を露光する。そして、システム制御回路５０は当該露光期間中にフラッシュ４８を発光させ、露光期間終了と同時に露光制御部４０によって遮光を行って撮像素子１４の露光を終了することになる。

表示切替スイッチ６６の操作によって、システム制御回路５０は画像表示部２８の表示切替を行う。ここでは、表示切替スイッチ６６の操作によって、例えば、光学ファインダー１０４を用いて撮影を行う際、システム制御回路５０は画像表示部２８に対する電流の供給を遮断する。これによって、消費電力を低減することができる。

操作部７０は各種ボタン、回転式ダイアル、およびタッチパネルなどを有している。各種ボタンとして、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンがある。また、操作部７０にはメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、および日付／時間設定ボタンなどが備えられている。

メニューボタンが操作されると、システム制御回路５０は各種設定を行うためのメニュー画面を画像表示部２８に表示する。ユーザーは画像表示部２８に表示されたメニュー画面を見て、４方向キーおよびセットボタンなどを用いて直感的に各種設定を行うことができる。

図示のように、システム制御回路５０には加速度センサ（加速度検出手段）７１が接続されており、この加速度センサ７１によってカメラ１００の移動量などが検出される。システム制御回路５０は加速度センサ７１の検出結果に応じて、例えば、手振れ補正および後述するローリングシャッター歪に係る補正量を算出する。

ズームスイッチ７２は撮像の際に倍率変更を行うためのスイッチである。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと広角側に変更させるワイドスイッチとを有している。

ズームスイッチ７２を操作すると、システム制御回路５０はズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示する。また、ズームスイッチ７２の操作は、画像処理回路２０による画像データの切り出しおよび画素補間処理などによる撮像画角の電子的なズーミング変更のトリガとなる。

電源部８６はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。

インターフェース（Ｉ／Ｆ）９０は記録媒体２００とのインターフェースであり、コネクタ９２によって記録媒体２００に備えられたコネクタ２０６に接続される。記録媒体２００はＩ／Ｆ２０４および前述の記録部２０２を有しており、記録部２０２としてメモリカード又はハードディスクなどが用いられる。

通信部１１０は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、又は無線通信などに係る各種通信処理を行う。コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０をプリンタなどの外部機器と接続するためのものである。コネクタ１１２にプリンタが接続された場合、例えば、記録媒体２００に記録された画像ファイルがプリンタに転送されて、ＰＣなどを用いることなく直接プリンタによって画像の印刷を行うことができる。

なお、光学ファインダー１０４を用いれば、前述のように、画像表示部２８の電子ファインダー機能を用いることなく、撮影を行うことができる。

図２は、図１に示すカメラ１００における動画撮影の際の動作を説明するためのフローチャートである。なお、図示のフローチャートにおける処理はシステム制御回路５０の制御下で行われる。

前述のように、撮像素子１４は低フレームレートの画像信号と高フレームレートの画像信号を並列に出力する。いま、動画撮影が開始されると、システム制御回路５０は低フレームレート（第１のフレームレート）による撮影を行うとともに（ステップＳ１０１）、高フレームレート（第１のフレームレートよりも高い第２のフレームレート）による撮影を行う（ステップＳ１０２）。

この際、ステップＳ１０２では、システム制御回路５０は高フレームレートで複数回の撮影を行う。例えば、低フレームレートの画像（第１の画像信号）を１枚撮影する際、後述するように、高フレームレートの画像（第２の画像信号）を８枚撮影する。

一般に、高フレームレートの画像はローリングシャッター歪の影響を殆ど受けていないので、後述するように、高フレームレートの画像を基準画像として、低フレームレートの画像についてローリングシャッター歪の補正が行われる。

続いて、システム制御回路５０は、高フレームレートの画像データと低フレームレートの画像データとを比較して、後述するようにして、ローリングシャッター歪の補正量（歪補正量）を算出する（ステップＳ１０３）。そして、システム制御回路５０は当該歪補正量を適応して、ローリングシャッター歪の補正を行う（ステップＳ１０４）。

ローリングシャッター歪が補正された画像データ（補正後の画像データ）は撮像素子１４からの出力データ形式であるので、システム制御回路５０は画像処理回路２０によって当該画像データについてＹＵＶ形式の現像処理を行った後、圧縮伸長回路３２によって符号化処理を行う（ステップＳ１０５）。そして、システム制御回路５０は符号化処理後、つまり、圧縮処理後の画像データを記録媒体２００に動画像データとして記録する（ステップＳ１０６）。

続いて、システム制御回路５０は動画データの記録が終了したか否かを判定する（ステップＳ１０７）。動画データの記録が終了していないと（ステップＳ１０７において、ＮＯ）、システム制御回路５０はステップＳ１０１およびＳ１０２の処理に戻る。一方、動画データの記録が終了すると（ステップＳ１０７において、ＹＥＳ）、システム制御回路５０は動画撮影を終了する。

図３は、図１に示すカメラ１００における撮像素子１４の読み出しタイミングを説明するための図である。

前述のように、撮像素子１６からは低フレームレートの画像信号（高解像度）および高フレームレートの画像信号（低解像度）が並列に読み出される。図３に示す例では、低フレームレートの画像信号Ａ１を読み出す間に、高フレームレート画像信号Ｂ１１〜Ｂ１８が読み出される。つまり、低フレームレートの画像を１枚読み出す間に、８枚の高フレームレートの画像が読み出されることになる。

高フレームレートの画像信号はローリングシャッター歪の影響を殆ど受けていないので、ここでは、高フレームレートの画像信号がローリングシャッター歪検出のための基準画像として用いられる。

図４および図５は、図１に示すカメラ１００におけるローリングシャッター歪の補正量の算出を説明するための図である。

ローリングシャッター歪の補正を行う際には画像において任意の領域が切り出されるので、その画角は狭くなる。全画角に対して９０％の領域を切り出す場合には、当該９０％の領域において、システム制御回路５０は水平方向の位置ずれを検出する。

図４に示すように、高フレームレートの画像はその解像度が低いので、解像度が低い状態では低フレームレートの画像との比較ができない。このため、画像処理回路２０はシステム制御回路５０の制御下で低フレームレートの画像と同一の解像度になるように予め高フレームレートの画像について拡大処理（拡大補間処理）を行う。

例えば、システム制御回路５０は高フレームレート画像の任意のラインについて中央９０％（ｍ（ｍは２以上の整数）画素）の領域を切り出して、当該切り出し領域（拡大補間処理後の画像）と低フレームレートの画像の同一ラインとについて水平方向に沿って比較を行う。

そして、システム制御回路５０は次の式（１）を用いて、水平ずれ差分評価値Ｄｉｆｆ（ｘ）を算出する。

ここで、Ｄｉｆｆ（ｘ）は水平ずれ差分評価値、ＬｉｎｅＬｏｗＦｒ（ｘ，ｙ）は低フレームレート画像の所定位置における画素値、ＬｉｎｅＨｉＦｒ（ｘ，ｙ）は高フレームレート画像の所定位置における画素値、Ｘｍｉｎは差分評価値の算出開始位置、そして、Ｘｍａｘは差分評価値の算出終了位置を表す。

上述のようにして、水平ずれ差分評価値Ｄｉｆｆ（ｘ）（つまり、ずれ差分量）を算出した後、システム制御回路５０は、図５に示すように、低フレームレート画像および高フレームレート画像を所定のラインについて水平方向にずらしつつ、差分評価値Ｄｉｆｆ（ｘ）が最小となる位置を探索する。差分評価値Ｄｉｆｆ（ｘ）が最少となる位置が水平方向にずれた位置となる。

最終的に低フレームレート画像のｎ（ｎは２以上の整数）画素中からｍ画素を切り出す際には、高フレームレート画像の中央ｍ画素を切り出して低フレームレート画像との水平差分を求める。

１ラインのローリングシャッター歪の補正量を求める際には、システム制御回路５０は算出開始位置Ｘｍｉｎを低フレームレート画像の左端（Ｘｍｉｎ＝０、Ｘｍａｘ＝ｍ）として、算出終了位置Ｘｍａｘが低フレームレート画像の右端（Ｘｍｉｎ＝ａ，Ｘｍａｘ＝ｎ）となるまで水平ずれ差分評価値Ｄｉｆｆ（ｘ）を算出する。そして、全ての水平ずれ差分評価値Ｄｉｆｆ（ｘ）を求めると、システム制御回路５０はこれら水平ずれ差分評価値Ｄｉｆｆ（ｘ）の最小値を求める。

図５に示す例では、水平ずれ差分評価値Ｄｉｆｆ（ｂ）が最小となるｂが当該ラインにおけるローリングシャッター歪の補正量となる。システム制御回路５０はこのラインについては低フレームレート画像の左端からｂ画素の位置を基準としてｍ画素を切り出してローリングシャッター歪補正画像（ライン画像）とする。

上述の処理を、全てのラインについて行って、システム制御回路５０は切り出したライン画像を上から順に並べてローリングシャッター歪が補正された画像を生成する。

図６は、図１に示すカメラ１００においてローリングシャッター歪補正の際に加速度センサの検出結果を用いる例を説明するための図である。

加速度センサ７１による検出結果によってカメラ１００のおおよその移動量が分かるので、当該移動量を用いてローリングシャッター歪の検出範囲を狭めれば、検出処理を高速化することができる。

ここでは、加速度センサ７１によって移動量が左方向にｃ画素移動したことが検出されると、左方向にｃ画素ずらした位置から±α画素の範囲を検出範囲（探索範囲）とする。そして、図５で説明したようにして、システム制御回路５０は水平ずれ差分評価値Ｄｉｆｆ（０）〜Ｄｉｆｆ（２α−１）の範囲で差分評価値Ｄｉｆｆ（ｘ）の最小値を探索して、ローリングシャッター歪の補正量を算出する。

このようにして探索範囲を狭めれば、システム制御回路５０などにおける演算処理負荷を低減して高速化で検出処理を行うことができる。上記の探索範囲は加速度センサ７１の検出精度に依存し、精度が高くなるほど探索範囲を狭めることができる。

図７は、図１に示すカメラ１００においてローリングシャッター歪検出を失敗した場合の処理を説明するための図である。

前述のように、水平ずれ差分評価値Ｄｉｆｆ（Ｘ）からその最小値を求める際には、生データ（撮像素子１４の出力をＡ／Ｄ変換したデータ）のままではノイズが大きいので移動平均処理を行った後最小値を検出する。

従って、水平ずれ差分評価値Ｄｉｆｆ（ｘ）の信頼性を確かめるため、システム制御回路５０は全ての水平ずれ差分評価値Ｄｉｆｆ（ｘ）の平均値と最小値との差分を求めて、当該差分が所定の値以上であれば水平ずれ差分評価値Ｄｉｆｆ（ｘ）の信頼性が高いと判定する。そして、システム制御回路５０はローリングシャッター歪の検出成功とする。

一方、上記の平均値と最小値との差分が所定の値未満であると、システム制御回路５０は水平ずれ差分評価値Ｄｉｆｆ（ｘ）の信頼性が低いと判定して、ローリングシャッター歪の検出失敗とする。

上記の信頼性の判定は、ライン毎に行われ、１フレームにおいて所定のライン以上の失敗があると、システム制御回路５０は加速度センサ７１による検出結果に応じてローリングシャッター歪の補正を行う。一方、１フレームにおいて所定のライン未満の失敗であれば、システム制御回路５０は失敗したラインについては加速度センサの検出結果に応じてローリングシャッター歪の補正を行い、成功したラインについて前述のローリングシャッター歪の補正量を用いてローリングシャッター歪の補正を行う。

図８は、図１に示すカメラ１００においてローリングシャッター歪検出の際のライン比較を説明するための図である。

前述のように、低フレームレート画像と高フレームレート画像とはその読み出すタイミングが異なるので、比較すべきラインについて露光重心を一致させることが必要である。このため、図８に示すように、比較すべきライン（比較ライン）として露光重心が近いフレームのラインを選択する。

この際には、シャッター速度に応じて露光重心が異なるので、システム制御回路５０はシャッター速度に応じた２画像（低フレームレート画像と高フレームレート画像）の露光重心を算出してラインの比較を行う。

また、システム制御回路５０は高フレームレート画像を、低フレームレート画像相当の高解像度の画像サイズに拡大補間（拡大補間処理）して、予め同一の画像サイズにする。そして、システム制御回路５０は低フレームレート画像のＡ１フレームについて上から順にライン毎の露光重心を求めて、当該露光重心にその露光重心が近似する高フレームレート画像のフレームを選択する。

図８に示す例では、Ａ１フレームにおけるラインＬ０については、その露光重心は高フレームレート画像のラインＬ０においてＢ１７フレームか又はＢ１８フレームの露光重心が近似する。システム制御回路５０はＢ１７フレームとＢ１８フレームとを比較してＢ１７ラインの露光重心がＡ１フレームの露光銃身に近似するとして、ラインＬ０についてＢ１７フレームのラインＬ０を比較ラインとして採用する。

同様にして、システム制御回路５０はラインＬ１についてはＢ１７フレームとＢ１８フレームとを比較して、Ｂ１７フレームのラインＬ１を比較ラインとして採用する。

以下同様に、ラインＬ２についてはＢ１８フレームが採用され、ラインＬ３についてＢ１８フレームが採用される。また、ラインＬ４についてはＢ１９フレームが採用される。

このようにして、システム制御回路５０は全ラインについて露光重心が近似するフレームを選択して、水平ずれ差分評価値を算出する。

上述の実施の形態では、ローリングシャッター歪補正量を算出する際、１フレームにおいて所定のライン以上で検出が失敗すると、加速度センサの検出結果のみを用いて補正を行うようにしたが、１ラインでも検出に失敗すると、加速度センサの検出結果のみを用いて補正を行うようにしてもよい。

さらには、検出に失敗したラインについて加速度センサの検出結果を用いることなく、当該失敗したラインの上下のラインに応じて補間処理を行って補正量を決定するようにしてもよい。

さらに、低フレームレート画像と高フレームレート画像とを比較する際、露光重心が近いフレームを選択するようにしたが、フレーム間の補間画像を生成することによって、露光重心が合致する画像を疑似的に生成して比較を行うようにしてもよい。また、ライン方向についてもライン間の補間画像を生成して比較ラインが合致する画像を疑似的に生成して比較を行うようにしてもよい。

加えて、上述の実施の形態では、加速度センサの検出結果を併用しているが、カメラ１００が加速度センサを備えない場合には、探索範囲を広げて検出が失敗する可能性を下げるようにすればよい。

なお、被写体の動きに起因するローリングシャッター歪については、動きベクトルの検出結果を用いてローリングシャッター歪の検出を行うようにすればよい。

このようにして、本発明の実施の形態では、ＣＭＯＳセンサなどの撮像素子において読み出しタイミングに起因するローリングシャッター歪を精度よく補正して、高画質な画像を得ることができる。

上述の説明から明らかなように、図１に示す例では、システム制御回路５０、メモリ制御回路２２、画像処理回路２０、タイミング発生回路１８、およびＡ／Ｄ変換器１６が読み出し手段として機能し、システム制御回路５０が補正手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも読み出しステップおよび補正ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３２ 圧縮伸長回路
５０ システム制御回路
６２ シャッタースイッチ
６６ 表示切替スイッチ
７０ 操作部
７１ 加速度センサ

Claims (8)

1. マトリックス状に配置された複数の光電変換素子を備える撮像素子と、
   前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出し手段と、
   前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正手段と、
   を有することを特徴とする撮像装置。
2. 前記補正手段は、前記第２の画像信号における所定のラインと前記第１の画像信号において前記所定のラインと同一の位置にあるラインとに応じてずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記第２の画像信号における所定のラインと前記第１の画像信号における複数のラインとのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項１に記載の撮像装置。
4. 前記補正手段は、前記第２の画像信号に対して拡大補間処理を行って、当該拡大補間処理後の第２の画像信号および前記第１の画像信号の同一のラインについてそのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記補正手段は、前記第１の画像信号に係る露光重心に対して、前記第２の画像信号において最も露光重心が近似するフレームを選択して同一のラインについてそのずれ差分量を求めて、当該ずれ差分量に応じて前記ローリングシャッター歪を補正するため補正量を決定することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像装置に加わる加速度を検出する加速度検出手段を有し、
   前記補正手段は、前記加速度検出手段によって検出された加速度ら応じてローリングシャッター歪を検出する探索範囲を決定することを特徴とする請求項１に記載の撮像装置。
7. マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置の制御方法であって、
   前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出しステップと、
   前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正ステップと、
   を有することを特徴とする制御方法。
8. マトリックス状に配置された複数の光電変換素子を備える撮像素子を備える撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記撮像素子において所定の方向に沿った所定の数のライン毎にその読み出しタイミングを異ならせて読み出しを行って第１のフレームレートの第１の画像信号と前記第１のフレームレートよりもフレームレートが高い第２のフレームレートの第２の画像信号を出力する読み出しステップと、
   前記読み出しタイミングに起因するローリングシャッター歪を補正する際、前記第２の画像信号を基準画像として前記第１の画像信号を補正して、当該補正後の第１の画像信号を画像データとする補正ステップと、
   を実行させることを特徴とする制御プログラム。

Images