JP2009089037A - 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 - Google Patents

Abstract

【課題】ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪が補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影制御方法、その撮影制御方法を実現する撮影制御プログラム、並びに、その撮影制御装置を備えた撮影装置を提供する。
【解決手段】連続撮影モードにあるときに撮影指示を受けてデジタルカメラ内のＣＰＵが、デジタルカメラに、撮像素子からの相対的な高速読出しによる、相対的にローリング歪みの少ない基準画像を生成させる基準撮影を行なわせた後、全画素読み出しによるローリング歪みのある歪み補正対象画像を生成させる。画像処理プロセッサが、その基準画像と歪み補正対象画像を受けて、基準画像に基づいて、歪み補正対象画像のローリング歪みを補正する。
【選択図】図５

Description

本発明は、撮影装置における撮影を制御する撮影制御装置、および撮影制御方法、情報処理装置を撮影制御装置として動作させる撮影制御プログラム、並びに、上記撮影制御装置を備えた撮影装置に関する。

最近、ＣＣＤ固体撮像素子の代わりに、ＣＭＯＳタイプの撮像素子が用いられるようになってきている。このＣＭＯＳタイプの撮像素子は、ＣＣＤ固体撮像素子が複数の電源を必要とするのに対して単一電源で動作するために電源周りの構成が非常にシンプルになって小型化を図ることが可能になることと、ＣＭＯＳタイプの構造上、消費電力が小さくなるという利点とを持つことから良く用いられる。

しかし、ＣＣＤ固体撮像素子では電子シャッタにより全画素同時露光が可能であるのに対して、ＣＭＯＳタイプの撮像素子のローリングシャッタによる撮影では被写体が動体である場合には、露光が非同時性であるためローリングひずみが発生するという欠点がある。

そこで特許文献１から特許文献３にはその欠点を解決するための技術が提案されている。

特許文献１には、複数枚の連続撮影を行なって複数枚の画像を用いて画像中の動体の検出を行なってその動体の速度に応じて線形補間等の信号処理を行なってローリング歪を補正する技術が開示されている。

また特許文献２には、速度センサを用いて動体の速度を計測し、その動体の速度に併せてローリング歪を補正する技術が開示されている。

また特許文献３には、所定の場所でライン上の製品を予め撮影して基準画像を記録しておき、ライン上に製品が流れているときにその場所で撮影した撮影画像と上記基準画像とを比較して撮影時のローリング歪みを補正する技術が開示されている。
特開２００６−１４８４９６号公報 特開２００４−９６４９８号公報 特開２００６−５８９４５号公報

ところで、ローリングシャッタ撮影による連続撮影が行なわれているときには、撮影回ごとにローリング歪が発生するとともに撮影回ごとに背景が同じであっても動体の位置が移動する。

上記特許文献１、特許文献２の技術を使って連続撮影時の撮影回ごとのローリング歪を補正する構成にすると、連続撮影時の各撮影回ごとに移動する動体の動きに基づいてローリング歪みが補正されることにより、背景も補正されてしまって背景が歪んでしまうおそれがある。

これを防止するためにはＣＭＯＳタイプの撮像素子にグローバルシャッタ機能を搭載することが考えられるが、画素の微細化が困難であるため、グローバルシャッタを搭載しないＣＭＯＳタイプの撮像素子と同等の性能を得ることは非常に難しい。

また上記特許文献３の技術は、同じ被写体を撮影する場合に有効な技術であって通常の撮影装置に適用することができない。

本発明は、上記事情に鑑み、ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪みは補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影方法、その撮制方法を実現する撮影プログラム、並びに、その撮影制御装置を備えた撮影装置を提供することを目的とする。

上記目的を達成する本発明の撮影制御装置は、複数の画素ラインで構成され、各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御装置であって、
上記撮影装置は、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
上記撮影装置が、上記連続撮影モードにあるときに、その撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、その複数枚の撮影のうちの少なくとも１枚については、上記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
上記基準画像に基づいて、上記複数枚のローリングシャッタ撮影のうちの上記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えたことを特徴とする。

上記本発明の撮影制御装置によれば、上記撮影装置が連続撮影モードにあるときにその撮影装置に上記複数枚の撮影のうちの少なくとも１枚については上記撮像素子からの高速読出しによって基準撮影を行なわせて、相対的にローリング歪の少ない基準画像に基づいて、基準撮影を除く撮影により得られた歪補正対象画像のローリング歪が補正される。

つまり、基準撮影により、これから撮影しようとしている被写体の、相対的にローリング歪みの少ない基準画像が生成されてその基準画像にあうように上記歪み補正対象画像のローリング歪みが補正される。

その結果、連続撮影において上記ローリング歪みが好適に補正されるとともに、背景が上記基準画像中の背景にあうように補正されて背景が歪むことが抑制される。

ここで、上記撮影制御手段が、上記撮影装置に、上記撮像素子からの、相対的な高速読出しによる相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせるにあたっては、
上記撮影制御手段が、上記撮影装置に、上記撮像素子からの、相対的に少ない画素数に間引くことによる相対的な高速読出しを行なわさせる基準撮影により上記基準画像を生成させるものであっても良く、
また上記撮影制御手段が、上記撮影装置に、上記撮像素子からの、１画素あたりの画素値を表現するビット数を相対的に減じたビット数による相対的な高速読出しを行なわせる基準撮影により上記基準画像を生成させるものであっても良く、
さらに上記撮影制御手段が、上記撮影装置に、上記撮像素子からの、その撮像素子のうちの相対的に狭い一部領域のみについて読み出すことによる高速読出しを行なわさせる基準撮影により上記基準画像を生成させるものであっても良い。

いずれにしても、撮影しようとしている被写体の基準画像が短時間のうちに生成される。

また上記撮影装置は、上記撮像素子を照射する被写体光を開閉自在に遮断する機械式シャッタを備えたものであって、
上記撮影制御手段は、上記撮影装置に、上記基準撮影に代えて、上記機械式シャッタを用いた撮影による、ローリング歪を避けた基準画像を生成させる基準撮影を行なわさせるものであっても良く、
上記撮影制御手段は、上記撮影装置に、上記機械式シャッタを用い、かつ高速読出しによる基準撮影を行なわさせるものであっても良い。

上記機械式シャッタを用いると、基準撮影をグローバルシャッタ撮影で行なってローリング歪の全くない基準画像を得ることが可能となる。

ここで上記基準画像に対する上記歪補正対象画像のローリング歪のレベルが第１の基準値未満である第１の範囲、その第１の基準値と該第１の基準値よりも大きい第２の基準値との中間にある第２の範囲、その第２の基準レベル以上である第３の範囲とのうちのいずれの範囲にあるかを判定する歪レベル判定手段を備え、
上記歪補正手段は、上記歪レベル判定手段により上記第２の範囲にあることが判定された場合に限り上記歪補正対象画像のローリング歪を補正するものであることが好ましい。

上記ローリング歪のレベルが、上記第１の範囲にあるときには、特に補正をしなくてもある程度の画質の画像が得られ、上記第３の範囲にあるときには、補正してもローリング歪を補正し切れずに歪んだ画像が得られてしまう。そこで、上記第２の範囲にあるときに限りローリング歪を補正する構成にしておくと良い。

また上記歪補正手段が、ローリング歪の補正を行なうことが可能な画像であるか否かを判定する歪補正可否判定手段を備え、
上記歪補正手段は、上記歪補正可能判定手段により上記歪補正対象画像がローリング歪の補正を行なうことが可能な画像であることが判定された場合に限り、上記歪補正対象画像のローリング歪を補正するものであっても良い。

ここで上記撮影制御手段は、連続した複数枚の撮影のうちの少なくとも最初の１枚について基準撮影を行なわせるものであっても良く、
また上記撮影制御手段は、所定枚数の撮影ごとに上記基準撮影を行なわさせるものであっても良い。

前述した様に被写体が動体である場合には、同じ背景であっても連続撮影の撮影回ごとに動体が動く。そこで、基準撮影を必要に応じて行なうか、又は所定枚数ごとに基準撮影を行なう構成にして、主要被写体である動体が撮影画角から外れているかどうかを判定することができる構成にしておくと良い。

さらに、隣接する時刻における撮影により得られた２枚の画像間における被写体の動きを検出する動き検出手段を備え、
上記撮影制御手段は、上記撮影装置に、上記動き検出手段で検出された被写体の動きの速さに応じた複数の撮影ごとに上記基準撮影を行なわさせるものであっても良い。

そうすると、被写体が速い場合には相対的に短い間隔で基準撮影を行なって基準撮影により得られた基準画像に基づいて各撮影回の、動きの速い動体の位置を確認して補正を行なうことができるかどうかを判定することができる。このようにしておく、被写体が遅い場合には主要被写体である動体が撮影画角から外れ難いので相対的に長い間隔で基準撮影を行なって基準撮影により得られた基準画像に基づいて歪補正処理を行なうことができ、被写体が速い場合には主要被写体である動体が撮影画角から短時間のうちに外れてしまうので相対的に短い間隔で基準撮影を行なって基準撮影により得られた基準画像に基づいて歪補正処理を行なうことができる。

ここで上記動き検出手段で検出された被写体の動きが相対的に速い場合には主要被写体である動体がすぐに画角から外れてしまい、被写体の動きが相対的に遅い場合には主要被写体である動体がなかなか画角から外れないのに、連続撮影が同じ枚数で行なわれると、被写体の動きが相対的に速い場合には連続撮影の最後の方で主要被写体が画角から外れた画像が撮影されてしまう。そこで上記動き検出手段で検出された被写体の動きに応じて、連続撮影の撮影枚数に制限を加えて必要のない撮影を行なわない構成にしておくと尚良い。

ここで、上記目的を達成する本発明の撮影制御方法は、複数の画素ラインで構成され、各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御方法であって、
上記撮影装置は、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
上記撮影装置が上記連続撮影モードにあるときに、その撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、複数枚の撮影のうちの少なくとも１枚については、上記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御ステップと、
上記基準画像に基づいて、上記複数枚のローリングシャッタ撮影のうちの上記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正ステップとを有することを特徴とする。

上記目的を達成する本発明の撮影制御プログラムは、
プログラムを実行する情報処理装置で実行され、その情報処理装置を、複数の画素ラインで構成され、その複数の画素ラインについて各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御装置として動作させる撮影制御プログラムであり、
上記撮影装置が、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
上記情報処理装置を、
上記撮影装置が上記連続撮影モードにあるときに、その撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、複数枚の撮影のうちの少なくとも１枚については、上記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
上記基準画像に基づいて、上記複数枚のローリングシャッタ撮影のうちの上記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えた撮影制御装置として動作させることを特徴とする。

さらに、上記目的を達成する本発明の撮影装置は、
撮影光学系で被写体を撮像素子上に結像させ該撮像素子で被写体を表わす画像信号を生成する撮影装置において、
上記撮像素子は、複数の画素ラインで構成され、該複数の画素ラインについて各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能なものであって、
さらに当該撮影装置が、
連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
上記連続撮影モードにあるときに撮影指示を受けて、上記撮像素子に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、該複数枚の撮影のうちの少なくとも１枚については、その撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
上記基準画像に基づいて、上記複数枚のローリングシャッタ撮影のうちの上記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えたことを特徴とする。

ここで、上記撮像素子を照射する被写体光を開閉自在に遮断する機械式シャッタを備えたものであって、
上記撮影制御手段は、上記基準撮影に代えて、上記機械式シャッタを用いた撮影による、ローリング歪を避けた基準画像を生成させる基準撮影を行なわさせるものであることが好ましい。

本発明によれば、ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪は補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影制御方法、その撮影制御方法を実現する撮影制御プログラム、並びに、その撮影制御装置を備えた撮影装置が実現する。

以下、図を参照して本発明の実施の形態を説明する。

図１は、本発明の撮影装置の第１実施形態であるデジタルカメラを斜め上前方から見た外観斜視図である。

図１に示すデジタルカメラ１００は、被写体光を捉えて画像データを生成するものであり、このデジタルカメラ１００の前面には、光学ズームレンズを内蔵したズーム鏡胴１１１と、撮影に同期してフラッシュ光を発するフラッシュ発光窓１１２と、暗所など低コントラスト時のオートフォーカス（ＡＦ）精度を向上させるためのＡＦ補助光ランプ１１３等が備えられている。

また、このデジタルカメラ１００の上面には、電源スイッチ１１４と、レリーズボタン１１５と、レリーズボタン１１５の周囲に回転式のモードダイヤル１１６が備えられている。モードダイヤル１１６はそのダイヤルを回すことにより静止画モードと動画モードとを交互に切り換えることができるようになっている。また、本実施形態のデジタルカメラ１００には、静止画モードの中に連続撮影モードが配備されており、その連続撮影モードが背面側のメニュー／ＯＫボタン（後述する）によって指定される構成になっている。

図２は、図１に示すデジタルカメラの背面を示す外観図である。

図２に示すデジタルカメラ１００の背面には、ＬＣＤパネル１１７Ａ、ファインダ１２４、ＭＥＮＵ／ＯＫボタン１１８、ＤＩＳＰ／ＢＡＣＫボタン１１９、フォトモードボタン１２０、再生ボタン１２１、十字ボタン１２２、ズームボタン１２３などが備えられている。

ＬＣＤパネル１１７Ａは、撮影レンズにより被写体光を捉えて生成された画像データからなる画像、および種々の設定時における情報を表示するものである。

ＭＥＮＵ／ＯＫボタン１１８は、撮影時や再生時における各種のメニューをＬＣＤパネル１１７Ａ上に表示させたり、表示されたメニューの中から所望のメニューを選択し決定するためのボタンである。ここで前述した様に、本実施形態のデジタルカメラには撮影モードの中に連続撮影モードが配備されており、このＭＥＮＵ／ＯＫボタン１１８と後述する十字ボタン１２２の操作によってその連続撮影モードが指定されると、連続撮影が行なわれる。

ＤＩＳＰ／ＢＡＣＫボタン１１９は、ＬＣＤパネル１１７Ａ上に表示された画面の状態を切り換えたり、ＭＥＮＵ／ＯＫボタン１１８等による操作を１つ前の状態に戻したり操作を取り消したりするためのボタンである。

フォトモードボタン１２０は、ピクセル数，感度，色味，プリント枚数等を設定するためのボタンである。

再生ボタン１２１は、後述する記録媒体１０５９に記録された撮影画像を、ＬＣＤ１１７に再生表示するためのボタンである。

十字ボタン１２２は、様々なモードでその役割が変化し、例えば静止画モードではマクロボタンやフラッシュボタンであったり、再生モードではＬＣＤパネル１１７Ａに表示したサムネイルの選択ボタンであったりする。マクロボタンは、マクロ撮影を行なうか否かを切り換えるためのボタンであり、一度押下するとマクロ撮影モードとなり、再度押下するとマクロ撮影モードが解除される。フラッシュボタンは、押下する毎に、オートフラッシュ、赤目低減フラッシュ、強制フラッシュ、フラッシュ禁止、スローシャッタでのフラッシュ、およびオートフラッシュというようにフラッシュの状態を順繰りに切り換えるためのボタンである。

ズームボタン１２３は、右方に向けて押下することにより望遠側（テレ側）にズームインするとともに左方に向けて押下することにより広角側（ワイド側）にズームアウトするためのボタンである。

次に、図１、図２に示したデジタルカメラ１００の回路構成について説明する。

図３は、図１、図２に示したデジタルカメラ１００の回路構成を示すブロック図である。

このデジタルカメラ１００の動作はＣＰＵ１３０と画像処理部１４０との連携により制御される。画像処理部１４０は、画像処理専用プロセッサで構成されており、ＣＰＵ１３０からの指示に応じてメインメモリＭＥＭ内のプログラムにしたがって画像処理プロセスを実行する。その画像処理部１４０には、メモリ制御回路１４１とデジタル信号処理回路１４２と圧縮伸長回路１４３と積算回路１４４とが備えられている。

一方、ＣＰＵ１３０の入力部には図２に示すＭＥＮＵ／ＯＫボタン１１８、ＤＩＳＰ／ＢＡＣＫボタン１１９、フォトモードボタン１２０、再生ボタン１２１、十字ボタン１２２、ズームボタン１２３、レリーズボタン１１４が備えられている操作部ＯＰが接続されており、その操作部ＯＰから操作信号が供給されてくると、ＣＰＵ１３０は、その操作信号に応じて撮像素子１３１、アナログ信号処理回路１３２、ＡＤＣ１３３それぞれに処理を実行させ、撮像素子１３１に生成させた画像信号をＡＤＣ１３３でデジタル信号に変換させた後の画像信号の画像処理については、画像処理部１４０を構成する画像処理プロセッサに実行させる。本実施形態においては、上記撮像素子にローリングシャッタ撮影を行なうＣＭＯＳタイプの撮像素子が用いられている。

また、図３の中にはアドレスバス１３０Ｂとデータバス１３０Ｃとの２つのバスが示されている。その２つのバスのうちのアドレスバス１３０Ｂを用いてＣＰＵ１３０が画像処理部１４０にアクセスしたり、画像処理部１４０がＣＰＵ１３０にアクセスしたりする。またその２つ１３０Ｂ，１３０Ｃのバスのうちのデータバス１３０Ｃを経由してＣＰＵ１３０からの指示内容が画像処理部１４０内の各回路１４１〜１４４に通知されたり、逆に各回路１４１〜１４５からのプロセスの進行状況などがＣＰＵ１３０に通知されたりする。

さらに、ＡＤＣ１３３とバス１３０Ｃ側との処理タイミングを合わせるために画像処理部１４０内のメモリ制御回路１４１によってＡＤＣ１３３から出力されたデジタルの画像データがデータバス１３０Ｃ上に導かれる構成になっている。

この様にＣＰＵ１３０と画像処理部１４０との連携によってその動作が制御されるデジタルカメラ１００の構成および動作を図３を参照して説明する。

図３の左上に示されている撮影光学系１１１０の中には撮影レンズ１１１１や絞り１１１２などが配備されている。なお図３には撮影光学系１１１０内には他に赤外線フィルタ１１１３やＬＰＤ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）１１１４が配備されていることも示されている。

撮影レンズ１１１１の中にはズームレンズやフォーカスレンズがあり、これらのレンズはレンズ駆動部１３０１によって駆動されて光軸方向に移動し、そのレンズ駆動部１３０１の動作はＣＰＵ１３０によって制御される。また絞り１１１２は、絞り駆動部１３０２によって駆動されこの絞り駆動部１３０２の動作もＣＰＵ１３０によって制御される。さらに撮像素子１３７は撮像素子駆動部１３０３によって駆動されその撮像素子駆動部１３０３はの動作もＣＰＵ１３０によって制御される。この撮像素子駆動部１３０３による駆動に応じてローリングシャッタ撮影により撮像素子１３１で画像データが生成され後段のアナログ信号処理回路１３３へと出力される。

アナログ信号処理回路１３２では、撮像素子１３１から出力された画像データのノイズ低減処理等が行なわれノイズ低減処理が行なわれた画像データが後段のＡＤＣ（Ａｎａｌｏｇｕｅ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１３３へと供給される。そのＡＤＣ１３３ではアナログの画像データがデジタルの画像データに変換される。

このＡＤＣ１３３でアナログの画像データがデジタルの画像データに変換された後、ＣＰＵ１３０からのプロセススタート信号を受けた画像処理部１４０内のメモリ制御回路１４０によって１フレーム分の画像データが次々とデータバス１３０Ｃ上に導かれ、データバス１３０Ｃ上に導かれた画像データが次々とデジタル信号処理部１４２へと供給される。

ここで、まず電源が投入されたときに撮影光学系が捉えている被写体をＬＣＤ１１７のＬＣＤパネル１１７Ａ（図２参照）上に表示するための動画データ（以降スルー画データという）の処理の流れを説明する。

ＣＰＵ１３０は、撮像素子駆動部１３０３に指示して所定のタイミングごとに撮像素子１３１を繰り返し駆動させてローリングシャッタ撮影を行なわせることにより撮像素子から間引いて画像信号を出力させてはアナログ信号処理回路１３２に次々と出力させ、さらにＡＤＣ１３３でデジタルの画像データに変換させた後のスルー画データを、画像処理部に指示して画像処理部１４０内のメモリ制御回路１４１の制御の下に次々とデータバス１３０Ｃに導かせる。

このメモリ制御回路１３１によってデータバス１３０Ｃ上に導かれたスルー画データは、データバス１３０Ｃを経由してまずデジタル信号処理回路１４２に供給される。このデジタル信号回路１４２ではスルー画データにシェーディング補正等が施された後ＹＣ変換処理が施される。そのＹＣ変換処理が施されることによりスルー画データからＹＣ信号が生成され生成されたＹＣ信号がＣＰＵ１３０の制御の下にデータバス１３０Ｃを経由して表示制御回路１１７０に供給されＬＣＤ１１７が備えるＬＣＤパネル１１７Ａ上にＹＣ信号に基づくスルー画が表示される。

一方、積算回路１４４にも、デジタル信号処理回路１４２に供給された画像信号が供給され、その画像信号に基づいて合焦位置の検出処理が行なわれたり、測光処理が行なわれたりする。この積算回路１４４での積算結果を受けてＣＰＵ１３０は、レンズ駆動部１３０１に指示してフォーカスレンズ１１１１を合焦位置に移動させたり、絞り駆動部１３０２に指示して絞り径を変更させたりしている。このため、いつでも適正露出に調整されたスルー画データに基づくスルー画がＬＣＤパネル１１７Ａ上に表示されることとなる。

ここで、ＬＣＤパネル１１７Ａ上のスルー画が参照され撮影者によってレリーズボタン１１５が押されると、ＣＰＵ１３０はそのレリーズボタン１１５の押下操作を受けて撮影処理を開始する。

ＣＰＵ１３０は、撮像素子駆動部１３０３に指示して撮像素子１３１にローリングシャッタ撮影を開始させ、全画素からなる画像信号をアナログ信号処理へと出力させる。撮像素子１３１から出力させた全画素からなる画像データは、アナログ信号処理回路１３２でノイズの低減が行なわれＡＤＣ１３３でデジタルの画像データに変換される。

このＡＤＣ１３３から出力されるデジタルの画像データは、ＣＰＵ１３０の制御の下にメモリ制御回路１４１によってデータバス１３０Ｃ上に導かれデータバス１３０Ｃ上に導かれた画像データがデジタル信号処理回路１４２に供給される。このデジタル信号処理回路１４２ではシェーディング補正が行なわれた後ＹＣ信号への変換処理が施され、その変換処理により生成されたＹＣ信号が圧縮伸張回路１４３に供給される。この圧縮伸張回路１４３ではＹＣ信号の圧縮が行なわれて圧縮されたＹＣ信号が外部メモリ制御回路１５０に供給される。

このときＣＰＵ１３０によって、撮影情報や圧縮に係わる情報が圧縮されたＹＣ信号に付加されて圧縮されたＹＣ信号が画像ファイルにされ、その画像ファイルが記録媒体１５１に記録される。

なお、図３には、図１に示すた発光窓１１２からフラッシュ光を発光する発光部ＩＬＬが図示されている。この発光部ＩＬＬは、調光機能を備えたものであるので受光用の発光部ＤＥＴを備えている。

ここで、メニュー／ＯＫボタン１１８や十字キー１２２の操作により連続撮影モードが指定されたときのＣＰＵ１３０と画像処理部１４０との連携により行なわれる連続撮影の処理を説明する。

図４は、連続撮影が行なわれる被写体の最初の状態を示す図である。

図５は、連続撮影時に図１，図２のデジタルカメラによって行なわれる連続撮影の処理を説明する図である。

図４はＬＣＤパネル１１７Ａ上に表示されているスルー画で示される撮影被写体を示す図であり、画像中の自動車は動体であって所定の速度で走行している。スルー画のときには画素が間引かれて読出しが行なわれるためにローリング歪みが小さくほとんど目立たない。

ここで、この撮影被写体を連続撮影するときには、撮像素子１３１から全画素が読み出されるために撮影回ごとの被写体のローリング歪みが大きくなって画質が劣化する。

そこで、本実施形態では、画像処理部１４０が備えるデジタル信号処理部１４２内に本発明にいう歪み補正手段を設けて、その歪み補正手段で歪みを補正することができるようにしている。この歪み補正手段は、ローリング歪みのある画像を最初に撮影された基準画像にあうように補正するものであって、より具体的には、基準画像と歪補正対象画像との間での各画素あるいは各小領域ごとの動きベクトルを検出してその動きベクトルに基づいて動体のローリング歪と背景とをそれぞれ適応的に補正するものである。

図５は、デジタル信号処理回路１４２内の歪補正手段によって行なわれる歪み補正状態を説明する図である。

図５に示す様に、図４に示すスルー画を見て撮影しようとしたときにレリーズボタン１１５が押されると、レリーズボタン１１５の半押し時においての積算回路１４４による積算に応じてＣＰＵ１３０の制御の下にレンズ駆動部１３０１や絞り駆動部１３０２によってピント調整と露出調整が行なわれた後に撮像素子駆動部１３０３の駆動により撮像素子１３１によって基準撮影が行なわれて基準画像が生成される。このときには、連続撮影に影響がないように撮像素子１３１から高速読出しが行なわれて短時間のうちに基準画像がデジタル信号処理回路１４２内に供給されて内部のフレームメモリに記憶される。

この例では、スルー画のときと同じ処理を行なって、本発明にいう撮影制御手段であるＣＰＵ１３０が、図１，図２のデジタルカメラ（撮像素子駆動部１３０３と撮像素子１３１とを備える）に、撮像素子１３１からの、相対的に少ない画素数に間引くことによる相対的な高速読出しを行なわさせる基準撮影により基準画像を生成させている。画像処理部１４０は、メモリ制御回路１４１によりその基準画像を撮像素子から高速に読み出してデータバス１３０Ｃ側に導きデジタル信号処理部１４２内のフレームメモリに記憶する。

そして２回目以降の撮影においてはＣＰＵ１３０が、図１、図２のデジタルカメラ１００に、撮像素子１３１から全画素数の読出しを行なわせる通常撮影によりローリングシャッタ歪みのある画像を生成させる。画像処理部１４０は内部のメモリ制御回路１４１に指示して、ＡＤＣ１３３でデジタル信号に変換された全画素からなる画像信号をデータバス１３０Ｃ上に導いて、画像処理部１４０内のデジタル信号処理回路１４２に供給し、そのデジタル信号処理回路１４２の歪補正手段に歪み補正を行なわせる。

図５には、デジタル信号処理回路１４２で歪み補正が行なわれた後の出力画像が示されている。図５の中央と右側とに示す様に、基準画像に合うように歪み補正が行なわれて基準画像と同じ画像が生成される。このときには、いままでのように動体の動きに応じて動体と共に背景が補正される訳ではなく、歪補正対象画像と基準画像との間で検出された動体部および背景部それぞれの動きベクトルに応じて最初の基準撮影により得られた基準画像に合うように補正が行なわれるので、背景が歪むことが防止される。

なお、連続撮影に限らず、静止画撮影において主要被写体が動体である場合に上記連続撮影モード時の撮影処理を行なう構成にしておいても良い。

以上説明した様に、ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪みは補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影方法、並びに、その撮影制御装置を備えた撮影装置が実現する。

ここで、上記実施形態では、撮像素子からの高速読出しを行なうときに撮像素子１３１から画素数を間引いて読み出しているために、基準画像と撮像素子１３１から全画素を読出したときの歪み補正対象画像の画像サイズが異なる。

図６は、基準画像のサイズを歪み補正対象画像のサイズにあわせる処理を説明する図である。

図６に示す様に、画素数を間引いて高速読出しを行なったときには、基準画像と歪み補正対象画像の画像サイズが異なるので、デジタル信号処理部１４２内のリサイズ回路（不図示）で伸長処理を行ってから歪補正対象画像を基準画像にあわせる処理を行なってローリング歪の補正を行なえば良い。

ここで、上記第１実施形態の構成でも良いが、基準撮影を行なうときには、できるだけ処理を簡素化して短時間のうちに処理を終わらせたい。

そのためには、撮像素子からの、１画素あたりの画素値を表現するビット数を相対的に減じたビット数による相対的な高速読み出しを行なわせて、高速読出しを行なった後の画像サイズが歪み補正対象画像のサイズと同じなるようにして、デジタル信号処理における処理を簡素化して高速化を図ることが考えられる。

図７は、ＣＰＵ１３０が、デジタルカメラ１００に、撮像素子１３１からの、１画素あたりの画素値を表現するビット数を相対的に減じたビット数による相対的な高速読み出しを行なわせる基準撮影により基準画像を生成させる構成にした場合の処理を説明する図である。

図７の第２実施形態の構成にすると、画像処理部１４０が、基準画像を伸長処理してローリング歪みのある画像と同じサイズにする伸長処理が省かれるので、デジタル信号処理部１４２内で歪み補正対象画像を基準画像にあわせる処理を行なうときの伸張処理が省略されてより一層の高速化を図ることが可能となる。

また、ローリングシャッタ撮影であっても高速読出しを行なうことで基準画像のローリング歪みを小さくすることはできるが、基準撮影についてはメカニカルシャッタを使用してグローバルシャッタ撮影を行なう構成にすると、基準画像のローリング歪みはなくなる。

図８は、図５に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。また図９は、図６に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。さらに図１０は、図７に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。

図８から図１０には、基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理が示されている。メカニカルシャッタを使用する以外については図５から図７と同じ処理が行なわれる。

このようにメカニカルシャッタを使用すると基準画像のローリング歪みがなくなり、画像処理部が備えるデジタル信号処理回路１４２内の歪補正手段によってローリングシャッタ撮影によるローリング歪が的確に補正され、また背景は基準画像のままに忠実に再現される。

以上説明した様に、ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪は補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影方法、その撮制方法を実現する撮影プログラム、並びに、その撮影制御装置を備えた撮影装置が実現する。

ところで、主要被写体である動体の動きが遅くローリング歪みのレベルが第１の基準値未満である場合には、ローリング歪の歪補正を行なう必要がないことがある。

また、主要被写体である動体の動きが速くローリング歪みのレベルが第１の基準値よりも大きい第２の基準値以上である場合には、歪補正手段で補正しても補正をし切れずに画像に破綻をきたすことがある。

図１１は、動体の速度に応じてローリング歪みがどの位になるかを示す図である。

図１１（ａ）には、動体の速度が遅い場合の状況が示されており、図１１（ｃ）には、動体の速度が速い場合の状況が示されており、図１１（ｂ）には図１１（ａ）と図１１（ｃ）の中間の速度の場合の状況が示されている。

本実施形態においては、上記歪補正手段に加えて、画像処理部１４０が備えるデジタル信号処理回路１４２内に、隣接する撮影により得られた２枚の画像間における被写体の動きを検出する動き検出手段と歪レベル判定手段とを設けて、その動体検出手段によって検出された動体の速度に応じて歪レベル判定手段によってローリング歪みのレベルが第１の範囲と第２の範囲の間にあると判定された場合に限り歪補正手段に歪補正対象画像のローリング歪を補正させる構成にしている。なお、前述した様に、画像処理部１４０が備えるデジタル信号処理部１４２内には本発明にいう歪み補正手段の一例も構成されている。

この構成にすると、デジタル信号処理回路１４２内の歪み補正手段の補正処理が上記歪レベル判定手段によって第２の範囲にあるときにのみ行なわれるようになるので第１の範囲と第３の範囲にあるときの処理が省略化され、デジタル信号処理回路１４２の構成、ひいては画像処理部１４０の構成が簡素化される。

図１２は、画像処理部１４０が実行する歪みレベル判定に関する処理の手順を示すフローチャートである。本実施形態では画像処理部を構成する画像処理専用プロセッサが実行するフローの処理中のステップＳ１２０１とステップＳ１２０２の判定処理によって本発明にいう歪レベル判定手段の一例が構成される。

図１２のプログラムは、メインメモリＭＥＭ内に格納されている。

画像処理部１４０は、ステップＳ１２０１で動き検出手段の動き検出の結果に基づいて基準画像に対する歪補正対象画像のローリング歪のレベルが第１の基準値以上であるかどうかを判定する。ここでローリング歪みのレベルが第１の基準値未満である第１の範囲にあると判定したときにはＮｏ側へ進んでこのフローの処理を終了する。このステップＳ１２０１で第１の基準値以上であると判定したときにはＹｅｓ側へ進んでステップＳ１２０２で基準画像に対する歪み補正対象画像のローリング歪みのレベルが第１基準値よりも大きい第２の基準値以上であるかどうかを判定する。このステップＳ１２０２で第２の基準値未満であって、ローリング歪みのレベルが第１の基準値以上であって第２の基準未満である第２の範囲にあると判定したときには、Ｎｏ側へ進んでステップＳ１２０３でローリング歪み補正を行なってこのフローの処理を終了する。

ステップＳ１２０２で第２の基準値以上の第３の範囲にあると判定しときには、Ｙｅｓ側へ進んでこのフローの処理を終了する。

このようにすると、画像処理部１４０内の歪レベル判定手段の判定結果に基づいて歪補正手段で歪み補正を行なうことができる場合に限り歪み補正手段で歪補正処理が行なわれる構成になるので、歪補正手段における補正処理の手順が何ステップか省略されてデジタル処理回路１４２の構成、ひいては画像処理部１４０の構成が簡素化される。こうして簡素化が達成されると、処理の高速化が達成される。

ここで、画像処理部１４０が備えるデジタル信号処理部１４２が、歪補正手段に加えて、ローリング歪の補正を行なうことが可能な画像であるか否かを判定する歪補正可否判定手段を備え、歪補正手段が、その歪補正可否判定手段で歪補正対象画像がローリング歪の補正を行なうことが可能な画像であることが判定された場合に限り、歪補正対象画像のローリング歪を補正する構成にしても同じ効果が得られる。

図１３は、画像処理部１４０が備えるデジタル信号処理回路１４２内の動き検出手段では動きの検出を行なうことができない場合の状態を説明する図である。

図１３に示す様に、基準画像に対して全画素読出しを行なったときの画像が、撮影画角からはみ出してしまった場合には、上記動き検出手段で動きの検出を行なうことができない。このように画像が画角から食み出している場合にはローリング歪みの歪み補正を行なっても補正し切れずに画像破綻をきたすおそれが高い。

そこで、動き検出手段で動きを検出することができなかった場合には、画像処理部１４０が歪補正手段に歪み補正を行なわせない構成にすることが考えられる。そうすると、ローリング歪みを無理やり補正しようとして画像が破綻することが防止される。

図１４は、本発明にいう歪み補正可否判定手段の一例を備えた画像処理部１４０が実行する歪み補正処理の手順を示すフローチャートである。本実施形態においては、画像処理専用プロセッサで構成される画像処理部１４０が実行するフロー中の処理のステップＳ１４０１の処理によって本発明にいう歪補正可否判定手段の一例が構成される。

ステップＳ１４０１で、画像処理部１４０が、動き検出手段の検出結果に基づいて歪補正対象画像がローリング歪の補正を行なうことが可能な画像であるかどうかを判定する。ステップＳ１４０２で図１３（ｂ）のように画角からはみ出た画像であって補正することができないと判定された場合には、補正をせずにこのフローの処理を終了する。

ステップＳ１４０１で補正可能であると判定したときには、Ｙｅｓ側へ進んでステップＳ１４０３でローリング歪みの補正を行なってこのフローの処理を終了する。

上記フローを画像処理部が実行すると、動き検出手段の検出結果に応じてローリング歪み補正を行なうと画像に破綻をきたすような画像については補正が行なわれずにローリング歪みのある画像がそのまま記録される。

このようにしてくと、画像が破綻をきたすようりもローリング歪みがあってもある程度は見ることのできる画像が取得される。

ここで、ＣＰＵ１３０が、撮像素子駆動部１３０３に指示して撮像素子１３１から高速読出しを行なわせるにあたっては、画素数を間引く、１画素を表現するビット数を減らす他、主要被写体である動体部分のみ、つまり画像の中央部を切り出して読み出しても高速読出しを行なうことができる。

図１５は、画角の中央部を切り出す、いわゆるトリミングを行なう場合の状態を説明する図である。

図１５に示す様に、画像の中央部を切り出すと読み出す画素数が減って高速読出しを行なうことができる。

図１６は、図５〜図７、図８〜図１０と同様の図であって、連続撮影時に図１，図２のデジタルカメラによって行なわれる連続撮影の処理を説明する図である。

図１６に示す様に画角の中央部を切り出して基準画像を生成しても良い。

図１６の構成にすると、例えば主要被写体である動体が中央の枠からはみ出しても画角内に収まっている限りはローリング歪みを補正することが可能になる。

そこで、上記処理がデジタルカメラ内部で行われるときには、ＬＣＤパネル上に枠（点線）を表示させておいてその枠内に主要被写体が収まるようにユーザに撮影を行なわせるようにしておくと良い。

そうすると、動体がはみ出すかどうかの処理をいち早く行なうことができるので、画像が破綻するようなことをより確実に防止することができる。

ところで、被写体が動体であるときに連続撮影が行なわれるときには、撮影枚数が多ければ多いほど、必ず動体が画角から外れてしまう。言い換えれば、所定の枚数以下に抑えておけば、動体が画角から外れて画像破綻が生じてしまう危険が回避される。

図１７は、連続撮影が行なわれているときの状況を説明する図である。

図１７に示す様に、２枚目までは、画角内にあって撮影が好適に行なわれるが、３枚目は画角から外れてしまって撮影に失敗したかのような画像が撮影されてしまう。もしも連続撮影が行なわれて３枚目の画像が連続撮影された画像ファイルの中にあると、撮影者の中には撮影に失敗したような印象を持つ人がいる。

そこで、連続撮影を所定枚数行なったとしても、撮影枚数の単位を２枚づつであるとか３枚づつにしておいて、撮影に失敗したような画像については後から消去することができる構成にするか、あるいは基準画像に基づいて上記動き検出部が動体の検出を行なうことができない場合に撮影を終了する構成にすると良い。

図１８は、撮影枚数の単位を所定枚数とした場合の構成を説明する図である。

図１７の構成では、連続撮影が行なわれてしまうために３枚目の撮影で撮影に失敗したかのような画像が得られてしまうが、図１８のように連続撮影の単位を２枚にしておいて、２枚づつ基準撮影を行なう構成にして２枚づつ画像ファイルを作成する構成にしておくと、撮影後に撮影者が撮影に失敗した画像（図１７の３枚目の画像）を消去するようなことができる。また、上記動き検出手段を使って基準画像が食み出したときに連続撮影を止めることもできる。

また、動体の動きに応じて上記単位となる枚数を可変にすることができるようにしておいても良い。

図１９は、動き検出手段の動きに応じて撮影枚数を可変にした場合の状況を説明する図である。

図１９（ａ）には、動き量が少ない場合の状況が示されており、図１９（ｃ）には、動き量が多い場合の状況が示されており、図１９（ｂ）には、図１９（ａ）の状況と図１９（ｃ）の状況の間の状況が示されている。

図１９に示す様にすると、主要被写体である動体の速度に応じて連続撮影の撮影枚数が制御されて撮影に失敗したかのような画像は撮影されなくなる。

最後に、本発明の撮影制御装置を、コンベアを備える製造ラインの監視カメラに適用する場合の例を説明する。

図２０は、製造ラインに配備された監視カメラシステムの構成を示す図である。

図２０に示す様に、パーソナルコンピュータ（以降ＰＣとい）３０を撮影制御装置として動作させるためのプログラム（図、図で説明した内容を実行するプログラム）をＰＣ内に搭載して、コンベア３００の脇に撮像部３１を設けて、製品が問題なくコンベア上を流れているかどうかを撮像部で撮影して監視するようなシステムに本発明が適用された場合の例を説明する。

なおＰＣ３０のスロットには、画像処理専用プロセッサを備える画像処理ボードが挿入されているとし、さらにその画像処理ボードには、撮像部３１を駆動する撮像素子駆動部が配備されているとする。

図２０に示す様に、ＰＣ３０には、本発明にいう撮影制御手段を構成するＣＰＵがあり、ＰＣ３０のスロットには、本発明にいう歪み補正手段の一例を構成する画像処理ボードが挿入されている。

このため、コンベア３上を製品３００が流れているときに、連続撮影を行なって製造ラインが正常に稼動しているかどうかを良好に監視することができる。

以上説明した様に、ローリングシャッタ撮影による連続撮影が行なわれているときにローリング歪は補正されても背景に歪みを生じさせずに済む撮影制御装置および撮影方法、その撮制方法を実現する撮影プログラム、並びに、その撮影制御装置を備えた撮影装置が実現する。

本発明の撮影装置の第１実施形態であるデジタルカメラを斜め上前方から見た外観斜視図である。 図１に示すデジタルカメラの背面を示す外観図である。 図１、図２に示したデジタルカメラ１００の回路構成を示すブロック図である。 連続撮影が行なわれる被写体の最初の状態を示す図である。 連続撮影時に図１，図２のデジタルカメラによって行なわれる連続撮影の処理を説明する図である。 基準画像のサイズを歪み補正対象画像のサイズにあわせる処理を説明する図である。 ＣＰＵ１３０が、デジタルカメラ１００に、撮像素子１３１からの、１画素あたりの画素値を表現するビット数を相対的に減じたビット数による相対的な高速読み出しを行なわせる基準撮影により基準画像を生成させる構成にした場合の処理を説明する図である。 図５に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。 図６に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。 図７に対応する図であって基準撮影のときにメカニカルシャッタを使用して基準画像を生成する構成にした場合のローリング歪みの補正処理を説明する図である。 動体の動き量に応じてローリング歪みがどの位になるかを示す図である。 画像処理部１４０が備えるデジタル信号処理回路１４２内の動き検出手段が実行する歪みレベル判定に関する処理の手順を示すフローチャートである。 画像処理部１４０が備えるデジタル信号処理回路１４２内の動き検出手段では動きの検出を行なうことができない場合の状態を説明する図である。 本発明にいう歪み補正可否判定手段の一例を構成する動き検出手段の検出結果に基づいて画像処理部１４０が実行する歪み補正処理の手順を示すフローチャートである。 画角の中央部を切り出す、いわゆるトリミングを行なう場合の状態を説明する図である。 図５〜図７、図８〜図１０と同様の図であって、連続撮影時に図１，図２のデジタルカメラによって行なわれる連続撮影の処理を説明する図である。 連続撮影が行なわれているときの状況を説明する図である。 撮影枚数の単位を所定枚数とした場合の構成を説明する図である。 動き検出手段の動きに応じて撮影枚数を可変にした場合の状況を説明する図である。 製造ラインに配備された監視カメラシステムの構成を示す図である。

符号の説明

１００ デジタルカメラ
１１１０ 撮影光学系
１１１１ 撮影レンズ
１１１２ 絞り
１１１ ズーム鏡胴
１１２ フラッシュ発光窓
１１３ ＡＦ補助光ランプ
１１４ 電源スイッチ
１１５ レリーズボタン
１１６ モードダイヤル
１１７０ 表示制御回路
１１７ ＬＣＤ
１１７Ａ ＬＣＤパネル
１１８ ＭＥＮＵ／ＯＫボタン
１１９ ＤＩＳＰ／ＢＡＣＫボタン
１２０ フォトモードボタン
１２１ 再生ボタン
１２２ 十字ボタン
１２３ ズームボタン
１２４ ファインダ
１３０ ＣＰＵ
１３０Ｂ アドレスバス
１３０Ｃ データバス
１３０１ レンズ駆動部
１３０２ 絞り駆動部
１３０３ 撮像素子駆動部
１３０４ 被写体判定回路
１４０ 画像処理部
１４１ メモリ制御回路
１４２ デジタル信号処理回路
１４３ 圧縮伸長回路
１４４ 積算回路
１３１ 撮像素子
１３２ アナログ信号処理回路
１３３ ＡＤＣ
１５０ 外部メディア制御回路

Claims (15)

1. 複数の画素ラインで構成され、各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御装置であって、
   前記撮影装置は、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
   前記撮影装置が、前記連続撮影モードにあるときに、該撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、該複数枚の撮影のうちの少なくとも１枚については、前記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
   前記基準画像に基づいて、前記複数枚のローリングシャッタ撮影のうちの前記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えたことを特徴とする撮影制御装置。
2. 前記撮影制御手段は、前記撮影装置に、前記撮像素子からの、相対的に少ない画素数に間引くことによる相対的な高速読出しを行なわさせる基準撮影により前記基準画像を生成させるものであることを特徴とする請求項１記載の撮影制御装置。
3. 前記撮影制御手段は、前記撮影装置に、前記撮像素子からの、１画素あたりの画素値を表現するビット数を相対的に減じたビット数による相対的な高速読出しを行なわせる基準撮影により前記基準画像を生成させるものであることを特徴とする請求項１又は２記載の撮影制御装置。
4. 前記撮影制御手段は、前記撮影装置に、前記撮像素子からの、該撮像素子のうちの相対的に狭い一部領域のみについて読み出すことによる高速読出しを行なわさせる基準撮影により前記基準画像を生成させるものであることを特徴とする請求項１から３のうちのいずれか１項記載の撮影制御装置。
5. 前記撮影装置は、前記撮像素子を照射する被写体光を開閉自在に遮断する機械式シャッタを備えたものであって、
   前記撮影制御手段は、前記撮影装置に、前記基準撮影に代えて、前記機械式シャッタを用いた撮影による、ローリング歪を避けた基準画像を生成させる基準撮影を行なわさせるものであることを特徴とする請求項１記載の撮影制御装置。
6. 前記撮影制御手段は、前記撮影装置に、前記基準撮影では前記機械式シャッタを用い、かつ高速読出しによる撮影を行なわさせるものであることを特徴とする請求項５記載の撮影制御装置。
7. 前記基準画像に対する前記歪補正対象画像のローリング歪のレベルが第１の基準値未満である第１の範囲、該第１の基準値と該第１の基準値よりも大きい第２の基準値との中間にある第２の範囲、該第２の基準レベル以上である第３の範囲とのうちのいずれの範囲にあるかを判定する歪レベル判定手段を備え、
   前記歪補正手段は、前記歪レベル判定手段により前記第２の範囲にあることが判定された場合に限り前記歪補正対象画像のローリング歪を補正するものであることを特徴とする請求項１から６のうちのいずれか１項記載の撮影制御装置。
8. 前記歪補正手段が、ローリング歪の補正を行なうことが可能な画像であるか否かを判定する歪補正可否判定手段を備え、
   前記歪補正手段は、前記歪補正可能判定手段により前記歪補正対象画像がローリング歪の補正を行なうことが可能な画像であることが判定された場合に限り、前記歪補正対象画像のローリング歪を補正するものであることを特徴とする請求項１から６のうちのいずれか１項記載の撮影制御装置。
9. 前記撮影制御手段は、連続した複数枚の撮影のうちの少なくとも最初の１枚について基準撮影を行なわせるものであることを特徴とする請求項１から８のうちのいずれか１項記載の撮影制御装置。
10. 前記撮影制御手段は、所定枚数の撮影ごとに前記基準撮影を行なわさせるものであることを特徴とする請求項１から９のうちのいずれか１項記載の撮影制御装置。
11. 隣接する時刻における撮影により得られた２枚の画像間における被写体の動きを検出する動き検出手段を備え、
    前記撮影制御手段は、前記撮影装置に、前記動き検出手段で検出された被写体の動きの速さに応じた枚数の撮影ごとに前記基準撮影を行なわさせるものであることを特徴とする請求項１から８のうちのいずれか１項記載の撮影制御装置。
12. 複数の画素ラインで構成され、各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御方法であって、
    前記撮影装置は、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
    前記撮影装置が前記連続撮影モードにあるときに、該撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、該複数枚の撮影のうちの少なくとも１枚については、前記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御ステップと、
    前記基準画像に基づいて、前記複数枚のローリングシャッタ撮影のうちの前記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正ステップとを有することを特徴とする撮影制御方法。
13. プログラムを実行する情報処理装置で実行され、該情報処理装置を、複数の画素ラインで構成され、該複数の画素ラインについて各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能な撮像素子を備えた撮影装置における撮影を制御する撮影制御装置として動作させる撮影制御プログラムであり、
    前記撮影装置が、連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
    前記情報処理装置を、
    前記撮影装置が前記連続撮影モードにあるときに、該撮影装置に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、該複数枚の撮影のうちの少なくとも１枚については、前記撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
    前記基準画像に基づいて、前記複数枚のローリングシャッタ撮影のうちの前記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えた撮影制御装置として動作させることを特徴とする撮影制御プログラム。
14. 撮影光学系で被写体を撮像素子上に結像させ該撮像素子で被写体を表わす画像信号を生成する撮影装置において、
    前記撮像素子は、複数の画素ラインで構成され、該複数の画素ラインについて各画素ラインごとに順次異なるタイミングで電子シャッタを開にし所定の露光時間が経過した後に各画素ラインごとに順次異なるタイミングで画像信号を読み出すローリングシャッタ撮影が可能なものであって、
    さらに当該撮影装置が、
    連続的に複数枚の撮影を行なう連続撮影モードを有するものであって、
    前記連続撮影モードにあるときに撮影指示を受けて、前記撮像素子に、連続した複数枚のローリングシャッタ撮影を行なわさせるとともに、該複数枚の撮影のうちの少なくとも１枚については、該撮像素子からの相対的な高速読出しによる、相対的にローリング歪の少ない基準画像を生成させる基準撮影を行なわさせる撮影制御手段と、
    前記基準画像に基づいて、前記複数枚のローリングシャッタ撮影のうちの前記基準撮影を除く撮影により得られた歪補正対象画像のローリング歪を補正する歪補正手段とを備えたことを特徴とする撮影装置。
15. 前記撮像素子を照射する被写体光を開閉自在に遮断する機械式シャッタを備えたものであって、
    前記撮影制御手段は、前記基準撮影に代えて、前記機械式シャッタを用いた撮影による、ローリング歪を避けた基準画像を生成させる基準撮影を行なわさせるものであることを特徴とする請求項１４記載の撮影装置。

Images