JP3697050B2

JP3697050B2 - Imaging method and apparatus, and storage medium

Info

Publication number: JP3697050B2
Application number: JP05733098A
Authority: JP
Inventors: 英夫河原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-02-24
Filing date: 1998-02-24
Publication date: 2005-09-21
Anticipated expiration: 2018-02-24
Also published as: JPH11243506A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置本体の揺れ情報に基づき、撮像した撮像画を電気的に切り出して揺れ補正を行う、いわゆる電子防振システムを備える撮像装置において、特に動画と静止画の撮影が可能な撮像方法及び装置並びにこの撮像装置を制御する制御プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来よりビデオカメラ等の撮像装置においては、ＡＥ（オートエクスポージャー）、ＡＦ（オートフォーカス）等、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。
【０００３】
また、近年、ビデオカメラ等の撮像装置の小型化や光学系の高倍率化に伴い、撮像装置の揺れが撮影画像の品位を低下させる大きな原因となっていることに着目し、この撮像装置の振れを補正する振れ補正機能付き撮像装置が種々提案されている。
【０００４】
図４に従来の振れ補正機能付き撮像装置の構成の一例を示す。
【０００５】
同図に示す振れ補正機能付き撮像装置は、撮像部４０１、揺れ補正手段４０２、信号処理回路４０３、記録手段４０４、揺れ検出手段４０５、ＤＣカットフィルタ４０６、アンプ４０７、補正量演算手段４０８、読み出し制御手段４０９及びタイミング・ジェネレータ４１０を構成要素としている。
【０００６】
撮像部４０１は、レンズ４０１ａ及び光電変換手段であるＣＣＤ等の撮像素子４０１ｂにより構成されている。
【０００７】
揺れ補正手段４０２は撮像素子４０２により得られた映像信号を、手振れ等の影響による撮像動画の揺れ成分を軽減するために補正するもので、１画素分の遅延手段である第１遅延手段４０２ａ、第１加算手段４０２ｂ、１映像ライン分の遅延手段である第２遅延手段４０２ｃ、第２加算手段４０２ｄにより構成されている。
【０００８】
信号処理回路４０３は、揺れ補正手段４０２により揺れ成分を軽減して電気的な信号を、例えばＮＴＳＣ信号等の標準ビデオ信号に変換処理するものである。記録手段４０４はビデオテープレコーダ等よりなるもので、信号処理回路４０３により変換処理された標準ビデオ信号を映像信号として記録するものである。
【０００９】
揺れ検出手段４０５は、例えば振動ジャイロ等の角速度センサからなるもので、撮像装置本体に取り付けられている。
【００１０】
ＤＣカットフィルタ４０６は、揺れ検出手段４０５から出力される角速度信号の直流成分を遮断して交流成分、即ち振動成分のみを通過させるものである。このＤＣカットフィルタ４０６は、所定の帯域で信号を遮断するハイパスフィルタ（以下、ＨＰＦと記述する）を用いてもよい。
【００１１】
アンプ４０７は、ＤＣカットフィルタ４０６より出力された角速度信号を適当な感度に増幅するものである。
【００１２】
補正量演算手段４０８は、例えばマイクロコンピュータ（以下、マイコンと記述する）により構成されているもので、Ａ／Ｄ変換器４０８ａ、ハイパスフィルタ（ＨＰＦ）４０８ｂ、積分回路４０８ｃ及びパン・チルト判定回路４０８ｄを有している。
【００１３】
Ａ／Ｄ変換器４０８ａは、アンプ４０７より出力された角速度信号をデジタル信号に変換するものである。
【００１４】
ハイパスフィルタ４０８ｂは、Ａ／Ｄ変換器４０８ａのデジタル出力の低周波成分を遮断するものであり、任意の帯域で特性を可変し得る機能を有する。
【００１５】
積分回路４０８ｃは、ハイパスフィルタ４０８ｂの出力（角速度信号）を積分して角変位信号を出力するもので、任意の帯域で特性を可変し得る機能を有する。
【００１６】
パン・チルト判定回路４０８ｄは、角速度信号及び積分回路４０８ｃから出力された角速度信号と、角速度信号に積分処理を施した積分信号、即ち角変位信号からパンニング・チルティングの判定を行うものである。このパン・チルト判定回路４０８ｄは、角速度信号及び角変位信号のレベルにより後述するパンニング制御を行う。
【００１７】
補正量演算手段４０８により得られた角変位信号は、後述する制御において揺れ補正目標値となる。
【００１８】
読み出し制御手段４０９は、撮像素子４０１ｂの読み出し開始位置を前記揺れ補正目標値信号に基づき移動させると同時に、第１遅延手段４０２ａ及び第２遅延手段４０２ｃの動作タイミングと、第１加算手段４０２ｂ及び第２加算手段４０２ｄの加算比率を制御するものである。
【００１９】
タイミング・ジェネレータ４１０は、読み出し制御手段４０９の制御情報に基づき、撮像素子４０１ｂや第１遅延手段４０２ａ及び第２遅延手段４０２ｃに対して駆動パルスを発生するものである。撮像素子４０１ｂには、その蓄積や読み出しに応じた駆動パルスを、第１遅延手段４０２ａ及び第２遅延手段４０２ｃには、撮像素子４０１ｂの駆動パルスと位相関係を合わせた遅延動作の基準となる駆動パルスを生成する。
【００２０】
揺れ検出手段４０５、ＤＣカットフィルタ４０６、アンプ４０７、補正量演算手段４０８、読み出し制御手段４０９及びタイミング・ジェネレータ４１０により、手振れ補正部が構成されている。
【００２１】
次に、補正量演算手段４０８のパン・チルト判定回路４０８ｄの動作について詳述する。
【００２２】
Ａ／Ｄ変換器４０８ａから出力された角速度信号及び積分回路４０８ｃから出力された角変位信号を入力し、角速度が所定のしきい値以上或いは角速度が所定のしきい値内であっても、角速度信号を積分した角変位信号が所定のしきい値以上の場合に、パンニング或いはチルティングであると判定し、このようなときには、ハイパスフィルタ４０８ｂの低域カットオフ周波数を高域側へと変移させ、低域の周波数に対して振れ補正系が応答しないように特性を変更し、更にパンニング或いはチルティングが検出された場合には、画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングするために、積分回路４０８ｃの積分特性の時定数を短くなる方向に変移させ、積分回路４０８ｃに蓄積された値が基準値（揺れを検出していない状態においてとり得る値）とする制御（以下、パンニング制御と記述する）を行う。
【００２３】
なお、この間も角速度信号及び角変位信号の検出は行われており、パンニング或いはチルティングが終了した場合には、再び低域のカットオフ周波数を低下して振れ補正範囲を拡張する動作が行われ、パンニング制御を終了する。
【００２４】
このパンニング判定動作を図５のフローチャートに基づき説明する。
【００２５】
まず、ステップＳ５０１でアンプ４０７により増幅された角速度信号を、Ａ／Ｄ変換器４０８ａによりアナログ値から補正量演算手段４０８内で扱えるデジタル値に変換（Ａ／Ｄ変換）する。次に、ステップＳ５０２で前回用意されたカットオフ周波数の値を用いてハイパスフィルタ４０８ｂの演算を行う。次に、ステップＳ５０３で前回用意された時定数の値を用いて積分回路４０８ｃにより積分演算を行う。次に、ステップＳ５０４で前記ステップＳ５０３における積分演算結果を、即ち角変位信号をデジタル値からアナログ値に変換して出力する。
【００２６】
次に、ステップＳ５０５で角速度信号が所定のしきい値以上であるか否かを判断する。そして、角速度信号が所定のしきい値以上である場合は、パンニング・チルティング状態であると判断し、次のステップＳ５０６でハイパスフィルタ４０８ｂの演算に用いるカットオフ周波数の値を現在の値より所定の値だけ高くし、低周波信号の減衰率（ｆｃ）を現在の減衰率より大きくする。次に、ステップＳ５０７で積分演算に用いる時定数の値を現在の値より所定の値だけ短くし、角変位出力が基準値に近づくようにした後、本処理動作を終了する。
【００２７】
一方、前記ステップＳ５０５において角速度信号が所定のしきい値以上でない場合は、ステップＳ５０８で積分値が所定のしきい値以上であるか否かを判断する。そして、積分値が所定のしきい値以上であるならばパンニング・チルティング状態であると判断し、前記ステップＳ５０６へ進む。また、前記ステップＳ５０８において積分値が所定のしきい値以上でない場合は、通常制御状態或いはパンニング・チルティングの終了状態であると判断し、ステップＳ５０９へ進む。
【００２８】
ステップＳ５０９では、ハイパスフィルタ４０８ｂの演算に用いるカットオフ周波数の値を現在の値より所定の値だけ低くし、低周波信号の減衰率（ｆｃ）を現在の減衰率より小さくする。次に、ステップＳ５１０で積分演算に用いる時定数の値を現在の値より所定の値だけ長くし、積分効果を上げた後、本処理動作を終了する。
【００２９】
以上の制御により、積分値＝補正目標値の飽和を防ぐことにより、補正目標値を定常状態とし、安定した防振制御が可能となる。
【００３０】
次に、上述した従来例における補正手段の概要を図６を用いて説明する。
【００３１】
図６（Ａ）において、６０１は撮像素子４０１ｂの全撮像領域、６０２は撮像素子４０１ｂの全撮像領域６０１のうち、実際に映像信号として標準ビデオ信号へ変換して出力する切り出し枠（切り出しフレーム）、６０３は撮影者が撮影している被写体である。
【００３２】
このときの標準ビデオ信号を映し出すとすると、図６（Ｃ）に示す映像となる。図６（Ｃ）において、６０４はビデオ信号を再現するモニタ上の映像領域を示し、６０３’はモニタの映像領域６０４に再現された被写体である。後述する撮像画の切り出しにより、撮像素子４０１ｂの全撮像領域６０１よりその周辺を除いた一部分を標準ビデオ信号として出力することにより、モニタの映像領域６０４が再現できる。
【００３３】
図６（Ｂ）は、被写体６０３を撮影する撮影者が矢印６０５，６０５’，６０５”で示す左下方向に撮像装置を振ってしまった場合の画像の変化を示したもので、撮像素子４０１ｂの全撮像領域６０１面上で被写体６０３は矢印６０６で示す右上方向に移動してしまう。
【００３４】
この状態で図６（Ａ）の説明のように、切り出し枠６０２と同一位置の切り出し枠６０２’を用いて切り出した場合、矢印６０６で示すベクトル量だけ被写体６０３が移動したビデオ信号を発生させてしまう。
【００３５】
ここで、撮像装置の揺れ量より求めた画像の変位量６０７、即ち揺れ補正目標値を用いて切り出し枠６０２’より破線枠位置６０２”に移動して切り出せば、図６（Ｃ）に示す映像を得ることが可能である。このような原理を用いて画像の揺れ補正を実現する。
【００３６】
次に、撮像領域の切り出しについて図７を用いて説明する。
【００３７】
図７において、７０１は撮像素子全体、７０２は撮像素子全体７０１を構成する画素単位であり、１つの光電変換素子である。不図示のタイミング・ジェネレータより発せられる電気的な駆動パルスに基づき、画素単位で蓄積及び読み出しの制御が行われる。７０３，７０４は図６の切り出し枠６０２と同様な切り出し枠であり、例えば切り出し枠７０３でビデオ信号を切り出す場合において説明する。
【００３８】
まず、初めに画素「Ｓ」より矢印７０４で示す方向に順番に光電変換された電荷量の読み出しが行われていく。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、この同期期間終了前に画素「Ａ」の１画素手前まで、通常の読み出し速度より速い転送レートで読み出しを終了する。
【００３９】
同期期間の終了後の実映像期間に、画素「Ａ」から画素「Ｆ」までの電荷を、通常の読み出し速度によりビデオ信号の１ライン分の画像情報として、読み出しが開始される。
【００４０】
更に次の１ラインまでの水平同期期間中に画素「Ｆ」から画素「Ｇ」の手前までの画素を通常の読み出し速度より速い転送レートで読み出し、次の映像期間の読み出しに備える。前記画素「Ａ」から画素「Ｆ」までの読み出しと同様に画素「Ｇ」からの読み出しを開始する。
【００４１】
以上のように読み出しを制御することにより、撮像素子４０１ｂの全撮像領域６０１から、例えば撮像素子４０１ｂの中央部分を選択的に抜き出して、ビデオ信号とすることが可能である。
【００４２】
次に、図７を用いて、前記図６で説明したように、撮像装置の移動による撮像面の移動が生じた場合における切り出し位置の移動について説明する。
【００４３】
矢印７０５の分だけ撮像素子４０１ｂ面上での被写体の移動（＝撮像装置の揺れ）が生じたことを検出した場合、切り出し枠７０３より切り出し枠７０４に変更すれば、被写体の移動が伴わない切り出し後の映像が得られる。
【００４４】
切り出し位置を変更するために先の読み出し開始位置を画素「Ａ」から画素「Ｂ」に移動することにより、前記画素「Ａ」からの読み出しと同様に、撮像素子４０１ｂの全撮像領域６０１から画像の一部を選択的に抜き出してビデオ信号とすることができる。
【００４５】
実際には、先の切り出し枠７０３を読み出すときと同様に、画素「Ｓ」より矢印７０４で示す方向に順番に光電変換された電荷量の読み出しを行う。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、この同期期間終了前に画素「Ｂ」の１画素手前まで、通常の読み出し速度より速い転送レートで読み出しを終了しておき、映像期間に画素「Ｂ」から前記と同様に読み出しを開始すればよい。
【００４６】
このように撮像素子４０１ｂの周辺の一部の撮像領域を実映像期間に現れない同期信号期間中に揺れ補正情報に応じた量だけ予め読み出し、撮像素子４０１ｂの一部を撮像装置の揺れ情報を基に選択的に読み出すことにより、撮像装置の揺れに伴う画像の揺れを取り除いたビデオ信号を得ることができる。
【００４７】
次に、第１遅延手段４０２ａ、第２遅延手段４０２ｃ及び第１加算手段４０２ｂ、第２加算手段４０２ｄによる画素ずらし動作について、図８を用いて詳述する。
【００４８】
図８は、撮像素子４０１ｂからの切り出しによる画像の補正をより細かく行うための構成を示すブロック図である。同図において、図４と同一部分には同一符号が付してある。
【００４９】
図８において、第１加算手段４０２ｂは、第１乗算器８０１、第２乗算器８０２、加算回路８０３及び加算制御回路８０４により構成されている。また、第２加算手段４０２ｄは、第１乗算器８０５、第２乗算器８０６、加算回路８０７及び加算制御回路８０８により構成されている。
【００５０】
撮像素子４０１ｂからの画像の切り出し制御は、図７を用いた説明のように撮像素子４０１ｂの画素７０２単位でしか行えないため、画素ピッチ以下の補正が行えない。そこで、第１遅延手段４０２ａ、第２遅延手段４０２ｃ及び第１加算手段４０２ｂ、第２加算手段４０２ｄにより単位画素以下の補正演算である画素ずらし処理を行う。
【００５１】
図８において、８０９は撮像素子４０１ｂから得られた撮像信号の入力端子であり、撮像信号は第１加算手段４０２ｂの第２乗算器８０２に入力される一方、ＣＣＤ等により構成される第１遅延手段４０２ａを介して第１乗算器８０１に入力される。第１乗算器８０１及び第２乗算器８０２により所定の乗数と乗算を行った後に、加算回路８０３により加算が行われ、水平方向の画素ずらし補正を施された撮像信号となる。
【００５２】
この水平方向の画素ずらし補正を施された撮像信号は、更に第２加算手段４０２ｄの第２乗算器８０６に入力される一方、ＣＣＤ等により構成される第２遅延手段４０２ｃを介して第１乗算器８０５に入力される。第１乗算器８０５及び第２乗算器８０６により所定の乗数と乗算を行った後に、加算回路８０７により加算が行われ、水平方向及び垂直方向の画素ずらし補正を施された撮像信号となり、次段の信号処理回路４０３によりビデオ信号にエンコードされる。
【００５３】
読み出し制御手段４０９は、図４の補正量演算手段４０８により生成される撮像装置の揺れに応じた補正目標値信号に応じてタイミング・ジェネレータ４１０から出力する駆動パルスのタイミングを制御し、撮像素子４０１ｂの画像の切り出し制御を行う一方、第１加算手段４０２ｂの加算制御回路８０４及び第２加算手段４０２ｄの加算制御回路８０８を制御し、適切な割合の加算動作を行う。
【００５４】
この加算動作を図９及び図１０を用いて具体的に説明する。
【００５５】
図９は第１遅延手段４０２ａと第１加算手段４０２ｂとによる処理を撮像素子４０１ｂの画素７０２単位で示したものである。撮像素子４０１ｂの画素７０２は、図７に示すように撮像素子４０１ｂの面上に規則正しく水平方向及び垂直方向に配列されているが、図９では説明の便宜上水平方向だけを抜き出して示している。
【００５６】
初めに図９（Ａ）に示した画素単位の加算について説明する。撮像素子４０１ｂの画素７０２のｎ画素目の水平方向の中心位置を水平画素中心９０１とする。同様に、撮像素子４０１ｂの画素７０２のｎ＋１画素目の水平方向の中心位置を水平画素中心９０２とする。図９（Ａ）では、ｎ画素目とｎ＋１画素目との仮想的な中央の位置の画像を得る場合の演算を図式的に示しており、ｎ画素目を１／２倍した値９０３と、ｎ＋１画素目を１／２倍した値９０４とをそれぞれ加算することにより、ｎ画素目とｎ＋１画素目との仮想的な中央の位置の画像９０５が求められる。同様にｎ＋１画素目を１／２倍し、ｎ＋２画素目を１／２倍して加算することにより、ｎ＋１画素目とｎ＋２画素目との仮想的な中央の位置の画像を得ることができる。
【００５７】
次に、図９（Ｂ）に示した画素単位の加算について説明する。図９（Ｂ）は、先の図９（Ａ）とは加算比が異なり、７／１０対３／１０の比率の加算を行う場合について示してある。
【００５８】
図９（Ｂ）において、先の図９（Ａ）と同様に撮像素子４０１ｂの画素７０２のｎ画素目の水平方向の中心位置を水平画素中心９０１とし、撮像素子４０１ｂの画素７０２のｎ＋１画素目の水平方向の中心位置を水平画素中心９０２とする。このｎ画素目とｎ＋１画素目との７／１０対３／１０の画像を得る場合には、ｎ画素目を７／１０倍した値９０３’と、ｎ＋１画素目を３／１０倍した値９０４’とをそれぞれ加算することにより、ｎ画素目とｎ＋１画素目との仮想的な中央の位置の画像９０５’が求められる。同様にｎ＋１画素目を７／１０倍し、ｎ＋２画素目を３／１０倍して加算することにより、ｎ＋１画素目とｎ＋２画素目との７／１０対３／１０の位置の画像を得ることができる。
【００５９】
このように、ｎ画素目とｎ＋１画素目との加算比を変えることにより、画素間の水平方向の１画素以下の任意の位置の画素データを得ることができる。
【００６０】
なお、加算に用いる乗算比率は、一般にｎ画素目をｋ倍するとすると、ｎ＋１画素目は（１−ｋ）倍すればよい（但し、０≦ｋ≦１とする）。
【００６１】
また、乗算比率を１対０或いは０対１にした場合には、加算は行われず、通常の読み出しと同等となる。
【００６２】
図１０は、第２遅延手段４０２ｃと第２加算手段４０２ｄとによる処理を撮像素子４０１ｂの水平ライン単位で示したものである。
【００６３】
初めに図１０（Ａ）に示す水平ライン単位毎の加算について説明する。水平ラインは撮像素子４０１ｂの画素７０２の水平方向の配列により構成されており、ｎライン目の垂直方向の中心位置を垂直画素中心１００１とする。同様に、ｎ＋１ライン目の垂直方向の中心位置を垂直画素中心１００２とする。
【００６４】
図１０（Ａ）では、ｎライン目とｎ＋１ライン目との中央の位置の画像を得るときの場合の演算を図示的に示しており、ｎライン目を１／２倍して値１００３を取り、ｎ＋１ライン目を１／２倍して値１００４を取り、それぞれ加算することにより、ライン１００５が求められる。同様に、ｎ＋１ライン目を１／２倍し、ｎ＋２ライン目を１／２倍して、それぞれ加算することにより、ｎ＋１ライン目とｎ＋２ライン目との中央の位置の画像を得ることができる。
【００６５】
次に、図１０（Ｂ）に示す画素単位の加算について説明する。図１０（Ｂ）は、先の図１０（Ａ）と加算比が異なり、７／１０対３／１０の比率の加算を行う場合について示してある。
【００６６】
図１０（Ｂ）において、先の図１０（Ａ）と同様に撮像素子４０１ｂの画素７０２のｎライン目の垂直画素の中心位置を垂直画素中心１００１とし、ｎ＋１ライン目の垂直方向の中心位置を垂直画素中心１００２とする。このｎライン目とｎ＋１ライン目との７／１０対３／１０の画像を得る場合には、ｎライン目を７／１０倍した値１００３’と、ｎ＋１ライン目を３／１０倍した値１００４’とをそれぞれ加算することにより、７／１０対３／１０のライン画像１００５’が求められる。同様にｎ＋１ライン目を７／１０倍し、ｎ＋２ライン目を３／１０倍して加算することにより、ｎ＋１ライン目とｎ＋２ライン目との７／１０対３／１０の位置の画像を得ることができる。
【００６７】
このように、ｎライン目とｎ＋１ライン目の加算比を変えることにより、ラインの垂直方向の１ライン以下の任意の位置のラインデータを得ることができる。なお、加算に用いる乗算比率は前記画素単位と同様に、一般にｎライン目をｋ倍すると、ｎ＋１ライン目は（１−ｋ）倍すればよい（但し、０≦ｋ≦とする）。
【００６８】
また、乗算比率を１対０或いは０対１にした場合には加算は行われず、通常の読み出しと同等となる。
【００６９】
以上説明したように、画素単位の補正は、撮像素子４０１ｂの読み出しにより行い、画素単位以下の補正に関しては画素ずらしを用いて補正を行うことにより、良好な防振特性を得ることができていた。
【００７０】
【発明が解決しようとする課題】
しかしながら、近年、動画と静止画とを同時に取り扱う撮像装置が提案されており、これらの撮像装置にも同様の防振システムが採用されているが、上述した従来の撮像装置における防振システムは、画素ずらしを行うことにより防振動作を実現しているが、その反面、画素間の蓄積データを加算してしまうため、解像度が劣化してしまうという問題点があり、特に静止画を撮影する場合においては、画像の切り出しによるフレーム間の補正は重要ではなく、むしろ撮像画の解像度の劣化の要因になってしまうという問題点があった。
【００７１】
本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたものであり、その目的とするところは、動画撮影時は従来と同様な揺れ補正を行い且つ静止画撮影時には画像の劣化を伴わない撮像画を得ることができる撮像方法及び装置並びに記憶媒体を提供しようとするものである。
【００７３】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の撮像方法は、撮像装置本体の揺れを検出する揺れ検出工程と、前記揺れ検出工程により検出された撮像装置本体の揺れ情報に基づいて補正量を演算する補正量演算工程と、前記補正量演算工程の演算結果に基づき撮像素子の読み出し位置を制御する読み出し制御工程と、読み出した映像信号を所定時間遅延する遅延工程と、前記読み出した映像信号の画素と前記遅延工程により遅延された映像信号の画素とを前記補正量演算工程の演算結果に基づき所定の比率で加算する加算工程と、動画撮影時には前記加算工程の加算を行い且つ静止画撮影時には前記加算工程の加算を禁止する加算制御工程とを有することを特徴とする。
【００７５】
また、上記目的を達成するために請求項４に記載の撮像方法は、撮像装置本体の揺れを検出する揺れ検出工程と、前記揺れ検出工程により検出された撮像装置本体の揺れ情報に基づいて補正量を演算する補正量演算工程と、前記補正量演算工程の演算結果に基づき撮像素子の読み出し位置を制御する読み出し制御工程と、読み出した映像信号を所定時間遅延する遅延工程と、前記読み出した映像信号の画素と前記遅延工程により遅延された映像信号の画素とを前記補正量演算工程の演算結果に基づき所定の比率で加算する加算工程と、動画撮影時には前記加算工程の加算比率を前記所定の比率とし且つ静止画撮影時には前記加算工程の加算比率を１対０とするように制御する加算比率制御工程とを有することを特徴とする。
【００７７】
また、上記目的を達成するために請求項７に記載の撮像装置は、撮像装置本体の揺れを検出する揺れ検出手段と、前記揺れ検出手段により検出された撮像装置本体の揺れ情報に基づいて補正量を演算する補正量演算手段と、前記補正量演算手段の演算結果に基づき撮像素子の読み出し位置を制御する読み出し制御手段と、読み出した映像信号を所定時間遅延する遅延手段と、前記読み出した映像信号の画素と前記遅延手段により遅延された映像信号の画素とを前記補正量演算手段の演算結果に基づき所定の比率で加算する加算手段と、動画撮影時には前記加算手段の加算を行い且つ静止画撮影像時には前記加算手段の加算を禁止する加算制御手段とを有することを特徴とする。
【００８０】
また、上記目的を達成するために請求項１１に記載の撮像装置は、撮像装置本体の揺れを検出する揺れ検出手段と、前記揺れ検出手段により検出された撮像装置本体の揺れ情報に基づいて補正量を演算する補正量演算手段と、前記補正量演算手段の演算結果に基づき撮像素子の読み出し位置を制御する読み出し制御手段と、読み出した映像信号を所定時間遅延する遅延手段と、前記読み出した映像信号の画素と前記遅延手段により遅延された映像信号の画素とを前記補正量演算手段の演算結果に基づき所定の比率で加算する加算手段と、動画撮影時には前記加算手段の加算比率を前記所定の比率とし且つ静止画撮影時には前記加算手段の加算比率を１対０とするように制御する加算比率制御手段とを有することを特徴とする。
【００８３】
また、上記目的を達成するために請求項１５に記載の記憶媒体は、撮像装置を制御する制御プログラムを格納する記憶媒体であって、撮像装置本体の揺れを検出し、該検出された撮像装置本体の揺れ情報に基づいて補正量を演算し、該演算結果に基づき撮像素子の読み出し位置を制御し、読み出した映像信号を所定時間遅延し、動画撮影時には前記読み出した映像信号の画素と前記遅延された映像信号の画素とを前記演算結果に基づき所定の比率で加算し、静止画撮影時には前記加算を禁止するように制御するステップの制御モジュールを有する制御プログラムを格納したことを特徴とする。
【００８５】
また、上記目的を達成するために請求項１８に記載の記憶媒体は、撮像装置を制御する制御プログラムを格納する記憶媒体であって、撮像装置本体の揺れを検出し、該検出された撮像装置本体の揺れ情報に基づいて補正量へ演算し、該演算結果に基づき撮像素子の読み出し位置を制御し、読み出した映像信号を所定時間遅延し、動画撮影時には前記読み出した映像信号の画素と前記遅延された映像信号の画素とを前記演算結果に基づき所定の比率で加算し、静止画撮影時には前記加算比率を１対０とするように制御するステップの制御モジュールを有する制御プログラムを格納したことを特徴とする。
【００８７】
【発明の実施の形態】
以下、本発明の各実施の形態を図１乃至図３に基づき説明する。
【００８８】
（第１の実施の形態）
まず、本発明の第１の実施の形態を図１及び図２に基づき説明する。図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図であり、同図において上述した従来例の図４と同一部分には、同一符号が付してある。
【００８９】
図１において図４と異なる点は、図４の構成に撮影モード切り替え手段１０１を付加したことである。この撮影モード切り替え手段１０１は、記録手段４０４の記録モードを動画記録モードと静止画記録モードとに切り替えるものであり、記録手段４０４も記録媒体によっては撮影モードに応じた記録形式をとるものとする。
【００９０】
また、上述した従来例では、読み出し制御手段４０９は、補正量演算手段４０８により得られる揺れ補正目標値データに基づいてタイミング・ジェネレータ４１０及び第１、第２加算手段４０２ｂ，４０２ｄのそれぞれの制御を行っているが、本発明では、更に撮影モード切り替え手段１０１の状態によってタイミング・ジェネレータ４１０及び第１、第２加算手段４０２ｂ，４０２ｄの動作を変更するものである。
【００９１】
次に、撮影モード切り替え手段１０１の動作を図２のフローチャートに基づき説明する。
【００９２】
まず、ステップＳ２０１で揺れ検出手段４０５から得られた揺れ情報を基に補正量演算手段４０８により揺れ補正目標値を求め、読み出し制御手段４０９により、その値に応じた補正を撮像素子４０１ｂの読み出し制御によって行う。次に、ステップＳ２０２で撮影モード切り替え手段１０１が動画撮影モード或いは静止画撮影モードのどちらになっているかを判断する。そして、静止画撮影モードになっている場合は、ステップＳ２０３で記録手段４０４の記録モードが静止画に対応できているか否か、即ち静止画記録モードか否かを判断する。そして、静止画記録モードの場合は、直接ステップＳ２０４へ進み、また、静止画記録モードではなく動画記録モードの場合は、ステップＳ２０６で記録手段４０４の記録モードを動画記録モードから静止画記録モードに変更した後、ステップＳ２０４へ進む。
【００９３】
ステップＳ２０４では、先に述べた理由により加算手段４０２ｂ，４０２ｄのｋの値を１とすることにより画素ずらしを行わない加算制御を行った後、ステップＳ２０５へ進む。ステップＳ２０５では、不図示の撮影開始スイッチが押されているか否かを判断する。そして、撮影開始スイッチが押されていない場合は、何も処理せずに本処理動作を終了し、また、撮影開始スイッチが押されている場合は、ステップＳ２０７で静止画撮影を実行した後、本処理動作を終了する。
【００９４】
一方、前記ステップＳ２０２において撮影モード切り替え手段１０１が動画撮影モードになっている場合は、ステップＳ２０８で記録手段４０４の記録モードが動画に対応できているか否か、即ち動画記録モードか否かを判断する。そして、動画記録モードの場合は、直接ステップＳ２０９へ進み、また、動画記録モードではなく静止画記録モードの場合は、ステップＳ２１１で記録手段４０４の記録モードを静止画記録モードから動画記録モードに変更した後、ステップＳ２０９へ進む。
【００９５】
ステップＳ２０９では、従来と同様に、補正目標値のデータを基に１画素に満たない補正を行うために、加算手段４０２ｂ，４０２ｄのｋの値を算出することにより、画素ずらしのための加算制御を行った後、ステップＳ２１０へ進む。ステップＳ２１０では、不図示の撮影開始スイッチが押されているか否かを判断する。そして、撮影開始スイッチが押されていない場合は、何も処理せずに本処理動作を終了し、また、撮影開始スイッチが押されている場合は、ステップＳ２１２で動画撮影を実行した後、本処理動作を終了する。
【００９６】
以上の動作により、動画撮影時には従来通りの画素ずらしを行うことにより、フィールド間のつながりがより滑らかな画像を得ることができ、また、静止画撮影時には画素ずらしを行わないための解像度の低下のない映像を得ることができる。
【００９７】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図３に基づき説明する。図３は、本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図であり、同図において上述した従来例の図４及び第１の実施の形態の図１と同一部分には、同一符号が付してある。
【００９８】
図３において図１と異なる点は、図１の構成に第１切り替え手段３０１及び第２切り替え手段３０２を付加したことである。第１切り替え手段３０１及び第２切り替え手段３０２は、撮影モード切り替え手段１０１の切り替え状態に応じて、撮像素子４０１ｂから第１加算手段４０２ｂ、第２遅延手段４０２ｃ及び第２加算手段４０２ｄを介して信号処理回路４０３へ撮像信号が流れるルートである「ａ−ａ’」側を選択或いは撮像素子４０１ｂから直接信号処理回路４０３へ撮像信号が流れるルートである「ｂ−ｂ’」側を選択するものである。
【００９９】
第１切り替え手段３０１及び第２切り替え手段３０２としては、撮像信号の流れを切り替えることができる一般的なスイッチであればよく、第１切り替え手段３０１及び第２切り替え手段３０２は、互いに同時に切り替わるように制御がなされる。
【０１００】
動画撮影時には、これら第１切り替え手段３０１及び第２切り替え手段３０２を「ａ−ａ’」側を選択することにより、撮像素子４０１ｂからの画像の切り出しによる揺れ補正動作のみではなく、先に述べた画素ずらし制御を行い、円滑な防振動作を行う。
【０１０１】
また、静止画撮影時には、これら第１切り替え手段３０１及び第２切り替え手段３０２を「ｂ−ｂ’」側に選択することにより、第１遅延手段４０２ａ、第２遅延手段４０２ｃ及び第１加算手段４０２ｂ、第２加算手段４０２ｄを含むブロックを使用せずに撮像素子４０１ｂからの画像の切り出しによる揺れ補正動作のみを採用し、解像度を劣化させない静止画を得ることができる。
【０１０２】
【発明の効果】
以上詳述したように本発明によれば、動画撮影時は従来と同様な揺れ補正を行い且つ静止画撮影時には画像の劣化を伴わない撮像画を得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る撮像装置における画素ずらし制御の動作手順を示すフローチャートである。
【図３】本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【図４】従来の撮像装置の構成を示すブロック図である。
【図５】従来の撮像装置におけるパンニング制御の動作手順を示すフローチャートである。
【図６】従来の撮像装置における揺れ補正手段の概要を説明するための図である。
【図７】従来の撮像装置における揺れ補正手段の蓄積画像の切り出しを説明するための図である。
【図８】従来の撮像装置における画素ずらしを説明するための図である。
【図９】従来の撮像装置における水平方向の画素ずらしを説明するための図である。
【図１０】従来の撮像装置における垂直方向の画素ずらしを説明するための図である。
【符号の説明】
１０１撮影モード切り替え手段
３０１第１切り替え手段
３０２第２切り替え手段
４０１撮像部
４０１ａレンズ
４０１ｂ撮像素子（ＣＣＤ）
４０２揺れ補正手段
４０２ａ第１遅延手段
４０２ｂ第１加算手段
４０２ｃ第２遅延手段
４０２ｄ第２加算手段
４０３信号処理回路
４０４記録手段
４０５揺れ検出手段（ジャイロ）
４０６ＤＣカットフィルタ
４０７アンプ
４０８補正量演算手段
４０８ａＡ／Ｄ変換器
４０８ｂハイパスフィルタ（ＨＰＦ）
４０８ｃ積分回路
４０８ｄパン・チルト判定回路
４０９読み出し制御手段
４１０タイミング・ジェネレータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus including a so-called electronic image stabilization system that electrically cuts out a captured image based on shake information of the imaging apparatus main body and performs shake correction. The present invention relates to a method and apparatus and a storage medium storing a control program for controlling the imaging apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an imaging apparatus such as a video camera has been automated and multi-functional in all respects such as AE (auto exposure), AF (auto focus), and so on, so that good shooting can be easily performed.
[0003]
Further, in recent years, attention has been paid to the fact that the shake of the image pickup device is a major cause of degrading the quality of the photographed image due to the downsizing of the image pickup device such as a video camera and the increase in the magnification of the optical system. Various imaging devices with a shake correction function for correcting shake have been proposed.
[0004]
FIG. 4 shows an example of the configuration of a conventional imaging apparatus with a shake correction function.
[0005]
The imaging apparatus with a shake correction function shown in the figure includes an imaging unit 401, shake correction unit 402, signal processing circuit 403, recording unit 404, shake detection unit 405, DC cut filter 406, amplifier 407, correction amount calculation unit 408, and readout. The control means 409 and the timing generator 410 are constituent elements.
[0006]
The imaging unit 401 includes a lens 401a and an imaging element 401b such as a CCD which is a photoelectric conversion unit.
[0007]
The shake correction unit 402 corrects the video signal obtained by the image sensor 402 in order to reduce the shake component of the captured moving image due to the influence of camera shake or the like. The first delay unit 402a is a delay unit for one pixel. The first adding unit 402b includes a second delay unit 402c that is a delay unit for one video line, and a second adding unit 402d.
[0008]
The signal processing circuit 403 converts an electrical signal into a standard video signal such as an NTSC signal by reducing the shake component by the shake correction unit 402. The recording means 404 comprises a video tape recorder or the like, and records the standard video signal converted by the signal processing circuit 403 as a video signal.
[0009]
The shake detection unit 405 includes an angular velocity sensor such as a vibration gyro, and is attached to the imaging apparatus main body.
[0010]
The DC cut filter 406 cuts off the direct current component of the angular velocity signal output from the shake detection means 405 and passes only the alternating current component, that is, the vibration component. The DC cut filter 406 may be a high-pass filter (hereinafter referred to as HPF) that cuts off a signal in a predetermined band.
[0011]
The amplifier 407 amplifies the angular velocity signal output from the DC cut filter 406 to an appropriate sensitivity.
[0012]
The correction amount calculation means 408 is constituted by, for example, a microcomputer (hereinafter referred to as a microcomputer), and includes an A / D converter 408a, a high-pass filter (HPF) 408b, an integration circuit 408c, and a pan / tilt determination circuit 408d. have.
[0013]
The A / D converter 408a converts the angular velocity signal output from the amplifier 407 into a digital signal.
[0014]
The high-pass filter 408b blocks a low-frequency component of the digital output of the A / D converter 408a and has a function capable of changing characteristics in an arbitrary band.
[0015]
The integration circuit 408c integrates the output (angular velocity signal) of the high-pass filter 408b and outputs an angular displacement signal, and has a function capable of varying the characteristics in an arbitrary band.
[0016]
The pan / tilt determination circuit 408d determines panning / tilting based on the angular velocity signal output from the angular velocity signal and the integration circuit 408c and an integration signal obtained by performing an integration process on the angular velocity signal, that is, an angular displacement signal. The pan / tilt determination circuit 408d performs panning control to be described later according to the levels of the angular velocity signal and the angular displacement signal.
[0017]
The angular displacement signal obtained by the correction amount calculation means 408 becomes a shake correction target value in the control described later.
[0018]
The read control unit 409 moves the read start position of the image sensor 401b based on the shake correction target value signal, and at the same time, the operation timing of the first delay unit 402a and the second delay unit 402c, the first addition unit 402b, and the first addition unit 402b. The addition ratio of the two addition means 402d is controlled.
[0019]
The timing generator 410 generates drive pulses for the image sensor 401b, the first delay unit 402a, and the second delay unit 402c based on the control information of the read control unit 409. The image sensor 401b has a drive pulse corresponding to the accumulation and readout, and the first delay means 402a and the second delay means 402c have a drive that becomes a reference for a delay operation in which the phase relationship with the drive pulse of the image sensor 401b is matched. Generate a pulse.
[0020]
The shake correction unit 405, the DC cut filter 406, the amplifier 407, the correction amount calculation unit 408, the read control unit 409, and the timing generator 410 constitute a camera shake correction unit.
[0021]
Next, the operation of the pan / tilt determination circuit 408d of the correction amount calculation means 408 will be described in detail.
[0022]
The angular velocity signal output from the A / D converter 408a and the angular displacement signal output from the integrating circuit 408c are input, and even if the angular velocity is greater than or equal to a predetermined threshold value or the angular velocity is within the predetermined threshold value, the angular velocity When the angular displacement signal obtained by integrating the signal is equal to or greater than a predetermined threshold value, it is determined that panning or tilting is performed. In such a case, the low-frequency cutoff frequency of the high-pass filter 408b is shifted to the high-frequency side. The characteristic is changed so that the shake correction system does not respond to the low frequency, and when panning or tilting is detected, the correction position of the image correction means is gradually centered to the center of the moving range. Therefore, the time constant of the integration characteristic of the integration circuit 408c is shifted in the direction of shortening, and the value accumulated in the integration circuit 408c is a reference value (a state in which no fluctuation is detected). Possible values) and controls (hereinafter in, referred to as panning control) is performed.
[0023]
Note that the angular velocity signal and the angular displacement signal are still detected during this period, and when panning or tilting is completed, the operation for extending the shake correction range by lowering the low-frequency cutoff frequency again is performed. The panning control is finished.
[0024]
This panning determination operation will be described based on the flowchart of FIG.
[0025]
First, the angular velocity signal amplified by the amplifier 407 in step S501 is converted (A / D conversion) from an analog value to a digital value that can be handled in the correction amount calculation means 408 by the A / D converter 408a. Next, in step S502, the high pass filter 408b is calculated using the cutoff frequency value prepared last time. Next, an integration operation is performed by the integration circuit 408c using the time constant value prepared last time in step S503. Next, in step S504, the integration calculation result in step S503, that is, the angular displacement signal is converted from a digital value to an analog value and output.
[0026]
In step S505, it is determined whether the angular velocity signal is equal to or greater than a predetermined threshold value. If the angular velocity signal is greater than or equal to a predetermined threshold value, it is determined that the panning / tilting state is present, and in the next step S506, the cutoff frequency value used for the calculation of the high-pass filter 408b is determined from the current value. And the attenuation rate (fc) of the low frequency signal is made larger than the current attenuation rate. Next, in step S507, the value of the time constant used for the integral calculation is shortened by a predetermined value from the current value so that the angular displacement output approaches the reference value, and then this processing operation is terminated.
[0027]
On the other hand, if the angular velocity signal is not equal to or greater than the predetermined threshold value in step S505, it is determined in step S508 whether the integral value is equal to or greater than the predetermined threshold value. If the integral value is equal to or greater than a predetermined threshold value, it is determined that the panning / tilting state is set, and the process proceeds to step S506. If the integral value is not equal to or greater than the predetermined threshold value in step S508, it is determined that the normal control state or panning / tilting is finished, and the process proceeds to step S509.
[0028]
In step S509, the value of the cut-off frequency used for the calculation of the high-pass filter 408b is made lower than the current value by a predetermined value, and the attenuation rate (fc) of the low-frequency signal is made smaller than the current attenuation rate. Next, in step S510, the value of the time constant used for the integration calculation is made longer than the current value by a predetermined value to increase the integration effect, and then this processing operation is terminated.
[0029]
By preventing the saturation of the integral value = correction target value by the above control, the correction target value is set to a steady state, and stable image stabilization control is possible.
[0030]
Next, the outline of the correction means in the above-described conventional example will be described with reference to FIG.
[0031]
In FIG. 6A, reference numeral 601 denotes an entire imaging region of the image sensor 401b, and reference numeral 602 denotes a clipping frame (cutting frame) that is actually converted into a standard video signal and output as a video signal out of the entire imaging region 601 of the image sensor 401b. , 603 is a subject photographed by the photographer.
[0032]
If the standard video signal at this time is projected, the image shown in FIG. 6C is obtained. In FIG. 6C, reference numeral 604 denotes a video area on the monitor for reproducing a video signal, and reference numeral 603 ′ denotes a subject reproduced in the video area 604 of the monitor. By extracting a captured image, which will be described later, by outputting a part of the entire imaging area 601 of the imaging element 401b excluding its periphery as a standard video signal, the video area 604 of the monitor can be reproduced.
[0033]
FIG. 6B shows a change in the image when the photographer who shoots the subject 603 shakes the imaging apparatus in the lower left direction indicated by arrows 605, 605 ′, and 605 ″. The subject 603 moves in the upper right direction indicated by the arrow 606 on the entire imaging area 601 surface.
[0034]
In this state, as described with reference to FIG. 6A, when clipping is performed using the clipping frame 602 ′ at the same position as the clipping frame 602, a video signal in which the subject 603 is moved by the vector amount indicated by the arrow 606 is generated. End up.
[0035]
Here, if the image displacement amount 607 obtained from the shake amount of the imaging device, that is, the shake correction target value is used to move from the cutout frame 602 ′ to the broken line frame position 602 ″ and cut out, the image shown in FIG. Using such a principle, image shake correction is realized.
[0036]
Next, extraction of an imaging region will be described with reference to FIG.
[0037]
In FIG. 7, reference numeral 701 denotes an entire image sensor, and reference numeral 702 denotes a pixel unit constituting the entire image sensor 701, which is one photoelectric conversion element. Accumulation and readout are controlled in units of pixels based on electrical drive pulses generated from a timing generator (not shown). Reference numerals 703 and 704 denote cutout frames similar to the cutout frame 602 in FIG. 6, and will be described when a video signal is cut out with the cutout frame 703, for example.
[0038]
First, the charge amount photoelectrically converted in order from the pixel “S” in the direction indicated by the arrow 704 is read out. This reading is started within the synchronization period of the output video signal, and before the end of the synchronization period, the reading is finished at a transfer rate faster than the normal reading speed up to one pixel before pixel “A”.
[0039]
In the actual video period after the end of the synchronization period, the readout from the pixel “A” to the pixel “F” is started as image information for one line of the video signal at a normal readout speed.
[0040]
Further, during the horizontal synchronization period up to the next one line, the pixels from the pixel “F” to the pixel “G” are read out at a transfer rate faster than the normal reading speed to prepare for the next video period reading. The readout from the pixel “G” is started in the same manner as the readout from the pixel “A” to the pixel “F”.
[0041]
By controlling readout as described above, it is possible to selectively extract, for example, the central portion of the image sensor 401b from the entire image area 601 of the image sensor 401b to obtain a video signal.
[0042]
Next, the movement of the cutout position when the movement of the imaging surface due to the movement of the imaging apparatus occurs as described in FIG. 6 will be described using FIG.
[0043]
When it is detected that the movement of the subject on the surface of the image sensor 401b by the amount of the arrow 705 (= the shaking of the imaging device) has occurred, the clipping without the movement of the subject is performed by changing the clipping frame 703 to the clipping frame 704. Later images can be obtained.
[0044]
By moving the previous read start position from the pixel “A” to the pixel “B” in order to change the cutout position, the image from the entire image pickup area 601 of the image sensor 401b is read in the same manner as the read from the pixel “A”. A part of the video signal can be selectively extracted as a video signal.
[0045]
Actually, the amount of charge photoelectrically converted in order from the pixel “S” in the direction indicated by the arrow 704 is read out in the same manner as when the previous cutout frame 703 is read out. This readout is started within the synchronization period of the output video signal, and before the end of the synchronization period, the readout is finished at a transfer rate faster than the normal readout speed until one pixel before the pixel “B”. In the same manner as described above, reading may be started from the pixel “B”.
[0046]
In this way, a part of the image pickup area around the image sensor 401b is read in advance by an amount corresponding to the shake correction information during the synchronization signal period that does not appear in the actual video period, and a part of the image sensor 401b is used as the shake information of the image pickup apparatus. By selectively reading out based on the video signal, it is possible to obtain a video signal from which the image shake associated with the shake of the imaging apparatus is removed.
[0047]
Next, the pixel shifting operation by the first delay unit 402a, the second delay unit 402c, the first addition unit 402b, and the second addition unit 402d will be described in detail with reference to FIG.
[0048]
FIG. 8 is a block diagram showing a configuration for finely correcting an image by cutting out from the image sensor 401b. In this figure, the same parts as those in FIG.
[0049]
In FIG. 8, the first addition means 402 b includes a first multiplier 801, a second multiplier 802, an addition circuit 803, and an addition control circuit 804. The second adding means 402d includes a first multiplier 805, a second multiplier 806, an adding circuit 807, and an adding control circuit 808.
[0050]
Since the image cut-out control from the image sensor 401b can be performed only in units of the pixels 702 of the image sensor 401b as described with reference to FIG. 7, correction below the pixel pitch cannot be performed. Therefore, pixel shift processing, which is a correction operation of unit pixels or less, is performed by the first delay unit 402a, the second delay unit 402c, the first addition unit 402b, and the second addition unit 402d.
[0051]
In FIG. 8, reference numeral 809 denotes an input terminal for an image pickup signal obtained from the image pickup element 401b. The image pickup signal is input to the second multiplier 802 of the first addition means 402b, and a first delay constituted by a CCD or the like. The data is input to the first multiplier 801 through the means 402a. After multiplication by a predetermined multiplier by the first multiplier 801 and the second multiplier 802, addition is performed by the adder circuit 803 to obtain an image signal that has been subjected to horizontal pixel shift correction.
[0052]
The image signal that has been subjected to the pixel shift correction in the horizontal direction is further input to the second multiplier 806 of the second addition means 402d, and the first multiplication is performed via the second delay means 402c constituted by a CCD or the like. Is input to the device 805. After multiplication by a predetermined multiplier by the first multiplier 805 and the second multiplier 806, addition is performed by the adder circuit 807 to obtain an imaging signal that has been subjected to pixel shift correction in the horizontal and vertical directions. The signal processing circuit 403 encodes the video signal.
[0053]
The read control unit 409 controls the timing of the drive pulse output from the timing generator 410 according to the correction target value signal corresponding to the shake of the imaging apparatus generated by the correction amount calculation unit 408 of FIG. While controlling the addition control circuit 804 of the first addition means 402b and the addition control circuit 808 of the second addition means 402d to perform the addition operation at an appropriate ratio.
[0054]
This addition operation will be specifically described with reference to FIGS.
[0055]
FIG. 9 shows the processing by the first delay unit 402a and the first addition unit 402b in units of pixels 702 of the image sensor 401b. The pixels 702 of the image sensor 401b are regularly arranged in the horizontal direction and the vertical direction on the surface of the image sensor 401b as shown in FIG. 7, but in FIG. 9, only the horizontal direction is extracted for convenience of explanation.
[0056]
First, addition in units of pixels shown in FIG. 9A will be described. The horizontal center position of the nth pixel of the pixel 702 of the image sensor 401b is defined as a horizontal pixel center 901. Similarly, the horizontal center position of the (n + 1) th pixel in the pixel 702 of the image sensor 401b is defined as a horizontal pixel center 902. FIG. 9A schematically shows an operation in the case of obtaining an image of the virtual center position of the nth pixel and the (n + 1) th pixel, and a value 903 obtained by halving the nth pixel, By adding a value 904 obtained by halving the n + 1th pixel, an image 905 at the virtual center position between the nth pixel and the n + 1th pixel is obtained. Similarly, by multiplying the n + 1 pixel by 1/2 and the n + 2 pixel by 1/2, an image at the virtual center position of the n + 1 pixel and the n + 2 pixel can be obtained.
[0057]
Next, addition in units of pixels illustrated in FIG. 9B will be described. FIG. 9B shows a case where the addition ratio is different from that of FIG. 9A, and the ratio of 7/10 to 3/10 is added.
[0058]
In FIG. 9B, as in the case of FIG. 9A, the horizontal center position of the nth pixel of the pixel 702 of the image sensor 401b is defined as the horizontal pixel center 901, and the (n + 1) th pixel of the pixel 702 of the image sensor 401b. Is the horizontal pixel center 902. When an image of 7/10 to 3/10 of the nth pixel and the n + 1th pixel is obtained, a value 903 ′ obtained by multiplying the nth pixel by 7/10 and a value 904 obtained by multiplying the n + 1th pixel by 3/10. 'Is added to obtain an image 905 ′ at the virtual center position of the nth pixel and the (n + 1) th pixel. Similarly, by multiplying the n + 1 pixel by 7/10 and adding the n + 2 pixel by 3/10, an image of the 7/10 to 3/10 position of the n + 1 pixel and the n + 2 pixel is obtained. Can do.
[0059]
Thus, by changing the addition ratio between the nth pixel and the (n + 1) th pixel, pixel data at an arbitrary position of one pixel or less in the horizontal direction between the pixels can be obtained.
[0060]
Note that the multiplication ratio used for the addition generally has to be multiplied by (1−k) for the (n + 1) th pixel when the nth pixel is multiplied by k (provided that 0 ≦ k ≦ 1).
[0061]
When the multiplication ratio is 1 to 0 or 0 to 1, no addition is performed, which is equivalent to normal reading.
[0062]
FIG. 10 shows processing by the second delay unit 402c and the second addition unit 402d in units of horizontal lines of the image sensor 401b.
[0063]
First, the addition for each horizontal line unit shown in FIG. The horizontal line is configured by the horizontal arrangement of the pixels 702 of the image sensor 401b, and the vertical center position of the nth line is defined as a vertical pixel center 1001. Similarly, the vertical center position of the (n + 1) th line is defined as a vertical pixel center 1002.
[0064]
FIG. 10A illustrates the calculation when obtaining an image at the center position between the n-th line and the (n + 1) -th line. The n-th line is halved to obtain a value 1003. , The n + 1th line is halved to take the value 1004 and add each to obtain the line 1005. Similarly, by multiplying the n + 1 line by 1/2 and the n + 2 line by 1/2 and adding them, an image at the center position of the n + 1 line and the n + 2 line can be obtained.
[0065]
Next, addition in units of pixels illustrated in FIG. 10B will be described. FIG. 10B shows a case where the addition ratio is different from that of FIG. 10A, and a ratio of 7/10 to 3/10 is added.
[0066]
10B, the vertical pixel center 1001 is set as the vertical pixel center position of the nth line of the pixel 702 of the imaging element 401b, and the vertical center position of the (n + 1) th line is set as in FIG. 10A. A vertical pixel center 1002 is assumed. When an image of 7/10 to 3/10 of the n-th line and the n + 1-th line is obtained, a value 1003 ′ obtained by multiplying the n-th line by 7/10 and a value 1004 obtained by multiplying the n + 1-th line by 3/10 By adding “and”, a 7/10 to 3/10 line image 1005 ′ is obtained. Similarly, by multiplying the n + 1 line by 7/10 and the n + 2 line by 3/10, and adding, an image of the 7/10 to 3/10 position of the n + 1 line and the n + 2 line is obtained. Can do.
[0067]
As described above, by changing the addition ratio of the nth line and the (n + 1) th line, line data at an arbitrary position below one line in the vertical direction of the line can be obtained. As in the pixel unit, the multiplication ratio used for the addition is generally obtained by multiplying the nth line by k and the (n + 1) th line by (1−k) (provided that 0 ≦ k ≦).
[0068]
In addition, when the multiplication ratio is 1 to 0 or 0 to 1, no addition is performed, which is equivalent to normal reading.
[0069]
As described above, the pixel unit correction is performed by reading out the image sensor 401b, and the pixel unit or less correction is performed using the pixel shift, thereby obtaining a good anti-vibration characteristic. .
[0070]
[Problems to be solved by the invention]
However, in recent years, imaging devices that handle both moving images and still images have been proposed, and the same image stabilization system has been adopted for these image capture devices. Anti-vibration operation is achieved by shifting pixels, but on the other hand, the accumulated data between the pixels is added, so there is a problem that the resolution deteriorates, especially when shooting still images However, there is a problem in that correction between frames by cutting out an image is not important, but rather causes deterioration in resolution of a captured image.
[0071]
The present invention has been made in view of the above-described problems of the prior art described above. Eyes The objective is to provide an imaging method and apparatus capable of performing a shake correction similar to the conventional one during moving image shooting and obtaining a captured image without image degradation during still image shooting. And storage media Is to provide.
[0073]
[Means for Solving the Problems]
Up Note Claim 1 to achieve the objective In The imaging method described includes a shake detection step of detecting a shake of the imaging device body, a correction amount calculation step of calculating a correction amount based on shake information of the imaging device body detected by the shake detection step, and the correction amount Reading of image sensor based on calculation result of calculation process position A read control step for controlling the delay, a delay step for delaying the read video signal for a predetermined time, Said Read video signal Pixels And the video signal delayed by the delay process Pixels And adding at a predetermined ratio based on the calculation result of the correction amount calculation step; During movie shooting, the addition process is added and And an addition control step for prohibiting addition in the addition step when taking a still image.
[0075]
Also on Note Claims to achieve 4 The imaging method described includes a shake detection step of detecting a shake of the imaging device body, a correction amount calculation step of calculating a correction amount based on shake information of the imaging device body detected by the shake detection step, and the correction amount Reading of image sensor based on calculation result of calculation process position A read control step for controlling the delay, a delay step for delaying the read video signal for a predetermined time, Said Read video signal Pixels And the video signal delayed by the delay process Pixels And adding at a predetermined ratio based on the calculation result of the correction amount calculation step; At the time of video shooting, the addition ratio in the addition step is set to the predetermined ratio; And an addition ratio control step for controlling the addition ratio in the addition step to be 1 to 0 during still image shooting.
[0077]
Also on Note Claims to achieve 7 The imaging apparatus described above includes a shake detection unit that detects a shake of the imaging apparatus body, a correction amount calculation unit that calculates a correction amount based on shake information of the imaging apparatus body detected by the shake detection unit, and the correction amount Reading of the image sensor based on the calculation result of the calculation means position Read control means for controlling the delay, delay means for delaying the read video signal for a predetermined time, Said Read video signal Pixels And the video signal delayed by the delay means Pixels And adding means for adding at a predetermined ratio based on the calculation result of the correction amount calculating means; Addition of the adding means during video shooting and And addition control means for prohibiting addition by the addition means when taking a still image.
[0080]
Also on Note Claims to achieve 11 The imaging apparatus described above includes a shake detection unit that detects a shake of the imaging apparatus body, a correction amount calculation unit that calculates a correction amount based on shake information of the imaging apparatus body detected by the shake detection unit, and the correction amount Reading of the image sensor based on the calculation result of the calculation means position Read control means for controlling the delay, delay means for delaying the read video signal for a predetermined time, Said Read video signal Pixels And the video signal delayed by the delay means Pixels And adding means for adding at a predetermined ratio based on the calculation result of the correction amount calculating means; At the time of moving image shooting, the adding ratio of the adding means is the predetermined ratio and And addition ratio control means for controlling the addition ratio of the addition means to be 1 to 0 during still image shooting.
[0083]
Also, the above To achieve the purpose To Claim 15 The described storage medium is a storage medium for storing a control program for controlling the imaging device, detects shaking of the imaging device body, calculates a correction amount based on the detected shaking information of the imaging device body, Reading of the image sensor based on the calculation result position The read video signal is delayed for a predetermined time, When shooting movies Read video signal Pixels And the delayed video signal Pixels Is stored at a predetermined ratio based on the calculation result, and a control program having a control module for controlling to prohibit the addition at the time of still image shooting is stored.
[0085]
Also, the above To achieve the purpose To Claim 18 The described storage medium is a storage medium for storing a control program for controlling the imaging device, detects shaking of the imaging device body, calculates to a correction amount based on the detected shaking information of the imaging device body, Reading of the image sensor based on the calculation result position The read video signal is delayed for a predetermined time, When shooting movies Read video signal Pixels And the delayed video signal Pixels Is stored at a predetermined ratio based on the calculation result, and a control program having a control module for controlling the addition ratio to be 1 to 0 at the time of still image shooting is stored.
[0087]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to FIGS.
[0088]
(First embodiment)
First, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the image pickup apparatus according to the first embodiment of the present invention. In FIG. 1, the same parts as those in FIG.
[0089]
1 is different from FIG. 4 in that a photographing mode switching unit 101 is added to the configuration of FIG. The shooting mode switching unit 101 switches the recording mode of the recording unit 404 between a moving image recording mode and a still image recording mode, and the recording unit 404 also takes a recording format corresponding to the shooting mode depending on the recording medium. .
[0090]
In the above-described conventional example, the read control unit 409 controls the timing generator 410 and the first and second addition units 402b and 402d based on the shake correction target value data obtained by the correction amount calculation unit 408. However, in the present invention, the operations of the timing generator 410 and the first and second addition means 402b and 402d are further changed according to the state of the photographing mode switching means 101.
[0091]
Next, the operation of the photographing mode switching means 101 will be described based on the flowchart of FIG.
[0092]
First, based on the shake information obtained from the shake detection unit 405 in step S201, the correction amount calculation unit 408 obtains a shake correction target value, and the read control unit 409 performs correction corresponding to the value to read control of the image sensor 401b. Do by. In step S202, it is determined whether the shooting mode switching unit 101 is in the moving image shooting mode or the still image shooting mode. If it is in the still image shooting mode, it is determined in step S203 whether or not the recording mode of the recording unit 404 is compatible with a still image, that is, whether or not it is the still image recording mode. In the case of the still image recording mode, the process directly proceeds to step S204. In the case of the moving image recording mode instead of the still image recording mode, the recording mode of the recording unit 404 is changed from the moving image recording mode to the still image recording mode in step S206. After the change, go to step S204.
[0093]
In step S204, addition control without pixel shifting is performed by setting the value of k of the adding means 402b and 402d to 1 for the reason described above, and then the process proceeds to step S205. In step S205, it is determined whether a shooting start switch (not shown) is pressed. If the shooting start switch has not been pressed, this processing operation is terminated without performing any processing. If the shooting start switch has been pressed, still image shooting is performed in step S207. This processing operation ends.
[0094]
On the other hand, if the shooting mode switching unit 101 is in the moving image shooting mode in step S202, it is determined in step S208 whether the recording mode of the recording unit 404 is compatible with moving images, that is, whether the recording mode is the moving image recording mode. To do. In the case of the moving image recording mode, the process proceeds directly to step S209. In the case of the still image recording mode instead of the moving image recording mode, the recording mode of the recording unit 404 is changed from the still image recording mode to the moving image recording mode in step S211. After that, the process proceeds to step S209.
[0095]
In step S209, as in the conventional case, in order to perform correction that is less than one pixel based on the correction target value data, the k value of the adding means 402b and 402d is calculated to add control for pixel shifting. Then, the process proceeds to step S210. In step S210, it is determined whether a shooting start switch (not shown) is pressed. If the shooting start switch has not been pressed, the processing operation is terminated without performing any processing. If the shooting start switch has been pressed, moving image shooting is performed in step S212, and The processing operation is terminated.
[0096]
With the above operation, by performing pixel shifting as usual during moving image shooting, it is possible to obtain a smoother connection between fields, and resolution reduction because pixel shifting is not performed during still image shooting. You can get no picture.
[0097]
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. FIG. 3 is a block diagram showing a configuration of an imaging apparatus according to the second embodiment of the present invention. In FIG. 3, the same parts as those in FIG. 4 of the conventional example and FIG. 1 of the first embodiment are shown. Are denoted by the same reference numerals.
[0098]
3 is different from FIG. 1 in that a first switching unit 301 and a second switching unit 302 are added to the configuration of FIG. The first switching unit 301 and the second switching unit 302 receive signals from the image sensor 401b via the first addition unit 402b, the second delay unit 402c, and the second addition unit 402d according to the switching state of the shooting mode switching unit 101. The “aa ′” side that is the route through which the imaging signal flows to the processing circuit 403 is selected, or the “bb ′” side that is the route through which the imaging signal flows directly from the image sensor 401 b to the signal processing circuit 403 is selected. is there.
[0099]
The first switching unit 301 and the second switching unit 302 may be general switches that can switch the flow of the imaging signal, and the first switching unit 301 and the second switching unit 302 are switched simultaneously with each other. Control is made.
[0100]
At the time of moving image shooting, the first switching unit 301 and the second switching unit 302 are selected on the “aa ′” side, so that not only the shake correction operation by cutting out the image from the image sensor 401b but also the above-described one. Pixel shift control is performed to perform smooth image stabilization.
[0101]
Further, at the time of still image shooting, by selecting the first switching unit 301 and the second switching unit 302 to the “bb ′” side, the first delay unit 402a, the second delay unit 402c, and the first addition unit 402b. In addition, it is possible to obtain a still image that does not deteriorate the resolution by adopting only the shake correction operation by cutting out the image from the image sensor 401b without using the block including the second adding means 402d.
[0102]
【The invention's effect】
As detailed above, Clearly According to the present invention, it is possible to perform a shake correction similar to the conventional one during moving image shooting and to obtain a captured image without image deterioration during still image shooting.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing an operation procedure of pixel shift control in the imaging apparatus according to the first embodiment of the present invention.
FIG. 3 is a block diagram illustrating a configuration of an imaging apparatus according to a second embodiment of the present invention.
FIG. 4 is a block diagram illustrating a configuration of a conventional imaging device.
FIG. 5 is a flowchart showing an operation procedure of panning control in a conventional imaging apparatus.
FIG. 6 is a diagram for explaining an outline of shake correction means in a conventional imaging apparatus.
FIG. 7 is a diagram for explaining clipping of an accumulated image of a shake correction unit in a conventional imaging apparatus.
FIG. 8 is a diagram for explaining pixel shifting in a conventional imaging apparatus.
FIG. 9 is a diagram for explaining horizontal pixel shifting in a conventional imaging apparatus;
FIG. 10 is a diagram for explaining vertical pixel shift in a conventional imaging apparatus.
[Explanation of symbols]
101 Shooting mode switching means
301 1st switching means
302 Second switching means
401 Imaging unit
401a lens
401b Image sensor (CCD)
402 Shake correction means
402a First delay means
402b First addition means
402c Second delay means
402d Second addition means
403 signal processing circuit
404 Recording means
405 Shake detection means (gyro)
406 DC cut filter
407 amplifier
408 Correction amount calculation means
408a A / D converter
408b High pass filter (HPF)
408c integration circuit
408d Pan / tilt determination circuit
409 Read control means
410 Timing Generator

Claims

The shake detection step for detecting the shake of the imaging device body, the correction amount calculation step for calculating the correction amount based on the shake information of the imaging device body detected by the shake detection step, and the calculation result of the correction amount calculation step the correction and read control step of controlling the reading position of the image sensor, the read delay step for delaying a predetermined time video signal, a pixel of the video signal delayed by the delay step and the pixels of the read video signal on the basis of An addition step of adding at a predetermined ratio based on a calculation result of the amount calculation step; and an addition control step of performing addition in the addition step during moving image shooting and prohibiting addition in the addition step during still image shooting. An imaging method.

2. The method according to claim 1, further comprising: a shooting mode switching step for switching a still image and a moving image shooting mode; and a recording step for performing a shooting and recording operation of the still image according to a switching state of the shooting mode switching step. Imaging method.

The pixel data at an arbitrary position of one pixel or less between the pixel of the read video signal and the pixel of the delayed video signal is generated by the adding step. Imaging method.

The shake detection step for detecting the shake of the imaging device body, the correction amount calculation step for calculating the correction amount based on the shake information of the imaging device body detected by the shake detection step, and the calculation result of the correction amount calculation step the correction and read control step of controlling the reading position of the image sensor, the read delay step for delaying a predetermined time video signal, a pixel of the video signal delayed by the delay step and the pixels of the read video signal on the basis of An addition step of adding at a predetermined ratio based on the calculation result of the amount calculation step, and the addition ratio of the addition step is set to the predetermined ratio at the time of moving image shooting, and the addition ratio of the addition step is set to 1 to 0 at the time of still image shooting. And an addition ratio control step of controlling the imaging method.

5. The method according to claim 4 , further comprising: a shooting mode switching step of switching a still image and a moving image shooting mode; and a recording step of performing a shooting and recording operation of the still image according to a switching state of the shooting mode switching step. Imaging method.

6. The pixel data at an arbitrary position of one pixel or less between the pixel of the read video signal and the pixel of the delayed video signal is generated by the adding step. Imaging method.

The calculation result of the shake detection means for detecting the shake of the image pickup apparatus body, the correction amount calculation means for calculating the correction amount based on the shake information of the image pickup apparatus body detected by the shake detection means, and the calculation result of the correction amount calculation means the correction and read control means for controlling the reading position of the image sensor, the read delay means for a video signal delayed for a predetermined time, and a pixel delayed video signal by the pixel and the delay means of the read video signal on the basis of Addition means for adding at a predetermined ratio based on the calculation result of the amount calculation means, and addition control means for performing addition of the addition means when shooting a moving image and prohibiting addition of the addition means when shooting a still image. An imaging device that is characterized.

8. The apparatus according to claim 7 , further comprising: a shooting mode switching unit that switches a shooting mode of a still image and a moving image; and a recording unit that performs a shooting and recording operation of the still image according to a switching state of the shooting mode switching unit. Imaging device.

The imaging apparatus according to claim 7, wherein the shake detection unit is an angular velocity sensor.

10. The pixel data at an arbitrary position of one pixel or less between the pixel of the read video signal and the pixel of the delayed video signal is generated by the adding means. Imaging device.

The calculation result of the shake detection means for detecting the shake of the image pickup apparatus body, the correction amount calculation means for calculating the correction amount based on the shake information of the image pickup apparatus body detected by the shake detection means, and the calculation result of the correction amount calculation means the correction and read control means for controlling the reading position of the image sensor, the read delay means for a video signal delayed for a predetermined time, and a pixel delayed video signal by the pixel and the delay means of the read video signal on the basis of An adding means for adding at a predetermined ratio based on the calculation result of the quantity calculating means; an addition ratio of the adding means is set to the predetermined ratio when shooting a moving image; and an adding ratio of the adding means is set to 1 to 0 when shooting a still image And an addition ratio control means for controlling the image pickup apparatus.

12. The apparatus according to claim 11 , further comprising: a shooting mode switching unit that switches a shooting mode of a still image and a moving image; and a recording unit that performs a shooting and recording operation of the still image according to a switching state of the shooting mode switching unit. Imaging device.

The imaging apparatus according to claim 11, wherein the shake detection unit is an angular velocity sensor.

14. The pixel data at an arbitrary position of one pixel or less between a pixel of the read video signal and a pixel of the delayed video signal is generated by the adding unit. Imaging device.

A storage medium for storing a control program for controlling an imaging device, detecting shaking of the imaging device body, calculating a correction amount based on the detected shaking information of the imaging device body, and imaging based on the calculation result The readout position of the element is controlled, the readout video signal is delayed for a predetermined time, and the pixels of the readout video signal and the delayed video signal are added at a predetermined ratio based on the calculation result during moving image shooting. A storage medium storing a control program having a control module for controlling to prohibit the addition during still image shooting.

16. The control program according to claim 15, further comprising a control module for controlling to switch between still image and moving image shooting modes and to perform the still image shooting and recording operation in accordance with the switching state. Storage media.

The storage according to claim 15 or 16, wherein pixel data at an arbitrary position of one pixel or less between the pixel of the read video signal and the pixel of the delayed video signal is generated by the addition. Medium.

A storage medium for storing a control program for controlling an imaging device, detecting shaking of the imaging device main body, calculating a correction amount based on the detected shaking information of the imaging device body, and imaging based on the calculation result The readout position of the element is controlled, the readout video signal is delayed for a predetermined time, and the pixels of the readout video signal and the delayed video signal are added at a predetermined ratio based on the calculation result during moving image shooting. A storage medium storing a control program having a control module for controlling the addition ratio to be 1 to 0 during still image shooting.

The control program switches the still image and a moving image shooting mode, according to claim 18, characterized in that it comprises a control module controlling to perform shooting and recording operation of the still image in accordance with the switching state Storage media.

20. The storage according to claim 18, wherein pixel data at an arbitrary position of one pixel or less between the pixel of the read video signal and the pixel of the delayed video signal is generated by the addition. Medium.