JP2004363869A

JP2004363869A - Imaging apparatus with image distortion correcting function

Info

Publication number: JP2004363869A
Application number: JP2003159093A
Authority: JP
Inventors: Shigeo Enomoto; 茂男榎本
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-24
Anticipated expiration: 2023-06-04
Also published as: JP4270947B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus for correcting image distortion due to camera-shake. <P>SOLUTION: An electronic still camera is provided with a CMOS imaging board, and the CMOS image sensor of the CMOS imaging board images an object to obtain image data of an image and to write the data to a buffer memory. The DSP of the buffer memory of the electronic still camera adjusts the write position of a horizontal position of each horizontal line configuring the image to the buffer memory so that the correlation of a concerned horizontal line with respect to its adjacent line is the highest, thereby correcting horizontal distortion of the image when the optical axis of a photographing optical system is deflected in a horizontal direction. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する画像歪み補正機能付き撮像装置に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等、撮像素子を備えた撮像装置には、手ぶれによる像ぶれを防止する像ぶれ補正機能を備えたものがあり、この像ぶれ補正には、撮影光学系の前に補正レンズを配して撮影光学系の光軸がずれても補正レンズにより入射角を変化させて像ぶれを相殺する光学式、または信号処理で使用する画素数よりも多い画素を持った撮像素子を使用し、光軸の変化に伴って画像の切出し位置を変更することにより像ぶれを相殺する電子式（例えば、特許文献１を参照）が採用されている。
【０００３】
【特許文献１】
特許第３２９７７５７号公報
【０００４】
電子式の像ぶれ補正は、光学式のように高価な補正レンズや駆動機構を必要とせず、連続する画像間の被写体像の位置ずれを相殺して像ぶれを補正することを目的としている。即ち、全画素の電荷蓄積タイミングが同じ撮像素子、例えばＣＣＤイメージセンサを用いて動画像を撮影することを前提とし、単一の静止画像に対する手ぶれの影響は考慮されていない。従って、電荷蓄積タイミングが信号読出しタイミングに同期するＣＭＯＳイメージセンサの場合では、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが１画像走査期間近くずれ、手ぶれによって図形歪みが生じる、具体的には静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって写ったり被写体像の寸法が伸び縮みしたりする、という現象が生じる。このような画像歪みの現象は、特に高画素数、高倍率ズーミングの場合に目立ち、上述した光学式像ぶれ補正以外では対処できず、電子式像ぶれ補正では対処できない。
【０００５】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、手ぶれによって生じる画像歪みを補正することが課題である。
【０００６】
【課題を解決するための手段】
本発明の画像歪み補正機能付き撮像装置は、撮像領域に２次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、所定の水平ラインの水平位置をこの水平ラインに隣接する水平ラインとの相関が最も高くなるように調整することにより、画像の歪みを補正する画像処理手段とを備えることを最も主要な特徴とする。
【０００７】
上記画像歪み補正機能付き撮像装置において、画像処理手段は、所定の水平ラインを含む複数の水平ラインの水平位置を、所定の水平ラインの近傍の複数の水平ラインとの相関が最も高くなるように相対移動させてもよい。また、上記画像歪み補正機能付き撮像装置において、撮像手段はＣＭＯＳイメージセンサを備える。
【０００８】
上記画像歪み補正機能付き撮像装置は、動画像として静止１画像を連続して複数得るように構成してもよく、このとき画像処理手段が、所定の画像の第１水平ラインの水平位置を、その直前に得られた画像の最終水平ラインの水平位置に一致させることにより、水平方向の像ぶれを補正することが好ましい。
【０００９】
上記画像歪み補正機能付き撮像装置は、水平ラインが並ぶ垂直方向に関して画像を得るときの撮像素子上の被写体像の相対移動量を検出する垂直移動量検出手段をさらに備え、この垂直移動量検出手段の出力結果に基づいて画像の垂直方向長さを変更することにより、画像の歪みを補正してもよい。またさらに、画像を連続して複数得るときには、画像処理手段が、各画像から撮像領域よりも狭い領域を切り取って出力画像とし、領域が垂直移動量検出手段の出力結果に基づいて画像に対する領域の垂直位置を変更することにより、垂直方向の像ぶれを補正することが好ましい。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【００１１】
図１は、本発明の画像歪み補正機能付き撮像装置の第１実施形態を示す図であって、画像歪み補正機能付き撮像装置を適用した電子スチルカメラの主要構成を示すブロック図である。
【００１２】
電子スチルカメラ１０は、ＣＭＯＳイメージセンサとＣＤＳ、ＡＧＣ、Ａ／Ｄ変換等を行うアナログ信号処理回路とが設けられたＣＭＯＳ撮像板１１を備える、ＣＭＯＳイメージセンサの撮像面には撮影光学系１２によって被写体からの反射光が導かれる。撮像面は撮影光学系１２の光軸に垂直であり、その撮像領域にはＨ×Ｖ個の画素が２次元配列されている。Ｈは水平方向の画素数を示し、Ｖは垂直方向の画素数を示す。Ｈ、Ｖは自然数である。なお、水平方向は、光軸に垂直であって電子スチルカメラ１０の通常の使用状態で水平となる方向に一致し、垂直方向は光軸方向および水平方向に直交する方向である。
【００１３】
ＣＭＯＳイメージセンサは、１画素／１ユニットの単位セルを有し、各単位セルは、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。ＣＭＯＳイメージセンサは、各画素毎に信号電荷の蓄積および読出しのタイミングが異なり、この蓄積および読出しのタイミングは撮像板ドライバ１４によって制御される。撮像板ドライバ１４により、垂直方向に並ぶ水平ラインの１つが上から順に選択されると共に、各水平ラインが選択される毎に水平方向に左から右へ各画素が順次選択されて信号電荷が画素信号として読出される。
【００１４】
ＣＭＯＳ撮像板１１から出力された画素信号は、画像処理手段であるデジタル信号処理回路（ＤＳＰ）１６に取り込まれ、所定の画像信号処理、例えば色分解処理、ホワイトバランス補正処理やγ補正処理等を受け、Ｈ×Ｖ画素の画像の輝度データおよび色差データ（以下、画像データ）に変換され、バッファメモリ１８に書込まれる。ＤＳＰ１６は画像データを読出して、後述する画像歪み補正処理を施して、再びバッファメモリ１８に書込む。そしてＤＳＰ１６はさらに、撮像領域よりも狭い領域を切り出す。具体的にはバッファメモリ１８から、ｈ×ｖ画素の長方形の領域の画像データのみを読出す。ｈ、ｖはそれぞれ水平および垂直方向の画素数を示し、０＜ｈ＜Ｈ、０＜ｖ＜Ｖを満たす自然数である。
【００１５】
ｈ×ｖ画素の画像データは、必要に応じて、所定の符号化方式に従って圧縮され、例えばＪＰＥＧ規格の圧縮画像データに変換されて、図示しない内蔵メモリまたは着脱自在な外部記録媒体であるメモリカード２０に記録される。電子スチルカメラ１０には、シャッタボタンやモードや撮影条件等を設定するための種々のスイッチから成る操作部２２が設けられる。
【００１６】
図２を参照して、電子スチルカメラ１０の手ぶれによって生じる画像歪みについて説明する。図２は電子スチルカメラ１０によって被写体である静止した円柱３０を撮影する状況を示し、手ぶれの方向と画像の歪み方との関係を模式的に示す図である。ただし、説明のため手ぶれによる方向変化を極端に大きく描いてある。
【００１７】
上述したようにＣＭＯＳイメージセンサで撮像する場合、電荷蓄積タイミングは画素間で時間差が生じる。電子スチルカメラ１０と円柱３０との相対位置関係が変化しなければ時間差は特に問題にならないが、手ぶれによって１画像（１フレーム）の電荷蓄積期間中に電子スチルカメラ１０の被写体に対する相対位置が変化すると、その像が変形する。具体的には、電子スチルカメラ１０が実線で示す位置から撮影光学系１２の光軸方向変化、すなわち被写体までの距離変化を伴う移動がなければ、撮影された画像３２における円柱像３０Ｃに歪みは生じないが、１フレームの電荷蓄積期間中に電子スチルカメラ１０が、撮影光学系１２の光軸と平行な移動ではなく、角度を持って振られると、円柱像３０Ｃに歪みが生じる。例えば電子スチルカメラ１０が実線位置から右側の破線で示す図のように振られると、左斜め下に向かって傾斜した円柱像３０Ｒとなり、左側の図のように振られると、右斜め下に向かって傾斜した円柱像３０Ｌとなる。図示しないが、電子スチルカメラ１０が左右に交互に振られると円柱像の側面の直線は波線となって写る。また、１フレームの電荷蓄積期間中に電子スチルカメラ１０が実線位置から上側の図のように振られると、垂直方向に伸張した円柱像３０Ｕとなり、下側の図のように振られると、垂直方向に縮小した円柱像３０Ｄとなる。
【００１８】
第１実施形態の画像歪み補正処理では、電子スチルカメラ１０の水平ぶれに起因する像の歪み（以下、水平歪みと記載する）を補正し、垂直ぶれに起因する像の伸縮（以下、垂直歪みと記載する）の補正は行わない。これは、静止画像の場合には、被写体像の垂直方向の寸法の伸縮よりも形状の歪み、例えば垂直に伸びる直線の傾斜、の方が目立つということが理由として挙げられる。
【００１９】
図３を参照して画像歪み補正処理について説明する。図３（ａ）はバッファメモリ１８に書込まれる画像歪み補正処理前の画像を示す概念図であり、図３（ｂ）は画像歪み補正処理後の画像を示す概念図である。
【００２０】
図３（ａ）に示す画像は、電子スチルカメラ１０が手ぶれによって１フレームの画像の電荷蓄積期間中に水平方向に角度ぶれした時に得られたものであり、図３（ａ）の右方には第１水平ラインの電荷蓄積開始から第Ｖ水平ラインの電荷蓄積終了までの電子スチルカメラ１０の水平ぶれ量、即ちＣＭＯＳイメージセンサの撮像面の水平ぶれ量が示されている。水平ぶれ量は振れによる撮像面上の像の移動量を画素数で表し、図２中右方向の移動時には＋符号を付し、左方向への移動時には−符号を付す。
【００２１】
バッファメモリ１８は１フレーム分以上の画像データを記憶できる記憶容量を有し、個々の画像データは対応する記憶位置にそれぞれ書込まれ、またそこから読出される。バッファメモリ１８は、Ｈ×Ｖ個の画像データを記憶する画像データ記憶領域Ａｄ（図３の実線で示す長方形領域）を有している。ＤＳＰ１６は、バッファメモリ１８からｈ×ｖ個の画像データを読出す際には、特定の記憶位置、詳しくは画像データ記憶領域Ａｄの内側に設定された読出し領域Ａｒ（図３の一点鎖線で示す長方形領域）に記憶されているｈ×ｖ個の画像データを読出す。
【００２２】
ＤＳＰ１６で画像信号処理が行われた直後、即ち画像歪み補正処理前では、図３（ａ）に示すように、Ｈ×Ｖ個の画像データはＣＭＯＳイメージセンサの画素の並びと同じ配列で画像データ記憶領域Ａｄに書込まれる。画像歪み補正処理を行わずに読出し領域Ａｒから画像データを読出せば、水平方向に歪んだ被写体像しか得られない。そこで、ＤＳＰ１６は図３（ｂ）に示すようにバッファメモリ１８における各水平ラインの記憶位置を撮像面の水平移動量に比例して水平方向に移動させて画像歪みを補正するという画像歪み補正処理を行う。これにより、画像歪み補正処理後に読出し領域Ａｒから画像データを読出せば、画像歪みが補正された被写体像を得ることができる。
【００２３】
画像歪み補正処理では、ライン相関特性を利用して各水平ラインの水平位置、具体的にはバッファメモリ１８における水平方向の記憶位置が補正される。ＤＳＰ１６は、一番上の第１水平ラインと次の第２水平ラインをバッファメモリ１８から読出し、両ラインの輝度の相関が最も高くなるときの第１水平ラインに対する第２水平ラインの水平位置を演算により求める。そして、第２の水平ラインの画像データは、上記演算結果に基づいてバッファメモリ１８の記憶位置が右または左にずらされる。例えば、第１水平ラインに対して第２水平ラインを２画素分左にずらしたときに両者の相関が最も高くなる場合には、第２水平ラインの各画像データは２画素ずつ左にずれた記憶位置に書込まれる。このとき、第２水平ラインの先頭の左側２画素の画像データは破棄され、画像データ記憶領域Ａｄの最終２画素分は空白データとなる。
【００２４】
次に、補正されていない第３水平ラインの画像データがバッファメモリ１８から読出され、水平位置が補正済みの第２水平ラインとの輝度の相関が最も高くなるように、第３水平ラインの水平位置が変更され、バッファメモリ１８に書込まれる。残りの第４〜Ｖ水平ラインについても同様に前の水平ラインとの相関が最も高くなるように水平位置が補正される。（Ｖ−１）本の水平ラインについて水平位置の補正が完了すると、図３（ｂ）に示すように、全水平ラインについて互いの隣合う水平ラインとの輝度の相関が最も高い画像が得られる。自然な画像は隣接画素間の輝度値が近く相関が高いので、フレーム内で水平ラインの相関が最も高い画像は、画像歪みが補正された自然な画像であると見做せる。
【００２５】
ライン相関の演算について、第１水平ラインと第２水平ラインとを一例として説明する。第１水平ラインの輝度値を左から順にｂ１１、ｂ１２、ｂ１３、・・・、ｂ１Ｈとし、第２水平ラインの輝度値を左から順にｂ２１、ｂ２２、ｂ２３、・・・、ｂ２Ｈとすると、第２水平ラインの両端２画素を除く輝度値ｂ２３〜ｂ２（Ｈ−２）について、第１水平ラインの輝度値との差の絶対値の総和Ｂ_０を（１）式により求め、さらに第２水平ラインを左に１画素ずらした時の総和Ｂ_Ｌ１、左に２画素ずらした時の総和Ｂ_Ｌ２、右に１画素ずらした時の総和Ｂ_Ｒ１、右に２画素ずらした時の総和Ｂ_Ｒ２とをそれぞれ（２）〜（５）式により求める。
【００２６】
Ｂ_０＝｜ｂ２３−ｂ１３｜＋｜ｂ２４−ｂ１４｜＋・・・＋｜ｂ２（Ｈ−２）−ｂ１（Ｈ−２）｜（１）
Ｂ_Ｌ１＝｜ｂ２３−ｂ１４｜＋｜ｂ２４−ｂ１５｜＋・・・＋｜ｂ２（Ｈ−２）−ｂ１（Ｈ−１）｜（２）
Ｂ_Ｌ２＝｜ｂ２３−ｂ１５｜＋｜ｂ２４−ｂ１６｜＋・・・＋｜ｂ２（Ｈ−２）−ｂ１Ｈ｜（３）
Ｂ_Ｒ１＝｜ｂ２３−ｂ１２｜＋｜ｂ２４−ｂ１３｜＋・・・＋｜ｂ２（Ｈ−２）−ｂ１（Ｈ−３）｜（４）
Ｂ_Ｒ２＝｜ｂ２３−ｂ１１｜＋｜ｂ２４−ｂ１２｜＋・・・＋｜ｂ２（Ｈ−２）−ｂ１（Ｈ−４）｜（５）
【００２７】
これら総和Ｂ_０、Ｂ_Ｌ１、Ｂ_Ｌ２、Ｂ_Ｒ１およびＢ_Ｒ２は、第１水平ラインに対する第２水平ラインの相関を示すものであり、値が小さくなるほど相関が高いと見做せる。従って、例えばＢ_０、Ｂ_Ｌ１、Ｂ_Ｌ２、Ｂ_Ｒ１およびＢ_Ｒ２のうち最小値がＢ_Ｌ２であった場合には、そのときの画素ずらし量（２画素）および方向（左）が第２水平ラインの水平歪み補正量に定められ、バッファメモリ１８における第２水平ラインの書込むべき記憶位置は、水平歪み補正量だけ即ち左に２画素分だけ移動させられる。
【００２８】
なお、第１実施形態では最大２画素分ずらしているが、３画素以上であってもよい。例えば最大画素ずらし量を５画素に設定して相関を比較する場合には、補正対象となる水平ラインの両端５画素を除いて、１画素ずつずらしながら１１個の総和を求めてその総和が最小値になるときの水平歪み補正量を求めればよい。最大画素ずらし量は、１フレームの電荷蓄積期間で手ぶれにより発生し得る撮像面の水平移動量の最大値よりも大きく設定される。
【００２９】
ＣＭＯＳイメージセンサの水平画素数Ｈは、出力画像の水平画素数ｈと最大画素ずらし量を２倍した値との和よりも大きい値に設定される。読出し領域Ａｒの左辺から画像データ記憶領域Ａｄの左辺までの距離、および読出し領域Ａｒの右辺から画像データ記憶領域Ａｄの右辺までの距離は、それぞれ最大画素ずらし量より大きい値に設定される。
【００３０】
このように、電子スチルカメラ１０は、水平ラインの水平位置を輝度の相関が最も高くなるように補正し、画像を撮像面の水平移動量に応じて変形させている。これにより画像の水平歪みが補正できる。そして、撮像範囲よりも狭い領域の画像を切り出して出力画像としているので、水平位置の補正を行っても出力画像の画像データは欠けることがない。また、電子スチルカメラ１０は撮影画像の画像データに含まれる輝度データを手ぶれデータとして扱うので、手ぶれ量を検出するためのセンサが不要である。また、各水平ラインの水平位置の移動はバッファメモリ１８の記憶位置を変更して書換えることにより実現されるので、機構的な制御を必要とせず簡単である。
【００３１】
なお、第１実施形態では、画像データをバッファメモリ１８に一旦書込んだ後に画像歪み補正処理を行っているが、バッファメモリ１８に書込む前に画像歪み補正処理を行ってもよい。
【００３２】
また、第１実施形態では補正対象の水平ラインとその１ライン前の水平ラインとの相関が最も高くなるように、即ち１ライン毎に補正対象の水平ラインの水平位置を補正しているが、隣接する２ライン間の蓄積タイミングのずれは相対的に小さいので、複数ライン毎に補正をしてもよい。
【００３３】
複数ライン毎に補正する一例として、２ライン毎に補正する場合について説明する。最大画素ずらし量は２画素である。第１水平ラインの輝度値を左から順にｂ１１、ｂ１２、ｂ１３、・・・、ｂ１Ｈ、第２水平ラインの輝度値をｂ２１、ｂ２２、ｂ２３、・・・、ｂ２Ｈ、第３水平ラインの輝度値をｂ３１、ｂ３２、ｂ３３、・・・、ｂ３Ｈ、第４水平ラインの輝度値をｂ４１、ｂ４２、ｂ４３、・・・、ｂ４Ｈとする。まず、第３および第４水平ラインの両端２画素を除く輝度和｛ｂ３３＋ｂ４３｝、｛ｂ３４＋ｂ４４｝、…、｛ｂ３（Ｈ−２）＋ｂ４（Ｈ−２）｝を求め、これら輝度和について、第１および第２水平ラインの輝度和の差の絶対値の総和Ｂ_０を（６）式により求める。そして、第１および第２水平ラインに対して、第３および第４水平ラインを左に１画素、左に２画素、右に１画素、右に２画素ずらした時の総和Ｂ_Ｌ１、Ｂ_Ｌ２、Ｂ_Ｒ１、Ｂ_Ｒ２とをそれぞれ（７）〜（１０）式により求める。
【００３４】

【００３５】
そして総和Ｂ_０、Ｂ_Ｌ１、Ｂ_Ｌ２、Ｂ_Ｒ１およびＢ_Ｒ２のうち最小値となるときの画素ずらし量および方向に基づいて、バッファメモリ１８における第３および第４水平ラインの書込むべき記憶位置が移動させられる。これにより、第３および第４水平ラインは、第１および第２水平ラインに対して相関が最も高くなるようにバッファメモリ１８の記憶位置が補正される。残りの第５〜第Ｖ水平ラインについても同様に水平位置が補正される。２ライン毎に補正する場合、１ライン毎の補正に比べて補正精度をあまり低下させずに処理速度を向上させることができる。特に垂直方向の画素数Ｖが多いほど有効である。
【００３６】
図４〜図６を参照して本発明の画像歪み補正機能付き撮像装置の第２実施形態について説明する。第１実施形態と異なる点は、動画像を撮影する点と、画像の水平歪みを補正するとともにフレーム間での差が顕著な垂直歪みを補正する点であり、第１実施形態と同様の構成については同符号を付し、説明を省略する。図４は、本発明の画像歪み補正機能付き撮像装置を適用したビデオカメラの主要構成を示すブロック図であり、図５は水平歪みを補正する処理を示す概念図であり、図６は垂直歪みを補正する処理を示す概念図である。
【００３７】
ビデオカメラ５０は、第１水平ラインを基準として第２〜第Ｖ水平ラインの画像データについてバッファメモリ１８の記憶位置を順次変更することによって、フレーム内の水平歪みを補正することは第１実施形態と同様である。図５には、３フレームの画像が上から撮影順に示され、その側方には撮像面の水平移動量が示されている。
【００３８】
動画像を得る第２実施形態においては、手ぶれによって垂直方向に延びる直線は波状にゆらゆらしなって見える現象が生じるが、各フレーム毎に水平歪みを補正することにより、このような現象は回避される。
【００３９】
動画像を得る場合には上述した１静止画像（１フレーム）を得る工程を一定周期、例えば１／３０秒周期で繰り返し行ない、１秒間に３０フレームの静止画像を得るが、第１実施形態のように全てのフレームの第１水平ラインを常に初期位置に戻す場合では、手ぶれにより連続するフレーム間の相関が低くなる、具体的にはフレーム毎に被写体像の水平位置が変化する像ぶれ現象が生じる。そこで、ＤＳＰ１６はフレーム間の水平位置ずれを相殺するために、水平歪みを補正する際に、図５に示すように、第２フレーム以降の第１水平ラインの水平位置を直前のフレームの最終水平ラインである第Ｖ水平ラインの位置に一致させる。即ち、フレームの第１水平ラインと直前のフレームの第Ｖ水平ラインの露光タイミングは時間差が少ないので両者の水平歪み補正量が実質的に同値であると見做して、両者の水平歪み補正量を同値にする。これによりフレーム間の相関が高くなって、水平方向に関して像ぶれが解消され、滑らかに連続する動画像が得られる。図５では、水平歪みおよび水平方向の像ぶれを補正する前の被写体像および水平ラインの水平位置を破線で示し、水平歪みおよび水平方向の像ぶれを補正した後の被写体像および水平ラインの水平位置を実線で示す。
【００４０】
次に、水平歪みおよび水平方向の像ぶれが補正された画像を、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正する。第１実施形態のように静止画像を得る場合には縦方向の伸縮は目立たないが、動画像の場合にはフレーム毎に被写体像が垂直方向に伸び縮みする現象が生じる。そこで、第２実施形態では、手ぶれ検出部５２を用いて１フレームの電荷蓄積期間における撮像面の垂直歪み補正量を求め、その垂直歪み補正量分だけ画像を伸縮させる。
【００４１】
手ぶれ検出部５２は、ビデオカメラ５０の垂直方向の角速度を検出する圧電ジャイロセンサと、圧電ジャイロセンサの出力を積分演算して手ぶれの角度データを生成する積分回路とを備え、これら手ぶれの角度データを所定周期でＤＳＰ１６に出力する。ＤＳＰ１６は、手ぶれ検出部５２の出力に基づいて垂直移動量を求め、１フレームの電荷蓄積期間の開始時と終了時との垂直移動量を相加平均した値を垂直歪み補正量に定める。そして、この垂直歪み補正量に基づいて画像を垂直方向に伸縮する。
【００４２】
図６には、水平歪みが補正された３フレームの画像が上から順に示され、その側方には撮像面の垂直移動量が示されている。垂直移動量は画素数で表され、図２の下方向に移動した場合には＋符号が付され、図２の上方向に移動した場合には−符号が付される。第１フレームの電荷蓄積開始時および終了時の垂直移動量をそれぞれＶ_０＝０、Ｖ_１＝＋２とすると、第１フレームの垂直歪み補正量Ｌ_１（＝Ｖ_０＋Ｖ_１＝＋２）は正の値となる。即ち、手ぶれによって第１フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ_１（下方向に２画素分）だけ移動して被写体像の垂直長さがその分だけ縮んだことになる。
【００４３】
そこで、ＤＳＰ１６は、第１フレームの垂直長さを圧縮した分だけ伸張する、具体的には垂直画素数が（Ｖ＋Ｌ_１）となるように公知の画素補間方式、例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ＋２）画素となるように画素数を増加させ、被写体像を実質的に垂直方向に伸張する。第２フレームについても同様に、電荷蓄積開始時および終了時の垂直移動量Ｖ_２、Ｖ_３の相加平均により得られる垂直歪み補正量Ｌ_２が正の値であれば、垂直歪み補正量Ｌ_２分だけ画像が伸張される。
【００４４】
一方、第３フレームのように、電荷蓄積開始時および終了時の垂直移動量がＶ_４（＝＋２）、Ｖ_５（＝−３）で、垂直歪み補正量Ｌ_２（＝−１）が負の値になるときには、手ぶれによって第３フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ_３（上方向に１画素分）だけ移動して被写体像の垂直長さがその分だけ伸びたことになる。そこで、ＤＳＰ１６は、第３フレームの垂直長さを伸びた分だけ圧縮する、具体的には垂直画素数が（Ｖ＋Ｌ_３）となるように例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ−１）画素となるように画素数を減少させ、被写体像を実質的に垂直方向に圧縮する。これにより、画像データ記憶領域Ａｄの最終ラインは空白データとなる。図６では、垂直歪みを補正する前の画像を破線で示し、垂直歪みを補正した後の画像を実線で示す。
【００４５】
このように、各フレームについて垂直歪み補正量を求め、この垂直歪み補正量に基づいて画像を伸縮させることにより、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正し、フレーム毎に被写体像が垂直方向に伸び縮みすることのない動画像を得ることができる。
【００４６】
さらに、垂直歪み補正量を各フレームの電荷蓄積期間における撮像面の垂直移動量の代表値とし、読出し領域Ａｒを一点鎖線で示す位置から垂直歪み補正量だけ垂直方向にずれた位置（図中ハッチングで示された領域）に相対移動させれば、縦方向に関する像ぶれを補正することができる。
【００４７】
第２実施形態のビデオカメラ５０によると、フレーム画像の画像歪みを垂直方向および水平方向の双方について補正するだけでなく、フレーム間の位置ずれである像ぶれを垂直方向および水平方向の双方について補正することができる。従って、垂直方向の直線がゆらゆらしなったり、被写体像が垂直方向に伸び縮みするような現象が防止され、かつ滑らかに連続する動画像を得ることができる。
【００４８】
画像歪みおよび像ぶれが補正された複数フレーム分のｈ×ｖ画素の画像データは、所定の符号化方式例えばＭＰＥＧ方式に従って圧縮され、図示しない内蔵メモリまたはメモリカード２０に記録される。
【００４９】
第１実施形態は電子スチルカメラ１０、第２実施形態はビデオカメラ５０であるが、第１実施形態の水平歪みのみを補正する機能をビデオカメラに適用してもよいし、また第２実施形態の水平歪みと垂直歪みとを補正する機能を電子スチルカメラに適用してもよいことはいうまでもない。
【００５０】
【発明の効果】
以上説明したように本発明の画像歪み補正機能付き撮像装置は、手ぶれによって生じる画像歪みを補正できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である電子スチルカメラの主要構成を示すブロック図である。
【図２】手ぶれの方向と画像の歪み方との関係を示す図である。
【図３】図３（ａ）は画像歪み補正処理前の画像を示す図であり、図３（ｂ）は画像歪み補正処理後の画像を示す図である。
【図４】本発明の第２実施形態であるビデオカメラの主要構成を示すブロック図である。
【図５】動画像における水平歪みおよび水平方向の像ぶれを補正する処理を示す概念図である。
【図６】動画像における垂直歪みおよび垂直方向の像ぶれを補正する処理を示す概念図である。
【符号の説明】
１０電子スチルカメラ
１１ＣＭＯＳ撮像板
１６ＤＳＰ
１８バッファメモリ
５０ビデオカメラ
５２手ぶれ検出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device mounted on an electronic still camera, a video camera, or the like and having an image distortion correction function for correcting image distortion caused by camera shake.
[0002]
[Prior art]
2. Description of the Related Art In recent years, there is an image pickup apparatus having an image pickup device, such as a video camera or an electronic still camera, provided with an image blur correction function for preventing image blur due to camera shake. An optical system that offsets image blur by changing the angle of incidence with the correction lens even if the optical axis of the imaging optical system is shifted by disposing a correction lens on the camera, or imaging with more pixels than the number of pixels used in signal processing An electronic method (for example, see Patent Literature 1) in which an element is used and an image cutout position is changed according to a change in an optical axis to cancel image blurring.
[0003]
[Patent Document 1]
Japanese Patent No. 3297775 [0004]
The electronic image blur correction does not require an expensive correction lens or a driving mechanism as in the case of the optical type, and is intended to correct the image blur by canceling the displacement of the subject image between successive images. That is, it is assumed that a moving image is captured using an image sensor having the same charge accumulation timing for all pixels, for example, a CCD image sensor, and the effect of camera shake on a single still image is not considered. Therefore, in the case of a CMOS image sensor in which the charge accumulation timing is synchronized with the signal readout timing, the charge accumulation timing of the first scan line and the last scan line on the imaging surface is shifted by almost one image scanning period, and a picture distortion occurs due to camera shake. Specifically, in the case of a still image, a straight line is bent, and in the case of a moving image, the straight line fluctuates, and a phenomenon occurs in which a subject image is stretched or shrunk. Such a phenomenon of image distortion is conspicuous particularly in the case of a high number of pixels and high magnification zooming, and cannot be dealt with other than the above-described optical image blur correction, and cannot be dealt with by the electronic image blur correction.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above problems, and has as its object to correct image distortion caused by camera shake.
[0006]
[Means for Solving the Problems]
An imaging apparatus with an image distortion correction function according to the present invention includes an imaging unit that has pixels arranged two-dimensionally in an imaging area and obtains an image composed of a plurality of horizontal lines, and a horizontal position of a predetermined horizontal line. The most main feature of the present invention is to provide an image processing unit for correcting image distortion by adjusting the correlation with the horizontal line adjacent to the line to be the highest.
[0007]
In the imaging device with the image distortion correction function, the image processing means sets the horizontal positions of the plurality of horizontal lines including the predetermined horizontal line so that the correlation with the plurality of horizontal lines near the predetermined horizontal line is highest. You may move relatively. In the imaging device with the image distortion correcting function, the imaging means includes a CMOS image sensor.
[0008]
The imaging device with the image distortion correction function may be configured to continuously obtain a plurality of still images as a moving image. At this time, the image processing unit may set the horizontal position of the first horizontal line of the predetermined image to: It is preferable that the image blur in the horizontal direction is corrected by matching the horizontal position of the last horizontal line of the image obtained immediately before.
[0009]
The imaging device with the image distortion correction function further includes a vertical movement amount detection unit that detects a relative movement amount of a subject image on the imaging element when obtaining an image in the vertical direction in which the horizontal lines are lined up. The distortion of the image may be corrected by changing the vertical length of the image based on the output result. Further, when continuously obtaining a plurality of images, the image processing unit cuts out a region smaller than the imaging region from each image to obtain an output image, and the region is determined based on the output result of the vertical movement amount detection unit. It is preferable to correct vertical image blur by changing the vertical position.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0011]
FIG. 1 is a diagram illustrating a first embodiment of an imaging device with an image distortion correction function of the present invention, and is a block diagram illustrating a main configuration of an electronic still camera to which the imaging device with an image distortion correction function is applied.
[0012]
The electronic still camera 10 includes a CMOS image sensor 11 provided with a CMOS image sensor and an analog signal processing circuit for performing CDS, AGC, A / D conversion, and the like. Light reflected from the subject is guided. The imaging surface is perpendicular to the optical axis of the imaging optical system 12, and H × V pixels are two-dimensionally arranged in the imaging area. H indicates the number of pixels in the horizontal direction, and V indicates the number of pixels in the vertical direction. H and V are natural numbers. Note that the horizontal direction is perpendicular to the optical axis and coincides with the horizontal direction in a normal use state of the electronic still camera 10, and the vertical direction is a direction orthogonal to the optical axis direction and the horizontal direction.
[0013]
The CMOS image sensor has unit cells of one pixel / unit. Each unit cell senses incident light and generates and accumulates signal charges corresponding to the amount of incident light. And a plurality of MOS transistors for amplification and extraction. In the CMOS image sensor, the accumulation and readout timings of the signal charges are different for each pixel, and the accumulation and readout timings are controlled by the imaging board driver 14. One of the horizontal lines arranged in the vertical direction is selected in order from the top by the imaging plate driver 14, and each pixel is sequentially selected in the horizontal direction from left to right each time each horizontal line is selected, so that the signal charge is Read as a signal.
[0014]
The pixel signal output from the CMOS imaging plate 11 is taken into a digital signal processing circuit (DSP) 16 which is an image processing means, and performs predetermined image signal processing, for example, color separation processing, white balance correction processing, γ correction processing, and the like. The image data is converted into luminance data and color difference data (hereinafter, image data) of an image of H × V pixels, and written into the buffer memory 18. The DSP 16 reads the image data, performs an image distortion correction process described later, and writes the image data into the buffer memory 18 again. Then, the DSP 16 further cuts out an area smaller than the imaging area. Specifically, only the image data of the rectangular area of h × v pixels is read from the buffer memory 18. h and v indicate the number of pixels in the horizontal and vertical directions, respectively, and are natural numbers satisfying 0 <h <H and 0 <v <V.
[0015]
The image data of h × v pixels is compressed according to a predetermined encoding method as required, and is converted into compressed image data of, for example, the JPEG standard, and is a built-in memory (not shown) or a memory card which is a removable external recording medium. 20 is recorded. The electronic still camera 10 is provided with an operation unit 22 including various switches for setting a shutter button, a mode, a shooting condition, and the like.
[0016]
With reference to FIG. 2, image distortion caused by camera shake of the electronic still camera 10 will be described. FIG. 2 is a diagram illustrating a situation in which the electronic still camera 10 captures an image of a stationary cylinder 30 as a subject, and schematically illustrates the relationship between the direction of camera shake and how the image is distorted. However, the direction change due to camera shake is drawn extremely large for the sake of explanation.
[0017]
As described above, when an image is captured by the CMOS image sensor, the charge accumulation timing has a time difference between pixels. If the relative positional relationship between the electronic still camera 10 and the cylinder 30 does not change, the time difference is not particularly problematic, but the relative position of the electronic still camera 10 with respect to the subject changes during the charge accumulation period of one image (one frame) due to camera shake. Then, the image is deformed. Specifically, if the electronic still camera 10 does not move from the position indicated by the solid line in the optical axis direction of the imaging optical system 12, that is, if the electronic still camera 10 does not move with a change in the distance to the subject, the cylindrical image 30C in the captured image 32 has no distortion. This does not occur, but if the electronic still camera 10 is not moved parallel to the optical axis of the imaging optical system 12 but shakes at an angle during the charge accumulation period of one frame, the cylindrical image 30C will be distorted. For example, when the electronic still camera 10 is shaken from the solid line position as shown by the right broken line, it becomes a cylindrical image 30R inclined obliquely downward to the left. The cylindrical image 30L is tilted. Although not shown, when the electronic still camera 10 is alternately swung right and left, a straight line on the side surface of the cylindrical image appears as a wavy line. Further, when the electronic still camera 10 is shaken from the solid line position as shown in the upper diagram during the charge accumulation period of one frame, the image becomes a cylindrical image 30U elongated in the vertical direction. A cylindrical image 30D reduced in the direction is obtained.
[0018]
In the image distortion correction processing of the first embodiment, image distortion (hereinafter, referred to as “horizontal distortion”) due to horizontal blur of the electronic still camera 10 is corrected, and image expansion and contraction (hereinafter, “vertical distortion”) due to vertical blur. Is not corrected. This is because, in the case of a still image, distortion of the shape, for example, inclination of a vertically extending straight line, is more conspicuous than expansion and contraction of the vertical dimension of the subject image.
[0019]
The image distortion correction processing will be described with reference to FIG. FIG. 3A is a conceptual diagram illustrating an image before image distortion correction processing written in the buffer memory 18, and FIG. 3B is a conceptual diagram illustrating an image after image distortion correction processing.
[0020]
The image shown in FIG. 3A is obtained when the electronic still camera 10 is horizontally shaken during the charge accumulation period of a one-frame image due to camera shake. Represents the horizontal shake amount of the electronic still camera 10 from the start of charge accumulation on the first horizontal line to the end of charge accumulation on the V-th horizontal line, that is, the horizontal shake amount on the imaging surface of the CMOS image sensor. The horizontal shake amount indicates the amount of movement of the image on the imaging surface due to the shake by the number of pixels. A plus sign is added when moving in the right direction in FIG. 2, and a minus sign is added when moving in the left direction in FIG.
[0021]
The buffer memory 18 has a storage capacity capable of storing one or more frames of image data, and individual image data is written to and read from corresponding storage locations. The buffer memory 18 has an image data storage area Ad (rectangular area indicated by a solid line in FIG. 3) for storing H × V image data. When reading out the h × v image data from the buffer memory 18, the DSP 16 reads out a specific storage location, more specifically, a read area Ar set inside the image data storage area Ad (indicated by a dashed line in FIG. 3). H × v image data stored in the rectangular area) is read out.
[0022]
Immediately after the image signal processing is performed by the DSP 16, that is, before the image distortion correction processing, as shown in FIG. 3A, the H × V image data has the same arrangement as the pixel array of the CMOS image sensor. The data is written to the storage area Ad. If the image data is read from the read area Ar without performing the image distortion correction processing, only a horizontally distorted subject image can be obtained. Accordingly, the DSP 16 corrects image distortion by moving the storage position of each horizontal line in the buffer memory 18 in the horizontal direction in proportion to the horizontal movement amount of the imaging surface as shown in FIG. 3B. I do. Thus, if the image data is read from the read area Ar after the image distortion correction processing, a subject image with the image distortion corrected can be obtained.
[0023]
In the image distortion correction processing, the horizontal position of each horizontal line, specifically, the horizontal storage position in the buffer memory 18 is corrected using the line correlation characteristic. The DSP 16 reads the uppermost first horizontal line and the next second horizontal line from the buffer memory 18 and determines the horizontal position of the second horizontal line with respect to the first horizontal line when the correlation between the luminances of the two lines is the highest. Obtained by calculation. Then, in the image data of the second horizontal line, the storage position of the buffer memory 18 is shifted to the right or left on the basis of the calculation result. For example, when the second horizontal line is shifted to the left by two pixels with respect to the first horizontal line, when the correlation between the two becomes the highest, each image data of the second horizontal line is shifted to the left by two pixels. Written to memory location. At this time, the image data of the left two pixels at the head of the second horizontal line is discarded, and the last two pixels of the image data storage area Ad become blank data.
[0024]
Next, the image data of the third horizontal line that has not been corrected is read out from the buffer memory 18, and the horizontal position of the third horizontal line is adjusted so that the luminance correlation with the second horizontal line whose horizontal position has been corrected is the highest. The position is changed and written to the buffer memory 18. The horizontal positions of the remaining fourth to V horizontal lines are similarly corrected so that the correlation with the previous horizontal line is the highest. When the horizontal position correction is completed for (V-1) horizontal lines, as shown in FIG. 3B, an image having the highest luminance correlation between the adjacent horizontal lines for all the horizontal lines is obtained. . Since a natural image has a close correlation between luminance values of adjacent pixels and a high correlation, an image having the highest horizontal line correlation in a frame can be regarded as a natural image in which image distortion has been corrected.
[0025]
The calculation of the line correlation will be described using the first horizontal line and the second horizontal line as an example. If the luminance values of the first horizontal line are b11, b12, b13,..., B1H in order from the left, and the luminance values of the second horizontal line are b21, b22, b23,. the luminance value excluding both ends 2 pixels of two horizontal lines b23~b2 (H-2), determined by the absolute value of the sum B ₀ a (1) of the difference between the luminance value of the first horizontal line, further the second horizontal sum B _L1 when shifted by one pixel line to the _left, the sum B _L2 when shifting two pixels to the _left, the sum B _R1 when shifted by one pixel to the _right, and the sum B _R2 when shifting two pixels to the right Are obtained by the equations (2) to (5), respectively.
[0026]
B ₀ = | b23−b13 | + | b24−b14 | +... + | B2 (H−2) −b1 (H−2) | (1)
B _L1 = | b23−b14 | + | b24−b15 | +... + | B2 (H−2) −b1 (H−1) | (2)
B _L2 = | b23−b15 | + | b24−b16 | +... + | B2 (H−2) −b1H | (3)
_{B R1 = | b23-b12 |} + | b24-b13 | + ··· + | b2 (H-2) -b1 (H-3) | (4)
_{B R2 = | b23-b11 |} + | b24-b12 | + ··· + | b2 (H-2) -b1 (H-4) | (5)
[0027]
These sums B ₀ , B _L1 , B _L2 , B _R1, and B _R2 indicate the correlation of the second horizontal line with the first horizontal line, and the smaller the value, the higher the correlation. Therefore, for example, when the minimum value among B ₀ , B _L1 , B _L2 , B _R1, and B _R2 is B _L2 , the pixel shift amount (two pixels) and the direction (left) at that time are the second horizontal. The horizontal distortion correction amount of the line is determined, and the storage position where the second horizontal line is to be written in the buffer memory 18 is moved by the horizontal distortion correction amount, that is, two pixels to the left.
[0028]
In the first embodiment, the image is shifted by a maximum of two pixels, but may be three or more pixels. For example, when the maximum pixel shift amount is set to 5 pixels and the correlation is compared, the total sum of 11 pixels is obtained while shifting one pixel at a time except for the five pixels at both ends of the horizontal line to be corrected, and the total sum is the minimum. What is necessary is just to obtain the horizontal distortion correction amount when the value becomes the value. The maximum pixel shift amount is set to be larger than the maximum value of the horizontal movement amount of the imaging surface that can occur due to camera shake during the charge accumulation period of one frame.
[0029]
The horizontal pixel number H of the CMOS image sensor is set to a value larger than the sum of the horizontal pixel number h of the output image and a value obtained by doubling the maximum pixel shift amount. The distance from the left side of the read area Ar to the left side of the image data storage area Ad and the distance from the right side of the read area Ar to the right side of the image data storage area Ad are set to values larger than the maximum pixel shift amount.
[0030]
In this manner, the electronic still camera 10 corrects the horizontal position of the horizontal line so that the correlation of the luminance becomes highest, and deforms the image according to the horizontal movement amount of the imaging surface. Thereby, the horizontal distortion of the image can be corrected. Then, since an image in an area smaller than the imaging range is cut out and used as an output image, image data of the output image is not lost even if the horizontal position is corrected. Further, since the electronic still camera 10 handles luminance data included in image data of a captured image as camera shake data, a sensor for detecting the camera shake amount is unnecessary. Further, since the movement of the horizontal position of each horizontal line is realized by changing and rewriting the storage position of the buffer memory 18, it is simple without requiring any mechanical control.
[0031]
In the first embodiment, the image distortion correction processing is performed after the image data is once written to the buffer memory 18. However, the image distortion correction processing may be performed before the image data is written to the buffer memory 18.
[0032]
Further, in the first embodiment, the horizontal position of the horizontal line to be corrected is corrected such that the correlation between the horizontal line to be corrected and the horizontal line immediately before the horizontal line is the highest, that is, the horizontal position of the horizontal line to be corrected is line by line. Since the deviation of the accumulation timing between two adjacent lines is relatively small, the correction may be performed for each of a plurality of lines.
[0033]
As an example of correcting for each of a plurality of lines, a case of correcting for every two lines will be described. The maximum pixel shift amount is two pixels. The brightness values of the first horizontal line are b11, b12, b13,..., B1H in order from the left, the brightness values of the second horizontal line are b21, b22, b23,. , B3H, and the luminance values of the fourth horizontal line are b41, b42, b43,..., B4H. First, a luminance sum {b33 + b43}, {b34 + b44},..., {B3 (H-2) + b4 (H-2)} excluding two pixels at both ends of the third and fourth horizontal lines is obtained. 1 and the sum B ₀ of the absolute value of the difference between the luminance sum of the second horizontal line (6) is obtained by equation. Then, with respect to the first and second horizontal lines, the sums B _L1 and B _L2 obtained by shifting the third and fourth horizontal lines by one pixel to the left, two pixels to the left, one pixel to the right, and two pixels to the right , _BR1 , _BR2 are obtained by the equations (7) to (10), respectively.
[0034]

[0035]
The minimum value based on the pixel shift amount and direction when it becomes the storage position writing to the third and fourth horizontal lines in the buffer memory 18 of the total sum _{_{_{B 0, B L1, B L2}}} , B R1 and _{B R2} Is moved. Thus, the storage positions of the buffer memory 18 are corrected so that the third and fourth horizontal lines have the highest correlation with the first and second horizontal lines. The horizontal positions of the remaining fifth to Vth horizontal lines are similarly corrected. When the correction is performed every two lines, the processing speed can be improved without significantly lowering the correction accuracy as compared with the correction for each line. In particular, the greater the number V of pixels in the vertical direction, the more effective.
[0036]
A second embodiment of the imaging apparatus with an image distortion correction function of the present invention will be described with reference to FIGS. The difference from the first embodiment is that a moving image is captured, and that horizontal distortion of an image is corrected and vertical distortion in which a difference between frames is remarkable is corrected. Are denoted by the same reference numerals, and description thereof is omitted. FIG. 4 is a block diagram illustrating a main configuration of a video camera to which the imaging device with an image distortion correction function of the present invention is applied. FIG. 5 is a conceptual diagram illustrating processing for correcting horizontal distortion, and FIG. FIG. 9 is a conceptual diagram showing a process for correcting the error.
[0037]
The video camera 50 according to the first embodiment corrects horizontal distortion in a frame by sequentially changing the storage positions of the buffer memory 18 for image data of the second to Vth horizontal lines with reference to the first horizontal line. Is the same as In FIG. 5, images of three frames are shown in the order of photographing from the top, and the horizontal movement amount of the imaging surface is shown on the side.
[0038]
In the second embodiment for obtaining a moving image, a phenomenon occurs in which a straight line extending in the vertical direction due to camera shake appears to fluctuate in a wavy manner. However, such a phenomenon is avoided by correcting horizontal distortion for each frame. You.
[0039]
When a moving image is obtained, the above-described step of obtaining one still image (one frame) is repeated at a fixed period, for example, a 1/30 second period, and a still image of 30 frames is obtained per second. In the case where the first horizontal lines of all the frames are always returned to the initial position as described above, the correlation between successive frames becomes low due to camera shake. Specifically, the image blur phenomenon in which the horizontal position of the subject image changes for each frame is caused. Occurs. Therefore, the DSP 16 sets the horizontal position of the first horizontal line after the second frame as the final horizontal line of the immediately preceding frame as shown in FIG. The position is matched with the position of the V-th horizontal line which is a line. That is, since the exposure timing of the first horizontal line of the frame and the exposure timing of the Vth horizontal line of the immediately preceding frame have a small time difference, it is considered that the horizontal distortion correction amounts of both are substantially the same value, Are equivalent. As a result, the correlation between the frames is increased, the image blur is eliminated in the horizontal direction, and a smoothly continuous moving image is obtained. In FIG. 5, the horizontal positions of the subject image and the horizontal line before the horizontal distortion and the horizontal image blur are corrected are indicated by broken lines, and the horizontal positions of the subject image and the horizontal line after the horizontal distortion and the horizontal image blur are corrected. The position is indicated by a solid line.
[0040]
Next, the image in which the horizontal distortion and the image blur in the horizontal direction are corrected is corrected for the expansion and contraction (vertical distortion) of the image caused by the vertical movement of the video camera 50. When a still image is obtained as in the first embodiment, expansion and contraction in the vertical direction is not noticeable, but in the case of a moving image, a phenomenon occurs in which the subject image expands and contracts in the vertical direction for each frame. Therefore, in the second embodiment, the amount of vertical distortion correction on the imaging surface in the charge accumulation period of one frame is obtained using the camera shake detection unit 52, and the image is expanded or contracted by the amount of vertical distortion correction.
[0041]
The camera shake detection unit 52 includes a piezoelectric gyro sensor that detects the angular velocity in the vertical direction of the video camera 50, and an integration circuit that integrates the output of the piezoelectric gyro sensor to generate camera shake angle data. Is output to the DSP 16 at a predetermined cycle. The DSP 16 obtains the vertical movement amount based on the output of the camera shake detection unit 52, and determines a value obtained by arithmetically averaging the vertical movement amounts at the start and end of the charge accumulation period of one frame as the vertical distortion correction amount. Then, the image is expanded and contracted in the vertical direction based on the vertical distortion correction amount.
[0042]
In FIG. 6, images of three frames in which horizontal distortion has been corrected are shown in order from the top, and the amount of vertical movement of the imaging surface is shown on the side. The amount of vertical movement is represented by the number of pixels, and a plus sign is assigned to a movement in a downward direction in FIG. 2, and a minus sign is assigned to a movement in an upward direction in FIG. Assuming that the vertical movement amounts at the start and end of charge accumulation in the first frame are V ₀ = 0 and V ₁ = + 2, respectively, the vertical distortion correction amount L ₁ (= V ₀ + V ₁ = + 2) in the first frame is positive. Value. That is, during the charge accumulation period of the first frame due to camera shake, the imaging surface moves by the vertical distortion correction amount L ₁ (two pixels downward), and the vertical length of the subject image is reduced by that amount.
[0043]
Therefore, the DSP 16 expands the vertical length of the first frame by an amount corresponding to the compression, specifically, based on a known pixel interpolation method such as a bicubic method so that the number of vertical pixels becomes (V + L ₁ ). The number of pixels is increased so that the number of pixels in the direction becomes (V + 2) pixels, and the subject image is expanded substantially in the vertical direction. Similarly, the second frame, if the vertical distortion correction amount L ₂ obtained by the arithmetic mean of the vertical movement amount V _2, V ₃ of the charge accumulation start and end is a positive value, vertical distortion correction amount L _The image is stretched by ₂ minutes.
[0044]
On the other hand, as in the third frame, the vertical movement amounts at the start and end of charge accumulation are V ₄ (= + 2) and V ₅ (= −3), and the vertical distortion correction amount L ₂ (= −1) is negative. , The image pickup surface has moved by the vertical distortion correction amount L ₃ (up by one pixel) during the charge accumulation period of the third frame due to camera shake, and the vertical length of the subject image has increased by that amount. Will be. Therefore, the DSP 16 compresses the vertical length of the third frame by the extension, specifically, the number of pixels in the vertical direction based on, for example, the bicubic method so that the number of vertical pixels becomes (V + L ₃ ). V-1) The number of pixels is reduced so as to be pixels, and the subject image is compressed substantially in the vertical direction. As a result, the last line of the image data storage area Ad becomes blank data. In FIG. 6, an image before the vertical distortion is corrected is indicated by a broken line, and an image after the vertical distortion is corrected is indicated by a solid line.
[0045]
As described above, the vertical distortion correction amount is obtained for each frame, and the image is expanded and contracted based on the vertical distortion correction amount, whereby the expansion and contraction (vertical distortion) of the image caused by the vertical movement of the video camera 50 is corrected. In each case, a moving image in which the subject image does not expand and contract in the vertical direction can be obtained.
[0046]
Further, the vertical distortion correction amount is set as a representative value of the vertical movement amount of the imaging surface during the charge accumulation period of each frame, and the readout area Ar is shifted vertically from the position indicated by the alternate long and short dash line by the vertical distortion correction amount (the hatching in the figure). (Region indicated by) can correct the image blur in the vertical direction.
[0047]
According to the video camera 50 of the second embodiment, not only the image distortion of the frame image is corrected in both the vertical direction and the horizontal direction, but also the image blur which is a positional shift between the frames is corrected in both the vertical direction and the horizontal direction. can do. Therefore, it is possible to prevent a phenomenon in which a vertical straight line fluctuates and a subject image expands and contracts in a vertical direction, and it is possible to obtain a smoothly continuous moving image.
[0048]
The image data of h × v pixels for a plurality of frames in which the image distortion and the image blur have been corrected are compressed according to a predetermined coding method, for example, the MPEG method, and are recorded in a built-in memory or memory card 20 (not shown).
[0049]
Although the first embodiment is an electronic still camera 10 and the second embodiment is a video camera 50, the function of correcting only horizontal distortion of the first embodiment may be applied to a video camera. Needless to say, the function of correcting horizontal distortion and vertical distortion may be applied to an electronic still camera.
[0050]
【The invention's effect】
As described above, the imaging device with an image distortion correction function of the present invention can correct image distortion caused by camera shake.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a main configuration of an electronic still camera according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating the relationship between the direction of camera shake and how an image is distorted.
3A is a diagram illustrating an image before image distortion correction processing, and FIG. 3B is a diagram illustrating an image after image distortion correction processing.
FIG. 4 is a block diagram illustrating a main configuration of a video camera according to a second embodiment of the present invention.
FIG. 5 is a conceptual diagram illustrating processing for correcting horizontal distortion and horizontal image blur in a moving image.
FIG. 6 is a conceptual diagram showing processing for correcting vertical distortion and vertical image blur in a moving image.
[Explanation of symbols]
Reference Signs List 10 electronic still camera 11 CMOS imaging plate 16 DSP
18 Buffer memory 50 Video camera 52 Camera shake detection unit

Claims

An image pickup means having pixels arranged two-dimensionally in an image pickup area to obtain an image composed of a plurality of horizontal lines, and a horizontal position of a predetermined horizontal line having the highest correlation with a horizontal line adjacent to the horizontal line An image processing means for correcting distortion of the image by making adjustments as described above.

The image processing means relatively moves horizontal positions of a plurality of horizontal lines including a predetermined horizontal line so that the horizontal positions of the plurality of horizontal lines near the predetermined horizontal line have the highest correlation. The imaging device with an image distortion correction function according to claim 1.

The imaging apparatus according to claim 1, wherein the imaging unit includes a CMOS image sensor.

A plurality of the images are successively obtained, and the image processing means makes the horizontal position of the first horizontal line of the predetermined image coincide with the horizontal position of the last horizontal line of the image obtained immediately before the image. The imaging apparatus with an image distortion correction function according to claim 1, wherein the image blur in a direction is corrected.

Vertical movement amount detection means for detecting a relative movement amount of the subject image on the image sensor when obtaining the image in the vertical direction in which the horizontal lines are arranged, and based on an output result of the vertical movement amount detection means, The imaging device with an image distortion correcting function according to claim 1, wherein the image distortion is corrected by changing a vertical length.

A plurality of the images are continuously obtained, and the image processing unit cuts out a region smaller than an imaging region from each image to form an output image, and the region is used for the image based on an output result of a vertical movement amount detection unit. 6. The imaging device with an image distortion correction function according to claim 5, wherein a vertical image blur is corrected by changing a vertical position of the region.