JP2004363857A

JP2004363857A - 画像歪み補正機能付き撮像装置

Info

Publication number: JP2004363857A
Application number: JP2003158994A
Authority: JP
Inventors: Shigeo Enomoto; 茂男榎本
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-24

Abstract

【課題】手ぶれによる画像歪みを補正する撮像装置を得る。
【解決手段】電子スチルカメラ１０はＣＭＯＳ撮像板１１を備え、このＣＭＯＳ撮像板１１のＣＭＯＳイメージセンサによって被写体を撮像し、画像の画像データを得る。水平手ぶれ検出部２４は電子スチルカメラ１０の水平方向において撮影光学系１２の光軸がふれる角速度を検出する。電子スチルカメラ１０は水平手ぶれ検出部２４の出力に基づいて撮像面の水平移動量を求め、画像を構成する個々の水平ラインの水平位置を水平移動量に基づいて調整することにより、画像の歪みを補正する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する画像歪み補正機能付き撮像装置に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等、撮像素子を備えた撮像装置には、手ぶれによる像ぶれを防止する像ぶれ補正機能を備えたものがあり、この像ぶれ補正には、撮影光学系の前に補正レンズを配して撮影光学系の光軸がずれても補正レンズにより入射角を変化させて像ぶれを相殺する光学式、または信号処理で使用する画素数よりも多い画素を持った撮像素子を使用し、光軸の変化に伴って画像の切出し位置を変更することにより像ぶれを相殺する電子式（例えば、特許文献１を参照）が採用されている。
【０００３】
【特許文献１】
特許第３２９７７５７号公報
【０００４】
電子式の像ぶれ補正は、光学式のように高価な補正レンズや駆動機構部を必要とせず、連続する画像間の被写体像の位置ずれを相殺して像ぶれを補正することを目的としている。即ち、全画素の電荷蓄積タイミングが同じ撮像素子、例えばＣＣＤイメージセンサを用いて動画像を撮影することを前提とし、単一の静止画像に対する手ぶれの影響は考慮されていない。従って、電荷蓄積タイミングが信号読出しタイミングに同期するＣＭＯＳイメージセンサの場合では、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが１画面走査期間近くずれ、手ぶれによって図形歪みが生じる、具体的には静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって映ったり被写体像の寸法が伸び縮みしたりする、という現象が生じる。このような画像歪みの現象は、特に高画素数、高倍率ズーミングの場合に目立ち、上述した光学式像ぶれ補正以外では対処できず、電子式像ぶれ補正のでは対処できない。
【０００５】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、手ぶれによって生じる画像歪みを補正することが課題である。
【０００６】
【課題を解決するための手段】
本発明の画像歪み補正機能付き撮像装置は、撮像領域に２次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、水平ラインに平行な水平方向に関して画像を得るときの撮像素子の相対移動量を検出する水平移動量検出手段を備え、この水平移動量検出手段の出力結果に基づいて画像の歪みを補正する画像処理手段とを備えることを最も主要な特徴とする。
【０００７】
上記画像歪み補正機能付き撮像装置において、撮像手段はＣＭＯＳイメージセンサを備える。
【０００８】
上記画像歪み補正機能付き撮像装置は、水平ラインが並ぶ垂直方向に関して画像を得るときの撮像素子の相対移動量を検出する垂直移動量検出手段をさらに備え、この垂直移動量検出手段の出力結果に基づいて画像の垂直方向長さを変更することにより、画像の歪みを補正してもよい。またさらに、動画像として１静止画像を連続して複数得るときには、画像処理手段が、各画像から撮像領域よりも狭い領域を切り取って出力画像とし、領域が垂直移動量検出手段の出力結果に基づいて画像に対する領域の垂直位置を変更することにより、垂直方向の像ぶれを補正することが好ましい。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【００１０】
図１は、本発明の画像歪み補正機能付き撮像装置の第１実施形態を示す図であって、画像歪み補正機能付き撮像装置を適用した電子スチルカメラの主要構成を示すブロック図である。
【００１１】
電子スチルカメラ１０は、ＣＭＯＳイメージセンサとＣＤＳ、ＡＧＣ、Ａ／Ｄ変換等を行うアナログ信号処理回路とが設けられたＣＭＯＳ撮像板１１を備える。ＣＭＯＳイメージセンサの撮像面には撮影光学系１２によって被写体からの反射光が導かれる。撮像面は撮影光学系１２の光軸に垂直であり、その撮像領域にはＨ×Ｖ個の画素が２次元配列されている。Ｈは水平方向の画素数を示し、Ｖは垂直方向の画素数を示す。Ｈ、Ｖは自然数である。なお、水平方向は、光軸に垂直であって電子スチルカメラ１０の通常の使用状態で水平となる方向に一致し、垂直方向は光軸方向および水平方向に直交する方向である。
【００１２】
ＣＭＯＳイメージセンサは、１画素／１ユニットの単位セルを有し、各単位セルは、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。ＣＭＯＳイメージセンサは、各画素毎に信号電荷の蓄積および読出しのタイミングが異なり、この蓄積および読出しのタイミングは撮像板ドライバ１４によって制御される。撮像板ドライバ１４により、垂直方向に並ぶ水平ラインの１つが上から順に選択されると共に、各水平ラインが選択される毎に水平方向に左から右へ各画素が順次選択されて信号電荷が画素信号として読出される。
【００１３】
ＣＭＯＳ撮像板１１から出力された画素信号は、画像処理手段であるデジタル信号処理回路（ＤＳＰ）１６に取り込まれ、所定の画像信号処理、例えば色分解処理、ホワイトバランス補正処理やγ補正処理等を受け、Ｈ×Ｖ画素の画像の輝度データおよび色差データ（以下、画像データ）に変換され、バッファメモリ１８に書込まれる。ＤＳＰ１６は画像データを読出して、後述する画像歪み補正処理を施して、再びバッファメモリ１８に書込む。そしてＤＳＰ１６はさらに、撮像領域よりも狭い領域を切り出す。具体的にはバッファメモリ１８から、ｈ×ｖ画素の長方形の領域の画像データのみを読出す。ｈ、ｖはそれぞれ水平および垂直方向の画素数を示し、０＜ｈ＜Ｈ、０＜ｖ＜Ｖを満たす自然数である。
【００１４】
水平手ぶれ検出部２４は、電子スチルカメラ１０の水平方向において、手ぶれによる撮影光学系１２の光軸のふれる角速度を検出する圧電ジャイロセンサと、圧電ジャイロセンサの出力を積分演算して手ぶれの角度データを生成する積分回路とを備え、この角度データを所定周期でＤＳＰ１６に出力する。
【００１５】
ｈ×ｖ画素の画像データは、必要に応じて、所定の符号化方式に従って圧縮され、例えばＪＰＥＧ規格の圧縮画像データに変換されて、図示しない内蔵メモリまたは着脱自在な外部記録媒体であるメモリカード２０に記録される。電子スチルカメラ１０には、シャッタボタンやモードや撮影条件等を設定するための種々のスイッチから成る操作部２２が設けられる。
【００１６】
図２を参照して、電子スチルカメラ１０の手ぶれによって生じる画像歪みについて説明する。図２は電子スチルカメラ１０によって被写体である静止した円柱３０を撮影する状況を示し、手ぶれの方向と画像の歪み方との関係を模式的に示す図である。ただし、説明のため手ぶれによる方向変化を極端に大きく描いてある。
【００１７】
上述したようにＣＭＯＳイメージセンサで撮像する場合、電荷蓄積タイミングは画素間で時間差が生じる。電子スチルカメラ１０と円柱３０との相対位置関係が変化しなければ時間差は特に問題にならないが、手ぶれによって１画像（１フレーム）の電荷蓄積期間中に電子スチルカメラ１０の被写体に対する相対位置が変化すると、その像が変形する。具体的には、電子スチルカメラ１０が実線で示す位置から撮影光学系１２の光軸方向変化、すなわち被写体までの距離変化を伴う移動がなければ、撮影された画像３２における円柱像３０Ｃに歪みは生じないが、１フレームの電荷蓄積期間中に電子スチルカメラ１０が、撮影光学系１２の光軸と平行な移動ではなく、角度を持って振られると、円柱像３０Ｃに歪みが生じる。例えば電子スチルカメラ１０が実線位置から右側の破線で示す図のように振られると、左斜め下に向かって傾斜した円柱像３０Ｒとなり、左側の図のように振られると、右斜め下に向かって傾斜した円柱像３０Ｌとなる。図示しないが、電子スチルカメラ１０が左右に交互に振られると円柱像の側面の直線は波線となって写る。また、１フレームの電荷蓄積期間中に電子スチルカメラ１０が実線位置から上側の図のように振られると、垂直方向に伸張した円柱像３０Ｕとなり、下側の図のように振られると、垂直方向に縮小した円柱像３０Ｄとなる。
【００１８】
第１実施形態の画像歪み補正処理では、電子スチルカメラ１０の水平ぶれに起因する像の歪み（以下、水平歪みと記載する）を補正し、垂直ぶれに起因する像の伸縮（以下、垂直歪みと記載する）の補正は行わない。これは、静止画像の場合には、被写体像の垂直方向の寸法の伸縮よりも形状の歪み、例えば垂直に伸びる直線の傾斜、の方が目立つということが理由として挙げられる。
【００１９】
図３を参照して画像歪み補正処理について説明する。図３（ａ）はバッファメモリ１８に書込まれる画像歪み補正処理前の画像を示す概念図であり、図３（ｂ）は画像歪み補正処理後の画像を示す概念図である。
【００２０】
図３（ａ）に示す画像は、電子スチルカメラ１０が手ぶれによって１フレームの画像の電荷蓄積期間中に水平方向に角度ぶれした時に得られたものであり、図３（ａ）の右方には第１水平ラインの電荷蓄積開始から第Ｖ水平ラインの電荷蓄積終了までの電子スチルカメラ１０の水平ぶれ量、即ちＣＭＯＳイメージセンサの撮像面の水平ぶれ量が示されている。水平ぶれ量はぶれによる撮像面上の像の移動量を画素数で表し、図２中右方向の移動時には＋符号を付し、左方向への移動時には−符号を付す。
【００２１】
ＤＳＰ１６は、水平手ぶれ検出部２４からの角度データに所定係数を乗じて水平移動量を求め、個々の水平ラインの電荷蓄積期間の開始時と終了時との水平移動量を相加平均した値を水平歪み補正量に定める。各水平ラインに対応した水平歪み補正量のデータはバッファメモリ１８に一時的に保存される。
【００２２】
バッファメモリ１８は１フレーム分以上の画像データを記憶できる記憶容量を有し、個々の画像データは対応する記憶位置にそれぞれ書込まれ、またそこから読出される。バッファメモリ１８は、Ｈ×Ｖ個の画像データを記憶する画像データ記憶領域Ａｄ（図３の実線で示す長方形領域）を有している。ＤＳＰ１６は、バッファメモリ１８からｈ×ｖ個の画像データを読出す際には、特定の記憶位置、詳しくは画像データ記憶領域Ａｄの内側に設定された読出し領域Ａｒ（図３の一点鎖線で示す長方形領域）に記憶されているｈ×ｖ個の画像データを読出す。
【００２３】
ＤＳＰ１６で画像信号処理が行われた直後、即ち画像歪み補正処理前では、図３（ａ）に示すように、Ｈ×Ｖ個の画像データはＣＭＯＳイメージセンサの画素の並びと同じ配列で画像データ記憶領域Ａｄに書込まれる。画像歪み補正処理を行わずに読出し領域Ａｒから画像データを読出せば、水平方向に歪んだ被写体像しか得られない。そこで、ＤＳＰ１６は図３（ｂ）に示すようにバッファメモリ１８における各水平ラインの記憶位置を水平移動量に比例して水平方向に移動させて画像歪みを補正するという画像歪み補正処理を行う。これにより、画像歪み補正処理後に読出し領域Ａｒから画像データを読出せば、画像歪みが補正された被写体像を得ることができる。
【００２４】
画像歪み補正処理では、水平手ぶれ検出部２４の出力に基づいて各水平ラインの水平位置、具体的にはバッファメモリ１８における水平方向の記憶位置が補正される。ＤＳＰ１６は、各水平ラインの画像データを一番上の第１水平ラインから順にバッファメモリ１８から読出すとともに、各水平ラインに対応した水平歪み補正量をバッファメモリ１８から読出す。そして、各水平ラインの画像データは、水平歪み補正量の分だけバッファメモリ１８の記憶位置が右または左にずらされる。例えば、第２水平ラインの水平歪み補正量が（−２）であった場合には、第２水平ラインの各画像データは２画素ずつ左にずれた記憶位置に書込まれる。このとき、第２水平ラインの先頭の左側２画素の画像データは破棄され、画像データ記憶領域Ａｄの最終２画素分は空白データとなる。Ｖ本の水平ラインについて水平位置の補正が完了すると、図３（ｂ）に示すように、画像歪みが補正された画像が得られる。
【００２５】
ＣＭＯＳイメージセンサの水平画素数Ｈは、出力画像の画像データの欠けがないように、出力画像の水平画素数ｈと水平歪み補正量の最大値を２倍した値との和よりも大きい値に設定されるとともに、読出し領域Ａｒの左辺から画像データ記憶領域Ａｄの左辺までの距離、および読出し領域Ａｒの右辺から画像データ記憶領域Ａｄの右辺までの距離はそれぞれ水平歪み補正量の最大値より大きい値に設定される。
【００２６】
このように、電子スチルカメラ１０は、画像の各水平ラインについて水平歪み補正量を求め、この水平歪み補正量に基づいて各水平ラインの水平位置を補正し、画像を変形させている。これにより電子スチルカメラ１０の水平移動に起因する水平歪みが補正でき、被写体像が歪むことのない静止画像を得ることができる。そして、撮像範囲よりも狭い領域の画像を切り出して出力画像としているので、水平位置の補正を行っても欠けた画像にはならない。また、各水平ラインの水平位置の移動はバッファメモリ１８の記憶位置を変更して書換えることにより実現されるので、機構的な制御を必要とせず簡単である。
【００２７】
なお、第１実施形態では、画像データをバッファメモリ１８に一旦書込んだ後に画像歪み補正処理を行っているが、バッファメモリ１８に書込む前に画像歪み補正処理を行ってもよい。
【００２８】
図４〜図６を参照して本発明の画像歪み補正機能付き撮像装置の第２実施形態について説明する。第１実施形態と異なる点は、動画像を撮影する点と、画像の水平歪みを補正するとともにフレーム間での差が顕著な垂直歪みを補正する点であり、第１実施形態と同様の構成については同符号を付し、説明を省略する。図４は、本発明の画像歪み補正機能付き撮像装置を適用したビデオカメラの主要構成を示すブロック図であり、図５は水平歪みを補正する処理を示す概念図であり、図６は垂直歪みを補正する処理を示す概念図である。
【００２９】
ビデオカメラ５０は、第１〜第Ｖ水平ラインの画像データについて、水平手ぶれ検出部２４の出力に基づいてバッファメモリ１８の記憶位置を順次変更することによって、フレーム内の水平歪みを補正することは第１実施形態と同様である。図５には、３フレームの画像が上から撮影順に示され、その側方には撮像面の水平移動量が示されている。
【００３０】
動画像を得る第２実施形態においては、手ぶれによって垂直方向に延びる直線は波状にゆらゆらしなって見える現象が生じるが、各フレーム毎に水平歪みを補正することにより、このような現象は回避される。また、手ぶれにより連続する画像間の相関も高くなり水平方向に関して像ぶれが解消され、滑らかに連続する動画像が得られる。図５では、水平歪みおよび水平方向の像ぶれを補正する前の被写体像および水平ラインの水平位置を破線で示し、水平歪みおよび水平方向の像ぶれを補正した後の被写体像および水平ラインの水平位置を実線で示す。
【００３１】
次に、水平歪みおよび水平方向の像ぶれが補正された画像を、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正する。第１実施形態のように静止画像を得る場合には縦方向の伸縮は目立たないが、動画像の場合には被写体像が垂直方向に伸び縮みする現象が生じ、再生時に目立つ。そこで、第２実施形態では、垂直手ぶれ検出部５２を用いて１フレームの電荷蓄積期間における撮像面の垂直歪み補正量を求め、その垂直歪み補正量分だけ画像を伸縮させる。
【００３２】
垂直手ぶれ検出部５２は、ビデオカメラ５０の垂直方向の角速度を検出する圧電ジャイロセンサと、圧電ジャイロセンサの出力を積分演算して手ぶれの角度データを生成する積分回路とを備え、これら手ぶれの角度データを所定周期でＤＳＰ１６に出力する。ＤＳＰ１６は、垂直手ぶれ検出部５２の出力に基づいて垂直ふれ量を求め、１フレームの電荷蓄積期間の開始時と終了時との垂直ふれ量を相加平均した値を画素数に換算して垂直歪み補正量に定める。そして、この垂直歪み補正量に基づいて画像を垂直方向に伸縮する。
【００３３】
図６には、水平歪みが補正された３フレームの画像が上から順に示され、その側方には撮像面の垂直移動量が示されている。垂直移動量は画素数で表され、図２の下方向に移動した場合には＋符号が付され、図２の上方向に移動した場合には−符号が付される。第１フレームの電荷蓄積開始時および終了時の垂直移動量をそれぞれＶ_０＝０、Ｖ_１＝＋２とすると、第１フレームの垂直歪み補正量Ｌ_１（＝Ｖ_０＋Ｖ_１＝＋２）は正の値となる。即ち、手ぶれによって第１フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ_１（下方向に２画素分）だけ移動して被写体像の垂直長さがその分だけ縮んだことになる。
【００３４】
そこで、ＤＳＰ１６は、第１フレームの垂直長さを圧縮した分だけ伸張する、具体的には垂直画素数が（Ｖ＋Ｌ_１）となるように公知の画素補間方式、例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ＋２）画素となるように画素数を増加させ、被写体像を実質的に垂直方向に伸張する。第２フレームについても同様に、電荷蓄積開始時および終了時の垂直移動量Ｖ_２、Ｖ_３の相加平均により得られる垂直歪み補正量Ｌ_２が正の値であれば、垂直歪み補正量Ｌ_２分だけ画像が伸張される。
【００３５】
一方、第３フレームのように、電荷蓄積開始時および終了時の垂直移動量がＶ_４（＝＋２）、Ｖ_５（＝−３）で、垂直歪み補正量Ｌ_２（＝−１）が負の値になるときには、手ぶれによって第３フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ_３（上方向に１画素分）だけ移動して被写体像の垂直長さがその分だけ伸びたことになる。そこで、ＤＳＰ１６は、第３フレームの垂直長さを伸びた分だけ圧縮する、具体的には垂直画素数が（Ｖ＋Ｌ_３）となるように例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ−１）画素となるように画素数を減少させ、被写体像を実質的に垂直方向に圧縮する。これにより、画像データ記憶領域Ａｄの最終ラインは空白データとなる。図６では、垂直歪みを補正する前の画像を破線で示し、垂直歪みを補正した後の画像を実線で示す。
【００３６】
このように、各フレームについて垂直歪み補正量を求め、この垂直歪み補正量に基づいて画像を伸縮させることにより、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正し、フレーム毎に被写体像が垂直方向に伸び縮みすることのない動画像を得ることができる。
【００３７】
さらに、垂直歪み補正量を各フレームの電荷蓄積期間における撮像面の垂直移動量の代表値とし、読出し領域Ａｒを一点鎖線で示す位置から垂直歪み補正量だけ垂直方向にずれた位置（図中ハッチングで示された領域）に相対移動させれば、縦方向に関する像ぶれを補正することができる。
【００３８】
第２実施形態のビデオカメラ５０によると、画像の画像歪みを垂直方向および水平方向の双方について補正するだけでなく、フレーム間の位置ずれである像ぶれを垂直方向および水平方向の双方について補正することができる。従って、垂直方向の直線がゆらゆらしなったり、被写体像が垂直方向に伸び縮みするような現象が防止され、かつ滑らかに連続する動画像を得ることができる。
【００３９】
画像歪みおよび像ぶれが補正された複数フレーム分のｈ×ｖ画素の画像データは、所定の符号化方式例えばＭＰＥＧ方式に従って圧縮され、図示しない内蔵メモリまたはメモリカード２０に記録される。
【００４０】
第１実施形態は電子スチルカメラ１０、第２実施形態はビデオカメラ５０であるが、第１実施形態の水平歪みのみを補正する機能をビデオカメラに適用してもよいし、また第２実施形態の水平歪みと垂直歪みとを補正する機能を電子スチルカメラに適用してもよいことはいうまでもない。
【００４１】
【発明の効果】
以上説明したように本発明の画像歪み補正機能付き撮像装置は、手ぶれによって生じる画像歪みを補正できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である電子スチルカメラの主要構成を示すブロック図である。
【図２】手ぶれの方向と画像の歪み方との関係を示す図である。
【図３】図３（ａ）は画像歪み補正処理前の画像を示す図であり、図３（ｂ）は画像歪み補正処理後の画像を示す図である。
【図４】本発明の第２実施形態であるビデオカメラの主要構成を示すブロック図である。
【図５】動画像における水平歪みおよび水平方向の像ぶれを補正する処理を示す概念図である。
【図６】動画像における垂直歪みおよび垂直方向の像ぶれを補正する処理を示す概念図である。
【符号の説明】
１０電子スチルカメラ
１１ＣＭＯＳ撮像板
１６ＤＳＰ
１８バッファメモリ
２４水平手ぶれ検出部
５０ビデオカメラ
５２垂直手ぶれ検出部

Claims

撮像領域に２次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、前記水平ライン方向に関して前記画像を得るときの撮像素子上の被写体像の移動量を検出する水平移動量検出手段を備え、この水平移動量検出手段の出力結果に基づいて前記画像の歪みを補正する画像処理手段とを備えることを特徴とする画像歪み補正機能付き撮像装置。
前記撮像手段が、ＣＭＯＳイメージセンサを備えることを特徴とする請求項１に記載の画像歪み補正機能付き撮像装置。
前記水平ラインが並ぶ垂直方向に関して前記画像を得るときの撮像素子上の被写体像の相対移動量を検出する垂直移動量検出手段を備え、この垂直移動量検出手段の出力結果に基づいて前記画像の垂直方向長さを変更することにより、前記画像の歪みを補正することを特徴とする請求項１に記載の画像歪み補正機能付き撮像装置。
前記画像が連続して複数得られ、前記画像処理手段が、各画像から撮像領域よりも狭い領域を切り取って出力画像とし、前記領域が垂直移動量検出手段の出力結果に基づいて前記画像に対する前記領域の垂直位置を変更することにより、垂直方向の像ぶれを補正することを特徴とする請求項３に記載の画像歪み補正機能付き撮像装置。