JP4473363B2 - Camera shake correction apparatus and correction method thereof - Google Patents
Camera shake correction apparatus and correction method thereof Download PDFInfo
- Publication number
- JP4473363B2 JP4473363B2 JP14578599A JP14578599A JP4473363B2 JP 4473363 B2 JP4473363 B2 JP 4473363B2 JP 14578599 A JP14578599 A JP 14578599A JP 14578599 A JP14578599 A JP 14578599A JP 4473363 B2 JP4473363 B2 JP 4473363B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- camera shake
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手振れ補正装置およびその補正方法に関し、特に、たとえば電子スチルカメラでの静止画撮影ように１コマの画像撮影時に生じた振れの補正に適用して好適なものである。
【０００２】
【従来の技術】
近年、電子スチルカメラには、小型軽量化とズーム機能を用いた撮像画像の高倍率化等の機能も搭載された製品が市販されている。この電子スチルカメラには、フィルム撮影のカメラの撮像領域に比べて撮像部の撮像面積が小さいことから、容易に高倍率化が可能で、倍率が６倍以上のズームレンズを搭載した機器もある。小さいながら、このような機能を有する電子スチルカメラは、従来の銀塩フィルムのカメラに対する魅力の一つになっている。
【０００３】
反面、このような電子スチルカメラは、小型軽量化されていることから、手振れを起こし易い。特に、電子スチルカメラを望遠側にした際に、手振れの影響を大きく受けることになる。手振れ対策として、高速撮影や固定撮影等の方法が考えられる。しかしながら、高速撮影は撮影画像に露光量の不足を招き易く、固定撮影にはカメラ以外に三脚を用意するといった煩わしさがある。これらの方法では高倍率ズームだけでなく、この他の露光量の不足等を生じる場合も含めて、電子スチルカメラによる撮影可能な状況が限られてしまう。
【０００４】
このような撮影状況であっても十分鑑賞に堪えられる画像を得るため、手振れ補正方式がビデオムービー用として提案されている。この手振れ補正方式には、大別して光学補正方式と電子補正方式がある。これらのいくつかを例示する。
【０００５】
特開平4-309078号公報のビデオデータの手振れ検出装置は、画面をマクロブロックに分割し、各マクロブロックの動きベクトルを検出し、動く物体と手振れとで異なる特性を利用して判定し、手振れ検出の精度を高めている。
【０００６】
特開平5-110931号公報の手振れ補正装置は、第１の画像記憶手段に先の撮像全体の画像データを記憶し、後の撮像全体の画像データと先の撮像全体の画像データとを動き検出手段で比較し、比較により画面の動きをなくすように得られる補正データを第２の画像記憶手段に記憶する。この記憶は、補正アドレス発生手段で第１の画像記憶手段から先の画像データを読み出す読出しアドレスと、第２の画像記憶手段に先の画像データを書き込む書込みアドレスの制御に応じて行う。これにより、撮像した画像の解像度の低下を防止している。
【０００７】
また、特開平6-22204 号公報の撮像装置の防振装置には、画像の振動分を平行移動させた際にこの移動分だけ画像端に欠けを生じることから、画像全体の拡大処理を行う。このような場合に切り出しサイズ制御手段により、記憶手段に記憶された画像情報から読み出す範囲が制御され、この切り出しサイズ制御手段の切り出しサイズに応じて画像情報を拡大するズーム倍率比が演算手段により演算され、切り出しサイズによるズーム倍率比と光学系のズーム倍率比とが比較手段により比較され、これら両者を相関付けて制御することで撮影中であっても防振装置の動作を円滑に行うことが記載されている。この防振装置は、レンズの光軸移動による補正を行う光学補正方式を用いることから、ムービーカメラ、電子スチルカメラの区別なく用いられる。
【０００８】
そして、特開平7-38799 号公報の手振れ補正装置は、通常使用する画素以上に画素数を備えた固体撮像装置を用い、固体撮像装置からの出力を基に映像信号処理手段で動き補正した映像信号を生成し、この生成した映像信号を固体撮像装置の画素数に一致させて、単位時間当りのデータ数も増加させないことから、これ以降に接続される装置の規模や消費電力の増大を防いでいる。
【０００９】
【発明が解決しようとする課題】
ところで、本発明では電子補正方式に着目していることから、特開平6-22204 号公報の撮像装置の防振装置は対象外とする。電子補正方式を提案しているのは、残る前述した３つの例である。特開平4-309078号公報のビデオデータの手振れ検出装置および特開平5-110931号公報の手振れ補正装置では、フレーム間の差から求めた動きベクトル等を補正量とし、特開平7-38799 号公報の手振れ補正装置ではフィールド間の差から補正ベクトルを求めて手振れを防いでいる。この電子補正方式は、ムービー用の手振れ補正であって、放送規格で規定されたある程度の時間的に幅をもった画像の動き補正を行っている。これは、動画に対する画像の細かさよりも運動の滑らかさやちらつき等が総合画質に影響する人間の特性を利用している。
【００１０】
ところが、電子スチルカメラのように静止画では、ユーザの要求に応じた時間で露光を行い１枚の静止画像を得ることになる。しかも静止画は、ムービーのように所定の時間毎に画像を切り換えて見せる場合と異なり、鑑賞時間は無関係である。したがって、鑑賞者は、細かい点にまで画質をチェックできるし、手振れ等のブレがあれば容易に見出すこともできる。このような静止画撮影における手振れ防止に関する提案はまだない。
【００１１】
本発明はこのような従来技術の欠点を解消し、静止画撮影で生じる手振れの補正を行うことのできる手振れ補正装置およびその補正方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正装置において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを格納する第１の記憶手段と、この第１の記憶手段からの画像データの供給先を選択する第１の選択手段と、この第１の選択手段を介して供給される画像データを格納するとともに、指示に応じて格納する画像データのアドレスを変位させる画像シフト手段と、画像データを格納する第２の記憶手段と、この第２の記憶手段からの画像データと第１の選択手段を介して供給される画像データのいずれかを選択する第２の選択手段と、第１の記憶手段からの画像データと第２の選択手段を介して供給される画像データとを所定の範囲にわたって一方の画像データをずらしながら、画像シフト手段に供給する指示に用いる両画像データ間のずれ量を検出するずれ検出手段と、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データを合成する画像合成手段と、この画像合成手段からの合成画像データの出力を制御する第３の選択手段と、第１、第２および第３の選択手段の選択を制御する制御手段とを含むことを特徴とする。
【００１３】
ここで、ずれ検出手段は、相関演算を行うとともに、この演算の最小値を算出した際のずれ分をずれ量にすることが好ましい。
【００１４】
画像合成手段は、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データの重なる範囲において画像データの平均を行うことが望ましい。
【００１５】
第１および第２の選択手段は、同一の切換信号により切り換えを行うとよい。
【００１６】
制御手段は、露光期間内に撮像信号を複数回に分けて読み出す駆動における１回の露光を1/100 秒以上にすることが好ましい。
【００１７】
ずれ検出手段は、一方の画像データをずらしを行う際のずらし検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００１８】
ずれ検出手段は、ずれ量を加速度により検知するセンサを用いてもよい。
【００１９】
本発明の手振れ補正装置は、第１の記憶手段からの画像データを制御手段から第１の選択手段に供給される切換信号で第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段でのずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けている。前者の画像データは読み出した画像データをそのまま用い、後者の画像データは、一方を読み出した画像データと第２の記憶手段からの画像データを組にする。ずれ検出手段は、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせる。この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力する。これにより、露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めている。
【００２０】
また、本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正方法において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを用意した第１の記憶手段に格納する第１の記憶工程と、この第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて第１の読出し画像データまたは第２の読出し画像データのいずれか一方の画像データを補正するとともに、この補正した画像データと第１の読出し画像データまたは第２の読出し画像データのいずれか他方の画像データを合成した画像データとを記憶する初期補正工程と、この初期補正工程で記憶した合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量の検出、この手振れ量の補正、両画像データの合成、および合成した画像データの記憶の補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返す補正反復工程と、この補正反復工程で得られた画像データの出力を選択する出力選択工程とを含むことを特徴とする。
【００２１】
ここで、初期補正工程は、第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データのとき、この第１の読出し画像データを演算用の一方の画像データとして供給するとともに、この画像データを用意した第２の記憶手段に格納する第１の選択処理工程と、この第１の選択処理工程により供給される第１の読出し画像データと、この第２の読出し画像データとを用いて手振れ量を検出する第１の検出工程と、露光期間内において第２の読出し画像データを第１の記憶手段に記憶する第２の記憶工程と、この第２の記憶工程で読み出す第２の読出し画像データを第１の選択処理工程の供給先と異なる供給先に切り換え、かつ一方の画像データとして供給される供給元を第２の記憶手段に変更する第２の選択処理工程と、第１の検出工程で検出した手振れ量に応じて第１の読出し画像データ、または第２の読出し画像データのいずれか一方の画像データを異なる供給先でずらす第１の画像シフト工程と、この第１の画像シフト工程を経た画像データと第１の選択処理で格納した画像データとを合成する第１の画像合成工程と、この第１の画像合成工程により得られた画像データを格納する第３の記憶工程とを含むことが好ましい。
【００２２】
補正反復工程は、合成した画像データと、第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量を検出する第２の検出工程と、第２の読出し画像データ以降に順次読み出される読出し画像データを第１の記憶手段に格納する第４の記憶工程と、この第４の記憶工程で格納した読出し画像データを読み出し、第２の検出工程で検出した手振れ量に応じてこの読出し画像データを異なる供給先でずらす第２の画像シフト工程と、この第２の画像シフト工程を経た画像データと第２の記憶手段に格納されている画像データとを合成する第２の画像合成工程と、この第２の画像合成工程により得られた画像データを格納する第５の記憶工程とを含む補正処理を行うことが望ましい。
【００２３】
第１および第２の検出工程は、供給される２つの画像データを用いて相関演算を行うとともに、画像データをずらしながら演算の最小値を算出し、その際に用いているずれ分を手振れ量にするとよい。
【００２４】
第１の画像合成工程は、第１の画像シフト工程で処理した画像データと第１の選択処理で格納した画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２５】
第２の画像合成工程は、第２の画像シフト工程で処理した画像データと第２の記憶手段に格納されている画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２６】
露光期間内に撮像信号は、複数回に分けて読み出すとともに、１回の露光を1/100 秒以上にすることが好ましい。
【００２７】
第１の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００２８】
第２の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが好ましい。
【００２９】
本発明の手振れ補正方法は、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を前記複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させている。
【００３０】
【発明の実施の形態】
次に添付図面を参照して本発明による手振れ補正装置およびその補正方法の実施例を詳細に説明する。
【００３１】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、タイミング発生部14、システム制御部16、絞り調節機構18、撮像部20、前処理部22、手振れ補正部24、信号処理部26、記録再生部28が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を調節する、ズーム機構や被写体との距離に応じてピント調節する、AF（Automatic Focus:自動焦点) 調節機構が含まれている。光学レンズ系12には、タイミング発生部14内で生成される駆動信号が供給される。
【００３２】
タイミング発生部14には、ディジタルスチルカメラ10のシステムクロックを発生させる発振器がある。タイミング発生部14には、システム制御部16から制御信号が供給される。タイミング発生部14は、供給される制御信号に応じて後述する各部に供給するタイミング信号を生成するタイミング信号生成部を有する。タイミング信号生成部は、生成したタイミング信号を各部に出力するとともに、内蔵する駆動信号生成部にも供給する。駆動信号生成部は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構18および撮像部20にも駆動信号をそれぞれ供給する。
【００３３】
システム制御部16は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部16には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部16は、たとえばユーザの操作に伴って供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部16は、生成した制御信号をタイミング発生部14、前処理部22、手振れ補正部24、信号処理部26、記録再生部28に供給する。
【００３４】
絞り調節機構18は、被写体の撮影において最適な入射光の光束を撮像部20に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構18にもタイミング発生部14から駆動信号が供給される。この駆動信号は、前述したシステム制御部16からの制御に応じて行う動作のための信号である。この場合、システム制御部16は、図示しないが、撮像部20で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構18には、この算出した値に対応する制御信号が供給されたタイミング発生部14から上述した駆動信号が供給される。
【００３５】
撮像部20は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、一体的に個々の撮像素子に対応して色分解する色フィルタCFが配設される。本実施例では単板方式の色フィルタを用いて撮像する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部20は、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、電子シャッタのオフ毎に前処理部22に出力する。撮像部20は、信号電荷の読出しを全画素読出しで行う方式を用いる。
【００３６】
前処理部22には、CDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部22a 、A/D 変換部22b 、およびガンマ補正部22c が備えられている。CDS 部22a は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生部14からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部22a は、ノイズ成分を除去してA/D 変換部22b に送る。A/D 変換部22b は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部22b は、タイミング発生部14から供給される変換クロック等のタイミング信号により変換したディジタル信号をガンマ補正部22c に出力する。ガンマ補正部22c は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを含む。このガンマ補正部22c もタイミング発生部14からのタイミング信号に応じて処理した補正データを手振れ補正部24に出力する。
【００３７】
手振れ補正部24には、図２に示すように、フレームメモリ24a, 24e、相関演算部24b 、アドレスシフト部24c 、合成部24d 、および切換スイッチSW1, SW2, SW3 が備えられている。フレームメモリ24a, 24eは、撮像部20の撮像した１画面分の画像データを格納可能なメモリである。特に、フレームメモリ24e は、記憶した画像データを繰り返して読み出すことが可能な非破壊タイプのメモリである。
【００３８】
相関演算部24b は、２つの画像を用いて、被写体の動きと手振れによる動きをそれぞれ検出する相関演算を行う回路を含む。この回路は、２つの画像に関してあらかじめ設定した手振れ検出範囲内の一方の位置に対して手振れの範囲を所定の範囲内に仮定しているので、この一方の位置とこの一方の位置から所定の範囲内で離れた他方の位置との値の差の絶対値を求める減算絶対値回路と、この差の絶対値の最小値を求める比較回路と、比較回路による最小値における所定の範囲内で離れた位置の値を記憶するメモリを有する。この減算絶対値は画素データの相関性を表している。そして、メモリに格納された符号を含む値は、手振れの補正量そのものを表す。
【００３９】
ここで、手振れ検出範囲は、たとえば、全画面における縦横のほぼ 1/3×1/3 の領域を用いる。この領域の例としてAFモードで測光に用いる領域と同じ領域を用いてもよい。このとき、相関演算はAFの演算と兼ねて算出してもよい。測定は厳密に画素毎に検出せずにとび飛びの間隔で画素の手振れに伴うずれ分を求めてもよい。このように設定して算出することにより計算時間を短時間で済ませることができる。
【００４０】
２つの画像は、読出し時間が相前後する画像データ、または実際に読み出した画像データと合成した画像データのいずれかを用いる。合成した画像データについては後段の動作説明でさらに詳述する。
【００４１】
なお、ディジタルスチルカメラ10の手振れ検出は、相関検出部24b に限定されるものでなく、加速度センサを相関演算部24b に代えて用い、このセンサで検出した値を手振れの量に換算し、手振れを打ち消すようにアドレスシフト部24c に補正量として供給し、画像データに対する手振れ補正を行ってもよい。加速度センサは、電子シャッタの各露光期間にセンサの値が得られればよいが、露光期間Ex中のセンサの値をフレーム数で割った平均値を用いる。
【００４２】
アドレスシフト部24c は、前述したフレームメモリ24a, 24eのメモリ容量よりも大きいメモリである。アドレスシフト部24c は、相関演算部24b からの手振れ量に対応してメモリのアドレス、たとえば画素の位置を表す（x,y ）を手振れによる移動分を補正するようにシフトさせる。このシフトに用いるメモリは、たとえば、退避用メモリを２つ設けて逐次的に移動させたり、またはメモリをマクロブロック分をまとめて移動させるように設けてもよい。また、アドレスシフト部24c は、アドレスカウント部も有する。アドレスカウント部には、たとえば、移動するアドレスをセットし、相関演算部24b のメモリから供給される値の符号に応じてセットしたアドレスに対するアップ／ダウンのカウントを行うカウント部がある。このカウント後のアドレスが移動先のアドレスに用いる。また、アドレスカウント部は所定の画像範囲を越えない限り移動先のアドレスをセットし供給される値分のカウントを行って新たな移動先のアドレスを求めていく。所定の画像範囲を越えると、画面の範囲を越えたものとしてこのデータは捨てられる。アドレスシフト部24c は、このような判断機能も有する。アドレスシフト部24c は、手振れを補正した画像として合成部24d にアドレス移動させた画像データを出力する。
【００４３】
合成部24d は、アドレスシフト部24c からの画像データとこの画像データの同じ位置に対応するフレームメモリ24e からの画像データとを加算平均する演算回路を含む。
【００４４】
切換スイッチSW1 は、端子a とフレームメモリ24a の出力端とを接続切換する。切換スイッチSW1 はフレームメモリ24a の出力を端子b と端子c のいずれかに切換信号16A に応じて切り換える。切換スイッチSW1 はフレームメモリ24a からの画像データの供給先を選択する。すなわち、切換スイッチSW1 の端子b は画像データを切換スイッチSW2 の端子a に供給するとともに、フレームメモリ24e にも供給する。切換スイッチSW1 の端子c は画像データをアドレスシフト部24c に供給する。
【００４５】
切換スイッチSW2 は、一方の供給元として切換スイッチSW1 の端子b と切換スイッチSW2 の端子a とを接続し、他方の供給元としてフレームメモリ24e の出力端と切換スイッチSW2 の端子b とを接続する。切換スイッチSW2 も切換信号16A により端子c を介して選択した供給元からの画像データを相関演算部24b に供給する。
【００４６】
切換スイッチSW3 は、フレームメモリ24e の出力を切換信号16B に応じて選択する出力選択スイッチである。前述した切換信号16B, 16Aはシステム制御部16により生成される。システム制御部16は、切換信号16A を露光期間を複数回の電子シャッタで分けた際に得られる画像データの最初とそれ以降かに応じて切り換える信号である。また、システム制御部16は、切換信号16B を、露光期間を複数回の電子シャッタで分けた際の最後の画像データに対する手振れ補正処理を完了してフレームメモリ24e に格納された画像データを読み出すタイミングに同期してオン状態にする。そして、システム制御部16は、この画像データの読出しの終了時にオフ状態にする切換信号16B を生成する。
【００４７】
再び図１に戻って信号処理部26を説明する。信号処理部26には、色分離部26a 、YC変換部26b 、および画像圧縮部26c が備えられている。色分離部26a は、手振れ補正部24からの画像データに含まれる色R, G, B をそれぞれ選択的に分けるとともに、他の色が占めている画素位置の色データを周囲から補間生成する機能を有する。色分離部26a には、補間生成用の演算機能が含まれる。色分離部24a は分離した色R, G, B を画面毎のプレーン画像データにしてYC変換部26b に供給する。
【００４８】
YC変換部26b は、色分離部26a から供給される画像データを基に輝度信号Y と色差信号Cr, Cbを生成する回路を有する。画像圧縮部26c は、供給される輝度信号Y と色差信号Cr, Cbの画像データに、たとえば、JPEG（Joint Photographic Experts Group）規格での圧縮を施す回路を含む。
【００４９】
記録再生部28には、画像圧縮部26c から供給される圧縮した画像データを記録媒体28a に記録する記録処理部と、記録媒体28a から記録した画像データを読み出す再生処理部とを含む。再生処理部では圧縮して記録した画像データを伸張する伸張回路も備える。記録媒体28a には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。記録再生部28に記録する画像領域は撮像部20の撮像領域より狭い。
【００５０】
なお、図２の手振れ補正部24において、フレームメモリ24e はこのメモリからの出力を合成部24d に入力させているが、アドレスシフト部24c に供給してもよい。アドレスシフト部24c がこのフレームメモリ24e からの画像データをシフトさせる場合、相関演算部24b の減算関係が逆になる。図示しないが合成部24d にはフレームメモリ24a からの画像データとアドレスシフト部24c からの画像データが供給される。合成部24d では、前述した構成と同じであり、供給される画像データの同じ位置における値の加算平均を算出してフレームメモリ24e に記憶させる。
【００５１】
次にディジタルスチルカメラ10における手振れ補正について図３のタイミングチャートを用いて説明する。ディジタルスチルカメラ10はこのカメラ10の操作スイッチを用いて手振れ補正モードにセットする。この設定は、システム制御部16に供給される。このモードは初期設定であらかじめ設定されるようにしておいてもよい。このモードにおいてAE測光した際に被写界に対して露光時間Exが設定される。この露光時間の情報もシステム制御部16に供給される。システム制御部16は、この情報を基に複数回の電子シャッタによる画像読出しを行う制御をタイミング発生部14に行う。また、１回の露光時間Exは、1/60秒よりも短い時間に設定する（Ex≪1/60秒）。したがって、たとえば、露光時間Exが1/60秒のとき、１フレームの画像を撮像する電子シャッタの露光時間をt とし、４枚の画像の撮像（Ex1 〜Ex4 ）を行う場合、露光時間t は1/240 秒となる（図3(a)を参照）。電子シャッタの速度は、1/100 秒以上が望ましい。スローシャッタの場合、露光時間Ex＝1/15秒の場合、1/100 秒以上を満たすように撮影すると８枚のフレームを撮影することになる。このとき、電子シャッタの露光時間t ＝1/120 秒である。システム制御部16は、このように露光時間Exと1/100 秒以上で電子シャッタを切る条件を満たす枚数n を割り出す。ムービーの場合、各変数は、露光時間Ex＝1/60秒、枚数n ＝1 である。
【００５２】
撮像部20の撮像素子により光電変換された信号電荷がタイミング発生部14から供給されるフィールドシフトパルスのタイミングで撮像部20から読み出される（図３(b) を参照）。露光開始時とほぼ同時に供給されるフィールドシフトパルスは、撮像部20にこれまで蓄積された信号電荷を不要電荷として廃棄するために供給する。各撮像による撮像信号、すなわち信号電荷は４つのフレーム画像1 〜フレーム画像4 （以下、フレームと称しF1〜F4という記号で略す）を出力する（図３(c) を参照）。
【００５３】
最初のフィールドシフトパルスによりフレームF1がフレームメモリ24a に読み出される。フレームメモリ24a はこの信号電荷の読出し期間中書込みイネーブル（WE）でレベルH にする。フレームF2〜F4までそれぞれのフレームメモリ24a の書込みイネーブル（WE）も、信号電荷の読出し期間中に一致させている（図３(d) を参照）。逆に、フレームメモリ24a のレベルL の期間は、画像データの読出しイネーブルを示す。
【００５４】
切換スイッチSW1 の切換信号16A は、システム制御部16で生成される。切換信号16A は、フレームメモリ24a の書込みイネーブルタイミングに同期し、最初のフレームF1とフレームF2の読み出し前に画像データの供給先を切り換えるように制御している。具体的に、切換スイッチSW1 が切換信号16A によって制御されることにより、フレームF1を端子b を介してフレームメモリ24e に書き込む。このことから、フレームメモリ24e の書込みイネーブルは、この場合フレームメモリ24a の読出しイネーブルの期間内に位置する。
【００５５】
次のフレームF2を読み出す前にシステム制御部16は、切換信号16A を供給して切換スイッチSW1 を端子c 側に切り換え、切換スイッチSW2 を端子b 側に切り換える（図３(e) を参照）。この切換操作の後、フレームF2がフィールドシフトパルスの印加により読み出される。この読み出されたフレームF2は、フレームメモリ24a に書き込まれるとともに、相関演算部24b に供給される。相関演算部24b には、フレームメモリ24e から読み出したフレームF1が切換スイッチSW2 を介して供給される。フレームメモリ24e は図３(c) の読出し速度と同じになるように読出し制御を受ける。これにより、相関演算部24b にはフレームF1, F2が供給される。
【００５６】
フレームF1の画素をgn(x, y)で表すと、次のフレームF2の画素はgn+1(x, y)で表される。各フレームには、図４(a) に示す関係から(pq)個の画像データが含まれる。このフレームにおいて手振れ検出を行う範囲は、図４(b) の破線40の画素(h, i)〜(j, k)の範囲である。この範囲は、前述したように、AFエリアを適用してもよく、画像領域の縦横に対し 1/3×1/3 程度の範囲を用いる。この領域を用いるのは、ピントの合っている要求の高い領域で行うことにより正確な合成が可能になるからである。
【００５７】
この領域内に時間経過したフレームに手振れ分が含まれていると考えて、手振れを起こした量にx, yの各方向に変数ξ, ηをとる。したがって、x-ξ, y-ηは、ずれた画素の位置を示す。また、ずれ量を表す変数ξ, ηは画素（x, y）での周囲で、たとえば、それぞれ、-d〜+dの画素範囲にわたって実際の手振れによる移動位置の検出を行う。すなわち、移動範囲の±d は動きベクトルの大きさを規定していることになる。この範囲は撮像部20の撮像領域と記録再生部28に記録する記録画像領域との差より狭く設定する。このように狭く動きベクトルの大きさを設定できるのは、静止画の手振れ補正をすることを目的としており、従来のような動きの絵柄を補正するものでないからである。これらの変数を用いて、式(1)
【００５８】
【数１】
により２つの画像データにおける差の絶対値の最小値e(ξ, η) を算出する（ξ＝ξm,η＝ηm ）。この値が小さいほど、２つの画素の相関が高いことを示す。得られる変数ξ, ηは手振れによる動きベクトルのx, y成分を表す。この相関は、同じ色点で算出することがよく、色G または輝度信号Y に相当するようなデータを用いるとよい。
【００５９】
相関演算を行った後に、フレームF2がアドレスシフト部24c に書き込まれる（図３(h) を参照）。アドレスシフト部24c には、相関演算部24b で算出された手振れを補正する量として変数ξ, ηが符号も含めて供給される。アドレスシフト部24c では変数ξ, ηの値分をアドレスシフト量として画像データをシフトさせる。アドレスシフト部24c の移動先のアドレスは移動するメモリのアドレスと変数ξ, ηの値に応じたカウントを行うことにより求める（図３(i) を参照）。このアドレスシフトは、フレームF1に対してフレームF2が重なるように画素を移動させることである（図４(c) を参照）。フレームF2に対するアドレスシフトを行って手振れ補正した画像データCF2 をアドレスシフト部24c から読み出す（図３(j) を参照）。この読出し期間と同様の期間中にフレームメモリ24e からフレームF1が合成部24d に読み出される。
【００６０】
合成部24d では、フレームF1と画像データCF2 とを合成する（図３(k) を参照）。ここで、フレームF1の画素の値をgn(x, y)とし、画像データCF2 の画素の値をgn+1(x- ξm, y- ηm)とする。この２つの画素の加算平均し、合成した画素g0(x, y)は、式(2)
【００６１】
【数２】
により得られる。このように合成した画像データf2は、図３(f) に示す書き込みイネーブル期間にフレームメモリ24e に格納する。この処理までが、初期補正工程である。
【００６２】
これ以後、相関演算は、フレームメモリ24e から供給される画像データf2とフレームF3を用いて行われる。この手順は前述した手順に同じで、式(1) から得られた手振れ補正に応じてフレームF3に対してアドレスシフトさせて手振れ補正した画像データCF3 を生成する。合成部24d で、画像データCF3 とフレームメモリ24e からの画像データf2とを式(2) に基づいて合成処理を行う。この合成処理により画像データf3が得られる。本実施例では、さらに、この手順を１回繰り返すと画像データf4が得られる。画像データf4は、フレームメモリ24e に一時格納した後、読み出す。この際、フレームメモリ24e にシステム制御部16の電子シャッタを切る回数４回に対応した回数の書き込みが行われたことをシステム制御部16は確認する。この確認後、システム制御部16ではフレームメモリ24e の読み出しに同期した切換スイッチSW3 の動作を可能にするように切換信号16B を生成する（図３(l) を参照）。切換スイッチSW3 は、切換信号16B の供給により手振れ補正部24の出力として画像データf4を出力する。画像データf4は、図４(d) に示す新規の画像データとして出力する。ただし、画像データf4は、変数の設定範囲±d で誤差を含む。実際、電子シャッタで画像を複数に振り分けて、個々の撮像を高速シャッタで切られることからを手振れ量は、たとえば 3〜5 画素程度と小さいと推定している。また、このように本実施例では４フレームを加算平均しているので、得られる画像のS/N 比は41/2＝２倍向上させることができる。この関係は、一般的にフレーム枚数がn のときS/N 比が(n)1/2倍になることを示す。
【００６３】
また、このような画像におけるS/N 比の向上は、撮像部20の出力をn 倍に増幅し、ディジタル化した画像データの加算演算して1/n にしても実現させることができる。
【００６４】
以上のように構成することにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。これにより、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６５】
なお、静止画撮影する機能を搭載したムービーカメラにも適用でき、上述した効果を得ることは言うまでもない。
【００６６】
【発明の効果】
このように本発明の手振れ補正装置によれば、第１の記憶手段からの画像データを切換信号に応じて第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段ではずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けて、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせ、この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力して露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めことにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。そして、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６７】
また、本発明の手振れ補正方法によれば、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させて、これまでにない静止画撮影における手振れ補正を容易に実現させることができる。
【図面の簡単な説明】
【図１】本発明に係る手振れ補正装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】図１の手振れ補正部の概略的な構成を示すブロック図である。
【図３】図２の手振れ補正部の動作を説明するタイミングチャートである。
【図４】図３の動作を行う際の画像データのパラメータと画像の関係を説明する模式図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ系
14 タイミング発生部
16 システム制御部
18 絞り調節機構
20 撮像部
22 前処理部
24 手振れ補正部
26 信号処理部
28 記録再生部
24a フレームメモリ
24b 相関演算部
24c アドレスシフト部
24d 合成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera shake correction apparatus and a correction method thereof, and is particularly suitable for application to correction of camera shake that occurs during image shooting of a single frame, such as still image shooting with an electronic still camera.
[0002]
[Prior art]
In recent years, electronic still cameras are commercially available that are also equipped with functions such as reduction in size and weight and higher magnification of captured images using a zoom function. Some of these electronic still cameras have a zoom lens with a magnification of 6 times or more because the imaging area of the imaging unit is smaller than the imaging area of a film photography camera, so that the magnification can be easily increased. . Although it is small, an electronic still camera having such a function is one of the attractions of a conventional silver salt film camera.
[0003]
On the other hand, since such an electronic still camera is reduced in size and weight, it tends to cause camera shake. In particular, when the electronic still camera is set to the telephoto side, it is greatly affected by camera shake. As a camera shake countermeasure, methods such as high-speed shooting and fixed shooting can be considered. However, high-speed photography tends to cause a shortage of exposure in the photographed image, and fixed photography has the trouble of preparing a tripod in addition to the camera. In these methods, not only the high-power zoom but also other situations such as a shortage of exposure amount occur, the situation where photographing with an electronic still camera is possible is limited.
[0004]
In order to obtain an image that can be fully appreciated even in such a shooting situation, a camera shake correction method has been proposed for video movies. This camera shake correction method is roughly classified into an optical correction method and an electronic correction method. Some of these are illustrated.
[0005]
Japanese Patent Application Laid-Open No. 4-309078 discloses a video data camera shake detection device that divides a screen into macro blocks, detects a motion vector of each macro block, makes a judgment using different characteristics between moving objects and camera shake, The detection accuracy is increased.
[0006]
The camera shake correction apparatus disclosed in Japanese Patent Application Laid-Open No. 5-109931 stores image data of the entire previous imaging in the first image storage unit, and detects motion of the image data of the entire subsequent imaging and the image data of the entire previous imaging. The correction data obtained by the comparison by the means and eliminating the movement of the screen by the comparison is stored in the second image storage means. This storage is performed according to the control of the read address for reading the previous image data from the first image storage means by the correction address generation means and the write address for writing the previous image data to the second image storage means. This prevents a decrease in resolution of the captured image.
[0007]
Further, in the image stabilizer of the imaging device disclosed in Japanese Patent Application Laid-Open No. 6-22204, when the vibration of the image is translated, the image edge is chipped by the amount of the movement, so the entire image is enlarged. . In such a case, the range to be read from the image information stored in the storage unit is controlled by the cutout size control unit, and the zoom magnification ratio for enlarging the image information according to the cutout size of the cutout size control unit is calculated by the calculation unit. Then, the zoom magnification ratio according to the cut-out size and the zoom magnification ratio of the optical system are compared by the comparison means, and by controlling both of them in correlation, the image stabilizer can be operated smoothly even during shooting. Are listed. Since this vibration isolator uses an optical correction system that performs correction by moving the optical axis of the lens, it can be used without distinction between movie cameras and electronic still cameras.
[0008]
The image stabilization device disclosed in Japanese Patent Application Laid-Open No. 7-38799 uses a solid-state image pickup device having a number of pixels greater than ordinarily used pixels, and an image whose motion is corrected by a video signal processing unit based on an output from the solid-state image pickup device. Since the signal is generated and the generated video signal is matched with the number of pixels of the solid-state imaging device and the number of data per unit time is not increased, the increase in the scale and power consumption of devices connected thereafter is prevented. It is out.
[0009]
[Problems to be solved by the invention]
By the way, since the present invention focuses on the electronic correction method, the image stabilizer of the imaging device disclosed in Japanese Patent Application Laid-Open No. 6-22204 is excluded. The remaining three examples mentioned above propose the electronic correction method. In the video data camera shake detecting apparatus disclosed in Japanese Patent Laid-Open No. 4-309078 and the camera shake correcting apparatus disclosed in Japanese Patent Laid-Open No. 5-109931, a motion vector obtained from a difference between frames is used as a correction amount, and Japanese Patent Laid-Open No. 7-38799 is disclosed. In the camera shake correction apparatus, camera shake is prevented by obtaining a correction vector from a difference between fields. This electronic correction method is a camera shake correction for a movie, and performs motion correction of an image having a certain amount of time as defined by the broadcast standard. This utilizes human characteristics in which the smoothness of movement and flickering affect the overall image quality rather than the fineness of the image for a moving image.
[0010]
However, in the case of a still image like an electronic still camera, exposure is performed in a time according to a user's request to obtain one still image. Moreover, the viewing time is irrelevant, unlike a case where a still image is displayed by switching images every predetermined time like a movie. Therefore, the viewer can check the image quality up to a fine point, and can easily find out if there is a shake such as hand shake. There is still no proposal for preventing camera shake in such still image shooting.
[0011]
It is an object of the present invention to provide a camera shake correction apparatus and a correction method thereof that can eliminate such drawbacks of the prior art and correct camera shake that occurs in still image shooting.
[0012]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a camera shake correction apparatus that corrects the influence of camera shake that occurs in an image obtained when a scene is captured. The image data obtained from the driving is converted into digitized image data, and the first storage means for storing the image data and the image data from the first storage means A first selection unit that selects a supply destination of the image data, an image shift unit that stores the image data supplied through the first selection unit, and that displaces the address of the image data to be stored according to an instruction; Second storage means for storing image data; and second selection means for selecting either image data from the second storage means or image data supplied via the first selection means; Between the image data used for the instruction to supply the image shift means while shifting one image data of the image data from the first storage means and the image data supplied via the second selection means over a predetermined range A deviation detecting means for detecting the amount of deviation, an image synthesizing means for synthesizing image data respectively supplied from the image shifting means and the second storage means, and controlling the output of the synthesized image data from the image synthesizing means. It is characterized by including 3rd selection means and control means which controls selection of the 1st, 2nd and 3rd selection means.
[0013]
Here, it is preferable that the deviation detection means performs a correlation calculation and uses the deviation amount when the minimum value of this calculation is calculated as the deviation amount.
[0014]
The image synthesizing means preferably averages the image data in the overlapping range of the image data respectively supplied from the image shift means and the second storage means.
[0015]
The first and second selection means may be switched by the same switching signal.
[0016]
It is preferable that the control means makes one exposure in the driving for reading out the imaging signal divided into a plurality of times within the exposure period to 1/100 second or more.
[0017]
It is desirable that the shift detection means make the shift detection range when shifting one image data smaller than the difference between the image area of the image pickup and the record.
[0018]
The deviation detection means may use a sensor that detects the deviation amount by acceleration.
[0019]
The camera shake correction apparatus of the present invention selects either the second storage means or the image shift means by the switching signal supplied from the control means to the first selection means for the image data from the first storage means. The second selecting means also selects the image data to be supplied to the deviation detecting means in accordance with the switching signal from the control means, whereby the combination of image data used for deviation detection by the deviation detecting means is selected. This is divided into initial deviation detection and deviation detection after that. For the former image data, the read image data is used as it is, and for the latter image data, the read image data and the image data from the second storage means are paired. The deviation detecting means obtains a camera shake amount as a correction amount from the two supplied image data. The image shift means shifts the image data supplied via the first selection means based on the correction amount. The corrected image data and the image data from the second storage means are synthesized and stored again in the second storage means. After this correction process is repeated a predetermined number of times, the image signal from the second storage means is output via the third selection means. Thus, image data is obtained by correcting and synthesizing camera shake of each image data obtained in the exposure period.
[0020]
In addition, in order to solve the above-described problems, the present invention provides a camera shake correction method for correcting the influence of camera shake that occurs in an image obtained when a scene is photographed. Is read out in a plurality of times, a first storage step of converting the image signal obtained by this drive into digitized image data and storing this image data in a first storage means prepared; The image data stored in the first storage step is read out using the first read image data read first in the exposure period and the second read image data supplied after the first read image data. The amount of camera shake included in the image data is detected, and the image data of either the first read image data or the second read image data is corrected using the amount of camera shake. An initial correction step for storing the corrected image data and image data obtained by combining either the first read image data or the second read image data, and the combination stored in the initial correction step. Detection of a shake amount included in image data sequentially read using the image data and read image data after the second read image data, correction of the shake amount, synthesis of both image data, and storage of the synthesized image data A correction iterative process for performing the correction process and repeating the correction process of the sequentially stored image data and the supplied read image data up to a plurality of times, and an output selection process for selecting the output of the image data obtained in this correction iterative process; It is characterized by including.
[0021]
Here, in the initial correction step, when the image data stored in the first storage step is the first read image data read first within the exposure period, the first read image data is used as one image for calculation. The first selection processing step of supplying the image data as the data and storing the image data in the prepared second storage means, the first read image data supplied by the first selection processing step, and the second A first detection step for detecting the amount of camera shake using the read image data, a second storage step for storing the second read image data in the first storage means within the exposure period, and the second storage step. The second read image data read in the storage step is switched to a supply destination different from the supply destination of the first selection processing step, and the supply source supplied as one image data is changed to the second storage means. A first image shift that shifts image data of either the first read image data or the second read image data at different supply destinations according to the amount of camera shake detected in the selection processing step and the first detection step A first image synthesizing step for synthesizing the image data having undergone the first image shifting step and the image data stored in the first selection process, and the image data obtained by the first image synthesizing step It is preferable to include a third storage step for storing.
[0022]
The correction iteration step includes a second detection step for detecting a shake amount included in image data sequentially read using the synthesized image data and read image data after the second read image data, and a second read image. A fourth storage step for storing read image data sequentially read after the data in the first storage means, and a camera shake amount detected in the second detection step by reading the read image data stored in the fourth storage step In response to the second image shift step, the read image data is shifted at different supply destinations, and the image data that has been subjected to the second image shift step and the image data stored in the second storage means are combined. It is desirable to perform a correction process including the second image synthesis step and a fifth storage step for storing the image data obtained by the second image synthesis step.
[0023]
In the first and second detection steps, the correlation calculation is performed using the two supplied image data, the minimum value of the calculation is calculated while shifting the image data, and the amount of shift used at that time is calculated as a camera shake amount. It is good to.
[0024]
In the first image composition step, the image data processed in the first image shift step and the image data stored in the first selection processing are read out, and the image data is averaged in a range where both the image data overlap.
[0025]
The second image composition step reads the image data processed in the second image shift step and the image data stored in the second storage means, and averages the image data in the overlapping range of both image data. Good.
[0026]
It is preferable that the imaging signal is read out in a plurality of times during the exposure period and one exposure is set to 1/100 second or more.
[0027]
In the first detection step, it is desirable to make the detection range of the camera shake amount smaller than the difference between the image area of the image pickup and the record.
[0028]
In the second detection step, it is preferable that the detection range of the camera shake amount is made smaller than the difference between the image area of imaging and recording.
[0029]
According to the image stabilization method of the present invention, image data is read using first read image data read first within an exposure period and second read image data supplied after the first read image data. The amount of camera shake included in the image data is detected and corrected using the amount of camera shake, and the image data obtained by combining the two image data is stored. Thereafter, the combined image data and the read image after the second read image data are stored. By sequentially correcting the image data using the data, and outputting the image data obtained by combining the correction processing of the sequentially stored image data and the supplied read image data up to a plurality of times, the image data In addition to image stabilization, the S / N ratio of the image data is also improved by compositing.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of a camera shake correction device and a correction method thereof according to the present invention will be described in detail with reference to the accompanying drawings.
[0031]
A configuration of a digital still camera 10 according to an embodiment to which the present invention is applied is shown in FIG. 1 includes an optical lens system 12, a timing generation unit 14, a system control unit 16, an aperture adjustment mechanism 18, an imaging unit 20, a preprocessing unit 22, a camera shake correction unit 24, a signal processing unit 26, a recording A playback unit 28 is provided. Each of these parts will be described sequentially. The optical lens system 12 is configured by combining a plurality of optical lenses, for example. Although not shown, the optical lens system 12 adjusts the angle of view of the screen by adjusting the position where these optical lenses are arranged, and adjusts the focus according to the zoom mechanism and the distance to the subject. AF (Automatic Focus) Focus) adjustment mechanism is included. The optical lens system 12 is supplied with a drive signal generated in the timing generator 14.
[0032]
The timing generation unit 14 includes an oscillator that generates a system clock of the digital still camera 10. A control signal is supplied from the system control unit 16 to the timing generation unit 14. The timing generation unit 14 includes a timing signal generation unit that generates a timing signal to be supplied to each unit described later in accordance with the supplied control signal. The timing signal generation unit outputs the generated timing signal to each unit and also supplies it to a built-in drive signal generation unit. In addition to the zoom adjustment mechanism and AF adjustment mechanism of the optical lens system 12 described above, the drive signal generation unit supplies drive signals to the aperture adjustment mechanism 18 and the imaging unit 20, respectively.
[0033]
The system control unit 16 includes, for example, a CPU (Central Processing Unit). The system control unit 16 includes a ROM (Read Only Memory) in which the operation procedure of the digital still camera 10 is written. The system control unit 16 generates a control signal for controlling the operation of each unit using, for example, information supplied in accordance with a user operation and information on the ROM. The system control unit 16 supplies the generated control signal to the timing generation unit 14, the preprocessing unit 22, the camera shake correction unit 24, the signal processing unit 26, and the recording / playback unit 28.
[0034]
The aperture adjusting mechanism 18 is a mechanism that adjusts the incident light beam cross-sectional area (that is, the aperture opening area) so as to supply the imaging unit 20 with the optimal incident light beam in photographing the subject. A drive signal is also supplied from the timing generator 14 to the aperture adjusting mechanism 18. This drive signal is a signal for an operation performed in accordance with the control from the system control unit 16 described above. In this case, although not shown, the system control unit 16 calculates the aperture / exposure time as AE (Automatic Exposure) processing based on the signal charge photoelectrically converted by the imaging unit 20. The aperture adjustment mechanism 18 is supplied with the drive signal described above from the timing generator 14 to which the control signal corresponding to the calculated value is supplied.
[0035]
The imaging unit 20 arranges an imaging element for photoelectric conversion so that a plane orthogonal to the optical axis of the optical lens system 12 is formed. Further, on the incident light side of the image sensor, a color filter CF that performs color separation corresponding to each image sensor is provided. In this embodiment, imaging is performed using a single-plate color filter. There are CCD (Charge Coupled Device) and MOS (Metal Oxide Semiconductor) types as imaging devices. The imaging unit 20 outputs the signal charge obtained by photoelectric conversion according to the supplied drive signal as a predetermined timing to the preprocessing unit 22, for example, every time the electronic shutter is turned off. The imaging unit 20 uses a method of reading out signal charges by reading out all pixels.
[0036]
The preprocessing unit 22 includes a CDS (Correlated Double Sampling; hereinafter referred to as CDS) unit 22a, an A / D conversion unit 22b, and a gamma correction unit 22c. The CDS unit 22a uses, for example, a CCD type image pickup device, basically clamps various noises generated by the device with a timing signal from the timing generation unit 14, and holds a signal charge with the timing signal. It has a sample hold circuit. The CDS unit 22a removes the noise component and sends it to the A / D conversion unit 22b. The A / D converter 22b includes an A / D converter that quantizes the signal level of the supplied analog signal, ie, signal charge, with a predetermined quantization level and converts it into a digital signal. The A / D converter 22b outputs a digital signal converted by a timing signal such as a conversion clock supplied from the timing generator 14 to the gamma correction unit 22c. The gamma correction unit 22c includes a look-up table that is a collection of a plurality of data sets in which a digital signal supplied to a ROM (Read Only Memory) and correction data output corresponding to the digital signal are combined. The gamma correction unit 22c also outputs correction data processed according to the timing signal from the timing generation unit 14 to the camera shake correction unit 24.
[0037]
As shown in FIG. 2, the camera shake correction unit 24 includes frame memories 24a and 24e, a correlation calculation unit 24b, an address shift unit 24c, a synthesis unit 24d, and changeover switches SW1, SW2, and SW3. The frame memories 24a and 24e are memories that can store image data for one screen imaged by the imaging unit 20. In particular, the frame memory 24e is a non-destructive type memory capable of repeatedly reading stored image data.
[0038]
The correlation calculation unit 24b includes a circuit that performs correlation calculation for detecting the movement of the subject and the movement due to camera shake using the two images. Since this circuit assumes that a range of camera shake is within a predetermined range with respect to one position within a camera shake detection range set in advance for two images, this one position and a predetermined range from this one position. A subtraction absolute value circuit for obtaining the absolute value of the difference between the values at the other position apart from the other, a comparison circuit for obtaining the minimum value of the absolute value of the difference, and a distance within a predetermined range of the minimum value by the comparison circuit A memory for storing position values; This subtraction absolute value represents the correlation of pixel data. The value including the code stored in the memory represents the camera shake correction amount itself.
[0039]
Here, the camera shake detection range uses, for example, an approximately 1/3 × 1/3 vertical and horizontal area on the entire screen. As an example of this area, the same area as that used for photometry in the AF mode may be used. At this time, the correlation calculation may be calculated together with the AF calculation. In the measurement, a deviation due to a camera shake of a pixel may be obtained at a skip interval without strictly detecting each pixel. By setting and calculating in this way, the calculation time can be shortened.
[0040]
The two images use either image data whose reading times are before and after, or image data synthesized with actually read image data. The combined image data will be described in more detail in the subsequent operation description.
[0041]
The camera shake detection of the digital still camera 10 is not limited to the correlation detection unit 24b, but an acceleration sensor is used in place of the correlation calculation unit 24b, and the value detected by this sensor is converted into the amount of camera shake. May be supplied to the address shift unit 24c as a correction amount so as to cancel out the image, and the camera shake correction for the image data may be performed. The acceleration sensor only needs to obtain the value of the sensor during each exposure period of the electronic shutter, but uses an average value obtained by dividing the value of the sensor during the exposure period Ex by the number of frames.
[0042]
The address shift unit 24c is a memory larger than the memory capacity of the frame memories 24a and 24e described above. The address shift unit 24c shifts the memory address, for example, (x, y) representing the position of the pixel, corresponding to the amount of camera shake from the correlation calculation unit 24b so as to correct the movement due to camera shake. The memory used for this shift may be provided, for example, by providing two evacuation memories and sequentially moving them, or by moving the memory collectively for the macroblocks. The address shift unit 24c also has an address count unit. The address counting unit includes, for example, a counting unit that sets a moving address and counts up / down with respect to the set address according to the sign of the value supplied from the memory of the correlation calculation unit 24b. The address after this count is used as the destination address. In addition, the address count unit sets a destination address and counts the supplied value to obtain a new destination address unless the predetermined image range is exceeded. When the predetermined image range is exceeded, this data is discarded as being beyond the screen range. The address shift unit 24c also has such a determination function. The address shift unit 24c outputs the image data whose address has been moved to the synthesis unit 24d as an image corrected for camera shake.
[0043]
The combining unit 24d includes an arithmetic circuit that adds and averages the image data from the address shift unit 24c and the image data from the frame memory 24e corresponding to the same position of the image data.
[0044]
The changeover switch SW1 switches the connection between the terminal a and the output end of the frame memory 24a. The changeover switch SW1 switches the output of the frame memory 24a to either the terminal b or the terminal c according to the change signal 16A. The changeover switch SW1 selects a supply destination of image data from the frame memory 24a. That is, the terminal b of the changeover switch SW1 supplies the image data to the terminal a of the changeover switch SW2 and also to the frame memory 24e. The terminal c of the changeover switch SW1 supplies the image data to the address shift unit 24c.
[0045]
The selector switch SW2 connects the terminal b of the selector switch SW1 and the terminal a of the selector switch SW2 as one supply source and the frame memory as the other supply source.24e Is connected to the terminal b of the selector switch SW2. The changeover switch SW2 also supplies image data from the supply source selected via the terminal c by the changeover signal 16A to the correlation calculation unit 24b.
[0046]
The changeover switch SW3 is an output selection switch for selecting the output of the frame memory 24e in accordance with the changeover signal 16B. The aforementioned switching signals 16B and 16A are generated by the system control unit 16. The system control unit 16 is a signal for switching the switching signal 16A according to whether the image data obtained when the exposure period is divided by a plurality of electronic shutters or after that. Further, the system control unit 16 completes the camera shake correction process for the last image data when the exposure period is divided by a plurality of electronic shutters, and reads the image data stored in the frame memory 24e. Synchronize with and turn on. Then, the system control unit 16 generates a switching signal 16B that is turned off at the end of the reading of the image data.
[0047]
Returning to FIG. 1 again, the signal processing unit 26 will be described. The signal processing unit 26 includes a color separation unit 26a, a YC conversion unit 26b, and an image compression unit 26c. The color separation unit 26a selectively separates the colors R, G, and B included in the image data from the camera shake correction unit 24, and interpolates and generates color data of pixel positions occupied by other colors from the surroundings. Have The color separation unit 26a includes a calculation function for interpolation generation. The color separation unit 24a supplies the separated colors R, G, and B as plain image data for each screen to the YC conversion unit 26b.
[0048]
The YC conversion unit 26b is a luminance signal Y and a color difference signal C based on the image data supplied from the color separation unit 26a.r, CbA circuit for generating The image compression unit 26c receives the supplied luminance signal Y and color difference signal C.r, CbFor example, a circuit for compressing the image data according to JPEG (Joint Photographic Experts Group) standard is included.
[0049]
The recording / playback unit 28 includes a recording processing unit that records the compressed image data supplied from the image compression unit 26c on the recording medium 28a, and a playback processing unit that reads the image data recorded from the recording medium 28a. The reproduction processing unit also includes a decompression circuit that decompresses the compressed and recorded image data. Examples of the recording medium 28a include a so-called smart media semiconductor memory, a magnetic disk, an optical disk, and the like. In the case of using a magnetic disk or an optical disk, there is a head for writing the image data together with a modulation unit that modulates the image data. The image area to be recorded in the recording / reproducing unit 28 is narrower than the imaging area of the imaging unit 20.
[0050]
In the camera shake correction unit 24 of FIG. 2, the frame memory 24e inputs the output from this memory to the synthesis unit 24d, but it may supply it to the address shift unit 24c. When the address shift unit 24c shifts the image data from the frame memory 24e, the subtraction relationship of the correlation calculation unit 24b is reversed. Although not shown, the image data from the frame memory 24a and the image data from the address shift unit 24c are supplied to the combining unit 24d. The synthesizer 24d has the same configuration as described above, and calculates an average of values at the same position of the supplied image data and stores it in the frame memory 24e.
[0051]
Next, camera shake correction in the digital still camera 10 will be described with reference to the timing chart of FIG. The digital still camera 10 is set to the camera shake correction mode using the operation switch of the camera 10. This setting is supplied to the system control unit 16. This mode may be set in advance as an initial setting. In this mode, the exposure time Ex is set for the object field when AE metering is performed. Information on the exposure time is also supplied to the system controller 16. Based on this information, the system control unit 16 controls the timing generation unit 14 to perform image readout by a plurality of electronic shutters. Also, the exposure time Ex for one time is set to a time shorter than 1/60 seconds (Ex << 1/60 seconds). Therefore, for example, when the exposure time Ex is 1/60 second,the imageWhen the exposure time of the electronic shutter to be imaged is t, and four images are captured (Ex1 to Ex4), the exposure time t is 1/240 seconds (see FIG. 3 (a)). The speed of the electronic shutter is preferably 1/100 second or more. In the case of the slow shutter, when the exposure time Ex = 1/15 seconds, if the image is taken to satisfy 1/100 seconds or more, 8 frames are taken. At this time, the exposure time t of electronic shutter is 1/120 seconds. In this way, the system control unit 16 determines the number of sheets n that satisfies the condition for releasing the electronic shutter at the exposure time Ex and 1/100 second or more. In the case of a movie, each variable has an exposure time Ex = 1/60 seconds and the number of sheets n = 1.
[0052]
The signal charge photoelectrically converted by the image pickup device of the image pickup unit 20 is read from the image pickup unit 20 at the timing of the field shift pulse supplied from the timing generation unit 14 (see FIG. 3B). The field shift pulse supplied almost simultaneously with the start of exposure is supplied to discard the signal charge accumulated so far in the imaging unit 20 as unnecessary charge. The imaging signals from each imaging, that is, signal charges, are output as four frame images 1 to 4 (hereinafter referred to as frames and abbreviated as F1 to F4) (see FIG. 3 (c)).).
[0053]
The frame F1 is read to the frame memory 24a by the first field shift pulse. The frame memory 24a is set to the level H by the write enable (WE) during the signal charge reading period. The write enable (WE) of each frame memory 24a from the frames F2 to F4 is also matched during the signal charge reading period (see FIG. 3D). Conversely, the level L period of the frame memory 24a indicates image data read enable.
[0054]
The switching signal 16A of the changeover switch SW1 is generated by the system control unit 16. The switching signal 16A is synchronized with the write enable timing of the frame memory 24a, and the first frame F1 and the frame F2Before readingControl is performed to switch the image data supply destination. Specifically, changeover switch SW1Is controlled by the switching signal 16AThe frame F1 is written to the frame memory 24e via the terminal b. From this, the write enable of the frame memory 24e is in this case the read enable period of the frame memory 24a.Located inTo do.
[0055]
Before reading the next frame F2, the system controller 16Supply switch signal 16A and switch SW1TheSwitch to the terminal c side and change the selector switch SW2 to the terminal b side (see Fig. 3 (e)). After this switching operation, the frame F2 is read by applying a field shift pulse. The read frame F2 is written to the frame memory 24a and supplied to the correlation calculation unit 24b. The correlation calculation unit 24b reads out from the frame memory 24e.Frame F1Is supplied via the change-over switch SW2. The frame memory 24e is subjected to read control so as to be the same as the read speed in FIG. As a result, the frames F1 and F2 are supplied to the correlation calculation unit 24b.
[0056]
G in frame F1nWhen represented by (x, y), the pixel of the next frame F2 is gn + 1It is represented by (x, y). Each frame includes (pq) pieces of image data because of the relationship shown in FIG. The range in which camera shake detection is performed in this frame is the range of pixels (h, i) to (j, k) indicated by the broken line 40 in FIG. As described above, the AF area may be applied as described above, and a range of about 1/3 × 1/3 with respect to the vertical and horizontal directions of the image area is used. The reason for using this region is that accurate synthesis is possible by performing in a highly demanded region that is in focus.
[0057]
Assuming that the amount of camera shake is included in the frame in which time has elapsed in this region, variables ξ and η are set in the x and y directions as the amount of camera shake. Therefore, x-ξ and y-η indicate the positions of the displaced pixels. Further, the variables ξ and η representing the deviation amounts are detected around the pixel (x, y), for example, the movement position by the actual camera shake over the pixel range of −d to + d. That is, ± d of the movement range defines the magnitude of the motion vector. This range is set to be narrower than the difference between the imaging area of the imaging unit 20 and the recorded image area recorded in the recording / reproducing unit 28. The reason why the size of the motion vector can be set in such a narrow manner is that the purpose is to correct camera shake of a still image, and it does not correct a motion pattern as in the prior art. Using these variables, equation (1)
[0058]
[Expression 1]
To calculate the minimum absolute value e (ξ, η) of the difference between the two image data (ξ = ξm, η = ηm ). The smaller this value, the higher the correlation between the two pixels. The obtained variables ξ and η represent the x and y components of the motion vector due to camera shake. This correlation is preferably calculated at the same color point, and data corresponding to the color G or the luminance signal Y may be used.
[0059]
Perform correlation calculationAfterThen, the frame F2 is written into the address shift unit 24c (see FIG. 3 (h)). Variables ξ and η including the sign are supplied to the address shift unit 24c as amounts for correcting the camera shake calculated by the correlation calculation unit 24b. The address shift unit 24c shifts the image data using the values of the variables ξ and η as the address shift amount. The destination address of the address shift unit 24c is obtained by counting according to the address of the memory to be moved and the values of the variables ξ and η (see FIG. 3 (i)). This address shift is to move the pixels so that the frame F2 overlaps the frame F1 (see FIG. 4C). Image data CF2 that has undergone address shift with respect to the frame F2 and is subjected to camera shake correction is read from the address shift unit 24c (see FIG. 3 (j)). During the same period as this reading period, the frame F1 is read from the frame memory 24e to the combining unit 24d.
[0060]
The synthesizer 24d synthesizes the frame F1 and the image data CF2 (see FIG. 3 (k)). Where g is the pixel value of frame F1n(x, y) and the pixel value of the image data CF2 is gn + 1(x-ξm, y- ηm). The average of these two pixels is averaged and synthesized pixel g0(x, y) is the expression (2)
[0061]
[Expression 2]
Is obtained. The combined image data f2 is stored in the frame memory 24e during the write enable period shown in FIG. Up to this processing is the initial correction process.
[0062]
Thereafter, the correlation calculation is performed using the image data f2 and the frame F3 supplied from the frame memory 24e. This procedure is the same as the procedure described above, and the image data CF3 is generated by correcting the camera shake by shifting the address with respect to the frame F3 in accordance with the camera shake correction obtained from the equation (1). The synthesizing unit 24d synthesizes the image data CF3 and the image data f2 from the frame memory 24e based on the equation (2). Image data f3 is obtained by this composition processing. In this embodiment, when this procedure is further repeated once, image data f4 is obtained. The image data f4 is read after being temporarily stored in the frame memory 24e. At this time, the system control unit 16 confirms that the number of times corresponding to the number of times the electronic shutter of the system control unit 16 is turned off is written in the frame memory 24e. After this confirmation, the system control unit 16 generates a switching signal 16B so as to enable the operation of the selector switch SW3 in synchronization with the reading of the frame memory 24e (see FIG. 3 (l)). The changeover switch SW3 outputs the image data f4 as the output of the camera shake correction unit 24 when the changeover signal 16B is supplied. The image data f4 is output as new image data shown in FIG. However, the image data f4 includes an error within a variable setting range ± d. Actually, the amount of camera shake is estimated to be as small as about 3 to 5 pixels, for example, because an image is divided into a plurality of images by an electronic shutter and individual imaging is cut by a high-speed shutter. Further, in this embodiment, since four frames are averaged, the S / N ratio of the obtained image is 41/2= 2 times higher. This relationship is generally expressed when the number of frames is n and the S / N ratio is (n)1/2Indicates to double.
[0063]
Further, the improvement of the S / N ratio in such an image can be realized by amplifying the output of the imaging unit 20 by n times and adding the digitized image data to 1 / n.
[0064]
By configuring as described above, the exposure time of one frame image data by the electronic shutter is shortened, so that the amount of camera shake can be reduced, the camera shake of each image data can be easily corrected, and the camera shake in a still image can be achieved. Correction can be performed. In addition, since these image data are obtained by averaging, it is possible to improve the S / N ratio more than image data obtained as image data captured within the exposure time. Accordingly, it is possible to provide a digital still camera that captures a blur-free image even when the slow shutter must be released.
[0065]
Needless to say, the present invention can be applied to a movie camera equipped with a function for taking a still image, and the above-described effects can be obtained.
[0066]
【The invention's effect】
As described above, according to the camera shake correction apparatus of the present invention, the image data from the first storage means selects either the second storage means or the image shift means according to the switching signal, and the second selection. The means also selects image data to be supplied to the deviation detection means in accordance with a switching signal from the control means, so that the deviation detection means determines the first deviation detection and the combination of image data used for deviation detection. The amount of camera shake is determined as a correction amount from the two pieces of supplied image data separately in the subsequent deviation detection. In the image shift means, the image data supplied via the first selection means is shifted based on the correction amount, and the corrected image data and the image data from the second storage means are synthesized and again stored in the second storage. Store in the means. After this correction process has been repeated a predetermined number of times, the image signal from the second storage means is output via the third selection means to correct and synthesize each image data obtained during the exposure period. By obtaining the image data, the exposure time of one frame image data by the electronic shutter is shortened, so that the amount of camera shake can be reduced, and the camera shake correction of individual image data can be facilitated. It can be performed. In addition, since these image data are obtained by averaging, it is possible to improve the S / N ratio more than image data obtained as image data captured within the exposure time. In addition, a digital still camera can be provided that captures a blur-free image even when the slow shutter must be released.
[0067]
Further, according to the camera shake correction method of the present invention, the first read image data read first as the image data in the exposure period and the second read image data supplied after the first read image data are obtained. The camera shake amount included in the read image data is detected and corrected using the camera shake amount, and the image data obtained by combining the two image data is stored. Thereafter, the combined image data and the second read image data are stored. By sequentially performing correction processing using the subsequent read image data and outputting the image data obtained by combining the correction processing of the sequentially stored image data and the supplied read image data up to a plurality of times, In addition to image stabilization of image data, the S / N ratio of the image data is also improved by compositing, which is unprecedented in image stabilization. Can be easily realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which a camera shake correction apparatus according to the present invention is applied.
2 is a block diagram illustrating a schematic configuration of a camera shake correction unit in FIG. 1; FIG.
FIG. 3 is a timing chart for explaining the operation of the camera shake correction unit in FIG. 2;
4 is a schematic diagram illustrating the relationship between image data parameters and an image when performing the operation of FIG. 3; FIG.
[Explanation of symbols]
10 Digital still camera
12 Optical lens system
14 Timing generator
16 System controller
18 Aperture adjustment mechanism
20 Imaging unit
22 Pre-processing section
24 Image stabilizer
26 Signal processor
28 Recording / playback section
24a frame memory
24b Correlation calculator
24c Address shift part
24d synthesis unit
Claims (5)
前記被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出す駆動に応じて得られた撮影信号を画像データに変換して、該画像データを格納する第１の記憶手段と、
第１の記憶手段からの画像データの供給先を切換信号によって端子bを選択する状態および端子cを選択する状態のいずれかに選択する第１の選択手段と、
第１の選択手段の前記端子cの選択に応じて供給される画像データを格納し、指示に応じて格納する画像データのアドレスを変位させる画像シフト手段と、
前記端子bの選択に応じて供給される画像データおよび合成した画像データのいずれかを格納する第２の記憶手段と、
前記端子bの選択に応じて供給される画像データと前記端子cの選択に応じて第２の記憶手段からの画像データのいずれかを入力として選択する第２の選択手段と、
前記撮影信号の画像データと第２の選択手段を介して供給される画像データとの両画像データ間のずれ量を、一方の画像データをずらしながら、所定の範囲にわたって相関演算し、演算の最小値を算出した際のずれ分で表わされるずれ量として検出するずれ検出手段と、
前記画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データを合成し、前記合成した画像データとして出力する画像合成手段と、
前記合成した画像データの出力を制御する第３の選択手段と、
第１、第２および第３の選択手段の選択を制御する制御手段とを含むことを特徴とする手振れ補正装置。In a camera shake correction apparatus that corrects the influence of camera shake that occurs in an image obtained when a scene is captured, the apparatus includes:
Wherein converting the captured signal obtained in response to the driving for reading a plurality of times of shooting signal in the exposure period in capturing the object scene to the image data, first memory means for storing the image data,
First selection means for selecting the supply destination of the image data from the first storage means to either the state of selecting the terminal b or the state of selecting the terminal c by a switching signal ;
Image shift means for storing image data supplied in response to the selection of the terminal c of the first selection means , and displacing the address of the image data to be stored in response to an instruction;
Second storage means for storing either the image data supplied in accordance with the selection of the terminal b or the synthesized image data ;
Second selection means for selecting as input either image data supplied in response to selection of the terminal b or image data from second storage means in response to selection of the terminal c ;
The correlation between the image data of the image signal and the image data supplied via the second selection means is correlated over a predetermined range while shifting one of the image data. A deviation detecting means for detecting a deviation amount represented by a deviation when the value is calculated ;
Image synthesizing means for synthesizing image data respectively supplied from the image shift means and the second storage means, and outputting the synthesized image data ;
Third selection means for controlling the output of the synthesized image data;
And a control unit that controls selection of the first, second, and third selection units.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14578599A JP4473363B2 (en) | 1999-05-26 | 1999-05-26 | Camera shake correction apparatus and correction method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14578599A JP4473363B2 (en) | 1999-05-26 | 1999-05-26 | Camera shake correction apparatus and correction method thereof |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007158370A Division JP2007274731A (en) | 2007-06-15 | 2007-06-15 | Camera shake correcting method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341577A JP2000341577A (en) | 2000-12-08 |
| JP4473363B2 true JP4473363B2 (en) | 2010-06-02 |
Family
ID=15393115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14578599A Expired - Fee Related JP4473363B2 (en) | 1999-05-26 | 1999-05-26 | Camera shake correction apparatus and correction method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4473363B2 (en) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5298396B2 (en) * | 2001-03-01 | 2013-09-25 | 株式会社ニコン | Electronic camera and image processing system |
| JP2002287198A (en) * | 2001-03-28 | 2002-10-03 | Tamron Co Ltd | Image stabilizing device for image pickup device |
| JP2002287197A (en) * | 2001-03-28 | 2002-10-03 | Tamron Co Ltd | Image stabilizing device for image pickup device |
| KR100477647B1 (en) | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | Motion correction apparatus for image and method thereof |
| US7295232B2 (en) | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
| JP2004229002A (en) * | 2003-01-23 | 2004-08-12 | Sony Corp | Image pickup device |
| EP1641246A4 (en) | 2003-06-17 | 2010-08-18 | Panasonic Corp | Information generating apparatus, image pickup apparatus and image pickup method |
| JP3867691B2 (en) * | 2003-07-15 | 2007-01-10 | ソニー株式会社 | Imaging device |
| JP2005244440A (en) * | 2004-02-25 | 2005-09-08 | Matsushita Electric Ind Co Ltd | Imaging apparatus, and imaging method |
| US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| JP4916095B2 (en) * | 2004-05-13 | 2012-04-11 | ソニー株式会社 | Solid-state imaging device and driving method of solid-state imaging device |
| JP2006140971A (en) | 2004-11-15 | 2006-06-01 | Canon Inc | Image processing apparatus and image processing method |
| JP4533119B2 (en) | 2004-12-13 | 2010-09-01 | キヤノン株式会社 | Imaging device and image display method of imaging device |
| WO2006103943A1 (en) * | 2005-03-28 | 2006-10-05 | Mitsubishi Denki Kabushiki Kaisha | Image pickup device |
| JP2008016876A (en) * | 2005-12-12 | 2008-01-24 | Mitsubishi Electric Corp | Imaging apparatus |
| JP4579098B2 (en) * | 2005-08-30 | 2010-11-10 | 三菱電機株式会社 | Imaging device |
| JP3959547B2 (en) | 2005-04-27 | 2007-08-15 | 三菱電機株式会社 | Image processing apparatus, image processing method, and information terminal apparatus |
| KR101086413B1 (en) | 2005-05-18 | 2011-11-25 | 삼성전자주식회사 | Method of controlling digital image processing apparatus wherein image shaking is corrected |
| JP4866147B2 (en) * | 2006-05-22 | 2012-02-01 | 株式会社リコー | Image shift detection method and apparatus, and image input apparatus |
| JP5137380B2 (en) * | 2006-11-07 | 2013-02-06 | キヤノン株式会社 | Blur correction apparatus and method |
| WO2008111169A1 (en) * | 2007-03-13 | 2008-09-18 | Fujitsu Microelectronics Limited | Image processing apparatus, method of image processing, image processing program and recording medium |
| US8035692B2 (en) | 2007-03-30 | 2011-10-11 | Fujifilm Corporation | Image taking apparatus which forms an image of a subject on an imaging device to create image data representative of the subject |
| JP4865648B2 (en) | 2007-07-02 | 2012-02-01 | 富士フイルム株式会社 | Imaging device |
| JP2009017043A (en) * | 2007-07-02 | 2009-01-22 | Fujifilm Corp | Photographic device |
| JP4860567B2 (en) | 2007-07-20 | 2012-01-25 | 富士フイルム株式会社 | Imaging device |
| JP5168319B2 (en) * | 2010-05-26 | 2013-03-21 | ソニー株式会社 | Solid-state imaging device and driving method of solid-state imaging device |
| TWI583195B (en) * | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
| JP6314477B2 (en) * | 2013-12-26 | 2018-04-25 | ソニー株式会社 | Electronic devices |
-
1999
- 1999-05-26 JP JP14578599A patent/JP4473363B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341577A (en) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4473363B2 (en) | Camera shake correction apparatus and correction method thereof | |
| US8451372B2 (en) | Photographing apparatus that adjusts shooting settings during shooting | |
| JP4662880B2 (en) | Imaging apparatus and imaging method | |
| US8305465B2 (en) | Image pick-up apparatus with a shake reducing function | |
| JP5347707B2 (en) | Imaging apparatus and imaging method | |
| JP4590183B2 (en) | Imaging apparatus and imaging method | |
| JP2009284394A (en) | Imaging apparatus and imaging method | |
| JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
| JP4605216B2 (en) | Imaging apparatus and imaging method | |
| JP2010178164A (en) | Imaging apparatus | |
| US20060197854A1 (en) | Image capturing apparatus and computer software product | |
| WO2010035752A1 (en) | Image generation device, imaging device, image reproduction device, and image reproduction program | |
| JP2007027845A (en) | Imaging apparatus | |
| JP4584544B2 (en) | Image reproducing device and solid-state imaging device | |
| JP2006033123A (en) | Image pickup device | |
| JP4033456B2 (en) | Digital camera | |
| JP2005269130A (en) | Imaging device with camera shake correcting function | |
| JP4865648B2 (en) | Imaging device | |
| JP2004328606A (en) | Imaging device | |
| JP2008182486A (en) | Photographing device, and image processing method | |
| JP2000295535A (en) | Solid-state image pickup device and photographing control method | |
| JP2019080261A (en) | Imaging apparatus | |
| JP2007274731A (en) | Camera shake correcting method | |
| JP4635076B2 (en) | Solid-state imaging device | |
| JP3697050B2 (en) | Imaging method and apparatus, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070816 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4473363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |