JP2009010896A - 画像処理装置、画像処理方法、及び撮像装置 - Google Patents

Abstract

【課題】光学ズーム機能を用いて撮影倍率を変化させている間にも、３次元ノイズ低減処理機能や動きベクトル算出機能が有効に機能する画像処理装置を提供すること。
【解決手段】光学ズーム機能を有する撮像装置による撮影によって得られた画像信号がフレーム単位で入力される画像処理装置であって、第ｎ−１ノイズ低減後信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比をズーム倍率とした電子ズーム処理を施すことによって第ｎ−１電子ズーム後信号を得る電子ズーム部５０と；第ｎフレームの入力画像信号に対して、第ｎ−１電子ズーム後信号を用いた３次元ノイズ低減処理を施すことによって第ｎノイズ低減後信号を得る３次元ノイズ低減部３０と；を有することを特徴とする。
【選択図】図３

Description

本発明は、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法に関する。また、本発明は、そのような画像処理装置を有する撮像装置に関する。

近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置が広く普及しつつある。そして、このような撮像装置においては、ノイズ低減や手ぶれ補正などが重要な課題となる。そのため、この課題を解決するための各種発明がなされており、その一例を特許文献１に見ることができる。

特許文献１には、入力映像信号から検出した動きベクトルの有効／無効を判定し、この判定結果に基づいて動き補償を行った後に、時間的に連続する２つのフレームの信号を加算することによって時間的なローパスフィルタ（ＬＰＦ）を作用させ、ノイズを低減する、所謂３次元ノイズ低減処理を実行する信号処理装置が記載されている。
特開２００１−０４５３３５号公報

ところで、撮像装置においては、ＣＣＤとレンズの間の焦点距離を変化させることによって広角・望遠を切り替える、所謂光学ズーム機能を有するものが広く知られている。そして、この光学ズーム機能を用いて撮影倍率を変化させている間には、同じ被写体であっても、固体撮像素子によって撮影される被写体の大きさは、フレーム間で変化することとなる。

そのため、光学ズーム機能を用いて撮影倍率を変化させている間には、被写体の位置や大きさの違いによって、ノイズ以外の信号をノイズ検出することがある。そのため、３次元ノイズ低減処理が有効に働かないだけでなく、逆にノイズの増加を引き起こす場合もある。

また、同様の理由で、光学ズーム機能を用いて撮影倍率を変化させている間には、画像の動きを示す動きベクトルを正確に算出することができない。そのため、光学ズーム機能を用いて撮影倍率を変化させている間には、この動きベクトルを用いて行う圧縮符号化処理や手ぶれ補正処理などは有効に働かないだけでなく、逆に圧縮率の悪化や画像のブレなどを引き起こす場合もある。

したがって、従来の撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間には、３次元ノイズ低減処理機能や動きベクトル算出機能をＯＦＦにすることによって、この問題に対処せざるを得なかった。

上記の問題を鑑みて、本発明においては、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法であって、光学ズーム機能を用いて撮影倍率を変化させている間にも、３次元ノイズ低減処理機能や動きベクトル算出機能が有効に機能する画像処理装置及び画像処理方法を提供することを目的とする。また、本発明の他の目的は、そのような画像処理装置を有する撮像装置を提供することである。

本発明においては、光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号が、フレーム単位で入力される画像処理装置であって、第ｎ−１フレームの入力画像信号又は所定の処理が施された後の前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって、第ｎ−１電子ズーム後信号を得る倍率補正部と、第ｎフレームの入力画像信号と、前記倍率補正部で得られた前記第ｎ−１電子ズーム後信号との相対関係に基づく画像処理を施す画像処理部と、を有することを特徴とする。

このような画像処理装置において前記画像処理部は、前記第ｎフレームの入力画像信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する３次元ノイズ低減処理を施すことによって第ｎノイズ低減後信号を得るものであって、前記倍率補正部は、第ｎ−１ノイズ低減後信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第ｎ−１電子ズーム後信号を得るものであって、前記画像処理部は、前記第ｎフレームの入力画像信号に対して、前記第ｎ−１電子ズーム後信号を用いた前記３次元ノイズ低減処理を施すことによって前記第ｎノイズ低減後信号を得ることが望ましい。

又、前記倍率補正部は、前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第ｎ−１電子ズーム後信号を得るものであって、前記画像処理部は、前記第ｎフレームの入力画像信号と、前記第ｎ−１電子ズーム後信号とから、第ｎ動きベクトルを算出するものであることが望ましい。

そして、前記画像処理部で算出された前記第ｎ動きベクトルまでの動きベクトルから、第ｎ手ぶれ補正値を算出する手ぶれ補正値算出部と、前記第ｎフレームの入力画像信号に対して、前記第ｎ手ぶれ補正値を用いた手ぶれ補正処理を施すことによって第ｎ手ぶれ補正後信号を得る手ぶれ補正部と、を有することとしてもよい。

更に、前記第ｎ手ぶれ補正後信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する３次元ノイズ低減処理を施すことによって第ｎノイズ低減後信号を得る３次元ノイズ低減部と、第ｎ−１ノイズ低減後信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施した後に、前記第ｎ動きベクトル及び前記第ｎ手ぶれ補正値を用いた位置補正処理を施すことによって第ｎ−１位置補正後信号を得る位置補正部と、を有し、前記３次元ノイズ低減部は、前記第ｎ手ぶれ補正後信号に対して、前記第ｎ−１位置補正後信号を用いた前記３次元ノイズ低減処理を施すことによって前記第ｎノイズ低減後信号を得ることとしてもよい。

上述の各画像処理装置において、前記倍率補正部と、前記手ぶれ補正部とは同一の回路によって実現されることが望ましい。

本発明の撮像装置は、撮影被写体の画角設定を行う光学機構を備えるとともに、当該光学機構による光学ズーム機能を用いた撮影が可能な撮像部と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能を有する電子ズーム処理部を有する画像処理装置と、を備え、前記画像処理装置を、上述のいずれかの画像処理装置とするとともに、前記電子ズーム処理部を前記倍率補正部とする。

本発明の画像処理方法は、光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号に施す画像処理方法であって、第ｎ−１フレームの入力画像信号又は所定の処理が施された後の前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって第ｎ−１電子ズーム後信号を得る倍率補正ステップと、第ｎフレームの入力画像信号と、前記倍率補正ステップで得られた前記第ｎ−１電子ズーム後信号との相対関係に基づく画像処理を施す画像処理ステップと、を有することを特徴とする。

本発明の画像処理装置及び画像処理方法においては、第ｎフレームの入力画像信号と；第ｎ−１フレームの入力画像信号又は所定の処理が施された後の第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比をズーム倍率とした電子ズーム処理を施すことによって得られた第ｎ−１電子ズーム後信号と；の相対関係に基づく画像処理を行う。したがって、例えば、この画像処理を３次元ノイズ低減処理とした場合には、光学ズーム機能を用いて撮影倍率を変化させている間にも、時間的に連続する２つのフレームの位置合わせが行われることから、３次元ノイズ低減処理が有効に働くこととなる。

また、例えば、この画像処理を動きベクトル算出処理とした場合には、光学ズーム機能を用いて撮影倍率を変化させている間にも、時間的に連続する２つのフレームの位置合わせが行われることから、正確な動きベクトルを算出することができる。そして、この動きベクトルを用いた圧縮符号化処理や手ぶれ補正処理などを効果的に行うことができる。

また、本発明の画像処理装置においては、倍率補正部と、手ぶれ補正部とは同一の回路によって実現されるので、装置の大型化を防止することができる。

本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明における画像処理装置（以下では、「画像処理部」に含まれる）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、レンズと、被写体から入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子とを有し、アナログ信号である画像信号を出力する撮像部１と；撮像部１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と；外部から入力された音声を電気信号に変換するマイク３と；ＡＦＥ２からのデジタル信号となる画像信号に対してノイズ低減処理や手ぶれ補正処理を含む各種画像処理を施す画像処理部４と；マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と；画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と；圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と；ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と；伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ９と；伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と；音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ１１と；各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ（Timing Generator）１２と；撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と；各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と；ユーザからの指示が入力される操作部１５と；メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１６と；ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１７と；を備える。

この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、撮像部１が有する固体撮像素子の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、撮像部１では、ＴＧ１２からのタイミング制御信号が与えられることによって、固体撮像素子の水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部４に入力されると、ノイズ低減処理や手ぶれ補正処理などの各種画像処理が施される。なお、画像処理部４の詳細については後述する。

そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。また、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ９に与えられて、現在、撮像部１を通じて撮影されている被写体画像が表示される。

なお、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。また、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、撮像部１によって撮影されている現時点の画像に対する圧縮信号が外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、撮像部１によって撮影されている現時点の画像がディスプレイ９に表示され、ユーザが確認することができる。

このように撮像動作を行うとき、ＴＧ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、撮像部１による１フレームごとの撮像動作に同期した動作が行われる。また、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、ＴＧ１２より、撮像部１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。

また、外部メモリ２０に記録された動画または画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。また、圧縮信号が画像信号のみより成るときは、ディスプレイ９に画像のみが再生されることとなる。

次に、撮像部１の詳細について説明する。図２は、撮像部１の詳細を示すブロック図である。撮像部１は、被写体側に設けられたフォーカスレンズ１００１と；フォーカスレンズ１００１の内側に設けられたズームレンズ１００２と；ズームレンズ１００２の内側に設けられ、光量の調整を行うための絞り１００３と；絞り１００３の内側に設けられ、ＴＧ１２からのタイミング制御信号が与えられることによって水平走査及び垂直走査を行い、画素毎のデータとなる画像信号をＡＦＥ２に出力するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子１００４と；ＣＰＵ１３からの指令に応じてフォーカスレンズ１００１と、ズームレンズ１００２と、絞り１００３とを動作させるドライバ１００５と；を有している。

この撮像部１において、ＣＰＵ１３からドライバ１００５に光学ズーム指令がなされると、ドライバ１００５は、フォーカスレンズ１００１及びズームレンズ１００２を光軸方向に移動させることによってズーム倍率や焦点距離を調整することによって、ＣＰＵ１３からの指令に応じた光学ズームを実現する。具体的には、フォーカスレンズ１００１と、ズームレンズ１００２との距離を近づけたときに、光学ズーム倍率が低下し、遠ざけたときに光学ズーム倍率が上昇する。

（第１の実施形態）
次に、本発明の撮像装置の第１の実施形態について説明する。本実施形態の撮像装置は、画像処理部４に含まれるノイズ低減処理部にその特徴を有するものである。図３は、本実施形態の撮像装置の、画像処理部４に含まれるノイズ低減処理部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４のノイズ低減処理部の前段の画像処理を行う部分を示す。

ノイズ低減処理部は、外部及び電子ズーム部５０より信号が入力され、フレームメモリ４０及び後段に信号を出力する３次元ノイズ低減部３０と；３次元ノイズ低減部３０より信号が入力され、電子ズーム部５０に信号を出力するフレームメモリ４０と；フレームメモリ４０及びバス１７を介してＣＰＵ１３より信号が入力され、３次元ノイズ低減部３０に信号を出力する電子ズーム部５０と；を有する。

そして、３次元ノイズ低減部３０は、外部及び電子ズーム部５０より信号が入力され、乗算器３４に信号を出力するノイズ検出部３１と；外部及び電子ズーム部５０より信号が入力され、帰還係数検出部３３に信号を出力する動き検出部３２と；動き検出部３２より信号が入力され、乗算器３４に信号を出力する帰還係数検出部３３と；ノイズ検出部３１及び帰還係数検出部３３より信号が入力され、減算器３５に信号を出力する乗算器３４と；外部及び乗算器３４より信号が入力され、後段及びフレームメモリ４０に信号を出力する減算器３５と；を有している。なお、ここでの後段とは、図１の圧縮処理部６、あるいは画像処理部４のノイズ低減処理部の後段の画像処理を行う部分を示し、以下でも同様である。

ここで、３次元ノイズ低減部３０の動作の概略について説明する。まず、外部からの現フレームの信号が、ノイズ検出部３１、動き検出部３２、及び減算器３５に入力される。また、フレームメモリ４０からの現フレームの１フレーム前の信号が、電子ズーム部５０によって処理された後に、ノイズ検出部３１及び動き検出部３２に入力される。この電子ズーム部５０は、フレームメモリ４０のアドレス指定を行うことで、１フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ４０から読み出して、画素毎に演算処理を行う。なお、電子ズーム部５０における１フレーム前の信号の処理方法の詳細については後述する。すると、ノイズ検出部３１は、外部より入力された現フレームの信号と、電子ズーム部５０より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３４に出力する。

そして、次に、動き検出部３２が、外部より入力された現フレームの信号と、電子ズーム部５０より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３に出力する。すると、帰還係数検出部３３が、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３４に出力する。

そして、次に、乗算器３４が、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３５へ出力する。すると、減算器３５が、外部より入力された現フレームの信号から、乗算器３４より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号を後段及びフレームメモリ４０に出力する。

次に、ノイズ検出部３１の詳細について説明する。ノイズ検出部３１は、外部より入力された現フレームの信号から、電子ズーム部５０より入力された１フレーム前の信号を減算することによって得られた各画素の差分信号値ｘに対してノイズ検出値ｆ（ｘ）を算出し、これを乗算器３４に出力する。ここで、関数ｆ（ｘ）としては、例えば、以下の（１）式及び図４に示されるようなものが用いられる。

上記（１）式及び図４に示される関数ｆ（ｘ）は、各画素の差分信号値ｘの絶対値が閾値ｔｈを超える場合にはノイズ検出値ｆ（ｘ）を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。

次に、動き検出部３２の詳細について説明する。図５は、動き検出部３２の概略の構成を示すブロック図である。動き検出部３２は、外部及び電子ズーム部５０より信号が入力され、絶対値化部３２２に信号を出力する減算器３２１と；減算器３２１より信号が入力され、フィルタ部３２３に信号を出力する絶対値化部３２２と；絶対値化部３２２より信号が入力され、帰還係数検出部３３に信号を出力するフィルタ部３２３と；を有している。

ここで、動き検出部３２の動作の概略について説明する。まず、外部からの現フレームの信号と、電子ズーム部５０からの１フレーム前の信号とが減算器３２１に入力される。すると、減算器３２１は、外部より入力された現フレームの信号と、電子ズーム部５０より入力された１フレーム前の信号との差分を計算し、得られた差分信号を絶対値化部３２２に出力する。

そして、次に、絶対値化部３２２は、入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部３２３に出力する。すると、フィルタ部３２３は、入力された絶対値化信号に対してローパスフィルタをかけることによって得られた各画素の動き量を帰還係数検出部３３に出力する。ここで、フィルタ部３２３によってローパスフィルタをかけることによって、ノイズ信号と動きを示す信号との分離精度が高められる。

次に、帰還係数検出部３３の詳細について説明する。帰還係数検出部３３は、動き検出部３２より入力された各画素の動き量ｙに対して各画素の帰還係数ｋ＝ｇ（ｙ）を算出し、これを乗算器３４に出力する。ここで、関数ｇ（ｙ）としては、例えば、以下の（２）式及び図６に示されるようなものが用いられる。

上記（２）式及び図６に示される関数ｇ（ｙ）は、動き量ｙの増加に伴って一次関数的に帰還係数ｋが１から減少し、動き量ｙが閾値ｔｈＡ以上となると、帰還係数ｋが０となるものであり、これによって、動き量ｙの小さい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を大きくし、動き量ｙの大きい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を小さくしている。なお、この閾値ｔｈＡは、入力信号レベル及びノイズレベルに応じて決定することが望ましい。

次に、電子ズーム部５０の詳細について説明する。図７は、電子ズーム部５０の詳細を示すブロック図である。この電子ズーム部５０は、光学ズームによる高倍率撮影を行おうとする際の、光学系の複雑化や大型化などの問題の発生を防止し、かつ高倍率撮影を行うために、光学ズームの倍率を補う目的で備えられるものである。つまり、この電子ズーム部５０を用いることによって、撮像部１において（図２参照）、フォーカスレンズ１００１と、ズームレンズ１００２との距離の限界値に対応する倍率（光学ズーム倍率の限界値）より更に高倍率な撮影を行うことができる。

電子ズーム部５０は、バス１７を介してＣＰＵ１３から信号が入力され、各ブロックに制御信号を出力するタイミング信号発生回路５０１と；電子ズーム処理を行う対象となる、タイミング信号発生回路５０１より信号が入力され、フレームメモリ４０及び補間係数生成部５０４に信号を出力するアドレス計算部５０２と；フレームメモリ４０より信号が入力され、これを一時記憶した後に補間値生成部５０５に出力するリードバッファ５０３と；アドレス計算部５０２より信号が入力され、補間値生成部５０５に信号を出力する補間係数生成部５０４と；リードバッファ５０３及び補間係数生成部５０４より信号が入力され、ノイズ検出部３１及び動き検出部３２に信号を出力する補間値生成部５０５と；を有している。

次に、電子ズーム部５０による電子ズーム処理の動作の概略について説明する。電子ズーム部５０は、フレームメモリ４０より入力された信号に対して、バス１７を介してＣＰＵ１３から入力されたズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）に基づく電子ズーム処理を施し、得られた電子ズーム後信号をノイズ検出部３１及び動き検出部３２に出力するものである。

具体的には、電子ズーム部５０においては、まず、タイミング信号発生回路５０１に、バス１７を介してＣＰＵ１３より、ズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）が入力される。すると、タイミング信号発生回路５０１は、アドレス計算部５０２に、各座標（ｘ、ｙ）における電子ズーム処理後の信号値を求める指令を出力する。よって、アドレス計算部５０２は、座標（ｘ、ｙ）、ズーム倍率α、及び中心座標（Ｘｃ、Ｙｃ）から、以下の（３）式によって（Ｘａｄ、Ｙａｄ）を計算する。

そして、アドレス計算部５０２では、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値が記憶されているフレームメモリ４０のアドレスを計算し、このアドレスを表す値をフレームメモリ４０に出力する。また、Ｘａｄ及びＹａｄの各値を、補間係数生成部５０４に出力する。なお、ここで、[]はガウス記号であることとする。

アドレス計算部５０２で算出されたアドレスを表す値が与えられた、フレームメモリ４０は、記憶しているフレームにおける、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値をリードバッファ５０３に出力する。また、補間係数生成部５０４は、Ｘａｄ及びＹａｄの各値から、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）の各座標の信号値の重み係数を例えば線形補間法によって算出する。

そして、補間値生成部５０５は、リードバッファ５０３より入力された（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値を、補間係数生成部５０４より入力された重み係数によって重み付け加算し、得られた電子ズーム処理後の座標（ｘ、ｙ）の信号値をノイズ検出部３１及び動き検出部３２に出力する。

次に、この電子ズーム部５０の動作例について、図８を用いて説明する。ここで、図８（ａ）においては、電子ズーム部５０に入力される画像信号に対応する三角形ＰＱＲがｘ−ｙ座標とともに表され、図８（ｂ）においては、図８（ａ）の画像が電子ズーム部５０によって倍率α＝２、中心座標（Ｘｃ、Ｙｃ）＝（２、２）で電子ズーム処理された後の画像信号に対応する三角形Ｐ'Ｑ'Ｒ'がｘ−ｙ座標とともに表されている。ここで、点Ｐの座標は（１、１）、点Ｑの座標は（３、１）、点Ｒの座標は（１、３）、点Ｐ'の座標は（０、０）、点Ｑ'の座標は（４、０）、点Ｒ'の座標は（０、４）である。

ここで、この電子ズーム処理は、数３式に基づいてなされる。つまり、数３式において、α＝２、（Ｘｃ、Ｙｃ）＝（２、２）とした上で、（ｘ、ｙ）を点Ｐ'の座標に対応させて（０、０）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｐの座標に対応した（１、１）となる。また、（ｘ、ｙ）を点Ｑ'の座標に対応させて（４、０）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｑの座標に対応した（３、１）となる。そして、（ｘ、ｙ）を点Ｒ'の座標に対応させて（０、４）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｒの座標に対応した（１、３）となる。

次に、上記構成のノイズ低減処理部の各ブロックの動作タイミングの詳細について、図９及び図１０を用いて説明する。図９は、上記構成のノイズ低減処理部の各ブロックの動作タイミングを説明するためのブロック図であり、図１０は、上記構成のノイズ低減処理部の各ブロックの動作タイミングを説明するためのタイミングチャートである。なお、以下では、第ｎフレームの信号Ｆｎに対する３次元ノイズ低減処理を施す際の動作を例に挙げて説明する。

ここで、図９及び図１０においては、（Ａ）が、外部からの３次元ノイズ低減部３０への入力に対応し、（Ｂ）が、電子ズーム部５０からの３次元ノイズ低減部３０への入力に対応し、（Ｃ）が、電子ズーム部５０における電子ズーム処理の倍率に対応し、（Ｄ）が、３次元ノイズ低減部３０からの後段及びフレームメモリ４０への出力に対応する。また、図１０においては、外部より３次元ノイズ低減部３０に入力される第ｎフレームの信号をＦｎ、電子ズーム部５０より３次元ノイズ低減部３０に入力される、３次元ノイズ処理及び電子ズーム処理後の第ｎフレームの信号をＦＮＺｎ、３次元ノイズ低減部３０より後段及びフレームメモリ４０に出力される、３次元ノイズ低減処理後の第ｎフレームの信号をＦＮｎと表記している。そして、α_n、_n-1は、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比であることとする。

図９及び図１０に示す通り、３次元ノイズ低減部３０において、第ｎフレームの信号Ｆｎに対する３次元ノイズ低減処理を施す際には、第ｎ−１フレームの信号Ｆｎ−１に対する３次元ノイズ低減処理と同様に、まず、フレームメモリ４０より電子ズーム部５０に、１フレーム前の３次元ノイズ低減処理後の信号ＦＮｎ−１が入力される。そして、次に、電子ズーム部５０は、フレームメモリ４０より入力された信号ＦＮｎ−１に対して、倍率α＝α_n、_n-1で電子ズーム処理を施し、得られた信号ＦＮＺｎ−１を３次元ノイズ低減部３０に入力する。これによって、３次元ノイズ低減処理部３０には、信号Ｆｎと、信号ＦＮＺｎ−１とが同時に入力されることとなる。そして、次に、３次元ノイズ低減部３０は、電子ズーム部５０より入力された信号ＦＮＺｎ−１を用いて、外部より入力された信号Ｆｎに対して３次元ノイズ低減処理を施し、得られた信号ＦＮｎを、後段及びフレームメモリ４０に出力する。

なお、３次元ノイズ低減処理部３０に、信号Ｆｎ及び信号ＦＮＺｎ−１が同時に入力されるとは、各フレームの信号Ｆｎ，ＦＮＺｎ−１における同一画素位置の信号値が同時に入力されることである。即ち、電子ズーム部５０では、３次元ノイズ低減処理部３０に対して入力される信号Ｆｎの信号値と同一画素位置となる信号値が、信号Ｆｎの信号値と同時に３次元ノイズ低減処理部３０に出力されるように、タイミング信号発生回路５０１が、アドレス計算部５０２、リードバッファ５０３、補間計数生成部５０４、及び補間値生成部５０５それぞれの動作タイミングを制御する。また、３次元ノイズ低減処理部３０に、各フレームの信号Ｆｎ，ＦＮＺｎ−１における同一画素位置の信号値が同時に入力されるように同期させるために、電子ズーム部５０内において、補間値生成部５０５の後段に、３次元ノイズ低減処理部３０への出力タイミングを調整するバッファを備えるようにしても構わない。

上記構成のノイズ低減処理部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部５０によって電子ズーム処理を行うことによって、時間的に連続する２つのフレームの位置合わせを行うことから、３次元ノイズ低減処理が有効に働くこととなる。したがって、この動作を繰り返すことによって、十分にノイズが低減された画像を記録及び表示できることとなる。また、電子ズーム部５０を光学ズームの倍率を補う目的で備えている撮像装置であれば、電子ズーム部５０を共用できることから、装置が大型化することもない。

ここで、電子ズーム部５０における電子ズーム処理の倍率が１未満のとき、つまり、縮小処理を行う際について、図１１の例を用いて説明する。ここで、図１１（ａ）においては、電子ズーム部５０に入力される画像ｖが表され、図１１（ｂ）においては、図１１（ａ）の画像ｖが電子ズーム部５０によって倍率α＝０．７、中心座標＝画像ｖの中心座標で電子ズーム処理された後の画像ｖｘが表されている。

このとき、電子ズーム処理は縮小処理となるため、電子ズーム部５０は、縮小処理後の画像端部γの信号値を計算することができない。この場合には、電子ズーム部５０は、縮小処理後の画像端部γの信号値を表すビットを全て０又は１に統一する処理を行う。このような処理を行うと、縮小処理後の画像端部γの信号値は最大値（画像端部γの信号値を表すビットを全て１にした場合）又は最小値（画像端部γの信号値を表すビットを全て０にした場合）となる（図１１（ｂ）には、縮小処理後の画像端部γの信号値（濃度）を最大値とした例が示されている）。このようにしたとき、縮小処理後の信号値を計算できない画像端部γにおける、フレーム間の差分信号値ｘが非常に大きな値となることから、ノイズ検出部３１で得られるノイズ検出値ｆ（ｘ）及び帰還係数検出部３３で得られる帰還係数ｋがほぼ０となり、縮小処理後の信号値を計算できない画像端部γにおける３次元ノイズ低減処理は殆ど行われないため、縮小処理による悪影響は発生しない。

（第２の実施形態）
次に、本発明の撮像装置の第２の実施形態について説明する。本実施形態の撮像装置は、画像処理部４に含まれる動きベクトル検出部にその特徴を有するものである。図１２は、本実施形態の撮像装置の、画像処理部４に含まれる動きベクトル検出部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４の動きベクトル検出部の前段の画像処理を行う部分を示す。

動きベクトル検出部は、外部及び電子ズーム部５０より信号が入力され、動きベクトルを算出する動きベクトル算出部６０と；外部より信号が入力され、電子ズーム部５０に信号を出力するフレームメモリ７０と；フレームメモリ７０及びバス１７を介してＣＰＵ１３より信号が入力され、動きベクトル算出部６０に信号を出力する電子ズーム部５０（図７参照）と；を有する。

ここで、動きベクトル算出部６０の詳細について説明する。動きベクトル算出部６０は、代表点マッチング法によって、外部より入力された現フレームの信号（以下、非基準画像）と、電子ズーム部５０より入力された１フレーム前の信号（以下、基準画像）とから動きベクトルを算出する。また、第１の実施形態と同様、電子ズーム部５０は、フレームメモリ７０のアドレス指定を行うことで、１フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ７０から読み出して、画素毎に演算処理を行う。このとき、外部から入力されるフレームにおける画素位置と同一の画素位置の信号値が、動きベクトル算出部６０で処理されるように、電子ズーム部５０における演算処理の各動作タイミングが設定されている。

この連続する２フレームの信号が入力される動きベクトル算出部６０での演算処理において使用される、代表点マッチング法について、簡単に説明する。代表点マッチング法においては、基準画像及び非基準画像それぞれに対して、例えば、図１３に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図１４（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図１４（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。

このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。

このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動きベクトルが、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動きベクトルを平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動きベクトルとして検出する。

次に、動きベクトル検出部の動作タイミングの詳細について、図１５のタイミングチャートを用いて説明する。なお、以下では、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出する際の動作を例に挙げて説明する。

ここで、図１２及び図１５においては、（Ａ）が、外部からの動きベクトル算出部６０及びフレームメモリ７０への入力に対応し、（Ｂ）が、電子ズーム部５０からの動きベクトル算出部６０への入力に対応し、（Ｃ）が、電子ズーム部５０における電子ズーム処理の倍率に対応する。また、図１５においては、外部より動きベクトル算出部６０及びフレームメモリ７０に入力される第ｎフレームの信号をＦｎ、電子ズーム部５０より動きベクトル算出部６０に入力される、電子ズーム処理後の第ｎフレームの信号をＦＺｎ、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルをＶ_n、_n-1と表記している。そして、α_n、_n-1は、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比であることとする。

図１２及び図１５に示す通り、動きベクトル算出部６０において、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出する際には、まず、外部からの第ｎ−１フレームの信号Ｆｎ−１の入力が完了し、外部からの第ｎフレームの信号Ｆｎの入力が開始するまでの間のブランキング時間Ｂｎ−１において、フレームメモリ７０より電子ズーム部５０に、信号Ｆｎ−１が入力される。そして、次に、電子ズーム部５０は、ブランキング時間Ｂｎ−１中に、フレームメモリ７０より入力された信号Ｆｎ−１に対して、倍率α＝α_n、_n-1で電子ズーム処理を施し、得られた信号ＦＺｎ−１を動きベクトル算出部６０に入力する。これによって、ブランキング時間Ｂｎ−１後に、動きベクトル算出部６０には、信号Ｆｎと、信号ＦＺｎ−１とが同時に処理されることとなる。そして、次に、動きベクトル算出部６０は、外部より入力された信号Ｆｎと、電子ズーム部５０より入力された信号ＦＺｎ−１とから、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出する。

このように動作するとき、動きベクトル算出部６０では、ブランキング時間Ｂｎ−１中に電子ズーム部５０で電子ズーム処理が施された第ｎ−１フレームの信号ＦＺｎ−１について、不図示の代表点メモリで、その各小領域ｅにおける代表点Ｒ（図１４（ａ）参照）の信号値を一時的に記憶する。そして、ブランキング時間Ｂｎ−１後に、代表点メモリに記憶した第ｎ−１フレームの信号ＦＺｎ−１による各小領域ｅの代表点Ｒの信号値から、外部より入力される第ｎフレームの信号Ｆｎの信号値が属する小領域ｅと同一となる小領域ｅの代表点Ｒの信号値を、順番に読み出して、演算処理がなされる。

これにより、動きベクトル算出部６０において、小領域ｅ毎に、その代表点Ｒとなる信号ＦＺｎ−１の信号値と、サンプリング点Ｓとなる信号Ｆｎの信号値とに基づいて、その相関値を求めることとなる。よって、動きベクトル算出部６０では、信号Ｆｎが入力される期間において、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルをＶ_n、_n-1を算出することができる。

上記構成の動きベクトル検出部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部５０によって時間的に連続する２つのフレームの位置合わせを行うことから、正確な動きベクトルを算出することができる。したがって、この動作を繰り返すことによって、動きベクトルを用いた圧縮符号化処理や手ぶれ補正処理などを効果的に行うことができることとなる。また、電子ズーム部５０を光学ズームの倍率を補う目的で備えている撮像装置であれば、電子ズーム部５０を共用できることから、装置が大型化することもない。

ここで、電子ズーム部５０における電子ズーム処理の倍率が１未満のとき、つまり、縮小処理を行う際の動作は、第１の実施形態の電子ズーム部５０と同様である（図１１参照）。つまり、電子ズーム部５０は、縮小処理後の画像端部γの信号値を表すビットを全て０又は１に統一する処理を行う。このような処理を行うと、縮小処理後の画像端部γの信号値は最大値（画像端部γの信号値を表すビットを全て１にした場合）又は最小値（画像端部γの信号値を表すビットを全て０にした場合）となる（図１１（ｂ）には、縮小処理後の画像端部γの信号値（濃度）を最大値とした例が示されている）。このようにすることで、縮小処理後の信号値を計算できない画像端部γが動きベクトル算出に影響を与えることを防止することができる。

（第３の実施形態）
次に、本発明の撮像装置の第３の実施形態について説明する。本実施形態の撮像装置は、画像処理部４に含まれる手ぶれ補正部にその特徴を有するものである。図１６は、本実施形態の撮像装置の、画像処理部４に含まれる手ぶれ補正部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４の手ぶれ補正部の前段の画像処理を行う部分を示す。

手ぶれ補正部は、外部及び電子ズーム部１１０より信号が入力され、手ぶれ補正値算出部１２０に信号を出力する動きベクトル算出部６０と；外部より信号が入力され、電子ズーム部１１０に信号を出力するフレームメモリ１００と；フレームメモリ１００、手ぶれ補正値算出部１２０、及びバス１７を介してＣＰＵ１３より信号が入力され、動きベクトル算出部６０又は後段に信号を出力する電子ズーム部１１０と；動きベクトル算出部６０より信号が入力され、電子ズーム部１１０に信号を出力する手ぶれ補正値算出部１２０と；を有する。なお、ここでの後段とは、図１の圧縮処理部６、あるいは画像処理部４の手ぶれ補正部の後段の画像処理を行う部分を示し、以下でも同様である。

次に、電子ズーム部１１０の詳細について説明する。図１７は、電子ズーム部１１０の詳細を示すブロック図である。なお、電子ズーム部１１０は、一般的には、光学ズームによる高倍率撮影を行おうとする際の、光学系の複雑化や大型化などの問題の発生を防止し、かつ高倍率撮影を行うために、光学ズームの倍率を補う目的で備えられるものである。この電子ズーム部１１０は、後述するように、フレームメモリ１００のアドレス指定を行うことで、１フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ１００から読み出して、画素毎に演算処理を行う。

図１７に示すように、電子ズーム部１１０は、手ぶれ補正値算出部１２０及びバス１７を介してＣＰＵ１３から信号が入力され、各ブロックに制御信号を出力するタイミング信号発生回路１１０１と；タイミング信号発生回路１１０１より信号が入力され、フレームメモリ１００及び補間係数生成部１１０４に信号を出力するアドレス計算部１１０２と；フレームメモリ１００より信号が入力され、これを一時記憶した後に補間値生成部１１０５に出力するリードバッファ１１０３と；アドレス計算部１１０２より信号が入力され、補間値生成部１１０５に信号を出力する補間係数生成部１１０４と；リードバッファ１１０３及び補間係数生成部１１０４より信号が入力され、後段又は動きベクトル算出部６０に信号を出力する補間値生成部１１０５と；を有している。

次に、電子ズーム部１１０の動作の概略について説明する。電子ズーム部１１０は、フレームメモリ１００より入力された信号に対して、手ぶれ補正値算出部１２０より入力された座標補正値Ｐ＝（Ｐｘ、Ｐｙ）と、バス１７を介してＣＰＵ１３から入力されたズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）とに基づく位置補正処理を行い、得られた位置補正後信号を後段又は動きベクトル算出部６０に出力するものである。なお、ここで、Ｐｘは、ｘ軸方向の座標補正値であり、Ｐｙは、ｙ軸方向の座標補正値である。

具体的には、電子ズーム部１１０においては、まず、タイミング信号発生回路１１０１に、バス１７を介してＣＰＵ１３より、ズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）が入力され、また、手ぶれ補正値算出部１２０より、座標補正値Ｐ＝（Ｐｘ、Ｐｙ）が入力される。すると、タイミング信号発生回路１１０１は、アドレス計算部１１０２に、それぞれの座標（ｘ、ｙ）における位置補正処理後の信号値を求める指令を出力する。すると、アドレス計算部１１０２は、座標（ｘ、ｙ）、ズーム倍率α、中心座標（Ｘｃ、Ｙｃ）、及び座標補正値Ｐ＝（Ｐｘ、Ｐｙ）から、以下の（４）式によって（Ｘａｄ、Ｙａｄ）を計算する。

そして、アドレス計算部１００２では、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値が記憶されているフレームメモリ１００のアドレスを計算し、これをフレームメモリ１００に出力する。また、Ｘａｄ及びＹａｄの各値を、補間係数生成部１１０４に出力する。なお、ここで、[]はガウス記号であることとする。

アドレス計算部１００２で算出されたアドレスを表す値が与えられた、フレームメモリ１００は、記憶しているフレームにおける、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値をリードバッファ１１０３に出力する。また、補間係数生成部１１０４は、Ｘａｄ及びＹａｄの各値から、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）の各座標の信号値の重み係数を例えば線形補間法によって算出する。

そして、補間値生成部１１０５は、リードバッファ１１０３より入力された（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値を、補間係数生成部１１０４より入力された重み係数によって重み付け加算し、得られた位置補正後の座標（ｘ、ｙ）の信号値を後段又は動きベクトル算出部６０に出力する。

次に、手ぶれ補正値算出部１２０による座標補正値の算出方法について説明する。手ぶれ補正値算出部１２０は、動きベクトル算出部６０から入力された動きベクトルから、以下の（５）式によって、第ｎフレームの座標補正値Ｓｎを算出し、これを電子ズーム部１１０に出力するものである。

つまり、手ぶれ補正値算出部１２０は、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1から、それ以前に算出されたＮ個の動きベクトルの平均値を引くことによって、第ｎフレームの座標補正値Ｓｎを算出する。ここで、直近のＮ期の動きベクトルの平均値は、撮像装置の振れが手ぶれによるもののみである場合には、中心極限定理よりその期待値が（０、０）となるものであり、これを第ｎフレームとの間の動きベクトルＶ_n、_n-1から引くことによって、意図的に撮像装置が振られた場合に（パン、チルト）、その影響を座標補正値から除くことができる。

次に、手ぶれ補正部の動作タイミングの詳細について、図１８のタイミングチャートを用いて説明する。なお、以下では、外部からの第ｎ−１フレームの信号Ｆｎ−１に対して、第ｎ−１フレームの座標補正値Ｓｎ−１による手ぶれ補正を行う際の動作を例に挙げて説明する。

ここで、図１６及び図１８においては、（Ａ）が、外部からの動きベクトル算出部６０及びフレームメモリ１００への入力に対応し、（Ｂ）が、電子ズーム部１１０からの動きベクトル算出部６０又は後段への出力に対応し、（Ｃ）が、電子ズーム部１１０における位置補正処理の倍率に対応し、（Ｄ）が、手ブレ補正値算出部１２０より与えられる電子ズーム部１１０における位置補正処理の座標補正値に対応する。また、図１８においては、外部より動きベクトル算出部６０及びフレームメモリ１００に入力される第ｎフレームの信号をＦｎ、電子ズーム部１１０より動きベクトル算出部６０に入力される、位置補正処理後の第ｎフレームの信号をＦＺｎ、電子ズーム部１１０より後段に出力される、位置補正処理後の第ｎフレームの信号をＦＳｎ、動きベクトル算出部６０より手ぶれ補正値算出部１２０に入力される、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルをＶ_n、_n-1、手ぶれ補正値算出部１２０より電子ズーム部１１０に入力される、第ｎフレームの手ぶれ補正ベクトルをＳｎと表記している。そして、α_n、_n-1は、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比であることとする。

ここで、まず、外部からの第ｎ−１フレームの信号Ｆｎ−１の入力が完了し、外部からの第ｎフレームの信号Ｆｎの入力が開始するまでの間のブランキング時間Ｂｎ−１における、手ぶれ補正部の動作について説明する。手ぶれ補正部においては、ブランキング時間Ｂｎ−１において、第ｎ−２フレームと、第ｎ−１フレームとの間の動きベクトルＶ_n-1、_n-2が算出される。具体的には、まず、フレームメモリ１００より電子ズーム部１１０に、信号Ｆｎ−１が入力される。そして、次に、電子ズーム部１１０は、フレームメモリ１００より入力された信号Ｆｎ−１に対して、倍率α＝α_n、_n-1、座標補正値Ｐ＝（Ｐｘ、Ｐｙ）＝（０、０）による位置補正処理を施し、得られた信号ＦＺｎ−１を動きベクトル算出部６０に入力する。

この電子ズーム部１１０における演算処理は、正確な動きベクトルＶ_n、_n-1を求めるために、信号Ｆｎと、信号Ｆｎ−１との位置合わせを行うための電子ズーム処理である。そして、次に、動きベクトル算出部６０は、ブランキング時間Ｂｎ−１前に外部より入力された信号Ｆｎ−１と、ブランキング時間Ｂｎ−２中に電子ズーム部１１０より入力された信号ＦＺｎ−２とから、第ｎ−２フレームと、第ｎ−１フレームとの間の動きベクトルＶ_n-1、_n-2を算出し、これを手ぶれ補正値算出部１２０に入力する。

そして、次に、外部からの信号Ｆｎの入力中における、手ぶれ補正部の動作について説明する。手ぶれ補正部においては、外部からの信号Ｆｎの入力中に、位置補正処理後の第ｎ−１フレームの信号ＦＳｎ−１が得られる。具体的には、まず、手ぶれ補正値算出部１２０は、動きベクトル算出部６０で直前に算出された動きベクトルＶ_n-1、_n-2と、それ以前に入力された動きベクトルＶ_n-N-1、_n-N〜Ｖ_n-3、_n-2とを用いた、上述の（５）式の演算を行うことで、第ｎ−１フレームの座標補正値Ｓｎ−１を算出し、これを電子ズーム部１１０に入力する。そして、次に、電子ズーム部１１０は、フレームメモリ１００に記憶された信号Ｆｎ−１に対して、倍率α＝１、座標補正値Ｐ＝Ｓｎ−１による位置補正処理を施すことによって手ぶれ補正を行い、得られた位置補正処理後の第ｎ−１フレームの信号ＦＳｎ−１を後段に出力する。

このように動作するとき、動きベクトル算出部６０では、第２の実施形態と同様、ブランキング時間Ｂｎ−１中に電子ズーム部１００で電子ズーム処理が施された第ｎ−１フレームの信号ＦＺｎ−１について、不図示の代表点メモリで、その各小領域ｅにおける代表点Ｒ（図１４（ａ）参照）の信号値を一時的に記憶する。そして、ブランキング時間Ｂｎ−１後に、代表点メモリに記憶した第ｎ−１フレームの信号ＦＺｎ−１による各小領域ｅの代表点Ｒの信号値から、外部より入力される第ｎフレームの信号Ｆｎの信号値が属する小領域ｅと同一となる小領域ｅの代表点Ｒの信号値を、順番に読み出して、演算処理がなされる。

これにより、動きベクトル算出部６０において、小領域ｅ毎に、その代表点Ｒとなる信号ＦＺｎ−１の信号値と、サンプリング点Ｓとなる信号Ｆｎの信号値とに基づいて、その相関値を求めることとなる。よって、動きベクトル算出部６０では、信号Ｆｎが入力される期間において、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出することができる。

また、電子ズーム部１１０では、上述したように、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出した後に、第ｎ−１フレームの信号Ｆｎ−１に対して、手ぶれ補正値算出部１２０からの座標補正値Ｓｎ−１による位置補正処理を施す。よって、フレームメモリ１００だけの構成とするだけでなく、電子ズーム部１１０において、動きベクトル算出部６０に入力するための電子ズーム処理を行ってから、座標補正値Ｓｎ−１による位置補正処理を行うまで、第ｎ−１フレームの信号Ｆｎ−１を一時的に記憶するフレームメモリを備えるものとしても構わない。

上記構成の手ぶれ補正部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部１１０によって時間的に連続する２つのフレームの位置合わせを行うことから、正確な動きベクトルを算出することができ、これを用いた手ぶれ補正処理を効果的に行うことができることとなる。また、電子ズーム処理及び手ぶれ補正処理を共通の回路である電子ズーム部１１０において行うので、回路規模の増大を防止できることとなる。

（第４の実施形態）
次に、本発明の撮像装置の第４の実施形態について説明する。本実施形態の撮像装置は、画像処理部４に含まれる手ぶれ補正及びノイズ低減部にその特徴を有するものである。図１９は、本実施形態の撮像装置の、画像処理部４に含まれる手ぶれ補正及びノイズ低減部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４の手ぶれ補正及びノイズ低減部の前段の画像処理を行う部分のことを示す。

手ぶれ補正及びノイズ低減部は、外部及び電子ズーム部２１０より信号が入力され、手ぶれ補正値算出部１２０及び電子ズーム部２３０に信号を出力する動きベクトル算出部６０と；外部より信号が入力され、電子ズーム部２１０に信号を出力するフレームメモリ２００と；フレームメモリ２００、手ぶれ補正値算出部１２０、及びバス１７を介してＣＰＵ１３より信号が入力され、動きベクトル算出部６０又は３次元ノイズ低減部３０に信号を出力する、電子ズーム部１１０とその構成が等しい（図１７参照）電子ズーム部２１０と；動きベクトル算出部６０より信号が入力され、電子ズーム部２１０及び電子ズーム部２３０に信号を出力する手ぶれ補正値算出部１２０と；電子ズーム部２１０及び電子ズーム部２３０より信号が入力され、フレームメモリ２２０及び後段に信号を出力する３次元ノイズ低減部３０と；３次元ノイズ低減部３０より信号が入力され、電子ズーム部２３０に信号を出力するフレームメモリ２２０と；動きベクトル算出部６０、手ぶれ補正値算出部１２０、フレームメモリ２２０、及びバス１７を介してＣＰＵ１３より信号が入力され、３次元ノイズ低減部３０に信号を出力する、電子ズーム部１１０とその構成が等しい（図１７参照）電子ズーム部２３０と；を有する。なお、ここでの後段とは、図１の圧縮処理部６、あるいは画像処理部４の手ぶれ補正及びノイズ低減部の後段の画像処理を行う部分を示し、以下でも同様である。

なお、第３の実施形態と同様、電子ズーム部２１０は、フレームメモリ２００のアドレス指定を行うことで、１フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ２００から読み出して、画素毎に演算処理を行う。また、電子ズーム部２３０は、フレームメモリ２２０のアドレス指定を行うことで、１フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ２２０から読み出して、画素毎に演算処理を行う。

そして、電子ズーム部２１０では、外部から入力されるフレームにおける画素位置と同一の画素位置の信号値が、動きベクトル算出部６０で処理されるように、その演算処理の各動作タイミングが設定される。また、電子ズーム部２３０では、電子ズーム部２１０から入力されるフレームにおける画素位置と同一の画素位置の信号値が、３次元ノイズ低減部３０で処理されるように、その演算処理の各動作タイミングが設定される。

次に、手ぶれ補正及びノイズ低減部の動作タイミングの詳細について、図２０のタイミングチャートを用いて説明する。なお、以下では、外部からの第ｎ−１フレームの信号Ｆｎ−１に対する３次元ノイズ低減処理を行う際の動作を例に挙げて説明する。

ここで、図１９及び図２０においては、（Ａ）が、外部からの動きベクトル算出部６０及びフレームメモリ２００への入力に対応し、（Ｂ）が、電子ズーム部２１０からの動きベクトル算出部６０又は３次元ノイズ低減部３０への入力に対応し、（Ｃ）が、電子ズーム部２１０における位置補正処理の倍率に対応し、（Ｄ）が、手ブレ補正値算出部１２０より与えられる電子ズーム部２１０における位置補正処理の座標補正値に対応し、（Ｅ）が、電子ズーム部２３０からの３次元ノイズ低減部３０への入力に対応し、（Ｆ）が、電子ズーム部２３０における位置補正処理の倍率に対応し、（Ｇ）が、電子ズーム部２３０における位置補正処理の座標補正値に対応し、（Ｈ）が、３次元ノイズ低減処理部３０からの後段への出力に対応する。

また、図２０においては、外部より動きベクトル算出部６０及びフレームメモリ２００に入力される第ｎフレームの信号をＦｎ、電子ズーム部２１０より動きベクトル算出部６０に入力される、位置補正処理後の第ｎフレームの信号をＦＺｎ、電子ズーム部２１０より３次元ノイズ低減部３０に入力される、位置補正処理後の第ｎフレームの信号をＦＳｎ、動きベクトル算出部６０より手ぶれ補正値算出部１２０及び電子ズーム部２３０に入力される、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルをＶ_n、_n-1、手ぶれ補正値算出部１２０より電子ズーム部２１０及び電子ズーム部２３０に入力される、第ｎフレームの手ぶれ補正ベクトルをＳｎ、３次元ノイズ低減部３０よりフレームメモリ２２０及び後段に出力される、３次元ノイズ低減処理後の第ｎフレームの信号をＦＳＮｎ、電子ズーム部２３０より３次元ノイズ低減処理部３０に入力される、３次元ノイズ低減処理及び位置補正処理後の第ｎフレームの信号をＦＳＮＺｎと表記している。そして、α_n、_n-1は、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比であることとする。

ここで、まず、外部からの第ｎ−１フレームの信号Ｆｎ−１の入力が完了し、外部からの第ｎフレームの信号Ｆｎの入力が開始するまでの間のブランキング時間Ｂｎ−１における、手ぶれ補正及びノイズ低減部の動作について説明する。手ぶれ補正及びノイズ低減部においては、ブランキング時間Ｂｎ−１において、第ｎ−２フレームと、第ｎ−１フレームとの間の動きベクトルＶ_n-1、_n-2が算出される。具体的には、まず、フレームメモリ２００より電子ズーム部２１０に、信号Ｆｎ−１が入力される。そして、次に、電子ズーム部２１０は、フレームメモリ２００より入力された信号Ｆｎ−１に対して、倍率α＝α_n、_n-1、座標補正値Ｐ＝（Ｐｘ、Ｐｙ）＝（０、０）による位置補正処理を施し、得られた信号ＦＺｎ−１を動きベクトル算出部６０に入力する。

この電子ズーム部２１０における演算処理は、正確な動きベクトルＶ_n、_n-1を求めるために、信号Ｆｎと、信号Ｆｎ−１との位置合わせを行うための電子ズーム処理である。また、動きベクトル算出部６０は、ブランキング時間Ｂｎ−１前に外部より入力された信号Ｆｎ−１と、ブランキング時間Ｂｎ−２中に電子ズーム部２１０より入力された信号ＦＺｎ−２とから、第ｎ−２フレームと、第ｎ−１フレームとの間の動きベクトルＶ_n-1、_n-2を算出し、これを手ぶれ補正値算出部１２０に入力する。

このように動作するとき、動きベクトル算出部６０では、第２又は第３の実施形態と同様、ブランキング時間Ｂｎ−１中に電子ズーム部２１０で電子ズーム処理が施された第ｎ−１フレームの信号ＦＺｎ−１について、不図示の代表点メモリで、その各小領域ｅにおける代表点Ｒ（図１４（ａ）参照）の信号値を一時的に記憶する。そして、ブランキング時間Ｂｎ−１後に、代表点メモリに記憶した第ｎ−１フレームの信号ＦＺｎ−１による各小領域ｅの代表点Ｒの信号値から、外部より入力される第ｎフレームの信号Ｆｎの信号値が属する小領域ｅと同一となる小領域ｅの代表点Ｒの信号値を、順番に読み出して、演算処理がなされる。よって、動きベクトル算出部６０では、信号Ｆｎが入力される期間において、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出することができる。

そして、次に、外部からの信号Ｆｎの入力中における、手ぶれ補正及びノイズ低減部の動作について説明する。手ぶれ補正及びノイズ低減部においては、外部からの信号Ｆｎの入力中に、３次元ノイズ低減処理後の第ｎ−１フレームの信号ＦＳＮｎ−１が得られる。具体的には、まず、手ぶれ補正値算出部１２０は、それ以前に入力された動きベクトルから、第ｎ−１フレームの座標補正値Ｓｎ−１を算出し、これを電子ズーム部２１０に入力する。そして、次に、電子ズーム部２１０は、ブランキング時間Ｂｎ−１中にフレームメモリ２００より入力された信号Ｆｎ−１に対して、倍率α＝１、座標補正値Ｐ＝Ｓｎ−１による位置補正処理を施すことによって手ぶれ補正を行い、得られた位置補正処理後の第ｎ−１フレームの信号ＦＳｎ−１を３次元ノイズ低減部３０に入力する。

このように、電子ズーム部２１０では、上述したように、第ｎ−１フレームと、第ｎフレームとの間の動きベクトルＶ_n、_n-1を算出した後に、第ｎ−１フレームの信号Ｆｎ−１に対して、手ぶれ補正値算出部１２０からの座標補正値Ｓｎ−１による位置補正処理を施す。よって、電子ズーム部２１０において、動きベクトル算出部６０に入力するための電子ズーム処理を行ってから、３次元ノイズ低減部３０に入力するための座標補正値Ｓｎ−１による位置補正処理を行うまで、第ｎ−１フレームの信号Ｆｎ−１を一時的に記憶するフレームメモリを備えるものとしても構わない。

このようにして、位置補正処理後の第ｎ−１フレームの信号ＦＳｎ−１が３次元ノイズ低減部３０に入力されるとき、外部からの信号Ｆｎ−１の入力中に３次元ノイズ低減部３０よりフレームメモリ２２０に入力された３次元ノイズ低減処理後の第ｎ−２フレームの信号ＦＳＮｎ−２が、電子ズーム部２３０に入力される。そして、次に、電子ズーム部２３０は、フレームメモリ２２０より入力された信号ＦＳＮｎ−２に対して、倍率α＝α_n-1、_n-2、Ｐ＝Ｖ_n-1、_n-2−Ｓｎ−１による位置補正処理を施し、得られた３次元ノイズ低減処理及び位置補正処理後の第ｎ−２フレームの信号ＦＳＮＺｎ−２を３次元ノイズ低減部３０に入力する。

この電子ズーム部２３０における演算処理は、手ぶれ補正の影響及び動きベクトルの影響を考慮して、信号ＦＳｎ−１と、信号ＦＳＮｎ−２との位置あわせを行うための位置補正処理である。そして、次に、３次元ノイズ低減部３０は、電子ズーム部２３０より入力された信号ＦＳＮＺｎ−２を用いて、電子ズーム部２１０より入力された位置補正処理後の第ｎ−１フレームの信号ＦＳｎ−１に対する３次元ノイズ低減処理を施し、得られた３次元ノイズ低減処理後の第ｎ−１フレームの信号ＦＳＮｎ−１を後段及びフレームメモリ２２０に出力する。

上記構成の手ぶれ補正及びノイズ低減部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部２１０及び電子ズーム部２３０によって時間的に連続する２つのフレームの位置合わせを行うことから、正確な動きベクトルの算出、効果的な手ぶれ補正処理、効果的なノイズ低減処理を行うことができる。

なお、本発明は上記の実施形態に限定されず、本発明の主旨を逸脱しない範囲で種々の変更が可能である。例えば、撮像部１の構成は図２に示されるものに限定されず、光学ズーム機能を有するものであればどのような構成であってもかまわない。

本発明は、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法として有効である。また、本発明は、そのような画像処理装置を有する撮像装置として有効である。

撮像装置の内部構成を示すブロック図。 撮像部１の詳細を示すブロック図。 本発明の第１の実施形態に係る撮像装置の、画像処理部４に含まれるノイズ低減処理部の概略の構成を示すブロック図。 関数ｆ（ｘ）を示すグラフ。 ２次元ノイズ低減処理部３２の概略の構成を示すブロック図。 関数ｇ（ｙ）を示すグラフ。 電子ズーム部５０の詳細を示すブロック図。 電子ズーム部５０の動作例を示す説明図。 本発明の第１の実施形態に係る撮像装置の、画像処理部４に含まれるノイズ低減処理部の各ブロックの動作タイミングを説明するためのブロック図。 本発明の第１の実施形態に係る撮像装置の、画像処理部４に含まれるノイズ低減処理部の各ブロックの動作タイミングを説明するためのタイミングチャート。 電子ズーム部５０における縮小処理を示す説明図。 本発明の第２の実施形態に係る撮像装置の、画像処理部４に含まれる動きベクトル検出部の概略の構成を示すブロック図。 代表点マッチング法における検出領域の関係を示す図。 基準画像の代表点と非基準画像のサンプリング点との関係を示す図。 本発明の第２の実施形態に係る撮像装置の、画像処理部４に含まれる動きベクトル検出部の各ブロックの動作タイミングを説明するためのタイミングチャート。 本発明の第３の実施形態に係る撮像装置の、画像処理部４に含まれる手ぶれ補正部の概略の構成を示すブロック図。 電子ズーム部１１０の詳細を示すブロック図。 本発明の第３の実施形態に係る撮像装置の、画像処理部４に含まれる手ぶれ補正部の各ブロックの動作タイミングを説明するためのタイミングチャート。 本発明の第４の実施形態に係る撮像装置の、画像処理部４に含まれる手ぶれ補正及びノイズ低減部の概略の構成を示すブロック図。 本発明の第４の実施形態に係る撮像装置の、画像処理部４に含まれる手ぶれ補正及びノイズ低減部の各ブロックの動作タイミングを説明するためのタイミングチャート。

符号の説明

１ 撮像部
３０ ３次元ノイズ低減部（画像処理部）
５０ 電子ズーム部（倍率補正部）
６０ 動きベクトル算出部（画像処理部）
１１０ 電子ズーム部（倍率補正部、手ぶれ補正部）
１２０ 手ぶれ補正値算出部
２１０ 電子ズーム部（倍率補正部、手ぶれ補正部）
２３０ 電子ズーム部（位置補正部）

Claims (8)

1. 光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号が、フレーム単位で入力される画像処理装置であって、
   第ｎ−１フレームの入力画像信号又は所定の処理が施された後の前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって、第ｎ−１電子ズーム後信号を得る倍率補正部と、
   第ｎフレームの入力画像信号と、前記倍率補正部で得られた前記第ｎ−１電子ズーム後信号との相対関係に基づく画像処理を施す画像処理部と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理部は、前記第ｎフレームの入力画像信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する３次元ノイズ低減処理を施すことによって第ｎノイズ低減後信号を得るものであって、
   前記倍率補正部は、第ｎ−１ノイズ低減後信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第ｎ−１電子ズーム後信号を得るものであって、
   前記画像処理部は、前記第ｎフレームの入力画像信号に対して、前記第ｎ−１電子ズーム後信号を用いた前記３次元ノイズ低減処理を施すことによって前記第ｎノイズ低減後信号を得ることを特徴とする請求項１に記載の画像処理装置。
3. 前記倍率補正部は、前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第ｎ−１電子ズーム後信号を得るものであって、
   前記画像処理部は、前記第ｎフレームの入力画像信号と、前記第ｎ−１電子ズーム後信号とから、第ｎ動きベクトルを算出するものであることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理部で算出された前記第ｎ動きベクトルまでの動きベクトルから、第ｎ手ぶれ補正値を算出する手ぶれ補正値算出部と、
   前記第ｎフレームの入力画像信号に対して、前記第ｎ手ぶれ補正値を用いた手ぶれ補正処理を施すことによって第ｎ手ぶれ補正後信号を得る手ぶれ補正部と、
   を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記第ｎ手ぶれ補正後信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する３次元ノイズ低減処理を施すことによって第ｎノイズ低減後信号を得る３次元ノイズ低減部と、
   第ｎ−１ノイズ低減後信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施した後に、前記第ｎ動きベクトル及び前記第ｎ手ぶれ補正値を用いた位置補正処理を施すことによって第ｎ−１位置補正後信号を得る位置補正部と、
   を有し、
   前記３次元ノイズ低減部は、前記第ｎ手ぶれ補正後信号に対して、前記第ｎ−１位置補正後信号を用いた前記３次元ノイズ低減処理を施すことによって前記第ｎノイズ低減後信号を得ることを特徴とする請求項４に記載の画像処理装置。
6. 前記倍率補正部と、前記手ぶれ補正部とは同一の回路によって実現されることを特徴とする請求項４又は５に記載の画像処理装置。
7. 撮影被写体の画角設定を行う光学機構を備えるとともに、当該光学機構による光学ズーム機能を用いた撮影が可能な撮像部と、
   当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能を有する電子ズーム処理部を有する画像処理装置と、
   を備え、
   前記画像処理装置を、請求項１〜６のいずれかに記載の画像処理装置とするとともに、
   前記電子ズーム処理部を前記倍率補正部とすることを特徴とする撮像装置。
8. 光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号に施す画像処理方法であって、
   第ｎ−１フレームの入力画像信号又は所定の処理が施された後の前記第ｎ−１フレームの入力画像信号に対して、第ｎフレーム撮影時の光学ズーム倍率と、第ｎ−１フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって第ｎ−１電子ズーム後信号を得る倍率補正ステップと、
   第ｎフレームの入力画像信号と、前記倍率補正ステップで得られた前記第ｎ−１電子ズーム後信号との相対関係に基づく画像処理を施す画像処理ステップと、
   を有することを特徴とする画像処理方法。

Images