JP2005197862A - 画像処理装置 - Google Patents

Abstract

【課題】 補正限界に起因する使用に適さない画像データに代えて他の画像データに差し替えることにより、再生時の画像が不自然にならないようにする。
【解決手段】 手振れ検出部１１０は画像処理装置１００に加えられた振動を検出して振動量を出力する。手振れ補正量算出部１２０は振動の影響を打ち消すための補正量を算出する。使用可否判定部１３０は補正量に基づいて各フレームの画像データの使用可否を判定する。メモリ制御部１８０は使用可否判定部１３０によって使用しないと判定された画像データの代わりに使用すべき画像データを生成して、メモリ１７０に保持された画像データを差し替える。
【選択図】 図１

Description

本発明は、画像処理装置に関し、特に再生時に画像データを差し替える画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

携帯可能なビデオカメラが、一般的に使用されるようになってきている。このようなビデオカメラに用いられる固体撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）センサに代表される電荷転送型の固体撮像素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに代表されるＸ−Ｙアドレス型の固体撮像素子がある。

ＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さく、単一の低電圧で駆動され、周辺回路との一体化も容易であることから、ビデオカメラなどの画像処理装置に用いられることが検討されている。

しかしながら、ビデオカメラなどの画像処理装置の撮像素子としてＣＭＯＳセンサを用いて高画質な動画像や静止画像を記録することは困難であった。その理由の１つとして、手振れにより撮像される画像に歪みが発生してしまうことが挙げられる。画像処理装置の撮像素子として既に用いられているＣＣＤセンサの場合、手振れによる影響を低減させるための処理を実行する上で必要とされる手振れ補正量は、１フィールドまたは１フレーム内で得られた手振れ情報に基づいて算出された単一の値が用いられる。これは、全ての画素の露光期間が等しく、画像の歪みが生じないために、単一の値で手振れの補正ができるからである。

ＣＣＤセンサに対して、ＣＭＯＳセンサは以下のような仕組みにより被写体の画像を撮像し、処理するため、その画像には手振れによる歪みが生じる。その歪みは、以下のようにして生じると考えられる。

ＣＣＤセンサのような電荷転送型の固体撮像素子は、全画素を同時期に露光して、画素データを読み出すことが可能であるが、ＣＭＯＳセンサのようなＸ−Ｙアドレス型の固体撮像素子は、１画素単位あるいは１ライン単位で順番に読み出される。１画素単位で順次読み出すタイプの固体撮像素子であっても、ライン間の読み出し時間差に比べ、１ライン中の画素間の読み出し時間差は無視できるほど小さい。そこで、以下の議論では、図２２に示すように、ライン間の時間差のみを考える。

例えば、図２２（ａ）に示すように、全画素の読出し周期が１／Ｔ秒で、１画像がライン＃１乃至＃Ｎから構成されるようなＣＭＯＳセンサの場合を例に挙げて説明する。図２２（ｂ）を参照すると、ライン＃１の露光期間は、開始時刻が時刻ｔ１であり、終了時刻が時刻ｔ２である。ライン＃２の露光期間の終了時間は、時刻ｔ３であり、ライン＃３の露光期間の終了時間は、時刻ｔ４である。

時刻ｔ２と時刻ｔ３との時間差は、時間差Δｔであり、時刻ｔ３と時刻ｔ４の時間差は、時間差Δｔである。すなわち、露光期間は、１ライン毎に時間差が時間差Δｔだけ生じることになる。従って、画面の一番上のライン１と一番下のラインＮとでは、この場合、露光期間に１／Ｔ秒に近い時間差が発生することになる。このように、１画像を読み出す際、一番上のライン＃１と一番下のライン＃Ｎとで、露光期間にずれが生じる状況下で、手振れが生じた場合、このライン毎による露光期間の時間差により、被写体である物体の画像が変形してしまうという問題があった。

図２３を参照して、撮像された被写体の画像が変形するという問題について説明する。図２３は、画像１０の中央に被写体として静止した四角形２０が撮像される場合を例に挙げている。図２３の中央の図は、画像処理装置で被写体が撮像された際に手振れがなく、その結果、歪みがない正常な画像が撮像された状態を示しており、撮像された被写体は四角形２０として撮像されていることを示している。

図２３の右側の図は、被写体が撮像されたとき、画像処理装置に右側方向の手振れがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示している。同様に、図２３の左側の図は、被写体が撮像されたとき、画像処理装置に左側方向の手振れがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示している。図２３の上側の図は、被写体が撮像されたとき、画像処理装置に上側方向の手振れがあったために、上下方向に伸長された被写体の画像が撮像されてしまうことを示している。図２３の下側の図は、被写体が撮像されたとき、画像処理装置に下側方向の手振れがあったために、上下方向に収縮された被写体の画像が撮像されてしまうことを示している。

このように、ＣＭＯＳセンサでは、各ライン毎に露光期間のずれ（撮像のタイミングのずれ）が生じるため、１フィールドまたは１フレーム内で得られた手振れ情報に基づいて算出された単一の値で、手振れの補正を行うと、手振れの影響を完全に取ることはできず、結果として、ユーザに提供されうる画像が歪んだ画像となってしまうことが考えられる。

一方、ＣＭＯＳセンサはＣＣＤに比べて、より高速な画素データの読出しが可能であり、通常の１フィールド期間または１フレーム期間より短い期間で読み出すことによる新たな機能を提供できる。その一つとして高速撮像した画像データを、通常の１フィールド期間または１フレーム期間かけて描画するスローモーション再生が挙げられる。ここで、高速撮像する際には、通常撮像時に比べて一般に手振れの影響を受けにくいが、その一方で、手振れの影響を十分に抑制するには感度との関係上、シャッタースピードに制限が生じるという問題がある。

従来技術として、例えば、ＣＭＯＳセンサを固体撮像素子として用いた場合の画像の歪みを防止することを目的として、１フィールドまたは１フレームの画素を、１フィールド期間または１フレーム期間より短い期間で読出し、描画時は通常の１フィールド期間または１フレーム期間かけて描画するという固体撮像装置が提案されている（例えば、特許文献１参照。）。
特開平９−１８１９８６号公報（図１）

上述の従来技術では、１フィールドまたは１フレームの画素を、１フィールド期間または１フレーム期間より短い期間で読出し、描画時は通常の１フィールド期間または１フレーム期間かけて描画することにより、画像の歪みを防止している。しかしながら、この従来技術では、以下のような手振れ補正の補正限界について考慮されておらず、不自然な画像となるおそれがある。

図２４を参照して、手振れ補正の補正限界における問題について説明する。図２４は、水平方向と垂直方向に補正限界を迎えた場合の一例である。各ラインの手振れ補正量を考慮して手振れ補正を行う際の、メモリに保持しておいた画像データ領域と、補正後の画像データ領域の相対的な位置関係を示している。

図２４（ａ）では、メモリ上に確保された画像データ領域１１において、本来の画像２１を被写体としたところ、手振れが生じたことにより画像３１が保持された状態を示す。ここでは、水平方向の手振れ量が大きいために画像３１の片隅４１が画像データ領域１１から溢れ、補正をする際に画像データ領域１１におけるライン＃ｊ以降の画像データが足りなくなることを意味する。

同様に、図２４（ｂ）では、メモリ上に確保された画像データ領域１２において、本来の画像２２を被写体としたところ、手振れが生じたことにより画像３２が保持された状態を示す。ここでは、垂直方向の手振れ量が大きいために画像３２の片隅４２が画像データ領域１２から溢れ、補正をする際に画像データ領域１２におけるライン＃ｋ以降の画像データが足りなくなることを意味する。

このように、ＣＭＯＳセンサでは、補正限界を生じた場合、補正後の画像データが不足し、最終的に形成される画像が正しく形成されず、視覚的に著しく違和感を与える画像となってしまうという問題がある。

そこで、本発明は、補正限界に起因する使用に適さない画像データに代えて他の画像データに差し替えて再生を行うことを目的とする。

上記課題を解決するために本発明の請求項１記載の画像処理装置は、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を画像データとして保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動による上記撮像手段への影響を打ち消すための補正量を上記振動量に基づいて算出する補正量算出手段と、上記補正量に基づいて上記画像データの各々を使用するか否かを判定する使用可否判定手段と、上記使用可否判定手段によって使用しないと判定された画像データの代わりに使用すべき画像データを上記画像保持手段に保持された画像データから生成する差替対象生成手段と、上記使用しないと判定された画像データに代えて上記差替対象生成手段により生成された画像データに差替えて画像データを出力する画像データ差替手段とを具備する。これにより、補正量に基づいて「使用しない」と判定された画像データの代わりに使用すべき画像データを差替えて出力させるという作用をもたらす。

また、本発明の請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、上記撮像手段が、上記画像データ差替手段から出力される周期よりも短い周期で上記画像を描画するものである。すなわち、スローモーション再生を行う際に本発明の作用はより一層顕著になる。

また、本発明の請求項３記載の画像処理装置は、請求項１記載の画像処理装置において、上記撮像素子が二次元アドレスによりアクセスされるものである。すなわち、二次元アドレスによりアクセスされることによって、各ラインにおける露光時間に時間差を生じる場合に、本発明の作用はより一層顕著になる。

また、本発明の請求項４記載の画像処理装置は、請求項１記載の画像処理装置において、上記撮像素子がＣＭＯＳイメージセンサである。すなわち、ＣＭＯＳイメージセンサにおける各ラインで露光時間に時間差を生じる場合に、本発明の作用はより一層顕著になる。

また、本発明の請求項５記載の画像処理装置は、請求項１記載の画像処理装置において、上記使用可否判定手段が、上記画像保持手段における領域の範囲を保持する領域保持手段と、上記領域の範囲において上記補正量が不足する不足量をライン毎に算出する不足量算出手段と、上記不足量について所定の限界閾値を保持する範囲限界閾値保持手段と、上記不足量が上記限界閾値を超えたことをライン毎に検出する範囲限界閾値検出手段と、上記範囲限界閾値検出手段により検出されたラインを少なくとも一つ含む画像データについては当該画像データを使用しないと判定する判定手段とを具備する。これにより、不足量が限界閾値を超える画像データについて「使用しない」との判定を行うという作用をもたらす。

また、本発明の請求項６記載の画像処理装置は、請求項１記載の画像処理装置において、上記使用可否判定手段が、上記画像保持手段における領域の範囲を保持する領域保持手段と、上記領域の範囲において上記補正量が不足する不足量をライン毎に算出する不足量算出手段と、上記不足量について所定の予備閾値を保持する範囲予備閾値保持手段と、上記不足量が上記予備閾値を超えたことをライン毎に検出する範囲予備閾値検出手段と、上記範囲予備閾値検出手段により検出されたライン数を各画像データ毎に計数する計数手段と、上記範囲予備閾値検出手段による検出について所定のライン数閾値を保持するライン数閾値保持手段と、上記計数手段において計数されたライン数が上記ライン数閾値を超えたことを検出するライン数閾値検出手段と、上記ライン数閾値検出手段により上記ライン数閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段とを具備する。これにより、不足量が予備閾値を超えたラインが画像データ中にライン数閾値よりも多く含まれる場合、当該画像データについて「使用しない」との判定を行うという作用をもたらす。

また、本発明の請求項７記載の画像処理装置は、請求項１記載の画像処理装置において、上記使用可否判定手段が、上記画像保持手段における領域の範囲を保持する領域保持手段と、上記領域の範囲において上記補正量が不足する不足量をライン毎に算出する不足量算出手段と、上記不足量について所定の限界閾値を保持する範囲限界閾値保持手段と、上記不足量が上記限界閾値を超えたことをライン毎に検出する範囲限界閾値検出手段と、上記不足量について所定の予備閾値を保持する範囲予備閾値保持手段と、上記不足量が上記予備閾値を超えたことをライン毎に検出する範囲予備閾値検出手段と、上記範囲予備閾値検出手段により検出されたライン数を各画像データ毎に計数する計数手段と、上記範囲予備閾値検出手段による検出について所定のライン数閾値を保持するライン数閾値保持手段と、上記計数手段において計数されたライン数が上記ライン数閾値を超えたことを検出するライン数閾値検出手段と、上記範囲限界閾値検出手段により検出されたラインを少なくとも一つ含む画像データまたは上記ライン数閾値検出手段により上記ライン数閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段とを具備する。これにより、不足量が限界閾値を超える画像データの場合、または、不足量が予備閾値を超えたラインが画像データ中にライン数閾値よりも多く含まれる場合、これらの画像データについて「使用しない」との判定を行うという作用をもたらす。

また、本発明の請求項８記載の画像処理装置は、請求項１記載の画像処理装置において、上記使用可否判定手段は、上記補正量の画像データ毎の代表値を算出する代表値算出手段と、上記代表値の絶対値を算出する絶対値算出手段と、上記代表値の閾値を保持する代表値閾値保持手段と、上記代表値の絶対値が上記代表値の閾値を超えたことを検出する代表値閾値検出手段と、上記代表値閾値検出手段により上記代表値の閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段とを具備する。これにより、画像データの代表値の絶対値が代表値の閾値を超えた場合、当該画像データについて「使用しない」との判定を行うという作用をもたらす。

また、本発明の請求項９記載の画像処理装置は、請求項１記載の画像処理装置において、上記使用可否判定手段は、上記補正量の画像データ毎の代表値を算出する代表値算出手段と、上記代表値の絶対値を算出する第１の絶対値算出手段と、上記代表値の閾値を保持する代表値閾値保持手段と、上記代表値の絶対値が上記代表値の閾値を超えたことを検出する代表値閾値検出手段と、ある画像データについて直前の画像データからの変化量を算出する変化量算出手段と、上記変化量の絶対値を算出する第２の絶対値算出手段と、上記変化量の閾値を保持する変化量閾値保持手段と、上記変化量の絶対値が上記変化量の閾値を超えたことを検出する変化量閾値検出手段と、当該画像データについて上記代表値閾値検出手段により上記代表値の閾値を超えたことが検出された場合または当該画像データについて上記変化量閾値検出手段により上記変化量の閾値を超えたことが検出され且つ上記直前の画像データについては使用しないと判定されなかった場合、当該画像データを使用しないと判定する判定手段とを具備する。これにより、画像データの代表値の絶対値が代表値の閾値を超えた場合、または、画像データの代表値の変化量の絶対値が変化量の閾値を超えたことが検出され且つ直前の画像データについては「使用しない」と判定されなかった場合、当該画像データについて「使用しない」との判定を行うという作用をもたらす。

また、本発明の請求項１０記載の画像処理装置は、請求項１記載の画像処理装置において、上記差替対象生成手段が、上記使用しないと判定された画像データと時間的に近い画像データを上記使用すべき画像データとして選択するものである。これにより、使用しないと判定された画像データに代えて、使用しないと判定された画像データと時間的に近い画像データを差し替えるという作用をもたらす。

また、本発明の請求項１１記載の画像処理装置は、請求項１記載の画像処理装置において、上記差替対象生成手段が、上記使用しないと判定された画像データと相関の高い画像データを上記使用すべき画像データとして選択するものである。これにより、使用しないと判定された画像データに代えて、使用しないと判定された画像データと相関の高い画像データを差し替えるという作用をもたらす。

また、本発明の請求項１２記載の画像処理装置は、請求項１記載の画像処理装置において、上記差替対象生成手段が、上記使用しないと判定された画像データと時間的に前後する他の画像データから補間した画像データを上記使用すべき画像データとして生成するものである。これにより、使用しないと判定された画像データに代えて、使用しないと判定された画像データと時間的に前後する他の画像データから補間した画像データを差し替えるという作用をもたらす。

また、本発明の請求項１３記載の画像データ差替方法は、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を画像データとして保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動量に基づいて最終的に得られた補正量に基づいて上記画像保持手段に保持された上記画像データを補正する画像補正手段とを備える画像処理装置における画像データ差替方法であって、上記振動による上記撮像手段への影響を打ち消すための上記補正量を上記振動量に基づいて算出する手順と、上記補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する手順と、上記使用しないと判定された画像データの代わりに使用すべき画像データを上記画像保持手段に保持された画像データから生成する手順と、上記使用しないと判定された画像データに代えて上記生成された画像データに差替えて画像データを出力する手順とを具備する。これにより、補正量に基づいて「使用しない」と判定された画像データの代わりに使用すべき画像データを差替えて出力させるという作用をもたらす。

また、本発明の請求項１４記載のプログラムは、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を画像データとして保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動量に基づいて最終的に得られた補正量に基づいて上記画像保持手段に保持された上記画像データを補正する画像補正手段とを備える画像処理装置において、上記振動による上記撮像手段への影響を打ち消すための上記補正量を上記振動量に基づいて算出する手順と、上記補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する手順と、上記使用しないと判定された画像データの代わりに使用すべき画像データを上記画像保持手段に保持された画像データから生成する手順と、上記使用しないと判定された画像データに代えて上記生成された画像データに差替えて画像データを出力する手順とをコンピュータに実行させるものである。これにより、補正量に基づいて「使用しない」と判定された画像データの代わりに使用すべき画像データを差替えて出力させるという作用をもたらす。

本発明によれば、補正限界に起因する使用に適さない画像データに代えて他の画像データに差し替えることにより、再生時の画像が不自然にならないという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置１００の構成例を示す図である。この画像処理装置１００は、手振れ等の振動により画像に生じた影響を打ち消すための補正量を算出して各画像の使用可否を判定するために、手振れ検出部１１０と、手振れ補正量算出部１２０と、使用可否判定部１３０とを備えている。また、この画像処理装置１００は、画像を撮像するために、タイミング生成部１６１と、撮像素子１６２と、前処理部１６３と、信号処理部１６４とを備えている。さらに、この画像処理装置１００は、撮像された画像に対して補正を施すために、メモリ１７０と、メモリ制御部１８０と、画像補正部１９０とを備えている。

手振れ検出部１１０は、画像処理装置１００に加えられた振動を検出して振動量を出力する。手振れ検出部１１０は、角速度センサなどのセンサにより実現してもよく、また、画像処理等により実現してもよい。例えば、手振れ検出部１１０が角速度センサにより構成される場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータに基づく振動量を手振れ補正量算出部１２０に供給する。

手振れ補正量算出部１２０は、振動による画像処理装置１００への影響を打ち消すための補正量を、手振れ検出部１１０から供給された振動量に基づいて算出する。すなわち、手振れ補正量算出部１２０は、手振れ検出部１１０から供給されたデータを用いて、加えられた手振れによる影響を低減するための補正量を１ライン毎もしくは数ラインおきに算出する。手振れ補正量算出部１２０は、算出した補正量を信号線１２９により使用可否判定部１３０、メモリ制御部１８０、画像補正部１９０およびタイミング生成部１６１に供給する。

使用可否判定部１３０は、手振れ補正量算出部１２０から供給された補正量に基づいて、その補正対象の画像データを使用するか否かを判定する。そして、画像データの各々について使用の可否をメモリ制御部１８０および画像補正部１９０に供給する。

撮像素子１６２は、画像を撮像するための素子であり、例えば、Ｘ−Ｙアドレス（二次元アドレス）型の固体撮像素子（ＣＭＯＳイメージセンサなど）により構成される。タイミング生成部１６１は、撮像素子１６２における読出しタイミングを生成する。撮像素子１６２は、この撮像素子１６２によるタイミングに従って、撮像された画像データを前処理部１６３に供給する。

前処理部１６３は、撮像素子１６２から供給された画像データをデジタル信号の画像データに変換し、信号処理部１６４に供給する。信号処理部１６４は、前処理部１６３から供給された画像データから、例えば輝度信号と色差信号を算出してＹＵＶ信号を生成し、それぞれの信号を、画像補正部１９０に供給する。なお、ここで生成される信号はＹＵＶ信号に限られず、例えばＲＧＢ信号などであってもよい。

メモリ１７０は、補正対象となる画像を一時的に保持しておくための画像データ領域を有する。メモリ制御部１８０は、このメモリ１７０に対するアクセス制御を行う。画像補正部１９０に供給された画像データは、メモリ制御部１８０の制御によってメモリ１７０に一旦保持される。このメモリ１７０に記憶された画像データは、メモリ制御部１８０の制御により読み出され、画像補正部１９０に供給される。画像補正部１９０は、供給された画像データに対して手振れ補正を行って信号線１９９を介して出力する。この出力された画像データは、（図示しない）記録媒体に記録され、または、（図示しない）ディスプレイ上に表示される。

手振れ補正量算出部１２０から供給された補正量は、画像補正部１９０に供給されて画像の補正処理に利用される。この補正量はタイミング生成部１６１にも供給され、このタイミング生成部１６１による撮像素子１６２の読出しタイミングの調整によって画像の補正処理が行われるようにすることも可能である。

ところで、上述の補正量は１ライン毎に算出する必要があるが、手振れによる振動量が取得されるタイミングは、手振れ検出部１１０のサンプリング周波数に依存し、必ずしも１ライン毎に補正量を算出するだけの振動量が供給されるとは限らない。そこで、手振れ検出部１１０のサンプリング周波数が撮像素子１６２からの読出しの周波数と異なる場合、手振れ検出部１１０または手振れ補正量算出部１２０において補間を行い、１ライン毎の手振れ補正量を求める。同様に、手振れ検出部１１０のサンプリング周波数が、撮像素子１６２からの読出しの周波数と同じであって位相だけが異なる場合にも、手振れ検出部１１０または手振れ補正量算出部１２０において補間を行う必要がある。この補間処理について以下に説明する。

図２は、手振れによる振動量およびその手振れの影響を受けた画像の具体例を示す図である。図２（ａ）では、１００本のラインに対して３点の振動量が取得されている場合を例に挙げて説明する。すなわち、ライン＃１'、ライン＃５０'、およびライン＃１００'のときに、手振れ検出部１１０からの振動量が取得できたものとして説明する。このライン＃１'は、説明上の基準となるラインであり、撮像された画像を構成するラインの内の１本である。

図２（ａ）において、ライン＃１'を読み出す際の振動量はＰ_１ピクセルであり、ライン＃５０'を読み出す際の振動量はＰ_２ピクセルであり、ライン＃１００'を読み出す際の振動量はＰ_３ピクセルであることを示している。この振動量は、小数点以下を含むピクセル単位であり、その後の処理において１ピクセル以下の量による補正が可能となっている。

振動量Ｐ_１乃至Ｐ_３は、画像の撮像が開始された直後のタイミングに取得された振動量を基準としたときの差分を表す。図２（ａ）に示した状態では、基準から、ライン＃１'のときに右側の手振れが発生し、その後ライン＃５０'まで右側の手振れが発生し、そして、ライン＃１００'までは、左側の手振れが発生した状況である。

例えば、被写体として静止している四角形を撮像したときに、図２（ａ）に示したような手振れが画像処理装置１００に加えられると、そのまま補正をしなければ、図２（ｂ）に示したような歪んだ画像がユーザに提示されることになる。このような歪んだ画像を補正し、本来の画像に極力忠実な画像をユーザに最終的に提示するように、手振れに関する補正が行われる。

ライン毎の手振れを補正するためには、ライン毎の振動量を取得する必要がある。しかしながら、図２に示した例では、ライン＃１'、ライン＃５０'、および、ライン＃１００'に関する手振れ量しか取得されない。このような離散的なデータしか取得できないのは、手振れ検出部１１０が手振れを検出するサンプリング周波数に依存しているからである。このような場合には、ライン＃２'乃至＃４９'と、ライン＃５１'乃至＃９９'に関する手振れ量は取得されないため、それらのライン毎の手振れ量を補間して処理を実行する必要がある。

図３は、本発明の実施の形態における振動量の補間処理の例を示す図である。手振れ補正量算出部１２０は、上述したように、ライン＃１'乃至＃１００'の間に、３つの振動量を取得する。この３つの振動量から、ライン＃５０'を除くライン＃２'乃至＃９９'に関する振動量を補間により算出する。例えば、図３（ａ）のように、ライン＃１'に関する振動量をライン＃２'乃至＃４０'にも用い、ライン＃５０'に関する振動量をライン＃４１'乃至＃６０'にも用い、ライン＃１００'に関する振動量をライン＃６１'乃至＃９９'にも用いるというように、１つのラインに関する振動量を、前後のラインに適用するといった方法で補間を行うことができる。

また、図３（ｂ）のように、１次関数を用いて算出するようにしても良い。この例では、ライン＃１'とライン＃５０'に関するそれぞれの振動量を２点とする１次関数からライン＃２'乃至＃４９'に関する振動量がそれぞれ算出され、ライン＃５０'とライン＃１００'に関するそれぞれの振動量を２点とする１次関数からライン＃５１'乃至＃９９'に関する振動量がそれぞれ算出される。

さらに、図３（ｃ）のように、１次関数ではない他の関数を用いて算出されるようにしても良い。図３（ｃ）に示した例は、基本的に図３（ｂ）に示した例と同様であるが、１次関数ではない他の関数を用いる点が異なる。手振れは、必ずしも同一方向に同一の速度で同一の大きさで変化するものではないと考えられる。従って、直線的に変化する１次関数を用いて補間するよりも、図３（ｃ）のような曲線的に変化する関数を用いた方がより適切な場合がある。

図３（ａ）乃至（ｃ）の何れの方法を用いて補正量を算出するかは画像処理装置１００の処理能力に依存する。画像処理装置１００がマイクロコンピュータなどで構成される場合、そのマイクロコンピュータの処理能力に合わせて、何れの方法により補正量を補間することができる。具体的には、マイクロコンピュータの処理能力が低い場合、演算量が少ない図３（ａ）に示した方法で、補正量の補間が行なわれるようにし、マイクロコンピュータの処理能力が比較的高い場合、演算量が比較的多い図３（ｃ）に示した方法で、補正量の補間が行なわれるようにすればよい。

このようにして離散的な振動量からライン毎の振動量が求められると、手振れ補正量算出部１２０はその振動量に基づいてその振動による画像処理装置１００への影響を打ち消すための補正量を算出する。例えば、ライン＃１'に関する振動量が、Ｐ_１ピクセルであった場合、その振動量がＰ_１ピクセルである状態から手振れのない状態にするためには、絶対値が異なり符号の異なる量、すなわち「−Ｐ_１」ピクセルが補正量として算出されるようにすれば良い。

図４は、本発明の実施の形態における補正量の算出例を示す図である。図４（ａ）は、手振れ補正量算出部１２０が、図３（ａ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。図４（ｂ）は、手振れ補正量算出部１２０が、図３（ｂ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。同様に、図４（ｃ）は、手振れ補正量算出部１２０が、図３（ｃ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。

次に本発明の実施の形態における使用可否判定部１３０による処理内容について説明する。

図５は、本発明の実施の形態における使用可否判定部１３０の第１の具体例を示す図である。この第１の具体例による使用可否判定部１３０は、不足量算出部１３１１と、比較器１３１２、１３１３、１３１５と、ライン数カウンタ１３１４と、論理和回路１３１６と、領域範囲保持部１３２１と、範囲限界閾値保持部１３２２と、範囲予備閾値保持部１３２３と、ライン数閾値保持部１３２５とを備えている。

不足量算出部１３１１は、手振れ補正量算出部１２０から信号線１２９を介して供給された補正量に基づいて、図６に示す不足量を算出する。図６は、本発明の実施の形態におけるメモリ１７０の領域の範囲と不足量との関係を示す図である。図６（ａ）のようにメモリ１７０上に確保された画像データ領域１１において、本来の画像２１を被写体としたところ、手振れが生じたことにより画像３１が保持された状態を考える。ここでは、説明を簡単にするため、画像３１はライン＃１乃至＃１０に存在するものと仮定する。

この図６（ａ）の例では、水平方向の手振れ量が大きいために画像３１の片隅が画像データ領域１１から溢れている。この画像データ領域１１から溢れた量を不足量という。この不足量には、限界閾値および予備閾値が予め定められている。限界閾値とは、不足量の最大限の閾値であり、この限界閾値を超えるラインを一つでも含む画像データはもはや使用に適さないものと判断される。また、予備閾値とは、不足量の予備的閾値であり、画像データにおいてこの予備閾値を超えるラインが所定数を超えた場合、その画像データは使用に適さないものと判断される。

図６（ａ）は予備閾値を超えた例であり、上記所定数として「３」が設定されていたとすれば、この図６（ａ）の例では予備閾値を超えたラインがライン＃７から＃１０の「４」であるので使用に適さないものと判断される。一方、上記所定数として「５」が設定されていたとすれば、この図６（ａ）の例では予備閾値を超えたラインが「４」であるので使用に適するものと判断される。また、図６（ｂ）は限界閾値を超えた例であり、ライン＃６が限界閾値を超えているので、他のラインの状態にかかわらず、使用に適さないものと判断される。

図５において、不足量算出部１３１１が上述の不足量を算出するために、領域範囲保持部１３２１は画像データ領域１１（図６）の範囲を保持する。これにより、画像データ領域１１から溢れた不足量が算出される。

比較器１３１２は、不足量算出部１３１１から供給される不足量について、ライン毎に上述の限界閾値を超えていないかをチェックする。ここで、この限界閾値は、範囲限界閾値保持部１３２２に予め設定される。比較器１３１２は、不足量算出部１３１１から供給される不足量と範囲限界閾値保持部１３２２に保持される限界閾値とを比較して、不足量が限界閾値を超える場合にその出力を有効にし、不足量が限界閾値を超えない場合にその出力を無効にする。

比較器１３１３は、不足量算出部１３１１から供給される不足量について、ライン毎に上述の予備閾値を超えていないかをチェックする。ここで、この予備閾値は、範囲予備閾値保持部１３２３に予め設定される。比較器１３１３は、不足量算出部１３１１から供給される不足量と範囲予備閾値保持部１３２３に保持される予備閾値とを比較して、不足量が予備閾値を超える場合にその出力を有効にし、不足量が予備閾値を超えない場合にその出力を無効にする。

ライン数カウンタ１３１４は、比較器１３１３がその出力を有効にした回数、すなわち不足量が予備閾値を超えたライン数を計数する。比較器１３１５は、ライン数カウンタ１３１４から供給されるライン数について、上述の所定数を超えていないかをチェックする。ここで、この所定数はライン数閾値としてライン数閾値保持部１３２５に予め設定される。比較器１３１５は、ライン数カウンタ１３１４から供給されるライン数とライン数閾値保持部１３２５に保持されるライン数閾値とを比較して、ライン数がライン数閾値を超える場合にその出力を有効にし、ライン数がライン数閾値を超えない場合にその出力を無効にする。

論理和回路１３１６は、比較器１３１２の出力と比較器１３１５の出力との論理和演算を行ってその結果を信号線１３９に出力する。これにより、不足量が予備閾値を超える場合または予備閾値を超えるライン数がライン数閾値を超える場合に、信号線１３９が有効になる。すなわち、この信号線１３９が有効であれば対応する画像データを「使用しない」ことを意味し、信号線１３９が無効であれば対応する画像データを「使用する」ことを意味する。

このように、使用可否判定部１３０の第１の具体例によれば、各ラインの不足量と所定の閾値とを比較することにより、対応する画像データの使用可否を判定することができる。

図７は、本発明の実施の形態における使用可否判定部１３０の第２の具体例を示す図である。この第２の具体例による使用可否判定部１３０は、代表値算出部１３５１と、絶対値算出部１３５２と、比較器１３５３と、減算器１３５４と、絶対値算出部１３５５と、比較器１３５６と、論理和回路１３５７と、切替器１３５８と、代表値閾値保持部１３６３と、遅延部１３６４と、変化量閾値保持部１３６６と、遅延部１３６８とを備えている。

代表値算出部１３５１は、手振れ補正量算出部１２０から信号線１２９を介して供給された補正量に基づいて、対応する画像データの代表値を算出する。この代表値とは、各フィールドまたは各フレームの手振れ補正量の代表値であり、例えば各フィールドまたは各フレーム内の任意のラインにおける補正量の平均値を利用することができる。この平均値を求める際には、必ずしも全ラインにおける平均値を求める必要はなく、そのフィールドまたはフレームの手振れ補正量の代表値を示すものであればよい。

絶対値算出部１３５２は、代表値算出部１３５１から供給される代表値の絶対値を算出する。比較器１３５３は、絶対値算出部１３５２から供給される絶対値が代表値の閾値を超えていないかをチェックする。ここで、この代表値の閾値は代表値閾値保持部１３６３に予め設定される。比較器１３５３は、絶対値算出部１３５２から供給される絶対値と代表値閾値保持部１３６３に保持される代表値閾値とを比較して、代表値の絶対値が代表値閾値を超える場合にその出力を有効にし、代表値の絶対値が代表値閾値を超えない場合にその出力を無効にする。

遅延部１３６４は、代表値算出部１３５１から供給された代表値を遅延させ、時間的に一つ前のフィールドまたはフレームについて供給された代表値を出力する。減算器１３５４は、代表値算出部１３５１から供給される代表値と遅延部１３６４から出力される代表値との差分を算出する。すなわち、現在の代表値から一つ前の代表値を減算して変化量として出力する。この減算器１３５４から出力された変化量は、絶対値算出部１３５５によってその絶対値が算出される。

比較器１３５６は、絶対値算出部１３５５から供給される絶対値が変化量の閾値を超えていないかをチェックする。ここで、この変化量の閾値は変化量閾値保持部１３６６に予め設定される。比較器１３５６は、絶対値算出部１３５５から供給される絶対値と変化量閾値保持部１３６６に保持される変化量閾値とを比較して、変化量の絶対値が変化量閾値を超える場合にその出力を有効にし、変化量の絶対値が変化量閾値を超えない場合にその出力を無効にする。

論理和回路１３５７は、比較器１３５３の出力と比較器１３５６の出力との論理和演算を行う。これにより、代表値の絶対値が代表値閾値を超える場合または変化量の絶対値が変化量閾値を超える場合に、論理和回路１３５７の出力が有効になる。

切替器１３５８は、比較器１３５３の出力と論理和回路１３５７の出力の何れかを選択して信号線１３９に出力する。この信号線１３９が有効であれば対応する画像データを「使用しない」ことを意味し、信号線１３９が無効であれば対応する画像データを「使用する」ことを意味する。切替器１３５８の選択信号には、遅延部１３６８の出力信号が使用される。この遅延部１３６８は、信号線１３９上の信号を遅延させ、時間的に一つ前のフィールドまたはフレームについて供給された信号を出力する。これにより、１つ前のタイミングで画像データを「使用しない」と判定された場合には次のタイミングで比較器１３５３の出力が選択され、１つ前のタイミングで画像データを「使用する」と判定された場合には次のタイミングで論理和回路１３５７の出力が選択される。

従って、代表値の絶対値が代表値閾値を超える場合には１つ前のタイミングの判定結果を問わず画像データを「使用しない」と判定される。一方、代表値の絶対値が代表値閾値を超えず、且つ、変化量の絶対値が変化量閾値を超える場合には１つ前のタイミングで画像データを「使用する」と判定されたときにだけ、次のタイミングで画像データを「使用しない」と判定される。すなわち、代表値の絶対値が代表値閾値を超えない状態においては、変化量の絶対値が連続して変化量閾値を超えたとしても、連続して画像データを「使用しない」とは判定せず、交互に画像データを「使用する」ように判定する。

このように複数の閾値により画像データの使用可否判定を行うことで、画質劣化が予想される画像データの除去を行うだけでなく、必要以上に画像データの使用不可判定をしてしまうことを防止し、最終的に構成される画像の画質への補正限界時の影響の除去を最適化することができる。なお、この具体例では２つの閾値を用いているが、より多くの閾値設定をすることで、より細かな判定を行うようにしてもよい。

図８は、本発明の実施の形態における使用可否判定部１３０の第２の具体例による各部の状態を示す図である。ここでは、一例として、代表値閾値として「４」、変化量閾値として「５」が設定されているものとする。そして、例えば、第１フレーム（またはフィールド、以下同様）の手振れ補正量の代表値Ｘ_１が「０」であったとすると、その絶対値も「０」となる。従って、比較器１３５３の出力は「０」（無効）となる。また、第０フレームの手振れ補正量の代表値Ｘ_０が「０」であったとすると、変化量（Ｘ_１−Ｘ_０）の絶対値も「０」となるため、論理和回路１３５７の出力も「０」となる。従って、第０フレームの画像データに関する使用の可否にかかわらず、信号線１３９上の信号は「０」となり、第１フレームの画像データを「使用する」との判定結果が示される。

第２フレームの手振れ補正量の代表値Ｘ_２が「１０」であったとすると、その絶対値も「１０」となるため、比較器１３５３の出力は「１」となる。これにより、論理和回路１３５７の出力が「１」となり、第１フレームの信号線１３９上の信号が「０」であったことから、信号線１３９上の信号は「１」となる。すなわち、第２フレームの画像データを「使用しない」との判定結果が示される。

第３フレームの手振れ補正量の代表値Ｘ_３が「−３」であったとすると、その絶対値は「３」となるため、比較器１３５３の出力は「０」となる。第２フレームの信号線１３９上の信号が「１」であったことから、信号線１３９上の信号は「０」となる。すなわち、第３フレームの画像データを「使用する」との判定結果が示される。

第４フレームの手振れ補正量の代表値Ｘ_４が「３」であったとすると、その絶対値も「３」となるため、比較器１３５３の出力は「０」となる。また、第３フレームの手振れ補正量の代表値Ｘ_３が「−３」であるため、変化量（Ｘ_４−Ｘ_３）の絶対値は「６」となる。これにより、論理和回路１３５７の出力が「１」となり、第３フレームの信号線１３９上の信号が「０」であったことから、信号線１３９上の信号は「１」となる。すなわち、第４フレームの画像データを「使用しない」との判定結果が示される。

このように、手振れ量の絶対値または変化量の絶対値を判定条件とすることで、極端に手振れを起こした画像そのものを排除するとともに、連続するフレーム間の手振れの著しい変動による画質劣化を引き起こす画像を排除でき、高精度な画像データ使用可否判定が可能となる。さらに、前フィールドまたはフレームの判定結果をフィードバックすることによって、必要以上に画像データの使用不可判定をしてしまうことを防止し、最終的に構成される画像の画質への補正限界時の影響の除去を最適化することができる。

次に本発明の実施の形態における画像データの差替処理の内容について説明する。

図９は、本発明の実施の形態におけるスローモーション再生のタイミング例を示す図である。ここでは、通常撮像時の１フレーム期間を１／Ｎ［秒］、高速撮像時の１フレーム期間を１／３Ｎ［秒］としている。この場合、通常撮像時の１フレーム期間の間に、高速撮像時には３フレーム分の画像データＤ_１乃至Ｄ_３が、メモリ制御部１８０の制御によってメモリ１７０に順次記憶される。そして、再生時には通常の１フレーム期間に対して一つずつの画像データが、メモリ制御部１８０の制御によってメモリ１７０から読み出される。メモリ制御部１８０では、必要に応じて後述のような画像データの差し替えが行われ、画像補正部１９０への画像データＳ_１乃至Ｓ_３の供給が行われる。このようにして、順次、高速撮像を利用したスローモーション再生が実現される。

ここで、高速撮像時の画像データの中に、使用可否判定部により「使用しない」と判定された画像データがあれば、差替対象となる画像データが生成されて、その画像データに差し替えられる。以下、この差替処理の内容について説明する。

図１０は、本発明の実施の形態における画像データの差替処理の第１の具体例を示す図である。この例では、各フレーム（またはフィールド）の画像データＤ_１乃至Ｄ_６のうち、Ｄ_２およびＤ_３が「使用しない」との判定を受けている。画像データの差替えにあたり、この第１の具体例では、「使用しない」と判定された画像データと時間的に近い画像データを使用すべき画像データとして選択する。

例えば、画像データＤ_２については画像データＤ_１およびＤ_３が最も時間的に近い画像データであるが、画像データＤ_３は「使用しない」との判定を受けているため、もう一方の画像データＤ_１が画像データＤ_２の代わりに使用される。同様に、画像データＤ_３については画像データＤ_２およびＤ_４が最も時間的に近い画像データであるが、画像データＤ_２は「使用しない」との判定を受けているため、もう一方の画像データＤ_４が画像データＤ_３の代わりに使用される。

図１１は、本発明の実施の形態におけるメモリ制御部１８０の第１の具体例を示す図である。この例では、メモリ制御部１８０は、使用可否保持部１８１と、差替対象生成部１８２と、データ差替部１８３とを備えている。

使用可否保持部１８１は、信号線１３９を介して使用可否判定部１３０による判定結果を受けて、各画像データに対応する使用可否を保持する。例えば、図１０の上部に示したように、画像データ毎にその画像データを使用するか否かを保持しておき、差替対象生成部１８２からの要求に応じて対応する画像データの使用可否を供給する。

差替対象生成部１８２は、信号線１９８を介して画像補正部１９０から供給されるフレーム（またはフィールド）番号を基準として、信号線１８４を介して必要なフレームの画像データの使用可否を使用可否保持部１８１に問い合わせる。これに応答して、使用可否保持部１８１から信号線１８５を介してそのフレームの画像データの使用可否が供給される。その結果、差替対象生成部１８２は、使用すべき画像データを生成して信号線１８６を介してデータ差替部１８３に供給する。

データ差替部１８３は、差替対象生成部１８２から供給された画像データを、信号線１８７を介してメモリ１７０に出力する。これにより、使用すべき画像データがメモリ１７０に保持される。

図１２は、本発明の実施の形態におけるメモリ制御部１８０の第１の具体例の処理手順を示す図である。ここで、変数ｉは基準となるフレームの番号を示し、変数ｊは第ｉフレームからの相対的な距離を示す。また、変数ｋは第ｉフレームの画像データとして用いられるフレーム番号を表す。

まず、変数ｉには、初期値として「１」が設定される（ステップＳ９１１）。これにより、第１フレームの画像データＤ_１が基準となる。この基準値である変数ｉは信号線１９８を介して画像補正部１９０から差替対象生成部１８２に供給される。使用可否保持部１８１において画像データＤ_ｉが「使用する」とされていれば（ステップＳ９１２）、変数ｋに変数ｉが設定される（ステップＳ９１９）。すなわち、第ｉフレームの画像データとして第ｋフレームの画像データＤ_ｋ（＝Ｄ_ｉ）がそのまま採用される（ステップＳ９２１）。

一方、使用可否保持部１８１において画像データＤ_ｉが「使用しない」とされている場合には（ステップＳ９１２）、第ｉフレームに最も距離的に近い使用可能なフレームの画像データを検索する。そのために、変数ｊに初期値として「１」が設定される（ステップＳ９１３）。そして、変数ｋに「ｉ＋ｊ」が代入されて（ステップＳ９１４）、第ｋフレームの画像データＤ_ｋの使用可否が調べられる（ステップＳ９１５）。その結果、使用可否保持部１８１において画像データＤ_ｋが「使用する」とされていれば、その画像データＤ_ｋが第ｉフレームの画像データとして採用される（ステップＳ９２１）。

ステップＳ９１５において、画像データＤ_ｋが「使用しない」とされていれば、変数ｋに「ｉ−ｊ」が代入されて（ステップＳ９１６）、第ｋフレームの画像データＤ_ｋの使用可否が調べられる（ステップＳ９１５）。その結果、使用可否保持部１８１において画像データＤ_ｋが「使用する」とされていれば、その画像データＤ_ｋが第ｉフレームの画像データとして採用される（ステップＳ９２１）。一方、ステップＳ９１７において、画像データＤ_ｋが「使用しない」とされていれば、変数ｊを一つ加算して（ステップＳ９１８）、ステップＳ９１４からの処理を繰り返す。

このようにして、基準となるフレームが「使用しない」とされている場合に、その基準となるフレームを中心として距離的に近いフレームから順番に「使用する」とされている画像データを調べていくことにより、基準フレームに最も距離的に近い使用可能なフレームの画像データＤ_ｋが検索される。ある基準フレームの処理が終わると、変数ｉを一つ加算して（ステップＳ９２２）、全ての画像データＤ_ｉについての処理が終了するまでステップＳ９１２からの処理を繰り返す（ステップＳ９２３）。

このように、高速撮像された画像データのうち、高精度に手振れ補正の施された画像データのみを効率よく選択して使用することで、スローモーション再生画像の手振れの影響による画質劣化の抑制を実現することができる。

図１３は、本発明の実施の形態におけるメモリ制御部１８０の第２の具体例を示す図である。この例では、メモリ制御部１８０は、使用可否保持部１８１と、差替候補生成部１８２１と、差替候補選択部１８２２と、データ差替部１８３とを備えている。ここで、使用可否保持部１８１およびデータ差替部１８３については図１１の第１の具体例と同様である。また、差替候補生成部１８２１および差替候補選択部１８２２は、図１１の差替対象生成部１８２に対応する。

差替候補生成部１８２１は、信号線１９８を介して画像補正部１９０から供給されるフレーム番号を基準として、信号線１８４を介して必要なフレームの画像データの使用可否を使用可否保持部１８１に問い合わせる。これに応答して、使用可否保持部１８１から信号線１８５を介してそのフレームの画像データの使用可否が供給される。その結果、差替候補生成部１８２１は、使用すべき画像データの差替候補を生成して信号線１８２３を介して差替候補選択部１８２２に供給する。

差替候補選択部１８２２は、差替候補生成部１８２１から供給された差替候補の中から基準となる画像データに対する相関が高い画像データを、使用すべき画像データとして選択する。そして、差替候補選択部１８２２は、その選択された使用すべき画像データを信号線１８６を介してデータ差替部１８３に供給する。データ差替部１８３は、差替候補選択部１８２２から供給された画像データを、信号線１８７を介してメモリ１７０に出力する。これにより、使用すべき画像データがメモリ１７０に保持される。

図１４は、本発明の実施の形態におけるメモリ制御部１８０の第２の具体例による差替候補生成部１８２１の処理手順を示す図である。この例では、基準となるフレームの画像データが「使用しない」とされている場合、それに代える差替対象の画像データの候補を２つ生成する。ここで、変数ｉは基準となるフレームの番号を示し、変数ｊは第ｉフレームからの相対的な距離を示す。また、変数ｋ（０）およびｋ（１）は第ｉフレームの画像データとして用いられる２つのフレーム番号を表す。また、変数ｍは、変数ｋ（０）およびｋ（１）の何れを参照するべきかを切替えるために使用される。

まず、変数ｉには、初期値として「１」が設定される（ステップＳ９３１）。これにより、第１フレームの画像データＤ_１が基準となる。この基準値である変数ｉは信号線１９８を介して画像補正部１９０から差替候補生成部１８２１に供給される。使用可否保持部１８１において画像データＤ_ｉが「使用する」とされていれば（ステップＳ９３２）、変数ｋ（０）およびｋ（１）に変数ｉが設定される（ステップＳ９４５）。すなわち、第ｉフレームの画像データの候補として第ｋ（０）フレームおよび第ｋ（１）フレームの画像データが何れも基準の画像データＤ_ｉとなるように設定される（ステップＳ９４６）。

一方、使用可否保持部１８１において画像データＤ_ｉが「使用しない」とされている場合には（ステップＳ９３２）、第ｉフレームに最も距離的に近い使用可能なフレームの画像データを２つ検索する。そのために、変数ｊに初期値として「１」が設定され、変数ｍに初期値として「０」が設定される（ステップＳ９３３）。そして、変数ｋ（ｍ）に「ｉ＋ｊ」が代入されて（ステップＳ９３４）、第ｋ（ｍ）フレームの画像データＤ_ｉ＋ｊの使用可否が調べられる（ステップＳ９３５）。その結果、使用可否保持部１８１において画像データＤ_ｉ＋ｊが「使用する」とされていれば、その画像データＤ_ｉ＋ｊが第ｉフレームの画像データの候補として採用される。このとき、ｍ＝１であれば（ステップＳ９３６）、既に２つの候補が採用されたことになるため、第ｉフレームの画像データの候補として第ｋ（０）フレームおよび第ｋ（１）フレームの画像データが設定される（ステップＳ９４６）。一方、ステップＳ９３６においてｍ＝０であれば、もう一つの候補を検索するために、変数ｍに「１」が設定される（ステップＳ９３７）。

その後、変数ｋ（ｍ）に「ｉ−ｊ」が代入されて（ステップＳ９３８）、第ｋ（ｍ）フレームの画像データＤ_ｉ−ｊの使用可否が調べられる（ステップＳ９４１）。その結果、使用可否保持部１８１において画像データＤ_ｉ−ｊが「使用する」とされていれば、その画像データＤ_ｉ−ｊが第ｉフレームの画像データの候補として採用される。このとき、ｍ＝１であれば（ステップＳ９４２）、既に２つの候補が採用されたことになるため、第ｉフレームの画像データの候補として第ｋ（０）フレームおよび第ｋ（１）フレームの画像データが設定される（ステップＳ９４６）。一方、ステップＳ９４２においてｍ＝０であれば、もう一つの候補を検索するために、変数ｍに「１」が設定される（ステップＳ９４３）。その後、変数ｊを一つ加算して（ステップＳ９４４）、ステップＳ９３４からの処理を繰り返す。

このようにして、基準となるフレームが「使用しない」とされている場合に、その基準となるフレームを中心として距離的に近いフレームから順番に「使用する」とされている画像データを調べていくことにより、基準フレームに距離的に近い使用可能なフレームの画像データＤ_ｋ（０）およびＤ_ｋ（１）が差替候補として検索される。ある基準フレームの処理が終わると、変数ｉを一つ加算して（ステップＳ９４７）、全ての画像データＤ_ｉについての処理が終了するまでステップＳ９３２からの処理を繰り返す（ステップＳ９４８）。

図１５は、本発明の実施の形態におけるメモリ制御部１８０の第２の具体例で使用されるデータ構造を示す図である。ここで、画像データＤ_Ｘは基準となるフレームの画像データであり、画像データＤ_ＡおよびＤ_Ｂは差替候補生成部１８２１により生成された差替候補の画像データである。この場合、差替候補選択部１８２２は、画像データＤ_ＡおよびＤ_Ｂの何れかを画像データＤ_Ｘの代わりに使用すべく選択を行う。

各画像データには、画像データ間の共通する位置に差分データ算出のための対象領域が設定される。すなわち、画像データＤ_Ｘには対象領域Ａ_Ｘ１乃至Ａ_Ｘ５が、画像データＤ_Ａには対象領域Ａ_Ａ１乃至Ａ_Ａ５が、画像データＤ_Ｂには対象領域Ａ_Ｂ１乃至Ａ_Ｂ５が、それぞれ設けられる。この対象領域は、画像データ間で共通する位置であれば任意の領域を設定することができる。例えば、Ａ_Ａ１、Ａ_Ｘ１、Ａ_Ｂ１のそれぞれは互いに共通する位置に設定されている。但し、画像の中心部は重要な画像が含まれる可能性が高いため必ず対象領域を設定することが望ましい。また、本例では手ぶれやレンズの光学的歪等の影響を受け易く差分データの誤差が大きくなりやすい周部の領域を多く設定している。

各対象領域内に含まれる画素は、それぞれＰ_Ａ１乃至Ｐ_Ａ５、Ｐ_Ｘ１乃至Ｐ_Ｘ５、Ｐ_Ｂ１乃至Ｐ_Ｂ５、のように表される。同一画像データ内の各対象領域の大きさは互いに異なっていてもよいため、それらに含まれる画素数は互いに異なっている可能性がある。例えば、周辺部のＡ_Ａ１よりも中心部のＡ_Ａ３を大きく設定することができ、その場合両者に含まれる画素数は互いに異なるものとなる。但し、画像データ間では対応する対象領域の大きさは等しくなければならない。例えば、Ａ_Ａ１とＡ_Ｘ１は互いに位置および大きさが等しくなければならない。なお、ここにいう画素の値としては、例えばＹＵＶのＹ値（輝度信号）を想定することができるが、必ずしもこれに限られるものではない。

図１６は、本発明の実施の形態におけるメモリ制御部１８０の第２の具体例による差替候補選択部１８２２の処理手順を示す図である。この例では、差替候補生成部１８２１により生成された差替候補の画像データＤ_ＡおよびＤ_Ｂの何れか一方を差替対象として選択する。変数Ｓは、基準フレームの画像データＤ_Ｘを基準とした差分データを画素数分累積した相関値を保持するための変数である。変数Ｚは、変数Ｓによる相関値の平均の積分値を保持するための変数である。また、変数ｋは、各対象領域内の画素数を計数する変数である。また、変数ｊは、各対象領域を計数する変数である。

まず、変数Ｚには初期値として「０」が設定され、変数ｊには初期値として「１」が設定される（ステップＳ９５１）。また、変数Ｓには初期値として「０」が設定され、変数ｋには初期値として「１」が設定される（ステップＳ９５２）。

そして、基準フレームの画像データＤ_Ｘにおける画素Ｐ_Ｘｋと差替候補の画像データＤ_Ａにおける画素Ｐ_Ａｋとの差分データの絶対値から、基準フレームの画像データＤ_Ｘにおける画素Ｐ_Ｘｋと差替候補の画像データＤ_Ｂにおける画素Ｐ_Ｂｋとの差分データの絶対値を減じたものを変数Ｓに加算していく（ステップＳ９５３）。変数ｋに１を加算して（ステップＳ９５４）、この変数ｋが対象領域内の画素数Ｍを超えるまでステップＳ９５３からの処理を繰り返す（ステップＳ９５５）。なお、この例では、説明の簡単のために各対象領域内の画素数を同一の数Ｍで表現しているが、上述のように各対象領域毎に異なる画素数を設定するようにしてもよい。

このようにしてステップＳ９５３からＳ９５５の処理で画素間の相関が算出されると、その平均の積分値が変数Ｚに加算される（ステップＳ９５６）。すなわち、相関値を保持する変数Ｓの値を画素数Ｍで除算し、重みＷ_ｊを乗算したものを変数Ｚに加算する。変数ｊに１を加算して（ステップＳ９５７）、この変数ｊが対象領域内の対象領域数Ｎを超えるまでステップＳ９５２からの処理を繰り返す（ステップＳ９５８）。

このようにしてステップＳ９５６からＳ９５８の処理で画素間の相関平均値の積分が算出されると、その積分値を保持する変数Ｚの値に応じて、差替候補の画像データＤ_ＡおよびＤ_Ｂのうち相関が高い方を差替対象として選択する（ステップＳ９６１）。すなわち、変数Ｚが「０」より小さければ画像データＤ_Ａを採用し（ステップＳ９６２）、変数Ｚが「０」以上であれば画像データＤ_Ｂを採用する（ステップＳ９６３）。

このように、高速撮像された画像データのうち、手振れによる画質劣化の影響が大きい画像データに代えて、高精度に手振れ補正が施され、かつ、本来使用すべきであった画像と相関の高い画像データから再生画像を生成でき、スローモーション再生画像の手振れの影響による画質劣化の抑制を実現することができる。

図１７は、本発明の実施の形態におけるメモリ制御部１８０の第３の具体例を示す図である。この例では、メモリ制御部１８０は、使用可否保持部１８１と、差替候補生成部１８２１と、差替対象補間部１８２４と、データ差替部１８３とを備えている。ここで、使用可否保持部１８１、差替候補生成部１８２１およびデータ差替部１８３については図１３の第２の具体例と同様である。また、差替候補生成部１８２１および差替対象補間部１８２４は、図１１の差替対象生成部１８２に対応する。

差替対象補間部１８２４は、差替候補生成部１８２１から供給された差替候補に基づいて使用すべき画像データを補間する。そして、差替対象補間部１８２４は、その補間された使用すべき画像データを信号線１８６を介してデータ差替部１８３に供給する。データ差替部１８３は、差替候補選択部１８２２から供給された画像データを、信号線１８７を介してメモリ１７０に出力する。これにより、使用すべき画像データがメモリ１７０に保持される。

図１８は、本発明の実施の形態におけるメモリ制御部１８０の第３の具体例による補間処理を示す図である。ここでは、例えば、画像データＤ_２が「使用しない」と判定された際、差替候補として画像データＤ_１およびＤ_４が生成されたものとする。

まず、図１８（ａ）のように画像データＤ_１からＤ_４に対する動きベクトル５１４が検出される。そして、これに続いて図１８（ｂ）のように動きベクトル５１４上の画像データＤ_２に相当する位置が算出され、図１８（ｃ）のように画像データＤ_１からＤ_２に対する動きベクトル５１２が算出される。これにより、画像データＤ_２に差し替えられるべき画像データが生成される。

図１９は、本発明の実施の形態におけるメモリ制御部１８０の第３の具体例による差替対象補間部１８２４の処理手順を示す図である。ここでは、画像データＤ_Ｘに代えて、差替候補の画像データＤ_ＡおよびＤ_Ｂから画像データＤ_Ｘに差し替えられるべき画像データを補間するものとしている。

まず、画像データＤ_ＡとＤ_Ｂとの間の動きベクトルを検出する（ステップＳ９７１）。そして、この動きベクトル上で画像データＤ_Ｘに相当する位置を算出し、画像データＤ_Ａから画像データＤ_Ｘに対する動きベクトルを補間ベクトルとして生成する（ステップＳ９７２）。その後、画像データＤ_Ａと補間ベクトルとから画像データＤ_Ｘに差し替えられるべき画像データが生成される（ステップＳ９７３）。

このように、高速撮像された画像データのうち、手振れによる画質劣化の影響が大きい画像データに代えて、排除すべき画像データの前後の画像データから補間して生成した画像データを使用することで、より自然な再生画像を生成することができ、スローモーション再生画像の手振れの影響による画質劣化の抑制を実現することができる。

次に本発明の実施の形態における画像処理装置１００の全体の動作について図面を参照して説明する。

図２０は、本発明の実施の形態における画像処理装置１００の画像データ差替処理の手順を示す図である。まず、検出された手振れによる振動量をライン毎に補間し、これに基づいて補正量を算出する（ステップＳ９０１）。そして、この補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する（ステップＳ９０２）。この使用可否判定については、図５の例のように画像データ領域に対する不足量から判定するようにしてもよく、また、図７の例のように補正量の代表値から判定するようにしてもよい。

使用可否の判定がされた結果、「使用しない」と判定されたフレームの画像データについて差替処理を行う。そのために、まず変数ｉに初期値として「１」を設定する（ステップＳ９０３）。そして、第ｉフレームの画像データが「使用する」と判定されていれば（ステップＳ９０４）、その第ｉフレームの画像データをそのまま使用する（ステップＳ９０５）。

一方、ステップＳ９０４において、第ｉフレームの画像データが「使用しない」と判定されていれば、その第ｉフレームの画像データに代えて差し替えるべき差替対象を生成する（ステップＳ９０６）。この差替対象の生成には、図１２の例のように「使用しない」と判定された画像データと時間的に近い画像データを差替対象として選択してもよく、図１６の例のように「使用しない」と判定された画像データと相関の高い画像データを差替対象として選択してもよく、また、図１９の例のように「使用しない」と判定された画像データと時間的に前後する他の画像データから補間した画像データを差替対象として生成してもよい。そして、このようにして生成された差替対象を第ｉフレームの画像データとして使用する（ステップＳ９０７）。

そして、変数ｉを１つ加算した上で（ステップＳ９０８）、全てのフレームの画像データについて処理が終了するまでステップＳ９０４からの処理を繰り返す（ステップＳ９０９）。

上述の画像データ差替処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

記録媒体について説明するために、簡単に、記録媒体を扱うパーソナルコンピュータについて説明する。図２１は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インターフェース２０５は、キーボードやマウスから構成される入力部２０６が接続され、入力部２０６に入力された信号をＣＰＵ２０１に出力する。また、入出力インターフェース２０５には、ディスプレイやスピーカなどから構成される出力部２０７も接続されている。

さらに、入出力インターフェース２０５には、ハードディスクなどから構成される記憶部２０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２０９も接続されている。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスクなどの各種ディスク２２１や、半導体メモリ２２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図２１に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）やＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２０８が含まれるハードディスクなどで構成される。

なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

このように、本発明の実施の形態によれば、使用可否判定部１３０において各フレームの画像データの使用可否を判定し、「使用しない」と判定されたフレームの画像データについてメモリ制御部１８０において差替処理を行うことにより、再生時の画像が不自然にならないようにすることができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、撮像手段は例えば撮像素子１６２に対応する。また、画像保持手段は例えばメモリ１７０に対応する。また、振動検出手段は例えば手振れ検出部１１０に対応する。また、補正量算出手段は例えば手振れ補正量算出部１２０に対応する。また、使用可否判定手段は例えば使用可否判定部１３０に対応する。また、差替対象生成手段は例えば差替対象生成部１８２に対応する。また、画像データ差替手段は例えばデータ差替部１８３に対応する。

また、請求項５において、領域保持手段は例えば領域範囲保持部１３２１に対応する。また、不足量算出手段は例えば不足量算出部１３１１に対応する。また、範囲限界閾値保持手段は例えば範囲限界閾値保持部１３２２に対応する。また、範囲限界閾値検出手段は例えば比較器１３１２に対応する。また、判定手段は例えば信号線１３９に対応する。

また、請求項６において、領域保持手段は例えば領域範囲保持部１３２１に対応する。また、不足量算出手段は例えば不足量算出部１３１１に対応する。また、範囲予備閾値保持手段は例えば範囲予備閾値保持部１３２３に対応する。また、範囲予備閾値検出手段は例えば比較器１３１３に対応する。また、計数手段は例えばライン数カウンタ１３１４に対応する。また、ライン数閾値保持手段は例えばライン数閾値保持部１３２５に対応する。また、ライン数閾値検出手段は例えば比較器１３１５に対応する。また、判定手段は例えば信号線１３９に対応する。

また、請求項７において、領域保持手段は例えば領域範囲保持部１３２１に対応する。また、不足量算出手段は例えば不足量算出部１３１１に対応する。また、範囲限界閾値保持手段は例えば範囲限界閾値保持部１３２２に対応する。また、範囲限界閾値検出手段は例えば比較器１３１２に対応する。また、範囲予備閾値保持手段は例えば範囲予備閾値保持部１３２３に対応する。また、範囲予備閾値検出手段は例えば比較器１３１３に対応する。また、計数手段は例えばライン数カウンタ１３１４に対応する。また、ライン数閾値保持手段は例えばライン数閾値保持部１３２５に対応する。また、ライン数閾値検出手段は例えば比較器１３１５に対応する。また、判定手段は例えば論理和回路１３１６に対応する。

また、請求項８において、代表値算出手段は例えば代表値算出部１３５１に対応する。また、絶対値算出手段は例えば絶対値算出部１３５２に対応する。また、代表値閾値保持手段は例えば代表値閾値保持部１３６３に対応する。また、代表値閾値検出手段は例えば比較器１３５３に対応する。また、判定手段は例えば信号線１３９に対応する。

また、請求項９において、代表値算出手段は例えば代表値算出部１３５１に対応する。また、第１の絶対値算出手段は例えば絶対値算出部１３５２に対応する。また、代表値閾値保持手段は例えば代表値閾値保持部１３６３に対応する。また、代表値閾値検出手段は例えば比較器１３５３に対応する。また、変化量算出手段は例えば遅延部１３６４および減算器１３５４に対応する。また、第２の絶対値算出手段は例えば絶対値算出部１３５５に対応する。また、変化量閾値保持手段は例えば変化量閾値保持部１３６６に対応する。また、変化量閾値検出手段は例えば比較器１３５６に対応する。また、判定手段は例えば論理和回路１３５７、切替器１３５８および遅延部１３６８に対応する。

また、請求項１３および１４において、振動による撮像手段への影響を打ち消すための補正量を振動量に基づいて算出する手順は例えばステップＳ９０１に対応する。また、補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する手順は例えばステップＳ９０２に対応する。また、使用しないと判定された画像データの代わりに使用すべき画像データを画像保持手段に保持された画像データから生成する手順は例えばステップＳ９０６に対応する。また、使用しないと判定された画像データに代えて生成された画像データに差替えて画像データを出力する手順は例えばステップＳ９０７に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の活用例として、例えば画像処理装置において手振れにより生じた振動の影響を解消するように画像の差替えを行う際に本発明を適用することができる。

本発明の実施の形態における画像処理装置１００の構成例を示す図である。 手振れによる振動量およびその手振れの影響を受けた画像の具体例を示す図である。 本発明の実施の形態における振動量の補間処理の例を示す図である。 本発明の実施の形態における補正量の算出例を示す図である。 本発明の実施の形態における使用可否判定部１３０の第１の具体例を示す図である。 本発明の実施の形態におけるメモリ１７０の領域の範囲と不足量との関係を示す図である。 本発明の実施の形態における使用可否判定部１３０の第２の具体例を示す図である。 本発明の実施の形態における使用可否判定部１３０の第２の具体例による各部の状態を示す図である。 本発明の実施の形態におけるスローモーション再生のタイミング例を示す図である。 本発明の実施の形態における画像データの差替処理の第１の具体例を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第１の具体例を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第１の具体例の処理手順を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第２の具体例を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第２の具体例による差替候補生成部１８２１の処理手順を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第２の具体例で使用されるデータ構造を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第２の具体例による差替候補選択部１８２２の処理手順を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第３の具体例を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第３の具体例による補間処理を示す図である。 本発明の実施の形態におけるメモリ制御部１８０の第３の具体例による差替対象補間部１８２４の処理手順を示す図である。 本発明の実施の形態における画像処理装置１００の画像データ差替処理の手順を示す図である。 本発明の実施の形態における画像処理装置１００の機能を実現するコンピュータの構成例を示す図である。 ＣＣＤセンサおよびＣＭＯＳセンサにおける露光時間の相違を示す図である。 ＣＭＯＳセンサにおける手振れが被写体に及ぼす影響を示す図である。 画像データ領域における補正限界を示す図である。

符号の説明

１００ 画像処理装置
１１０ 手振れ検出部
１２０ 手振れ補正量算出部
１３０ 使用可否判定部
１６１ タイミング生成部
１６２ 撮像素子
１６３ 前処理部
１６４ 信号処理部
１７０ メモリ
１８０ メモリ制御部
１８１ 使用可否保持部
１８２ 差替対象生成部
１８３ データ差替部
１９０ 画像補正部
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０５ 入出力インタフェース
２０６ 入力部
２０７ 出力部
２０８ 記憶部
２０９ 通信部
２１０ ドライブ
２２１ ディスク
２２４ 半導体メモリ
１３１１ 不足量算出部
１３１２、１３１３、１３１５ 比較器
１３１４ ライン数カウンタ
１３１６ 論理和回路
１３２１ 領域範囲保持部
１３２２ 範囲限界閾値保持部
１３２３ 範囲予備閾値保持部
１３２５ ライン数閾値保持部
１３５１ 代表値算出部
１３５２ 絶対値算出部
１３５３、１３５６ 比較器
１３５４ 減算器
１３５５ 絶対値算出部
１３５７ 論理和回路
１３５８ 切替器
１３６３ 代表値閾値保持部
１３６４ 遅延部
１３６６ 変化量閾値保持部
１３６８ 遅延部
１８２１ 差替候補生成部
１８２２ 差替候補選択部
１８２４ 差替対象補間部

Claims (14)

1. 撮像素子により画像を撮像する撮像手段と、
   撮像された前記画像を画像データとして保持する画像保持手段と、
   前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、
   前記振動による前記撮像手段への影響を打ち消すための補正量を前記振動量に基づいて算出する補正量算出手段と、
   前記補正量に基づいて前記画像データの各々を使用するか否かを判定する使用可否判定手段と、
   前記使用可否判定手段によって使用しないと判定された画像データの代わりに使用すべき画像データを前記画像保持手段に保持された画像データから生成する差替対象生成手段と、
   前記使用しないと判定された画像データに代えて前記差替対象生成手段により生成された画像データに差替えて画像データを出力する画像データ差替手段と
   を具備することを特徴とする画像処理装置。
2. 前記撮像手段は、前記画像データ差替手段から出力される周期よりも短い周期で前記画像を描画することを特徴とする請求項１記載の画像処理装置。
3. 前記撮像素子は、二次元アドレスによりアクセスされることを特徴とする請求項１記載の画像処理装置。
4. 前記撮像素子は、ＣＭＯＳイメージセンサであることを特徴とする請求項１記載の画像処理装置。
5. 前記使用可否判定手段は、
   前記画像保持手段における領域の範囲を保持する領域保持手段と、
   前記領域の範囲において前記補正量が不足する不足量をライン毎に算出する不足量算出手段と、
   前記不足量について所定の限界閾値を保持する範囲限界閾値保持手段と、
   前記不足量が前記限界閾値を超えたことをライン毎に検出する範囲限界閾値検出手段と、
   前記範囲限界閾値検出手段により検出されたラインを少なくとも一つ含む画像データについては当該画像データを使用しないと判定する判定手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
6. 前記使用可否判定手段は、
   前記画像保持手段における領域の範囲を保持する領域保持手段と、
   前記領域の範囲において前記補正量が不足する不足量をライン毎に算出する不足量算出手段と、
   前記不足量について所定の予備閾値を保持する範囲予備閾値保持手段と、
   前記不足量が前記予備閾値を超えたことをライン毎に検出する範囲予備閾値検出手段と、
   前記範囲予備閾値検出手段により検出されたライン数を各画像データ毎に計数する計数手段と、
   前記範囲予備閾値検出手段による検出について所定のライン数閾値を保持するライン数閾値保持手段と、
   前記計数手段において計数されたライン数が前記ライン数閾値を超えたことを検出するライン数閾値検出手段と、
   前記ライン数閾値検出手段により前記ライン数閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
7. 前記使用可否判定手段は、
   前記画像保持手段における領域の範囲を保持する領域保持手段と、
   前記領域の範囲において前記補正量が不足する不足量をライン毎に算出する不足量算出手段と、
   前記不足量について所定の限界閾値を保持する範囲限界閾値保持手段と、
   前記不足量が前記限界閾値を超えたことをライン毎に検出する範囲限界閾値検出手段と、
   前記不足量について所定の予備閾値を保持する範囲予備閾値保持手段と、
   前記不足量が前記予備閾値を超えたことをライン毎に検出する範囲予備閾値検出手段と、
   前記範囲予備閾値検出手段により検出されたライン数を各画像データ毎に計数する計数手段と、
   前記範囲予備閾値検出手段による検出について所定のライン数閾値を保持するライン数閾値保持手段と、
   前記計数手段において計数されたライン数が前記ライン数閾値を超えたことを検出するライン数閾値検出手段と、
   前記範囲限界閾値検出手段により検出されたラインを少なくとも一つ含む画像データまたは前記ライン数閾値検出手段により前記ライン数閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
8. 前記使用可否判定手段は、
   前記補正量の画像データ毎の代表値を算出する代表値算出手段と、
   前記代表値の絶対値を算出する絶対値算出手段と、
   前記代表値の閾値を保持する代表値閾値保持手段と、
   前記代表値の絶対値が前記代表値の閾値を超えたことを検出する代表値閾値検出手段と、
   前記代表値閾値検出手段により前記代表値の閾値を超えたことが検出された画像データについては当該画像データを使用しないと判定する判定手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
9. 前記使用可否判定手段は、
   前記補正量の画像データ毎の代表値を算出する代表値算出手段と、
   前記代表値の絶対値を算出する第１の絶対値算出手段と、
   前記代表値の閾値を保持する代表値閾値保持手段と、
   前記代表値の絶対値が前記代表値の閾値を超えたことを検出する代表値閾値検出手段と、
   ある画像データについて直前の画像データからの変化量を算出する変化量算出手段と、
   前記変化量の絶対値を算出する第２の絶対値算出手段と、
   前記変化量の閾値を保持する変化量閾値保持手段と、
   前記変化量の絶対値が前記変化量の閾値を超えたことを検出する変化量閾値検出手段と、
   当該画像データについて前記代表値閾値検出手段により前記代表値の閾値を超えたことが検出された場合または当該画像データについて前記変化量閾値検出手段により前記変化量の閾値を超えたことが検出され且つ前記直前の画像データについては使用しないと判定されなかった場合、当該画像データを使用しないと判定する判定手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
10. 前記差替対象生成手段は、前記使用しないと判定された画像データと時間的に近い画像データを前記使用すべき画像データとして選択する
    ことを特徴とする請求項１記載の画像処理装置。
11. 前記差替対象生成手段は、前記使用しないと判定された画像データと相関の高い画像データを前記使用すべき画像データとして選択する
    ことを特徴とする請求項１記載の画像処理装置。
12. 前記差替対象生成手段は、前記使用しないと判定された画像データと時間的に前後する他の画像データから補間した画像データを前記使用すべき画像データとして生成する
    ことを特徴とする請求項１記載の画像処理装置。
13. 撮像素子により画像を撮像する撮像手段と、撮像された前記画像を画像データとして保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像データを補正する画像補正手段とを備える画像処理装置における画像データ差替方法であって、
    前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
    前記補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する手順と、
    前記使用しないと判定された画像データの代わりに使用すべき画像データを前記画像保持手段に保持された画像データから生成する手順と、
    前記使用しないと判定された画像データに代えて前記生成された画像データに差替えて画像データを出力する手順と
    を具備することを特徴とする画像データ差替方法。
14. 撮像素子により画像を撮像する撮像手段と、撮像された前記画像を画像データとして保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像データを補正する画像補正手段とを備える画像処理装置において、
    前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
    前記補正量に基づいて算出された値が所定の閾値を超えた場合には対応する画像データを使用しないと判定する手順と、
    前記使用しないと判定された画像データの代わりに使用すべき画像データを前記画像保持手段に保持された画像データから生成する手順と、
    前記使用しないと判定された画像データに代えて前記生成された画像データに差替えて画像データを出力する手順と
    をコンピュータに実行させることを特徴とするプログラム。
    

Images