JP2005039533A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2005039533A
JP2005039533A JP2003274617A JP2003274617A JP2005039533A JP 2005039533 A JP2005039533 A JP 2005039533A JP 2003274617 A JP2003274617 A JP 2003274617A JP 2003274617 A JP2003274617 A JP 2003274617A JP 2005039533 A JP2005039533 A JP 2005039533A
Authority
JP
Japan
Prior art keywords
image
image signal
motion vector
feature information
vector data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003274617A
Other languages
English (en)
Other versions
JP4453290B2 (ja
Inventor
Hirobumi Nomura
博文 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003274617A priority Critical patent/JP4453290B2/ja
Publication of JP2005039533A publication Critical patent/JP2005039533A/ja
Application granted granted Critical
Publication of JP4453290B2 publication Critical patent/JP4453290B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】 画像信号間の相関関係に基づいて累積加算する画像信号を判別できる撮像装置を提供することである。
【解決手段】 撮像部で撮影した時間的に連続する２つの画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、動きベクトル検出手段で検出した動きベクトル・データに基づいて画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、補正ベクトル算出手段で算出した補正ベクトル・データに基づいて画像信号を補正する手振れ補正手段と、特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、画像判別手段に従って手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備する。
【選択図】 図１

Description

本発明は、撮像装置に関するものである。詳しくは、撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置において、画像信号間の相関関係に基づいて累積加算する画像信号を判別する撮像装置に関するものである。
従来技術において、手振れ補正機能を搭載し、撮影した画像信号を累積加算してメモリに記憶する撮像装置がある。このような撮像装置では、撮影中に移動被写体が進入すると、累積加算する画像信号に移動被写体が混在したり、ブレた画像となって記憶されるという欠点を有していた。
このような欠点を解決するため、例えば、撮影可能な範囲（以下、撮像範囲）を複数の小領域に分割し、分割した小領域の撮像範囲毎に動きベクトル・データの類似性を演算し、類似性が低い場合は撮影した被写体振れが大きいと判定し、画像を合成するときに被写体振れが大きいと判定した領域の画像信号は合成せず、被写体振れの生じていない領域について高精細化のために画像合成を行う撮像装置などが考案されている（例えば、特許文献１）。
特開平１０−１９１１３６号公報（第５−１３頁、図１、図２４、２５）
しかしながら、上述したような撮像装置では、撮像範囲全体を覆うような被写体が進入すると、手振れによる動きベクトル・データであると判断してしまうという欠点があり、また、画像信号が画像全体に相関があるような低コントラストの被写体に変化した場合、ノイズなどの影響を受けやすいため、検出される動きベクトル・データの信頼度が低下し、合成した画像がブレた画像（静止画像）になるという欠点を有している。
従って、画像信号間の相関関係に基づいて累積加算する画像信号を判別できるようにすることに解決しなければならない課題を有する。
前記課題を解決するため、本発明に係る撮像装置は次のような構成にすることである。
（１）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。
（２）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。
（３）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。
（４）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。
（５）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。
（６）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。
（７）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。
（８）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。
このような構成の撮像装置により、撮像部で撮影した時間的に連続する２つの画像信号に基づいて検出した動きベクトル・データ、又は、撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて検出する動きベクトル・データに基づいて、補正ベクトル算出手段が補正ベクトル・データを算出し、手振れ補正手段は、補正ベクトル手段で算出した補正ベクトル・データに基づいて画像信号を補正する。
また、撮像部で撮影した時間的に連続する２つの画像信号に基づいて抽出した画像の特徴情報、又は、撮像部で撮影した画像信号と基準画像記憶手段に記憶されている画像信号とに基づいて抽出した画像の特徴情報と、予め設定してある閾値情報とを画像判別手段によって比較し、メモリへ累積加算する画像信号の判別処理を行う。
そして、累積加算制御手段は、画像判別手段の判別処理に従って手振れ補正手段で補正した画像信号の累積加算処理を制御することにより、撮像部で撮影した時間的に連続する２つの画像信号における相関関係、又は、撮像部で撮影した画像信号と基準画像記憶手段に記憶されている画像信号との相関関係に基づいてメモリに累積加算する画像信号を判別することができる。
撮像部で取り込んだ時間的に連続する２つの画像信号に基づいて検出した動きベクトル・データ、又は、基準となる画像信号に基づいて検出した動きベクトル・データによって、手振れの補正を行う補正ベクトル・データを算出するとともに、画像信号（動きベクトル・データ）の信頼度を判定するための画像の特徴情報を抽出する。
そして、抽出した画像の特徴情報に基づいて、撮影した画像信号が低コントラストであるか、移動被写体が進入しているのかを判別することにより、手振れ補正手段で補正した画像信号をメモリへの累積加算処理を制御する。
従って、低コントラストで動きベクトル・データの信頼度が低い場合であっても、ブレの少ない画像信号のみを累積加算してメモリに記憶し、また、移動被写体が混在するようなシーンを撮影したときであっても、移動被写体が混在していない画像信号のみを累積加算することができるという優れた効果を得ることができる。
更に、上述したメモリに累積加算して記憶してある画像信号を累積加算の回数に応じた係数値で乗算処理して出力するので、画質（Ｓ／Ｎ比）のよい画像信号（静止画像）を記録媒体や記録装置に記録することができる。
次に、本発明の撮像装置よる実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。
まず、本発明の撮像装置による第１の実施例について説明する。
図１は、第１の実施例の撮像装置において主要となる構成を簡略化して示したブロック図であり、撮像部１１０、遅延器１２０、手振れ検出回路１３０、補正回路１４０、累積加算回路１５０、乗算器１６０、記録部１７０、マイコン１８０などから構成される。
撮像部１１０は、レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して遅延器１２０及び手振れ補正回路１３０に送る。
遅延器１２０は、画像信号を補正するために、撮像部１１０から送られてくる画像信号の時間的な位相を調整して補正回路１４０に送出する。
手振れ検出回路１３０は、撮像部１１０より出力される時系列の画像信号を基にして、画像の動きベクトル・データを検出する動きベクトル検出部１３０Ａと、同画像信号を基にして、画像の特徴情報を抽出する特徴抽出部１３０Ｂとを備え、動きベクトル検出部１３０Ａで検出した動きベクトル・データ及び特徴抽出部１３０Ｂで抽出した特徴情報をマイコン１８０に送る。なお、この特徴情報は画像信号の信頼度判別のために使用される。
補正回路１４０は、マイコン１８０から指定された補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送る。
累積加算回路１５０は、マイコン１８０の制御に従い、キャプチャを行うたびに、補正回路１４０から送られてくる画像信号を時間軸方向に累積加算処理する。
乗算器１６０は、累積加算回路１５０に累積加算されている画像信号に対し、マイコン１８０から指定された係数値に基づいて乗算処理を行い、記録部１７０に出力する。
記録部１７０は、マイコン１８０の制御に従い、乗算器１６０から出力された画像信号を記録する。例えば、ハードディスク装置や記録媒体（メモリカード、磁気テープ、光ディスクなど）に画像信号を記録する。
マイコン１８０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。
例えば、手振れ検出回路１７０の動きベクトル検出部１３０Ａで検出した動きベクトル・データに基づいて補正ベクトル・データを算出したり、手振れ検出回路１７０の特徴抽出部１３０Ｂで抽出した特徴情報に基づいて画像信号の信頼度を判別し、累積加算回路１５０の累積加算処理を制御する。又、乗算器１６０に対する係数値の算出や画像信号を記録部１７０に記録するときのタイミングの制御なども行う。
続いて、第１の実施例の撮像装置における各部の動作について詳細に説明する。
まず、手振れ検出回路１３０による動きベクトル・データの検出方法について説明する。ここでは、動きベクトル・データの検出方法の一例として、被写体がほぼ同一であるときの動きベクトル・データ検出に適した代表点マッチング法について説明する。
代表点マッチング法による動きベクトル・データの検出方法では、時刻ｔ１と時刻ｔ２（＝ｔ１＋１）の２つの異なる時刻の画像信号において、時刻ｔ２の画像信号のうち、時刻ｔ１の画像信号におけるある１画素（代表点）の輝度レベルに最も近い輝度レベルの画素（の座標）を検出することにより動きベクトル・データを検出する方法である。
図２は、代表点マッチング法による動きベクトル・データの検出方法を略示的に示す図であり、代表点マッチング法では、ある時刻の画像信号において、動きベクトル・データの検出領域で検出される動きベクトル・データは、検出領域内に必ず１つのみ存在する。
ここで、時刻ｔ１において撮影した画像信号１０を比較元の画像とし、時刻ｔ２において撮影した画像で画像信号２０を比較先の画像とすると、比較元となる時刻ｔ１の画像信号１０における検出領域内には、代表点となる１画素のみ、ここでは画素ｍ（以下、代表点画素ｍ）が存在する。また、時刻ｔ２の画像信号２０における検出領域内の画素ｎ（以下、比較画素ｎ）を代表点画素ｍの比較対象の画素とする。
このとき、ベクトル５０は検出された動きベクトル・データを示しており、時刻ｔ２の画像信号２０における画素ｍ１は、動きベクトル・データが示す座標に存在し、画像信号１０における代表点画素ｍの輝度レベルに最も近い画素である。
ここで、時刻ｔ１における画像の代表点の輝度レベルをｋｍ（ｕ，ｖ）、時刻ｔ２における画像の偏移（ｘ，ｙ）における輝度レベルをｋｎ（ｘ，ｙ）とすると、代表点マッチングで検出する動きベクトル・データの残差の絶対値Ｐ（ｘ，ｙ）は、次式で表すことができる。
Ｐ（ｘ，ｙ）＝ ｜ｋｍ（ｕ，ｖ） − ｋｎ（ｘ，ｙ）｜
このとき、画像の偏移（ｘ，ｙ）と残差の絶対値Ｐ（ｘ，ｙ）は、図３に示すようなグラフとなり、図中の点ａが極小点（最小点）となり、点ａの座標（ｘ，ｙ）と代表点画素ｍの座標（ｕ，ｖ）との差が動きベクトル・データになる。この動きベクトル・データをＭｖとすると、点ａにおける動きベクトル・データＭｖは、次式で表すことができる。
Ｍｖ ＝ （ｘ−ｕ，ｙ−ｖ）
ここで、代表点画素の座標（ｕ，ｖ）が（０，０）であれば、動きベクトル・データＭｖは、Ｍｖ＝（ｘ，ｙ）となる。
次に、上述したような動きベクトル・データの検出方法を備えた手振れ検出回路１３０の内部構成について説明する。
図４は、手振れ検出回路１３０の内部構成を簡略化して示したブロック図であり、フィルタ処理回路１３１、代表点抽出回路１３２、減算器１３３、絶対値変換回路１３４、動きベクトル検出回路１３５、特徴抽出回路１３６などから構成される。
フィルタ処理回路１３１は、撮像部１１０から送られてくる画像信号から動きベクトル・データの検出に不要な周波数成分を除去して代表点抽出回路１３２及び減算器１３３に送出する。
代表点抽出回路１３２は、フィルタ処理回路１３１から送られてくる画像信号から代表点となる画素を抽出してこの画素の輝度レベルを記憶するとともに、減算器１３３に送出する。
減算器１３３は、フィルタ回路１３１からの画像信号と、代表点抽出回路１３２の出力信号に基づいて減算処理を行って絶対値変換回路１３４へ送出する。
絶対値変換回路１３４は、減算器１３３からの出力信号を絶対値化処理して動きベクトル検出回路１３５及び特徴抽出回路１３６に送出する。
動きベクトル検出回路１３５は、絶対値変換回路１３４からの出力信号に基づいて動きベクトル・データを検出してマイコン１８０へ出力する。
特徴抽出回路１３６は、絶対値変換回路１３４からの出力信号から特徴情報を抽出してマイコン１８０へ出力する。
このような構成の手振れ検出回路１３０により、上述した検出方法に基づいて動きベクトル検出回路１３５によって動きベクトル・データが検出され、また、特徴抽出回路１３６は、図３に示すグラフの点ａに相当する残差の絶対値Ｐ（ｘ，ｙ）、即ち、残差値が最小となる点（極小点）における絶対値Ｌ＝min{Ｐ（ｘ，ｙ）}の値を特徴情報として出力する。
次に、マイコン１８０による補正ベクトル・データの生成、画像信号の信頼度の判別方法について説明する。
まず、補正ベクトル・データの生成について説明する。マイコン１８０は、手振れ検出回路１３０により検出された動きベクトル・データ、例えば、図５に示すように、撮像部１１０により０、１、２、・・・Ｎの順で時系列的に撮影された各画像信号の場合、各画像信号と直前の時間に撮影した画像信号によって算出される動きベクトル・データＭｖ０１、Ｍｖ１２、・・・Ｍｖ（Ｎ−１）Ｎを積分した値に基づいて補正ベクトル・データを生成し、補正回路１４０に送出する。
このとき、動きベクトル・データは、図６に示すような完全積分を表す積分器によって行われ、入力信号（動きベクトル）をＸ（ｚ）、出力信号をＹ（ｚ）とした場合は、次式で表すことができる。
Ｙ（ｚ） ＝ １／｛（１−Ｚ−１）・Ｘ（ｚ）｝
マイコン１８０は、このようにして生成された補正ベクトル・データを補正回路１４０に送出し、補正回路１４０では、この補正ベクトル・データに基づいて画像信号の補正が行われる。
次に、マイコン１８０において、画像信号の信頼度を判別する方法について説明する。
図７のグラフは、図３で示した画像の偏移（ｘ，ｙ）と残差の絶対値Ｐ（ｘ，ｙ）との関係を二次元的に表したグラフである。
グラフの実線は、一般的な手振れ状態のときを示したグラフであり、動きベクトル・データが検出される偏移の最小点ａにおいて、残差の絶対値が十分小さくなり、画像間の相関は高く、信頼度は高い。
また、グラフの点線は、輝度レベルが低い（低コントラスト）ときを示したグラフであり、動きベクトル・データが検出される偏移の最小点ａを含む全ての偏移における残差の絶対値が十分小さく、画像間の相関が高いが、最小点ａはノイズなどの影響を受けやすい。即ち、検出された動きベクトル・データの精度が低く、信頼度は低い。
また、グラフの一点鎖線は、移動被写体が進入してきたときを示したグラフであり、動きベクトル・データが検出される偏移で最小点ａを含む全ての偏移における残差の絶対値が比較的大きく、画像間の相関が低く、信頼度は低い。
画像信号の偏移（ｘ，ｙ）と残差の絶対値Ｐ（ｘ，ｙ）との関係には、このような性質があるため、マイコン１８０では、予め設定された閾値と、手振れ検出回路１３０から出力される特徴情報に基づき、撮影した画像信号を累積加算処理するか否か決定するための信頼度を判定する。
一方、画像信号が低コントラストの場合、比較先の画像信号において、代表点の輝度レベルとの差が全体的に小さくなるため、残差の値も全体的に小さくなる。このとき、ノイズなどの影響を受けて動きベクトル・データの検出精度が低下したり、手振れ振動以外の動きベクトル・データを検出する可能性があるので、これを排除する必要がある。
そこで、次に示す式のように、各座標点における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓを算出する。なお、Ｈ：動きベクトル・データのｘ方向の大きさ、Ｖ：動きベクトル・データのｙ方向の大きさである。
Figure 2005039533
そして、算出した残差値の総和Ｓが所定の閾値より小さい場合、低コントラストの被写体を撮影した画像信号であると判断する。
一方、移動被写体が進入した場合、画像間の相関が低くなるため最小点ａにおける残差の絶対値レベルは大きくなる。このとき、画像間の相関が低いため、検出した動きベクトル・データの信頼度は低く、補正に用いることは不可能であるため、最小点ａにおける残差の絶対値Ｌを用いて信頼度の判別を行う。
最小点における残差の絶対値Ｌは、Ｌ＝min{Ｐ（ｘ，ｙ）}で表され、この残差の絶対値Ｌが、所定の閾値より大きい場合は、移動被写体が混在する被写体を撮影した画像信号であると判断する。
つまり、特徴情報には２つあり、１つは、２つの画像信号の間の差分の絶対値、即ち、残差の絶対値Ｌを、偏移（ｘ，ｙ）との関係で２次元平面上に表現した場合（図７参照）において、全ての座標における値を積分したときの積分値であり、もう１つは、同じく、２つの画像信号の間の差分の絶対値、即ち、残差の絶対値Ｌを、偏移（ｘ，ｙ）との関係で２次元平面上に表現した場合（図７参照）において、残差の絶対値Ｌが最小点となる座標の値である。この２つの値よって検出した動きベクトルの信頼度が判別され、信頼度があると判別された画像信号を累積加算する。
次に、第１の実施例における撮像装置の動作フローについて、図８、図９を参照しながら説明する。
撮影を開始すると、まず、マイコン１８０は、キャプチャした画像信号の数（画像の枚数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ１１０）。
ＣＣが「０」のとき、マイコン１８０は、補正回路１４０に対する補正量を「０」にクリアする（ＳＴ１１１）。
続いて、累積加算回路１５０は、撮像部１１０で撮影した画像信号をキャプチャして累積加算する（ＳＴ１１２）。
これにより、まず、基準となる最初の画像信号が累積加算回路１５０に記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が何もキャプチャされないことを防止する。なお、このときには遅延器１２０、補正回路１４０での処理は実行されない。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１３、ＳＴ１１４→エンド）。
一方、ＣＣが「０」でないとき、累積加算回路１５０にはキャプチャされた画像信号が累積加算されている状態であり、まず、マイコン１８０は、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ１１０→ＳＴ１２０）。
ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２０→ＳＴ１３０→・・・）。
ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、次に、マイコン１８０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ１２０→ＳＴ１２１）。
ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２１→ＳＴ１３０→・・・）。
ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）とき、マイコン１８０は、手振れ検出部１３０で検出した動きベクトル・データに基づいて補正ベクトル・データを生成して補正回路１４０に送り、補正回路１４０は、この補正ベクトル・データに基づいて撮像部１１０で撮影した画像信号を補正する（ＳＴ１２１→ＳＴ１２２）。
続いて、マイコン１８０は、手振れ検出部１３０で抽出した特徴情報に基づき、画像信号の信頼度の判定を行う（ＳＴ１２２→ＳＴ１２３）。
画像信号の信頼度の判定は、図９のフローチャートに従って実行される。
まず、図９のフローチャートにおいて、マイコン１８０は、低コントラストの被写体を撮影した画像信号であるか否かを判断するために予め設定してある閾値Ａと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号のコントラストを示すステータスフラグである「ｓｔａｔｕｓ１」をセットする（ＳＴ２１０）。
総和Ｓが閾値Ａ未満（Ｓ＜Ａ）である場合、低コントラストの画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”１”にセットする（ＳＴ２１０→ＳＴ２１１）。
総和Ｓが閾値Ａ以上（Ｓ≧Ａ）である場合、低コントラストの画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”０”にセットする（ＳＴ２１０→ＳＴ２２０）。
続いて、移動被写体が進入した画像信号であるか否かを判断するために予め設定してある閾値Ｂと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号の移動被写体進入を示すステータスフラグである「ｓｔａｔｕｓ２」をセットする（ＳＴ２１２）。
総和Ｓが閾値Ｂ未満（Ｓ＜Ｂ）である場合、移動被写体が進入した画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”１”にセットする（ＳＴ２１２→ＳＴ２１３）。
総和Ｓが閾値Ｂ以上（Ｓ≧Ｂ）である場合、移動被写体が進入した画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”０”にセットする（ＳＴ２１０→ＳＴ２２１）。
マイコン１８０は、２つのステータスフラグがセットされると、「ｓｔａｔｕｓ１」と「ｓｔａｔｕｓ２」の論理和（ＯＲ）を算出し、算出した結果を画像信号の状態を示すステータスフラグ「ｓｔａｔｕｓ」にセットする（ＳＴ２１４）。
このように、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により、画像信号のコントラスト及び移動被写体の進入状態を判別できる。
図８のフローチャートに戻り、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により画像信号の信頼度を判定する（ＳＴ１２３→ＳＴ１２４）。
マイコン１８０は、「ｓｔａｔｕｓ」が”０”である場合、累積加算回路１５０は、補正回路１２０で補正された画像信号を累積加算する（ＳＴ１２４→ＳＴ１１２）。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１３、ＳＴ１１４→エンド）。
一方、「ｓｔａｔｕｓ」が”０”でない場合、マイコン１８０は、ＣＣの値の逆数を所定の係数値として乗算器１４０に与える（ＳＴ１２４→ＳＴ１３０）。
次に、乗算器１６０は、マイコン１８０から与えられた所定の係数値と累積加算回路１５０に累積加算されている画像信号とを乗算処理して記録部１７０に出力し、記録部１７０は乗算器１６０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ１３１）。
記録部１７０に画像信号が記録されると、マイコン１８０は、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ１３２→ＳＴ１３３→エンド）。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１４、ＳＴ１１５→エンド）。
また、上述した図８のステップＳＴ１２０において、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、同ステップＳＴ１２１で、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１５０に記憶してある画像信号を記録部１７０へ記録するための処理を開始する。
まず、マイコン１８０は、ＣＣの値の逆数を所定の係数値として乗算器１６０に与える（ＳＴ１２０→ＳＴ１３０、又は、ＳＴ１２１→ＳＴ１３０）。
次に、乗算器１６０は、マイコン１８０から与えられた所定の係数値と累積加算回路１５０に累積加算されている画像信号とを乗算処理して記録部１７０に出力し、記録部１７０は乗算器１６０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ１３１）。
マイコン１８０は、記録部１７０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ１３２→ＳＴ１３３→エンド）。
図１０のグラフは、上述した図８に示す動作フローによって、画像信号のコントラストや移動被写体の進入状態を判別し、画像信号の累積加算処理を行うときの様子を略示的に示したものであり、手振れ信号がサイン波（ｓｉｎ波）であるとき、時刻ｔ１からｔ２の間に画像信号の信頼度が低下した場合の累積加算処理の様子である。
図１０（ａ）のように、時刻ｔ１からｔ２の間に画像信号のコントラストが所定値（閾値Ａ）未満であったり、画像信号に移動被写体の進入すると、手振れ検出部１３０によって画像信号の信頼度を低下させる動きベクトル・データが検出され、図１０（ｂ）に示すように、時刻ｔ１以降は、信頼度が低い動きベクトル・データが積分処理され、信頼度の低い補正ベクトル・データが生成されてしまう。
このとき、図１０（ｃ）に示すように、マイコン１８０では、画像信号の信頼度の判定において、「ｓｔａｔｕｓ１」及び「ｓｔａｔｕｓ２」の両方、又は何れか一方のステータスフラグに”１”がセットされるので、「ｓｔａｔｕｓ」にも”１”がセットされ、時刻ｔ１以降、画像信号の累積加算処理が停止される。
なお、図８のフローチャートによる動作は、画像信号を取り込むたびに繰り返し実行されるものである。
次に、本発明の撮像装置による第２の実施例について説明する。
図１１は、第２の実施例の撮像装置において主要となる構成を簡略化して示したブロック図であり、撮像部１１０、遅延器１２０、手振れ検出回路１３０、補正回路１４０、累積加算回路１５０、乗算器１６０、記録部１７０、マイコン１８０、ジャイロセンサ１９０などから構成される。
なお、第１の実施例の撮像装置（図１参照）と同等の機能を備えているものには、同じ図番号を付与している。
撮像部１１０は、レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して遅延器１２０及び手振れ補正回路１３０に送る。
遅延器１２０は、画像信号を補正するために、撮像部１１０から送られてくる画像信号の時間的な位相を調整して補正回路１４０に送出する。
手振れ検出回路１３０は、動きベクトル検出部１３０Ａと特徴抽出部１３０Ｂを備え、撮像部１１０より出力される時系列の画像信号を基にして、画像の特徴情報を抽出し、抽出した特徴情報をマイコン１８０に送る。なお、この特徴情報は画像信号の信頼度判別のために使用される。
補正回路１４０は、マイコン１８０から指定された補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送る。
累積加算回路１５０は、マイコン１８０の制御に従い、キャプチャを行うたびに、補正回路１４０から送られてくる画像信号を時間軸方向に累積加算処理する。
乗算器１６０は、累積加算回路１５０に累積加算されている画像信号に対し、マイコン１８０から指定された係数値に基づいて乗算処理を行い、記録部１７０に出力する。
記録部１７０は、マイコン１８０の制御に従い、乗算器１６０から出力された画像信号を記録する。例えば、ハードディスク装置や記録媒体（メモリカード、磁気テープ、光ディスクなど）に画像信号を記録する。
マイコン１８０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。
例えば、ジャイロセンサ１９０で検出した手振れ信号に基づいて補正ベクトル・データを算出したり、手振れ検出回路１７０の特徴抽出部１３０Ｂで抽出した特徴情報に基づいて画像信号の信頼度を判別し、累積加算回路１５０の累積加算処理を制御する。又、乗算器１６０に対する係数値の算出や画像信号を記録部１７０に記録するときのタイミングの制御なども行う。
ジャイロセンサ１９０は、撮像部１１０に対して加えられる手振れによる振動量を手振れ信号として検出してマイコン１８０に送出する。
なお、第１の実施例の撮像装置（図１参照）と同様に、マイコン１８０は、補正ベクトル・データを生成する。このとき、マイコン１８０は、ジャイロセンサ１９０で検出した手振れ信号に応じた補正ベクトル・データを生成し、補正回路１４０に送出する。
このとき、動きベクトル・データは、第１の実施例の撮像装置（図１参照）と同様に、図６に示すような完全積分を表す積分器によって行われ、入力信号（動きベクトル）をＸ（ｚ）、出力信号をＹ（ｚ）とした場合は、次式で表すことができる。
Ｙ（ｚ） ＝ １／｛（１−Ｚ−１）・Ｘ（ｚ）｝
マイコン１８０は、このようにして生成された補正ベクトル・データを補正回路１４０に送出し、補正回路１４０では、この補正ベクトル・データに基づいて画像信号の補正が行われる。
本実施例では、第１の実施例の撮像装置で説明した手振れ検出回路１３０の動きベクトル検出部１３０Ａ（図１参照）によって行う動きベクトル・データの検出を、ジャイロセンサ１９０で行っており、それ以外の手振れ検出回路１３０による動きベクトル・データの検出方法、手振れ検出回路の内部構成、画像信号の信頼度の判別方法については、第１の実施例の撮像装置における説明と同様であるため、その説明は省略する。
次に、第２の実施例における撮像装置の動作フローについて図１２のフローチャートを参照しながら説明する。
撮影を開始すると、まず、マイコン１８０は、キャプチャした画像信号の数（画像の枚数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ３１０）。
ＣＣが「０」のとき、マイコン１８０は、補正回路１４０に対する補正量を「０」にクリアする（ＳＴ３１１）。
続いて、累積加算回路１５０は、撮像部１１０で撮影した画像信号をキャプチャして累積加算する（ＳＴ３１２）。
これにより、まず、基準となる最初の画像信号が累積加算回路１５０に記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が何もキャプチャされないことを防止する。なお、このときには遅延器１２０、補正回路１４０での処理は実行されない。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ３１３、ＳＴ３１４→エンド）。
一方、ＣＣが「０」でないとき、累積加算回路１５０にはキャプチャされた画像信号が累積加算されている状態であり、まず、マイコン１８０は、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ３１０→ＳＴ３２０）。
ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ３２０→ＳＴ３３０→・・・）。
ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、次に、マイコン１８０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ３２０→ＳＴ３２１）。
ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ３２１→ＳＴ３３０→・・・）。
ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）とき、マイコン１８０は、ジャイロセンサ１９０で検出した手振れ信号に基づいて補正ベクトル・データを生成して補正回路１４０に送り、補正回路１４０は、この補正ベクトル・データに基づいて撮像部１１０で撮影した画像信号を補正する（ＳＴ３２１→ＳＴ３２２）。
続いて、マイコン１８０は、手振れ検出部１３０で抽出した特徴情報に基づき、画像信号の信頼度の判定を行う（ＳＴ３２２→ＳＴ３２３）。
画像信号の信頼度の判定は、第１の実施例と同様に、図９のフローチャートに従って実行される。
まず、図９のフローチャートにおいて、マイコン１８０は、低コントラストの被写体を撮影した画像信号であるか否かを判断するために予め設定してある閾値Ａと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号のコントラストを示すステータスフラグである「ｓｔａｔｕｓ１」をセットする（ＳＴ２１０）。
総和Ｓが閾値Ａ未満（Ｓ＜Ａ）である場合、低コントラストの画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”１”にセットする（ＳＴ２１０→ＳＴ２１１）。
総和Ｓが閾値Ａ以上（Ｓ≧Ａ）である場合、低コントラストの画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”０”にセットする（ＳＴ２１０→ＳＴ２２０）。
続いて、移動被写体が進入した画像信号であるか否かを判断するために予め設定してある閾値Ｂと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号の移動被写体進入を示すステータスフラグである「ｓｔａｔｕｓ２」をセットする（ＳＴ２１２）。
総和Ｓが閾値Ｂ未満（Ｓ＜Ｂ）である場合、移動被写体が進入した画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”１”にセットする（ＳＴ２１２→ＳＴ２１３）。
総和Ｓが閾値Ｂ以上（Ｓ≧Ｂ）である場合、移動被写体が進入した画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”０”にセットする（ＳＴ２１０→ＳＴ２２１）。
マイコン１８０は、２つのステータスフラグがセットされると、「ｓｔａｔｕｓ１」と「ｓｔａｔｕｓ２」の論理和（ＯＲ）を算出し、算出した結果を画像信号の状態を示すステータスフラグ「ｓｔａｔｕｓ」にセットする（ＳＴ２１４）。
このように、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により、画像信号のコントラスト及び移動被写体の進入状態を判別できる。
図１２のフローチャートに戻り、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により画像信号の信頼度を判定する（ＳＴ３２３→ＳＴ３２４）。
マイコン１８０は、「ｓｔａｔｕｓ」が”０”である場合、累積加算回路１５０は、補正回路１２０で補正された画像信号を累積加算する（ＳＴ３２４→ＳＴ３１２）。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ３１３、ＳＴ３１４→エンド）。
一方、「ｓｔａｔｕｓ」が”０”でない場合、マイコン１８０は、ＴＣの値を１つ増加させて処理を終了する（ＳＴ３２４→ＳＴ３１４→エンド）。
また、上述した図１２のステップＳＴ３２０において、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、同ステップＳＴ３２１で、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１５０に記憶してある画像信号を記録部１７０へ記録するための処理を開始する。
まず、マイコン１８０は、ＣＣの値の逆数を所定の係数値として乗算器１６０に与える（ＳＴ３２０→ＳＴ３３０、又は、ＳＴ３２１→ＳＴ３３０）。
次に、乗算器１６０は、マイコン１８０から与えられた所定の係数値と累積加算回路１５０に累積加算されている画像信号とを乗算処理して記録部１７０に出力し、記録部１７０は乗算器１６０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ３３１）。
マイコン１８０は、記録部１７０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ３３２→ＳＴ３３３→エンド）。
なお、図１２のフローチャートによる動作は、画像信号を取り込むたびに繰り返し実行されるものである。
図１３のグラフは、画像信号のコントラストや移動被写体の進入状態を判別し、画像信号の累積加算処理を行うときの様子を略示的に示したものであり、手振れ信号がサイン波（ｓｉｎ波）であるとき、時刻ｔ１からｔ２の間に画像信号の信頼度が低下した場合の累積加算処理の様子である。
図１３（ｃ）に示すように、時刻ｔ１からｔ２の間に画像信号の信頼度が低下した場合、マイコン１８０では、画像信号の信頼度の判定において、「ｓｔａｔｕｓ１」及び「ｓｔａｔｕｓ２」の両方、又は何れか一方のステータスフラグに”１”がセットされるので、「ｓｔａｔｕｓ」にも”１”がセットされる。
しかしながら、図１３（ａ）のように、時刻ｔ１からｔ２の間にジャイロセンサ１９０の出力信号が正常であり、画像信号の信頼度の高い動きベクトル・データが検出され、また、図１３（ｂ）に示すように、時刻ｔ１からｔ２の間に積分処理される動きベクトル・データも信頼度が高く、補正ベクトル・データも正常に生成される。
このような場合、マイコン１８０は、移動被写体が進入した可能性があると判断して、画像信号の信頼度が低下している時刻ｔ１からｔ２間のみ、画像信号の累積加算処理を停止する。そして、画像信号の信頼度が高くなる、即ち、「ｓｔａｔｕｓ」が”０”にセットされると画像信号の累積加算処理を開始する。
次に、本発明の撮像装置による第３の実施例について説明する。
図１４は、第３の実施例の撮像装置において主要となる構成を簡略化して示したブロック図であり、撮像部１１０、メモリ１１５、遅延器１２０、手振れ検出回路１３０、補正回路１４０、累積加算回路１５０、乗算器１６０、記録部１７０、マイコン１８０などから構成される。
なお、上述した第１及び第２の実施例の撮像装置（図１、図１１参照）と同等の機能を備えているものには、同じ図番号を付与している。
撮像部１１０は、レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して遅延器１２０及び手振れ補正回路１３０に送る。
メモリ１１５は、マイコン１８０の制御（リード／ライト信号）に従い、撮像部１１０からの画像信号を記憶したり（書き込んだり）、記憶してある画像信号を読み出して手振れ検出回路１３０に送出する。
遅延器１２０は、画像信号を補正するために、撮像部１１０から送られてくる画像信号の時間的な位相を調整して補正回路１４０に送出する。
手振れ検出回路１３０は、撮像部１１０より出力される時系列の画像信号及びメモリ１１５に記憶されている画像信号を基にして、画像の動きベクトル・データを検出する動きベクトル検出部１３０Ａと、撮像部１１０より出力される時系列の画像信号及びメモリ１１５に記憶されている画像信号を基にして、画像の特徴情報を抽出する特徴抽出部１３０Ｂとを備え、動きベクトル検出部１３０Ａで検出した動きベクトル・データ及び特徴抽出部１３０Ｂで抽出した特徴情報をマイコン１８０に送る。なお、この特徴情報は画像信号の信頼度判別のために使用される。
補正回路１４０は、マイコン１８０から指定された補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送る。
累積加算回路１５０は、マイコン１８０の制御に従い、キャプチャを行うたびに、補正回路１４０から送られてくる画像信号を時間軸方向に累積加算処理する。
乗算器１６０は、累積加算回路１５０に累積加算されている画像信号に対し、マイコン１８０から指定された係数値に基づいて乗算処理を行い、記録部１７０に出力する。
記録部１７０は、マイコン１８０の制御に従い、乗算器１６０から出力された画像信号を記録する。例えば、ハードディスク装置や記録媒体（メモリカード、磁気テープ、光ディスクなど）に画像信号を記録する。
マイコン１８０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。
例えば、手振れ検出回路１７０の動きベクトル検出部１３０Ａで検出した動きベクトル・データに基づいて補正ベクトル・データを算出したり、手振れ検出回路１７０の特徴抽出部１３０Ｂで抽出した特徴情報に基づいて画像信号の信頼度を判別し、累積加算回路１５０の累積加算処理を制御する。又、メモリ１１５のリード／ライトの制御、乗算器１６０に対する係数値の算出、画像信号を記録部１７０に記録するときのタイミングの制御なども行う。
次に、手振れ検出回路１３０の内部構成について説明する。
図１５は、手振れ検出回路１３０の内部構成を簡略化して示したブロック図であり、フィルタ処理回路１３１ａ／１３１ｂ、代表点抽出回路１３２、減算器１３３、絶対値変換回路１３４、動きベクトル検出回路１３５、特徴抽出回路１３６などから構成される。
なお、上述した第１の実施例で説明した手振れ検出回路１３０の内部構成（図４参照）と同等の機能を備えているものには、同じ図番号を付与している。
フィルタ処理回路１３１ａには、基準となる画像信号が入力され、フィルタ処理回路１３１ｂには、撮像部１１０から送られてくる画像信号が入力される。そして、それぞれに入力された画像信号からから動きベクトル・データの検出に不要な周波数成分を除去して代表点抽出回路１３２及び減算器１３３に送出する。
代表点抽出回路１３２は、フィルタ処理回路１３１ａから送られてくる基準となる画像信号から代表点となる画素を抽出してこの画素の輝度レベルを記憶するとともに、減算器１３３に送出する。
減算器１３３は、フィルタ回路１３１ｂからの画像信号と、代表点抽出回路１３２からの出力信号に基づいて減算処理を行って絶対値変換回路１３４へ送出する。
絶対値変換回路１３４は、減算器１３３からの出力信号を絶対値化処理して動きベクトル検出回路１３５及び特徴抽出回路１３６に送出する。
動きベクトル検出回路１３５は、絶対値変換回路１３４からの出力信号に基づいて動きベクトル・データを検出してマイコン１８０へ出力する。
特徴抽出回路１３６は、絶対値変換回路１３４からの出力信号から特徴情報を抽出してマイコン１８０へ出力する。
このような構成の手振れ検出回路１３０により、上述の第１の実施例で説明した検出方法に基づき、動きベクトル検出回路１３５によって動きベクトル・データが検出され、また、特徴抽出回路１３６は、残差の絶対値Ｌ＝min{Ｐ（ｘ，ｙ）}の値を特徴情報として出力する（図３参照）。
次に、マイコン１８０による補正ベクトル・データの生成について説明する。
まず、マイコン１８０は、撮像部１１０によって撮影した画像信号のうち、基準となる画像信号をメモリ１１５に記憶させる。そして、手振れ検出回路１３０により、基準となる画像信号０と、撮像部１１０から出力される時系列の画像信号とを比較して動きベクトル・データを検出する。
例えば、図１６に示すように、メモリ１１５に基準となる画像信号０を記憶しておき、手振れ検出回路１３０により、撮像部１１０で撮影した画像信号１、２、・・・Ｎの各々の画像信号と基準となる画像信号０を比較した動きベクトル・データｍｖ０１、ｍｖ０２、・・・ｍｖ０Ｎを検出する。
そして、マイコン１８０は、手振れ検出回路１３０で検出した動きベクトル・データを補正ベクトル・データとして補正回路１４０に送出する。
マイコン１８０は、このようにして生成された補正ベクトル・データを補正回路１４０に送出し、補正回路１４０では、この補正ベクトル・データに基づいて画像信号の補正が行われる。
本実施例では、手振れ検出回路１３０による動きベクトル・データの検出方法、画像信号の信頼度の判別方法については、第１及び第２の実施例の撮像装置における説明と同様であるため、その説明は省略する。
次に、第３の実施例における撮像装置の動作フローについて図１７を参照しながら説明する。
撮影を開始すると、まず、マイコン１８０は、キャプチャした画像信号の数（画像の枚数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ４１０）。
ＣＣが「０」のとき、マイコン１８０は、補正回路１４０に対する補正量を「０」にクリアする（ＳＴ４１１）。
次に、撮像部１１０で撮影した画像信号をメモリ１１５に記憶（書き込み）する（ＳＴ４１２）。
続いて、累積加算回路１５０は、撮像部１１０で撮影した画像信号を累積加算して記憶する（ＳＴ４１３）。
これにより、まず、基準となる最初の画像信号が累積加算回路１５０に記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が何もキャプチャされないことを防止する。なお、このときには遅延器１２０、補正回路１４０での処理は実行されない。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ４１４、ＳＴ４１５→エンド）。
一方、ＣＣが「０」でないとき、累積加算回路１５０にはキャプチャされた画像信号が累積加算されている状態であり、まず、マイコン１８０は、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ４１０→ＳＴ４２０）。
ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１７０へ記録するための処理へ移行する（ＳＴ４２０→ＳＴ４３０→・・・）。
ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、次に、マイコン１８０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ４２０→ＳＴ４２１）。
ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１７０へ記録するための処理へ移行する（ＳＴ４２１→ＳＴ４３０→・・・）。
ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）とき、マイコン１８０は、手振れ検出回路１３０で検出した動きベクトル・データに基づいて補正ベクトル・データを生成して補正回路１４０に送り、補正回路１４０は、この補正ベクトル・データに基づいて撮像部１１０で撮影した画像信号を補正する（ＳＴ４２１→ＳＴ４２２）。
続いて、マイコン１８０は、手振れ検出部１３０で抽出した特徴情報に基づき、画像信号の信頼度の判定を行う（ＳＴ４２２→ＳＴ４２３）。
画像信号の信頼度の判定は、第１及び第２の実施例と同様に、図９のフローチャートに従って実行される。
まず、図９のフローチャートにおいて、マイコン１８０は、低コントラストの被写体を撮影した画像信号であるか否かを判断するために予め設定してある閾値Ａと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号のコントラストを示すステータスフラグである「ｓｔａｔｕｓ１」をセットする（ＳＴ２１０）。
総和Ｓが閾値Ａ未満（Ｓ＜Ａ）である場合、低コントラストの画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”１”にセットする（ＳＴ２１０→ＳＴ２１１）。
総和Ｓが閾値Ａ以上（Ｓ≧Ａ）である場合、低コントラストの画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”０”にセットする（ＳＴ２１０→ＳＴ２２０）。
続いて、移動被写体が進入した画像信号であるか否かを判断するために予め設定してある閾値Ｂと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号の移動被写体進入を示すステータスフラグである「ｓｔａｔｕｓ２」をセットする（ＳＴ２１２）。
総和Ｓが閾値Ｂ未満（Ｓ＜Ｂ）である場合、移動被写体が進入した画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”１”にセットする（ＳＴ２１２→ＳＴ２１３）。
総和Ｓが閾値Ｂ以上（Ｓ≧Ｂ）である場合、移動被写体が進入した画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”０”にセットする（ＳＴ２１０→ＳＴ２２１）。
マイコン１８０は、２つのステータスフラグがセットされると、「ｓｔａｔｕｓ１」と「ｓｔａｔｕｓ２」の論理和（ＯＲ）を算出し、算出した結果を画像信号の状態を示すステータスフラグ「ｓｔａｔｕｓ」にセットする（ＳＴ２１４）。
このように、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により、画像信号のコントラスト及び移動被写体の進入状態を判別できる。
図１７のフローチャートに戻り、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により画像信号の信頼度を判定する（ＳＴ４２３→ＳＴ４２４）。
マイコン１８０は、「ｓｔａｔｕｓ」が”０”である場合、累積加算回路１５０は、補正回路１２０で補正された画像信号を累積加算する（ＳＴ４２４→ＳＴ４１３）。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ４１４、ＳＴ４１５→エンド）。
一方、「ｓｔａｔｕｓ」が”０”でない場合、マイコン１８０は、ＴＣの値を１つ増加させて処理を終了する（ＳＴ４２４→ＳＴ４１５→エンド）。
また、上述した図１７のステップＳＴ４２０において、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、同ステップＳＴ４２１で、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１５０に記憶してある画像信号を記録部１７０へ記録するための処理を開始する。
まず、マイコン１８０は、ＣＣの値の逆数を所定の係数値として乗算器１６０に与える（ＳＴ４２０→ＳＴ４３０、又は、ＳＴ４２１→ＳＴ４３０）。
次に、乗算器１６０は、マイコン１８０から与えられた所定の係数値と累積加算回路１５０に累積加算されている画像信号とを乗算処理して記録部１７０に出力し、記録部１７０は乗算器１６０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ４３１）。
マイコン１８０は、記録部１７０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ４３２→ＳＴ４３３→エンド）。
なお、図１７のフローチャートによる動作は、画像信号を取り込むたびに繰り返し実行されるものである。
図１８のグラフは、画像信号のコントラストや移動被写体の進入状態を判別し、画像信号の累積加算処理を行うときの様子を略示的に示したものであり、手振れ信号がコサイン波（−ｃｏｓ波）であるとき、時刻ｔ１からｔ２の間に画像信号の信頼度が低下した場合の累積加算処理の様子である。
図１８（ａ）のように、時刻ｔ１からｔ２の間に画像信号のコントラストが所定値（閾値Ａ）未満であったり、画像信号に移動被写体の進入すると、手振れ検出部１３０によって画像信号の信頼度を低下させる動きベクトル・データが検出され、時刻ｔ１からｔ２の間は、信頼度が低い動きベクトル・データが積分処理され、信頼度の低い補正ベクトル・データが生成されてしまう。
このとき、図１８（ｂ）に示すように、マイコン１８０では、画像信号の信頼度の判定において、「ｓｔａｔｕｓ１」及び「ｓｔａｔｕｓ２」の両方、又は何れか一方のステータスフラグに”１”がセットされるので、「ｓｔａｔｕｓ」にも”１”がセットされる。
マイコン１８０は、画像信号の信頼度が低下している時刻ｔ１からｔ２間のみ、画像信号の累積加算処理を停止する。そして、画像信号の信頼度が高くなる、即ち、「ｓｔａｔｕｓ」が”０”にセットされると画像信号の累積加算処理を開始する。
次に、本発明の撮像装置による第４の実施例について説明する。
図１９は、第４の実施例の撮像装置において主要となる構成を簡略化して示したブロック図であり、撮像部１１０、メモリ１１５、遅延器１２０、手振れ検出回路１３０、補正回路１４０、累積加算回路１５０、乗算器１６０、記録部１７０、マイコン１８０、ジャイロセンサ１９０などから構成される。
なお、上述した第１〜第３の実施例の撮像装置（図１、図１１、図１４参照）と同等の機能を備えているものには、同じ図番号を付与している。
撮像部１１０は、レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して遅延器１２０及び手振れ補正回路１３０に送る。
メモリ１１５は、マイコン１８０の制御（リード／ライト信号）に従い、撮像部１１０からの画像信号を記憶したり（書き込んだり）、記憶してある画像信号を読み出して手振れ検出回路１３０に送出する。
遅延器１２０は、画像信号を補正するために、撮像部１１０から送られてくる画像信号の時間的な位相を調整して補正回路１４０に送出する。
手振れ検出回路１３０は、動きベクトル検出部１３０Ａと特徴抽出部１３０Ｂを備え、撮像部１１０より出力される時系列の画像信号及びメモリ１１５に記憶されている画像信号を基にして、画像の特徴情報を抽出し、抽出した特徴情報をマイコン１８０に送る。なお、この特徴情報は画像信号の信頼度判別のために使用される。
補正回路１４０は、マイコン１８０から指定された補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送る。
累積加算回路１５０は、マイコン１８０の制御に従い、キャプチャを行うたびに、補正回路１４０から送られてくる画像信号を時間軸方向に累積加算処理する。
乗算器１６０は、累積加算回路１５０に累積加算されている画像信号に対し、マイコン１８０から指定された係数値に基づいて乗算処理を行い、記録部１７０に出力する。
記録部１７０は、マイコン１８０の制御に従い、乗算器１６０から出力された画像信号を記録する。例えば、ハードディスク装置や記録媒体（メモリカード、磁気テープ、光ディスクなど）に画像信号を記録する。
マイコン１８０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。
例えば、ジャイロセンサ１９０で検出した手振れ信号に基づいて補正ベクトル・データを算出したり、手振れ検出回路１７０の特徴抽出部１３０Ｂで抽出した特徴情報に基づいて画像信号の信頼度を判別し、累積加算回路１５０の累積加算処理を制御する。又、メモリ１１５のリード／ライトの制御、乗算器１６０に対する係数値の算出や画像信号を記録部１７０に記録するときのタイミングの制御なども行う。
ジャイロセンサ１９０は、撮像部１１０に対して加えられる手振れによる振動量を手振れ信号として検出してマイコン１８０に送出する。
なお、マイコン１８０は、第１の実施例の撮像装置（図１参照）と同様に、補正ベクトル・データを生成する。このとき、マイコン１８０は、ジャイロセンサ１９０で検出した手振れ信号に応じた補正ベクトル・データを生成し、補正回路１４０に送出する。
このとき、動きベクトル・データは、第１〜第３の実施例の撮像装置（図１、図１１、図１４参照）と同様に、図６に示すような完全積分を表す積分器によって行われ、入力信号（動きベクトル）をＸ（ｚ）、出力信号をＹ（ｚ）とした場合は、次式で表すことができる。
Ｙ（ｚ） ＝ １／｛（１−Ｚ−１）・Ｘ（ｚ）｝
マイコン１８０は、このようにして生成された補正ベクトル・データを補正回路１４０に送出し、補正回路１４０では、この補正ベクトル・データに基づいて画像信号の補正が行われる。
本実施例では、第３の実施例の撮像装置で説明した手振れ検出回路１３０の動きベクトル検出部１３０Ａ（図１４参照）によって行う動きベクトル・データの検出を、ジャイロセンサ１９０で行っており、それ以外の手振れ検出回路１３０による動きベクトル・データの検出方法、手振れ検出回路１３０の内部構成、画像信号の信頼度の判別方法については、第３の実施例の撮像装置における説明と同様であるため、その説明は省略する。
次に、第４の実施例における撮像装置の動作フローについて図２０のフローチャートを参照しながら説明する。
撮影を開始すると、まず、マイコン１８０は、キャプチャした画像信号の数（画像の枚数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ５１０）。
ＣＣが「０」のとき、マイコン１８０は、補正回路１４０に対する補正量を「０」にクリアする（ＳＴ５１１）。
次に、撮像部１１０で撮影した画像信号をメモリ１１５に記憶（書き込み）する（ＳＴ５１２）。
続いて、累積加算回路１５０は、撮像部１１０で撮影した画像信号を累積加算して記憶する（ＳＴ５１３）。
これにより、まず、基準となる最初の画像信号が累積加算回路１５０に記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が何もキャプチャされないことを防止する。なお、このときには遅延器１２０、補正回路１４０での処理は実行されない。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ５１４、ＳＴ５１５→エンド）。
一方、ＣＣが「０」でないとき、累積加算回路１５０にはキャプチャされた画像信号が累積加算されている状態であり、まず、マイコン１８０は、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ５１０→ＳＴ５２０）。
ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ５２０→ＳＴ５３０→・・・）。
ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、次に、マイコン１８０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ５２０→ＳＴ５２１）。
ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ５２１→ＳＴ５３０→・・・）。
ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）とき、マイコン１８０は、ジャイロセンサ１９０で検出した手振れ信号に基づいて補正ベクトル・データを生成して補正回路１４０に送り、補正回路１４０は、この補正ベクトル・データに基づいて撮像部１１０で撮影した画像信号を補正する（ＳＴ５２１→ＳＴ５２２）。
続いて、マイコン１８０は、手振れ検出部１７０で抽出した特徴情報に基づき、画像信号の信頼度の判定を行う（ＳＴ５２２→ＳＴ５２３）。
画像信号の信頼度の判定は、第１〜第３の実施例と同様に、図９のフローチャートに従って実行される。
まず、図９のフローチャートにおいて、マイコン１８０は、低コントラストの被写体を撮影した画像信号であるか否かを判断するために予め設定してある閾値Ａと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号のコントラストを示すステータスフラグである「ｓｔａｔｕｓ１」をセットする（ＳＴ２１０）。
総和Ｓが閾値Ａ未満（Ｓ＜Ａ）である場合、低コントラストの画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”１”にセットする（ＳＴ２１０→ＳＴ２１１）。
総和Ｓが閾値Ａ以上（Ｓ≧Ａ）である場合、低コントラストの画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ１」を”０”にセットする（ＳＴ２１０→ＳＴ２２０）。
続いて、移動被写体が進入した画像信号であるか否かを判断するために予め設定してある閾値Ｂと、上述で説明した各座標における残差の絶対値Ｐ（ｘ，ｙ）の総和Ｓ（以下、総和Ｓ）とを比較し、画像信号の移動被写体進入を示すステータスフラグである「ｓｔａｔｕｓ２」をセットする（ＳＴ２１２）。
総和Ｓが閾値Ｂ未満（Ｓ＜Ｂ）である場合、移動被写体が進入した画像信号であると判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”１”にセットする（ＳＴ２１２→ＳＴ２１３）。
総和Ｓが閾値Ｂ以上（Ｓ≧Ｂ）である場合、移動被写体が進入した画像信号でないと判断し、マイコン１８０は、「ｓｔａｔｕｓ２」を”０”にセットする（ＳＴ２１０→ＳＴ２２１）。
マイコン１８０は、２つのステータスフラグがセットされると、「ｓｔａｔｕｓ１」と「ｓｔａｔｕｓ２」の論理和（ＯＲ）を算出し、算出した結果を画像信号の状態を示すステータスフラグ「ｓｔａｔｕｓ」にセットする（ＳＴ２１４）。
このように、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により、画像信号のコントラスト及び移動被写体の進入状態を判別できる。
図２０のフローチャートに戻り、マイコン１８０は、ステータスフラグ「ｓｔａｔｕｓ」にセットされた値により画像信号の信頼度を判定する（ＳＴ５２３→ＳＴ５２４）。
マイコン１８０は、「ｓｔａｔｕｓ」が”０”である場合、累積加算回路１５０は、補正回路１２０で補正された画像信号を累積加算する（ＳＴ５２４→ＳＴ５１３）。
そして、マイコン１８０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ５１４、ＳＴ５１５→エンド）。
一方、「ｓｔａｔｕｓ」が”０”でない場合、マイコン１８０は、ＴＣの値を１つ増加させて処理を終了する（ＳＴ５２４→ＳＴ５１５→エンド）。
また、上述した図２０のステップＳＴ５２０において、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、同ステップＳＴ５２１で、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１５０に記憶してある画像信号を記録部１７０へ記録するための処理を開始する。
まず、マイコン１８０は、ＣＣの値の逆数を所定の係数値として乗算器１６０に与える（ＳＴ５２０→ＳＴ５３０、又は、ＳＴ５２１→ＳＴ５３０）。
次に、乗算器１６０は、マイコン１８０から与えられた所定の係数値と累積加算回路１５０に累積加算されている画像信号とを乗算処理して記録部１７０に出力し、記録部１７０は乗算器１６０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ５３１）。
マイコン１８０は、記録部１７０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ５３２→ＳＴ５３３→エンド）。
なお、図２０のフローチャートによる動作は、画像信号を取り込むたびに繰り返し実行されるものである。
また、図２０は、第３の実施例のフローチャート（図１７参照）と同じ動作過程で処理が行われているが、ジャイロセンサ１９０からの手振れ信号によって動きベクトル・データを検出し、この検出した動きベクトル・データに基づいて補正ベクトル・データを生成している。
上述したように、本実施例の撮像装置は、画像信号のコントラストや移動被写体の進入状態を判別し、画像信号の累積加算処理を行う。
例えば、第２の実施例で説明した図１３に示すグラフのように、手振れ信号がサイン波（ｓｉｎ波）であり、ジャイロセンサ１９０の出力信号が正常で（図１３（ａ）参照）、補正ベクトル・データも正常に生成されているとき（図１３（ｂ）参照）に、時刻ｔ１からｔ２の間で画像信号の信頼度が低下したものとする。
このとき、マイコン１８０は、画像信号の信頼度の判定において、「ｓｔａｔｕｓ１」及び「ｓｔａｔｕｓ２」の両方、又は何れか一方のステータスフラグに”１”がセットされるので、「ｓｔａｔｕｓ」にも”１”がセットされる（図１３（ｃ）参照）
このような状態となると、マイコン１８０は、移動被写体が進入した可能性があると判断して、画像信号の信頼度が低下している時刻ｔ１からｔ２間のみ、画像信号の累積加算処理を停止する。そして、画像信号の信頼度が高くなる、即ち、「ｓｔａｔｕｓ」が”０”にセットされると画像信号の累積加算処理を開始する。
第１の実施例の撮像装置において主要となる構成を簡略化して示したブロック図示した図である。 動きベクトル・データの検出方法を説明するための説明図である。 図２において、画像信号の偏移（ｘ，ｙ）と残差の絶対値Ｐ（ｘ，ｙ）の関係を示したグラフである。 図１に示す撮像装置における手振れ検出回路１３０の内部構成を簡略化して示したブロック図である。 図４に示す手振れ検出回路１３０によって検出される動きベクトル・データを略示的に示した説明図である。 図５に示した動きベクトル・データを積分処理する積分器を簡略化して示したブロック図である。 図３で示した画像の偏移（ｘ，ｙ）と残差の絶対値Ｐ（ｘ，ｙ）との関係を一次元的に表したグラフである。 図１に示した撮像装置により画像信号を記録するときの動作過程を示すフローチャートである。 画像信号の信頼度を判定するときの動作過程を示すフローチャートである。 図８のフローチャートに基づいて画像信号を累積加算処理するときの様子を略示的に示した説明図である。 第２の実施例の撮像装置において主要となる構成を簡略化して示したブロック図示した図である。 図１１に示した撮像装置により画像信号を記録するときの動作過程を示すフローチャートである。 図１２のフローチャートに基づいて画像信号を累積加算処理するときの様子を略示的に示した説明図である。 第３の実施例の撮像装置において主要となる構成を簡略化して示したブロック図示した図である。 図１４に示す撮像装置における手振れ検出回路１３０の内部構成を簡略化して示したブロック図である。 図１５に示す手振れ検出回路１３０によって検出される動きベクトル・データを略示的に示した説明図である。 図１４に示した撮像装置により画像信号を記録するときの動作過程を示すフローチャートである。 図１７のフローチャートに基づいて画像信号を累積加算処理するときの様子を略示的に示した説明図である。 第４の実施例の撮像装置において主要となる構成を簡略化して示したブロック図示した図である。 図１９に示した撮像装置により画像信号を記録するときの動作過程を示すフローチャートである。
符号の説明
１１０；撮像部
１２０；遅延器
１３０；手振れ検出回路
１４０；補正回路
１５０；累積加算回路
１６０；乗算器
１７０；記録部
１８０；マイコン
１９０；ジャイロセンサ
１３１；フィルタ処理回路
１３２；代表点抽出回路
１３３；減算器
１３４；絶対値変換回路
１３５；動きベクトル検出回路
１３６；特徴抽出回路
１３１ａ／１３１ｂ；フィルタ処理回路
１０；画像信号（時刻ｔ１）
２０；画像信号（時刻ｔ２）
５０；ベクトル

Claims (8)

  1. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    を具備していることを特徴とする撮像装置。
  2. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
    を具備していることを特徴とする撮像装置。
  3. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    を具備していることを特徴とする撮像装置。
  4. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した時間的に連続する２つの画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
    を具備していることを特徴とする撮像装置。
  5. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    を具備していることを特徴とする撮像装置。
  6. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
    を具備していることを特徴とする撮像装置。
  7. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、
    前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    を具備していることを特徴とする撮像装置。
  8. 撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
    前記撮像部で撮影した画像信号から画像の特徴情報を抽出するための基準となる画像信号を記憶する基準画像記憶手段と、
    前記撮像部の振動に連動して動作するジャイロセンサで検知した手振れ振動に基づいて動きベクトル・データを検出する動きベクトル検出手段と、
    前記撮像部で撮影した画像信号と前記基準画像記憶手段に記憶してある画像信号に基づいて画像の特徴情報を抽出する特徴情報抽出手段と、
    前記動きベクトル検出手段で検出した動きベクトル・データに基づいて前記画像信号を補正するための補正ベクトル・データを算出する補正ベクトル算出手段と、
    前記補正ベクトル算出手段で算出した補正ベクトル・データに基づいて前記画像信号を補正する手振れ補正手段と、
    前記特徴情報抽出手段で抽出した画像信号の特徴情報と予め設定してある閾値情報とを比較し、前記メモリへ累積加算する画像信号の判別処理を行う画像判別手段と、
    前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
    前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
    を具備していることを特徴とする撮像装置。
JP2003274617A 2003-07-15 2003-07-15 撮像装置 Expired - Fee Related JP4453290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003274617A JP4453290B2 (ja) 2003-07-15 2003-07-15 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003274617A JP4453290B2 (ja) 2003-07-15 2003-07-15 撮像装置

Publications (2)

Publication Number Publication Date
JP2005039533A true JP2005039533A (ja) 2005-02-10
JP4453290B2 JP4453290B2 (ja) 2010-04-21

Family

ID=34211526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003274617A Expired - Fee Related JP4453290B2 (ja) 2003-07-15 2003-07-15 撮像装置

Country Status (1)

Country Link
JP (1) JP4453290B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246309A (ja) * 2005-03-07 2006-09-14 Canon Inc 画像処理装置および画像処理方法
JP2007082044A (ja) * 2005-09-16 2007-03-29 Sony Corp 撮像方法および撮像装置
KR100745245B1 (ko) 2006-02-13 2007-08-01 엘지전자 주식회사 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246309A (ja) * 2005-03-07 2006-09-14 Canon Inc 画像処理装置および画像処理方法
JP4562182B2 (ja) * 2005-03-07 2010-10-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2007082044A (ja) * 2005-09-16 2007-03-29 Sony Corp 撮像方法および撮像装置
JP4640068B2 (ja) * 2005-09-16 2011-03-02 ソニー株式会社 撮像方法および撮像装置
KR100745245B1 (ko) 2006-02-13 2007-08-01 엘지전자 주식회사 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Also Published As

Publication number Publication date
JP4453290B2 (ja) 2010-04-21

Similar Documents

Publication Publication Date Title
US7636486B2 (en) Method of determining PSF using multiple instances of a nominally similar scene
US7639889B2 (en) Method of notifying users regarding motion artifacts based on image analysis
US7639888B2 (en) Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
EP1779322B1 (en) A digital image acquisition system having means for determining a camera motion blur function
KR101426095B1 (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 방법
JP4956401B2 (ja) 撮像装置及びその制御方法及びプログラム
US20060279639A1 (en) Method and system for deblurring an image based on motion tracking
JP2007114466A (ja) 手ぶれ補正機能を有する撮影装置
JP4434939B2 (ja) 撮像装置及びその制御方法
JP2006196965A (ja) 光学機器
JP4453290B2 (ja) 撮像装置
JP3867691B2 (ja) 撮像装置
JP2004186901A (ja) 撮像装置及び方法、プログラム及び記録媒体
JP5179859B2 (ja) 撮像装置及び撮像方法
JP2005341229A (ja) 撮影装置
JP4378602B2 (ja) 撮像装置及び撮像方法
JP2002290811A (ja) 撮像装置及び画像処理方法及び画像処理プログラム及び情報記録媒体
JP4449777B2 (ja) 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
KR20070032216A (ko) 촬상 방법 및 촬상 장치
JP2006154014A (ja) 手振れ補正装置及び撮像装置
JP4853746B2 (ja) 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
JP2005039534A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100218

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20100603

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20100706

LAPS Cancellation because of no payment of annual fees