JP2008011119A - 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 - Google Patents

手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 Download PDF

Info

Publication number
JP2008011119A
JP2008011119A JP2006178742A JP2006178742A JP2008011119A JP 2008011119 A JP2008011119 A JP 2008011119A JP 2006178742 A JP2006178742 A JP 2006178742A JP 2006178742 A JP2006178742 A JP 2006178742A JP 2008011119 A JP2008011119 A JP 2008011119A
Authority
JP
Japan
Prior art keywords
block
image
macroblocks
camera shake
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006178742A
Other languages
English (en)
Other versions
JP5079271B2 (ja
Inventor
Ryuichi Sawada
隆一 澤田
Original Assignee
Kyocera Corp
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp, 京セラ株式会社 filed Critical Kyocera Corp
Priority to JP2006178742A priority Critical patent/JP5079271B2/ja
Priority claimed from PCT/JP2006/325782 external-priority patent/WO2007074774A1/ja
Publication of JP2008011119A publication Critical patent/JP2008011119A/ja
Application granted granted Critical
Publication of JP5079271B2 publication Critical patent/JP5079271B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】処理量が少なく高精度な手ぶれ量検出を実施できる手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法を提供する。
【解決手段】データ間引き部31は基準画像及び参照画像の生データから間引き画像を作成し、ブロック抽出部33が残差を求めるための探索ブロックとテンプレートブロックを抽出し、輝度差比較部34は各ブロックの輝度値の最大値と最小値との差をとり、しきい値より小さい場合には、残差を取得する対象から除外する。除外されなかったブロックから残差取得部35が残差を取得し、ブロック選出部36が小さい残差を有するブロックを所定数抽出し、残差取得部35が間引いていないデータを基に再度残差を取得し、手ぶれ量取得部37が残差が最小となる動きベクトルを求め、所定数の動きベクトルのx、y各成分の大きい順から所定順位のものを成分とするベクトルを手ぶれ量とする。
【選択図】図1

Description

本発明は、手ぶれ補正を行う手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法に関する。
近年、撮像装置としてカメラの小型化が進み、手ぶれ補正技術が注目されてきている。
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態と比べ自由度が広がっている。
このように、撮影する際に、種々の方法や安定性のない状態で撮影する場合、シャッターボタンを押した際にカメラがブレて手ぶれが発生してしまう。
例えば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また、感度を上げ露出時間を短くして撮影した場合は、ノイズがのってしまい粗い画像となってしまう。
この問題を解消すべく、手ぶれ補正を行う装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。
手ぶれ補正装置としては、例えば、ブレに合わせてレンズを傾斜させ補正する、光学式手ぶれ補正装置が製品化されているが、近年の小型カメラや携帯電話カメラへの搭載はスペース的に非常に困難である。
また、他の方法として、画像処理により複数枚の画像からぶれの無い画像を得る(電子式手ぶれ補正)ことができる撮像装置が種々提案されている。
例えば、特許文献1には、露光条件が異なる撮像画像情報を合成してダイナミックレンジを拡大した画像を得る際に、露光条件が異なる画素で得られたほぼ同時刻の撮像画像情報の合成に際し、少なくとも一方の露光条件の撮像画像情報を重複して使用する撮像装置が開示されている。
特許文献2には、カメラに備えた角度検出センサの検出情報と、カメラの焦点距離情報及び絞り情報とにより、撮影者特有の手ぶれ限界露光時間をあらかじめ記憶しておき、適正露光時間が手ぶれ限界露光時間より長くなる場合には、それより短い露光時間で複数回の撮影を行い画像を合成して手ぶれ補正を行う補正装置が開示されている。
特許文献3には、レンズからの光束を2つに分離し、一方の光束を減衰させて得た輝度差のある2つの被写体像を撮像素子の撮像面上の異なる領域に生成し、これら2枚の画像データは電荷蓄積時間及び電荷蓄積スタート時刻を互いに等しくすることによって、拡大されたダイナミックレンジを有する新たな画像データを得る撮像装置が開示されている。
特許文献4には、間引いたブロックごとに動きベクトルを検出し、検出された動きベクトルから内挿補間することによって、検出を行っていないブロックに動きベクトルを与え、最終の動きベクトル検出においてはブロックごとに検出を行う動きベクトル検出方法が開示されている。
特許文献5には、画像評価を行い、重要と判断された部分は高精細度に、動きが少ない或いは静止している部分は粗い精細度でデータを送信する画像圧縮方式が開示されている。
特開平10−108079号公報 特開2004−279514号公報 特開2003−32559号公報 特開平7−177519号公報 特開平6−169452号公報
しかし、上述した手ぶれ補正方法においては、多くの撮影枚数を必要とし、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。
本発明は、上述した不利益を解消するために、処理量が少なく高精度な手ぶれ量検出を実施できる手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法を提供することを目的とする。
本発明の手ぶれ量検出装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第2の発明の手ぶれ量検出装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第3の発明の手ぶれ量検出装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出されたブロックの最小となった画素の近傍の所定の範囲のみで精サーチを行い、当該結果から動きベクトルを取得し、取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第4の発明の手ぶれ量検出装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出されたブロックの最小となった画素の近傍の所定の範囲のみで精サーチを行い、当該結果から動きベクトルを取得し、取得した動きベクトルをx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第5の発明の手ぶれ補正装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出し当該手ぶれ量を基に手ぶれ補正を行う手ぶれ補正装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第6の発明の撮像装置は、光学系を通して被写体像を撮影する撮像装置であって、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置を有し、当該手ぶれ量検出装置は、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第7の発明の手ぶれ量検出方法は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出方法であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第1の工程と、前記第1の工程において分割された前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記第1の工程において分割された参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出する第2の工程と、前記第2の工程において抽出された前記第1のブロック及び第2のブロックの残差を取得する第3の工程と、前記第3の工程において取得された残差積分値が小さいマクロブロックを所定数選出する第4の工程と、前記第4の工程において選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする第5の工程と、を有する。
第8の発明の手ぶれ補正装置は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出し当該手ぶれ量を基に手ぶれ補正を行う手ぶれ補正装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第9の発明の撮像装置は、光学系を通して被写体像を撮影する撮像装置であって、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置を有し、当該手ぶれ量検出装置は、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、を有する。
第10の発明の手ぶれ量検出方法は、露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出方法であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第1の工程と、前記第1の工程において分割された前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記第1の工程において分割された参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、前記第2の工程において抽出された前記第1のブロック及び第2のブロックの残差を取得する第3の工程と、前記第3の工程において取得された残差積分値が小さいマクロブロックを所定数選出する第4の工程と、前記第4の工程において選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする第5の工程と、を有する。
処理量が少なく高精度な手ぶれ量検出を実施できる手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法を提供する。
以下、本実施形態の撮像装置について説明する。
図1は、本実施形態の撮像装置1の構成を示すブロック図である。
図1に示すように、本実施形態の撮像装置1は、カメラ2、手ぶれ量検出部3、画像合成部4、バッファメモリ5を有する。
カメラ2は、レンズ、及びCCD(Charged Coupled Device)或いはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子からなり、レンズを通過した光を撮像素子が光電変換し、カラーフィルタによって色情報を取得して画像データ(RAWデータ)として出力するデジタルカメラモジュールである。カメラ2は、画像の撮影時に手ぶれ補正を行う場合には、連続して撮影した、露出条件が異なる複数の画像を撮影する。手ぶれ量検出のために、この複数の画像の内1枚を基準画像とし、残りのその他の画像を参照画像として使用する。すなわち、基準画像と参照画像とでは露出条件が異なる。基準画像は露光時間が短く、解像度は高いがノイズが多い画像であり、参照画像は、露光時間が長く、解像度が低くノイズの少ない画像である。カメラ2が撮影した画像は手ぶれ補正処理のために一時的にバッファメモリ5に記憶される。
手ぶれ量検出部3は、カメラ2が撮影しバッファメモリ5が記憶した基準画像及び参照画像を基に、画像の手ぶれ量を検出する。
手ぶれ量検出部3は、手ぶれ量検出のための構成として、データ間引き部31、マクロブロック分割部32、ブロック抽出部33、輝度差比較部34、残差取得部35、ブロック選出部36、手ぶれ量取得部37を更に有する。
データ間引き部31は、カメラ2が撮影した基準画像及び参照画像の生データ(RAWデータ)のデータを間引いて、動き量検出に使用する間引き基準画像および間引き参照画像を作成する。
RAWデータは、カメラ2の撮像素子から得られた信号そのままのデータであり、例えば、原色カラーフィルタを有するカメラにより撮影したRAWデータは、図2に示すように、Gr(緑)、R(赤)、B(青)、Gb(緑)の4種類の色データによって構成されている。
データ間引き部31は、カメラ2が撮影した基準画像及び参照画像それぞれのRAWデータを1/2或いは1/8に間引いた間引き画像を作成する。1/2間引き画像は、縦横それぞれの画素のうち2つに1つの画素のみを抽出して作成された間引き画像であり、1/8間引き画像は縦横それぞれの画素のうち8つに1つの画素のみを抽出して作成された間引き画像である。
間引く方法は本発明では限定しない。例えば、1/2間引きの方法としては、カメラ2が撮影した基準画像及び参照画像それぞれのRAWデータを基に、この4種類の色データのうち先頭の緑のデータ(Gr)のみを抽出する方法等がある。更に、本実施形態ではGrのみを抽出しているが、本発明はこれに限定されず、R、B、Gbのいずれか1つを抽出してもよい。
マクロブロック分割部32は、データ間引き部31がRAWデータの一部を間引いて作成した1/8の基準画像及び参照画像を、それぞれ複数個のマクロブロックに分割する。本実施形態では、例えば、マクロブロック分割部32は、それぞれの画像を例えば10×10のマクロブロックに分割する。
ブロック抽出部33および残差取得部35は、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithms)により、基準画像内のブロックと対応する参照画像内のブロックとの各画素値の差の絶対値の和(残差)を求め、テンプレートマッチングを行う。
テンプレートマッチングとは、探索対象パターン(探索ブロックI)と事前に用意したテンプレート(テンプレートブロックT)との類似度や相違度を求める手法であり、残差逐次検定法はその手法の1つである。
残差逐次検定法とは、図3に示すように、基準画像からM×N個の画素で構成される探索ブロックIを、参照画像からm×n個の画素で構成されるテンプレートブロックTを抽出し、探索ブロックI上でテンプレートブロックTを動かして比較を行い、テンプレートブロックTと一致する探索ブロックI上の位置を探し出す方法である。なお、M>m、N>nであり、テンプレートブロックTの左上の座標を(x,y)としたとき、残差、すなわち探索ブロックIとテンプレートブロックTとの画素値の差の累積残差E(x,y)、すなわち、残差を基にマクロブロック毎にマクロブロック内の全画素を足し合わせた残差積分値E(x,y)は、(x,y)の関数であり、数式(1)で与えられる。
残差積分値E(x,y)が最小になる(x,y)の位置が、テンプレートブロックTと探索ブロックIとが一致する位置である。
本実施形態では、ブロック抽出部33は、図4(a)に示すように、基準画像の10×10のマクロブロックから2×2=4ブロックの探索ブロックIを抽出し、更に、ブロック抽出部33は、図4(b)に示す、対応する参照画像の2×2ブロックの中心部に位置する、マクロブロックの縦横2辺のそれぞれ1/4の長さを有する2辺により構成されたブロックが4つ集まって構成されるテンプレートブロックTを抽出する。
次に、残差取得部35が、まず1/8間引き画像の探索ブロックI及びテンプレートブロックTを使用し、上述した残差逐次検定法により残差を取得する(粗サーチ)。残差取得時の探索ブロックIとテンプレートブロックTを図5に示す。
図5は、探索ブロックIがテンプレートブロックTに探索される様子を示した図である。図5に示すように、テンプレートブロックTを1画素ずつ移動させながら探索ブロック内をサーチしていく。
なお、残差逐次検定法では、E(x,y)を取得するために画素値の差を累積している間に、E(x,y)の値が所定のしきい値Aを超えた場合は、探索ブロックIとテンプレートブロックTとが全く一致しないことを意味するため、その時点でその位置(x,y)に対する残差積分値E(x,y)の取得処理を止め、他の位置(x,y)に対する残差の取得に移行する。これにより、残差逐次検定法によるテンプレートマッチングは、処理時間の短縮と処理量の低減が可能である。所定のしきい値Aの大きさについては、本発明では限定しない。
また、ブロック抽出部33は基準画像の10×10のマクロブロックから2×2=4ブロックの探索ブロックIを抽出し、更に、ブロック抽出部33は、図4(b)に示す、対応する参照画像の2×2ブロックの中心部に位置する、マクロブロックの縦横2辺のそれぞれ1/4の長さを有する2辺により構成されたブロックが4つ集まって構成されるテンプレートブロックTを抽出するとしたが、ここで説明した抽出するマクロブロックの数は一例であり、本発明はこれには限定されない。すなわち、ブロック抽出部33は、1つのみのマクロブロックで構成される探索ブロックI及びテンプレートブロックTを抽出し、残差取得部35はこれを使用して残差を検出してもよい。
更に、本実施形態では、ブロック抽出部33が探索ブロックI及びテンプレートブロックTを抽出してから残差取得部35が残差を取得するまでの間に、輝度差比較部34が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差を取得する対象から除外する処理を行う。なお、しきい値Bは、基準画像の全画素または参照画像の全画素の輝度値の最大値と最小値との差の所定割合、或いは基準画像と参照画像との全画素の輝度値の最大値と最小値との差の平均値の所定割合とすればよい。
すなわち、輝度値の最大値と最小値との差が小さいブロックは、例えば真っ白な部分等、コントラストが低いブロックであり、こうしたブロックでは手ぶれ量が検出しにくいため、動き量検出処理から除外する。
なお、所定のしきい値Bの大きさについては、本発明では限定しない。
ブロック選出部36は、輝度差比較部34が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差を取得する対象から除外し、残差取得部35が取得した、全ての探索ブロックIにおける残差積分値E(x,y)の最小値を比較した後、最小値が小さい残差積分値を有する探索ブロックIの小さいものを所定の数だけ抽出する。或いは、所定の数のブロックを抽出する代わりに、全ブロック数の所定の割合のブロックを抽出してもよい。
本実施形態では、例えば、9個のブロックを抽出する。
ここで、残差取得部35は、探索ブロックI内でブロック選出部36が選出した9個のブロックに対して、1/2間引き画像で積分値E(x,y)を求める(精サーチ)。
1/2間引き画像で残差積分値を求める際には、上述したブロック抽出部33、残差取得部35及びブロック選出部36が1/8間引き画像に対して求めた残差積分値が小さい画素の近傍の画素のみに対して残差積分値の取得を行えばよいので、手ぶれ量取得部の計算量は従来に比べ格段に少なくなる。
ここで、図6と関連付けて1/8間引き画像と、1/2間引き画像との関係について説明する。
図6に示す○印は、1/8間引き画像において残差積分値取得が行われる画素を表しており、図6に示す×印は、1/2間引き画像において残差積分値取得が行われる画素を示している。1/2間引き画像における残差積分値取得が行われる画素の内縦横それぞれ4個毎に1/8間引き画像において残差積分値取得が行われる画素があることがわかる。
すなわち、1/8間引き画像において、図6のaの画素がそのブロックにおける残差積分値最小となる画素であったとすると、1/2間引き画像においては、図6の点線で囲まれた範囲内に残差積分値が最小となる画素が存在していることがわかる。
このため、1/2間引き画像で残差積分値を求める際には、ブロック抽出部33、残差取得部35及びブロック選出部36が1/8間引き画像に対して求めた残差積分値が小さい画素の近傍の画素のみに対して残差積分値の取得を行えばよい。
手ぶれ量取得部37は、以上のようにして求めた1/2間引き画像での残差積分値E(x,y)を基に、ブロック選出部36が選出した各ブロック(本実施形態では9個のブロック)の動きベクトルを検出する。手ぶれ量取得部37は、探索ブロックI内で残差が最小値をとるテンプレートブロックTの位置を当該探索ブロックI及びテンプレートブロックを含むブロックの動きベクトルとして検出する。
次に、検出された9個の動きベクトルのうち、それぞれのx成分とy成分の大きい順(小さい順でも可)から所定の順位のものをx成分、y成分としたベクトルを画像全体の動きベクトル、すなわち手ぶれ量とする。
手ぶれ量取得部37の、選出された各ブロックの動きベクトルから手ぶれ量を求める具体的な例について説明する。
例えば、ここでは9個の動きベクトルの内大きい順に5番目のx成分、y成分を要素としたベクトルを抽出する場合について説明する。
選出された9個のブロックの動きベクトルが(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)、(x7,y7)、(x8,y8)、(x9,y9)であるとする。
x成分を大きい順に並べると、x8>x6>x4>x2>x9>x7>x5>x3>x1であるとする。
y成分を大きい順に並べると、x9>x6>x3>x8>x5>x2>x7>x4>x1であるとする。
この場合、x成分の大きい順から5番目はx9、y成分の大きい順から5番目はy5であるため、手ぶれ量取得部37が取得する画像全体の動きベクトル(手ぶれ量)は、(x9,y5)となる。
手ぶれ量検出部3は、上述した方法で手ぶれ量を検出する。
画像合成部4は、手ぶれ量検出部3が検出した手ぶれ量を基に、カメラ2が撮影した(間引いていない)基準画像と参照画像を合成し、手ぶれ補正を行った補正画像を作成する。
バッファメモリ5は、手ぶれ補正処理に使用される補正前の画像データを一時的に記憶しておくRAM(Random Access Memory)である。
以下、本実施形態の撮像装置1の撮影時の動作例について説明する。
図7は、撮像装置1の動作例を示すフローチャートである。
ステップST1:
カメラ2は、露出条件を変えて1枚の基準画像と、1または複数枚の参照画像とを撮影する。
ステップST2:
データ間引き部31は、ステップST1においてカメラ2が撮影した基準画像及び参照画像の生データから1/8間引き画像および1/2間引き画像を作成する。
ステップST3:
マクロブロック分割部32は、ステップST2においてデータ間引き部31が作成した1/8間引き画像の基準画像及び参照画像を、10×10個のマクロブロックに分割する。
ステップST4:
ブロック抽出部33が、ステップST3においてマクロブロック分割部32が10×10個のマクロブロックに分割した1/8間引き画像の基準画像及び参照画像から、図4(a)に示すように、基準画像の10×10のマクロブロックからは2×2=4ブロックの探索ブロックIを抽出し、図4(b)に示すように、参照画像からは、対応する2×2ブロックの中心部に位置するマクロブロックの縦横2辺のそれぞれ1/4の長さを有する2辺により構成されたブロックが4つ集まって構成されるテンプレートブロックTを抽出する。
ステップST5:
輝度差比較部34は、各画素の輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差を取得する対象から除外する。
ステップST6:
残差取得部35は、ステップST5において輝度差比較部34が除外しなかった探索ブロックI及びテンプレートブロックTを使用し、上述した残差逐次検定法により残差を取得する。
ステップST7:
ブロック選出部36は、残差取得部35が取得した、全ての探索ブロックIにおける残差積分値E(x,y)が小さいマクロブロックを所定数選出する。
ステップST8:
残差取得部35は、1/2間引き画像の基準画像及び参照画像を、ステップST7においてブロック選出部が選出したマクロブロックに対して、再度残差積分値を取得する。
このステップにおける残差取得部35の処理は、手ぶれ量検出部3の手ぶれ量検出処理全体の精度を上げるためになされる。
ステップST9:
手ぶれ量取得部37は、ステップST8において残差取得部35が取得した、1/2間引き画像に対する残差積分値を基に、ステップST7においてブロック選出部36が選出した所定数のブロックの動きベクトルを検出する。手ぶれ量取得部37は、探索ブロックI内で残差が最小値をとるテンプレートブロックTの位置を当該探索ブロックI及びテンプレートブロックを含むブロックの動きベクトルとして検出する。
ステップST10:
手ぶれ量取得部37は、ステップST9において求めた、ステップST7においてブロック選出部36が選出した所定数のブロックの動きベクトルのうち、それぞれのx成分とy成分の大きい順(小さい順でも可)から所定の順位のものをx成分、y成分としたベクトルを抽出して、抽出したベクトルを画像全体の動きベクトル、すなわち手ぶれ量とする。
ステップST11:
画像合成部4は、ステップST10において手ぶれ量取得部37が取得した手ぶれ量を基に、カメラ2が撮影した(間引いていない)基準画像と参照画像を合成し、手ぶれ補正を行った補正画像を作成する。
以上説明したように、本実施形態の撮像装置1によれば、手ぶれ量を検出する際に、ブロック選出部36が小さい残差積分値を有するブロックの小さいものを所定の数或いは割合だけ選出し、当該所定の数のブロックを基に残差積分値が最小となるテンプレート画像の位置を求め、それを基に手ぶれ量を検出しているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にかかる時間も短くて済む。
更に、本実施形態の撮像装置1によれば、データ間引き部31が基準画像及び参照画像の生データから1/8間引き画像および1/2間引き画像を作成し、後の処理においてまず1/8間引き画像を使用して残差積分値を求め(粗サーチ)た後、残差積分値が小さいブロックを所定数抽出してその中で1/2間引き画像に対して再度残差積分値も求め(精サーチ)ているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にかかる時間も短くて済む。また、残差取得部35は、1/8間引き画像を基に残差積分値を取得した後、1/2間引き画像を基に再度残差積分値を取得しているので、精度の高い手ぶれ量検出処理を行うことができる。
また、本実施形態の撮像装置1によれば、ブロック抽出部33が探索ブロックI及びテンプレートブロックTを抽出してから残差取得部35が残差積分値を取得するまでの間に、輝度差比較部34が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差を取得する対象から除外しているので、コントラストが低く残差積分値を取得できないと予測されるブロックを予め残差取得部35が残差積分値を取得する処理から除外しているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にかかる時間も短くて済む。
また、本実施形態の撮像装置1によれば、残差積分値の計算を行う際に累積値が所定の値を超えた時点で残差計算を止める残差逐次検定法によってパターンマッチングを行っているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にかかる時間も短くて済む。
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
また、本実施形態においては、ブロック抽出部33が探索ブロックI及びテンプレートブロックTを抽出してから残差取得部35が残差積分値を取得するまでの間に、輝度差比較部34が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Bよりこの差が小さい場合には、そのマクロブロックを残差取得部35が残差積分値を取得する対象から除外しているが、本発明はこれには限定されず、例えば、輝度差比較部34は、ブロック選出部36が、全ての探索ブロックIにおける残差積分値E(x,y)の最小値を比較し、最小値が小さい残差積分値を有する探索ブロックIのうち小さいものを所定数抽出した直後に、輝度差を取得し、輝度差がしきい値以下のブロックに対しては残差積分値を取得する対象から除外する処理を行ってもよい。
また、本実施形態においては、1/8間引き画像及び1/2間引き画像を作成して粗サーチと精サーチを行ったが、間引き率については本発明では限定しない。例えば、1/16間引き画像で粗サーチを行い、間引いていない画像で精サーチを行ってもよい。
本実施形態において、手ぶれ量検出部3は手ぶれ量検出のための構成として、データ間引き部31、マクロブロック分割部32、ブロック抽出部33、輝度差比較部34、残差取得部35、ブロック選出部36、手ぶれ量取得部37とを有していたが、これら手ぶれ量検出部3の各構成は、それらの処理を行うためのハードウェアとして撮像装置1に組み込まれていてもよいし、手ぶれ量検出部3の制御に従い処理を行うソフトウェアであってもよい。
また、本実施形態においては、手ぶれ量検出処理はカメラ2が撮像したRAWデータ(RGBベイヤー配列のデータ)に対して行うが、本発明はこれに限定されない。たとえば、画像を信号処理後に、YUV形式における輝度信号Yを用いて手ぶれ量検出処理を行うこともできる。
また、上述した実施形態では、残差取得部35が1/8画像を使用して残差積分値を求める際(粗サーチ)の残差を取得する範囲については特に指定しなかったが、例えば、粗サーチ時に残差取得部35が所定の範囲のみの画素に対して残差の検出を行っても良い。
以下、残差取得部35が粗サーチ時に所定の範囲のみの画素に対して残差の検出を行う場合について図8に関連付けて説明する。
図8に示すように、残差取得部35は、1/8に間引いた画像の、例えば画像全体に対して5%の画素が存在する範囲のみに対して残差取得を行う。すなわち、当該画像が3メガピクセル(2048画素×1536画素)であったならば、水平方向には2048/5/20=約13(画素)のみ残差取得を行い、垂直方向には1535/8/20=約10(画素)に対してのみ残差取得を行う。従って、所定の範囲のみの画素に対して残差を検出する場合は、上述した実施形態よりも更に残差取得に要する時間が短縮される。
なお、5%という値は一例であり、本発明はこれには限定されない。5%という値は、手ぶれを検出するために最低限必要であるという、経験から導かれた値である。
また、上述した実施形態では、手ぶれ量取得部37は、ブロック選出部36が選出した所定数のブロックの動きベクトルのうち、それぞれのx成分とy成分の大きい順(小さい順でも可)から所定の順位のものをx成分、y成分としたベクトルを抽出して、抽出したベクトルを画像全体の動きベクトル、すなわち手ぶれ量としたが、本発明の変形例として、以下のような構成とすることも可能である。
すなわち、手ぶれ量取得部37は、ブロック選出部36が選出した所定数のブロックの動きベクトルの絶対値のうち、大きい順(小さい順でも可)に所定の順位のベクトルを画像全体の動きベクトル、すなわち手ぶれ量としてもよい。
さらに、上述した実施形態では、残差取得部35が探索ブロックI内でブロック選出部36が選出した所定数のブロックに対して、1/2間引き画像で残差積分値E(x,y)を求め(精サーチ)、手ぶれ量取得部37が残差積分値E(x,y)を基に選出されたブロックの動きベクトルを求めている(図7のステップST9)が、本発明ではこの過程を省略することも可能である。すなわち、手ぶれ量取得部37は、ブロック選出部36が粗サーチにおいて残差が小さいブロックを所定数選出したら、選出されたブロックの動きベクトルを検出し、この所定数の動きベクトルのうち、それぞれのx成分とy成分の大きい順(小さい順でも可)から所定の順位のものをx成分、y成分としたベクトルを取ることで画像全体の動きベクトル、すなわち手ぶれ量を求めてもよい(あるいは動きベクトルの大きい(小さい)順から所定順位の動きベクトルを手ぶれ量としてもよい)。この場合、上述した実施形態よりさらに計算量を省略することが可能である。
なお、この場合の動きベクトルの検出方法は本発明では限定しない。
図1は、本実施形態の撮像装置1の構成を示すブロック図である。 図2は、RAW画像データの構成の一例を示す図である。 図3は、残差逐次検定法について説明するための図である。 図4は、本実施形態におけるブロック抽出部33のブロック抽出の具体例を示す図である。 図5は、テンプレートブロックTが探索ブロックIを探索する様子を示した図である。 図6は、1/8間引き画像と1/2間引き画像における残差積分値最小の画素がある範囲を示した図である。 図7は、本実施形態の撮像装置1の撮影時の動作例を示すフローチャートである。 図8は、残差取得部35が粗サーチ時に所定の範囲のみ残差を取得する場合について説明するための図である。
符号の説明
1…撮像装置、2…カメラ、3…手ぶれ量検出部、31…データ間引き部、32…マクロブロック分割部、33…ブロック抽出部、34…輝度差比較部、35…残差取得部、36…ブロック選出部、37…手ぶれ量取得部、4…画像合成部、5…バッファメモリ

Claims (17)

  1. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ量検出装置。
  2. 前記ブロック抽出手段は、前記参照画像を基に、隣接する複数のマクロブロックの中央に位置する所定の大きさのブロックを抽出して前記第2のブロックとし、前記基準画像を基に、前記参照画像の隣接する複数のマクロブロックに対応する隣接する複数のマクロブロック分のブロックを抽出して前記第1のブロックとする
    ことを特徴とする請求項1に記載の手ぶれ量検出装置。
  3. 前記残差取得手段が前記残差を取得するより前に、前記各マクロブロックに対して輝度値の最大値と最小値との差を取得し、当該差が所定のしきい値よりも小さいと判定した場合に、当該差を有するマクロブロックを前記残差取得手段が残差を取得する対象から除外する輝度差比較手段
    を更に有することを特徴とする請求項2に記載の手ぶれ量検出装置。
  4. 前記ブロック選出手段が前記所定数の前記マクロブロックを選出した後に、輝度値の最大値と最小値との差を取得し、当該差が所定のしきい値よりも小さいと判定した場合に、当該差を有するマクロブロックを前記残差取得手段が残差を取得する対象から除外する輝度差比較手段
    を更に有することを特徴とする請求項2に記載の手ぶれ量検出装置。
  5. 前記基準画像及び参照画像のRAWデータの所定の成分のみを抽出し、間引いて間引き画像を生成するデータ間引き部
    を更に有し、
    前記マクロブロック分割手段及び前記ブロック抽出手段は、前記基準画像及び前記参照画像の代わりに、前記データ間引き部が生成した前記間引き画像を使用する
    ことを特徴とする請求項1から4のいずれか一項に記載の手ぶれ量検出装置。
  6. 前記ブロック選出手段は、粗サーチにて残差積分値が小さいマクロブロックの小さいものを所定数選出し、
    前記取得手段は、前記ブロック選出手段が選出したブロックの最小となった画素の近傍の所定の範囲のみで精サーチを行い、該結果から手ぶれ量を検出する
    ことを特徴とする請求項1から5のいずれか一項に記載の手ぶれ量検出装置。
  7. 前記残差取得手段は、前記マクロブロック選出手段が選出した前記残差積分値が小さいマクロブロックの小さいものに対して再度残差を取得する際に、粗サーチ時に残差を取得した近傍の画素に対してのみ残差取得を行う
    ことを特徴とする請求項1から6のいずれか一項に記載の手ぶれ量検出装置。
  8. 前記残差取得手段は、前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する際に、全ての範囲の残差を取得せず、所定の範囲のみの残差を取得する
    ことを特徴とする請求項1から7のいずれか一項に記載の手ぶれ量検出装置。
  9. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ量検出装置。
  10. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出されたブロックの最小となった画素の近傍の所定の範囲のみで精サーチを行い、当該結果から動きベクトルを取得し、取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ量検出装置。
  11. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ補正を検出する手ぶれ量検出装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    粗サーチにて残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出されたブロックの最小となった画素の近傍の所定の範囲のみで精サーチを行い、当該結果から動きベクトルを取得し、取得した動きベクトルをx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ量検出装置。
  12. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出し当該手ぶれ量を基に手ぶれ補正を行う手ぶれ補正装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ補正装置。
  13. 光学系を通して被写体像を撮影する撮像装置であって、
    露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置を有し、
    当該手ぶれ量検出装置は、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出したブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする撮像装置。
  14. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出方法であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第1の工程と、
    前記第1の工程において分割された前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記第1の工程において分割された参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出する第2の工程と、
    前記第2の工程において抽出された前記第1のブロック及び第2のブロックの残差を取得する第3の工程と、
    前記第3の工程において取得された残差積分値が小さいマクロブロックを所定数選出する第4の工程と、
    前記第4の工程において選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルの大きいまたは小さい順から所定順位の動きベクトルを手ぶれ量とする第5の工程と、
    を有することを特徴とする手ぶれ量検出方法。
  15. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出し当該手ぶれ量を基に手ぶれ補正を行う手ぶれ補正装置であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ補正装置。
  16. 光学系を通して被写体像を撮影する撮像装置であって、
    露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出装置を有し、
    当該手ぶれ量検出装置は、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するマクロブロック分割手段と、
    前記マクロブロック分割手段が分割した前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割手段が分割した参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段が抽出した前記第1のブロック及び第2のブロックの残差を取得する残差取得手段と、
    残差積分値が小さいマクロブロックを所定数選出するブロック選出手段と、
    該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする手ぶれ量取得手段と、
    を有することを特徴とする手ぶれ量検出装置。
  17. 露出条件の異なる基準画像と参照画像を基に、マッチング処理を行い手ぶれ量を検出する手ぶれ量検出方法であって、
    前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第1の工程と、
    前記第1の工程において分割された前記基準画像から1または複数で形成される所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記第1の工程において分割された参照画像のマクロブロックから1または複数で形成される所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出手段と、
    前記第2の工程において抽出された前記第1のブロック及び第2のブロックの残差を取得する第3の工程と、
    前記第3の工程において取得された残差積分値が小さいマクロブロックを所定数選出する第4の工程と、
    前記第4の工程において選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルのx成分、y成分それぞれの大きいまたは小さい順から所定順位のものを成分とする動きベクトルを手ぶれ量とする第5の工程と、
    を有することを特徴とする手ぶれ量検出方法。

JP2006178742A 2006-06-28 2006-06-28 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 Expired - Fee Related JP5079271B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006178742A JP5079271B2 (ja) 2006-06-28 2006-06-28 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006178742A JP5079271B2 (ja) 2006-06-28 2006-06-28 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
PCT/JP2006/325782 WO2007074774A1 (ja) 2005-12-26 2006-12-25 ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
CN2006800534445A CN101390381B (zh) 2005-12-26 2006-12-25 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法
US12/159,366 US8542278B2 (en) 2005-12-26 2006-12-25 Shaking detection device, shaking correction device, imaging device, and shaking detection method

Publications (2)

Publication Number Publication Date
JP2008011119A true JP2008011119A (ja) 2008-01-17
JP5079271B2 JP5079271B2 (ja) 2012-11-21

Family

ID=39068938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006178742A Expired - Fee Related JP5079271B2 (ja) 2006-06-28 2006-06-28 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法

Country Status (1)

Country Link
JP (1) JP5079271B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2083563A1 (en) * 2008-01-22 2009-07-29 Samsung Electronics Co., Ltd. Apparatus and method of obtaining image and apparatus and method of processing image
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
JP2011520339A (ja) * 2008-04-22 2011-07-14 コア ロジック,インコーポレイテッド 動画像の手ぶれ補正装置及び方法
KR101078754B1 (ko) 2010-05-24 2011-11-01 주식회사 인스프리트 카메라 영상취득 자동화기능을 갖는 모바일 단말기 및 이를 이용한 모바일 단말기의 카메라 영상취득 자동화방법
JP2012199691A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd 撮像装置、撮像方法、及び撮像プログラム
WO2016048546A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Techniques for optical image stabilization using magnetic shape memory actuators

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057336A (ja) * 1991-06-21 1993-01-14 Canon Inc 撮像方法及び撮像装置
JPH05145828A (ja) * 1991-11-22 1993-06-11 Sony Corp 画像の手振れ判定装置
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057336A (ja) * 1991-06-21 1993-01-14 Canon Inc 撮像方法及び撮像装置
JPH05145828A (ja) * 1991-11-22 1993-06-11 Sony Corp 画像の手振れ判定装置
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2083563A1 (en) * 2008-01-22 2009-07-29 Samsung Electronics Co., Ltd. Apparatus and method of obtaining image and apparatus and method of processing image
US8169491B2 (en) 2008-01-22 2012-05-01 Samsung Electronics Co., Ltd. Apparatus and method of obtaining image and apparatus and method of processing image
JP2011520339A (ja) * 2008-04-22 2011-07-14 コア ロジック,インコーポレイテッド 動画像の手ぶれ補正装置及び方法
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
KR101078754B1 (ko) 2010-05-24 2011-11-01 주식회사 인스프리트 카메라 영상취득 자동화기능을 갖는 모바일 단말기 및 이를 이용한 모바일 단말기의 카메라 영상취득 자동화방법
JP2012199691A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd 撮像装置、撮像方法、及び撮像プログラム
WO2016048546A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Techniques for optical image stabilization using magnetic shape memory actuators
US9778480B2 (en) 2014-09-26 2017-10-03 Intel Corporation Techniques for optical image stabilization using magnetic shape memory actuators

Also Published As

Publication number Publication date
JP5079271B2 (ja) 2012-11-21

Similar Documents

Publication Publication Date Title
US8542278B2 (en) Shaking detection device, shaking correction device, imaging device, and shaking detection method
JP4987355B2 (ja) 撮像装置および撮像方法
JP3974633B1 (ja) 撮像装置および撮像方法
JP3974634B2 (ja) 撮像装置および撮像方法
US7995102B2 (en) Imaging apparatus for generating stroboscopic image
RU2531632C2 (ru) Устройство захвата изображения, способ управления для устройства захвата изображения и носитель информации
JP5079271B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2010258933A (ja) 画像変形装置およびその動作制御方法
JP2009109564A (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
JPWO2013021767A1 (ja) 動体検出装置及び方法
EP2219366A1 (en) Image capturing device, image capturing method, and image capturing program
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP2007286474A (ja) 焦点検出装置および撮影装置
JP2009213114A (ja) 撮像装置及びプログラム
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
CN109417592B (zh) 拍摄装置、拍摄方法及拍摄程序
JP5079284B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP5079253B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008236739A (ja) 撮像装置および撮像方法
JP2016105568A (ja) 撮像装置
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP2010122358A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP2010178042A (ja) 撮像装置
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP5683898B2 (ja) 追尾装置および追尾方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees