JP2008099025A - 撮像装置、ぶれ補正方法及び撮像方法 - Google Patents
撮像装置、ぶれ補正方法及び撮像方法 Download PDFInfo
- Publication number
- JP2008099025A JP2008099025A JP2006279156A JP2006279156A JP2008099025A JP 2008099025 A JP2008099025 A JP 2008099025A JP 2006279156 A JP2006279156 A JP 2006279156A JP 2006279156 A JP2006279156 A JP 2006279156A JP 2008099025 A JP2008099025 A JP 2008099025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- psf
- blur
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims description 118
- 238000001514 detection method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 7
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 abstract description 6
- 238000011084 recovery Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 9
- 238000010998 test method Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像(第1の画像)撮影時にぶれ検出部によってぶれが生じたか否かを検出し、ぶれが生じた場合には、第1の画像撮影時よりも露出時間を短くし感度を上げた第2の画像(ぶれがない画像)を撮影し、それぞれの画像のPSF(点広がり関数)を算出し、第1の画像撮影時と第2の画像撮影時の露出条件を基にした重み付け係数を使用し第1のPSFと第2のPSFとを合成して算出した第3のPSFを基に復元フィルタを生成し、第1の画像と第2の画像とを合成した第3の画像に復元フィルタを使用して周波数変換を施し補正画像(ぶれの無い画像)を得る。
【選択図】図1
Description
カメラの小型化のために従来と比較して撮影形態の自由度が広がり、片手での撮影等が行われる機会が増えてきているために、写真撮影時に撮像装置をしっかりとホールドすることが難しくなってきている。
撮影時にカメラを安定した状態にホールドすることができない場合、シャッターボタンを押した際にカメラがぶれ、撮像した画像に手ぶれが生じてしまう。特に、露出時間の長い暗条件での撮影では、シャッター速度が遅くなるため、手ぶれが顕著に現れる。
この内、光学式手ぶれ補正は、小型の撮像装置(コンパクトカメラ等)や携帯電話のカメラに搭載することは、スペースの問題から非常に困難である。
また、特許文献6に開示された手ぶれ補正方法では、十分に良好なぶれのない補正画像を得ることができない、という不利益がある。
以下、本発明の手ぶれ補正装置の一例として第1の実施形態の撮像装置100について説明する。
図1に第1の実施形態の撮像装置100の構成を示す。
図1は、撮像装置100の構成を示すブロック図である。
図1に示すように、本第1実施形態の撮像装置100は、撮像部1、ぶれ検出部2、画像合成部3、PSF算出部4、PSF合成部5、復元フィルタ生成部6、画像処理部7、メモリ8、制御部9を有する。
すなわち、ぶれ検出部2は、x軸角加速度センサ21と、y軸角加速度センサ22と、z軸角加速度センサ23とを有し、x軸方向(通常、撮影した画像の左右方向)の変動をx軸角加速度センサ21により検出し、y軸方向(通常、撮影した画像の上下右方向)の変動をy軸角加速度センサ22により検出し、z軸方向(通常、撮像部1のレンズの光軸方向)の変動をz軸角加速度センサ23により検出し、これらを基に角加速度データを算出してぶれ量として出力し、メモリ8に記憶させる。
PSF算出部4は、撮像部1が撮像した画像データ及びぶれ検出部2が算出したぶれ量を基に、画像のぶれを表すPSF(Point Spread Function:点広がり関数)を算出する。PSFは、原画像と劣化画像(ぶれを含む画像)との関係を示す関数であり、劣化関数とも呼ばれる。PSFの算出方法については、従来の方法を利用することができる。
復元フィルタ生成部6は、PSF合成部5が合成した第3のPSFを基に、画像復元フィルタを生成する。画像復元フィルタの生成方法としては、従来の画像フィルタ生成方法を利用することができる。すなわち、例えば、PSFの逆数をとることにより復元フィルタを生成する。
メモリ8は、撮像部1が撮影した画像の画像データ、ぶれ検出部2が検出したぶれ量等、手ぶれ検出部2の手ぶれ補正処理に必要なデータを記憶する記憶デバイスである。
制御部9は、撮像装置100の各構成の統括的な制御を行う。
図2は、撮像装置100の撮影時の動作例を説明するためのフローチャートである。
ステップST1:
撮像部1は、撮影を行い、第1の画像データを作成する。作成された第1の画像データは、メモリ8に記憶される。
ステップST2:
ぶれ検出部2は、ステップST1における撮影時の撮像装置100のぶれ量を表す撮影時のぶれ量を検出する。検出されたぶれ量は、メモリ8に記憶される。
ぶれ検出部2において検出したぶれ量を基に、ステップST1において撮影された第1の画像データに手ぶれ補正が必要であるか否かの判定を行う。
判定の方法は、例えば、x軸、y軸、z軸それぞれの角加速度データをそれぞれ所定のしきい値と比較し、3軸とも角加速度データがしきい値未満であれば手ぶれ補正が必要でないと判定し、3軸の内いずれかの角加速度データがしきい値以上であれば手ぶれ補正が必要であると判定する、等の方法があるが、本発明では手ぶれ補正が必要か否かを判定する方法については限定しない。
ステップST3において、手ぶれ補正の必要があると判定された場合にはステップST4に進んで手ぶれ補正処理を行い、そうでない場合には、ステップST1において撮影した画像を図1に図示しない表示部等に表示させて撮影処理を終了する。
ステップST4:
撮像部1は、ステップST1における撮影と比較して短い露出時間で、感度を上げて再度撮影を行い、第2の画像データを出力する。出力された第2の画像データは、メモリ8に記憶される。第2の画像データは、露出時間が短いためにぶれは生じていないが、感度を上げたためにノイズが増えた画像となりやすい。
画像合成部3は、第1の画像データと第2の画像データとを合成し、第3の画像データを生成する。
ステップST6:
制御部9は、第1の画像データ撮影時と第2の画像データ撮影時の露出条件を基に、重み付け係数を算出する。重み付け係数は、後述するステップST8において、PSF合成部5が第1の画像データのPSFと第2の画像データのPSFとを合成して第3のPSFを生成する際の、第1の画像データのPSFと第2の画像データのPSFとの比率を表す係数であり、例えば、第1の画像データの露出量と、第2の画像データの露出量との比で表される。
PSF算出部4は、第1の画像データ及び第2の画像データのPSFを算出する。算出された第1の画像データのPSF及び第2の画像データのPSFは、メモリ8に記憶される。
ステップST8:
PSF合成部5は、ステップST6において算出された重み付け係数を使用して、第1のPSFと第2のPSFとを合成して第3のPSFを生成する。具体的には、例えば第1の画像データの露出量と第2の画像データの露出量との比に応じて第1のPSFと第2のPSFとを合成する。
復元フィルタ生成部6は、ステップST8において合成された第3のPSFを基に、フーリエ変換等により画像復元フィルタを生成する。
ステップST10:
制御部9は、ステップST9において生成された復元フィルタを使用して、ステップST5において生成された第3の画像データに対して周波数変調処理を行い、第4の画像データ(手ぶれ補正画像)を生成する。
以下、本発明の撮像装置の一例として第2の実施形態の撮像装置101について説明する。
第2の実施形態の構成を図3に示す。
図3は、撮像装置101の構成を示すブロック図である。
図3に示すように、本第2実施形態の撮像装置101は、撮像部1a、ぶれ検出部2a、画像合成部3、PSF算出部4、PSF合成部5、復元フィルタ生成部6、画像処理部7、メモリ8、制御部9を有する。
上述した本第2実施形態の撮像装置101の構成要素のうち、第1実施形態の撮像部1に対応する撮像部1a及びぶれ検出部2に対応するぶれ検出部2a以外は第1実施形態の撮像装置100の対応する各構成要素と同一のものであり、上記第1実施形態において説明した動作とほぼ同一の動作を行う。
すなわち、以下説明する第2実施形態の撮像装置101は、ぶれ検出部2aのぶれ検出方法以外は基本的に第1実施形態で説明した撮像装置100と同様である。本第2実施形態では、ぶれ検出部2aのぶれ検出方法の第1実施形態とは異なるぶれ検出方法について説明している。
第1実施形態のぶれ検出部2は、加速度センサを利用して機械的にぶれ検出を行っていたが、本第2実施形態のぶれ検出部2aは、ソフトウェア的にぶれ検出を行う。
ぶれ検出部2aは、手ぶれ量検出のための構成として、データ間引き部2a1、マクロブロック分割部2a2、ブロック抽出部2a3、輝度差比較部2a4、残差取得部2a5、ブロック選出部2a6、手ぶれ量算出部2a7を更に有する。
RAWデータは、撮像部1aの撮像素子から得られた信号そのままのデータであり、例えば、原色カラーフィルタを有するカメラにより撮影したRAWデータは、図5に示すように、Gr(緑)、R(赤)、B(青)、Gb(緑)の4種類の色データによって構成されている。
データ間引き部2a1は、撮像部1aが撮影した第4の画像データ及び第5の画像データそれぞれのRAWデータを基に、この4種類の色データのうち先頭の緑のデータ(Gr)のみを抽出したそれぞれの間引き画像を作成する。なお、本第2実施形態ではGrのみを抽出するが、本発明はこれに限定されず、R、B、Gbのいずれか1つを抽出してもよい。
テンプレートマッチングとは、探索対象パターン(探索ブロックI)と事前に用意したテンプレート(テンプレートブロックT)との類似度や相違度を求める手法であり、残差逐次検定法はその手法の1つである。
残差逐次検定法とは、図6に示すように、第4の画像データからM×N個の画素で構成される探索ブロックIを、第5の画像データからm×n個の画素で構成されるテンプレートブロックTを抽出し、探索ブロックI上でテンプレートブロックTを動かして比較を行い、テンプレートブロックTと一致する探索ブロックI上の位置を探し出す方法である。なお、M>m、N>nであり、テンプレートブロックTの左上の座標を(x,y)としたとき、残差、すなわち探索ブロックIとテンプレートブロックTとの画素値の差の累積残差E(x,y)、すなわち、残差を基にマクロブロック毎にマクロブロック内の全画素を足し合わせた残差積分値E(x,y)は、(x,y)の関数であり、数式(1)で与えられる。
次に、残差取得部2a5が、ブロック抽出部2a3が抽出した探索ブロックI及びテンプレートブロックTを使用し、上述した残差逐次検定法により残差を取得する。
すなわち、輝度値の最大値と最小値との差が小さいブロックは、例えば真っ白な部分等、コントラストが低いブロックであり、こうしたブロックではぶれ量を検出しにくいため、動き量検出処理から除外してしまう。
なお、所定のしきい値Bの大きさについては、本発明では限定しない。
本第2実施形態では、例えば、10個のブロックを抽出する。
手ぶれ量算出部2a7は、探索ブロックI内でブロック選出部2a6が選出したマクロブロックで間引きせずに積分値E(x,y)を求めて小さいものから順に並べた時の中央値を算出してこの画像のぶれ量とする。なお、本第2実施形態では中央値としたが、本発明はこれに限定されず、所定順位のものであればよい。
ぶれ検出部2aは、上述した方法でぶれ量を算出する。
また、ぶれ検出部2aは、検出したぶれ量を基に、撮像部1aが撮像した画像データにぶれ補正が必要であるか否かの判断を行い、必要である場合には以下説明する各部による手ぶれ補正処理を行い、そうでない場合は手ぶれ補正処理を行わず、撮像部1aが撮像した画像をメモリ8に記憶させる。判断の方法については後述する。
PSF算出部4は、撮像部1aが撮像した画像データ及びぶれ検出部2aが算出したぶれ量を基に、画像のぶれを表すPSFを算出する。ここで、第4の画像データのPSFを第4のPSF、第5の画像データのPSFを第5のPSFとする。
復元フィルタ生成部6は、PSF合成部5が合成した第6のPSFを基に、画像復元フィルタを生成する。画像復元フィルタの生成方法としては、従来の画像フィルタ生成方法を利用することができる。
メモリ8は、撮像部1aが撮影した画像の画像データ、ぶれ検出部2aが検出したぶれ量等、手ぶれ検出部2aの手ぶれ補正処理に必要なデータを記憶する記憶デバイスである。
制御部9は、撮像装置101の各構成の統括的な制御を行う。また、制御部9は、ぶれ検出部2aの出力した角加速度データを基に撮影時に手ぶれ補正処理が必要か否かの判定を行い、必要と判定した場合には手ぶれ補正処理を撮像装置101の各構成に実行させる。
図8は、撮像装置101の撮影時の動作例を説明するためのフローチャートである。
ステップST11:
撮像部1aは、撮影を行い、第4の画像データを作成する。作成された第4の画像データは、メモリ8に記憶される。
ステップST12:
ぶれ検出部2aは、ステップST11における撮影時の撮像装置100のぶれを表すぶれ量を算出する。算出されたぶれ量は、メモリ8に記憶される。
ぶれ検出部2aは、ステップST12において算出されたぶれ量を基に、ステップST11において撮影された第4の画像データに手ぶれ補正が必要であるか否かの判定を行う。
ここで、ぶれ検出部2aは、手ぶれ補正の必要があると判定した場合にはステップST14に進んで手ぶれ補正処理を行い、そうでない場合には制御部9がステップST11において撮影した画像を図3に図示しない表示部等に出力して撮影処理を終了する。
ステップST14:
撮像部1aは、ステップST11における第4の画像データの撮影と比較して短い露出時間で、感度を上げて再度複数回の撮影を行い、第5の画像データを出力する。出力された第5の画像データは、メモリ8に記憶される。第5の画像データは、露出時間が短いためにぶれは生じていないが、感度を上げたためにノイズが増えた画像となりやすい。
画像合成部3は、第4の画像データと第5の画像データとを合成し、第6の画像データを生成する。
ステップST16:
制御部9は、第4の画像データ撮影時と第5の画像データ撮影時の露出条件を基に、重み付け係数を算出する。重み付け係数は、後述するステップST18において、PSF合成部5が第4のPSFと第5のPSFとを合成して第6のPSFを生成する際の、第4のPSFと第5のPSFとの比率を表す係数であり、例えば、第4の画像データの露出量と、第5の画像データの露出量との比で表される。
PSF算出部4は、第4の画像データ及び第5の画像データのPSFを算出する。算出された第4のPSF及び第5のPSFは、メモリ8に記憶される。
ステップST18:
PSF合成部5は、ステップST16において算出された重み付け係数を使用して、第4の画像データのPSF(第4のPSF)と第5の画像データのPSF(第5のPSF)とを合成して第6のPSFを生成する。具体的には、例えば第4の画像データの露出量と第5の画像データの露出量との比に応じて第4の画像データのPSFと第5の画像データのPSFとを合成する。
復元フィルタ生成部6は、ステップST18において合成された第6のPSFを基に、フーリエ変換等により画像復元フィルタを生成する。
ステップST20:
画像処理部7は、ステップST19において生成された復元フィルタを使用して、ステップST15において生成された第6の画像データに対して周波数変調処理を行い、手ぶれを補正した補正画像を生成する。
また、第2実施形態の撮像装置101によれば、ぶれ検出部2aがソフトウェア上でぶれ量を算出するため、撮像装置101の構成を簡単にすることができる。
横方向に手ぶれが生じた画像の具体例を図9に示す。
図9と同じ被写体をぶれが生じないように撮影した画像の具体例を図10に示す。
また、図9に示した横方向に手ぶれが生じた画像のPSFを図11に示す。
PSFのフーリエ変換の絶対値がMTF(Modulation Transfer Function:変調伝達関数)であり、MTFは被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数の関数として表現した量である。
図12に示すように、横方向にぶれがある画像のMTFは0となる点が発生している。
復元フィルタをPSFの逆数を取ることにより生成する場合、PSFが非0であることが条件となる。すなわち、図12に示すようにMTFに0点が発生している場合は、PSFに適切なぶれ補正を施す復元フィルタを生成することができない、ということである。
図11に示した横方向にぶれがある画像のPSFや、図12に示した図11のPSFのMTFは、従来のぶれ補正装置、例えば、上述した特許文献6に開示された技術等によるぶれ補正に使用されるものである。
図13に、図11に示したPSFを基に生成した復元フィルタを使用して図9に示したぶれがある画像を補正したぶれ補正画像の具体例を示す。図13を参照すれば、ぶれ補正を行ったにもかかわらずぶれが多く残っていることが分かる。
また、図15に、図10に示すぶれがある画像のPSFとぶれがない画像のPSFとを重み付けして合成したPSF(第3、第6のPSF)を示す。
さらに、図16に図15に示したPSFのMTFを示す。
図16を参照すれば、ぶれが無い画像のPSFをぶれがある画像のPSFに合成したことによって、MTFに0点が生じていないことが分かる。
さらに、図17に、本発明の撮像装置100(101)による、図9に示したぶれがある画像を図15に示したPSFを基にした復元フィルタを使用してぶれ補正したぶれ補正画像の具体例を示す。
図17に示した、本発明の撮像装置100(101)によってぶれ補正された画像と、図13に示した、従来の撮像装置によってぶれ補正された画像とを比較すれば、図17に示した本発明の撮像装置100(101)によるぶれ補正画像の方がよりよくぶれを補正できていることが分かる。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
Claims (10)
- 撮影時のぶれを補正した補正画像を生成する撮像装置であって、
第1の画像と、前記第1の画像撮影時と露出条件を変えた第2の画像とを撮影する撮像部と、
前記撮像部が前記第1の画像を撮影する際に前記撮像部のぶれ量を検出するぶれ検出部と、
前記第1の画像と前記第2の画像とを合成して第3の画像を生成する画像合成部と、
前記撮像部が撮影した前記第1の画像と、前記ぶれ検出部が検出した前記第1の画像撮影時の前記撮像部のぶれ量とを基に、第1の画像の点広がり関数(PSF)を算出するPSF算出部と、
前記PSF合成部が生成した前記第1の画像のPSFを基に、ぶれを復元するための復元フィルタを生成する復元フィルタ生成部と、
前記画像合成部が合成した前記第3の画像と、前記復元フィルタ生成部が生成した前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する画像処理部と、
を有することを特徴とする撮像装置。 - 前記PSF算出部は、前記第2の画像のPSFを算出し、
前記PSF合成部は、前記PSF算出部が算出した前記第1の画像のPSFと前記第2の画像のPSFとを所定の重み付けを行って合成し、第3のPSFを生成し、
前記復元フィルタ生成部は、前記第3のPSFを基に復元フィルタを生成する
ことを特徴とする請求項1に記載の撮像装置。 - 前記画像処理部は、前記第3の画像と前記復元フィルタとをフーリエ空間上で積をとることにより前記周波数変換処理を行い、前記補正画像を生成する
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記画像処理部は、前記第3の画像と前記復元フィルタとの畳み込み積分を行うことにより前記周波数変換処理を行い、前記補正画像を生成する
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記撮像部は、前記第2の画像撮影時には、前記第1の画像撮影時よりも短い露出時間で撮影を行う
ことを特徴とする請求項1から4のいずれか一項に記載の撮像装置。 - 前記ぶれ検出部は、角加速度センサあるいは加速度センサによって前記手ぶれ量を検出する
ことを特徴とする請求項1から5のいずれか一項に記載の撮像装置。 - 前記ぶれ検出部は、
露出条件の異なる前記第1の画像と前記第2の画像とをそれぞれ複数のマクロブロックに分割するマクロブロック分割部と、
前記マクロブロック分割部が分割した前記第1の画像から所定の大きさのマクロブロックによって構成される第1のブロックを抽出し、前記マクロブロック分割部が分割した前記第2の画像のマクロブロックから所定の大きさのマクロブロックによって構成される第2のブロックを抽出するブロック抽出部と、
前記ブロック抽出部が抽出した前記第1のブロック及び第2のブロックの残差を算出する残差取得部と、
前記残差取得部が算出した前記残差を基に、前記マクロブロック毎にマクロブロック内の全画素を足し合わせ、残差積分値が小さいマクロブロックの小さいものを所定数選出するブロック選出部と、
前記ブロック選出部が選出した前記所定数の前記各マクロブロックの残差積分値が小さいものから順に並べた時の所定順位の値を算出し、当該値を手ぶれ量とする手ぶれ量算出部と
を有し、
前記残差取得部は、前記ブロック選出部が選出した前記残差積分値が小さいマクロブロックの小さいものに対して再度残差を取得し、前記手ぶれ量算出部に出力する
ことを特徴とする請求項1から5のいずれか一項に記載の撮像装置。 - 撮影時のぶれを補正した補正画像を生成する撮像装置であって、
第1の画像と、前記第1の画像撮影時と露出条件を変えた第2の画像とを撮影する撮像部と、
前記撮像部が前記第2の画像を撮影する際に前記撮像部のぶれ量を検出するぶれ検出部と、
前記第1の画像と前記第2の画像とを合成して第3の画像を生成する画像合成部と、
前記撮像部が撮影した前記第2の画像と、前記ぶれ検出部が検出した前記第2の画像撮影時の前記撮像部のぶれ量とを基に、第2の画像の点広がり関数(PSF)を算出するPSF算出部と、
前記PSF合成部が生成した前記第2の画像のPSFを基に、ぶれを復元するための復元フィルタを生成する復元フィルタ生成部と、
前記画像合成部が合成した前記第3の画像と、前記復元フィルタ生成部が生成した前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する画像処理部と、
を有することを特徴とする撮像装置。 - 撮影時のぶれを補正した補正画像を生成するぶれ補正方法であって、
第1の画像と、前記第1の画像撮影時と露出条件を変えた第2の画像とを撮影し、前記第1の画像を撮影する際に撮影時のぶれ量を検出し、前記第1の画像と前記第2の画像とを合成して第3の画像を生成し、前記第1の画像と、前記第1の画像撮影時のぶれ量とを基に、第1の画像の点広がり関数(PSF)を算出し、前記第1の画像のPSFを基に、ぶれを復元するための復元フィルタを生成し、前記第3の画像と前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する
ことを特徴とするぶれ補正方法。 - 撮像部を有し、撮影時のぶれを補正した補正画像を生成する撮像装置の撮像方法であって、
第1の画像と、前記第1の画像撮影時と露出条件を変えた第2の画像とを撮影する第1の工程と、
前記第1の工程において前記第1の画像を撮影する際に前記撮像部のぶれ量を検出する第2の工程と、
前記第1の画像と前記第2の画像とを合成して第3の画像を生成する第3の工程と、
前記第1の画像と、前記前記第2の工程において検出された前記第1の画像撮影時の前記撮像部のぶれ量とを基に、第1の画像の点広がり関数(PSF)を算出する第4の工程と、
前記第4の工程において算出された前記第1の画像のPSFを基に、ぶれを復元するための復元フィルタを生成する第5の工程と、
前記第3の工程において生成された前記第3の画像と、前記第5の工程において生成された前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する第6の工程と、
を有することを特徴とする撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006279156A JP4947576B2 (ja) | 2006-10-12 | 2006-10-12 | 撮像装置、ぶれ補正方法及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006279156A JP4947576B2 (ja) | 2006-10-12 | 2006-10-12 | 撮像装置、ぶれ補正方法及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008099025A true JP2008099025A (ja) | 2008-04-24 |
JP4947576B2 JP4947576B2 (ja) | 2012-06-06 |
Family
ID=39381397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006279156A Expired - Fee Related JP4947576B2 (ja) | 2006-10-12 | 2006-10-12 | 撮像装置、ぶれ補正方法及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4947576B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010009586A (ja) * | 2008-06-27 | 2010-01-14 | Altek Corp | デジタル画像合成方法 |
JP2010238234A (ja) * | 2009-03-30 | 2010-10-21 | Mitsubishi Electric Research Laboratories Inc | シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ |
JP2011048830A (ja) * | 2009-08-27 | 2011-03-10 | Sony Corp | 動きぼけを低減させる方法、システム、およびコンピュータプログラム |
KR20110075366A (ko) * | 2009-12-28 | 2011-07-06 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 |
WO2011145297A1 (ja) | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム |
JP2013508811A (ja) * | 2009-10-16 | 2013-03-07 | イーストマン コダック カンパニー | 空間画像事前確率を用いたぼけ画像修正 |
US9854169B2 (en) | 2014-06-06 | 2017-12-26 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124122A (ja) * | 1997-07-03 | 1999-01-29 | Ricoh Co Ltd | 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002258351A (ja) * | 2001-03-01 | 2002-09-11 | Nikon Corp | 電子カメラおよび画像処理システム |
JP2006180429A (ja) * | 2004-12-24 | 2006-07-06 | Casio Comput Co Ltd | 画像処理装置および画像処理プログラム |
JP2006262222A (ja) * | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 撮像装置 |
-
2006
- 2006-10-12 JP JP2006279156A patent/JP4947576B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124122A (ja) * | 1997-07-03 | 1999-01-29 | Ricoh Co Ltd | 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002258351A (ja) * | 2001-03-01 | 2002-09-11 | Nikon Corp | 電子カメラおよび画像処理システム |
JP2006180429A (ja) * | 2004-12-24 | 2006-07-06 | Casio Comput Co Ltd | 画像処理装置および画像処理プログラム |
JP2006262222A (ja) * | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 撮像装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010009586A (ja) * | 2008-06-27 | 2010-01-14 | Altek Corp | デジタル画像合成方法 |
JP2010238234A (ja) * | 2009-03-30 | 2010-10-21 | Mitsubishi Electric Research Laboratories Inc | シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ |
JP2011048830A (ja) * | 2009-08-27 | 2011-03-10 | Sony Corp | 動きぼけを低減させる方法、システム、およびコンピュータプログラム |
JP2013508811A (ja) * | 2009-10-16 | 2013-03-07 | イーストマン コダック カンパニー | 空間画像事前確率を用いたぼけ画像修正 |
KR20110075366A (ko) * | 2009-12-28 | 2011-07-06 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 |
KR101653272B1 (ko) | 2009-12-28 | 2016-09-01 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 |
US20130057714A1 (en) * | 2010-05-21 | 2013-03-07 | Panasonic Corporation | Image pickup device, image processing device, image processing method, and image processing program |
WO2011145296A1 (ja) * | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム |
JP5596138B2 (ja) * | 2010-05-21 | 2014-09-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム |
US9036032B2 (en) | 2010-05-21 | 2015-05-19 | Panasonic Intellectual Property Corporation Of America | Image pickup device changing the size of a blur kernel according to the exposure time |
US9071754B2 (en) | 2010-05-21 | 2015-06-30 | Panasonic Intellectual Property Corporation Of America | Image capturing apparatus, image processing apparatus, image processing method, and image processing program |
JP5756099B2 (ja) * | 2010-05-21 | 2015-07-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム |
WO2011145297A1 (ja) | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム |
US9854169B2 (en) | 2014-06-06 | 2017-12-26 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4947576B2 (ja) | 2012-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP5226600B2 (ja) | 画像変形装置およびその動作制御方法 | |
JP5484631B2 (ja) | 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 | |
JP5744614B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP3974633B1 (ja) | 撮像装置および撮像方法 | |
JP3974634B2 (ja) | 撮像装置および撮像方法 | |
WO2007074774A1 (ja) | ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 | |
JP4947576B2 (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
JP2013062626A (ja) | 撮像装置、画像処理方法およびプログラム | |
JP2011097246A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2010034739A (ja) | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2010193058A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP5079271B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP5149861B2 (ja) | 中間画像生成装置およびその動作制御方法 | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5079284B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP2008236739A (ja) | 撮像装置および撮像方法 | |
JP2008053787A (ja) | 多眼電子カメラ及び多眼電子カメラの視差補正方法 | |
JP5079253B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |