JP2011029735A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents
画像処理装置、撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2011029735A JP2011029735A JP2009170645A JP2009170645A JP2011029735A JP 2011029735 A JP2011029735 A JP 2011029735A JP 2009170645 A JP2009170645 A JP 2009170645A JP 2009170645 A JP2009170645 A JP 2009170645A JP 2011029735 A JP2011029735 A JP 2011029735A
- Authority
- JP
- Japan
- Prior art keywords
- shake
- image
- deflection
- component
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000001603 reducing effect Effects 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 description 67
- 230000008859 change Effects 0.000 description 50
- 230000033001 locomotion Effects 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 13
- 230000001186 cumulative effect Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 240000008005 Crotalaria incana Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
【解決手段】画像処理装置は、撮像装置の振れに伴う画像の振れを、該画像に対してフィルタリング処理を行うことにより低減する。該画像処理装置は、撮像装置の振れを検出する振れ検出手段109と、振れ検出手段により検出された振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析手段112と、振れ成分ごとに、特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出手段113と、画像に対して、振れ成分ごとに算出されたフィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理手段114とを有する。
【選択図】図1
Description
ただし、撮像装置には、手振れ等の撮影者が意図しない振れだけでなく、パンニングやチルティングといった撮影者による意図的なカメラワークによる動きも加わり、このようなカメラワークによっても、画像の振れと同様な画像の動きが発生する。
このため、特許文献1にて開示された画像振れ低減手法では、撮像装置の振れを検出し、該振れが撮像装置の意図的な動きによるものか意図的でない振れによるものかを識別する。そして、意図的な動きに対しては振れ低減量を小さくし、意図的ではない振れに対しては振れ低減量を大きくするように、画像に対して行う振れ低減処理用のパラメータを制御する。これにより、意図的な撮像装置の動きに対する画像の追従性を良くしつつ、意図的でない撮像装置の振れに対する画像の振れを良好に低減することができる。
さらに、従来の電子防振手法では、画像全体の変化量を表す1つの動きベクトル等の画像変化量を算出し、該画像変化量に基づいて画像に対して振れ低減処理を行うものがある。
ただし、実際の撮像装置の振れには、並進、回転、あおり等の互いに種類が異なる複数の振れ成分が混在することが多い。この場合、これらの複数種類の振れ成分をひと纏めにした画像変化量を用いて振れ低減処理を行っても、十分な振れ低減効果が得られない振れ成分が生じる。
特許文献2には、水平方向と垂直方向の振れ成分を別々に検出し、これら水平方向と垂直方向の振れ成分に対して個別に振れ低減処理を行う画像振れ低減手法が開示されている。
ただし、撮影者が歩行しながら撮影を行う場合のように、水平方向や垂直方向の振れ成分が大きく、かつ回転、あおり等の複雑な振れ成分も生じた場合には、各振れ成分の特徴に大きな違いが表れる。この場合に、全ての振れ成分に対して同じ振れ低減処理用パラメータを用いたのでは、全ての振れ成分に対する良好な画像振れの低減効果が得られない。
本発明は、電子防振において、手振れよりも大きく、かつ複雑な振れに対しても良好な画像振れ低減効果が得られるようにした画像処理装置及び画像処理方法を提供する。
また、本発明の他の一側面としての画像処理方法は、撮像装置の振れに伴う画像の振れを、該画像に対してフィルタリング処理を行うことにより低減する。該画像処理方法は、撮像装置の振れを検出する振れ検出ステップと、振れ検出ステップにより検出された振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析ステップと、振れ成分ごとに、特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出ステップと、画像に対して、振れ成分ごとに算出されたフィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理ステップとを有することを特徴とする。
画像生成回路103は、A/D変換回路104、オートゲイン制御回路(AGC)105及びオートホワイトバランス(AWB)回路106を含む。A/D変換回路104は、アナログ信号をデジタル信号に変換する。AGC105は、デジタル信号のレベル補正を行う。また、AWB106は、映像の白レベル補正を行う。撮像素子102及び画像生成回路103により撮像系が構成される。
107は画像生成回路103により生成された映像信号の1又は複数のフレーム画像を一時的に記憶保持するフレームメモリである。108はフレームメモリ107に入出力される映像信号を制御するメモリ制御回路である。
109は画像変化量算出回路(振れ検出手段)であり、振れ量検出回路110と振れ量算出回路111とにより構成されている。振れ量検出回路110は、連続(隣接)する2つのフレーム画像から該撮像装置の振れに対応する動きベクトルを算出する。言い換えれば、画像変化量算出回路109は、動きベクトルを算出することで、該撮像装置の振れを検出する。振れ量算出回路111は、動きベクトルから、該撮像装置の振れ量に相当する画像変化量を算出する。
112は振れ解析回路(振れ解析手段)であり、画像変化量算出回路109において算出された画像変化量を、互いに種類が異なる複数の振れ成分に対応する画像変化量(以下、この画像変化量を振れ成分という)に分解する。そして、振れ解析回路112は、各振れ成分の特徴を求める。
ここで、種類が異なる複数の振れ成分には、並進(水平及び垂直)、拡大縮小(変倍)、回転、せん断、あおり(水平及び垂直)等がある。
113は振れ補正パラメータ算出回路(パラメータ算出手段)であり、振れ解析回路112により得られた各振れ成分の特徴に応じた振れ補正パラメータ(フィルタリング処理パラメータ)を算出する。
114は振れ補正回路(処理手段)であり、振れ補正パラメータ算出回路113によって算出された振れ補正パラメータを用いたフィルタリング処理により振れ補正量を算出し、さらに該振れ補正量に基づいて画像の幾何変換処理である座標変換処理を行う。
115は映像出力回路であり、振れ補正が行われた映像を、不図示のディスプレイに出力したり、半導体メモリ、光ディスク、磁気テープ等の記録媒体に出力したりする。
100はメインコントローラであり、撮像素子102、画像生成回路103、メモリ制御回路108、画像変化量算出回路109、振れ解析回路112、振れ補正パラメータ算出回路113、振れ補正回路114及び映像出力回路115の動作を制御する。メインコントローラ100は、CPU等により構成されている。
なお、画像変化量算出回路109、振れ解析回路112、振れ補正パラメータ算出回路113及び振れ補正回路114により、撮像装置の振れに伴う画像の振れを低減する画像処理装置が構成される。
以上のように構成された撮像装置の動作(画像処理方法)について、図2に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ100の不図示のメモリに格納されたコンピュータプログラム(ソフトウェア)に従って実行される。このことは以下の実施例でも同様である。
図2において、ステップS201では、光学系101により形成された被写体像が撮像素子102によって光電変換される。撮像素子102は、被写体輝度に応じたアナログ信号を出力し、該アナログ信号は画像生成回路103に入力される。画像生成回路103は、A/D変換回路104によってアナログ信号を、例えば12ビットのデジタル信号に変換する。さらに、AGC105及びAWB106は、デジタル信号の信号レベル補正や白レベル補正を行う。こうして、デジタル映像信号を構成する入力画像としてのフレーム画像が生成される。フレーム画像は、フレームメモリ107に一時的に格納される。
本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ107に保持されたフレーム画像は、順次、画像変化量算出回路109に入力される。
ステップS202では、振れ量検出回路110は、連続する2つのフレーム画像間での被写体像の変位とその方向を示す動きベクトルを検出する。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、その方法には制限はない。また、動きベクトルは、フレーム画像中の複数の画像領域において検出される。この動きベクトルが、映像中に見かけ上現れる被写体の振れ量とその方向を示す振れ情報となる。
振れ量検出回路110によって検出された複数の画像領域の動きベクトルは、振れ量算出回路111に入力される。振れ量算出回路111は、入力された複数の画像領域の動きベクトルを統合して、画像全体の変化量である画像変化量を算出する。ここにいう画像変化量の算出は、画像変化量を示す式、例えばホモグラフィ行列式を生成することに相当する。
ステップS203では、振れ解析回路112は、振れ量算出回路111にて算出された画像変化量を種類が異なる複数の振れ成分に分解して、それぞれの振れ成分の特徴を求める。以下、振れ解析回路112における振れの解析手法について説明する。
ステップS202において、画像変化量は、例えば、
振れの解析を行うためには、振れ量算出回路111にて、i番目のフレーム画像とi−1番目のフレーム画像との間で算出される画像変化量を累積させて、時系列的な画素変化量の変化を求める必要がある。
ここで、i番目のフレーム画像とi−1番目のフレーム画像との間の画像変化量をHiとする。k番目のフレームを基準フレームとしたときの累積画像変化量(以下、単に累積変化量という)Haccは、k番目以降の画像変化量を以下のように積算することにより求められる。
ただし、Haccの各項は、複数の振れ成分が混在した値である。このため、各項の時系列的な変化の推移からでは、画像内にて実際に生じている動きの変化を知ることはできない。
そこで、Haccの各項を成分変換することによって、画像中の具体的な変化量を表す振れ成分に分解する。
まず、累積変化量Haccについて、hacc9=1となるように、hacc9でHaccの各項を割り、正規化を行う。
そして、以下の式により、累積変化量Haccを、種類が異なる複数の振れ成分としての並進
ここで、水平並進をtx、垂直並進をty、回転角をθ、せん断の非等方倍率をα、せん断の方向角をφ、水平あおりをνx、垂直あおりをνyで表すとと、上式で算出した各振れ成分は、
したがって、累積変化量Haccを、水平並進tx、垂直並進ty、回転角θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνx、垂直あおりνy及び拡大縮小sの8つの振れ成分に分解することができる。
次に、以上のようにして算出した各振れ成分の特徴を求める。振れ解析の例を示すために、撮影者が歩行しながら撮影を行った場合における水平並進振れ、垂直並進振れ及び拡大縮小振れの変化の様子(実測値)と、その周波数特性をそれぞれ図3、図4及び図5に示す。
図3の301は、垂直並進振れの実測値である。垂直並進振れは、ほぼ一定の周波数の振れ成分として発生している。302は垂直並進振れの周波数特性である。垂直並進振れの周波数は、図中の303に示すように、6Hz付近の狭い範囲に集中するという特徴を有する。
図4の401は、水平並進振れの実測値である。水平並進振れは、様々な種類の振れが混在した振れとして発生している。402は水平並進振れの周波数特性である。水平並進の周波数は、図中の403に示すように、2〜6Hz付近の広い範囲に分布するという特徴を有する。
図5の501は、拡大縮小振れの実測値である。この例では、意図的な撮像装置の動きによって拡大縮小を示す値が滑らかに変化しているが、拡大縮小振れ自体はほとんど生じていない。502は拡大縮小振れの周波数特性である。拡大縮小振れには、振れの特徴と判定できるような周波数のピークは存在していない。
図6、図7、図8及び図9にはそれぞれ、回転振れ、せん断振れ、水平あおり振れ及び垂直あおり振れの実測値601,701,801,901と周波数特性602,702,802,902を示す。周波数特性602,702,802,902はそれぞれ、特徴603,703,803,903を有する。
なお、本実施例では、各振れ成分の周波数特性における特徴を求める場合について説明するが、周波数特性に限らず、振幅の大きさを振れ成分の特徴として求めたり、各振れ成分のカメラワークによる動きとの差を特徴として求めたりしてもよい。
以上のようにして求められた振れ成分の特徴の解析結果は、補正パラメータ算出回路113に入力される。
図2において、ステップS204では、補正パラメータ算出回路113は、ステップS203で得られた各振れ成分の特徴に応じた振れ補正パラメータを算出する。さらに、振れ補正回路114は、算出された振れ補正パラメータを用いて各振れ成分にフィルタリング処理を行い、各振れ成分を補正(低減)するための振れ補正量(振れ低減量)を算出する。そして、該振れ補正量を用いて、振れ補正処理(振れ低減処理)としての座標変換処理を行うための座標変換行列を生成する。
振れ補正量の算出にフィルタリング処理を用いることにより、パンニングやチルティング等の撮影者による意図的な撮像装置の動きには影響を与えずに、上述した振れ成分のみを低減することが可能となる。
本実施例では、各振れ成分に対するフィルタリング処理を行うために、各振れ成分の特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数とを有するFIRフィルタを作成する。ここでは、フィルタリング処理の例として、水平並進txに関して、nタップのフレーム画像に適用されるFIRフィルタを作成してフィルタリング処理を行う手法について説明する。
FIRフィルタは、ある1つのフレーム画像に対する振れ補正量を算出するために、そのフレーム画像の前後nフレーム画像の振れ成分の累積変化量を必要とする。
図10に、ステップS204にて行われる処理の手順を示す。まず、ステップS601では、補正パラメータ算出回路113は、現在の入力フレーム画像とそれよりも1つ前(過去)のフレーム画像との間で算出された水平並進txの変化量から、入力系列の先頭を基準とした累積変化量の系列Sである、
ここで、k番目のフレーム画像を基準として、それよりiフレーム後のフレーム画像の水平並進txの変化量である、
次に、ステップS602では、補正パラメータ算出回路113は、ステップS203で求められた水平並進txの特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数を有するFIRフィルタを作成する。そして、ステップS601で算出した累積変化量の系列Sに対してフィルタリング処理を行う。FIRフィルタとは、現在及び過去の入力信号の重み付け平均により出力信号を算出するフィルタであり、例えば、入力信号として系列Sが入力されたときの出力信号が、
フィルタの作成には、フーリエ級数法や窓関数を組み合わせてカットオフ周波数を決定し、さらに遷移領域やタップ数等の特性を設定することにより、フィルタの係数の算出を行うという手法が多く用いられている。カットオフ周波数を決定する際に、ステップS203にて求めた各振れ成分の特徴を利用することで、各振れ成分を補正(低減)するのに適したフィルタを作成することが可能となる。
図3に示したように、垂直並進振れは6Hz付近に集中しているので、垂直並進振れを補正するためには、6Hz付近の周波数のみをカットオフ周波数とするようなフィルタ係数を設定すればよい。
また、図4に示したように、水平並進振れは2〜6Hz付近の範囲に分布しているので、水平並進振れを補正するためには、2〜6Hz付近の範囲の周波数をカットオフ周波数とするようなフィルタ係数を設定すればよい。
また、フィルタの作成において、タップ数を多くすると急峻なフィルタ特性を得られる代わりに遅延が大きくなり、逆にタップ数を少なくするとフィルタ特性は緩やかになるが遅延を少なくすることができる。
そこで、本実施例では、ステップS203で求められた各振れ成分の特徴に応じてフィルタのタップ数を設定することにより、フィルタリング処理による振れ補正量の算出の遅延を抑えたフィルタを作成する。
例えば、垂直並進振れに関しては、6Hz付近に集中している振れのみを除去しなければならないために多くのタップ数を必要とするが、水平並進振れに関してはある程度の広がりを持つ範囲の周波数の振れを除去するため、タップ数を少なくしても問題はない。
このようにして、振れ成分の特徴に応じてフィルタのタップ数を設定することで、より少ない遅延量で振れ補正量を得ることが可能となる。
ただし、同一フレーム画像に対して振れ補正量が得られるまでの遅延量が振れ成分ごとに異なっていると、良好な振れ補正処理を行うことはできないため、最も遅延量の大きい振れ成分に他の振れ成分の遅延量を合わせる等の処置を行う必要がある。
以上のようにして作成したFIRフィルタを用いて累積変化量の系列Sに対してフィルタリング処理を行うことにより、出力信号として、フィルタリング振れ成分である、
ところで、振れ補正量の算出にフィルタリング処理を用いることの主な目的は、意図的な撮像装置の動きに影響を与えずに、振れのみを補正することにある。このため、撮像装置を動かさずに撮影を行った場合においては、画像上に生じるのは撮像装置の振れに起因する振れのみであるから、フィルタリング処理を行わずに単純な幾何変換処理のみで振れ補正を行ってもよい。
また、図5に示した拡大縮小振れでは、前述したように、意図的な撮像装置の動きがあるだけで振れ自体は生じていないので、振れ補正処理を行う必要がないと判断してもよい。
ステップS603では、補正パラメータ算出回路113は、フィルタリング動き成分である、
そして、以下の式により、水平並進振れの累積変化量から意図的なカメラワークである周波数成分の動きを残しつつ、水平並進振れのみを除去することができる振れ補正量を算出することができる。
なお、本実施例では、フィルタリング処理にFIRフィルタを用いる場合について説明したが、IIRフィルタやカルマンフィルタ等の他のフィルタを用いてもよい。また、より単純なモデルとして、移動平均値を算出する等の手法を用いてもよい。
ステップS604では、振れ補正回路114は、ステップS603で算出された振れ補正量を用いて振れ補正処理としての座標変換処理を行うための座標変換行列を作成する。
ここで、ステップS603で得られた振れ補正量は、画像変化量を表すホモグラフィ行列に対して成分変換を行うことで分解された各振れ成分の振れ補正量である。このため、フレーム画像に対して座標変換処理を行うには、各振れ成分の振れ補正量から振れ補正用ホモグラフィ行列を生成する必要がある。
ここで、ステップS603において求められた各振れ成分の振れ補正量をそれぞれ、
このときの、
図2のステップS205では、振れ補正回路114は、算出された振れ補正用ホモグラフィ行列を振れ補正の対象となっているフレーム画像の各画素に対して適用して振れ補正後の各画素の座標値を算出することで、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ107に保持されているフレーム画像から画素値の読出しを行い、読み出した画素値により構成される画像を振れ補正画像として映像出力回路115に伝送する。
ステップS206では、映像出力回路115は、ディスプレイや記録媒体に振れ補正画像を出力する。
なお、本実施例では、フレーム画像間の画像変化量を表現するのにホモグラフィ行列を用いたが、アフィン行列やヘルマート行列のような振れ成分のモデルを簡略化したものを用いてもよい。
以上説明したように、本実施例では、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める。そして、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。
なお、図11において、図1に示した構成要素と共通する構成要素については、図1と同符号を付して説明に代える。なお、図1に示したメインコントローラは、図11では省略している。
本実施例の撮像装置は、図1に示した画像変化量算出回路109の代わりに、撮像装置の振れを直接計測する振れ検出センサ716を有している。本実施例では、振れ検出センサ716と、振れ解析回路112と、補正パラメータ算出回路113と、振れ補正回路114により画像処理装置が構成される。
本実施例の撮像装置の動作について、図12に示すフローチャートを用いて説明する。ステップS801では、実施例1において図2に示したステップS201と同様の動作が行われる。
ステップS802では、振れ解析回路112は、振れ検出センサ716により検出された撮像装置の振れを用いて、実施例1において図2に示したステップS203と同様にして、各振れ成分の特徴を求める。本実施例では、撮像装置の振れを直接検出することが可能なジャイロセンサや加速度センサ等の振れ検出センサ716を用いることにより、実施例1のように動きベクトルを算出する等の演算を不要としている。
ジャイロセンサは、該センサを中心とした回転量を検出することが可能なセンサであり、例えば3軸のジャイロセンサであれば、パン、チルト及びヨー方向での回転量を検出することができる。また、加速度センサは、該センサに加わった加速度を検出するものであり、例えば3軸の加速度センサであれば、x軸、y軸及びz軸方向での加速度を検出することが可能である。各軸方向での加速度を時間積分することにより、撮像装置の振れ量を算出することができる。このような振れ検出センサ716を撮像装置に1つ又は複数搭載することにより、撮像装置の各振れ成分の変化量を個別に取得することができる。
ステップS803、ステップS804及びステップS805では、実施例1において図2に示したステップS204、ステップS205及びステップS206とそれぞれ同様の処理を行う。
本実施例でも、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求め、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。
また、本実施例では、撮像装置の振れを直接検出することが可能な振れ検出センサを用いているので、実施例1のように動きベクトルを算出する等の演算処理を必要とする場合に比べて、振れ補正処理の高速化を図ることができる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
101 光学系
102 撮像素子
103 画像生成回路
104 A/D変換回路
105 オートゲインコントロール回路
106 オートホワイトバランス回路
107 フレームメモリ
108 メモリ制御回路
109 画像変化量算出回路
110 振れ量検出回路
111 振れ量算出回路
112 振れ解析回路
113 補正パラメータ算出回路
114 振れ補正回路
115 映像出力回路
716 動き検出センサ
Claims (5)
- 撮像装置の振れに伴う画像の振れを低減する画像処理装置であって、
前記撮像装置の振れを検出する振れ検出手段と、
前記振れ検出手段により検出された前記振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析手段と、
前記振れ成分ごとに、前記特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出手段と、
前記画像に対して、前記振れ成分ごとに算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理手段とを有することを特徴とする画像処理装置。 - 前記振れ成分の特徴は、該振れ成分の周波数特性における特徴であることを特徴とする請求項1に記載の画像処理装置。
- 前記フィルタリング処理パラメータは、カットオフ周波数及びタップ数であることを特徴とする請求項1又は2に記載の画像処理装置。
- 光学系により形成された被写体像を光電変換して画像を生成する撮像系と、
請求項1から3のいずれか1つに記載の画像処理装置とを有することを特徴とする撮像装置。 - 撮像装置の振れに伴う画像の振れを低減する画像処理方法であって、
前記撮像装置の振れを検出する振れ検出ステップと、
前記振れ検出ステップにより検出された前記振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析ステップと、
前記振れ成分ごとに、前記特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出ステップと、
前記画像に対して、前記振れ成分ごとに算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理ステップとを有することを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170645A JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
US12/840,416 US8953053B2 (en) | 2009-07-21 | 2010-07-21 | Image processing apparatus, image pickup apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170645A JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011029735A true JP2011029735A (ja) | 2011-02-10 |
JP2011029735A5 JP2011029735A5 (ja) | 2012-08-23 |
JP5414405B2 JP5414405B2 (ja) | 2014-02-12 |
Family
ID=43496962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009170645A Active JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8953053B2 (ja) |
JP (1) | JP5414405B2 (ja) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231420A (ja) * | 2011-04-27 | 2012-11-22 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2013003168A (ja) * | 2011-06-10 | 2013-01-07 | Canon Inc | 防振制御装置、防振制御方法、並びに撮像装置およびその制御方法 |
EP2723064A2 (en) | 2012-10-22 | 2014-04-23 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
JP2014085450A (ja) * | 2012-10-22 | 2014-05-12 | Canon Inc | 撮像装置及びその制御方法 |
JP2014085451A (ja) * | 2012-10-22 | 2014-05-12 | Canon Inc | 撮像装置及びその制御方法 |
JP2014128014A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2015046861A (ja) * | 2012-12-27 | 2015-03-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 情報通信方法 |
US9338355B2 (en) | 2012-12-27 | 2016-05-10 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof, and storage medium |
JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
US9918016B2 (en) | 2012-12-27 | 2018-03-13 | Panasonic Intellectual Property Corporation Of America | Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode |
US9998220B2 (en) | 2012-12-27 | 2018-06-12 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
US10051194B2 (en) | 2012-12-27 | 2018-08-14 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
US10148354B2 (en) | 2012-12-27 | 2018-12-04 | Panasonic Intellectual Property Corporation Of America | Luminance change information communication method |
US10165192B2 (en) | 2012-12-27 | 2018-12-25 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10171165B2 (en) | 2015-11-06 | 2019-01-01 | Panasonic Intellectual Property Corporation Of America | Visible light signal generating method, signal generating apparatus, and program |
US10225014B2 (en) | 2012-12-27 | 2019-03-05 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using ID list and bright line image |
US10263701B2 (en) | 2015-11-12 | 2019-04-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
US10303945B2 (en) | 2012-12-27 | 2019-05-28 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
US10354599B2 (en) | 2012-12-27 | 2019-07-16 | Panasonic Intellectual Property Corporation Of America | Display method |
US10361780B2 (en) | 2012-12-27 | 2019-07-23 | Panasonic Intellectual Property Corporation Of America | Information processing program, reception program, and information processing apparatus |
US10484608B2 (en) | 2017-04-28 | 2019-11-19 | Canon Kabushiki Kaisha | Image stabilization apparatus, control method thereof, and storage medium |
US10504584B2 (en) | 2015-12-17 | 2019-12-10 | Panasonic Intellectual Property Corporation Of America | Display method and display device |
US10523876B2 (en) | 2012-12-27 | 2019-12-31 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10530486B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
JP2020190690A (ja) * | 2019-05-23 | 2020-11-26 | オリンパス株式会社 | 像ぶれ補正装置、像ぶれ補正方法、及び像ぶれ補正プログラム |
US10951310B2 (en) | 2012-12-27 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Communication method, communication device, and transmitter |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201230805A (en) * | 2011-01-04 | 2012-07-16 | Aptos Technology Inc | Video playback apparatus and method |
US10482584B1 (en) * | 2019-01-31 | 2019-11-19 | StradVision, Inc. | Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331430A (ja) * | 1995-05-30 | 1996-12-13 | Sony Corp | 手振れ補正装置及びビデオカメラ |
JP2008259076A (ja) * | 2007-04-06 | 2008-10-23 | Canon Inc | 画像防振装置、撮像装置及び画像防振方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5959666A (en) * | 1995-05-30 | 1999-09-28 | Sony Corporation | Hand deviation correction apparatus and video camera |
JP3642085B2 (ja) | 1995-05-30 | 2005-04-27 | ソニー株式会社 | 手振れ補正装置及びビデオカメラ |
US6982746B1 (en) * | 1998-02-24 | 2006-01-03 | Canon Kabushiki Kaisha | Apparatus and method for correcting shake by controlling sampling timing of shake signal |
JP3671972B2 (ja) | 2003-08-08 | 2005-07-13 | 株式会社日立製作所 | ビデオカメラ装置 |
JP2005189654A (ja) * | 2003-12-26 | 2005-07-14 | Konica Minolta Photo Imaging Inc | 手振れ補正機構を備えたカメラ |
JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
-
2009
- 2009-07-21 JP JP2009170645A patent/JP5414405B2/ja active Active
-
2010
- 2010-07-21 US US12/840,416 patent/US8953053B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331430A (ja) * | 1995-05-30 | 1996-12-13 | Sony Corp | 手振れ補正装置及びビデオカメラ |
JP2008259076A (ja) * | 2007-04-06 | 2008-10-23 | Canon Inc | 画像防振装置、撮像装置及び画像防振方法 |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231420A (ja) * | 2011-04-27 | 2012-11-22 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2013003168A (ja) * | 2011-06-10 | 2013-01-07 | Canon Inc | 防振制御装置、防振制御方法、並びに撮像装置およびその制御方法 |
US9225900B2 (en) | 2012-10-22 | 2015-12-29 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
EP2723064A2 (en) | 2012-10-22 | 2014-04-23 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
JP2014085450A (ja) * | 2012-10-22 | 2014-05-12 | Canon Inc | 撮像装置及びその制御方法 |
JP2014085451A (ja) * | 2012-10-22 | 2014-05-12 | Canon Inc | 撮像装置及びその制御方法 |
US9001225B2 (en) | 2012-10-22 | 2015-04-07 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
US9219863B2 (en) | 2012-10-22 | 2015-12-22 | Canon Kabushiki Kaisha | Image capture apparatus |
US10218914B2 (en) | 2012-12-20 | 2019-02-26 | Panasonic Intellectual Property Corporation Of America | Information communication apparatus, method and recording medium using switchable normal mode and visible light communication mode |
US10334177B2 (en) | 2012-12-27 | 2019-06-25 | Panasonic Intellectual Property Corporation Of America | Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode |
US10530486B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
US9338355B2 (en) | 2012-12-27 | 2016-05-10 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof, and storage medium |
US11659284B2 (en) | 2012-12-27 | 2023-05-23 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9918016B2 (en) | 2012-12-27 | 2018-03-13 | Panasonic Intellectual Property Corporation Of America | Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode |
US9998220B2 (en) | 2012-12-27 | 2018-06-12 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
US11490025B2 (en) | 2012-12-27 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10051194B2 (en) | 2012-12-27 | 2018-08-14 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US11165967B2 (en) | 2012-12-27 | 2021-11-02 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10148354B2 (en) | 2012-12-27 | 2018-12-04 | Panasonic Intellectual Property Corporation Of America | Luminance change information communication method |
US10165192B2 (en) | 2012-12-27 | 2018-12-25 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10951310B2 (en) | 2012-12-27 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Communication method, communication device, and transmitter |
US10205887B2 (en) | 2012-12-27 | 2019-02-12 | Panasonic Intellectual Property Corporation Of America | Information communication method |
JP2015046861A (ja) * | 2012-12-27 | 2015-03-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 情報通信方法 |
US10225014B2 (en) | 2012-12-27 | 2019-03-05 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using ID list and bright line image |
US10887528B2 (en) | 2012-12-27 | 2021-01-05 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10303945B2 (en) | 2012-12-27 | 2019-05-28 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
JP2014128014A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US10354599B2 (en) | 2012-12-27 | 2019-07-16 | Panasonic Intellectual Property Corporation Of America | Display method |
US10361780B2 (en) | 2012-12-27 | 2019-07-23 | Panasonic Intellectual Property Corporation Of America | Information processing program, reception program, and information processing apparatus |
US10368005B2 (en) | 2012-12-27 | 2019-07-30 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10368006B2 (en) | 2012-12-27 | 2019-07-30 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10742891B2 (en) | 2012-12-27 | 2020-08-11 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10447390B2 (en) | 2012-12-27 | 2019-10-15 | Panasonic Intellectual Property Corporation Of America | Luminance change information communication method |
US10455161B2 (en) | 2012-12-27 | 2019-10-22 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10666871B2 (en) | 2012-12-27 | 2020-05-26 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10638051B2 (en) | 2012-12-27 | 2020-04-28 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10516832B2 (en) | 2012-12-27 | 2019-12-24 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10521668B2 (en) | 2012-12-27 | 2019-12-31 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
US10523876B2 (en) | 2012-12-27 | 2019-12-31 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10531010B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9225901B2 (en) | 2012-12-27 | 2015-12-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof, and storage medium |
US10531009B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10616496B2 (en) | 2012-12-27 | 2020-04-07 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10389446B2 (en) | 2014-11-14 | 2019-08-20 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
US10171165B2 (en) | 2015-11-06 | 2019-01-01 | Panasonic Intellectual Property Corporation Of America | Visible light signal generating method, signal generating apparatus, and program |
US10263701B2 (en) | 2015-11-12 | 2019-04-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
US10951309B2 (en) | 2015-11-12 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
US10027890B2 (en) | 2015-11-27 | 2018-07-17 | Casio Computer Co., Ltd. | Motion detecting device, motion detecting method, and non-transitory recording medium |
JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
US10504584B2 (en) | 2015-12-17 | 2019-12-10 | Panasonic Intellectual Property Corporation Of America | Display method and display device |
US10484608B2 (en) | 2017-04-28 | 2019-11-19 | Canon Kabushiki Kaisha | Image stabilization apparatus, control method thereof, and storage medium |
JP2020190690A (ja) * | 2019-05-23 | 2020-11-26 | オリンパス株式会社 | 像ぶれ補正装置、像ぶれ補正方法、及び像ぶれ補正プログラム |
Also Published As
Publication number | Publication date |
---|---|
US8953053B2 (en) | 2015-02-10 |
US20110019016A1 (en) | 2011-01-27 |
JP5414405B2 (ja) | 2014-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2011029735A5 (ja) | ||
US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
JP6614810B2 (ja) | ブレ補正装置、撮像装置、ブレ補正方法 | |
JP2006333061A (ja) | 手ぶれ補正装置 | |
EP1570652A2 (en) | Image stabilisation system and method | |
JP2005252626A (ja) | 撮像装置および画像処理方法 | |
JP2006129236A (ja) | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
WO2007119680A1 (ja) | 撮像装置 | |
JP2017175364A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6223161B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP2007036742A (ja) | 複数画像合成方法及び複数画像合成装置 | |
JP4740008B2 (ja) | 手ぶれ検出装置およびデジタルカメラ | |
JP2006115116A (ja) | 画像処理装置及び電子カメラ | |
JP2009171341A (ja) | ぶれ補正装置及び撮像装置 | |
CN111953891B (zh) | 控制设备、镜头设备、摄像设备、控制方法和存储介质 | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP6188369B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5414405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |