JP2007129476A - 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム - Google Patents

画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム Download PDF

Info

Publication number
JP2007129476A
JP2007129476A JP2005319986A JP2005319986A JP2007129476A JP 2007129476 A JP2007129476 A JP 2007129476A JP 2005319986 A JP2005319986 A JP 2005319986A JP 2005319986 A JP2005319986 A JP 2005319986A JP 2007129476 A JP2007129476 A JP 2007129476A
Authority
JP
Japan
Prior art keywords
image data
image
correction
image blur
blur correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005319986A
Other languages
English (en)
Other versions
JP4536641B2 (ja
Inventor
Kentaro Niikura
謙太郎 新倉
Kazuhiko Takami
一彦 高見
Takashi Nishida
孝志 西田
Akitaka Oya
章貴 大矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Electronics Corp
NEC Solution Innovators Ltd
Original Assignee
NEC Electronics Corp
NEC Software Hokuriku Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Electronics Corp, NEC Software Hokuriku Ltd filed Critical NEC Electronics Corp
Priority to JP2005319986A priority Critical patent/JP4536641B2/ja
Priority to EP06022724A priority patent/EP1783686A3/en
Priority to US11/590,815 priority patent/US7773825B2/en
Publication of JP2007129476A publication Critical patent/JP2007129476A/ja
Application granted granted Critical
Publication of JP4536641B2 publication Critical patent/JP4536641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】複数の画像データの重ね合わせによって画像ぶれを補正する場合に、複数の画像データの中に補正に適さない画像が含まれていても、補正後の画像データの画質の劣化を抑制する。
【解決手段】画像ぶれ補正装置1は、複数の画像データ間の画像ぶれ量を検出する画像ぶれ検出部12、画像ぶれ量の検出結果に基づいて、複数の画像データから補正に使用する画像データを選択する補正判定部13及び補正判定部13によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正実行部14を備える。
【選択図】図1

Description

本発明は、撮像された画像データに生じる画像ぶれを補正する画像処理技術に関する。
CCD(Charge Coupled Device)等の撮像素子によって得た電気信号をデジタル信号に変換して画像データを得る撮像装置において、撮影者の手ぶれ等に起因して画像データに生じるぶれ(以下、画像ぶれと呼ぶ)を補正する技術が従来から知られている。このような画像ぶれ補正技術としては、画像ぶれ量の検出方法や、検出した動きベクトルを用いて画像ぶれを補正する画像処理方法の異なる様々な技術が提案されている。
このうち、静止画撮影を行う撮像装置によって得られた画像データの画像ぶれを補正する画像処理装置の一般的な動作は、概ね以下のようなる。まず、撮影者のシャッタ操作に応じて連続して撮影された複数フレームの画像データを入力する。次に、得られた複数フレームの画像データを比較して、画像ぶれの向き及び大きさ(以下、動きベクトルと呼ぶ)を算出する。最後に、算出した動きベクトルを打ち消すように画素位置をずらして複数の画像データを重ね合わせることにより、画像ぶれを軽減した画像を得る。
例えば、特許文献1には、隣接する画素との画素値の差が大きい画素を特徴画素として抽出し、複数枚の画像データ間で特徴画素の位置ずれを評価し、特徴画素の位置ずれを補正するように画素位置を上下左右にずらした状態で、これら複数枚の画像データの重ねあわせを行う画像処理装置が開示されている。
また、動きベクトルを算出する方法も様々なものが提案されている。特許文献1の画像処理装置のように特徴画素の動きを評価して動きベクトルを求めるものの他、例えば、画像データを複数のブロックに分割し、ブロック毎の画素値の相関から動きベクトルを算出する方法がある(例えば、特許文献2及び3を参照)。
またさらに、算出した動きベクトルの向き等から画像ぶれの特性を判定する方法も従来から提案されている。例えば、特許文献4には、撮影した画像データに対して算出した動きベクトルを周辺の動きベクトルと比較することにより、撮影画像中を移動物体が横切るような画像ぶれ特性であることを判定した場合には、画像ぶれの補正を行わないとする撮像装置が開示されている。
特開2005−295302号公報 特開平8−163566号公報 特開平7−177425号公報 特開平8−163566号公報
複数フレームの画像データを重ね合わせることによって画像ぶれを補正する際には、複数の画像データの中に、重ね合わせによる画像ぶれ補正に適さない画像データが含まれる場合がある。重ね合わせによる画像ぶれ補正に適さない画像データとは、例えば、画像データの空間周波数が全体的に高い又は低いことにより特徴点となる画素が少なく動きベクトルの検出ができない画像データ又は撮像中の一部分のみが移動している画像や回転方向の手ぶれを伴う画像データ等である。このような画像データを含む複数の画像データの重ね合わせによる補正を行うと、画像ぶれ補正後の画像が人の目から見て不自然な状態となり、画質が劣化してしまう。
このように、複数の画像データの重ね合わせによって画像ぶれを補正する場合に、複数の画像データの中に補正に適さない画像が含まれていると画像ぶれ補正後に得られる画像データの画質が劣化するという課題がある。
本発明にかかる画像ぶれ補正装置は、複数の画像データ間の画像ぶれ量を検出する検出部と、前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備えるものである。
このような構成により、複数の画像データの中に補正に適さない画像が含まれている場合に、この画像データを除外した残りの画像データを補正に使用する画像データに選択することができる。これにより、補正に適する画像データを選択して画像ぶれ補正を行うことができ、補正後の画像データの画質の劣化を抑制することができる。
本発明により、複数の画像データの重ね合わせによって画像ぶれを補正しようとする場合に、複数の画像データの中に補正に適さない画像が含まれていても、補正後の画像データの画質の劣化を抑制することができる。
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
発明の実施の形態1.
本実施の形態にかかる画像ぶれ補正装置1の構成を図1に示す。画像ぶれ補正装置1は、撮像部100とともにデジタルカメラ等の静止画撮影を行う電子機器に搭載されるものである。ここで、撮像部100は、CCD等の撮像素子101及び撮像素子101によって得られたアナログ画像データをデジタル画像データに変換し、ホワイトバランスの調整、画素毎にRGB信号を得るための補間処理等を行って、RGB画像データを出力する信号処理部102を備えている。なお、撮像部100は、この他にも撮像素子101の露光時間を制御する電子シャッタ機構、絞り制御機構、撮像信号の信号レベルを調整する利得制御機構等を備えている。
撮像部100は、操作者がカメラのシャッタボタンを押下する動作に応じて、電子シャッタのシャッタスピードを制御してNフレームの撮像を行う。ここで、Nは2以上の整数である。つまり、撮像部100は、規定のシャッタスピードのN倍のシャッタスピードで撮像を行う。ここで、規定のシャッタスピードとは、カメラ操作者が想定するシャッタスピード(マニュアル設定の場合)又は、デジタルカメラ等で予め設定されたシャッタスピード(自動設定の場合)であり、以下ではこれらをまとめて規定のシャッタスピードと呼ぶ。例えば、規定のシャッタスピードを1/30秒、撮像フレーム数Nを4とすると、撮像部100は、シャッタスピードを4倍の1/120秒として4フレームを撮影する。シャッタスピードを上げて撮像したN枚の画像データは、いわゆる露出アンダーとなっているが、画像ぶれ補正装置1において、これらの画像データの重ね合わせ処理又は輝度データの倍化処理を行うことにより、露出が適正であり、かつ、ランダムノイズ及び画像ぶれが軽減された画像データを得ることができる。
画像ぶれ補正装置1が有するRAM(Random Access Memory)11は、撮像部100が連続して撮像したNフレームの画像データを格納可能なメモリである。
画像ぶれ検出部12は、RAM11に格納されたNフレームの画像データを比較し、画像データ間の画像ぶれ量を検出する。なお、画像ぶれ量の検出を行う際は、画像データ中のRGBの3色全てについて行う必要はなく、これらから選択した1色を用いて行えば良い。この場合、G信号は他の2つに比べて人の視感度が高く、最も輝度信号に近似しているため、G信号を選択して行うと良い。なお、R信号、G信号及びB信号で構成された画像データを輝度信号と色差信号に変換し、画像データ間で輝度信号を比較することによって画像ぶれを検出してもよい。
補正判定部13は、画像ぶれ検出部12が検出した画像ぶれの特性に応じて、後述する補正実行部14での画像ぶれ補正に使用する画像データをRAM11に格納されたNフレームの画像データから選択し、選択した画像データを補正実行部14に通知する制御信号を出力する。なお、選択した画像データが連続するNフレームの何フレーム目であるか又は選択した画像データ数によって補正実行部14の処理を変更する場合には、選択した画像データの情報と合わせて又はこれに代えて、補正実行部14に適用する補正方法を補正実行部14に通知することとしてもよい。
補正実行部14は、補正判定部13から入力された制御信号に応じて、重ね合わせによる画像ぶれ補正に使用する画像データをRAM11から選択し、画像ぶれ検出部12が検出した画像ぶれを打ち消すように画素位置をずらした状態で、選択した画像データの重ねあわせを行う。また、補正実行部14は、重ねあわせによって生成した画像ぶれ補正後の画像データを外部のメモリ等に出力する。
なお、Nフレームの画像データから選択したNフレーム未満の画像データを重ね合わせて画像データを生成する場合、補正後の画像データの明るさが、規定シャッタスピードで通常撮影した明るさ、つまり、Nフレームの画像データを重ね合わせた画像データの明るさに等しくなるように、補正後の画像データの明るさを補正する。言い換えれば、補正後の画像データの露出時間が、規定のシャッタスピードに相当する露出時間となるよう調整する。
具体的には、選択した画像データが1フレームの場合、選択した画像データの明るさをN倍、つまり、選択した画像データをN枚重ね合わせて補正後の画像データとする。また、Nが4以上であり、選択した画像データが3枚であれば、例えば、3枚の画像のうち任意の画像を2回、またそれ以上重ね合わせることで、全体としてNフレームの画像データとなるようにすれば良い。より具体的に述べると例えば、A、B、Cの3枚の画像データで4フレーム作成する場合には、いずれかの画像データを2回用いれば良い。更に同じ画像データで5フレーム分の重ね合わせを行う必要がある場合には、いずれか2枚の画像データを2回用いても良いし、いずれか1枚の画像データを3回用いて他は1回のみ用いると言うようにしても良い。
もう一つの明るさ補正の方法は、Nが4以上であり、選択した画像データが3枚である場合に、3枚を重ね合わせた画像データの明るさをN/3倍して補正後の画像データとすることである。具体的には、図示しない増幅装置(例えばデジタルゲイン回路)などにより各画素の輝度データを一様な倍率で増幅するという方法により実現することができる。
このような、明るさの補正を行うことによって、補正に使用する画像データの枚数によらず、規定のシャッタスピードで通常期待した明るさと同じ明るさの画像データを生成することができる。これにより、デジタルカメラ等の利用者から見て自然な画像を得ることができ、実用上の効果は大きい。
続いて、本実施の形態の画像ぶれ補正装置1の詳細な処理手順を、図2のフローチャートを用いて説明する。なお、図2のフローチャートは、Nフレームの画像データの中に補正に適さない画像データが1枚でも存在することを補正判定部13において判定した場合に、Nフレームのうち先頭フレームの画像データを用いて補正後の画像データを生成する処理を示している。
ステップS11では、画像ぶれ検出部12が、画像ぶれ検出のために比較する2つの画像データをRAM11から読み出す。比較する画像データの組合せは様々な組合せをとることができる。ここでは、連続するNフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出することとし、N−1通りの画像データの組合せについて順次比較を行うものとする。
ステップS12では、読み出した画像データの組合せについて画像ぶれ量を検出する。ここで、画像ぶれ量の検出には、上述した特許文献1乃至4に開示された動きベクトルを算出する手順によって行うことができる。例えば、画像データに含まれる画素をブロックに分割し、ブロック単位の動きベクトルを検出することとすれば良い。
ステップS13では、ステップS12において検出した画像ぶれが、重ね合わせによる補正に適するものであるか否かを判定する。具体的には、ステップS12で算出したブロック毎の動きベクトルの向き及び大きさが画像データ全体で一様である場合は、先頭フレームと比較した他のフレームの画像データは、先頭フレームの画像データとの重ね合わせによる補正に適した画像データと判定する。動きベクトルが画像データ全体で一様であれば、例えば、ブロック毎に算出した動きベクトルの平均値を画像全体の動きベクトルとし、この動きベクトルを相殺するように画素位置をずらして画像の重ねあわせを行うことにより、画像ぶれを補正することができる。
動きベクトルが一様な場合とは、図3(a)に示すような場合である。図3(a)は、画像データの動きベクトルを示す図であり、X方向に9ブロック、Y方向に7ブロックに分割して動きブロックの算出を行った例を示している。図3(a)の動きベクトルは、画像全体において、右下方向に一定の大きさを有するものである。
一方、図3(b)に示すように、画像の中心部分の動きベクトルが周辺のブロックと異なる動きを示す場合は、被写体が動いていること又は撮影者が意図的にカメラの光軸を移動する流し撮り(panning)を行っていること等が想定される。このような動きベクトルを示す画像データの組合せによって重ね合わせによる画像ぶれ補正を実行すると、被写体のぶれが強調され、撮影者が期待する画像とかけ離れた品質の画像データとなる可能性が高い。したがって、動きベクトルが図3(b)のような振る舞いを示す場合は、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。
また、図3(c)に示すように、動きベクトルが回転方向の画像ぶれを示している場合にも、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。なお、補正実行部14において、回転を示す動きベクトルを打ち消すように画像データを回転して重ね合わせることが可能である場合は、補正に適した画像データと判定してもよい。
ステップS13において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップS14に進む。ステップS14では、最後のNフレーム目の画像データまで補正判定部13による判定が終了していなければステップS11に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
先頭の画像データとその他のN−1枚の画像データとの間で動きベクトルの判定が終了した場合は、補正実行部14が、Nフレーム全ての画像データを用いて重ね合わせ処理を行う(ステップS15)。
一方、ステップS13において補正に適さない画像データと判定した場合は、動きベクトルの検出・判定処理を終了し、先頭の画像データの明るさをN倍し、つまり、先頭の画像データをN枚重ね合わせたものを補正後の画像データとする(ステップS16)。
ステップS17では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
このように、画像ぶれ補正を行うために撮影されたN枚の画像データの中に重ね合わせに適さない画像データが含まれている場合に、先頭の画像データをN枚重ね合わせて出力することにより、規定のシャッタスピードで撮影を行った場合に比べて、画像ぶれを小さくすることができる。これに加えて、さらに以下に列挙する効果を得ることができる。まず、第1に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
第2に、先頭の画像データを選択することにより、撮影者がシャッタボタンを押したタイミングからのズレが最も小さい画像を生成することができる。
第3に、補正に使用する画像データを予め定めておくことにより、図2のフローチャートに示したように、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移することが可能となる。これにより、補正後の画像データを速やかに得ることができる。
なお、本実施の形態にかかる画像ぶれ補正装置1は、プログラムを実行するMPU(Micro Processing Unit)を有するコンピュータ・システムにより構成することが可能である。具体的には、MPUが内部に備える又はMPUの外部に接続されるROM又はフラッシュメモリ等の記憶部に、画像ぶれ判定部12、補正判定部13及び補正実行部14が行う図2のフローチャートに示した処理手順を記録したプログラムを格納しておき、当該プログラムをMPUで実行し、MPUによる演算処理とRAM11の制御を協調して行うことによって、画像ぶれ補正装置1として動作することができる。
図2のフローチャートに示した処理手順を記録したプログラムは、ROM又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、CD−ROM、DVD、バッテリバックアップ付きRAMメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
なお、図2のステップS16では、先頭の画像データをN枚重ね合わせることにより明るさを補正する処理を行っているが、これに代えて、上述した輝度データの倍化処理、具体的には先頭の画像データの輝度をN倍に倍化する処理を行うことによって補正後の画像データを得ることも可能である。この場合には、倍化処理のための回路が新たに必要であるが、重ね合わせの為のメモリを必要としないという効果がある。
発明の実施の形態2.
本実施の形態にかかる画像ぶれ補正装置2の構成を図4に示す。画像ぶれ補正装置2は、上述した画像ぶれ補正装置1と比べて、補正判定部23における画像ぶれ補正に使用する画像データの選択手順及び補正実行部24での画像ぶれ補正に使用する画像データの組合せが相違する。画像ぶれ補正装置2が有する他の構成要素は、上述した画像ぶれ補正装置1が有する構成要素と同一であるため、図4において同一の符号を付して詳細な説明を省略することとする。
本実施の形態の画像ぶれ補正装置2の詳細な処理手順を、図5のフローチャートを用いて説明する。ステップS21では、画像ぶれ検出部12が、画像ぶれ算出のために比較する2つの画像データをRAM11から読み出す。当該ステップは、図2のステップS11と同様である。ステップS22では、読み出した画像データの組合せについて画像ぶれを検出する。当該処理は、図2のステップS12と同様であり、連続するNフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出する。ステップS23では、ステップS22において検出した画像ぶれが、重ね合わせによる画像ぶれ補正に適するものであるか否かを判定する。当該処理は、図2のステップS13と同様である。
ステップS23において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップS24に進み、当該画像データを画像ぶれ補正に使用する画像データに選択する。次に、ステップS25に進み、補正判定部23による判定が最後のNフレーム目の画像データまで終了していなければステップS21に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
ステップS23において補正に適さない画像データの存在を判定することなく、先頭の画像データとその他のN−1枚の画像データとの間で動きベクトルの判定が全て終了した場合は、補正実行部14が、Nフレーム全ての画像データを用いて重ね合わせ処理を行う(ステップS26)。
一方、ステップS23において補正に適さない画像データと判定した場合は、その時点で動きベクトルの検出・判定処理を終了して、ステップS26に進む。この場合、ステップS26では、判定を終了するまでに画像ぶれ補正に使用するものとして選択した画像データ及び先頭の画像データを用いて重ね合わせ処理を行う。この場合においても、実施の形態1と同様に、重ね合わせに用いる画像データの枚数に応じて明るさの補正を行うのはいうまでもないことである。
ステップS27では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
つまり、画像ぶれ補正装置2は、先頭の画像データから撮影の時系列に沿って動きベクトルの検出・判定処理を行い、先頭からm枚目(mは2以上かつN以下の整数)の画像データが重ね合わせに適さない画像データである場合に、先頭からm−1枚目までの画像データの重ね合わせを行って出力するものである。これにより、まず第1に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
第2に、上記の発明の実施の形態1の画像ぶれ装置に比べて、より多くの画像データを用いて画像ブレを補正できるため、画像ぶれ補正後の画像データに生じるランダムノイズを軽減して画質を向上することができる。
第3に、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移するため、補正後の画像データを速やかに得ることができる。
その他の実施の形態.
上述した画像ぶれ補正装置2は、連続して撮影されたNフレームのうちの先頭の画像データと、2フレーム目以降のN−1枚の画像データとの間で動きベクトルの検出・判定を撮影順序に沿って順次行い、補正に適さない動きベクトルの画像データの存在を判定した時点で、それまでに重ね合わせ可能と判定した画像データ及び先頭の画像データを用いて画像ぶれ補正を行うものである。しかしながら、補正に適さない画像データが存在した場合でも、最後のNフレーム目の画像データの動きベクトルの検出まで行うこととしてもよい。つまり、図5のフローチャートにおいて、ステップS23のYesの矢印をS25の前に持ってくるように変更しても良い。このようにすれば、重ね合わせによる補正に使用できない画像データがあった場合でも、補正に適した最大数の画像データを得ることができるので、ランダムノイズの低減という観点からは最大の効果を得ることができる。
連続する画像データの途中に補正に適さない画像データを含む場合でも、その後に撮影された画像データは、図3(a)に示したような重ね合わせによる画像ぶれ補正が可能な動きベクトルを有している場合がある。このため、上記の動作によって、重ね合わせに使用する画像データを極力多くできるため、画像ぶれ補正後の画像データのランダムノイズを軽減して画質を向上することができる。
また、上述した発明の実施の形態1及び2では、連続して撮影されたNフレームのうちの先頭の画像データと、2フレーム目以降のN−1枚の画像データとの間で動きベクトルの検出・判定を行うこととした。しかしながら、先頭の画像データと2フレーム目、2フレーム目と3フレーム目といった具合に、時間的に前後に位置する画像データの間で動きベクトルの検出・判定を行うこととしても良い。このような動作によって、例えば、先頭の画像データに特徴点が少なく、動きベクトルの判定に適さない場合に、先頭の画像データを重ね合わせ処理から除外し、その他の画像データによって重ね合わせ処理を行うことが可能となる。
なお、例えばN=4であって、先頭の画像データと2フレーム目の画像データによる補正が可能であり、3フレーム目と4フレーム目の画像データによる補正も可能であるというように、補正可能な画像データの組合せが複数ある場合は、先頭の画像データを含む組合せによって画像ぶれの補正を行うことが望ましい。上述したように、先頭の画像データは、撮像者によってシャッタボタンが押下されたタイミングに最も近い時刻に得られた画像であり、撮影者の意図する画像データである可能性が高いためである。
さらにまた、上述した発明の実施の形態1及び2では、画像データ間の階調変化を検出することによって動きベクトルを算出し、画像ぶれの特性を判定することとした。しかしながら、撮像部100及び画像ぶれ補正装置1及び2が搭載されたカメラのぶれを、加速度センサによって検出し、検出した加速度から、画像データの動きベクトルを求めることとしてもよい。
本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
本発明にかかる画像ぶれ補正装置の機能ブロック図である。 本発明にかかる画像ぶれ補正処理を示すフローチャートである。 本発明の画像ぶれ補正装置が行う動きベクトル判定処理を説明するための図である。 本発明にかかる画像ぶれ補正装置の機能ブロック図である。 本発明にかかる画像ぶれ補正処理を示すフローチャートである。
符号の説明
1、2 画像ぶれ補正装置
11 RAM
12 画像ぶれ検出部
13、23 補正判定部
14、24 補正実行部
100 撮像部
101 撮像素子
102 信号処理部

Claims (16)

  1. 複数の画像データ間の画像ぶれ量を検出する検出部と、
    前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、
    前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備える画像ぶれ補正装置。
  2. 前記補正部は、前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項1に記載の画像ぶれ補正装置。
  3. 前記補正部は、前記画像ぶれ量を打ち消すように前記選択された画像データを重ね合わせることにより、前記補正後の画像データを生成する請求項1又は2に記載の画像ぶれ補正装置。
  4. 前記複数の画像データがN(Nは2以上の整数)枚の画像データであり、前記選択された画像データの数がN−1枚以下であるとき、
    前記補正部は、前記選択された画像データの一部又は全部を複数回重ね合わせることにより、N枚の画像データの重ね合わせを行って前記補正後の画像データを生成する請求項3に記載の画像ぶれ補正装置。
  5. 前記判定部は、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記複数の画像データから1枚の画像データを選択して前記補正に使用する画像データとする請求項1又は2に記載の画像ぶれ補正装置。
  6. 前記複数の画像データは、連続して撮影された画像データであり、
    前記1枚の画像データは、前記連続して撮影された画像データうち最初に撮影された画像データである請求項5に記載の画像ぶれ補正装置。
  7. 前記複数の画像データは、連続して撮影されたN(Nは2以上の整数)枚の画像データであり、
    前記検出部は、前記N枚の画像データのうちの先頭の画像データと、他のN−1枚の画像データとの間で画像ぶれ量を検出し、
    前記判定部は、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データと
    する請求項3に記載の画像ぶれ補正装置。
  8. 前記判定部は、
    前記先頭の画像データとの重ね合わせによる画像ぶれ補正に適するか否かを、前記先頭の画像データに連続して撮影された画像データから撮影の時系列に沿って判定し、
    補正に不適な画像データが先頭からm(mは2以上かつN以下の整数)枚目に存在すると、前記先頭の画像データからm−1枚目の画像データまでを前記補正に使用する画像データとする請求項7に記載の画像ぶれ補正装置。
  9. 前記複数の画像データは、連続して撮影された画像データであり、
    前記検出部は、連続する2枚の画像データの間で順次画像ぶれ量の検出を行う請求項1又は2に記載の画像ぶれ補正装置。
  10. 複数の画像データを用いて画像ぶれを補正する画像ぶれ補正方法であって、
    前記複数の画像データのうち、画像ぶれ補正不可と判定された画像データを用いずに画像ぶれ補正を行うことを特徴とする画像ぶれ補正方法。
  11. 前記複数の画像データ間の画像ぶれ量を検出し、
    前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
    前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
    前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項10に記載の画像ぶれ補正方法。
  12. 前記複数の画像データは、連続して撮影された画像データであり、
    前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項11に記載の画像ぶれ補正方法。
  13. 前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項11に記載の画像ぶれ補正方法。
  14. 前記複数の画像データは、連続して撮影されたN(Nは2以上の整数)枚の画像データであり、
    前記N枚の画像データのうちの先頭の画像データと、他のN−1枚の画像データとの間で画像ぶれ量を検出し、
    前記画像ぶれ量の検出結果に基づいて、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データに選択し、
    前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項10に記載の画像ぶれ補正方法。
  15. 複数の画像データを用いた画像ぶれ補正処理をコンピュータに実行させるためのコンピュータプログラムであって、前記画像ぶれ補正処理は、
    記憶部に格納された前記複数の画像データを読み出して前記複数の画像データ間の画像ぶれ量を検出し、
    前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
    前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
    前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせ、画像ぶれ補正後の画像データを生成することを特徴とするコンピュータプログラム。
  16. 前記複数の画像データは、連続して撮影された画像データであり、
    前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項15に記載のコンピュータプログラム。
JP2005319986A 2005-11-02 2005-11-02 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム Active JP4536641B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005319986A JP4536641B2 (ja) 2005-11-02 2005-11-02 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム
EP06022724A EP1783686A3 (en) 2005-11-02 2006-10-31 Image stabilization
US11/590,815 US7773825B2 (en) 2005-11-02 2006-11-01 Image stabilization apparatus, method thereof, and program product thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005319986A JP4536641B2 (ja) 2005-11-02 2005-11-02 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム

Publications (2)

Publication Number Publication Date
JP2007129476A true JP2007129476A (ja) 2007-05-24
JP4536641B2 JP4536641B2 (ja) 2010-09-01

Family

ID=37726652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005319986A Active JP4536641B2 (ja) 2005-11-02 2005-11-02 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム

Country Status (3)

Country Link
US (1) US7773825B2 (ja)
EP (1) EP1783686A3 (ja)
JP (1) JP4536641B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010141486A (ja) * 2008-12-10 2010-06-24 Fujifilm Corp 画像合成装置、画像合成方法および画像合成プログラム
JP2012217102A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、及びその制御方法及びプログラム
JP2012235194A (ja) * 2011-04-28 2012-11-29 Canon Inc 撮像装置及びその制御方法、並びにプログラム
CN110956613A (zh) * 2019-11-07 2020-04-03 成都傅立叶电子科技有限公司 基于图像质量的目标检测算法性能归一化评价方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958635B2 (ja) * 2007-05-21 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法
FR2927448B1 (fr) * 2008-02-12 2011-03-04 Sagem Defense Securite Correction d'images captees et stabilisees
JP2010161521A (ja) * 2009-01-07 2010-07-22 Nec Corp 画像処理装置、撮像装置、画像ぶれの補正方法、及びプログラム
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
WO2017075788A1 (zh) * 2015-11-05 2017-05-11 华为技术有限公司 一种防抖拍照方法、装置及照相设备
TWI693577B (zh) 2018-09-19 2020-05-11 聚晶半導體股份有限公司 影像產生方法與電子裝置
CN114449151B (zh) * 2020-10-30 2023-06-02 华为技术有限公司 一种图像处理方法及相关装置
EP4261772A1 (en) * 2022-04-14 2023-10-18 Fei Company Compensating interference in microscopy systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223932A (ja) * 2000-02-14 2001-08-17 Ricoh Co Ltd 撮像装置及びデジタルカメラ
JP2004221992A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP2004219765A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP2005277812A (ja) * 2004-03-25 2005-10-06 Canon Inc 手振れ低減装置を持ったデジタルカメラ装置および画像再生装置
JP2006148550A (ja) * 2004-11-19 2006-06-08 Konica Minolta Opto Inc 画像処理装置及び撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2863188B2 (ja) * 1989-03-22 1999-03-03 松下電器産業株式会社 撮像装置
JPH07177425A (ja) 1993-12-17 1995-07-14 Canon Inc 動きベクトル検出装置
JPH08163566A (ja) 1994-03-22 1996-06-21 Sony Corp 動きベクトル検出装置
JPH08251473A (ja) 1995-03-13 1996-09-27 Canon Inc 撮像装置
JPH08254173A (ja) 1996-04-19 1996-10-01 Hitachi Ltd 水車及びその製造方法
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP4480413B2 (ja) 2004-02-10 2010-06-16 株式会社ジャストシステム 文書検索装置、文書検索方法、および文書検索プログラム
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223932A (ja) * 2000-02-14 2001-08-17 Ricoh Co Ltd 撮像装置及びデジタルカメラ
JP2004221992A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP2004219765A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP2005277812A (ja) * 2004-03-25 2005-10-06 Canon Inc 手振れ低減装置を持ったデジタルカメラ装置および画像再生装置
JP2006148550A (ja) * 2004-11-19 2006-06-08 Konica Minolta Opto Inc 画像処理装置及び撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010141486A (ja) * 2008-12-10 2010-06-24 Fujifilm Corp 画像合成装置、画像合成方法および画像合成プログラム
JP2012217102A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、及びその制御方法及びプログラム
JP2012235194A (ja) * 2011-04-28 2012-11-29 Canon Inc 撮像装置及びその制御方法、並びにプログラム
CN110956613A (zh) * 2019-11-07 2020-04-03 成都傅立叶电子科技有限公司 基于图像质量的目标检测算法性能归一化评价方法及系统
CN110956613B (zh) * 2019-11-07 2023-04-07 成都傅立叶电子科技有限公司 基于图像质量的目标检测算法性能归一化评价方法及系统

Also Published As

Publication number Publication date
US20070098291A1 (en) 2007-05-03
JP4536641B2 (ja) 2010-09-01
US7773825B2 (en) 2010-08-10
EP1783686A1 (en) 2007-05-09
EP1783686A3 (en) 2007-08-08

Similar Documents

Publication Publication Date Title
JP4536641B2 (ja) 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
JP4671430B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP4894907B2 (ja) 撮像装置、撮像処理方法及びプログラム
JP2008124625A (ja) 撮像装置
JP5206466B2 (ja) 画像補正装置、画像補正プログラムおよび画像撮影装置
JP2018207413A (ja) 撮像装置
JP5177284B2 (ja) 被写体動き検出装置および方法
JP5137380B2 (ja) ぶれ補正装置及び方法
JP4670663B2 (ja) 画像生成装置および画像生成プログラム
JP2012075082A (ja) 動画再生システム及び撮影装置
JP2002247444A (ja) 画像処理装置及び画像処理プログラムを記録した記録媒体
US11722788B2 (en) Image processing apparatus and method, and image capturing apparatus
JP6108854B2 (ja) 撮像装置及びその制御方法
JP5760654B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010200178A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
JP5195973B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2010219821A (ja) 撮像装置
JP2005295302A (ja) カメラ画像処理装置
JP2020149589A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2004266648A (ja) 手ぶれ補正装置及び手ぶれ補正プログラム
JP4671429B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4536641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350