JP2011233039A - 画像処理装置、画像処理方法、撮像装置、およびプログラム - Google Patents

画像処理装置、画像処理方法、撮像装置、およびプログラム Download PDF

Info

Publication number
JP2011233039A
JP2011233039A JP2010104353A JP2010104353A JP2011233039A JP 2011233039 A JP2011233039 A JP 2011233039A JP 2010104353 A JP2010104353 A JP 2010104353A JP 2010104353 A JP2010104353 A JP 2010104353A JP 2011233039 A JP2011233039 A JP 2011233039A
Authority
JP
Japan
Prior art keywords
pixel value
change amount
value change
motion search
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010104353A
Other languages
English (en)
Inventor
Shun Matsuura
俊 松浦
Naoki Kuzutani
直規 葛谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010104353A priority Critical patent/JP2011233039A/ja
Priority to US13/064,216 priority patent/US8390697B2/en
Priority to TW100108981A priority patent/TWI463866B/zh
Priority to KR20110035526A priority patent/KR20110120215A/ko
Priority to CN2011101005390A priority patent/CN102238332A/zh
Publication of JP2011233039A publication Critical patent/JP2011233039A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる画像処理装置、画像処理方法、撮像装置、およびプログラムを提供する。
【解決手段】現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
【選択図】図３

Description

本発明は、画像シーケンスのうち２枚の画像間のグローバルな動き量を推定する動きベクトル探索(ME: Motion Estimation)を行う画像処理装置、画像処理方法、撮像装置、およびプログラムに関するものである。
動き推定を行うのに最もよく使用する手法として、ブロックマッチングがある。
ブロックマッチングで画像間のグローバル動きを推定するには、基本的には、分割したブロックごとに生成される動きベクトル（ＭＶ：ローカルＭＶ）の画面全体にわたる重み付き平均をとる。
その際、ローカルＭＶが信頼できないブロックの重みを小さくして、ロバスト性を高めることができる（たとえば特許文献１，２参照）。
他の動き推定手法としてLucas-Kanade法（ＬＫ法）が知られている（非特許文献１参照）。
特に全画面にわたるＬＫ法を用いると、ブロックマッチングと比較して、大幅に計算実行効率のよいグローバルＭＥを行うことができる。
特開平５−２８９１５９号公報 特開２００６−２２２９３３号公報
[1] An Iterative Image Registration Technique with an Application to Stereo Vision, B. D. Lucas, T. Kanade, Intl. Joint Conf. on AI, pp.674-679, 1981
しかし、上記特許文献１，２に開示された技術では、ブロックごとにＭＶを求める必要があるブロックマッチングは計算資源が多く必要で、一般的に実行効率の悪い処理である。
ＬＫ法は、ブロックマッチングと比較して、大幅に計算実行効率のよいグローバルＭＥを行うことができる一方で、全画面にわたるＬＫ法はローカルＭＶを算出しないため、上記特許文献１，２と同じ手法でロバスト性を向上させることはできない。
本発明は、高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる画像処理装置、画像処理方法、撮像装置、およびプログラムを提供することにある。
本発明の第１の観点の画像処理装置は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を有し、上記グローバル動き探索装置は、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、上記動き探索処理部は、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
本発明の第２の観点の画像処理方法は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
本発明の第３の観点の撮像装置は、上記固体撮像素子に被写体像を結像する光学系と、上記固体撮像素子による画像に対する画像処理を行う画像処理装置と、を有し、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を含み、上記グローバル動き探索装置は、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、上記動き探索処理部は、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
本発明の第４の観点は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する画像処理をコンピュータに実行させるプログラムである。
本発明によれば、高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる。
本発明の実施形態に係る画像処理装置に含まれるグローバル動き探索装置を示す図である。 図１のグローバル動き探索装置の基本的な機能ブロック図である。 本実施形態に係るグローバルＭＥ処理手順の概要を示すフローチャートである。 本実施形態に係る１回目のＭＥの手順を示すフローチャートである。 図４のステップＳＴ１０５の偏微分計算例を示す図である。 本実施形態に係るＭＥ有効無効判定の手順を示すフローチャートである。 本実施形態に係る２回目のＭＥの手順を示すフローチャートである。 本発明の実施形態に係る画像処理装置を採用した撮像装置(カメラシステム)の構成例を示す図である。 本発明の実施形態に係るグローバルＭＥ装置を画揺れ補正（ＤＩＳ：Digital Image Stabilizer）機能を含む画像処理装置に適用した場合の構成例を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．画像処理装置としてのグローバル動き探索（ＭＥ）装置
２．グローバルＭＥ装置の具体的な処理
３．撮像装置（カメラシステム）の構成例
＜１．画像処理装置としてのグローバル動き探索（ＭＥ）装置＞
図１は、本発明の実施形態に係る画像処理装置に含まれるグローバル動き探索装置を示す図である。
図２は、図１のグローバル動き探索装置の基本的な機能ブロック図である。
本実施形態に係る画像処理装置１はグローバル動き探索(または動き推定：ＭＥ）装置１０を有する。
グローバルＭＥ装置１０は、基本的に、図１に示すように、現画像ＣＩＭと参照画像ＲＩＭの２枚の画像を入力して１組の動きベクトル（ＭＶ）を出力するグローバルＭＥ処理を行う。
グローバルＭＥ装置１０は、基本的に機能ブロックとして、図２に示すように、第１ＭＥ処理部１１、ＭＥ判定部１２、第２ＭＥ処理部１３、およびメモリ１４を有する。
本実施形態において、グローバルＭＥ装置１０は、画像シーケンスＩ（ｘ，ｙ，ｔ）のうち２枚の画像間のグローバルＭＥを行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、以下のように２回以上実行する機能を有している。
［１回目のＭＥ］
１回目はＬＫ法でＭＶを求めるために必要なΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔの他にも、Ｉｘ，Ｉｙ，Ｉｔからなる項の加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）を特定の数（ｎ個）だけ変数としてメモリ１４に保持しておく。
そして、第１ＭＥ処理部１１で１回目のＬＫ法の結果として一組のＭＶ（ｖｘ,ｖｙ）を計算する。
［ＭＥ結果の有効無効判定］
ＭＥ判定部１２で第１ＭＥ処理部１１によるＭＥが有効であるか無効であるかを判定する。
ＭＥ判定部１２で有効であると判定されると第２ＭＥ処理部１３による２回目のＭＥを行う。無効である場合、後述するようにＭＶは０として出力する。
［２回目のＭＥ］
２回目はＬＫ法でＭＶを求めるために必要な、Σ（Ｉ´ｘ）２，Σ(Ｉ´ｙ)２，ΣＩ´ｘＩ´ｙ，ΣＩ´ｘＩ´ｔ，ΣＩ´ｙＩ´ｔを求める際に、画素ごとに、加算するかどうか判断を行う。
ここで、条件判断には、以下の変数からなる条件式を用いる：
第１は、その画素におけるＩ´ｘ，Ｉ´ｙ，Ｉ´ｔである。
第２は、１回目で求めたΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔとＭＶ（ｖｘ,ｖｙ）である。
第３は、１回目で求めた加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）である。
第４に、閾値パラメータである。
２回目のＬＫ法の結果として新たに一組のＭＶ（ｖ´ｘ,ｖ´ｙ）を計算しなおし、出力する。
上記において、Ｉｘ，Ｉｙ，Ｉｔはそれぞれ当該画素における「水平方向の画素値変化量」「垂直方向の画素値変化量」「時間方向の画素値変化量」を指す。Σは「画面全体にわたって加算したもの」を指す。
したがって、ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）は「水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算したもの」と表すことができる。
１回目の計算と２回目の計算を区別するため、２回目で読み込む画像には記号Ｉ´をつけているが、同じ画像ペアに対して２回のＬＫ法を実行するだけなので、実際にはＩ＝Ｉ´である。ただし（ｖｘ,ｖｙ）と（ｖ´ｘ,ｖ´ｙ）は異なる値になる。
［ＭＥ結果の有効無効判定の具体例］
ＭＥ判定部１２は、第１ＭＥ処理部１１によるＭＶ（ｖｘ,ｖｙ）を受けて、グローバルＭＥの難易度が高いと判断される場合は、ＭＥ無効（ＭＶはゼロ）とする。
この場合、第２ＭＥ処理部１３による２回目のＬＫ法を実行する必要はない。
ここで、条件判断には、以下の変数からなる条件式を用いる。
第１は、１回目で求めたΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔとＭＶ（ｖｘ,ｖｙ）である。
第２は、１回目で求めた加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）である。
第３に、閾値パラメータである。
ここで、加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２の４つを導入して、ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を計算する。
そして、その計算結果がある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するときＭＥ無効とする。
また、加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｔを導入して、１画素あたりの時間方向の画素値変化の絶対値を計算し、その計算結果がある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するときＭＥ無効とする。
また、上記第２ＭＥ処理においては、次の処理を行うことも可能である。
加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２の４つを導入して、ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を計算する。
そして、その平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを計算し、それがある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するとき該当画素をＭＶの計算にいれない。
また、上記第２ＭＥ処理においては、次の処理を行うことも可能である。
加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｔ，Σ（Ｉｔ）２の２つを導入して、時間方向の画素値変化の画面全体にわたる分布の平均と標準偏差を計算する。
そして、その平均と標準偏差に基づいて、各画素における画素値変化から外れ値度合いを計算し、それがある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するとき該当画素をＭＶの計算にいれない。
＜２．グローバルＭＥ装置の具体的な処理＞
以下、グローバルＭＥ装置１０の具体的な処理について、図３から図７に関連付けて説明する。
図３は、本実施形態に係るグローバルＭＥ処理手順の全体の概要を示すフローチャートである。
［ステップＳＴ１］
まず、ステップＳＴ１において、１回目のＭＥを行う。
［ステップＳＴ２，ＳＴ３］
ステップＳＴ２およびＳＴ３において、１回目ＭＥの結果からグローバルＭＥの難易度や信頼性を判定し、ＭＥが有効か無効どうか判定する。
［ステップＳＴ４］
ステップＳＴ３において、ＭＥ無効の場合は分岐し、ＭＶをゼロとして出力、終了する。ＭＥ有効の場合は、ステップＳＴ４で２回目のＭＥを行い、その結果のＭＶを出力して終了する。
ＭＥ無効のときに２回目のＭＥを行わないようにすることで、望ましくないＭＶを誤って使用することを防ぐとともに、処理量を削減することができる。
図４は、本実施形態に係る１回目のＭＥの手順を示すフローチャートである。
図４のＭＥ処理は、ＬＫ（Lucas-Kanade）法を増補したものであり、基本的には、次式に従ってＭＶを求めている。
Figure 2011233039
上式でΣは画面全体にわたる総和を示している。またＩｘ，Ｉｙ，Ｉｔは上述したように画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の偏微分値であり、様々な計算方法があるが、一例として図５のフローチャートに示すように計算する。
途中の計算結果であるΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔは、以降のＭＥ無効判定や２回目のＭＥで使用するため、任意の記憶領域に保存しておく（図４のＡｘｘ,Ａｙｙ,Ａｘｙ,Ａｘｔ,Ａｙｔ）。
また、本来ＬＫ法で必要としないΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２も同様に計算し、保存しておく（図４のＡｘ,Ａｙ,Ａｔ,Ａｔｔ）。
［ステップＳＴ１０１］
ステップＳＴ１０１において、現画像配列Ｉと参照画像配列Ｊを入力し、画像の幅Ｗおよび画像の高さＨを得る。
［ステップＳＴ１０２］
ステップＳＴ１０２において、Σ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔに相当するパラメータＡｘｘ,Ａｙｙ,Ａｘｙ,Ａｘｔ,Ａｙｔを初期値０に設定する。
［ステップＳＴ１０３］
ステップＳＴ１０３において、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２に相当するパラメータＡｘ,Ａｙ,Ａｔ,Ａｔｔを初期値０に設定する。
［ステップＳＴ１０４］
ステップＳＴ１０４において、座標ｘを０〜Ｗ−２、座標ｙを０〜Ｈ−２として２次元ループを開始する。
［ステップＳＴ１０５］
ステップＳＴ１０５において、座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊの偏微分Ｉｘ，Ｉｙ，Ｉｔを求める。
図５は、図４のステップＳＴ１０５の偏微分計算例を示す図である。
座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊを得（ＳＴ１０５１）、その偏微分Ｉｘ，Ｉｙ，Ｉｔを求める（ＳＴ１０５２）。
この場合、Ｉｘ＝Ｉ［ｙ］［ｘ＋１］−Ｉ［ｙ］［ｘ］となる。
Ｉｙ＝Ｉ［ｙ＋１］［ｘ］−Ｉ［ｙ］［ｘ］となる。
Ｉｔ＝Ｉ［ｙ］［ｘ］−Ｉ［ｙ］［ｘ］となる。
［ステップＳＴ１０６］
ステップＳＴ１０６において、Σ（Ｉｘ）２に相当するパラメータＡｘｘ＝Ａｘｘ＋Ｉｘ＊Ｉｘとして求める。
Σ（Ｉｙ）２に相当するパラメータＡｙｙ＝Ａｙｙ＋Ｉｙ＊Ｉｙとして求める。
ΣＩｘＩｙに相当するパラメータＡｘｙ＝Ａｘｙ＋Ｉｘ＊Ｉｙとして求める。
ΣＩｘＩｔに相当するパラメータＡｘｔ＝Ａｘｔ＋Ｉｘ＊Ｉｔとして求める。
ΣＩｙＩｔに相当するパラメータＡｙｔ＝Ａｙｔ＋Ｉｙ＊Ｉｔとして求める。
［ステップＳＴ１０７］
ステップＳＴ１０７において、ΣＩｘに相当するパラメータＡｘ＝Ａｘ＋Ｉｘとして求める。
ΣＩｙに相当するパラメータＡｙ＝Ａｙ＋Ｉｙとして求める。
ΣＩｔに相当するパラメータＡｔ＝Ａｔ＋Ｉｔとして求める。
Σ（Ｉｔ）２に相当するパラメータＡｔｔ＝Ａｔｔ＋Ｉｔ＊Ｉｔとして求める。
［ステップＳＴ１０８］
ステップＳＴ１０８において、ｘ，ｙループが終了したか否かを判定し、終了していない場合にはステップＳＴ１０４に戻り、終了した場合にはステップＳＴ１０９の処理に移行する。
［ステップＳＴ１０９］
ステップＳＴ１０９において、ＭＶ（ｖｘ,ｖｙ）を求め、ＭＥ判定部１２に出力する。
このとき、ｖｘ＝（Ａｘｙ＋Ａｙｔ−Ａｙｙ＊Ａｘｔ）／ｄｉｖでＭＶ（ｖｘ）が求まる。
ｖｙ＝（Ａｘｙ＋Ａｘｔ−Ａｘｘ＊Ａｙｔ）／ｄｉｖでＭＶ（ｖｙ）が求まる。
ただし、ｄｉｖ＝Ａｘｘ＊Ａｘｔ−Ａｘｘ＊Ａｘｙである。
図６は、本実施形態に係るＭＥ有効無効判定の手順を示すフローチャートである。
［ステップＳＴ２０１］
ステップＳＴ２０１において、画像の幅Ｗおよび画像の高さＨの情報を得る。
［ステップＳＴ２０２］
ステップＳＴ２０２において、１回目のＭＥによるＭＶ（ｖｘ,ｖｙ）、１回目のＭＥのパラメータ値Ａｘｔ（ΣＩｘＩｔ），Ａｙｔ（ΣＩｙＩｔ），Ａｘ（ΣＩｘ），Ａｙ（ΣＩｙ），Ａｔ（ΣＩｔ），Ａｔｔ（Σ（Ｉｔ）２）のアキュムレート値を取得する。
［ステップＳＴ２０３］
ステップＳＴ２０３において、以上の１回目のＭＥ処理結果を用いて、標準偏差σｅ（Ｓｅ）および絶対値δ（Ｄ）を求める。
なお、σｅはＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を示し、絶対値δ（Ｄ）は１画素あたりの時間方向の画素値変化の絶対値を示している。
［ステップＳＴ２０４］
ステップＳＴ２０４において、標準偏差σｅ（Ｓｅ）に対するあらかじめ設定された閾値パラメータで閾値判定を行う。
［ステップＳＴ２０５］
ステップＳＴ２０５において、閾値判定の結果、閾値より高いと判定された場合はＭＥ無効として終了する。
［ステップＳＴ２０６］
ステップＳＴ２０６において、閾値より低い場合は、絶対値δ（Ｄ）に対するあらかじめ設定された閾値パラメータで閾値判定を行う。
［ステップＳＴ２０７］
ステップＳＴ２０７において、閾値判定の結果、閾値より高いと判定された場合はＭＥ無効として終了する。
閾値より低い場合は、１回目のＭＥは有効であると判定する。
標準偏差σｅ（Ｓｅ）の閾値判定により、画面内のローカル動きが大きすぎるときに出やすい望ましくないＭＶを誤って使用することを防ぐことができる。
同様に、絶対値δ（Ｄ）の閾値判定により、画面の照度変化が大きすぎるときに出やすい望ましくないＭＶを誤って使用することを防ぐことができる。
なお、閾値判定する際に、過去の標準偏差σｅ（Ｓｅ）（絶対値δ（Ｄ）についても同様）も用いて平均化フィルタをかけたあとに閾値比較するとより望ましい結果が得られる。さらに、ヒステリシス性をもった閾値比較をするとより望ましい結果が得られる。
図７は、本実施形態に係る２回目のＭＥの手順を示すフローチャートである。
１回目のＭＥと同様ＬＫ（Lucas−Kanade）法を増補したものであり、基本的にはＭＶ（ｖｘ,ｖｙ）を求める処理であるが、特定の画素においてΣ、すなわち、「画面全体にわたって加算」をとらないという点が異なる。
その計算に入れない特定の画素を判断するために、まず１回目のＭＥの結果（ｖｘ,ｖｙ）、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２）を使用して、以下を求めておく（ＳＴ４０３）。
ＬＫ法における誤差関数値の画面全体にわたる分布の平均μｅ（Ｍｅ）、ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差σｅ（Ｓｅ）を求める。さらに、時間方向の画素値変化の画面全体にわたる分布の平均μｉ（Ｍｉ）、時間方向の画素値変化の画面全体にわたる分布の標準偏差Ｓｉを求める。
そして、新たにΣ（Ｉ´ｘ）２，Σ(Ｉ´ｙ)２，ΣＩ´ｘＩ´ｙ，ΣＩ´ｘＩ´ｔ，ΣＩ´ｙＩ´ｔを求め直すループ（ＳＴ４０５〜ＳＴ４１０）で、以下の条件式を評価する条件分岐を導入する（ＳＴ４０７,ＳＴ４０８）。
偏微分計算後、分布の平均μｅ（Ｍｅ）と標準偏差σｅ（Ｓｅ）に基づいて、各画素における誤差関数値から外れ値度合いを計算する。
そして、その計算結果がある閾値を上回っているかどうかを判断する。
また、分布の平均μｉ（Ｍｉ）と分布の標準偏差Ｓｉに基づいて、各画素における画素値変化から外れ値度合いを計算する。
そして、その計算結果がある閾値を上回っているかどうかを判断する。
ここでＩ´ｘ，Ｉ´ｙ，Ｉ´ｔは１回目のＭＥのものではなく、２回目ＭＥのループ内のステップＳＴ４０６で求める各画素における偏微分値である。
ただし同じ画像ペアに対して２回のＬＫ法を実行するだけなので、実際にはＩ＝Ｉ´である。
ステップＳＴ４０７、ＳＴ４０８に示すように、どちらか一方あるいは両方が成立した場合はΣをとらずに次の画素に進む。
このようにすることで、ある程度のローカル動きやノイズ的な輝度変化を除去し、グローバルＭＶとして望ましい結果を得ることができる。
なお、以下は容易に想像可能なバリエーションであり、本発明に含まれるものとする。
ＭＥの繰り返し回数を２回に限定しているが、繰り返し数をさらに増やしても適用可能である。
並進移動成分のみのＭＶ推定だけではなく、回転拡大を含めたアフィンパラメータ推定あるいは射影変換行列推定に適用したバージョンも適用可能である。
以上説明したように、本実施形態によれば、ＬＫ（Lucas-Kanade）法の高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバルＭＥを行うことができる。
特に，ＤＩＳに適用する場合、入力画像の縮小画像だけでグローバルＭＥが可能なので、より少ない計算資源で実現可能である。
ブロックマッチング手法をとる場合、通常は専用のハードウェアをもつことが多いが、本手法であれば、一般的な画像縮小回路と汎用メモリとプロセッサがあれば十分である。
このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
＜３．撮像装置（カメラシステム）の構成例＞
図８は、本発明の実施形態に係る画像処理装置を採用した撮像装置(カメラシステム)の構成例を示す図である。
本撮像装置１００は、本実施形態に係るグローバルＭＥ装置１１０が適用されている。
さらに、撮像装置１００は、ＣＭＯＳイメージセンサ等の撮像デバイス１２０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ２３０を有する。
撮像装置１００は、さらに、前段信号処理装置１４０および後段信号処理装置１５０を有する。
撮像装置１００においては、レンズ系１３０、撮像デバイス１２０により撮影された画像信号は、前段信号処理装置１４０で信号処理して２系統の画素値信号を生成する。
前段信号処理装置１４０において、ひとつの画素値信号からは逐次現画像と参照画像がグローバルＭＥ装置１１０に与えられて動きベクトルを出力する。他方の画素値信号は、その動きベクトルを使用して後段信号処理装置１５０で信号処理し、映像信号として出力する。
図９は、本発明の実施形態に係るグローバルＭＥ装置を画揺れ補正（ＤＩＳ：Digital Image Stabilizer）機能を含む画像処理装置に適用した場合の構成例を示す図である。
本画像処理装置１Ａは、グローバルＭＥ装置１０に加えて、前段信号処理装置２０および後段信号処理装置３０を有する。
前段信号処理装置２０は、メモリ２１，２２、縮小および平滑化回路２３を有する。
後段信号処理装置３０は、動きベクトル（ＭＶ）フィルタ３１および切り出し部３２を有する。
画像処理装置１Ａにおいて、まず、入力端子Ｔ１１から画像シーケンスを取得する。
画像は一枚ずつ入力し、一方の経路ではそのままメモリ２１に格納する。
これは主にＭＥ経路の時間遅れと出力の同期をとるためである。もう一方の経路では縮小および平滑化回路２３で縮小と平滑化処理を行ってからメモリ２２に格納する。
縮小することによりグローバルＭＥの計算量が減り、かつ平滑化と組み合わせることでノイズに強く精度の良いＭＶを得ることができる。
そして、メモリ２２から最新入力画像の縮小平滑化画像（現画像）と一つ過去の画像の縮小平滑化画像（参照画像）を取り出し、上述したグローバルＭＥ装置１０に入力する。
グローバルＭＥの結果得られるＭＶは動きベクトルフィルタ３１を通して補正ベクトルに変換する。
フィルタ３１として最も単純なケースでは積分フィルタ（入力されたＭＶの系列を順次加算していくだけ）を行う。
最終的に、最新入力画像をメモリ２１から取り出し、補正ベクトルに従って切り出し部３２で切り出し拡大（あるいは単に切り出し）を行うことで、画揺れ補正が施された安定化画像シーケンスを生成し、端子Ｔ１２から出力する。
なお、本発明は図９の様式で、ＤＩＳ以外にも画面全体の動き推定・位置合わせを行うようなもの全てに適用できる。
たとえば、ステレオ視マッチング、超解像、３次元ノイズリダクション、パノラマスティッチング、流し撮り（動物体のスチル化）、動画像符号化などに適用可能である。
上述した本実施の形態に限らず、本発明の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１，１Ａ・・・画像処理装置、１０・・・グローバルＭＥ装置、１１・・・第１ＭＥ処理部、１２・・・ＭＥ判定部、１３・・・第２ＭＥ処理部、２０・・・前段信号処理装置、３０・・・後段信号処理装置、１００・・・撮像装置、１１０・・・グローバルＭＥ装置、１２０・・・撮像デバイス、１３０・・・光学系（レンズ系）、１４０・・・前段信号処理装置、１５０・・・後段信号処理装置。

Claims (20)

  1. 現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を有し、
    上記グローバル動き探索装置は、
    現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、
    上記動き探索処理部は、
    １回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
    ２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
    画像処理装置。
  2. 上記２回目の動き探索における画素ごとに、加算するか否かの判断を設定条件は、少なくとも、
    当該画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、
    １回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
    設定される閾値パラメータ、
    のいずれかである
    請求項１記載の画像処理装置。
  3. 上記グローバル動き探索装置は、
    上記１回目の動き探索結果が有効であるか無効であるかを判定する判定部を含み、
    上記判定部は、
    グローバル動き探索の難易度が高いと判断される場合は、１回目の動き探索は無効とする
    請求項１または２記載の画像処理装置。
  4. 上記判定部が上記１回目の動き探索結果が有効であるか無効であるかを判定する条件は、少なくとも、
    １回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
    設定される閾値パラメータ、
    のいずれかである
    請求項３記載の画像処理装置。
  5. 上記判定部は、
    判定する条件としての画面全体にわたる水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の加算値を採用し、
    ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を求め
    当該標準偏差が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動き探索を無効とする
    請求項４記載の画像処理装置。
  6. 上記判定部は、
    判定する条件としての時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    １画素あたりの時間方向の画素値変化の絶対値を求め、
    当該絶対値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動く探索を無効とする
    請求項４または５記載の画像処理装置。
  7. 上記グローバル動き探索装置は、
    １回目の動き探索が無効の場合、２回目の動き探索を行わない
    請求項４から７のいずれか一に記載の画像処理装置。
  8. 上記動き探索処理部は、
    ２回目の動き探索において、水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を求め、
    求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
    請求項１から７のいずれか一に記載の画像処理装置。
  9. 上記動き探索処理部は、
    ２回目の動き探索において、時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    ＬＫ法における画素値変化の画面全体にわたる分布の平均と標準偏差を求め、
    求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
    請求項１から８のいずれか一に記載の画像処理装置。
  10. 前段信号処理で縮小および平滑化された画素値信号を上記グローバル動き探索装置に出力する前段信号処理部と、
    上記グローバル動き探索装置の動きベクトル出力の時系列にディジタルフィルタをかけて補正ベクトルとし、補正ベクトルで示された位置に従って、元の入力画像から一定の割合の大きさの部分を切り出しする後段信号処理部と、を有する
    請求項１から９のいずれか一に記載の画像処理装置。
  11. 現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、
    １回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
    ２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
    画像処理方法。
  12. 上記２回目の動き探索における画素ごとに、加算するか否かの判断を設定条件は、少なくとも、
    当該画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、
    １回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに
    設定される閾値パラメータ、
    のいずれかである
    請求項１１記載の画像処理方法。
  13. 上記１回目の動き探索結果が有効であるか無効であるかを判定し、
    グローバル動き探索の難易度が高いと判断される場合は、１回目の動き探索は無効とする
    請求項１１または１２記載の画像処理方法。
  14. 上記１回目の動き探索結果が有効であるか無効であるかを判定する条件は、少なくとも、
    １回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
    設定される閾値パラメータ、
    のいずれかである
    請求項１３記載の画像処理方法。
  15. 判定する条件としての画面全体にわたる水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の加算値を採用し、
    ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を求め
    当該標準偏差が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動き探索を無効とする
    請求項１４記載の画像処理方法。
  16. 判定する条件としての時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    １画素あたりの時間方向の画素値変化の絶対値を求め、
    当該絶対値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動く探索を無効とする
    請求項１４または１５記載の画像処理方法。
  17. ２回目の動き探索において、水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を求め、
    求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
    請求項１１から１６のいずれか一に記載の画像処理方法。
  18. ２回目の動き探索において、時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
    ＬＫ法における画素値変化の画面全体にわたる分布の平均と標準偏差を求め、
    求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
    請求項１１から１７のいずれか一に記載の画像処理方法。
  19. 固体撮像素子と、
    上記固体撮像素子に被写体像を結像する光学系と、
    上記固体撮像素子による画像に対する画像処理を行う画像処理装置と、を有し、
    現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を含み、
    上記グローバル動き探索装置は、
    現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、
    上記動き探索処理部は、
    １回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
    ２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
    撮像装置。
  20. 現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、
    １回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
    ２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
    画像処理をコンピュータに実行させるプログラム。
JP2010104353A 2010-04-28 2010-04-28 画像処理装置、画像処理方法、撮像装置、およびプログラム Pending JP2011233039A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010104353A JP2011233039A (ja) 2010-04-28 2010-04-28 画像処理装置、画像処理方法、撮像装置、およびプログラム
US13/064,216 US8390697B2 (en) 2010-04-28 2011-03-11 Image processing apparatus, image processing method, imaging apparatus, and program
TW100108981A TWI463866B (zh) 2010-04-28 2011-03-16 An image processing apparatus, an image processing method, an image pickup apparatus, and an image processing program
KR20110035526A KR20110120215A (ko) 2010-04-28 2011-04-18 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램
CN2011101005390A CN102238332A (zh) 2010-04-28 2011-04-21 图像处理装置、图像处理方法、成像装置和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010104353A JP2011233039A (ja) 2010-04-28 2010-04-28 画像処理装置、画像処理方法、撮像装置、およびプログラム

Publications (1)

Publication Number Publication Date
JP2011233039A true JP2011233039A (ja) 2011-11-17

Family

ID=44857968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010104353A Pending JP2011233039A (ja) 2010-04-28 2010-04-28 画像処理装置、画像処理方法、撮像装置、およびプログラム

Country Status (5)

Country Link
US (1) US8390697B2 (ja)
JP (1) JP2011233039A (ja)
KR (1) KR20110120215A (ja)
CN (1) CN102238332A (ja)
TW (1) TWI463866B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014220565A (ja) * 2013-05-01 2014-11-20 日本放送協会 動き推定装置及びプログラム
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012009876A1 (de) * 2011-11-10 2013-05-16 Audi Ag Verfahren zum Verarbeiten einer Bildsequenz und Testgerät für einen Kraftwagen
US8347391B1 (en) * 2012-05-23 2013-01-01 TrustPipe LLC System and method for detecting network activity of interest
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
US8856324B2 (en) 2013-01-28 2014-10-07 TrustPipe LLC System and method for detecting a compromised computing system
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置
US10986367B2 (en) 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
CN107274382B (zh) * 2017-05-03 2020-08-21 国网湖北省电力公司 一种硬压板的状态辨识方法、装置及电子设备
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction
AU2019277220B2 (en) 2018-05-29 2021-05-27 Curiouser Products Inc. A reflective video display apparatus for interactive training and demonstration and methods of using same
KR20230003110A (ko) 2020-04-30 2023-01-05 큐리어서 프로덕츠 인크. 상호작용형 트레이닝 및 시연을 위한 반사성 비디오 디스플레이 장치 및 이를 사용하는 방법
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199834B2 (ja) 1992-04-06 2001-08-20 キヤノン株式会社 防振装置及び振れ検出装置
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
JP4755490B2 (ja) 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
EP1734767A1 (en) * 2005-06-13 2006-12-20 SONY DEUTSCHLAND GmbH Method for processing digital image data
DE102006009774B4 (de) * 2006-03-01 2007-10-18 Siemens Ag Bewegungsanalyse in digitalen Bildfolgen
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
WO2008063615A2 (en) * 2006-11-20 2008-05-29 Rexee, Inc. Apparatus for and method of performing a weight-based search
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
CN101281650B (zh) * 2008-05-05 2010-05-12 北京航空航天大学 用于视频稳定的快速全局运动估计方法
EP2416292A4 (en) * 2009-03-31 2014-09-03 Konica Minolta Holdings Inc IMAGE INTEGRATION UNIT AND IMAGE INTEGRATION PROCESS
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
CN101600106B (zh) * 2009-06-22 2012-10-03 北京大学 一种全局运动估计方法及装置
US8873798B2 (en) * 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014220565A (ja) * 2013-05-01 2014-11-20 日本放送協会 動き推定装置及びプログラム
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法

Also Published As

Publication number Publication date
TWI463866B (zh) 2014-12-01
US20110267488A1 (en) 2011-11-03
CN102238332A (zh) 2011-11-09
US8390697B2 (en) 2013-03-05
TW201206180A (en) 2012-02-01
KR20110120215A (ko) 2011-11-03

Similar Documents

Publication Publication Date Title
JP2011233039A (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
Hu et al. Low cost robust blur estimator
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
WO2021114868A1 (zh) 降噪方法、终端及存储介质
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
WO2013024703A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
WO2012147719A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
EP2266095A2 (en) Method and apparatus for super-resolution of images
TW201123073A (en) Image processing apparatus, image processing method, and program
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
WO2012135220A2 (en) Real-time depth extraction using stereo correspondence
US20220358619A1 (en) Automatic dolly zoom image processing device
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2009088884A (ja) 撮像データにおける動きベクトル検出方法と装置
JP2007166442A (ja) 撮像装置
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Zhang et al. Iterative fitting after elastic registration: An efficient strategy for accurate estimation of parametric deformations
US9924157B2 (en) Image processing device, image pickup apparatus, image processing method, and storage medium
JP6381212B2 (ja) 撮像装置及びその制御方法
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US20220383516A1 (en) Devices and methods for digital signal processing
JP6873815B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体