JP2019067169A - 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 - Google Patents

移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 Download PDF

Info

Publication number
JP2019067169A
JP2019067169A JP2017192378A JP2017192378A JP2019067169A JP 2019067169 A JP2019067169 A JP 2019067169A JP 2017192378 A JP2017192378 A JP 2017192378A JP 2017192378 A JP2017192378 A JP 2017192378A JP 2019067169 A JP2019067169 A JP 2019067169A
Authority
JP
Japan
Prior art keywords
image
movement vector
target image
pixel
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017192378A
Other languages
English (en)
Other versions
JP7027776B2 (ja
Inventor
雄志 豊田
Takeshi Toyoda
雄志 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017192378A priority Critical patent/JP7027776B2/ja
Priority to US16/143,581 priority patent/US10785484B2/en
Publication of JP2019067169A publication Critical patent/JP2019067169A/ja
Application granted granted Critical
Publication of JP7027776B2 publication Critical patent/JP7027776B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出する。【解決手段】多重解像度ブロックマッチング処理部１０５は、目標画像と処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、解像度毎に、目標画像の解像度画像と処理対象画像の解像度画像との間でブロックマッチングを行うことにより、目標画像の画素毎に、それぞれが各解像度に対応する複数の移動ベクトル候補を算出する。信頼性評価ベクトル算出部１０６は、目標画像の画素毎に、複数の移動ベクトル候補について、移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する。【選択図】図１

Description

本発明は、画像処理における移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法に関する。
スマートフォンなどの小型なカメラ機器が広く普及しているが、小型センサは受光面積が小さく、特に、低照度環境においてノイズが多い。高いノイズ除去効果を実現するために、時間軸方向に画素の画素値を加算平均する技術がある。しかしながら、経時変化に起因する位置ずれを正確に補正しないと、多重写し又はぼけなどが発生する。経時変化に起因する位置ずれを正確に補正するためには、特に暗所などのノイズ過多のシーンにおいても、時間的に隣接して撮影されたフレーム画像間で移動ベクトルを正確に算出して加算平均を演算することが望ましい。
移動ベクトルは、ノイズ除去のために経時変化に起因する位置ずれを正確に補正する目的のほか、ＡＦ（オートフォーカス）やＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像処理等、様々な目的で使用される。このため、移動ベクトルを正確に算出することは、様々な使用目的で要請されている。
移動ベクトルを算出するための従来技術として、次のような技術が知られている（例えば特許文献１）。この技術では、所定のブロックサイズによるブロックマッチングによるローカル移動ベクトルを算出している。このブロックマッチングでは、最小のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値和）を有するブロックが探索される。次に、信頼性の高い（ＳＡＤが突出して小さい）いくつかのローカル移動ベクトルが平均されることにより、グローバル移動ベクトルが算出される。そして、ローカルベクトルとグローバルベクトルの信頼性が評価され、いずれかのベクトルが採用される。ローカル移動ベクトルとグローバル移動ベクトルの信頼性の評価手法としては、基本的には、ターゲットブロックとのＳＡＤが用いられるが、グローバル移動ベクトルの評価値にオフセットが与えられ、評価値の差がノイズに起因するような小さな差であれば、グローバル移動ベクトルが使われやすくなるようにしている。
特開２００９−２７８５７８号公報 特開平８−１９５９５６号公報 特開２００９−５５４１０号公報
しかし、上記従来技術は、原画サイズに対し固定のブロックサイズかつ、ＳＡＤのみの評価関数でブロックマッチングを行っているため、平坦部などの特徴的な構成物体が無い場所でノイズの影響を強く受ける結果、算出される移動ベクトルが不正確である。
また、前述した従来技術は、固定のブロックサイズでブロックマッチングを行っているため、様々なスケールの物体に対応できず、算出される移動ベクトルが不正確である。
そこで、本発明の１つの側面では、暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出することを目的とする。
態様の一例では、動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、移動ベクトル算出装置が、前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する。
暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出することが可能となる。
移動ベクトル算出・ノイズ除去装置の実施形態のブロック図である。 移動ベクトル算出ブロックの動作概要の説明図である。 多重解像度ブロックマッチング処理の動作説明図である。 最近傍拡大処理の説明図である。 信頼性評価処理の第１ステップの説明図である。 信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補の取捨選択処理の説明図である。 信頼性評価処理の第２ステップにおけるノイズの特性を加味した評価指標による最終移動ベクトルの選択処理の説明図である。 移動ベクトル算出・ノイズ除去処理の例を示すフローチャートである。 信頼性評価処理の第２ステップにおけるノイズの特性を加味したノイズ分散評価値Ｅの算出処理の詳細例を示すフローチャートである。 実施形態の装置を実現可能なコンピュータのハードウェア構成例を示す図である。
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。本実施形態は、複数の解像度画像（もしくはブロックサイズ）にて、ブロック参照サイズの異なる複数の移動ベクトル候補をあらかじめ算出する。そして、それぞれの移動ベクトル候補の信頼性を、複数ベクトルの一致度、双方向一致度および移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標を用いることとで、最終移動ベクトルを算出するものである。これにより、特に暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトル（カメラ全体の動き、被写体の動き）を正確に算出可能とする。そして、このようにして算出される移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、画像フレーム間でノイズを除去することを可能にするものである。
図１は、移動ベクトル算出・ノイズ除去装置の実施形態のブロック図である。移動ベクトル算出・ノイズ除去装置１００は、移動ベクトル算出ブロック１０１と、画像位置合せ処理ブロック１１０と、重ね合せ平均処理ブロック１１１とを具備する。
移動ベクトル算出ブロック１０１は、動画又は連続撮影された静止画に関する現在のフレーム処理タイミングの撮影画像である現フレーム画像１２０と、過去（例えば１フレーム前）のフレーム処理タイミングの撮影画像である過去フレーム画像１２１とを入力する。これにより、移動ベクトル算出ブロック１０１は、画像フレーム間の画素の最終移動ベクトル１３１を算出する。
画像位置合せ処理ブロック１１０は、過去フレーム画像１２１のフレーム内の画素毎に、移動ベクトル算出ブロック１０１が算出した最終移動ベクトル１３１を適用することにより、位置合せされた処理対象画像１２４を算出する。
重ね合せ平均処理ブロック１１１は、上記位置合せされた過去フレーム画像１２１と現フレーム画像１２０とで、画素毎に画素値の加算平均処理（重ね合せ平均処理）を実行することにより、ノイズ除去された目標画像１２５を算出して出力する。
移動ベクトル算出ブロック１０１は更に、入力部１０２と、多重解像度ブロックマッチング処理部１０５及び信頼性評価ベクトル算出部１０６を含む移動ベクトル算出部１０３と、記憶部１０４とを具備する。入力部１０２は、現フレーム画像１２０及び過去フレーム画像１２１をそれぞれ、目標画像１２２及び処理対象画像１２３として入力する。目標画像１２２及び処理対象画像１２３は、入力画像フレームを構成する。
移動ベクトル算出部１０３において、多重解像度ブロックマッチング処理部１０５は、入力部１０２が入力した目標画像１２２と処理対象画像１２３とからそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成する。そして、多重解像度ブロックマッチング処理部１０５は、解像度毎に目標画像１２２の解像度画像と処理対象画像１２３の解像度画像との間でブロックマッチング処理を実行する。これにより、多重解像度ブロックマッチング処理部１０５は、目標画像１２２の画素毎に、それぞれが各解像度に対応する複数の移動ベクトル候補１３０を算出し、記憶部１０４に記憶させる。ここで、移動ベクトル候補１３０は、次のようにして定義される。目標画像１２２から生成された解像度画像内の各画素について、その画素（以下「画素Ａ」と記載）が、処理対象画像１２３から生成された解像度画像内の或る画素（以下「画素Ｂ」と記載）から移動した画素であると判定されるとする。この場合に、目標画像１２２の解像度画像において、上記画素Ｂに対応する画素位置を始点とし、画素Ａを終点とするベクトルを、画素Ａに対応する移動ベクトル候補１３０と定義する。
移動ベクトル算出部１０３において、信頼性評価ベクトル算出部１０６は、上記記憶部１０４から複数の移動ベクトル候補１３０を入力し、それらについて、移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価する。これにより、信頼性評価ベクトル算出部１０６は、目標画像１２２の画素毎に、複数の移動ベクトル候補１３０の中から選択された移動ベクトルである最終移動ベクトル１３１を算出し、それを記憶部１０４に記憶させる。
図１のブロック図における移動ベクトル算出ブロック１０１の動作について、以下に説明する。図２は、移動ベクトル算出ブロック１０１の動作概要の説明図である。まず、移動ベクトル算出部１０３内の多重解像度ブロックマッチング処理部１０５は、入力部１０２が入力した目標画像１２２と処理対象画像１２３とから、複数の解像度画像を生成する。具体的には、高解像度（低階層）画像の連続している行と列を削除することにより、低解像度（高階層）画像が作成される。次に、低解像度画像中の各画素にその画素の例えば周囲５画素の画素値にガウシアンで重み付けした値を設定する。すなわち、各画素に、ガウシアン平滑化フィルタが適用される。これにより、解像度がＸ×Ｙである画像が解像度がＸ／２×Ｙ／２である画像に変換される。この変換によって、解像度Ｘ×Ｙが解像度Ｘ／２×Ｙ／２＝Ｘ×Ｙ×１／４となって、画像の解像度が１／４に削減される。高階層（頂上）方向に向かって、すなわち低解像度方向に向かって、上記と同様の処理が繰り返し実行される。低階層から高階層までの複数の階層の解像度画像を積み上げるとピラミッド状になることから、これら複数階層の解像度画像の集合はガウシアンピラミッド（図中「Ｇａｕｓｓｉａｎ Ｐｙｒａｍｉｄ」と記載）と呼ばれる。目標画像１２２から目標画像のガウシアンピラミッド２０２が、処理対象画像１２３から処理対象画像のガウシアンピラミッド２０３が、それぞれ生成される。
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０３と処理対象画像のガウシアンピラミッド２０４のそれぞれの解像度の解像度画像間で、ブロックマッチング処理（以下「多重解像度ブロックマッチング処理」と記載）を実行する（図２のＳ２０１）。これにより、多重解像度ブロックマッチング処理部１０５は、フレーム内の画素毎に、複数の移動ベクトル候補１３０を算出する。例えば、図２において、目標画像１２２上のターゲットブロック２０１に対して、処理対象画像１２３上の破線で囲まれた領域の複数の四角で示される各パッチに対応する目標画像１２２上の画素を始点とする複数の移動ベクトル候補１３０が算出される。多重解像度ブロックマッチング処理部１０５は、算出した複数の移動ベクトル候補１３０を、図１の記憶部１０４に記憶させる。
次に、移動ベクトル算出部１０３内の信頼性評価ベクトル算出部１０６が、上記記憶部１０４から複数の移動ベクトル候補１３０を入力し、それらについて、移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価する、信頼性評価処理を実行する（図２のＳ２０２）。この信頼性評価処理は、第１ステップ及び第２ステップとからなる。第１ステップでは、算出された移動ベクトル候補１３０の一致度により信頼性が評価される。第２ステップでは、第１ステップで判定できなかった場合に、双方向移動ベクトル候補の一致度及び移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標により、画像フレーム内の画素毎に複数の移動1の信頼性が評価される。信頼性評価ベクトル算出部１０６は、これらの第１ステップ及び第２ステップからなる信頼性評価処理により、画像フレーム内の画素毎に、最も信頼性が高いと評価された最終移動ベクトル１３１を算出し、記憶部１０４に記憶させる。
図３は、図１の多重解像度ブロックマッチング処理部１０５による図２のＳ２０１で示される多重解像度ブロックマッチング処理の動作説明図である。目標画像のガウシアンピラミッド２０２は、目標画像１２２を、原画サイズの第１階層、縦横１／２の第２階層、縦横１／４の第３階層、縦横１／８及び１／１６の第４、第５階層、というように、原画像に対して解像度を１／４ずつ削減した画像の集合である。処理対象画像のガウシアンピラミッド２０３も同様に、第１階層、第２階層、第３階層、及び第４、第５階層、というように、処理対象画像１２３の解像度を１／４ずつ削減した画像の集合である。
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０２と処理対象画像のガウシアンピラミッド２０３のそれぞれ対応する階層の解像度画像毎に、画像フレーム内の各画素について、ブロックマッチング処理を実行する（図３のＳ３０１）。ここで、目標画像１２２で移動ベクトル候補１３０を算出しようとする画素を中心とするターゲットブロック２０１（図２参照）について、そのサイズであるパッチサイズは例えば７×７画素である。また、そのターゲットブロック２０１への移動ベクトル候補１３０を算出するための処理対象画像１２３上の探索範囲３００（図３）は、目標画像１２２上のターゲットブロック２０１に対応する位置の処理対象画像１２３の各解像度画像上のブロックを含む、例えば４１×４１画素の領域である。このとき、例えば処理対象画像１２３の第２階層の解像度画像中での探索範囲３００は、第１階層の解像度画像（処理対象画像１２３の原画像）の探索範囲３００に対して、同じスケールにした場合、４倍の面積となる。同様にして、階層が上がるに従って、処理対象画像１２３の各階層の解像度画像中の探索範囲３００は、同じスケールにした場合に４倍ずつ広い探索範囲で移動ベクトル候補１３０を探索できるようになる。このようにして、様々なスケールの物体に対してもいずれかの階層でのブロックマッチング処理により、正確な最終移動ベクトル１３１の算出が可能となる。一方、目標画像のガウシアンピラミッド２０２や処理対象画像のガウシアンピラミッド２０３の生成では、前述したように、各画素にガウシアン平滑化フィルタが適用される。これにより、各画素のボケを抑えつつ、周辺画素を用いた平滑化により、移動ベクトル候補１３０の算出時にノイズの影響が軽減される。上述のブロックマッチング処理の結果、図３のＳ３０２として示されるように、上記階層の解像度画像フレームの画素毎に、それぞれ対応する画像サイズの移動ベクトル候補１３０が算出される（図３のＳ３０２）。
次に、多重解像度ブロックマッチング処理部１０５は、第１階層以外の各階層の移動ベクトル候補１３０に対して、最近傍拡大処理を実行する（図３のＳ３０３）。この最近傍拡大処理では、図３（ａ）として示される第１階層以外の各階層の移動ベクトル候補１３０のスケールが、図３（ｂ）として示されるように第１階層のサイズ（原画サイズ）に拡大される。この結果、原画サイズの移動ベクトル候補１３０が、画像フレーム内の画素毎に、階層数（５種類）ずつ生成される。これらの移動ベクトル候補１３０は、図１の記憶部１０４に記憶される。
図４は、最近傍拡大処理の説明図である。ここでは、説明の簡単のために、図４（ａ）に示される２×２画素からなる画像フレーム内の矢印で示される移動ベクトル候補１３０が、図４（ｂ）に示される４×４画素からなる画像フレームに拡大される例が示されている。このように、２×２画素からなる画像フレームから４×４画素からなる画像フレームへの最近傍拡大処理では、２×２画素からなる画像フレーム中の各画素に対応する各移動ベクトル候補１３０の縦横スケールが２倍にされる。例えば、２×２画素値が４×４画素値へ拡大される場合、右２画素の移動ベクトル候補１３０は右４画素の移動ベクトル候補１３０となる。その上で、図４（ａ）の２×２画素からなる画像フレーム中の各画素（以下「拡大前画素」と記載）の右横、下、及び斜め右下に画素が追加されることにより、画素数が４倍にされた拡大後画素が生成される。そして、拡大前画素における縦横スケールが２倍にされた移動ベクトル候補１３０が、画素数が４倍にされた各拡大後画素にコピーされる。この結果、図４（ｂ）に示される４×４画素からなる拡大画像が生成される。
図３のＳ３０３で示される最近傍拡大処理では、例えば第２階層の解像度画像については、その第２階層の解像度画像の各画素に対して図４の場合と同様の処理が実行される。すなわち、第２階層の解像度画像フレーム中の各画素の右横、下、及び斜め右下に画素が追加されることにより、画素数が４倍にされた原画サイズの画素が生成される。そして、第２階層の画素における縦横スケールが２倍にされた移動ベクトル候補１３０が、画素数が４倍にされた原画サイズの画素にコピーされる。
また、第３階層の解像度画像については、第３階層の解像度画像の各画素に対して図４の場合と同様の処理が実行されることにより、第２階層のサイズの画像がまず生成される。そして、その第２階層のサイズの画像の各画素に対して、更に図４の場合と同様の処理が実行されることにより、原画サイズの画像が生成される。
続いて、信頼性評価ベクトル算出部１０６が、多重解像度ブロックマッチング処理部１０５による上述の処理（図３のＳ３０１、Ｓ３０２、Ｓ３０３）で生成された、画像フレーム内の１画素につき例えば５種類の移動ベクトル候補１３０から１つを選択する。このとき、信頼性評価ベクトル算出部１０６は、図１の記憶部１０４から移動ベクトル候補１３０を読み出し、この移動ベクトル候補１３０に対して、第１ステップ及び第２ステップとからなる信頼性評価処理（図２のＳ２０２）を実行する。
図５は、信頼性評価処理の第１ステップの説明図である。この第１ステップでは、画像フレーム内の画素毎に、記憶部１０４から読み出された例えば５種類の移動ベクトル候補１３０の一致度により信頼性が評価される。図５（ａ）のように、目標画像１２２上のターゲットブロック２０１に対して、算出された処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち所定の閾値以上の数がほぼ同じ場所を示していた場合、信頼性が高いと判定される（図５のＳ５０１）。この場合には、信頼性評価ベクトル算出部１０６は、上記閾値以上の数の移動ベクトル候補１３０のうちの代表ベクトル又はそれらの平均ベクトルを、ターゲットブロック２０１に対する最終移動ベクトル１３１として選択又は算出する（図５のＳ５０２）。この最終移動ベクトル１３１は、図１の記憶部１０４に記憶される。
一方、図５（ｂ）のように、目標画像１２２上のターゲットブロック２０１に対して、算出された処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち、ほぼ同じ場所を示しているものが上記閾値未満であった場合、信頼性が低いと判定される（図５のＳ５０３）。この場合には、信頼性評価ベクトル算出部１０６は、以下の信頼性評価処理Ｓ２０２の第２ステップを実行する（図５のＳ５０４）。
第２ステップでは、双方向移動ベクトル候補の一致度及び移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標により、画像フレーム内の画素毎に複数の移動ベクトル候補１３０の信頼性が評価される。そして、最も信頼性が高いと評価された最終移動ベクトル１３１が１つ選択され、記憶部１０４に記憶される。
図６は、信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補１３０の取捨選択処理の説明図である。移動ベクトル候補１３０は、前述の定義の通り、目標画像１２２上でその移動ベクトル候補１３０の始点の画素と終点の画素（ターゲットブロック２０１に対応する画素）が定義されるが、始点の画素は処理対象画像１２３上の移動元の画素に対応している。そこで図６では、理解を容易にするために、移動ベクトル候補１３０を、処理対象画像１２３の解像度画像上の画素から目標画像１２２の解像度画像上のターゲットブロック２０１へ向かうベクトルとして示している。図６においてまず、図３で説明した階層毎に、記憶部１０４から読み込まれたその階層の移動ベクトル候補１３０に加えて、その移動ベクトル候補１３０に対応する逆方向移動ベクトル候補６０１が更に算出される。具体的には、逆方向移動ベクトル候補６０１の算出においては、階層毎に、目標画像１２２の解像度画像上のターゲットブロック２０１に向かう移動ベクトル候補１３０の始点画素に対応する処理対象画像１２３の解像度画像上の位置が新たなターゲットブロック６０２とされる。次に逆に、目標画像１２２の解像度画像から処理対象画像１２３の解像度画像上のターゲットブロック６０２への移動が仮定される。そして、その処理対象画像１２３の解像度画像上のターゲットブロック６０２に対応する上記仮定された移動に基づく移動ベクトル候補が算出され、それが逆方向移動ベクトル候補６０１とされる。逆方向移動ベクトル候補６０１の算出処理は、移動ベクトル候補１３０の算出処理と同様に、図１の多重解像度ブロックマッチング処理部１０５を起動して実行される。
次に、移動ベクトル候補１３０と逆方向移動ベクトル候補６０１とからなる双方向移動ベクトル候補の一致度が判定される。今、移動ベクトル候補１３０をＶij、逆方向移動ベクトル候補６０１をＶjiとおく。下記（１）式で表されるように、Ｖijと、Ｖjiの向きを逆にしたベクトル−Ｖjiとの距離（ノルム）６０３が所定の閾値δよりも小さいか否かを判定することにより、双方向移動ベクトル候補の一致度が判定される。この判定式は、逆方向移動ベクトル候補６０１の向きを逆にしたときに、元の移動ベクトル候補１３０にどの程度重なるかということを意味している。
信頼性評価ベクトル算出部１０６は、上記（１）式の判定が成立するとき、すなわち双方向移動ベクトル候補の一致度が高いとき、更に言い換えれば、図６の距離６０３が短いときには、その階層の移動ベクトル候補１３０は、信頼性が高いとして採用する。一方、信頼性評価ベクトル算出部１０６は、上記（１）式の判定が成立しないときには、その移動ベクトル候補１３０は、信頼性が高くないとして採用しない。
図７は、信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標による最終移動ベクトル１３１（図１参照）の選択処理の説明図である。信頼性評価ベクトル算出部１０６は、画像フレームの画素毎に、記憶部１０４から読み込んだ階層毎の移動ベクトル候補１３０のうち、（１）式の判定処理により採用された階層の移動ベクトル候補１３０を用いて、以下の処理を実行する。目標画像１２２のターゲットブロック２０１のパッチと、上記判定処理で採用された各階層の最近傍拡大処理（図３のＳ３０３）後の移動ベクトル候補１３０のブロックのパッチのそれぞれにつき、バイラテラルフィルタを用いた画像成分分離処理（Ｓ７０１、Ｓ７０２）が実行される。この結果、ターゲットブロック２０１のパッチから、信号成分を含む構造画像７０１が生成され、ターゲットブロック２０１のパッチと構造画像７０１の差分からノイズ成分を含む詳細画像７０２が生成される。同様に、１つの階層の移動ベクトル候補１３０のブロックのパッチから信号成分を含む構造画像７０３が生成され、移動ベクトル候補１３０のブロックのパッチと構造画像７０３の差分からノイズ成分を含む詳細画像７０４が生成される。
次に、ターゲットブロック２０１のパッチの構造画像７０１と、１つの階層の移動ベクトル候補１３０のブロックのパッチの構造画像７０３とに対して、対応する画素毎に平均を算出する合成処理が実行されることにより、合成構造画像７０５が算出される。また、ターゲットブロック２０１のパッチの詳細画像７０２と、１つの階層の移動ベクトル候補１３０のブロックのパッチの詳細画像７０４とに対して、画素毎に平均を算出する合成処理が実行されることにより、合成詳細画像７０６が算出される。合成構造画像７０５及び合成詳細画像７０６はそれぞれ、信号成分（ｓｉｇｎａｌ）及びノイズ成分（ｎｏｉｓｅ）に対応する。
その後、信頼性評価ベクトル算出部１０６は、下記（２）式により、１つの階層におけるノイズ分散評価値Ｅを算出する。
Ｅ＝α｜μt −μbi｜＋βσdi ・・・（２）
ここで、μt は、ターゲットブロック２０１のパッチの構造画像７０１の各画素の画素値の平均値、μbiは、合成構造画像７０５の各画素の画素値の平均値、σdiは、合成詳細画像７０６の画素の画素値の標準偏差（又は分散）である。また、α及びβは、係数パラメータである。いま、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合は、ノイズが空間的にランダムノイズであると仮定すると、ノイズ同士を加算して平均化して得られる合成詳細画像７０６のノイズの標準偏差（又は分散）は減少する。また、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合、ターゲットブロック２０１のパッチの構造画像７０１と合成構造画像７０５が似てくるため、μt とμbiの差の絶対値は小さくなる。従って、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合は、上述した（２）式で算出されるノイズ分散評価値Ｅは小さな値になる。なお、上記（２）式の右辺第２項のみ、すなわち合成詳細画像７０６のノイズの標準偏差（又は分散）のみからノイズ分散評価値Ｅが算出されてもよい。
そこで、信頼性評価ベクトル算出部１０６は、画像フレームの画素毎に、前述の（１）式の判定処理で採用された各階層の移動ベクトル候補１３０について、上述した（２）式で示される演算を実行して各ノイズ分散評価値Ｅを算出する。そして、信頼性評価ベクトル算出部１０６は、算出したノイズ分散評価値Ｅが最小となる階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として選択する。
以上のようにして、ガウシアンピラミッドを用いた多重解像度ブロックマッチング処理により、複数の移動ベクトル候補１３０から最終移動ベクトル１３１が算出される。これにより、様々なスケールの物体に対しても、正確な最終移動ベクトル１３１の算出が可能となる。また、平坦部に対応する最終移動ベクトル１３１は、探索範囲３００（図３）が広くなる低解像度（高階層）の解像度画像の移動ベクトル候補１３０に基づいて、比較的正確に算出することが可能となる。
また、信頼性評価処理の第１ステップ及び第２ステップで、複数の移動ベクトル候補１３０を最終移動ベクトル１３１として選択するときの信頼性を評価することにより、特に暗所などのノイズ過多のシーンにおいても、カメラや被写体の動きに起因する経時変化をする移動ベクトルを正確に算出することが可能となる。
そして、このようにして正確に算出された移動ベクトルに基づいてノイズ除去処理が実行されることにより、画像上の物体のスケールが異なったり、低解像度スケールでのノイズの影響を低減することが可能となる。
図８は、図１の移動ベクトル算出・ノイズ除去装置１００が実行する移動ベクトル算出・ノイズ除去処理の例を示すフローチャートである。以下の説明においては、随時図１の各ブロックも参照する。
まず、入力部１０２は、現フレーム画像１２０及び過去フレーム画像１２１（例えば１フレーム前の画像）をそれぞれ、目標画像１２２及び処理対象画像１２３として入力する（ステップＳ８０１）。
次に、多重解像度ブロックマッチング処理部１０５は、多重解像度画像として、図２及び図３で説明した例えば５階層の目標画像のガウシアンピラミッド２０２及び処理対象画像のガウシアンピラミッド２０３を生成する（ステップＳ８０２）。
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０２と処理対象画像のガウシアンピラミッド２０３の対応する階層の解像度画像毎に、画像フレーム内の各画素につき、ブロックマッチング処理を実行する。多重解像度ブロックマッチング処理部１０５は、画像フレーム内の画素毎に生成した例えば５種類毎の移動ベクトル候補１３０（図３（ｂ）に対応）を、記憶部１０４に記憶させる（以上、ステップＳ８０３）。これらの処理は、図３のＳ３０１、Ｓ３０２、及びＳ３０３で説明した処理に対応する。
なお、多重解像度ブロックマッチング処理部１０５は、ステップＳ８０３で、画像フレーム内の画素毎に、図６で説明した逆方向移動ベクトル候補６０１を算出する処理も実行し、これにより生成された逆方向移動ベクトル候補６０１を、記憶部１０４に記憶させる。
次に、多重解像度ブロックマッチング処理部１０５及び信頼性評価ベクトル算出部１０６は、目標画像１２２から１画素ずつ選択しながら、ステップＳ８８１０で全画素の処理が終了したと判定するまで、ステップＳ８０４からＳ８０９の一連の処理を実行する。以下、順次選択される画素を、「目標画素」と記載する。
ステップＳ８０４からＳ８０９の処理で、まず信頼性評価ベクトル算出部１０６は、目標画素に対し、図５で説明した信頼性評価処理の第１ステップを実行する。信頼性評価ベクトル算出部１０６は、記憶部１０４から読み込んだ目標画素に対する例えば５種類の移動ベクトル候補１３０の一致度を判定する（ステップＳ８０４）。
次に、信頼性評価ベクトル算出部１０６は、ステップＳ８０４の処理の結果、目標画素に対して算出されている例えば５種類の移動ベクトル候補１３０の信頼性が、高いか否かを判定する（ステップＳ８０５）。ここでは、図５（ａ）で説明したように、目標画像１２２上の目標画素に対応するターゲットブロック２０１に対し、処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち所定の閾値以上の数がほぼ同じ場所を示しているか否かが判定される。
信頼性評価ベクトル算出部１０６は、ステップＳ８０５の判定がＹＥＳの場合、目標画素に対し、上記閾値以上の数の移動ベクトル候補１３０のうちの代表ベクトル又はそれらの平均ベクトルを、選択又は算出する。そして、信頼性評価ベクトル算出部１０６は、その選択又は算出したベクトルを、目標画素に対応する最終移動ベクトル１３１として、記憶部１０４に記憶させる（ステップＳ８０６）。その後、ステップＳ８０４の処理に戻って、目標画像１２２中の次の画素に対する処理が実行される。
信頼性評価ベクトル算出部１０６は、ステップＳ８０５の判定がＮＯの場合、図６で説明した、信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補１３０の取捨選択処理を実行する（ステップＳ８０７）。ここでは、例えば５種類の階層毎に、ステップＳ８０３で算出されている移動ベクトル候補１３０及びそれに対応する逆方向移動ベクトル候補６０１が記憶部１０４から読み込まれる。そして、前述した（１）式により、上記移動ベクトル候補１３０及び逆方向移動ベクトル候補６０１からなる双方向移動ベクトル候補の一致度が判定される。これにより、この一致度を満たす階層の移動ベクトル候補１３０のみが選択される。
次に、信頼性評価ベクトル算出部１０６は、図７で説明した、信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味したノイズ分散評価値Ｅの算出処理を実行する（ステップＳ８０８）。この処理の詳細については、図８のフローチャートを用いて後述する。
最後の、信頼性評価ベクトル算出部１０６は、ステップＳ８０８で算出したノイズ分散評価値Ｅが最小となる階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として選択し、記憶部１０４に格納する（ステップＳ８０９）。
その後、目標画像１２２中の全画素についての処理が終了したか否かが判定される（ステップＳ８１０）。この判定がＮＯならば、ステップＳ８０４の処理に戻って、目標画像１２２中の次の画素に対する処理が実行される。
目標画像１２２中の全ての画素について最終移動ベクトル１３１が算出されてステップＳ８１０の判定がＹＥＳになると、画像位置合せ処理ブロック１１０が、次の処理を実行する。画像位置合せ処理ブロック１１０は、処理対象画像１２３（過去フレーム画像１２１）のフレーム内の画素毎に、上述の一連の処理で算出された最終移動ベクトル１３１を記憶部１０４から読み出し、その最終移動ベクトル１３１を逆変換して適用する。処理対象画像１２３の１つの画素を、その画素に対して算出された最終移動ベクトル１３１分だけ移動させると、目標画像１２２の画素になる。従って、目標画像１２２の現在の画素に対応する処理対象画像１２３上の画素を算出するためには、目標画像１２２の現在の画素を、上記最終移動ベクトル１３１の方向を逆方向にして移動させると、処理対象画像１２３の移動元の画素を算出することができる。この処理が、上述の「最終移動ベクトル１３１を逆変換して適用する」処理である。また、このように、目標画像１２２上の画素に対応する処理対象画像１２３上の画素を算出する処理を、「位置合せ」の処理と呼ぶ。画像位置合せ処理ブロック１１０は、以上の位置合せの処理を実行することにより、目標画像１２２に対して位置合せされた処理対象画像１２４を算出する（以上、ステップＳ８１１）。
その後、重ね合せ平均処理ブロック１１１が、上記位置合せされた処理対象画像１２４と目標画像１２２（現フレーム画像１２０）とで、上記位置合せされた画素毎に、加算平均処理（重ね合せ平均処理）を実行する（ステップＳ８１２）。フレーム内の画素毎に最終移動ベクトル１３１が正しく算出されており、目標画像１２２及び処理対象画像１２３間にランダムノイズが乗っていると仮定すれば、上述のように位置合せされた画素間で加算平均処理を実行することにより、ノイズ除去が可能となる。
重ね合せ平均処理ブロック１１１は、ステップＳ８１２の処理結果の各画素を、ノイズ除去された目標画像１２５として出力する（ステップＳ８１３）。以上の処理により、図８のフローチャートで例示される、入力された現フレーム画像１２０に対する移動ベクトル算出・ノイズ除去処理が終了する。
図９は、図８のステップＳ８０８の信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味したノイズ分散評価値Ｅの算出処理の詳細例を示すフローチャートである。
まず、信頼性評価ベクトル算出部１０６は、目標画像１２２上の目標画素の位置と、処理対象画像１２３上の図８のステップＳ８０７の判定処理により採用された各階層の移動ベクトル候補１３０の位置を取得する（ステップＳ９０１）。
次に、信頼性評価ベクトル算出部１０６は、ステップＳ９０１で取得した目標画像の位置と、各階層の移動ベクトル候補１３０の位置に、それぞれパッチ領域を設定する（ステップＳ９０２）。
次に、信頼性評価ベクトル算出部１０６は、ステップＳ９０２で設定した目標画像１２２のターゲットブロック２０１のパッチに対し、図７で説明したバイラテラルフィルタを適用し、構造画像７０１と詳細画像７０２に分離する。同様に、信頼性評価ベクトル算出部１０６は、ステップＳ９０２で設定した各階層の移動ベクトル候補１３０のパッチに対し、バイラテラルフィルタを適用し、構造画像７０３と詳細画像７０４に分離する（以上、ステップＳ９０３）。
その後、信頼性評価ベクトル算出部１０６は、図７に示されるように、構造画像７０１と、各階層の構造画像７０３とに対して、対応する画素毎に平均を算出する各合成処理を実行して各階層の合成構造画像７０５を算出する。同様に、信頼性評価ベクトル算出部１０６は、詳細画像７０２と、各階層の詳細画像７０４とに対して、対応する画素毎に平均を算出する各合成処理を実行して各階層の合成詳細画像７０６を算出する（以上、ステップＳ９０４）。
そして、信頼性評価ベクトル算出部１０６は、前述の（２）式の演算で各階層のノイズ分散評価値Ｅを算出し、ノイズ分散評価値Ｅが最小で最も信頼性の高い階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として１つ選択する（ステップＳ９０５）。
図１０は、図１の移動ベクトル算出・ノイズ除去装置１００を実現可能なコンピュータのハードウェア構成の一例を示す図である。このコンピュータは、通常のパーソナルコンピュータのほか、スマートフォン、タブレット端末、デジタルカメラなどを含む。図１０に示されるコンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１、メモリ１００２、入力装置１００３、出力装置１００４、補助情報記憶装置１００５、可搬型記録媒体１００９が挿入される媒体駆動装置１００６、及びネットワーク接続装置１００７を有する。これらの構成要素は、バス１００８により相互に接続されている。同図に示される構成は上記移動ベクトル算出・ノイズ除去装置１００を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
メモリ１００２は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。
ＣＰＵ（プロセッサ）１００１は、例えば、メモリ１００２を利用して、図１の移動ベクトル算出・ノイズ除去装置１００に用いられる例えば図８及び図９のフローチャートの処理に対応するプログラムを実行することにより、図１に示される各処理ブロックとして動作する。
入力装置１００３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１００４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問合せ又は処理結果の出力に用いられる。
補助情報記憶装置１００５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置であり、例えば、図１０に示されるメモリ１００２として動作する。図１の移動ベクトル算出・ノイズ除去装置１００は、補助情報記憶装置１００５に図１の移動ベクトル算出・ノイズ除去装置１００に用いられる例えば図８及び図９のフローチャートの処理を実行するプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。
媒体駆動装置１００６は、可搬型記録媒体１００９を駆動し、その記録内容にアクセスする。可搬型記録媒体１００９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１００９は、Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１００９に上述のプログラム及びデータを格納しておき、メモリ１００２にロードして使用することができる。
このように、上述のプログラム及びデータを格納するコンピュータ読取り可能な記録媒体は、メモリ１００２、補助情報記憶装置１００５、又は可搬型記録媒体１００９のような、物理的な（非一時的な）記録媒体である。
ネットワーク接続装置１００７は、例えばＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。図１の移動ベクトル算出・ノイズ除去装置１００は、上述のプログラム又はデータを外部の装置からネットワーク接続装置１００７を介して受信し、それらをメモリ１００２にロードして使用することができる。
なお、図１の移動ベクトル算出・ノイズ除去装置１００が図１０の全ての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置１００３が省略されてもよい。可搬型記録媒体１００９又は通信ネットワークを利用しない場合は、媒体駆動装置１００６又はネットワーク接続装置１００７が省略されてもよい。
以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、
移動ベクトル算出装置が
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する、
ことを特徴とする移動ベクトル算出方法。
（付記２）
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち所定の閾値以上の数がほぼ同じ場所を示しているか否かを示す一致度を判定する処理を含む、ことを特徴とする付記１に記載の移動ベクトル算出方法。
（付記３）
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち、前記移動ベクトル候補の移動元をターゲットとする前記目標画像から前記処理対象画像への移動を示す逆方向移動ベクトル候補を算出し、前記移動ベクトル候補と前記逆方向移動ベクトル候補との一致度を判定する処理を含む、ことを特徴とする付記１又は２に記載の移動ベクトル算出方法。
（付記４）
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチと、前記移動ベクトル候補に対応するブロックのパッチとからそれぞれ、バイラテラルフィルタ処理により構造画像及び詳細画像を算出し、前記目標画像のターゲットブロックのパッチ及び前記移動ベクトル候補に対応するブロックのパッチに対応する前記構造画像同士及び前記詳細画像同士を合成することにより合成構造画像及び合成詳細画像を算出し、前記合成詳細画像が示すノイズの標準偏差又は分散に基づいて前記移動ベクトル候補の信頼性を評価する処理を含む、ことを特徴とする付記１乃至３のいずれかに記載の移動ベクトル算出方法。
（付記５）
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチに対応する構造画像の画素値の平均値と前記合成構造画像の画素値の平均値との差の絶対値に基づいて前記移動ベクトル候補の信頼性を評価する処理を更に含む、ことを特徴とする付記４に記載の移動ベクトル算出方法。
（付記６）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出装置であって、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出する多重解像度ブロックマッチング処理部と、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出する信頼性評価ベクトル算出部と、
を具備することを特徴とする移動ベクトル算出装置。
（付記７）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出するコンピュータに、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出するステップと、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出するステップと、
を実行させるためのプログラム。
（付記８）
付記１乃至４の何れかに記載の移動ベクトル算出方法により算出される画像フレーム間の画素の移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、前記画像フレーム間でノイズを除去するノイズ除去処理を用いた移動ベクトル算出方法。
１００ 移動ベクトル算出・ノイズ除去装置
１０１ 移動ベクトル算出ブロック
１０２ 入力部
１０３ 移動ベクトル算出部
１０４ 記憶部
１０５ 多重解像度ブロックマッチング処理部
１０６ 信頼性評価ベクトル算出部
１１０ 画像位置合せ処理ブロック
１１１ 重ね合せ平均処理ブロック
１２０ 現フレーム画像
１２１ 過去フレーム画像
１２２ 目標画像
１２３ 処理対象画像
１２４ 位置合せされた処理対象画像
１２５ ノイズ除去された目標画像
１３０ 移動ベクトル候補
１３１ 最終移動ベクトル

Claims (8)

  1. 動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、
    移動ベクトル算出装置が
    前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、
    前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する、
    ことを特徴とする移動ベクトル算出方法。
  2. 前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち所定の閾値以上の数がほぼ同じ場所を示しているか否か示す一致度を判定する処理を含む、ことを特徴とする請求項１に記載の移動ベクトル算出方法。
  3. 前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち、前記移動ベクトル候補の移動元をターゲットとする前記目標画像から前記処理対象画像への移動を示す逆方向移動ベクトル候補を算出し、前記移動ベクトル候補と前記逆方向移動ベクトル候補との一致度を判定する処理を含む、ことを特徴とする請求項１又は２に記載の移動ベクトル算出方法。
  4. 前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチと、前記移動ベクトル候補に対応するブロックのパッチとからそれぞれ、バイラテラルフィルタ処理により構造画像及び詳細画像を算出し、前記目標画像のターゲットブロックのパッチ及び前記移動ベクトル候補に対応するブロックのパッチに対応する前記構造画像同士及び前記詳細画像同士を合成することにより合成構造画像及び合成詳細画像を算出し、前記合成詳細画像が示すノイズの標準偏差又は分散に基づいて前記移動ベクトル候補の信頼性を評価する処理を含む、ことを特徴とする請求項１乃至３のいずれかに記載の移動ベクトル算出方法。
  5. 前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチに対応する構造画像の画素値の平均値と前記合成構造画像の画素値の平均値との差の絶対値に基づいて前記移動ベクトル候補の信頼性を評価する処理を更に含む、ことを特徴とする請求項４に記載の移動ベクトル算出方法。
  6. 動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出装置であって、
    前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出する多重解像度ブロックマッチング処理部と、
    前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出する信頼性評価ベクトル算出部と、
    を具備することを特徴とする移動ベクトル算出装置。
  7. 動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出するコンピュータに、
    前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出するステップと、
    前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出するステップと、
    を実行させるためのプログラム。
  8. 請求項１乃至４の何れかに記載の移動ベクトル算出方法により算出される画像フレーム間の画素の移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、前記画像フレーム間でノイズを除去するノイズ除去処理を用いた移動ベクトル算出方法。
JP2017192378A 2017-10-02 2017-10-02 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 Active JP7027776B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017192378A JP7027776B2 (ja) 2017-10-02 2017-10-02 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
US16/143,581 US10785484B2 (en) 2017-10-02 2018-09-27 Motion vector calculation method, information processing apparatus, recording medium recording motion vector calculation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017192378A JP7027776B2 (ja) 2017-10-02 2017-10-02 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法

Publications (2)

Publication Number Publication Date
JP2019067169A true JP2019067169A (ja) 2019-04-25
JP7027776B2 JP7027776B2 (ja) 2022-03-02

Family

ID=65898183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017192378A Active JP7027776B2 (ja) 2017-10-02 2017-10-02 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法

Country Status (2)

Country Link
US (1) US10785484B2 (ja)
JP (1) JP7027776B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020170288A1 (ja) * 2019-02-18 2021-03-11 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN110677690B (zh) * 2019-09-27 2022-07-01 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质
CN111526369B (zh) * 2020-04-29 2022-09-09 Oppo广东移动通信有限公司 视频的运动估计方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020528A (ja) * 2011-07-13 2013-01-31 Sony Corp 画像処理装置および方法、並びにプログラム
JP2017022597A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3812750B2 (ja) 1995-01-19 2006-08-23 ソニー株式会社 動き量検出方法及び動き量検出装置
JP2009055410A (ja) 2007-08-28 2009-03-12 Sony Corp 画像処理装置および画像処理方法
JP4506875B2 (ja) 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020528A (ja) * 2011-07-13 2013-01-31 Sony Corp 画像処理装置および方法、並びにプログラム
JP2017022597A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
US20190104313A1 (en) 2019-04-04
JP7027776B2 (ja) 2022-03-02
US10785484B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
US20090232213A1 (en) Method and apparatus for super-resolution of images
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR20120099713A (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
US8416989B2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
US20140355892A1 (en) Image processing method and apparatus
US9224194B2 (en) Joint video deblurring and stabilization
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
US20160005158A1 (en) Image processing device and image processing method
JP2010114597A (ja) 動きベクトル検出装置、その処理方法およびプログラム
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
JP5062531B2 (ja) 画像処理装置および画像処理方法
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
US10122939B2 (en) Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
JP6576179B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2005339535A (ja) 相違度の計算
JP2012169701A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016201037A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
JP2010041151A (ja) フレーム画像の動きベクトル推定装置及びプログラム
US8867843B2 (en) Method of image denoising and method of generating motion vector data structure thereof
JP2021026311A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211019

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R150 Certificate of patent or registration of utility model

Ref document number: 7027776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150