JP2014158083A5

JP2014158083A5 -

Info

Publication number: JP2014158083A5
Application number: JP2013026781A
Authority: JP
Filing date: 2013-02-14
Publication date: 2015-11-05
Anticipated expiration: 2033-02-14

Description

図３は、図２に示されるフレームブレンド率算出手段２０４の構成を概略的に示す機能ブロック図である。図３に示されるように、フレームブレンド率算出手段２０４は、画素値変化率の解析結果情報ＡＮから、第１、第２、第３フレームＦ_ｎ−１，Ｆ_ｎ，Ｆ_ｎ＋１のノイズ低減への寄与率に応じた優先度ＰＲを算出する参照フレーム優先度算出手段２０４１と、動きベクトルＭＶ及び動きベクトル境界画素情報ＢＯからオクルージョンを判定してオクルージョン判定結果ＯＣを生成するオクルージョン判定手段２０４２と、ブレンド重み係数ＢＷを算出するブレンド重み係数算出手段２０４３とを有する。なお、図３において、２０４４は、画素値変化率の解析結果情報ＡＮが入力される入力端子を示し、２０４５は、動きベクトルＭＶと動きベクトル境界画素情報ＢＯが入力される入力端子を示し、２０４６は、ブレンド重み係数ＢＷが出力される出力端子を示す。

図４は、図２に示される動き誤検出領域補正係数算出手段２０３の構成を概略的に示す機能ブロック図である。図４に示されるように、動き誤検出領域補正係数算出手段２０３は、画素値変化率の解析結果情報ＡＮに基づいて、補正の要否を判定する画素値急変領域検出手段２０３１と、動きベクトル境界画素情報ＢＯに基づいて、参照フレームを決定する際に参照フレームが不定となる参照フレーム不定領域を検出して、検出結果を示す参照フレーム不定領域情報ＲＲを生成する参照フレーム不定領域検出手段２０３２とを有する。また、動き誤検出領域補正係数算出手段２０３は、動きベクトル境界が集中する動きベクトル境界集中領域を検出する動きベクトル境界集中領域検出手段２０３３と、動きベクトルの誤検出領域を補正するための補正係数ＥＲを算出する補正係数算出手段２０３４とを有する。なお、図４において、２０３５は、画素値変化率の解析結果情報ＡＮが入力される入力端子を示し、２０３６は、動きベクトルＭＶと動きベクトル境界画素情報ＢＯとが入力される入力端子を示し、２０３７は、動きが誤検出された領域を補正するための補正係数ＥＲが出力される出力端子を示す。

図１０は、図４に示される動き誤検出領域補正係数算出手段２０３の参照フレーム不定領域検出手段２０３２が検出する参照フレーム不定領域１３４の一例を示す図である。参照フレーム不定領域検出手段２０３２は、入力端子２０３６を介して動きベクトルＭＶと動きベクトル境界画素情報ＢＯを受け取り、参照領域を決定することができない領域を補正対象として出力する。オクルージョン判定手段２０４２は、動きベクトルＭＶと動きベクトル境界画素情報ＢＯから、図９に示されるように、動きベクトルの境界画素１３１の周辺をオクルージョン領域１３２，１３３として、さらに、その周辺の動きベクトルから第１フレームＦ_ｎ−１又は第３フレームＦ_ｎ＋１のいずれにおける前景物体によって隠されていたのかを判断した。これに対し、参照フレーム不定領域検出手段２０３２は、図１０に示されるように、動きベクトルの境界画素１３１（濃いハッチング部分）と動きベクトルの境界画素１４１（濃いハッチング部分）が近接している場合、動きベクトルの境界画素１３１の周辺領域１３２，１３３及び動きベクトルの境界画素１４１の周辺領域１４２，１４３が重なる領域１３４が発生する。オクルージョン判定手段２０４２は、後から生成されたオクルージョン領域で画像データが上書きされるため、動きベクトルの境界画素１３１を先に評価し、動きベクトルの境界画素１４１を後に評価した場合には、領域１３４は、動きベクトルの境界画素１４１の周辺のオクルージョン領域１４２であると判断する。しかし、領域１３４が、オクルージョン領域１３３に属するものとして扱う方が適切な場合もある。さらに、オクルージョン領域同士が重なるほど動きベクトル境界が近接することは、稀なことであるから、動き検出部１０において動きベクトルの誤検出が発生したと推測できる。よって、参照フレーム不定領域検出手段２０３２は、このオクルージョン領域同士が重なる領域１３４を補正対象とする情報（参照フレーム不定領域情報）ＲＲを出力する。

動きベクトル境界集中領域検出手段２０３３は、入力端子２０３６を介して動きベクトルＭＶと動きベクトル境界画素情報ＢＯを受け取り、動きベクトル境界が局所的に集中している領域を補正対象領域とする情報（動きベクトル集中領域情報）ＢＲとして出力する。様々な大きさ方向の動きベクトルが狭い領域に混在し動きベクトル境界が集中することは、稀なことであるから、動き検出部１０において動きベクトルの誤検出が原因で動きベクトル境界が局所的に集中していると推測できる。

《２》実施の形態２．
図１２は、本発明の実施の形態２に係る映像処理装置（すなわち、実施の形態２に係る映像処理方法を実施することができる装置）２の構成を概略的に示す機能ブロック図である。図１２において、図１に示される構成と同じ又は対応する構成には、同じ符号を付す。実施の形態２に係る映像処理装置２は、動画像を構成する一連の複数のフレームを蓄えるフレームバッファ３０と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第１、第２、第３フレームを受け取り、これらのフレーム間の動きを検出して、動きベクトルＭＶとして出力する動き検出部１０ａと、動き検出部１０ａから出力された画素単位の動きベクトルＭＶ及び第１、第２、第３フレームを受け取り、着目フレームである第２フレームＦ_ｎのノイズを低減してノイズ低減フレームＦＳ３ａを生成するノイズ低減部２０ａと、ノイズ低減フレームを画像データとして蓄えるフレームバッファ４０とを有する。実施の形態２に係る映像処理装置２及び映像処理方法は、ノイズ低減フレームＦＳ３ａを生成する際に参照するフレームの点において、実施の形態１に係る映像処理装置１及び映像処理方法と相違する。他の点については、実施の形態２に係る映像処理装置２及び映像処理方法は、実施の形態１に係る映像処理装置１及び映像処理方法と同じである。

図１５は、本発明の実施の形態２の変形例に係る映像処理装置（すなわち、実施の形態２の変形例に係る映像処理方法を実施することができる装置）３の構成を概略的に示す機能ブロック図である。図１５において、図１２に示される構成と同じ又は対応する構成には、同じ符号を付す。実施の形態２の変形例に係る映像処理装置３は、動画像を構成する一連の複数のフレームを蓄えるフレームバッファ３０と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第１、第２、第３フレームを受け取り、これらのフレーム間の動きを検出して、動きベクトルＭＶとして出力する動き検出部１０ｂと、動き検出部１０ｂから出力された画素単位の動きベクトルＭＶ及び第１、第２、第３フレームを受け取り、着目フレームである第２フレームＦ_ｎのノイズを低減してノイズ低減フレームＦＳ３ａを生成するノイズ低減部２０ｂと、ノイズ低減フレームを画像データとして蓄えるフレームバッファ４０とを有する。実施の形態２の変形例に係る映像処理装置３及び映像処理方法は、ノイズ低減フレームＦＳ３ｂを生成する際に参照するフレームの点において、実施の形態２に係る映像処理装置２及び映像処理方法と相違する。

以上に説明したように、実施の形態５係る映像蓄積装置８、及び、実施の形態５の変形例に係る映像蓄積装置９によれば、ノイズ低減処理を行わずに蓄積された映像フレームのノイズを低減し、新たなノイズ低減フレームとして映像記録部６２に記録することができる。

Claims

動画像を構成する一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
を有し、
前記ノイズ低減部は、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
を有する
ことを特徴とする映像処理装置。
前記ノイズ低減部は、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報と前記動きベクトル境界検出手段によって生成された前記動きベクトル境界画素情報とを用いて、前記着目フレームの画素毎のフレーム合成係数を算出するフレームブレンド率算出手段をさらに有し、
前記補正手段による前記ノイズ低減フレームの生成は、前記動きベクトル境界画素情報、前記画素値変化率の解析結果情報、及び前記フレーム合成係数を用いて行われる
ことを特徴とする請求項１に記載の映像処理装置。
前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴とする請求項１又は２に記載の映像処理装置。
前記ノイズ低減部は、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報と前記動きベクトル境界検出手段によって生成された前記動きベクトル境界画素情報とに基づいて前記動き検出部による動き検出が誤検出であると推定できる領域を検出し、画素毎の補正係数を決定する動き誤検出領域補正係数算出手段をさらに有し、
前記補正手段は、前記画素毎の補正係数を用いて前記ノイズ低減フレームを生成する
ことを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
前記動き誤検出領域補正係数算出手段は、
画素値の変化率が大きい箇所を検出して、検出された箇所を示す補正対象領域情報を生成する画素値急変領域検出手段と、
前記着目フレームに隣接するフレームにおいて前景部分であるか背景であるかの判定ができない領域を示す参照フレーム不定領域情報を生成する参照フレーム不定領域検出手段と、
前記動きベクトルの境界が集中する領域を示す動きベクトル集中領域情報を生成する動きベクトル境界集中領域検出手段と、
前記補正対象領域情報、前記参照フレーム不定領域情報、前記動きベクトル集中領域情報に基づいて前記補正係数を決定する補正係数算出手段と
を有することを特徴とする請求項４に記載の映像処理装置。
前記ノイズ低減フレームを記憶する記憶部をさらに有し、
前記ノイズ低減部は、過去に生成された前記着目フレームより時間的に先行する少なくとも１枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
ことを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。
動画像を構成する一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出ステップと、
前記動き検出ステップにおいて検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減ステップと
を有し、
前記ノイズ低減ステップは、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出ステップと、
前記着目フレームと前記動き検出用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析ステップと、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成ステップと
を有する
ことを特徴とする映像処理方法。
放送波を受信し、前記放送波に含まれる映像情報の復号化を行う放送受信部と、
前記放送受信部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
を有し、
前記ノイズ低減部は、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
前記着目フレームと前記動き検出用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
を有する
ことを特徴とする放送受信装置。
前記ノイズ低減フレームを記憶する記憶部をさらに有し、
前記ノイズ低減部は、過去に生成された少なくとも１枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
ことを特徴とする請求項８に記載の放送受信装置。
映像を撮影し動画像を構成する一連の複数のフレームデータを生成する撮像部と、
前記撮像部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
を有し、
前記ノイズ低減部は、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
前記着目フレームと前記動き検出用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
を有する
ことを特徴とする映像撮影装置。
前記ノイズ低減フレームを記憶する記憶部をさらに有し、
前記ノイズ低減部は、過去に生成された少なくとも１枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
ことを特徴とする請求項１０に記載の映像撮影装置。
動画像を構成する一連の複数のフレームを記憶する記憶部と、
前記記憶部に記憶されている前記一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と、
を有し、
前記ノイズ低減部は、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
前記着目フレームと前記動き検出用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
を有する
ことを特徴とする映像蓄積装置。
前記ノイズ低減部は、過去に生成された少なくとも１枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いることを特徴とする請求項１２に記載の映像蓄積装置。
コンピュータに処理を実行させるプログラムであって、
前記処理は、
動画像を構成する一連の複数のフレームの１つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出処理と、
前記動き検出処理において検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減処理と
を含み、
前記ノイズ低減処理は、
前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出処理と、
前記着目フレームと前記動き検出用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析処理と、
前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成処理と
を含む
ことを特徴とするプログラム。