JP2004221960A

JP2004221960A - 動き検出装置およびノイズ低減装置

Info

Publication number: JP2004221960A
Application number: JP2003007189A
Authority: JP
Inventors: Kazuki Sawa; 一樹澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-01-15
Filing date: 2003-01-15
Publication date: 2004-08-05

Abstract

【課題】画像の細部や細かな市松模様等の空間周波数の高い部分であっても動き検出精度を高めた動き検出装置、および動き部分の残像を抑え、かつ解像度を低下させずにノイズ低減が可能なノイズ低減装置を提供する。
【解決手段】前フレームの画像信号と現フレームの画像信号との差分の絶対値を求める差分絶対値部３０と、差分絶対値信号に基づいて特定の形状を持つ動き検出領域の動きを検出する複数の特定動き検出部４０ａ〜４０ｈと、複数の特定動き検出部４０ａ〜４０ｈの出力に基づき動きの有無を判定する総合動き検出部５０とを有する動き検出装置２０を備えたフレーム巡回型ノイズ低減装置である。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ、ビデオテープレコーダ、テレビジョン受像機等のディジタル画像処理等に利用するノイズ低減装置に関する。
【０００２】
【従来の技術】
一般に、画像信号はフレーム間における画像情報の自己相関性が強く、一方、画像信号に含まれるノイズ成分は自己相関性がない。そのため、画像信号をフレーム周期毎に時間平均するとノイズ成分を低減することができる。しかし、動画部分についてフレーム周期の時間平均をとると、複数フレームにわたる動画像も平均化されてしまい、結果的にボケや尾引き等の残像が発生し解像度が低下してしまう。そのため、実用的なノイズ低減装置として、画像信号の動きを検出し、動き量に応じて時間平均の程度（巡回量）を制御するフレーム巡回型ノイズ低減装置がいくつか提案されている（たとえば非特許文献１、特許文献１参照）。図６は非特許文献１に掲載されているフレーム巡回型ノイズ低減装置の回路ブロック図である。このようにフレーム間の差分信号をもとに動き判定を行い、動画領域においては巡回量ｋを小さく設定し残像を抑え、静止画領域においては巡回量ｋを大きく設定しノイズ抑制効果を得ている。
【０００３】
これらフレーム巡回型ノイズ低減装置の性能は、上述の動き検出の精度によって大きく左右される。そのため、各画素の動きを検出する際、着目画素だけでなく、着目画素とその周辺画素を含む或る一定の大きさを持った動き検出領域を設け、その領域内の画像情報をもとに着目画素の動き判定を行い、動き検出の精度を上げる方法が提案されている（たとえば特許文献２、３参照）。
【０００４】
【非特許文献１】
日刊工業新聞社発行：吹抜敬彦著「ＴＶ画像の多次元信号処理」１９０頁
【特許文献１】
特開平６−２２５１７８号公報
【特許文献２】
特開平９−８１７５４号公報
【特許文献３】
特開２０００−１１５５８６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、これらの方法では画像の細部や、あるいは細かな市松模様のような特定のパターンにおいて十分な動き検出ができず、その結果ボケや尾引きが発生し解像度が低下してしまうといった問題があった。
【０００６】
本発明は、このような問題点を解決するためになされたもので、画像の細部や細かな市松模様等の空間周波数の高い部分であっても動き検出精度を高めた動き検出装置、および動き部分の残像を抑え、かつ解像度を低下させずにノイズ低減が可能なノイズ低減装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明の動き検出装置は、特定の形状を持つ領域の動きを検出する特定動き検出部を複数備え、複数の特定動き検出部の検出結果に基づき総合的に動きの有無の判定を下す総合動き検出部を設けたことを特徴とする。また、本発明のノイズ低減装置は、上記動き検出装置を備えたフレーム巡回型ノイズ低減装置である。
【０００８】
【発明の実施の形態】
すなわち、請求項１に記載の発明は、前フレームの画像信号と現フレームの画像信号との差分の絶対値を求め差分絶対値信号を出力する差分絶対値部と、動き検出すべき着目画素を含んだ特定の形状を持つ動き検出領域を有するとともに差分絶対値信号に基づいて動き検出領域の動きを検出する複数の特定動き検出部と、複数の特定動き検出部の出力に基づき動きの有無を判定する総合動き検出部とを有する動き検出装置である。
【０００９】
また、請求項２に記載の発明は、複数の特定動き検出部の各々が、動き検出領域に含まれる各画素の差分絶対値信号を特定動き検出部毎に設定された第１閾値と比較し第１閾値を超える画素数を出力する絶対値比較部と、絶対値比較部の出力を特定動き検出部毎に設定された第２閾値と比較する画素数比較部とを有し、絶対値比較部の出力が前記第２閾値を超えた場合に、動き有りを示す信号を出力することを特徴とする動き検出装置である。
【００１０】
さらに、請求項３に記載の発明は、着目画素に対して非対称な形状を持つ動き検出領域を持つ特定動き検出部を少なくとも１つ含むことを特徴とする動き検出装置である。
【００１１】
また、請求項４に記載の発明は、前フレームの画像信号を出力するフレームメモリと、前フレームの画像信号と現フレームの画像信号とから動きを検出する動き検出手段と、動き検出手段の検出結果に依存して巡回量を決定する巡回量決定部とを有するフレーム巡回型ノイズ低減装置であって、動き検出手段が、請求項１から請求項３までのいずれかに記載の動き検出装置であることを特徴とするノイズ低減装置である。
【００１２】
以下本発明の実施の形態について、図面を参照しつつ説明する。
【００１３】
（実施の形態１）
図１は本発明の実施の形態１における動き検出装置２０の回路ブロック図である。本実施の形態における動き検出装置２０は、差分絶対値部３０、複数の特定動き検出部４０ａ〜４０ｈ、総合動き検出部５０から構成されている。差分絶対値部３０は差分部３１と絶対値部３２からなる。差分部３１は、１フレーム前の画像信号と現フレームの画像信号とを入力しそれらの差分を求め絶対値部３２に出力し、絶対値部３２は差分の絶対値を求め差分絶対値信号として出力する。差分絶対値信号は、複数の特定動き検出部４０ａ〜４０ｈに入力される。特定動き検出部４０ａ〜４０ｈは、絶対値部３２から出力されたフレーム間の差分絶対値信号に基づきそれぞれ特定の形状を持つ動き検出領域に対応した画像パターンの動きを検出するものであり、本実施の形態においては８つの特定動き検出部４０ａ〜４０ｈを持っている。総合動き検出部５０は特定動き検出部４０ａ〜４０ｈの８つの検出結果に基づき総合的に動きの有無を判定する。本実施の形態においては８つの特定動き検出部４０ａ〜４０ｈの出力の論理和、すなわち８つの特定動き検出部４０ａ〜４０ｈのうち１つでも動きを検出した場合、「動き有り」の判定を行っている。
【００１４】
次に特定動き検出部４０ａについて説明する。特定動き検出部４０ａは絶対値比較部４１ａと画素数比較部４２ａとから構成されており、絶対値比較部４１ａは特定のパターンに対応する動きを検出するために特定の動き検出領域を持っている。他の特定動き検出部４０ｂ〜４０ｈについても同様の構成である。
【００１５】
図２は本発明の実施の形態１における動き検出装置２０の８つの絶対値比較部４１ａ〜４１ｈの動き検出領域の形状を示す図である。（ａ）に示す動き検出領域は絶対値比較部４１ａに対応するものであり、着目画素を左寄りに持つ横方向に長い１×４画素からなる。（ｂ）に示す動き検出領域は絶対値比較部４１ｂに対応するものであり、着目画素を右寄りに持つ横方向に長い１×４画素からなる。これら横方向に長い動き検出領域は、横線あるいは横線を含む領域の動きを検出するためのものである。以下、（ｃ）、（ｄ）はそれぞれ絶対値比較部４１ｃ、４１ｄに対応し、縦方向に長い４×１画素からなる動き検出領域であり、着目画素はそれぞれ上寄り、下寄りに位置し、縦線あるいは縦線を含む領域の動きを検出するためのものである。（ｅ）〜（ｈ）はそれぞれ絶対値比較部４１ｅ〜４１ｈに対応し、２×２の矩形領域からなる動き検出領域であり、着目画素はそれぞれ右上、左上、右下、左下に位置し、微小領域あるいは微小領域を含む領域の動きを検出するためのものである。
【００１６】
絶対値比較部４１ａは、動き検出領域内に含まれる画素の各々に対して、絶対値部３２の出力とあらかじめ設定されている第１閾値とを比較して第１閾値を超えた画素の数を出力する。本実施の形態における動き検出領域は４画素で構成されているから、絶対値比較部４１ａは４画素のうち何画素が第１閾値を超えたかを出力する。なお、本実施の形態においては絶対値比較部４１ａ〜４１ｈに対応する第１閾値はすべて「２０」に設定されている。この値は本実施の形態における差分絶対値信号（８ビット、２５６階調）のダイナミックレンジの約８％にあたり、信号に重畳する数％以下のノイズ成分の影響を除くことができるような値である。
【００１７】
画素数比較部４２ａは、第１閾値を超えた画素の数があらかじめ設定されている第２閾値よりも多いか少ないかを出力する。画素の数が第２閾値以上の場合は「動き有り」を示し、そうでない場合は「動き無し」を示す信号となる。他の特定動き検出部４０ｂ〜４０ｈについても同様である。なお、画素数比較部４２ａ〜４２ｈに対応する第２閾値はすべて「３」に設定されている。この値は後述するようにノイズ成分の大きさだけでなく動き検出領域の大きさを考慮して決められている。
【００１８】
本実施の形態において、細かい市松模様等の高い空間周波数成分を含む動画像が送られてきたとする。そのような画像の一例として図３に１０×１０画素の矩形パターンが右斜め上に動いた場合の差分絶対値信号を示す。ここで斜線を引いた画素は差分絶対値が第１閾値を超えた画素である。ただしこの図には画像信号に含まれるノイズの影響は考慮していない。
【００１９】
ここで、▲１▼で示した画素に着目して、各特定動き検出部４０ａ〜４０ｈの動作について説明する。絶対値比較部４１ａは動き検出領域が図２（ａ）で示される形状を持つので、着目画素▲１▼左側の１画素と右側の２画素を含む１×４画素のうち第１閾値を超える画素の数を数え、「３」を出力する。画素数比較部４２ａは、第１閾値を超える画素の数が第２閾値の「３」以上であるので「動き有り」を出力する。絶対値比較部４１ｂについても同様、第１閾値を超える画素の数「３」を出力するので、画素数比較部４２ｂは「動き有り」を出力する。また、絶対値比較部４１ｃ〜４１ｈは第１閾値を超える画素の数を数え「４」を出力するので画素数比較部４２ｃ〜４２ｈは「動き有り」を出力する。この場合すべての特定動き検出部４０ａ〜４０ｈは着目画素▲１▼に対し「動き有り」を出力し、その結果、総合動き検出部５０も「動き有り」の判定を下すことになる。
【００２０】
上述の説明は、画像信号に含まれるノイズの影響を考慮しない場合のものであった。しかし実際の信号処理においては、ノイズがなければ差分絶対値が第１閾値を超えない画素、すなわち動きの無い画素であってもノイズの影響で差分絶対値が第１閾値を超えることがあり、逆に、動きの有る画素であっても差分絶対値が第１閾値を超えない場合が起こり得る。したがって、絶対値比較部４１ａ〜４１ｈが対応する動き検出領域の４画素のうちの１つでノイズの影響を受けて誤差を発生する可能性を考慮すると、絶対値比較部の出力値に±１の誤差が含まれているものと考えなければならない。
【００２１】
以下に、上述した画素▲１▼について、ノイズの影響を考慮した場合の特定動き検出部４０ａ〜４０ｈの動作について再度説明する。絶対値比較部４１ａ、４１ｂはノイズがない場合「３」を出力したが、±１の誤差を考慮すると「２」となる可能性もあり、この場合は第２閾値「３」より小さくなるので画素数比較部４２ａ、４２ｂは「動き無し」を出力する。しかし、絶対値比較部４１ｃ〜４１ｈは「４」を出力するので±１の誤差を考慮しても第２閾値「３」以上であり、画素数比較部４２ｃ〜４２ｈは「動き有り」を出力する。したがって、総合動き検出部５０は正しく「動き有り」の判定を下すことができる。
【００２２】
次に、画素▲４▼について特定動き検出部４０ａ〜４０ｈの動作について説明をする。ノイズがない場合、絶対値比較部４１ａについては第１閾値を超える画素の数は「３」を出力し、絶対値比較部４１ｂは「２」を出力する。絶対値比較部４１ｃ、４１ｄについてもそれぞれ「３」、「２」を出力する。したがってノイズによる±１の誤差を考慮するとそれぞれ「３±１」、「２±１」となり、画素数比較部４２ａ〜４２ｄのいずれもノイズの影響を受けることになる。ところが絶対値比較部４１ｅは「４」を出力しノイズによる±１の誤差を考慮しても「３」以上となるため画素数比較部４２ｅは「動き有り」を出力し、したがって、総合動き検出部５０は正しく「動き有り」の判定を下すことができる。
【００２３】
画素▲４▼のように動き領域の隅に位置し、本来動き検出の困難な画素であっても正しく動き検出できたのは、領域の隅に着目画素を設定した動き検出領域を持つ特定動き検出部が存在したためである。
【００２４】
図４に着目画素▲１▼〜▲７▼についての各特定動き検出部４０ａ〜４０ｈの検出結果および総合動き検出部５０の判定結果を示している。図において「◎」は「動き有り」の判定、「○」は「動き有り」の判定であるがノイズの影響を受けて判定が変わる可能性がある場合、「・」は「動き無し」の判定であるがノイズの影響を受けて判定が変わる可能性がある場合、「×」は「動き無し」の判定をそれぞれ示している。上述したように着目画素▲１▼は縦線を含む領域あるいは微小領域を含む領域の画素であり、上述したように、対応する動き検出領域（ｃ）〜（ｈ）によって正しく動きを検出することができた。着目画素▲２▼については詳細な説明は省略するが、すべての動き検出領域（ａ）〜（ｈ）において、第１閾値を超える画素数はノイズを考慮しても「１」以下となり、したがって総合動き検出部５０で正しく「動き無し」と判定される。着目画素▲３▼については縦線を含む領域を表す動き検出領域（ａ）と（ｂ）、着目画素▲４▼については微小領域の左上を表す動き検出領域（ｅ）において正しく「動き有り」の判定がなされる。着目画素▲５▼〜▲７▼ではノイズによる誤判定の可能性が残るものの正しい判定がなされている。
【００２５】
このように８つの動き検出領域のいずれかに当てはまる画素においてはノイズの影響を考慮しても正しい動き検出が可能であることがわかる。
【００２６】
このように、特定のパターンの動き検出領域を設定し、中央ではなく片寄った位置に着目画素を設定した動き検出領域を設け、さらにそのなかで周辺画素の動きをも含めて着目画素の動きを検出することにより、非常に細かいパターンあるいは１画素／フレーム程度の遅い動きに対しても領域の角まで含めて正確に動き検出できることがわかる。
【００２７】
なお、本実施の形態では８つの動き検出領域を設けたが、動き検出領域の数、および形状は目的に応じて自由に設定できる。たとえばこれ以外に斜め線、クランク状等、他の検出領域を設けてもよい。
【００２８】
さらに、本実施の形態においては各動き検出領域に対する第１閾値、第２閾値を図２に示すようにそれぞれ同一の値としたが、信号に含まれるノイズの状態に応じて、あるいは各検出領域に対する動き検出感度を変える等、検出の目的に応じて第１閾値、第２閾値を特定動き検出部毎に独立に設定してもよい。また、総合動き検出部はすべての特定動き検出部の出力の論理和をとったが、検出の目的に応じて他の論理演算を行ってもよい。この結果、数多くのパターンにフレキシブルに対応できる動き検出装置が実現できる。
【００２９】
（実施の形態２）
図５は本発明の実施の形態２におけるノイズ低減装置の回路ブロック図である。ここで、差分絶対値部３０、特定動き検出部４０ａ〜４０ｈ、総合動き検出部５０は実施の形態１で説明した動き検出装置２０と同様である。ただし、差分絶対値部３０の出力は、複数の特定動き検出部４０ａ〜４０ｈに入力されるとともに、巡回量決定部６０にも入力される。巡回量決定部６０は、総合動き検出部５０の出力と差分絶対値部３０の出力とに基づいて巡回量ｋを決定する。巡回量ｋは画像信号をフレーム周期毎に時間平均する程度を表し、ｋ＝０の場合は時間平均せず、ｋが大きくなるにつれて時間平均の程度が大きくなる（ただし、０≦ｋ≦１とする）。本実施の形態においては、総合動き検出部５０が「動き有り」と判定した場合は差分絶対値部３０の出力に依存せずｋ＝０と決定し、総合動き検出部５０が「動き無し」と判定した場合は差分絶対値部３０の出力に基づき巡回量ｋを決定する。乗算器７０は、入力画像信号、すなわち現フレームの画像信号に（１−ｋ）を乗じる。また、乗算器８０は、フレームメモリ１０からの出力、すなわち前フレームの画像信号に巡回量ｋを乗じる。加算器９０は、乗算器７０および乗算器８０からの出力を加算し出力画像信号として出力する。また、加算器９０からの出力はフレームメモリ１０に蓄積され、次のフレームにおける処理に使用される。
【００３０】
本実施の形態のノイズ低減装置において、総合動き検出部５０が「動き有り」と判定した場合には、巡回量決定部６０は巡回量ｋの値を「０」と決定する。したがって加算器９０には乗算器７０を通して入力信号のみが入力され、現フレーム信号がそのまま出力画像信号として出力される。総合動き検出部５０が「動き無し」と判定した場合には、巡回量決定部６０は絶対値部３２の出力に基づき巡回量ｋを決定する。このとき、差分絶対値部３０の出力が「０」であれば、巡回量ｋの値を「１」と決定する。したがって加算器９０には乗算器８０を通してフレームメモリ１０の出力のみが入力され、ノイズ低減装置は巡回動作を行うことになる。また、差分絶対値部３０の出力が大きくなるにともなって巡回量ｋの値が小さくなるように決定し、差分絶対値部３０の出力が「２０」以上の場合は巡回量ｋの値を「０」と決定する。したがって、総合動き検出部５０が「動き無し」と判定した場合であっても、差分絶対値部３０の出力が「２０」以上の場合はノイズ低減装置は時間平均を行わず、差分絶対値部３０の出力が「２０」より小さくなるにつれて時間平均の程度を大きくし、ノイズ低減を行う。
【００３１】
このように、本実施の形態におけるノイズ低減装置は、図６に示した従来とは異なり、信号処理のなかで低域濾波器（ＬＰＦ）を用いないので画像の鮮鋭度を劣化させることなくノイズ低減を行うことが可能となる。さらに本実施の形態におけるノイズ低減装置は、非常に細かいパターンあるいは１画素／フレーム程度の遅い動きに対しても領域の隅まで含めて正確に動き検出できる動き検出装置を用いているため、画像の細部や細かな市松模様等の空間周波数の高い部分であっても、動き部分の残像を抑え、かつ解像度を低下させずにノイズ低減が可能となる。
【００３２】
なお、本実施の形態においては総合動き検出部５０が「動き無し」と判定した場合、差分絶対値部３０の出力が「０」から「２０」の範囲で巡回量ｋの値が「１」から「０」に連続的に変わるように設定したが、巡回量ｋの値をステップ状に変化させてもよく、また、巡回量ｋの値が「０」になるときの差分絶対値部３０の出力の値も、特定動き検出部の第１閾値の値あるいは画像信号に含まれるノイズの大きさに応じて自由に選択することができる。
【００３３】
【発明の効果】
以上のように、本発明の動き検出装置およびノイズ低減装置は、画像のエッジや高域部分の動き検出精度を高め、着目画素における巡回量ｋの最適な制御が可能となり、市松模様等の特徴部が動いた場合にボケや尾引きを発生させることなく、画像中のエッジまたは高域部分の鮮鋭さを維持しながらノイズ低減が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動き検出装置の回路ブロック図
【図２】本発明の実施の形態１における動き検出装置の８つの絶対値比較部の動き検出領域の形状を示す図
【図３】１０×１０画素の矩形パターンが右斜め上に動いた場合の差分絶対値信号を示す図
【図４】着目画素▲１▼〜▲７▼についての各特定動き検出部の検出結果および総合動き検出部の判定結果を示す図
【図５】本発明の実施の形態２におけるノイズ低減装置の回路ブロック図
【図６】従来におけるフレーム巡回型ノイズ低減装置の回路ブロック図
【符号の説明】
１０フレームメモリ
２０動き検出装置
３０差分絶対値部
３１差分部
３２絶対値部
４０ａ〜４０ｈ特定動き検出部
４１ａ〜４１ｈ絶対値比較部
４２ａ〜４２ｈ画素数比較部
５０総合動き検出部
６０巡回量決定部
７０，８０乗算器
９０加算器

Claims

前フレームの画像信号と現フレームの画像信号との差分の絶対値を求め差分絶対値信号を出力する差分絶対値部と、
動き検出すべき着目画素を含んだ特定の形状を持つ動き検出領域を有するとともに前記差分絶対値信号に基づいて前記動き検出領域の動きを検出する複数の特定動き検出部と、
前記複数の特定動き検出部の出力に基づき動きの有無を判定する総合動き検出部と
を有する動き検出装置。
前記複数の特定動き検出部の各々は、
前記動き検出領域に含まれる各画素の差分絶対値信号を特定動き検出部毎に設定された第１閾値と比較し前記第１閾値を超える画素数を出力する絶対値比較部と、
前記絶対値比較部の出力を特定動き検出部毎に設定された第２閾値と比較する画素数比較部とを有し、
前記絶対値比較部の出力が前記第２閾値を超えた場合に、動き有りを示す信号を出力することを特徴とする動き検出装置。
前記着目画素に対して非対称な形状を持つ動き検出領域を持つ特定動き検出部を少なくとも１つ含むことを特徴とする動き検出装置。
前フレームの画像信号を出力するフレームメモリと、前記前フレームの画像信号と現フレームの画像信号とから動きを検出する動き検出手段と、前記動き検出手段の検出結果に依存して巡回量を決定する巡回量決定部とを有するフレーム巡回型ノイズ低減装置であって、
前記動き検出手段は、請求項１から請求項３までのいずれかに記載の動き検出装置であることを特徴とするノイズ低減装置。