JP2004088234A - ノイズ低減装置 - Google Patents

ノイズ低減装置 Download PDF

Info

Publication number
JP2004088234A
JP2004088234A JP2002243762A JP2002243762A JP2004088234A JP 2004088234 A JP2004088234 A JP 2004088234A JP 2002243762 A JP2002243762 A JP 2002243762A JP 2002243762 A JP2002243762 A JP 2002243762A JP 2004088234 A JP2004088234 A JP 2004088234A
Authority
JP
Japan
Prior art keywords
motion vector
image
motion
vector
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002243762A
Other languages
English (en)
Inventor
Koichi Hoshino
星野 功一
Kenji Tabei
田部井 憲治
Masayuki Serizawa
芹沢 正之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002243762A priority Critical patent/JP2004088234A/ja
Publication of JP2004088234A publication Critical patent/JP2004088234A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

【課題】フレーム巡回型ノイズ低減装置において、動画の場合でも残像がない良好な画像が得られるようにする。
【解決手段】ベクトル検出手段107で、入力映像信号100と1フレーム前の画像とを比較して、画像の動きベクトル104と、対応する画像の差分である動き成分111を求める。巡回帰還量制御回路103で、動き成分111に基づいて、巡回係数Kを決める。乗算器で、巡回係数Kに従って、入力映像信号100を(1−K)倍する。動きベクトル104に基づいて、入力映像信号100に対応する1フレーム前の画素を、フレームメモリ105から読み出し、K倍する。これらを加算して、出力映像信号108として出力するとともに、フレームメモリ105に格納する。動き成分に応じた巡回係数で、対応する画素を巡回加算するので、動きの激しいノイズの多い動画の場合でも、残像が発生しない良好な画像が得られる。
【選択図】   図1

Description

【0001】
【発明の属する技術分野】
本発明は、ノイズ低減装置に関し、特に、映像信号処理装置において、映像信号のノイズを低減してS/Nを改善するノイズ低減装置に関する。
【0002】
【従来の技術】
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号に含まれるノイズ成分には相関がない。映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、ノイズ成分のみが小さくなるので、ノイズを低減することができる。この特性を利用してノイズを低減する装置として、フレーム巡回型ノイズ低減装置がある。以下、フレーム巡回型ノイズ低減装置の動作原理を簡単に説明する。
【0003】
入力映像信号は、可変減衰器によって(1−K)倍に減衰される。Kは、0〜1の間の値をとる巡回係数である。可変減衰器の出力は、そのまま加算器の入力となる。一方、ノイズ低減されたのち、フレームメモリで1フレーム遅延された前フレームの映像信号は、他の可変減衰器によってK倍に減衰されて、加算器の入力となる。(1−K)倍に減衰された入力映像信号と、K倍に減衰された前フレームの映像信号は、加算器で加算され、出力映像信号となるとともに、フレームメモリに蓄積される。
【0004】
ところが、動きのある映像信号をこの回路に通すと、残像が発生する。動きがあるところで、S/Nを上げようとして、Kの値を大きくすると、残像効果も増大する。残像効果が増大すると、映像がたいへん見にくくなるので、動画部分では、ノイズの低減を犠牲にして、Kの値を小さくしてやる必要がある。Kの値を制御するために、動き検出を行う。
【0005】
動き検出回路においては、ある閾値を設定して、フレーム間差分信号が、閾値より大きければ、動きであると判断する。また、フレーム間差分信号が、閾値より小さい場合は、静止画のノイズ成分であると判断する。巡回係数Kを発生する係数発生器は、映像入力端子から入力された現在のデジタル映像信号のデータとフレームメモリから出力された1フレーム前のデジタルデータとの差分値に対し、その差分の絶対値が小さいときは、係数Kを大きい値(1に近い値)とする。その差分の絶対値が大きいときは、係数Kを小さい値(0に近い値)とする。差分の絶対値が一定値以上のときは、係数Kを0にする。
【0006】
1フレーム前の映像信号と現在の映像信号との差の絶対値が小さい場合は、画素が時間の経過とともには変化しない静止した部分とみなして、相関の強い映像信号を時系列的に加算・平均化することになり、ノイズ低減ができる。また、1フレーム前の映像信号と現在の映像信号との差分の絶対値が大きい場合(即ち相関が弱い場合)は、係数Kは0若しくはそれに近い値となり、画素が時間の経過とともに変化して動いている部分とみなして、入力映像信号をそのまま出力する。動きがあるときには、入力映像信号を強くしてフレーム遅延した映像信号の影響を弱め、動きがないときには、入力映像信号を弱くしてフレーム遅延した映像信号の影響を強めて、映像信号を置き換えることによって、残像を低減しつつ、映像信号のノイズ低減を行うことができる。
【0007】
図6に、動き検出情報に基づいてノイズを低減する従来のフレーム巡回型のノイズ低減装置(特開平6−225178号公報など)の機能ブロック図を示す。このノイズ低減装置は、動き検出を精度よく行うための2次元LPF(ローパスフィルタ)604と、加算器606と、加算器607と、動き判定回路603と、(1−K)倍する乗算器601と、K倍する乗算器602と、フレームメモリ605とを備えている。動き判定回路603は、入力映像信号600の動き検出を精度良く行い、ノイズ成分を除去するための回路である。2次元LPF(ローパスフィルタ)604を通し、フレーム内で相関のないノイズ成分を除去して小さい動き成分を残す。ノイズ除去された映像信号と、フレームメモリ605からの1フレーム分遅延した映像信号との差分を生成する。この差分が、しきい値より大きければ、動きとして判定する。動きが大きいと検出した場合には、巡回係数(K)610の値を小さくし、0に近づける。逆に、動きが小さい場合には、巡回係数(K)610の値を大きくし、1に近づける。この入力映像信号600の動きを示す巡回係数(K)610により、乗算器601と乗算器602を制御する。映像信号のフレーム巡回量を制御する。ノイズの重畳した入力映像信号に対して、精度良く動き検出が行えるため、残像による違和感を軽減し、入力映像信号600のノイズ低減ができる。
【0008】
このようなフレーム巡回型のノイズ低減装置は、異なる画像を巡回加算しているので、原理的に残像を無くすことはできない。これを改善するため、動きベクトルを用いたノイズ低減回路(特開平7−203442号公報)がある。このノイズ低減回路においては、動きベクトル検出回路によって動きベクトルを検出する。動き補正回路で、動きベクトルを用いて、前フレームの映像信号を動き補正してフィードバックする。動画領域に対しても、フレーム相関が大きい信号をフィードバックすることができ、ランダムなノイズ成分のみを減衰することができる。このノイズ低減回路においては、乗算係数発生回路は、入力信号(現フレーム信号)と動き補正フレーム信号(前フレーム信号)との差分量により、2個の信号の加算比率を決めている。すなわち、前フレーム信号のフィードバック量を、差分量によって定めている。
【0009】
このノイズ低減回路では、入力信号と動き補正フレーム信号との差分量によりフィードバック量を制限している。そのため、ノイズ成分が多い信号では差分量が増加してフィードバック量が小さくなり、ノイズ低減効果が少なくなる。これを避けるため、動きベクトルを評価した結果に応じて、フィードバック比率を変化させるもの(特開平8−163410号公報など)がある。すなわち、1次巡回型フィルタ構成のノイズ低減回路で、動きベクトルを用いて前フレーム映像信号を動き補正し、この動き補正後の前フレーム映像信号を、動きベクトルの評価結果に応じたフィードバック比率で、現フレーム映像信号にフィードバックさせて、現フレーム映像信号に含まれているノイズ成分を低減する。
【0010】
【発明が解決しようとする課題】
しかしながら、従来のフレーム巡回型ノイズ低減装置においては、動き補償を行わないものでは、動いている部分に残像が発生してしまい、適切にノイズ低減を行うことができないという問題がある。動き補償を行うものでも、巡回係数を最適化していないので、画像の動きに応じたノイズ低減が不十分であり、画像の動きによっては、必ずしも適切な出力映像が得られないという問題がある。
【0011】
本発明は、上記従来の問題を解決して、フレーム巡回型ノイズ低減処理において、画像の動きがどのようなものであっても残像を発生させず、常に最適なノイズ低減ができるようにすることを目的とする。
【0012】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、ノイズ低減装置を、前フレームの画像を保持するフレームメモリと、前フレームの画像と現フレームの画像から部分画像ごとの動きを動きベクトルとして検出するとともに、動きベクトルに基づいて部分画像ごとの動き成分を求めるベクトル検出手段と、前フレームの画像の帰還率を決める巡回係数を画像ごとの動き成分に応じて変える巡回帰還量制御手段、巡回係数に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する手段と、出力映像信号を前記フレームメモリに書き込む手段とを具備する構成とした。
【0013】
このように構成したことにより、残像による違和感を軽減したフレーム巡回型ノイズ低減処理を行うことができる。すなわち、前フレームの映像信号が現フレームではどこの位置に動いたかを、動きベクトルとして求め、動きベクトルを元に、フレームメモリに記憶されている前フレームの映像信号の中から画素を読み出し、フレーム巡回型のノイズ低減処理を行うことにより、静止している物体を撮像したときは、動きベクトルの値が0であるので、フレームメモリからは、同座標の画素が読み出され、動画の場合は、動きベクトルで動き補償された画素が読み出され、巡回加算されるので、異なる画像が混合することがなく、残像が発生しない。さらに、巡回係数を画像の動き成分に応じて変えるので、ノイズの少ない静止画像から動きが激しくてノイズの多い画像まで、画像ごとに最適な巡回加算ができ、常に良好な出力画像を得ることができる。
【0014】
また、前フレームの画像の動きベクトルを保持するベクトル記憶手段と、前フレームの画像の動きベクトルに応じて動きベクトルの検出範囲を変える検出範囲可変手段とを備えた。このように構成したことにより、物体の移動速度に応じて検出範囲を変えて、動きベクトルが大きいときは検出範囲を広げ、小さいときは狭めることにより、動きベクトルの検出精度を向上させることができる。
【0015】
また、映像信号から物体の輪郭を抽出して輪郭の動きベクトルを検出する輪郭ベクトル検出手段を備えた。このように構成したことにより、撮像した物体の輪郭のみの動きベクトルを検出することにより、動きベクトルの検出処理にかかる負荷を軽減することができる。
【0016】
また、動きベクトルを記憶するベクトル記憶手段と、ベクトル検出手段で動きベクトルを求めた画素の周辺画素の動きベクトルをベクトル記憶手段から読み出して動きベクトルを補正する動きベクトル補正手段とを備えた。このように構成したことにより、周辺画素の動きベクトルとの相関を調べて補正することができ、ノイズによる動きベクトルの検出エラーを回避することができる。
【0017】
また、カメラに設定された撮影条件に応じて動きベクトルの検出範囲を変える動きベクトル検出範囲可変手段を備えた。このように構成したことにより、撮影条件に応じて、動きベクトルの検出範囲を変えて、動きベクトルの検出精度を向上させることができる。
【0018】
また、画像処理装置を、上記のノイズ低減装置と、動きベクトルに基づいて物体の動きを検出する物体検出手段とを具備する構成とした。このように構成したことにより、動きベクトルの値に基づいて、物体の動きを正確に検出でき、動き物体を鮮明に表示することができる。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について、図1〜図5を参照しながら詳細に説明する。
【0020】
(第1の実施の形態)
本発明の第1の実施の形態は、画素の動きベクトルを検出し、動きベクトルに基づいて画素の動き成分を求め、動き成分に応じて巡回係数を変え、巡回係数に基づいて現フレームの画素と前フレームの対応画素を加重平均することにより、フレーム巡回型ノイズ低減処理を行って出力映像信号を生成するノイズ低減装置である。
【0021】
図1は、本発明の第1の実施の形態におけるノイズ低減装置の機能ブロック図である。図1において、入力映像信号100は、カメラなどからの映像信号である。乗算器101は、入力映像信号を(1−K)倍する乗算手段である。乗算器102は、対応する前フレームの映像信号をK倍する乗算手段である。巡回帰還量制御回路103は、映像信号の動き成分に応じて、巡回係数Kを変える手段である。動きベクトル104は、前フレームの映像信号の画素の座標と、対応する現フレームの映像信号の画素の座標の差のベクトルである。フレームメモリ105は、1つ前のフレームの映像信号を保持するメモリである。加算器106は、入力映像信号の(1−K)倍と、対応する前フレームの映像信号のK倍を加算する加算手段である。ベクトル検出手段107は、現フレームの映像信号と前フレームの映像信号を比較して動きベクトルを求めるとともに、動きベクトルに基づいて部分画像ごとの動き成分を求める手段である。出力映像信号108は、ノイズを低減した結果の映像信号である。巡回係数(K)109は、前フレームの映像信号の帰還率である。動き検出フレーム巡回型ノイズ低減手段110は、乗算器101と、乗算器102と、巡回帰還量制御回路103と、フレームメモリ105と、加算器106とにより、動きベクトルと動き成分とに応じて映像信号を巡回加算して、入力映像信号のノイズを低減する手段である。
【0022】
上記のように構成された本発明の第1の実施の形態におけるノイズ低減装置の動作を説明する。入力映像信号100は、フレームメモリ105からの1フレーム分遅延した映像信号とともに、ベクトル検出手段107に入力される。ベクトル検出手段107では、入力映像信号100の画素が1フレーム前はどこの座標にあったかを示す動きベクトル104を生成する。ベクトル検出手段107は、MPEGなどで用いられる周知の手段と同じものである。動きベクトルは、画素単位で求めてもよいし、ブロック単位で求めてもよい。動きベクトル104に基づいて、フレームメモリ105から、入力映像信号100の画素に対応する1フレーム前の画素を読み出す。その画素に、乗算器102で、巡回係数(K)109を乗算する。一方、入力映像信号100を、乗算器101で(1−K)倍する。乗算器101の結果と乗算器102の結果を、加算器106で加算する。加算結果を、出力映像信号108として出力するとともに、フレームメモリ105に書き込む。
【0023】
ベクトル検出手段107では、映像信号の動き成分も求める。動き成分は、対応画素の変化を示す量であり、変化なしなら100%であり、対応画素なしなら0%である。巡回帰還量制御回路103で、映像信号の動き成分に応じて、巡回係数(K)109を変える。静止画の場合や、画像が平行移動した場合は、対応画像に変化はないので、ノイズがなければ差分は0であり、動き成分は100%である。この場合は、巡回係数Kを1とする。画像が移動により変化した場合は、それに応じて巡回係数を小さくする。対応する画素がない場合は、巡回係数を0にする。動き成分が中間の値であれば、それに応じて巡回係数Kの値を変える。最も簡単な具体例は、巡回係数Kの値を映像信号の動き成分の比率と同じにすることである。実際には、映像信号の用途などに応じて適切な関数を選ぶ。
【0024】
巡回加算される画像は、動きベクトルにより動き補償された画像であるから、実質的にほとんど同じ画像である。同一位置の画像を加算する場合と異なり、動きがあっても、別の画像が混入することはない。したがって、ノイズは巡回加算により低減されるが、残像を生じることはない。また、動き成分に応じた巡回係数を使用するので、ノイズ成分を効率的に低減できる。巡回係数を一定値にした場合は、静止画では問題ないが、変化の激しい画像では不自然な動きになる。
【0025】
上記のように、本発明の第1の実施の形態では、ノイズ低減装置を、動きベクトルを検出し、動きベクトルに基づいて動き成分を求め、画像の動き成分に応じて巡回係数を変え、巡回係数に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成としたので、動き補償した対応画素を巡回加算することにより、残像の発生を防止しながらノイズを低減できる。
【0026】
(第2の実施の形態)
本発明の第2の実施の形態は、映像信号の前フレームの動きベクトルに応じて、動きベクトルの検出範囲を変えて、フレーム巡回型ノイズ低減処理を行って出力映像信号を生成するノイズ低減装置である。
【0027】
図2は、本発明の第2の実施の形態におけるノイズ低減装置の機能ブロック図である。図2において、検出範囲可変手段201は、映像信号の前フレームの動きベクトルに応じて、動きベクトルの検出範囲を変える手段である。ベクトル記憶手段202は、映像信号の前フレームの動きベクトルを保持するメモリである。第2の実施の形態におけるノイズ低減装置のその他の基本的な構成は、第1の実施の形態と同じである。
【0028】
上記のように構成された本発明の第2の実施の形態におけるノイズ低減装置の動作を説明する。ベクトル検出手段107によって生成された動きベクトル104を、ベクトル記憶手段202に記憶しておく。1フレーム後の同座標の画素の動きベクトルを算出するときに読み出す。検出範囲可変手段201において、記憶された動きベクトルに基づいて、動きベクトルを検出する範囲を変える信号を生成し、ベクトル検出手段107に出力する。前フレームの動きベクトルが大きいときは、動きベクトルの検出範囲を広げ、小さいときは狭める。すなわち、物体の移動速度に対応した検出範囲を設定する。このようにすることにより、静止画で広い範囲を調べる必要が無くなり、高速に移動する物体でも動きベクトルが検出不能となることがない。
【0029】
上記のように、本発明の第2の実施の形態では、ノイズ低減装置を、映像信号の前フレームの動きベクトルに応じて、動きベクトルの検出範囲を変える構成としたので、物体の移動速度に対応した検出範囲を設定することができ、動きベクトルの検出精度を向上させることができる。
【0030】
(第3の実施の形態)
本発明の第3の実施の形態は、映像信号から物体の輪郭を抽出し、輪郭の動きベクトルを検出し、映像信号の動き成分に応じて巡回係数を変えて、フレーム巡回型ノイズ低減処理を行って出力映像信号を生成するノイズ低減装置である。
【0031】
図3は、本発明の第3の実施の形態におけるノイズ低減装置の機能ブロック図である。図3において、輪郭ベクトル検出手段301は、映像信号から物体の輪郭を抽出し、輪郭の動きベクトルを検出する手段である。第3の実施の形態におけるノイズ低減装置のその他の基本的な構成は、第1の実施の形態と同じである。
【0032】
上記のように構成された本発明の第3の実施の形態におけるノイズ低減装置の動作を説明する。輪郭ベクトル検出手段301で、入力映像信号100のエッジ部分の動きベクトルを検出する。エッジを検出する方法は、周知の方法を用いる。その動きベクトル302が、同一方向の同じ大きさであったら、それらのエッジ部分は、ある物体の輪郭であるということがわかる。そのエッジ部分の内部にある画素の動きベクトルも、同じであることがわかる。エッジ部分の内部にある画素の動きベクトルは、エッジ部分の動きベクトルを使う。こうすることで、内部の動きベクトルを個別に検出する必要がなくなり、処理を高速化できる。
【0033】
上記のように、本発明の第3の実施の形態では、ノイズ低減装置を、映像信号から物体の輪郭を抽出し、輪郭の動きベクトルを検出し、映像信号の動き成分に応じて巡回係数を変える構成としたので、ノイズ低減処理のための動きベクトル検出の負荷を軽くすることができる。
【0034】
(第4の実施の形態)
本発明の第4の実施の形態は、現フレームと前フレームを比較して求めた動きベクトルを、記憶してある周辺画素の動きベクトルと比較して補正して、フレーム巡回型ノイズ低減処理を行って出力映像信号を生成するノイズ低減装置である。
【0035】
図4は、本発明の第4の実施の形態におけるノイズ低減装置の機能ブロック図である。図4において、ベクトル補正手段401は、周辺画素の動きベクトルと比較して動きベクトルを補正する手段である。ベクトル記憶手段402は、補正した動きベクトルを保持する手段である。第4の実施の形態におけるノイズ低減装置のその他の基本的な構成は、第1の実施の形態と同じである。
【0036】
上記のように構成された本発明の第4の実施の形態におけるノイズ低減装置の動作を説明する。ベクトル検出手段107で、動きベクトルを検出する。ベクトル記憶手段402に、動きベクトルを記憶しておく。ベクトル補正手段401で、注目している動きベクトルの画素周辺の一定範囲の画素の動きベクトルを、ベクトル記憶手段402から読み出す。注目している動きベクトルを、周辺画素の動きベクトルと比較して、相関を調べる。相関がない時、あるいは、相関が一定以下のときは、周辺画素の動きベクトルを用いて補正を行う。例えば、動きベクトルが周辺画素と直交する場合は、周辺画素の動きベクトルの平均値で代用する。補正した動きベクトルを使用して動き補償処理をするとともに、ベクトル記憶手段402に書き込む。通常の映像では、1画素だけ異なった動きをすることはありえないので、ノイズによるエラーとみなして、それを補正することができる。
【0037】
上記のように、本発明の第4の実施の形態では、ノイズ低減装置を、現フレームと前フレームを比較して求めた動きベクトルを、記憶してある周辺画素の動きベクトルと比較して補正する構成としたので、ノイズによる動きベクトルの誤検出を減らすことができる。
【0038】
(第5の実施の形態)
本発明の第5の実施の形態は、カメラに設定された撮影条件に応じて、動きベクトルの検出範囲を変えて、フレーム巡回型ノイズ低減処理を行って出力映像信号を生成するノイズ低減装置である。
【0039】
図5は、本発明の第5の実施の形態におけるノイズ低減装置の機能ブロック図である。図5において、動きベクトル検出範囲可変手段501は、カメラのズーム比率やレンズの倍率などに応じて、動きベクトルを検出する範囲を変える信号を生成する手段である。第5の実施の形態におけるノイズ低減装置のその他の基本的な構成は、第1の実施の形態と同じである。
【0040】
上記のように構成された本発明の第4の実施の形態におけるノイズ低減装置の動作を説明する。動きベクトル検出範囲可変手段501によって、カメラのズーム比率やレンズの倍率などに基づいて、動きベクトルを検出する範囲を変える信号を生成し、ベクトル検出手段502に出力する。ベクトル検出手段502では、この信号に応じて、動きベクトルを検出する範囲を変える。例えば、カメラをパンした場合は、撮影対象が静止していても、パンに基づく動きベクトルが生じるので、予めその動きベクトルを加えた範囲を検出範囲とする。ズーム途中や、レンズ倍率を変えた場合も、同様にして、動きベクトルの検出範囲を変更する。こうすることにより、動きベクトルを短時間で正確に検出できる。
【0041】
上記のように、本発明の第5の実施の形態では、ノイズ低減装置を、カメラに設定された撮影条件に応じて、動きベクトルの検出範囲を変える構成としたので、現在の撮像条件にもっとも適したベクトル検出範囲を設定することができ、動きベクトルの検出精度を向上させることができる。
【0042】
(第6の実施の形態)
本発明の第6の実施の形態は、動きベクトルに基づいて物体の動きを検出するとともに、動きベクトルに基づいて動き補償し、動き成分に応じて対応画素を加重平均することにより、フレーム巡回型ノイズ低減処理を行う画像処理装置である。
【0043】
動く物体を検出するための物体検出手段を備えた画像処理装置に、第1〜5の実施の形態で説明したノイズ低減装置を設けた点が、従来の画像処理装置と異なる。第6の実施の形態における画像処理装置のその他の基本的な構成は、周知の物体検出装置と同じであるので、画像処理装置全体の図示と説明は省略する。
【0044】
図1に示す動きベクトル104を、画像処理装置の物体検出手段に入力する。図2〜図5に示す動きベクトルを入力してもよい。同一方向で同じ大きさの動きベクトルを持つ画素の集まりを、ひとつの物体と認識する。例えば、第3の実施の形態で説明した輪郭ベクトル検出手段301と同様な方法で、動く物体を検出する。動きのない背景は、1つの物体と認識される。必要に応じて、動く物体と背景を分離して表示したり、背景をモノクロで表示したりして、動く物体のみを際立たせる。動く物体の画像に対して、第1〜5の実施の形態で説明したフレーム巡回型ノイズ低減処理を行うことにより、ノイズと残像のない鮮明な映像を、背景から切り離して提示することができる。人間や動物や車両などの動く物体の映像を、明瞭に表示することができるので、監視システムなどにおける物体検出能力を高めることができる。
【0045】
上記のように、本発明の第6の実施の形態では、画像処理装置を、動きベクトルに基づいて物体の動きを検出するとともに、動きベクトルに基づいて動き補償し、動き成分に応じて対応画素を加重平均することにより、フレーム巡回型ノイズ低減処理を行う構成としたので、動きベクトルの値に基づいて、物体の動きを正確に検出でき、動き物体を鮮明に表示することができる。
【0046】
【発明の効果】
以上の説明から明らかなように、本発明では、ノイズ低減装置に、前フレームの画像と現フレームの画像から部分画像ごとの動きを動きベクトルとして検出するとともに、動きベクトルに基づいて部分画像ごとの動き成分を求めるベクトル検出手段と、前フレームの画像の帰還率を決める巡回係数を画像の動き成分に応じて変える巡回帰還量制御手段と、巡回係数に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する手段とを備えた構成としたので、残像による違和感を軽減したフレーム巡回型ノイズ低減処理を行うことができる。さらに、巡回係数を画像の動き成分に応じて変えるので、ノイズの少ない静止画像から動きが激しくてノイズの多い画像まで、画像ごとに最適な巡回加算ができ、常に良好な出力画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態におけるノイズ低減装置のブロック図、
【図2】本発明の第2の実施の形態におけるノイズ低減装置のブロック図、
【図3】本発明の第3の実施の形態におけるノイズ低減装置のブロック図、
【図4】本発明の第4の実施の形態におけるノイズ低減装置のブロック図、
【図5】本発明の第5の実施の形態におけるノイズ低減装置のブロック図、
【図6】従来の動き検出フレーム巡回型ノイズ低減装置の機能ブロック図である。
【符号の説明】
100 入力映像信号
101 乗算器
102 乗算器
103 巡回帰還量制御回路
104 動きベクトル
105 フレームメモリ
106 加算器
107 ベクトル検出手段
108 出力映像信号
109 巡回係数
110 動き検出フレーム巡回型ノイズ低減手段
201 検出範囲可変手段
202 ベクトル記憶手段
301 輪郭ベクトル検出手段
302 動きベクトル
401 ベクトル補正手段
402 ベクトル記憶手段
403 動きベクトル
501 動きベクトル検出範囲可変手段
502 ベクトル検出手段
503 動きベクトル
600 入力映像信号
601 乗算器
602 乗算器
603 動き判定回路
604 2次元LPF
605 フレームメモリ
606 加算器
607 加算器
608 出力映像信号
609 動き検出フレーム巡回型ノイズ低減装置
610 巡回係数

Claims (6)

  1. 前フレームの画像を保持するフレームメモリと、前フレームの画像と現フレームの画像から部分画像ごとの動きを動きベクトルとして検出するとともに、前記動きベクトルに基づいて部分画像ごとの動き成分を求めるベクトル検出手段と、前フレームの画像の帰還率を決める巡回係数を画像ごとの動き成分に応じて変える巡回帰還量制御手段と、前記巡回係数に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する手段と、前記出力映像信号を前記フレームメモリに書き込む手段とを具備することを特徴とするノイズ低減装置。
  2. 前フレームの画像の動きベクトルを保持するベクトル記憶手段と、前フレームの画像の動きベクトルに応じて動きベクトルの検出範囲を変える検出範囲可変手段とを備えたことを特徴とする請求項1記載のノイズ低減装置。
  3. 映像信号から物体の輪郭を抽出して輪郭の動きベクトルを検出する輪郭ベクトル検出手段を備えたことを特徴とする請求項1記載のノイズ低減装置。
  4. 動きベクトルを記憶するベクトル記憶手段と、前記ベクトル検出手段で動きベクトルを求めた画素の周辺画素の動きベクトルを前記ベクトル記憶手段から読み出して動きベクトルを補正するベクトル補正手段とを備えたことを特徴とする請求項1記載のノイズ低減装置。
  5. カメラに設定された撮影条件に応じて動きベクトルの検出範囲を変える動きベクトル検出範囲可変手段を備えたことを特徴とする請求項1記載のノイズ低減装置。
  6. 請求項1乃至5のいずれかに記載のノイズ低減装置と、動きベクトルに基づいて物体の動きを検出する物体検出手段とを具備することを特徴とする画像処理装置。
JP2002243762A 2002-08-23 2002-08-23 ノイズ低減装置 Pending JP2004088234A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002243762A JP2004088234A (ja) 2002-08-23 2002-08-23 ノイズ低減装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002243762A JP2004088234A (ja) 2002-08-23 2002-08-23 ノイズ低減装置

Publications (1)

Publication Number Publication Date
JP2004088234A true JP2004088234A (ja) 2004-03-18

Family

ID=32052449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002243762A Pending JP2004088234A (ja) 2002-08-23 2002-08-23 ノイズ低減装置

Country Status (1)

Country Link
JP (1) JP2004088234A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025396A1 (ja) * 2004-09-03 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理プログラム
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
JP2007194979A (ja) * 2006-01-20 2007-08-02 Hitachi Ltd 映像ノイズ削減処理装置及び映像処理装置
JP2007312832A (ja) * 2006-05-23 2007-12-06 Pentax Corp 内視鏡装置
JP2008016904A (ja) * 2006-07-03 2008-01-24 Sony Corp ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
WO2009063851A1 (ja) * 2007-11-15 2009-05-22 Olympus Corporation 映像信号処理装置及び映像信号処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2010136101A (ja) * 2008-12-04 2010-06-17 Canon Inc 画像撮影装置
WO2010084710A1 (ja) * 2009-01-20 2010-07-29 パナソニック株式会社 表示装置及び表示制御方法
JP2010183386A (ja) * 2009-02-06 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2011078136A (ja) * 2011-01-11 2011-04-14 Hitachi Ltd 映像ノイズ削減処理装置及び映像処理装置
CN102281390A (zh) * 2010-06-11 2011-12-14 索尼公司 图像处理设备和图像处理方法
US8111325B2 (en) 2006-03-16 2012-02-07 Sony Corporation Image processing apparatus and method and program
JP2012151588A (ja) * 2011-01-18 2012-08-09 Mitsubishi Electric Corp 撮像画像補正装置
CN102918830A (zh) * 2010-06-08 2013-02-06 夏普株式会社 图像处理装置和方法、图像显示装置和方法
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
CN108600606A (zh) * 2017-03-01 2018-09-28 佳能株式会社 图像处理设备和图像处理设备的控制方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025396A1 (ja) * 2004-09-03 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理プログラム
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
JP4679372B2 (ja) * 2006-01-20 2011-04-27 株式会社日立製作所 映像ノイズ削減処理装置及び映像表示装置
JP2007194979A (ja) * 2006-01-20 2007-08-02 Hitachi Ltd 映像ノイズ削減処理装置及び映像処理装置
US8111325B2 (en) 2006-03-16 2012-02-07 Sony Corporation Image processing apparatus and method and program
JP2007312832A (ja) * 2006-05-23 2007-12-06 Pentax Corp 内視鏡装置
JP2008016904A (ja) * 2006-07-03 2008-01-24 Sony Corp ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US8319897B2 (en) 2006-07-03 2012-11-27 Sony Corporation Noise reduction method, noise reduction program, recording medium having noise reduction program recorded thereon, and noise reduction apparatus
JP2009124489A (ja) * 2007-11-15 2009-06-04 Olympus Corp 映像信号処理装置及びプログラム
WO2009063851A1 (ja) * 2007-11-15 2009-05-22 Olympus Corporation 映像信号処理装置及び映像信号処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2010136101A (ja) * 2008-12-04 2010-06-17 Canon Inc 画像撮影装置
WO2010084710A1 (ja) * 2009-01-20 2010-07-29 パナソニック株式会社 表示装置及び表示制御方法
JP4645746B2 (ja) * 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP2010183386A (ja) * 2009-02-06 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
CN102918830B (zh) * 2010-06-08 2015-06-17 夏普株式会社 图像处理装置和方法、图像显示装置和方法
CN102918830A (zh) * 2010-06-08 2013-02-06 夏普株式会社 图像处理装置和方法、图像显示装置和方法
US9215353B2 (en) 2010-06-08 2015-12-15 Sharp Kabushiki Kaisha Image processing device, image processing method, image display device, and image display method
CN102281390A (zh) * 2010-06-11 2011-12-14 索尼公司 图像处理设备和图像处理方法
JP2011078136A (ja) * 2011-01-11 2011-04-14 Hitachi Ltd 映像ノイズ削減処理装置及び映像処理装置
JP2012151588A (ja) * 2011-01-18 2012-08-09 Mitsubishi Electric Corp 撮像画像補正装置
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
CN108600606A (zh) * 2017-03-01 2018-09-28 佳能株式会社 图像处理设备和图像处理设备的控制方法
CN108600606B (zh) * 2017-03-01 2021-01-12 佳能株式会社 图像处理设备和图像处理设备的控制方法

Similar Documents

Publication Publication Date Title
US8243150B2 (en) Noise reduction in an image processing method and image processing apparatus
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US8130277B2 (en) Method and system for intelligent and efficient camera motion estimation for video stabilization
US8311282B2 (en) Image processing apparatus, image processing method, and program
JP2004088234A (ja) ノイズ低減装置
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
KR101652658B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체
EP3944603A1 (en) Video denoising method and apparatus, and computer-readable storage medium
US8390697B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
KR20150114286A (ko) 영상 잡음 제거 장치 및 방법
JP4639555B2 (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2010200179A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP3960258B2 (ja) 信号処理装置および信号処理方法
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
JP2006197455A (ja) ノイズリダクション装置
WO2003088648A1 (fr) Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement
US10812719B2 (en) Image processing apparatus, imaging apparatus, and image processing method for reducing noise and corrects shaking of image data
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP4289170B2 (ja) ノイズ量測定装置および映像受像機
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2015195453A (ja) 画像処理装置および画像処理方法
JP3639640B2 (ja) 動きベクトル検出装置
JP7118818B2 (ja) 画像処理方法、画像処理装置、撮像装置、およびプログラム
JP2010141813A (ja) 映像処理装置および映像処理装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603