JP2004328635A - 信号処理装置および信号処理方法 - Google Patents
信号処理装置および信号処理方法 Download PDFInfo
- Publication number
- JP2004328635A JP2004328635A JP2003124003A JP2003124003A JP2004328635A JP 2004328635 A JP2004328635 A JP 2004328635A JP 2003124003 A JP2003124003 A JP 2003124003A JP 2003124003 A JP2003124003 A JP 2003124003A JP 2004328635 A JP2004328635 A JP 2004328635A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- signal
- motion
- reference image
- input video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Abstract
【課題】ノイズの低減を良好に行う。
【解決手段】動きベクトル検出部３３は、入力映像信号と、入力映像信号よりも１フィールド前の前フィールド映像信号に基づいて動きベクトルを検出する。動き補正部３４は、動きベクトルを用いて前フィールド映像信号についての動き補正を行い、動き補正映像信号を生成する。参照画像設定部３５は、入力映像信号よりも１フレーム前の前フレーム映像信号あるいは動き補正映像信号のいずれかを、参照画像信号として選択する。選択制御部４３は、入力映像信号と前フレーム映像信号を用いて動き検出を行い、動きのある領域では動き補正映像信号、動きのない領域では前フレーム映像信号を参照画像信号とさせる。補正処理部３６は、入力映像信号と参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて入力映像信号の信号レベルを補正することでノイズを低減させる。
【選択図】 図１
【解決手段】動きベクトル検出部３３は、入力映像信号と、入力映像信号よりも１フィールド前の前フィールド映像信号に基づいて動きベクトルを検出する。動き補正部３４は、動きベクトルを用いて前フィールド映像信号についての動き補正を行い、動き補正映像信号を生成する。参照画像設定部３５は、入力映像信号よりも１フレーム前の前フレーム映像信号あるいは動き補正映像信号のいずれかを、参照画像信号として選択する。選択制御部４３は、入力映像信号と前フレーム映像信号を用いて動き検出を行い、動きのある領域では動き補正映像信号、動きのない領域では前フレーム映像信号を参照画像信号とさせる。補正処理部３６は、入力映像信号と参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて入力映像信号の信号レベルを補正することでノイズを低減させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、信号処理装置および信号処理方法に関する。詳しくは、入力映像信号と入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出し、この動きベクトルを用いて前フィールド映像信号についての動き補正を行い動き補正映像信号を生成し、入力映像信号よりも１フレーム前の前フレーム映像信号あるいは動き補正映像信号のいずれかを参照画像信号として選択して、入力映像信号と参照画像信号との差分からノイズ成分を検出して、このノイズ成分に基づいて入力映像信号の信号レベルを補正することで、ノイズの影響を低減させるものである。
【０００２】
【従来の技術】
ディジタル映像信号を処理する信号処理装置、例えばディジタル映像信号からノイズの影響を低減させる信号処理装置として、フィールドメモリやフレームメモリを使用した巡回型のノイズ低減装置が用いられている。
【０００３】
このノイズ低減装置は、フレームメモリに記憶されている前フレーム映像信号に対して、動きベクトルを用いて動き補正を行い、動き補正後の前フレーム映像信号と現フレームの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フレーム映像信号から減算することによって、ノイズを低減することが行われている（例えば特許文献１参照）。
【０００４】
図４は、従来のノイズ低減装置の構成を示している。このノイズ低減装置おいて、ディジタルの入力映像信号ＤＶｉｎは、動きベクトル検出部１２と、減算器１４，１６に供給される。フレームメモリ１１には、入力映像信号ＤＶｉｎよりも１フレーム前の映像信号が記憶されており、この前フレーム映像信号ＤＶｒを動きベクトル検出部１２と動き補正部１３に供給する。
【０００５】
動きベクトル検出部１２は、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒから、前フレーム映像信号ＤＶｒに基づく画像に対して入力映像信号ＤＶｉｎに基づく画像の動きベクトルＭＶｒを検出して動き補正部１３に供給する。
【０００６】
動き補正部１３では、動きベクトル検出部１２から供給された動きベクトルＭＶを用いて動き補正を行い、前フレーム映像信号ＤＶｒに基づく画像を入力映像信号ＤＶｉｎに基づく画像の位置に移動する。この動きベクトルＭＶｒを用いて動き補正が行われた信号は、動き補正映像信号ＤＶｒｃとして減算器１４に供給される。
【０００７】
減算器１４では、入力映像信号ＤＶｉｎから動き補正映像信号ＤＶｒｃを減算して、得られた差信号ＤＤｒをノイズ検出部１５に供給する。ノイズ検出部１５では、差信号ＤＤｒからノイズ成分を検出し、このノイズ成分の信号レベルに応じて補正信号ＮＤｒを生成して減算器１６に供給する。減算器１６では、入力映像信号ＤＶｉｎから補正信号ＮＤｒを減算することで、ノイズの低減された出力映像信号ＤＶｏｕｔを生成して出力する。また、この出力映像信号ＤＶｏｕｔをフレームメモリ１１に供給する。なお、ノイズ検出部１５では、減算器１４で得られた差信号ＤＤｒを補正信号ＮＤｒとして減算器１６に供給した場合、動いている画像部分がノイズと判別されてしまうと、動いている画像の信号レベルに応じた補正が行われて残像を生じてしまう。このため、減算器１４で得られた差信号ＤＤｒに対して例えば１よりも小さい係数を乗算して補正信号ＮＤｒを生成することにより、残像が目立ってしまうことを防止している。
【０００８】
このように、動き補正映像信号ＤＶｒｃと入力映像信号ＤＶｉｎとの差からノイズ成分を抽出して、この抽出したノイズ成分を入力映像信号ＤＶｉｎから減算することによって、ノイズの低減された出力映像信号ＤＶｏｕｔを得ることができる。
【０００９】
また、ノイズ低減装置では、フレーム間での動きベクトル検出に代えてフィールド間の動きベクトル検出を行う。この検出された動きベクトルで前フィールドの動き補正を行い、動き補正後の前フィールドの映像信号と現フィールドの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フィールド映像信号から減算することによって、ノイズを低減することも行われている（例えば特許文献２参照）。
【００１０】
図５は、フィールド間で動きベクトルを検出して、この動きベクトルを用いてノイズの低減を行う、従来のノイズ低減装置の構成を示している。
【００１１】
図５において、ディジタルの入力映像信号ＤＶｉｎは、補間フィルタ２２と、減算器２６，２８に供給される。フィールドメモリ２１には、入力映像信号ＤＶｉｎよりも１フィールド前の映像信号が記憶されており、この前フィールドの映像信号ＤＶｅを補間フィルタ２３と動き補正部２５に供給する。
【００１２】
補間フィルタ２２は入力映像信号ＤＶｉｎを用いて補間処理を行い第１の補間映像信号ＤＷ１を生成するとともに、補間フィルタ２３は前フィールド映像信号ＤＶｅを用いて補間処理を行って、垂直方向の空間的位置が補間映像信号ＤＷ１と等しい第２の補間映像信号ＤＷ２を生成する。
【００１３】
動きベクトル検出部２４は、補間フィルタ２３で生成された第２の補間映像信号ＤＷ２に基づく画像に対して、補間フィルタ２２で生成された第１の補間映像信号ＤＷ１に基づく画像の動きベクトルＭＶｅを検出して動き補正部２５に供給する。
【００１４】
動き補正部２５では、動きベクトル検出部２４から供給された動きベクトルＭＶｅを用いて動き補正を行い、前フィールド映像信号ＤＶｅに基づく画像を入力映像信号ＤＶｉｎに基づく画像の位置に移動する。この動きベクトルＭＶｅを用いて動き補正が行われた信号は、動き補正映像信号ＤＶｅｃとして減算器２６に供給される。
【００１５】
減算器２６では、入力映像信号ＤＶｉｎから動き補正映像信号ＤＶｅｃを減算して、得られた差信号ＤＤｅをノイズ検出部２７に供給する。ノイズ検出部２７では、差信号ＤＤｅからノイズ成分を検出し、このノイズ成分に応じた補正信号ＮＤｅを生成して減算器２８に供給する。減算器２８では、入力映像信号ＤＶｉｎから補正信号ＮＤｅを減算して出力映像信号ＤＶｏｕｔとする。また、この出力映像信号ＤＶｏｕｔをフィールドメモリ２１に供給する。
【００１６】
このように、フィールド間で動きベクトルを検出して前フィールドの動き補正を行い、動き補正後の前フィールドの映像信号と現フィールドの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フィールド映像信号から減算することによって、ノイズを低減することができる。また、このようにしてノイズを低減することは、特許文献２に示されている。
【００１７】
【特許文献１】
特開平８−１６３４１０号公報
【特許文献２】
特開２００１−４５３３５号公報
【００１８】
【発明が解決しようとする課題】
ところで、図４に示すノイズ低減装置では、フレーム間で動きベクトルを検出しなければならないため、フィールド間で動きベクトルを検出する場合よりも移動量が大きくなる。したがって、探索範囲を広くする必要があり、回路規模が大きくなってしまう。
【００１９】
また、図５に示すノイズ低減装置では、ノイズの影響が垂直方向に広がりを生じてしまう場合が生じる。例えば図６に示すように、フィールドｆ１における画素Ｐ１の信号レベルが「１００」、フィールドｆ２における画素Ｐ２の信号にノイズ成分「８」が加わって信号レベルが「１０８」となった場合を説明する。
【００２０】
ここで、画素間の信号レベル差の「０．５」倍を補正量すなわち補正信号の信号レベルとしたとき、画素Ｐ１に対する画素Ｐ２との信号レベル差は「８」であることから、補正信号によって信号レベルを「４」減らす補正が行われる。このため、フィールドｆ２における画素Ｐ２は、補正信号によって信号レベルが「１０８」から「１０４」に補正される。次に、フィールドｆ２における画素Ｐ２に対するフィールドｆ３における画素Ｐ１の信号レベル差は「１００−１０４＝−４」であることから、補正信号によって信号レベルを「２」増やす補正が行われる。このため、フィールドｆ３における画素Ｐ１の信号レベル「１００」から「１０２」に補正される。さらに、フィールドｆ４における画素Ｐ２に対しても同様に補正が行われて、フィールドｆ４における画素Ｐ２の信号レベルは「１００」から「１０１」に補正される。このように、ノイズの影響が垂直方向に拡がりを生じてしまう。
【００２１】
また、図７に示すように静止画像における境界部分では、ノイズの低減によって誤動作が生ずる。すなわち、フィールドｆ２の画素Ｐ３の信号レベルは「１３２」から「１１６」に補正され、フィールドｆ３の画素Ｐ４の信号レベルは「１００」から「１０８」に補正される。また、フィールドｆ４の画素Ｐ３の信号レベルは「１３２」から「１２０」に補正され、フィールドｆ５の画素Ｐ４の信号レベルは「１００」から「１１０」に補正される。さらに、フィールドｆ６の画素Ｐ３の信号レベルは「１３２」から「１２１」に補正される。このように、境界部分で信号レベルが変動して、フリッカ状の表示が行われてしまう。
【００２２】
そこで、この発明では、ノイズの低減を良好に行うことができる信号処理装置および信号処理方法を提供するものである。
【００２３】
【課題を解決するための手段】
この発明に係る信号処理装置は、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出手段と、上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正手段と、上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定手段と、上記参照画像設定手段での選択動作を制御する選択制御手段と、上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理手段とを有するものである。
【００２４】
また、この発明に係る信号処理方法は、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出工程と、上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正工程と、上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定工程と、上記参照画像設定工程での選択動作を制御する選択制御工程と、上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理工程とを有するものである。
【００２５】
この発明においては、入力映像信号と入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルが検出されるとともに、この動きベクトルを用いて前フィールド映像信号についての動き補正が行われて動き補正映像信号が生成される。ここで、例えば入力映像信号と前フレーム映像信号を用いて画素単位で動き検出が行われて、動きのある画素単位あるいは複数画素単位の領域では動き補正映像信号が参照画像信号として選択される。また、動きのない画素単位あるいは複数画素単位の領域では前フレーム映像信号が参照画像信号として選択される。この参照画像信号と入力映像信号との差分からノイズ成分が検出されて、このノイズ成分に応じて入力映像信号の信号レベルが補正されることによりノイズが低減される。さらに、前フィールド映像信号と、動き検出結果と、ノイズが低減された映像信号を用いて、入力映像信号と異なる方式、例えばプログレッシブ方式の出力映像信号が生成される。
【００２６】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は信号処理装置の構成を示している。ディジタルの入力映像信号ＤＶｉｎは、補間フィルタ３１と補正処理部３６と選択制御部４３に供給される。
【００２７】
フィールドメモリ４１には、後述する補正処理部３６から供給された映像信号ＤＶｃｒが記憶されている。この記憶されている映像信号ＤＶｃｒは、入力映像信号ＤＶｉｎよりも１フィールド前の映像信号からノイズを低減させた信号である。フィールドメモリ４１は、記憶している映像信号（以下「前フィールド映像信号」という）ＤＶｅを補間フィルタ３２と動き補正部３４とフィールドメモリ４２に供給する。
【００２８】
補間フィルタ３１は、入力映像信号ＤＶｉｎを用いて補間処理を行うとともに、補間フィルタ３２は前フィールド映像信号ＤＶｅを用いて補間処理を行う。この補間処理では、１つのフィールド内で垂直方向に隣接する画素、すなわち連続した２本のラインを用いて、２つのフィールドで垂直方向の空間的位置が一致するに補間映像信号を生成する。
【００２９】
図２は、補間フィルタ３１，３２の動作を説明するための図である。第１のフィールドｆ１の画素と第２のフィールドｆ２の画素は、垂直方向の画素の間隔（ライン間隔）をＬとしたとき、互いに「（１／２）Ｌ」の距離だけ離れた位置である。
補間フィルタ３１は、例えば第１のフィールドｆ１の画素Ｐａ１，Ｐａ２から３：１の距離にある画素Ｐａ１−２の信号を生成する。すなわち、画素Ｐａ１−２は、画素Ｐａ１から「（３／４）Ｌ」の距離で画素Ｐａ２から「（１／４）Ｌ」の距離にある。このため、この距離に応じた割合で、画素Ｐａ１，Ｐａ２の信号を加算できるように補間係数を設定する。すなわち、画素Ｐａ１に対して補間係数「１／４」、画素Ｐａ２に対して補間係数「３／４」を設定する。その後、画素Ｐａ１，Ｐａ２の信号に補間係数を乗算したのち加算することで画素Ｐａ１−２の信号を求める。
【００３０】
また、補間フィルタ３２は、例えば第２のフィールドｆ２の画素Ｐｂ１，Ｐｂ２から１：３の距離にある画素Ｐｂ１−２の信号を生成する。すなわち、画素Ｐｂ１−２は、画素Ｐｂ１から「（１／４）Ｌ」の距離で画素Ｐｂ２から「（３／４）Ｌ」の距離にある。このため、この距離に応じた割合で、画素Ｐｂ１，Ｐｂ２の信号を加算できるように補間係数を設定する。すなわち、画素Ｐｂ１に対して補間係数「３／４」、画素Ｐｂ２に対して補間係数「１／４」を設定する。その後、画素Ｐｂ１，Ｐｂ２の信号に補間係数を乗算したのち加算することで画素Ｐｂ１−２の信号を求める。
【００３１】
このように、補間フィルタ３１，３２は、画素の信号に対して重み付けを行い加算することで、垂直方向の空間的位置が一致する補間信号をそれぞれのフィールドに対して生成することができる。この補間フィルタ３１で生成された第１の補間映像信号ＤＷ１は、動きベクトル検出部３３に供給される。また、補間フィルタ３２で生成された第２の補間映像信号ＤＷ２も、動きベクトル検出部３３に供給される。
【００３２】
動きベクトル検出部３３は、第１の補間映像信号ＤＷ１と第２の補間映像信号ＤＷ２から、前フィールド映像信号ＤＶｅに基づく画像に対して入力映像信号ＤＶｉｎに基づく画像の動きベクトルＭＶｅを検出して動き補正部３４に供給する。この動きベクトルＭＶｅの検出では、探索対象のブロックを移動させて最も相関が高くなる位置を判別することにより動きベクトルを検出するブロックマッチング法、輝度の空間勾配を示す勾配方程式に基づいて動きベクトルを近似計算して，画素単位のマッチングが成功する動きベクトルを求める動きベクトルとする空間勾配法等を用いることができる。
【００３３】
動き補正部３４では、動きベクトル検出部３３から供給された動きベクトルＭＶｅを用いて前フィールド映像信号ＤＶｅに対する動き補正を行い、動き補正後の信号である動き補正映像信号ＤＶｅｃを参照画像設定部３５に供給する。
【００３４】
フィールドメモリ４１から出力された前フィールド映像信号ＤＶｅは、上述の補間フィルタ３２とフィールドメモリ４２に供給される。ここで、フィールドメモリ４２に記憶されている映像信号は、入力映像信号ＤＶｉｎに対して１フレーム期間前の映像信号（以下「前フレーム映像信号」という）であり、この前フレーム映像信号ＤＶｒは、参照画像設定部３５と選択制御部４３に供給される。
【００３５】
参照画像設定部３５は、選択制御部４３から供給された制御信号ＳＣに基づき前フレーム映像信号ＤＶｒあるいは動き補正映像信号ＤＶｅｃのいずれかを、参照画像信号ＤＶｒｆとして選択する。さらに参照画像信号ＤＶｒｆを補正処理部３６の減算器３６１に供給する。
【００３６】
選択制御部４３は、前フレーム映像信号ＤＶｒあるいは動き補正映像信号ＤＶｅｃのいずれかを参照画像信号ＤＶｒｆとして選択するための制御信号ＳＣを生成する。さらに、生成した制御信号ＳＣを参照画像設定部３５に供給する。例えば、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒを用いて動き検出を行い、この検出結果に基づき動きのある画像領域と動きのない画像領域を判別する。さらに、領域の判別結果に基づき、動きのある領域では動き補正映像信号ＤＶｅｃを参照画像信号ＤＶｒｆとして選択し、動きのない領域では前フレーム映像信号ＤＶｒを参照画像信号ＤＶｒｆとして選択するように制御信号ＳＣを生成して参照画像設定部３５に供給する。
【００３７】
ここで、動き検出は画素単位で動き検出を行い、動きのある領域と動きのない領域は画素単位あるいは複数画素単位の領域とする。例えば、画素単位の動き検出結果をそのまま用いて、動きがあった画素を動きのある領域とするとともに動きがない画素を動きのない領域とする。このように、処理することで、動き検出結果に対応した信号の選択を行うことができる。また、同一の動き検出結果が所定画素数だけ続いたか否か、あるいは所定画素サイズの領域に動き部分とされた画素が所定の割合以上含まれたか否かによって、前フレーム映像信号と動き補正映像信号との選択を行うこともできる。この場合には、選択される信号が頻繁に切り替えられてしまうことを防止できる。
【００３８】
なお、入力映像信号ＤＶｉｎのノイズ量をフィールド単位で判別するノイズ量判別手段を設けて、選択制御部４３では、ノイズ量判別手段での判別結果に基づきフィールド単位での信号選択を参照画像設定部３５で行わせることもできる。この場合、ノイズ量が所定量を超えるフィールドでは、前フレーム映像信号を選択させる。このような信号選択を行うものとすれば、ノイズ量が大きいために正しい動き補正信号を得ることができないような場合が生じても、前フレーム映像信号を参照画像信号として選択することで、静止領域に対してノイズ低減効果を得ることができる。
【００３９】
減算器３６１は、ノイズ検出における基準の画像信号である参照画像信号ＤＶｒｆを入力映像信号ＤＶｉｎから減算して、得られた差信号ＤＤｓをノイズ検出器３６２に供給する。ノイズ検出器３６２では、差信号ＤＤｓからノイズ成分を検出して、この検出されたノイズ成分を低減させるための補正信号ＮＤｓを生成して減算器３６３に供給する。減算器３６３では、入力映像信号ＤＶｉｎから補正信号ＮＤｓを減算してノイズの低減された映像信号ＤＶｃｒを生成し、この映像信号ＤＶｃｒを出力するととともに、フィールドメモリ４１に供給する。
【００４０】
このように、ノイズ検出の基準となる参照画像信号ＤＶｒｆとして、動き補正映像信号ＤＶｅｃあるいは前フレーム映像信号ＤＶｒを、入力映像信号ＤＶｉｎに基づいて選択して用いるものとすれば、静止画部分では、参照画像信号ＤＶｒｆとして前フレーム映像信号ＤＶｒを選択してノイズの低減を行うことにより、ノイズによる境界部分での誤動作や影響の垂直方向の広がりを防止して、良好にノイズの低減を行うことができる。また、動画部分では、参照画像信号ＤＶｒｆとして動き補正映像信号ＤＶｅｃを選択してノイズの低減を行うことで、応答性の良好なノイズ低減処理を行うことができる。また、画像の動きが誤ってノイズと判別されしまうことが無く、正しくノイズを低減させることができる。
【００４１】
ところで、入力映像信号ＤＶｉｎの信号処理では、動き検出結果や入力映像信号および前フィールド映像信号等を用いて種々の処理が行われている。このため、ノイズ低減装置を構成するフィールドメモリや動き検出を行う選択制御部を他の信号処理でも利用すれば、ノイズ処理を含めた複数の信号処理を行う際に、回路規模が大きくなってしまうことを防止できる。図３は、ノイズの低減と方式変換処理（例えばインタレース−プログレッシブ変換処理）を行うことができる信号処理装置の構成を示している。なお図３において、一点鎖線で囲んだ部分は上述のノイズ低減処理を行う部分であり、説明は省略する。また、二点鎖線で囲んだ部分はインタレース−プログレッシブ変換処理を行う部分である。
【００４２】
フィールドメモリ４１から出力された前フィールド映像信号ＤＶｅは、出力処理部４４の適応混合器４４２に供給される。選択制御部４３では、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒを用いて動き検出を行い、この動き検出結果ＭＣを適応混合器４４２に供給する。
【００４３】
補正処理部３６から出力された映像信号ＤＶｃｒは、補間フィルタ４４１とライン倍速変換器４４３に供給される。補間フィルタ４４１では、映像信号ＤＶｃｒを用いて同一フィールドの隣接する２ラインの映像信号から、他フィールドのライン位置の映像信号ＤＶｃｅを生成する。例えば垂直方向に連続する２画素の平均値を算出して新たな信号とすることで、他フィールドのライン位置の映像信号を生成する。このように補間処理を行い、新たに生成した映像信号ＤＶｃｅを適応混合器４４２に供給する。
【００４４】
適応混合器４４２は、フィールドメモリ４１から供給された前フィールド映像信号ＤＶｅと補間フィルタ４４１から供給された映像信号ＤＶｃｅを用いて、ノイズ低減後の映像信号ＤＶｃｒに対して異なるフィールドのライン位置である補間映像信号ＤＶｆを、動き検出結果に応じて生成する。例えば、動き検出結果によって動きがないことが示された部分で、映像信号ＤＶｃｅをそのまま用いて補間映像信号ＤＶｆとすると、この補間映像信号ＤＶｆを用いてプログレッシブ方式の出力映像信号ＤＶｏｕｔを生成したとき垂直解像度が低下する。このため、前フィールド映像信号ＤＶｅを補間映像信号ＤＶｆとして用いることで、垂直解像度の低下を防止する。また、動きが検出された部分で前フィールド映像信号ＤＶｅをそのまま用いて補間映像信号ＤＶｆとすると、この補間映像信号ＤＶｆを用いてプログレッシブ方式の出力映像信号ＤＶｏｕｔを生成したときに、二重像の妨害が生じてしまうことがある。このため、補間フィルタ４４１から供給された映像信号ＤＶｃｅを補間映像信号ＤＶｆとして出力することで、二重像の妨害を防止する。さらに、適応混合器４４２では、映像信号ＤＶｃｅと前フィールド映像信号ＤＶｅを切り替えて出力するだけでなく、２つの信号を動き検出結果に応じた混合比で加算して、補間映像信号ＤＶｆを動き検出結果に適応させて生成しても良い。この適応混合器４４２で生成された補間映像信号ＤＶｆはライン倍速変換器４４３に供給される。
【００４５】
ライン倍速変換器４４３では、補正処理部３６から供給された映像信号ＤＶｃｒと、適応混合器４４２から供給された補間映像信号ＤＶｆを交互に倍速で読み出すことで、プログレッシブ方式の出力映像信号ＤＶｏｕｔを生成して出力する。
【００４６】
このように、フィールドメモリや動き検出を行う選択制御部をノイズ低減処理と方式変換処理で共用することで、処理毎に回路を設ける必要がなく、処理毎に回路を設けた場合に比べて回路規模を小さくできる。
【００４７】
【発明の効果】
この発明によれば、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルが検出されて、この動きベクトルを用いて前フィールド映像信号についての動き補正が行われて動き補正映像信号が生成される。この動き補正映像信号と、入力映像信号よりも１フレーム前の前フレーム映像信号のいずれかが参照画像信号として選択されて、入力映像信号と参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて入力映像信号の信号レベルが補正される。このため、動き補正映像信号あるいは前フレーム映像信号の選択を入力映像信号に応じて行うことにより、入力映像信号に適したノイズ低減処理を行うことができる。
【００４８】
また、入力映像信号と前フレーム映像信号を用いて動き検出が行われて、この検出結果に基づき動きのある領域と動きのない領域が判別されて、動きのある領域では動き補正映像信号が参照画像信号として選択され、動きのない領域では前フレーム映像信号が参照画像信号として選択される。このため、静止画部分では、画像の境界における誤動作や影響の垂直方向の広がりを防止して、良好にノイズを低減させることができる。また、動画部分では、応答性の良好で、画像の動きが誤ってノイズと判別されしまうことがなくノイズを低減させることができる。
【００４９】
さらに、前フィールド映像信号と、動き検出結果と、補正処理手段から出力された映像信号を用いて、入力映像信号と異なる方式の出力映像信号が生成されるので、ノイズ低減や方式変換を行う回路を個々に設ける場合に比べて回路規模を小さくできる。
【図面の簡単な説明】
【図１】信号処理装置の構成を示す図である。
【図２】補間フィルタの動作を説明するための図である。
【図３】信号処理装置の他の構成を示す図である。
【図４】従来のノイズ低減装置の構成を示す図である。
【図５】従来のノイズ低減装置の構成を示す図である。
【図６】ノイズ低減処理の影響の広がりを説明するための図である。
【図７】境界部分での誤動作を説明するための図である。
【符号の説明】
３１，３２・・・補間フィルタ、３３・・・動きベクトル検出部、３４・・・動き補正部、３５・・・参照画像設定部、３６・・・補正処理部、４１，４２・・・フィールドメモリ、４３・・・選択制御部、４４・・・出力処理部、３６１，３６３・・・減算器、３６２・・・ノイズ検出器、４４１・・・補間フィルタ、４４２・・・適応混合器、４４３・・・ライン倍速変換器、
【発明の属する技術分野】
この発明は、信号処理装置および信号処理方法に関する。詳しくは、入力映像信号と入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出し、この動きベクトルを用いて前フィールド映像信号についての動き補正を行い動き補正映像信号を生成し、入力映像信号よりも１フレーム前の前フレーム映像信号あるいは動き補正映像信号のいずれかを参照画像信号として選択して、入力映像信号と参照画像信号との差分からノイズ成分を検出して、このノイズ成分に基づいて入力映像信号の信号レベルを補正することで、ノイズの影響を低減させるものである。
【０００２】
【従来の技術】
ディジタル映像信号を処理する信号処理装置、例えばディジタル映像信号からノイズの影響を低減させる信号処理装置として、フィールドメモリやフレームメモリを使用した巡回型のノイズ低減装置が用いられている。
【０００３】
このノイズ低減装置は、フレームメモリに記憶されている前フレーム映像信号に対して、動きベクトルを用いて動き補正を行い、動き補正後の前フレーム映像信号と現フレームの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フレーム映像信号から減算することによって、ノイズを低減することが行われている（例えば特許文献１参照）。
【０００４】
図４は、従来のノイズ低減装置の構成を示している。このノイズ低減装置おいて、ディジタルの入力映像信号ＤＶｉｎは、動きベクトル検出部１２と、減算器１４，１６に供給される。フレームメモリ１１には、入力映像信号ＤＶｉｎよりも１フレーム前の映像信号が記憶されており、この前フレーム映像信号ＤＶｒを動きベクトル検出部１２と動き補正部１３に供給する。
【０００５】
動きベクトル検出部１２は、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒから、前フレーム映像信号ＤＶｒに基づく画像に対して入力映像信号ＤＶｉｎに基づく画像の動きベクトルＭＶｒを検出して動き補正部１３に供給する。
【０００６】
動き補正部１３では、動きベクトル検出部１２から供給された動きベクトルＭＶを用いて動き補正を行い、前フレーム映像信号ＤＶｒに基づく画像を入力映像信号ＤＶｉｎに基づく画像の位置に移動する。この動きベクトルＭＶｒを用いて動き補正が行われた信号は、動き補正映像信号ＤＶｒｃとして減算器１４に供給される。
【０００７】
減算器１４では、入力映像信号ＤＶｉｎから動き補正映像信号ＤＶｒｃを減算して、得られた差信号ＤＤｒをノイズ検出部１５に供給する。ノイズ検出部１５では、差信号ＤＤｒからノイズ成分を検出し、このノイズ成分の信号レベルに応じて補正信号ＮＤｒを生成して減算器１６に供給する。減算器１６では、入力映像信号ＤＶｉｎから補正信号ＮＤｒを減算することで、ノイズの低減された出力映像信号ＤＶｏｕｔを生成して出力する。また、この出力映像信号ＤＶｏｕｔをフレームメモリ１１に供給する。なお、ノイズ検出部１５では、減算器１４で得られた差信号ＤＤｒを補正信号ＮＤｒとして減算器１６に供給した場合、動いている画像部分がノイズと判別されてしまうと、動いている画像の信号レベルに応じた補正が行われて残像を生じてしまう。このため、減算器１４で得られた差信号ＤＤｒに対して例えば１よりも小さい係数を乗算して補正信号ＮＤｒを生成することにより、残像が目立ってしまうことを防止している。
【０００８】
このように、動き補正映像信号ＤＶｒｃと入力映像信号ＤＶｉｎとの差からノイズ成分を抽出して、この抽出したノイズ成分を入力映像信号ＤＶｉｎから減算することによって、ノイズの低減された出力映像信号ＤＶｏｕｔを得ることができる。
【０００９】
また、ノイズ低減装置では、フレーム間での動きベクトル検出に代えてフィールド間の動きベクトル検出を行う。この検出された動きベクトルで前フィールドの動き補正を行い、動き補正後の前フィールドの映像信号と現フィールドの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フィールド映像信号から減算することによって、ノイズを低減することも行われている（例えば特許文献２参照）。
【００１０】
図５は、フィールド間で動きベクトルを検出して、この動きベクトルを用いてノイズの低減を行う、従来のノイズ低減装置の構成を示している。
【００１１】
図５において、ディジタルの入力映像信号ＤＶｉｎは、補間フィルタ２２と、減算器２６，２８に供給される。フィールドメモリ２１には、入力映像信号ＤＶｉｎよりも１フィールド前の映像信号が記憶されており、この前フィールドの映像信号ＤＶｅを補間フィルタ２３と動き補正部２５に供給する。
【００１２】
補間フィルタ２２は入力映像信号ＤＶｉｎを用いて補間処理を行い第１の補間映像信号ＤＷ１を生成するとともに、補間フィルタ２３は前フィールド映像信号ＤＶｅを用いて補間処理を行って、垂直方向の空間的位置が補間映像信号ＤＷ１と等しい第２の補間映像信号ＤＷ２を生成する。
【００１３】
動きベクトル検出部２４は、補間フィルタ２３で生成された第２の補間映像信号ＤＷ２に基づく画像に対して、補間フィルタ２２で生成された第１の補間映像信号ＤＷ１に基づく画像の動きベクトルＭＶｅを検出して動き補正部２５に供給する。
【００１４】
動き補正部２５では、動きベクトル検出部２４から供給された動きベクトルＭＶｅを用いて動き補正を行い、前フィールド映像信号ＤＶｅに基づく画像を入力映像信号ＤＶｉｎに基づく画像の位置に移動する。この動きベクトルＭＶｅを用いて動き補正が行われた信号は、動き補正映像信号ＤＶｅｃとして減算器２６に供給される。
【００１５】
減算器２６では、入力映像信号ＤＶｉｎから動き補正映像信号ＤＶｅｃを減算して、得られた差信号ＤＤｅをノイズ検出部２７に供給する。ノイズ検出部２７では、差信号ＤＤｅからノイズ成分を検出し、このノイズ成分に応じた補正信号ＮＤｅを生成して減算器２８に供給する。減算器２８では、入力映像信号ＤＶｉｎから補正信号ＮＤｅを減算して出力映像信号ＤＶｏｕｔとする。また、この出力映像信号ＤＶｏｕｔをフィールドメモリ２１に供給する。
【００１６】
このように、フィールド間で動きベクトルを検出して前フィールドの動き補正を行い、動き補正後の前フィールドの映像信号と現フィールドの映像信号との差からノイズ成分を抽出して、この抽出したノイズ成分を現フィールド映像信号から減算することによって、ノイズを低減することができる。また、このようにしてノイズを低減することは、特許文献２に示されている。
【００１７】
【特許文献１】
特開平８−１６３４１０号公報
【特許文献２】
特開２００１−４５３３５号公報
【００１８】
【発明が解決しようとする課題】
ところで、図４に示すノイズ低減装置では、フレーム間で動きベクトルを検出しなければならないため、フィールド間で動きベクトルを検出する場合よりも移動量が大きくなる。したがって、探索範囲を広くする必要があり、回路規模が大きくなってしまう。
【００１９】
また、図５に示すノイズ低減装置では、ノイズの影響が垂直方向に広がりを生じてしまう場合が生じる。例えば図６に示すように、フィールドｆ１における画素Ｐ１の信号レベルが「１００」、フィールドｆ２における画素Ｐ２の信号にノイズ成分「８」が加わって信号レベルが「１０８」となった場合を説明する。
【００２０】
ここで、画素間の信号レベル差の「０．５」倍を補正量すなわち補正信号の信号レベルとしたとき、画素Ｐ１に対する画素Ｐ２との信号レベル差は「８」であることから、補正信号によって信号レベルを「４」減らす補正が行われる。このため、フィールドｆ２における画素Ｐ２は、補正信号によって信号レベルが「１０８」から「１０４」に補正される。次に、フィールドｆ２における画素Ｐ２に対するフィールドｆ３における画素Ｐ１の信号レベル差は「１００−１０４＝−４」であることから、補正信号によって信号レベルを「２」増やす補正が行われる。このため、フィールドｆ３における画素Ｐ１の信号レベル「１００」から「１０２」に補正される。さらに、フィールドｆ４における画素Ｐ２に対しても同様に補正が行われて、フィールドｆ４における画素Ｐ２の信号レベルは「１００」から「１０１」に補正される。このように、ノイズの影響が垂直方向に拡がりを生じてしまう。
【００２１】
また、図７に示すように静止画像における境界部分では、ノイズの低減によって誤動作が生ずる。すなわち、フィールドｆ２の画素Ｐ３の信号レベルは「１３２」から「１１６」に補正され、フィールドｆ３の画素Ｐ４の信号レベルは「１００」から「１０８」に補正される。また、フィールドｆ４の画素Ｐ３の信号レベルは「１３２」から「１２０」に補正され、フィールドｆ５の画素Ｐ４の信号レベルは「１００」から「１１０」に補正される。さらに、フィールドｆ６の画素Ｐ３の信号レベルは「１３２」から「１２１」に補正される。このように、境界部分で信号レベルが変動して、フリッカ状の表示が行われてしまう。
【００２２】
そこで、この発明では、ノイズの低減を良好に行うことができる信号処理装置および信号処理方法を提供するものである。
【００２３】
【課題を解決するための手段】
この発明に係る信号処理装置は、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出手段と、上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正手段と、上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定手段と、上記参照画像設定手段での選択動作を制御する選択制御手段と、上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理手段とを有するものである。
【００２４】
また、この発明に係る信号処理方法は、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出工程と、上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正工程と、上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定工程と、上記参照画像設定工程での選択動作を制御する選択制御工程と、上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理工程とを有するものである。
【００２５】
この発明においては、入力映像信号と入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルが検出されるとともに、この動きベクトルを用いて前フィールド映像信号についての動き補正が行われて動き補正映像信号が生成される。ここで、例えば入力映像信号と前フレーム映像信号を用いて画素単位で動き検出が行われて、動きのある画素単位あるいは複数画素単位の領域では動き補正映像信号が参照画像信号として選択される。また、動きのない画素単位あるいは複数画素単位の領域では前フレーム映像信号が参照画像信号として選択される。この参照画像信号と入力映像信号との差分からノイズ成分が検出されて、このノイズ成分に応じて入力映像信号の信号レベルが補正されることによりノイズが低減される。さらに、前フィールド映像信号と、動き検出結果と、ノイズが低減された映像信号を用いて、入力映像信号と異なる方式、例えばプログレッシブ方式の出力映像信号が生成される。
【００２６】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は信号処理装置の構成を示している。ディジタルの入力映像信号ＤＶｉｎは、補間フィルタ３１と補正処理部３６と選択制御部４３に供給される。
【００２７】
フィールドメモリ４１には、後述する補正処理部３６から供給された映像信号ＤＶｃｒが記憶されている。この記憶されている映像信号ＤＶｃｒは、入力映像信号ＤＶｉｎよりも１フィールド前の映像信号からノイズを低減させた信号である。フィールドメモリ４１は、記憶している映像信号（以下「前フィールド映像信号」という）ＤＶｅを補間フィルタ３２と動き補正部３４とフィールドメモリ４２に供給する。
【００２８】
補間フィルタ３１は、入力映像信号ＤＶｉｎを用いて補間処理を行うとともに、補間フィルタ３２は前フィールド映像信号ＤＶｅを用いて補間処理を行う。この補間処理では、１つのフィールド内で垂直方向に隣接する画素、すなわち連続した２本のラインを用いて、２つのフィールドで垂直方向の空間的位置が一致するに補間映像信号を生成する。
【００２９】
図２は、補間フィルタ３１，３２の動作を説明するための図である。第１のフィールドｆ１の画素と第２のフィールドｆ２の画素は、垂直方向の画素の間隔（ライン間隔）をＬとしたとき、互いに「（１／２）Ｌ」の距離だけ離れた位置である。
補間フィルタ３１は、例えば第１のフィールドｆ１の画素Ｐａ１，Ｐａ２から３：１の距離にある画素Ｐａ１−２の信号を生成する。すなわち、画素Ｐａ１−２は、画素Ｐａ１から「（３／４）Ｌ」の距離で画素Ｐａ２から「（１／４）Ｌ」の距離にある。このため、この距離に応じた割合で、画素Ｐａ１，Ｐａ２の信号を加算できるように補間係数を設定する。すなわち、画素Ｐａ１に対して補間係数「１／４」、画素Ｐａ２に対して補間係数「３／４」を設定する。その後、画素Ｐａ１，Ｐａ２の信号に補間係数を乗算したのち加算することで画素Ｐａ１−２の信号を求める。
【００３０】
また、補間フィルタ３２は、例えば第２のフィールドｆ２の画素Ｐｂ１，Ｐｂ２から１：３の距離にある画素Ｐｂ１−２の信号を生成する。すなわち、画素Ｐｂ１−２は、画素Ｐｂ１から「（１／４）Ｌ」の距離で画素Ｐｂ２から「（３／４）Ｌ」の距離にある。このため、この距離に応じた割合で、画素Ｐｂ１，Ｐｂ２の信号を加算できるように補間係数を設定する。すなわち、画素Ｐｂ１に対して補間係数「３／４」、画素Ｐｂ２に対して補間係数「１／４」を設定する。その後、画素Ｐｂ１，Ｐｂ２の信号に補間係数を乗算したのち加算することで画素Ｐｂ１−２の信号を求める。
【００３１】
このように、補間フィルタ３１，３２は、画素の信号に対して重み付けを行い加算することで、垂直方向の空間的位置が一致する補間信号をそれぞれのフィールドに対して生成することができる。この補間フィルタ３１で生成された第１の補間映像信号ＤＷ１は、動きベクトル検出部３３に供給される。また、補間フィルタ３２で生成された第２の補間映像信号ＤＷ２も、動きベクトル検出部３３に供給される。
【００３２】
動きベクトル検出部３３は、第１の補間映像信号ＤＷ１と第２の補間映像信号ＤＷ２から、前フィールド映像信号ＤＶｅに基づく画像に対して入力映像信号ＤＶｉｎに基づく画像の動きベクトルＭＶｅを検出して動き補正部３４に供給する。この動きベクトルＭＶｅの検出では、探索対象のブロックを移動させて最も相関が高くなる位置を判別することにより動きベクトルを検出するブロックマッチング法、輝度の空間勾配を示す勾配方程式に基づいて動きベクトルを近似計算して，画素単位のマッチングが成功する動きベクトルを求める動きベクトルとする空間勾配法等を用いることができる。
【００３３】
動き補正部３４では、動きベクトル検出部３３から供給された動きベクトルＭＶｅを用いて前フィールド映像信号ＤＶｅに対する動き補正を行い、動き補正後の信号である動き補正映像信号ＤＶｅｃを参照画像設定部３５に供給する。
【００３４】
フィールドメモリ４１から出力された前フィールド映像信号ＤＶｅは、上述の補間フィルタ３２とフィールドメモリ４２に供給される。ここで、フィールドメモリ４２に記憶されている映像信号は、入力映像信号ＤＶｉｎに対して１フレーム期間前の映像信号（以下「前フレーム映像信号」という）であり、この前フレーム映像信号ＤＶｒは、参照画像設定部３５と選択制御部４３に供給される。
【００３５】
参照画像設定部３５は、選択制御部４３から供給された制御信号ＳＣに基づき前フレーム映像信号ＤＶｒあるいは動き補正映像信号ＤＶｅｃのいずれかを、参照画像信号ＤＶｒｆとして選択する。さらに参照画像信号ＤＶｒｆを補正処理部３６の減算器３６１に供給する。
【００３６】
選択制御部４３は、前フレーム映像信号ＤＶｒあるいは動き補正映像信号ＤＶｅｃのいずれかを参照画像信号ＤＶｒｆとして選択するための制御信号ＳＣを生成する。さらに、生成した制御信号ＳＣを参照画像設定部３５に供給する。例えば、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒを用いて動き検出を行い、この検出結果に基づき動きのある画像領域と動きのない画像領域を判別する。さらに、領域の判別結果に基づき、動きのある領域では動き補正映像信号ＤＶｅｃを参照画像信号ＤＶｒｆとして選択し、動きのない領域では前フレーム映像信号ＤＶｒを参照画像信号ＤＶｒｆとして選択するように制御信号ＳＣを生成して参照画像設定部３５に供給する。
【００３７】
ここで、動き検出は画素単位で動き検出を行い、動きのある領域と動きのない領域は画素単位あるいは複数画素単位の領域とする。例えば、画素単位の動き検出結果をそのまま用いて、動きがあった画素を動きのある領域とするとともに動きがない画素を動きのない領域とする。このように、処理することで、動き検出結果に対応した信号の選択を行うことができる。また、同一の動き検出結果が所定画素数だけ続いたか否か、あるいは所定画素サイズの領域に動き部分とされた画素が所定の割合以上含まれたか否かによって、前フレーム映像信号と動き補正映像信号との選択を行うこともできる。この場合には、選択される信号が頻繁に切り替えられてしまうことを防止できる。
【００３８】
なお、入力映像信号ＤＶｉｎのノイズ量をフィールド単位で判別するノイズ量判別手段を設けて、選択制御部４３では、ノイズ量判別手段での判別結果に基づきフィールド単位での信号選択を参照画像設定部３５で行わせることもできる。この場合、ノイズ量が所定量を超えるフィールドでは、前フレーム映像信号を選択させる。このような信号選択を行うものとすれば、ノイズ量が大きいために正しい動き補正信号を得ることができないような場合が生じても、前フレーム映像信号を参照画像信号として選択することで、静止領域に対してノイズ低減効果を得ることができる。
【００３９】
減算器３６１は、ノイズ検出における基準の画像信号である参照画像信号ＤＶｒｆを入力映像信号ＤＶｉｎから減算して、得られた差信号ＤＤｓをノイズ検出器３６２に供給する。ノイズ検出器３６２では、差信号ＤＤｓからノイズ成分を検出して、この検出されたノイズ成分を低減させるための補正信号ＮＤｓを生成して減算器３６３に供給する。減算器３６３では、入力映像信号ＤＶｉｎから補正信号ＮＤｓを減算してノイズの低減された映像信号ＤＶｃｒを生成し、この映像信号ＤＶｃｒを出力するととともに、フィールドメモリ４１に供給する。
【００４０】
このように、ノイズ検出の基準となる参照画像信号ＤＶｒｆとして、動き補正映像信号ＤＶｅｃあるいは前フレーム映像信号ＤＶｒを、入力映像信号ＤＶｉｎに基づいて選択して用いるものとすれば、静止画部分では、参照画像信号ＤＶｒｆとして前フレーム映像信号ＤＶｒを選択してノイズの低減を行うことにより、ノイズによる境界部分での誤動作や影響の垂直方向の広がりを防止して、良好にノイズの低減を行うことができる。また、動画部分では、参照画像信号ＤＶｒｆとして動き補正映像信号ＤＶｅｃを選択してノイズの低減を行うことで、応答性の良好なノイズ低減処理を行うことができる。また、画像の動きが誤ってノイズと判別されしまうことが無く、正しくノイズを低減させることができる。
【００４１】
ところで、入力映像信号ＤＶｉｎの信号処理では、動き検出結果や入力映像信号および前フィールド映像信号等を用いて種々の処理が行われている。このため、ノイズ低減装置を構成するフィールドメモリや動き検出を行う選択制御部を他の信号処理でも利用すれば、ノイズ処理を含めた複数の信号処理を行う際に、回路規模が大きくなってしまうことを防止できる。図３は、ノイズの低減と方式変換処理（例えばインタレース−プログレッシブ変換処理）を行うことができる信号処理装置の構成を示している。なお図３において、一点鎖線で囲んだ部分は上述のノイズ低減処理を行う部分であり、説明は省略する。また、二点鎖線で囲んだ部分はインタレース−プログレッシブ変換処理を行う部分である。
【００４２】
フィールドメモリ４１から出力された前フィールド映像信号ＤＶｅは、出力処理部４４の適応混合器４４２に供給される。選択制御部４３では、入力映像信号ＤＶｉｎと前フレーム映像信号ＤＶｒを用いて動き検出を行い、この動き検出結果ＭＣを適応混合器４４２に供給する。
【００４３】
補正処理部３６から出力された映像信号ＤＶｃｒは、補間フィルタ４４１とライン倍速変換器４４３に供給される。補間フィルタ４４１では、映像信号ＤＶｃｒを用いて同一フィールドの隣接する２ラインの映像信号から、他フィールドのライン位置の映像信号ＤＶｃｅを生成する。例えば垂直方向に連続する２画素の平均値を算出して新たな信号とすることで、他フィールドのライン位置の映像信号を生成する。このように補間処理を行い、新たに生成した映像信号ＤＶｃｅを適応混合器４４２に供給する。
【００４４】
適応混合器４４２は、フィールドメモリ４１から供給された前フィールド映像信号ＤＶｅと補間フィルタ４４１から供給された映像信号ＤＶｃｅを用いて、ノイズ低減後の映像信号ＤＶｃｒに対して異なるフィールドのライン位置である補間映像信号ＤＶｆを、動き検出結果に応じて生成する。例えば、動き検出結果によって動きがないことが示された部分で、映像信号ＤＶｃｅをそのまま用いて補間映像信号ＤＶｆとすると、この補間映像信号ＤＶｆを用いてプログレッシブ方式の出力映像信号ＤＶｏｕｔを生成したとき垂直解像度が低下する。このため、前フィールド映像信号ＤＶｅを補間映像信号ＤＶｆとして用いることで、垂直解像度の低下を防止する。また、動きが検出された部分で前フィールド映像信号ＤＶｅをそのまま用いて補間映像信号ＤＶｆとすると、この補間映像信号ＤＶｆを用いてプログレッシブ方式の出力映像信号ＤＶｏｕｔを生成したときに、二重像の妨害が生じてしまうことがある。このため、補間フィルタ４４１から供給された映像信号ＤＶｃｅを補間映像信号ＤＶｆとして出力することで、二重像の妨害を防止する。さらに、適応混合器４４２では、映像信号ＤＶｃｅと前フィールド映像信号ＤＶｅを切り替えて出力するだけでなく、２つの信号を動き検出結果に応じた混合比で加算して、補間映像信号ＤＶｆを動き検出結果に適応させて生成しても良い。この適応混合器４４２で生成された補間映像信号ＤＶｆはライン倍速変換器４４３に供給される。
【００４５】
ライン倍速変換器４４３では、補正処理部３６から供給された映像信号ＤＶｃｒと、適応混合器４４２から供給された補間映像信号ＤＶｆを交互に倍速で読み出すことで、プログレッシブ方式の出力映像信号ＤＶｏｕｔを生成して出力する。
【００４６】
このように、フィールドメモリや動き検出を行う選択制御部をノイズ低減処理と方式変換処理で共用することで、処理毎に回路を設ける必要がなく、処理毎に回路を設けた場合に比べて回路規模を小さくできる。
【００４７】
【発明の効果】
この発明によれば、入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルが検出されて、この動きベクトルを用いて前フィールド映像信号についての動き補正が行われて動き補正映像信号が生成される。この動き補正映像信号と、入力映像信号よりも１フレーム前の前フレーム映像信号のいずれかが参照画像信号として選択されて、入力映像信号と参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて入力映像信号の信号レベルが補正される。このため、動き補正映像信号あるいは前フレーム映像信号の選択を入力映像信号に応じて行うことにより、入力映像信号に適したノイズ低減処理を行うことができる。
【００４８】
また、入力映像信号と前フレーム映像信号を用いて動き検出が行われて、この検出結果に基づき動きのある領域と動きのない領域が判別されて、動きのある領域では動き補正映像信号が参照画像信号として選択され、動きのない領域では前フレーム映像信号が参照画像信号として選択される。このため、静止画部分では、画像の境界における誤動作や影響の垂直方向の広がりを防止して、良好にノイズを低減させることができる。また、動画部分では、応答性の良好で、画像の動きが誤ってノイズと判別されしまうことがなくノイズを低減させることができる。
【００４９】
さらに、前フィールド映像信号と、動き検出結果と、補正処理手段から出力された映像信号を用いて、入力映像信号と異なる方式の出力映像信号が生成されるので、ノイズ低減や方式変換を行う回路を個々に設ける場合に比べて回路規模を小さくできる。
【図面の簡単な説明】
【図１】信号処理装置の構成を示す図である。
【図２】補間フィルタの動作を説明するための図である。
【図３】信号処理装置の他の構成を示す図である。
【図４】従来のノイズ低減装置の構成を示す図である。
【図５】従来のノイズ低減装置の構成を示す図である。
【図６】ノイズ低減処理の影響の広がりを説明するための図である。
【図７】境界部分での誤動作を説明するための図である。
【符号の説明】
３１，３２・・・補間フィルタ、３３・・・動きベクトル検出部、３４・・・動き補正部、３５・・・参照画像設定部、３６・・・補正処理部、４１，４２・・・フィールドメモリ、４３・・・選択制御部、４４・・・出力処理部、３６１，３６３・・・減算器、３６２・・・ノイズ検出器、４４１・・・補間フィルタ、４４２・・・適応混合器、４４３・・・ライン倍速変換器、
Claims (8)
- 入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正手段と、
上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定手段と、
上記参照画像設定手段での選択動作を制御する選択制御手段と、
上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理手段とを有することを特徴とする信号処理装置。 - 上記選択制御手段は、上記入力映像信号と前フレーム映像信号を用いて動き検出を行い、該検出結果に基づき動きのある領域と動きのない領域を判別して、上記動きのある領域では上記動き補正映像信号を上記参照画像信号として上記参照画像設定手段で選択させるものとし、動きのない領域では前フレーム映像信号を参照画像信号として上記参照画像設定手段で選択させることを特徴とする請求項１記載の信号処理装置。
- 上記選択制御手段は、画素単位で動き検出を行い、上記動きのある画像領域と上記動きのない画像領域は画素単位あるいは複数画素単位の領域とすることを特徴とする請求項２記載の信号処理装置。
- 上記前フィールド映像信号と、上記動き検出結果と、上記補正処理手段から出力された映像信号を用いて、上記入力映像信号と異なる方式の出力映像信号を生成する出力処理手段とを有することを特徴とする請求項２記載の信号処理装置。
- 入力映像信号と該入力映像信号よりも１フィールド前の前フィールド映像信号を用いて動きベクトルを検出する動きベクトル検出工程と、
上記動きベクトルを用いて上記前フィールド映像信号についての動き補正を行い動き補正映像信号を生成する動き補正工程と、
上記入力映像信号よりも１フレーム前の前フレーム映像信号あるいは上記動き補正映像信号のいずれかを、参照画像信号として選択する参照画像設定工程と、
上記参照画像設定工程での選択動作を制御する選択制御工程と、
上記入力映像信号と上記参照画像信号との差分からノイズ成分を検出して、該ノイズ成分に応じて上記入力映像信号の信号レベルを補正する補正処理工程とを有することを特徴とする信号処理方法。 - 上記選択制御工程では、上記入力映像信号と前フレーム映像信号を用いて動き検出を行い、該検出結果に基づき動きのある領域と動きのない領域を判別して、上記動きのある領域では上記動き補正映像信号を上記参照画像信号として上記参照画像設定手段で選択させるものとし、動きのない領域では前フレーム映像信号を参照画像信号として上記参照画像設定手段で選択させることを特徴とする請求項５記載の信号処理方法。
- 上記選択制御工程では、画素単位で動き検出を行い、上記動きのある画像領域と上記動きのない画像領域は画素単位あるいは複数画素単位の領域とすることを特徴とする請求項６記載の信号処理方法。
- 上記前フィールド映像信号と、上記動き検出結果と、上記補正処理手段から出力された映像信号を用いて、上記入力映像信号と異なる方式の出力映像信号を生成する出力処理工程とを有することを特徴とする請求項６記載の信号処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003124003A JP3960258B2 (ja) | 2003-04-28 | 2003-04-28 | 信号処理装置および信号処理方法 |
| TW93111273A TWI248295B (en) | 2003-04-28 | 2004-04-22 | Signal processing device and signal processing method |
| KR20040028921A KR101000612B1 (ko) | 2003-04-28 | 2004-04-27 | 신호 처리 장치 및 신호 처리 방법 |
| US10/833,826 US7365801B2 (en) | 2003-04-28 | 2004-04-27 | Apparatus and method for processing signal |
| CNB2004100550559A CN100380922C (zh) | 2003-04-28 | 2004-04-28 | 用于处理信号的设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003124003A JP3960258B2 (ja) | 2003-04-28 | 2003-04-28 | 信号処理装置および信号処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004328635A true JP2004328635A (ja) | 2004-11-18 |
| JP2004328635A5 JP2004328635A5 (ja) | 2005-07-21 |
| JP3960258B2 JP3960258B2 (ja) | 2007-08-15 |
Family
ID=33501734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003124003A Expired - Fee Related JP3960258B2 (ja) | 2003-04-28 | 2003-04-28 | 信号処理装置および信号処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7365801B2 (ja) |
| JP (1) | JP3960258B2 (ja) |
| KR (1) | KR101000612B1 (ja) |
| CN (1) | CN100380922C (ja) |
| TW (1) | TWI248295B (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1991005A2 (en) | 2007-05-11 | 2008-11-12 | Sony Corporation | Apparatus, method, and program for temporal filtering of a video signal before video signal processing |
| US7728909B2 (en) | 2005-06-13 | 2010-06-01 | Seiko Epson Corporation | Method and system for estimating motion and compensating for perceived motion blur in digital video |
| WO2010140302A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
| JP2013126237A (ja) * | 2011-12-16 | 2013-06-24 | Chuo Electronics Co Ltd | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7149492B2 (en) * | 2004-07-30 | 2006-12-12 | Broadcom Corporation | Method to improve CMFB phase margin of variable-output-bandwidth mixer |
| JP5062968B2 (ja) * | 2004-08-11 | 2012-10-31 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7661309B2 (en) * | 2004-10-04 | 2010-02-16 | Industrial Research Limited | Angle and force measurement instrument |
| GB2431803A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Alias avoidance in image processing |
| US8218091B2 (en) * | 2006-04-18 | 2012-07-10 | Marvell World Trade Ltd. | Shared memory multi video channel display apparatus and methods |
| US8284322B2 (en) | 2006-04-18 | 2012-10-09 | Marvell World Trade Ltd. | Shared memory multi video channel display apparatus and methods |
| US8264610B2 (en) | 2006-04-18 | 2012-09-11 | Marvell World Trade Ltd. | Shared memory multi video channel display apparatus and methods |
| TWI401944B (zh) * | 2007-06-13 | 2013-07-11 | Novatek Microelectronics Corp | 用於視訊處理系統之雜訊消除裝置 |
| US8411205B2 (en) * | 2007-07-11 | 2013-04-02 | Olympus Corporation | Noise reducing image processing apparatus |
| EP2184914A1 (en) | 2008-07-16 | 2010-05-12 | Panasonic Corporation | Image processing device, image processing method, program, recording medium, and integrated circuit |
| US8687125B2 (en) * | 2010-05-18 | 2014-04-01 | Sharp Kabushiki Kaisha | Image processing system and display device for carrying out subtraction or addition of a pixel value of a target pixel in accordance with a value equivalent to a noise quantity |
| JP5468526B2 (ja) * | 2010-11-25 | 2014-04-09 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| CN103947181A (zh) * | 2011-11-18 | 2014-07-23 | 三菱电机株式会社 | 图像处理装置和方法以及图像显示装置和方法 |
| US9019340B2 (en) * | 2012-03-28 | 2015-04-28 | Intel Corporation | Content aware selective adjusting of motion estimation |
| JP5974250B2 (ja) * | 2014-02-07 | 2016-08-23 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
| CN113964843B (zh) * | 2021-11-26 | 2023-11-10 | 国网江苏省电力有限公司扬州市江都区供电分公司 | 基于神经网络的动态电压补偿控制方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS592227B2 (ja) * | 1978-08-21 | 1984-01-17 | 株式会社日立製作所 | 雑音除去方式 |
| JP2586260B2 (ja) * | 1991-10-22 | 1997-02-26 | 三菱電機株式会社 | 適応的ブロッキング画像符号化装置 |
| JP3359439B2 (ja) | 1994-12-01 | 2002-12-24 | 沖電気工業株式会社 | ノイズ低減回路 |
| WO1997016923A1 (en) * | 1995-11-01 | 1997-05-09 | Philips Electronics N.V. | Video signal scan conversion |
| KR100195017B1 (ko) | 1996-10-25 | 1999-06-15 | 윤종용 | 영상신호 처리시스템의 잡음경감장치 |
| JPH10178560A (ja) | 1996-12-17 | 1998-06-30 | Oki Electric Ind Co Ltd | ノイズ除去回路 |
| EP0957367A1 (en) * | 1998-04-14 | 1999-11-17 | THOMSON multimedia | Method for estimating the noise level in a video sequence |
| JP2000023166A (ja) * | 1998-07-06 | 2000-01-21 | Nec Corp | 動画像符号化処理装置 |
| JP2001045335A (ja) | 1999-07-29 | 2001-02-16 | Sony Corp | 信号処理装置及び方法 |
| JP2001103341A (ja) * | 1999-07-29 | 2001-04-13 | Sony Corp | 信号処理装置及び方法 |
| KR100332340B1 (ko) * | 1999-10-21 | 2002-04-12 | 윤종용 | 영상 노이즈 검출방법 및 장치 |
| JP2002033942A (ja) * | 2000-07-17 | 2002-01-31 | Sanyo Electric Co Ltd | 画像信号の雑音抑制方法及びこの雑音抑制方法を用いた画像信号処理装置 |
-
2003
- 2003-04-28 JP JP2003124003A patent/JP3960258B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-22 TW TW93111273A patent/TWI248295B/zh not_active IP Right Cessation
- 2004-04-27 KR KR20040028921A patent/KR101000612B1/ko not_active IP Right Cessation
- 2004-04-27 US US10/833,826 patent/US7365801B2/en not_active Expired - Fee Related
- 2004-04-28 CN CNB2004100550559A patent/CN100380922C/zh not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728909B2 (en) | 2005-06-13 | 2010-06-01 | Seiko Epson Corporation | Method and system for estimating motion and compensating for perceived motion blur in digital video |
| EP1991005A2 (en) | 2007-05-11 | 2008-11-12 | Sony Corporation | Apparatus, method, and program for temporal filtering of a video signal before video signal processing |
| US9100663B2 (en) | 2007-05-11 | 2015-08-04 | Sony Corporation | Apparatus, method, and program for video signal processing, and storage medium |
| WO2010140302A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
| JP2010283623A (ja) * | 2009-06-04 | 2010-12-16 | Panasonic Corp | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
| US8204337B2 (en) | 2009-06-04 | 2012-06-19 | Panasonic Corporation | Image processing system and method for noise reduction |
| JP2013126237A (ja) * | 2011-12-16 | 2013-06-24 | Chuo Electronics Co Ltd | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1571473A (zh) | 2005-01-26 |
| CN100380922C (zh) | 2008-04-09 |
| TWI248295B (en) | 2006-01-21 |
| KR101000612B1 (ko) | 2010-12-10 |
| US7365801B2 (en) | 2008-04-29 |
| TW200505229A (en) | 2005-02-01 |
| KR20040093424A (ko) | 2004-11-05 |
| US20040264802A1 (en) | 2004-12-30 |
| JP3960258B2 (ja) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3960258B2 (ja) | 信号処理装置および信号処理方法 | |
| US8351510B1 (en) | Motion compensated noise reduction using shared motion estimation engine | |
| JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
| JP2009533928A (ja) | イメージ信号中の推定動きベクトルの決定方法、コンピュータプログラム、コンピュータプログラム製品およびディスプレイ装置 | |
| US20120093231A1 (en) | Image processing apparatus and image processing method | |
| JPWO2006025396A1 (ja) | 画像処理装置および画像処理プログラム | |
| WO2010007777A1 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 | |
| JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
| JP3018377B2 (ja) | 動きベクトルを用いた動き内挿方法及び装置 | |
| WO1992007443A1 (en) | Picture movement detector | |
| JP2009265688A (ja) | 動き検出装置 | |
| JP2005229166A (ja) | 映像信号のノイズ量測定装置および測定方法 | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
| JP4261381B2 (ja) | 映像信号処理装置 | |
| JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
| JP4572606B2 (ja) | 画像処理装置 | |
| JP2008118340A (ja) | 動きベクトル検出装置及びビデオ信号処理装置 | |
| JP2003047011A (ja) | 動きベクトルを用いる動き補正方法 | |
| JP3013898B2 (ja) | Ｔｖ信号における動きベクトルを用いた動き内挿方法 | |
| JP2005086631A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
| JP2012094960A (ja) | 動き適応型フィールド補間装置及び動き適応型フィールド補間方法 | |
| JP4274430B2 (ja) | 動きベクトル検出装置 | |
| JP2006041619A (ja) | 画像処理装置 | |
| JP2004173033A (ja) | 画像処理方法及び画像処理装置 | |
| JPH05328202A (ja) | 画像の手振れ補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041207 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060502 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |