JP2001045335A

JP2001045335A - 信号処理装置及び方法

Info

Publication number: JP2001045335A
Application number: JP21564299A
Authority: JP
Inventors: Masami Tomita; 真巳冨田; Kyoko Fukuda; 京子福田; Hiroshi Kobayashi; 博小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-07-29
Filing date: 1999-07-29
Publication date: 2001-02-16

Abstract

(57)【要約】【課題】映像信号からノイズを低減する。【解決手段】入力映像信号から動きベクトルを検出す
る動きベクトル検出回路７と、動きベクトルの有効／無
効を判定するベクトル有効／無効判定回路８と、上記判
定に基づいて入力映像信号に動き補償を行った上で入力
映像信号との差分信号を得る第１の減算器１０と、差分
信号に非線形処理を施す減衰器１２と、減衰器１２から
の信号と入力映像信号を合成する第２の減算器１４とを
有している。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、映像信号を処理す
る信号処理装置及び方法に関する。

【０００２】

【従来の技術】フレームメモリを使用した巡回型ノイズ
低減装置は、ディジタル映像信号処理の分野で知られて
いる。これは、入力映像信号とフレームメモリからの１
フレーム前の映像信号との差の内の小レベルの部分をノ
イズとして抽出し、抽出したノイズ成分を入力映像信号
から減算することによって、ノイズを低減し、また、ノ
イズが低減された信号をフレームメモリに書き込むもの
である。フレームメモリの代わりにフィールドメモリを
使用すれば、メモリの容量を少なくすることが可能であ
る。

【０００３】図６は、従来のノイズ低減装置の一例を示
すものである。入力端子２０１からディジタル信号に変
換された入力映像信号Ｖinが供給され、この入力映像信
号Ｖinが第１の減算器２０２及び第２の減算器２０４に
供給される。第１の減算器２０２の出力映像信号Ｖout
が出力端子２０７に取り出されると共に、フレームメモ
リ２０５に書き込まれる。フレームメモリ２０５と関連
してメモリコントローラ２０６が設けられている。メモ
リコントローラ２０６は、フレームメモリ２０５の書き
込み動作及び読み出し動作を制御するためのもので、フ
レームメモリ２０５の読み出しデータは、書き込みデー
タに対して１フレーム遅延されたものである。１フレー
ム遅延をＦ^-1で表すと、フレームメモリ２０５の出力信
号Ｖout・Ｆ^-1が第２の減算器２０４に供給される。第
２の減算器２０４では、入力映像信号Ｖinが供給される
ので、フレーム差分が発生する。

【０００４】第２の減算器２０４の出力映像信号が非線
形回路２０３を介して第１の減算器２０２に供給され
る。非線形回路２０３は、入力信号のレベルに応じて帰
還係数Ｋを乗じるもので、ＲＯＭ（読み出し専用メモ
リ）により構成される。非線形回路２０３の入出力特性
は、入力（フレーム差分）が小さい範囲では、Ｋ＝１と
して入力をノイズ成分として出力し、入力が中間的レベ
ルの範囲では、出力を所定値に制限し、入力が大きい範
囲では、出力を小さくし、さらに、入力が大きい時に
は、フレーム差分は、動きにより発生したものとして、
出力を０としている。

【０００５】このように、ノイズ成分は、フレーム間の
相関が小さく、且つ小振幅であるという特性を利用して
非線形回路２０３がノイズ成分を抽出する。第１の減算
器２０２において、抽出されたノイズ成分が入力映像信
号から減算されることによって、ノイズを低減すること
ができる。

【０００６】ノイズ低減装置からの出力映像信号Ｖout
は、Ｖout ＝Ｖin−Ｋ・（Ｖin−Ｖout ・Ｆ^-1）＝Ｖin・（１−Ｋ）／（１−Ｋ・Ｆ^-1）で表すことができる。

【０００７】上述のように、従来のノイズ低減装置にお
いては、入力映像信号とフレームメモリから読み出した
１フレーム前の映像信号との差分から、小振幅の成分を
ノイズとして抽出し、入力映像信号から減算することに
よってノイズを低減する。

【０００８】また、従来のノイズ低減装置においては、
このノイズを低減した映像信号をフレームメモリに書き
込み次のフレームの処理に利用する。フレームの代わり
にフィールド間の自己相関を利用するなら、フレームメ
モリではなくフィールドメモリでも同様の構成が可能で
ある。

【０００９】

【発明が解決しようとする課題】ところで、従来のノイ
ズ低減装置においては、動画像の映像信号においてはフ
レーム間での画像の相関がなくなり、ノイズ以外の信号
が抽出されてしまう。このため、従来、画像の動きに対
応する１つの動きベクトルや、画像を複数のブロックに
分割してブロックごとに動きベクトルを求め、この動き
ベクトルに基づいて動き補償を行ってノイズを低減する
方法が知られている。

【００１０】しかし、実際に動画像に対応して求められ
た動きベクトルが常に有効なものであるとは限らない。
動きベクトルが有効でなかったときには、この動きベク
トルに基づいた動き補償も有効でないことになる。した
がって、このような動きベクトルを用いて動き補償を行
うと、動画像を却って劣化させてしまうことになる。

【００１１】本発明は、上述の実情に鑑みて提案される
ものであって、動画像に対応して求められた動きベクト
ルに基づく補償を行って動画像からノイズを低減する場
合の不具合を回避し得るような信号処理装置及び方法を
提供することを目的とする。

【００１２】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る信号処理装置は、入力映像信号から
動きベクトルを検出する動きベクトル検出手段と、上記
動きベクトル検出手段で検出した動きベクトルの有効／
無効を判定する有効／無効判定手段と、上記有効／無効
判定手段での有効／無効の判定に基づいて、上記入力映
像信号に対して上記動きベクトルに基づいて動き補償を
行った上で、１映像単位前の上記入力映像信号との差分
信号を得る差分手段と、上記差分手段からの差分信号に
対して非線形処理を施す非線形処理手段と、上記入力映
像信号と上記非線形処理手段で非線形処理が施された信
号とを合成する合成手段とを有するものである。

【００１３】本発明に係る信号処理方法は、入力映像信
号から動きベクトルを検出し、検出した動きベクトルの
有効／無効を判定し、上記動きベクトルの有効／無効の
判定に基づいて、上記入力映像信号に対して上記動きベ
クトルに基づいて動き補償を行った上で、１映像単位前
の上記入力映像信号との差分信号を得、上記差分信号に
対して非線形処理を施し、上記入力映像信号と上記非線
形処理が施された信号とを合成するものである。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。まず、この発明を適用す
ることができる光ディスク記録再生装置の一例について
説明する。

【００１５】図１は、光ディスク記録再生装置１を全体
として示す。この光ディスク記録再生装置１の記録系
は、入力端子１０１から画像信号が入力されるＡ／Ｄ変
換回路１０２と、Ａ／Ｄ変換回路１０２から画像データ
が入力されるＮＴＳＣ（National Television System C
ommittee) デコーダ１０３と、ＮＴＳＣデコーダ１０３
から画像が入力されるノイズ低減回路１０４と、ノイズ
低減回路１０４から画像データが入力されるＭＰＥＧ
（Moving Picture Experts Group) エンコーダ１０５
と、ＭＰＥＧエンコーダ１０５から画像データが入力さ
れるＥＣＣ（Error Correction Codes) エンコーダ１０
６と、ＥＣＣエンコーダ１０６から画像データが入力さ
れる８−１４変調回路１０７と、８−１４変調回路１０
７から画像データが入力されるＲＦアンプ１０８とで構
成されている。

【００１６】Ａ／Ｄ変換回路１０２は、入力端子１０１
からのＮＴＳＣ方式の画像信号が入力されて、Ａ／Ｄ変
換処理を施す。このＡ／Ｄ変換回路１０２は、Ａ／Ｄ変
換処理を施すことで、アナログ方式の画像信号をディジ
タル方式の画像データとする。そして、このＡ／Ｄ変換
回路１０２は、画像データをＮＴＳＣデコーダ１０３に
出力する。

【００１７】ＮＴＳＣデコーダ１０３には、Ａ／Ｄ変換
回路１０２からのＮＴＳＣ方式の画像データが入力され
る。このＮＴＳＣデコーダ１０３は、ＮＴＳＣ方式のコ
ンポジット信号にデコード処理を施す。このＮＴＳＣデ
コーダ１０３は、デコード処理を施すことで、画像デー
タをベースバンド信号（輝度信号、Ｒ−Ｙ信号、Ｂ−Ｙ
信号）に変換する。そして、このＮＴＳＣデコーダ１０
３は、画像データをノイズ低減回路１０４に出力する。

【００１８】ノイズ低減回路１０４には、ＮＴＳＣデコ
ーダ１０３からの画像データが入力される。このノイズ
低減回路１０４は、入力映像信号に含まれているランダ
ムノイズの低減処理を施す。このノイズ低減回路１０４
は、ノイズ低減処理を施すことで、後段のＭＰＥＧエン
コーダ１０５における画像圧縮効率を高めるとともに、
動き補償予測精度の向上させる。ノイズ低減処理を、全
てのコンポーネントに対して行うか、又は輝度信号のみ
に対して行う。ノイズ低減回路１０４は、フィルタリン
グ処理を行うことで、ＮＴＳＣデコーダ１０３からの画
像データに対してノイズ低減処理を施す。また、このノ
イズ低減回路１０４は、制御回路１２０と接続されてお
り、この制御回路１２０からの制御信号に応じて動作す
る。制御回路１２０は、マイクロコンピュータの構成と
される。そして、このノイズ低減回路１０４は、画像デ
ータをＭＰＥＧエンコーダ１０５に出力する。

【００１９】本実施の形態では、ノイズ低減回路１０４
は、動きベクトルを検出し、この動きベクトルの有効／
無効を判定する。そして、この判定に応じて、画像デー
タに対する上記動きベクトルに基づいた非線形処理によ
るフィルタリングを行うものである。

【００２０】ＭＰＥＧエンコーダ１０５は、ノイズ低減
回路１０４からの画像データに対して動き補償フレーム
間予測符号化を行い、予測誤差に対してブロックＤＣＴ
（Discrete Cosine Transform : 離散コサイン変換）符
号化処理を施す。このＭＰＥＧエンコーダ１０５は、画
像データに符号化処理を施すことで、ＭＰＥＧ方式の画
像データとする。このとき、ＭＰＥＧエンコーダ１０５
では、例えば量子化スケール等の符号化情報を画像デー
タに付加してビットストリームとする。そして、このＭ
ＰＥＧエンコーダ１０５は、画像データをＥＣＣエンコ
ーダ１０６に出力する。

【００２１】ＥＣＣエンコーダ１０６は、ＭＰＥＧエン
コーダ１０５からのビットストリームにエラーコレクシ
ョンコードの冗長データを付加する。そして、このＥＣ
Ｃエンコーダ１０６は、このビットストリームを８−１
４変調回路１０７に出力する。

【００２２】８−１４変調回路１０７は、ＥＣＣエンコ
ーダ１０６からのビットストリームに８−１４変調等の
信号処理を施す。８−１４変調は、記録信号の低域周波
数成分を少なくするために、８ビットのコードを１４ビ
ットのデータに変換する。８−１４変調回路１０７は、
８−１４変調及び他の処理を施したビットストリームを
ＲＦアンプ１０８に出力する。ＲＦアンプ１０８は、８
−１４変調回路１０７からのビットストリームに増幅処
理を施して、光ピックアップ１０９に出力する。

【００２３】そして、この光ディスク記録再生装置１の
記録系は、光ディスク１１０に光ピックアップ１０９を
介して画像を示すビットストリームを記録する。光ディ
スク１１０は、記録可能なものであって光磁気ディス
ク、相変化型ディスク等の光ディスクを使用することが
できる。

【００２４】また、光ディスク記録再生装置１の再生系
は、光ディスク１１０に記録された画像データが光ピッ
クアップ１０９を介して入力されるＲＦアンプ１１１
と、ＲＦアンプ１１１から画像データが入力される８−
１４復調回路１１２と、８−１４復調回路１１２から画
像データが入力されるＥＣＣデコーダ１１３と、ＥＣＣ
デコーダ１１３から画像データが入力されるＭＰＥＧデ
コーダ１１４と、ＭＰＥＧデコーダ１１４から画像デー
タが入力されるノイズ低減回路１１５と、ノイズ低減回
路１１５からノイズが抑制された画像データが入力され
る画質補正回路１１６と、画質補正回路１１６から画像
補正がなされた画像データが入力されるＮＴＳＣエンコ
ーダ１１７と、ＮＴＳＣエンコーダ１１７からＮＴＳＣ
方式の画像データが入力されるＤ／Ａ変換回路１１８と
で構成されている。

【００２５】ＲＦアンプ１１１は、光ピックアップ１０
９で検出した光ディスク１１０からの画像データに増幅
処理を施す。また、図１では省略しているが、トラッキ
ングサーボ、フォーカスサーボのために、トラッキング
エラー信号、フォーカスエラー信号がＲＦアンプ１１１
において生成される。これらのトラッキングエラー信号
及びフォーカスサーボ信号がサーボ回路に対して供給さ
れる。ＲＦアンプ１１１は、増幅処理を施した画像デー
タを８−１４復調回路１１２に出力する。

【００２６】８−１４復調回路１１２は、ＲＦアンプ１
１１からの画像データに８−１４復調処理を施す。８−
１４復調回路１１２は、記録系の８−１４変調と逆に、
１４ビットのデータを８ビットのコードに変換する。こ
の８−１４復調回路１１２は、復調処理を施した画像デ
ータをＥＣＣデコーダ１１３に出力する。

【００２７】ＥＣＣデコーダ１１３は、８−１４復調回
路１１２からの画像データにデコード処理を施す。すな
わち、再生データ中に含まれるエラーを検出し、訂正可
能なエラーを訂正する。そして、このＥＣＣデコーダ１
１３は、エラー訂正処理を施した画像データをＭＰＥＧ
デコーダ１１４に出力する。ＭＰＥＧデコーダ１１４
は、ＭＰＥＧの復号を行い、ベースバンド信号を出力す
る。ＭＰＥＧデコーダ１１４は、ベースバンド信号をノ
イズ低減回路１１５に対して出力する。

【００２８】ノイズ低減回路１１５は、フィルタリング
処理を行うことで、ＭＰＥＧデコーダ１１４からの画像
データに対してノイズ低減処理を施す。このノイズ低減
回路１１５は、ノイズ低減処理を施すことで、ＭＰＥＧ
デコーダ１１４でデコード処理を行ったことで生じたモ
スキートノイズやブロック歪みを低減する。また、この
ノイズ低減回路１１５は、制御回路１２０と接続されて
おり、この制御回路１２０からの制御信号に応じて制御
される。そして、このノイズ低減回路１１５では、ノイ
ズ低減処理を施した画像データを画質補正回路１１６に
出力する。

【００２９】本実施の形態では、ノイズ低減回路１１５
は、動きベクトルを検出し、この動きベクトルの有効／
無効を判定する。そして、この判定に応じて、画像デー
タに対する上記動きベクトルに基づいた非線形処理によ
るフィルタリングを行うものである。

【００３０】画質補正回路１１６は、ノイズ低減回路１
１５からの画像データに画質補正処理を施す。この画質
補正回路１１６は、画質補正処理として例えば輪郭補正
処理等を行う。また、この画質補正回路１１６は、後述
する制御回路１２０と接続されており、この制御回路１
２０からの制御信号に応じて制御される。そして、この
画質補正回路１１６は、画質補正処理を施した画像デー
タをＮＴＳＣエンコーダ１１７に出力する。

【００３１】ＮＴＳＣエンコーダ１１７は、画質補正回
路１１６からの画像データに同期信号の付加、色差信号
の変調などの処理を施す。このＮＴＳＣエンコーダ１１
７は、エンコード処理を施すことで、画像データをＮＴ
ＳＣ方式の複合映像信号へ変換する。そして、このＮＴ
ＳＣエンコーダ１１７は、ＮＴＳＣ映像信号をＤ／Ａ変
換回路１１８に出力する。

【００３２】Ｄ／Ａ変換回路１１８は、ＮＴＳＣエンコ
ーダ１１７からの画像データにＤ／Ａ変換処理を施す。
このＤ／Ａ変換回路１１８は、Ｄ／Ａ変換処理を施すこ
とで、アナログのＮＴＳＣ方式の複合映像信号を発生す
る。そして、このＤ／Ａ変換回路１１８は、Ｄ／Ａ変換
処理を施した画像信号を出力端子１１９に対して出力す
る。

【００３３】上述したノイズ低減回路１０４、ノイズ低
減回路１１５及び画質補正回路１１６に制御信号を供給
する制御回路１２０と関連して、例えばユーザにより操
作されて制御回路１２０に入力信号を供給する操作入力
部１２１が設けられている。

【００３４】制御回路１２０は、例えばマイクロコンピ
ュータ等で構成され、上述のノイズ低減回路１０４、ノ
イズ低減回路１１５及び画質補正回路１１６に制御信号
を供給する。制御回路１２０は、操作入力部１２１から
の入力信号に応じて例えばブロック歪みの低減を行うた
めの制御信号をノイズ低減回路１１５に供給する。ま
た、制御回路１２０は、画質補正を行うか否かを示す制
御信号や、画質補正の程度を示す制御信号を画質補正回
路１１６に供給する。

【００３５】操作入力部１２１は、例えばユーザ等がブ
ロック歪み低減のオン／オフの制御を行う時に選択的に
例えばスイッチ等が押圧されることで入力信号を生成出
力する。また、この操作入力部１２１は、画質補正の程
度をユーザが制御することができるスイッチ等も設けら
れており、ユーザが選択的にスイッチを押圧することで
入力信号を生成出力する。

【００３６】本発明は、上述した記録再生装置におい
て、ノイズ低減回路１０４やノイズ低減回路１１５のよ
うにノイズ低減のために適用される信号処理回路であ
る。なお、本発明は、光ディスク以外の記録媒体を使用
する記録再生装置に対しても適用することができる。さ
らに、画像データの通信を行う場合にも適用することが
できる。

【００３７】続いて、図２を参照して、信号処理回路の
実施の形態について説明する。図２に示す信号処理回路
の実施の形態においては、動きベクトル検出回路７にて
入力映像信号から動きベクトルを検出し、ベクトル有効
／無効判定回路８にてこの動きベクトルの有効／無効を
判定する。そして、減衰器１２において、この有効／無
効の判定に応じて、入力画像データに上記動きベクトル
に基づいた非線形処理を施すものである。

【００３８】画像信号に混入した白色雑音等のノイズ
は、この非線形処理により抽出されて、画像信号より低
減される。このように信号処理回路は、画像信号のノイ
ズをフィールド間の自己相関を利用して除去するもので
ある。

【００３９】図２に示す信号処理回路は、端子１から入
力された入力映像信号を補間する第１の補間フィルタ３
と、出力される出力映像信号をフィールド単位で記憶す
るフィールドメモリ２と、フィールドメモリ２からの映
像信号を補間する第２の補間フィルタ４とを有してい
る。

【００４０】入力映像信号は、ディジタル映像信号であ
る。信号処理回路にアナログ映像信号を入力する場合
は、あらかじめＡ／Ｄコンバータでディジタル映像信号
に変換しておく。

【００４１】第１の補間フィルタ３と第２の補間フィル
タ４は、入力映像信号が奇数、偶数フィールドでインタ
ーレース走査されている信号についてフィールド間で画
像データの相関を利用するような処理をする場合、１つ
のフィールド内で垂直方向に隣接する画素、すなわち走
査している連続した２本のラインを用いて空間的に一致
する位置に補間画素を算出して演算に利用する。

【００４２】図３に示すように、映像信号は例えば奇数
フィールドを第１フィールドｆ１と、偶数フィールドを
第２フィールドｆ２とすると、第１のフィールドｆ１の
画素３１，３２に対して、第２のフィールドｆ２の画素
３３，３４は空間的位置の上下方向に関して交互に位置
している。

【００４３】すなわち、第１フィールドｆ１内又は第２
フィールドｆ２内における垂直方向の画素の間隔（ライ
ン間隔）をＬとすると、一方のフィールドにおいて垂直
方向に隣接する画素からそれぞれ等しいＬ／２の距離だ
け離れた中間位置に他方のフィールドの画素が位置して
いる。

【００４４】例えば、第１のフィールドにおいて隣接す
る画素３１，３２からそれぞれＬ／２の距離に第２のフ
ィールドｆ２の画素３３が位置している。また、第２の
フィールドｆ２の隣接する画素３３，３４から互いに等
しいＬ／２の距離に画素３２が位置している。

【００４５】第１の補間フィルタ３は、第１のフィール
ドｆ１に基づいて、画素３５を含む補間された第１のフ
ィールドｆ１’を生成し、第２の補間フィルタ４は、第
２のフィールドｆ２に基づいて、画素３６を含む補間さ
れた第２のフィールドｆ２’を生成する。これによっ
て、補間された第１のフィールドｆ１’と補間された第
２のフィールドｆ２’における画素は、空間的に一致し
た位置にあるようになる。

【００４６】補間された第１のフィールドｆ１’の画素
３５は、第１のフィールドｆ１の画素３１，３２から
３：１の距離にある。すなわち、画素３５は、画素３１
から３Ｌ／４の距離に、画素３２からＬ／４の距離にあ
る。補間の係数は、これに応じて１：３になるようにす
る。すなわち、画素３１，３２の各値に対応する係数を
それぞれ１／４と３／４として、画素３１，３２の値を
重み付けして加算することにより画素３５の値を求め
る。

【００４７】補間された第２のフィールドｆ２’の画素
３６は、第２のフィールドｆ２の画素３３，３４から
１：３の距離にある。すなわち、画素３６は、画素３３
からＬ／４の距離に、画素３４から３Ｌ／４の距離にあ
る。補間の係数は、これに応じて３：１になるようにす
る。すなわち、画素３３，３４の各値に対応する係数を
それぞれ３／４と１／４として、画素３３，３４の値を
重み付けして加算することにより画素３６の値を求め
る。

【００４８】このような補間演算により、補間された第
１のフィールドｆ１’の画素と、補完された第２のフィ
ールドｆ２’の画素は、空間的に一致した位置にあるよ
うになる。

【００４９】信号処理回路における入力画像にはノイズ
が混入されているが、ノイズは一般的に垂直方向のライ
ンで相関が少ないことが知られているため、このような
補間フィルタをかけることで、ノイズ成分による誤差も
抑止することが可能である。

【００５０】フィールドメモリ２は、映像信号をフィー
ルド単位で記憶するものである。フィールドメモリ２か
らの出力信号は、フィールドメモリ２への入力信号に対
して約１フィールドの遅延を生じる。

【００５１】信号処理回路は、第１の補間フィルタ３か
らの映像信号を記憶する第１のワークメモリ６と、第２
の補間フィルタ４からの映像信号を記憶する第２のワー
クメモリ５とを有している。

【００５２】第１のワークメモリ６と第２のワークメモ
リ５は、ディレイラインなどの遅延回路で構成され、複
数のラインの信号を使用して動きベクトルを検出するた
めに利用される。

【００５３】信号処理回路は、第１のワークメモリ６と
第２のワークメモリ５からの映像信号から動きベクトル
を検出する動きベクトル検出回路７と、動きベクトル検
出回路７にて検出された動きベクトルの有効／無効を判
定するベクトル有効／無効判定回路８と、ベクトル有効
／無効判定回路８における判定結果に基づいて第１のワ
ークメモリ６及び第２のワークメモリ５を制御するメモ
リコントローラ９とを有している。

【００５４】動きベクトル検出回路７は、フィールド信
号の差分演算を行う際に動き量を補正するための動きベ
クトルの候補ベクトルを算出する。動きベクトル検出回
路７は、第１のワークメモリ６からの映像信号と第２の
ワークメモリ５からの１フィールド遅延した映像信号と
で、あるサーチ範囲内においてブロックマッチングを行
い、ブロックごとにベクトルを求める。ベクトルの最小
単位は、１画素である。

【００５５】ブロックマッチングでベクトルを求める方
法は、画面内を複数の第１のブロックに分割し、ブロッ
クごとにフィールド間で座標にオフセットを付けながら
差分演算を行い、ブロックごとの差分を比較することで
ベクトルを算出する。具体的には、ブロックごとの差分
演算の結果の最小値を取る組み合わせに用いたオフセッ
トがベクトルの候補となる。

【００５６】本実施の形態では、インターレース走査の
画像信号について、フィールド間の動き検出を行うため
に、第１の補間フィルタ３と第２の補間フィルタ４で内
挿処理によって、空間的に同一位置のラインの信号を生
成している。動きベクトル検出回路７は、補間により得
られた同一位置のラインの信号同士をブロックマッチン
グにより比較する。

【００５７】ベクトル有効／無効判定回路８は、動きベ
クトル検出回路７で検出した候補ベクトルを動き補償に
適用することができるかどうかの判定を行う。この判定
には、動きベクトル検出回路７で動きベクトル算出する
際に行ったブロックマッチングの演算結果を利用する。
例えば、算出した全てのブロックの差分演算の結果の平
均値を、一定の閾値と比較する。

【００５８】また、上記の平均値と候補ベクトルに算出
された最小値自体を直接比較したり、候補ベクトルの周
囲の差分演算結果と比較することなどで判定を行う。ベ
クトル有効／無効判定回路８は、判定に基づいて、減衰
器１２を制御する。

【００５９】本実施の形態においては、動きベクトル検
出回路７で検出した候補ベクトルの有効／無効を判定
し、これに応じてノイズ低減のための処置を講じてい
る。これによって、有効な候補ベクトルに対してのみ動
き補償が行われることにより、効果的なノイズ低減を行
うことができる。また、無効なベクトルに対してもノイ
ズを低減するための適切な処置を取ることができる。

【００６０】図４に、ブロックマッチングにより検出し
た候補ベクトルの有効／無効の判定処理についての手順
を示す。この判定処理は、映像信号をフィールド画面ご
とに複数のブロックに分割し、各々のベクトルを算出す
るブロックごとに行うものとする。

【００６１】判定処理が開始されると、ステップＳ１１
において、ベクトルを算出するブロックと、ベクトルを
検出するサーチ範囲内のブロックとの差分演算を行う。
このサーチ範囲は、フィールドメモリ２から読み出した
１フィールド前の映像信号から読み出す。

【００６２】ステップＳ１２においては、サーチ範囲内
の差分演算結果の中から最小値と平均値を算出する。こ
のとき差分演算の最小値に対応するブロックを候補ベク
トルとし、このベクトルに対する有効／無効の判定を以
下で行う。

【００６３】ステップＳ１３において、上記の平均値を
あらかじめ定めた閾値Ｋ１と比較して平均値＜Ｋ１の結果を求め、この結果によって分岐する。

【００６４】上記結果が“ＹＥＳ”、すなわち上記平均
値が閾値Ｋ１より小さい場合は、ベクトル算出するため
に比較の対象とした差分演算データの値が小さいことに
なり、正確にベクトルを算出した可能性が低いことにな
る。この場合は、ステップＳ１４に進んでベクトルは無
効であると判定される。そして、ステップＳ２１に進ん
で次のブロックの演算に移る。

【００６５】上記結果が“ＮＯ”、すなわち上記平均値
が閾値Ｋ１以上の場合は、ステップＳ１５に進み、最小
値の平均値に対する比比＝最小値／平均値を算出する。そして、ステップＳ１６に進む。

【００６６】ステップＳ１６においては、ステップＳ１
５で算出した比を閾値Ｋ２と比較して比＜Ｋ２の結果を求め、この結果によって分岐する。

【００６７】上記結果が“ＹＥＳ”、すなわち上記比が
閾値Ｋ２より小さい場合は、サーチ範囲の中で最小値と
他の差分演算値との差が小さいことを意味しているの
で、正確にベクトルを算出した可能性が低いことにな
る。この場合は、ステップＳ１７に進んでベクトルは無
効であると判定する。そして、ステップＳ２１に進んで
次のブロックの演算に移る。

【００６８】上記結果が“ＮＯ”、すなわち上記比が閾
値Ｋ２以上の場合は、ステップＳ１８に進み、最小値の
候補ベクトルとなっている座標の周囲の差分演算値との
差を算出する。そして、ステップＳ１９に進む。

【００６９】ステップＳ１９においては、ステップＳ１
８で算出した差を閾値Ｋ３と比較して差＜Ｋ３の結果を求め、この結果によって分岐する。

【００７０】上記結果が“ＹＥＳ”、すなわち上記差が
閾値Ｋ３より小さい場合は、最小値とその周囲の差分演
算値に差が小さいことを意味しているので、ベクトル演
算結果に誤差が生じている可能性がある。この場合は、
ステップＳ２０に進んでベクトルは無効であると判定す
る。そして、ステップＳ２１に進んで次のブロックの演
算に移る。

【００７１】上記結果が“ＮＯ”、すなわち上記差が閾
値Ｋ３以上の場合は、候補ベクトルが有効であったとし
て、ステップＳ２１において有効判定がなされる。この
場合には、有効と判定されたベクトルを動きベクトルと
し、この動きベクトルに基づいて動き補償が行われる。
そして、ステップＳ２２に進んで次のブロックの演算に
移る。

【００７２】なお、ステップＳ２０で無効と判定された
場合には、正しいベクトルである可能性もある。従っ
て、ステップＳ２０の無効判定に対しては、ステップＳ
２１で有効判定を行った場合と同じ処理や、部分的に適
応するなどの処理が可能である。

【００７３】本実施の形態においては、動き補償を行う
ために求めたベクトルを適用する前に、ベクトルの有効
／無効判定を行うことで、処理の対象とする映像信号が
物体の変形などの動画像で、ベクトルが正確に検出でき
ない場合に問題を回避している。

【００７４】メモリコントローラ９は、ベクトル有効／
無効判定回路８における上述のような判定に基づいて、
第１のワークメモリ６と第２のワークメモリ５を制御す
る。すなわち、メモリコントローラ９は、ベクトル有効
／無効判定回路８で、動きベクトル検出回路７で検出し
た候補ベクトルが有効であると判定されると、この候補
ベクトルに基づいて、映像信号に動き補償処理が施され
るように、第１のワークメモリ６と第２のワークメモリ
５に動き補償制御信号を送る。

【００７５】信号処理回路は、第１のワークメモリ６か
らの映像信号から第２のワークメモリ５からの映像信号
を減算する差分手段である第１の減算器１０と、第１の
減算器１０からの信号に直交変換を施して周波数帯域に
変換する直交変換部１１と、直交変換部１１からの信号
を周波数帯域ごとに減衰させる減衰器１２と、減衰器１
２からの信号に逆変換を施す逆変換部１３とを有してい
る。

【００７６】第１の減算器１０は、第１のワークメモリ
６からの映像信号から第２のワークメモリ５からの映像
信号を減算する。第１の減算器１０における減算処理に
より、差分信号を得る。第１の減算器１０は、メモリコ
ントローラ９の制御の下に第１のワークメモリ６と第２
のワークメモリ５から動き補償を行うように、読み出さ
れた映像信号を減算して差分信号を得る。

【００７７】直交変換部１１は、第１の減算器１０から
の差分信号に対して直交変換を施すことにより、差分信
号を周波数帯域へ変換する。

【００７８】直交変換部１１における直交変換としてア
ダマール変換を用いるとすると、変換時には空間的な映
像信号を矩形のブロックに分割して処理する必要があ
る、変換後の各値は周波的な差分信号となり、これらに
非線形処理を施した場合、上記直交変換を行う際に作成
したブロックごとに適用することになる。

【００７９】上記信号処理回路では、動きベクトル検出
回路７でもブロック分割を行っており、算出したベクト
ルの適用や、ベクトルの有効／無効判定もこのブロック
単位で行っている。本実施の形態においては、動きベク
トル検出回路７におけるベクトル検出で利用したブロッ
クの境界と、直交変換部１１におけるブロックの境界と
に相関を持たせることで、ベクトル検出の結果に応じた
非線形処理を適用させることが可能となる。

【００８０】具体的には、相互のブロックを空間的座標
で一致させることや、整数倍、すなわち他方のブロック
をさらに分割することでブロックの間に相関を持たせる
ことができる。

【００８１】すなわち、動きベクトル検出回路７におい
て分割した第１のブロックと、直交変換部１１において
分割した第２のブロックについて境界を一致させること
により相関を持たせることができる。また、上記第１の
ブロック及び上記第２のブロックの一方を縦方向及び／
又は横方向にそれぞれ整数倍することにより得られた境
界を他方の境界と一致させることにより相関を持たせる
ことができる。

【００８２】減衰器１２は、直交変換部１１から入力さ
れた周波数成分ごとに減衰処理を行うものである。減衰
器１２は、複数の減衰器から構成される。減衰器１２を
構成する複数の減衰器は、例えば各周波数帯域に対応す
るものである。

【００８３】減衰器１２を構成する各減衰器は、非線形
回路として構成され、非線形特性を有している。各減衰
器における入出力特性は、入力が小さい範囲では入力に
乗じる帰還係数Ｋ＝１として入力をノイズ成分として出
力し、入力が中間的レベルの範囲では、出力を所定値に
制限し、入力が大きい範囲では出力を小さくし、さら
に、入力が大きい時には、フレーム差分は、動きにより
発生したものとして、出力を０としている。

【００８４】動きベクトル検出回路７におけるベクトル
検出の結果によって減衰器１２の非線形処理特性を制御
する場合、ベクトルが無効であるブロックについては、
差分信号にノイズ以外の成分が含まれている可能性が高
いため、ノイズ抽出の感度を下げるよう設定すること
や、帯域ごとにノイズの抽出量に重み付けをすることが
有効である。

【００８５】また、検出したベクトル量により減衰器１
２の非線形特性を設定することも可能であり、例えば静
止している部分のほうが、ノイズが目立つ傾向にあるた
め、ノイズ抽出の感度を高めるなどの処理が考えられ
る。

【００８６】さらに、減衰器１２においては、画像信号
から検出した特徴信号に基づいて、非線形制御を制御す
ることができる。

【００８７】減衰器１２においては、算出した動きベク
トルについて、ベクトル有効／無効判定回路８における
判定の結果が有効でない場合、非線型処理によるノイズ
抽出時の検出パラメータを調整する等の対応を行うこと
で誤差信号の発生を押さえている。

【００８８】上述のように、動きベクトル検出回路７で
検出されたベクトルがベクトル有効／無効判定回路８に
おいて無効と判定された場合には、第１の減算器１０は
動きベクトルに基づいた動き補償を行われない。減算器
１２は、このような場合に、ノイズ抽出時の検出パラメ
ータを調整する等の対応を行うことでノイズの発生を低
減する。

【００８９】従って、この信号処理回路においては、ベ
クトル有効／無効判定回路８における有効／無効の判定
に関わらず、入力画像信号からノイズが低減されること
になる。

【００９０】逆変換部１３は、減衰器１２にて周波数帯
域ごとに変換された信号について、逆変換を施して時間
軸上の空間的な信号に戻す。直交変換部１１にてアダマ
ール変換が施される場合には、逆変換部１３においては
逆アダマール変換が施される。

【００９１】信号処理回路は、入力映像信号から逆変換
部１３からの信号を減算して端子１５に出力する第２の
減算器１４を有している。

【００９２】第２の減算器１４は、入力映像信号から逆
変換部１３の信号を減算する。すなわち、第２の減算器
１４においては、入力映像信号と減衰器１２にて抽出さ
れたノイズ成分を低減するように合成する。ノイズを低
減した信号は、出力映像信号となるほかに、次のフィー
ルドの処理のためにフィールドメモリ２に書き込まれ
る。

【００９３】以上説明したように、本実施の形態は、映
像信号に含まれる白色雑音等のノイズを画像信号のフレ
ーム間の自己相関を利用して除去するものであり、フレ
ーム間の自己相関を利用する際に映像信号に対して動き
補償を施すものである。

【００９４】本実施の形態は、映像信号の動き補償を行
うためのベクトル検出に用いるブロックの境界と、非線
形処理を行う際の帯域分割手段としてのアダマール変換
に用いるブロックの境界とに相関を持たせるものであ
る。

【００９５】なお、上述の実施の形態においては、第１
の減算器１０からの差分信号に対して、直交変換部１１
にて周波数帯域に変換し、減衰器１２にて周波数帯域ご
とに非線形処理を施し、非線形処理を施した信号を逆変
換部１３にて実時間の信号に変換しているが、本発明は
これに限定されない。例えば、図５の変形例に示すよう
に、第１の減算器１０からの差分信号に減衰器１２にて
直接に非線形処理を施し、非線形処理を施した信号を第
２の減算器１４に出力することもできる。この場合にお
いても、減衰器１２は、ベクトル有効／無効判定回路８
における判定に基づいて非線形処理を行う。

【００９６】また、上述の実施の形態においては、映像
信号を周波数帯域に分割する直交変換としてアダマール
変換を例示したが、本発明はこれに限定されない。他の
直交変換を用いることもできる。

【００９７】

【発明の効果】本発明によると、入力映像信号から検出
した動きベクトルの有効／無効を判定し、この判定結果
に基づいて上記動きベクトルによって動き補償を行った
上で非線形処理を施しているが、上記動き補償におい
て、動き検出結果の適用制御を行うことにより、すなわ
ち、動きベクトルの有効／無効判定結果により動き補償
を制御することにより、より良好なノイズ低減効果を得
ることができる。

【図面の簡単な説明】

【図１】信号処理装置の概略的な構成を示すブロック図
である。

【図２】信号処理回路の実施の形態の構成を示す図であ
る。

【図３】第１の補間フィルタと第２の補間フィルタにお
ける補間処理を説明する図である。

【図４】有効／無効判定の処理を示すフローチャートで
ある。

【図５】信号処理装置の変形例を示す図である。

【図６】従来の巡回型ノイズ低減装置の構成を示すブロ
ック図である。

【符号の説明】

２フィールドメモリ、７動きベクトル検出回路、８
ベクトル有効／無効判定回路、９メモリコントロー
ラ、１１直交変換部、１２減衰器、１３逆変換部

───────────────────────────────────────────────────── フロントページの続き (72)発明者小林博東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C021 PA12 PA58 PA66 PA74 PA79 PA99 RA01 RB06 RC02 SA23 SA24 XB07 YA01 YC08 ZA02 5C059 KK01 LA00 MA00 NN01 SS13 TA01 TB04 TB05 TC12 TD12 UA34 5L096 AA02 AA06 BA08 BA18 DA01 EA05 FA26 FA32 FA39 GA08 GA19 GA55 HA04

Claims

【特許請求の範囲】

【請求項１】入力映像信号から動きベクトルを検出す
る動きベクトル検出手段と、上記動きベクトル検出手段で検出した動きベクトルの有
効／無効を判定する有効／無効判定手段と、上記有効／無効判定手段での有効／無効の判定に基づい
て、上記入力映像信号に対して上記動きベクトルに基づ
いて動き補償を行った上で、１映像単位前の上記入力映
像信号との差分信号を得る差分手段と、上記差分手段からの差分信号に対して非線形処理を施す
非線形処理手段と、上記入力映像信号と上記非線形処理手段で非線形処理が
施された信号とを合成する合成手段とを有することを特
徴とする信号処理装置。
【請求項２】上記映像単位は、フレーム又はフィール
ドであることを特徴とする請求項１記載の信号処理装
置。
【請求項３】上記動きベクトル検出手段は、上記入力
映像信号をブロックに分割し、このブロックに基づいて
動きベクトルを検出することを特徴とする請求項１記載
の信号処理装置。
【請求項４】上記非線形処理手段は、上記差分手段か
らの差分信号を直交変換により周波数帯域に分割し、周
波数帯域に分割された信号に対して周波数帯域ごとに非
線形処理を施し、非線形処理が施された周波帯域に分割
された信号に上記直交変換の逆変換を施すことにより実
時間の関数に変換することを特徴とする請求項１記載の
信号処理装置。
【請求項５】上記差分手段は、上記動きベクトル検出
手段で検出した動きベクトルに基づいて、上記入力映像
信号を構成するフィールド画像を垂直方向に１：３又は
３：１に補間して動き補償を行った上で、１映像単位前
の上記入力映像信号との差分信号を得ることを特徴とす
る請求項１記載の信号処理装置。
【請求項６】入力映像信号から動きベクトルを検出
し、検出した動きベクトルの有効／無効を判定し、上記動きベクトルの有効／無効の判定に基づいて、上記
入力映像信号に対して上記動きベクトルに基づいて動き
補償を行った上で、１映像単位前の上記入力映像信号と
の差分信号を得、上記差分信号に対して非線形処理を施し、上記入力映像信号と上記非線形処理が施された信号とを
合成することを特徴とする信号処理方法。
【請求項７】上記映像単位は、フレーム又はフィール
ドであることを特徴とする請求項６記載の信号処理方
法。