JP2001103341A

JP2001103341A - 信号処理装置及び方法

Info

Publication number: JP2001103341A
Application number: JP2000215114A
Authority: JP
Inventors: Masami Tomita; 真巳冨田; Kyoko Fukuda; 京子福田; Hiroshi Kobayashi; 博小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-07-29
Filing date: 2000-07-14
Publication date: 2001-04-13

Abstract

(57)【要約】【課題】映像信号からノイズを低減する。【解決手段】入力映像信号を第１のブロックに分割し
て動きベクトルを検出する動きベクトル検出回路７と、
上記動きベクトルに基づいて入力映像信号に動き補償を
行った上で１映像単位前の上記入力映像信号との差分信
号を得る第１の減算器１０と、差分信号を第２のブロッ
クに分割して周波数帯域に変換する直交変換部１１と、
直交変換部１１からの信号に対して周波数帯域ごとに非
線形処理を施す減衰器１２と、減衰器１２からの信号と
入力映像とを合成する第２の減算器１４とを有し、上記
第１のブロックの境界と上記第２のブロックの境界と
は、相関を有する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、映像信号を処理す
る信号処理装置及び方法に関する。

【０００２】

【従来の技術】フレームメモリを使用した巡回型ノイズ
低減装置は、ディジタル映像信号処理の分野で知られて
いる。これは、入力映像信号とフレームメモリからの１
フレーム前の映像信号との差の内の小レベルの部分をノ
イズとして抽出し、抽出したノイズ成分を入力映像信号
から減算することによって、ノイズを低減し、また、ノ
イズが低減された信号をフレームメモリに書き込むもの
である。フレームメモリの代わりにフィールドメモリを
使用すれば、メモリの容量を少なくすることが可能であ
る。

【０００３】図５は、従来のノイズ低減装置の一例を示
すものである。入力端子２０１からディジタル信号に変
換された入力映像信号Ｖinが供給され、この入力映像信
号Ｖinが第１の減算器２０２及び第２の減算器２０４に
供給される。第１の減算器２０２の出力映像信号Ｖout
が出力端子２０７に取り出されると共に、フレームメモ
リ２０５に書き込まれる。フレームメモリ２０５と関連
してメモリコントローラ２０６が設けられている。メモ
リコントローラ２０６は、フレームメモリ２０５の書き
込み動作及び読み出し動作を制御するためのもので、フ
レームメモリ２０５の読み出しデータは、書き込みデー
タに対して１フレーム遅延されたものである。１フレー
ム遅延をＦ^-1で表すと、フレームメモリ２０５の出力信
号Ｖout・Ｆ^-1が第２の減算器２０４に供給される。第
２の減算器２０４では、入力映像信号Ｖinが供給される
ので、フレーム差分が発生する。

【０００４】第２の減算器２０４の出力映像信号が非線
形回路２０３を介して第１の減算器２０２に供給され
る。非線形回路２０３は、入力信号のレベルに応じて帰
還係数Ｋを乗じるもので、ＲＯＭ（読み出し専用メモ
リ）により構成される。非線形回路２０３の入出力特性
は、入力（フレーム差分）が小さい範囲では、Ｋ＝１と
して入力をノイズ成分として出力し、入力が中間的レベ
ルの範囲では、出力を所定値に制限し、入力が大きい範
囲では、出力を小さくし、さらに、入力が大きい時に
は、フレーム差分は、動きにより発生したものとして、
出力を０としている。

【０００５】このように、ノイズ成分は、フレーム間の
相関が小さく、且つ小振幅であるという特性を利用して
非線形回路２０３がノイズ成分を抽出する。第１の減算
器２０２において、抽出されたノイズ成分が入力映像信
号から減算されることによって、ノイズを低減すること
ができる。

【０００６】ノイズ低減装置からの出力映像信号Ｖout
は、Ｖout ＝Ｖin−Ｋ・（Ｖin−Ｖout ・Ｆ^-1）＝Ｖin・（１−Ｋ）／（１−Ｋ・Ｆ^-1）で表すことができる。

【０００７】上述のように、従来のノイズ低減装置にお
いては、入力映像信号とフレームメモリから読み出した
１フレーム前の映像信号との差分から、小振幅の成分を
ノイズとして抽出し、入力映像信号から減算することに
よってノイズを低減する。

【０００８】また、従来のノイズ低減装置においては、
このノイズを低減した映像信号をフレームメモリに書き
込み次のフレームの処理に利用する。フレームの代わり
にフィールド間の自己相関を利用するなら、フレームメ
モリではなくフィールドメモリでも同様の構成が可能で
ある。

【０００９】ところで、上述の従来のノイズ低減装置に
おいては、動画像の映像信号においてはフレーム間での
画像の相関がなくなり、ノイズ以外の信号が抽出されて
しまう。このため、従来、映像信号の自己相関から動き
ベクトルを算出し、この動きベクトルに基づいた動き補
償により映像信号からノイズを除去する方法が提供され
ている。動画像の映像信号からの動きベクトルの抽出し
て動き補償を行う方法としては、動画像全体に対して１
つの動きベクトルを利用する方法と、動画像を複数のブ
ロックに分割してそれぞれのブロックごとの動きベクト
ルを利用する方法とが知られている。

【００１０】

【発明が解決しようとする課題】従来の動き補償の方法
では、カメラを静止画に対して動かすことにより撮像す
る場合のように、一様に移動する画像に対して動き補償
を行うことができた。この場合は、画像の各部が一定の
速度を有するので、１つの動きベクトルが画像に対して
一意的に定められる。動き補償は、この動きベクトルに
基づいて行われる。

【００１１】しかし、一様に移動する画像以外の画像、
例えば物体が画像内で変形するような画像に対しては、
従来の方法では動き補償によって、動画像に対する十分
な補償を行うことは困難であった。

【００１２】すなわち、従来の１つの動きベクトルを用
いる方法によると、物体が画像内で変形する画像のよう
に、画像の各部が異なった方向に動くような場合には対
応することができなかった。このような場合には、動き
補償を行うための１つの動きベクトルを画像に対して一
意的に決めることができないためである。

【００１３】画像を複数のブロックに分割したブロック
ごとの動きベクトルを用いる従来の方法によると、画像
の各部が異なった方向に動くような場合にも対応するこ
とができた。しかし、各ブロックにおける動きベクトル
に対応する動く物体以外の部分は、動きベクトルに対応
していない。このため、この部分からは誤差信号が発生
していた。

【００１４】さらに、ノイズ抽出を行う際の非線形処理
をアダマール変換などの直交変換を利用して行う場合に
は、信号をブロック化して処理を行う。このため信号に
よってはブロック境界に誤差が発生することになる。

【００１５】本発明は、上述の実情を鑑みて提案される
ものであって、画像の多様な動きに対応すると共に、誤
差信号を低減するような信号処理装置及び方法を提供す
ることを目的とする。

【００１６】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る信号処理装置は、入力映像信号を第
１のブロックに分割し、この第１のブロックに基づいて
動きベクトルを検出する動きベクトル検出手段と、上記
入力映像信号に対して、上記動きベクトル検出手段で検
出した動きベクトルに基づいて動き補償を行った上で、
１映像単位前の上記入力映像信号との差分信号を得る差
分手段と、上記差分手段で得た差分信号を第２のブロッ
クに分割して周波数帯域に変換する直交変換手段と、上
記直交変換手段で周波数帯域に変換された信号に対して
周波数帯域ごとに非線形処理を施す非線形処理手段と、
上記入力映像信号と上記非線形処理手段で非線形処理が
施された信号とを合成する合成手段とを備え、上記第１
のブロックの境界と上記第２のブロックの境界とは、相
関を有するものである。

【００１７】また、本発明に係る信号処理装置は、入力
映像信号の動きベクトルを検出する動きベクトル検出手
段と、上記入力映像信号に対して、上記動きベクトル検
出手段で検出した動きベクトルに基づいて動き補償を行
った上で、１映像単位前の上記入力映像信号との差分信
号を得る差分手段と、上記差分手段で得た差分信号に対
して非線形処理を施す非線形処理手段と、上記入力映像
信号と上記非線形処理手段で非線形処理が施された信号
とを合成する合成手段とを有し、上記差分手段は、上記
入力映像信号を構成するフィールド画像を垂直方向に
１：３又は３：１に補間して動き補償を行うものであ
る。

【００１８】上述の課題を解決するために、本発明に係
る信号処理方法は、入力映像信号を第１のブロックに分
割し、この第１のブロックに基づいて動きベクトルを検
出し、上記入力映像信号に対して、上記動きベクトルに
基づいて動き補償を行った上で、１映像単位前の上記入
力映像信号との差分信号を得、上記差分信号を第２のブ
ロックに分割して周波数帯域に変換し、上記周波数帯域
に変換された信号に対して周波数帯域ごとに非線形処理
を施し、上記入力映像信号と上記非線形処理が施された
信号とを合成し、上記第１のブロックの境界と上記第２
のブロックの境界とは、相関を有するものである。

【００１９】また、本発明に係る信号処理方法は、入力
映像信号の動きベクトルを検出し、上記入力映像信号に
対して、上記動きベクトルに基づいて動き補償を行った
上で、１映像単位前の上記入力映像信号との差分信号を
得、上記差分信号に対して非線形処理を施し、上記入力
映像信号と上記非線形処理が施された信号とを合成する
合成し、上記入力映像信号を構成するフィールド画像を
垂直方向に１：３又は３：１に補間して動き補償を行う
ものである。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。まず、この発明を適用す
ることができる光ディスク記録再生装置の一例について
説明する。

【００２１】図１は、光ディスク記録再生装置１を全体
として示す。この光ディスク記録再生装置１の記録系
は、入力端子１０１から画像信号が入力されるＡ／Ｄ変
換回路１０２と、Ａ／Ｄ変換回路１０２から画像データ
が入力されるＮＴＳＣ（National Television System C
ommittee) デコーダ１０３と、ＮＴＳＣデコーダ１０３
から画像が入力されるノイズ低減回路１０４と、ノイズ
低減回路１０４から画像データが入力されるＭＰＥＧ
（Moving Picture Experts Group) エンコーダ１０５
と、ＭＰＥＧエンコーダ１０５から画像データが入力さ
れるＥＣＣ（Error Correction Codes) エンコーダ１０
６と、ＥＣＣエンコーダ１０６から画像データが入力さ
れる８−１４変調回路１０７と、８−１４変調回路１０
７から画像データが入力されるＲＦアンプ１０８とで構
成されている。

【００２２】Ａ／Ｄ変換回路１０２は、入力端子１０１
からのＮＴＳＣ方式の画像信号が入力されて、Ａ／Ｄ変
換処理を施す。このＡ／Ｄ変換回路１０２は、Ａ／Ｄ変
換処理を施すことで、アナログ方式の画像信号をディジ
タル方式の画像データとする。そして、このＡ／Ｄ変換
回路１０２は、画像データをＮＴＳＣデコーダ１０３に
出力する。

【００２３】ＮＴＳＣデコーダ１０３には、Ａ／Ｄ変換
回路１０２からのＮＴＳＣ方式の画像データが入力され
る。このＮＴＳＣデコーダ１０３は、ＮＴＳＣ方式のコ
ンポジット信号にデコード処理を施す。このＮＴＳＣデ
コーダ１０３は、デコード処理を施すことで、画像デー
タをベースバンド信号（輝度信号、Ｒ−Ｙ信号、Ｂ−Ｙ
信号）に変換する。そして、このＮＴＳＣデコーダ１０
３は、画像データをノイズ低減回路１０４に出力する。

【００２４】ノイズ低減回路１０４には、ＮＴＳＣデコ
ーダ１０３からの画像データが入力される。このノイズ
低減回路１０４は、入力映像信号に含まれているランダ
ムノイズの低減処理を施す。このノイズ低減回路１０４
は、ノイズ低減処理を施すことで、後段のＭＰＥＧエン
コーダ１０５における画像圧縮効率を高めるとともに、
動き補償予測精度の向上させる。ノイズ低減処理を、全
てのコンポーネントに対して行うか、又は輝度信号のみ
に対して行う。ノイズ低減回路１０４は、フィルタリン
グ処理を行うことで、ＮＴＳＣデコーダ１０３からの画
像データに対してノイズ低減処理を施す。また、このノ
イズ低減回路１０４は、制御回路１２０と接続されてお
り、この制御回路１２０からの制御信号に応じて動作す
る。制御回路１２０は、マイクロコンピュータの構成と
される。そして、このノイズ低減回路１０４は、画像デ
ータをＭＰＥＧエンコーダ１０５に出力する。

【００２５】本実施の形態においては、ノイズ低減装置
１０４は、画像データを第１のブロックに分割し、この
ブロックに基づいて動きベクトルを求める。また、画像
データを第２のブロックに分割して周波数帯域に変換
し、上記動きベクトルに基づいて周波数帯域ごとに非線
形処理を施す。ここで、第１のブロックの境界と、第２
のブロックの境界とは、相関を有している。

【００２６】また、本実施の形態においては、ノイズ低
減装置１０４は、画像データを構成するフィールド画像
を１：３又は３：１に補間して動き補償を施している。

【００２７】ＭＰＥＧエンコーダ１０５は、ノイズ低減
回路１０４からの画像データに対して動き補償フレーム
間予測符号化を行い、予測誤差に対してブロックＤＣＴ
（Discrete Cosine Transform : 離散コサイン変換）符
号化処理を施す。このＭＰＥＧエンコーダ１０５は、画
像データに符号化処理を施すことで、ＭＰＥＧ方式の画
像データとする。このとき、ＭＰＥＧエンコーダ１０５
では、例えば量子化スケール等の符号化情報を画像デー
タに付加してビットストリームとする。そして、このＭ
ＰＥＧエンコーダ１０５は、画像データをＥＣＣエンコ
ーダ１０６に出力する。

【００２８】ＥＣＣエンコーダ１０６は、ＭＰＥＧエン
コーダ１０５からのビットストリームにエラーコレクシ
ョンコードの冗長データを付加する。そして、このＥＣ
Ｃエンコーダ１０６は、このビットストリームを８−１
４変調回路１０７に出力する。

【００２９】８−１４変調回路１０７は、ＥＣＣエンコ
ーダ１０６からのビットストリームに８−１４変調等の
信号処理を施す。８−１４変調は、記録信号の低域周波
数成分を少なくするために、８ビットのコードを１４ビ
ットのデータに変換する。８−１４変調回路１０７は、
８−１４変調及び他の処理を施したビットストリームを
ＲＦアンプ１０８に出力する。ＲＦアンプ１０８は、８
−１４変調回路１０７からのビットストリームに増幅処
理を施して、光ピックアップ１０９に出力する。

【００３０】そして、この光ディスク記録再生装置１の
記録系は、光ディスク１１０に光ピックアップ１０９を
介して画像を示すビットストリームを記録する。光ディ
スク１１０は、記録可能なものであって光磁気ディス
ク、相変化型ディスク等の光ディスクを使用することが
できる。

【００３１】また、光ディスク記録再生装置１の再生系
は、光ディスク１１０に記録された画像データが光ピッ
クアップ１０９を介して入力されるＲＦアンプ１１１
と、ＲＦアンプ１１１から画像データが入力される８−
１４復調回路１１２と、８−１４復調回路１１２から画
像データが入力されるＥＣＣデコーダ１１３と、ＥＣＣ
デコーダ１１３から画像データが入力されるＭＰＥＧデ
コーダ１１４と、ＭＰＥＧデコーダ１１４から画像デー
タが入力されるノイズ低減回路１１５と、ノイズ低減回
路１１５からノイズが抑制された画像データが入力され
る画質補正回路１１６と、画質補正回路１１６から画像
補正がなされた画像データが入力されるＮＴＳＣエンコ
ーダ１１７と、ＮＴＳＣエンコーダ１１７からＮＴＳＣ
方式の画像データが入力されるＤ／Ａ変換回路１１８と
で構成されている。

【００３２】ＲＦアンプ１１１は、光ピックアップ１０
９で検出した光ディスク１１０からの画像データに増幅
処理を施す。また、図１では省略しているが、トラッキ
ングサーボ、フォーカスサーボのために、トラッキング
エラー信号、フォーカスエラー信号がＲＦアンプ１１１
において生成される。これらのトラッキングエラー信号
及びフォーカスサーボ信号がサーボ回路に対して供給さ
れる。ＲＦアンプ１１１は、増幅処理を施した画像デー
タを８−１４復調回路１１２に出力する。

【００３３】８−１４復調回路１１２は、ＲＦアンプ１
１１からの画像データに８−１４復調処理を施す。８−
１４復調回路１１２は、記録系の８−１４変調と逆に、
１４ビットのデータを８ビットのコードに変換する。こ
の８−１４復調回路１１２は、復調処理を施した画像デ
ータをＥＣＣデコーダ１１３に出力する。

【００３４】ＥＣＣデコーダ１１３は、８−１４復調回
路１１２からの画像データにデコード処理を施す。すな
わち、再生データ中に含まれるエラーを検出し、訂正可
能なエラーを訂正する。そして、このＥＣＣデコーダ１
１３は、エラー訂正処理を施した画像データをＭＰＥＧ
デコーダ１１４に出力する。ＭＰＥＧデコーダ１１４
は、ＭＰＥＧの復号を行い、ベースバンド信号を出力す
る。ＭＰＥＧデコーダ１１４は、ベースバンド信号をノ
イズ低減回路１１５に対して出力する。

【００３５】ノイズ低減回路１１５は、フィルタリング
処理を行うことで、ＭＰＥＧデコーダ１１４からの画像
データに対してノイズ低減処理を施す。このノイズ低減
回路１１５は、ノイズ低減処理を施すことで、ＭＰＥＧ
デコーダ１１４でデコード処理を行ったことで生じたモ
スキートノイズやブロック歪みを低減する。また、この
ノイズ低減回路１１５は、制御回路１２０と接続されて
おり、この制御回路１２０からの制御信号に応じて制御
される。そして、このノイズ低減回路１１５では、ノイ
ズ低減処理を施した画像データを画質補正回路１１６に
出力する。

【００３６】本実施の形態においては、ノイズ低減装置
１１５は、画像データを第１のブロックに分割し、この
ブロックに基づいて動きベクトルを求める。また、画像
データを第２のブロックに分割して周波数帯域に変換
し、上記動きベクトルに基づいて周波数帯域ごとに非線
形処理を施す。ここで、第１のブロックの境界と、第２
のブロックの境界とは、相関を有している。

【００３７】また、本実施の形態においては、ノイズ低
減装置１１５は、画像データを構成するフィールド画像
を１：３又は３：１に補間して動き補償を施している。

【００３８】画質補正回路１１６は、ノイズ低減回路１
１５からの画像データに画質補正処理を施す。この画質
補正回路１１６は、画質補正処理として例えば輪郭補正
処理等を行う。また、この画質補正回路１１６は、後述
する制御回路１２０と接続されており、この制御回路１
２０からの制御信号に応じて制御される。そして、この
画質補正回路１１６は、画質補正処理を施した画像デー
タをＮＴＳＣエンコーダ１１７に出力する。

【００３９】ＮＴＳＣエンコーダ１１７は、画質補正回
路１１６からの画像データに同期信号の付加、色差信号
の変調などの処理を施す。このＮＴＳＣエンコーダ１１
７は、エンコード処理を施すことで、画像データをＮＴ
ＳＣ方式の複合映像信号へ変換する。そして、このＮＴ
ＳＣエンコーダ１１７は、ＮＴＳＣ映像信号をＤ／Ａ変
換回路１１８に出力する。

【００４０】Ｄ／Ａ変換回路１１８は、ＮＴＳＣエンコ
ーダ１１７からの画像データにＤ／Ａ変換処理を施す。
このＤ／Ａ変換回路１１８は、Ｄ／Ａ変換処理を施すこ
とで、アナログのＮＴＳＣ方式の複合映像信号を発生す
る。そして、このＤ／Ａ変換回路１１８は、Ｄ／Ａ変換
処理を施した画像信号を出力端子１１９に対して出力す
る。

【００４１】上述したノイズ低減回路１０４、ノイズ低
減回路１１５及び画質補正回路１１６に制御信号を供給
する制御回路１２０と関連して、例えばユーザにより操
作されて制御回路１２０に入力信号を供給する操作入力
部１２１が設けられている。

【００４２】制御回路１２０は、例えばマイクロコンピ
ュータ等で構成され、上述のノイズ低減回路１０４、ノ
イズ低減回路１１５及び画質補正回路１１６に制御信号
を供給する。制御回路１２０は、操作入力部１２１から
の入力信号に応じて例えばブロック歪みの低減を行うた
めの制御信号をノイズ低減回路１１５に供給する。ま
た、制御回路１２０は、画質補正を行うか否かを示す制
御信号や、画質補正の程度を示す制御信号を画質補正回
路１１６に供給する。

【００４３】操作入力部１２１は、例えばユーザ等がブ
ロック歪み低減のオン／オフの制御を行う時に選択的に
例えばスイッチ等が押圧されることで入力信号を生成出
力する。また、この操作入力部１２１は、画質補正の程
度をユーザが制御することができるスイッチ等も設けら
れており、ユーザが選択的にスイッチを押圧することで
入力信号を生成出力する。

【００４４】本発明は、上述した記録再生装置におい
て、ノイズ低減回路１０４やノイズ低減回路１１５のよ
うにノイズ低減のために適用される信号処理回路であ
る。なお、本発明は、光ディスク以外の記録媒体を使用
する記録再生装置に対しても適用することができる。さ
らに、画像データの通信を行う場合にも適用することが
できる。

【００４５】続いて、図２を参照して、信号処理回路の
実施の形態について説明する。この図２に示す、信号処
理回路の実施の形態においては、入力映像信号は、動き
ベクトル検出回路７により第１のブロックに分割されて
動きベクトルを検出される。また、入力映像信号は、直
交変換回路１１により第２のブロックに分割され、減衰
器１２により周波数帯域ごとに非線形処理が施される。
ここで、第１のブロックの境界と第２のブロックの境界
とは相関を有している。

【００４６】画像信号に混入した白色雑音等のノイズ
は、減衰器１２における非線形処理により抽出されて、
画像信号より低減される。このように信号処理回路は、
画像信号のノイズをフィールド間の自己相関を利用して
除去するものである。

【００４７】また、本実施の形態においては、ノイズ低
減装置１１５は、画像データを構成するフィールド画像
を第１の補間フィルタ３と第２の補間フィルタ４によ
り、１：３又は３：１に補間して、動きベクトル検出回
路７にて検出した動きベクトルに基づいて、メモリコン
トローラ９から発せられる制御信号に応じて動き補償を
施している。このような補間処理により、インターレー
ス信号に対してフィールド間で自己相関が求められる。

【００４８】図２に示す信号処理回路は、端子１に入力
された入力映像信号を補間する第１の補間フィルタ３
と、出力される出力映像信号をフィールド単位で記憶す
るフィールドメモリ２と、フィールドメモリ２からの映
像信号を補間する第２の補間フィルタ４とを有してい
る。

【００４９】入力映像信号は、ディジタル映像信号であ
る。信号処理回路にアナログ映像信号を入力する場合
は、あらかじめＡ／Ｄコンバータでディジタル映像信号
に変換しておく。

【００５０】第１の補間フィルタ３と第２の補間フィル
タ４は、入力映像信号が奇数、偶数フィールドでインタ
ーレース走査されている信号についてフィールド間で画
像データの相関を利用するような処理をする場合、１つ
のフィールド内で垂直方向に隣接する画素、すなわち走
査している連続した２本のラインを用いて空間的に一致
する位置に補間画素を算出して演算に利用する。

【００５１】図３に示すように、映像信号は例えば奇数
フィールドを第１フィールドｆ１と、偶数フィールドを
第２フィールドｆ２とすると、第１のフィールドｆ１の
画素３１，３２に対して、第２のフィールドｆ２の画素
３３，３４は空間的位置の上下方向に関して交互に位置
している。

【００５２】すなわち、第１フィールドｆ１内又は第２
フィールドｆ２内における垂直方向の画素の間隔（ライ
ン間隔）をＬとすると、一方のフィールドにおいて垂直
方向に隣接する画素からそれぞれ等しいＬ／２の距離だ
け離れた中間位置に他方のフィールドの画素が位置して
いる。

【００５３】例えば、第１のフィールドにおいて隣接す
る画素３１，３２からそれぞれＬ／２の距離に第２のフ
ィールドｆ２の画素３３が位置している。また、第２の
フィールドｆ２の隣接する画素３３，３４から互いに等
しいＬ／２の距離に画素３２が位置している。

【００５４】第１の補間フィルタ３は、第１のフィール
ドｆ１に基づいて、画素３５を含む補間された第１のフ
ィールドｆ１’を生成し、第２の補間フィルタ４は、第
２のフィールドｆ２に基づいて、画素３６を含む補間さ
れた第２のフィールドｆ２’を生成する。これによっ
て、補間された第１のフィールドｆ１’と補間された第
２のフィールドｆ２’における画素は、空間的に一致し
た位置にあるようになる。

【００５５】補間された第１のフィールドｆ１’の画素
３５は、第１のフィールドｆ１の画素３１，３２から
３：１の距離にある。すなわち、画素３５は、画素３１
から３Ｌ／４の距離に、画素３２からＬ／４の距離にあ
る。補間の係数は、これに応じて１：３になるようにす
る。すなわち、画素３１，３２の各値に対応する係数を
それぞれ１／４と３／４として、画素３１，３２の値を
重み付けして加算することにより画素３５の値を求め
る。

【００５６】補間された第２のフィールドｆ２’の画素
３６は、第２のフィールドｆ２の画素３３，３４から
１：３の距離にある。すなわち、画素３６は、画素３３
からＬ／４の距離に、画素３４から３Ｌ／４の距離にあ
る。補間の係数は、これに応じて３：１になるようにす
る。すなわち、画素３３，３４の各値に対応する係数を
それぞれ３／４と１／４として、画素３３，３４の値を
重み付けして加算することにより画素３６の値を求め
る。

【００５７】このような補間演算により、補間された第
１のフィールドｆ１’の画素と、補完された第２のフィ
ールドｆ２’の画素は、空間的に一致した位置にあるよ
うになる。

【００５８】信号処理回路における入力画像にはノイズ
が混入されているが、ノイズは一般的に垂直方向のライ
ンで相関が少ないことが知られているため、このような
補間フィルタをかけることで、ノイズ成分による誤差も
抑止することが可能である。

【００５９】フィールドメモリ２は、映像信号をフィー
ルド単位で記憶するものである。フィールドメモリ２か
らの出力信号は、フィールドメモリ２への入力信号に対
して約１フィールドの遅延を生じる。

【００６０】信号処理回路は、第１の補間フィルタ３か
らの映像信号を記憶する第１のワークメモリ６と、第２
の補間フィルタ４からの映像信号を記憶する第２のワー
クメモリ５とを有している。

【００６１】第１のワークメモリ６と第２のワークメモ
リ５は、ディレイラインなどの遅延回路で構成され、複
数のラインの信号を使用して動きベクトルを検出するた
めに利用される。

【００６２】信号処理回路は、第１のワークメモリ６と
第２のワークメモリ５からの映像信号から動きベクトル
を検出する動きベクトル検出回路７と、動きベクトル検
出回路７にて検出された動きベクトルの有効／無効を判
定するベクトル有効／無効判定回路８と、ベクトル有効
／無効判定回路８における判定結果に基づいて第１のワ
ークメモリ６及び第２のワークメモリ５を制御するメモ
リコントローラ９とを有している。

【００６３】動きベクトル検出回路７は、フィールド信
号の差分演算を行う際に動き量を補正するための動きベ
クトルの候補ベクトルを算出する。動きベクトル検出回
路７は、第１のワークメモリ６からの映像信号と第２の
ワークメモリ５からの１フィールド遅延した映像信号と
で、あるサーチ範囲内においてブロックマッチングを行
い、ブロックごとにベクトルを求める。ベクトルの最小
単位は、１画素である。

【００６４】ブロックマッチングでベクトルを求める方
法は、画面内を複数の第１のブロックに分割し、ブロッ
クごとにフィールド間で座標にオフセットを付けながら
差分演算を行い、ブロックごとの差分を比較することで
ベクトルを算出する。具体的には、ブロックごとの差分
演算の結果の最小値を取る組み合わせに用いたオフセッ
トがベクトルの候補となる。

【００６５】本実施の形態では、インターレース走査の
画像信号について、フィールド間の動き検出を行うため
に、第１の補間フィルタ３と第２の補間フィルタ４で内
挿処理によって、空間的に同一位置のラインの信号を生
成している。動きベクトル検出回路７は、補間により得
られた同一位置のラインの信号同士をブロックマッチン
グにより比較する。

【００６６】ベクトル有効／無効判定回路８は、動きベ
クトル検出回路７で検出した候補ベクトルを動き補償に
適用することができるかどうかの判定を行う。この判定
には、動きベクトル検出回路７で動きベクトル算出する
際に行ったブロックマッチングの演算結果を利用する。
例えば、算出した全てのブロックの差分演算の結果の平
均値を、一定の閾値と比較する。この方法の場合、処理
は容易であるが、動きの激しい画像やノイズの多い画像
などでは有効判定が過剰になるため、動的に閾値を変更
するなどの処理が必要である。

【００６７】また、上記の平均値と候補ベクトルに算出
された最小値自体を直接比較したり、候補ベクトルの周
囲の差分演算結果と比較することなどで判定を行う。ベ
クトル有効／無効判定回路８は、判定に基づいて、減衰
器１２を制御する。この方法は入力画像の動きが激しい
場合や、ノイズの多い画像の場合でも対応可能である
が、画像の平坦な部分でノイズを誤検出しやすい。

【００６８】また、上記の方法を併用することによって
も実現可能であり、この場合は誤検出を抑えることが可
能である。図４に、ブロックマッチングにより検出した
候補ベクトルの有効／無効の判定処理についての手順を
示す。この判定処理は、映像信号をフィールド画面ごと
に複数のブロックに分割し、各々のベクトルを算出する
ブロックごとに行うものとする。

【００６９】判定処理が開始されると、ステップＳ１１
において、ベクトルを算出するブロックと、ベクトルを
検出するサーチ範囲内のブロックとの差分演算を行う。
このサーチ範囲は、フィールドメモリ２から読み出した
１フィールド前の映像信号から読み出す。

【００７０】ステップＳ１２においては、サーチ範囲内
の差分演算結果の中から最小値と平均値を算出する。こ
のとき差分演算の最小値に対応するブロックを候補ベク
トルとし、このベクトルに対する有効／無効の判定を以
下で行う。

【００７１】ステップＳ１３において、上記の平均値を
あらかじめ定めた閾値Ｋ１と比較して平均値＜Ｋ１の結
果を求め、この結果によって分岐する。

【００７２】上記結果が“ＹＥＳ”、すなわち上記平均
値が閾値Ｋ１より小さい場合は、ベクトル算出するため
に比較の対象とした差分演算データの値が小さいことに
なり、正確にベクトルを算出した可能性が低いことにな
る。この場合は、ステップＳ１４に進んでベクトルは無
効であると判定される。そして、ステップＳ２１に進ん
で次のブロックの演算に移る。

【００７３】上記結果が“ＮＯ”、すなわち上記平均値
が閾値Ｋ１以上の場合は、ステップＳ１５に進み、最小
値の平均値に対する比比＝最小値／平均値を算出する。そして、ステップＳ１６に進む。

【００７４】ステップＳ１６においては、ステップＳ１
５で算出した比を閾値Ｋ２と比較して比＜Ｋ２の結果を求め、この結果によって分岐する。

【００７５】上記結果が“ＹＥＳ”、すなわち上記比が
閾値Ｋ２より小さい場合は、サーチ範囲の中で最小値と
他の差分演算値との差が小さいことを意味しているの
で、正確にベクトルを算出した可能性が低いことにな
る。この場合は、ステップＳ１７に進んでベクトルは無
効であると判定する。そして、ステップＳ２１に進んで
次のブロックの演算に移る。

【００７６】上記結果が“ＮＯ”、すなわち上記比が閾
値Ｋ２以上の場合は、ステップＳ１８に進み、最小値の
候補ベクトルとなっている座標の周囲の差分演算値との
差を算出する。そして、ステップＳ１９に進む。

【００７７】ステップＳ１９においては、ステップＳ１
８で算出した差を閾値Ｋ３と比較して差＜Ｋ３の結果を求め、この結果によって分岐する。

【００７８】上記結果が“ＹＥＳ”、すなわち上記差が
閾値Ｋ３より小さい場合は、最小値とその周囲の差分演
算値に差が小さいことを意味しているので、ベクトル演
算結果に誤差が生じている可能性がある。この場合は、
ステップＳ２０に進んでベクトルは無効であると判定す
る。そして、ステップＳ２１に進んで次のブロックの演
算に移る。

【００７９】上記結果が“ＮＯ”、すなわち上記差が閾
値Ｋ３以上の場合は、候補ベクトルが有効であったとし
て、ステップＳ２１において有効判定がなされる。この
場合には、有効と判定されたベクトルを動きベクトルと
し、この動きベクトルに基づいて動き補償が行われる。
そして、ステップＳ２２に進んで次のブロックの演算に
移る。

【００８０】なお、ステップＳ２０で無効と判定された
場合には、正しいベクトルである可能性もある。従っ
て、ステップＳ２０の無効判定に対しては、ステップＳ
２１で有効判定を行った場合と同じ処理や、部分的に適
応するなどの処理が可能である。

【００８１】本実施の形態においては、動き補償を行う
ために求めたベクトルを適用する前に、ベクトルの有効
／無効判定を行うことで、処理の対象とする映像信号が
物体の変形などの動画像で、ベクトルが正確に検出でき
ない場合に問題を回避している。

【００８２】メモリコントローラ９は、ベクトル有効／
無効判定回路８における上述のような判定に基づいて、
第１のワークメモリ６と第２のワークメモリ５を制御す
る。すなわち、メモリコントローラ９は、ベクトル有効
／無効判定回路８で、動きベクトル検出回路７で検出し
た候補ベクトルが有効であると判定されると、この候補
ベクトルに基づいて、映像信号に動き補償処理が施され
るように、第１のワークメモリ６と第２のワークメモリ
５に動き補償制御信号を送る。

【００８３】信号処理回路は、第１のワークメモリ６か
らの映像信号から第２のワークメモリ５からの映像信号
を減算する差分手段である第１の減算器１０と、第１の
減算器１０からの信号に直交変換を施して周波数帯域に
変換する直交変換部１１と、直交変換部１１からの信号
を周波数帯域ごとに減衰させる減衰器１２と、減衰器１
２からの信号に逆変換を施す逆変換部１３とを有してい
る。

【００８４】第１の減算器１０は、第１のワークメモリ
６からの映像信号から第２のワークメモリ５からの映像
信号を減算する。第１の減算器１０における減算処理に
より、差分信号を得る。第１の減算器１０は、メモリコ
ントローラ９の制御の下に第１のワークメモリ６と第２
のワークメモリ５から動き補償を行うように、読み出さ
れた映像信号を減算して差分信号を得る。

【００８５】直交変換部１１は、第１の減算器１０から
の差分信号に対して直交変換を施すことにより、差分信
号を周波数帯域へ変換する。

【００８６】直交変換部１１における直交変換としてア
ダマール変換を用いるとすると、変換時には空間的な映
像信号を矩形のブロックに分割して処理する必要があ
る、変換後の各値は周波的な差分信号となり、これらに
非線形処理を施した場合、上記直交変換を行う際に作成
したブロックごとに適用することになる。

【００８７】上記信号処理回路では、動きベクトル検出
回路７でもブロック分割を行っており、算出したベクト
ルの適用や、ベクトルの有効／無効判定もこのブロック
単位で行っている。本実施の形態においては、動きベク
トル検出回路７におけるベクトル検出で利用したブロッ
クの境界と、直交変換部１１におけるブロックの境界と
に相関を持たせることで、ベクトル検出の結果に応じた
非線形処理を適用させることが可能となる。

【００８８】具体的には、相互のブロックを空間的座標
で一致させることや、整数倍、すなわち他方のブロック
をさらに分割することでブロックの間に相関を持たせる
ことができる。

【００８９】すなわち、動きベクトル検出回路７におい
て分割した第１のブロックと、直交変換部１１において
分割した第２のブロックについて境界を一致させること
により相関を持たせることができる。また、上記第１の
ブロック及び上記第２のブロックの一方を縦方向及び／
又は横方向にそれぞれ整数倍することにより得られた境
界を他方の境界と一致させることにより相関を持たせる
ことができる。

【００９０】このように、本実施の形態では、動きベク
トル検出回路７にてフィールド画像を第１のブロックに
分割している。また、直交変換部１１にてフィールド画
像を第２のブロックに分割している。

【００９１】本実施の形態では、第１のブロックの境界
と第２のブロックの境界に相関を持たせることにより、
第２のブロックにおいて、第１のブロックに対して検出
された動きベクトルに対応した非線形処理を施してい
る。例えば、動きベクトル検出回路７にて第１のブロッ
クに対して検出されたベクトルが、ベクトル有効／無効
判定回路８にて無効と判定された場合には、減衰器１２
は、当該第１のブロックに対応する第２のブロックに対
して、無効判定に応じた非線形処理を施す。

【００９２】このように、第１のブロックの境界と第２
のブロックの境界とを相関を持たせることにより、第２
のブロックに対して、第１ブロックに対する動き補償に
応じた非線形処理を施すものである。このことによっ
て、ブロック境界における誤差の発生が低減される。

【００９３】減衰器１２は、直交変換部１１から入力さ
れた周波数成分ごとに減衰処理を行うものである。減衰
器１２は、複数の減衰器から構成される。減衰器１２を
構成する複数の減衰器は、例えば各周波数帯域に対応す
るものである。

【００９４】減衰器１２を構成する各減衰器は、非線形
回路として構成され、非線形特性を有している。各減衰
器における入出力特性は、入力が小さい範囲では乗数Ｋ
＝１として入力をノイズ成分として出力し、入力が中間
的レベルの範囲では、出力を所定値に制限し、入力が大
きい範囲では出力を小さくし、さらに、入力が大きい時
には、フレーム差分は、動きにより発生したものとし
て、出力を０としている。

【００９５】動きベクトル検出回路７におけるベクトル
検出の結果によって減衰器１２の非線形処理特性を制御
する場合、ベクトルが無効であるブロックについては、
差分信号にノイズ以外の成分が含まれている可能性が高
いため、ノイズ抽出の感度を下げるよう設定すること
や、帯域ごとにノイズの抽出量に重み付けをすることが
有効である。

【００９６】また、検出したベクトル量により減衰器１
２の非線形特性を設定することも可能であり、例えば静
止している部分のほうが、ノイズが目立つ傾向にあるた
め、ノイズ抽出の感度を高めるなどの処理が考えられ
る。

【００９７】さらに、減衰器１２においては、画像信号
から検出した特徴信号に基づいて、非線形制御を制御す
ることができる。

【００９８】減衰器１２においては、算出した動きベク
トルの上記判定の結果が有効でない場合、非線型処理に
よるノイズ抽出時の検出パラメータを調整する等の対応
を行うことで誤差信号の発生を押さえている。

【００９９】逆変換部１３は、減衰器１２にて周波数帯
域ごとに変換された信号について、逆変換を施して時間
軸上の空間的な信号に戻す。直交変換部１１にてアダマ
ール変換が施される場合には、逆変換部１３においては
逆アダマール変換が施される。

【０１００】信号処理回路は、入力映像信号から逆変換
部１３からの信号を減算して端子１５に出力する第２の
減算器１４を有している。

【０１０１】第２の減算器１４は、入力映像信号から逆
変換部１３の信号を減算する。すなわち、第２の減算器
１４においては、入力映像信号と減衰器１２にて抽出さ
れたノイズ成分を低減するように合成する。ノイズを低
減した信号は、出力映像信号となるほかに、次のフィー
ルドの処理のためにフィールドメモリ２に書き込まれ
る。

【０１０２】以上説明したように、本実施の形態は、映
像信号に含まれる白色雑音等のノイズを画像信号のフレ
ーム間の自己相関を利用して除去するものであり、フレ
ーム間の自己相関を利用する際に映像信号に対して動き
補償を施すものである。

【０１０３】本実施の形態は、映像信号の動き補償を行
うためのベクトル検出に用いるブロックの境界と、非線
形処理を行う際の帯域分割手段としてのアダマール変換
に用いるブロックの境界とに相関を持たせるものであ
る。

【０１０４】なお、上述の実施の形態においては、映像
信号を周波数帯域に分割する直交変換としてアダマール
変換を例示したが、本発明はこれに限定されない。他の
直交変換を用いることもできる。

【０１０５】

【発明の効果】本発明によると、入力映像信号の自己相
関を算出する際に、算出した動き補償に利用するベクト
ル情報、及び映像信号から検出できる特徴信号を、非線
形処理によるノイズ抽出処理に利用することで、良好な
ノイズ低減効果を得ることができる。

【０１０６】本発明は、映像信号の動き補償を行うため
の第１のブロックの境界と、非線形処理に直交変換を行
うための第２のブロックの境界とに相関を持たせること
により、第２のブロックに対して、第１のブロックでの
動き補償に応じた非線形処理を施す。これによって、ブ
ロック境界から発生するノイズを低減することができ
る。

【０１０７】本発明によると、補間フィルタにより、動
き補償を行う際のフィールド間の演算誤差を抑えると同
時に、ノイズ成分の混入による動き検出精度の低下を防
ぎ良好な動きベクトル検出を実現することができる。

【図面の簡単な説明】

【図１】信号処理装置の概略的な構成を示すブロック図
である。

【図２】信号処理回路の実施の形態の構成を示す図であ
る。

【図３】第１の補間フィルタと第２の補間フィルタにお
ける補間処理を説明する図である。

【図４】有効／無効判定の処理を示すフローチャートで
ある。

【図５】従来の巡回型ノイズ低減装置の構成を示すブロ
ック図である。

【符号の説明】

２フィールドメモリ、７動きベクトル検出回路、８
ベクトル有効／無効判定回路、９メモリコントロー
ラ、１１直交変換部、１２減衰器、１３逆変換部

Claims

【特許請求の範囲】

【請求項１】入力映像信号を第１のブロックに分割
し、この第１のブロックに基づいて動きベクトルを検出
する動きベクトル検出手段と、上記入力映像信号に対して、上記動きベクトル検出手段
で検出した動きベクトルに基づいて動き補償を行った上
で、１映像単位前の上記入力映像信号との差分信号を得
る差分手段と、上記差分手段で得た差分信号を第２のブロックに分割し
て周波数帯域に変換する直交変換手段と、上記直交変換手段で周波数帯域に変換された信号に対し
て周波数帯域ごとに非線形処理を施す非線形処理手段
と、上記入力映像信号と上記非線形処理手段で非線形処理が
施された信号とを合成する合成手段とを備え、上記第１のブロックの境界と上記第２のブロックの境界
とは、相関を有することを特徴とする信号処理装置。
【請求項２】上記映像単位は、フレーム又はフィール
ドであることを特徴とする請求項１記載の信号処理装
置。
【請求項３】上記直交変換は、アダマール変換である
ことを特徴とする請求項１記載の信号処理装置。
【請求項４】上記相関とは、上記第１のブロックの境
界と上記第２のブロックの境界とが一致するものである
ことを特徴とする請求項１記載の信号処理装置。
【請求項５】上記相関とは、上記第１のブロック及び
上記第２のブロックの一方を縦方向及び／又は横方向に
それぞれ整数倍することにより得られた境界が、他方の
境界と一致するものであることを特徴とする請求項１記
載の信号処理装置。
【請求項６】上記非線形処理手段は、上記ベクトル検
出手段にて検出した動きベクトルに基づいて、上記第２
のブロックごとに非線形処理を制御することを特徴とす
る請求項１記載の信号処理装置。
【請求項７】上記差分手段は、上記入力映像信号を構
成するフィールド画像を垂直方向に１：３又は３：１に
補間して、上記動きベクトル検出手段で検出した動きベ
クトルに基づいて動き補償を行った上で、１映像単位前
の上記入力映像信号との差分信号を得ること特徴とする
請求項１記載の信号処理装置。
【請求項８】上記動きベクトル検出手段で検出した動
きベクトルの有効／無効を判定する有効／無効判定手段
とを有し、上記差分手段は、上記有効／無効判定手段で
の判定に基づいて、上記入力映像信号に対して上記動き
ベクトルに基づいて動き補償を行った上で、１映像単位
前の上記入力映像信号との差分信号を得ることを特徴と
する請求項１記載の信号処理装置。
【請求項９】入力映像信号の動きベクトルを検出する
動きベクトル検出手段と、上記入力映像信号に対して、上記動きベクトル検出手段
で検出した動きベクトルに基づいて動き補償を行った上
で、１映像単位前の上記入力映像信号との差分信号を得
る差分手段と、上記差分手段で得た差分信号に対して非線形処理を施す
非線形処理手段と、上記入力映像信号と上記非線形処理手段で非線形処理が
施された信号とを合成する合成手段とを有し、上記差分手段は、上記入力映像信号を構成するフィール
ド画像を垂直方向に１：３又は３：１に補間して動き補
償を行うことを特徴とする信号処理装置。
【請求項１０】上記映像単位は、フレーム又はフィー
ルドであることを特徴とする請求項９記載の信号処理装
置。
【請求項１１】入力映像信号を第１のブロックに分割
し、この第１のブロックに基づいて動きベクトルを検出
し、上記入力映像信号に対して、上記動きベクトルに基づい
て動き補償を行った上で、１映像単位前の上記入力映像
信号との差分信号を得、上記差分信号を第２のブロック
に分割して周波数帯域に変換し、上記周波数帯域に変換された信号に対して周波数帯域ご
とに非線形処理を施し、上記入力映像信号と上記非線形処理が施された信号とを
合成し、上記第１のブロックの境界と上記第２のブロックの境界
とは、相関を有することを特徴とする信号処理方法。
【請求項１２】上記映像単位は、フレーム又はフィー
ルドであることを特徴とする請求項１１記載の信号処理
方法。
【請求項１３】上記直交変換は、アダマール変換であ
ることを特徴とする請求項１１記載の信号処理方法。
【請求項１４】上記相関とは、上記第１のブロックの
境界と上記第２のブロックの境界とが一致するものであ
ることを特徴とする請求項１１記載の信号処理方法。
【請求項１５】上記相関とは、上記第１のブロック及
び上記第２のブロックの一方を縦方向及び／又は横方向
にそれぞれ整数倍することにより得られた境界が、他方
の境界と一致するものであることを特徴とする請求項１
１記載の信号処理方法。
【請求項１６】上記非線形処理手段は、上記ベクトル
検出手段にて検出した動きベクトルに基づいて、上記第
２のブロックごとに非線形処理を制御することを特徴と
する請求項１１記載の信号処理方法。
【請求項１７】入力映像信号の動きベクトルを検出
し、上記入力映像信号に対して、上記動きベクトルに基づい
て動き補償を行った上で、１映像単位前の上記入力映像
信号との差分信号を得、上記差分信号に対して非線形処
理を施し、上記入力映像信号と上記非線形処理が施された信号とを
合成し、上記入力映像信号を構成するフィールド画像を垂直方向
に１：３又は３：１に補間して動き補償を行うことを特
徴とする信号処理方法。
【請求項１８】上記映像単位は、フレーム又はフィー
ルドであることを特徴とする請求項１７記載の信号処理
方法。