JP2005295287A - 映像信号処理装置 - Google Patents

Abstract

【課題】 本発明は、映像信号処理装置に関し、例えばフィルムに記録された動画による映像信号の処理に適用して、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができるようにする。
【解決手段】 本発明は、マニュアル操作でノイズを除去したノイズ除去フレームを基準にして、動きベクトル検出、動き補正により連続するフレームのノイズを除去する。
【選択図】 図１

Description

本発明は、映像信号処理装置に関し、例えばフィルムに記録された動画による映像信号の処理に適用することができる。本発明は、マニュアル操作でノイズを除去したノイズ除去フレームを基準にして、動きベクトル検出、動き補正により連続するフレームのノイズを除去することにより、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができるようにする。

近年、フィルムに記録された動画にあっては、映像信号に変換して保存されるようになされている。このような映像信号は、フィルムのキズ、汚れによりノイズの発生を避け得ず、当然のことながら、このようなノイズについては簡易な処理により除去することが望まれる。しかしながらこのようなノイズのうち、ランダムなノイズは、映像信号の処理に通常使用されるフィルタを用いて比較的、容易に除去することができるものの、数コマに渡って発生するバラ、キズ、汚れによるノイズにあっては、単なるフィルタによる処理によっては除去することが困難であり、コンピュータを用いたオペレータの操作による１コマづつの処理によらなければ除去することが困難な問題があった。

このような映像信号の処理に関して、映像信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。

このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位のブロック（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報

本発明は以上の点を考慮してなされたもので、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができる映像信号処理装置を提案しようとするものである。

係る課題を解決するため請求項１の発明においては、ユーザーによる操作に応動した処理により映像信号のノイズを除去してノイズ除去フレームを作成するマニュアルノイズ除去手段と、ノイズ除去フレームに基づいて、ノイズ除去フレームに続くフレームのノイズを順次除去する自動ノイズ除去手段とを備え、自動ノイズ除去手段は、ノイズ除去フレームを基準にして、映像信号の動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いたノイズ除去フレームの動き補正により、ノイズ除去フレームに続くフレームに対応する動き補正フレームを作成する動き補正手段と、動き補正フレームと続くフレームとの間の演算処理により、続くフレームのノイズを抑圧してノイズ抑圧フレームを作成するノイズ抑圧手段と、ノイズ抑圧フレームをノイズ除去フレームとして動きベクトル検出手段に供給する映像信号出力手段とを備えるようにする。

また請求項２の発明においては、請求項１の構成において、映像信号のシーンチェンジを検出するシーンチェンジ検出手段を備え、自動ノイズ除去手段は、シーンチェンジ検出手段によるシーンチェンジの検出により、映像信号の処理を中止するようにする。

請求項１の構成により、ユーザーによる操作に応動した処理により映像信号のノイズを除去してノイズ除去フレームを作成するマニュアルノイズ除去手段と、ノイズ除去フレームに基づいて、ノイズ除去フレームに続くフレームのノイズを順次除去する自動ノイズ除去手段とを備え、自動ノイズ除去手段は、ノイズ除去フレームを基準にして、映像信号の動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いたノイズ除去フレームの動き補正により、ノイズ除去フレームに続くフレームに対応する動き補正フレームを作成する動き補正手段と、動き補正フレームと続くフレームとの間の演算処理により、続くフレームのノイズを抑圧してノイズ抑圧フレームを作成するノイズ抑圧手段と、ノイズ抑圧フレームをノイズ除去フレームとして動きベクトル検出手段に供給する映像信号出力手段とを備えることにより、マニュアル操作でノイズを除去したノイズ除去フレームを基準にして、動きベクトル検出、動き補正により連続するフレームのノイズを除去することにより、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができる。

また請求項２の構成により、請求項１の構成において、映像信号のシーンチェンジを検出するシーンチェンジ検出手段を備え、自動ノイズ除去手段は、シーンチェンジ検出手段によるシーンチェンジの検出により、映像信号の処理を中止することにより、このようなノイズの除去を自動的に停止してユーザーによる操作を受け付けることができ、これにより確実にノイズを除去することができる。

本発明によれば、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係る映像信号処理装置を示すブロック図である。この映像信号処理装置１は、フィルムに記録された動画による映像信号等に関して、フィルムのキズ、汚れ等によるノイズを取り除く。この処理において、映像信号処理装置１は、シーンチェンジ直後の、各シーンの先頭１フレームについては、マニュアルモードによりユーザーによるマニュアル操作に応動したマニュアル制御部１２の制御により、ノイズを除去する。またこのようにしてマニュアルモードによりノイズを除去した１フレームの映像信号を基準にして、続いてシーンチェンジが発生するまでの間、自動ノイズ除去モードによりノイズを除去する。

このためこの映像信号処理装置１において、マニュアル制御部１２は、図示しない操作部を介してユーザーによる操作を受け付け、各部の動作を制御する。この制御において、マニュアル制御部１２は、マニュアルモードにおいて、ユーザーによる操作によりノイズ削除回路６の動作を制御することにより各シーンの先頭１フレームについてノイズを除去する。またユーザーによる操作により、全体の動作モードをこのようなマニュアルモードから自動ノイズ除去モードに切り換える。これに対してシーンチェンジ検出回路１１は、自動ノイズ除去モードにおいて、処理対象の映像信号Ｓ３について、シーンチェンジを検出し、シーンチェンジの検出により全体の動作モードをマニュアルモードに切り換える。

この映像信号処理装置１において、記憶部２は、ハードディスク装置等の大容量の記憶装置であり、フィルム画像を映像信号に変換してなるライン数１０８０本、１秒当たりのフレーム数が２４フレームでなる１０８０／２４Ｐの映像信号Ｓ１を順次入力して保持する。これにより記憶部２は、この映像信号処理装置１で処理する映像信号Ｓ１に係るコンテンツを１本分蓄積して保持した後、適宜、出力するようになされている。すなわち記憶部２は、自動ノイズ除去モードにおいては、蓄積した映像信号Ｓ２を順次出力するのに対し、シーンチェンジ検出回路１１におけるシーンチェンジの検出によりマニュアルモードに動作モードが切り換えられると、自動ノイズ除去モードに動作モードが切り換えられるまでの間、この映像信号Ｓ２の出力を中止する。

１フレーム遅延回路３は、自動ノイズ除去モードにおいて、記憶部２から出力される映像信号Ｓ２を一時記録して保持し、所定のタイミングで出力することにより、この映像信号Ｓ２を１フレーム期間遅延させて出力する。また１フレーム遅延回路３は、マニュアルモードに動作モードが切り換えられると、このような映像信号の記録を中止し、保持した映像信号を繰り返し出力する。

また続く１フレーム遅延回路４は、同様に、自動ノイズ除去モードにおいて、１フレーム遅延回路３から出力される映像信号Ｓ３を一時記録して保持し、所定のタイミングで出力することにより、この映像信号Ｓ３を１フレーム期間遅延させて出力する。また１フレーム遅延回路４は、マニュアルモードに動作モードが切り換えられると、このような映像信号の記録を中止し、保持した映像信号を繰り返し出力する。これにより映像信号処理装置１においては、図２（Ａ）、（Ｃ）、（Ｅ）に示すように、自動ノイズ除去モードにおける処理対象の映像信号Ｓ３と、この映像信号Ｓ３の前後フレームの映像信号Ｓ４、Ｓ２とを出力するようになされている。

切り替え回路５は、マニュアル制御部１２、シーンチェンジ検出回路１１の制御により動作を切り換え、マニュアルモードの開始により、１フレーム遅延回路４から出力される映像信号Ｓ４を続くノイズ削除回路６に出力して動作を停止する。これに対して自動ノイズ除去モードにおいては、後述する１フレーム遅延回路１０から出力される映像信号Ｓ１０を続くノイズ削除回路６に出力する。なおここで１フレーム遅延回路１０から出力される映像信号Ｓ１０は、１フレーム遅延回路４から出力される映像信号Ｓ４に対して１フレーム先行する映像信号であり、ノイズを除去してなる映像信号である。

ノイズ削除回路６は、マニュアルモードの開始により、切り替え回路５から出力される映像信号Ｓ４を１フレーム分蓄積して保持する。またマニュアルモードにおいて、このようにして保持した１フレーム分の映像信号Ｓ４を図示しないモニタ装置に繰り返し出力しながら、マニュアル制御部１２により、このようにして保持した映像信号による画像について領域の設定を受け付け、この領域の周辺画素を用いた補間演算によりこの領域の画素を周辺画素により置き換える。これによりノイズ削除回路６は、シーンチェンジに係る先頭シーンの１フレームの映像信号Ｓ４（図２（Ａ））について、矢印Ａにより示すように、ユーザーによる操作によりノイズＮを除去するようになされている。

ノイズ削除回路６は、このようにしてノイズを除去して、自動ノイズ除去モードに動作モードが切り換えられると、このようにノイズを除去してなる映像信号Ｓ６（図２（Ｂ））を動きベクトル検出回路７に出力した後、切り替え回路５より入力されるノイズが除去されてなる映像信号Ｓ１０を順次、動きベクトル検出回路７に出力する。なおノイズ削除回路６は、このように自動ノイズ除去モードに動作モードが切り換えられると、マニュアル操作によりノイズを除去した１フレーム分の映像信号に限って、切り替え回路５から出力される外部出力の映像信号Ｓ_OUTに代えて、この１フレーム分の映像信号を出力するようになされている。

動きベクトル検出回路７は、自動ノイズ除去モードにおいて、例えばブロックマッチング法により、ノイズ削除回路６から出力される映像信号Ｓ６を基準にして、１フレーム遅延回路３から出力される処理対象の映像信号Ｓ３の動きベクトルＶを順次検出して出力する。これに対してマニュアルモードにおいては、処理を中止するようになされている。なおこの動きベクトルの検出においては、勾配法、位相相関法等、種々の手法を適用することができる。

動き補正回路８は、自動ノイズ除去モードにおいて、動きベクトル検出回路７で検出された動きベクトルＶを基準にして、記憶部２から出力される処理対象の映像信号Ｓ３に対して１フレーム遅延してなる映像信号Ｓ２（図２（Ｅ））とノイズ削除回路６から出力される映像信号Ｓ６（図２（Ｂ））とをそれぞれ所定の内挿比でフレーム内挿処理する（矢印Ｂ、Ｃ）。しかしてこのフレーム内挿処理に係る映像信号Ｓ２、Ｓ６のうち、ノイズ削除回路６から出力される映像信号Ｓ６においては、自動ノイズ除去モードにおいて、ノイズを除去してなる映像信号Ｓ１０であることにより、このようにして生成される映像信号Ｓ８においても、ある程度ノイズを抑圧し、かつ処理対象の映像信号Ｓ３が有してなる高域成分を有している映像信号となる。これにより動き補正回路８は、矢印Ｄにより示すように処理対象の映像信号Ｓ３（図２（Ｃ））に対応する映像信号であって、かつノイズを抑圧してなる映像信号Ｓ８（図２（Ｄ））を生成する。これに対して動き補正回路８は、マニュアルモードにおいては、動作を停止する。

ノイズ低減回路９は、自動ノイズ除去モードにおいて、動き補正回路８で生成された内挿フレームに係る映像信号Ｓ８により、１フレーム遅延回路３から出力される処理対象の映像信号Ｓ３のノイズ成分を抑制する。具体的に、ノイズ低減回路９は、図３に示すように、１次巡回リカーシブフィルタにより構成され、処理対象の映像信号Ｓ３と処理基準の映像信号Ｓ８とをそれぞれ乗算回路９Ａ、９Ｂにより係数Ｋ、１−Ｋにより乗算した後、加算器９Ｃでこれら乗算回路９Ａ、９Ｂの乗算結果を加算して出力する。なおノイズ低減回路９は、マニュアルモードにおいては、動作を停止する。これによりこの映像信号処理装置１では、矢印Ｅにより示すように、処理対象の映像信号Ｓ３（図２（Ｃ））に対応する映像信号Ｓ９であって、ノイズを抑圧してなる映像信号Ｓ９（図２（Ｆ））を生成出力するようになされている。

１フレーム遅延回路１０は、自動ノイズ除去モードにおいて、ノイズ低減回路９から出力される映像信号Ｓ９を１フレーム期間遅延させて出力し、これにより１フレーム遅延回路１０から出力される映像信号Ｓ１０にあっては、処理対象の映像信号Ｓ３をノイズ低減回路９で処理している期間の間、切り替え回路５を介してこの処理対象に対して１フレーム先行するノイズを除去してなる映像信号を出力映像信号Ｓ_OUTとして外部に出力するようになされている。

これらによりこの実施例において、マニュアル制御部１２、ノイズ削除回路６は、ユーザーによる操作に応動した処理により映像信号のノイズを除去してノイズ除去フレームを作成するマニュアルノイズ除去手段を構成し、動きベクトル検出回路７、動き補正回路８、ノイズ低減回路９は、ノイズ除去フレームに基づいて、ノイズ除去フレームに続くフレームのノイズを順次除去する自動ノイズ除去手段を構成し、また動きベクトル検出回路７は、ノイズ除去フレームを基準にして、映像信号の動きベクトルを検出する動きベクトル検出手段を構成し、動き補正回路８は、動きベクトルを用いたノイズ除去フレームの動き補正により、ノイズ除去フレームに続くフレームに対応する動き補正フレームを作成する動き補正手段を構成し、ノイズ低減回路９は、動き補正フレームと続くフレームとの間の演算処理により、続くフレームのノイズを抑圧してノイズ抑圧フレームを作成するノイズ抑圧手段を構成し、切り替え回路５は、ノイズ抑圧フレームをノイズ除去フレームとして動きベクトル検出手段に供給する映像信号出力手段を構成するようになされている。

（２）実施例の動作
以上の構成において、この映像信号処理装置１において、ユーザーによる指示により処理を開始すると、記憶部２に記録された映像信号Ｓ２が順次出力され、１フレーム遅延回路３、４により順次遅延され、これにより処理対象の映像信号Ｓ３と、この映像信号Ｓ３の前後のフレームに係る映像信号Ｓ４、Ｓ２とが生成される。ここでこの処理対象の映像信号Ｓ３は、シーンチェンジ検出回路１１に供給され、これにより処理を開始して先頭１フレームが１フレーム遅延回路３から出力されて、この映像信号Ｓ３が続く１フレーム遅延回路４に保持された時点でシーンチェンジが検出され、この映像信号処理装置１の動作モードがマニュアルモードに切り換えられる。

このようにしてマニュアルモードに動作が切り換わると、１フレーム遅延回路４に保持されてなる映像信号Ｓ４が切り替え回路５を介してノイズ削除回路６に保持される。また記憶部２からの映像信号Ｓ２の出力が中止される。またこのようにしてノイズ削除回路６に保持された映像信号Ｓ４について、ユーザーによるマニュアル操作によりノイズ削除回路６でノイズが除去され、このようなマニュアル操作によるノイズ除去作業の終了がユーザーより指示されると、自動ノイズ除去モードに動作モードが切り換えられ、このようにしてノイズを除去してなる映像信号Ｓ６がノイズ削除回路６から動きベクトル検出回路７に入力され、また記憶部２からの映像信号Ｓ２の出力が再開される。

このようにして自動ノイズ除去モードの開始に係る１フレームの映像信号Ｓ６は、出力映像信号Ｓ_OUTに供される。また動きベクトル検出回路７で、１フレーム遅延回路３から継続して出力し続けられている続くフレームの映像信号である処理対象の映像信号Ｓ３との間で動きベクトルＶが検出され、この動きベクトルＶによる映像信号Ｓ２の出力を再開した記憶部２からの続く１フレームの映像信号Ｓ２と、マニュアル操作によりノイズを除去してなる映像信号Ｓ６との間のフレーム内挿により、ノイズを除去してなる処理対象の映像信号Ｓ３に対応する映像信号Ｓ８が作成される。

また続くノイズ低減回路９において、このノイズを削除してなる処理対象の映像信号Ｓ３に対応する映像信号Ｓ８により、処理対象の映像信号Ｓ３のノイズが抑圧され、１フレーム遅延回路１０、切り替え回路５を介して、マニュアル操作によりノイズを除去してなる映像信号Ｓ６の出力に続いて出力映像信号Ｓ_OUTにより出力される。

しかしてこのようにして１フレーム遅延回路１０を介して外部出力される映像信号Ｓ１０においては、このような外部出力と同時並列的に、動きベクトル検出回路７に入力され、続く１フレームに係る処理対象の映像信号Ｓ３との間で、動きベクトルＶが検出され、さらには動き補正回路８により動き補正され、この続く映像信号Ｓ３のノイズ低減の処理に供される。またその結果得られるノイズを抑圧してなる映像信号Ｓ１０が、１フレーム遅延回路１０を介して、続くフレームに係る同様の処理期間で外部出力に供される。

これによりこの映像信号処理装置１においては、ユーザーによるマニュアル操作によりノイズを除去してなるシーンチェンジの先頭フレームを用いて、順次連続するフレームのノイズが自動ノイズ除去モードにより除去されるようになされている。

このようにして連続するフレームのノイズを除去して、処理対象の映像信号Ｓ３について、シーンチェンジ検出回路１１でシーンチェンジが検出されると、再び、マニュアルモードに動作モードが切り換えられ、ノイズ削除回路６においてユーザーによるマニュアル操作によりノイズが除去される。

これらにより図２（Ａ）、（Ｃ）、（Ｅ）に示すように、例えば映像信号Ｓ２による動画において、人物が左から右に移動しているような場合にあって、フィルムのキズにより縦線によるノイズＮが発生しているような場合にあっては、矢印Ａにより示すようにマニュアル操作により先頭のフレーム（図２（Ａ））についてノイズを除去してノイズ除去フレームを作成した後（図２（Ｂ））、このノイズ除去フレームと続くフレーム（図２（Ｃ））との間で動きベクトルが検出され、この動きベクトルによるノイズ除去フレームと２フレーム遅延したフレームとのフレーム内挿により続くフレームに係る動き補正フレーム（図２（Ｄ）が作成され、この動き補正フレームと続くフレーム（図２（Ｃ））との演算処理により続くフレームのノイズを抑圧し（図２（Ｆ））、このノイズを抑圧したノイズ抑圧フレームが新たにノイズ除去フレームに設定されてさらに続くフレームに係るノイズを除去するようになされている。

これらによりこの実施例では、単にシーンチェンジの先頭フレームについてだけマニュアル操作によりノイズを除去して、連続するフレームについて自動的にノイズを除去することができ、これによりフィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができるようになされている。実際上、１フレームのノイズ除去をマニュアル操作により実行する場合、約３０分程度の時間を要する。これにより全てのフレームに対してマニュアル操作によりノイズを除去すると、１秒間分である２４フレームの映像信号を処理するのに、１２時間の時間が必要となる。しかしながらこの実施例の映像信号処理装置１によれば、１フレームだけマニュアル操作で修正し、残りのコマを自動で修正することにより、この１フレームの処理時間に相当する３０分程度の時間で、１秒分の映像信号のノイズを除去することができる。

（３）実施例の効果
以上の構成によれば、マニュアル操作でノイズを除去したノイズ除去フレームを基準にして、動きベクトル検出、動き補正により連続するフレームのノイズを除去することにより、フィルムのキズ、汚れ等による映像信号のノイズを容易に除去することができる。

またシーンチェンジ検出手段によるシーンチェンジの検出により、このような処理を中止することにより、このようなノイズの除去を自動的に停止してユーザーによる操作を受け付けることができ、これにより確実にノイズを除去することができる。

なお上述の実施例においては、連続する２フレームの映像信号Ｓ３、Ｓ６を用いて動きベクトルを検出する場合について述べたが、本発明はこれに限らず、３フレーム以上の映像信号を用いて動きベクトルを検出するようにすれば、動きベクトルの検出精度を向上させることができ、その分一段と有効にノイズを低減することができる。

また上述の実施例においては、２フレーム遅延した映像信号との間で内挿フレームを生成して動き補正フレームを作成する場合について述べたが、本発明はこれに限らず、３フレーム以上遅延した映像信号を用いて動き補正するようにすれば、動き補正の精度を向上させることができ、その分一段と有効にノイズを低減することができる。

また上述の実施例においては、単に映像信号のノイズを処理する場合について述べたが、本発明はこれに限らず、併せてマニュアル操作によりノイズを除去したフレームを記録に残すようにしてもよい。このようにすれば後日の確認作業に役立てることができる。なおこのような記録にあっては、映像信号のタイムコードを利用することが考えられる。

本発明は、映像信号処理装置に関し、例えばフィルムに記録された動画による映像信号の処理に適用することができる。

本発明の実施例に係る映像信号処理装置を示すブロック図である。 図１の映像信号処理装置によるノイズ低減処理の説明に供する略線図である。 図１のノイズ低減回路を示すブロック図である。

符号の説明

１……映像信号処理装置、２……記憶部、３、４、１０……１フレーム遅延回路、５……切り替え回路、６……ノイズ削除回路、７……動きベクトル検出回路、８……動き補正回路、９……ノイズ低減回路、１１……シーンチェンジ検出回路、１２……マニュアル制御部

Claims (2)

1. ユーザーによる操作に応動した処理により映像信号のノイズを除去してノイズ除去フレームを作成するマニュアルノイズ除去手段と、
   前記ノイズ除去フレームに基づいて、前記ノイズ除去フレームに続くフレームのノイズを順次除去する自動ノイズ除去手段とを備え、
   前記自動ノイズ除去手段は、
   前記ノイズ除去フレームを基準にして、前記映像信号の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルを用いた前記ノイズ除去フレームの動き補正により、前記ノイズ除去フレームに続くフレームに対応する動き補正フレームを作成する動き補正手段と、
   前記動き補正フレームと前記続くフレームとの間の演算処理により、前記続くフレームのノイズを抑圧してノイズ抑圧フレームを作成するノイズ抑圧手段と、
   前記ノイズ抑圧フレームを前記ノイズ除去フレームとして前記動きベクトル検出手段に供給する映像信号出力手段とを備える
   ことを特徴とする映像信号処理装置。
2. 前記映像信号のシーンチェンジを検出するシーンチェンジ検出手段を備え、
   前記自動ノイズ除去手段は、
   前記シーンチェンジ検出手段による前記シーンチェンジの検出により、前記映像信号の処理を中止する
   ことを特徴とする請求項１に記載の映像信号処理装置。
   

Images