JP2004187009A - ノイズ除去装置及びノイズ除去方法 - Google Patents

Abstract

【課題】フェードイン／フェードアウト映像や微細なグラデーション部分やぼけたエッジ部分が動いた時の残像の発生を低減するノイズ除去装置とする。
【解決手段】出力映像信号より１フレーム分遅延させた信号を第１の減算回路１０２にて入力映像信号から減算して得た差分信号から、直列・並列変換回路１０５にて任意の（ｍ×ｎ）個の領域差分信号を切り出し、直交変換回路１０６にて直交変換し非線形処理回路１０７にて非線形処理した後、直交逆変換回路１０８にて逆変換して元の実空間領域上の非線形信号を得る一方、差分符号情報抽出回路１０９にて前記領域差分信号の各符号情報を抽出して生成したフレーム差分符号情報を平滑化回路１１０にて平滑化した後、帰還係数演算回路１１１にて予め定めた基準帰還量Ｋと演算して帰還係数を求め、乗算回路１１３にて前記非線形信号と乗算してノイズ成分を抽出し、第２の減算回路１０３にて入力映像信号から減算する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ノイズ除去装置及びノイズ除去方法に関し、特に、映像信号処理装置において映像信号に含まれているノイズ成分を抽出して除去するノイズ除去装置及び該ノイズ除去装置を実現しているノイズ除去方法に関する。
【０００２】
【従来の技術】
映像信号として、例えばテレビジョン用映像信号のＳ／Ｎを改善する方法は、既に種々提案されているが、Ｓ／Ｎ改善方法の１つとして、映像信号そのものはフレーム相関が非常に強いが、ノイズはフレーム相関が弱いことを利用したノイズ除去装置が知られている。
【０００３】
図１３は、従来のノイズ除去装置の構成を示す機能ブロック構成図である。図１３に示すノイズ除去装置１０は、出力端子１６に出力される出力映像信号を１フレーム期間遅延させてフレーム遅延信号を出力するフレームメモリ１４と、入力端子１１から入力されてくる入力映像信号とフレームメモリ１４から出力されてくるフレーム遅延信号との差分を演算してフレーム差分信号を出力する第１の減算回路１２と、第１の減算回路１２から出力されるフレーム差分信号に対して非線形処理を施し非線形信号を出力する非線形処理回路１５と、非線形処理回路１５から出力される非線形信号と入力端子１１から入力されてくる入力映像信号との差分を演算して、出力端子１６に出力する出力映像信号を生成する第２の減算回路１３とが、図１３のごとく接続されて構成されている。
【０００４】
前記フレーム差分信号に対して非線形処理を施す非線形処理回路１５の非線形特性を図１５に示す。即ち、図１５は、従来例における非線形処理回路１５の非線形特性を示すグラフである。図１５に示すごとき非線形特性は、入力信号である前記フレーム差分信号の振幅が範囲（−ＴＨ〜＋ＴＨ）内の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）によって規定される値に基づいて非線形化処理が施され、範囲（−ＴＨ〜＋ＴＨ）を超える入力信号（フレーム差分信号）については除去され、出力信号が出力されないことを示している。
【０００５】
第１の減算回路１２においては、前述のごとく、入力端子１１から入力されてくる入力映像信号から、フレームメモリ１４により１フレーム期間遅延した出力映像信号（即ち、出力端子１６から出力される出力映像信号）を減算して、フレーム差分信号を生成している。ここで、第１の減算回路１２から出力されるフレーム差分信号とは、入力映像信号に含まれる動画部分（動き部分）の残像とノイズ成分とを含む信号である。
【０００６】
該フレーム差分信号のうち、動画部分（動き部分）の残像の信号レベルはノイズ成分の信号レベルに比べ比較的大きいことから、両者の成分を識別する閾値をＴＨとすると、図１５に示す非線形特性を有する非線形処理回路１５を通して非線形処理を施すことにより、動画部分（動き部分）の残像は除去され、入力端子１１から入力される入力映像信号に含まれているノイズ成分のみを抽出することができる。従って、第２の減算回路１３において、非線形処理回路１５において抽出されたノイズ成分を、入力端子１１から入力されてくる現在の入力映像信号から減じると、該入力映像信号に含まれているノイズ成分が除去され、ノイズ成分を含まない出力映像信号を得ることができる。
【０００７】
かくのごとくノイズ成分が除去された出力映像信号を出力端子１６から出力すると共に、フレームメモリ１４に一旦記憶して、１フレーム遅延させることにより、次フレームの入力映像信号とのフレーム差分信号を算出するために備える。しかしながら、図１３に示すノイズ除去装置１０は、入力映像信号が静止画である場合においては、良好にＳ／Ｎを改善することができるが、動画である場合には、前記フレーム差分信号中に含まれる低い信号レベル（即ち、閾値ＴＨ以下の信号レベル）の動画部分（動き部分）の残像に対しても全てノイズ成分とみなしてしまう。即ち、非線形処理回路１５からは閾値ＴＨ以下の低い信号レベルの動画部分（動き部分）の残像もノイズ成分として抽出されてしまい、かかる低信号レベルの動画部分の残像とノイズ成分とを含んだ信号が、非線形信号として出力される。その結果、第２の減算回路１３において、入力映像信号からノイズ成分のみならず振幅の小さい動画部分（動き部分）も除去してしまう結果となり、反って動画部分の残像等を発生させてしまうという問題がある。
【０００８】
図１３に示すノイズ除去装置１０における前記問題を解決するために、図１４に示すごとく、アダマール変換を用いたノイズ除去装置が提案されている（例えば、特許文献１、非特許文献１を参照のこと）。ここに、図１４は、アダマール変換を用いた従来のノイズ除去装置の構成を示す機能ブロック構成図である。図１４に示すアダマール変換を用いたノイズ除去装置２０は、第１の減算回路２２と、第２の減算回路２３と、フレームメモリ２４と、直列・並列変換回路２５と、アダマール変換回路２６と、非線形処理回路２７と、アダマール逆変換回路２８とが図１４のごとく接続されて構成されている。
【０００９】
ここで、フレームメモリ２４は、出力端子２９に出力される出力映像信号を１フレーム期間遅延させてフレーム遅延信号を出力するものであり、第１の減算回路２２は、入力端子２１から入力されてくる入力映像信号とフレームメモリ２４から出力されてくるフレーム遅延信号との差分を演算してフレーム差分信号を出力するものであり、直列・並列変換回路２５は、第１の減算回路２２から出力されるフレーム差分信号に対して直並列変換して入力領域の切り出しを行ない、切り出した（ｍ×ｎ）個の領域フレーム差分信号を出力する直列・並列切り出し手段を構成するものであり、アダマール変換回路２６は、直列・並列変換回路２５から出力された（ｍ×ｎ）個の領域フレーム差分信号をアダマール変換（即ち、直交変換）するものである。
【００１０】
また、非線形処理回路２７は、アダマール変換された（ｍ×ｎ）個の領域フレーム差分信号に対して図１５に示すごとき非線形特性に基づいて非線形処理を施し非線形信号を出力するものであり、アダマール逆変換回路２８は、非線形処理回路２７から出力される非線形信号に対してアダマール逆変換を施して元の実空間領域上の非線形信号を出力するものであり、第２の減算回路２３は、アダマール逆変換回路２８から出力される実空間領域上の非線形信号と入力端子２１から入力されてくる入力映像信号との差分を演算して、出力端子２９に出力する出力映像信号を生成するものである。
なお、以降の説明に当たっては、（ｍ×ｎ）次のアダマール変換の一例として、（４×２）次のアダマール変換を適用している場合について説明することとする。
【００１１】
第１の減算回路２２においては、前述のごとく、入力端子２１から入力される入力映像信号から、フレームメモリ２４により１フレーム期間遅延した出力映像信号（即ち、出力端子２９から出力される出力映像信号）を減算して、フレーム差分信号を生成している。ここで、第１の減算回路２２から出力されるフレーム差分信号とは、図１３の場合と同様に、入力映像信号に含まれる動画部分（動き部分）の残像とノイズ成分とを含む信号である。かかるフレーム差分信号は、直列・並列変換回路２５に入力される。
【００１２】
直列・並列変換回路２５においては、入力されてくる該フレーム差分信号に対して、直並列変換処理を施すことにより、（ｍ×ｎ）個の入力領域の切り出し、例えば、図２に示すように、（４×２）個の入力領域の切り出しを行なう。切り出された（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号をアダマール変換回路２６に入力して、アダマール変換処理を施すことにより、実空間領域上のデータを周波数領域上のデータに変換する。ここで、アダマール変換回路２６において今回適用される（４×２）次のアダマール変換の変換式は、例えば、下記の式（１）に示すようになる。
【００１３】
【式１】

【００１４】
動画部分（動き部分）の残像は、一般に、隣接位置同士に強い相関があるので、ある特定の周波数領域に集中して表れる。つまり、振幅の大きな周波数領域上のデータとして表れる。一方、ノイズ成分は隣接位置同士には相関がないので、全ての周波数領域に対して平均化されて振幅が小さい周波数領域上のデータとして表れる。従って、（４×２）次のアダマール変換処理により周波数領域のデータに変換された（４×２）個の領域フレーム差分信号の振幅値の大小を判定することにより、動画部分（動き部分）の残像とノイズ成分とを分別することができる。かかるアダマール変換処理が施された（４×２）個の領域フレーム差分信号は、非線形処理回路２７に入力される。
【００１５】
図１５に示すごとき非線形特性（例えば、範囲（−ＴＨ〜＋ＴＨ）内の振幅レベルの入力信号に対してのみ正弦曲線に応じた振幅の出力信号を出力し、範囲（−ＴＨ〜＋ＴＨ）を超える入力信号に対しては一切出力信号を出力しない非線形特性）を用いて入力信号に対して非線形処理を行なう非線形処理回路２７においては、動画部分（動き部分）の残像における周波数領域の振幅が閾値（−ＴＨ，＋ＴＨ）を超える大きな振幅となるように閾値（−ＴＨ，＋ＴＨ）を設定することにより、入力されてくるアダマール変換後の（４×２）個の領域フレーム差分信号に対して、振幅の大きな動画部分（動き部分）の残像が除去されて、振幅が小さいノイズ成分のみからなる非線形信号を出力させることができる。
【００１６】
かくのごとく、アダマール変換処理を施すことにより、図１３に示したノイズ除去装置１０の場合よりも、動画部分（動き部分）の残像とノイズ成分との判別が容易となり、ノイズ成分を抽出し易くなる。ここで、非線形処理回路２７から出力される非線形信号即ち非線形処理回路２７により抽出されたノイズ成分は、周波数領域の信号であるので、アダマール逆変換回路２８において、アダマール逆変換を施して実空間領域上のノイズ成分の信号に復元し、しかる後に、第２の減算回路２３において、入力端子２１からの入力映像信号から該ノイズ成分を減じることにより、ノイズ成分が含まれていない出力映像信号を得ることができる。
【００１７】
かくのごとくノイズ成分が除去された出力映像信号を出力端子２９から出力すると共に、フレームメモリ２４に一旦記憶して、１フレーム遅延させることにより、次フレームの入力映像信号とのフレーム差分信号を算出するために備える。即ち、図１４に示すノイズ除去装置２０によれば、ノイズ成分を抽出するための非線形処理を行なうに当たって、アダマール変換を施し、一旦周波数領域の信号を得ることにより、動画部分に対しても、ノイズ成分を除去した出力映像信号を出力することができる。
【００１８】
しかし、アダマール変換を用いたノイズ除去装置２０においても、完全には、動画部分（動き部分）の残像とノイズ成分との区別がつかないため、前述した（ｍ×ｎ）個の入力領域の平均値又は分散検出を用いて、非線形処理を制御することにより、動画部分（動き部分）の残像を低減させ、ノイズ成分をより多く抽出することができる技術も開示されている（例えば、特許文献２を参照のこと）。
【００１９】
【特許文献１】
特開平７−１７７３９１号公報（第５頁−第６頁、図１）
【特許文献２】
特開平７−１４３３６３号公報（第３頁―第４頁、図１）
【非特許文献１】
海老原 他，「アダマール変換を用いたテレビジョン信号のノイズリ
デューサ」，テレビジョン学会誌，Ｖｏｌ．３７，
Ｎｏ．１２（１９８３），ｐ．１０３０〜１０３６
【００２０】
【発明が解決しようとする課題】
前述したように、図１３に示したノイズ除去装置１０や図１４に示したアダマール変換を用いたノイズ除去装置２０においては、いずれにしても非線形処理を施すことによりノイズ除去量を決定しているため、ノイズ成分と動き成分との信号レベル差が小さい場合には、完全には動画部分（動き部分）の残像とノイズ成分とを区別することができず、特に、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた時、あるいは、ぼけたエッジ部分が動いた時、かかる動き成分も含めてノイズ成分として入力映像信号から除去してしまって、反って動画部分（動き部分）に残像を発生させる等の問題を有していた。
【００２１】
更に、前述の特許文献２に記載されている従来例においては、入力領域の平均値や分散検出を用いて動き量の検出を行なっているものの、ノイズ成分と動き成分のレベル差が小さい場合には、やはり正確に動画部分（動き部分）の残像とノイズ成分との区別はできないため、図１３や図１４のノイズ除去装置の場合と同様の問題点を有している。
【００２２】
本発明は、かかる状況に鑑みてなされたものであり、直交変換のみならず、切り出した領域におけるフレーム差分信号の符号情報あるいはフレーム差分信号の差分傾き情報を抽出する手段、あるいは、予め定められた領域毎に切り出されたフレーム差分信号（領域フレーム差分信号）の直交変換後の非線形処理により抽出されたノイズ成分の候補と切り出された前記フレーム差分信号とから除去すべきノイズ成分を判定する手段のいずれかの手段を備えたノイズ除去手段を提供することにより、従来技術のごとく直交変換（例えばアダマール変換）のみを用いたノイズ除去装置においてもなお問題として存在しているフェードイン映像やフェードアウト映像の残像、あるいは、微細なグラデーション部分が動いた時の残像、あるいは、ぼけたエッジ部分が動いた時の残像の発生を抑止し、ノイズ成分を含まない映像信号を出力可能とするノイズ除去装置及びノイズ除去方法を提供せんとするものである。
【００２３】
【課題を解決するための手段】
第１の発明は、当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報を出力するフレーム差分符号情報抽出手段と、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像記号として出力する第２の減算手段と、を具備しているノイズ除去装置とすることを特徴とするものである。
【００２４】
第２の発明は、前記第１の発明に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段において生成される前記フレーム差分符号情報が、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報が全て同一の符号に揃っているか否かを示す情報、あるいは、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報に対する予め定められた正符号と負符号との比率に基づいて生成される情報であるノイズ除去装置とすることを特徴とするものである。
【００２５】
第３の発明は、前記第１又は第２の発明に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報を用いているノイズ除去装置とすることを特徴とするものである。
【００２６】
第４の発明は、前記第３の発明に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００２７】
第５の発明は、当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域の前記フレーム差分信号である第１の領域フレーム差分信号を切り出して出力する第１の直列・並列切り出し手段と、前記第１の直列・並列切り出し手段により切り出された（ｍ×ｎ）個の前記第１の領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記第１の減算手段からの出力信号である前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号を切り出して出力する第２の直列・並列切り出し手段と、前記第２の直列・並列切り出し手段により切り出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、前記第２の領域フレーム差分信号の傾き情報を抽出して、フレーム差分傾き情報として出力するフレーム差分傾き情報抽出手段と、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号を出力する第２の減算手段と、を具備しているノイズ除去装置とすることを特徴とするものである。
【００２８】
第６の発明は、前記第５の発明に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段において出力される前記フレーム差分傾き情報が、抽出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分演算により得られた符号情報として、予め定められた閾値以上、同一符号が揃っているか否かを示す情報に基づいて、前記第２の領域フレーム差分信号の傾きの有無が決定される傾き情報であるノイズ除去装置とすることを特徴とするものである。
【００２９】
第７の発明は、前記第５又は第６の発明に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報を用いているノイズ除去装置とすることを特徴とするものである。
【００３０】
第８の発明は、前記第７の発明に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００３１】
第９の発明は、当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である前記領域フレーム差分信号と前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号あるいは前記直交変換手段からの出力信号である前記直交変換信号とのいずれかに基づいて、ノイズ成分の存在の有無を判定し、ノイズ判定信号として出力するノイズ判定手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号として出力する第２の減算手段と、を具備しているノイズ除去装置とすることを特徴とするものである。
【００３２】
第１０の発明は、前記第９の発明に記載のノイズ除去装置において、前記ノイズ判定手段から出力される前記ノイズ判定信号が、前記直列・並列切り出し手段により切り出された前記領域フレーム差分信号のうち、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号として抽出された部分に該当する位置にある前記領域フレーム差分信号が予め定められた閾値よりも小さいか否かを示す情報、あるいは、前記領域フレーム差分信号のフレーム間の差分が示す符号情報、あるいは、前記領域フレーム差分信号の画素間の差分を示す傾き情報、あるいは、前記直交変換手段からの出力信号である前記直交変換信号の周波数分布のいずれか１乃至複数を用いて生成されるものであるノイズ除去装置とすることを特徴とするものである。
【００３３】
第１１の発明は、前記第９又は第１０の発明に記載のノイズ除去装置において、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号を１フレーム期間遅延させて、遅延ノイズ判定信号として出力する遅延ノイズ判定信号生成手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記遅延ノイズ判定信号生成手段からの出力信号である前記遅延ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として出力する論理演算手段とを具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号の代わりに、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報を用いているノイズ除去装置とすることを特徴とするものである。
【００３４】
第１２の発明は、前記第１１の発明に記載のノイズ除去装置において、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００３５】
第１３の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力するノイズ除去方法とすることを特徴とするものである。
【００３６】
第１４の発明は、前記第１３の発明に記載のノイズ除去方法において、入力されてくる前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、入力されてきた前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報の代わりに、前記平滑化フレーム差分符号情報を用いているノイズ除去方法とすることを特徴とするものである。
【００３７】
第１５の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である第１の領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、前記フレーム差分信号から、予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、切り出された（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、抽出される前記第２の領域フレーム差分信号の傾き情報を示すフレーム差分傾き情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力するノイズ除去方法とすることを特徴とするものである。
【００３８】
第１６の発明は、前記第１５の発明に記載のノイズ除去方法において、入力されてくる前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、入力されてきた前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報の代わりに、前記平滑化フレーム差分傾き情報を用いているノイズ除去方法とすることを特徴とするものである。
【００３９】
第１７の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号と実空間領域上の前記非線形信号あるいは前記直交変換信号とのいずれかに基づいて、ノイズ成分の存在の有無を判定して出力されるノイズ判定信号と、実空間領域上の前記非線形信号との演算結果を、ノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力するノイズ除去方法とすることを特徴とするものである。
【００４０】
第１８の発明は、前記第１７の発明に記載のノイズ除去方法において、前記ノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号と前記ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記ノイズ判定信号の代わりに、前記フレーム間ノイズ情報を用いているノイズ除去方法とすることを特徴とするものである。
【００４１】
而して、前記第１乃至第１８の発明のいずれかに記載の発明によれば、フェードイン映像あるいはフェードアウト映像の残像や、微細なグラデーション部分が動いた時の残像あるいはぼけたエッジ部分が動いた時の残像の発生を低減することを可能とし、あるいは、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の動き成分をノイズ成分と分離させて検出し、かかる動き部分の残像の発生を低減することを可能としており、もって、かかる動き部分における画質劣化を抑えると共に、更には、静止領域においても、高いノイズ除去効果を達成することができる。
【発明の実施の形態】
本発明に係るノイズ除去装置及びノイズ除去方法の実施形態を、図面に基づいて以下に説明する。
まず、本発明に係るノイズ除去装置及びノイズ除去方法に関する第１の実施形態について説明する。
図１は、本発明に係るノイズ除去装置の構成に関する第１の実施形態の一例を示す機能ブロック構成図である。なお、本実施形態に於いては、直交変換として、（４×２）次のアダマール変換を適用している場合を一例として用いて説明することとする。
本実施形態におけるノイズ除去装置１００は、第１の減算回路１０２と、第２の減算回路１０３と、フレームメモリ１０４と、直列・並列変換回路１０５と、直交変換回路１０６と、非線形処理回路１０７と、直交逆変換回路１０８と、差分符号情報抽出回路１０９と、平滑化回路１１０と、帰還係数演算回路１１１と、基準帰還量Ｋ １１２と、乗算回路１１３とが、図１のごとく接続されて構成されている。
【００４２】
図１に示すノイズ除去装置１００において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００に入力されてくる入力映像信号から、当該ノイズ除去装置１００から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【００４３】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、フレームメモリ１０４へ供給される。ここに、フレームメモリ１０４は、当該ノイズ除去装置１００から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【００４４】
フレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として直列・並列変換回路１０５へ供給される。
ここに、直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段を構成している。
【００４５】
直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の領域フレーム差分信号、本実施例においては、（４×２）個の領域フレーム差分信号が出力され、直交変換回路１０６と、差分符号情報抽出回路１０９とに供給される。直交変換回路１０６に供給された（４×２）個の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【００４６】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、差分符号情報抽出回路１０９は、直列・並列変換回路１０５からの出力信号である（ｍ×ｎ）個例えば（４×２）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報を出力するフレーム差分符号情報抽出手段を構成している。更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。
【００４７】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述する差分符号情報抽出回路１０９又は平滑化回路１１０又は帰還係数演算回路１１１のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【００４８】
一方、差分符号情報抽出回路１０９に供給された（４×２）個の領域フレーム差分信号からは各フレーム間の差分値の符号情報であるフレーム差分符号情報が抽出されて、平滑化回路１１０へ供給されて、該フレーム差分符号情報は平滑化され、平滑化信号即ち平滑化フレーム差分符号情報として帰還係数演算回路１１１に供給される。ここで、平滑化回路１１０は、差分符号情報抽出回路１０９からの出力信号であるフレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、差分符号情報抽出回路１０９からの出力信号である前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して出力する平滑化手段を構成している。
【００４９】
帰還係数演算回路１１１においては、供給されてくる平滑化信号即ち平滑化フレーム差分符号情報と基準帰還量Ｋ １１２とにより、平滑化された平滑化フレーム差分符号情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１１１は、平滑化回路１１０からの出力信号である前記平滑化信号即ち平滑化フレーム差分符号情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、差分符号情報抽出回路１０９において抽出されたフレーム差分符号情報を直接供給することとしても良いし、あるいは、平滑化回路１１０において平滑化された平滑化信号即ち平滑化フレーム差分符号情報を供給することとしても良い。
【００５０】
前述のごとく、差分符号情報抽出回路１０９からの前記フレーム差分符号情報又は平滑化回路１１０において平滑化された前記平滑化信号即ち平滑化フレーム差分符号情報又は帰還係数演算回路１１１からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１１１から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【００５１】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、フレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、直列・並列変換回路１０５へ入力される。
直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の領域フレーム差分信号を出力する。
【００５２】
図２は、直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【００５３】
非線形処理回路１０７は、本実施形態においては、例えば、図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、本発明に係るノイズ除去装置１００における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【００５４】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【００５５】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、フェードイン映像、フェードアウト映像や、微細なグラデーション部分が動いた映像等の微小な動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【００５６】
かくのごとき映像を輝度信号で考えた場合、フェードイン映像は１フレーム毎に映像全体の輝度信号は徐々に大きくなるため、前述の直列・並列変換回路１０５で切り出された（４×２）個の画素からなる領域フレーム差分信号の符号情報は正符号に揃うことになる。反対に、フェードアウト映像は１フレーム毎に映像全体の輝度信号は徐々に小さくなるため、前述の（４×２）個の画素からなる領域フレーム差分信号の符号情報は負符号に揃う。同様に、微細なグラデーション映像が動いた場合も、かかるグラデーション映像の領域の輝度信号は一定方向に大きく又は小さくなるため、その領域の符号情報は正符号又は負符号に揃うことになる。
【００５７】
かくのごとく、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域のフレーム差分信号の符号情報を抽出することとすれば、フェードイン映像、フェードアウト映像、微細なグラデーション部分が、動いた画像部分として検出することが可能となる。
かかる符号情報を検出することを可能とするために、本発明においては、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域フレーム差分信号のそれぞれについての符号情報であるフレーム差分符号情報を抽出するために、差分符号情報抽出回路１０９が新たに設けられている。
【００５８】
図４は、図１における差分符号情報抽出回路１０９のより詳細な内部構成の一例を示すブロック構成図であり、本発明によるノイズ除去装置１００の一実施例（第１の実施形態）においてフレーム差分信号の符号情報を抽出する差分符号情報抽出回路１０９の構成例を示す機能ブロック図である。図４において、入力端子１０９ａ_−１〜１０９ａ_−８から入力されてくる直列・並列変換回路１０５からの（４×２）個の画素からなるフレーム差分信号は、それぞれ符号判定回路１０９ｂ_−１〜１０９ｂ_−８に入力される。符号判定回路１０９ｂ_−１〜１０９ｂ_−８のそれぞれにおいては、入力されてくるそれぞれのフレーム差分信号に応じて次のように動作する。入力信号のフレーム差分信号の符号情報が正の場合は、正符号カウンタ１０９ｃに対して「１」を出力し、負符号カウンタ１０９ｄに対しては「０」を出力する。一方、入力信号のフレーム差分信号の符号情報が負の場合は、正符号カウンタ１０９ｃに対して「０」を出力し、負符号カウンタ１０９ｄに対しては「１」を出力する。更に、入力信号のフレーム差分信号が「０」の場合は、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄに対しては、共に「０」を出力するようにする。
【００５９】
而して、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄは、それぞれ、符号判定回路１０９ｂ_−１〜１０９ｂ_−８からの出力である正及び負の数の合計値を、それぞれ判定回路１０９ｅに対して出力する。判定回路１０９ｅにおいては、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄの出力結果に基づいて、次のように動作する。正符号カウンタ１０９ｃの出力、又は、負符号カウンタ１０９ｄの出力のいずれか一方の出力が「０」の場合には、「０」を出力し、それ以外の場合には、「１」を出力するようにする。かくのごとく構成された差分符号情報抽出回路１０９にあっては、フレーム差分符号情報として、入力されてきた（４×２）個の画素からなる領域フレーム差分信号が、各値が全て「０」である場合を除いて、該領域フレーム差分信号の符号が、全て正又は負のいずれか一方に揃っている場合には、「０」となるフレーム差分符号情報を出力端子１０９ｆから出力し、一方、該フレーム差分信号の符号が揃っていない場合あるいは全て「０」である場合には、「１」となるフレーム差分符号情報を出力端子１０９ｆから出力する。
【００６０】
なお、図４に示す差分符号情報抽出回路１０９の前述の説明においては、一例として、入力されてくる（４×２）個の画素からなる領域フレーム差分信号の全て符号が揃った場合を検出して、フレーム差分符号情報を「０」として出力していたが、本発明においては、かかる場合のみに限定されるものではなく、入力信号である領域フレーム差分信号の（４×２）個の画素のうち、１箇所のみの信号の符号が異なっているとしても、フレーム差分符号情報を「０」として出力するように構成しても良いし、あるいは、入力信号である領域フレーム差分信号の（４×２）個の各画素の正符号と負符号との比率を、予め定められた基準比率と比較することにより、フレーム差分符号情報の出力値の「０」と「１」とを決定するように構成しても良い。即ち、差分符号情報抽出回路１０９において生成されるフレーム差分情報としては、抽出された（ｍ×ｎ）個の領域フレーム差分信号それぞれの前記符号情報が全て同一の符号に揃っているか否かを示す情報、あるいは、抽出された（ｍ×ｎ）個の領域フレーム差分信号それぞれの前記符号情報に対する予め定められた正符号と負符号との比率に基づいて生成される情報のいずれを用いても良い。
【００６１】
また、入力されてくる領域フレーム差分符号情報の領域の大きさ（例えば、（４×２）個の画素）についても、前述の図１に示す実施例における直列・並列変換回路１０５において切り出される（４×２）個の領域のみに限定されるものではなく、直列・並列変換回路１０５において如何なる大きさの領域を切り出して用いることとしても構わない。
【００６２】
差分符号情報抽出回路１０９の出力であるフレーム差分符号情報は、前述のごとく、図１に示す平滑化回路１１０へ入力される。ここで問題としている、フェードイン映像、フェードアウト映像や、あるいは、微細なグラデーション部分が動いた映像の場合、切り出された（４×２）の画素からなる１領域のみにおいて領域フレーム差分信号の各符号が揃っているということは極めて稀であり、通常、該領域の周辺部分であっても、領域フレーム差分信号の符号情報が全て揃っていて、フレーム差分符号情報が「０」となる領域が含まれている。従って、平滑化回路１１０においては、領域フレーム差分信号の各符号が揃っている領域の周辺部分の領域においても、領域フレーム差分信号の各符号が揃っているか否かを検知して、たまたま、領域フレーム差分信号の各符号が揃っている孤立した領域即ちフレーム差分符号情報が１箇所のみ「０」となる孤立点を、ノイズ成分として除去するようにしている。
【００６３】
図５は、図１における平滑化回路１１０のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００の一実施例（第１の実施形態）においてフレーム差分符号情報を平滑化する平滑化回路１１０の構成例を示す機能ブロック構成図である。差分符号情報抽出回路１０９から入力端子１１０ａに入力されてくるフレーム差分符号情報は、１サンプル遅延回路１１０ｂ_−１〜１１０ｂ_{−（ｘ−１）}を用いて、それぞれ水平方向に遅延させたｘ個分の水平遅延信号として生成される（即ち、切り出される）。更に、生成されたｘ個分の水平遅延信号は、１ライン遅延回路１１０ｃ_−１〜１１０ｃ_{−（ｙ−１）}を用いて、それぞれ垂直方向に遅延させたｙ個分の垂直遅延信号として生成される（即ち、切り出される）。
【００６４】
各１サンプル遅延回路１１０ｂ_−１〜１１０ｂ_{−（ｘ−１）}により遅延されて生成されたｘ個の水平遅延信号と各１ライン遅延回路１１０ｃ_−１〜１１０ｃ_{−（ｙ−１）}により遅延されて生成されたｙ個の垂直遅延信号とは、入力されてきたフレーム差分符号情報と共に、演算回路１１０ｄに入力される。図５に示す本実施例においては、１サンプル遅延回路１１０ｂ_−１〜１１０ｂ_−２を２個、また、１ライン遅延回路１１０ｃ_−１〜１１０ｃ_−２を２個用いている場合を示している。演算回路１１０ｄにおいては、入力されてきた領域のフレーム差分符号情報のみならず周辺部分の領域も含めたフレーム差分符号情報を合計した最大値を、平滑化された平滑化フレーム差分符号情報として、出力端子１１０ｅから出力するものであり、全てのフレーム差分符号情報が「０」の場合にのみ「０」を出力端子１１０ｅから出力するように構成している。而して、平滑化回路１１０において、ノイズ成分であって、入力された領域のみにおいて領域フレーム差分信号の符号が全て揃っているような孤立した状態が存在していた場合には、かかる孤立点をノイズ成分として効果的に除去できるようにしている。
【００６５】
なお、前述した平滑化回路１１０の演算回路１１０ｄにおいては、一例として、入力されてきた領域のフレーム差分符号情報のみならず、切り出された任意の周辺部分の領域も含めてそれぞれにおいて抽出された各フレーム差分符号情報を合計した最大値を、平滑化された平滑化フレーム差分符号情報として出力するようにしているが、本発明にあっては、かかる場合のみに限定されるものではなく、平均値を出力させたり、あるいは、各フレーム差分符号情報の分布に基づいて、例えば、「０」と「１」との比率から決定するような論理回路を用いて出力値を算出させて用いることとしても良い。
【００６６】
帰還係数演算回路１１１は、平滑化回路１１０から入力されてくる平滑化された平滑化フレーム差分符号情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋは、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【００６７】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１１１において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、フレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【００６８】
かかるノイズ除去装置１００の構成において、前述のフレーム差分符号情報や平滑化フレーム差分符号情報が「０」の部分、即ち、フェードイン映像、フェードアウト映像、微細なグラデーション部分が動いた映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなるフェードイン映像、フェードアウト映像や、微細なグラデーション部分が動いた時の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【００６９】
次に、本発明に係るノイズ除去装置及びノイズ除去方法に関する第２の実施形態について説明する。
図６は、本発明に係るノイズ除去装置の構成に関する第２の実施形態の一例を示す機能ブロック構成図である。なお、本実施形態においても、直交変換として、（４×２）次のアダマール変換を適用している場合を一例として用いて説明することとする。
本実施形態におけるノイズ除去装置１００′は、第１の減算回路１０２と、第２の減算回路１０３と、フレームメモリ１０４と、第１の直列・並列変換回路１０５と、直交変換回路１０６と、非線形処理回路１０７と、直交逆変換回路１０８と、第２の直列・並列変換回路１１５と、差分傾き情報抽出回路１１６と、平滑化回路１１７と、帰還係数演算回路１１８と、基準帰還量Ｋ １１２と、乗算回路１１３とが、図６のごとく接続されて構成されている。
【００７０】
図６に示すノイズ除去装置１００′において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００′に入力されてくる入力映像信号から、当該ノイズ除去装置１００′から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００′において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【００７１】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、フレームメモリ１０４へ供給される。ここに、フレームメモリ１０４は、当該ノイズ除去装置１００′から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【００７２】
フレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として第１の直列・並列変換回路１０５と第２の直列・並列変換回路１１５とに供給される。
ここに、第１の直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号の任意の領域におけるフレーム差分信号の信号レベルに対して非線形処理を施すために、フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する第１の直列・並列切り出し手段を構成している。
【００７３】
また、第２の直列・並列変換回路１１５は、フレーム差分信号と該フレーム差分信号の任意の領域におけるフレーム差分信号の傾きを検知するために、フレーム差分信号を予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、（ｘ×ｙ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する第２の直列・並列切り出し手段を構成している。
【００７４】
第１の直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の第１の領域フレーム差分信号、本実施例においては、（４×２）個の第１の領域フレーム差分信号が出力され、直交変換回路１０６に供給される。直交変換回路１０６に供給された（４×２）個の第１の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の第１の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【００７５】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の第１の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。
【００７６】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の第１の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述する差分傾き情報抽出回路１１６又は平滑化回路１１７又は帰還係数演算回路１１８のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【００７７】
一方、第１の減算回路１０２からの出力信号であるフレーム差分信号が供給される第２の直列・並列変換回路１１５においては、前述のごとく、（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号が切り出されて、切り出された（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号は、差分傾き情報抽出回路１１６に供給されて、フレーム差分傾き情報が抽出される。更に、抽出されたフレーム差分傾き情報は、平滑化回路１１７へ供給されて、平滑化され、平滑化信号即ち平滑化フレーム差分傾き情報として、帰還係数演算回路１１８に供給される。
ここに、差分傾き情報抽出回路１１６は、第２の直列・並列変換回路１１５からの出力信号である（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、前記第２の領域フレーム差分信号の傾き情報を抽出して、フレーム差分傾き情報として出力するフレーム差分傾き情報抽出手段を構成している。
【００７８】
また、平滑化回路１１７は、差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各フレーム差分傾き情報を切り出し、差分傾き情報抽出回路１１６からの出力信号である前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して出力する平滑化手段を構成している。
【００７９】
帰還係数演算回路１１８においては、供給されてくる平滑化信号即ち平滑化フレーム差分傾き情報と基準帰還量Ｋ １１２とにより、平滑化された平滑化フレーム差分傾き情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１１８は、平滑化回路１１７からの出力信号である平滑化信号即ち平滑化フレーム差分傾き情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、差分傾き情報抽出回路１１６において抽出されたフレーム差分傾き情報を直接供給することとしても良いし、あるいは、平滑化回路１１７において平滑化された平滑化信号即ち平滑化フレーム差分傾き情報を供給することとしても良い。
【００８０】
前述のごとく、差分傾き情報抽出回路１１６からの前記フレーム差分傾き情報又は平滑化回路１１７において平滑化された前記平滑化信号即ち平滑化フレーム差分傾き情報又は帰還係数演算回路１１８からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１１８から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【００８１】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、フレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、第１の直列・並列変換回路１０５と第２の直列・並列変換回路１１５とに入力される。
第１の直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の第１の領域フレーム差分信号を出力する。
【００８２】
図２は、前述した第１の実施形態の場合と同様に、第１の直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の第１の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、第１の直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の第１の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の第１の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の第１の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【００８３】
非線形処理回路１０７は、本実施形態においても、例えば、前記した図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、第１の実施形態の場合と同様に、本発明に係るノイズ除去装置１００′における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の第１の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【００８４】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【００８５】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、ぼけたエッジ部分が動いた時、かかる動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【００８６】
かくのごとき映像を輝度信号で考えた場合、ぼけたエッジ部分の領域は、緩やかな傾きを有しており、かかる緩やかな傾きが動き平坦な映像となった場合、当該ぼけたエッジ部分の領域の領域フレーム差分信号も緩やかな傾きを有して現れることになる。
【００８７】
従って、フレーム差分信号の適当な領域を抽出して、フレーム差分信号の傾きを検出することとすれば、ぼけたエッジ部分が動いた部分を、ノイズ成分ではなく、動いた画像部分として検出することが可能となる。
かかる傾き情報を検出することを可能とするために、本実施形態においては、第１の減算回路１０２からの出力信号であるフレーム差分信号から適当な領域即ち（ｘ×ｙ）個の画素からなる領域毎に切り出される第２の領域フレーム差分信号のそれぞれについての傾き情報であるフレーム差分傾き情報を抽出するために、第２の直列・並列変換回路１１５と差分傾き情報抽出回路１１６とが新たに設けられている。
【００８８】
第２の直列・並列変換回路１１５は、前述のごとく、差分傾き情報抽出回路１１６が必要とする領域である（ｘ×ｙ）個の画素からなる領域の第２の領域フレーム差分信号を切り出すものである。本実施形態においては、図８に示す模式図のように、（ｘ×ｙ）個の領域として、例えば、第１の直列・並列変換回路１０５により切り出された最終ラインの４画素（Ｘ１０〜Ｘ１３）を含む形で、水平方向に５個の画素（Ｘ１０〜Ｘ１４）を切り出し、（５×１）個の５画素からなる領域の第２の領域フレーム差分信号が切り出されて出力される。ここで、図８は、本実施形態における第２の直列・並列変換回路１１５によりフレーム差分信号から切り出される（５×１）個の第２の領域フレーム差分信号を説明するための模式図である。
【００８９】
図７は、図６における差分傾き情報抽出回路１１０′のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００′の一実施例（第２の実施形態）においてフレーム差分信号の傾き情報を抽出する差分傾き情報抽出回路１１６の構成例を示す機能ブロック構成図である。図７において、入力端子１１６ａ_−１〜１１６ａ_−５から入力されてくる第２の直列・並列変換回路１１５からの（５×１）個の画素からなるフレーム差分信号（第２の領域フレーム差分信号）は、それぞれ減算回路１１６ｂ_−１〜１１６ｂ_−４に入力されて、隣接する画素位置にあるフレーム差分信号との差分が隣接差分データとして演算される。演算された各隣接差分データは、次段の符号判定回路１１６ｃ_−１〜１１６ｃ_−４にそれぞれ入力される。
【００９０】
符号判定回路１１６ｃ_−１〜１１６ｃ_−４のそれぞれにおいては、入力されてくるそれぞれの隣接差分データに応じて次のように動作する。入力信号の隣接差分データの符号情報が正の場合は、正符号カウンタ１１６ｄに対して「１」を出力し、負符号カウンタ１１６ｅに対しては「０」を出力する。一方、入力信号の隣接差分データの符号情報が負の場合は、正符号カウンタ１１６ｄに対して「０」を出力し、負符号カウンタ１１６ｅに対しては「１」を出力する。更に、入力信号の隣接差分データが「０」の場合は、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅに対しては、共に「０」を出力するようにする。
【００９１】
而して、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅは、それぞれ、符号判定回路１１６ｃ_−１〜１１６ｃ_−４からの出力である正及び負の数の合計値を、それぞれ判定回路１１６ｆに対して出力する。判定回路１１６ｆにおいては、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅの出力結果に基づいて、次のように動作する。正符号カウンタ１１６ｄの出力が「０」であり、負符号カウンタ１１６ｅの出力が予め定められた閾値例えば「２」以上である場合、又は、逆に、正符号カウンタ１１６ｄの出力が予め定められた該閾値例えば「２」以上であり、負符号カウンタ１１６ｅの出力が「０」である場合、のいずれか一方が成立する場合には、「０」を出力し、それ以外の場合には、「１」を出力するようにする。
【００９２】
かくのごとく構成された差分傾き情報抽出回路１１６にあっては、フレーム差分傾き情報として、入力されてきた（５×１）個の画素からなる第２の領域フレーム差分信号の隣接差分データの符号から、該隣接差分データの符号が２箇所以上揃っている場合には、予め定められている所定の閾値以上の傾きがあるものと判定して、「０」となるフレーム差分傾き情報を出力端子１１６ｇから出力し、一方、かかる場合以外においては、所定の閾値以上の傾きは存在していないものと判定して、「１」となるフレーム差分傾き情報を出力端子１１６ｇから出力する。
【００９３】
なお、前述した実施例においては、第２の直列・並列変換回路１１５及び差分傾き情報抽出回路１１６において取り扱う対象とする第２の領域フレーム差分信号として、一例として水平方向に（Ｘ１０〜Ｘ１４）の５画素からなる領域を用いている場合を示しているが、本発明は、かかる（５×１）個の領域のみに限定されるものではなく、第２の直列・並列変換回路１１５において如何なる大きさの領域の第２の領域フレーム差分信号を切り出して用いることとしても構わなく、水平方向あるいは垂直方向により多くの画素を切り出して用いることにより、差分傾き情報抽出回路１１６において、傾き情報の抽出精度をより高めることも可能である。
【００９４】
また、前述の実施例の説明においては、該隣接差分データの符号が２箇所以上揃っている場合には、予め定められている所定の閾値以上の傾きがあるものと判定する場合を例として説明したが、本発明においては、かかる場合のみに限るものではなく、フレーム差分傾き情報が、抽出された（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分演算により得られた符号情報として、予め定められた閾値以上、同一符号が揃っているか否かを示す情報に基づいて、前記第２の領域フレーム差分信号の傾きの有無が決定される傾き情報であり、かかるフレーム差分傾き情報を抽出することにより、当該第２の領域フレーム差分信号が予め定められている所定の閾値以上の傾きがあるものと判定することとしても良い。
【００９５】
差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報は、前述のごとく、図６に示す平滑化回路１１７へ入力される。ここで問題としている、ぼけたエッジ部分が動いた映像であった場合、第２の領域フレーム差分信号として切り出された例えば（５×１）の画素からなる１領域のみにおいて、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報を「０」として出力するということは極めて稀であり、通常、該領域の周辺部分であっても、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」となる領域が含まれている。従って、平滑化回路１１７においては、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力するという領域の周辺部分の領域においても、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力しているか否かを検知して、たまたま、１領域においてのみ、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力しているという孤立した領域即ちフレーム差分傾き情報が１箇所のみ「０」となる孤立点を、ノイズ成分として除去するようにしている。
【００９６】
図９は、図６における平滑化回路１１７のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００′の一実施例（第２の実施形態）においてフレーム差分傾き情報を平滑化する平滑化回路１１７の構成例を示す機能ブロック構成図である。差分傾き情報抽出回路１１６から入力端子１１７ａに入力されてくるフレーム差分傾き情報は、１サンプル遅延回路１１７ｂ_−１〜１１７ｂ_{−（ｐ−１）}を用いて、それぞれ水平方向に遅延させたｐ個分の水平遅延信号として生成される（即ち、切り出される）。更に、生成されたｐ個分の水平遅延信号は、１ライン遅延回路１１７ｃ_−１〜１１７ｃ_{−（ｑ−１）}を用いて、それぞれ垂直方向に遅延させたｑ個分の垂直遅延信号として生成される（即ち、切り出される）。
【００９７】
各１サンプル遅延回路１１７ｂ_−１〜１１７ｂ_{−（ｐ−１）}により遅延されて生成されたｐ個の水平遅延信号と各１ライン遅延回路１１７ｃ_−１〜１１７ｃ_{−（ｑ−１）}により遅延されて生成されたｑ個の垂直遅延信号とは、入力されてきたフレーム差分傾き情報と共に、演算回路１１７ｄに入力される。図８に示す本実施例においては、１サンプル遅延回路１１７ｂ_−１〜１１７ｂ_−２を２個、また、１ライン遅延回路１１７ｃ_−１〜１１７ｃ_−２を２個用いて、図１０に示す模式図のように切り出している場合を示している。ここに、図１０は、本実施形態における平滑化回路１１７によりフレーム差分傾き情報から切り出される５個の画素対応分の領域を一例として説明するための模式図である。図１０の模式図に示すように、Ｘ１１の画素位置に相当するフレーム差分傾き情報を中心にして上下左右の画素位置に相当するフレーム差分傾き情報（Ｘ０１，Ｘ２１，Ｘ１０，Ｘ１２）の合計５個の画素対応分の領域を用いて平滑化処理がなされる。
【００９８】
演算回路１１７ｄにおいては、入力されてきた領域のフレーム差分傾き情報の中から、平滑化処理対象の中心位置にあるＸ１１の画素位置を除く周辺部分の画素位置のフレーム差分傾き情報が全て「１」（即ち、傾きがないことを示す情報）であれば、平滑化された平滑化フレーム差分傾き情報として、「１」を出力端子１１７ｅから出力し、その他の場合には、中心位置にあるＸ１１の画素位置のフレーム差分傾き情報を、平滑化された平滑化フレーム差分傾き情報として、出力端子１１７ｅから出力する。而して、平滑化回路１１７においては、ノイズ成分であって、入力された領域のみにおいて、フレーム差分傾き情報が「０」という傾きがある旨を示す情報の出力がなされ、周辺の画素位置からは「０」のフレーム差分傾き情報が出力されてこないような状態にある場合、即ち、差分傾き情報抽出回路１１６において第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力するという領域が孤立した状態で存在していた場合には、かかる孤立点をノイズ成分として効果的に除去できるようにしている。
【００９９】
なお、前述した平滑化回路１１７の演算回路１１７ｄにおいては、一例として、入力されてきた領域の中心位置Ｘ１１を除く周辺部分の画素位置のフレーム差分傾き情報が全て「１」であれば、平滑化フレーム差分傾き情報として、「１」を出力端子１１７ｅから出力し、その他の場合には、中心位置にあるＸ１１の画素位置のフレーム差分傾き情報を、そのまま、平滑化された平滑化フレーム差分傾き情報として、出力端子１１７ｅから出力する場合について説明したが、本発明にあっては、かかる場合のみに限定されるものではなく、各画素位置のフレーム差分傾き情報の最大値や平均値を出力させたり、あるいは、各フレーム差分傾き情報の分布に基づいて、例えば、「０」と「１」との比率から決定するような論理回路を用いて出力値を算出させて用いることとしても良い。
【０１００】
即ち、平滑化フレーム差分傾き情報としては、差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とにおいて、フレーム差分傾き情報の平滑化処理対象とする第２の領域フレーム差分信号の周辺に位置する各第２の領域フレーム差分信号の前記フレーム差分傾き情報の全てが、傾きがないことを示している場合には、傾きがない情報として生成される情報、あるいは、平滑化処理対象の前記フレーム差分傾き情報及び周辺に位置する各前記フレーム差分傾き情報を合計した最大値又は平均値又は各前記フレーム差分傾き情報の分布に基づいて決定される値のいずれかを用いて生成される情報を用いることとしても構わない。
【０１０１】
帰還係数演算回路１１８は、平滑化回路１１７から入力されてくる平滑化された平滑化フレーム差分傾き情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋが、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【０１０２】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１１８において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、フレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【０１０３】
かかるノイズ除去装置１００′の構成において、前述のフレーム差分傾き情報や平滑化フレーム差分傾き情報が「０」の部分、即ち、ぼけたエッジが動いた映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなる、ぼけたエッジ部分の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【０１０４】
次に、本発明に係るノイズ除去装置及びノイズ除去方法に関する第３の実施形態について説明する。
図１１は、本発明に係るノイズ除去装置の構成に関する第３の実施形態の一例を示す機能ブロック構成図である。なお、本実施形態においても、直交変換として、（４×２）次のアダマール変換を適用している場合を一例として用いて説明することとする。
本実施形態におけるノイズ除去装置１００″は、第１の減算回路１０２と、第２の減算回路１０３と、第１のフレームメモリ１０４と、直列・並列変換回路１０５と、直交変換回路１０６と、非線形処理回路１０７と、直交逆変換回路１０８と、ノイズ判定回路１１９と、第２のフレームメモリ１２０と、論理演算回路１２１と、帰還係数演算回路１２２と、基準帰還量Ｋ １１２と、乗算回路１１３とが、図１１のごとく接続されて構成されている。
【０１０５】
図１１に示すノイズ除去装置１００″において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００″に入力されてくる入力映像信号から、当該ノイズ除去装置１００″から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００″において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【０１０６】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、第１のフレームメモリ１０４へ供給される。ここに、第１のフレームメモリ１０４は、当該ノイズ除去装置１００″から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【０１０７】
第１のフレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として直列・並列変換回路１０５へ供給される。
ここに、直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段を構成している。
【０１０８】
直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の領域フレーム差分信号、本実施例においては、（４×２）個の領域フレーム差分信号が出力され、直交変換回路１０６へ供給されると共に、ノイズ判定回路１０９の一方の入力として供給される。直交変換回路１０６に供給された（４×２）個の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【０１０９】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。また、ノイズ判定回路１１９は、詳細は後述するが、直列・並列変換回路１０５からの出力信号である前記領域フレーム差分信号と直交逆変換回路１０８からの出力信号である実空間領域上の前記非線形信号あるいは直交変換回路１０６からの出力信号である前記直交変換信号とのいずれかに基づいて、除去すべきノイズ成分の存在の有無を判定し、ノイズ判定信号として出力することができるノイズ判定手段を構成するものであり、例えば直列・並列変換回路１０５により切り出された（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号と直交逆変換回路１０８からの出力信号である元の実空間領域上の非線形信号とに基づいてノイズ成分の有無を判定して、ノイズ判定信号として出力するものである。
【０１１０】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述するノイズ判定回路１１９又は論理演算回路１２１又は帰還係数演算回路１２２のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【０１１１】
一方、直列・並列変換回路１０５により切り出された（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号が供給されるノイズ判定回路１１９においては、該領域フレーム差分信号と直交逆変換回路１０８から供給されてくる実空間領域上の非線形信号とに基づいて、ノイズ成分の存在の有無が判定されて、ノイズ判定信号として、第２のフレームメモリ１２０に供給すると共に、論理演算回路１２１の一方の入力として供給する。
論理演算回路１２１においては、ノイズ判定回路１１９からのノイズ判定信号と、第２のフレームメモリ１２０からの出力信号である１フレーム期間遅延させた遅延ノイズ判定信号との間の論理演算処理を施して、フレーム間ノイズ情報を算出して、帰還係数演算回路１２２へ供給する。
【０１１２】
ここに、第２のフレームメモリ１２０は、ノイズ判定回路１１９からの出力信号であるノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号を出力する遅延ノイズ判定信号生成手段を構成しており、また、論理演算回路１２１は、ノイズ判定回路１１９からの出力信号であるノイズ判定信号と第２のフレームメモリ１２０からの出力信号である遅延ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として出力する論理演算手段を構成している。
【０１１３】
帰還係数演算回路１２２においては、供給されてくるフレーム間ノイズ情報と基準帰還量Ｋ １１２とにより、フレーム間ノイズ情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１２２は、論理演算回路１２１からの出力信号である前記フレーム間ノイズ情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、ノイズ判定回路１１９において判定されて出力されたノイズ判定信号を直接供給することとしても良いし、あるいは、論理演算回路１２１において抽出されたフレーム間ノイズ情報を供給することとしても良い。
【０１１４】
前述のごとく、ノイズ判定回路１１９からの前記ノイズ判定信号又は論理演算回路１２１において抽出された前記フレーム間ノイズ情報又は帰還係数演算回路１２２からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１２２から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【０１１５】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、第１のフレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、直列・並列変換回路１０５へ入力される。
直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の領域フレーム差分信号を出力する。
【０１１６】
図２は、前述した第１の実施形態の場合と同様に、直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【０１１７】
非線形処理回路１０７は、本実施形態においても、例えば、前記した図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、第１の実施形態の場合と同様に、本発明に係るノイズ除去装置１００″における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【０１１８】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【０１１９】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等の微小な動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【０１２０】
即ち、かくのごとき映像を輝度信号で考えた場合、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等であっても、最初の動き部分となる映像フレームにおいては、直前の映像フレームとの差分データ（領域フレーム差分信号）の振幅も大きくなり、直交変換処理及び非線形処理により、明確に動き成分として判定することができる場合も存在している。しかしながら、かかる場合であっても、後続する次の映像フレームにおいては、微小な動き成分として継続してくることとなり、差分データ（領域フレーム差分信号）の振幅が小さくなり、直交変換処理及び非線形処理によって、動き成分として判定することができず、誤ってノイズ成分として処理されてしまうこととなり、動画部分に残像となって現れる結果を招く。一方、静止部分などの映像については、常に、差分データ（領域フレーム差分信号）として小さい振幅が出力される場合には、ノイズ成分として判定されて、確実にノイズ除去処理が行なわれている。
【０１２１】
かかる特性に着目して、本実施形態においては、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域フレーム差分信号に対して直交変換処理及び非線形処理を施すことにより抽出されたノイズ成分の候補と次フレームの領域フレーム差分信号とに基づいて生成されたノイズ判定信号（即ち、ノイズ成分の存在の有無を示す信号）を次フレームのノイズ判定信号と論理演算を行なうことにより、ノイズ成分の候補に含まれている微小な動き成分（例えば、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等における微小な動き成分）を確実に除去するために、ノイズ判定回路１１９と、第２のフレームメモリ１２０と、論理演算回路１２１とが新たに設けられている。
【０１２２】
ここで、ノイズ判定回路１１９は、直列・並列変換回路１０５から入力されてくる領域フレーム差分信号と、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す情報）とに基づいて、着目している対象画素がノイズ成分であるか否かを判定する手段を提供している。例えば、直列・並列変換回路１０５からの出力信号である領域フレーム差分信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号とに基づいて、実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す情報）として抽出された部分に該当する位置にある領域フレーム差分信号が、予め定められた閾値よりも小さい場合には、ノイズ成分であると判定して、ノイズ判定信号として「１」を出力し、一方、予め定められた該閾値以上である場合には、微小な動き成分であると判定して、ノイズ判定信号として「０」を出力する。出力されるノイズ判定信号は、論理演算回路１２１と第２のフレームメモリ１２０とに供給されるが、場合によっては、乗算回路１１３に直接供給することとしても良い。
【０１２３】
なお、前述した実施例においては、ノイズ判定回路１１９として、領域フレーム差分信号と実空間領域上の非線形信号とに基づいて、実空間領域上の非線形信号即ちノイズ成分の候補として抽出された部分に該当する領域フレーム差分信号の振幅によりノイズ成分か否かを判定するノイズ判定信号が生成される場合を示している。
しかしながら、本発明は、かかる場合のみに限るものではなく、例えば、ノイズ判定回路１１９において生成されるノイズ判定信号としては、実空間領域上の非線形信号として抽出された領域フレーム差分信号の振幅が、予め定められた閾値よりも小さいか否かに基づいて生成される場合のみに限らず、前記領域フレーム差分信号の符号情報（即ち、フレーム間の差分の演算結果である正負いずれかの符号）、あるいは、前記領域フレーム差分信号の傾き情報（即ち、前記領域フレーム差分信号における画素間の差分演算結果である正負いずれかの符号）、あるいは、前記領域フレーム差分信号の直交変換処理結果である周波数成分（即ち、直交変換回路１０６からの出力信号である直交変換信号の周波数分布）のいずれか１乃至複数を用いて生成することとしても良い。
【０１２４】
第２のフレームメモリ１２０においては、入力されてきたノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号を、論理演算回路１２１に対して出力する。
論理演算回路１２１は、ノイズ判定回路１１９から入力されてくる現映像フレームのノイズ判定信号と第２のフレームメモリ１２０から入力されてくる１フレーム前の遅延ノイズ判定信号（即ち、前回の映像フレームのノイズ判定信号）との論理積演算を行ない、フレーム間ノイズ情報として出力する。即ち、論理演算回路１２１においては、前回の映像フレームにおいても同一の画素位置においてノイズ成分の存在を検知している場合についてのみ、今回の映像フレームにおけるノイズ成分の存在を示すこととし、前回の映像フレームにおいて映像の動き成分として判定された画素位置については、今回の現映像フレームにおいては、ノイズ成分として出力してノイズ除去処理は行なわないようにするものであり、フレーム間の同一画素位置に連続してノイズ成分が存在している場合に限り、ノイズ成分が存在していることを示すフレーム間ノイズ情報が出力されるように構成されている。
【０１２５】
即ち、論理演算回路１２１から出力される該フレーム間ノイズ情報は、前回の映像フレームにおいて、映像の動き成分として判定された画素位置については、今回の現映像フレームにおいては、ノイズ成分として出力してノイズ除去処理は行なわないようにしており、ぼけたエッジが動いた後や、フェードイン映像、フェードアウト映像等において後続して残っている微小な動き成分による残像の発生を抑制するために、次段の帰還係数演算回路１２２に出力される。あるいは、場合によっては、ノイズ成分を演算する乗算回路１１３に直接出力することとしても良い。
【０１２６】
帰還係数演算回路１２２は、論理演算回路１２１から入力されてくるフレーム間ノイズ情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋは、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【０１２７】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１２２において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、第１のフレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【０１２８】
かかるノイズ除去装置１００″の構成において、前述のフレーム間ノイズ情報が「０」の部分、即ち、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなる、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【０１２９】
図１２は、図１又は図６又は図１１に示すごときノイズ除去装置１００又は１００′又は１００″を備えている映像信号処理装置の一例を示す機能ブロック構成図である。ここに、図１２（Ａ）は、テレビ放送用のＮＴＳＣ信号をビデオテープに録画する映像信号処理装置の構成例を、また、図１２（Ｂ）は、撮像信号を記録媒体に記録する際の映像信号処理回路の構成例を、それぞれ映像信号処理装置の一例として示している。なお、図１２（Ａ）においては、映像信号の輝度信号成分に対してのみノイズ除去を行なう場合の構成を示しているが、本発明においては、かかる場合のみに限定されるものではなく、色信号に対するノイズ除去についても全く同様に適用することが可能である。
【０１３０】
まず、図１２（Ａ）に示す映像信号処理装置２００においては、入力端子２０１から入力されてくるＮＴＳＣ信号はＡ／Ｄ変換器２０２においてデジタル映像信号に変換された後、Ｙ／Ｃ分離回路２０３において、Ｙ信号（輝度信号）とＣ信号（クロマ信号即ち色差信号）とに分離される。分離されたＹ信号はＬＰＦ（ローパスフィルタ）２０４にて帯域制限された後、エンファシス回路２０５において高域成分が強調され、ノイズ除去装置１００（又は１００′又は１００″）に入力される。ノイズ除去装置１００（又は１００′又は１００″）においては、前述のごとく、映像信号中のＹ信号に含まれているノイズ成分が除去されて、ＦＭ変換器２０６に入力され、ノイズ成分が除去されたＦＭ信号に変換される。しかる後に、Ｄ／Ａ変換器２０７において、アナログ信号に変換されて、出力端子２０８からＦＭ輝度信号として出力される。
【０１３１】
一方、分離されたＣ信号は、デコーダ２０９において、Ｒ−Ｙ、Ｂ−Ｙのベースバンド信号に復調された後、クロマ処理回路２１０において色信号処理及びバーストエンファシス処理が施される。しかる後に、エンコーダ２１１において低域変換色信号に変換されて、ＬＰＦ（ローパスフィルタ）２１２を介して、Ｄ／Ａ変換器２１３においてアナログ信号に変換されて、出力端子２１４から低域変換色信号として出力される。出力端子２０８及び２１４から出力されてくるＦＭ輝度信号及び低域変換色信号は、加算器で加算処理がなされた後、記録アンプに送出されて、磁気ヘッドにはノイズ成分が除去された記録信号が伝達されることとなる。
【０１３２】
次に、図１２（Ｂ）に示す映像信号処理装置２５０について説明する。映像信号処理装置２５０においては、撮像光学系から入力端子２５１に入力されてくる光映像情報は、ＣＣＤ２５２にてデジタル電気信号に変換される。ＣＣＤ２５２から出力されるデジタル電気信号は、カメラ信号処理回路２５３において、記録用あるいはモニタ表示用の映像信号に変換されるが、ＣＣＤ２５２で発生しているランダムなノイズを除去するために、カメラ信号処理回路２５３の内部には前述したごときノイズ除去装置１００（又は１００′又は１００″）が内蔵されており、輝度信号（Ｙ信号）成分及びクロマ信号（Ｃ信号）成分との双方について、ノイズの除去を行なうように構成されている。しかる後に、ノイズが除去された映像信号に対して記録媒体２５５への記録を行なうための信号処理が記録信号処理回路２５４において施されて、記録媒体２５５に記録される。一方、モニタ装置２５７に表示する場合は、モニタ出力回路２５６においてモニタ出力用信号波形に変換されて、モニタ装置２５７に表示される。
【０１３３】
【発明の効果】
以上に説明したごとく、本発明に係るノイズ除去装置及びノイズ除去方法によれば、以下のごとき作用効果がもたらされる。
従来のノイズ除去装置におけるがごとく、非線形処理回路のみを用いた動き成分とノイズ成分との分離処理には限界があり、特に、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた時あるいはぼけたエッジ部分が動いた時の動き成分を、誤ってノイズ成分として除去してしまい、かかる動き成分に対する残像の発生が問題となってしまう。しかしながら、本発明によれば、直列・並列変換より得られるフレーム差分信号の切り出し領域（即ち領域フレーム差分信号）の符号情報を用いて、フレーム差分符号情報を抽出すること、あるいは、フレーム差分信号の切り出し領域（即ち領域フレーム差分信号）の画素間の傾き情報を用いて、フレーム差分傾き情報を抽出すること、あるいは、直列・並列変換より得られるフレーム差分信号の切り出し領域（即ち領域フレーム差分信号）や、該領域フレーム差分信号の直交変換信号あるいは直交変換信号に対して非線形処理を施した後に直交逆変換により生成される実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す信号）を用いて、ノイズ成分の存在の有無を判定すること、により、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた映像を、あるいは、ぼけたエッジ部分が動いた画像をノイズ成分と分離させて検出することを可能としており、もって、かかる動き部分における残像の発生を低減させることにより、該動き部分における画質劣化を抑えると共に、静止領域においても、高いノイズ除去効果を達成することが可能である。
【図面の簡単な説明】
【図１】本発明に係るノイズ除去装置の構成に関する第１の実施形態の一例を示す機能ブロック構成図である。
【図２】直列・並列変換回路によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図である。
【図３】本発明に係るノイズ除去装置における非線形処理回路の非線形特性の一例を示すグラフである。
【図４】本発明によるノイズ除去装置の第１の実施形態においてフレーム差分信号の符号情報を抽出する差分符号情報抽出回路の構成例を示す機能ブロック構成図である。
【図５】本発明によるノイズ除去装置の第１の実施形態においてフレーム差分符号情報を平滑化する平滑化回路の構成例を示す機能ブロック構成図である。
【図６】本発明に係るノイズ除去装置の構成に関する第２の実施形態の一例を示す機能ブロック構成図である。
【図７】本発明によるノイズ除去装置の第２の実施形態においてフレーム差分信号の傾き情報を抽出する差分傾き情報抽出回路の構成例を示す機能ブロック構成図である。
【図８】第２の実施形態における第２の直列・並列変換回路によりフレーム差分信号から切り出される（５×１）個の第２の領域フレーム差分信号を説明するための模式図である。
【図９】本発明によるノイズ除去装置の第２の実施形態においてフレーム差分傾き情報を平滑化する平滑化回路の構成例を示す機能ブロック構成図である。
【図１０】第２の実施形態における平滑化回路によりフレーム差分傾き情報から切り出される５個の画素対応分の領域を一例として説明するための模式図である。
【図１１】本発明に係るノイズ除去装置の構成に関する第３の実施形態の一例を示す機能ブロック構成図である。
【図１２】図１又は図６又は図１１に示すごときノイズ除去装置を備えている映像信号処理装置の一例を示す機能ブロック構成図である。
【図１３】従来のノイズ除去装置の構成を示す機能ブロック構成図である。
【図１４】アダマール変換を用いた従来のノイズ除去装置の構成を示す機能ブロック構成図である。
【図１５】従来例における非線形処理回路の非線形特性を示すグラフである。
【符号の説明】
１０…ノイズ除去装置、１１…入力端子、１２…第１の減算回路、１３…第２の減算回路、１４…フレームメモリ、１５…非線形処理回路、１６…出力端子、２０…ノイズ除去装置、２１…入力端子、２２…第１の減算回路、２３…第２の減算回路、２４…フレームメモリ、２５…直列・並列変換回路、２６…アダマール変換回路、２７…非線形処理回路、２８…アダマール逆変換回路、２９…出力端子、１００，１００′，１００″…ノイズ除去装置、１０１…入力端子、１０２…第１の減算回路、１０３…第２の減算回路、１０４…フレームメモリ（第１のフレームメモリ）、１０５…直列・並列変換回路（第１の直列・並列変換回路）、１０６…直交変換回路、１０７…非線形処理回路、１０８…直交逆変換回路、１０９…差分符号情報抽出回路、１０９ａ_−１〜１０９ａ_−８…入力端子、１０９ｂ_−１〜１０９ｂ_−８…符号判定回路、１０９ｃ…正符号カウンタ、１０９ｄ…負符号カウンタ、１０９ｅ…判定回路、１０９ｆ…出力端子、１１０…平滑化回路、１１０ａ…入力端子、１１０ｂ_−１〜１１０ｂ_−２…１サンプル遅延回路、１１０ｃ_−１〜１１０ｃ_−２…１ライン遅延回路、１１０ｄ…演算回路、１１０ｅ…出力端子、１１１…帰還係数演算回路、１１２…基準帰還量Ｋ、１１３…乗算回路、１１４…出力端子、１１５…第２の直列・並列変換回路、１１６…差分傾き情報抽出回路、１１６ａ_−１〜１１６ａ_−５…入力端子、１１６ｂ_−１〜１１６ｂ_−４…減算回路、１１６ｃ_−１〜１１６ｃ_−４…符号判定回路、１１６ｄ…正符号カウンタ、１１６ｅ…負符号カウンタ、１１６ｆ…判定回路、１１６ｇ…出力端子、１１７…平滑化回路、１１７ａ…入力端子、１１７ｂ_−１〜１１７ｂ_−２…１サンプル遅延回路、１１７ｃ_−１〜１１７ｃ_−２…１ライン遅延回路、１１７ｄ…演算回路、１１７ｅ…出力端子、１１８…帰還係数演算回路、１１９…ノイズ判定回路、１２０…第２のフレームメモリ、１２１…論理演算回路、１２２…帰還係数演算回路、２００…映像信号処理装置、２０１…入力端子、２０２…Ａ／Ｄ変換器、２０３…Ｙ／Ｃ分離回路、２０４…ＬＰＦ（ローパスフィルタ）、２０５…エンファシス回路、２０６…ＦＭ変換器、２０７…Ｄ／Ａ変換器、２０８…出力端子、２０９…デコーダ、２１０…クロマ処理回路、２１１…エンコーダ、２１２…ＬＰＦ（ローパスフィルタ）、２１３…Ｄ／Ａ変換器、２１４…出力端子、２５０…映像信号処理装置、２５１…入力端子、２５２…ＣＣＤ、２５３…カメラ信号処理回路、２５４…記録信号処理回路、２５５…記録媒体、２５６…モニタ出力回路、２５７…モニタ装置。

Claims (18)

1. 当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報を出力するフレーム差分符号情報抽出手段と、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像手段として出力する第２の減算手段と、を具備していることを特徴とするノイズ除去装置。
2. 請求項１に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段において生成される前記フレーム差分符号情報が、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報が全て同一の符号に揃っているか否かを示す情報、あるいは、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報に対する予め定められた正符号と負符号との比率に基づいて生成される情報であることを特徴とするノイズ除去装置。
3. 請求項１又は２に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報を用いていることを特徴とするノイズ除去装置。
4. 請求項３に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いていることを特徴とするノイズ除去装置。
5. 当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域の前記フレーム差分信号である第１の領域フレーム差分信号を切り出して出力する第１の直列・並列切り出し手段と、前記第１の直列・並列切り出し手段により切り出された（ｍ×ｎ）個の前記第１の領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記第１の減算手段からの出力信号である前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号を切り出して出力する第２の直列・並列切り出し手段と、前記第２の直列・並列切り出し手段により切り出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、前記第２の領域フレーム差分信号の傾き情報を抽出して、フレーム差分傾き情報として出力するフレーム差分傾き情報抽出手段と、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号を出力する第２の減算手段と、を具備していることを特徴とするノイズ除去装置。
6. 請求項５に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段において出力される前記フレーム差分傾き情報が、抽出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分演算により得られた符号情報として、予め定められた閾値以上、同一符号が揃っているか否かを示す情報に基づいて、前記第２の領域フレーム差分信号の傾きの有無が決定される傾き情報であることを特徴とするノイズ除去装置。
7. 請求項５又は６に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報を用いていることを特徴とするノイズ除去装置。
8. 請求項７に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いていることを特徴とするノイズ除去装置。
9. 当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である前記領域フレーム差分信号と前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号あるいは前記直交変換手段からの出力信号である前記直交変換信号とのいずれかに基づいて、ノイズ成分の存在の有無を判定し、ノイズ判定信号として出力するノイズ判定手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号として出力する第２の減算手段と、を具備していることを特徴とするノイズ除去装置。
10. 請求項９に記載のノイズ除去装置において、前記ノイズ判定手段から出力される前記ノイズ判定信号が、前記直列・並列切り出し手段により切り出された前記領域フレーム差分信号のうち、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号として抽出された部分に該当する位置にある前記領域フレーム差分信号が予め定められた閾値よりも小さいか否かを示す情報、あるいは、前記領域フレーム差分信号のフレーム間の差分が示す符号情報、あるいは、前記領域フレーム差分信号の画素間の差分を示す傾き情報、あるいは、前記直交変換手段からの出力信号である前記直交変換信号の周波数分布のいずれか１乃至複数を用いて生成されるものであることを特徴とするノイズ除去装置。
11. 請求項９又は１０に記載のノイズ除去装置において、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号を１フレーム期間遅延させて、遅延ノイズ判定信号として出力する遅延ノイズ判定信号生成手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記遅延ノイズ判定信号生成手段からの出力信号である前記遅延ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として出力する論理演算手段とを具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号の代わりに、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報を用いていることを特徴とするノイズ除去装置。
12. 請求項１１に記載のノイズ除去装置において、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いていることを特徴とするノイズ除去装置。
13. 入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力することを特徴とするノイズ除去方法。
14. 請求項１３に記載のノイズ除去方法において、入力されてくる前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、入力されてきた前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報の代わりに、前記平滑化フレーム差分符号情報を用いていることを特徴とするノイズ除去方法。
15. 入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である第１の領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、前記フレーム差分信号から、予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、切り出された（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、抽出される前記第２の領域フレーム差分信号の傾き情報を示すフレーム差分傾き情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力することを特徴とするノイズ除去方法。
16. 請求項１５に記載のノイズ除去方法において、入力されてくる前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、入力されてきた前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報の代わりに、前記平滑化フレーム差分傾き情報を用いていることを特徴とするノイズ除去方法。
17. 入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号と実空間領域上の前記非線形信号あるいは前記直交変換信号とのいずれかに基づいて、ノイズ成分の存在の有無を判定して出力されるノイズ判定信号と、実空間領域上の前記非線形信号との演算結果を、ノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力することを特徴とするノイズ除去方法。
18. 請求項１７に記載のノイズ除去方法において、前記ノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号と前記ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記ノイズ判定信号の代わりに、前記フレーム間ノイズ情報を用いていることを特徴とするノイズ除去方法。

Images