JP2009159337A - 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 - Google Patents

映像信号処理装置、映像信号処理方法、及び映像信号表示装置 Download PDF

Info

Publication number
JP2009159337A
JP2009159337A JP2007335434A JP2007335434A JP2009159337A JP 2009159337 A JP2009159337 A JP 2009159337A JP 2007335434 A JP2007335434 A JP 2007335434A JP 2007335434 A JP2007335434 A JP 2007335434A JP 2009159337 A JP2009159337 A JP 2009159337A
Authority
JP
Japan
Prior art keywords
signal
noise removal
field
motion
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007335434A
Other languages
English (en)
Other versions
JP5057964B2 (ja
Inventor
Masako Asamura
まさ子 浅村
Koji Minami
浩次 南
Toshihiro Kai
俊博 賀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007335434A priority Critical patent/JP5057964B2/ja
Publication of JP2009159337A publication Critical patent/JP2009159337A/ja
Application granted granted Critical
Publication of JP5057964B2 publication Critical patent/JP5057964B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)

Abstract

【課題】ノイズ除去処理と3次元IP変換処理で共通の遅延信号を用い、回路規模を大幅に増やすことなく、非巡回ノイズ除去を行い、尾引きや残像という弊害を低減したプログレッシブ信号を得る。
【解決手段】画面内の画素が同一位置にある複数のフィールドの信号を用いてフィルタ処理することでノイズ除去を行う非巡回型ノイズ除去処理手段(20)と、
インターレース信号入力時に、非巡回型ノイズ除去処理手段(20)からのノイズ除去後の信号を用いて3次元走査線変換する3次元IP変換処理手段(65)とを備え、切換手段(62)で、3次元IP変換処理手段(65)からのプログレッシブ信号と非巡回型ノイズ除去処理手段20からのノイズ除去された信号とを切り換える。
【選択図】図1

Description

本発明は、映像信号におけるノイズを除去するとともに、飛び越し走査(インターレース)信号を順次走査(プログレッシブ)信号へ走査線変換し、映像信号のノイズが低減されたプログレッシブ信号を得るため映像信号処理装置、映像信号処理方法、及びこの映像信号処理装置又は方法を適用した映像信号表示装置に関するものである。
近年では、テレビジョン受信機などの表示画面の大型化、映像信号の高画質化に伴い、映像信号を処理し高画質で表示する際に、入力映像信号に含まれる不要な成分、すなわちノイズ成分が目立つようになってきており、また、映像信号処理において信号の高い信頼性が求められている。この映像信号に含まれるノイズ成分を低減し高画質な映像を得るために、ノイズ除去(ノイズリダクションとも呼び、NRと略す)処理があり、例えば、フレームメモリを使用して1フレームもしくは数フレーム前の信号を得て、時間軸の中でフレーム間の相関(フレーム相関)のないノイズ成分を除去する3次元ノイズ除去処理が数多く提案されている。また、フレームメモリを使用せず、一次元フィルタや二次元フィルタ処理により画像のフレーム内でノイズ除去を行う2次元ノイズ除去処理の提案もある。
一方で、インターレースのテレビジョン信号を高画質で表示する際には、インターレース信号をプログレッシブ信号に走査線変換(IP変換と呼ぶ)する処理が行われる。IP変換においては、一般に、映像が静止画像である場合には、時間的に隣接するフィールドの対応する走査線の画素をはめ込むことにより補間(フィールド間補間)が行われ、映像が動画像である場合は、同一フィールド内の隣接走査線における画素により補間信号を生成する(フィールド内補間)という動き適応IP変換を行うことが知られている。さらに、映像信号の動きから、処理する映像信号がテレシネ変換された映像信号(例えば、2−3プルダウン信号及び2−2プルダウン信号であり、テレシネ映像信号と呼ぶ)であるかを検出(テレシネ検出と呼ぶ)し、テレシネ映像信号に対しては、同じフレームから変換された各フィールドの時間的に前もしくは後に隣接するフィールドによりテレシネ変換される前のプログレッシブ信号を復元し、プログレッシブの映像信号に変換するIP変換を行う場合もある。以下、テレシネ映像信号に対するIP変換をテレシネ補間と呼ぶ。これらのIP変換は、フレームメモリを使用して1フレームもしくは数フレーム前の信号が必要となり、3次元IP変換となる。
従来、3次元ノイズ除去処理は、ノイズ除去後の出力信号を1フレーム遅延させ、この1フレーム前の信号と現フレームの信号とのフレーム間の差分を用いて、ある一定の係数(巡回係数)を掛けたものを現フレームの信号に加減算することによりノイズ成分を除去する巡回型のノイズ除去処理(フレーム巡回型ノイズ除去処理と呼ぶ)や、現フレームの信号をフレーム遅延して、複数のフレームの信号に係数を掛けて、複数のフレームの信号を用いてフィルタ処理することによりノイズ成分を除去する非巡回型のノイズ除去処理(非巡回型ノイズ除去処理と呼ぶ)がある。
非巡回型ノイズ除去の場合、現フレームとフレーム遅延により得られたフレームの間でのフレーム相関を用いた演算となるが、フレーム巡回型ノイズ除去の場合は、ノイズ除去後の映像信号をフレーム遅延させるため、使用するフレーム数の間だけでなく多フレームに渡る演算となる。非巡回型ノイズ除去処理では、ノイズ除去効果を上げるためには使用できるフレーム遅延信号のフレーム数を多くする必要があるため、効果を上げるためには映像信号処理装置での回路規模が大きくなる。実際には使用できるフレーム遅延信号の数が限られるので、ノイズ除去効果に限界があることとなる。非巡回型ノイズ除去よりも、巡回型ノイズ除去の方がノイズ除去効果が大きいが、動きが多い映像信号の場合には、限られたフレーム間でのフレーム相関によるため、非巡回型ノイズ除去の方が尾引きや残像を低減できる長所がある。
このような3次元ノイズ除去処理においては、時間軸上でフレーム相関のないノイズ成分を除去でき、ノイズ除去効果が得られる一方で、動きのある部分においては、尾引きや残像、輪郭ぼけが生じる場合がある。そこで、従来では、上記の係数やフィルタ係数を、フレーム間の差分等から得られる動き検出情報を用いて算出し、動きのある部分では係数を小さくすることでノイズ除去の効果を弱くし、尾引きや残像の低減している(例えば、特許文献1参照)。
また、3次元ノイズ除去処理のようにフレーム遅延した信号を使用せず、一次元フィルタや二次元フィルタ処理によりフレーム内でノイズ除去を行う2次元ノイズ除去処理は、一定の閾値以下の信号を零とするコアリングによる方法や、水平・垂直方向にローパスフィルタ処理を施す方法などが知られている。3次元ノイズ除去処理のような動き部分での尾引きや残像は生じることなくノイズを低減できるが、しかし、コアリング、フィルタ処理であるため、輪郭ぼけや輪郭劣化などが発生する。
そこで、さらに、従来のノイズ除去装置においては、フレーム巡回型ノイズ除去装置と二次元処理による非巡回のノイズ除去装置を併合し、動き検出信号と映像信号レベルとに基づいてノイズ除去を制御することで、映像の動きと映像信号レベルを考慮して動きのあるところは残像がなく、静止のときはレベルが小さい信号を重点的にノイズ低減することで、映像信号の動きとレベルに応じたノイズ除去を行う装置の提案がある(例えば、特許文献2参照)。
一方、映像信号のノイズが低減されたプログレッシブ信号を得るための映像信号処理装置では、ノイズ除去装置によりノイズ除去が行われた映像信号に対し、3次元IP変換処理を行ってプログレッシブ信号を得ることが考えられる。この場合、上記ノイズ除去処理を行った後、3次元IP変換を行うためのフレーム(もしくはフィールド)遅延した信号を得ることが必要となる。また、3次元IP変換後のプログレッシブ信号に対し、上記ノイズ除去装置を適用することも考えられるが、この場合も、3次元ノイズ除去を行うために、プログレッシブ信号をフレーム遅延することが必要になる。よって、ノイズ除去装置とIP変換処理において別個の遅延回路を設けることとなり、映像信号処理装置の回路規模が大きくなり、高価なものとなる。
そのため、3次元ノイズ除去処理で使用するフレーム遅延信号を、3次元IP変換する際にも使用できるようにし、ノイズが低減されたプログレッシブ信号を得るように図られている。
さらに、従来の映像信号処理装置においては、巡回型ノイズ除去部では、動きベクトル補正した1フィールド前の画像との差分に対し、差分の周波数帯域を低周波帯域と高周波帯域に分割し、分割された帯域毎に動き検出信号を得て、フィードバック量を制御することで、高域部の残像軽減効果を改善し、ノイズ除去を行い、このノイズ除去部で用いる1フィールド前の画像信号を得るための遅延回路と動きベクトル補正回路が、プログレッシブ信号を得るために用いる1フィールド前の画像信号を得るためにも使用する装置の提案がある(例えば、特許文献3参照)。
特開平9−81754号公報(図1) 特許第3611773号公報(図1) 特開2004−96628号公報(図2、3)
上述したように、上記従来の装置においては、ノイズ除去を十分に行うために巡回型ノイズ除去処理を行っており、フレーム間の差分値により動き検出を行い、動き検出の結果に応じて、動き部分の巡回量を小さくしてノイズ除去の効果を弱くする構成や、映像の動きとレベルから動き部分は二次元処理による非巡回のノイズ除去を行う構成により、動き部分の尾引きや残像を低減し、ノイズ除去を行っていた。
そのため、尾引きや残像の低減するためには、動きと検出される部分でのノイズ除去の効果を弱くする必要があり、ノイズの低減が十分にできず、一方で、ノイズ除去効果を強くすると尾引きや残像が生じるため、良好なノイズ除去を行うことができないという問題点がある。また、動きと検出された部分を二次元でノイズ除去する場合には、フィルタ処理による輪郭ぼけや輪郭劣化が起こり、この場合は動き部分においてはフレーム相関のないノイズ成分を除去することができないため、ノイズ低減が十分にできないという問題点がある。
また、上述したように、非巡回型ノイズ除去を行って、ノイズ除去効果を上げるためには使用するフレーム遅延信号のフレーム数を多くする必要があるため、所望のノイズ除去効果を得るためには回路規模が大きくなるという問題点がある。
また、上述したように、上記巡回型ノイズ除去を行った後、3次元IP変換を行ってプログレッシブ信号を得る場合に、ノイズ除去装置とIP変換処理において別個の遅延回路を設けるとすれば、映像信号処理装置の回路規模が大きくなり、高価なものとなり、さらには、上述した上記従来の装置のように、巡回型ノイズ除去部で用いる1フィールド前の画像信号を得るための遅延回路と動きベクトル補正回路を3次元IP変換に用いる1フィールド前の信号とする場合も、巡回型ノイズ除去部で用いるフレーム遅延信号とプログレッシブ信号を得るためのフレーム遅延信号を共用するが、巡回型ノイズ除去であるノイズ除去では、尾引きや残像の低減するためには、動きと検出される部分でのノイズ除去の効果が弱くなり、ノイズ除去効果を強くすると尾引きや残像が生じるという問題は残ることになる。よって、ノイズ低減が十分にできず、良好なノイズ除去を行うことができず、得られたプログレッシブ信号のノイズ低減が十分でないという問題点がある。
そこで、本発明は、上記の課題を解決するためになされたものであり、その目的は、ノイズ除去処理と3次元IP変換処理で共通の遅延映像信号を用いて、映像信号の遅延回路を効率よく使用し、回路規模を大幅に増やすことなく、ノイズ低減が十分に行うことが可能な非巡回ノイズ除去を行うことを可能として、尾引きや残像という弊害を低減した、良好なノイズ除去効果があるノイズ除去されたプログレッシブ信号を得られ、回路規模の大幅な増加なく、より安価に構成したノイズ除去されたプログレッシブ信号が得られる映像信号処理装置、映像信号処理方法、及び映像信号表示装置を提供することにある。
本発明の映像信号処理装置は、
映像信号のフィールド間又はフレーム間で相関のないノイズ成分を除去し、ノイズ成分が除去された順次走査映像信号を得るための映像信号処理装置であって、
入力映像信号又はこれを巡回型ノイズ除去処理することにより得られる映像信号で構成される現フィールド又はフレームの映像信号を、垂直同期信号で区切られる期間であるフィールド期間単位で遅延させて複数の遅延映像信号を出力するフィールド遅延手段と、
上記現フィールド又はフレームの映像信号と上記複数の遅延映像信号とから成る複数のフィールド又はフレームの映像信号が入力され、当該複数のフィールド又はフレーム間の信号の差分から動きを求めるとともに、得られた動きにより制御されたフィルタ処理を行ってノイズを除去し、非巡回型ノイズ除去後の信号を生成する非巡回型ノイズ除去処理手段と、
上記入力映像信号が飛び越し走査映像信号である場合に、
上記複数のフィールド又はフレームの映像信号と、上記非巡回型ノイズ除去後の信号とから、フィールド内補間処理及びフィールド間補間処理の一方又は双方の組み合わせにより走査線補間信号を生成して、飛び越し走査映像信号を順次走査映像信号に変換し、ノイズ成分が除去された順次走査映像信号を生成する3次元走査線変換処理手段と、
上記入力映像信号が飛び越し走査映像信号であるか順次走査映像信号であるかにより、上記非巡回型ノイズ除去後の信号と、上記3次元走査線補間処理手段からの上記順次走査映像信号とのいずれかを選択して、ノイズ成分が除去された順次走査映像信号として出力する切換え手段と
を備えたものである。
本発明の映像信号表示装置は、
上記の映像信号処理装置と、
表示手段と、
上記映像信号処理装置から出力されたノイズ成分が除去された順次走査映像信に基づく映像を、上記表示手段に表示させる表示処理手段と
を備えたものである。
本発明の映像信号処理装置によれば、ノイズ除去処理と3次元IP変換処理で使用するフィールド遅延映像信号を共通のフィールド遅延手段により得ており、フィールド遅延手段例えばフィールドメモリを大幅に増やすことなく、複数のフィールド又はフレームに渡るフレーム相関のないノイズ成分を除去する非巡回ノイズ除去が行われた信号により、3次元走査線補間処理を行うことができるとともに、非巡回型ノイズ除去処理では、動き部分のエッジ、輪郭のぼけや劣化を防止して、フィルタ処理された非巡回型ノイズ除去処理後の信号が得られ、回路規模が大幅に増加せず、尾引きや残像という弊害を低減した、良好にノイズ除去されたプログレッシブ信号を得ることができるという効果がある。
また、本発明の映像信号表示装置によれば、回路規模が大幅に増加せず、動き部分のエッジ、輪郭のぼけや劣化を防止して、ノイズ除去処理を行い、尾引きや残像という弊害を低減した、プログレッシブ信号を得ることができ、そのように良好にノイズ除去されたプログレッシブ信号を用いた高品質な映像を表示することができる。
実施の形態1.
図1は、本発明における実施の形態1の映像信号処理装置(すなわち、実施の形態1の映像信号処理方法を実施することができる装置)の構成を示すブロック図であり、フィールド又はフレーム遅延した信号と現フィールド又はフレームの信号(映像信号)から、複数のフィールド又はフレームの信号を用いてフィルタ処理することによりノイズ成分を除去する非巡回型の3次元ノイズ除去処理(非巡回型ノイズ除去処理、非巡回型NR、或いはFIR−NRと呼ぶ)を行うとともに、ノイズ除去後の信号と、ノイズ除去処理でも使用した遅延信号(遅延映像信号)と、現フィールドの信号とにより3次元走査線変換(3次元IP変換)を行うよう構成している。
図1に示される映像信号処理装置1は、第1乃至第7のフィールドメモリ11〜17と、切換信号生成手段18と、非巡回型ノイズ除去処理手段20と、3次元IP変換処理手段65と、切換手段62とを備えている。
第1乃至第7のフィールドメモリ11〜17は、入力映像信号(以下、入力信号とも呼ぶ)Di0が、現フィールド又はフレームの信号(「入力フィールド又はフレームの信号」とも言う)として、順次入力されており、第1乃至第7のフィールドメモリ11〜17の各々は、映像信号を相前後する2つの垂直同期信号で区切られる期間(「垂直期間」或いは「フィールド期間」と言い、単に「フィールド」と言うこともある)単位で順次遅延させるものであり、フィールドメモリは、「フィールド遅延手段」とも呼ばれる。
フィールド遅延手段としての第1乃至第7のフィールドメモリ11〜17は、各々入力された映像信号を1フィールド(1垂直期間)遅延して遅延信号(遅延映像信号)を出力するためのメモリであり、第1のフィールドメモリ11は、入力映像信号Di0を1フィールド遅延して1フィールド遅延信号d1fを出力し、第2のフィールドメモリ12は、第1のフィールドメモリ11からの1フィールド遅延信号d1fを1フィールド遅延し、2フィールド遅延信号d2fを出力する。
以下、同様にそれぞれのフィールドメモリで順次、遅延信号を1フィールド遅延し、第3のフィールドメモリ13から3フィールド遅延信号d3fを、第4のフィールドメモリ14から4フィールド遅延信号d4fを、第5のフィールドメモリ15から5フィールド遅延信号d5fを、第6のフィールドメモリ16から6フィールド遅延信号d6fを、第7のフィールドメモリ17から7フィールド遅延信号d7fを出力する。これにより、ノイズ除去処理と3次元IP変換で使用する遅延信号を得ることになる。
なお、第1乃至第7のフィールドメモリ11〜17は、「フレームメモリ」或いは「フレーム遅延手段」と呼ばれることもある。これは、入力信号がプログレッシブ信号の場合は、各垂直期間に1フレームのデータが書き込まれるためである。
切換信号生成手段18は、入力信号がインターレース信号であるかプログレッシブ信号かを示す切り換え信号pfを生成する。
非巡回型ノイズ除去処理手段20は、画面内の同一位置に画素を有する複数のフィールド又はフレーム内の、互いに同一位置にある画素の信号を用いてフィルタ処理することによりノイズ成分を除去する。
3次元IP変換処理手段65は、入力信号がインターレース信号の場合に、フィールド内補間処理及びフィールド間補間処理により走査線補間信号を生成して、インターレース信号をプログレッシブ信号に3次元走査線変換する。
切換手段62は、切換信号生成手段18からの切り換え信号pfにより、3次元IP変換処理手段65からのIP変換されたプログレッシブ信号Ipsと非巡回型ノイズ除去処理手段20からのノイズ除去処理(NR処理)された信号Rnrのいずれかを選択して、プログレッシブ信号である出力映像信号Do0を選択し出力する。即ち、入力信号がインターレース信号である場合には、3次元IP変換処理手段65からのプログレッシブ信号Ipsを選択し、入力信号がプログレッシブ信号である場合には、非巡回ノイズ除去手段20からの信号Rnrを選択する。
3次元IP変換処理手段65は、フィールド内補間処理手段30と、補間動き検出手段66と、補間信号生成手段60と、時間軸変換手段61とを備えている。
フィールド内補間処理手段30は、走査線補間の対象であるフィールド(以下、「補間フィールド」と呼ぶ)内の画素の信号により補間対象画素の信号、即ち補間信号(「補間走査線信号」或いは「補間ライン信号」とも言う)を生成する。
補間動き検出手段66は、動き検出手段40と、映像信号がテレシネ映像信号か否かを検出するテレシネ検出手段50とを備え、映像信号のフィールド間(又はフレーム間)の差分から信号の動き(映像の動き)を検出し、この検出結果に基づき補間切換え信号mdt、tcifを生成する。
なお、画素が同じ位置にある2つのフィールドの互いに同じ位置の画素間の差分を取るようなフィールド間の差分を検出する場合、このフィールド間の差分はフレーム間の差分でもあることになる。その意味で、「フィールド間の差分」をも単に「フレーム間の差分」或いは「フレーム差分」と言うこともある。また入力映像信号がインターレース信号である場合、画素が同じ位置にあるフィールドは2フィールド期間に1回現れるので、「2フィールド期間」を「1フレーム期間」と言い、「2フィールド間の差分」を「1フレーム間の差分」と言い、「4フィールド間の差分」を「2フレーム間の差分」ということもある。
同様の理由で、フィールド間の差分により求められる相関も、画素が同じ位置にあるフィールド間の差分による相関であるので、フレーム相関という。
補間信号生成手段60は、上記補間動き検出手段66から出力される補間切換え信号mdt、tcifに基づき、非巡回型ノイズ除去処理手段20からのノイズ除去(「NR」と略す)処理を行うことで生成された補間用信号Isnr、Itnrとフィールド内補間処理手段30からの信号から動き適応処理もしくはテレシネ補間により3次元処理された補間信号(補間ライン信号)Imを生成し、出力する。このように、補間切換え信号mdt、tcifは、フィールド内補間処理及びフィールド間補間処理から補間信号を生成するために用いられる。
時間軸変換手段61は、補間信号生成手段60から出力された補間信号Imを非巡回型ノイズ除去処理手段20からのノイズ除去された補間フィールド内における実走査線信号(実ライン信号)Rnrの対応する走査線間にはめ込み、倍速変換して、プログレッシブ信号へ変換して出力する。
図2は、上記非巡回型ノイズ除去処理手段20の一構成例を示すブロック図である。
図示の非巡回型ノイズ除去処理手段20は、ノイズ除去の対象となるフィールド又はフレーム(ノイズ除去対象フィールド又はフレーム)におけるノイズ除去対象画素の信号に対し、当該ノイズ除去対象フィールド又はフレームと、その前後に位置し、画素が画面内の同一位置にある他の3つのフィールド又はフレームにおける、上記ノイズ除去対象画素と同一位置にある画素の信号、即ち合わせて4フィールド又は4フレームの信号を用いてフィルタ処理することでノイズ除去を行い、ノイズ除去された信号を出力するものである。
非巡回型ノイズ除去処理手段20は、インターレース信号入力時には、補間フィールド内の実ライン信号に対してノイズ除去処理を施して、ノイズ除去された実ライン信号を出力するとともに、補間フィールドに時間的に隣接するフィールド内の、補間フィールドの補間ラインと同じ位置にある実ライン(「補間用走査線」或いは「補間用ライン」)の信号に対してノイズ除去処理を施してノイズ除去された補間用走査線信号(補間用ライン信号)を出力する。
このノイズ除去された補間用ライン信号は、「ノイズ除去後静止画補間用ライン信号」とも呼ばれるものであり、3次元IP変換処理手段65においてフィールド間補間に用いられる。
図2に示される非巡回型ノイズ除去処理手段20は、第1乃至第4の切り換え手段201、202、203と、実ラインノイズ除去手段21と、補間ラインノイズ除去手段22とを備える。
切り換え手段201、202、203は、切換信号生成手段18からの切り換え信号pfによりフィールド遅延信号を選択する。
実ラインノイズ除去手段21は、インターレース信号入力時には、各フィールド(ノイズ除去対象フィールド)の各実ラインの各画素(ノイズ除去対象画素)の信号に対し、当該ノイズ除去対象画素の信号と、上記ノイズ除去対象フィールドの前後に位置し、当該ノイズ除去対象フィールドと画面内の同一位置に画素を有する3つのフィールド内の、上記ノイズ除去対象画素と画面内の同一位置にある画素の信号、即ち合わせて4フィールドの信号を用いてフィルタ処理することでノイズ除去する。
実ラインノイズ除去手段21は、プログレッシブ信号入力時には、各フレーム(ノイズ除去対象フレーム)の各走査線の各画素(ノイズ除去対象画素)の信号に対し、当該ノイズ除去対象画素の信号と、当該ノイズ除去対象フレームの前後に位置する3つのフレーム内の、当該ノイズ除去対象画素と画面内の同一位置にある画素の信号、即ち合わせて4フレームの信号を用いてフィルタ処理することでノイズ除去する。
補間ラインノイズ除去手段22は、インターレース信号入力時に、各補間フィールドに隣接するフィールド(「補間用フィールド」、「ノイズ除去対象フィールド」)内の、各補間用ラインの各画素(ノイズ除去対象画素)の信号に対し、当該ノイズ除去対象画素の信号と、上記ノイズ除去対象フィールドの前後に位置し、当該ノイズ除去対象フィールドと画面内の同一位置に画素を有する3つのフィールド内の、上記ノイズ除去対象画素と画面内の同一位置にある画素の信号、即ち合わせて4フィールドの信号を用いてフィルタ処理することでノイズ除去する。
補間ラインノイズ除去手段22は、第1の補間ラインノイズ除去手段221と第2の補間ラインノイズ除去手段222とを備える。
第1の補間ラインノイズ除去手段221は、補間フィールドの時間的に前に位置するノイズ除去対象フィールド(「第1の補間用フィールド」或いは「第1のノイズ除去対象フィールド」)内の補間用ライン(「第1の補間用ライン」或いは「第1のノイズ除去対象ライン」)の信号のノイズを除去する。
第2の補間ラインノイズ除去手段222は、補間フィールドの時間的に後に位置するノイズ除去対象フィールド(「第2の補間用フィールド」或いは「第2のノイズ除去対象フィールド」)内の補間用ライン(「第2の補間用ライン」或いは「第2のノイズ除去対象ライン」)の信号のノイズを除去する。
実ラインノイズ除去手段21、第1の補間ラインノイズ除去手段221、第2の補間ラインノイズ除去手段222によるノイズ除去の対象となるフィールド(ノイズ除去対象フィールド)及びフレーム(ノイズ除去対象フレーム)は、それぞれ「中心フィールド」及び「中心フレーム」とも呼ばれる。また、ノイズ除去対象フィールド又はフレームにおけるノイズ除去対象画素は、「注目画素」とも呼ばれる。
ノイズ除去された補間用ラインの信号は、後述のように、IP変換の動き適応処理及びテレシネ補間で用いられる。
ここで、入力映像信号がインターレース信号であるに場合は、相前後する2つの垂直同期信号で区切られる期間に1フィールドのデータが入力され、入力映像信号がプログレッシブ信号である場合には、相前後する2つの垂直同期信号で区切られる期間に1フレームのデータが入力される。
インターレース信号の入力時には、フィールドメモリ11〜17の各々に1フィールドのデータが書き込まれ、各フィールドメモリはフィールド単位での遅延を行なう。インターレース信号は、2つのフィールドで1つのフレームが構成されるので、2フィールドの時間間隔(乃至遅延)は1フレームの時間間隔(乃至遅延)と言うこともできる。この場合、画素が画面内の同一位置にある関係を有するフィールドは、1フレーム間隔(2フィールド間隔)で現れる。
一方、プログレッシブ信号の入力時には、フィールドメモリ11〜17の各々には、1フレームのデータが書き込まれ、各フィールドメモリはフレーム単位での遅延を行なう。しかし、先にも述べたように、本願では、相前後する2つの垂直同期信号で区切られる期間は1フィールド期間と呼び、各フィールドメモリによる遅延は1フィールド期間の遅延であるとして説明する。プログレッシブ信号の場合には、すべてのフレームが、互いに画素が画面内の同一位置にある関係を有する。言い換えれば、1フレーム間隔で、画素が同一位置にある関係を有するフレームが現れる。
なお、以下に詳述する実施の形態1では、インターレース信号入力時にIP変換すなわち走査線補間の対象となる補間フィールドは、第2のフィールドメモリ12からの2フィールド遅延信号d2fのフィールドとし、2フィールド遅延信号2dfに対応する信号が出力映像信号Do0として出力されるものとし、一方、プログレッシブ信号入力時の出力映像信号Do0は、第1のフィールドメモリ11からの1フィールド遅延信号d1fに対応するものであるとして説明する。
また、入力信号がプログレッシブ信号の場合は、IP変換を行う必要がなく、非巡回型ノイズ除去処理手段20による非巡回ノイズ除去処理に用いられる遅延信号が得られればよい。よって、プログレッシブ信号入力時の出力映像信号Do0を1フィールド遅延信号d1fに対応したものとし、当該1フィールド遅延信号d1fとその前後にある3つのフレームの信号(現フレームの信号及び2つの遅延信号)の、合わせて4フレームの信号を用いてノイズ除去処理を行う場合には、第1乃至第3のフィールドメモリ11〜13によるフィールド遅延処理を行い、以降の第4乃至第7のフィールドメモリ14〜17によるフィールド遅延処理を省略することができる。
切換信号生成手段18は、例えばユーザ等の操作による選択により、入力映像信号の信号フォーマットを設定し、例えば、入力信号がインターレース信号であるかプログレッシブ信号であるかを示す切り換え信号pfを生成して出力する。なお、ユーザ等の操作による選択により設定する代わりに、入力された信号の同期信号の周期などから自動でインターレースか否かを自動的に判別することとしても良い。
非巡回型ノイズ除去処理手段20へは、現フィールド又はフレームの信号Di0と遅延信号d1f〜d7fと、切換信号生成手段18にからの切り換え信号pfが入力される。
非巡回型ノイズ除去処理手段20は、現フィールド又はフレームの信号Di0と遅延信号d1f〜d7fのうちの、ノイズ除去の対象となるフィールド又はフレーム(中心フィールド又はフレーム)の注目画素の信号と、当該中心フィールド又はフレームと画素が同一位置にある他の3つのフィールド又はフレームにおける、上記注目画素と同一位置にある画素の信号、即ち、合わせて4フィールド又は4フレームの信号を用いてフィルタ処理することによりノイズ除去を行う。
即ち、インターレース信号入力時には、実ライン信号からノイズを除去することでノイズ除去後実ライン信号Rnrを生成するとともに、補間用ライン信号からノイズを除去することで生成された第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrを生成し、プログレッシブ信号入力時には、各ラインの信号からノイズを除去することでノイズ除去後実ライン信号Rnrを生成する。
インターレース信号入力時のノイズ除去における「中心フィールド」は、ノイズ除去後実ライン信号Rnrを生成する場合と、第1の補間用ライン信号Isnrを生成する場合と、第2の補間用ライン信号Itnrを生成する場合とで互いに異なる。
切換信号生成手段18からの切り換え信号pfによって、実ライン信号のノイズ除去に用いられる信号と、プログレッシブ信号に対するノイズ除去に用いられる信号の切り換えが行なわれる。なお、プログレッシブ信号入力時には、走査線の補間は不要なので、補間用ライン信号に対するノイズ除去は行われず、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrの生成は行なわれない。
ここで、非巡回型ノイズ除去処理手段20においてノイズ除去処理の対象となる信号(中心フィールドの注目画素の信号)は、インターレース信号入力時には、補間フィールドの実ラインについては、補間フィールドの信号、即ち、2フィールド遅延信号d2fであり、補間フィールドの補間ラインについては、補間フィールドに時間的に隣接するフィールドの実ライン信号(補間用ライン信号)、即ち3フィールド遅延信号d3f及び1フィールド遅延信号d1fである。一方、プログレッシブ信号入力時は、1フィールド遅延信号d1fがノイズ除去の対象となる信号(中心フレームの注目画素の信号)となる。
非巡回型ノイズ除去処理手段20は、中心フィールド又はフレームの注目画素の信号に対し、その中心フィールド又はフレームと、該中心フィールド又はフレームの前後に位置し、該中心フィールド又はフレームと画素が画面内の同一位置にある3つのフィールド又はフレームの、合わせて4つのフィールド(1フィールドおきの4つフィールド)又は4つのフレーム(相連続する4つのフレーム)の信号を用いてフィルタ処理することでノイズ除去を行うので、4フィールド又は4フレームの間での相関(フレーム相関)を用いた演算となり、動き部分の尾引きや残像は、4フィールド又は4フレームの範囲内に収めることができ、尾引きや残像を低減し、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができるので、良好なノイズ低減が可能である。
非巡回型ノイズ除去処理手段20へ入力された現フィールドの信号Di0は、第1のNR処理用信号r1として、実ラインノイズ除去手段21へ入力される。
図2に示される、非巡回型ノイズ除去処理手段20内の切り換え手段201〜203は、遅延信号d1f〜d4f及びd6fを受け、切り換え信号pfに応じた選択を行なって、選択された信号を第2乃至第4のNR処理用信号r2〜r4として出力する。
実ライン信号に対するノイズ除去処理と、プログレッシブ信号に対するノイズ除去処理とで異なる遅延信号が選択される。
具体的には、切り換え手段201は、1フィールド遅延信号d1f及び2フィールド遅延信号d2fを入力とし、インターレース信号入力時は2フィールド遅延信号d2fを、プログレッシブ信号入力時は1フィールド遅延信号d1fを選択して、第2のNR処理用信号r2として実ラインノイズ除去手段21に供給する。
切り換え手段202は、2フィールド遅延信号d2f及び4フィールド遅延信号d4fを入力とし、インターレース信号入力時は4フィールド遅延信号d4fを、プログレッシブ信号入力時は2フィールド遅延信号d2fを選択して、第3のNR処理用信号r3として実ラインノイズ除去手段21に供給する。
切り換え手段203は、3フィールド遅延信号d3f及び6フィールド遅延信号d6fを入力とし、インターレース信号入力時は6フィールド遅延信号d6fを、プログレッシブ信号入力時は3フィールド遅延信号d3fを選択して、第4のNR処理用信号r4として実ラインノイズ除去手段21に供給する。
第1乃至第4のNR処理用信号r1〜r4は、実ラインノイズ除去手段21で、中心フィールド又はフレームである第2のNR処理用信号r2を対象とするノイズ除去処理に用いられる。
また、遅延信号d1f、d3f、d5f、d7fは、補間用ライン信号に対するノイズ除去処理に用いられる第1乃至第4のNR処理用信号i1〜i4として、補間ラインノイズ除去手段22に供給される。
図3及び図4は、現フィールドの信号Di0と遅延信号d1f〜d7fの、フィールド相互間の時間的関係と、ノイズ除去及び補間で用いられる画素の垂直走査方向の位置関係を示す。図3はインターレース信号入力時の位置関係を、図4はプログレッシブ信号入力時の位置関係を示す。図3及び図4において、時間的に前のフィールドほど、より左側に示され、各フィールド又はフレームの画素は、上から下へと言う順で垂直走査される。符号r1〜r4、i1〜i4は、上記のように、画素の信号を表す場合もあるが、図3及び図4に示すように画素自体を表すこともある。
図3に示されるインターレース信号が入力される場合、補間フィールドの信号が2フィールド遅延信号d2fであるので、補間フィールド内の実ラインのノイズ除去においては、第2のNR処理用信号r2として供給される2フィールド遅延信号d2fが中心フィールドCFRの注目画素の信号となる。そして、2フィールド遅延信号d2fと、現フィールドの信号Di0、4フィールド遅延信号d4f、及び6フィールド遅延信号d6f(これらはいずれも、2フィールド遅延信号d2fと同一位置の画素の信号である)が、それぞれ第1、第3、第4のNR処理用信号r1、r3、r4となる。図3には、第1〜第4のNR処理用信号r1〜r4が、互いに画面内の同一位置にある画素r1〜r4(曲線Grで囲んで示す)の信号であることが示されている。
補間フィールド内の補間ラインのノイズ除去においては、補間フィールドの前後に隣接するフィールド(補間用フィールド)の信号、即ち3フィールド遅延信号d3f及び1フィールド遅延信号d1fが中心フィールドCFIs及びCFItの注目画素の信号であり、それぞれ第2のNR処理用信号i2、第1のNR処理用信号i1となる。そして、5フィールド遅延信号d5f、7フィールド遅延信号d7fが、それぞれ第3のNR処理用信号i3、第4のNR処理用信号i4となる。
この場合にも、図3に曲線Giで囲んで示すように、互いに画面内の同一位置にある画素の信号が第1〜第4のNR処理用信号i1〜i4となる。なお、第1の補間用フィールドの信号(d3f)に対するノイズ除去と、第2の補間用フィールドの信号(d1f)に対するノイズ除去とで同じNR処理用信号i1〜i4が用いられている。
図4に示されるプログレッシブ信号が入力される場合は、出力映像信号Do0は第1のフィールドメモリ11からの遅延信号d1fに対応したものとしているので、第2のNR処理用信号r2として供給される1フィールド遅延信号d1fが中心フレームの注目画素の信号となる。現フレームの信号Di0、2フィールド遅延信号d2f、3フィールド遅延信号d3fがそれぞれ、第1、第3、第4のNR処理用信号r1、r3、r4となる。この場合にも、図4に曲線Grで囲んで示すように、互いに画面内の同一位置にある画素の信号が第1〜第4のNR処理用信号r1〜r4となる。
非巡回型ノイズ除去処理手段20内の補間ラインノイズ除去手段22には、フィールドメモリ11、13、及び15、17から出力される遅延信号d1f、d3f、d5f、d7fが、第1乃至第4のNR処理用信号i1〜i4として入力される。
補間ラインノイズ除去手段22は、第1の補間ラインノイズ除去手段221と第2の補間ラインノイズ除去手段222とを備え、インターレース信号入力時に、入力された第1、第2、第3、第4のNR処理用信号i1、i2、i3、i4を用いてフィルタ処理することでノイズ除去し、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrを出力する。
第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrは、3次元IP変換時に補間ライン信号の生成に用いられる補間用ライン信号(補間フィールドの時間的に隣接するフィールドの信号)からノイズを除去した信号である。
図3において、第1の補間用ライン信号Isnrは、3フィールド遅延信号d3f(補間フィールドの時間的に前の隣接フィールド)を中心フィールドCFIsの注目画素の信号として非巡回型ノイズ除去処理を行った後の信号であり、第2の補間用ライン信号Itnrは、1フィールド遅延信号d1f(補間フィールドの時間的に後の隣接フィールド)を中心フィールドCFItの注目画素の信号として非巡回型ノイズ除去処理を行った後の信号である。
そして、IP変換の動き適応処理では第1の補間用ライン信号Isnrが、テレシネ補間では、第1の補間用ライン信号Isnrと第2の補間用ライン信号Itnrがノイズ除去後の補間用ライン信号として使用される。
図2に示される非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21と補間ラインノイズ除去手段22における詳細な構成については後述する。
図1において、3次元IP変換処理手段65へは、非巡回型ノイズ除去処理手段20でも使用した現フィールドの信号Di0と、第1乃至第7のフィールドメモリ11〜17からの遅延信号d1f〜d7fとが入力される。3次元IP変換処理手段65にはさらに、非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr、及び第2の補間用ライン信号Itnrが入力される。
3次元IP変換処理手段65では、入力信号がインターレース信号の場合に、フィールド内補間処理及びフィールド間補間処理により走査線補間信号を生成して、インターレース信号をプログレッシブ信号に3次元走査線変換し、ノイズ除去が施されたプログレッシブ信号Ipsを出力する。このとき、非巡回型ノイズ除去処理手段20から出力される第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrが、この3次元IP変換処理手段65におけるフィールド間補間処理に用いられる。
非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrから得られる補間信号Imを用いてプログレッシブ信号Ipsへの変換が行われるため、尾引きや残像を低減することができ、良好にノイズ除去されたプログレッシブ信号Ipsを得ることができる。
詳細には、図1において、3次元IP変換処理手段65内のフィールド内補間処理手段30へは、第2のフィールドメモリ12からの2フィールド遅延信号d2fが入力される。このとき、3次元IP変換により走査線補間の対象となる補間フィールドは、2フィールド遅延信号d2fであり、IP変換後のプログレッシブ信号出力は2フィールド遅延した信号となる。
フィールド内補間処理手段30は、補間フィールド内の垂直方向に隣接する走査線における画素により、フィルタ処理等の演算処理を行って補間信号Imvを生成して出力する。
3次元IP変換処理手段65内の補間動き検出手段66へは、現フィールドの信号Di0と1フィールド遅延信号d1f、2フィールド遅延信号d2f、及び4フィールド遅延信号d4fとが入力される。
補間動き検出手段66は、動き検出手段40とテレシネ検出手段50とを備え、映像信号のフレーム間又はフィールド間の差分から信号の動きを検出し、この検出結果に基づき補間切換え信号(動き検出信号mdt及びテレシネ検出信号tcif)を検出して出力する。
動き検出手段40には、現フィールドの信号Di0と、2フィールド遅延信号d2f及び4フィールド遅延信号d4fが入力される。動き検出手段40は、現フィールドの信号Di0と2フィールド遅延信号d2fとの2フィールド間(1フレーム間)の差分情報、及び現フィールドの信号Di0と4フィールド遅延信号d4fとの4フィールド間(2フレーム間)の差分情報を求め、得られた差分情報に基づき、1フレーム間及び2フレーム間の映像信号の動きを検出し、映像信号の動きの度合いを示す動き検出信号mdtを出力する。
動き検出手段40は、例えば動きをその度合いに応じて複数の(例えば9つの)等級乃至段階に分け、動きがどの段階に属するものであるかを示す値を持つ動き検出信号mdtを出力するものであり、例えば、動きの度合いが最大級の場合、即ち、映像信号が「完全に動きである」場合を第1の所定の値、例えばmdt=8とし、動きの度合いが最小級の場合、即ち、「完全に静止画である」場合には第2の所定の値、例えばmdt=0とし、mdt=0〜8の間の動きの度合いを示す信号とする。
なお、動き検出信号mdtの値はこれに限らず、他の方法で得られる値や、動きか静止画かの2値で示す場合でもよい。また、現フィールドの信号Di0と2フィールド遅延信号d2f、及び4フィールド遅延信号d4fとの差分(フレーム差分)を表す差分情報を求め、1フレーム間及び2フレーム間の映像信号の動きを検出すると説明したが、現フィールド又はフレームの信号Di0と2フィールド遅延信号d2fの差分情報より1フレーム間の映像信号の差分情報のみにより動きを検出するよう構成することもできる。
また、1フレーム前のブロック(フィールドの一部をなすブロック)との間の動きベクトルにより動きを検出することとしてもよく、何らかの形で映像信号の動きの度合いを示す動き検出信号mdtが得られればよい。
さらに、動き検出手段40では現フィールドの信号Di0と2フィールド遅延信号d2f、及び4フィールド遅延信号d4fとで動き検出を行うよう構成しているが、補間フィールドでの補間ライン信号の位置を考慮して、1フィールド遅延信号d1fと3フィールド遅延信号d3f、及び5フィールド遅延信号d5fとで、フィールド間の差分情報を求め、1フレーム間及び2フレーム間の映像信号の動きを検出するように構成してもよく、動き検出手段40へ入力される信号のフィールドを変更するのみで、同一の構成で動き検出を行えばよい。
また、テレシネ検出手段50には、現フィールドの信号Di0と、2フィールド遅延信号d2f及び1フィールド遅延信号d1fとが入力される。テレシネ検出手段50では、フレーム間及びフィールド間の差分からフィールド及びフレーム間の動きを検出し、入力映像信号がテレシネ映像信号であるか否かを検出する。つまり、現フィールドの信号Di0と2フィールド遅延信号d2fとのフィールド間の差分情報による1フレーム前のフィールドとの相関(フレーム差分情報)と、現フィールドの信号Di0と1フィールド遅延信号d1fとのフィールド間の差分情報による1フィールド前のフィールドとの相関(フィールド差分情報)を求める。そして、このフレーム差分情報とフィールド差分情報から、入力映像信号が2−3プルダウン信号もしくは2−2プルダウン信号におけるフィールドシーケンスの繰り返し条件を満たすテレシネ映像信号であるか否かを検出し、検出結果に基づいて、テレシネ補間を行うためのテレシネ映像信号の検出とシーケンスの位相(すなわち、同一フレームから、変換されたフィールドの方向)を示す補間位相を示すテレシネ検出信号tcifを生成して出力する。
以上のようにして補間動き検出手段66は、動き検出手段40から出力される動き検出信号mdtと、テレシネ検出手段50から出力されるテレシネ検出信号tcifを得て、これらを補間切換え信号(動き検出信号mdtとテレシネ検出信号tcif)として出力し、補間信号生成手段60へ送る。
補間信号生成手段60には、非巡回型ノイズ除去処理手段20からの第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrと、フィールド内補間処理手段30からのフィールド内補間信号Imvと、補間動き検出手段66からの補間切換え信号(動き検出信号mdt及びテレシネ検出信号tcif)が入力される。
補間信号生成手段60では、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrと、フィールド内補間信号Imvに対し、動き検出信号mdtに基づき、動き適応IP変換を行うとともに、テレシネ検出信号tcifがテレシネ映像信号であることを示す場合には、テレシネ補間を行い、補間ライン信号Imを出力する。
具体的には、補間信号生成手段60において、補間ライン信号を生成する処理は2フィールド遅延信号d2fに対して行われ、通常の映像信号に対しては動き適応処理を行う。通常の映像信号の場合、即ち、テレシネ映像信号ではない場合、動き検出手段40からの動き検出信号mdtに基づいて動き適応処理を行う。即ち、動き検出信号mdtが「0」であり、完全静止画であることを示すときは、時間的に前の3フィールド遅延信号d3fに対しノイズ除去を行った信号である第1の補間用ライン信号Isnrの値を補間ライン信号の値とするフィールド間補間を行い、補間信号Imとする。
動き検出信号mdtが「8」であり、完全動きであることを示すときは、フィールド内補間処理手段30からのフィールド内補間信号Imvを補間信号Imとする。
動き検出信号mdtが「1」から「7」のいずれかであり、完全静止画(mdt=0)と完全動き(mdt=8)の間である場合には、動き検出信号mdtの値が示す動きの度合いに応じて、第1の補間用ライン信号Isnrとフィールド内補間信号Imvを混合し補間信号Imを生成する。
このように、動き検出信号mdtにより、静止画部分では第1の補間用ライン信号Isnrで補間信号Imが生成され、動き部分では、フィールド内でのフィルタ処理により得られたフィールド内補間信号Imvで補間信号Imが生成される。従って、動き部分では、尾引き等がなく、フィルタによるノイズ除去効果も得られる。このように、動き適応処理により、非巡回型ノイズ除去処理手段20でノイズ除去された信号とフィールド内補間による信号によって生成され、尾引きや残像を低減し、良好にノイズ除去された補間信号Imを得ることができる。
また、補間信号生成手段60において、テレシネ映像信号に対してはテレシネ補間処理を行う。即ち、テレシネ検出手段50からの出力であるテレシネ検出信号tcifがテレシネ映像信号であることを示す場合には、テレシネ検出信号tcifに基づいて、2−3もしくは2−2プルダウンの補間位相に対応したフィールドを第1の補間用ライン信号Isnr(3フィールド遅延信号d3fのノイズ除去後信号)、又は第2の補間用ライン信号Itnr(1フィールド遅延信号d1fのノイズ除去後信号)から選択し、テレシネ映像信号の場合における補間信号Imとして生成する。
テレシネ補間処理においても、上記動き適応処理時での静止画部分と同様、非巡回型ノイズ除去処理手段20において非巡回ノイズ除去された第1の補間用ライン信号Isnrもしくは第2の補間用ライン信号Itnrが補間信号となる。よって、補間信号Imは、非巡回型ノイズ除去処理手段20によるノイズ除去された信号によって生成されるため、尾引きや残像を低減し、良好にノイズ除去されたものとなる。
時間軸変換手段61へは、補間信号生成手段60からの補間信号Imと、非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnrとが入力され、補間信号Imを補間フィールドの実ライン信号Rnrの対応する走査線間にはめ込み、倍速変換して、プログレッシブ信号Ipsへ変換して出力する。
上記と同様、非巡回型ノイズ除去処理手段20からのノイズ除去後ノイズ除去後実ライン信号Rnrと、補間信号生成手段60からの補間信号Imとによってプログレッシブ信号Ipsへと時間軸変換されるため、尾引きや残像を低減し、良好にノイズ除去されたプログレッシブ信号を得ることができる。
そして、切換手段62へは、時間軸変換手段61からのIP変換されたプログレッシブ信号Ipsと、非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnrと、切換信号生成手段18による切り換え信号pfが入力される。切換手段62では、切り換え信号pfがインターレース信号入力であることを示す場合は、時間軸変換手段61からのIP変換されたプログレッシブ信号Ipsを選択し、切り換え信号pfがプログレッシブ信号入力であることを示す場合は、非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnrを選択し、プログレッシブ信号である出力映像信号Do0として出力する。
非巡回型ノイズ除去処理手段20からの出力であるノイズ除去後実ライン信号Rnrは、プログレッシブ信号入力時は、プログレッシブ信号の1フィールド遅延信号d1fに対し、インターレース信号入力時の実ライン信号に対するのと同様の方法で、非巡回ノイズ除去処理が行われる。即ち、1フィールド遅延信号d1fを含め全部で4フレームの、画面内の位置が互いに同一の画素の信号を用いてフィルタ処理が行われる。
このように、インターレース信号入力時及びプログレッシブ信号入力時の双方において、ノイズ除去処理で使用される遅延信号と、インターレース信号入力時に3次元IP変換で使用される遅延信号とを共通のフィールドメモリから得ており、遅延手段としてのフィールドメモリの数を抑制することができ、しかも切換手段62からは尾引きや残像という弊害を低減することができ、プログレッシブ信号として、良好にノイズ除去されたものを得ることができる。
次に、図2による非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21及び補間ラインノイズ除去手段22について、図2、図3、図4を参照して詳細に説明する。
まず、図2において、実ラインノイズ除去手段21は、インターレース信号入力時の2フィールド遅延信号d2f又はプログレッシブ信号入力時の1フィールド遅延信号d1fで構成される第2のNR処理用信号r2を中心フィールド又はフレームCFR(図3及び図4参照)の注目画素の信号とし、入力された第1乃至第4のNR処理用信号r1〜r4を用いてフィルタ処理することでノイズ除去し、ノイズ除去後実ライン信号Rnrを出力する。
補間ラインノイズ除去手段22は、第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段222により、入力された第1乃至第4のNR処理用信号i1〜i4を用いてフィルタ処理することでノイズ除去し、第1の補間ラインノイズ除去手段221からは第1の補間用ライン信号Isnrを出力し、第2の補間ラインノイズ除去手段222からは第2の補間用ライン信号Itnrを出力する。
図3において、第1の補間用ライン信号Isnrは、補間フィールドの時間的に前の隣接フィールドである3フィールド遅延信号d3f(第2のNR処理用信号i2)からノイズを除去した信号であり、第1の補間ラインノイズ除去手段221では、3フィールド遅延信号d3f(第2のNR処理用信号i2)を中心フィールドCFIsの注目画素の信号とする。
また、第2の補間用ライン信号Itnrは、補間フィールドの時間的に後の隣接フィールドである1フィールド遅延信号d1f(第1のNR処理用信号i1)からノイズを除去した信号であり、第2の補間ラインノイズ除去手段222では、1フィールド遅延信号d1f(第1のNR処理用信号i1)を中心フィールドCFItの注目画素の信号とする。
以下「中心フィールド又はフレームの注目画素の信号」を単に「中心フィールド又はフレームの信号」と言うこともある。
図5は、図2の実ラインノイズ除去手段21又は第1の補間ラインノイズ除去手段221として用い得る非巡回型ノイズ除去処理手段70を示す。図5に示される非巡回型ノイズ除去処理手段70は、実ラインノイズ除去手段21として用いられる場合には、入力された4つのNR処理用信号r1〜r4のうちの第2のNR処理用信号r2を中心フィールド又はフレームの信号として非巡回型ノイズ除去処理を行い、第1の補間ラインノイズ除去手段221として用いられる場合には、入力された4つのNR処理用信号i1〜i4のうち第2のNR処理用信号i2を中心フィールドの信号として非巡回型ノイズ除去処理を行う。
図5に示される非巡回型ノイズ除去手段70は、ノイズ除去フィルタ手段700と、NR動き検出手段720と、フィルタ係数発生手段710とを備える。
ノイズ除去フィルタ手段700は、4つのNR処理用信号r1〜r4又はi1〜i4を用いてフィルタ処理を行って、ノイズ除去後信号RnrまたはIsnrを出力する。
NR動き検出手段720は、中心フィールド又はフレームの信号に対し、入力された4つのNR処理用信号r1〜r4又はi1〜i4に基づき、信号の動きを検出し、動きの度合いを示す信号(NR動き度合い信号)mdsを出力する。
フィルタ係数発生手段710は、NR動き検出手段720により生成されたNR動き度合い信号mdsに基づき、ノイズ除去フィルタのフィルタ係数kn1〜kn4を発生して出力する。
ノイズ除去フィルタ手段700は、フィルタ係数発生手段710からのフィルタ係数kn1〜kn4をそれぞれのNR処理用信号に対し乗算する係数乗算手段701、702、703、704と、係数が乗算された信号を加算し、フィルタ処理を施したノイズ除去後の信号を出力する加算手段705とを備える。
NR動き検出手段720は、フレーム差分検出手段730と、エッジ部調整手段740と、変換手段750とを備える。
フレーム差分検出手段730は、フレーム差分を検出する差分検出手段731、732、733及び合成手段734を備え、フレーム差分を求める演算を行い、動きを表す動き差分信号を検出する。
フレーム差分検出手段730の入力は、インターレース信号入力時には「フィールドの信号」であり、プログレッシブ信号入力時には、「フレームの信号」であるが、入力が「フィールドの信号」である場合にも、フレーム差分検出手段730は、画素が同じ位置にあるフィールド(インターレース信号入力時には2フィールド毎のフィールド)間の差分を求めるものであるので、「フレーム差分を求める」と言う。
エッジ部調整手段740は、中心フィールド又はフレーム(CFR又はCFIs)の信号におけるエッジ部分を検出し、エッジ部の動き差分信号の調整を行うとともに、注目画素と周辺の画素との平均化処理を行って動き差分信号Dfeを生成する。
変換手段750は、エッジ部調整手段740からの動き差分信号Dfeを動き度合い信号mdsへ変換する。
非巡回型ノイズ除去処理手段70へは、図3及び図4に示される第1乃至第4のNR処理用信号r1〜r4、或いは図3に示される第1乃至第4のNR処理用信号i1〜i4が、入力端子751乃至754を介して入力され、そのうち第2のNR処理用信号r2もしくはi2を中心フィールド又はフレーム(CFR又はCFIs)の信号として、非巡回型ノイズ除去処理が行われる。
以下では、主として、非巡回型ノイズ除去処理手段70が、実ラインノイズ除去手段21として用いられる場合についてさらに詳しく説明する。非巡回型ノイズ除去処理手段70が第1の補間ラインノイズ除去手段221として用いられる場合の動作も同様であるが、信号r1、r2、r3、r4の代わりに信号i1、i2、i3、i4が入力される点で異なる。
非巡回型ノイズ除去手段70では、NR動き検出手段720において入力されたNR処理用信号r1〜r4に基づき、4フィールド又は4フレームの間における信号の動きを検出しており、検出の結果得られるNR動き度合い信号mdsに基づき、フィルタ係数発生手段710においてフィルタ係数kn1=kn4を発生し、ノイズ除去の強さを制御して非巡回型ノイズ除去処理を行う。
ここで、非巡回型ノイズ除去手段70で行われる処理は、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間でのフレーム相関を用いたフィルタ処理であり、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。しかし、フィルタ処理であるので、動きの輪郭部分等では、尾引きや残像がエッジ、輪郭部のぼけや劣化となって現れることが考えられる。そこで、非巡回型ノイズ除去手段70では、NR動き検出手段720において4フィールド又は4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づいて生成してフィルタ係数kn1〜kn4を用いてフィルタ処理を行うことにより、ノイズ除去の強さを制御しており、これにより、動き部分のエッジ、輪郭のぼけや劣化を防止することができる。
NR動き検出手段720には、第1乃至第4のNR処理用信号r1〜r4が入力される。
NR動き検出手段720では、中心フィールド又はフレームの信号としての第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4との間の差分(フレーム差分)を求め、得られたフレーム差分を合成して映像信号での動きを検出して、動き検出の結果得られるNR動き度合い信号mdsを出力する。
NR動き検出手段720は、動きをその度合いに応じて複数の例えば(MD1+1)の等級乃至段階に分け、動きがどの段階に属するものであるかを示すNR動き度合い信号mdsを出力するものであり、例えば、動きが最大級の場合、即ち映像信号が「完全動きである」場合を第1の所定の値、例えばmds=MD1とし、動きの度合いが最小級の場合、即ち、「完全静止画である」場合(これには、差分がノイズ成分によるものである場合が含まれる)には、第2の所定の値、例えばmds=0とし、動きの度合いが大きいほどmdsの値が大きくなる。MD1は例えば「4」と定められる。
NR動き検出手段720で生成されたNR動き度合い信号mdsは、フィルタ係数発生手段710へ送られる。
NR動き検出手段720内のフレーム差分検出手段730は、第1乃至第4のNR処理用信号r1〜r4が入力され、第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4との間の差分(3個のフレーム差分)を演算し、これらのフレーム差分を合成することで、信号の動きの度合いを示すフレーム差分を検出して、動き差分信号を出力する。フレーム差分には、映像信号における「動き」成分が含まれており、フレーム差分が0の場合は、完全に静止している部分であり、動きもしくはノイズ成分があると、その値は大きくなる。
図5において、差分検出手段731、732、733には、第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4がそれぞれ入力され、フレーム差分を演算する。すなわち、差分検出手段731へは、第2のNR処理用信号r2と第1のNR処理用信号r1が入力されて、フレーム差分を演算してフレーム差分dif1を出力する。同様に、差分検出手段732へは、第2のNR処理用信号r2と第3のNR処理用信号r3が入力されて、フレーム差分を演算してフレーム差分dif2を出力し、差分検出手段733へは、第2フレームr2と第4のNR処理用信号r4が入力されて、フレーム差分を演算してフレーム差分dif3を出力する。差分検出手段731、732、733より、3個のフレーム差分dif1、dif2、dif3が得られる。
非巡回型ノイズ除去処理手段70が実ラインノイズ除去手段21として用いられる場合、即ちインターレース信号のうちの2フィールド遅延信号2df或いはプログレッシブ信号のうちの1フィールド遅延信号1dfで構成される第2のNR処理用信号r2のノイズ除去においては、図3、図4に示されるように、フレーム差分dif1は第2のNR処理用信号r2と1フレーム後(2又は1垂直期間後)の第1のNR処理用信号r1の1フレーム間の差分であり、フレーム差分dif2は第2のNR処理用信号r2と1フレーム前(2又は1垂直期間前)の第3のNR処理用信号r3の1フレーム間の差分であり、また、フレーム差分dif3は第2のNR処理用信号r2と2フレーム前(4又は2垂直期間前)の第4のNR処理用信号r4の2フレーム間の差分となる。
なお、非巡回型ノイズ除去処理手段70が第1の補間ラインノイズ除去手段221として用いられる場合、即ち、インターレース信号入力時の補間フィールドの隣接するフィールドの信号である3フィールド遅延信号d3fを対象として行うノイズ除去においては、図3に示されるように、フレーム差分dif1は第2のNR処理用信号i2と2フィールド後の第1のNR処理用信号i1の2フィールド(1フレーム)間の差分であり、フレーム差分dif2は第2のNR処理用信号i2と2フィールド前の第3のNR処理用信号i3の2フィールド(1フレーム)間の差分であり、また、フレーム差分dif3は第2のNR処理用信号i2と4フィールド前の第4のNR処理用信号i4の4フィールド(2フレーム)間の差分となる。
上記差分検出手段731、732、733は、互いに同一の構成のものを用いることができるので、以下、差分検出手段731について説明する。差分検出手段731は、例えば図6に示されるように差分演算手段735と、絶対値演算手段736と、動き感度変換手段737とを備えている。
差分演算手段735は、2つNR処理用信号r2及びr1が入力され、入力された2のNR処理用信号間の差分を演算する。信号r2から信号r1を減算し、フレーム差分Dnが求められる。このフレーム差分Dnには、映像信号における「動き」成分が含まれており、フレーム差分Dnが0の場合は、完全に静止している部分であり、動きもしくはノイズ成分があると、その値は大きくなる。
絶対値演算手段736には、差分演算手段735からのフレーム差分Dnが入力される。絶対値演算手段736は、フレーム差分Dnの絶対値を演算し、フレーム差分の絶対値(差分絶対値)Dabsを出力する。
動き感度変換手段737には、絶対値演算手段735からの差分絶対値Dabsが入力される。動き感度変換手段737では、例えば差分絶対値Dabsに所定の感度倍率を乗算し、オフセット値を減算して、その演算結果を所定の値(例えば、0からdM)の間に値を制限することで非線形変換し、フレーム差分の感度変換を行い、感度変換されたフレーム差分dif1として出力する。
図7は、動き感度変換手段737における入出力特性の一例である差分絶対値Dabs(横軸に示される入力)と、出力されるフレーム差分dif1(縦軸に示される出力)の関係を示している。図示の例では、差分絶対値DabsがTm以上の場合は、出力されるフレーム差分dif1が一定値dMとなり、差分絶対値Dabsがオフセット値Tof以下であれば、微小のノイズ成分として扱われ、出力されるフレーム差分dif1が0となる。
差分絶対値DabsがTofからTmまでの範囲では、差分絶対値Dabsの増加に伴ってフレーム差分dif1が0からdMまで次第に増加し、その値で動きの度合いを示している。感度倍率を大きくすることで、フレーム差分絶対値Dabsをより大きな動きを表すものとなるように調整することとなり、オフセット値を大きくすると、その値までの差分値が微小ノイズ成分(もしくは、静止部分)として検出されることとなる。よって、この感度倍率とオフセット値により動き検出の感度が調整される。
なお、差分演算手段735の出力側又は絶対値演算手段736の出力側に、低域周波数成分を抽出するローパスフィルタ(LPF)などを挿入し、これにより、フレーム差分Dn又は差分絶対値Dabsをフィルタ処理し、フィルタ処理の結果を次段の回路(絶対値演算手段736又は動き感度変換手段737)に供給することとしても良い。
差分検出手段732及び733の構成及び動作は、差分検出手段731と同じである。但し、差分検出手段732では、信号r2及びr1の代わりに、信号r2及びr3が入力され、フレーム差分dif2が出力され、差分検出手段733では、信号r2及びr1の代わりに、信号r2及びr4が入力され、フレーム差分dif3が出力される。
以上のような動作により、差分検出手段731、732、733からフレーム間の3個のフレーム差分dif1、dif2、dif3が得られる。
図5に示される合成手段734へは、差分検出手段731、732、733から出力されるフレーム差分dif1、dif2、dif3が入力される。合成手段734は、フレーム差分dif1、dif2、dif3を合成することで、信号の動きの度合いを示すフレーム差分(動き差分)とし、動き差分信号Dafを出力する。
合成の方法は、例えば、フレーム差分dif1、dif2、dif3の最大値を求め、得られた最大値を入力4フレーム間における動き差分として検出し、動き差分信号Dafとする。なお、合成の方法は最大値を求めることに限らず、平均値を求めるなどしてもよい。
合成手段734から出力される動き差分信号Dafは、エッジ部調整手段740へ送られる。
エッジ部調整手段740には、フレーム差分検出手段730からの動き差分信号Dafと、第2のNR処理用信号r2が入力される。エッジ部調整手段740は、第2のNR処理用信号r2におけるエッジ部分(又は輪郭部分)を検出し(注目画素がエッジを構成するか否かの判定を行って)、エッジを構成すると判定された画素における動き差分信号Dafを、より大きな動きを表すものとなるように調整を行うとともに、エッジを構成すると判定されなかった画素に対しては周辺の画素との平均化処理を行うことで孤立点を除去し、調整後の動き差分信号Dfeを出力する。
図8は、エッジ部調整手段740の一構成例を示すブロック図であり、図8において、エッジ部調整手段740は、エッジ判定手段744と、平均化手段742と、調整手段743と、選択手段745とを備える。
エッジ判定手段744は、第2のNR処理用信号r2に基づき、注目画素がエッジを構成するか否かの判定を行う。
平均化手段742は、注目画素を中心とした周辺の画素との動き差分信号Dafの平均値を求める。
調整手段743は、エッジ判定手段744からの判定結果に応じて、エッジを構成すると判定された画素における動き差分信号Dafを、より大きな動きを表すものとなるように調整を行う。
ここで、信号のエッジ、輪郭部は、動きと判定される画素と静止画と判定される画素の境界である場合が多く、動きの誤検出が起こりやすく、また、動きと静止画の境界での動きの検出漏れがノイズ除去の強さの切り替わり部でのちらつきとなり画質の劣化となる場合がある。そこで、エッジ部調整手段740では、信号のエッジ、輪郭部となる境界を判定し、エッジを構成すると判定された画素における動き差分信号Dafの値をより大きな動きを示す値に調整する(例えば、その出力Dcnを動き差分信号Dafよりも大きい値のものとする)とともに、エッジを構成すると判定されなかった画素に対しては周辺の画素との平均化処理を行うことで孤立点を除去する。これにより、動き差分信号の検出漏れによるちらつきを防止し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
エッジ判定手段744には、第2のNR処理用信号r2が入力される。エッジ判定手段744では、入力された第2のNR処理用信号r2に基づき、フィールド内の注目画素における水平及び垂直方向の高域周波数成分を抽出し、抽出した成分の値から注目画素がエッジを構成するか否かの判定(エッジ判定)を行なう。そして、エッジ判定の結果edflgと動き差分信号に対する調整値mxedを求め、出力する。
具体的には、エッジ判定手段744における水平及び垂直方向の高域周波数成分の抽出は、バンドパスフィルタ等により行い、水平方向の高域周波数成分と垂直方向の高域周波数成分を比較し、その最大値を選択することで、各画素における水平及び垂直方向の高域周波数成分を抽出する。
ここで、水平方向の高域周波数成分は、例えば、注目画素位置を中心とし、
その水平方向の隣接画素との間の高域周波数成分(例えば、バンドパスフィルタ出力を絶対値化した値)、又はその水平方向の隣々接画素(隣の隣の画素)との間の高域周波数成分(例えば、バンドパスフィルタ出力を絶対値化した値)を抽出する。
一方、垂直方向の高域周波数成分は、ライン遅延処理等により、注目画素(例えば、図3又は図4のr2)と、該注目画素に対して垂直方向に整列する他のライン上の画素の信号(例えば、図3のr2_0、又は図4のr2_2)を得て、ライン間の高域周波数成分(例えば、バンドパスフィルタ出力を絶対値化した値))を抽出する。なお、注目画素位置を中心とし、その上方に位置する画素及び下方に位置する画素の双方との間の高域周波数成分(バンドパスフィルタ出力を絶対値化した値)を抽出してもよい。
エッジ判定手段744ではさらに、上記のようにして抽出した水平及び垂直方向の高域周波数成分の値を所定の閾値と比較し、エッジを構成する画素を検出し、結果として2値化した値をエッジ判定結果edflgとして出力する。この比較においては、例えば、水平及び垂直方向の高域周波数成分が所定の閾値より大きければエッジを構成する判断し(注目画素がエッジを構成すると判断し)、それ以外の所定の閾値より小さい場合には、エッジを構成しないと判断する。
エッジ判定手段744ではさらに、抽出した水平及び垂直方向の高域周波数成分の値を非線形変換することで、動き差分信号に対する調整値mxedを求める。この調整値mxedは、例えば、高域周波数成分の値が所定の閾値より大きな場合は、動き差分に対する所定の乗算値を設定し、エッジ部での動き差分をより大きな動きを表す値に調整できるようにする。
なお、調整値mxedは、高域周波数成分の値と比例して変化する動き差分に対する乗算値としても、また、加算値であってもよく、高域周波数成分の値、すなわち、エッジ部分で動き差分を、より大きな動きを表す値に調整できるような調整値を出力できればよい。
調整手段743へは、フレーム差分検出手段730から出力される動き差分信号Dafと、上記エッジ判定手段744から出力された動き差分信号に対する調整値mxedが入力される。調整手段743では、動き差分信号Dafに対し、調整値mxedに基づく調整を行い、調整後の動き差分信号Dcntを出力する。例えば、調整値mxedが、動き差分に対する所定の乗算値を設定する場合は、調整手段743は、動き差分信号Dafに対し調整値mxedによる値を乗算する。これにより、動き差分信号Dafをより大きな動きを示すものとなるように調整できる。一方、調整値mxedが、動き差分に対する加算値である場には、調整手段743は、動き差分信号Dafに対し調整値mxedによる値を加算する。
平均化手段742へは、フレーム差分検出手段730からの動き差分信号Dafが入力される。平均化手段742では、注目画素における動き差分信号Dafに対し、所定の周辺画素範囲内の差分信号との平均値Davgを求め、差分信号の平均化を行うことで、孤立点を除去し、その画素での動き差分信号Dafを補正する。すなわち、動き差分信号Dafの周辺の画素での値とのバラツキを無くすため、平均化することで値を統一し、動きの検出漏れを防止して、平均化した動き差分信号(平均動き差分信号)Davgを出力する。
ここで、平均化手段742において平均値を求める周辺画素の範囲は、例えば、注目画素を中心とした水平方向5画素の範囲とする。なお、周辺画素の範囲は、これに限らず、例えば、注目画素を中心とした垂直方向3ライン、水平方向5画素の合計15画素の範囲のように、2次元の範囲で設定することもできる。
調整手段743から出力されるエッジ部調整後の動き差分信号Dcntと、平均化手段742から出力される平均動き差分信号Davgは、選択手段745へ送られる。
選択手段745へは、エッジ部調整後の動き差分信号Dcntと、平均動き差分信号Davgと、上記エッジ判定手段744からの判定結果edflgが入力される。選択手段745では、判定結果edflgにより、注目画素がエッジを構成するものであることが示される場合は、当該画素については、調整手段743からのエッジ部調整後の動き差分信号Dcntを選択し、判定結果edflgにより、注目画素がエッジを構成するものではないことが示される場合には、当該画素については、平均化手段742からの平均動き差分信号Davgを選択し、エッジ部の調整と平均化による孤立点除去が行われた動き差分信号Dfeを出力する。
以上により、エッジ部調整手段740では、エッジ部の動き差分信号の調整が行われるとともに、平均化処理が施された動き差分信号Dfeが得られ、動き差分信号の検出漏れによるちらつきを防止し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
図5におけるNR動き検出手段720内の変換手段750には、エッジ部調整手段740から出力される動き差分信号Dfeが入力され、エッジ部の調整と平均化が行われた動き差分信号DfeからNR動き度合い信号mdsを生成し、出力する。
変換手段750では、入力された動き差分信号Dfeに対し、振幅制限による変換処理を行い、動きの度合いを示す例えば0から4までの5段階のNR動き度合い信号mdsへ変換する。すなわち、入力された動き差分信号Dfeが0もしくは所定の値(0に近い値)以下であれば、mds=0とし、所定値以上の値の場合はmds=4となるように変換することで、0から4の間の値でその動きの度合いを示すNR動き度合い信号mdsを生成する。
このNR動き度合い信号mdsは、動き差分信号の値が大きく、フレーム差分が完全動きと検出される場合はmds=4(完全動き画素)となり、動き差分信号の値が小さく(0もしくは0に近い値以下)、完全静止画であると検出される場合(これには、差分があるものの、ノイズ成分によるものである場合が含まれる)は、mds=0(完全静止画素)となり、0から4の間の値でその動きの度合いを示すこととなる。
なお、上記動き度合い信号mdsの設定は、動きの度合いを示す0から4までの5段階として説明したが、これに限るものではなく、動きの度合いを示す値であれば、5段階以上でも、それ以下でも可能である。また、振幅制限による変換処理を行うと説明したが、動き差分信号Dfeに対し、所定の値を乗算する変換、所定の値の加算もしくは減算し、振幅制限を行う非線形変換を行い、NR動き度合い信号mdsを得るよう構成してもよい。
以上のように、NR動き検出手段720では、変換手段750においてNR動き度合い信号mdsを生成することで信号の動き検出を行い、NR動き度合い信号mdsはフィルタ係数発生手段710へ送られる。
フィルタ係数発生手段710では、NR動き度合い信号mdsに応じたフィルタ係数kn1〜kn4が求められる。フィルタ係数kn1〜kn4は、ノイズ除去フィルタ手段700における非巡回型ノイズ除去フィルタ処理で用いられる。
フィルタ係数発生手段710で発生されるフィルタ係数kn1〜kn4は、ノイズ除去を行うフィルタの係数を設定するものであり、それぞれ0以上1以下で、その総和が1となるように定められ、4つのNR処理用信号に対するフィルタ係数kn1〜kn4の値の割り振りによりノイズ除去の強さ(効果)が決まる。
第1、第2、第3、第4のNR処理用信号r1、r2、r3、r4に対するフィルタ係数kn1〜kn4は、第2のNR処理用信号r2を中心フィールド又はフレームの信号として値が定められる。フィルタ係数kn1〜kn4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方で、中心フィールド又はフレームCFRの信号r2に対する係数kn2の値が大きく、kn2=1であり、他のフィルタ係数kn1、kn3、kn4がゼロであると、前後のフィールド又はフレームの信号に対しては0が乗算されて、ノイズの巡回値はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
フィルタ係数発生手段710では、映像信号における動き部分のエッジ、輪郭のぼけや劣化を防止するため、NR動き検出手段720からのNR動き度合い信号mdsに応じて、フィルタ係数kn1〜kn4の値を制御することで、動き部分のノイズ除去の強さを制御する。フィルタ係数発生手段710は、例えば、NR動き度合い信号mdsをアドレスとして入力するROM(Read Only Memory)などにより構成され、NR動き度合い信号mdsの値に応じて値が定められる)フィルタ係数を発生する。
すなわち、NR動き度合い信号mdsがMD1(例えば4)であって完全動きを示す場合は、kn2=1、kn1=kn3=kn4=0(以下、(kn1、kn2、kn3、kn4)=(0、1、0、0)のように記す)とし、動きの度合いが最小級であり、完全静止画と検出されるmds=0の場合(差分がノイズによるものである場合が含まれる)は、フィルタ係数kn1〜kn4を互いに同一の値とする。即ち、(kn1、kn2、kn3、kn4)=(0.25、0.25、0.25、0.25)とする。そして、NR動き度合い信号mdsが中間値となる場合(mds=1、2、3)は、例えば、(kn1、kn2、kn3、kn4)=(2/8、3/8、2/3、1/3)や、(1/3、1/3、1/3、0)、(0.5、0.5、0、0)というように設定することで、ノイズ除去の強さを制御する。
動きの度合い(NR動き度合い信号mdsの値)が大きくなるにつれ、中心フィールド又はフレームCFRの信号r2に対する係数kn2の値が大きく、その他の係数の値が小さくなる(例えば、(kn1、kn2、kn3、kn4)=(2/8、3/8、2/3、1/3))、又はフィルタ処理に用いるフィールド又はフレームの数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば(kn1、kn2、kn3、kn4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(kn1、kn2、kn3、kn4)=(0.5、0.5、0、0)とする)ように変化させることで、動きを考慮したフィルタ係数が得られる。
なお、フィルタ係数発生手段710を、ROMにより構成する代わりに、NR動き度合い信号mdsの値から演算処理でフィルタ係数を生成する回路で構成してもよい。
図9は、フィルタ係数発生手段710での処理において、NR動き度合い信号mdsの値とノイズ除去の強さの関係を概念的に示す一例であり、NR動き度合い信号mds(横軸)とノイズ除去効果(縦軸)の関係を示している。NR動き度合い信号mdsが最大値であるMD1(例えば4)であって完全動きを示す場合は、ノイズ除去の効果を最も小さくし、動きの度合いが最小級であり、完全静止画であると検出される場合、即ちNR動き度合い信号mdsが最小値である0の場合(これには差分がノイズによるものである場合が含まれる)は、ノイズ除去の効果が最大となるkn1、kn2、kn3、kn4)=(0.25、0.25、0.25、0.25)とし、NR動き度合い信号mdsが大きくなるにつれ、ノイズ除去の効果が小さくなるように変化させることで、動きを考慮したフィルタ係数が得られる。
フィルタ係数発生手段710により生成されたフィルタ係数kn1〜kn4は、係数乗算手段701、702、703、704へ供給される。
ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号r1〜r4と、フィルタ係数kn1〜kn4が入力され、4フィールド又は4フレームの同一位置にある画素の信号を用いて非巡回型ノイズ除去処理を行う。
図5に示される係数乗算手段701、702、703、704は、NR処理用信号r1〜r4にフィルタ係数kn1〜kn4を乗算する演算を行う。つまり、係数乗算手段701には第1のNR処理用信号r1とフィルタ係数kn1とが入力され、第1のNR処理用信号r1に対しフィルタ係数kn1が乗算され、乗算結果r1×kn1を得る。同様に、係数乗算手段702には第2のNR処理用信号r2とフィルタ係数kn2とが入力され、乗算結果r2×kn2を求める。同様に、係数乗算手段703へは第3のNR処理用信号r3とフィルタ係数kn3とが入力され、乗算結果r3×kn3を求める。同様に、係数乗算手段704へは第4のNR処理用信号r4とフィルタ係数kn4とが入力され、乗算結果r4×kn4を求める。
加算手段705へは、係数乗算手段701、702、703、704から出力される係数乗算結果r1×kn1、r2×kn2、r3×kn3、r4×kn4が入力される。加算手段705では、入力された4つの乗算結果を加算し、加算により得られた信号を、ノイズ除去後実ライン信号Rnrとして出力する。
フィルタ係数kn1〜kn4は、NR動き度合い信号mdsの値に応じて発生されており、NR動き度合い信号mdsで示される動きの度合いが大きいほど、ノイズ除去の効果がより小さくなるように、フィルタ係数kn1〜kn4の値が定められる。なお、「NR動き度合い信号mdsにより示される動きの度合いが小さい場合」には、「フレーム差分がノイズによるものと検出された場合」が含まれる。
以上、非巡回型ノイズ除去処理手段70が実ラインノイズ除去手段21として用いられる場合について説明したが、先にも述べたように、第1の補間ラインノイズ除去手段221として用いられる場合には、信号r1〜r4の代わりに信号i1〜i4が入力される点を除き、同様に動作する。
以上のように、非巡回型ノイズ除去処理手段70は、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づいて生成したフィルタ係数を用いてフィルタ処理を行ってノイズ除去の強さを制御された非巡回型ノイズ除去後の信号を出力する。このようにして、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
このようにして、非巡回型ノイズ除去処理手段70で構成される実ラインノイズ除去手段21から、非巡回型ノイズ除去されたノイズ除去後実ライン信号Rnrが出力され、同じく非巡回型ノイズ除去処理手段70で構成される第1の補間ラインノイズ除去手段221から、非巡回型ノイズ除去された第1の補間用ライン信号Isnrが出力される。
次に、図2における補間ラインノイズ除去手段22内の第2の補間ラインノイズ除去手段222の構成について、詳細に説明する。
第2の補間ラインノイズ除去手段222では、入力された第1乃至第4のNR処理用信号i1〜i4を用いてフィルタ処理することで、3次元IP変換時で用いられる補間用ライン信号に対し非巡回ノイズ除去処理を行い、第2の補間用ライン信号Itnrを出力する。上述したように、第2の補間用ライン信号Itnrは、図3に示すように、補間フィールドの時間的に後の隣接フィールドである1フィールド遅延信号d1f(第1のNR処理用信号i1)に対しノイズ除去された信号であり、第1のNR処理用信号i1が中心フィールドの信号となる。
図10は、図2の第2の補間ラインノイズ除去手段222として用い得る非巡回型ノイズ除去処理手段71を示す。図10に示される非巡回型ノイズ除去処理手段71は、入力された4つのNR処理用信号i1〜i4のうち第1のNR処理用信号i1を中心フィールドCFItの信号として非巡回型ノイズ除去処理を行う。図10に示される非巡回型ノイズ除去手段71は、概して図5と同様に構成され、図5の構成と同一又は対応する構成には、同じ符号を付してある。
図10において、非巡回型ノイズ除去処理手段71は、ノイズ除去フィルタ手段700と、NR動き検出手段721と、フィルタ係数発生手段711とを備える。
ノイズ除去フィルタ手段700は、図5に示されるものと同一の構成のものである。
NR動き検出手段721は、中心フィールドCFItの信号に対し、入力された4つのNR処理用信号i1〜i4に基づき、信号の動きを検出し、NR動き度合い信号mdsbを出力する。
NR動き検出手段721は、フレーム差分検出手段730と、エッジ部調整手段741と、変換手段750とを備える。
エッジ部調整手段741は、中心フィールドCFItの信号におけるエッジ部分を検出し、エッジ部の動き差分信号の調整を行うとともに、注目画素と周辺の画素との平均化処理を行う。
フィルタ係数発生手段711は、NR動き検出手段721により生成されたNR動き度合い信号mdsbに基づき、フィルタ係数を発生して出力する。
図10におけるノイズ除去フィルタ手段700、並びにNR動き検出手段721内のフレーム差分検出手段730及び変換手段750の構成及び動作は、図5における非巡回型ノイズ除去処理手段70で示されるものと同じであり、その詳細な説明は省略する。
非巡回型ノイズ除去処理手段71へは、図3に示される第1乃至第4のNR処理用信号i1〜i4が入力端子751乃至754を介して入力され、そのうち第1のNR処理用信号i1を中心フィールドの信号として、非巡回型ノイズ除去処理が行われる。
非巡回型ノイズ除去手段71では、NR動き検出手段721において入力されたNR処理用信号i1〜i4に基づき、4フィールドの間における信号の動きを検出しており、検出の結果得られるNR動き度合い信号mdsbに基づき、フィルタ係数発生手段711においてフィルタ係数を発生し、ノイズ除去の強さを制御して非巡回型ノイズ除去処理を行う。
ここで、非巡回型ノイズ除去手段71で行なわれる処理は、上記図5での場合と同様、(1フィールドおきの)4フィールドの間でのフレーム相関を用いたフィルタ処理であり、NR動き検出手段721において4フィールドの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsbに基づきフィルタ係数を発生し、ノイズ除去の強さを制御することで、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
NR動き検出手段721へは、第1乃至第4のNR処理用信号i1〜i4が入力される。
NR動き検出手段721では、中心フィールドの信号としての第1のNR処理用信号i1と、第2乃至第4のNR処理用信号i2〜i4との間の差分(フレーム差分)を求め、得られたフレーム差分を合成して映像信号での動きを検出して、NR動き度合い信号mdsbを出力する。
NR動き度合い信号mdsbは、上記図5のNR動き度合い信号mdsと同様に生成され、0からMD1(例えば、MD1=4)の間の値でその動きの度合いを示す。NR動き検出手段721からのNR動き度合い信号mdsbは、フィルタ係数発生手段711へ送られる。
NR動き検出手段721のフレーム差分検出手段730は、図5と同一の構成であり、その詳細な構成については省略するが、第1乃至第4のNR処理用信号i1〜i4が入力され、第1のNR処理用信号i1と、第2乃至第4フレームi2〜i4との間の差分(3個のフレーム差分)を演算し、これらのフレーム差分を合成することで、動き差分信号Dafbを出力する。
ここで、図3に示すように、差分検出手段731により得られるフレーム差分dif1は第1のNR処理用信号i1と1フレーム前(2垂直期間前)の第2のNR処理用信号i2の1フレーム(2フィールド)間の差分であり、差分検出手段732により得られるフレーム差分dif2は第1のNR処理用信号i1と2フレーム前(4垂直期間前)の第3のNR処理用信号i3の2フレーム(4フィールド)間の差分であり、また、差分検出手段733により得られるフレーム差分dif3は第1のNR処理用信号i1と3フレーム前(6垂直期間前)の第4のNR処理用信号i4の3フレーム(6フィールド)間の差分となる。差分検出手段731、732、733への入力信号は、図5での場合と異なるが、差分検出手段731、732、733は互いに同一の構成のものを用いることができ、その動作も互いに同様である。
合成手段734では、フレーム差分dif1、dif2、dif3を合成し(例えばフレーム差分dif1、dif2、dif3の最大値を合成結果として出力し)、動き差分信号Dafbを出力する。合成手段734は、図5に示すものと同一の構成のものを用いることができ、図5に示すものと同様に動作する。
フレーム差分検出手段730から出力される動き差分信号Dafbは、エッジ部調整手段741へ送られる。
エッジ部調整手段741には、フレーム差分検出手段730からの動き差分信号Dafbと、第1のNR処理用信号i1が入力される。エッジ部調整手段741は、エッジを構成すると判定された画素における動き差分信号Dafbを、より大きな動きを表すものとなるように調整を行うとともに、エッジを構成すると判定されなかった画素に対しては注目画素とその周辺の画素との平均化処理を行うことで孤立点を除去し、調整後の動き差分信号Dfebを出力する。エッジ部調整手段741の構成は、図8に示すエッジ部調整手段740と概して同じであるが、第2のNR処理用信号r2の代わりに第1のNR処理用信号i1がエッジ判定手段744に入力され、動き差分信号Dafの代わりに動き差分信号Dafbが平均化手段742及び調整手段743に入力される点で異なる。
エッジ部調整手段741内のエッジ判定手段744には、第1のNR処理用信号i1が入力される。エッジ部調整手段741では、入力された第1のNR処理用信号i1に基づき、フィールド内の注目画素における水平及び垂直方向の高域周波数成分を抽出し、抽出した成分の値から注目画素がエッジを構成するものか否かの判定(エッジ判定)を行なう。この場合、垂直方向の高域周波数成分は、ライン遅延処理等により、注目画素(例えば、図3のi1)に対して垂直方向に整列する他のライン上の画素(例えば、図3のi1_0)の信号を得て、ライン間の高域周波数成分(例えば、バンドパスフィルタ出力を絶対値化した値)を抽出する。なお、注目画素位置を中心とし、その上方に位置する画素及び下方に位置する画素の双方との間の高域周波数成分(バンドパスフィルタ出力を絶対値化した値)を抽出してもよい。
エッジ部調整手段741内の変換手段750には、エッジ部調整手段741からの動き差分信号Dfebが入力され、エッジ部の調整と平均化が行われた動き差分信号DfebからNR動き度合い信号mdsbを生成し、出力する。
次に、図10に示すフィルタ係数発生手段711には、NR動き検出手段721からのNR動き度合い信号mdsbが入力される。フィルタ係数発生手段711では、NR動き度合い信号mdsbに応じたフィルタ係数ko1〜ko4が求められる。フィルタ係数ko1〜ko4は、ノイズ除去フィルタ手段700における非巡回型ノイズ除去フィルタ処理で用いられる。
フィルタ係数ko1〜ko4は、上記の図5におけるフィルタ係数kn1〜kn4と同様の方法で発生でき、ノイズ除去を行うフィルタの係数を設定するものであり、それぞれ0以上1以下で、その総和が1となるように定められ、4つのNR処理用信号に対するフィルタ係数ko1〜ko4の値の割り振りによりノイズ除去の強さ(効果)が決まる。
第1、第2、第3,第4のNR処理用信号i1、i2、i3、i4に対するフィルタ係数ko1、ko2、ko3、ko4は、第1のNR処理用信号i1を中心フィールドの信号として値が定められる。フィルタ係数ko1〜ko4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方で、中心フィールドの信号である第1のNR処理用信号i1に対する係数ko1の値が大きく、ko1=1であり、他の係数ko2、ko3、ko4がゼロであると、前フィールドの信号に対しては0が乗算されて、ノイズの巡回値はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
NR動き度合い信号mdsb=4であって完全動きを示す場合は、(ko1、ko2、ko3、ko4)=(1、0、0、0)とし、動きの度合いが最小級であり、完全静止画であると検出されるmdsb=0の場合(これには差分がノイズによるものである場合が含まれる)は、(ko1、ko2、ko3、ko4)=(0.25、0.25、0.25、0.25)とする。そして、NR動き度合い信号mdsbが中間値となる場合(mds=1、2、3)は、例えば、(ko1、ko2、ko3、ko4)=(7/16、4/16、3/16、2/16)や、(1/3、1/3、1/3、0)、(0.5、0.5、0、0)というように設定することで、ノイズ除去の強さを制御する。
動きの度合い(NR動き度合い信号mdsbの値)が大きくなるにつれ、中心フィールドCFItの信号i1に対する係数ko1の値が大きく、その他の係数の値が小さくなる(例えば、(ko1、ko2、ko3、ko4)=(7/16、4/16、3/16、2/16))、又はフィルタ処理に用いるフィールド数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば((ko1、ko2、ko3、ko4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(ko1、ko2、ko3、ko4)=(0.5、0.5、0、0)とする)ように変化させることで、動きを考慮したフィルタ係数が得られる。
フィルタ係数発生手段711により生成されたフィルタ係数ko1〜ko4は、係数乗算手段701、702、703、704へ供給される。
ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号i1〜i4と、フィルタ係数ko1〜ko4が入力され、4フィールドの同一位置にある画素の信号を用いて非巡回型ノイズ除去処理を行う。
ノイズ除去フィルタ手段700は、入力されるNR処理用信号がr1〜r4の代わりにi1〜i4であり、フィルタ係数がkn1〜kn4の代わりにko1〜ko4であることを除き、図5に示されるものと同一の構成を有し、第1乃至第4のNR処理用信号i1〜i4に対しフィルタ係数ko1〜ko4を乗算して加算することによりフィルタ処理した信号を出力する。
フィルタ係数ko1〜ko4は、NR動き度合い信号mdsbの値に応じて発生されており、NR動き度合い信号mdsbで示される動きの度合いが大きいほど、ノイズ除去の効果がより小さくなるように、フィルタ係数ko1〜ko4の値が定められる。なお、「NR動き度合い信号mdsbにより示される動きの度合いが小さい場合」には、「フレーム差分がノイズによるものと検出された場合」が含まれる。
以上のように、非巡回型ノイズ除去処理手段71は、(1フィールドおきの)4フィールドの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsbに基づいて生成したフィルタ係数を用いてフィルタ処理を行ってノイズ除去の強さを制御された非巡回型ノイズ除去後の信号が出力する。このようにして、非巡回型ノイズ除去処理手段70と同様、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールドの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
このようにして、非巡回型ノイズ除去処理手段71で構成される第2の補間ラインノイズ除去手段222から、非巡回型ノイズ除去された第2の補間用ライン信号Itnrが出力される。
以上のように、図2に示される実ラインノイズ除去手段21及び補間ラインノイズ除去手段22では、(1フィールドおきの)4フィールド又は(相連続する)4フレームの信号を用いてフィルタ処理された非巡回型ノイズ除去処理後の信号を得ることができ、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができ、ノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrとして、そのようにノイズ成分が除去された信号を得ることができる。
以上のように、実施の形態1による映像信号処理装置1においては、フィールドメモリ11〜17により遅延信号d1f〜d7fを得て、上記の遅延信号を用いて非巡回ノイズ除去処理が行なわれ、さらに入力映像信号がインターレース信号である場合に、同じく上記の遅延信号を用いて3次元IP変換が行なわれる。
図11は、映像信号処理装置1において、遅延信号d1f〜d7fを得て、非巡回型ノイズ除去処理を行うとともに、3次元IP変換を行い、ノイズ除去されたプログレッシブ信号を出力する動作を示すフローチャートであり、図12は、上記のうちの非巡回型ノイズ除去処理の動作を示すフローチャートである。以下、図11及び図12を参照して説明する。
まず、映像信号処理装置1への入力映像信号が、インターレース信号であるとし、入力されたインターレース信号Di0に対し、非巡回型ノイズ除去処理を行うとともに、3次元IP変換を行い、ノイズ除去されたプログレッシブ信号を出力する動作を、図11を参照して説明する。なお、以下では、インターレース信号入力時にIP変換すなわち走査線補間の対象となる補間フィールドの信号は、2フィールド遅延信号d2fであるものとして説明する。
インターレース信号入力時には、切換信号生成手段18からの切り換え信号pfは、入力信号がインターレース信号であることを示している。
映像信号処理装置1へ入力されたインターレース信号である入力信号Di0は、フィールドメモリ11に入力され、フィールドメモリ11乃至フィールドメモリ17では信号を順次1フィールド遅延して、1フィールド遅延信号d1f乃至7フィールド遅延信号d7fの合計7フィールドの遅延信号を出力する(S1)。これにより、ノイズ除去処理及び3次元IP変換で使用する遅延信号を得ることになる。
入力信号Di0と遅延信号df1〜df7は、非巡回型ノイズ除去処理手段20に送られ、実ライン信号と、補間用ライン信号に対し、それぞれ4フィールドの信号を用いてフィルタ処理することによるノイズ除去を行う。
実ライン信号(2フィールド遅延信号d2f)に対しては、入力信号Di0と2フィールド遅延信号d2f、4フィールド遅延信号d4f、6フィールド遅延信号d6fが第1乃至第4のNR処理用信号r1〜r4として実ラインノイズ除去手段21に供給され、実ラインノイズ除去手段21でこの4つのNR処理用信号r1〜r4を用いてフィルタ処理することでノイズ除去し、ノイズ除去後実ライン信号Rnrを得る(S2)。
補間用ライン信号のフィールドは、補間フィールドの前後に隣接するフィールドの信号であり、補間用ライン信号は、3フィールド遅延信号d3f及び1フィールド遅延信号d1fとなる。これら補間用ライン信号に対しては、1フィールド遅延信号d1f、3フィールド遅延信号d3f、5フィールド遅延信号d5f、7フィールド遅延信号d7fが、第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段222へ、第1乃至第4のNR処理用信号i1〜i4として入力され、それぞれにおいて、入力された4つのNR処理用信号i1〜i4を用いてフィルタ処理することで、ノイズ除去し、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrを得る(S3)。
なお、実ラインノイズ除去手段21と補間ラインノイズ除去手段22における詳細な動作については、図12を参照して後述する。
また、入力信号Di0と遅延信号df1、d2f、及びdf4は、3次元走査線補間信号の生成(3次元IP変換による補間ライン信号の生成)のためにも用いられる。上記第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrは、3次元走査線補間信号の生成に使用される。
補間フィールドの信号である2フィールド遅延信号d2fは、フィールド内補間処理手段30に入力され、フィールド内補間処理手段30は、補間フィールド内の垂直方向に隣接する走査線における画素により、フィルタ処理等の演算処理を行って補間信号Imvを生成する(S4)。
現フィールドの信号Di0と2フィールド遅延信号d2f、4フィールド遅延信号d4fは、動き検出手段40へ入力され、現フィールドの信号Di0と2フィールド遅延信号d2fとの1フレーム間(2垂直期間間)の差分情報、及び現フィールドの信号Di0と4フィールド遅延信号d4fとの2フレーム間(4垂直期間間)の差分情報を求め、得られた差分情報に基づき、1フレーム間及び2フレーム間の映像信号の動きを検出し、動き検出信号mdt求める(S5)。
さらに、テレシネ検出手段50には、現フィールドの信号Di0と2フィールド遅延信号d2f、1フィールド遅延信号d1fが入力され、現フィールドの信号Di0と2フィールド遅延信号d2fとの間のフレーム差分情報と、現フィールドの信号Di0と1フィールド遅延信号d1fとのフィールド間のフィールド差分情報を得て、入力映像信号が2−3プルダウン信号もしくは2−2プルダウン信号よるテレシネ映像信号であるか否かを検出し、検出結果に基づいて、テレシネ補間を行うためのテレシネ検出信号tcifを得る(S6)。
走査線補間信号の生成は補間信号生成手段60において行われ、上記第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrと、フィールド内補間信号Imvに対し、テレシネ検出手段50からのテレシネ検出信号tcifがテレシネ映像信号であることを示さない場合には、動き検出手段40からの動き検出信号mdtに基づき、動き適応処理により補間信号を生成する一方、テレシネ検出手段50からのテレシネ検出信号tcifがテレシネ映像信号であることを示す場合には、テレシネ補間を行い、補間ライン信号Imを得る(S7)。
時間軸変換手段61へは、補間信号生成手段60かの補間信号Imと、非巡回型ノイズ除去処理手段20からのノイズ除去後実ライン信号Rnrとが入力され、補間信号を補間フィールドの実ライン信号の対応する走査線間にはめ込み、倍速変換して、プログレッシブ信号Ipsへ変換する(S8)。
切換手段62では、切り換え信号pfがインターレース信号入力であることを示すので、時間軸変換手段61からのプログレッシブ信号Ipsを選択し、出力映像信号Do0が得られる(S9)。
プログレッシブ信号入力時には、IP変換を行う必要がないので、上記ステップS3からステップS7までの動作は省略され、入力信号の遅延処理(S1)と非巡回型ノイズ除去処理手段20による非巡回ノイズ除去処理が行われ(S2)、切換手段62において、ノイズ除去後実ライン信号Rnrが選択され、出力映像信号Do0となる。
プログレッシブ信号入力時も、1フィールド遅延信号d1fに対し、非巡回ノイズ除去処理が行われ、尾引きや残像を低減し、良好にノイズ除去されたプログレッシブ信号が得られる。
次に、非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21及び補間ラインノイズ除去手段22における詳細な動作について、図12を参照して詳細に説明する。
図11で説明した非巡回ノイズ除去処理ステップS2では、ノイズ除去後実ライン信号Rnrを得ており、また、ステップS3では、第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段222により、第1の補間用ライン信号Isnrと第2の補間用ライン信号Itnrを得ている。
それぞれの中心フィールド又はフレームの信号が第2のNR処理用信号r2若しくはi2か、第1のNR処理用信号i1かの違いがあり、用いられる4フィールド又は4フレームの信号に対するフィルタ係数の値、動き検出時のフレーム差分のとり方が異なるが、基本的なノイズ除去処理の動作は同様である。以下、図12を参照して、中心フィールド又はフレームの信号を第2のNR処理用信号r2とした場合について説明する。
図12において、非巡回型ノイズ除去処理手段70へ第1乃至第4のNR処理用信号r1〜r4の信号が入力され、そのうち第2のNR処理用信号r2が中心フィールド又はフレームの信号となる(S11)。
非巡回型ノイズ除去手段70では、NR動き検出手段720において入力された4フィールド又は4フレームの間における信号の動きを検出しており、検出の結果得られるNR動き度合い信号mdsに基づき、フィルタ係数を発生し、ノイズ除去の強さを制御して非巡回型ノイズ除去処理を行う。
NR動き検出手段720では、第1乃至第4のNR処理用信号r1〜r4が入力され、中心フィールド又はフレームの信号としての第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4との間の差分(フレーム差分)を演算し、3個のフレーム差分dif1、dif2、dif3を検出する(S12)。
次に、合成手段734において、フレーム差分dif1、dif2、dif3を合成する(例えば最大値を求める)ことで、動き差分信号Dafを得る(S13)。
エッジ部調整手段740では、中心フィールド又はフレームの信号r2におけるエッジ部分を検出し、フレーム差分検出手段730で得られた動き差分信号Dafに対し、エッジを構成すると判定された画素ではより大きな動きを表すものとなるように調整を行うとともに、エッジを構成すると判定されなかった画素に対しては周辺画素との平均化処理を行うことで孤立点を除去し、調整後の動き差分信号Dfeを得る(S14)。このように、信号のエッジ、輪郭部となる境界を判定し、エッジ部の動き差分信号の調整が行われるとともに、平均化処理が施された動き差分信号Dfeが得られので、動き差分信号の検出漏れによるちらつきを防止し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
変換手段750では、エッジ部調整手段740からの、エッジ部の調整と平均化が行われた動き差分信号DfeからNR動き度合い信号mdsを生成する(S15)。
すなわち、入力された動き差分信号Dfeに対し、振幅制限等による変換処理を行い、例えば、動きの度合いを(MD1+1)段階(例えば、MD1=4)に設定して、完全動きであると検出される場合は、値をMD1(例えばMD1=4、完全動き画素)とし、完全静止画であると検出される場合(これには差分が動きによるものではなくノイズ成分であると検出される場合が含まれる)には、ゼロ(mds=0、完全静止画素)として、0からMD1(例えば、MD1=4)の間の値でその動きの度合いを示すNR動き度合い信号mdsを生成する。
以上のステップS11乃至ステップS15のように、NR動き検出手段720により動き検出が行われ、NR動き度合い信号mdsは、フィルタ係数発生手段710へ送られる。
フィルタ係数発生手段710には、NR動き検出手段720からのNR動き度合い信号mdsが入力され、NR動き度合い信号mdsに応じたフィルタ係数kn1〜kn4が求められる(S16)。
フィルタ係数kn1〜kn4は、非巡回型ノイズ除去を行うフィルタで用いられるものであり、各々0以上1以下で、総和が1となるように定められ、4つのNR処理用信号に対するフィルタ係数kn1〜kn4の値の割り振りによりノイズ除去の強さ(効果)が決まる。
フィルタ係数kn1〜kn4は、第2のNR処理用信号r2を中心フィールド又はフレームの信号として値が定められる。フィルタ係数kn1〜kn4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方、中心フィールド又はフレームの信号r2に対する係数kn2の値が大きく、kn2=1であり、他のフィルタ係数kn1、kn3、kn4がゼロであると、前後のフィールド又はフレームの信号に対しては0が乗算されて、ノイズ除去は行われない。
そこで、フィルタ係数発生手段710では、映像信号における動き部分のエッジ、輪郭のぼけや劣化を防止するため、NR動き度合い信号mdsに応じて、フィルタ係数kn1〜kn4の値を制御することで、動き部分のノイズ除去の強さを制御する。
すなわち、NR動き度合い信号mdsがMD1(例えば4)であって完全動きを示す場合は、(kn1、kn2、kn3、kn4)=(0、1、0、0)とし、動きの度合いが最小級であり、完全静止画であると検出されるmds=0の場合(これには差分がノイズ成分による場合が含まれる)には、(kn1、kn2、kn3、kn4)=(0.25、0.25、0.25、0.25)とする。そして、NR動き度合い信号mdsが中間値となる場合は、動きの度合い(NR動き度合い信号mdsの値)が大きくなるにつれ、中心フィールド又はフレームの信号r2に対する係数kn2の値が大きく、その他の係数の値が小さくなる(例えば、(kn1、kn2、kn3、kn4)=(2/8、3/8、2/3、1/3))、又はフィルタ処理に用いるフィールド数又はフレーム数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば(kn1、kn2、kn3、kn4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(kn1、kn2、kn3、kn4)=(0.5、0.5、0、0)とする)ように変化させることで、動きを考慮したフィルタ係数を得て、ノイズ除去の強さを制御する。
ノイズ除去フィルタ手段700では、第1乃至第4のNR処理用信号r1〜r4と、フィルタ係数kn1〜kn4により、4つのNR処理用信号(4フィールド又は4フレームの同一位置にある画素の信号)を用いて非巡回型ノイズ除去処理を行い(S17)、その結果得られたノイズ除去後信号Rnrを出力する(S18)。
このフィルタ処理においては、第1乃至第4のNR処理用信号r1〜r4に対しフィルタ係数kn1〜kn4を乗算し、乗算結果の総和を求める。
以上実ラインノイズ除去手段21として用いられた非巡回型ノイズ除去手段70でノイズ除去後実ライン信号Rnrを生成する場合について説明したが、第1の補間ラインノイズ除去手段221として用いられた非巡回型ノイズ除去手段70で第1の補間用ライン信号Isnrを求める場合の処理も同様に行なわれる。
また、第2の補間ラインノイズ除去手段222として用いられる非巡回型ノイズ除去処理手段71で第2の補間用ライン信号Itnrを求める場合の処理も概して同じである。但し、第2の補間用ライン信号Itnrを求める場合には、第1のNR処理用信号i1が中心フィールドの信号として用いられる。即ち、ステップS12での差分の演算において中心フィールドの信号としての第1のNR処理用信号i1と、第2、第3、第4のNR処理用信号i2、i3、i4との間の差分(フレーム差分)を求め、ステップS14において、エッジ部調整手段741により第1のNR処理用信号i1におけるエッジ部分の検出を行い、ステップS16において、第1のNR処理用信号i1を中心フィールドの信号とするフィルタリングを行うための値を有するフィルタ係数ko1〜ko4が用いられる点で異なる。
その他、ステップS11からステップS18で説明した基本的なノイズ除去処理の動作は、図12と同様である。
以上より、実施の形態1の映像信号処理装置1によれば、フィールドメモリ11〜17により遅延信号d1f〜d7fを得て、遅延信号と現フィールド又はフレームの信号のうち、4フィールド又は4フレームの信号を用いて非巡回型ノイズ除去処理手段20でフィルタ処理することで非巡回型ノイズ除去処理を行うとともに、インターレース信号に対しては、ノイズ除去後の信号と、非巡回型ノイズ除去処理でも使用した遅延信号と、現フィールドの信号とにより3次元IP変換処理手段65で3次元IP変換を行い、プログレッシブ信号を出力する。そして、非巡回型ノイズ除去処理手段20においては、4フィールド又は4フレーム間の動きを検出し、検出結果に基づき、フィルタ係数を発生し、ノイズ除去の強さを制御された非巡回型ノイズ除去を行っている。よって、非巡回型ノイズ除去処理と3次元IP変換処理で使用する遅延信号を共通のフィールドメモリにより得ており、フィールド遅延手段としてのフィールドメモリを効率よく使用し、フィールドメモリを大幅に増やすことなく、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができ、そのような非巡回ノイズ除去が行われた信号により、3次元走査線補間処理を行うことができる。そして、非巡回型ノイズ除去処理では、動き部分のエッジ、輪郭のぼけや劣化を防止することができ、フィールドメモリなど回路規模を大幅に増加することなく、尾引きや残像という弊害を低減し、良好にノイズ除去を行うことができ、そのようにノイズ除去されたプログレッシブ信号を得ることができる。
なお、非巡回型ノイズ除去処理手段20を構成する非巡回型ノイズ除去手段70、71では、入力信号Di0とフィールド遅延信号d1f乃至d7fを使用し、4フィールド又は4フレームの信号を用いてフィルタ処理することでノイズ除去を行っているが、非巡回型ノイズ除去処理で4より多いフィールド又はフレームを用いたフィルタ処理を行うよう構成してもよく、より多数のフィールド又はフレームを用いたフィルタ処理を行えば、時間的により離れたフレーム間での演算となり、時間軸の中でフレーム相関のないノイズ成分が除去され、ノイズ除去効果をより大きくすることができる。
さらに、非巡回型ノイズ除去処理手段20におけるノイズ除去処理において、3フィールド又はフレーム、又は2フィールド又はフレームを用いたフィルタ処理を行うように構成しても良い。要するに、現フィールドの信号と遅延信号のうち、2以上の、即ち複数のフィールド又はフレームを用いたフィルタ処理を行うように構成すれば良い。
また、図1、図11では、3次元IP変換処理手段65内の補間動き検出手段66において、動き検出手段40で信号の動きを検出するとともに、テレシネ検出手段50でテレシネ検出を行い、補間信号生成手段60において動き適応処理もしくはテレシネ補間により3次元処理された補間信号を生成すると説明したが、3次元IP変換処理手段65における補間信号生成は、動き適応処理のみでもよく、補間動き検出手段66を動き検出手段40のみで構成しても良い。その場合、非巡回型ノイズ除去処理手段20における第1の補間用ライン信号Isnrを用いることで3次元IP変換を行うのであれば、第2の補間用ライン信号Itnrは不要となり、第2の補間用ライン信号Itnrを省略することができる。
また、上記実施の形態1における映像信号処理装置1では、プログレッシブ信号入力時の出力映像信号Do0は、1フィールド遅延信号d1fに対応するものであるとして、非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21において、図4に示すように、現フレームを含み、相連続する(1フレーム間隔の)4フレームの信号でフィルタ処理することでノイズ除去処理を行っている。
しかし、上記のようにする代わりに、図13に示すように、2フィールド遅延信号d2fを中心フレームCFRの信号とし、中心フレームを含み、互いに2フレーム毎に(2フレーム間隔で)位置する、4フレームの信号を用いたフィルタ処理によりノイズ除去処理を行うよう構成しても良い。
また、図14に示すように、現フレームの信号Di0を中心フレームCFRの信号とし、中心フレームを含み、互いに1フレーム毎に(1フレーム間隔で)位置する、4フレームの信号を用いたフィルタ処理によりノイズ除去を行なうよう構成しても良い。
このように、非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21の構成において、プログレッシブ信号入力時における入力信号を変更しても、図5を参照して説明したのと同様の効果が得られる。
なお、2フレーム毎に位置する4フレームの信号を用いてフィルタ処理することでノイズ除去処理を行う場合は、時間的により離れたフレーム間での演算となり、より離れた時間軸の中でフレーム相関のないノイズ成分が得られることとなり、ノイズ除去効果をより大きくすることができる。
実施の形態2.
実施の形態1の映像信号処理装置1における実ラインノイズ除去手段21及び補間ラインノイズ除去手段22は、図5及び図10に示すように、それぞれフィルタ係数発生手段710及び711においてNR動き度合い信号mds及びmdsbに応じて変化するフィルタ係数を用いてフィルタ処理を行うが、このように構成する代わりに、図15及び図16に示すように、所定の(一定の)ノイズ除去効果の強さを設定するフィルタ係数でノイズ除去フィルタ処理を行った信号とノイズ除去を行っていない信号を、NR動き度合い信号mds、mdsbの値に応じた混合比で混合してノイズ除去後の信号を得るように非巡回型ノイズ除去手段を構成することもできる。
実施の形態1の映像信号処理装置(すなわち、実施の形態2の映像信号処理方法を実施することができる装置)の全体的構成は、図1に示すのと同じである。但し、実ラインノイズ除去手段21及び第1の補間ラインノイズ除去手段221の各々として、図15に示す非巡回型ノイズ除去処理手段80が用いられ、第2の補間ラインノイズ除去手段222として、図16に示す非巡回型ノイズ除去処理手段81が用いられる。
図15において、図5の構成と同一又は対応する構成には、同じ符号を付してある。また、図16において、図10の構成と同一又は対応する構成には、同じ符号を付してある。
実施の形態2の映像信号処理装置において、フィールド遅延処理、非巡回型ノイズ除去処理手段20への信号の入力、補間ライン信号を生成しプログレッシブ信号を出力する処理のための構成は、実施の形態1に関し、図1、図2を参照して説明したのと同じであり、その詳細な説明は省略し、以下では、実ラインノイズ除去手段21、第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段222として用いられる非巡回型ノイズ除去処理手段80及び81について説明する。
以下では、主として、非巡回型ノイズ除去処理手段80が、実ラインノイズ除去手段21として用いられる場合について説明する。非巡回型ノイズ除去処理手段80が第1の補間ラインノイズ除去手段221として用いられる場合の動作も同様であるが、信号r1、r2、r3、r4の代わりに信号i1、i2、i3、i4が入力される点で異なる。
図15に示される非巡回型ノイズ除去処理手段80は、図5の非巡回型ノイズ除去処理手段70と同様、入力された4つのNR処理用信号r1〜r4のうち第2のNR処理用信号r2を中心フィールド又はフレームの信号として非巡回型ノイズ除去処理を行うものであり、混合手段801及びフィルタ係数設定手段820に関する部分以外の構成及び動作は、図5に示されるものと概して同じである。
非巡回型ノイズ除去処理手段80は、ノイズ除去フィルタ手段700と、NR動き検出手段720と、フィルタ係数設定手段820と、混合手段801とを備える。
ノイズ除去フィルタ手段700及びNR動き検出手段720は、図5の非巡回型ノイズ除去処理手段70内のものと同様に構成されている。
即ち、ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号r1〜r4を用いてフィルタ処理を行う。ノイズ除去フィルタ手段700から出力されるノイズ除去フィルタ出力信号は符号dnrで示されている。
NR動き検出手段720は、信号の動きを検出しNR動き度合い信号mdsを出力する。
フィルタ係数設定手段820は、ノイズ除去フィルタのフィルタ係数として、所定の値を設定する。ここで言う「所定の値」は、値を後述のようにして設定(乃至変更)する別個の処理が行われない限り一定に保たれる値を意味する。
混合手段801は、ノイズ除去フィルタ手段700内の加算手段705から出力されたノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない中心フィールド又はフレームの信号r2に対し、NR動き検出手段720からのNR動き度合い信号mdsの値に応じた混合比で混合処理を行い、ノイズ除去後信号Rnrを出力する。
非巡回型ノイズ除去処理手段80へは、図3及び図4に示される第1乃至第4のNR処理用信号r1〜r4が、入力端子751〜754を介して入力され、そのうち第2のNR処理用信号r2を中心フィールド又はフレームCFRの信号として、非巡回型ノイズ除去処理が行われる。
非巡回型ノイズ除去手段80では、NR動き検出手段720において入力されたNR処理用信号r1〜r4に基づき、4フィールド又は4フレームの間における信号の動きを検出しており、検出の結果得られるNR動き度合い信号mdsに基づき、ノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない中心フィールド又はフレームの信号r2との混合割合を定め、定められた混合割合で混合処理を行なうことによりノイズ除去後の信号Rnrを得る。このようにして、ノイズ除去の強さを制御された非巡回型ノイズ除去処理を行う。
NR動き検出手段720へは、第1乃至第4のNR処理用信号r1〜r4が入力される。
NR動き検出手段720では、第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4との間の差分(フレーム差分)を求め、得られたフレーム差分を合成して映像信号での動き検出して、動き検出の結果として動きの度合いを示すNR動き度合い信号mdsを出力する。
NR動き検出手段720は、図5に示されるものと同様に動作して、NR動き度合い信号mdsを生成する。
ここまでの構成は、上記図5におけるものと同じであるが、図15においては、NR動き検出手段720からのNR動き度合い信号mdsは、ノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない信号との混合比を制御するための動きの度合いを示す動き度合い信号として、混合手段801へ送られる。
次に、図15に示す非巡回型ノイズ除去処理手段80内のフィルタ係数設定手段820では、例えばユーザ等の操作に応じて、フィルタ係数kf1〜kf4を設定して出力する。なお、ユーザ等による操作に応じて設定する代わりに、入力された映像信号内のノイズ量を検出し、検出されたノイズ量により自動的にフィルタ係数を設定することとしても良い。
フィルタ係数kf1〜kf4は、あらかじめ設定した強さのノイズ除去の効果が得られる値に設定される。
フィルタ係数設定手段820において設定するフィルタ係数kf1〜kf4も、上記実施の形態1におけるフィルタ係数発生手段710、711のフィルタ係数に関して図5を参照して説明したのと同様、ノイズ除去を行うフィルタの係数を設定するものであり、4つのNR処理用信号に対するフィルタ係数kf1〜kf4の値の割り振りによりノイズ除去の強さ(効果)が決まり、フィルタ係数kf1〜kf4は、それぞれ0以上1以下で、その総和が1となるように定められる。
第1乃至第4のNR処理用信号r1〜r4に対するフィルタ係数kf1〜kf4は、第2のNR処理用信号r2を中心フィールド又はフレームの信号として値が定められる。フィルタ係数kf1〜kf4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方で、中心フィールド又はフレームの信号r2に対する係数kf2の値が大きく、kf2=1であり、他の係数kf1、kf3、kf4がゼロであると、前後のフィールド又はフレームの信号に対しては0が乗算されて、ノイズの巡回値はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
ノイズ除去の効果は、中心フィールド又はフレームの信号r2に対する係数kf2の値を大きくし、その他の係数の値を小さくすることにより(例えば、(kf1、kf2、kf3、kf4)=(2/8、3/8、2/3、1/3)とすることにより)、或いはフィルタ処理に用いるフィールド又はフレームの数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば((kf1、kf2、kf3、kf4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(kf1、kf2、kf3、kf4)=(0.5、0.5、0、0)とする)ようにフィルタ係数を変化させることでより弱くすることができる。
すなわち、ノイズ除去の効果を最大にする場合は、フィルタ係数kf1〜kf4を同一値とする((kf1、kf2、kf3、kf4)=(0.25、0.25、0.25、0.25)とする)。ノイズ除去の効果を中間の強さに、或いは弱めに設定する場合には、例えば、(kn1、kn2、kn3、kn4)=(2/8、3/8、2/3、1/3)や、(1/3、1/3、1/3、0)、(0.5、0.5、0、0)というように設定することで、ノイズ除去の強さを設定する。
フィルタ係数設定手段820により生成されたフィルタ係数kf1〜kf4は、図15における係数乗算手段701、702、703、704へ供給される。
ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号r1〜r4と、フィルタ係数kf1〜kf4とが入力される。ノイズ除去フィルタ手段700では、図5と同様、入力された4つのNR処理用信号を用いてフィルタ処理を行ってノイズ除去フィルタ出力信号dnrを出力する。
係数乗算手段701、702、703、704は、第1乃至第4のNR処理用信号r1〜r4にフィルタ係数kf1〜kf4を乗算する演算を行い、乗算結果r1×kf1、r2×kf2、r3×kf3、r4×kf4を得る。
加算手段705へは、係数乗算手段701、702、703、704から出力される係数乗算結果r1×kf1、r2×kf2、r3×kf3、r4×kf4が入力される。加算手段705では、入力された4つの乗算結果を加算し、加算により得られた信号を、ノイズ除去フィルタ出力信号dnrとして出力する。
ノイズ除去フィルタ手段700内の以上の構成は、図5と同じである。なお、フィルタ係数kf1〜kf4は、あらかじめ設定した強さのノイズ除去の効果が得られる係数であり、加算手段705から出力されるフィルタ出力信号dnrは、中心フィールド又はフレームの信号r2に対し所定の強さ(所定のノイズ除去効果)でノイズ除去された信号である。
混合手段801へは、ノイズ除去フィルタ手段700内の加算手段705から出力されるノイズ除去フィルタ出力信号dnrと、中心フィールド又はフレームの信号r2と、NR動き検出手段720から出力されるNR動き度合い信号mdsとが入力される。混合手段801では、ノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2に対し、NR動き度合い信号mdsの値に応じた混合比で混合処理を行うことにより、非巡回型ノイズ除去後の信号Rnrを出力する。
ここで、ノイズ除去フィルタ手段700は、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間でのフィルタ処理であり、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡る相関のないノイズ成分を除去することができる。
しかし、フィルタ処理であるので、動きの輪郭部分等では、尾引きや残像がエッジ、輪郭部のぼけや劣化となって現れることが考えられる。そこで、混合手段801では、NR動き検出手段720からのNR動き度合い信号mdsに基づいて定められる混合比率により、ノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない中心フィールド又はフレームの信号r2とを混合して、信号の動きに応じた混合比率により、ノイズ除去された信号の割合(占める割合)が制御され、ノイズ除去の強さが制御することとなり、動き部分のエッジ、輪郭のぼけや劣化を防止することができる。
具体的には、混合手段801では、NR動き検出手段720からのNR動き度合い信号mdsの値からノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2の混合比率を決定し、この混合比率でノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2を混合する。
NR動き度合い信号mdsが最大級の動き(完全動き)を示す場合は、ノイズ除去が行われないように中心フィールド又はフレームの信号r2の比率(占める割合)を最大にする(すなわち、ノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2の混合比率を0:100とする)。これは、NR動き度合い信号mdsが大きな動きを示す動き部分において、輪郭部のぼけや劣化を防止するためである。一方で、NR動き度合い信号mdsで示される動きの度合いが最小級であり、完全静止画であることを示す場合は、ノイズ除去フィルタ出力信号dnrの占める割合を最大にする(すなわち、ノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2の混合比率を100:0とする)。NR動き度合い信号mdsが完全動きと完全静止画の中間の状態を示す場合には、NR動き度合い信号mdsが大きくなるにつれ、中心フィールド又はフレームの信号r2の占める割合を小さくなるよう変化させ、ノイズ除去の効果が小さくなるようにする。
上記の処理により、ノイズ除去された信号を得る。これにより、動き部分ではエッジ、輪郭のぼけや劣化が起こりやすいが、ノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない中心フィールド又はフレームの信号r2とを混合することでノイズ除去後の信号を得るので、フィルタ係数設定手段820でフィルタ係数を設定する際にノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にフィルタ処理によるノイズの除去効果を変更し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
図17は、混合手段801での処理において、NR動き度合い信号mdsの値と混合時の混合比率の関係を示す一例であり、混合比率0〜1(100%)とし、NR動き度合い信号mds(横軸)とノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2の混合比率(縦軸)の関係を示している。NR動き度合い信号mdsがMD1(例えば4)であって完全動きを示す場合は、ノイズ除去が行われないように、中心フィールド又はフレームの信号r2の占める割合を1に、ノイズ除去フィルタ出力信号dnrの占める割合を0とする。動きの度合いが最小の場合(NR動き度合い信号mdsが0の場合)は、所定のノイズ除去の効果でフィルタ処理されたノイズ除去フィルタ出力信号dnrの占める割合を1とし、中心フィールド又はフレームの信号r2の占める割合を0とする。
NR動き度合い信号mdsが0より大きく、MD1より小さい範囲では、NR動き度合い信号mdsが大きくなるにつれ、ノイズ除去の効果が小さくなるように、中心フィールド又はフレームの信号r2占める割合が小さくなるよう変化させる。
例えば、中心フィールド又はフレームの信号r2とノイズ除去フィルタ出力信号dnrの混合比を(MD1−mds)対mdsとし、
Rnr=r2×(MD1−mds)/MD1+dnr×mds/MD1
で与えられるRnrを出力する。ここで、MD1は、上記のように、mdsが取り得る値の最大値である。
このようにすることで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合されたノイズ除去後の実ライン信号Rnrが得られる。
以上により、非巡回型ノイズ除去処理手段80では、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、混合手段801でノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2を混合することで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号を出力しており、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
以上、非巡回型ノイズ除去処理手段80で構成される実ラインノイズ除去手段21について説明したが、非巡回型ノイズ除去処理手段80で構成される第1の補間ラインノイズ除去手段221も同様に動作し、及び第2の補間ラインノイズ除去手段222も同様に動作し、非巡回型ノイズ除去された第1の補間用ライン信号Isnrを出力する。
図16に示される非巡回型ノイズ除去処理手段81は、図10の非巡回型ノイズ除去処理手段71と同様、入力された4都濃NR処理用信号i1〜i4のうち第1のNR処理用信号i1を中心フィールドの信号として非巡回型ノイズ除去処理を行うものであり、混合手段811とフィルタ係数設定手段821に関する部分以外の構成及び動作は、図10に示されるものと同じであり、その詳細な説明は省略する。
非巡回型ノイズ除去処理手段81は、また図15に示される非巡回型ノイズ除去処理手段80と同様に構成され、ノイズ除去フィルタ手段700と、NR動き検出手段721と、フィルタ係数設定手段821と、混合手段811とを備える。
上記ノイズ除去フィルタ手段700とNR動き検出手段721は、図5の非巡回型ノイズ除去処理手段70、及び図10の非巡回型ノイズ除去処理手段71内のものと同様に構成されている。
即ち、ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号i1〜i4を用いてフィルタ処理を行い、ノイズ除去後の信号(符号dnrbで示される)を出力する。
NR動き検出手段721は、中心フィールドの信号に対し、入力された4つのNR処理用信号i1〜i4に基づき、信号の動きを検出しNR動き度合い信号mdsbを出力する。
フィルタ係数設定手段821は、フィルタ係数kg1〜kg4を設定する。
混合手段811は、ノイズ除去フィルタ手段700内の加算手段705から出力されたノイズ除去フィルタ出力信号dnrbとノイズ除去を行っていない中心フィールドの信号i1に対し、NR動き検出手段721からのNR動き度合い信号mdsbの値に応じた混合比で混合処理を行い、ノイズ除去後信号Itnrを出力する。
非巡回型ノイズ除去処理手段81へは、図3に示される第1乃至第4のNR処理用信号i1〜i4が入力端子751〜754を介して入力され、そのうち第1のNR処理用信号i1を中心フィールドCFRの信号として、非巡回型ノイズ除去処理が行われる。
非巡回型ノイズ除去手段81では、NR動き検出手段721において入力された4つのNR処理用信号i1〜i4に基づき信号の動きを検出しており、検出結果としてのNR動き度合い信号mdsbに基づき、ノイズ除去フィルタ出力信号dnrbとノイズ除去を行っていない中心フィールドの信号i1を混合処理してノイズ除去後の信号Itnrを得る。このようにして、ノイズ除去の強さを制御された非巡回型ノイズ除去処理を行う。
ここで、非巡回型ノイズ除去手段81は、上記図15の非巡回型ノイズ除去手段80と同様、(1フィールドおきの)4フィールドの間でのフレーム相関を用いたフィルタ処理であり、NR動き検出手段721において4フィールドの間における信号の動きを検出し、NR動き度合い信号mdsbに基づき、混合手段811でノイズ除去フィルタ出力信号dnrbと中心フィールドの信号i1を混合することで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号が出力される。これにより、動きの度合いに応じて段階的にフィルタ処理によるノイズ除去効果を変更することができ、動き部分のエッジ、輪郭のぼけや劣化を防止して、4フィールドの信号でフィルタ処理し、ノイズ成分を除去した信号が得られる。
NR動き検出手段721には、第1乃至第4のNR処理用信号i1〜i4が入力される。
NR動き検出手段721では、中心フィールドの信号としての第1のNR処理用信号i1と、第2、第3、第4のNR処理用信号i2、i3、i4との間の差分(フレーム差分)を求め、得られたフレーム差分を合成して映像信号での動きを検出して、動き検出の結果である動きの度合いを示すNR動き度合い信号mdsbを出力する。
NR動き度合い信号mdsbは、上記図5のNR動き度合い信号mds、図10のNR動き度合い信号mdsb、図15のNR動き度合い信号mdsと同様に生成され、0からMD1(例えば、MD1=4)の間の値でその動きの度合いを示す。NR動き検出手段721からのNR動き度合い信号mdsbは、ノイズ除去フィルタ出力信号dnrbとノイズ除去を行っていない信号との混合比を制御するための動きの度合いを示す動き度合い信号として、混合手段811へ送られる。
次に、図16に示す非巡回型ノイズ除去処理手段81内のフィルタ係数設定手段821では、図15のフィルタ係数設定手段820と同様に、例えばユーザ等による操作に応じてフィルタ係数kg1〜kg4を設定して出力する。なお、ユーザ等による操作に応じて設定する代わりに、入力された映像信号内のノイズ量を検出し、検出されたノイズ量により自動的にフィルタ係数を設定することとしても良い。
フィルタ係数kg1〜kg4は、あらかじめ設定した強さのノイズ除去の効果が得られるように設定される。
上記図15でも説明したが、フィルタ係数設定手段821において設定するフィルタ係数フィルタ係数kg1〜kg4も、フィルタ係数発生手段710、711でのフィルタ係数と同様、ノイズ除去を行うフィルタの係数を設定するものであり、4つのNR処理用信号に対するフィルタ係数kg1〜kg4の値の割り振りによりノイズ除去の強さ(効果)が決まり、フィルタ係数kg1〜kg4は、それぞれ0以上1以下で、その総和が1となるように定められる。
但し、図15におけるフィルタ係数設定手段820では第2のNR処理用信号を中心フィールド又はフレームの信号としてフィルタ係数kf1〜kf4が定められているのに対し、フィルタ係数設定手段821の場合は、第1のNR処理用信号i1を中心フィールドの信号としてフィルタ係数kg1〜kg4の値が定められる。フィルタ係数kg1〜kg4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方、中心フィールドである信号i1に対する係数kg1の値が大きく、kg1=1であり、他のフィルタ係数kg2、kg3、kg4がゼロであると、即ち(kg1、kg2、kg3、kg4)=(1、0、0、0)であると、前後のフィールドの信号に対しては0が乗算されて、ノイズの巡回値はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
ノイズ除去の効果は、中心フィールドである信号i1に対する係数kg2の値を大きくし、その他の係数の値を小さくすることにより(例えば、(kg1、kg2、kg3、kg4)=(7/16、4/16、3/16、2/16)とすることにより)、或いはフィルタ処理に用いるフィールドの数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば((kg1、kg2、kg3、kg4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(kg1、kg2、kg3、kg4)=(0.5、0.5、0、0)とする)ようにフィルタ係数を変化させることでより弱くすることができる。
すなわち、ノイズ除去の効果を最大にする場合は、フィルタ係数kg1〜kg4を同一値とする((kg1、kg2、kg3、kg4)=(0.25、0.25、0.25、0.25)とする)。ノイズ除去の効果を中間の強さに、或いは弱めに設定する場合には、例えば、(kg1、kg2、kg3、kg4)=(7/16、4/16、3/16、2/16)や、(1/3、1/3、1/3、0)、(0.5、0.5、0、0)というように設定することで、ノイズ除去の強さを設定する。
フィルタ係数設定手段821により生成されたフィルタ係数kg1〜kg4は、図16における係数乗算手段701、702、703、704へ供給される。
ノイズ除去フィルタ手段700は、第1乃至第4のNR処理用信号i1〜i4と、フィルタ係数kg1〜kg4とが入力される。ノイズ除去フィルタ手段700では、図15と同様、第1乃至第4のNR処理用信号i1〜i4を用いてフィルタ処理を行ってノイズ除去フィルタ出力信号dnrbを出力する。
ノイズ除去フィルタ手段700内の係数乗算手段701、702、703、704には、第1乃至第4のNR処理用信号i1〜i4と、フィルタ係数kg1〜kg4が入力され、入力信号にフィルタ係数を乗算する演算を行い、乗算結果i1×kg1、i2×kg2、i3×kg3、i4×kg4を得る。
加算手段705へは、係数乗算手段701、702、703、704から出力される係数乗算結果i1×kg1、i2×kg2、i3×kg3、i4×kg4が入力される。加算手段705では、入力された4つの乗算結果を加算し、加算後により得られた信号を、ノイズ除去フィルタ出力信号dnrbとして出力する。
ここまでの係数乗算手段701、702、703、704と加算手段705の構成は、図5、図10及び図15と同じである。なお、フィルタ係数kg1〜kg4は、あらかじめ設定した強さのノイズ除去の効果が得られる係数であり、加算手段705から出力するフィルタ出力信号dnrbは、中心フィールドの信号i1に対し所定の強さ(所定のノイズ除去効果)でノイズ除去フィルタ処理した信号である。
次に、混合手段811へは、ノイズ除去フィルタ手段700内の加算手段705から出力されるノイズ除去フィルタ出力信号dnrbと、中心フィールドの信号i1と、NR動き検出手段721から出力されるNR動き度合い信号mdsbとが入力される。混合手段811では、ノイズ除去フィルタ出力信号dnrbと中心フィールドの信号i1に対し、NR動き度合い信号mdsbの値に応じた混合比で混合処理を行い、ノイズ除去後の信号Itnrを出力する。
混合手段811において、NR動き検出手段721からのNR動き度合い信号mdsbの値からノイズ除去フィルタ出力信号dnrbと中心フィールドの信号i1の混合比率を決定し、この混合比率でノイズ除去フィルタ出力信号dnrbと中心フィールドの信号i1を混合する構成は、図15及び図17で説明した構成と同様であるので、その詳細な説明は省略するが、NR動き度合い信号mdsbが大きくなるにつれ、ノイズ除去の効果が小さくなるように、中心フィールドの信号i1の占める割合を小さくなるよう変化させ、ノイズ除去フィルタ出力信号dnrbとノイズ除去を行っていない中心フィールドの信号i1とを混合することでノイズ除去後の信号を得るので、フィルタ係数設定手段821でフィルタ係数を設定する際にノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にフィルタ処理ノイズの除去効果を変更し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
以上により、非巡回型ノイズ除去処理手段81では、(1フィールドおきの)4フィールドの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsbに基づき、混合手段811でノイズ除去フィルタ出力信号dnrbと中心フィールドの信号i1を混合することで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号を出力しており、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールドの範囲内に収め、尾引きや残像を低減することができる。また、4フィールド(8垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
そして、非巡回型ノイズ除去処理手段81で構成される第2の補間ラインノイズ除去手段222から非巡回型ノイズ除去された第2の補間用ライン信号Itnrが出力される。
以上のように、図15及び図16に示される非巡回型ノイズ除去手段80、81では、ノイズ除去フィルタ処理を行った信号とノイズ除去を行っていない信号を、NR動き度合い信号mds、mdsbの値に応じた混合比で混合処理を行い、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号が得られ、動き部分のエッジ、輪郭のぼけや劣化を防止して、(1フィールドおきの)4フィールド又は(相連続する)4フレームの信号を用いてフィルタ処理された非巡回型ノイズ除去処理後の信号を得ることができ、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができ、ノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr、及び第2の補間用ライン信号Itnrとして、そのようにノイズ成分が除去された信号を得ることができる。
実施の形態2において、非巡回型ノイズ除去処理手段20を構成する非巡回型ノイズ除去手段80、81に関する部分以外の構成及び動作は、上記実施の形態1と同様であり、その詳細な説明は省略するが、インターレース信号入力時、ノイズ除去後の信号とノイズ除去処理でも使用した遅延信号と、現フィールドの信号とにより3次元IP変換を行い、プログレッシブ信号を出力する。
実施の形態2の映像信号処理装置における全体的動作は、実施の形態1に関して図11について説明したのと同様である。実施の形態2の映像信号処理装置は、ノイズ除去手段21、221及び222の動作が、実施の形態1とは異なる。
以下、ノイズ除去手段21を構成する非巡回型ノイズ除去手段80の動作を図18を参照して説明する。ノイズ除去手段221及び222の動作も同様である。
図18において、図12と同じ内容のステップには同じ符号が付してある。非巡回型ノイズ除去処理手段80へ第1乃至第4のNR処理用信号r1〜r4が入力され、そのうち第2のNR処理用信号r2が中心フィールド又はフレームの信号となる(S11)。
非巡回型ノイズ除去手段80では、入力された4つのNR処理用信号r1〜r4を用いてフィルタ処理を行ってノイズ除去フィルタ出力信号dnrbを得て、このノイズ除去フィルタ出力信号dnrbとノイズ除去を行っていない中心フィールド又はフレームの信号r2に対し、NR動き検出手段720からのNR動き度合い信号mdsの値に応じた混合比で混合処理を行うことにより、非巡回型ノイズ除去処理を行う。
NR動き検出手段720では、第1乃至第4のNR処理用信号r1〜r4が入力され、図18のステップS12からステップS15において、中心フィールド又はフレームの信号としての第2のNR処理用信号r2と、第1、第3、第4のNR処理用信号r1、r3、r4との間の差分(フレーム差分)を求め、得られたフレーム差分を合成して映像信号での動きを検出し、動き検出の結果である動きの度合いを示すNR動き度合い信号mdsを生成する。
この動作は、図12におけるステップS12乃至S15で説明した動作と同一であるので、その詳細な説明は省略するが、中心フィールド又はフレームの信号としての第2のNR処理用信号r2と第1、第3、第4のNR処理用信号r1、r3、r4との間のフレーム差分を演算し、3個のフレーム差分dif1、dif2、dif3を検出する(S12)。
次に、合成手段734において、フレーム差分dif1、dif2、dif3を合成する(例えば最大値を求める)ことで、動き差分信号Dafを得る(S13)。
エッジ部調整手段740では、中心フィールド又はフレームの信号r2におけるエッジ部分を検出し、フレーム差分検出手段730で得られた動き差分信号Dafに対し、エッジを構成すると判定された画素ではより大きな動きを表すものとなるように調整を行うとともに、エッジを構成すると判定されなかった画素に対しては周辺画素との平均化処理を行うことで孤立点を除去し、調整後の動き差分信号Dfeを得る(S14)。
変換手段750では、エッジ部調整手段740からの、エッジ部の調整と平均化が行われた動き差分信号DfeからNR動き度合い信号mdsを生成する(S15)。
すなわち、入力された動き差分信号Dfeに対し、振幅制限等による変換処理を行い、例えば、動きの度合いを(MD1+1)段階(例えば、MD1=4)に設定して、完全動きあると検出される場合は、値をMD1(例えばMD1=4、完全動き画素)とし、完全静止画であると検出される場合(これには差分が動きによるものではなくノイズ成分であると検出される場合が含まれる)には、ゼロ(mds=0、完全静止画素)として、0からMD1(例えば、MD1=4)の間の値でその動きの度合いを示すNR動き度合い信号mdsを生成する。
以上のステップS12乃至ステップS15のように、NR動き検出手段720により動き検出が行なわれ、検出の結果得られるNR動き度合い信号mdsは、混合手段801へ送られる。
フィルタ係数設定手段820では、フィルタ係数kf1〜kf4を設定する(S26)。
フィルタ係数kf1〜kf4は、非巡回型ノイズ除去を行うフィルタの係数を設定するものであり、各々0以上1以下で、総和が1となるように定められ、4つのNR処理用信号に対するフィルタ係数kf1〜kf4の値の割り振りによりノイズ除去の強さ(効果)が決まる。
フィルタ係数kf1〜kf4は、第2のNR処理用信号r2を中心フィールド又はフレームの信号として値が定められる。フィルタ係数kf1〜kf4が同一値1/4(=0.25)の場合が、時間軸上でのフレーム相関のないノイズ成分を最も強力に除去することができ、ノイズ除去の効果が最大となる。一方、中心フィールド又はフレームの信号r2に対する係数kf2の値が大きく、kf2=1であり、他のフィールド又はフレームに対する係数kf1、kf3、kf4がゼロであると、前後のフィールド又はフレームの信号に対しては0が乗算されて、ノイズの巡回値はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
ノイズ除去の効果は、中心フィールド又はフレームの信号r2に対する係数kf2の値を大きくし、その他の係数の値を小さくすることにより(例えば、(kf1、kf2、kf3、kf4)=(2/8、3/8、2/3、1/3)とすることにより)、或いはフィルタ処理に用いるフィールド又はフレームの数(係数が0以外の値となるNR処理用信号の数)を3に減らし(例えば((kf1、kf2、kf3、kf4)=(1/3、1/3、1/3、0)とし)、或いは2に減らす(例えば、(kf1、kf2、kf3、kf4)=(0.5、0.5、0、0)とする)ようにフィルタ係数を変化させることでより弱くすることができる。
ノイズ除去フィルタ手段700では、第1乃至第4のNR処理用信号r1〜r4と、フィルタ係数kf1〜kf4により、4つのNR処理用信号(4フィールド又は4フレームの同一位置にある画素の信号)を用いてフィルタ処理を行い、ノイズ除去フィルタ出力信号dnrを得る(S27)。
フィルタ係数kf1〜kf4は、あらかじめ設定した強さのノイズ除去の効果が得られる係数であり、従って、得られるノイズ除去フィルタ出力信号dnrは所定の強さ(所定のノイズ除去効果)でノイズ除去された信号である。
すなわち、NR動き度合い信号mdsの値からノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2の混合比率を決定し、この混合比率でノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2を混合し(S28)、混合により得られたノイズ除去後信号Rnrを出力する(S18)。混合比率は、NR動き度合い信号mdsが大きくなるにつれ、ノイズ除去の効果が小さくなるよう、中心フィールド又はフレームの信号r2の占める割合が小さくなるよう変化させる(図17参照)。
ノイズ除去フィルタ出力信号dnrとノイズ除去を行っていない中心フィールド又はフレームの信号r2とを混合することでノイズ除去後の信号を得るので、フィルタ係数設定手段820でフィルタ係数を設定する際にノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にフィルタ処理によるノイズの除去効果を変更し、動き部分のエッジ、輪郭のぼけや劣化を防止できる。
以上実ラインノイズ除去手段21として用いられた非巡回型ノイズ除去手段80でノイズ除去後実ライン信号Rnrを生成する場合について説明したが、第1の補間ラインノイズ除去手段221として用いられた非巡回型ノイズ除去手段80で第1の補間用ライン信号Isnrを求める場合の処理も同様に行なわれる。
また、第2の補間ラインノイズ除去手段222として用いられる非巡回型ノイズ除去処理手段81で第2の補間用ライン信号Itnrを求める場合の処理も概して同じである。但し、第2の補間用ライン信号Itnrを求める場合には、第1のNR処理用信号i1が中心フィールドの信号として用いられる。即ち、ステップS12での差分の演算において中心フィールドの信号としての第1のNR処理用信号i1と、第2乃至第4のNR処理用信号i2、i3、i4との間の差分(フレーム差分)を求め、ステップS14において、エッジ部調整手段741により第1のNR処理用信号i1におけるエッジ部分の検出を行ない、ステップS26において、第1のNR処理用信号を中心フィールドの信号とするフィルタリングを行なうための値を有するフィルタ係数kg1〜kg4が用いられる点で異なる。
その他ステップS11からステップS18で説明した基本的なノイズ除去処理の動作は、図18と同様である。
以上より、実施の形態2の非巡回型ノイズ除去処理手段20内における非巡回型ノイズ除去処理手段80、81では、(1フィールドおきの)4フィールド又は(相連続する)4フレーム間の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、4フィールド又は4フレームの信号によるフィルタ処理後のノイズ除去フィルタ出力信号dnrとノイズ除去を行わない中心フィールドの信号を混合し、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号を得ることで、ノイズ除去の強さを制御された非巡回型ノイズ除去を行っている。そして、この非巡回型ノイズ除去後の信号と、非巡回型ノイズ除去処理でも使用した遅延信号と、現フィールドの信号とにより3次元IP変換を行い、ノイズ除去されたプログレッシブ信号を得られるようにしている。よって、ノイズ除去処理と3次元IP変換処理で使用するフィールド遅延信号を共通のフィールドメモリにより得ており、フィールドメモリを大幅に増やすことなく、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去する非巡回ノイズ除去が行われた信号を得ることができ、そのようにしてノイズ除去された信号を用いて3次元走査線補間処理を行うことができる。また、非巡回ノイズ除去処理では、動き部分のエッジ、輪郭のぼけや劣化を防止して、フィルタ処理された非巡回型ノイズ除去処理後の信号を得ることができ、フィールド遅延手段であるフィールドメモリなどの回路規模を大幅に増加することなく、尾引きや残像という弊害を低減して、良好にノイズ除去を行うことができ、そのようにノイズ除去されたプログレッシブ信号を得ることができる。
実施の形態3.
上記実施の形態1の映像信号処理装置1では、インターレース信号入力時は、補間フィールドを2フィールド遅延信号d2fのフィールドとし、2フィールド遅延された信号が出力映像信号Do0として出力され、プログレッシブ信号入力時の出力は1フィールド遅延信号d1fに対応する出力映像信号Do0が出力されるが、図19に示す映像信号処理装置3のように、インターレース信号入力時の補間フィールドを3フィールド遅延信号d3fのフィールドとして、出力映像信号Do0を3フィールド遅延信号d3fに対応するものとし、プログレッシブ信号入力時の出力映像信号Do0を1フィールド遅延信号d1fに対応するものとなるように構成することもでき、この場合は、非巡回型ノイズ除去処理手段20内での各信号に対するノイズ除去フィルタ(図5の実ラインノイズ除去手段21、第1の補間ラインノイズ除去手段221、及び図15の第2の補間ラインノイズ除去手段222に相当するもの)として内部構成が同じものを用いることができる。
図19は、本発明における実施の形態3の映像信号処理装置(すなわち、実施の形態3の映像信号処理方法を実施することができる装置)の構成を示すブロック図であり、上記実施の形態1と同様、複数のフィールド又はフレームの信号、例えば4フィールド又は4フレームの信号を用いてフィルタ処理することによりノイズ成分を除去する非巡回型ノイズ除去処理を行うよう構成している。図19において、図1による実施の形態1における構成と同一又は対応する構成には、同じ符号を付してある。
図19において、実施の形態3の映像信号処理装置3は、上記実施の形態1の映像信号処理装置1(図1参照)の構成における非巡回型ノイズ除去処理手段20を非巡回型ノイズ除去処理手段200で置き換え、インターレース信号入力時の補間フィールドを3フィールド遅延信号d3fのフィールドとし、プログレッシブ信号入力時の出力映像信号Do0を1フィールド遅延信号d1fに対応するものとし、非巡回型ノイズ除去処理と、3次元IP変換処理を行うよう構成している。非巡回型ノイズ除去処理手段200に関する部分以外の構成及び動作は、上記実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
図19における非巡回型ノイズ除去処理手段200は、図2に示される非巡回型ノイズ除去処理手段20と同様、中心フィールド又はフレームの信号に対し、そのフィールド又はフレームと、その前後に位置し、画素が画面内の同一位置にある他の3つフィールドの、合わせて4フィールド又は4フレームの信号を用いてフィルタ処理することによりノイズ除去を行い、ノイズ除去された信号を出力するものであり、インターレース信号入力時には、補間フィールド内の実ライン信号に対してノイズ除去処理を施して、ノイズ除去された実ライン信号を出力するとともに、補間フィールドに時間的に隣接するフィールド内の、補間用ラインの信号に対してノイズ除去処理を施してノイズ除去された補間用ライン信号を出力するものであり、例えば、図20に示すように構成される。
図20において、この非巡回型ノイズ除去処理手段200は、第1乃至第4の切り換え手段204〜207と、実ラインノイズ除去手段21と、補間ラインノイズ除去手段23を備える。
実ラインノイズ除去手段21は図2に示されるものと同じものである。
切り換え手段204〜207は、切換信号生成手段18からの切り換え信号pfにより信号を選択する。
補間ラインノイズ除去手段23は、補間用ライン信号に対し4フィールドの同一位置にある画素の信号を用いてフィルタ処理することでノイズ除去する。
補間ラインノイズ除去手段23は、第1の補間ラインノイズ除去手段221と、第2の補間ラインノイズ除去手段223とを備える。
第1の補間ラインノイズ除去手段221は、図2に示されるものと同じである。
第2の補間ラインノイズ除去手段223は、図2に示される第2の補間ラインノイズ除去手段222と概して同じであるが、以下に説明するように異なる点がある。
図19において、第1乃至第7のフィールドメモリ11〜17は、映像信号を順次1フィールド遅延して出力し、1フィールド遅延信号d1f乃至7フィールド遅延信号d7fを出力する。
切換信号生成手段18は入力信号がインターレース信号であるかプログレッシブ信号かを示す切り換え信号pfを生成して出力する。
3次元IP変換処理手段65では、入力信号がインターレース信号の場合に、フィールド内補間処理及びフィールド間補間処理により走査線補間信号を生成して、インターレース信号をプログレッシブ信号に3次元走査線変換し、ノイズ除去が施されたプログレッシブ信号Ipsを出力する。この3次元IP変換処理手段65では、フィールド内補間処理手段30において、補間フィールドである3フィールド遅延信号d3fに対しフィルタ処理等の演算処理によるフィールド内補間を行って補間信号Imvを生成し、補間動き検出手段66内の動き検出手段40において、現フィールドの信号Di0、2フィールド遅延信号d2f、及び4フィールド遅延信号d4fに基づき、動きを検出して動き検出信号mdtを出力する。
さらに、テレシネ検出手段50において、現フィールドの信号Di0、2フィールド遅延信号d2f、及び1フィールド遅延信号d1fに基づき、テレシネ映像信号であるか否かを検出してテレシネ検出信号tcifを出力する。ここまでの構成は、上記実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
なお、図19に示す例では、3次元IP変換処理手段65内の動き検出手段40は、現フィールドの信号Di0、2フィールド遅延信号d2f、及び4フィールド遅延信号d4fを入力とし、これらに基づいて動き検出を行っているが、補間フィールドでの補間ライン信号の位置を考慮して、動き検出手段40への入力を2フィールド遅延信号d2f、4フィールド遅延信号d4f、及び6フィールド遅延信号d6fとする場合や、1フィールド遅延信号d1f、3フィールド遅延信号d3f、及び5フィールド遅延信号d5fとする場合が考えられ、これらのフィールド間で差分情報を求め、1フレーム間および2フレーム間の映像信号の動きを検出するように構成してもよく、動き検出手段40への入力される信号のフィールド又はフレームを変更するのみで、同一の構成で動き検出を行えばよい。同様に、テレシネ検出手段50への入力も、1フィールド遅延信号d1f、2フィールド遅延信号d2f、及び3フィールド遅延信号d3fとすることもできる。
図20に示される非巡回型ノイズ除去処理手段200へは、現フィールド又はフレームの信号Di0と遅延信号d1f〜d7fと、切換信号生成手段18からの切り換え信号pfが入力される。
非巡回型ノイズ除去処理手段200は、現フィールド又はフレームの信号Di0と遅延信号d1f〜d7fのうちの、中心フィールド又はフレームの信号と、そのフィールド又はフレームの前後に位置し、画素が画面内の同一位置にある他の3フィールド又はフレームの、合わせて4フィールド又は4フレームの信号を用いてフィルタ処理することによりノイズ除去を行い、ノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr、及び第2の補間用ライン信号Itnrとを出力する。
切換信号生成手段18からの切り換え信号pfによって、実ライン信号のノイズ除去に用いられる信号と、プログレッシブ信号に対するノイズ除去に用いられる信号の切り換えが行なわれる。なお、プログレッシブ信号入力時には、走査線の補間は不要なので、補間用ライン信号に対するノイズ除去は行われず、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrの生成は行なわれない。
ここで、非巡回型ノイズ除去処理手段200において中心フィールドの信号は、インターレース信号入力時には、補間フィールドの実ラインについては、補間フィールドの信号、即ち、3フィールド遅延信号d3fであり、補間フィールドの補間ラインについては、補間フィールドに時間的に隣接するフィールドの実ライン信号(補間用ライン信号)、即ち4フィールド遅延信号d4f及び2フィールド遅延信号d2fである。
一方、プログレッシブ信号入力時は、1フィールド遅延信号d1fが中心フレームの信号となる。
図20に示される、非巡回型ノイズ除去処理手段200内の切り換え手段204〜207は、現フィールド又はフレームの信号Di0と、遅延信号d1f〜d3f、d5f、d7fとを受け、切り換え信号pfに応じた選択を行なって、選択された信号を第1乃至第4のNR処理用信号r1〜r4として出力する。
具体的には、切り換え手段204は、現フィールド又はフレームの信号Di0及び1フィールド遅延信号d1fを入力とし、インターレース信号入力時は1フィールド遅延信号d1fを、プログレッシブ信号入力時は現フレームの信号Di0を選択して、第1のNR処理用信号r1として、実ラインノイズ除去手段21に供給する。
切り換え手段205は、1フィールド遅延信号d1f及び3フィールド遅延信号d3fを入力とし、インターレース信号入力時は3フィールド遅延信号d3fを、プログレッシブ信号入力時は1フィールド遅延信号d1fを選択して、第2のNR処理用信号r2として(中心フィールド又はフレームの信号として)、実ラインノイズ除去手段21に供給する。
切り換え手段206は、2フィールド遅延信号d2f及び5フィールド遅延信号d5fを入力とし、インターレース信号入力時は5フィールド遅延信号d5fを、プログレッシブ信号入力時は2フィールド遅延信号d2fを選択して、第3のNR処理用信号r3として、実ラインノイズ除去手段21に供給する。
切り換え手段207は、3フィールド遅延信号d3f及び7フィールド遅延信号d7fを入力とし、インターレース信号入力時は7フィールド遅延信号d7fを、プログレッシブ信号入力時は3フィールド遅延信号d3fを選択して、第4のNR処理用信号r4として、実ラインノイズ除去手段21に供給する。
第1乃至第4のNR処理用信号r1〜r4は、実ラインノイズ除去手段21で、第2のNR処理用信号r2を対象とするノイズ除去処理に用いられる。
また、現フィールドの信号Di0と、遅延信号d2f、d4f、d6fは、補間用ライン信号に対するノイズ除去処理に用いられる第1乃至第4のNR処理用信号i1〜i4として、補間ラインノイズ除去手段22に供給される。
図21は、インターレース信号入力時における、遅延信号d1f〜d7fの、フィールド相互間の時間的関係と垂直走査方向の位置関係を示す。時間的に前のフィールドほど、より左側に示され、各フィールド又はフレームの画素は、上から下へと言う順で垂直走査される。なお、プログレッシブ信号入力時の位置関係は、図4で示される如くである。
図21に示されるインターレース信号が入力される場合、補間フィールドの信号が3フィールド遅延信号d3fであるので、補間フィールド内の実ラインのノイズ除去においては、第2のNR処理用信号r2として供給される3フィールド遅延信号d3fが中心フィールドCFRの信号となる。そして、3フィールド遅延信号3df、1フィールド遅延信号d1f、5フィールド遅延信号d5f、及び7フィールド遅延信号d7f(これらはいずれも、3フィールド遅延信号d3fと同一位置の画素の信号である)が、それぞれ第1、第3、第4のNR処理用信号r1、r3、r4となる。
補間フィールド内の補間ラインのノイズ除去においては、補間フィールドの前後に隣接する補間用フィールドの信号、即ち4フィールド遅延信号d4f及び2フィールド遅延信号d2fが中心フィールドCFIs及びCFItの信号であり、それぞれ第2のNR処理用信号i2、第1のNR処理用信号i1となる。そして、6フィールド遅延信号d6f、8フィールド遅延信号d8fが、それぞれ第3のNR処理用信号i3、第4のNR処理用信号i4となる。
図4に示されるプログレッシブ信号が入力される場合は、実施の形態1について説明したのと同様に、出力映像信号Do0は第1のフィールドメモリ11からの遅延信号d1fに対応したものとしているので、第2のNR処理用信号r2として供給される1フィールド遅延信号d1fが中心フレームの信号となり、現フレームの信号Di0、2フィールド遅延信号d2f、3フィールド遅延信号d3fがそれぞれ、第1、第3、第4のNR処理用信号r1、r3、r4となる。
図20において、非巡回型ノイズ除去処理手段200内の実ラインノイズ除去手段21は、入力された第1乃至第4のNR処理用信号r1〜r4を用いてフィルタ処理することでノイズ除去し、ノイズ除去後実ライン信号Rnrを出力する。
実ラインノイズ除去手段21は、入力された4つのNR処理用信号r1〜r4のうちの第2のNR処理用信号r2を中心フィールド又はフレームの信号として非巡回型ノイズ除去処理を行うものであり、実施の形態1に関し図5を参照して説明した非巡回型ノイズ除去処理手段70により構成することができる。その構成の詳細な説明は省略するが、実ラインノイズ除去手段21は、図5の構成とすることで、4フィールド又は4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、ノイズ除去フィルタのフィルタ係数を発生し、ノイズ除去の強さを制御された非巡回型ノイズ除去後の信号を出力する。これにより、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
なお、実ラインノイズ除去手段21として、実施の形態2に関連して図15を参照して説明した非巡回型ノイズ除去処理手段80を用いても良く、この場合も、4フィールド又は4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、ノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2を混合することで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号を出力することができ、これにより、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
図20に示される非巡回型ノイズ除去処理手段200内の補間ラインノイズ除去手段23には、現フィールドの信号Di0と、遅延信号d2f、d4f、d6fが、第1乃至第4のNR処理用信号i1〜i4として入力される。
補間ラインノイズ除去手段23は、第1の補間ラインノイズ除去手段221と、第2の補間ラインノイズ除去手段223とを備え、インターレース信号入力時に、入力された第1乃至第4のNR処理用信号i1〜i4を用いてフィルタ処理することでノイズ除去し、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrを出力する。
第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrは、3次元IP変換時に補間ライン信号の生成に用いられる補間用ライン信号(補間フィールドの時間的に隣接するフィールドの信号)からノイズを除去した信号である。
第1の補間ラインノイズ除去手段221としては、図5に示すのと同一の内部構成を有するものを用い得る。但し、各入力端子と入力端子に供給される信号との関係が異なる。即ち、図22に示すように、それぞれ第1、第2、第3、第4の係数乗算手段701、702、703、704に接続された第1、第2、第3、第4の入力端子751、752、753、754に、それぞれ第4、第3、第2、第1のNR処理用信号i4、i3、i2、i1が供給される。フィルタ係数発生手段710は、図5のフィルタ係数発生手段710と同様の係数を発生する。この結果、ノイズ除去フィルタ手段700は、第2の入力端子752に供給される第3のNR処理用信号i3を中心フィールドのとして、非巡回型のノイズ除去を行う。
上記のように、入力端子751、752、753、754と、それぞれの入力端子に供給される信号i4、i3、i2、i1の関係を変えることで、係数発生器は、図5(Rnr生成用の21)と同じものを用いることができる。
上記のように、第1、第2、第3、第4のNR処理用信号i1、i2、i3、i4としては、それぞれ現フィールドの信号Di0と、遅延信号d2f、d4f、d6fが供給されるので、図22に示される非巡回型ノイズ除去処理手段70で構成される第1の補間ラインノイズ除去手段221から出力される第1の補間用ライン信号Isnrは、補間フィールドの時間的に前の隣接フィールドである4フィールド遅延信号d4f(図21の第3のNR処理用信号i3)を中心フィールドの信号としてノイズ除去された信号となる。
第2の補間ラインノイズ除去手段223は、図2の第2の補間ラインノイズ除去手段222と概して同じであるが、入力フィールドの信号Di0、2フィールド遅延信号d2f、4フィールド遅延信号d4f、6フィールド遅延信号d6fをそれぞれ(そのままの相対的位置関係で、即ち図20の第1の補間ラインノイズ除去手段221のように順序を反転させることなく)第1、第2、第3,第4のNR処理用信号i1、i2、i3、i4として受け、この第2のNR処理用信号i2を中心フィールドの信号としてノイズ除去処理を行なう点で異なる。第2の補間ラインノイズ除去手段223から出力される第2の補間用ライン信号Itnrは、補間フィールドの時間的に後の隣接フィールドの信号である2フィールド遅延信号d2fを中心フィールドの信号としてノイズ除去された信号である。
第2の補間ラインノイズ除去手段223は、図5に示される非巡回型ノイズ除去処理手段70で構成できる。
このように、第2の補間ラインノイズ除去手段223は、図5に示される非巡回型ノイズ除去処理手段70で構成され、上記したように、第1の補間ラインノイズ除去手段221も、図5に示される非巡回型ノイズ除去処理手段70で構成できる(図22を参照して説明したように、入力端子と外部から供給される信号の関係が異なるのみである)。従って、第1の補間ラインノイズ除去手段221と、第2の補間ラインノイズ除去手段223とは、互いに同一の内部構成を有する回路で構成し、入力端子に供給する入力信号(入力配線)を異ならせれば良い。
第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段223を用いた場合においても、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、フィルタ係数を発生し、ノイズ除去の強さを制御された非巡回型ノイズ除去後の信号を出力することができる。これにより、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
なお、第1の補間ラインノイズ除去手段221及び第2の補間ラインノイズ除去手段223は、実施の形態2に関して図15を参照して説明した非巡回型ノイズ除去処理手段80により構成してもよく、この場合も、(1フィールドおきの)4フィールド又は(相連続する)4フレームの間における信号の動きを検出し、検出の結果得られるNR動き度合い信号mdsに基づき、ノイズ除去フィルタ出力信号dnrと中心フィールド又はフレームの信号r2を混合することで、動きの度合いに応じて段階的にフィルタ処理後の信号が混合された非巡回型ノイズ除去後の信号を出力することができ、これにより、動き部分のエッジ、輪郭のぼけや劣化を防止して、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができる。
以上のように、図20に示される非巡回型ノイズ除去処理手段200内の実ラインノイズ除去手段21及び補間ラインノイズ除去手段23では、(1フィールドおきの)4フィールド又は(相連続する)4フレームの信号を用いてフィルタ処理された非巡回型ノイズ除去処理後の信号を得ることができ、動き部分の尾引きや残像を4フィールド又は4フレームの範囲内に収め、尾引きや残像を低減することができ、また、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去することができ、ノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrとして、そのようにノイズ除去された信号を出力することができる。
以下、図19において、非巡回型ノイズ除去処理手段200からのノイズ除去処理されたノイズ除去後実ライン信号Rnr、第1の補間用ライン信号Isnr及び第2の補間用ライン信号Itnrと、フィールド内補間処理手段30からのフィールド内補間信号Imvと、動き検出手段40からの動き検出信号mdtと、テレシネ検出手段50からのテレシネ検出信号tcifとから、補間信号生成手段60及び時間軸変換手段61において3次元IP変換を行い、切換手段62から出力映像信号Do0を出力する構成は、実施の形態1の図1の構成と同様であるので、詳細な説明は省略するが、切換手段62からは、インターレース信号入力時及びプログレッシブ信号入力時のどちらにおいても、ノイズ除去処理と3次元IP変換処理で共通の遅延信号を用い、尾引きや残像という弊害を低減することができ、プログレッシブ信号として、良好なノイズ除去効果がある非巡回ノイズ除去処理が施されたものを得ることができる。
実施の形態3による映像信号処理装置3において、非巡回型ノイズ除去処理手段200による非巡回型ノイズ除去処理及び3次元IP変換処理手段65による3次元IP変換の動作は、補間フィールドを3フィールド遅延信号d3fのフィールドとし、中心フィールドの信号が第2のNR処理用信号となること以外の点で、上記実施の形態1に関し図11、図12を参照して説明し、又は上記実施の形態2に関し図18を参照して説明した動作と同じである。
以上より、実施の形態3の映像信号処理装置3によれば、インターレース信号入力時の補間フィールドを3フィールド遅延信号d3fのフィールドとし、プログレッシブ信号入力時の出力映像信号Do0を1フィールド遅延信号d1fに対応するものとなるように構成し、非巡回型ノイズ除去処理手段200において4フィールド又は4フレームの信号を用いてフィルタ処理することで非巡回型ノイズ除去処理を行うとともに、ノイズ除去後の信号と、ノイズ除去処理でも使用した遅延信号と、現フィールドの信号により3次元IP変換処理手段65において3次元IP変換を行い、プログレッシブ信号を出力する構成としている。よって、ノイズ除去処理と3次元IP変換処理で使用する遅延信号を共通のフィールドメモリにより得ており、フィールドメモリを大幅に増やすことなく、4フィールド(8垂直期間)又は4フレーム(4垂直期間)に渡るフレーム相関のないノイズ成分を除去する非巡回ノイズ除去が行われた信号により、3次元走査線補間処理を行うことができる。また、非巡回ノイズ除去処理では、動き部分のエッジ、輪郭のぼけや劣化を防止して、フィルタ処理された非巡回型ノイズ除去処理後の信号が得られ、フィールド遅延手段であるフィールドメモリなど回路規模を大幅に増加させることなく、尾引きや残像という弊害を低減し、良好にノイズ除去されたプログレッシブ信号を得ることができる。
さらに、非巡回型ノイズ除去処理手段200内の実ラインノイズ除去手段21、第1の補間ラインノイズ除去手段221、第2の補間ラインノイズ除去手段223として、同一の内部構成の非巡回型ノイズ除去手段を用いることができるので、装置の設計を簡略化し、各信号において、同様の処理を施したイズ除去の強さを制御された非巡回型ノイズ除去後の信号とすることができる効果がある。
なお、実施の形態3における映像信号処理装置3では、インターレース信号入力時の補間フィールドを3フィールド遅延信号d3fのフィールドとし、非巡回型ノイズ除去処理手段200において、図21に示す位置関係の現フィールドの信号と遅延信号のうちの4フィールド又は4フレームの信号を用いてノイズ除去処理を行っているのに対し、実施の形態1における映像信号処理装置1では、インターレース信号入力時に2フィールド遅延信号d2fを補間フィールドの信号として、非巡回型ノイズ除去処理手段20において、図3に示す位置関係で非巡回型ノイズ除去処理を行っている。
しかし、実施の形態1を、実施の形態3のように改変し、1フィールド遅延信号d1fを補間フィールドの信号とした図23で示す位置関係の信号を用いて非巡回型ノイズ除去処理を行い、3次元IP変換を行うよう構成することも、現フィールドの信号Di0を補間フィールドの信号とした図24で示す位置関係の信号を用いて非巡回型ノイズ除去処理を行い、3次元IP変換を行うよう構成することもでき、非巡回型ノイズ除去処理手段200、20内において、入力信号を対応する信号へ切り換え、非巡回型ノイズ除去処理を中心フィールド又はフレームの位置に応じ、図5(もしくは図15)か図10(もしくは図16)に示す構成とすればよく、上記実施の形態3と同様の効果を奏する。
また、図19では、3次元IP変換処理手段65内の補間動き検出手段66において、動き検出手段40で信号の動きを検出するとともに、テレシネ検出手段50でテレシネ検出を行い、補間信号生成手段60において動き適応処理もしくはテレシネ補間により3次元処理された補間信号を生成すると説明したが、3次元IP変換処理手段65における補間信号生成は、動き適応処理のみでもよく、補間動き検出手段66を動き検出手段40のみで構成しても良い。その場合、非巡回型ノイズ除去処理手段200における第1の補間用ライン信号Isnrを用いることで3次元IP変換を行うのであれば、第2の補間用ライン信号Itnrは不要となり、第2の補間用ライン信号Itnrを省略することができる。
また、上記実施の形態3における映像信号処理装置3では、プログレッシブ信号入力時の出力映像信号Do0は、1フィールド遅延信号d1fに対応するものであるとして、非巡回型ノイズ除去処理手段200内の実ラインノイズ除去手段21において、図4に示すように、現フレームを含み、相連続する(1フレーム間隔の)4フレームの信号でフィルタ処理することでノイズ除去処理を行っている。
しかし、上記のようにする代わりに、図13に示すように、2フィールド遅延信号d2fを中心フレームCFRの信号とし、中心フレームを含み、互いに2フレーム毎に(2フレーム間隔で)位置する、4フレームの信号を用いたフィルタ処理によりノイズ除去処理を行うよう構成しても良い。
実施の形態4.
上記実施の形態1から3における映像信号処理装置1、3では、入力映像信号とフィールド遅延信号とを用いて非巡回型ノイズ除去処理を行うとともに、ノイズ除去後の信号とフィールド遅延信号と、ノイズ除去前の現フィールドの信号とにより3次元IP変換を行うよう構成した。しかし、入力映像信号に対して巡回型ノイズ除去処理を行うことで得られる信号と、この信号を遅延することで得られるフィールド遅延信号とを非巡回型ノイズ除去処理及び3次元IP変換で用いるよう構成することもできる。
図25は、本発明の実施の形態4による映像信号処理装置(すなわち、実施の形態4の映像信号処理方法を実施することができる装置)の構成を示すブロック図である。
図示の映像信号処理装置は、巡回型ノイズ除去処理を行い、巡回型ノイズ除去処理後の信号をフィールド遅延し、上記巡回型ノイズ除去処理で用いるとともに、この巡回型ノイズ除去処理後の信号と、これをフィールド遅延した信号とのうちの、4フィールド又は4フレームの信号を用いて非巡回型ノイズ除去処理及び3次元IP変換を行うよう構成している。
図25において、図1による実施の形態1における構成と同一又は対応する構成には、同じ符号を付してある。
図25に示される映像信号処理装置4は、図1に示される映像信号処理装置1と同様であるが、巡回型ノイズ除去処理手段10が付加されている点で異なる。この巡回型ノイズ除去手段10には、入力映像信号Di0が順次入力されており、フレーム間の差分によりノイズ成分の除去が行われる。
入力映像信号Di0は、巡回型ノイズ除去手段10に供給され、巡回型ノイズ除去処理手段10から出力される巡回型ノイズ除去処理後の信号dl0fを第1のフィールドメモリ11に入力し、巡回型ノイズ除去処理後の信号dl0fを第1乃至第7のフィールドメモリ11〜17で順次1フィールドずつ遅延して、フィールド遅延信号d1f乃至d7fを出力する。フィールド遅延信号d1f乃至d7fのうち、第2のフィールドメモリ12からの2フィールド遅延信号d2fを巡回型ノイズ除去手段10に帰還して巡回型ノイズ除去に用いる。
巡回型ノイズ除去処理後の信号dl0fと、フィールド遅延信号d1f〜d7fの一部又は全部が非巡回型ノイズ除去処理手段20における非巡回型ノイズ除去処理及び3次元IP変換処理手段65における3次元IP変換で用いられる。
巡回型ノイズ除去手段10に関する部分以外の構成及び動作は、上記で説明した図1に示されるものと同じであり、その詳細な説明は省略するが、巡回型ノイズ除去処理後の信号をフィールド遅延して用いるので、ノイズ除去の効果をより強くすることができる。
上記のように、巡回型ノイズ除去手段10へは、現フィールド又はフレームの信号Di0と第2のフィールドメモリ12からの2フィールド遅延信号d2f(ノイズ除去後の出力信号dl0fを2フィールド(2垂直期間)遅延した信号)が入力される。巡回型ノイズ除去手段10では、現フィールド又はフレームの信号Di0と2フィールド遅延信号d2fの間の差分値(フレーム差分)Diffが求められ、このフレーム差分Diffから差分が「動き」に該当するか「ノイズ」に該当するかを判断してフレーム間の動きを検出し、動きの動き度合い信号を得るとともに、この動き度合い信号に基づきノイズ成分に対する巡回係数を求め、差分と巡回係数からノイズ除去処理を行い、巡回型ノイズ除去後信号dl0fを出力する。巡回型ノイズ除去後信号dl0fは、入力映像信号Di0のフィールドに対応するものであり、第1のフィールドメモリ11へ送られる。
巡回型ノイズ除去手段10は、例えば、図26に示されるように、減算手段101と、振幅制限手段102と、フレーム間動き検出手段103と、巡回係数生成手段104と、乗算手段105と、演算手段106とを備える。
図26において、減算手段101へは、現フィールドの信号Di0と2フィールド遅延信号d2fとが入力され、2フィールド遅延信号d2fから現フィールドの信号Di0を減算し、両者の差分(フレーム差分)Diffが求められる。
このフレーム差分Diffは、映像信号における「動き」の成分と「ノイズ」の成分を含み、フレーム差分Diffが0の場合は、完全に静止しており、かつ、ノイズ成分がない部分であり、動きもしくはノイズ成分があると、その値は大きくなる。
振幅制限手段102は、減算手段101からのフレーム差分Diffに対して、所定の値内(例えば、±dTh内)に振幅を制限し、振幅制限された差分値Dfnを入力信号Di0での画素におけるノイズ成分として出力する。
フレーム間動き検出手段103は、減算手段101からのフレーム差分Diffを受けて、フレーム差分Diffから映像信号でのフレーム間の動きを検出する。
具体的には、動きをその度合いに応じて複数の、例えば(FMD1+1)の等級乃至段階に分け、動きがどの段階に属するものであるかを示す動き度合い信号fmdsを出力する。
例えば、動きが最大級の場合、即ち映像信号が「完全動きである」場合を第1の所定の値、例えばfmds=FMD1とし、動きの度合いが最小級の場合、即ち、「完全静止画である」場合(これには、差分がノイズ成分によるものである場合が含まれる)には、第2の所定の値、例えばfmds=0とし、動きの度合いが大きいほどfmdsの値が大きくなる。FMD1は例えば「8」と定められる。但し、FMD1や8より大きくても良く、8より小さくても良い。
フレーム間動き検出手段103で生成された動き度合い信号fmdsは、巡回係数生成手段104へ送られる。
巡回係数生成手段104には、フレーム間動き検出手段103からの動き度合い信号fmdsが入力される。巡回係数生成手段104は、動き度合い信号fmdsに応じたノイズに対する巡回係数Kmを生成する。巡回係数Kmは、巡回型ノイズ除去を行う際のノイズの巡回値を設定するものであり、0≦Km≦1で設定される。この巡回係数Kmの値が1に近いほど、ノイズ除去を行うノイズの巡回値が大きくなり、ノイズ除去効果が高くなる。一方、巡回係数Kmの値がゼロ(Km=0)であると、ノイズの巡回値はゼロとなり、ノイズ除去は行われない。
すなわち、動き度合い信号fmds=FMD1(例えば8)であって完全動きを示す場合は巡回係数Km=0とし、動きの度合いが最小級であり、完全静止画であると検出される場合(これには差分がノイズ成分によると検出される場合が含まれる)場合、即ち、fmds=0の場合は、Km0=Kmax(Kmax≦1)として、動きの度合い(動き度合い信号fmdsの値)が大きくなるにつれ、巡回係数Km0の値が小さくなるように変化させる。
巡回係数生成手段104は、例えば動き度合い信号fmdsの値との乗算を行う手段や、動き度合い信号fmdsの値をアドレスとして入力するROM(Read Only Memory)により構成される。
巡回係数生成手段104からの巡回係数Kmは、図26における巡回型ノイズ除去手段10の乗算手段105へ供給される。
乗算手段に105へは、振幅制限手段102からの差分値Dfnと上記係数生成手段104からの巡回係数Kmが送られる。乗算手段105は、差分値Dfnに巡回係数Kmを乗算(Km×Dfnの演算を行ない)し、ノイズの巡回量Ndを求める。得られたノイズ巡回量Ndは、演算手段106へ供給される。
演算手段106には、上記乗算手段105からのノイズ巡回量Ndと入力された現フィールドの信号Di0が入力される。演算手段106は、現フィールドの信号Di0からノイズ巡回量Ndを減算する。即ち、乗算手段105からのノイズ巡回量Ndの符号が正であれば、その絶対値を減算し、符号が負であればその絶対値を加算する。
以上の処理により、映像信号中のノイズを除去し、巡回型ノイズ除去後信号dl0fを得る。上記のように巡回係数Kmが、動き度合い信号fmdsの値に応じた値となるので、動きの度合いに応じて、段階的にノイズの除去効果が変更されることになる。
次に再び図25を参照する。巡回型ノイズ除去手段10から出力された巡回型ノイズ除去後信号dl0fは、入力映像信号Di0のフィールドの信号であり、第1のフィールドメモリ11へ送られる。
第1乃至第7のフィールドメモリ11〜17は、映像信号を順次1フィールド(1垂直期間)遅延し、1フィールド遅延信号d1f乃至7フィールド遅延信号d7fを出力する。第1のフィールドメモリ11へは、巡回型ノイズ除去後信号dl0fが入力され、巡回型ノイズ除去後信号dl0fが第1乃至第7のフィールドメモリ11〜17により順次フィールド遅延されることとなる。
以下、フィールド遅延処理、非巡回型ノイズ除去処理手段20における非巡回型ノイズ除去処理、3次元IP変換処理手段65における3次元IP変換処理は、実施の形態1に関して図1、図2などを参照して説明したのと同じであり、その詳細な説明は省略する。
実施の形態4においては、インターレース信号入力時及びプログレッシブ信号入力時のどちらにおいても、巡回型ノイズ除去手段10と、非巡回型ノイズ除去処理手段20と、3次元IP処理手段65とで、少なくとも一部が同じフィールドメモリから出力される遅延信号を使用する。
次に、実施の形態4による映像信号処理装置4における、巡回型ノイズ除去手段10による巡回型ノイズ除去、非巡回型ノイズ除去処理手段20による非巡回型ノイズ除去、及び3次元IP変換処理手段65による3次元IP変換について、図27のフローチャートを参照して説明する。図27において、図11と同じ符号は同一又は同様の処理を示す。
最初に、映像信号処理装置4への入力映像信号が、インターレース信号である場合の動作を説明する。2フィールド遅延信号d2fをIP変換における補間フィールドの信号とする。
映像信号処理装置4へ入力映像信号Di0が入力されると(S100)、入力映像信号Di0は、2フィールド遅延信号d2fとともに、巡回型ノイズ除去手段10へ送られる。巡回型ノイズ除去手段10では、現フィールドの信号Di0と2フィールド遅延信号d2fのフレーム差分Diffが求められ、このフレーム差分Diffから動きの動き度合い信号fmdsを得るとともに、この動き度合い信号fmdsに基づきノイズ成分に対する巡回係数Kmを求め、差分Diffと巡回係数Kmに基づくノイズ除去処理を行い、巡回型ノイズ除去後信号dl0fを得る(S101)。
巡回型ノイズ除去後信号dl0fは、入力映像信号Di0と同じフィールドの信号(入力映像信号Di0を遅延させていない信号)、第1のフィールドメモリ11へ送られ、第1乃至第7フィールドメモリ11〜17で順次1フィールド(1垂直期間)遅延されて、フィールド遅延信号d1f〜d7fが出力される(S1)。巡回型ノイズ除去後信号dl0fをフィールド遅延するので、遅延信号も巡回型ノイズ除去処理を施された信号である。
実施の形態1などと同様、非巡回ノイズ除去処理で用いられる遅延信号と3次元IP変換で用いられる遅延信号が共通のフィールドメモリから得られる。
以下、図27におけるステップS2乃至S9における動作、即ち非巡回型ノイズ除去処理手段20による非巡回型ノイズ除去処理、3次元IP変換処理手段65による3次元IP変換は、現フィールドの信号が巡回型ノイズ除去後信号dl0fであること以外、上記実施の形態1に関し図11を参照して説明したのと同じであるので詳細な説明は省略する。
プログレッシブ信号入力時においては、ステップS100、S101、及びS1における巡回型ノイズ除去処理、及び巡回型ノイズ除去後信号dl0fの遅延信号を得る処理はインターレース信号入力時と同じである。一方、IP変換を行う必要がないので、上記ステップS3、S4、S5、S6、S7の処理は省略される。
入力信号のフィールド遅延処理(S1)及び非巡回型ノイズ除去処理手段20による非巡回ノイズ除去処理(S2)が行われ、切換手段62によりノイズ除去後実ライン信号Rnrが選択され、出力映像信号Do0が得られる。
なお、プログレッシブ信号入力時には、2フィールド遅延信号d2fの代わりに1フィールド遅延信号d1fを用いて巡回型ノイズ除去処理を行うこととしても良い。プログレッシブ信号の場合には、1フィールド遅延信号d1fと入力映像信号Di0とに基づきフレーム差分を得ることができるためである。
なお、非巡回型ノイズ除去処理手段20における動作は、実施の形態1に関し図12を参照して説明した動作、及び実施の形態2に関し図18を参照して説明した動作と同じであるので、その詳細な説明は省略する。
以上より、実施の形態4の映像信号処理装置4によれば、巡回型ノイズ除去処理を行い、巡回型ノイズ除去後信号dl0fをフィールド遅延して、フィールド遅延信号d1f〜d7fとを得ており、そのうちの2フィールド遅延信号d2fは、巡回型ノイズ除去手段10で使用される。また、巡回型ノイズ除去後信号dl0fとその遅延信号d1f〜d7fのうち、4フィールド又は4フレームの信号を用いて、非巡回型ノイズ除去処理手段20において非巡回型ノイズ除去処理を行うとともに、3次元IP変換処理手段65において3次元IP変換を行っている。このように、ノイズ除去処理と3次元IP変換処理で使用するフィールド遅延信号を共通のフィールドメモリにより得ており、フィールドメモリを大幅に増やすことなく、良好にノイズ除去されたプログレッシブ信号を得ることができる。
さらに、巡回型ノイズ除去処理を行った巡回型ノイズ除去後信号dl0fをフィールド遅延して、巡回型ノイズ除去後信号dl0fとそのフィールド遅延信号を用いて非巡回ノイズ除去処理及び3次元IP変換を行うので、巡回型ノイズ除去処理では、微小のノイズを除去し、動き部の尾引きや残像という弊害がない程度の巡回係数を設定してノイズ除去を行い、その後、非巡回ノイズ除去処理と3次元IP変換を行うように構成でき、ノイズ除去をより効果的に行うことができる。
なお、上記実施の形態4における映像信号処理装置4では、巡回型ノイズ除去処理手段10を図26に示す構成とし、現フィールド又はフレームの信号と巡回型ノイズ除去後信号dl0fを2フィールド遅延した信号を用いて、フレーム間での動きに基づき、巡回係数生成手段104において動き検出結果に応じたノイズに対する巡回係数を生成するものとして説明したが、巡回型ノイズ除去処理手段10の構成は図26に示すものに限らず、例えば図28に示す巡回型ノイズ除去手段10bのような構成とすることもできる。
図28において、図26の構成と同一又は対応する構成には、同じ符号を付してある。図28に示される巡回型ノイズ除去手段10bは、上記図26における巡回係数生成手段104の代わりに巡回係数設定手段107を備え、巡回係数設定手段107により所定の巡回係数Kmを設定し、さらにフレーム間動き検出手段103からの動き度合い信号fmdsに応じて、演算手段106から出力される巡回型ノイズ除去後信号lnfと入力信号Di0とを混合する混合手段108を備えており、これにより動き度合い信号fmdsに応じた混合比で、所定の巡回係数Kmによるノイズ除去後の信号Infとノイズ除去を行っていない信号(入力映像信号)Di0を混合して、動きにより制御された巡回型ノイズ除去後の信号dl0fbを得る。巡回係数設定手段107と混合手段108以外の構成及び動作は、上記で説明した巡回型ノイズ除去処理手段10と同様であるので、その詳細な説明は省略する。
図28において、巡回型ノイズ除去手段10b内の巡回係数設定手段107で、所定の巡回係数Kmを設定するが、減算手段101からフレーム差分Diffが得られ、振幅制限手段102で振幅制限された差分値Dfnを得て、フレーム間動き検出手段103から動き度合い信号fmdsを出力し、乗算手段105でKm×Dfnによる巡回量Ndを求め、演算手段106では、現フィールドの信号Di0からノイズ巡回量Ndを減算することで、映像信号中のノイズを除去し、巡回型ノイズ除去後信号Infを得る。ここまでは、図26と同じである。
混合手段108には、巡回型ノイズ除去後信号lnfとノイズ除去を行っていない入力映像信号Di0とを、動き度合い信号fmdsに応じた混合比で混合する。ここで、巡回型ノイズ除去後信号lnfは、所定のノイズ除去効果を生じる巡回係数Kmでノイズ除去処理された信号であり、フレーム間動き検出手段103からの動き度合い信号fmdsの値に対応して混合比を変化させ、巡回型ノイズ除去後信号lnfとノイズ除去を行っていない入力映像信号Di0を混合する。動きの度合い(動き度合い信号fmdsの値)が大きくなるにつれ、巡回型ノイズ除去後信号lnfの比率が小さくなるように変化させることで、動きを考慮した巡回型ノイズ除去後の信号dl0fbが得られることになる。
例えば、入力映像信号Di0と巡回型ノイズ除去後信号Infの混合割合をfmds:(FMD1−fmds)とし、
dl0fb=Di0×fmds/FMD1+Inf×(FMD1−fmds)/FMD1
により、d10fbを求める。
ここで、FMD1は、動き度合い信号fmdsが取り得る値の最大値である。また、動き度合い信号fmdsが取りうる値の最小値は0である。
なおまた、実施の形態4における映像信号処理装置4では、実施の形態1の映像信号処理装置1(図1参照)の構成における第1のフィールドメモリ11への入力を巡回型ノイズ除去手段10からの巡回型ノイズ除去処理後の信号とするよう構成したが、実施の形態3の映像信号処理装置3(図19参照)の構成における第1のフィールドメモリ11への入力を巡回型ノイズ除去手段10からの巡回型ノイズ除去処理後の信号とするよう構成することも可能である。また、非巡回型ノイズ除去処理手段20の代わりに、実施の形態2における非巡回型ノイズ除去処理手段200を用いることも可能である。いずれにしても、第1のフィールドメモリ11への入力を巡回型ノイズ除去手段10からの巡回型ノイズ除去処理後の信号とするよう構成できれば、上記実施の形態4と同様の効果を奏する。
実施の形態1〜4の変形例.
なお、実施の形態2乃至4においても、実施の形態1に関して述べたのと同様に、非巡回型ノイズ除去処理で4より多いフィールド又はフレームを用いたフィルタ処理を行うよう構成してもよく、より多数のフィールド又はフレームを用いたフィルタ処理を行えば、時間的により離れたフレーム間での演算となり、時間軸の中でフレーム相関のないノイズ成分が除去され、ノイズ除去効果をより大きくすることができる。
さらに、3フィールド又はフレーム、又は2フィールド又はフレームを用いたフィルタ処理を行うように構成しても良い。要するに、現フィールドの信号と遅延信号のうち、2以上の、即ち複数のフィールド又はフレームを用いたフィルタ処理を行うように構成すれば良い。
以上、実施の形態1乃至4において、映像信号処理装置1、3、4の各構成要素がハードウェアで構成されたものとして説明しているが、これらを、ソフトウェアの処理により、即ちプログラムされたコンピュータにより実現するよう構成してもよい。
実施の形態5.
実施の形態1乃至4においては、映像信号処理装置及び映像信号処理方法を実施することができる装置について説明したが、本発明は、入力映像信号のノイズ除去を行って処理し、高画質で表示する映像信号表示装置にも適用できる。以下では、TV放送信号やDVD、VTR等の記録再生装置、TV放送受信装置などから入力される映像信号を処理し、実施の形態1乃至4の映像信号処理装置1、3、4をその一部として備え、映像信号を表示する映像信号表示装置を実施の形態5として説明する。
図29は、本発明の実施の形態5による映像信号表示装置の一例を示すブロック図である。図示の映像信号表示装置5は、入力端子111と、入力信号処理手段112と、映像信号処理手段110と、表示処理手段113と、表示手段114とを備え、ノイズ除去されたプログレッシブ信号である映像信号を表示手段114で表示するものである。
映像信号処理手段110は、実施の形態1若しくは実施の形態2の映像信号処理装置1、又は実施の形態2の映像信号処理装置3、又は実施の形態4の映像信号処理装置4のように構成される。
入力端子111には、TV放送信号やDVD、VTR等の記録再生装置、TV放送受信装置等からの信号が入力される。入力端子111に入力された信号は、入力信号処理手段112へ送られる。
入力信号処理手段112は、TV放送信号やDVD、VTR等の記録再生装置、TV放送受信装置等からの信号に対し、入力信号処理を行うものであり、例えば、アナログ信号が入力される場合は、信号のデジタル信号への変換、同期信号の分離等の入力信号処理を施し、MPEGデータを受けた場合には、MPEGデータをデコードするなどの処理を施す。そして、入力信号処理された映像信号を映像信号処理手段110へ出力する。ここで、入力信号処理された映像信号は、インターレース信号又はプログレッシブ信号の場合がある。
映像信号処理手段110は、ノイズ除去処理及び3次元IP変換を行い、ノイズ除去後のプログレッシブ信号を表示処理手段113へ出力する。
表示処理手段113は、ノイズ除去されたプログレッシブ信号に対し、スケーリング処理などの表示信号へと変換するための信号処理を施し、表示信号として表示手段114へ出力する。表示手段114は、表示処理手段113からの表示信号に基づき映像を表示する。
以上に説明したように、実施の形態5の映像信号表示装置によれば、実施の形態1乃至4の映像信号処理装置を用いるので、フィールド遅延手段としてのフィールドメモリなど回路規模を大幅に増加させることなく、動き部分のエッジ、輪郭のぼけや劣化を防止して、ノイズ除去処理を行い、尾引きや残像という弊害を低減し、良好にノイズ除去されたプログレッシブ信号を用いた、高品質な映像を表示することができる。
本発明の実施の形態1による映像信号処理装置1の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置1における非巡回型ノイズ除去処理手段20の一構成例を示すブロック図である。 実施の形態1による映像信号処理装置1におけるインターレース信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係の一例を示す図である。 実施の形態1による映像信号処理装置1におけるプログレッシブ信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係の一例を示す図である。 実施の形態1による映像信号処理装置1における非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21及び第1の補間ラインノイズ除去手段221として用いられる非巡回型ノイズ除去処理手段70を示すブロック図である。 図5に示される非巡回型ノイズ除去処理手段70における差分検出手段731の一構成例を示すブロック図である。 図6に示される動き感度変換手段737の入出力特性の一例を示す図である。 図5に示される非巡回型ノイズ除去処理手段70におけるエッジ部調整手段740の一構成例を示すブロック図である。 図5に示される非巡回型ノイズ除去処理手段70におけるNR動き度合い信号mdsの値とこれに応じてフィルタ係数発生手段710で生成されるフィルタ係数のノイズ除去の強さの関係を概念的に示す図である。 実施の形態1による映像信号処理装置1における非巡回型ノイズ除去処理手段20内の第2の補間ラインノイズ除去手段222として用いられる非巡回型ノイズ除去処理手段71を示すブロック図である。 実施の形態1による映像信号処理装置1の動作を示すフローチャートである。 実施の形態1による映像信号処理装置1における非巡回型ノイズ除去処理の動作を示すフローチャートである。 実施の形態1による映像信号処理装置1におけるプログレッシブ信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係の他の例を示す図である。 実施の形態1による映像信号処理装置1におけるプログレッシブ信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係のさらに他の例を示す図である。 本発明の実施の形態2における非巡回型ノイズ除去処理手段20内の実ラインノイズ除去手段21及び第1の補間ラインノイズ除去手段221として用いられる非巡回型ノイズ除去処理手段80を示すブロック図である。 実施の形態2における非巡回型ノイズ除去処理手段20内の第2の補間ラインノイズ除去手段222として用いられる非巡回型ノイズ除去処理手段81を示すブロック図である。 図15に示される非巡回型ノイズ除去処理手段80における混合手段801における、NR動き度合い信号mdsの値と混合比率の関係の一例を示す図である。 実施の形態2における非巡回型ノイズ除去処理の動作を示すフローチャートである。 本発明の実施の形態3による映像信号処理装置3の構成の一例を示すブロック図である。 実施の形態3による映像信号処理装置3における非巡回型ノイズ除去処理手段200の一構成例を示すブロック図である。 実施の形態3による映像信号処理装置3におけるインターレース信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係の一例を示す図である。 実施の形態3による映像信号処理装置3における非巡回型ノイズ除去処理手段20内の第1の補間ラインノイズ除去手段221の構成の一例を示すブロック図である。 実施の形態3による映像信号処理装置3におけるインターレース信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係の他の例を示す図である。 実施の形態3による映像信号処理装置3におけるインターレース信号入力時の現フィールドの信号Di0と遅延信号の時間方向と垂直走査方向の位置関係のさらに他の例を示す図である。 本発明の実施の形態4による映像信号処理装置4の構成の一例を示すブロック図である。 実施の形態4による映像信号処理装置4における巡回型ノイズ除去処理手段10の一構成例を示すブロック図である。 実施の形態4による映像信号処理装置4の動作を示すフローチャートである。 図25の映像信号処理装置4において、巡回型ノイズ除去処理手段10の代わりに用い得る巡回型ノイズ除去処理手段10bの他の構成例を示すブロック図である。 本発明の実施の形態5による映像信号表示装置の構成の一例を示すブロック図である。
符号の説明
1,3,4 映像信号処理装置、 11〜17 フィールドメモリ、 18 切換信号生成手段、 20,200 非巡回型ノイズ除去処理手段、 65 3次元IP変換処理手段、 66 補間動き検出手段、 30 フィールド内補間処理手段、 40 動き検出手段、 50 テレシネ検出手段、 60 補間信号生成手段、 61 時間軸変換手段、 62 切換手段、 21 実ラインノイズ除去手段、 22 補間ラインノイズ除去手段、 221 第1の補間ラインノイズ除去手段、 222,223 第2の補間ラインノイズ除去手段、 201〜203,204〜207 切り換え手段、 70,71 非巡回型ノイズ除去処理手段、 700 ノイズ除去フィルタ手段、 710,711 フィルタ係数発生手段、 720,721 NR動き検出手段、 701〜704 係数乗算手段、 705 加算手段、 730 フレーム差分検出手段、 740,741 エッジ部調整手段、 750 変換手段、 731〜733 差分検出手段、 734 合成手段、 735 差分演算手段、 736 絶対値演算手段、 737 動き感度変換手段、 742 平均化手段、 743 調整手段、 744 エッジ判定手段、 745 選択手段、 80,81 非巡回型ノイズ除去処理手段、 820,821 フィルタ係数設定手段、 801,811 混合手段、 10,10b 巡回型ノイズ除去処理手段、 101 減算手段、 102 振幅制限手段、 103 フレーム間動き検出手段、 104 巡回係数生成手段、 105 乗算手段、 106 演算手段、 107 巡回係数設定手段、 108 混合手段、 5 映像信号表示装置、 110 映像信号処理手段、 111 入力端子、 112 入力信号処理手段、 113 表示処理手段、 114 表示手段。

Claims (11)

  1. 映像信号のフィールド間又はフレーム間で相関のないノイズ成分を除去し、ノイズ成分が除去された順次走査映像信号を得るための映像信号処理装置であって、
    入力映像信号又はこれを巡回型ノイズ除去処理することにより得られる映像信号で構成される現フィールド又はフレームの映像信号を、垂直同期信号で区切られる期間であるフィールド期間単位で遅延させて複数の遅延映像信号を出力するフィールド遅延手段と、
    上記現フィールド又はフレームの映像信号と上記複数の遅延映像信号とから成る複数のフィールド又はフレームの映像信号が入力され、当該複数のフィールド又はフレーム間の信号の差分から動きを求めるとともに、得られた動きにより制御されたフィルタ処理を行ってノイズを除去し、非巡回型ノイズ除去後の信号を生成する非巡回型ノイズ除去処理手段と、
    上記入力映像信号が飛び越し走査映像信号である場合に、
    上記複数のフィールド又はフレームの映像信号と、上記非巡回型ノイズ除去後の信号とから、フィールド内補間処理及びフィールド間補間処理の一方又は双方の組み合わせにより走査線補間信号を生成して、飛び越し走査映像信号を順次走査映像信号に変換し、ノイズ成分が除去された順次走査映像信号を生成する3次元走査線変換処理手段と、
    上記入力映像信号が飛び越し走査映像信号であるか順次走査映像信号であるかにより、上記非巡回型ノイズ除去後の信号と、上記3次元走査線補間処理手段からの上記順次走査映像信号とのいずれかを選択して、ノイズ成分が除去された順次走査映像信号として出力する切換え手段と
    を備えたこと特徴とする映像信号処理装置。
  2. 上記非巡回型ノイズ除去処理手段は、
    ノイズ除去の対象となる1又は2以上の中心フィールド又はフレームの各々における注目画素の信号と、各中心フィールド又はフレームとその前又は後に隣接するフィールド又はフレームの信号との間の差分から動きを求めるとともに、得られた動きにより制御して、上記各中心フィールド又はフレームの上記注目画素と、上記各中心フィールド又はフレームと画素が同一位置にある1又は2以上のフィールド又はフレーム内の、上記注目画素と同一位置の画素の信号を用いてフィルタ処理することでノイズ除去を行い、上記非巡回型ノイズ除去後の信号を出力するものであり、
    上記飛び越し走査映像信号の実走査線信号又は上記順次走査映像信号を受け、
    上記飛び越し走査映像信号の実走査線信号を受けたときは、補間フィールドを上記中心フィールドとし、上記中心フィールドにおける補間対象画素を注目画素とし、上記注目画素の信号に対して上記非巡回型ノイズ除去を行って、非巡回型ノイズ除去後の実走査線信号を出力し、
    上記順次走査映像信号を受けたときは、上記中心フレームにおける上記注目画素の信号に対して上記非巡回型のノイズ除去を行って、非巡回型ノイズ除去後の実走査線信号を出力する実走査線ノイズ除去手段と、
    上記飛び越し走査映像信号の実走査線信号を受け、上記補間フィールドに時間的に隣接するフィールド(以下、「補間用フィールド」と言う)を上記中心フィールドとし、上記補間用フィールド内にあり、上記補間フィールド内の補間対象画素と同一の位置にある画素を注目画素とし、上記注目画素の信号に対して上記非巡回型ノイズ除去を行って、非巡回型ノイズ除去後の補間用走査線信号を出力する補間走査線ノイズ除去手段とを備え、
    上記非巡回型ノイズ除去後の実走査線信号と、上記非巡回型ノイズ除去後の補間用走査線信号とを上記非巡回型ノイズ除去後の信号として出力する
    ことを特徴とする請求項1に記載の映像信号処理装置。
  3. 上記実走査線ノイズ除去手段及び上記補間走査線ノイズ除去手段の各々は、
    複数のフィールド又はフレームの互いに同一位置にある画素の信号を受け、上記中心フィールド又はフレームにおける上記注目画素の信号と他のフィールド又はフレームにおける、上記注目画素と同一位置の画素の信号との差分を演算し、この差分から信号の動きを検出し、動き検出結果を出力するノイズ除去動き検出手段と、
    上記ノイズ除去動き検出手段からの動き検出結果に応じて各フィールド又はフレームの信号に対するフィルタ係数を生成して出力するフィルタ係数発生手段と、
    上記複数のフィールド又はフレームの互いに同一位置にある画素の信号を用いて、上記フィルタ係数発生手段からのフィルタ係数によるフィルタ処理を行うノイズ除去フィルタ手段とを備え、
    上記ノイズ除去フィルタ手段からのフィルタ処理後の信号を上記非巡回型ノイズ除去後の信号として出力する
    ことを特徴とする請求項2に記載の映像信号処理装置。
  4. 上記実走査線ノイズ除去手段及び上記補間走査線ノイズ除去手段の各々は、複数のフィールド又はフレームの互いに同一位置にある画素の信号を受け、上記中心フィールド又はフレームの信号と他のフィールド又はフレームの信号との差分を演算し、この差分から信号の動きを検出し、動き検出結果を出力するノイズ除去動き検出手段と、
    所定のノイズ除去効果を与える各フィールド又はフレームの信号に対するフィルタ係数を設定して出力するフィルタ係数設定手段と、
    上記複数のフィールド又はフレームの互いに同一位置にある画素の信号を用いて、上記フィルタ係数設定手段からのフィルタ係数によるフィルタ処理を行って、ノイズ除去フィルタ出力信号を出力するノイズ除去フィルタ手段と、
    上記ノイズ除去動き検出手段からの動き検出結果に応じた混合比により、上記ノイズ除去フィルタ出力信号とノイズ除去されていない上記中心フィールド又はフレームの信号を混合処理し、混合した信号を上記非巡回型ノイズ除去後の信号として出力する混合手段と
    を備えたことを特徴とする請求項2に記載の映像信号処理装置。
  5. 上記ノイズ除去動き検出手段は、上記複数のフィールド又はフレームの互いに同一位置にある画素の信号を受け、上記中心フィールド又はフレームの信号と他のフィールド又はフレームの信号との差分をフレーム差分として求め、求められたフレーム差分から動きを表す動き差分信号を検出し、出力するフレーム差分検出手段と、
    上記中心フィールド又はフレームの信号におけるエッジ部分を検出し、上記フレーム差分検出手段からの動き差分信号に対し、エッジ部の動き差分信号の調整を行うとともに、上記注目画素の周辺の画素についての動き差分信号との平均化処理を行い、調整後の動き差分信号を出力するエッジ部調整手段と、
    上記調整後の動き差分信号を、動きの度合いを示す動き度合い信号へ変換し、動き検出結果として出力する変換手段とを備え、
    上記動き検出結果を、入力された複数のフィールド又はフレームの信号間の動きを表すものとして出力する
    ことを特徴と請求項3又は4に記載の映像信号処理装置。
  6. 上記エッジ部調整手段は、
    上記注目画素がエッジを構成するものか否かを判定し、その判定結果と、上記動き差分信号に対する調整値を求め、出力するエッジ判定手段と、
    上記動き差分信号を受け、上記注目画素についての上記動き差分信号と上記周辺の画素についての上記動き差分信号との平均値を求め、平均化された動き差分信号を出力する平均化手段と、
    上記調整値により、上記フレーム差分検出手段から出力される上記動き差分信号を調整し、調整された動き差分信号を出力する調整手段と、
    上記平均化された動き差分信号と、上記調整された動き差分信号を、上記エッジ判定手段から出力された上記判定結果とを受け、
    上記判定結果により、上記注目画素がエッジを構成すると判定されたときは、上記調整された動き差分信号を選択し、
    上記注目画素がエッジを構成すると判定されなかったときは、上記平均化された動き差分信号を選択する選択手段とを備え、
    上記選択手段の出力を、エッジ部調整後の動き差分信号として出力する
    ことを特徴とする請求項5に記載の映像信号処理装置。
  7. 上記非巡回型ノイズ除去処理手段は、上記非巡回型ノイズ除去後の信号として、上記非巡回型ノイズ除去後の実走査線信号と、上記非巡回型ノイズ除去後の補間用走査線信号とを出力し、
    上記3次元走査線変換処理手段は、
    飛び越し走査映像信号の上記補間フィールド内の信号により、補間走査線信号を生成するフィールド内補間処理手段と、
    上記現フィールドの映像信号と、上記遅延映像信号とを受け、映像信号のフィールド間の差分から信号の動きを検出し、この検出結果に基づき補間切換え信号を生成する補間動き検出手段と、
    上記補間動き検出手段から出力される補間切換え信号に基づき、上記非巡回型ノイズ除去処理手段からの非巡回型ノイズ除去後の補間用走査線信号と、上記フィールド内補間処理手段からの補間走査線信号とに対し、3次元走査線処理を行い、フィールド内補間処理及びフィールド間補間処理された補間走査線信号を生成する補間信号生成手段と、
    上記補間信号生成手段から出力された補間走査線信号を、上記非巡回型ノイズ除去処理手段からの非巡回型ノイズ除去後の実走査線信号の対応する走査線間にはめ込み、倍速変換して、プログレッシブ信号へ変換して出力する時間軸変換手段とを備え、
    飛び越し走査映像信号を順次走査映像信号に変換し、ノイズ成分が除去された順次走査映像信号を出力することを特徴とする請求項2に記載の映像信号処理装置。
  8. 上記補間動き検出手段は、
    上記映像信号の1フレーム間の差分情報、及び2フレーム間の差分情報を求め、得られた差分情報に基づき、1フレーム間及び2フレーム間の映像信号の動きを検出し、映像信号の動きの度合いを示す動き検出信号を出力する動き検出手段と、
    上記映像信号のフレーム間の差分及びフィールド間の差分を求め、得られた差分から上記現フィールド又はフレームの映像信号がテレシネ映像信号であるか否かを検出し、検出結果に基づいて、テレシネ補間を行うためのテレシネ映像信号の検出と補間位相を示すテレシネ検出信号を生成して出力するテレシネ検出手段とを備え、
    上記動き検出手段からの動き検出信号と、上記テレシネ検出手段とからのテレシネ検出信号を上記補間切換え信号として出力する
    ことを特徴とする請求項7に記載の映像信号処理装置。
  9. 入力映像信号を受けて巡回型ノイズ除去処理する巡回型ノイズ除去処理手段をさらに備え、
    上記フィールド遅延手段は、上記入力映像信号を、上記巡回型ノイズ除去処理手段で巡回型ノイズ除去処理することにより得られる信号を上記フィールド期間単位で遅延させ、
    上記巡回型ノイズ除去処理手段は、上記入力映像信号のほか、上記遅延映像信号を受けて上記ノイズ除去処理を行ない、
    上記非巡回型ノイズ除去処理手段は、上記巡回型ノイズ除去処理手段から出力された巡回型ノイズ除去後の信号を上記現フィールド又はフレームの信号として受け、上記遅延映像信号とともに用いて上記の非巡回型ノイズ除去処理を行い、
    上記3次元走査線変換処理手段は、上記巡回型ノイズ除去処理手段から出力された巡回型ノイズ除去後の信号と、上記遅延映像信号を用いて上記の飛び越し走査映像信号を順次走査映像信号に変換する処理を行なう
    ことを特徴とする請求項1乃至8のいずれかに記載の映像信号処理装置。
  10. 請求項1乃至9のいずれか1項記載の映像信号処理装置と、
    表示手段と、
    上記映像信号処理装置から出力されたノイズ成分が除去された順次走査映像信に基づく映像を、上記表示手段に表示させる表示処理手段と
    を備えたことを特徴とする映像信号表示装置。
  11. 映像信号のフィールド間又はフレーム間で相関のないノイズ成分を除去し、ノイズ成分が除去された順次走査映像信号を得るための映像信号処理方法であって、
    入力映像信号又はこれを巡回型ノイズ除去処理することにより得られる映像信号で構成される現フィールド又はフレームの映像信号を、垂直同期信号で区切られる期間であるフィールド期間単位で遅延させて複数の遅延映像信号を出力するフィールド遅延ステップと、
    上記現フィールド又はフレームの映像信号と上記複数の遅延映像信号とから成る複数のフィールド又はフレームの映像信号が入力され、当該複数のフィールド又はフレーム間の信号の差分から動きを求めるとともに、得られた動きにより制御されたフィルタ処理を行ってノイズを除去し、非巡回型ノイズ除去後の信号を生成する非巡回型ノイズ除去処理ステップと、
    上記入力映像信号が飛び越し走査映像信号である場合に、
    上記複数のフィールド又はフレームの映像信号と、上記非巡回型ノイズ除去後の信号とから、フィールド内補間処理及びフィールド間補間処理の一方又は双方の組み合わせにより走査線補間信号を生成して、飛び越し走査映像信号を順次走査映像信号に変換し、ノイズ成分が除去された順次走査映像信号を生成する3次元走査線変換処理ステップと、
    上記入力映像信号が飛び越し走査映像信号であるか順次走査映像信号であるかにより、上記非巡回型ノイズ除去後の信号と、上記3次元走査線補間処理ステップからの上記順次走査映像信号とのいずれかを選択して、ノイズ成分が除去された順次走査映像信号として出力する切換えステップと
    を備えたこと特徴とする映像信号処理方法。
JP2007335434A 2007-12-27 2007-12-27 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 Active JP5057964B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007335434A JP5057964B2 (ja) 2007-12-27 2007-12-27 映像信号処理装置、映像信号処理方法、及び映像信号表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007335434A JP5057964B2 (ja) 2007-12-27 2007-12-27 映像信号処理装置、映像信号処理方法、及び映像信号表示装置

Publications (2)

Publication Number Publication Date
JP2009159337A true JP2009159337A (ja) 2009-07-16
JP5057964B2 JP5057964B2 (ja) 2012-10-24

Family

ID=40962840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007335434A Active JP5057964B2 (ja) 2007-12-27 2007-12-27 映像信号処理装置、映像信号処理方法、及び映像信号表示装置

Country Status (1)

Country Link
JP (1) JP5057964B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03190473A (ja) * 1989-12-20 1991-08-20 Nec Home Electron Ltd ビデオ信号処理装置
JPH03220889A (ja) * 1990-01-26 1991-09-30 Hitachi Ltd 動き情報信号検出回路
JPH07236074A (ja) * 1993-09-21 1995-09-05 Mitsubishi Electric Corp 画像雑音除去装置
JPH1079872A (ja) * 1996-09-03 1998-03-24 Victor Co Of Japan Ltd 映像信号処理回路
JPH11136628A (ja) * 1997-10-29 1999-05-21 Canon Inc 信号処理装置
JP2000270301A (ja) * 1999-03-15 2000-09-29 Toshiba Corp 映像信号処理装置
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2003169300A (ja) * 2001-12-03 2003-06-13 Mitsubishi Electric Corp 映像信号処理装置
JP2004096628A (ja) * 2002-09-03 2004-03-25 Sony Corp 巡回型のノイズリダクション装置およびノイズリダクション方法、並びに画像信号処理装置
JP2006067024A (ja) * 2004-08-24 2006-03-09 Funai Electric Co Ltd 映像信号設定装置
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03190473A (ja) * 1989-12-20 1991-08-20 Nec Home Electron Ltd ビデオ信号処理装置
JPH03220889A (ja) * 1990-01-26 1991-09-30 Hitachi Ltd 動き情報信号検出回路
JPH07236074A (ja) * 1993-09-21 1995-09-05 Mitsubishi Electric Corp 画像雑音除去装置
JPH1079872A (ja) * 1996-09-03 1998-03-24 Victor Co Of Japan Ltd 映像信号処理回路
JPH11136628A (ja) * 1997-10-29 1999-05-21 Canon Inc 信号処理装置
JP2000270301A (ja) * 1999-03-15 2000-09-29 Toshiba Corp 映像信号処理装置
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2003169300A (ja) * 2001-12-03 2003-06-13 Mitsubishi Electric Corp 映像信号処理装置
JP2004096628A (ja) * 2002-09-03 2004-03-25 Sony Corp 巡回型のノイズリダクション装置およびノイズリダクション方法、並びに画像信号処理装置
JP2006067024A (ja) * 2004-08-24 2006-03-09 Funai Electric Co Ltd 映像信号設定装置
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Also Published As

Publication number Publication date
JP5057964B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
US9185431B2 (en) Motion detection device and method, video signal processing device and method and video display device
US6414719B1 (en) Motion adaptive median filter for interlace to progressive scan conversion
US8218083B2 (en) Noise reducer, noise reducing method, and video signal display apparatus that distinguishes between motion and noise
US5892551A (en) Circuit and method for reducing flicker
JP2001320679A (ja) 映像インターレース−順次走査変換器における補間アーティファクトを隠すための装置および方法
US7787048B1 (en) Motion-adaptive video de-interlacer
US8305489B2 (en) Video conversion apparatus and method, and program
JPS6281888A (ja) ビデオ信号の補間器
JP2005175671A (ja) ノイズ低減回路及び方法
KR20070049097A (ko) 화상 처리 장치 및 방법, 기록 매체, 그리고 프로그램
US7443448B2 (en) Apparatus to suppress artifacts of an image signal and method thereof
US20070070243A1 (en) Adaptive vertical temporal flitering method of de-interlacing
US7868948B2 (en) Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal
US8391372B2 (en) Method of doubling frame rate of video signals
JP4679501B2 (ja) ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP5178477B2 (ja) 映像信号処理装置及び方法、並びに映像表示装置
JP5057964B2 (ja) 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
JP3898546B2 (ja) 画像走査変換方法及び装置
US20120169927A1 (en) Color difference signal ip conversion method
JP3062286B2 (ja) 動き検出回路および動き適応型走査線補間回路
EP0772351B1 (en) Motion detection for interlaced video signals
JP2580891B2 (ja) 走査線補間回路
JPH03291080A (ja) 動き適応型走査線補間装置
JP3756058B2 (ja) 映像信号処理装置
Lee et al. A high-quality spatial-temporal content-adaptive deinterlacing algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5057964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250