JP2007295226A

JP2007295226A - 映像処理装置

Info

Publication number: JP2007295226A
Application number: JP2006120235A
Authority: JP
Inventors: Akiyoshi Nagao; 章由長尾
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2006-04-25
Filing date: 2006-04-25
Publication date: 2007-11-08

Abstract

【課題】インターレースをプログレッシブ画像に変換する方法として，重ね合わせやダブリング等の方法がある。この場合は元の画像が１ライン置きに表示されているため，そのままノイズのフィルタリングを行うと，注目画素と周辺画素の関係を正しく参照できないため，誤ったフィルタリングを行う場合がある。
【解決手段】入力画像が正しいプログレッシブ画像（ＩＰ変換後の画像を含む）かインターレース画像の重ね合わせやダブリングで作成された画像かを判断し，重ね合わせ等で作成された画像と判断した場合には，１ライン置きに２つの画像に分割し，それぞれに対してノイズ除去を行った後再度重ね合わせて出力画像を作成する。
【選択図】図１

Description

本発明は、映像処理装置に関し、特に入力される信号が装置の外部で生成される場合のフィルタリング処理に関する。

従来の放送（たとえば地上アナログ放送）は、ＮＴＳＣやＰＡＬと呼ばれる方式で送信されている。また最近ではデジタル放送などでハイビジョン放送が行われている。これらに使われているのはインターレース走査を特徴とした信号方式である。インターレース走査とは、図５のように１枚のフレームを奇数ラインのフィールドと偶数ラインのフィールドで構成する方式である。この方式はＣＲＴを用いた映像表示システムでは、垂直周波数が向上するためフリッカーの低減に効果がある。また奇数ラインのフィールドと偶数ラインのフィールドを、時間軸上で連続した異なる画像から作成する場合、動きのある物体をよりなめらかに表示することができる。

ＬＣＤパネルを用いた映像表示システム等では、ＣＲＴを用いた映像表示システムとは異なり、表示方式としてプログレッシブ出力する必要がある。この場合に用いられる、インターレース信号をプログレッシブ信号に変換することをＩＰ変換という。

ＩＰ変換には様々な方式があり、たとえばフィールドの各ラインを２回出力する方式、２枚のフィールドを重ね合わせる方式、上下のラインから各画素をフィルタリングして補間する方式、前後のフィールドから動きベクトルを算出し、その動きベクトルを用いて補間する方式などである。

さらに、放送方式がデジタル化し、放送されたデジタル信号のままで記録再生する装置が普及している。また、そのような装置の中にはアナログ放送や他の映像機器から出力されるアナログ信号をデジタルに変換して記録することも可能なものも多い。

これらの装置には映像を記録するための手段としてＪＰＥＧやＭＰＥＧ等の圧縮技術が用いられている。これらはＤＣＴ（離散コサイン変換）を用いて符号化処理を行うため、画像をＭｘＮのブロックに分割し圧縮処理を行っている。そのため画像を圧縮するときに圧縮率によっては、また画像の複雑さによっては、モスキートノイズと呼ばれる主に輪郭の周辺にモヤモヤとしたノイズが発生する場合がある。

このノイズを除去するためには、ローパスフィルターを掛けてノイズの発生している部分の画像をぼかす事で目立たなくする事は出来るが、単純に画像全体にフィルターを掛けると、モスキートノイズだけでなく輪郭成分もぼけてしまうために画像の解像度感が損なわれてしまう。そのため、輪郭情報を抽出し、輪郭がブロック内に含まれるかどうかを判断して、輪郭が含まれるブロックにのみフィルタリングを行う方式や、輪郭情報を元に輪郭部分とそれ以外の部分でフィルターの重み付けを変更するような方式が考えられている。

例えば、特許文献１には、画素ブロック歪領域を特定してノイズ除去を行う技術が記載されている。また、特許文献２には、ノイズ除去してノイズ量を視覚的に画像表示する技術が記載されている。また、特許文献３には、注目画素とその周辺の画素信号を参照してモスキートノイズを除去する技術が記載されている。また、特許文献４には、圧縮符号化時に発生するモスキートノイズを復号時に除去する技術が記載されている。また、特許文献５には、注目画素と隣接画素のフィルタリング処理の実行の有無を判定してフィルター強度を調整する技術が記載されている。
このような記録再生装置は、インターレース画像をプログレッシブ画像に変換して出力する機能を備えている場合がある。
再表０２／０９３９３５号公報特開２００１−２７４９８３号公報特開２００２−３５４２５７号公報特開２００４−１７２９４４号公報特開２００５−１５１３８５号公報

これらのフィルタリング処理は、記録再生装置や表示装置のどちらでも行う事は可能である。しかし、再生装置から、例えばコンポーネント信号のようなアナログ信号で出力される場合には、再生装置側でどのようなフィルタリング処理を行っているかを、表示装置側に情報を伝える手段がない。そのため、表示装置側でも入力信号の状態にかかわらず、フィルタリング処理のＯＮ／ＯＦＦが選択できるようになっている。

また、記録再生装置では、インターレース画像をプログレッシブ画像に変換して出力する機能を備えている場合がある。この場合もフィルタリング処理の場合と同様に、表示装置側にプログレッシブ画像に変換したかの情報を伝える手段がない。そのため記録されているＭｘＮのブロックは、再生装置から出力される時に、ＭｘＮとは異なるサイズに変換される場合がある。たとえばＳＤ信号（４８０ｉ）をプログレッシブ化した場合、見かけ上ブロックはＭｘ２Ｎ（Ｎは縦方向のピクセル数とする）のサイズになる。

そのため、上下のライン間の相関が元の画像の場合に対して強くなるか、もしくは弱くなるため、期待しているフィルタリングの効果が得られなくなる場合が生じてしまうという問題があった。

第一の発明の映像処理装置は、入力されたプログレッシブ信号に対し、どのようにＩＰ変換されているかを判定する方式判定回路と、入力された映像を奇数ラインのみの画像と偶数ラインのみの画像に分割するフィールド分割回路と、モスキートノイズを除去するフィルター回路と、奇数ラインの画像と偶数ラインの画像を重ね合わせる重ね合わせ回路を持ち、方式判定回路からＩＰ変換の方式によって、分割された画像に対してフィルタリング処理を行うか、元の画像に対してフィルタリング処理を行うかを制御することを特徴とする。

また、第二の発明の映像処理装置は、インターレースの入力信号に対し、インターレースからプログレッシブに変換するＩＰ変換回路を持ち、ＩＰ変換回路で用いられた変換手段の情報を元に入力された映像を奇数ラインで構成された画像と偶数ラインで構成された画像に分割するフィールド分割回路と、モスキートノイズを除去するフィルター回路と、奇数ラインで構成された画像と偶数ラインで構成された画像を重ね合わせプログレッシブ画像を生成する重ね合わせ回路を持ち、方式判定回路で判定されたＩＰ変換の方式によって、分割された画像に対してそれぞれフィルタリング処理を行うか、元の画像に対してフィルタリング処理を行うかを制御することを特徴とする。

本発明によれば、外部でプログレッシブ信号に変換された入力信号のＩＰ変換方式を判定することにより、より効果的にモスキートノイズを除去することが可能となる。また、インターレース信号が入力された場合も、ＩＰ変換回路の情報を用いることにより、より効果的にモスキートノイズを除去することが可能となる。

以下に、本発明による映像処理装置の実施の形態を説明する。

図１は本発明を用いた映像処理装置の実施例１を示す。外部から入力されたプログレッシブ信号は、方式判定回路に送られてインターレース信号から外部でＩＰ変換された信号か、そうでない信号かを判定する。また、入力信号はフィールド分割回路に送られ、方式判定回路の結果を基に、インターレース画像の重ね合わせ等で有った場合は奇数ラインで構成される画像と偶数ラインで構成される画像に分割される。分割されたそれぞれの画像はフィルター回路Ａとフィルター回路Ｂに送られ、ノイズの除去を行う。ノイズ除去された信号は合成回路に送られ、奇数ラインと偶数ラインの関係を元に戻すようにプログレッシブ画像を再構築する。

ここで、方式判定回路がＩＰ変換されていない信号と判定した場合は、フィールド分割回路は分割を行わず、全ての信号をフィルター回路Ａに送り、合成回路もフィルター回路Ａの出力をそのまま本映像処理装置の出力とする。また、入力信号がインターレース画像（ＩＰ変換されていないことがあらかじめ判明している）であった場合も、フィルター回路Ａのみでフィルタリングを行う。

次に方式判定回路の動作について説明する。インターレース信号をプログレッシブ信号に変換する方法は様々であるが、代表的な物として、フィールド信号を単純に重ね合わせてプログレッシブ画像に変換する物、同じラインを２回出力しライン数を２倍に変換する物、上下のラインの相関から補間を行う方式、上下のラインの他に時間軸方向の相関を考慮して補間を行う方式、動きベクトルを用いて補間を行う方式がある。

判断するための一方法として、コーミングを検出する方式を述べる。コーミングはインターレース信号をライン毎に重ね合わせた場合に発生する。これはインターレース信号の各画像は映像をキャプチャする時間がずれているためで、特に動きのある部分の画像の輪郭がくし状になる。そのためコーミングの発生を検出することで、重ね合わせで作成された画像かどうかを判定することが可能である。また、コーミングは時間軸方向の相関を考慮して補間を行う方法や、動きベクトルを用いて補間を行う方式でも発生する場合がある。ただしこの場合は補完処理に誤りが発生している場合が多い。これらの場合もフィールド毎にフィルタリングすることが望ましい。

次に上下の相関を検出する方式について述べる。同じラインを重ね合わせた場合、上下のラインの相関を求めると、どちらかのラインは必ず相関が強いと判断されもう片方のラインとの相関は絵柄によって変化する。これはどのラインに付いても同様の結果が出るので、このような相関が検出された場合はフィールド毎にフィルタリングすることが望ましい。

次にインターレース信号を入力し内部でＩＰ変換を行う場合について説明する。インターレース信号はＩＰ変換回路でプログレッシブ信号に変換される。このとき変換の方式は上記したような種類がある。これらの方式はペアとなるフィールドの補間する方法なので、元の画像は１ライン置きに保存されている。そのため、フィールド分割回路で分割し、それぞれフィルタリングする方が望ましい。また、ＩＰ変換の方式として上記した以外に、垂直方向にフィルタリングを行い補間をする場合がある。このときは上下のラインの相関を見ても有為なる差を検出することが出来ないため、プログレッシブ信号と同様に分割せずにフィルタリング処理を行う。

なお、本例ではフィルター回路を２系統用意したが、時分割で使用する等フィルター回路を１組で実装することを妨げるものではない。

図１は、本発明の第一発明の実施例を示すブロック図である。図２は、フィールド信号とフレーム信号の関係を示す図である。図３は、インターレース信号の送信順序を示す図である。図４は、重ね合わせ方式でコーミングが発生する例である。図５は、同じラインを２回出力する方式の例である。図６は、本発明の第二発明の実施例を示すブロック図である。

符号の説明

１０入力端子
１１方式判定回路
１２フィールド分割回路
１３フィルター回路Ａ
１４フィルター回路Ｂ
１５合成回路
１６出力端子
１７ＩＰ変換回路

Claims

外部の再生機器で再生されたプログレッシブの入力映像信号に対し、どのようにＩＰ変換されているかを判定する方式判定回路と、入力された映像を奇数ラインで構成された画像と偶数ラインで構成された画像に分割するフィールド分割回路と、モスキートノイズを除去するフィルター回路と、奇数ラインで構成された画像と偶数ラインで構成された画像を重ね合わせプログレッシブ画像を生成する重ね合わせ回路を持ち、方式判定回路で判定されたＩＰ変換の方式によって、分割された画像に対してそれぞれフィルタリング処理を行うか、元の画像に対してフィルタリング処理を行うかを制御することを特徴とする映像処理装置。
請求項１の映像処理装置において、
映像中のコーミングの発生状況からどのようにＩＰ変換されているかを判定する方式判定回路を持つことを特徴とする映像処理装置。
請求項１の映像処理装置において、
映像中の上下のラインの相関からどのようにＩＰ変換されているかを判定する方式判定回路を持つことを特徴とする映像処理装置。
インターレースの入力信号に対し、インターレースからプログレッシブに変換するＩＰ変換回路を持ち、ＩＰ変換回路で用いられた変換手段の情報を元に入力された映像を奇数ラインで構成された画像と偶数ラインで構成された画像に分割するフィールド分割回路と、モスキートノイズを除去するフィルター回路と、奇数ラインで構成された画像と偶数ラインで構成された画像を重ね合わせプログレッシブ画像を生成する重ね合わせ回路を持ち、方式判定回路で判定されたＩＰ変換の方式によって、分割された画像に対してそれぞれフィルタリング処理を行うか、元の画像に対してフィルタリング処理を行うかを制御することを特徴とする映像処理装置。