JP2008283342A - 圧縮符号化画像のノイズ除去装置及びノイズ除去方法 - Google Patents

Abstract

【課題】フィルム素材の映像信号（テレシネ変換された映像信号）の画質の劣化を低減するノイズ除去装置および方法を提供する。
【解決手段】ノイズ除去装置は、映像信号がフィルム素材であるか否かを判定する映像ソース判定手段（５１）と、２次元ノイズ除去手段（１０）のノイズ除去特性を決定する第１の特性決定手段（４５、５３）と、３次元ノイズ除去手段（３０）のノイズ除去特性を決定する第２の特性決定手段（４７）とを備える。第１の特性決定手段（４５、５３）は、映像信号がフィルム素材である場合の２次元ノイズ除去手段の符号化ノイズ検出感度を、フィルム素材でない場合の値よりも高く設定する。第２の特性決定手段（４７）は、映像信号がフィルム素材である場合の３次元ノイズ除去手段の動き検出感度を、フィルム素材でない場合の値よりも高く設定する。
【選択図】図１

Description

本発明は、圧縮符号化された画像データのノイズ除去装置および方法に関する。

デジタルテレビ放送では、映像信号をＭＰＥＧ符号化方法で圧縮符号化した圧縮ストリームデータを伝送することで、限られた伝送容量に大量および高品質な映像データを放送することが可能となっている。また、ＤＶＤレコーダなど映像信号を記録する際も映像信号をＭＰＥＧ符号化方法で圧縮してから記録することで、長時間、高画質な映像信号を記録することが可能である（非特許文献１参照）。しかしながら、より大量の映像データを伝送、あるいは記録するには、より高い圧縮率で圧縮符号化する必要があるため、圧縮符号化によって符号化ノイズが発生してしまうことは避けられない。

符号化ノイズとしては、ブロックの境界が見えてしまうブロックノイズがよく知られている。さらに、各画像に発生した符号化ノイズの時間的な違いから画像にざらつきが見えるパルシングノイズも発生する。

ＭＰＥＧ符号化映像のノイズ除去方法は、画像内に発生した平面的ノイズを除去する２次元ノイズ除去処理（以下「２ＤＮＲ」という。）と、画像間に発生した時間的ノイズを除去する３次元ノイズ除去処理（以下「３ＤＮＲ」という。）とに大別される。

ブロックノイズ除去には２ＤＮＲの使用が、また、パルシングノイズ除去には３ＤＮＲの使用が効果的であり、２ＤＮＲと３ＤＮＲとを組み合わせてノイズ除去が行われる。

ノイズ除去は周波数的に高域成分を除去するローパスフィルタ構成により基本的に実施されるが、一律にローパスフィルタで処理してしまうと２ＤＮＲであれば画像ボケが、３ＤＮＲであれば動きに対して尾を引くような残像ノイズが発生するため、それぞれ適応的にフィルタ処理される。

適応処理の例として、映像の動き量を検出して動きが小さい静止映像に対しては、３ＤＮＲを強くかけ、２ＤＮＲは弱める方法が考案されている（例えば、特許文献１参照）。

また、映像の動き量とフレーム間の相関量とを検出し、動き量とフレーム間相関量にしたがって２ＤＮＲと３ＤＮＲを制御することで、動きのある映像に対しても残像ノイズの発生を抑制するとともにノイズを除去する方法が考案されている（例えば、特許文献２参照）。

また、映像を圧縮符号化する際に検出する動きベクトルによって、符号化処理前に実施するノイズ除去フィルタの強度を制御する方法が考案されている（例えば、特許文献３参照）。

さらに、映像の動きによって、２ＤＮＲによって処理された映像と３ＤＮＲによって処理された映像の合成比率を制御し、動きのある映像には３ＤＮＲの効果を抑制して２ＤＮＲの効果を強調する方法が考案されている（例えば、特許文献４参照）。

このように、動きがある場合は３ＤＮＲを弱めることで残像ノイズを低減する方法が知られている。

また、３ＤＮＲの動き検出は画素レベルの時間的変化量にしたがって検出する。信号レベルのダイナミックレンジが高く、高コントラストな映像は、画像内のレベル変化量が多くなり、それに伴い画素の時間的レベル変化量も大きくなる。結果として、このような映像では、わずかな動きでも検出されやすい傾向となる。これとは逆に、ダイナミックレンジが低く、低コントラストではあるが、わずかなレベル階調差により映像表現されている映像は、画像内のレベル変化量が小さく、これに伴い時間的レベル変化量も小さくなる。結果として、このような映像では、動きが検出されにくい傾向になる。

また、圧縮符号化ノイズの視認性について、高コントラスト映像の場合は低振幅のノイズ成分は高振幅の信号成分に隠れて目立ちにくく、逆に低コントラストの映像ではわずかなノイズでも目立ちやすいという傾向がある。

ところで、ＤＶＤに記録される映像情報にはフィルム素材とビデオ素材がある。フィルム素材とは、映画フィルムのような２４コマ／秒で記録したフィルムの画像を、６０フィールド／秒の画像に変換（テレシネ変換）して記録した映像情報である。ビデオ素材とは、映像情報が６０フィールド／秒で記録されているものである。フィルム素材とビデオ素材では視認上の特性が異なっている。ＤＶＤに記録された映像情報は、管理情報として、映像信号がフィルム素材かビデオ素材かを識別する管理情報を有しており、そのような管理情報にしたがって２ＤＮＲ、３ＤＮＲの強度を決定する方法も考案されている（例えば、特許文献５参照）。その方法では、フィルム素材の場合、ノイズ除去効果を弱め、ビデオ素材の場合は、逆にノイズ除去効果を高めるという制御を行っている。

特開平１１−６９２０２号公報 特開２００３−３４８３８３号公報 特開２００３−３３３３７０号公報 特開２００５−１５０９０３号公報 特開平１１−３３１７７７号公報 ＩＳＯ／ＩＥＣ １３８１８−２（ＭＰＥＧ２ビデオ）

一般にフィルム素材の映像信号は、ビデオ素材の映像信号に比べてダイナミックレンジは低いが、わずかな信号のレベル差によりディテールを表現する。つまり、フィルム素材の映像信号は、ビデオ素材の映像信号よりも、動きが検出されにくく、かつ、符号化ノイズが目立ちやすいという特性を有する。

ビデオ素材の映像信号は高いコントラストを有するため、ビデオ素材の映像に対しては動きを適切に検出することができ、フィルタ強度の適応処理が有効に作用するため、３ＤＮＲにより、残像ノイズを出すことなくノイズ除去を適切に行うことができる。

しかしながら、フィルム素材の映像信号では、前述のように動きが検出されにくいため、動き検出が適切になされいため３ＤＮＲ処理による残像ノイズが発生するという課題がある。また、フィルム素材の映像信号はわずかな信号のレベル差によりディテールを表現することから、フィルム素材の映像信号で発生した圧縮符号化ノイズは、わずかであっても目立ちやすく、画質の劣化を生じるという課題がある。

本発明は上記課題を解決すべくなされたものであり、その目的とするところは、フィルム素材の映像信号（テレシネ変換された映像信号）の画質の劣化を低減するノイズ除去装置および方法を提供することにある。

本発明の第１の態様において、圧縮符号化された映像信号のノイズを除去する装置が提供される。その装置は、映像信号がフィルム素材であるか否かを判定する映像ソース判定手段と、画像内の演算処理によってノイズを除去する２次元ノイズ除去手段と、画像間の演算処理によってノイズを除去する３次元ノイズ除去手段と、２次元ノイズ除去手段のノイズ除去特性を決定する第１の特性決定手段と、３次元ノイズ除去手段のノイズ除去特性を決定する第２の特性決定手段とを備える。２次元ノイズ除去手段は、符号化ノイズを検出し、符号化ノイズの大きさに応じてノイズ除去強度を変更する。３次元ノイズ除去手段は、画像内の動きを検出し、動きの大きさが所定値以下の場合に画像間の演算処理によってノイズを除去する。第１の特性決定手段は、映像信号がフィルム素材である場合の２次元ノイズ除去手段の符号化ノイズ検出感度を、映像信号がフィルム素材でない場合の値よりも高く設定する。第２の特性決定手段は、映像信号がフィルム素材である場合の３次元ノイズ除去手段の動き検出感度を、映像信号がフィルム素材でない場合の値よりも高く設定する。

本発明の第２の態様において、圧縮符号化された映像信号のノイズを除去する方法が提供される。その方法は、映像信号がフィルム素材であるか否かを判定するステップと、画像内の演算処理によってノイズを除去する２次元ノイズ除去処理を実施するステップと、画像間の演算処理によってノイズを除去する３次元ノイズ除去処理を実施するステップとを含む。２次元ノイズ除去処理を実施するステップは、符号化ノイズを検出し、符号化ノイズの大きさに応じてノイズ除去強度を変更するステップを含む。３次元ノイズ除去処理を実施するステップは、画像内の動きを検出し、動きの大きさが所定値以下の場合に画像間の演算処理によってノイズを除去するステップを含む。そして、前記方法はさらに、映像信号がフィルム素材である場合の２次元ノイズ除去手段の符号化ノイズ検出感度を、映像信号がフィルム素材でない場合の値よりも高く設定するステップと、映像信号がフィルム素材である場合の３次元ノイズ除去手段の動き検出感度を、映像信号がフィルム素材でない場合の値よりも高く設定するステップとを含む。

本発明によれば、フィルム素材の映像信号（テレシネ変換された映像信号）の場合、３次元ノイズ除去処理の動き検出感度を高めるので適切に動き検出することができ、残像ノイズを抑制しつつ効果的に符号化ノイズを除去することが可能となる。また、フィルム素材の映像信号（テレシネ変換された映像信号）の場合、２次元ノイズ除去処理の符号化ノイズの検出感度を高めるので、わずかな符号化ノイズにも２次元ノイズ除去処理が適切に処理され、符号化ノイズの少ない高画質な映像を得ることができる。

以下、添付の図面を参照して本発明の実施の形態について説明する。
以下に説明するノイズ除去装置は、映像信号がテレシネ変換されたものであるか否か（フィルム素材の映像であるか否か）を検出し、テレシネ変換された映像信号の場合は２次元ノイズ除去処理（２ＤＮＲ）のノイズ検出感度を高めるとともに、３次元ノイズ除去処理（３ＤＮＲ）の動き検出感度を高めるように制御する。これにより、フィルム素材の映像であっても、動き検出が適切になされ、過度な３ＤＮＲを防止し、３ＤＮＲによる残像ノイズの発生を抑制できる。また、フィルム素材に対する２ＤＮＲにおいて、より確実に圧縮符号化ノイズを低減でき、画質劣化を低減できる。以下、その詳細を説明する。

図１は本発明の実施の形態１であるノイズ除去装置の構成を示すブロック図である。ＭＰＥＧデコーダ５はＭＰＥＧストリームを入力し、復号する。ノイズ除去装置は、ＭＰＥＧデコーダ５により復号された映像信号に対して画像（フレーム）内に発生した平面的ノイズを除去する２次元ノイズ除去部１０と、画像（フレーム）間に発生した時間的ノイズを除去する３次元ノイズ除去部３０とを備える。

さらに、ノイズ除去装置は、８×８画素または１６×１６画素からなるマクロブロック（以下「ブロック」という）の境界を検出するブロック境界検出部４１と、ブロックノイズの量を判定（検出）するブロックノイズ判定部４３と、２次元ノイズ除去処理（２ＤＮＲ）におけるノイズ除去の強度を決定する２ＤＮＲ強度決定部４５と、３次元ノイズ除去処理（３ＤＮＲ）におけるノイズ除去の強度を決定する３ＤＮＲ強度決定部４７とを含む。

さらに、ノイズ除去装置は、映像信号（映像ソース）がフィルム素材であるかビデオ素材であるかを判定するフィルム判定部５１と、２ＤＮＲ強度決定部４５のノイズ検出感度を決定するノイズ検出感度決定部５３とを備える。

以上のように構成されるノイズ除去装置の動作を以下に説明する。

２次元ノイズ除去部１０は乗算器１１〜１３と画素メモリ１５、１６を備える。２次元ノイズ除去部１０は、入力した連続する３画素の中で、最初と最後の画素の画素値に乗算器１１、１３により係数ｋ１を乗算し、中央の画素の画素値に乗算器１２により係数ｋ２を乗算し、それらの画素値を合算することで平面的ノイズを除去する。このようなノイズ除去方法は、画像内に発生した平面的ノイズを除去するための一般的な手法である。係数ｋ１、ｋ２の値はノイズ除去処理の強度を表す。すなわち、ｋ２の値がｋ１に比して大きいほど、付与されるノイズ除去処理の強度が小さく、ｋ１とｋ２の値の比が１に近いほど、付与されるノイズ除去処理の強度が大きいことを意味する。乗算器１１〜１３の係数ｋ１、ｋ２の値は２ＤＮＲ強度決定部４５により決定される。

３次元ノイズ除去部３０は、係数ｋ３を乗じる乗算器３３と、画像の動きを検出する動き判定部３５と、フレームメモリ３６とを備えている。３次元ノイズ除去部３０は、画像内の動きのない領域に対してのみ、３次元ノイズ除去処理を実施する。３次元ノイズ除去部３０は、現在入力したフレームの画素と、フレームメモリ３６により与えられる、その１つ前のフレームの画素との差分を計算し、その差分に乗算器３３により係数ｋ３を乗算する。そして、３次元ノイズ除去部３０は、係数ｋ３が乗じられた差分の値を、入力した画素値から減算することで、ノイズ除去を実施する。係数ｋ３の値は３ＤＮＲ強度決定部４７により与えられる。以上のようなノイズ除去方法は、画像内に発生した時間的ノイズを除去するための一般的な手法である。

なお、本実施形態では、２次元ノイズ除去処理の後に３次元ノイズ除去処理を実施しているが、ノイズ除去処理の順序はその逆であってもよい。

フィルム判定部５１は、ＭＰＥＧデコーダ５により復号された画像データがフィルム素材であるかビデオ素材であるかを判定する。フィルム判定部５１の詳細については後述する。

ブロック境界検出部４１はブロックの境界を検出する。ブロックノイズ判定部４３は、ブロック境界検出部４１による検出結果を受けて、ブロックの境界であることが検出されたときに、そのブロック境界におけるブロックノイズの量を判定（検出）する。本実施形態では、図２に示すように、ブロックノイズ判定部４３はブロック境界の前後の画素値の差分をブロックノイズ（ｂｎ）として算出する。

２ＤＮＲ強度決定部４５は、ノイズ検出感度決定部５３で決定された感度を与えるパラメータαと、ブロックノイズ判定部４３により判定されたブロックノイズ量ｂnとに応じて係数ｋ１、ｋ２の値を決定する。表１に、ブロックノイズと、２ＤＮＲ強度決定部４５により決定される係数ｋ１、ｋ２との関係を例示する。表１の例では、ブロックノイズの範囲を４段階に分け、各段階に応じて２ＤＮＲの強度を４段階（強、中、弱、ＯＦＦ）に設定している。ブロックノイズの各段の範囲（幅）はパラメータαに応じて変化する。パラメータαの値を小さくすることで、各段の範囲（幅）が小さくなり、ブロックノイズがより検出されやすくなる。これは、ブロックノイズの検出感度が高くなったことを意味する。一方、パラメータαの値を大きくすることで、各段の範囲（幅）が大きくなり、ブロックノイズがより検出されにくくなる。これは、ブロックノイズの検出感度が低くなったことを意味する。

（注：αはブロックのイズの検出感度を決めるパラメータ）

ブロックノイズの検出感度を決定するパラメータαはノイズ検出感度決定部５３により決定される。ノイズ検出感度決定部５３はフィルム判定部５１による判定結果に基づきパラメータαの値を決定する。具体的には、ノイズ検出感度決定部５３はフィルム判定部５１により映像信号がフィルム素材であると判定されたときのブロックノイズの検出感度がビデオ素材であると判定された場合よりも高くなるように、パラメータαの値を決定する（表２参照）。すなわち、パラメータαの値は、映像信号がフィルム素材であると判定されたときは、ビデオ素材であると判定された場合の値よりも小さい値に設定される。

３次元ノイズ除去部３０の動き判定部３５は、動きが大きい画像に対しては３ＤＮＲを行わないようにするために、動きの量を判定する。具体的には、動き判定部３５は、フレーム間の画素値の差分と閾値ｍを比較し、その差分が閾値ｍより大きいときは、動きが大きいと判断し、その画素に対しては３ＤＮＲを行わないようにスイッチ３７をオフする。つまり、この閾値ｍの値を小さくすることで、動きが大きいと判断される頻度が高くなる。すなわち、閾値ｍの値を小さくすることは、動き検出感度を高く設定することを意味する。この閾値ｍは３ＤＮＲ強度決定部４７により決定される。

３ＤＮＲ強度決定部４７は、フィルム判定部５１による判定結果に基づき、動き検出感度すなわち閾値ｍを決定する。具体的には、３ＤＮＲ強度決定部４７はフィルム判定部５１により映像信号がフィルム素材であると判定されたときの動き検出感度をビデオ素材であると判定された場合よりも高い値に決定する（表２参照）。すなわち、閾値ｍの値は、フィルム判定部５１により映像信号がフィルム素材であると判定されたときは、ビデオ素材であると判定された場合よりも小さな値に設定される。表３に、３ＤＮＲ強度決定部４７における動き検出感度とパラメータの関係を示す。なお、表３では、パラメータｋ３の値は一定としているが、フィルム素材の場合のｋ３の値をビデオ素材の場合の値よりも小さい値に設定してもよい。

表４に、本実施形態での、２ＤＮＲにおけるノイズ検出感度と強度、及び３ＤＮＲにおける動き検出感度との関係の一例を示す。同表の例では、フィルム素材に対して、２ＤＮＲにおけるパラメータαを１に、３ＤＮＲにおける閾値ｍを２に設定し、ビデオ素材に対して、２ＤＮＲにおけるパラメータαを２に、３ＤＮＲにおける閾値ｍを４に設定することで、フィルム素材の場合の２ＤＮＲのブロックノイズ検出感度及び３ＤＮＲの動き検出感度をビデオ素材の場合の検出感度よりも高く設定している。このように、フィルム素材の場合にビデオ素材の場合よりも動き検出感度を高く設定することで、フィルム素材に対して動きが検出されやすくなり、過度な３ＤＮＲが抑制され、３ＤＮＲによる残像ノイズの発生を抑制できる。また、フィルム素材の場合にビデオ素材の場合よりもブロックノイズの検出感度を高く設定することで、フィルム素材に対する２ＤＮＲにおいてより確実にブロックノイズを低減でき、画質の劣化を低減できる。

以下、フィルム判定部５１の詳細について説明する。
フィルム判定部５１は、フレーム間差分値の大きさなどでコピーフィールドを検出しテレシネ変換における変換パターンを検出し、フィルム素材であるかビデオ素材であるかの判定を行う。まず、フィルム判定部の詳細な構成、動作を説明する前に、フレームレートが２４Ｈｚのフィルム素材を６０Ｈｚのインタレースビデオ信号に変換する「テレシネ変換」について説明する。なお、テレシネ変換は「２３変換」、「２３プルダウン」とも呼ばれる。

テレシネ変換は、フィルムの１コマをインタレース信号の２フィールドに変換することと、３フィールドに変換することを交互に繰り返す。図３（ａ）にテレシネ変換の様子を示す。テレシネ変換は、フィルムにおける４つのコマ２０１、２０２、２０３、２０４を、インタレース信号における５つのフレーム２２１、２２２、２２３、２２４、２２５（１０フィールド）に変換する。具体的には、フィルムの第１のコマ２０１の奇数ラインを第１のフレーム２２１のトップフィールド２１１ｔとし、偶数ラインをボトムフィールド２１１ｂとする。同様に、第２のコマ２０２の奇数ラインは第２のフレーム２２２のトップフィールド２１２ｔ、偶数ラインはボトムフィールド２１２ｂとする。ここで、第２のコマ２０２の奇数ラインは第３のフレーム２２３のトップフィールド２１３ｔとする。つまり、第２のフレーム２２２のトップフィールド２１２ｔと第３のフレーム２２３のトップフィールド２１３ｔは同じである。このようなトップフィールド２１２ｔと２１３ｔを「コピーフィールド」と呼ぶ。以上により、第２のコマ２０２は３つのフィールドに変換されたことになる。

フィルムの第３のコマ２０３の偶数ラインはフレーム２２３のボトムフィールド２１３ｂに、奇数ラインは第４のフレーム２２４のトップフィールド２１４ｔとする。同様に、フィルムの第４のコマ２０４の偶数ラインは第４のフレーム２２４のボトムフィールド２１４ｂとし、奇数ラインは第５のフレーム２２５のトップフィールド２１５ｔとする。さらに、第４のコマ２０４の偶数ラインは第５のフレーム２２５のボトムフィールド２１５ｂとする。つまり、ボトムフィールド２１４ｂと２１５ｂはコピーフィールドであり、フィルムの第４のコマ２０４は３つのフィールドに変換される。

以上のように、テレシネ変換では、フィルムにおける４コマをインタレースビデオ信号における５フレーム（１０フィールド）に変換することを繰り返す。

次に、フィルム判定部５１の詳細な構成、動作を説明する。図４にフィルム判定部５１の構成例を示す。フィルム判定部５１は、第１のフィールドメモリ３０１と、第２のフィールドメモリ３０２と、差分演算部３０３と、絶対値差分総和演算部３０４と、パターン判定部３０５とを含む。

フィルム判定部５１はＭＰＥＧデコーダ５からデコードされた画像を入力し、入力したデコード画像は、第１のフィールドメモリ３０１に格納された後、第２のフィールドメモリ３０２に格納される。第２のフィールドメモリ３０２の出力画像は入力された画像に対して１フレーム期間遅延した画像となる。差分演算部３０３は、入力画像と、１フレーム期間遅延させたフィールド画像との差分を演算する。絶対値差分総和演算部３０４は、差分演算部３０３により得られた差分（絶対値）を総和して、各フィールドのフレーム間差分値を計算する。パターン判定部３０５は、各フィールドのフレーム間差分値の時間的推移パターンと、テレシネ変換されたときの５フレーム分の差分値推移パターン（基準パターン）とを比較し、両パターンが一致すれば、入力した映像信号がテレシネ変換された信号つまりフィルム素材であると判定する。

上記の判定は、テレシネ変換は５フレーム周期になされるという周期性を利用している。例えば、５フレームごとにトップフィールドでのコピーフィールド、およびボトムフィールドでのコピーフィールドが存在するので、この周期に同期してフレーム間差分値が極小となるといった差分値の時間的推移パターンがある。例えば、図３（ｂ）は、フレーム間差分値の推移パターンを示した図である。図３（ｂ）において、実線はトップフィールドのフレーム間差分値を、破線はボトムフィールドのフレーム間差分値を示している。図３（ｂ）から、コピーフィールドにおいて差分がとられるタイミングにおいて周期的にフレーム間差分値の極小値Ａが現れていることがわかる。

フィルム素材であることの検出方法は、上記の方法に限定されるものではない。例えば、符号化データに記述されている情報に基づいて検出してもよい。ＭＰＥＧ符号化方式では、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグとｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグを符号化ストリームに記述してテレシネ変換パターンを表現する。ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグが「１」であれば、トツプフィールドを先に出力して、その後にボトムフィールドを出力する。ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグが「１」であれば先に出力したフィールドを、後に出力したフィールドの後に再度繰り返す。このことは、そのフィールドがコピーフィールドであることを意味する。

ビデオ素材の場合は、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグは常時「１」であり、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグは常時「０」になる。一方、フィルム素材の場合はテレシネ変換パターンにしたがって、上記のフラグが変化するので、これらのフラグの値を検出することでテレシネ変換がなされた映像信号、つまり、フィルム素材であることを検出することができる。

上記の例では、フィルム判定部５１は映像信号がテレシネ変換された映像であるか否かを判定することで映像ソースの種別を判定した。別の方法として、フィルム判定部５１は、映像信号のフレーム周波数を検出し、フレーム周波数が２４Ｈｚの場合に、映像信号がフィルム素材であると判定してもよい。または、フィルム判定部５１は、映像信号がプログレッシブ信号であるかインタレース信号であるかを判定し、プログレッシブ信号の場合に、映像信号がフィルム素材であると判定することもできる。

以上説明したように、本実施形態のノイズ除去装置は、映像信号がフィルム素材である場合、２次元ノイズ除去（２ＤＮＲ）におけるブロックノイズの検出感度を高め、かつ、３次元ノイズ除去（３ＤＮＲ）における動き検出感度を高めている。これにより、２次元ノイズ除去（２ＤＮＲ）においてブロックノイズを十分に除去可能となるとともに、フィルム素材に対して十分な動き検出が可能となり、適切な３ＤＮＲ処理が可能となり、残像ノイズを低減できる。

本発明にかかるノイズ除去装置およびノイズ除去方法は、テレシネ変換されたフィルム素材であることを検出して、２次元および３次元のノイズ除去強度で適応的に処理して、ノイズ除去による残像ノイズといった弊害を出すことなく、効率的にノイズを除去するので、高画質な記録再生が必要な録画装置、あるいは、限られた伝送レートの伝送路においても高画質な映像を伝送して再生するといった用途に適用できる。

本発明の実施の形態のノイズ除去装置の構成を示すブロック図 ブロックノイズを説明するための図 （ａ）フィルムコマをビデオフレームに変換するテレシネ変換を説明した図、及び（ｂ）フレーム間差分値の推移パターンを説明した図 フィルム判定部の構成例を示すブロック図

符号の説明

５ ＭＰＥＧデコーダ
１０ ２次元ノイズ除去部
３０ ３次元ノイズ除去部
３５ 動き判定部
３６ フレームメモリ
４１ ブロック境界検出部
４３ ブロックノイズ判定部
４５ ２ＤＮＲ強度決定部
４７ ３ＤＮＲ強度決定部
５１ フィルム判定部（映像ソース判定部）
２０１、２０２、２０３、２０４ フィルムのコマ
２１１ｔ、２１２ｔ、２１３ｔ、２１４ｔ、２１５ｔ トップフィールド
２１１ｂ、２１２ｂ、２１３ｂ、２１４ｂ、２１５ｂ ボトムフィールド
２２１、２２２、２２３、２２４、２２５ フレーム

Claims (8)

1. 圧縮符号化された映像信号のノイズを除去する装置であって、
   映像信号がフィルム素材であるか否かを判定する映像ソース判定手段と、
   画像内の演算処理によってノイズを除去する２次元ノイズ除去手段と、
   画像間の演算処理によってノイズを除去する３次元ノイズ除去手段と、
   前記２次元ノイズ除去手段のノイズ除去特性を決定する第１の特性決定手段と、
   前記３次元ノイズ除去手段のノイズ除去特性を決定する第２の特性決定手段とを備え、
   前記２次元ノイズ除去手段は、符号化ノイズを検出し、符号化ノイズの大きさに応じてノイズ除去強度を変更し、
   前記３次元ノイズ除去手段は、画像内の動きを検出し、動きの大きさが所定値以下の場合に画像間の演算処理によってノイズを除去し、
   前記第１の特性決定手段は、前記映像信号がフィルム素材である場合の２次元ノイズ除去手段の符号化ノイズ検出感度を、前記映像信号がフィルム素材でない場合の値よりも高く設定し、
   前記第２の特性決定手段は、前記映像信号がフィルム素材である場合の３次元ノイズ除去手段の動き検出感度を、前記映像信号がフィルム素材でない場合の値よりも高く設定する
   ことを特徴とする映像信号ノイズ除去装置。
2. 前記映像ソース判定手段は前記映像信号がテレシネ変換された映像であるか否かを判定し、テレシネ変換された映像の場合は前記映像信号がフィルム素材であると判定することを検出することを特徴とする請求項１記載のノイズ除去装置。
3. 前記映像ソース判定手段は前記映像信号のフレーム周波数を検出し、前記フレーム周波数が２４Ｈｚの場合は前記映像信号がフィルム素材であると判定することを特徴とする請求項１記載のノイズ除去装置。
4. 前記映像ソース判定手段は前記映像信号がプログレッシブ信号であるか、インタレース信号であるかを判定し、プログレッシブ信号の場合は前記映像信号がフィルム素材であると判定することを特徴とする請求項１記載のノイズ除去装置。
5. 前記圧縮符号化された映像信号を復号するデコーダをさらに備えたことを特徴とする請求項１記載のノイズ除去装置。
6. 前記圧縮符号化された映像信号はＭＰＥＧストリームであることを特徴とする請求項１記載のノイズ除去装置。
7. 前記符号化ノイズはブロックノイズであることを特徴とする請求項６記載のノイズ除去装置。
8. 圧縮符号化された映像信号のノイズを除去する方法であって、
   映像信号がフィルム素材であるか否かを判定するステップと、
   画像内の演算処理によってノイズを除去する２次元ノイズ除去処理を実施するステップと、
   画像間の演算処理によってノイズを除去する３次元ノイズ除去処理を実施するステップとを含み、
   前記２次元ノイズ除去処理を実施するステップは、符号化ノイズを検出し、符号化ノイズの大きさに応じてノイズ除去強度を変更するステップを含み、
   前記３次元ノイズ除去処理を実施するステップは、画像内の動きを検出し、動きの大きさが所定値以下の場合に画像間の演算処理によってノイズを除去するステップを含み、
   前記方法はさらに、
   前記映像信号がフィルム素材である場合の２次元ノイズ除去手段の符号化ノイズ検出感度を、前記映像信号がフィルム素材でない場合の値よりも高く設定するステップと、
   前記映像信号がフィルム素材である場合の３次元ノイズ除去手段の動き検出感度を、前記映像信号がフィルム素材でない場合の値よりも高く設定するステップとを含む
   ことを特徴とするノイズ除去方法。

Images