JP2004180344A

JP2004180344A - 動画像信号処理装置

Info

Publication number: JP2004180344A
Application number: JP2004030523A
Authority: JP
Inventors: Yoshihiro Kikuchi; 義浩菊池; Toshiaki Watanabe; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-02-06
Filing date: 2004-02-06
Publication date: 2004-06-24

Abstract

【課題】復号化された動画像信号の符号化歪み効果的に除去できる動画像信号処理装置を提供する。
【解決手段】入力動画像信号１２１に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号１２３を出力する時間フィルタ１００と、時間フィルタ１００におけるフィルタ係数を入力動画像信号１２１と出力動画像信号１２３をフレーム遅延器１０３によって遅延させた信号との差分の大きさに応じて決定するフィルタ係数決定部１０５を有する。
【選択図】図１

Description

本発明は、本発明は動画像信号処理装置に係り、特に動画像信号を高能率に圧縮符号化する動画像符号化装置および圧縮符号化された信号を復号化して元の動画像信号を再生する動画像復号化装置において、圧縮符号化によって生じた符号化歪みを除去したり、動画像信号のノイズを符号化に先立って除去したりするのに適した動画像信号処理装置に関する。

ＴＶ電話、ＴＶ会議システム、携帯情報端末、デジタルビデオディスクシステムおよびデジタルＴＶ放送システムのように、動画像信号を伝送／蓄積するシステムにおいては、動画像を少ない情報量に圧縮符号化し、得られた符号列を伝送路／蓄積媒体へ伝送／蓄積して、伝送／蓄積された符号列を復号化することによって元の動画像信号を再生する。

このようなシステムに適用される動画像信号の圧縮符号化技術として、動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等の方式やこれらを組み合わせた方式など、様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式として現在、ＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２が規定されている。これらの符号化方式はいずれも動き補償適応予測コサイン変換符号化を用いた方式であり、非特許文献１等に詳細が述べられている。

動画像信号を圧縮符号化技術を用いて少ない情報量、例えば、数ｋｂｐｓ〜数１０ｋｂｐｓ程度のレートまで圧縮符号化できれば、アナログ電話回線、セルラホン、およびＰＨＳ等の無線電話回線でも動画像を伝送することが可能となり、ＴＶ電話装置、携帯情報端末、パーソナルコンピュータ等の間で動画像通信が可能となる。

ところで、無線伝送路のように伝送路誤りが多く混入する伝送路で動き補償予測符号化を行った動画像信号を伝送する場合、誤り耐性を高めるためリフレッシュと呼ばれる方式が用いられることがある。リフレッシュとは、動画像信号の一部分を誤りの影響が後続のフレームに伝幡しないフレーム内符号化を用いて符号化する操作である。しかし、リフレッシュを行うと、リフレッシュ部分つまりフレーム内符号化を行った部分と、それ以外の動き補償予測符号化した部分とでは符号化方法が異なるために復号画像の性質が異なり、リフレッシュ部分とそれ以外の部分の間に違和感を生じて、復号画像の主観的品質が低下する。

一方、動き補償予測の予測効率を改善する方式として、動きベクトルを画素毎に内挿補間するパッチ動き補償と呼ばれる方式がある。しかし、パッチ動き補償は物体のなめらかな変形を効率良く表すことができるという利点がある反面、静止している背景と動物体の境界部分等の動きが大きく変化している部分では、動き補償を効率的に行うことができず、大きな符号化歪みが生じてしまう。

また、符号化対象の動画像信号にカメラ入力の問題等によって、ノイズが混入したりフリッカが生じたりすると、符号化効率が大きく低下し、結果的に符号化品質が低下してしまう。特に、符号化ビットレートが低い場合には、この問題は顕著である。この問題を改善する方法として、符号化に先立って入力画像信号に帯域制限フィルタをかける方式がある。しかし、この方式ではノイズだけでなく本来の信号成分の一部も失われてしまうため、符号化した画像にぼけを生じてしまう。

さらに、カメラ入力の問題等によって、符号化対象の動画像信号の画像端、すなわち画面端部に位置する部分に、黒レベル画素のような画素値が非常に低く周囲の画素と画素値が大きく異なる画素が帯状に存在することがある。このような低レベル画素が存在すると、画像端に近い部分での動きベクトル検出の精度が低下して符号化効率の低下をもたらしたり、動き補償によってこの低レベル画素が周囲に広がったりして符号化画像の品質が低下してしまう。
安田浩編著、"マルチメディア符号化の国際標準"、丸善、（平成３年６月）

上述したように、伝送路誤りに対する耐性を高めるためにフレーム内符号化などによるリフレッシュ符号化を用いる動画像符号化／復号化装置では、フリフレッシュ符号化を行った部分とそれ以外の部分とで復号画像の性質が異なるために復号画像の主観的品質が低下するという問題があった。

また、パッチ動き補償を行う動画像符号化／復号化装置では、動きが大きく変化する部分で大きな符号化歪みを生じてしまうという問題があった。さらに、従来の動画像符号化／復号化装置では、入力動画像信号にノイズやフリッカが存在すると符号化効率が低下し、また画像端に低レベル画素が存在すると符号化品質が低下するという問題があった。

本発明は、上述した従来の動画像符号化／復号化装置の問題点を解決すべくなされたもので、復号化された動画像信号の符号化歪みや、動画像信号を符号化する前のノイズ、フリッカなどを効果的に除去できる動画像信号処理装置を提供することを目的とする。

上記の課題を解決するため、本発明に係る動画像信号処理装置は、入力動画像信号に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号を出力する時間フィルタ手段と、この時間フィルタ手段におけるフィルタ係数を少なくとも入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさに応じて決定するフィルタ係数決定手段とを有することを特徴とする。

また、この動画像信号処理装置が複数の符号化モードを有する動画像符号化装置によって得られた符号化データから動画像復号装置によって復号された復号動画像信号を入力動画像信号とする場合、フィルタ係数決定手段では時間フィルタ手段におけるフィルタ係数を少なくとも(a) 入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさ、および(b) 動画像符号化装置の符号化モードに応じて決定する。

この動画像信号処理装置においては、例えば入力動画像信号と出力動画像信号または入力動画像信号を遅延させた信号との差分の大きさが小さい部分、すなわち静止部分では比較的強い時間フィルタリングをかけた信号が出力動画像信号として出力されるようにフィルタ係数が決定されることによって、静止部分で特に目立ちやすい符号化歪みが効果的に軽減される。また、差分の大きさが大きい部分では復号動画像信号をそのままか、あるいは弱い時間フィルタリングをかけて出力動画像信号として出力されるようにフィルタ係数が決定されることにより、シーンチェンジ等によって画像が大きく変化する場合でも画像の大きな変化が残像として残ることが防止される。

また、フィルタ係数をさらに符号化モードを考慮して決定する場合は、例えばリフレッシュ符号化を行った部分で比較的強く時間フィルタリングがかかるようにフィルタ係数を設定することによって、リフレッシュ符号化が行われた部分の符号化モード（フレーム内符号化モード）と他の部分の符号化モード（動き補償予測符号化モード）との符号化方式の違いに起因する復号画像の性質が相違による復号画像の不自然さ解消される。

さらに、フィルタ係数をアクティビティ、すなわち画像の複雑さを示す評価値をも考慮して決定してもよく、その場合には例えばアクティビティの高いエッジや細かい絵柄の部分で時間フィルタリングを弱くかけるか、入力動画像信号をそのまま出力することで、時間フィルタリングによって生じる画像のぼけを小さくし、アクティビティが低くまた符号化歪みが目立ちやすい平坦部分は時間フィルタリングを強くかけることで、符号化歪みを効果的に抑圧できる。

さらに、本発明においては、入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する処理を行う低レベル画素信号除去処理を行った後、上述した時間フィルタリング処理およびフィルタ係数の決定を行ってもよい。

このようにすると、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素のような低レベル画素の画素信号を圧縮符号化前に入力動画像信号から除去とることにより、符号化効率が向上し、結果的に符号化品質が向上する。

また、本発明によると、このような入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する低レベル画素信号除去処理は、入力動画像信号から画素値がしきい値以下である低レベル画素を検出し、低レベル画素数が画像端に何画素あるかを探索し、この低レベル画素の画素値を探索した低レベル画素数に基づいて決定された低レベル画素以外の画素値で置き換えることによって実現される。

以上説明したように、本発明の画像信号処理装置によれば、動画像信号の圧縮符号化によって生じた符号化歪みを除去し、復号画像の品質を高めることができる。また、圧縮符号化を行う動画像信号に存在するノイズ、フリッカ、黒縁などを除去して圧縮符号化の効率を高め、符号化品質を向上させることができる。

以下、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、入力動画像信号として動画像復号化装置からの復号動画像信号１２１を入力し、この復号動画像信号１２１に対し巡回型適応時間フィルタ１００により符号化歪み除去のために時間軸方向のフィルタリング処理（以下、時間フィルタリング処理という）を行って、出力動画像信号１２３を出力するものである。

時間フィルタ１００は、第１の乗算器１０１、加算器１０２、フレーム遅延器１０３および第２の乗算器１０４により構成される。また、時間フィルタ１００のフィルタ係数（以下、重み係数という）は、重み係数決定部１０５により決定される。この重み係数決定部１０５は、フレーム間差分計算部１０６と重み係数計算部１０７により構成される。

次に、本実施形態による符号化歪み除去装置の動作を説明する。入力される復号動画像信号１２１は、第１の乗算器１０１において重み係数決定部１０５から出力された第１の重み係数１２５が乗じられた後、加算器１０２に入力される。加算器１０２からの出力信号は、出力動画像信号１２３として装置外へ出力されると共に、フレーム遅延器１０３に入力される。フレーム遅延器１０３からは、出力動画像信号１２３を１フレーム時間遅延させた信号１２４が出力される。このフレーム遅延器１０３からの出力信号１２４は、第２の乗算器１０４で重み係数決定部１０５から出力された第２の重み係数１２６が乗じられる。第２の乗算器１０４からの出力信号は、加算器１０２で第１の乗算器１０１からの出力信号と加算される。

重み係数決定部１０５は、復号動画像信号１２１と１フレーム前の出力動画像信号１２４を基にして、以下のように画素毎に重み係数１２５，１２６を決定する。まず、フレーム間差分計算部１０６において、復号動画像信号１２１と１フレーム前の出力動画像信号１２４との差分の大きさＤを処理対象画素の周囲±Ｍ画素を用いて次式に従って計算する。

そして、こうして計算した差分の大きさＤから、重み係数計算部１０７によって重み係数を計算して決定する。図２は、差分の大きさＤと重み係数の関係の一例を示したものである。図中、縦軸のＷは第２の重み係数１２６であり、第１の重み係数１２５は（１−Ｗ）とする。また、ａｔｈ１、ａｔｈ２、ＷＬはあらかじめ定められた定数である。

このように重み係数決定部１０５では、復号動画像信号１２１と１フレーム前の出力動画像信号１２４との差分の大きさＤに応じて重み係数１２５，１２６が適応的に決定される。すなわち、差分の大きさＤが小さいときは、Ｗが大きくなるように決定される。これにより、符号化歪みが目立ちやすい静止部分では、符号化歪みが加わった復号動画像信号１２１がそのまま出力されるのではなく、時間フィルタ１００で復号動画像信号１２１に対して１フレーム前の出力動画像信号１２４との重み付け加算による時間フィルタリング処理を行った信号が出力動画像信号１２４として出力されることによって、符号化歪みが軽減される。

一方、差分の大きさＤがしきい値ａｔｈ２以上になる部分ではＷ＝０となり、復号動画像信号１２１がそのまま出力動画像信号１２３として出力される。このため、シーンチェンジ等により前フレームから画像が大きく変化する部分でも、画像の大きな変化が残像として残ってしまうことは無い。

なお、本実施形態では画素単位の処理を説明したが、ブロック単位で処理を行ってもよい。

（第２の実施形態）
図３は、本発明の第２の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさＤと重み係数Ｗの関係を動画像符号化装置の符号化モードや、動画像符号化装置で求められた動きベクトルの大きさ等に応じて切り替えるようにした例である。このため、本実施形態では動画像復号化装置から復号動画像信号１２１とは別に、符号化モードや動きベクトルを示す信号（サイド情報信号という）１２８がフィルタ係数決定部１０５内の重み係数計算部１０７に入力される。

図４は、伝送路誤りによって生じる画質劣化の伝幡を抑えるために動画像符号化装置でリフレッシュ符号化を行っている場合に、リフレッシュ符号化を行った部分とそれ以外の部分で差分の大きさＤと重み係数Ｗの関係を切り替える例を示している。リフレッシュ符号化を行った部分に対しては４０１の特性を用い、それ以外の部分では４０２の特性を用いる。

リフレッシュ符号化を行った部分で重み係数Ｗが大きくなりやすい特性４０１を用いるのは、リフレッシュ符号化が行われた部分の符号化モードはフレーム内符号化モードであり、他の部分の符号化モード（例えば動き補償予測符号化モード）と符号化方式が異なるために復号画像の性質が異なり、復号画像に不自然さが生じやすいためである。特に、符号化歪みが目立ちやすい静止部分や動きが小さい部分では、前フレームまで通常の動き補償予測符号化モードであった部分がリフレッシュ符号化モードであるフレーム内符号化モードに変化すると、復号画像の性質の変化が視覚的に顕著になって復号画像の主観品質が低下しやすい。

これに対し、図４の特性４０１を用いれば、差分の大きさＤが小さくなる静止部分や動きが小さい部分では重み係数Ｗ、すなわち１フレーム前の出力動画像信号１２４に対する重み係数１２６が大きくなる。従って、復号動画像信号１２１のうちリフレッシュにより性質の変化した部分は１フレーム前の出力動画像信号１２４との重み付け加算が行われ、時間フィルタリング処理が強くかかるため、画質劣化が小さく抑えられることになる。

図５は、本実施形態において差分の大きさＤと重み係数Ｗの関係を切り替えるもう一つの例を示したものである。動き補償予測符号化モードでは、重み係数Ｗが大きくなる図５の特性５０１を用いる。これは、静止部分と動物体の境界部分で静止部分が動物体の動きベクトルによって誤って動き補償されてしまうことによって生じる符号化歪みを抑えるためであり、物体の境界部分で大きな歪みを生じやすいパッチ動き補償の符号化歪みを低減するのに有効である。

一方、フレーム内符号化モードでは、このような歪みは生じないため、重み係数Ｗが小さくなる特性５０２を用いる。

（第３の実施形態）
図６は、本発明の第３の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさＤと重み係数Ｗの関係を画像の複雑さを示すアクティビティに応じて変えるようにした例である。このために、本実施形態ではフィルタ係数決定部１０５においてアクティビティ計算部１０８で復号動画像信号１２１のアクティビティを計算し、これに応じてしきい値計算部１０９が発生する図７のしきい値ａｔｈ１およびａｔｈ２を変化させる構成となっている。

まず、アクティビティ計算部１０８およびフレーム間差分計算部１０６において、復号動画像信号１２１のアクティビティ１３１および１フレーム前の出力動画像信号１２４との差分の大きさ１２７を処理対象画素の周囲±Ｍ画素で次式に従って計算する。

次に、しきい値計算部１０９においてアクティビティ２２１から第１のしきい値１３２（ａｔｈ１）および第２のしきい値１３３（ａｔｈ２）を図７（ａ）および（ｂ）の特性に基づいて決定する。図７中、ｔｈ１，ｔｈ２，αはあらかじめ定められた定数である。図７（ａ）（ｂ）の特性を式で表すと、以下のようになる。

ａｔｈ１＝ｔｈ１−α・ａｃｔ・ｔｈ１／ｔｈ２ａｔｈ２＝ｔｈ２−α・ａｃｔそして、重み係数計算部１０７で差分の大きさ１２７と第１および第２のしきい値１３２および１３３から図２に示す特性に従って重み係数１２５，１２６が決定される。

このようにアクティビティに応じて時間フィルタ１００の特性を変化させることにより、アクティビティの高い部分、すなわちエッジや細かい絵柄の部分では、しきい値ａｔｈ１およびａｔｈ２が小さくなって重み係数Ｗが小さくなる。これによって時間フィルタ１００での時間フィルタリングの強さが弱くなり、時間フィルタ１００によって生じる画像のぼけが小さく抑えられる。

一方、符号化歪みが目立ちやすい平坦部分はアクティビティが低いことから、重み係数Ｗは大きくなりやすく、時間フィルタリングが強くかかるため、符号化歪み抑圧効果が大きくなる。

（第４の実施形態）
図８は、本発明の第４の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。図１と相対応する部分に同一の符号を付して第１の実施形態との相違点を中心に説明すると、本実施形態は空間フィルタ１１０が新たに追加され、加算器１０２の出力信号は空間フィルタ１１０により空間方向での符号化歪み除去処理がなされた後に、出力動画像信号１２３として取り出される点が異なる。

空間フィルタ１１０は、空間方向のフィルタリング処理を行うことにより符号化歪みを除去するものであり、具体的には例えば隣接画素間の差分の大きさに応じて適応的にフィルタの強さを変化させ、画素間差分が小さい部分はフィルタを強くし画素間差分が大きい部分はフィルタを弱くする。これにより、エッジを保存しながらモスキート歪み等の符号化歪みを除去することができる。

このように本実施形態では、時間フィルタ１００による時間軸方向の符号化歪み除去に、空間フィルタによる空間方向の符号化歪み除去を組み合わせることにより、復号動画像信号１２１と１フレーム分の時間的ずれのある出力動画像信号１２４を重み付け加算処理することによってまれに生じてしまう残像を取り除くことができ、時間フィルタのみによる場合に比べ出力動画像信号１２３の品質がさらに向上する。

（第５の実施形態）
図９は、本発明の第５の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、動画像復号化装置から入力される現フレームの復号動画像信号２２１と動画像復号化装置のフレームメモリに記憶されている１フレーム前の復号動画像信号２２４を入力して、非巡回型適応時間フィルタ２００により符号化歪み除去処理を行って出力動画像信号２２３を出力するものである。

時間フィルタ２００は、第１の乗算器２０１、加算器２０２および第２の乗算器２０４により構成される。また、時間フィルタ２００のフィルタ係数（重み係数という）は、重み係数決定部２０５により決定される。

入力される現フレームの復号動画像信号２２１および１フレーム前の復号動画像信号２２８は、第１、第２の乗算器２０１，２０４で重み係数決定部２０５から与えられる第１、第２の重み係数が乗じられた後、加算器２０２に入力されて互いに加算され、この加算器２０２の出力信号が出力動画像信号２２３として装置外へ出力される。

重み係数決定部２０５では、第１〜第４の実施形態のいずれかにおける重み係数決定部１０５と同様にして重み係数を決定する。ただし、フレーム間差分Ｄは復号動画像信号２２１と１フレーム前の復号動画像信号２２４との差分として、次式に従って計算する。

このように本実施形態の符号化歪み除去装置では、第１〜第４の実施形態で用いた巡回型の適応時間フィルタ１００に対して非巡回型の時間フィルタ２００により符号化歪み除去処理を行う。このため、第１〜第４の実施形態に比べて符号化歪み除去性能は若干低下するものの、第１〜第４の実施形態のように１フレーム前の出力動画像信号と現フレームの復号動画像信号との重み付け加算をとることによって生じる残像は少なくなる。また、本実施形態では動画像復号化装置から１フレーム前の復号動画像信号２２４を取り出すので、符号化歪み除去装置内にフレーム遅延器を設ける必要は無く、ハードウェア量が削減される。

ただし、動画像復号化装置の構成によっては、１フレーム前の復号動画像信号２２４を出力できない場合がある。この場合は、図９中に示すように符号化歪み除去装置内に現フレームの復号動画像信号２２１を１フレーム時間遅延させるフレーム遅延器２０３を設けて、１フレーム前の復号動画像信号２２４を生成すればよい。

（第６の実施形態）
図１０は、本発明の第６の実施形態に係る動画像信号処理装置の構成を示すブロック図であり、第１〜第５の実施形態と異なり、動画像符号化装置において動画像信号の圧縮符号化に先立ってノイズやフリッカ等を抑圧する装置である。

入力の動画像信号３２１は、まず画像黒縁除去処理部３０６に入力され、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素、すなわち画素値が所定のしきい値以下である低レベル画素の画素信号を動画像信号３２１から除去する処理が行われる。

図１１は、この画像黒縁除去処理を説明するための図であり、画像左端に存在する黒レベル画素を取り除く処理の例を示している。図１１において黒丸は黒レベル画素、白丸は黒レベル以外の画素をそれぞれ表す。

［ステップ１］まず、画像左端から順に黒レベル画素を検出する。画素が黒レベル画素かどうかの判定は、画素値があらかじめ定められたしきい値以下かどうかにより行えばよい。

［ステップ２］次に、黒レベル画素が画像左端から数えて何画素連続して存在するかを各水平ライン毎に探索する。このようにして探索された画像左端からの黒レベル画素数をＮｓｂとする。

［ステップ３］そして、黒レベル画素の画素信号をそれよりもＮｆ（任意の整数）個右にある画素の画素信号で置き換える。以上の処理を図１１中の最上部の水平ラインの例で説明すると、画像左端から２つの黒レベル画素１１０１，１１０２が存在するので、黒レベル画素数Ｎｓｂは２となる。ここでＮｆ＝２とすれば、画像左端からＮｓｂ＋Ｎｆ−１個の画素１１０１〜１１０３を画像左端からＮｓｂ番目の画素１１０４の画素値で置き換えることになる。

画像の上端、右端、下端にも黒レベル画素が存在する場合には、上記の画像左端に存在する画素に対する処理と同様に、黒レベル画素の画素信号を他の画素の画素信号で置き換える処理を行えばよい。

なお、画像端に大きな幅の黒レベル画素値が存在する場合、これに対して上記の画素置き換え処理を行うと、画像に違和感が生じてしまうことがある。これを防ぐため、黒レベル画素数Ｎｓｂが一定値以上になる場合には、上記の画素置き換え処理は行わないようにしてもよい。

図１０に説明を戻すと、黒縁除去処理部３０６で画像端に存在する黒レベル画素の画素信号を除去する処理がなされた後の動画像信号は、巡回型適応時間フィルタ３００によってノイズやフリッカなどが除去される。巡回型適応時間フィルタ３００とそのフィルタ係数（重み係数）を決定する重み係数決定部３０５は、第１〜第４の実施形態で説明したのと同様の構成となっており、乗算器３０１、加算器３０２、フレーム遅延器３０３および乗算器３０４は、例えば図１における乗算器１０１、加算器１０２、フレーム遅延器１０３および乗算器１０４と同様の動作を行う。重み係数部３０５での重み係数の決定も第１〜第４の実施形態と同様に行うが、先に示したＷＬ，ｔｈ１，ｔｈ２，α等の定数は、入力動画像信号３２１またはこれを画像黒縁除去３０６を通した動画像信号の性質に合わせて定められものとする。

なお、前記実施形態においてはフレーム間差分Ｄおよびアクティビティａｃｔは絶対値和により計算する例を示したが、次式のように二乗和、重み付き絶対値和、重み付き二乗和を用いて計算してもよい。

ここで、ｗａ，ｗＤはｋ，ｌに応じて重みをつける係数である。

本発明の第１の実施形態に係る動画像信号処理装置の構成を示すブロック図同実施形態におけるフレーム間差分と重み係数の関係を示す図本発明の第２の実施形態に係る動画像信号処理装置の構成を示すブロック図同実施形態におけるフレーム間差分と重み係数の関係の第１の例を示す図同実施形態におけるフレーム間差分と重み係数の関係の第２の例を示す図本発明の第３の実施形態に係る動画像信号処理装置の構成を示すブロック図同実施形態におけるアクティビティとしきい値の関係を示す図本発明の第４の実施形態に係る動画像信号処理装置の構成を示すブロック図本発明の第５の実施形態に係る動画像信号処理装置の構成を示すブロック図本発明の第６の実施形態に係る動画像信号処理装置の構成を示すブロック図同実施形態に係る動画像信号処理装置の動作を説明するための図

符号の説明

１００…巡回型適応時間フィルタ、１０１…乗算器、１０２…加算器、１０３…フレーム遅延器、１０４…乗算器、１０５…フィルタ係数決定部、１０６…フレーム間差分計算部、１０７…重み係数計算部、１０８…アクティビティ計算部、１０９…しきい値計算部、１１０…空間フィルタ、１２１…復号動画像信号、１２３…出力動画像信号、１２４…１フレーム前の出力動画像信号、１２５，１２６…重み係数、１２７…フレーム間差分、１２８…サイド情報信号、１３１…アクティビティ、１３２，１３３…しきい値、２００…非巡回型適応時間フィルタ、２０１…乗算器、２０２…加算器、２０３…フレーム遅延器、２０４…乗算器、２０５…フィルタ係数決定部、３００…巡回型適応時間フィルタ、３０１…乗算器、３０２…加算器、３０３…フレーム遅延器、３０４…乗算器、３０５…フィルタ係数決定部、３０６…画像黒縁除去部、３２１…入力動画像信号、３２３…出力動画像信号、３２４…１フレーム前の出力動画像信号、３２５，３２６…重み係数、４０１…リフレッシュモードでのフレーム間差分と重み係数の関係、４０２…リフレッシュ以外のモードでのフレーム間差分と重み係数の関係、５０１…動き補償モードでのフレーム間差分と重み係数の関係、５０２…フレーム内符号化モードでのフレーム間差分と重み係数の関係

Claims

入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する処理を行う低レベル画素信号除去手段と、前記低レベル画素信号除去手段により処理された入力動画像信号に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号を出力する時間フィルタ手段と、前記時間フィルタ手段におけるフィルタ係数を少なくとも前記低レベル画素信号除去手段により処理された入力動画像信号と前記出力動画像信号を遅延させた信号または前記入力動画像信号を遅延させた信号との差分の大きさに応じて決定するフィルタ係数決定手段とを有することを特徴とする動画像信号処理装置。
前記低レベル画素信号除去手段は、入力動画像信号から画素値がしきい値以下である低レベル画素を検出し、低レベル画素数が画像端に何画素存在するかを探索し、前記低レベル画素の画素値を前記低レベル画素数に基づいて決定された低レベル画素以外の画素値で置き換えることによって画像端に存在する前記低レベル画素の画素信号を除去することを特徴とする請求項１に記載の動画像信号処理装置。
入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する低レベル画素信号除去方法において、前記入力動画像信号から画素値がしきい値以下である低レベル画素を検出し、低レベル画素数が画像端に何画素あるかを探索し、前記低レベル画素の画素値を前記探索した低レベル画素数に基づいて決定された低レベル画素以外の画素値で置き換えることによって画像端に存在する前記低レベル画素の画素信号を除去することを特徴とする低レベル画素信号除去方法。