JP2006325155A - 画像信号処理装置 - Google Patents

Abstract

【課題】 画像の先鋭感を維持しつつ、符号化歪みを視覚的に目立たなくする画像処理装置を実現する。
【解決手段】本発明による画像処理装置は、入力画像を複数のブロックに分割し、各ブロックの画素値の散乱度を表すアクティビティ情報を出力するアクティビティ演算手段(1)と、時間的に前後する前後フィールドから、補間すべき各画素の動きベクトル情報、及びフレーム間補間画素値をそれぞれ出力する動き検出手段(2)と、動き検出手段から出力される各画素の動きベクトルから動き散乱度をブロック単位で演算し、動き散乱度情報を出力する動き散乱度演算手段(5)と、画素値の散乱度及び動き散乱度が共に所定の閾値を超える領域と閾値を超えない領域とを区分した領域区分情報を出力する領域区分手段(6)とを具える。そして、領域区分情報を用いて、符号化歪みの発生し易い領域について動き補償処理を選択的に施して符号化歪みを低減する。
【選択図】図１

Description

本発明は、画像本来の高精細感を維持しつつ符号化歪みを抑制する画像信号処理装置に関するものである。

動画像の非可逆符号化に伴い発生する歪みの代表的なものとして、ブロックノイズとモスキートノイズがある。ブロックノイズは、画像を小ブロックに分割して各々独立に量子化処理を行うことにより、復号後の隣接ブロック間で信号の不連続が生じ、ブロック状のパターンが出現する歪みである。モスキートノイズは、画像の高周波数成分を重点的に削減する符号化処理により、復号画像において高周波数成分が不足し、画像のエッジ部等に蚊が飛んでいるかのようなリンギングパターンが出現する歪みである。

従来、上述した符号化歪みを改善する方法として、符号化前の動画像信号に対してフィルタ処理を行う前置フィルタ処理と、復号後の動画像信号に対してフィルタ処理を行う後置フィルタ処理がある。前置フィルタ処理は、符号化前の動画像に対して低域通過フィルタ処理を施すことにより、符号化歪み発生の原因となる画像高周波数成分を予め取り除くものである（例えば、「非特許文献１」参照）。後置フィルタ処理は、符号化歪みが発生した復号動画像信号に対して低域フィルタ処理を施すことにより符号化歪みを平滑化し、視覚的に目立たなくするものである（例えば、「非特許文献２」参照）。後置フィルタ処理は、AVC/H.264符号化方式においてもデブロッキングフィルタとして用いられている。このフィルタは、復号画像のブロック境界において低域通過フィルタ処理を行うことによりブロック歪みを平滑化し、視覚的に目立たなくしている。

「動画像符号化の画質改善用プリフィルタに関する一検討」、宮本他、1997年信学総大、D-11-１ 「適応的平滑化によるＤＣＴ符号化歪みの低減」、茂木、2000年信学総大、D-11-28）

従来の符号化歪み低減方法では、低域フィルタを使用して意図的に画像の高周波成分を削減しているため、符号化歪みを抑制する効果が得られている。しかしながら、画像の高周波成分の削減に起因して、画像の高周波成分領域の解像度が低下し、画像本来の先鋭感ないし高精細感も同時に低下する欠点があった。

本発明の目的は、上述した欠点を解消し、符号化歪みの出現状況に応じて動き補償を用いた画像処理を行うことにより、画像の先鋭感を維持したまま、符号化歪みを視覚的に目立たなくする画像信号処理装置を実現することにある。

本発明による画像処信号理置は、入力画像信号を受け取り、入力画像を複数のブロックに分割し、画素値の散乱度をブロック毎に演算し、各ブロックの画素値の散乱度を表すアクティビティ情報を出力するアクティビティ演算手段と、
入力画像信号を受け取り、時間的に前後する前後フィールドから、補間すべき各画素の動きベクトル情報、及びフレーム間補間画素値をそれぞれ出力する動き検出手段と、
前記動き検出手段から出力される各画素の動きベクトルから動き散乱度をブロック単位で演算し、動き散乱度情報を出力する動き散乱度演算手段と、
前記アクティビティ演算手段から出力されたアクティビティ情報と、前記動き散乱度演算手段から出力される動き散乱度情報とを受け取り、入力画像を、画素値の散乱度及び動き散乱度が共に所定の閾値を超える領域と閾値を超えない領域とに区分した領域区分情報を出力する領域区分手段と、
前記入力画像信号と前記動き検出手段から出力されるフレーム間補間画素値とを用いて動き補償されたフレーム画像を出力するライン補間手段と
ライン補間手段から出力されたフレーム画像をフィールド画像に変換するダウンサンプル手段と、
前記領域区分情報に基づいて、ダウンサンプル手段からの出力信号と前記入力画像信号とを選択して出力するスィッチング手段とを具え、
前記領域区分情報に基づき、画素値の散乱度及び動き散乱度が共に所定の閾値を超える画像部分について選択的に動き補償処理を行うことを特徴とする。

本発明においては、入力画像信号について画素値散乱度及び動き散乱度から符号化歪みが発生し易い画像部分を特定し、特定された画像領域について動き補償型順次走査変換処理を利用した画像処理を実行する。動き補償型順次走査変換処理を行うことにより、ブロック境界に位置する画素の画素値を拡散し、さらに、飛び越し走査に戻すダウンサンプル処理によりブロック境界に位置する画素値が混合又は平均化されるため、ブロック歪みのパターン境界を目立たなくすることが可能になる。
一般的な動画像符号化処理では、画素ブロック単位で画像高周波数成分を削減する量子化処理が行われているため、ブロック内では画素値の変化はなだらかにされている。よって、ブロック内の補間画素位置において動き補償型順次走査変換処理を行うと、異なる別のブロックの画素値を取得して新たな画素値が形成されるため、ブロック内の画素値の変化がより起伏に富んだものとなり、画像の高精細感が一層増大する。この結果、画素値散乱度及び動き散乱度の高い画像部分に動き補償処理を行うことにより、画像の高精細感を維持しつつ符号化歪みを有効に低減することができる。

一般的な符号化処理においては、空間解像度の高い画像（画像アクティビティの高い画像）に対しては視覚的認識度が低いという視覚特性に基づき、高周波成分の削減に重点を置いた粗い量子化が行われている。従って、このような画像領域は、画像の解像度が低下すると共に符号化歪みを発生し易い特性を有している。さらに、画像アクティビティの高い領域では、画像の正確なパターンを認識することが難しいため、相対的に符号化歪みが目立つ結果となってしまう。一方、画像のアクティビティだけに着目した場合、例えば競技場の観客席、砂浜や金網を撮影した画像のように、細かい物体が静止し又は一方向に動いている画像も処理の対象となる。しかし、これらの画像においては、画像自体にランダムな動きはなく、画像に対する視聴者の認識感度も高いため、画像中にエラーが発生すると、却って顕著に目立つ不具合が発生してしまう。さらに、動きベクトルがほぼ同一の画像部分においては、符号量が少なくブロック歪みが発生しにくい特性がある。しかし、動きが乱れている画像部分は、符号量が発生し易く量子化値が大きくなるため、ブロック歪みが発生し易い特性がある。そこで、本発明では、画素値の散乱度及び動きベクトルの散乱度の両方が所定の閾値を超える画像領域についてだけ動き補償に重みをおいた補間を行う。

本発明による別の画像信号処理装置は、符号化ストリームを復号化し、復号画像信号と、符号化制御情報に含まれる画素の動き情報及び量子化制御情報とを出力する復号手段と、復号化された符号化制御情報に含まれる画素の動き情報を受け取り、動き散乱度をブロック単位で演算して動き散乱度情報を出力する動き散乱度演算手段と、
前記動き散乱度情報及び復号された量子化制御情報を受け取り、入力画像を、量子化値及び動き散乱度が共に所定の閾値を超える領域と閾値を超えない領域とに区分した領域区分情報を出力する領域区分手段と、
前記復号画像信号と前記動き検出手段から出力されたフレーム間補間画素値とを用いて動き補償されたフレーム画像を出力するライン補間手段と
ライン補間手段から出力されたフレーム画像をフィールド画像に変換するダウンサンプル手段と、
前記領域区分情報に基づいて、ダウンサンプル手段からの出力信号と前記画像信号とを選択して出力するスィッチング手段とを具え、
前記領域区分情報に基づき、量子化値及び動き散乱度が共に所定の閾値を超える画像部分について選択的に動き補償処理を行うことを特徴とする。

動画像信号を符号化したビット列である符号化ストリームは、動画像信号と共に符号化制御情報を含み、この符号化制御情報は、各ブロック毎に量子化制御情報及び動きベクトル情報を含んでいる。従って、復号された動きベクトル情報を動き情報として用いると共に量子化制御情報をアクティビティ情報として用いることにより、量子化値が大きく且つ動き散乱度の高い領域を特定することができる。この符号化ストリームについて本発明に基づいて動き補償処理を行えば、画像の精細感を維持しつつブロック歪みを有効に低減することができる。

本発明では、入力画像について、画素値の散乱度及び動き散乱度を用いて符号化歪みの発生し易い画像部分を特定し、符号化歪みが発生し易い画像部分に対して選択的に動き補償処理を行っているので、画像部分の高精細感を維持しつつ、符号化歪を視覚的に目立たなくすることができる。

図１は本発明による画像信号処理装置の一例を示す線図である。本発明により画質改善処理される入力画像信号（復号動画像信号）は、飛び越し走査状の信号とする。すなわち、通常の放送で用いられているHD-SDI信号等の飛び越し走査信号の他に、順次走査信号であっても、飛び越し走査状の信号が２系統に分割されて伝送されるデュアルリンク伝送の信号も含まれる。

画像処理されるべき復号動画像信号は、アクティビティ演算部１、動き検出部２、ライン補間部３及びスィッチング部４にそれぞれ入力する。アクティビティ演算部１は、処理対象のフィールドについて、ブロック単位で画素値の散乱ないし散らばり具合を示す画素値の散乱度を演算し、各ブロックの画素値の散乱度を示す情報をアクティビティ情報（画素値散乱度情報）101として出力する。図２はアクティビティ演算部１の一例を示す線図である。入力動画像信号は、１フィールド遅延部１１に入力し、１フィールドの遅延をうけ、ブロック分割部１２において複数のブロックに分割され、例えば16×8画素を単位ブロックとすることができる。ブロック分割された入力動画像信号は、分散計算部１３において各画素の輝度値を用いて散乱度Ａを各ブロック毎に計算する。計算式として、一例として以下の式に基づいて計算することができる。初めに、ブロック毎に輝度の平均値ａ_ＶＥ を求め、各画素の輝度ａ_ｉについて以下の計算を行う。計算結果をアクティビティ情報101として出力する。

動き検出部２は、処理対象フィールドを挟んだ時間的に前後する前後フィールドについて動き検出処理を行い、画像の動き情報102を出力すると共にライン補間のための画素値を算出して補間画素値信号103を出力する。図３は動き検出部２の一例を示す線図である。入力した動画像信号は２つの経路に分岐され、一方の信号は１フレーム遅延部２１により１フレーム分遅延されてブロック探索部２２に入力し、他方の信号は直接ブロック探索部２２に入力する。ブロック探索部２２では、入力画像を例えば17×9画素のブロックに分割し、１フレーム分時間的にずれた２つの動画像を用いてブロックマッチングによるブロック探索処理を行う。すなわち、処理対象フィールドの補間したいある画素に対して時空間的に点対象の位置にあるブロック同士の画素値の差分絶対値和を順次算出し、最も差分値の低いブロック対を選択する。選択したブロック対に対応する画素単位の動きベクトルを動き情報102として出力する。

選択されたブロック対の情報は、補間画素値生成部２３に供給する。補間画素値生成部２３では、選択したブロック対の各中心位置にある画素の平均値を算出してフレーム間補間画素値情報103として出力する。

動き検出部２から出力される動き情報(各画素毎の動きベクトル)102は動き散乱度演算部５に供給する。動き散乱度演算部５は、入力動画像を16×8のブロックに分割し、各ブロックにおける動きのランダム性を表す動きベクトルの散乱度をブロック単位で演算し、動き散乱度情報104として出力する。この動きベクトルの散乱度は、例えば16×8画素のブロックの各画素の動きベクトルについて、隣接するベクトル(例えば、左隣のベクトル)との差分を求め、その差分値をブロック内で累積加算することにより求める。この演算は以下の式に基づいて行う。


ここで、MV_randは各ブロックの動き散乱度すなわち動きのランダム性を表し、ｘ_ｉｊ，ｙ_ｉｊは（ｉ，ｊ）の画素位置での動きベクトルのＸ座標及びＹ座標を表す。

アクティビティ演算部１から出力されるアクティビティ情報101及び動き散乱度演算部５から出力される動き散乱度情報104は領域区分部６に供給する。領域区分部６は、入力動画像について、画素値の散乱度及び動きの散乱度が所定の閾値を超えるか否かをブロック単位で判断し、２値のマップ情報として出力する。図４は領域区分部の一例を示す線図である。画素値の散乱度を表すアクティビティ情報101は第１の閾値処理部６１に入力し、所定の閾値と比較される。すなわち、16×8画素の各ブロックについて、画素値の散乱度をブロック単位で所定の閾値と比較し、画素値の散乱度が所定の閾値以上に大きいか否か判断する。同様に、動き散乱度情報は第２の閾値処理部６２に入力し、所定の閾値と比較され、動きの散乱度合いが所定の閾値を超えるか否かがブロック単位で判断される。第１及び第２の閾値処理部６１及び６２からの出力を論理積演算部６３に供給する。論理積演算部６３では、画素値散乱度及び動き散乱度が共に閾値を超える領域を特定したマップ情報を２値情報として出力する。従って、領域区分部６から、画素値散乱度及び動き散乱度が共に閾値を超え画質改善処理を必要とする領域と処理を必要としない領域とに区分した２値情報である領域区分情報105が出力される。

ライン補間部３は、動画像信号を受け取ると共に、動き検出部２から出力される補間画素値情報103も受け取る。このライン補間部３は、入力した処理対象フィールドに対して、補間画素値情報103を用いてライン補間処理を行い、フレーム画像を生成して出力する。図５はライン補間部の一例を示す線図である。入力した動画像信号は、１フィールド遅延部３１により１フィールド分の遅延を受け、補間部３２に入力する。補間部３２では、入力したフィールド画像に対して、入力した補間画素値情報103を用いて、補間対象フィールドのラインを補間してフレーム画像を生成する。そして、順次走査の動画像信号として出力する。

ライン補間部３から出力されるフレーム画像はダウンサンプル部７に供給され、ダウンサンプル部７においてフィールド画像に変換し、フィールド画像信号106として出力する。図６は、フレーム画像をフィールド画像に変換するダウンサンプル処理の一例を示す線図である。本例では、フレーム画像の隣接する２ラインを垂直方向に交互に平均化する処理によりフィールド画像に変換する。図６ａ及びｂにおいて、左側はフレーム画像の垂直方向の画素列を示し、右側は隣接する２個の画素を平均化処理して出力されるフィールド画像の垂直方向の画素列を示し、図６ａはフレーム画像から偶数番目のフィールド画像を作成する処理を示し、図６ｂはフレームから奇数番目のフィールド画像を作成する処理を示す。このように、ダウンサンプル処理において平均化処理されるので、ブロック境界付近の画素値が混合されることになり、ブロック歪みを視覚的に目立たなくすることができる。尚、ダウンサンプル処理として、本例では２つの画素の平均値を用いてフィールド画像を作成したが、勿論３個又は４個等の画素の平均値を用いてフィールド画像を出力することも可能である。さらに、ダウンサンプル部において、平均化処理以外の処理として種々の処理を行うことができ、例えば複数の画素の画素値を混合処理し或いは重み付け処理することも可能である。

領域区分部から出力される領域区分情報105及びダウンサンプル部から出力されるフィールド画像信号106は、スィッチング部４に供給する。スィッチング部４は、領域区分情報105を用いて、入力される復号動画像信号とダウンサンプル部から出力されるフィールド画像信号とを選択的に切り換えて出力する。すなわち、領域区分部において処理すべき画像部分と指定された画像領域についてはダウンサンプル部から出力されるフィールド画像信号を出力し、これ以外の画像領域については入力画像信号を出力する。この結果、符号化歪みが発生し易い画素値散乱度及び動き散乱度の高い領域については、画像歪みが視覚的に改善された画像信号が出力されることになる。

図７は本発明による映像信号処理装置の第２実施例を示す線図である。尚、図１で用いた構成要素と同一の構成要素には同一符号を付して説明する。本例では、飛び越し走査状の動画像信号を符号化したビット列である符号化ストリームを処理すべき入力信号とする。符号化ストリームは復号器７０に入力し、復号化処理が行われる。符号化ストリームは動画像信号に相当する情報と共に符号化情報も含み、符号化情報は、各ブロックの量子化制御情報107及び動きベクトルに相当する動き情報108も含んでいる。一般的に、画像アクティビティが高い画像部分については粗い量子化を行う制御が行われているから、量子化制御情報である量子化値は、画素値の散乱度を表すアクティビティ情報として用いることができる。また、動き情報は各ブロックの動きベクトルに相当する情報である。

復号された動き情報108は動き散乱度演算部５に供給し、例えば各ブロック毎に隣接するブロックの動きベクトルとの差分を求め、その差分値を動き散乱度情報109として領域区分部６に出力する。量子化制御情報107に含まれる量子化値も領域区分部６に供給する。領域区分部６は、量子化制御情報107及び動き散乱度演算部５から出力される動き散乱度情報109を所定の閾値と比較し、量子化値及び動き散乱度が共に閾値を超えるブロックと閾値を超えないブロックとを区分した領域区分情報105をスィッチング部４に出力する。スィッチング部４において、領域区分情報105に基づいて、動き補償処理及びダウンサンプル処理されたフィールド画像信号と動画像信号とを選択的に切り換えて出力する。

本発明は上述した実施例だけに限定されず種々の変形や変更が可能である。例えば、画像アクティビティ情報と動きベクトル情報とを入力動画像信号から得る態様と、符号化ストリームの情報から得る態様についてそれぞれ説明したが、画像アクティビティ情報のみを動画像信号から得て、動きベクトル情報は符号化ストリームから得る構成や、その逆の構成を採用することも可能である。

本発明による画像信号処理装置の一例を示す線図である。 アクティビティ演算部の一例を示す線図である。 動き検出部の一例を示す線図である。 領域区分部の一例を示す線図である。 ライン補間部の一例を示す線図である。 ダウンサンプル処理の一例を示す線図である。 本発明による映像信号処理装置の第２実施例を示す線図である。

符号の説明

１ アクティビティ演算部
２ 動き検出部
３ ライン補間部
４ スィッチング部
５ 動き散乱度演算部
６ 領域区分部
7 ダウンサンプル部
１１，３１ １フィールド遅延部
１２ ブロック分割部
１３ 分散計算部
２１ １フレーム遅延部
２２ ブロック探索部
２３ 補間画素値生成部
３２ 補間部
６１，６２ 閾値処理部
６３ 論理積演算部
７０ 復号器

Claims (4)

1. 非可逆変換符号化処理された動画像信号を復号することにより得られる復号動画像信号を入力する画像信号処理装置であって、
   入力画像信号を受け取り、入力画像を複数のブロックに分割し、画素値の散乱度をブロック毎に演算し、各ブロックの画素値の散乱度を表すアクティビティ情報を出力するアクティビティ演算手段と、
   入力画像信号を受け取り、時間的に前後する前後フィールドから、補間すべき各画素の動きベクトル情報、及びフレーム間補間画素値をそれぞれ出力する動き検出手段と、
   前記動き検出手段から出力される各画素の動きベクトルから動き散乱度をブロック単位で演算し、動き散乱度情報を出力する動き散乱度演算手段と、
   前記アクティビティ演算手段から出力されたアクティビティ情報と、前記動き散乱度演算手段から出力される動き散乱度情報とを受け取り、入力画像を、画素値の散乱度及び動き散乱度が共に所定の閾値を超える領域と閾値を超えない領域とに区分した領域区分情報を出力する領域区分手段と、
   前記入力画像信号と前記動き検出手段から出力されるフレーム間補間画素値とを用いて動き補償されたフレーム画像を出力するライン補間手段と
   ライン補間手段から出力されたフレーム画像をフィールド画像に変換するダウンサンプル手段と、
   前記領域区分情報に基づいて、ダウンサンプル手段からの出力信号と前記入力画像信号とを選択して出力するスィッチング手段とを具え、
   前記領域区分情報に基づき、画素値の散乱度及び動き散乱度が共に所定の閾値を超える画像部分について選択的に動き補償処理を行うことを特徴とする画像信号処理装置。
2. 符号化ストリームを復号化し、復号画像信号と、符号化制御情報に含まれる画素の動き情報及び量子化制御情報とを出力する復号手段と、
   復号化された符号化制御情報に含まれる画素の動き情報を受け取り、動き散乱度をブロック単位で演算して動き散乱度情報を出力する動き散乱度演算手段と、
   前記動き散乱度情報及び復号された量子化制御情報を受け取り、入力画像を、量子化値及び動き散乱度が共に所定の閾値を超える領域と閾値を超えない領域とに区分した領域区分情報を出力する領域区分手段と、
   前記復号画像信号と前記動き検出手段から出力されたフレーム間補間画素値とを用いて動き補償されたフレーム画像を出力するライン補間手段と
   ライン補間手段から出力されたフレーム画像をフィールド画像に変換するダウンサンプル手段と、
   前記領域区分情報に基づいて、ダウンサンプル手段からの出力信号と前記画像信号とを選択して出力するスィッチング手段とを具え、
   前記領域区分情報に基づき、量子化値及び動き散乱度が共に所定の閾値を超える画像部分について選択的に動き補償処理を行うことを特徴とする画像信号処理装置。
3. 請求項１又は２に記載の画像信号処理装置において、前記領域区分手段は、画素値の散乱度及び動き散乱度を所定の閾値と比較する比較手段を有し、画素値散乱度及び動き散乱度が共に閾値を超える領域と閾値を超えない領域とに区分した２値マップ情報を出力することを特徴とする画像信号処理装置。
4. 請求項１、２又は３に記載の画像信号処理装置において、前記ダウンサンプル手段は、フレーム画像の垂直方向に隣接する画素の画素値を混合又は平均化してフィールド画像を出力することを特徴とする画像信号処理装置。