JP2005531195A - ブロック歪を検知する方法 - Google Patents

Abstract

本発明は、一連のデジタル画像においてブロック歪を検知する方法に関する。当該方法は、不連続性画素の少なくとも１つのカードを供給することを目的とした、デジタル画像の一部分を高域通過フィルタ処理するステップ(110)を有する。当該方法は、不連続性画素の前記少なくとも１つのカードからブロック歪を検知するステップ(120)も有する。当該方法は、前記画像の前記部分において一連のグリッド行を検索するステップを有し、この場合に、グリッド行は、このグリッド行に隣接する行のブロック歪の密度よりも著しく大きいブロック歪の密度を有する。ブロック歪を検知する斯様な方法は、特に効率的であり、例えば、前記グリッド行におけるブロック歪に関してより良い修正を可能にさせる。

Description

本発明は、ブロック歪に対応するグリッドを検知するために一連のデジタル画像の画素に対応するデータを処理する方法に関し、当該方法は、不連続性画素の少なくとも１つのカード(card)を供給することを目的とした、デジタル画像の一部分を高域通過フィルタ処理するステップと、該不連続性画素の少なくとも１つのカードからブロック歪を検知するステップとを有する。

本発明は、本発明による前記データ処理方法を実施する処理装置を有するテレビ受信機にも関する。

本発明の応用は、特に、例えばMPEG標準規格(“Motion Picture Expert Group”)等のブロックに基づく符号化技術により先に符号化され続いて復号化されたデジタル画像におけるブロック歪の検知において、及びブロックに基づく符号化技術によって生じた可視的歪を軽減させるためのこれらブロックに含まれるデータの補正において見出される。

前記ブロック歪は、離散コサイン変換DCT型の離散変換を用いる前記ブロックに基づく符号化技術に関して、重大な問題を構成する。これらのブロック歪は、符号化された画像シーケンスにおいて時々極めて目立つブロックモザイクの形で現れる。これらの歪は、前記離散変換の後の強い量子化が原因であり、この強い量子化が強い不連続性を前記符号化ブロックの境界に生じさせる。

国際特許出願公開第 WO 01/20912号(ファイル番号:PHF99579)は、復号化されたデジタル画像におけるブロック歪に対応するグリッドが検知され位置特定され得る方法を記述する。この方法は、8×8、10×8及び12×8画素の３つの標準のグリッドサイズの検知を可能にし、これらのグリッドサイズは、テレビ放送用デジタル番組を放映するために用いられる画像の主要形式に由来する。前記8×8のグリッドは576行で720画素の形式において符号化された画像シーケンスに対応し、前記グリッドの10-11-11×8は、ほぼ10×8のグリッドに一致し、576×540形式における符号化に対応し、3/4符号化形式として呼ばれ、及び12×8のグリッドは576×480形式における符号化に対応し、2/3符号化形式と呼ばれる。前記グリッドのサイズは、前記ブロック歪間の最も頻出する距離を調べることによって得られる。該画像の原点(0,0)に対しての前記グリッドのオフセットは、全ての可能なオフセットの中で、最大数のブロック歪の存在に一致するようなオフセットを探すことによって得られる。

本発明の目的は、より効率的なデータ処理方法を提案することである。

先行技術の方法は、規則的に間隔をおいて離隔されたブロック歪の検索と検知に基づく。従って、この方法は、画像内のグリッドの唯１つのサイズ、及び前記画像の原点に対するグリッドの１つのオフセットを探す。しかしながら、前記グリッドは、画像において画像の再サンプリングにより歪められることもある。この歪は、グリッドの幅が前記10-11-11形式に従って変化するような前記3/4符号化形式の場合におけるように、先立って知られ得る場合も時々ある。しかしながら、この変化は、大抵は任意的である。というのも、この変化は、例えば、レート符号変換、16/9テレビ受信機における4/3形式から例えば16/9形式への画像形式変換、画像の一部分におけるズーム、A/D変換又はこれらの異なる変換の組み合わせからでも発生するからである。この場合、前記先行技術の方法は、部分的な又は非効率にさえなる補正のリスクを伴い、最も頻出なサイズ及び位置を有するグリッドを保ち、このグリッドに基づく後処理ステップを適用する。

これらの問題に対処するために、本発明による前記データ処理方法は、この方法が、前記画像の一部分において一連のグリッド行を検索するステップを有し、グリッド行が、このグリッド行に隣接する行のブロック歪の密度よりも著しく大きいブロック歪の密度を有するという特徴を有する。

本発明による処理方法は、画像の行毎のブロック歪の分析と区分化に基づき、前記先行技術におけるような、ブロック歪間距離の周期性の検索には基づかない。この結果は、一連のグリッド行であり、この場合には、前記グリッド行の間の距離は前記画像の再サンプリングに従って変化し得て、固定されたサイズのメッシュを有するグリッドではない。従って本発明による処理方法は、再サンプリングされた画像を前記可能な再サンプリング操作を先に知ることなく処理する可能性を与える。

そのうえ、ブロック歪の選択がセグメント毎に為される先行技術の方法と対比して、ブロック歪の選択が行毎になされるので、不正な検知のリスクは低減され、当該方法の効率を飛躍的に向上させる。

本発明のこれら及び他の点は、後述の実施例から明らかであり、これら実施例を参照して非限定的な例を用い説明される。

本発明は、ブロックに基づく符号化技術により符号化及び復号化された一連のデジタル画像を処理する方法に関する。我々の例において、前記使用される符号化技術は、離散コサイン変換DCTに基づくMPEG標準規格であるが、代わりに、例えばH.263又はH.26L標準規格等の如何なる他の同等な標準規格であってもよい。この方法は、例えばJPEG標準規格に従って符号化された、固定された画像へも適用することが可能であることに注意しなければならない。当該処理方法は、初めにこれらのブロックに基づく符号化技術に起因するブロック歪の検知に関し、続いて例えば後処理技術又は画像品質測定等のような後に続く応用に関する。

図１は、本発明による前記処理方法を図式的に示す。斯様な方法は、初めにデジタル画像の一部分を高域通過フィルタ処理するHPFステップ(110)を有する。この部分は、例えば、前記画像が２つのインターレースされたフレームによって構成される場合、フレームの２つのフィールドの内の１つである。この好ましい実施例において、高域通過フィルタ処理ステップは、フィルタhp1＝[1,-1,-4,8,-4,-1,1]を用いる勾配フィルタステップである。このフィルタは、行LNG毎に、前記一連のデジタル画像のフィールドFLDの輝度Y(m,n)の画素に対し、水平及び垂直に適用され、この場合に、m及びnは各々１とMとの間及び１とNとの間の整数であり、各々垂直及び水平の軸によるフィールドの画素の位置に対応する（例えば、576×720符号化形式においてM=288及びN=720）。

このフィルタ処理操作の結果は、好ましくは不連続性画素の２つのカードである、水平カードEh及び垂直カードEvによって構成される。再サンプリング操作の大部分は、水平方向に実施されるので、垂直の不連続性を示す水平カードEhは、第１近似において十分でありえる。しかしながら、本発明による処理方法は、不連続性画素の前記２つのカードEh及びEvを処理することに基づく場合に、最適な効率を有する。

他の勾配フィルタ、例えば、論文“Image Coding Using Wavelet Transform” IEEE Trans. Image Processing, vol. 1, no. 2, pp. 05-220, April 1992において、Antonini及びその他によって提案された、ウェーブレット変換のための高域通過フィルタhp2 = [0.045635882765054703, -0.028771763667464256, -0.2956358790397644, .5574351615905762, -0.2956358790397644, -0.028771763667464256, 0.045635882765054703]のようなものも可能である。そのうえ、前記高域通過フィルタhp1は、特に単純な方法において実行され得、前記フィルタhp2の結果に近い結果を生成する。

当該方法は、ブロック歪に対応する不連続性を決定するステップBAD(120)を有する。実際に、前記不連続性は、自然輪郭と同様にブロック歪にも対応し得る。ブロック歪に対応する画素の選択は、前記不連続性画素に対応するフィルタ処理された係数Yfの値の関数として実行され、基本ブロック歪の予想される位置の２つのバイナリカードが得られる。図２は、前記フィルタhp1又はhp2を用いてフィルタ処理した後の周波数ドメイン及び空間ドメインにおけるブロック符号化技術に従って符号化された画像において原理的に遭遇される２つの歪プロファイルp1及びp2を示す。第１プロファイルp1は、標準ブロック歪に対応する一方で、第２プロファイルp2は、再サンプリング操作又は同等の処理操作に従う画像に存在するブロック歪に対応する。空間ドメインにおいて、第１プロファイルp1は、単純な１段の階段であり、一方で、第２プロファイルp2は、２段の階段である。周波数ドメインにおいて、第１プロファイルp1は１つのピークによって表現される一方で、第２プロファイルp2は、２つのピークによって表現される。

好ましい実施例において、ブロック歪に対応する不連続性を決定する上記ステップは、自然輪郭及び不可視的な歪を検知するサブステップを有する。これを実施するために、水平方向にフィルタ処理された係数値Yfh(m,n)及び/又は垂直方向にフィルタ処理された係数値Yfv(m,n)は、ブロック歪に一致することができるように２つのしきい値の間に存在しなければならない。前記第１しきい値S1は、可視性しきい値に対応し、一方で前記第２しきい値は、位置(m,n)の画素が自然輪郭に対応する限界値に対応する。当該条件は、次に示すフィルタ処理された係数の絶対値に関して好ましくは取られる。

及び

代わりとして、次の条件が用いられる。

ここで、S’１及びS’２は、S1及びS2と同じ働きを持つ。上記しきい値は、使用されるフィルタに依存する。フィルタhp2に関しては、我々は、例えばS’1=0.6及びS’2=400、並びにS1=0.5及びS2=20を取る。当該処理方法の効率を更に向上させるよう量子化ステップの関数として上記しきい値S1及びS2を変化させることは、ビデオデータストリーム及びつまりフィールドの前記量子化ステップへのアクセスが可能であるようなMPEG-4応用技術の場合、特に優位性がある。例えば、上記しきい値は、前記量子化ステップの線形関数である。

ブロック歪に対応する前記不連続性を決定するステップは、ブロック歪を検知するサブステップも含む。プロファイルp１に対応する垂直方向歪は、次の条件が満たされる場合に、行mに対応する水平方向に従って垂直カードEvをスキャンすることによって検知される。

ここで、k=-2, -1, +1, +2である。

ブロックの境界は、

の場合に、位置(m,n)の画素及び(m,n+1)の画素の間において位置特定され、反対の条件の場合には位置(m,n-1)の画素及び位置(m,n)の画素の間において位置特定される。
プロファイルp2に対応する歪は、次の累積条件が満たされる場合に、検知される。

ここで、上記好ましい実施例においてf１＝６及びf２＝２である。

上記ブロックの境界は、位置(m,n-1)の画素及び位置(m,n)の画素の間において位置特定される。プロファイルp1及びp2の各々に対応する水平方向の歪の検知は、列ｎに対応する垂直方向にフィルタ処理された係数Yfh(m,n)を有する水平カードEhをスキャンすることによって同様な方法で実施される。

容易に実行され得る別の実施例において、高域通過フィルタ処理ステップは、フィルタhp3＝[-1,1]を用いる勾配フィルタ処理操作に基づく。この形式のフィルタは、プロファイルp1に対応する標準形式のブロック歪を容易に検知する可能性を与える。ブロック歪に対応する不連続性を決定するステップは、次の場合に検知される自然輪郭であるような自然輪郭を検知するサブステップを有する。

及び

ここで、我々の例において0から255の間において変化する輝度値Y(m,n)に関してSh=35及びSv=50である。
ブロック歪に対応する不連続性を決定するステップは、次の条件の場合において検知されるブロック歪を検知するサブステップを有し、このサブステップは、自然輪郭を除き画素のフィルタ処理された値Yfh及びYfvの両方又はいずれか一方に対して実行される。

ここで

は、フィールドにおけるYfhの絶対値の平均である。

当該処理方法は、現在のフィールドにおいて、隣り合う行と比較して高密度の基本ブロック歪のセグメントを有する画素の行を検索する（130）ステップを有する。

この検索ステップは、始めに不連続性画素のカードの水平又は垂直行のセグメントを選択することを意図された選択サブステップSEL(131)を有し、このセグメントは、既定のしきい値S0よりも高い数の連続したブロック歪を有する。実際に、孤立した不連続性は、概ね追加的なノイズに対応する一方、DCT係数の粗い量子化に起因するブロック歪は、概ね符号化されたブロックに沿って現れる線形的不良を生じさせる。前記既定のしきいの値S0は、不正検知を助長させないためには、低すぎではならない。この既定のしきい値S0は、検知された基本ブロック歪のセグメントの数を減らすことによって選択を過剰に束縛しないように、高すぎでもならない。実際には、S0値は、288行720画素のフィールドに関しては、3に固定される。

上記検索ステップは、行L_iごとのブロック歪のレベルNb_iを計算するサブステップCAL(132)も有し、ここでiはフィールドにおける行の数に対応する整数である。上記好ましい実施例において、ブロック歪のレベルは、１行に存在する基本歪のセグメントと関連する画素の数を数えることによって得られる。代わりとして、ブロック歪のレベルは、１行において選択されたセグメントの基本歪に対応する不連続性画素のフィルタ処理された係数Yfの値を合計することによって得ることも可能である。

当該検索ステップは、最後にグリッド行を決定するサブステップGLD(133)を有し、ここで、行は隣接する一連の行と比較を行うことによって検知される。

前記第１プロファイルp1について、

及び

である場合、行L_iは、現在の行L_iと直前の行L_i-1とすぐ後に続く行L_i+1とのブロック歪レベルの比較に基づいたグリッドの行であるように決定され、ここでαは、例えば、垂直行の検知に関して2/3、及び水平行検知に関しては3/5と等しい係数である。ここで、T1は、行が該グリッドに属するとみなされ得るような行における歪の最小の百分率であり、この百分率が我々の例において10％と等しいように取られ、この場合に、Nは、行毎の画素の数であって、すなわち我々の例においては720であり、T1及びNの積が72と等しくなるようになっている。

第２プロファイルp2について、

及び

である場合、行L_iは、現在の行L_iと直前の行L_i-1及びL_i-2とすぐ後に続く行L_i+1及びL_i+2とのブロック歪レベルの比較に基づいたグリッドの行であるように決定され、ここでβは、我々の例において2/3と等しい係数であり、T2は、１行における歪の最小の百分率であって、垂直行の検知に関しては5％、及び水平行の検知に関しては20％に等しい。上記条件Nb_i＞T2.Nは、当該システムの信頼性を制御する可能性を与える。T2の値を増加させることによって、不正検知の危険が低減される。

上述の処理方法のステップは、フィールドの一連の行に適用される(150)。その後に、当該処理方法は、グリッドの多数の行がフィールドに存在するかを決定するための検証ステップGV(140)を有する。このステップは、全体のフィールドが調査されたら直ちに行われる。上記検証ステップは、特にブロックに基づく符号化技術により符号化及びその後の復号化をされていない画像シーケンス、またはこれらの技術の高いビットレートで符号化された画像シーケンスに関して、グリッドの行の不正検知が発生しないことを保証する。実際に、同じフィールドにおいて発見されるグリッドの行の数が非常に低い場合、不正検知が起こり得る。従って、当該検証ステップは、該フィールドにおいて発見されたグリッド行の合計数Ntotを既定のしきい値Stotと比較することからなり、この数Ntotは、水平グリッドの行の数及び垂直グリッドの行の数の合計と等しい。我々の例においては、上記数Ntotは、前記プロファイルp1に対応するグリッドの行を合計するのみであるが、しかしながら、前記しきい値Stotの値を修正することによりプロファイルp2に対応するグリッドの行を考慮に入れることも可能である。合計数Ntotがしきい値Stotよりも高い場合、グリッドはフィールドにおいて存在する。仮定として、前記グリッドの最大サイズが16×16画素であって、我々の例において3分の1と等しいように取られるようなグリッドの少なくとも小部分が、検知を有効にするために検知されなければならないということになること、言い換えれば、

という仮定を取ることによって、前記既定のしきい値Stotは、前記フィールドの水平及び垂直次元H及びVの関数である。

本発明による前記データ処理方法の第１の応用は、グリッドの行において存在するブロック歪を修正するための画像の後処理によって構成される。該修正は、検知されたブロック歪のプロファイルに依存する。ブロッキング歪がプロファイルp1に対応する場合、図３を参照して説明される修正が適用される。前記ブロック歪を修正する方法は、
−ブロックの境界の上又は左に位置する、第１群のN個のデータuの第１離散コサイン変換DCT1(31)を計算するステップと、
−ブロックの境界の下又は右に及び前記第１群に隣接して位置する、第２群のN個のデータvの第２離散コサイン変換DCT1(32)を計算するステップと、
−前記第１及び第２群の結合CON(30)に対応する一連の2N個のデータwのグローバル離散コサイン変換DCT2(33)を計算し、一群の変換されたデータWを供給するステップと、
−前記第１(31)及び第２(32)変換DCT１から得られた変換データU及びVから予想最大周波数kwpredを決定するPRED(34)ステップであり、この場合、該周波数は次の手段、

で計算され、ここで、

及び

であり、この場合にTは零とは異なるしきい値であるようなステップと、
−周波数が前記予想最大周波数より高いような前記グローバル離散変換からの残りの変換データWを、零に設定することによって修正しZER(35)、その後修正されたデータW’を生成するステップと、
−修正されたデータの逆離散コサイン変換IDCT2(36)を計算し、その後スクリーン上に表示されることを目的とするフィルタ処理されたデータw’を生成するステップと、
を含む。

ブロック歪がプロファイルp2に対応する場合、修正は、大幅に変更されなければならない。実際に、ブロックの境界の位置は、図４に示すように、プロファイルp2に対応する階段状の２段のステップのため、より正確に与えられなければならない。この目的のため、前記修正方法は、中間画素p(n)の輝度値を再調整するステップを先立って有し、このステップは、中間画素p(n)の直ぐ右側に位置する画素p(n+1)の輝度値を前記中間画素に与えることを意図されている。その後前述のステップは、ブロックの境界が前記中間画素の左に存在するように適用され、その後セグメントvの部分を形成する。代わりに、左側の画素の輝度値、又は最も近い輝度値を持つ画素の輝度値に対応する中間画素の輝度値を選択することも可能である。両方の場合において、前記セグメントu及びvの位置決めは、前記修正ステップを適用するために適宜に合わせられなければならない。

本発明によるデータ処理方法の第２の応用は、画像の質を決定するためにフィールドのブロックレベルを測定する装置によって構成される。距離測定としても呼ばれる、この測定の結果は、例えば、フィールド毎にグリッドの異なる行のブロック歪のレベルNb_iを加えることにより計算される。

テレビ受信機回路が適切にプログラムされるような場合に、本発明による当該処理方法を前記テレビ受信機回路によって実施することが可能である。プログラミングメモリにおいて記憶されたコンピュータプログラムは、上記回路に図１を参照して上述されている異なる操作を実行させるようなことが可能である。前記コンピュータプログラムは、例えば、前記プログラムを有するディスクのような、データキャリアを読み取るための前記プログラミングメモリへもロードされてもよい。読み取り操作は、例えば、インターネットのような通信ネットワークを用いて実施されてもよい。この場合、サービスプロバイダーは、前記コンピュータプログラムを興味がある者が自由にダウンロードすることが可能な信号の形式で置くことになる。

本文中の括弧の間の如何なる記号も、限定的であるように解釈されてはならない。動詞「有する」(to comprise)及びこの動詞の活用形の使用は、請求項で述べられているもの以外の要素又はステップの存在を除外するものではない。「an element」又は「a step」の前の冠詞「a」又は「an」は複数の斯様な要素及びステップの存在を除外しない。

図１は、本発明によるデータ処理方法を表す図である。 図２は、ブロックに基づく符号化技術により符号化された画像において主に遭遇する２つの歪プロファイルp1及びp2を、空間ドメイン及び周波数ドメインで示す。 図３は、ブロック歪を補正する方法を記述する。 図４は、前記p2型のブロック歪を補正する原理を記述する。

Claims (9)

1. ブロック歪に対応するグリッドを検知するために一連のデジタル画像の画素に対応するデータを処理する方法であって、不連続性画素の少なくとも１つのカードを供給することを目的とした、デジタル画像の一部分を高域通過フィルタ処理するステップと、該不連続性画素の前記少なくとも１つのカードからブロック歪を検知するステップとを有する方法において、該方法が、前記部分において一群のグリッド行を検索するステップを有し、この場合グリッド行が、このグリッド行に隣接する行のブロック歪の密度よりも大幅に大きい密度のブロック歪を有することを特徴とする方法。
2. 請求項１に記載のデータ処理方法であって、前記検索ステップは、
   −前記画像の前記部分の行において、既定の第１しきい値よりも大きい数の連続ブロック歪を含むセグメントを選択するサブステップと、
   −前記選択されたセグメントの画素の値に基づいて行毎のブロック歪レベルを計算するサブステップと、
   −現在の行及び隣接する一群の行の前記ブロック歪レベルの比較に基づいてグリッド行を決定するサブステップと、
   を有する方法。
3. 請求項２に記載のデータ処理方法であって、画像品質を測定するステップを有し、このステップが、前記画像の前記部分に関して前記グリッドの異なる行の前記ブロック歪レベルを加えることを目的とする方法。
4. 請求項１に記載のデータ処理方法であって、検証のステップも有し、このステップが、前記部分において発見されたグリッド行の数が第２既定しきい値よりも高い場合に、グリッドが前記デジタル画像の前記部分において存在するかどうかを決定することを目的とする方法。
5. 請求項１に記載のデータ処理方法であって、前記高域通過フィルタ処理するステップが、不連続性画素の２つのカード、すなわち１つの水平カード及び１つの垂直カードを供給することを目的とする方法。
6. 請求項１に記載のデータ処理方法であって、ブロック歪を検知する前記ステップが、第１型のブロック歪及び第２型のブロック歪を不連続性画素の前記少なくとも１つのカードから検知することを目的とする方法。
7. 請求項６に記載のデータ処理方法であって、前記グリッド行に位置した前記ブロック歪をこれらの歪の型に従って修正するステップを有する方法。
8. 請求項７に記載の前記データ処理方法を用いる処理装置を有するテレビ受信機であって、修正されたデジタル画像を前記受信機のスクリーン上に表示することを目的に、一連のデジタル画像において前記グリッド行を検知し、及び前記行に位置した前記ブロック歪を修正するのに適したテレビ受信機。
9. 一群の命令を有するコンピュータプログラムであって、これらの命令が、回路へロードされた時に、前記回路に請求項１乃至７の何れか一項に記載のデジタル画像を処理する方法を実行させるコンピュータプログラム。
   

Images