JP2005524303A

JP2005524303A - 低レート・アプリケーション用ディジタル画像処理方法

Info

Publication number: JP2005524303A
Application number: JP2004500511A
Authority: JP
Inventors: ブルジュ，アルノー; ジャング，ジョエル
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-04-23
Filing date: 2003-04-16
Publication date: 2005-08-11
Also published as: EP1502443A1; CN1647539A; KR20040106383A; US20060029281A1; AU2003219404A1; WO2003092294A1

Abstract

本発明はデータ・ブロックを有するディジタル画像を処理する方法(30)に関し、該方法は２つの連続するブロック(Bj,Bk)で、連続する成分(Lj,Lk)が所定の閾値よりも低い値だけの差異を有するもの、を有する均質な領域を判定する工程（31）を有する。該方法は更に、該隣接するブロックを隔てる境界の何れかの側に初期データ群を有する補正対象セグメント（Sjk）を判定する工程(32)を有する。該方法は最後に、種々の考えられる補正データ群（34）から無作為に選択された補正データ群（S’jk）によって該補正対象セグメントの該初期データ群を置換する工程(33)を有し、補正データ群の平均値は該２つの隣接するブロックの該連続する成分の平均値に等しいものである。

Description

本発明は、データ・ブロックを有するディジタル画像を処理する方法に関し、該方法は２つの隣接するブロックで、該ブロックの連続する成分が所定の閾値を下回る値だけ異なるもの、を有する均質の領域を判定する工程、及び補正対象セグメントで、該隣接するブロックを隔てる境界の何れかの側に初期データ群を有するもの、を判定する工程を有する。

本発明は更に、そのような画像処理方法を実施する処理装置に関する。

本発明は特に、本発明の適用分野を低レートのビデオ符号化の領域において見出す。該符号化手法は、例えば、H.26L標準又は同等の標準に基づくものであり、該H.26L標準又は同等の標準によって、一連のディジタル画像が、データ・ブロックの形式で事前に符号化され、更に復号化され、本発明は該ブロック・ベースの符号化手法が発生する視覚アーチファクトを減衰させるために該復号化データ・ブロックの補正を可能にする。したがって、本発明は携帯電話又は携帯情報端末のような携帯機器に効果的に組み入れ得る。

インターネット及び携帯機器の活発化によって、低レートのアプリケーション及びリアル・タイムのアプリケーションに関して移動網経由でビデオ・データを伝送することが必要となってきている。符号化手法が、例えば、MPEG-4又はH.26L標準のような種類のアプリケーションについて実施されており、これらの手法は離散ブロック変換に基づくものである。ブロッキング効果を補正する手法は平行して開発されており、該手法は特に、低レートに特化されてこれらのブロック・ベースの符号化手法によるブロッキング・アーチファクトを補正するものである。

従来の補正手法は、常に効果的なものではなく、特に一様でかつ中位のコントラストを有する領域においては効果的なものでない。これは図１に基づいて明らかになったことである。図１は基準関数ｆを表し、該基準関数は視聴者によって可視である最小ルミナンス差異値ΔLを画像領域の平均ルミナンスAvgLの関数として表すものであり、該領域は、例えば、隣接するブロック対が占める表面にかなり等しいものである。この関数は、約７０に等しい平均ルミナンス単位L0に対して、該ルミナンスが0とLmax=255との間にある場合、約１又は２単位に等しい最低ΔL0値を通過させる。この関数ｆを厳密に記載するものがある（非特許文献１参照。）。フィルタ化はしたがって、この種の視覚的な不具合を抑制するには役に立たないか、さもなければほとんど役に立たないものである。

国際特許出願第WO2001/58169号（内部参照番号PHFR000011）はそのような視覚的な不具合を削減することを意図する画像処理手法を開示している。この目的で該画像処理手法は：
低域通過フィルタ化で、線形フィルタ化を、例えば、入力画像のデータに行う、工程；
補正対象セグメントで、該隣接するブロックを隔てる境界の何れかの側のフィルタ化データ群を有するもの、を判定する工程；及び
補正対象セグメントに属する該フィルタ化データに少なくとも1ビットの2進乱数を付加することによって補正する工程；
を有する。
H.R.Wu及びM. Yuen、"A generalized block-edge impairment metric for video coding"、IEEE Signal Processing Letters、vol. 4、n.11、pp.317-320、November 1997

2進乱数の該付加で、可変ノイズに同等なもの、はブロッキング・アーチファクトの可視性を削減することを可能にするが、それは特に、該付加ノイズが一般に、補正対象現行セグメントから、直後の補正対象セグメントに対して、異なるからである。しかしながら、先行技術による方法は時には、該ノイズ生成の完全に無作為である特性によって非効果的になり得る。

本発明の目的は効果的なディジタル画像処理方法を提案することにある。

実際には、多くの、例えば、４つの初期データを有する補正対象セグメントに1ビットの2進数を付加する場合には１６の、ノイズ構成が、先行技術による方法では無作為に生成される。特定の構成は、非効果的であるとは言わないまでも、必然的に、適しているものでない。

したがって、本発明によるディジタル画像処理方法は、該方法が更に、補正対象セグメントの初期データ群を補正データ群によって置換する工程を有し、該補正データ群が種々の補正データ群から無作為に選択されたものであり、補正データ群の平均値が該２つの隣接するブロックの連続する成分の平均値にかなり等しいものであることによって特徴付けられる。

したがって、該構成で、該２つの隣接するブロックの該連続する成分の平均値にかなり等しい補正データ群の平均値に相当するもののみが、保持される。補正対象セグメントで、該隣接するブロック間で1ルミナンス単位の差異を有する４つの初期データを有するもの、の場合、該考えられる１６から更に、５つの構成のみが保持される。そのような構成によって該補正対象セグメントの該初期データを置換することは、該画像のコンテンツに付加的な不具合を人工的に付加しないことを、従来技術による手法とは反対に、可能にするものである。該従来技術による手法は、2進乱数が該補正セグメントのデータ値で、該2つのブロックの該連続する成分の該差異よりも高いもの、を呈し得るものであり、その結果、該補正データ群の平均値が該２つの隣接するブロックの該連続する成分の平均値に等しくなることはめったにないものである。

そのような方策によって該方法を、特に単純でかつ効率的なもので、該種々の補正データ群に相当する該種々の構成を予め格納するか、無作為に生成することを、該補正群データの平均値に関する基準を考慮すると同時に、行い得るもの、にする。

本発明は更に、ディジタル画像を処理するそのような方法を有する復号化手法及び該復号化方法を実施するビデオ復号器に関する。

本発明は更に、ディジタル画像を処理するそのような方法を有する符号化手法及び該符号化手法を実施するビデオ符号器に関する。

本発明は最後に、ディジタル画像を処理する本発明の方法を実施するコンピュータ・プログラム・プロダクトに関する。

本発明のこれらの特徴及び別の特徴は、非限定的例示で、以下に記載する実施例を参照することによるもの、から明らかであり、該例示によって明らかになるものである。

本発明は、一連のディジタル画像で、ブロック・ベースの符号化手法によって、特に低レートのアプリケーション及びリアル・タイムのアプリケーションに関して、符号化され、復号化されたもの、を処理する方法に関する。ここで使用される符号化手法は、この例ではＨ．２６Ｌ標準であるが、ＭＰＥＧ−４標準又は如何なる別の同等の標準でもあり得る。この方法は更に、固定画像で、例えば、ＪＰＥＧ標準によって符号化されたもの、に適用し得ることが分かる。

そのようなブロック・ベースの符号化手法はディジタル画像をブロックに分割する。Ｈ．２６Ｌ標準の場合、該ブロックは4画素を有する4行である。該符号化中に、該ブロックは更に、周波数変換を経る。Ｈ．２６Ｌ標準及び従来の手法の大部分の場合、これは離散コサイン変換（ＤＣＴ）である。復号化の間に、ブロッキング効果が該ブロックの該境界に沿って出現し得る。ブロッキング効果はエッジに類似するが、厳密な意味での画像のコンテンツには実は存在しないものである。本発明の目的は特に、該ブロックの該境界に沿って位置するこれらの「偽」エッジを、該エッジが非常に低いルミナンス差異値に相当するものではあるが、しかしながら特定の観察条件、例えば、高品位を有する画面上でのものか、ディジタル画像フォーマットの特定の操作後のものか、更には、該画像のルミナンス・レベルによるもの、のもとででは可視である場合に、除去することにある。

図３は本発明によってディジタル画像Imを処理する方法を表す。該方法は：
２つの隣接するブロックBj及びBkで、連続するルミナンス成分Lj及びLkが、この例では1又は２ルミナンス単位に等しい所定の閾値を下回る値だけ異なる、すなわち：
Lj=Lk±１又はLj=Lk±２；
であるもの、を有する均質な領域を判定する判定工程HBD(31)；
該隣接するブロックを隔てる境界の何れかの側に初期データ群を有する補正対象セグメントＳｊｋを判定する判定工程CAD(32)；
を有し；
図２の例ではこれは該境界の何れかの側に2画素を有する、４画素を有するセグメントであり；
更に、該補正対象セグメントの該初期データ群を補正データL’１乃至L’４の群S’jkによって置換する置換工程RPL（３３）を有し；
該群が無作為に、種々の考えられる補正データPAT群(34)から選択され、補正データL’1乃至L’4群の平均値Mが該2つの隣接するブロックの該連続する成分の平均値に等しい、すなわち：
M=（L’1＋L’2+L’3＋L’4）/4＝（Lj＋Lk）/2；
である。

補正データL’1乃至L’4はルミナンス値Ljとルミナンス値Lkとの間に位置し続けることが望ましい。

該置換工程は該２つの隣接するブロックに一部重なり合う種々の補正対象セグメントで、ここではH.２６L標準の場合、4セグメントであるものに、適用することを意図する。
補正セグメントS’jkは種々の考えられる構成から無作為に選択される。補正セグメント各々が該セグメントの直前又は直後に来るセグメントと異なる確率は高く、それによって初期に存在するブロッキング・アーチファクトがもう少し多く滑らかにされることにつながるものである。

図４は本発明の実施に相当する種々の考えられる補正データ群、すなわち、4画素を有する補正対象セグメントの5つの構成で、ルミナンス差異値ΔＬｇａ１に等しいもの、を表す。最初の４つの構成（４１乃至４４）については、該ブロックの該境界の何れかの側の補正データ群の各半分の平均値は該２つの隣接するブロックの該連続する成分の平均値に等しいものである。5番目の構成（４５）は別の構成で、該補正データ群の平均値が該２つの隣接するブロックの該連続する成分の平均値に等しいものであることを想定し得るもの、に相当する。

本発明による画像処理方法が水平方向で隣接するブロックと垂直方向に隣接するブロックに対して適用される。一般に、該方法は低域通過フィルタ化工程、例えば、線形フィルタ化、によるものであり、それは該隣接するブロック間の１又は２ルミナンス単位のルミナンス差異を補正するには非効果的である。以下の明細書では、本発明による該画像処理方法、更には、特に単純で効果的なフィルタ化方法を有するひとそろいの画像処理方法を記載する。しかしながら、本発明はこの種のフィルタ化に限定されないことが当業者には明らかになるものである。

上記処理方法はしたがって、図５に示すひとそろいの画像処理方法と一体化し得る。なお未公表の仏国特許出願（出願番号第0200487号）に詳細に記載する方法は以下の工程を有する。

復号化ディジタル画像Ｉｍは最初に該ディジタル画像Imの劣化測定値ＤＭを供給する劣化評価工程ＤＥＧＲ(51)の入力に供給される。該劣化測定値ＤＭは、例えば、画像量子化工程の値か、更には該量子化工程のかなり修正された値で、ここで使用される符号化手法から分かる特徴的な特性の関数としてのもの、に相当する。

該劣化測定値ＤＭに基づいたフィルタ判定工程ＤＥＣ（５２）が次に続く。該工程は該画像Ｉｍの隣接するブロック対（Ｂｊ,Ｂｋ）について、かつ、該劣化測定値ＤＭについて、フィルタ工程を要するか否かを判定する。該フィルタ化する判定は、例えば、以下の基準によって行われる：
該ブロックＢｊ及びＢｋ間の最大ルミナンス差異が該劣化測定値DMの1.5倍の値よりも小さい場合、該フィルタ化する判定は肯定（ｙ）となる。この場合、真のエッジは関係しないものとみなされる。

さもなければ、該判定は否定(n)となる。この場合、該ブロック間の最大ルミナンス差異はフィルタ化を要しない自然な輪郭に相当する真のエッジに対して十分高いとみなされる。

該劣化評価工程DEGR(51)及びフィルタ判定工程DEC（５２）と平行して、該画像Imがブロック毎に分類工程CLASS(53)に供給される。該分類工程CLASS(53)はブロックBと関連付けられ、クラスCliが予め定義されたクラス群で、この例では４つのクラスCl１乃至Cl4のもの、から選択される。

ブロックBは以下：
m₁＝max｛a_pq｝_{p=1..P-2,q=1..Q-2}であり、かつ m₂＝min｛a_pq｝_{p=1..P-2,q=1..Q-2}の場合、│ｍ₁−ｍ₂│＜Sである、すなわち、ｍ１がブロックBの外のセグメントを有しない図６に規定されたサブブロックSBの係数a_pqの最大値で、ブロックBがQ個の画素を有するP行を有し、ｍ２がサブブロックSBの係数a_pqの最小値で、Sが例えば、この場合、3に等しい閾値である；
の条件を充足する場合は均質なクラスCl1に属する。

ブロックBは、サブブロックSBのｐ＝1乃至P−２の任意の行ｐについて、以下：
m１＝max｛a_pq｝_q=1..Q-2であり、かつ m２＝min｛a_pq｝_q=1..Q-2の場合、│ｍ１−ｍ２│＜Sである、すなわち、ｍ１がサブブロックSBの行ｐの係数a_pqの最大値であり、ｍ２がサブブロックSBの行ｐの係数a_pqの最小値である；
の条件を充足する場合は行クラスCl２に属する。

ブロックBは、サブブロックSBのｑ＝1乃至Q−２の任意の列ｑについて、以下 m１＝max｛a_pq｝_p=1..P-2であり、かつ m２＝min｛a_pq｝_p=1..P-2の場合、│ｍ１−ｍ２│＜Sである、すなわち、ｍ１がサブブロックSBの列ｑの係数a_pqの最大値であり、ｍ２がサブブロックSBの列ｑの係数a_pqの最小値である；
の条件を充足する場合は列クラスCl３に属する。

上記の条件のいずれをも充足しない場合、ブロックBはハッチングされたクラスCl4に属する。

この段階から開始すれば、隔離されたブロックはもはや考慮されないが、水平方向に隣接するブロック対及び垂直方向に隣接するブロック対は考慮される。クラス対（Clm,Cln）に関連付けられた隣接するブロック対(Bj,Bk)は更に、フィルタ選定工程SEL(54)によって処理される。このフィルタ選定工程SEL(54)は隣接するブロック対(Bj,Bk)に適用されるフィルタF1を供給する。フィルタF１の選定はディジタル入力画像Imのクラス対(Clm,Cln)及び劣化測定値DMに関連して、図７に示すフィルタにクラス対を関連付ける所定のモデルMOD（５５）に基づいて行われ、F0はブロック対をフィルタ化しないことに相当する。

隣接するブロック対（Bj,Bk）及びその関連フィルタF1は更に、フィルタ工程FILT(56)の入力に供給され、隣接するフィルタ化ブロック（B’j,B’k）が供給される。この例では、４つのフィルタF1乃至F4が用いられる。それらは低域通過の、線形フィルタであり、垂直方向と水平方向との何れかに適用される。それらは図８に表す。

フィルタ化された隣接するブロック対（B’j,B’k）は、処理工程（３０）で図３に表すもの、を経て、中位のコントラストを有する一様な領域における可視ブロックのわずかな不具合を除去する。

本発明による上記方法はこのようにして、復号化ディジタル画像Imのブロック及びブロック対を処理した後に、フィルタ化された復号化ディジタル画像ImFを供給する。

図９は復号化ディジタル画像を生成するのに適したものであり、本発明によるひとそろいの処理方法を利用する処理装置を有するビデオ復号器の動作を示す。

該ビデオ復号器は：
数量化データを生成するのに適した符号化ディジタル・データESの可変長復号化手段VLD（９１）；
変換データを生成するのに適した量子化データの逆量子化手段IQ(92)；
逆周波数変換で、この例では、上記のような逆変換データの逆離散コサイン変換IDCT(93)であるもの、を行う装置；
を有する。

伸長装置は更に、画像メモリMEM(95)による、画像のデータ・ブロック毎の再生工程REC(94)を有する。最後に、該伸長装置は本発明による処理方法を利用する処理装置COR（９６）を有し、該装置は再生ディジタル画像のブロックを処理して処理ディジタル画像を画面DIS（９７）上のそのディスプレイの見える所に生成するのに適したものである。

図１０はビデオ符号器で、データ・ブロックの形式でディジタル画像INを受信するのに適したものであり、本発明によるひとそろいの処理方法を利用する処理装置が後続する逆周波数変換手段をその符号化ループにおいて有するもの、の動作を示す。

ビデオ符号器（１００）は：
直接周波数変換装置で、ここでは上記の、ディジタル・ビデオ・データを変換データに変換する、直接離散コサイン変換DCT（１０１）を行う、装置；
量子化データを生成するのに適した、該変換データの量子化手段Q(102)；及び
符号化データESを生成するのに適した、該量子化データの可変長符号化手段VLC(103)；
を有する。

該ビデオ符号器は更に、予測装置であって：
変換データを生成するのに適した、量子化データの逆量子化手段IQ（１０４）；
上記の変換データ及び逆変換データの逆離散コサイン変換装置IDCT（１０５）；
変換装置IDCTからのデータと動き補償装置MC（１０６）からのデータとを加算する加算器；
本発明による処理方法を利用し、該加算器の出力からの復号化データのブロックを処理して処理データのブロックを画像メモリMEM（１０８）に供給するのに適した処理装置COR（１０７）；
動き補償装置MC（１０６）によって用いられる画像及び動き予測装置ME（１０９）から生じる動きベクトルを格納するのに適した画像メモリ（１０８）；及び
動き補償装置からのデータをディジタル入力ビデオ・データINから減算するのに適した
減算器；
を直列に組み合わせたもの、を有し、この減算器の減算結果は変換装置DCTに供給される。

処理装置COR(107)が逆離散コサイン変換装置IDCT(105)と該加算器との間に挿入されることも考えられ、該処理は再生信号ではなく、差異信号に行うものである。

本発明による処理方法を利用する処理装置はこのようにして、ビデオ符号器の特性を特に符号化品質によって向上させ得るが、出力レートによっても向上させ得る。更に、図１０のビデオ符号器と図９のビデオ復号器とを並列に組み合わせることによって、図９のビデオ復号器と並列に接続された標準的なビデオ符号器によって得られるものよりもずっと良好なすぐれた画質を得ることを可能にするか、標準的なビデオ復号器と並列に接続された図１０のビデオ符号器のものよりも良好な画質を得ることを可能にする。

ビデオ復号器回路又はビデオ符号器回路において本発明による処理方法を実施することが考えられ、該回路は適切にプログラム化される。プログラム・メモリが有するコンピュータ・プログラムは図３又は５を参照して説明した種々の動作を該回路に行わせ得る。コンピュータ・プログラムは更に、例えば、該プログラムを有するディスクのようなデータ担体を読み取ることによってプログラム・メモリにロードし得る。該読み取りは更に、例えば、インターネットのような通信ネットワークを介して行い得る。この場合、サービス・プロバイダは、コンピュータ・プログラムをダウンロード可能な信号の形態で対象者が利用可能なものにする。

本明細書及び特許請求の範囲における括弧内の参照記号は何れも限定的な意味で解釈すべきでない。本明細書及び特許請求の範囲の原文における動詞「to comprise」及びその活用形も、広い意味で解釈されるものである、すなわち、該動詞の後に列挙する構成要素又は工程以外の別の構成要素又は工程があることを排除するのみならず、該動詞後に既に列挙され、語「a」又は「an」が先行する、複数の構成要素又は工程があることも排除するものでない。

視聴者によって可視である最小ルミナンス差異値を、画像領域の平均ルミナンスの関数として、表す関数を示す概略図である。隣接するブロック対を表す図である。本発明によるディジタル画像処理方法のブロック図である。本発明の利用に相当する種々の考えられる補正データ群を表す図である。本発明の好適実施例によってディジタル画像を処理するひとそろいの方法のブロック図である。分類工程内でクラスを選択するよう、ブロック内部で検討されるサブブロックを表す図である。クラス対の関連付けとフィルタの関連付けを劣化測定値の関数として表す図である。本発明によるディジタル画像処理方法によって効果的に用い得る４つの平滑化フィルタを表す図である。本発明によるディジタル画像処理方法を有する復号化方法のブロック図である。本発明によるディジタル画像処理方法を有する符号化方法のブロック図である。

Claims

データ・ブロックを有するディジタル画像の処理方法であって：
２つの隣接するブロックで、連続する成分が所定の閾値よりも低い値だけの差異を有するもの、を有する均質な領域を判定する工程；及び
該隣接するブロックを隔てる境界の何れかの側に初期データ群を有する補正対象セグメントを判定する工程；
を有し、更に：
該補正対象セグメントの該初期データ群を補正データ群によって置換する工程；
を有し；
該補正データ群が種々の補正データ群から無作為に選択され、補正データ群の平均値が該２つの隣接するブロックの該連続する成分の平均値にかなり等しいことを特徴とする処理方法。
請求項１記載の処理方法であって、該置換する工程が該２つの隣接するブロックと一部重複する該種々の補正対象セグメントに適用することを意図するものであることを特徴とする処理方法。
請求項１記載の処理方法であって、該補正データ群の半分の平均値が該２つの隣接するブロックの該連続する成分の平均値にかなり等しいことを特徴とする処理方法。
復号化方法であって、復号化ディジタル画像を生成することを意図するものであり、請求項１乃至３何れか1項記載の処理方法を有して、該復号化ディジタル画像を処理して処理ディジタル画像を生成することを特徴とする復号化方法。
請求項１乃至３何れか1項記載の処理方法が後続する逆周波数変換工程を有する、データ・ブロックの形式でのディジタル画像を符号化する方法であって、該逆周波数変換工程からの復号化データ・ブロックを処理して処理データ・ブロックを生成するのに適したものであることを特徴とする方法。
復号化ディジタル画像を生成するのに適し、請求項１乃至３何れか1項記載の処理方法を利用する処理装置を有する、ビデオ復号器であって、該復号化ディジタル画像を処理して処理ディジタル画像を生成するのに適したものであることを特徴とするビデオ復号器。
データ・ブロックの形式でのディジタル画像を受信するのに適し、請求項１乃至３何れか1項記載の処理方法を利用する処理装置が後続する逆周波数変換手段を有する、ビデオ符号器であって、該逆周波数変換手段からの復号化データ・ブロックを処理して処理データ・ブロックを生成するのに適したものであることを特徴とするビデオ符号器。
請求項６記載のビデオ復号器を有する携帯機器であって、該機器の画面上に該処理ディジタル画像を表示することを特徴とする携帯機器。
コンピュータ・プログラム・プロダクトであって：
命令群；
を有し、該命令群は、回路にロードされた場合に、該回路に請求項１乃至３の何れか１項記載のディジタル画像処理の方法を行わせることを特徴とするコンピュータ・プログラム・プロダクト。