JP2002514023A - 圧縮映像のブリージングアーチファクトを低減する方法および装置 - Google Patents

圧縮映像のブリージングアーチファクトを低減する方法および装置

Info

Publication number
JP2002514023A
JP2002514023A JP2000547589A JP2000547589A JP2002514023A JP 2002514023 A JP2002514023 A JP 2002514023A JP 2000547589 A JP2000547589 A JP 2000547589A JP 2000547589 A JP2000547589 A JP 2000547589A JP 2002514023 A JP2002514023 A JP 2002514023A
Authority
JP
Japan
Prior art keywords
frame
gop
fidelity
information
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000547589A
Other languages
English (en)
Other versions
JP4334768B2 (ja
Inventor
ディネイ, アフォンソ, フェレイラ フロレンシオ,
シペン リー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of JP2002514023A publication Critical patent/JP2002514023A/ja
Application granted granted Critical
Publication of JP4334768B2 publication Critical patent/JP4334768B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 グループオブピクチャ(GOP)またはグループオブフレーム(GOF)構造を用いたMPEG的映像情報ストリームでのブリージングアーチファクトを低減する方法および装置。GOP情報構造に従って配列された圧縮画像シーケンスの処理システムにおいて、GOP間の視覚的アーチファクトを低減させる本発明による方法は、GOP情報構造内の第1のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップと、GOP情報構造内の第2のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップと、決定後の忠実度劣化レベルを用いて、劣化等化パラメータを計算するステップと、計算後の劣化等化パラメータを用いて、第1および第2のタイプの情報フレームが所定の範囲内の忠実度劣化レベルを有するように、第1および第2のタイプの情報フレームの1つを処理するステップとを含む。

Description

【発明の詳細な説明】
【0001】 本発明は、1998年5月7日に出願された米国特許仮出願第60/084,
632号の利益を享受するものである。
【0002】
【技術分野】
本発明は、一般に、通信システムに関し、さらに詳しく言えば、符号化された
情報ストリーム内の「ブリージング(breathing)」アーチファクト(artifact)を
低減させる方法および装置に関する。
【0003】
【背景技術】
さまざまな通信システムの中には、伝送しようとするデータを圧縮して、利用
可能な帯域幅をさらに効率的に用いるものがある。例えば、動画像エキスパート
グループ(MPEG:Moving Pictures Experts Group)は、ディジタルデータ伝
送システムに関する規格をいくつか公表している。第1は、MPEG−1として
知られ、ISO/IEC規格11172と呼ばれるもので、その内容は本願明細
書に援用されている。第2は、MPEG−2として知られ、ISO/IEC規格
13818と呼ばれるもので、その内容は本願明細書に援用されている。高度テ
レビジョンシステム委員会(ATSC:Advanced Television System Committee
))のディジタルテレビジョン規格書A/53には、圧縮ディジタルビデオシス
テムについての記載があり、その内容は本願明細書に援用されている。
【0004】 上記に引用した規格には、固定長または可変長のディジタル通信システムを用
いて、映像、音声およびその他の情報を圧縮・伝送するのに非常に適したデータ
処理操作技術が説明されている。特に、上記に引用した規格および他の「MPE
G的(MPEG−like)」規格および技術は、フレーム内符号化技術(ラン
レングス符号化、ホフマン符号化等)とフレーム間符号化技術(前後予測符号化
、動き補償等)とを用いて、映像情報を圧縮する。さらに詳しく言えば、ビデオ
処理システムの場合、MPEGおよびMPEG的ビデオ処理システムは、フレー
ム内および/またはフレーム間の動き補償符号化を用いるか、または用いずに映
像フレームに予測に基づいた圧縮符号化を行うことを特徴とする。
【0005】 通常のMPEGエンコーダでは、所定のグループオブピクチャ(GOP:grou
p of pictures)に従って、複数の映像フレームからなる受信映像ストリームが符
号化される。すなわち、受信映像ストリームが符号化されると、例えば、イント
ラ符号化フレーム(Iフレーム)、その後に1以上の前予測符号化フレーム(P
フレーム)および双方向(すなわち、前後)予測フレーム(Bフレーム)を発生
する。
【0006】 残念ながら、動き補償技術が完全なものでないため、予測フレームまたはピク
チャは、誤差伝播、編集粒状度の減少など、望ましくない視覚的アーチファクト
を受けることがある。さらに、このような予測フレームを含むGOP構造も、こ
のようなアーチファクトを受けてしまう。GOP構造内の個々のフレームの忠実
度が、最初の高品質Iフレーム後に劣化する傾向にあるため、一連のGOPを表
示すると、「ブリージング」として知られ、表示されるGOPの長さに関連する
周期的な視覚的アーチファクトを発生してしまう。
【0007】 従って、上述した「ブリージング」アーチファクトを低減する方法およびその
装置の提供が望まれていることが分かる。
【0008】
【発明の開示】
本発明は、グループオブピクチャ(GOP)またはグループオブフレーム(G
OF)構造を用いて、MPEG的映像情報ストリームでのブリージングアーチフ
ァクトを低減する方法および装置に関する。さらに詳しく言えば、グループオブ
ピクチャ(GOP)情報構造に従って配列された圧縮画像シーケンスの処理シス
テムにおいて、GOP間の視覚的アーチファクトを低減させる本発明による方法
は、GOP情報構造内の第1のタイプの情報フレームに対して、それぞれの忠実
度劣化レベルを決定するステップと、GOP情報構造内の第2のタイプの情報フ
レームに対して、それぞれの忠実度劣化レベルを決定するステップと、決定後の
忠実度劣化レベルを用いて、劣化等化パラメータを計算するステップと、計算後
の劣化等化パラメータを用いて、第1および第2のタイプの情報フレームが所定
の範囲内の忠実度劣化レベルを有するように、第1および第2のタイプの情報フ
レームの1つを処理するステップとを含む。
【0009】 本発明の教示は、添付の図面と共に以下の詳細な記載により容易に理解されよ
う。
【0010】 理解しやすいように、図面に共通の同一要素を指す場合同一の参照番号を用い
ている。
【0011】
【発明を実施するための最良の形態】
本発明は、例えば、ATSCテレビジョン受像機等のディジタルテレビジョン
(DTV)受像機内において、例えば、MPEG−2ビデオデコーダ等のビデオ
デコーダに関して記載される。しかしながら、本発明は、DVB、MPEG−1
およびその他の情報ストリームに適用されるシステムを含む任意のビデオ処理シ
ステムに応用可能であることは、当業者には明らかであろう。
【0012】 さらに詳しく言えば、本発明は、圧縮映像情報ストリームINを受信復号して
、映像出力ストリームOUTを発生させるMPEG的復号化システムに関して主
に記載される。本発明は、グループオブピクチャ(GOP)情報構造を利用する
映像または画像処理システムの場合、視覚忠実度レベルがGOP間で変化すると
GOPの出現の割合で視覚忠実度が変調することによって生じる「ブリージング
」アーチファクトを低減するように動作する。しかしながら、グループオブピク
チャ(GOP)またはグループオブフレーム(GOF)情報構造内に異なるイン
ターフレーム忠実度レベルを有する他の情報システムにも広範囲に応用可能であ
ることは、当業者には明らかであろう。
【0013】 図1Aから図1Cは、グループオブピクチャ(GOP)内のビデオ忠実度に関
連する1以上のパラメータの相対的なフレーム毎の劣化を示すグラフである。G
OP内でこのようなフレーム毎の劣化が生じて視覚忠実度が周期的に増大および
または減少すると、前述したブリージングアーチファクトが発生する。視覚忠実
度の周期的な増大および/または減少が十分大きいものであれば、GOPを含む
映像のシーケンスがディスプレイ装置上に出現すると、視聴者がブリージングア
ーチファクトに気付くようになる。
【0014】 例えば、視覚忠実度がGOP内で著しく変化する(例えば、IフレームとBフ
レーム間の量的差が大きい)15フレームGOPにより配列されたMPEG的映
像情報からなる映像情報ストリームに応答して、30フレーム/秒(fps)の
出現/表示システムの場合を考えてみる。GOPは、1枚のIフレームと多数枚
のBフレームからなるため、表示映像が0.5秒毎(15フレーム(GOP/3
0fps))に高忠実度のIフレームで始まり、その後多数の比較的低忠実度の
Bフレーム(および、一般に、Pフレーム)が続く。このように一連の画像が表
示されると、GOP内のフレーム間忠実度が変化することにより、1/2秒周期
の脈動(すなわち、ブリージング)特徴を示すことがある。
【0015】 本願発明者等は、ブリージングアーチファクトの主要な原因を、1)GOP内
の量的レベルのフレーム間の差と、2)GOP内の半ピクセル動き推定誤差の伝
播と、3)GOPを処理するデコーダ(またはその特徴)により導入される忠実
度の不調和とに特定した。ブリージングアーチファクトを発生させるこれら3つ
の原因を解消する本発明の実施形態を以下に記載する。
【0016】 図1Aは、1枚のIフレームの後に10枚のPフレームが続くGOP内の映像
「鮮明度」がフレーム毎に劣化する様子を示したグラフである。鮮明度は、正確
なエッジの出現と高コントラストの輝度転移に重要な高周波数応答の関数である
。さらに詳しく言えば、図1Aは、連続した3つのGOP(参照番号101)と
、それに対応させてGOPの各フレームの鮮明度レベルを線図(参照番号102
)を示す。この図から、映像画像の鮮明度が、GOPの各Iフレームで最大にな
り、連続したPフレームのそれぞれで鮮明度が均等に逓減していることが分かる
。GOPの表示速度に一致する速度で鮮明度レベルが次第に劣化し高速に増大す
ることによって、ブリージングアーチファクトが発生する。
【0017】 図1Aにおいて、連続したPフレームのそれぞれで鮮明度が均等に逓減する原
因は、GOPを処理するデコーダの動き補償回路内での半ピクセルの補間である
。半ピクセル補間回路は、予測されたマクロブロックまたはピクセルグルーピン
グを低域フィルタリングするように動作する。図1Aに示す鮮明度レベルの劣化
が比較的線形であるのは、GOP内のPフレームを用いて、半ピクセル補間誤差
がほぼ一定であると仮定しているためである。図の斜線部分は、各Pフレームが
下降している間の誤差の統計的な帯域を示す。各Iフレーム(I1、I2、I3
は鮮明度の最大レベルが同じものをもつとして示されているが、Iフレームの鮮
明度レベルは、GOPに割り当てられるビットバジェットを含む多くの要因に基
づいたエンコーダの速度コントローラにより最初決定される。従って、Iフレー
ムの鮮明度レベルと一般的な視覚忠実度は、エンコーダでの要求に依存して、必
要に応じて変化する。
【0018】 図1Bは、1枚のIフレームで始まり、その後に繰り返し連続した3枚のBフ
レームと1枚のPフレームが続くフレームからなる12枚のフレームGOP内の
映像鮮明度がフレーム毎に劣化する要素を示したグラフである。各Pフレームは
、すぐ前にあるアンカフレーム(IフレームまたはPフレーム)を用いて予測さ
れるため、Pフレームの鮮明度レベルの劣化は比較的線形であることが示されて
いる。しかしながら、各Bフレームは、アンカフレーム(IフレームまたはPフ
レーム)を用いて予測されるため、2つの半ピクセル補間が各Bフレームと関連
される。従って、各Bフレームは、Bフレームの予測に用いる最も不正確な参照
フレームよりも半ピクセル低い鮮明度レベルをもつものとして示されている。こ
の図から分かるように、映像画像の鮮明度は、GOPの各Iフレームで最大にな
り、GOP内の連続したフレームのそれぞれで鮮明度が可変量で劣化している。
GOP表示速度と一致する速度で、鮮明度レベルが可変量で劣化し高速に増大す
ることによって、ブリージングアーチファクトが発生する。
【0019】 図1Bにおいて、第1のIフレーム(I1)は、最大値(max)の鮮明度レ
ベルをもつものとして示されている。このIフレームの後に続く第1のPフレー
ムは、最大値よりも1/2ピクセル低い鮮明度レベルをもつものとして示されて
いる。第1のIフレームと第1のPフレームを用いて予測された3枚のBフレー
ムは、Pフレームの鮮明度レベルよりも1/2ピクセル低い鮮明度レベルをもつ
ものとして示されている。同様に、第1のフレームの後に続く第2のPフレーム
は、第1のPフレームの鮮明度レベルよりも1/2ピクセル低い鮮明度レベルを
もち、第1のフレームから予測される。従って、第1のPフレームと第2のPフ
レームを用いて予測されるBフレームは、第2のPフレームの鮮明度レベルより
も1/2ピクセル低い鮮明度レベルを有する。
【0020】 図1Cは、1枚のIフレームで始まり、その後に繰り返し連続した3枚のBフ
レームと1枚のPフレームが続くフレームからなる12枚のフレームGOP内の
フレーム毎の量子化レベル(すなわち、粒状度)を示すグラフである。Iフレー
ムが一般に、Pフレームよりも細かい量子化レベルで符号化され、Pフレームが
一般に、Bフレームよりも細かい量子化レベルで符号化されるため、図1Cには
、GOP構造を用いて発生する映像画像の量子化レベルの変化が示されている。
この図から見てとれるように、量子化レベルは、最初のIフレーム(I1)で良
好なレベルで始まり、Bフレームでより粗いレベルに劣化し、Pフレームではそ
れらの間にある粗さのレベルに劣化している。従って、均等な量子化粒状度レベ
ルを含む図1Cに示されたGOP構造を用いて発生させた映像画像は、個々の映
像フレームを発生させるために用いるGOP構造内のフレームタイプに基づいて
、忠実度が増減する。また、このように変化または変調することで、前述のブリ
ージングアーチファクトに寄与する。
【0021】 図2は、本発明によるMPEG的デコーダ200の実施形態を示す図である。
さらに詳しく言えば、図2のデコーダ200は、圧縮映像情報ストリームINを
受信・復号して、映像出力ストリームOUTを発生する。映像出力ストリームO
UTは、例えば、表示装置(図示なし)内にある表示ドライバ回路に結合するの
に適している。MPEG的デコーダ200は、圧縮映像情報フレームIN内の情
報フレーム(例えば、映像または画像フレーム)と関連する忠実度表示パラメー
タを調べて、その結果得られた圧縮解除された情報ストリーム(例えば、映像ス
トリーム)が前述のブリージングアーチファクトを示しそうか否かを決定する。
ブリージングアーチファクトが存在する傾向にあるという決定に応じて、MPE
G的デコーダ200は、ブリージングアーチファクトを減衰させるように復号情
報ストリームを修正する。本発明は、圧縮映像ストリームIN(圧縮映像ストリ
ームIN内の情報以外)を形成するエンコーダの様子を知らなくとも動作できる
【0022】 図2のMPEG的デコーダ200は、ビデオデコーダ210、ビデオプロセッ
サ220およびコントローラ230を備える。ビデオデコーダ210は、圧縮映
像情報ストリームINを受信・復号するように比較的標準的に動作して、復号映
像ストリームV1を発生する。圧縮解除された映像ストリームV1は、上述した
ように、GOP内のフレーム間忠実度の変動や、ビデオデコーダ210自体の不
調和(または特徴)により生じるブリージングアーチファクトを受けやすい。圧
縮解除された映像ストリームV1は、ビデオプロセッサ220および、任意に、
コントローラ230に結合される。
【0023】 コントローラ230で出力される劣化制御信号Cに応答して、ビデオプロセッ
サ220は、復号映像ストリームV1内に1枚以上のフレームの劣化レベルを適
応させて、映像出力ストリームOUT,例えば、ベースバンドディジタル映像ス
トリームを発生する。
【0024】 ビデオプロセッサ220は、以下により詳細に記載するように、いくつかの劣
化モードの1つで動作する。簡潔に言えば、ノイズ投入動作モードにおいて、ビ
デオプロセッサ220は、ある量のノイズ(コントローラ230で決定される)
を、有効な量子化レベルが減少されるように意図されたより高い忠実度の画像フ
レーム(例えば、Iフレーム)内に投入する。この動作モードでは、フレーム間
量子化レベル(例えば、図1Cに示すように)の差が大きいことにより生じるブ
リージングアーチファクトが、フレーム間量子化レベルの差をしきい値差レベル
まで縮めることによって低減される。フィルタ動作モードでは、ビデオプロセッ
サは、低域フィルタリング(LPF)と高域フィルタリング(HPF)を、GO
P内の1以上の画像フレームまたは画像フレームタイプに選択的に適用する。こ
の動作モードでは、予測誤差の伝播により生じるブリージングアーチファクトが
、GOP内のすべての画像フレームの中で鮮明度の劣化量を等化するように各画
像フレームをフィルタリングすることにより低減される。他の動作モードを以下
に記載する。
【0025】 コントローラ230は、圧縮映像入力ストリームエンド内の映像フレームに関
する量子化レベル、フレームタイプ、GOP位置およびその他の情報を表すビデ
オデコーダ210からの忠実度表示パラメータ信号DATAを受信する。任意に
、コントローラ230は、圧縮解除された映像ストリームV1を受信する。さら
に、コントローラ230は、任意に、供給源(すなわち、エンコーダ)で圧縮映
像情報ストリームINに与えられた誤差を表す信号SOURCE ERRORを
受信する。
【0026】 コントローラ230は、忠実度表示パラメータ信号DATAを処理し、任意に
、圧縮解除された映像ストリームV1を処理して、圧縮映像情報ストリームIN
からなる1以上のGOP内の1以上の画像フレームまたは画像フレームタイプと
関連する視覚的忠実度の劣化レベルを決定する。
【0027】 次いで、コントローラ230は、画像フレームまたは画像フレームタイプの劣
化レベルが、圧縮解除された映像ストリームV1が連続して出現することにより
ブリージングアーチファクトが発生しそうなものでないかを決定する。確認され
た劣化変動がブリージングアーチファクトを発生する傾向にあるものであれば(
例えば、しきい値差レベルを超える等)、コントローラ230は、後に劣化制御
信号Cとしてビデオプロセッサ220に結合される1以上の劣化等化パラメータ
を計算する。コントローラ230の動作を図3に関して以下により詳細に記載す
る。
【0028】 図2のMPEG的デコーダ200の例示的実施形態では、ビデオデコーダ21
0は、入力バッファメモリモジュール211、可変長デコーダ(VLD)モジュ
ール212、逆量子化回路(IQ)モジュール213、逆離散コサイン変換(I
DCT)モジュール214、加算器215、動き補償モジュール216、出力バ
ッファモジュール218およびアンカフレームメモリモジュール217を備える
【0029】 入力バッファメモリモジュール211は、例えば、トランスポートデマルチプ
レクサ/デコーダ回路(図示せず)からの高精度テレビジョン信号(HDTV)
または標準精度テレビジョン信号(SDTV)等を表す、例えば、可変長符号化
ビットストリーム等の圧縮映像ストリームINを受信する。入力バッファメモリ
モジュール211は、可変長デコーダモジュール212が処理用の映像データの
受け入れ準備ができるまで、受信した圧縮映像ストリームINを一時的に格納す
るために使用される。VLD212は、入力バッファメモリモジュール211の
データ出力端に結合される入力端を有し、例えば、データストリームS1として
格納された可変長の符号化映像データを引き出す。
【0030】 VLD212は、引き出したデータを復号して、量子化予測誤差DCT係数か
らなる一定長のビットストリームS2と、動きベクトルストリームMVを発生す
る。IQモジュール213は、一定長のビットストリームS2に応じて逆量子化
動作を実行し、標準フォーマットで量子化予測誤差係数からなるビットストリー
ムS3を発生する。IDCTモジュール214は、ビットストリームS3に応じ
て逆離散コサイン変換動作を実行して、ピクセル毎の予測誤差からなるビットス
トリームS4を発生する。これらの予測誤差(および関連する画像劣化)は、図
1Cに関して上述したように、ピクセル情報のエンコード側の量子化により生じ
る。
【0031】 加算器215は、ピクセル毎の予測誤差ストリームS4を、動き補償モジュー
ル216により出力された動き補償された予測ピクセル値ストリームS6に加算
する。動き補償された予測ピクセル値ストリームS6は、図1Aから1Bに関し
て上述したように、現在のピクセル値を発生させるように使用する前予測の数に
関連する予測誤差成分(および関連する鮮明度劣化)からなる。従って、例示的
実施形態では、加算器215の出力は、図1Aから1Cに関して上述したように
、量子化誤差と累積予測誤差の両方で劣化される再構築ピクセル値からなる映像
ストリームS5である。
【0032】 加算器215により出力された映像ストリームS5(量子化誤差と予測誤差を
含む)は、アンカフレームメモリモジュール217と出力バッファモジュール2
18に結合される。アンカフレームメモリモジュール217は、信号経路S7を
介して動き補償モジュール216によりアクセスされる。動き補償モジュール2
16は、1以上の格納されたアンカフレーム(例えば、加算器215の出力で発
生したIフレームまたはPフレームの最後のフレーム)と、VLD212から受
信した動きベクトル信号MVを利用して、動き補償された予測ピクセル値ストリ
ームS6の値を計算する。
【0033】 また、上述した映像デコーダ210は、例えば、圧縮映像入力ストリームエン
ド内の映像フレームに関する量子化レベル、フレームタイプ、GOP位置および
その他の情報を表す忠実度表示パラメータ信号DATAを発生する。さらに詳し
く言えば、上記およびその他の忠実度表示パラメータは、標準的な方法でVLD
212により圧縮映像情報ストリームINから抽出される。例えば、圧縮映像情
報ストリームINがMPEG映像ストリームからなるものであれば、VLD21
2は、1以上の映像シーケンスヘッダ、GOPヘッダ、ピクチャヘッダ、スライ
スヘッダおよびマクロブロックヘッダに含まれる情報を調べる。抽出された情報
は、忠実度表示パラメータ信号DATAとしてコントローラ230に結合される
【0034】 図2のMPEG的デコーダ200の例示的実施形態では、コントローラ230
は、マイクロプロセッサ234と、劣化等化ルーチン300、量子化等化ルーチ
ン400、周波数等化ルーチン500の少なくとも1つを格納するメモリ238
とを備える。これらのルーチンの動作を図3から5に対して以下に詳細に記載す
る。マイクロプロセッサ234は、電源、クロック回路、キャッシュメモリ等の
従来の支持回路236と、ソフトウェアルーチンの実行を補助する回路と協働す
る。また、ソフトウェアプロセスとして本願明細書で記載するプロセスステップ
の中には、例えば、マイクロプロセッサ234と協働してさまざまなステップを
実行する回路としてハードウェア内で実行されてもよいものがあることが考えら
れる。また、コントローラ230は、マイクロプロセッサ234、ビデオデコー
ダ210およびビデオプロセッサ220間のインターフェースを形成する入出力
回路232を含む。コントローラ230は、本発明に従って特定の制御機能を実
行するようにプログラムされる汎用コンピュータとして記載されているが、本発
明を特定用途向けIC(ASIC)としてハードウェア内で実行可能である。さ
らに、コントローラ230は、ビデオプロセッサ220とビデオデコーダ210
のいずれか一方またはその両方と機能的に組み合わせてもよい。実際、本願発明
者等により、図2のMPEG的デコーダ200の機能をほぼすべて備えた単一の
集積回路が、単一の集積回路として実行されることが考えられている。
【0035】 図3は、映像信号のブリージングアーチファクトを低減させる本発明による劣
化等化ルーチン300を示す。劣化等化ルーチン300は、コントローラ230
内の制御ルーチンとしてか、または、記載しているように汎用計算機装置を備え
ていないコントローラ230の場合には、図2のMPEG的デコーダ200の協
働モジュール間の論理関数として実行されるものであってよい。劣化等化ルーチ
ン300は、例えば、図2のビデオデコーダ210が圧縮映像情報ストリームI
Nの受信を開始したときに、ステップ302で始まる。次いで、ルーチン300
はステップ304に進む。
【0036】 ステップ304では、受信映像フレームまたは映像フレームタイプの相対劣化
レベルが決定される。相対劣化レベルは、各映像フレームまたは映像フレームチ
アプと関連する1以上のパラメータを求めて決定される。さらに詳しく言えば、
フレーム量子化レベル(例えば、フレームマクロブロックの平均)、フレームタ
イプ、GOP内のフレーム位置、フレームスペクトル等の1以上のさまざまな画
像または映像フレームパラメータが分析されて、ある特定のフレームに関連する
劣化レベルが決定されてもよい。次いで、特定の映像または画像フレームと関連
する劣化レベルは、例えば、GOPからなるフレームと関連する名目または平均
劣化レベルか、またはGOPからなるフレームのサブセットと比較される。この
ようにして、ある特定のフレームとGOPまたはサブGOP平均との劣化差が決
定される。次いで、ルーチン300はステップ306に進む。
【0037】 ステップ306では、ステップ304で求めたフレームの一部またはすべての
劣化レベルおよび/または劣化差を用いて、GOP内の1以上のフレームの1以
上の劣化等化パラメータを計算する。例えば、忠実度が比較的高い(すなわち、
劣化が比較的低い)GOP内のフレームは、ステップ304で分析された1以上
のフレームパラメータの点から劣化されるため、GOP内の忠実度劣化のフレー
ム間差が、認知可能なブリージングアーチファクトとなるレベルかまたはそのレ
ベルよりも下のレベルに抑制される。次いで、ルーチン300はステップ308
に進む。
【0038】 ステップ308では、ステップ306で計算された劣化等化パラメータは、G
OP構造内の1以上の適切なフレームに適用されるため、GOP構造内のインタ
ーフレーム劣化差は、適切に抑制される。映像または画像フレームの忠実度を劣
化させることは一般に容易であるため(処理の複雑性等の点から)、適切なフレ
ームは、比較的忠実度が高いレベルのフレームからなる。しかしながら、強化さ
れやすい忠実度パラメータの場合、適切なフレームは、忠実度レベルが比較的低
いフレームからなるものであってよい。次いで、ルーチン300はステップ31
0に進む。
【0039】 ステップ310では、さらにフレームを処理すべきか否かの質問がなされる。
ステップ310の質問の答えがYESであれば、ルーチン300はステップ30
4に進む。ステップ310の質問の答えがNOであれば、ルーチン300はステ
ップ312に進み、終了する。
【0040】 劣化レベルを等化するために用いる1つの技術は、1以上の忠実度が比較的高
い映像または画像フレームまたはフレームタイプをさらに劣化されることに留意
されたい。例えば、GOP内のIフレームの忠実度の低下は、本発明の動作によ
り効果的に低減または除去されたブリージングアーチファクトよりも視聴者に与
える不快感はかなり少なくなることが本願発明者等により判明した。従って、G
OPのGOFの1以上のフレーム内の視覚的、聴覚的、またはその他の情報の忠
実度をシフトするかまたは選択的に減少させる点で妥協点を見出して、その結果
の処理された情報ストリーム(例えば、映像出力ストリームOUT)は、情報消
費者に優れた表示を与える。
【0041】 本発明は、劣化レベルを決定する方法(ステップ304)、劣化等化パラメー
タを計算する方法(ステップ306)および劣化等化パラメータを適用する方法
(ステップ308)の1以上の方法を用いるものとされる。さらに詳しく言えば
、本発明の一実施形態では、図3の劣化等化ルーチン300を適用して、GOP
内の量子化レベルのフレーム間差をしきい値量子化差レベルまで下げる。量子化
等化の実施形態は、映像または画像フレームの異なるタイプ(すなわち、Iフレ
ーム、PフレームまたはBフレーム)間の量子化レベル差に関連するブリージン
グアーチファクトを減少させるのに特に適しており、それを図4に関して以下に
記載する。
【0042】 本発明の別の実施形態では、図3の劣化等化ルーチン300を適用して、GO
P内の周波数ドメインのフレーム間差をしきい値スペクトル差レベルよりも下ま
で下げる。周波数応答等化の実施形態は、動き予測誤差の伝播により、予測され
た映像または画像フレーム(すなわち、PフレームまたはBフレーム)に与える
低域フィルタリング(すなわち、ピクチャの鮮明度の低下)に関するブリージン
グアーチファクトを低減するのに特に適しており、それを図5に関して以下に記
載する。
【0043】 第1の方法は、各符号化映像フレームと関連する量子化レベルのパラメータを
調べることを含む。通常、MPEGビデオデコーダ等のビデオデコーダは、忠実
度が比較的高いIフレームから始まり、その次に忠実度が低減している1以上の
PフレームとBフレームが続くGOP構造を発生する。GOP構造内の次のフレ
ームを予測するために用いられることから、GOPの最初のIフレームを忠実度
レベルが高い状態で符号化することが重要である。従って、一般に、良好な量子
化レベルが、エンコーダ内の量子化回路で使用される。PフレームがGOP構造
内のアンカフレームとして使用される(すなわち、Pフレームが次のPフレーム
と直前直後のBフレームを予測するために使用される)ため、Pフレームは、B
フレームで使用されるレベルよりも一般に優れたレベルで量子化される。前述し
たように、GOP内の量子化レベルが変動すると、望ましくないブリージングア
ーチファクトを生じる一因となる。従って、GOP構造内で量子化レベルを等化
させるには、GOP内でIフレームおよび/または1以上のPフレーム等の有効
な量子化レベルを高くする必要がある。量子化劣化等化の例を図4に関して以下
に記載する。
【0044】 図4は、本発明による劣化等化ルーチン400を示す。さらに詳しく言えば、
図4の劣化等化ルーチン400は、GOP内のIフレームとGOP内の複数のB
フレーム間の量子化レベルの差に関する映像信号のブリージングアーチファクト
を低減させるためのものである。ルーチン400は、GOP構造内の量子化レベ
ルを適用することによって、GOP内のIフレームの忠実度が、例えば、GOP
内の複数のBフレームの平均忠実度レベルのしきい値忠実度レベル内まで下がる
。劣化等化ルーチン400は、コントローラ230内の制御ルーチンとしてか、
または、記載しているように汎用計算機装置を備えていないコントローラ230
の場合には、図2のMPEG的デコーダ200の協働モジュール間の論理関数と
して実行されるものであってよい。
【0045】 劣化等化ルーチン400は、例えば、図2のビデオデコーダ210が圧縮映像
情報ストリームINの受信を開始したときに、ステップ402で始まる。次いで
、ルーチン400はステップ404に進む。
【0046】 ステップ404では、Iフレーム(QI)と関連する量子化パラメータが、例
えば、処理されるGOP内のIフレーム内にある各マクロブロックの量子化レベ
ルを平均化することによって決定される。さらに、Bフレーム(QB)と関連す
る量子化パラメータが、例えば、処理されるGOP内の1以上のBフレーム内に
ある各マクロブロックの量子化レベルを平均化することによって決定される。例
えば、MPEGに従う映像ストリームのスライス層ヘッダ内で見つかる場合があ
り、1から31の整数(デフォルトテーブル等の一定の量子化回路テーブルが用
いられると仮定した場合)であるMPEG変数quantizer_scaleに対して決定が
なされてもよい。quantizer_scaleは、マクロブロック層でも調整可能であるこ
とに留意されたい。
【0047】 次いで、ルーチン400はステップ406に進み、BフレームQBと関連する
量子化パラメータが、IフレームQIと関連する量子化パラメータ量子化パラメ
ータと量子化パラメータしきい値量QTHの和よりも大きいか否かについての質問
がなされる。量子化パラメータしきい値レベルQTHは、Bフレーム量子化パラメ
ータQBと、認知可能な量子化差となるブリージングアーチファクトを生じるこ
とがないIフレーム量子化パラメータQiとの間の最大値量子化パラメータの偏
差を表すものである。
【0048】 ステップ406での質問の答えがYESであれば、ルーチン400はステップ
408に進む。ステップ406の質問の答えがNOであれば、ルーチンはステッ
プ414に進み、さらなるフレーム処理が必要な否かについての質問がなされる
。ステップ414での質問の答えがYESであれば、ルーチン400はステップ
404に進む。ステップ414の質問の答えがNOであれば、ルーチンはステッ
プ416に進み、終了する。
【0049】 ステップ408では、IフレームとBフレーム内のノイズが特徴化される。す
なわち、量子化パラメータQIを有するIフレーム内と量子化パラメータQBを有
するBフレーム内で見つかるものとされるノイズ量は、ノイズ分配を発生する量
子化レベル(すなわち、ステップサイズ)に対して決定される。
【0050】 Bフレーム内で見つかるものとされるさらなるノイズ量を決定する1つの方法
は、BフレームDCT係数の量子化されたAC係数の出力密度関数(pdf)を
求めて、参照フレーム(例えば、動き補償モジュールで使用されるアンカフレー
ム等)に対して同様に得られたpdfを減算することである。例示的実施形態で
は、DCT内の63個のAC係数のそれぞれに対してpdfが保持されている。
ラプラシアン分布はAC係数の実際のpdfの良好な近似法であるため、例示的
実施形態では、データを適合させるために好適なpdfとしてこのようなラプラ
シアン分布が用いられる。しかしながら、本発明を実行するさいに他の分布関数
を用いてもよいことは、当業者には理解されよう。さらに、以下に記載するラプ
ラシアンpdfにデータを適合させるために、いくつかの方法の任意の1つが用
いられてもよい。
【0051】 式1に示されているように、pdf(すなわち、pdf(x))は、各量子化
レベル(受信データから計算されたもの)の実際の確率と、pdfが求められる
pdfである場合の量子化レベルの確率との差を最小限にするαを計算すること
によって求められる。
【0052】
【数1】 すなわち、式2に示されているように、αに対する最小化のさい、合計が量子
化二値Bのすべてを超えるものである場合、p(Bi)は、受信信号の量子化二
値の相対周波数であり、BilowとBihighは、量子化二値の下限と上限である(
すなわち、その値に量子化されるであろう最低値と最大値である)。
【0053】
【数2】 オリジナルの(量子化されていない)pdfが予測される分布に従うものであ
ると仮定すると、式3に示されているように、誤差のpdfは、オリジナルと各
量子化二値の再構築レベルとの間の差のpdfを加えて計算される。
【0054】
【数3】 ここで、rec(Bi)は、二値Biの再構築レベルである。
【0055】 次いで、error_pdfは、参照フレームの(同様に求められた)error_pdfと比
較され、適切な量のノイズが低ノイズフレームに追加されて、ブリージングアー
チファクトを低減させる。追加されたノイズは、同等(またはより小さな)差を
有し、誤差pdfと同じpdfを有することもある。
【0056】 ステップ410では、ステップ408の特徴化されたBフレームノイズが、I
フレームQIと関連する量子化パラメータに依存して適切なレベルにスケーリン
グされる。すなわち、すでに決定されたpdfは、QB/QIの比率によりスケー
リングされて、スケーリングされたpdfを発生する。
【0057】 次いで、ルーチン400はステップ412に進み、スケーリングされた特徴化
ノイズがIフレームに投入される。本発明の一実施形態では、ステップ410で
決定されたスケーリングされた量子化レベルの範囲内の乱数を投入することで、
このようなノイズ投入を行う。このようにして、Iフレームと関連する有効量子
化パラメータQIは、BフレームQBと関連する量子化パラメータのQTH内の値を
有する量子化パラメータまで低くする。
【0058】 図4のルーチン400が、IフレームとPフレーム、PフレームとBフレーム
間の量子化レベル変動を同時または個別に処理するように適用されてもよいこと
に留意されたい。さらに、ルーチン400は、個別の各GOP上で動作するよう
に示されているが、本願発明者等は、ルーチン400が複数のGOPで動作する
ように修正されてもよいとしている。例えば、圧縮映像ストリームINのビット
レートが一定である場合、エンコーダで形成される各GOPの平均ビットバジェ
ットは、ほぼ同じものである。しかしながら、情報ストリームのビットレートが
可変である場合、エンコーダにより形成される各GOPのビットバジェットは、
多少とも帯域幅がエンコーダによる使用が利用可能となるときに変化する。可変
ビットレートの場合、GOP(QGOP)の平均量子化パラメータが、1以上の前
後のGOPの平均量子化パラメータから、確実に1しきい値量を超える量変化し
ないように、さらなる変数が使用される。
【0059】 図5は、本発明によるGOP等化ルーチン500の流れ図を示す。さらに詳し
く言えば、図5のGOP等化ルーチン500は、図1に関して上述したように、
GOP内の予測フレームの連続する半ピクセル補間で生じる映像信号のブリージ
ングアーチファクトを低減するためのものである。
【0060】 ルーチン500は、例えば、図2のビデオデコーダ210が圧縮映像情報スト
リームINの受信を開始したときに、ステップ502で始まる。次いで、ルーチ
ン500はステップ504に進み、GOP構造を用いて鮮明度関数が決定される
。すなわち、GOP内のフレームタイプとGOP内のフレーム数に基づいて、伝
播する画像鮮明度の劣化が求められる。例えば、すべてがIフレームからなるG
OPには、半ピクセル補間による鮮明度の劣化がまったくない(予測が行われな
いため)。同様に、1枚のIフレームの後に、複数のPフレームとBフレームが
続くGOPでは、半ピクセル補間によりある程度鮮明度の劣化が生じる。ステッ
プ504で決定される鮮明度関数は、GOP内のフレーム位置および/またはフ
レームタイプの関数としてこのような鮮明度劣化の量を求めるものである。次い
で、ルーチン500はステップ506に進む。
【0061】 ステップ506では、等化フィルタパラメータが計算される。等化フィルタパ
ラメータは、GOP内の1枚以上のフレームと関連する低域および/または高域
フィルタパラメータからなる。すなわち、鮮明度のベースラインレベルが選択さ
れる(例えば、GOP等において、最も鮮明度がひどく劣化したフレームで規定
される最低鮮明度レベル、すべてのフレームの平均鮮明度レベルで規定される中
間鮮明度レベル、または特定のフレームタイプ等)。等化フィルタパラメータは
、フレームおよび/またはフレームタイプの位置に基づいて、GOP内の各フレ
ームに対して決定されるため、GOP内のフレーム間での鮮明度の相対差が、図
1に関して前述したように、しきい値レベルよりも下がる。次いで、ルーチン5
00はステップ508に進む。
【0062】 ステップ508では、計算された等化フィルタパラメータを用いて、必要であ
れば、GOP内の1以上のフレームを等化する。次いで、ルーチン500はステ
ップ510に進み、さらなるGOPを処理する必要があるか否かの質問がなされ
る。ステップ510での質問の答えがNOであれば、ルーチン500はステップ
512に進み終了する。ステップ510での質問の答えがYESであれば、ルー
チン500はステップ504に進み、次のGOPに関連する鮮明度関数が計算さ
れる。すなわち、ルーチン500は次のGOPのそれぞれに繰り返される。GO
P構造が固定されている場合、ステップ504で決定される鮮明度関数と、ステ
ップ506で計算される等化フィルタパラメータは、次のGOPのそれぞれに対
して再度使用されてもよい。
【0063】 本発明の一実施形態では、「トレーニングシーケンス」が利用されて、デコー
ダ自体により復号化された画像シーケンスに与えられる誤差を特徴化する。例え
ば、既知の要因により(例えば、受像機またはデコーダ内の動き補間フィルタに
より)、復号化されたGOP内にゆがみが入れば、プリエンファシスフィルタが
この既知の要因を補償するように計算される。ゆがみを識別するために、スペク
トル分析関数が利用される。すなわち、1以上の「一般的」な復号化された映像
フレームからなるトレーニングシーケンスの実際のスペクトル特性が、「予測」
されるスペクトル特性と比較される。次いで、引き続き復号化される映像フレー
ムのスペクトル特性は、トレーニングシーケンスから得たフィルタに基づいて「
補正」される。「予測」されるスペクトル特性は、第2のデコーダに対して決定
されてもよいことに留意されたい。
【0064】 スペクトル補正フィルタの伝達関数は、周波数の関数として、予測されるスペ
クトルと実際のスペクトルの比率として決定される。これは信号の望ましい周波
数応答である。フィルタは、例えば、有限インパルス応答(FIR)または無限
インパルス応答(IIR)フィルタ等として実行されてもよい。例えば、本発明
の一実施形態では、決定された伝達関数をほぼ満足するFIRフィルタの係数が
計算され、逆にされて、所望の口数にウィンドウ生成される。その結果得られた
FIRフィルタは、各復号化されたフレームを処理するように使用されるため、
復号化されたフレームのスペクトル特性は、前述の「予測」されたスペクトル特
性に近付くことによって、復号化された映像出力信号を等化することができる。
【0065】 図6は、本発明による劣化等化ルーチン600の流れ図を示す。さらに詳しく
言えば、図6の劣化等化ルーチン600は、デコーダ自体にある不調和等により
復号化された画像シーケンスに与えられるアーチファクトを低減させるためのも
のである。ルーチンは最初に、トレーニングシーケンスを用いてデコーダを特徴
化する。トレーニングシーケンスは、「既知の良好な」デコーダを用いて前もっ
て処理され、関連するスペクトル特性を有する出力画像シーケンスを発生する符
号化された画像の「ゴールド符号」シーケンスからなる。このように、既知の良
好な復号化されたゴールド符号の関連するスペクトル特性は、「予測スペクトル
」と呼ばれる。
【0066】 ルーチン600は、ステップ602で始まり、ステップ604に進んで、トレ
ーニングシーケンスが実行される。トレーニングシーケンスの実行のステップと
して、符号化画像の既知の「ゴールド符号」シーケンスをデコーダ入力(例えば
、スイッチまたはマルチプレックスユニット等を介して)に与えて、トレーニン
グ情報ストリームを復号化させる。次いで、ルーチン600はステップ606に
進み、復号化したトレーニング情報ストリームをスペクトル分析して、トレーニ
ングシーケンススペクトルを発生する。次いで、ルーチン600はステップ60
8に進む。
【0067】 ステップ608で、ステップ606で計算したトレーニングシーケンススペク
トルは、予測スペクトル(すなわち、既知の良好なデコーダにより出力されたよ
うな前もって計算された「ゴールド符号」映像トレーニングシーケンスのスペク
トル)と比較される。広義には、トレーニングシーケンススペクトルと予測スペ
クトルとの差は、主にデコーダの動きの差により発生するため、デコーダにより
復号化された映像情報ストリームに導入されるスペクトルの不調和は、半ピクセ
ル補間または他のデコーダとは関係ない誤差発生源により復号化された映像スト
リーム内に導入されたスペクトルの不調和とは隔離されてもよい。次いで、ルー
チン600はステップ610に進む。
【0068】 ステップ610では、復号する映像情報ストリームのGOP構造が既知のもの
(すなわち、非トレーニング圧縮映像シーケンス)であるか否かの質問がなされ
る。ステップ610での質問の答えがYESであれば、ルーチン600はステッ
プ612に進み、トレーニングシーケンスGOPと復号する圧縮映像情報ストリ
ームからのスペクトル分析されたGOPとの間のスペクトル差に基づいて、GO
P等化フィルタが計算される。すなわち、「ゴールド符号」GOPと受信したG
OPとの間のスペクトル差が比較され、等化フィルタを計算するために使用され
ることで、これらのGOP間のスペクトル差があるしきい値レベルを下回るレベ
ルまで下げられる。次いで、ルーチン600はステップ614に進み、計算され
たGOP等化フィルタは受信したGOPに適用される。
【0069】 次いで、ルーチン600はステップ616に進み、さらにGOPを処理する必
要があるか否かの質問がなされる。ステップ616での質問の答えがYESであ
れば、ルーチンはステップ614に進み、コンピュータフィルタは次のGOPに
適用される。任意に、ルーチンはステップ612に進み、処理すべき次のGOP
にスペクトル分析と比較関数を実行して、新しいGOPの等化フィルタが計算さ
れる。ステップ616の質問の答えがNOであれば、ルーチン600はステップ
618に進み、終了する。
【0070】 ステップ610の質問の答えがNOであれば、ルーチン600はステップ62
0に進み、「ゴールド符号」トレーニングシーケンスと受信した圧縮映像情報ス
トリーム内のフレームタイプ間のスペクトル変動が処理される。すなわち、ゴー
ルド符号トレーニングシーケンス内のPフレームと受信した映像情報ストリーム
内のPフレーム間のスペクトル変動が比較される。同様に、IフレームとBフレ
ーム間のスペクトル変動が比較されてもよい。次いで、ルーチン600はステッ
プ622に進む。
【0071】 ステップ622では、フレームスペクトル差に基づいた1以上のフレームタイ
プ等化フィルタが計算される。すなわち、例えば、ゴールド符号トレーニングシ
ーケンスのPフレームと受信情報ストリームのPフレームとの間のスペクトル変
動を使用して、受信情報ストリーム内のPフレームに適用される場合、スペクト
ル変動をあるしきい値レベルを下回るレベルまで下げる等化フィルタを計算する
。ある特定のものになされるフィルタ選択は、GOP内の特定のフレームよりも
前のIフレームおよびPフレームの数に関係する。例えば、予測誤差がGOP内
の後のフレームに伝播するにつれて予測誤差の大きさが増大するため、GOP内
の後のフレームに利用されるフィルタは、これに対応させて大幅に基の信号を変
化させるように選択される。次いで、ルーチン600はステップ624に進む。
【0072】 ステップ624では、ステップ622で計算されたフレームタイプのフィルタ
は、受信されたGOP内の各適切なフレームに適用される。次いで、ルーチン6
00はステップ626に進み、さらなるフレームの処理が必要か否かの質問がな
される。ステップ626での質問の答えがNOであれば、ルーチンはステップ6
30に進み、終了する。ステップ626での質問の答えがYESであれば、ルー
チンはステップ628に進み、処理用の次のステップが選択されて、ステップ6
24に進み、ステップ622で計算された適切なフレームタイプフィルタに応じ
て選択されたフレームがフィルタリングされる。すなわち、選択される次のフレ
ーム(すなわち、Iフレーム、PフレームまたはBフレーム)は、ステップ62
2で予め計算されたIフレームスペクトル等化フィルタ、Pフレームスペクトル
等化フィルタまたはBフレームスペクトル等化フィルタに応じてフィルタリング
される。
【0073】 本発明の上述した実施形態は、処理する全GOPを十分に格納できるメモリリ
ソースを有するデコーダに関するものである。しかしながら、メモリ抑制が全G
OP構造の格納と処理を妨げる場合、本願発明者等は、上述したブリージングア
ーチファクトを低減する方法をいくつか考案した。
【0074】 メモリが抑制されたデコーダに関する本発明による第1の方法では、GOP内
の1枚のフレームが「忠実度参照」フレームとして選択される。GOP内の他の
フレームは、必要に応じて、劣化または強化されて、忠実度参照フレームのしき
い値レベル内にある忠実度のレベルに合わせる。この方法を図7に関して以下に
さらに詳細に記載する。
【0075】 メモリが抑制されたデコーダに関する本発明による第2の方法では、予め復号
されたGOPの特性を用いて、現在復号されているGOPを適応させる。すなわ
ち、第1のGOPの特性は、GOPが処理されるときに決定され格納される。例
えば、GOP構造自体、GOPで利用される量子化レベルおよびこのような他の
忠実度に関連するパラメータが格納される。第1のGOPに関して決定され格納
されたパラメータを利用して、第1のGOPに続く第2のGOPが処理される。
これらのパラメータは、一般に、例えば、共通のシーンを表す画像を含むGOP
間ではあまり変化しないため、仮定は有用である。さらに、シーンが変化する場
合でも、第1のシーンの最後のGOPと第2のシーンの最初のGOPとの間に任
意の忠実度の差があっても、実際のシーンの変化では認知できないであろう(す
なわち、シーンの変化により生じる視覚的断続性が大きいと、GOPパラメータ
の予測が不正確であることから生じるブリージングアーチファクトを消す傾向が
ある)。メモリが抑制されたデコーダに関する本発明によるこれらの方法は、G
OPを復号する前に受信する全GOPを待つ必要がないという利点を有する。
【0076】 図7は、メモリが抑制されたデコーダの状態でブリージングアーチファクトを
低減するのに適した本発明による劣化等化ルーチン700の流れ図を示す。ルー
チン700は、例えば、図2のビデオデコーダ210が圧縮映像情報ストリーム
INの受信を開始したときに、ステップ702で始まる。次いで、ルーチン70
0はステップ704に進み、GOPの一部がメモリに格納される。さらに詳しく
言えば、少なくとも1枚の所定の参照フレーム(例えば、最初のIフレーム後の
第1のアンカフレーム)を含むGOPの一部がメモリに格納される。この替わり
として、所定の参照フレームのみがメモリに格納される。次いで、ルーチン70
0はステップ706に進む。
【0077】 ステップ706では、格納される参照フレームは、例えば、量子化ステップサ
イズ、GOP内の位置、フレームタイプおよびその他のパラメータを示すことに
よって前述した方法で特徴化される。参照フレームを特徴化することによって、
適切な忠実度のベースラインレベルが得られて、GOP内の他のフレームの強化
および/または劣化を達成する。すなわち、選択した参照フレームよりも忠実度
がかなり大きいIフレームの場合、Iフレームと選択した参照フレーム間の忠実
度の差があるしきい値レベルよりも下のレベルまで下がるように、少し忠実度を
劣化させるように処理される。同様に、選択された参照フレームの忠実度レベル
が、例えば、GOP内の1以上のBフレームよりもかなり高ければ、Bフレーム
は、忠実度の増大が明らかになるようにフィルタリングされる。例えば、Bフレ
ームは、デコーダ内の半ピクセル補間により誘導される低域パスフィルタリング
のオフセットを促進するように高周波で強化されてもよい。次いで、ルーチン7
00はステップ708に進む。
【0078】 ステップ708では、参照フレームの特徴化されたパラメータに従って、GO
P内のフレームが処理される。さらに詳しく言えば、ステップ708では、参照
フレームと共に格納された任意のフレームが、ステップ706で決定された参照
フレームの特徴に従って、選択的に強化または劣化される。次いで、ルーチン7
00はステップ710に進み、GOP内にさらに処理する必要があるフレームが
あるか否かの質問がなされる。
【0079】 ステップ710での質問の答えがYESであれば、ルーチンはステップ716
に進み、ステップ706で決定された参照フレームの特徴に従って、GOP内の
次のフレームが処理される。次いで、ルーチン700はステップ710に進む。
【0080】 ステップ710での質問の答えがNOであれば、ルーチンはステップ712に
進み、さらにGOPを処理する必要があるか否かの質問がなされる。ステップ7
12での質問の答えがNOであれば、ルーチン700はステップ714に進み、
終了する。ステップ712での質問の答えがYESであれば、ルーチン700は
ステップ704に進み、次のGOPに対してルーチン700が繰り返される。G
OP毎の特徴が比較的ゆっくりと変化する(シーンのカット等の場合を除く)た
め、前のGOPからの特徴化された参照フレームを用いて、次のGOPが任意に
処理されてもよい。
【0081】 本発明の別の実施形態では、前のGOPの平均的な統計上の測定に従って、各
GOPが処理される。すなわち、各GOPは、GOPが処理されるときに上述し
た1以上の技術を用いて特徴化される。この特徴化の結果は、次のGOPを処理
するために用いられる。このようにして、必要なメモリ量は大幅に減る。さらに
、潜在的なGOP間の忠実度誤差が1つのGOP内で修正されるため、あるシー
ンの最後のGOPと次のシーンの最初のGOPとの間にブリージングアーチファ
クトがあるとしても、ほとんど存在しない状態となるであろう。
【0082】 本発明の別の実施形態では、ブロック毎の単位で復号された映像ストリームに
誤差修正および/または等化が行われる。ブロックレベルで処理を行うと、等化
プロセスの制御が非常に強化されるという利点がある。例えば、高域パスフィル
タリングは、半ピクセル補間を使用したブロックに適切に適用されるが、整数の
動きベクトルを有するブロックには適用されない。整数の動きベクトルを有する
ブロックは、一般に、前述した半画ピクセル誤差成分を含まないため、等化高域
フィルタリングが保証する前述した低域パスフィルタリングでは劣化されない。
さらに、ブロック毎に処理を行うと、等化処理の制御能力が高まるため、例えば
、ブロックに対して行う等化または修正が量子化ステップを超えないことにより
、結果的に得られる画像に過度のゆがみが導入されない。
【0083】 最後に、デコーダにより復号されるオリジナル参照フレームの「コピー」が格
納されて参照として使用されて、1量子化ステップ等、所望の最大レベルにドリ
フトするのを制限してもよいことに留意されたい。
【0084】 従って、本発明の一実施形態では、「強化」された参照フレーム(すなわち、
最大忠実度レベルを有するブロックからなる参照フレーム)が、修正情報を「オ
リジナル」または「名目上」の参照フレームに与えることで形成される。次いで
、強化された参照フレームは、オリジナル参照フレームと共に格納される。ブリ
ージングアーチファクトが生じないように修正がなされる度に、その修正を調べ
て、修正自体が新しいアーチファクトを導入しないようにすることが望ましい。
これは、強化参照フレームとオリジナル参照フレーム間の差を、この差のDCT
が計算されたときの1量子化ステップよりも小さいものに制限して行われてもよ
い。従って、本発明の一実施形態では、強化参照フレーム内のブロック(すなわ
ち、「修正」されたブロック)とオリジナルフレーム内の対応するブロック間の
差のDCTが計算される。この差がしきい値レベル、例えば、1量子化ステップ
を超えるならば、オリジナルブロックが使用されるか、もしくは、任意に、修正
されたマクロブロックが再処理される。さらに、強化されたブロックに行う修正
を制御するこのプロセスは、非参照フレームに対して使用される。
【0085】 図8は、本発明によるブロックレベルの修正制御ルーチンの流れ図を示す。ル
ーチン800は、ステップ802で始まり、ステップ804に進み、ブロックま
たはマクロブロックが修正される。次いで、ルーチン800はステップ806に
進み、修正されたマクロブロックまたはブロックは、対応する未修正のマクロブ
ロックと比較されて、異なる量を発生する。次いで、ルーチン800はステップ
808に進み、修正および未修正のマクロブロックまたはブロック間の差に、離
散コサイン変換(DCT)が実行される。次いで、ルーチン800はステップ8
10に進み、ステップ808で実行されたDCTの量子化ステップサイズが1よ
りも大きいか否かの質問がなされる。ステップ810の質問の答えがNOであれ
ば、ルーチンはステップ812に進み、終了する。ステップ810の質問がYE
Sであれば、ルーチンはステップ814に進み、ブロックまたはマクロブロック
が再処理されるべきか否かの質問がなされる。
【0086】 ステップ814での質問の答えがYESであれば、ルーチン800はステップ
804に進み、ブロックまたはマクロブロックは再処理または再修正される。ス
テップ804での再処理または再修正は、DCT量子化ステップサイズのさらな
る除法とステップ808で形成されるDCT情報を利用する。
【0087】 ステップ814での質問の答えがNOであれば、ルーチン800はステップ8
16に進み、修正されたマクロブロックの代わりに未修正のブロックまたはマク
ロブロックが使用される。次いで、ルーチン800はステップ812に進み、終
了する。
【0088】 本発明の別のブロックベースの実施形態は、図3または図4に関して上述した
ものに類似しているが、個々のブロックに対して相対劣化レベルが決定され、個
々のブロックが、量子化および/または半ピクセル予測劣化を行って処理される
点が異なる。
【0089】 本発明の別のブロックベースの実施形態は、図7に関して上述したものに類似
しているが、例えば、ある特定のフレームタイプまたはイントラGOPフレーム
位置でのブロックの平均忠実度レベルに合うようにブロックが処理される点が異
なる。
【0090】 本発明の一実施形態では、修正フィルタは、エンコーダで計算され、符号化さ
れた映像ストリームと共にデコーダに伝送される。修正フィルタは、補助ストリ
ーム、強化層ストリームからなるか、またはユーザーデータフィールド内に含ま
れてもよい。デコーダは、修正フィルタデータを受信、利用して、前述したもの
と同様の方法でピクチャをフィルタリングして強化する。しかしながら、この実
施形態では、エンコーダが修正ファクタを計算する役割があるため、修正ファク
タは非常に正確なものとなる。エンコーダが与える修正ファクタを利用しないデ
コーダの場合には、修正量が比較的少なく(しかしながら、ブリージングアーチ
ファクトを減衰させるには十分な量)、それを利用しないデコーダでも受信した
圧縮映像ストリームを復号できる。
【0091】 本発明は、コンピュータ実行処理およびこれらの処理を行う装置の形態で実施
可能である。また、本発明は、フロッピーディスク、CD−ROM、ハードドラ
イバ、または他の任意のコンピュータ読取り可能な記憶媒体等、有形の媒体で具
体化されるコンピュータプログラムの形態で実施可能であり、この場合、コンピ
ュータプログラムコードがコンピュータにロードされて実行されると、コンピュ
ータは本発明を実施する装置となる。また、本発明は、例えば、記憶媒体内に格
納されるか、コンピュータへのロードおよび/またはコンピュータにより実行さ
れるか、または電気ワイヤやケーブル、光ファイバや電磁放射等の何らかの伝送
媒体で伝送されて、コンピュータプログラムコードの形態で実施可能であり、こ
の場合、コンピュータプログラムコードがコンピュータにロードされて実行され
ると、コンピュータは本発明を実施する装置となる。汎用マイクロプロセッサで
実行される場合、コンピュータプログラムコードのセグメントは、マイクロプロ
セッサを構成して、特定の論理回路を形成する。
【0092】 本発明の教示を組み入れたさまざまな実施形態を本願明細書に詳細に示し記載
してきたが、当業者であれば、これらの教示を組み合わせた他の多くの変更実施
形態を容易に考案可能である。
【図面の簡単な説明】
【図1A】 グループオブピクチャ(GOP)内の映像忠実度と関連する1以上のパラメー
タの相対的なフレーム毎の劣化を示すグラフである。
【図1B】 グループオブピクチャ(GOP)内の映像忠実度と関連する1以上のパラメー
タの相対的なフレーム毎の劣化を示すグラフである。
【図1C】 グループオブピクチャ(GOP)内の映像忠実度と関連する1以上のパラメー
タの相対的なフレーム毎の劣化を示すグラフである。
【図2】 本発明によるMPEG的デコーダの実施例を示す図である。
【図3】 映像信号のブリージングアーチファクトを低減する本発明による劣化等化ルー
チンを示す図である。
【図4】 本発明による劣化等化ルーチン400を示す図である。
【図5】 本発明によるGOP等化ルーチンを示す流れ図である。
【図6】 本発明による劣化等化ルーチンを示す流れ図である。
【図7】 デコーダのメモリが制限された状況でブリージングアーチファクトを低減する
ことに適した本発明による劣化等化ルーチンを示す流れ図である。
【図8】 本発明によるブロックレベル訂正制御ルーチンを示す流れ図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),BR,CN,I N,JP,KR,SG (72)発明者 フロレンシオ, ディネイ, アフォン ソ, フェレイラ アメリカ合衆国, ワシントン州, レッ ドモンド, 168ティエイチ コート エ ヌ. イー. 4603 (72)発明者 リー, シペン アメリカ合衆国, ニュー ジャージー 州, プリンストン, バークシャー ド ライヴ 303 Fターム(参考) 5B057 CA08 CA12 CA18 CE02 CG03 CG05 5C059 KK01 MA00 MA04 MA05 MA23 MC11 PP05 PP06 PP07 RB15 SS02

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 グループオブピクチャ(GOP)情報構造に従って配列され
    た圧縮画像シーケンスの処理システムにおいて、GOP間の視覚的アーチファク
    トを低減させる方法であって、 前記GOP情報構造内の第1のタイプの情報フレームに対して、それぞれの忠
    実度劣化レベルを決定するステップ(304)と、 前記GOP情報構造内の第2のタイプの情報フレームに対して、それぞれの忠
    実度劣化レベルを決定するステップ(304)と、 前記決定後の忠実度劣化レベルを用いて、劣化等化パラメータを計算するステ
    ップ(306)と、 前記計算後の劣化等化パラメータを用いて、前記第1および第2のタイプの情
    報フレームが所定の範囲内の忠実度劣化レベルを有するように、前記第1および
    第2のタイプの情報フレームの1つを処理するステップ(308)とを含む方法
  2. 【請求項2】 前記第1のタイプの情報フレームが、イントラ符号化情報フ
    レーム(Iフレーム)と前予測情報フレーム(Pフレーム)のうちの1つからな
    り、前記第2のタイプの情報フレームが、予測符号化情報フレーム(Pフレーム
    またはBフレーム)からなる請求項1記載の方法。
  3. 【請求項3】 前記忠実度劣化レベルは、ある量子化レベルに対して決定さ
    れる請求項1記載の方法。
  4. 【請求項4】 前記第1のタイプの情報フレームが、前記第2のタイプの除
    法フレームよりも高い忠実度レベルを有し、前記処理ステップが、 前記第2のタイプの情報フレームと関連する量子化ノイズパラメータQ8を特
    徴化するステップ(408)と、 前記劣化等化パラメータに従って、前記特徴化された量子化ノイズパラメータ
    をスケーリングするステップ(410)と、 前記第1の情報フレーム内に、前記スケーリングされた量子化ノイズパラメー
    タに近い量子化ノイズを投入するステップ(412)とを含む請求項1記載の方
    法。
  5. 【請求項5】 前記GOP情報構造内の第3のタイプの情報フレームに対し
    て、それぞれの忠実度劣化レベルを決定するステップと、 前記計算後の劣化等化パラメータを用いて、前記第1、第2および第3のタイ
    プの情報フレームが所定の範囲内の忠実度劣化レベルを有するように、前記第3
    のタイプの情報フレームを処理するステップとをさらに含む請求項1記載の方法
  6. 【請求項6】 グループオブピクチャ(GOP)情報構造に従って配列され
    た圧縮映像情報フレームの復号システムにおいて、視覚的アーチファクトを低減
    させる方法であって、 GOP内の複数の前記圧縮映像情報の相対忠実度劣化レベルを決定するステッ
    プ(304)と、 前記決定後の相対忠実度劣化レベルを用いて、忠実度劣化等化パラメータを計
    算するステップ(306)と、 前記GOP内の1以上の圧縮映像情報フレームに、前記相対忠実度劣化レベル
    がしきい値レベルに下がるように、前記計算後の忠実度劣化等化パラメータを適
    用するステップ(308)とを含む方法。
  7. 【請求項7】 前記相対忠実度劣化レベルは、量子化レベル、圧縮映像情報
    のフレームタイプ、前記GOP内の前記圧縮映像情報フレームの相対位置、前記
    GOP内の前記圧縮映像情報フレームのスペクトル情報分布、および前記GOP
    内の前記圧縮映像情報フレームの鮮明度レベルの1つに対して決定される請求項
    6記載の方法。
  8. 【請求項8】 スペクトル情報分布を予測スペクトル分布と比較するステッ
    プ(608)と、 スペクトル分布等化パラメータを計算するステップ(622)と、 前記スペクトル分布等化パラメータを、前記スペクトル情報分布と前記予測ス
    ペクトル分布がしきい値レベル内になるように、前記GOPに適用するステップ
    (624)とをさらに含む請求項6記載の方法。
  9. 【請求項9】 グループオブピクチャ(GOP)情報構造に従って配列され
    た圧縮映像情報フレームシーケンスの復号システムにおいて、 制御信号(C)に応答して映像情報フレーム(VI)を処理するビデオプロセ
    ッサ(220)と、 前記映像情報フレームの忠実度の指標に応答して前記制御信号を発生するコン
    トローラ(230)とを含む装置であって、 前記コントローラが、GOP内の複数の前記圧縮映像情報フレームの相対忠実
    度劣化レベルを決定し(304)、前記決定後の相対忠実度劣化レベルを用いて
    、忠実度劣化等化パラメータを計算し(306)、 前記ビデオプロセッサが、前記GOP内の1以上の映像情報フレームに、前記
    相対忠実度劣化レベルがあるしきい値レベルに下がるように、前記計算後の忠実
    度劣化等化パラメータを適用する(308)装置。
  10. 【請求項10】 前記ビデオプロセッサが、量子化ノイズを忠実度が比較的
    高い前記映像情報フレームに投入することで、忠実度が比較的高い映像情報フレ
    ームの忠実度レベルを下げる請求項9記載の装置。
JP2000547589A 1998-05-07 1999-05-07 圧縮映像のブリージングアーチファクトを低減する方法および装置 Expired - Lifetime JP4334768B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8463298P 1998-05-07 1998-05-07
US09/127,451 US6125147A (en) 1998-05-07 1998-07-31 Method and apparatus for reducing breathing artifacts in compressed video
US60/084,632 1998-07-31
US09/127,451 1998-07-31
PCT/US1999/010204 WO1999057685A1 (en) 1998-05-07 1999-05-07 Method and apparatus for reducing breathing artifacts in compressed video

Publications (2)

Publication Number Publication Date
JP2002514023A true JP2002514023A (ja) 2002-05-14
JP4334768B2 JP4334768B2 (ja) 2009-09-30

Family

ID=26771221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000547589A Expired - Lifetime JP4334768B2 (ja) 1998-05-07 1999-05-07 圧縮映像のブリージングアーチファクトを低減する方法および装置

Country Status (8)

Country Link
US (1) US6125147A (ja)
EP (1) EP1076885B1 (ja)
JP (1) JP4334768B2 (ja)
KR (1) KR100545145B1 (ja)
CN (1) CN1301370A (ja)
BR (1) BR9910272A (ja)
DE (1) DE69915277T2 (ja)
WO (1) WO1999057685A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812749B2 (en) 2003-12-31 2014-08-19 Intel Corporation Programmable video processing and video storage architecture

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252550A (ja) * 1998-03-02 1999-09-17 Sony Corp デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6633673B1 (en) * 1999-06-17 2003-10-14 Hewlett-Packard Development Company, L.P. Fast fade operation on MPEG video or other compressed data
JP3891246B2 (ja) * 1999-06-28 2007-03-14 富士フイルム株式会社 マルチスペクトル画像の圧縮方法
US6469684B1 (en) * 1999-09-13 2002-10-22 Hewlett-Packard Company Cole sequence inversion circuitry for active matrix device
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
US7512109B2 (en) * 2000-09-29 2009-03-31 Intel Corporation Slot structure for radio communications system
US6914939B1 (en) * 2000-11-13 2005-07-05 International Business Machines Corporation Method and apparatus for producing pseudo-constant bits per picture video bit-streams for low-delay compression system
US6965647B1 (en) * 2000-11-28 2005-11-15 Sony Corporation Robust time domain block decoding
US7073200B2 (en) * 2001-01-24 2006-07-04 Intel Corporation Method of providing secure content-based user experience enhancement within a content protection architecture
US6925126B2 (en) * 2001-04-18 2005-08-02 Koninklijke Philips Electronics N.V. Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
US6996183B2 (en) * 2001-09-26 2006-02-07 Thomson Licensing Scene cut detection in a video bitstream
US20030128970A1 (en) * 2002-01-10 2003-07-10 Koninklijke Philips Electronics N.V. System and method for providing high definition material on a standard definition compatible medium
US7280700B2 (en) 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7769084B1 (en) 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
WO2005043915A1 (ja) * 2003-10-31 2005-05-12 Kddi Media Will Corporation 映像解析装置及び映像障害検出装置
KR100757734B1 (ko) * 2006-03-15 2007-09-11 삼성전자주식회사 비디오 영상 후처리 장치 및 방법
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN101461248B (zh) * 2006-06-09 2011-04-06 汤姆森许可贸易公司 自适应地确定用于视频图像编码的比特预算的方法和设备
US9679602B2 (en) 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8332896B2 (en) 2007-07-05 2012-12-11 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with cross stream association
US8358705B2 (en) 2007-07-05 2013-01-22 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with uncoded transport tunneling
US8347339B2 (en) 2007-07-05 2013-01-01 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with variable training information
US9305590B2 (en) 2007-10-16 2016-04-05 Seagate Technology Llc Prevent data storage device circuitry swap
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
WO2009141011A1 (en) * 2008-05-22 2009-11-26 Telefonaktiebolaget L M Ericsson (Publ) Content adaptive video encoder and coding method
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US20100165205A1 (en) * 2008-12-25 2010-07-01 Kabushiki Kaisha Toshiba Video signal sharpening apparatus, image processing apparatus, and video signal sharpening method
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20100309987A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and encoding system
US20120133836A1 (en) * 2010-11-29 2012-05-31 Stmicroelectronics Asia Pacific Pte. Ltd. Frame level quantization estimation
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
JP2014527778A (ja) 2011-08-29 2014-10-16 アイ.シー.ブイ.ティー リミテッド ビデオコンテンツシステムの制御
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9794714B2 (en) * 2014-07-02 2017-10-17 Dolby Laboratories Licensing Corporation Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation
EP3376766B1 (en) * 2017-03-14 2019-01-30 Axis AB Method and encoder system for determining gop length for encoding video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851906A (en) * 1986-11-04 1989-07-25 Nec Corporation Data compression using orthogonal transform and vector quantization
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5479211A (en) * 1992-04-30 1995-12-26 Olympus Optical Co., Ltd. Image-signal decoding apparatus
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5734755A (en) * 1994-03-11 1998-03-31 The Trustees Of Columbia University In The City Of New York JPEG/MPEG decoder-compatible optimized thresholding for image and video signal compression
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812749B2 (en) 2003-12-31 2014-08-19 Intel Corporation Programmable video processing and video storage architecture
US9654724B2 (en) 2003-12-31 2017-05-16 Intel Corporation Programmable video processing and video storage architecture

Also Published As

Publication number Publication date
US6125147A (en) 2000-09-26
CN1301370A (zh) 2001-06-27
JP4334768B2 (ja) 2009-09-30
WO1999057685A1 (en) 1999-11-11
DE69915277D1 (de) 2004-04-08
BR9910272A (pt) 2001-01-02
EP1076885B1 (en) 2004-03-03
EP1076885A1 (en) 2001-02-21
KR20010043395A (ko) 2001-05-25
KR100545145B1 (ko) 2006-01-24
DE69915277T2 (de) 2005-02-03

Similar Documents

Publication Publication Date Title
JP4334768B2 (ja) 圧縮映像のブリージングアーチファクトを低減する方法および装置
EP1513349B1 (en) Bitstream-controlled post-processing video filtering
US7873224B2 (en) Enhanced image/video quality through artifact evaluation
US6968007B2 (en) Method and device for scalable video transcoding
US8279923B2 (en) Video coding method and video coding apparatus
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
US20090316793A1 (en) Method and system for adaptive deblocking for avs1-p2
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
US5974185A (en) Methods and apparatus for encoding video data using motion vectors for decoding by regular or downconverting decoders
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
JP2005503737A (ja) 境界強度に基づく適応フィルタリング
US7373004B2 (en) Apparatus for constant quality rate control in video compression and target bit allocator thereof
JP3907875B2 (ja) 符号化レート制御装置及び情報符号化装置
JP2004518338A (ja) 符号化されたビデオの鮮鋭度を向上する方法及びシステム
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
US20070147515A1 (en) Information processing apparatus
US20030156642A1 (en) Video coding method and corresponding encoding device
JP4644097B2 (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
EP1721469A1 (en) System and method for global indication of mpeg impairments in compressed digital video
US7133448B2 (en) Method and apparatus for rate control in moving picture video compression
JP4407249B2 (ja) データ処理装置およびその方法と符号化装置、その方法及びプログラム
JP4539028B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2007516639A (ja) 符号化方法及び符号化装置
JPH10164578A (ja) 画像符号化復号化装置
JPH0898178A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090624

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term