JP2002094997A - 画像シーケンスのフォーマット変換方法 - Google Patents

画像シーケンスのフォーマット変換方法

Info

Publication number
JP2002094997A
JP2002094997A JP2001240466A JP2001240466A JP2002094997A JP 2002094997 A JP2002094997 A JP 2002094997A JP 2001240466 A JP2001240466 A JP 2001240466A JP 2001240466 A JP2001240466 A JP 2001240466A JP 2002094997 A JP2002094997 A JP 2002094997A
Authority
JP
Japan
Prior art keywords
image
encoded
group
pixels
pixel group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001240466A
Other languages
English (en)
Inventor
Edouard Francois
フランソワ エドゥアル
Gwenael Kervella
ケルヴェラ グウェナエ
Dominique Thoreau
トロ ドミニク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2002094997A publication Critical patent/JP2002094997A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 符号化決定モードが、独立に、又は、先行及
び/又は後続画像を用いて符号化されうる各gopに対
して独立であるような画像シーケンスのフォーマット変
換方法を提供することを目的とする。 【解決手段】 本発明の方法は、変換されるべき符号化
された画素群について、使用された符号化モードが残差
のない「インター」タイプであれば(6)、符号化され
た画素群に関連付けられる動きベクトルによって連結さ
れた先行画像の変換された画素群(11)の複製(8,
10)によって変換が行われることを特徴とする。本発
明は、画像の表示及び合成に適用される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は符号化されたビデオ
データを使用して画像シーケンスのフォーマット変換を
行なう方法及び装置に関連する。
【0002】
【従来の技術】ビデオ表示を要求する殆どのアプリケー
ションは、符号化されたビデオデータを用いて動作す
る。復号化の後、これらのデータは所望の表示フォーマ
ット又は合成フォーマットとは互換性がないフォーマッ
トであることが多い。従って、殆どの場合、対応する画
像を表示する前、又は、画像合成を行なう前に、圧縮さ
れたビデオデータを用いてフォーマット変換を行なうこ
とが必要である。このフォーマット変換は、画像全体に
適用され、画像の各画素の連続的な加算及び乗算を含む
ため、一般的には、多くの時間とメモリ空間が必要であ
る。
【0003】例えば、2進ビデオデータストリームをH
264標準へ復号化した場合の出力フォーマットは、タ
イプ4:2:0、YUVである。Javaソフトウエア
・グラフィックス・インタフェース・ライブラリは、
4:4:4、RGBフォーマットに基づく画像フォーマ
ット用のAPI(アプリケーション・プログラム・イン
タフェースの頭文字)インタフェースを提供する。この
ように、かかるストリームのために「アプレット」を使
用するためには、4:2:0、YUVフォーマットの画
像が4:4:4、RBGフォーマットの画像へ変換され
ることが必要である。
【0004】以下、画像という単語を用いる場合は、走
査の種類に関わらず任意の種類の画像、フレーム、バイ
フレーム等を表わすものとする。
【0005】復号化ドメインという表現は、符号化され
たデータを復号化器によって受信すること及び符号化さ
れたデータを復号化することに関する全てのことを指
し、表示ドメインという表現は、復号化されたデータを
合成及び表示に使用することに関する全てのことを指す
ものとする。復号化方法は、慣習的に、先行画像又は後
続画像から画像を予測する時間的予測モードを用いる。
これは、例えば、MPEG1標準、MPEG2標準、M
PEG4標準、H261標準又はH263標準を含む。
これらの標準では、Pタイプ(予測)画像は、Iタイプ
(イントラ)画像の先行画像又はPタイプ画像の先行画
像から予測され、Bタイプ(双方向)画像は、I又はP
タイプ画像の先行画像又はI又はPタイプ画像の後続画
像から予測される。
【0006】1つの例では、画像中の画像ブロックの符
号化に関して、先行画像が再構成され、この再構成画像
中において、符号化されるべき画像ブロックに対して最
も良く相関するブロックを決定するために動き推定が行
なわれる。次に、再構成された画像は、この推定に対応
する動きベクトルを用いて動き補償され、予測ブロック
が与えられる。現在ブロックから予測ブロックを差し引
くことにより残差ブロックと称されるブロックが与えら
れ、残差ブロックは符号化され送信される。
【0007】復号化処理は、先行画像を再構成すること
により予測ブロックを計算し、それに現在画像から伝送
された残差ブロックを加えることにより行われる。
【0008】Bタイプ画像又はPタイプ画像の場合、ブ
ロックは先行参照画像から予測され、Bタイプ画像の場
合は先行参照画像からも予測される。これらの参照画像
は復号化器レベルにおいて再構成され、予測ブロックは
これらの画像とデータストリーム中で伝送される動きベ
クトルから計算される。データストリーム中で伝送され
る残差ブロックは復号化され、次に、関連付けられる動
きベクトルによって決められる予測ブロックに加えら
れ、画像中に再構成された画像ブロックが与えられる。
【0009】図1は、データの復号化及び変換処理を概
略的に示す図である。
【0010】参照画像に関するビデオデータは時間的予
測回路1に受信され、加算器3に予測画像が与えられ
る。現在画像に関するビデオデータは復号化回路2上に
受信され、それにより加算器に復号化画像が与えられ
る。加算器による再構成画像に対するデータ出力はフォ
ーマット変換回路4へ送信され、フォーマット変換器4
は画像を変換し、ディスプレイ又は画像合成回路へ送信
する。
【0011】種々のデータ圧縮演算が適用される構造
は、MPEG標準では、マクロブロックである。画素
は、例えば16×16画素のサイズの画像ブロックへグ
ループ化され、4つの輝度ブロック及び対応するクロミ
ナンスブロックがマクロブロックを構成する。符号化中
の画像フォーマットが4:2:0、Y,Cr,Cbであ
れば、マクロブロックは4つの輝度ブロックと2つのク
ロミナンスブロックを含む。時間的予測モードでは、各
マクロブロックは決定モードを有する。換言すれば、符
号化モードは各マクロブロックに対して決定される。こ
れは、予測が用いられない場合はイントラタイプの符号
化を行うこと、後方、前方(標準において知られている
ように)又は双方向動きベクトルを用いて予測タイプの
符号化を行うことを含む。Pタイプ画像のマクロブロッ
クはイントラモードで符号化されえ、続くマクロブロッ
クは参照画像を用いた動き補償を用いて符号化されう
る。
【0012】必ずしも標準化されていない他の圧縮モー
ドは、MPEG標準に記載されるように画像ブロックで
はない画素群に関する計算に基づく。予測モードは、均
質性規準に従って画像をセグメント化することによって
得られる領域に基づきうる。
【0013】本発明は、以下gopとも称するこれらの
画素群に対して適用される。従って、これはマクロブロ
ック又は画像ブロック、或いは、連結された領域といっ
た他の小さい複雑な構造を含みうる。符号化決定モード
は、独立に、又は、先行及び/又は後続画像を用いて符
号化されうる各gopに対して独立である。
【0014】
【発明が解決しようとする課題】本発明は、上述の問題
点を軽減することを目的とする。
【0015】
【課題を解決するための手段】本発明によれば、画素群
の構造に基づいて符号化されたビデオデータを使用して
画像シーケンスをフォーマット変換する方法であって、
変換されるべき符号化された画素群について、使用され
た符号化モードが残差のないインタータイプであれば、
符号化された画素群に関連付けられる動きベクトルによ
って連結された先行画像の変換された画素群の複製によ
って変換が行われることを特徴とする方法が提供され
る。
【0016】画素群に関連付けられる動きベクトルがヌ
ルであれば、同じ位置の画素群の再複製によって変換が
行われ、動きベクトルがゼロでなければ、先行する変換
された画像中の動き補償によって変換が行われる。
【0017】本発明によれば、画素群の構造に基づいて
符号化されたビデオデータを使用して画像シーケンスを
フォーマット変換する方法であって、変換されるべき符
号化された画素群について、符号化データの伝送誤りに
より残差のないインタータイプの復号化に等しい誤りマ
スクモードが生じた場合、符号化された画素群に関連付
けられる動きベクトルによって連結された先行画像の変
換された画素群の複製によって変換が行われることを特
徴とする方法が提供される。
【0018】本発明によれば、画素群の構造に基づいて
符号化されたビデオデータを使用して画像シーケンスを
フォーマット変換する方法であって、符号化されたデー
タは、スケーラビリティ、即ち異なる解像度の画像を得
ることを可能とする補足的なデータを含み、画素群及び
所与の解像度に関連する補足的なデータがゼロ値を有す
る場合、所与の解像度の変換された画像に対する画素群
は、より低い解像度の画像の変換された画素の群から得
られることを特徴とする方法が提供される。
【0019】従って、フォーマット変換は画像全体に適
用されるのではなく、残差がゼロではない画素群に対し
て単純に適用される。
【0020】復号化モードが動き補償及び残差の加算に
対応する時間的予測モードであるとき、残差がゼロであ
る場合、動き補償は表示ドメインに対して適用されるが
復号化ドメインに対しては適用されない。動き補償がな
い場合、変換された画素の群は再複製される。
【0021】本発明の主な利点は、時間的予測の場合に
各gopによって使用される決定モードを用いることに
よってフォーマット変換にかかる時間を最適化すること
にある。表示ドメインにおけるgopの動き補償は、一
般的にはこのgopをフォーマット変換するよりも時間
がかからない。動きがなく、単純な再複製を含む場合
は、更に時間がかからない。復号化器は簡単化され、従
ってその費用は減少される。本発明の他の特徴及び利点
については、添付の図面を参照して非限定的な例として
与えられる以下の説明より明らかとなろう。
【0022】
【発明の実施の形態】図2を参照するに、本発明による
画像フォーマット変換処理について説明する。第1のス
テップ5は、例えばデータストリームの形式で符号化さ
れたビデオデータを受け取る。ステップ5は、これらの
データの復号化を行う。これは、インター又はイントラ
符号化モード、残差、及び各gopについての動きベク
トルに関する情報を格納する。例えば、フラグは、残差
が符号化されておりヌルではないこと、又は、符号化さ
れておらずヌルではないことを示す。
【0023】フォーマット変換は、以下のステップを通
じて行われる。ステップ6は、各連続する画素群に対し
て、使用された符号化モードについての判定を行う。符
号化モードがインタータイプであり、gopの残差がヌ
ルであれば、(残差のないインタータイプである)、ス
テップ7へ進む。
【0024】符号化モードがインタータイプでない場合
(イントラ符号化である)、又は、符号化モードがイン
タータイプであり残差がヌルではない場合は、ステップ
9へ進み、当該の画素群に対して従来のフォーマット変
換を行う。ステップ7は、画素群に対して使用された符
号化モードについての新しい判定を行う。gopの動き
ベクトルがヌルベクトルであれば、ステップ8へ進む。
動きベクトルがヌルベクトルでなければ、ステップ10
へ進み、この動きベクトルと、やはりこの段階で送信さ
れる変換された画像である先行表示画像とを用いて動き
補償を行う。
【0025】ステップ8は、この段階へ送信される表示
された先行画像の画素群の再複製を行う。従って表示ド
メインにおけるgopは、表示された先行画像の対応す
る(同じ位置の)gopの単純な再複製によって得られ
る。
【0026】ステップ9、10、及び8からの出力は、
表示されるべき現在画像の画素群に対応し、これらのデ
ータはこの現在画像の画素群の記憶を行うステップ11
へ送信される。このステップは、現在画像の処理を行う
ときに、上述のようにステップ8及び10へ送信される
記憶された先行画像を与える。この先行画像は、現在画
像に対する動き推定が既に行われている参照画像であ
る。
【0027】このように、現在画像全体は、この画像を
構成する全ての画素群が処理された後に画面上に表示さ
れるよう、ステップ9、10、及び8の出力において利
用可能である。
【0028】ステップ5において格納される情報は、用
いられる符号化標準により異なる方法で得られる。MP
EG2標準の場合、ヌル残差マクロブロックは(標準に
おいて知られているように)「スキップド・マクロブロ
ック」モード及び「非符号化」モードにおいて見つけら
れる。
【0029】「スキップド・マクロブロック」モード
は、符号化されたデータ項目がないマクロブロックから
なる。全てのDCT係数は、ゼロに等しいと見なされ
る。復号化器は、時間的又は空間的な環境を用いること
によりスキップド・マクロブロックに関する予測を形成
する。スキップド・マクロブロックの処理は、Pタイプ
の画像を含むかBタイプの画像を含むかによって異な
る。
【0030】Pタイプの画像の場合は、動きベクトル予
測器はゼロにリセットされる。送信される動きベクトル
は値ゼロを有する。従って、現在のマクロブロックは同
じ位置(同じ位置に配置された)の先行画像のものと同
じである。
【0031】Bタイプ画像の場合、予測の方向(前方/
後方/双方向)は、先行マクロブロックと同じである。
動きベクトル推定器は変更されない。
【0032】「非符号化」モードは、ヘッダを含み、D
CT係数に関するデータ項目を含まないマクロブロック
からなる。前方及び/又は後方動きベクトルは、復号化
器側においてマクロブロックヘッダにより得られる。画
像のタイプに依存して、種々の形態が存在する。
【0033】Pタイプの画像については、非符号化動き
補償された(MC)モードが使用される。しかしなが
ら、後方動きベクトルがヌルであれば、スキップド・マ
クロブロックモードへ戻る。
【0034】Bタイプの画像については、種々の符号化
モードは「非符号化後方」モード、「非符号化前方」モ
ード、「非符号化補間」(双方向)モードである。
【0035】図3は、マクロブロック構造に関するクロ
ミナンスフォーマットに関連する様々なタイプの標準か
ら4:4:4RGB標準への変換を表わす図である。
【0036】インターモードでは、マクロブロックを形
成する全てのブロックが符号化されない「スキップド・
マクロブロック」の外側では、マクロブロックを形成す
るブロックは符号化されることも符号化されないことも
ある。これは、残差が符号化されていないブロックであ
ること、即ち値ゼロを有することを示す「patter
n_code structure」キュー又はcbp
(符号化ブロックパターン)符号である。本発明の特徴
によれば、Y輝度ブロック及びCr、Cbクロミナンス
ブロックのR、G、Bブロックへの変換は、cbp符号
の値の関数と理解される。以下、その例について示す。
【0037】フォーマット4:2:0 cbp符号が、Y,Cr,Cbドメインのブロックb
3,b4及びb5が符号化されてないことを示す場合、
R,G,Bドメインの1つ以上のブロックb3,b10
及びb11は、先行画像のブロックの再複製でありえ、
全く変換を必要としない。
【0038】フォーマット4:2:2 cbp符号が、Y,Cr,Cbドメインのブロックb
3,b6及びb7が符号化されていないことを示す場
合、R,G,Bドメインのブロックb3,b10及びb
11は、先行画像のブロックの再複製でありえ、全く変
換を必要としない。
【0039】フォーマット4:4:4 cbp符号が、Y,Cr,Cbドメインのブロックb
3,b10及びb11が符号化されていないことを示す
場合、R,G,Bドメインのブロックb3,b10及び
b11は、先行画像のブロックの再複製でありえ、全く
変換を必要としない。
【0040】gopが画像ブロックであり、従って、c
bp符号キューによりゼロの残差を有しブロックの従来
の変換処理が必要とされない画像ブロックを決定するこ
とが可能である場合、表示ドメイン中の画像ブロック
は、このブロックに他のブロックを単純に再複製するこ
とによって得られる。
【0041】特定の場合は、符号化されたデータの伝送
中に誤りが生じ、gopの復号化ができない場合に関す
る。
【0042】復号化器は、伝送誤りが認識されると、誤
りマスクアルゴリズムを行う。gopを再構成するため
のこれらのアルゴリズムは、1つ以上の先行画像に関す
る復号化データを複製又は動き補償することを含む。欠
如したgopは、以前に符号化されたgop及び動きベ
クトルから再構成される。
【0043】1つの例は、先行画像の同じ位置のマクロ
ブロックを単純に再複製するものである。本発明は、欠
如したマクロブロックに置き換えられるために使用され
るマクロブロックに対してフォーマット変換を適用する
のではなく、先行画像の変換された同じ位置のマクロブ
ロックがかなり単純に再複製されることを提案する。
【0044】従って、フォーマット変換は、欠如したg
opに関しては必要とされない。本発明による方法は、
復号化器が誤りを検出したときに実行される。本発明に
よる方法は、符号化ドメインと同じ誤りマスク演算を適
用する。しかしながら、gopの再構成は表示ドメイン
において実行され、即ち符号化ブロックではなく変換さ
れたブロックから開始する。復号化器によって実行され
る幾つかのアルゴリズムは、例えば画質を改善するため
やロゴを追加するために復号化データに対して単純な演
算を行う。このように、処理アルゴリズムは、暗すぎる
と宣言された復号化画像について、人工的に輝度を高め
るためにDCT係数に対して連続的な成分(オフセッ
ト)を追加することを決定しうる。
【0045】オフセット値の追加を、新しいマクロブロ
ックを得るために復号化データに対して行う代わりに、
マクロブロックの例を取り、続いてこれを表示ドメイン
へ変換すれば、本発明は、符号化されていない、即ちヌ
ルの残差を有するマクロブロックに関して、この演算を
変換されたマクロブロックに対して直接適用することを
提案する。従って、復号化されたマクロブロックではな
く、むしろヌル残差を有するマクロブロックに対応する
変換されたマクロブロックが使用される。新しい変換さ
れたマクロブロックを得るために、変換されたオフセッ
トが加えられ、このオフセットは復号化ドメイン中及び
表示ドメイン中では異なる。
【0046】ロゴの重ね合わせは、幾つかの符号化され
たマクロブロックに対して信号を追加することによって
行われ、全ての画像に対して同じである。提案される解
法は、この信号を、即ちより正確にいえば変換された信
号を、変換されたマクロブロックへ、即ち表示ドメイン
中で、追加することからなる。
【0047】他の適用はスケーラビリティに関する。
【0048】MPEG2標準又はMPEG4標準といっ
た幾つかの符号化は、画像の解像度のレベルにおいてス
ケーラビリティを与える。まず、基本レイヤが符号化さ
れる。この基本レイヤは、基本レイヤのgopと同じサ
イズを有する改善された続く英やから生ずる残差を加算
することによって改善されうる。ここで、時間的予測の
場合に提案されたものと同じフォーマット変換原理が提
供されうる。
【0049】図4は、基本レイヤ12、レベル1レイヤ
13、及びレベル2レイヤ14を表わす図である。復号
化器は、まず基本レイヤを復号化し、次により高い解像
度のレイヤを復号化する。これらの種々のレイヤは、復
号化された画像の精度を高めるために基本レイヤに加え
られた残差に対応する。マクロブロック構造の例では、
所与のレイヤについて、マクロブロックの残差がゼロで
あれば、処理は先行レイヤの変換されたマクロブロック
を複製することを含む。従って、所与のレイヤに対する
マクロブロックを得るためにフォーマット変換を行うこ
とは必要ではない。
【0050】このスケーラビリティは、より高い解像度
のレイヤのgopについては、残差がなくヌルの動きベ
クトルを用いたインター符号化と見なされうる。インタ
ー符号化は、より高い解像度レベルのレイヤと基本レイ
ヤとの間で行われる。
【0051】本願で説明する変換フォーマットは、限定
的なものではなく、本発明は任意のタイプのフォーマッ
ト変換に適用される。
【0052】本発明は、画像のgopを、先行画像のg
opの関数としてではなく、同じ画像の先行gopの関
数として符号化する「インター・イン・イントラ」符号
化モードにも適用される。残差がゼロであれば、「イン
ター・イン・イントラ」符号化されたgopは、同じ画
像中で既に変換されているgopを単純に再複製するこ
とによって変換される。
【0053】
【発明の効果】本発明は、符号化が多数のヌル残差ブロ
ックを生じさせた場合に更に有効であり、これは特に、
ビットレートが低いインターネット上でのビデオ適用の
場合のように、高い質の再構成を必要としない適用の場
合である。本発明はまた、例えばテレビ電話適用のよう
に殆ど動きがない場合に有効である。
【図面の簡単な説明】
【図1】データ復号化及び変換処理について概略的に示
す図である。
【図2】変換処理を示すフローチャートである。
【図3】マクロブロックの変換についての種々のクロミ
ナンスフォーマットを示す図である。
【図4】マクロブロック構造におけるスケーラビリティ
を示す図である。
【符号の説明】
5 復号化 6 符号化モード判定 7 符号化モード判定 8 再複製 9 フォーマット変換 10 動き補償 11 記憶
───────────────────────────────────────────────────── フロントページの続き (71)出願人 300000708 46,Quai A, Le Gallo F−92648 Boulogne Cede x France (72)発明者 グウェナエ ケルヴェラ フランス国,35000 レンヌ,リュ・ド・ ブレスト 31 (72)発明者 ドミニク トロ フランス国,35510 セソン・セヴィニェ, リュ・デュ・レアジュ 39 Fターム(参考) 5C057 AA06 BB01 EA01 EA02 EA07 ED07 ED08 ED09 EG06 EL01 EM04 EM09 GJ01 GJ03 5C059 KK37 MA00 MA05 MA23 NN01 NN28 PP04 PP15 PP16 TA18 TB08 TC13 TD05 UA02 UA05

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 画素群の構造に基づいて符号化されたビ
    デオデータを使用して画像シーケンスをフォーマット変
    換する方法であって、 変換されるべき符号化された画素群について、使用され
    た符号化モードが残差のない「インター」タイプであれ
    ば(6)、上記符号化された画素群に関連付けられる動
    きベクトルによって連結された先行画像の変換された画
    素群(11)の複製(8,10)によって変換が行われ
    ることを特徴とする方法。
  2. 【請求項2】 画素群に関連付けられる動きベクトルが
    ヌルであれば(7)、同じ位置の画素群(11)の再複
    製(8)によって変換が行われ、動きベクトルがゼロで
    なければ、先行する変換された画像中(11)の動き補
    償(10)によって変換が行われることを特徴とする、
    請求項1記載の方法。
  3. 【請求項3】 上記データはMPEG標準に従って符号
    化され、上記画素群は画像ブロックであり、上記符号化
    モードは上記マクロブロック中の符号化ブロックの割り
    当てを決めるcbp(符号化ブロックパターン)から決
    定されることを特徴とする、請求項1記載の方法。
  4. 【請求項4】 上記データはMPEG標準に従って符号
    化され、上記画素群は画像ブロックであり、上記符号化
    モードは「スキップド・マクロブロック」又は「非符号
    化」モードから決定されることを特徴とする、請求項1
    記載の方法。
  5. 【請求項5】 上記フォーマット変換は、復号化された
    画素群のレベルにおいて適用可能な単純な数学的演算を
    用いることによって表示の変更が補足され、 表示ドメインに適応される演算は、複製され変換された
    画素群に適用されることを特徴とする、請求項1記載の
    方法。
  6. 【請求項6】 上記単純な計算は、オフセットの加算で
    あることを特徴とする、請求項5記載の方法。
  7. 【請求項7】 画素群の構造に基づいて符号化されたビ
    デオデータを使用して画像シーケンスをフォーマット変
    換する方法であって、 変換されるべき符号化された画素群について、符号化デ
    ータの伝送誤りにより残差のないインタータイプの復号
    化に等しい誤りマスクモードが生じた場合、上記符号化
    された画素群に関連付けられる動きベクトルによって連
    結された先行画像の変換された画素群の複製によって変
    換が行われることを特徴とする方法。
  8. 【請求項8】 画素群の構造に基づいて符号化されたビ
    デオデータを使用して画像シーケンスをフォーマット変
    換する方法であって、 上記符号化されたデータは、スケーラビリティ、即ち異
    なる解像度の画像(12,13,14)を得ることを可
    能とする補足的なデータを含み、 画素群及び所与の解像度に関連する上記補足的なデータ
    がゼロ値を有する場合、所与の解像度の変換された画像
    (13,14)に対する上記画素群は、より低い解像度
    の画像(12)の変換された画素の群から得られること
    を特徴とする方法。
JP2001240466A 2000-08-11 2001-08-08 画像シーケンスのフォーマット変換方法 Pending JP2002094997A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0010551A FR2813001B1 (fr) 2000-08-11 2000-08-11 Procede de conversion de format couleur d'une sequence d'images
FR0010551 2000-08-11

Publications (1)

Publication Number Publication Date
JP2002094997A true JP2002094997A (ja) 2002-03-29

Family

ID=8853484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001240466A Pending JP2002094997A (ja) 2000-08-11 2001-08-08 画像シーケンスのフォーマット変換方法

Country Status (5)

Country Link
US (1) US7415068B2 (ja)
EP (1) EP1185107A3 (ja)
JP (1) JP2002094997A (ja)
CN (1) CN1232933C (ja)
FR (1) FR2813001B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813569B2 (en) 2002-11-29 2010-10-12 Samsung Electronics Co., Ltd. MPEG video decoding method and MPEG video decoder using results from analysis of motion-vector data and DCT coefficients

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148041B2 (ja) * 2003-06-27 2008-09-10 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
FR2881898A1 (fr) * 2005-02-10 2006-08-11 Thomson Licensing Sa Procede et dispositif de codage d'une image video en mode inter ou intra
FR2932050B1 (fr) * 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
US9602762B2 (en) 2015-06-12 2017-03-21 Sharp Laboratories Of America, Inc. Fallback in frame rate conversion system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646406A (ja) * 1992-07-06 1994-02-18 Matsushita Electric Ind Co Ltd デジタル画像信号の誤り補正方法及び誤り補正装置
JPH10262229A (ja) * 1997-03-18 1998-09-29 Toshiba Corp 通信システム、多地点制御装置および映像表示方法
JPH11150730A (ja) * 1997-07-09 1999-06-02 Hyundai Electron Ind Co Ltd 下層と現在層のモードを利用した伸縮型二進映像符号化/復号化方法及び装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5761342A (en) * 1991-04-16 1998-06-02 Canon Kabushiki Kaisha Image processing apparatus and method
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
NL9200499A (nl) * 1992-03-17 1993-10-18 Nederland Ptt Systeem omvattende ten minste een encoder voor het coderen van een digitaal signaal en ten minste een decoder voor het decoderen van een gecodeerd digitaal signaal, alsmede encoder en decoder voor toepassing in het systeem.
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Mpeg信号記録方法およびmpeg信号再生方法
DK0651574T3 (da) * 1993-03-24 2001-10-08 Sony Corp Fremgangsmåde og indretning til koding/dekodning af bevægelsesvektorer, og fremgangsmåde og indretning til kodning/dekodning af billedsignaler
US5442400A (en) * 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
JPH0997319A (ja) * 1995-09-28 1997-04-08 Fujitsu Ltd 色空間画像を補正する画像処理装置および方法
US6389174B1 (en) * 1996-05-03 2002-05-14 Intel Corporation Video transcoding with interim encoding format
RU99116256A (ru) * 1996-12-20 2001-05-10 Уэстфорд Текнолэджи Копэрейшн (Us) Способ (варианты) и система для оценки исходного сигнала
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
DE19919412B4 (de) * 1998-04-29 2006-02-23 Lg Electronics Inc. Decoder für einen digitalen Fernsehempfänger
US6137915A (en) * 1998-08-20 2000-10-24 Sarnoff Corporation Apparatus and method for error concealment for hierarchical subband coding and decoding
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646406A (ja) * 1992-07-06 1994-02-18 Matsushita Electric Ind Co Ltd デジタル画像信号の誤り補正方法及び誤り補正装置
JPH10262229A (ja) * 1997-03-18 1998-09-29 Toshiba Corp 通信システム、多地点制御装置および映像表示方法
JPH11150730A (ja) * 1997-07-09 1999-06-02 Hyundai Electron Ind Co Ltd 下層と現在層のモードを利用した伸縮型二進映像符号化/復号化方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813569B2 (en) 2002-11-29 2010-10-12 Samsung Electronics Co., Ltd. MPEG video decoding method and MPEG video decoder using results from analysis of motion-vector data and DCT coefficients
US8326060B2 (en) 2002-11-29 2012-12-04 Samsung Electronics Co., Ltd. Video decoding method and video decoder based on motion-vector data and transform coefficients data

Also Published As

Publication number Publication date
FR2813001A1 (fr) 2002-02-15
EP1185107A3 (en) 2011-12-21
US20020021757A1 (en) 2002-02-21
EP1185107A2 (en) 2002-03-06
FR2813001B1 (fr) 2002-12-20
CN1232933C (zh) 2005-12-21
CN1338705A (zh) 2002-03-06
US7415068B2 (en) 2008-08-19

Similar Documents

Publication Publication Date Title
US20060013308A1 (en) Method and apparatus for scalably encoding and decoding color video
US8630347B2 (en) Video decoding apparatus and video decoding method
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
US9667961B2 (en) Video encoding and decoding apparatus, method, and system
US20050002458A1 (en) Spatial scalable compression
US6931062B2 (en) Decoding system and method for proper interpolation for motion compensation
KR20040075348A (ko) 동적 필터 부호화
KR20100137009A (ko) 비디오 유닛 내의 경계 아티팩트 정정
KR20080066722A (ko) 전환 효과를 위한 멀티미디어 코딩 기술
JP2006518568A (ja) ビデオ符号化
JP2005501491A (ja) グローバル動きパラメータを用いた動きベクトル符号化方法および装置
JP4332246B2 (ja) 画像処理装置、方法、及び記録媒体
JP2000333163A (ja) 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
JP2002094997A (ja) 画像シーケンスのフォーマット変換方法
JPH05130591A (ja) 動画像符号化装置及びその復号装置
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2002523987A (ja) ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置
JPH09322175A (ja) 動画像復号化方法及び装置
JP2002010267A (ja) 動きベクトル変換装置及び方法
KR20110134404A (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
US8218639B2 (en) Method for pixel prediction with low complexity
EP1614297A1 (en) Video encoding and decoding methods and corresponding devices
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
JP4301495B2 (ja) 動画像圧縮符号化装置
JP2004349756A (ja) 動画像符号化装置,方法および動画像符号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925