JP2001285871A - ビデオ画像を符号化する処理方法及びその装置 - Google Patents

ビデオ画像を符号化する処理方法及びその装置

Info

Publication number
JP2001285871A
JP2001285871A JP2001072505A JP2001072505A JP2001285871A JP 2001285871 A JP2001285871 A JP 2001285871A JP 2001072505 A JP2001072505 A JP 2001072505A JP 2001072505 A JP2001072505 A JP 2001072505A JP 2001285871 A JP2001285871 A JP 2001285871A
Authority
JP
Japan
Prior art keywords
encoding
image
stream
video object
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001072505A
Other languages
English (en)
Other versions
JP5305552B2 (ja
Inventor
Philippe Bordes
ボルデ フィリップ
Philippe Guillotel
ギヨテル フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JP2001285871A publication Critical patent/JP2001285871A/ja
Application granted granted Critical
Publication of JP5305552B2 publication Critical patent/JP5305552B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 本発明は、単純で柔軟性のあるような方法で
シーンを構成することが可能となる符号化処理方法及び
その装置を提供することを目的とする。 【解決手段】 本発明は、一連の画像から得られる画像
から少なくとも１つのビデオオブジェクトを、画像内の
オブジェクトの輪郭を決めるセグメンテーションキーを
形成することにより抽出する段階、エレメンタリストリ
ーム（ＥＳ）を形成するようＭＰＥＧ２規格に従ってビ
デオオブジェクトを符号化する段階、ＥＳを形成するよ
うＭＰＥＧ２規格に従ってビデオオブジェクトに関する
セグメンテーションキーを符号化する段階、ＥＳを形成
するようＭＰＥＧ２規格に従ってビデオオブジェクトが
挿入されるべき背景画像を符号化する段階、及びＭＰＥ
Ｇ２規格に従うプログラムストリーム又はトランスポー
トストリームが得られるよう１つ以上のオブジェクト及
び背景画像に関するＥＳを多重化する段階を含むことを
特徴とするビデオ画像を符号化する処理方法である。本
発明はスタジオ、ビデオ画像の送信及び記憶に適用され
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はＭＰＥＧ２に準拠す
るオブジェクトに基づいた符号化処理に関する。
【０００２】
【従来の技術】ＭＰＥＧ４規格は、シーンを合成するた
めにオーディオビジュアルなオブジェクトを符号化する
ことに関する。複数のオブジェクトを別々に符号化する
ことの利点は既知である。例えば、良好なデータ圧縮は
画像をセグメント化することにより得られ、関心の領域
に依存する画質で符号化すること又はオブジェクトの符
号化データを復号器レベルで記憶し、対応するデータの
再送信を防止することが可能となる。更に、かなりの柔
軟性をもってシーンを形成することが可能であり、この
シーンは復号器レベルで受信した情報とは関係なく構成
又は変更することが可能である。
【０００３】
【発明が解決しようとする課題】従来技術のＭＰＥＧ２
式の符号化、復号回路はビデオオブジェクトを使用する
ことが可能ではなく、従って、ＭＰＥＧ４規格ほどは単
純で柔軟性のあるような方法でシーンを構成することが
出来ない。
【０００４】本発明は上述の欠点を解消することを目的
とする。
【０００５】
【課題を解決するための手段】本発明は、ビデオ画像を
符号化する処理方法であって、画像シーケンスから得ら
れる画像から少なくとも１つのビデオオブジェクトを、
その画像内のオブジェクトの輪郭を決めるセグメンテー
ションキーを形成することによって抽出する段階と、エ
レメンタリストリーム（ＥＳ）を形成するようＭＰＥＧ
２規格に従って上述のビデオオブジェクトを符号化する
段階と、エレメンタリストリームを形成するようＭＰＥ
Ｇ２規格に従って上述のビデオオブジェクトに関するセ
グメンテーションキーを符号化する段階と、エレメンタ
リストリームを形成するようＭＰＥＧ２規格に従って上
述のオブジェクトが挿入されるべき背景画像を符号化す
る段階と、ＭＰＥＧ２規格に従うプログラムストリーム
（ＰＳ）又はトランスポートストリーム（ＴＳ）が得ら
れるよう１つ以上のオブジェクトに関するエレメンタリ
ストリームと上述の背景画像に関するエレメンタリスト
リームとを多重化する段階とを含むことを特徴とする。
【０００６】本発明の実施例では、上述の処理方法はビ
デオオブジェクトの奥行きに関する相対な配置を決める
距離画像を計算する更なる段階を含み、距離画像はＭＰ
ＥＧ２規格に従って符号化され、データトランスポート
ストリームで送信されるよう他のエレメンタリストリー
ムと共に多重化されるエレメンタリストリームが得られ
る。
【０００７】本発明の実施例では、距離画像は符号化さ
れるべきビデオ画像を供給するカメラの情報から得られ
る。
【０００８】本発明の実施例では、ビデオオブジェクト
の符号化は、ビデオオブジェクト以外の画像の部分を符
号化するためにＤＣ係数のみを使用し、完全な画像を符
号化することによって行なわれる。
【０００９】本発明の実施例ではビデオオブジェクトの
符号化は完全な画像を符号化することによって行なわ
れ、背景の符号化のモードは符号化ビットの個数を減少
させるような方法にされる。
【００１０】本発明の実施例では、背景が均一な場合
は、背景の符号化はＤＣ係数のみを使用して行なわれ
る。ＤＣ係数が等しい場合は、背景を符号化する費用は
非常に低くなる。この処理は均一でない背景にも有効で
あるが、ビットレートの観点からより高い費用となる。
【００１１】本発明の実施例では、画像の背景に関する
マクロブロックが、セグメンテーションキーに基づいて
検出され、これらのマクロブロックを符号化するために
ＭＰＥＧ２の「スキップマクロブロック」モードにされ
る。
【００１２】本発明は更に、請求項１に記載される処理
方法を実施する符号化装置に係り、オブジェクトの境界
を決めるセグメンテーションキーを与えるオブジェクト
抽出回路と、エレメンタリストリームが得られるようビ
デオオブジェクトのテクスチャをＭＰＥＧ符号化する回
路と、エレメンタリストリームが得られるようセグメン
テーションキーをＭＰＥＧ符号化する回路と、エレメン
タリストリームが得られるよう背景画像をＭＰＥＧ符号
化する回路と、エレメンタリストリームを多重化させ、
プログラムストリーム又はトランスポートストリームを
供給する少なくとも１つの回路とを含むことを特徴とす
る。
【００１３】本発明は更に、ＭＰＥＧ２規格に従うプロ
グラムストリーム又はデータトランスポートストリーム
に係り、オブジェクトを符号化するエレメンタリストリ
ームと、背景を符号化するエレメンタリストリームと、
上記オブジェクトを決めるセグメンテーションキーを符
号化するエレメンタリストリームとを含むことを特徴と
する。
【００１４】本発明は、オーディオビジュアルなオブジ
ェクトを別々に送信するようＭＰＥＧ２に準じて多重化
されたストリーム又はトランスポートストリームを使用
することにある。ＭＰＥＧ２トランスポートストリーム
は幾つかの画像シーケンスを送信し、各画像シーケンス
は符号化する前にもとの画像から抽出された例えば背
景、オブジェクト、又は人のようなシーンの１つ以上の
要素に対応する。従って、オブジェクトの変更するこ
と、又はシーンの背景を変化させることは非常に単純な
方法によって行なうことが可能となる。上述の要素は、
特定のＭＰＥＧ２データ「プログラム」に関連する。
【００１５】本発明の主な利点は、従来のＭＰＥＧ２符
号化器及び復号器を依然として使用する一方で、ＭＰＥ
Ｇ２トランスポートストリームにおいて送信されたデー
タから構成されるシーンを表す画像シーケンスをより柔
軟で、容易で、更に費用があまりかからない方法で形成
することが可能であることである。
【００１６】ＭＰＥＧ２データからシーンを形成するこ
と、或いは地域、顧客等を対象とする広告を挿入する等
の送信されたシーンの内容を変更することは容易にされ
る。
【００１７】本発明の更なる利点は、画像を符号化する
費用を、例えば画像のオブジェクトと背景の間で分ける
ことが可能であり、それにより、オブジェクトが適当に
識別されているとすると背景の質を低下させる原因とな
る関心のオブジェクトの符号化の品質を改善することが
可能となることである。例えば、背景とオブジェクトの
間のブロック効果が減衰され得る。
【００１８】更なるエレメンタリストリームに関するデ
ータを送信することによるビットレートの増加は、分解
された画像、及び各ストリームのオブジェクトの良好な
圧縮によって補償される。
【００１９】
【発明の実施の形態】本発明の特徴及び利点は、例によ
って示される以下の説明と添付図面を参照しより明確に
される。
【００２０】ＭＰＥＧ２規格のコンテキストにおいて、
ビデオオブジェクトは、ＭＥＰＧ４規格のように先験的
に画成されない、つまり符号化されない。本発明は、画
像オブジェクトを決めて抽出するために、例えば色相に
基づきクロマキーとして既知であるような、画像をセグ
メント化する技術を使用することを提案する。
【００２１】「クロマキー」技術はシーンの合成を形成
するために、例えばバーチャルスタジオにおいて一般的
に使用される。プレゼンタがバーチャルなセットの中を
動きまわり、この背景又はセットは立体合成画像であ
る。この技術を図１ａ、図１ｂ、図１ｃ、及び図１ｄを
参照して以下に簡単に説明する。
【００２２】図１ａは、青の背景と、前景にあるここで
は犬であるビデオ「オブジェクト」から構成される画像
を表す。色をフィルタリングすることによって、オブジ
ェクトは背景から分離される。従って、クリッピングキ
ー、セグメンテーションキー、又はαプレーンと称され
る画像１ｂが形成される。
【００２３】画像１ｃは、青の背景の変わりに入れ替え
られるべき新しい背景に対応する。
【００２４】画像１ｄに示される画像では、上述の新し
い背景の上にオブジェクトが重ねられる。この重ね合わ
せ、又はより正確にはミキシングは、例えば新しい画像
の輝度／色相を以下の式に従って計算することにより行
なわれる。
【００２５】α．ａ＋（１−α）．ｃただし、αは画像
１ｂの、透過性とも称されるグレイレベル（例えば２５
５によって割り算された輝度値）を表し、「ａ」は画像
１ａの輝度／色層を表し、「ｃ」は画像１ｃの輝度／色
相を表す。
【００２６】中間的なグレイレベルは一般的にオブジェ
クトと背景の間の境界領域とセグメンテーションキーに
対し計算され、過剰に急な遷移を防止する。このセグメ
ンテーションキーはオブジェクトがバーチャルなオブジ
ェクトであると非常に容易に得られる。
【００２７】本発明のＭＰＥＧ２トランスポートストリ
ームは各画像１ａ、１ｂ、及び１ｃに関連するエレメン
タリストリームから形成される。これによって、受信レ
ベルにおいて、ここでは犬であるオブジェクトを背景の
前に置くことが可能となる。この背景はストリーム内に
送信された背景である必要はなく、どこからでも得るこ
とが可能である。
【００２８】オブジェクト及び背景に対するテクスチャ
情報と共にセグメンテーションキーに関するデータが送
信される場合にのみ、中間奥行きにおいてオブジェクト
を置くことが不可能となる。
【００２９】本発明の変形では、奥行きキューをトラン
スポートストリームに加え、それにより上述の問題を解
決する。距離画像又はｚプレーンと称される画像の符号
化が行なわれ、対応するエレメンタリストリームがトラ
ンスポートストリーム内で送信される。これらの画像の
グレイレベルは、関連付けられた画像の対応する画素の
相対的な奥行きを表す。
【００３０】図２は、距離画像を考慮したシーンの構成
例を示す。
【００３１】図１ａは第１のビデオオブジェクト（即ち
犬）を、図１ｂは対応するセグメンテーションキーをそ
れぞれ表す。図２ａは原画像を表し、そこから図２ｂが
得られる。図２ｂは、ここでは選手であるもう１つのビ
デオオブジェクトのセグメンテーションキーを表す。こ
のセグメンテーションキーは「クロマキー」以外の処
理、即ちセグメンテーションによって得られる。符号化
費用が最小となるよう背景が青のクロマキーによって取
って代わられた図２ｃによって、このもう１つのオブジ
ェクトの対応するテクスチャが与えられる。図２ｄは、
２つのオブジェクトの距離画像を表し、図２ｅは再合成
された図である。図２ｄでは、輝度レベルが奥行きを表
す。従って、白のオブジェクト（即ち選手）は最小奥行
きに対応し、グレイのオブジェクト（即ち犬）は中間奥
行きに対応し、黒の背景は最大奥行きに対応する。
【００３２】図２ｅでは、犬の頭部が選手によって部分
的に隠れ、このことは犬が奥行き的に、選手であるオブ
ジェクトと競技ピッチである背景の間に置かれているこ
とを表す。
【００３３】距離画像を得る手段は従来技術に属する。
例えば、シーンを構成する或るオブジェクトと人々の間
の奥行きを測定するためにカメラに接続されたレーザの
放射線を使用して対応する距離画像を得ることが可能で
ある。
【００３４】距離画像を使用することによって得られる
シーンは「２Ｄ＋」又は「擬似３Ｄ」と称される。
【００３５】シーンを構成するためには、６つの基本デ
ータストリームを形成することが必要であり、そのうち
の３つは犬、選手、及び背景のテクスチャに係り、２つ
は犬と選手のセグメンテーションキーに係り、１つは完
全なシーンの距離画像に関する。
【００３６】奥行きに関する情報を付加することによ
り、各エレメンタリデータストリームを使用してオブジ
ェクトを他のオブジェクトの前、又は、部分的若しくは
完全に後に動かすことが可能である。
【００３７】オブジェクトに基づいた符号化による更な
るビットレートを補償する又は少なくとも制限するに
は、送信されるべき画像の符号化は以下に示されるよう
に費用レベルにおいて最適化される。
【００３８】イントラ型の画像の集まり（又はＭＰＥＧ
２規格においてGroup of Picturesを表すＧＯＰ）を考
慮する場合、青の背景の符号化はＤＣ係数のみを使用す
ることによって行なわれる。実際、セグメンテーション
キーが利用可能である場合は良好な品質の背景が必要で
はないので、他の周波数係数を送信する必要がない。更
に、これらの係数は等しい値をとるようにされ、ＤＣ係
数の予測が完全となる。従って、符号化費用は最小とな
る。画像を符号化する際に、これらのマクロブロックは
セグメンテーションキーに基づいて検出される。
【００３９】セグメンテーションキーとビデオオブジェ
クトのテクスチャに関する画像については、シーンにお
いて関心の点と想定される上述のビデオオブジェクトを
表すためと、オブジェクトの境界を良好な精度で決める
ために或る画像品質が所望される。従って、高周波係数
が有利となるようフラットな重みマトリクスが使用され
る。セグメンテーション画像を符号化することは、非常
に均一なグレイレベルを符号化することを含むので、セ
グメンテーション画像を符号化する費用は、全体的にオ
ブジェクトを符号化する費用より全体的に低い。
【００４０】時間的な圧縮が使用されると、つまりＧＯ
Ｐがインターモードで符号化されたＢ型及び／又はＰ型
の画像を含む場合、均一な又は静止した背景の符号化に
規格の「スキップマクロブロック」モードが使用され、
このモードは符号化ビットをほとんど必要としない。同
様にセグメンテーションキーとオブジェクトのテクスチ
ャ画像の対応するマクロブロックの符号化にも使用され
る。
【００４１】背景が均一でない又は静止していないが、
移動が均一である場合には、全てのマクロブロックの移
動ベクトルはこの移動値にされ、符号化されるべき予測
誤りはゼロとなる。
【００４２】他の場合では上述のような方法は使用され
ず、符号化は従来通りである。
【００４３】一般的に、符号化データを分けることは、
関心の点が一般的に１つ又は複数のビデオオブジェクト
であるので背景の質を低下させる原因よりも対象に有利
である。既知の原理では、様々なオブジェクトに割当て
られる符号化費用を決めるために動きも考慮される場合
がある。言うまでも無く、オブジェクトのセグメンテー
ションはＭＰＥＧ符号化、つまり画像をマクロブロック
に分割することと密接に関係している。
【００４４】このような符号化は、セグメンテーション
キーとオブジェクトのテクスチャ画像を符号化する為に
イントラ（Intra）画像から構成されるＧＯＰをイント
ラモードで５０Ｍｂｉｔ／ｓの大きさのビットレートで
送信することが可能となるか、或いは双方向型のインタ
ー（Inter）符号化が使用される場合は１８Ｍｂｉｔ／
ｓの大きさのビットレートで送信することが可能とな
る。これらのＧＯＰ構造及びビットレートはスタジオ品
質の画像用に通常使用されるものである。
【００４５】ビットレートは、送信全体に対し一定のビ
ットレートで送信することを保証し、一方で多重化され
たストリームの様々なチャネル間において可変ビットレ
ートで送信されることを可能にするよう監視される。例
えば、セグメンテーションキーに関連する画像はテクス
チャよりも良好な品質で符号化され得、ビットレート
は、符号化される画像の相対的な複雑さに応じて又は他
のオブジェクトに対し１つのオブジェクトに与えられる
意味論的な重要性に応じて様々なエレメンタリストリー
ムに適応して割当てられ得る。
【００４６】図３は、本発明の処理方法を実行するＭＰ
ＥＧ２多重化装置を示す。
【００４７】第１の画像シーケンスを表すデータストリ
ームはオブジェクト抽出回路１の入力に送信される。こ
の回路の第１の出力では、抽出されるオブジェクトの輪
郭（αプレーン）に関するデータが得られ、ＭＰＥＧ２
符号化回路２の入力に送信される。回路１の第２の出力
では、抽出されるオブジェクトのテクスチャに関するデ
ータが得られ、ＭＰＥＧ２符号化回路３の入力に送信さ
れる。符号化器２及び３の出力における（ＭＰＥＧ２規
格において既知である）エレメンタリストリームＥＳは
ストリームマルチプレクサ回路４の第１の入力及び第２
の入力に送信される。回路４は更にＭＰＥＧ２規格に従
って、第３の入力から対応する音声エレメンタリトレイ
ン（音声ＭＰＥＧ符号化器は図示せず）を受信し、更に
補助入力から私的データ、サービス情報、条件付きアク
セスコマンド、及びクロックを規格に従って受信し、規
格はこれらの信号に関する更なる情報の為に参照される
場合がある。
【００４８】第２の画像シーケンスを表す第２のデータ
ストリームが第３のＭＰＥＧ符号化器５に送信され、再
構成されるシーケンスの背景を表す画像が符号化され
る。ビデオ符号化器５の出力はビデオエレメンタリスト
リームを第２のマルチプレクサ６の第１の入力に送信
し、音声エレメンタリストリーム（音声ＭＰＥＧ符号化
器は図示せず）を第２の入力に、私的データ、サービス
情報、条件付きアクセスコマンド、及びクロックを補助
入力に送信する。
【００４９】様々なＭＰＥＧ２プログラムを表すマルチ
プレクサ回路４及び６の出力は、第３のマルチプレクサ
７の入力に送信され、マルチプレクサ７の出力はトラン
スポートストリームＴＳとなる。
【００５０】本実施例では、第１のマルチプレクサはオ
ブジェクトの符号化に割当てられ、第２のマルチプレク
サは背景の符号化に割当てられる。各マルチプレクサ４
及び６から出て、エレメンタリストリームから構成され
るプログラムは、マルチプレクサ７によって多重化さ
れ、トランスポートストリーム（ＴＳ）が得られる。
【００５１】距離画像もトランスポートストリームで送
信されることが可能である。セグメンテーション画像、
つまり画像内で選択されたオブジェクトを決めるエレメ
ンタリストリームに追加して、距離画像、つまり奥行き
に関しオブジェクトのそれぞれの位置を決めるＭＰＥＧ
エレメンタリストリームは１つ以上のオブジェクトを決
めるテクスチャストリームに関連付けられる。このエレ
メンタリストリームはマルチプレクサ回路７の入力に送
信されて他のプログラムが得られる。
【００５２】同一のプログラムに対し、エレメンタリス
トリームから形成された様々なチャネルは従って互いに
完全に同期され、ＰＣＲクロック、及びＤＴＳ／ＰＴＳ
ラベル（ＭＰＥＧ規格に記載される用語）も同様に同期
される。パケット識別子ＰＩＤ（ＭＰＥＧ規格において
既知である）は各チャネルに対し異なるように選択さ
れ、同じマルチプレクス内で区別ができるようにされ
る。
【００５３】異なる画像シーケンスからのオブジェクト
も選択することが可能である。この場合、この他の画像
シーケンスに関するデータ、つまりオブジェクトのテク
スチャ、この他のシーケンスのセグメンテーションキー
及びビデオオブジェクトに対応する距離画像を含むプロ
グラムを供給するよう他のマルチプレクサが使用され
る。距離画像は新しいオブジェクトと前のオブジェクト
とを考慮することが可能である。トランスポートストリ
ームはこのストリームと前のストリームと多重化させる
ことによって得られる。
【００５４】オブジェクトのテキスチャエレメンタリス
トリームは、例えば図１ａに対応するシーケンスのよう
なもとのシーケンスの符号化で有り得、青い背景の符号
化は非常に低い予算で済む。
【００５５】上述の実施例は、２つのプログラムからト
ランスポートストリーム（ＴＳ）を形成することを説明
する。例えばデータの記憶の為の単純プログラムストリ
ーム（ＳＰ）を形成すること、幾つかのプログラムスト
リームからトランスポートストリームを形成すること、
又は幾つかのトランスポートストリームを形成すること
も考える。
【００５６】本発明の変形では、セグメンテーションキ
ーに関する情報は送信しない。この情報は他のデータを
受信した際に再び計算される。この場合、図１を参照す
るに、画像１ａ及び画像１ｃのみが送信されて、画像１
ｂは受信した際に再び計算される。この解決策は、送信
される情報の符号化の費用を減少させること及び／又は
所与の送信ビットレートに対し送信される画像の品質を
改善させることが可能となる。しかし、セグメンテーシ
ョンキーを符号化する費用は全体的に非常に大きいわけ
ではないことを認識する。
【００５７】エレメンタリストリームを得るために使用
されるＭＰＥＧ符号化器は、基本的はＭＰＥＧ２符号化
器であり、符号化費用を減少させるよう最適化されてい
ることが好適である。例えば、インターモードの場合、
背景を符号化する際に全てのマクロブロックの移動ベク
トルが或る移動値にされ、マクロブロックをスキップさ
せ、従って均一な又は静止している背景の場合の符号化
費用を減少させる。選択される重みマトリクスはフラッ
トなマトリクスである。
【００５８】説明された装置の利点は、プロダクション
サイト、即ちカメラ出口において行なわれるクロマキー
動作である。従って、抽出されたビデオオブジェクトを
使用し異なるシーンの合成を形成することは、新しいク
ロマキー動作を必要とすることなく可能である。
【００５９】本発明は、青の背景を使用すること等の、
輪郭を抽出するための既知のクロマキー技術のみに制限
されるものではない。セグメンテーションプレーン又は
距離画像を抽出するために特定のカメラを使用すること
又はカメラのパラメータを記録することも本発明の分野
の一部を形成するものである。
【００６０】本発明は、例えばバーチャルスタジオのよ
うなスタジオ、及びビデオ送信において適用される。
【図面の簡単な説明】
【図１】１ａ乃至１ｄは「クロマキー」技術に基づいて
シーンを形成する例を示す図である。
【図２】２ａ乃至２ｅは距離画像を使用しシーンを形成
する例を示す図である。
【図３】本発明のトランスポートストリームを形成する
ためにエレメンタリストリームを多重化させる装置を示
す図である。
【符号の説明】
１ オブジェクト抽出回路 ２、３、５ ＭＰＥＧ２符号化回路 ４、６、７ ストリームマルチプレクス回路
───────────────────────────────────────────────────── フロントページの続き (71)出願人 391000771 46，Ｑｕａｉ Ａ．Ｌｅ Ｇａｌｌｏ，Ｆ −92100 Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａ ｎｃ０ｕｒｔ，Ｆｒａｎｃｅ (72)発明者 フィリップ ギヨテル フランス国，35770 ヴェルン・シュル・ セシュ，リュ・ド・シャトーブリアン 60

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ画像を符号化する処理方法であっ
    て、 一連の画像から得られる画像から少なくとも１つのビデ
    オオブジェクトを、上記画像内のオブジェクトの輪郭を
    決めるセグメンテーションキーを形成することによって
    抽出する段階（１）と、 エレメンタリストリーム（ＥＳ）を形成するようＭＰＥ
    Ｇ２規格に従って上記ビデオオブジェクトを符号化する
    段階（２）と、 エレメンタリストリームを形成するようＭＰＥＧ２規格
    に従って上記ビデオオブジェクトに関する上記セグメン
    テーションキーを符号化する段階（３）と、 エレメンタリストリームを形成するようＭＰＥＧ２規格
    に従って上記ビデオオブジェクトが挿入されるべき背景
    画像を符号化する段階（５）と、 ＭＰＥＧ２規格に従うプログラムストリーム（ＰＳ）又
    はトランスポートストリーム（ＴＳ）が得られるよう１
    つ以上のオブジェクト及び上記背景画像に関する上記エ
    レメンタリストリームを多重化する段階（４、６、７）
    とを含むことを特徴とする処理方法。
  2. 【請求項２】 上記ビデオオブジェクトの奥行きに関す
    る相対な配置を決める距離画像を計算する更なる段階を
    含み、 上記距離画像はＭＰＥＧ２規格に従って符号化され、上
    記データトランスポートストリームで送信されるよう上
    記エレメンタリストリームと共に多重化されるエレメン
    タリストリームが得られることを特徴とする請求項１記
    載の処理方法。
  3. 【請求項３】 上記距離画像は、符号化されるべきビデ
    オ画像を供給するカメラの情報から得られることを特徴
    とする請求項２記載の処理方法。
  4. 【請求項４】 上記ビデオオブジェクトの符号化は、上
    記ビデオオブジェクト以外の画像の部分を符号化するた
    めにＤＣ係数のみを使用し、完全な画像を符号化するこ
    とによって行なわれることを特徴とする請求項１記載の
    処理方法。
  5. 【請求項５】 上記ビデオオブジェクトの符号化は完全
    な画像を符号化することによって行なわれ、上記背景を
    符号化するモードは符号化ビットの個数を減少するよう
    にされることを特徴とする請求項１記載の処理方法。
  6. 【請求項６】 均一な背景の場合は、上記背景の符号化
    は上記ＤＣ係数のみを使用して行なわれることを特徴と
    する請求項５記載の処理方法。
  7. 【請求項７】 上記画像の上記背景に関するマクロブロ
    ックは上記セグメンテーションキーに基づいて検出さ
    れ、 時間的に静止しているマクロブロックを符号化するため
    にＭＰＥＧ２規格の「スキップマクロブロック」モード
    が使用されることを特徴とする請求項５記載の処理方
    法。
  8. 【請求項８】 上記画像の上記背景に関するマクロブロ
    ックは上記セグメンテーションキーに基づいて検出さ
    れ、 動きベクトルを等しい値にし、予測誤りがゼロとなるよ
    うにすることにより、時間的に動いているマクロブロッ
    クを符号化するためにＭＰＥＧ２の予測モードが使用さ
    れることを特徴とする請求項５記載の処理方法。
  9. 【請求項９】 請求項１に記載される処理方法を実行す
    る符号化装置であって、 ビデオオブジェクトの境界を決めるセグメンテーション
    キーを与えるオブジェクト抽出回路（１）と、 エレメンタリストリームが得られるよう上記ビデオオブ
    ジェクトのテクスチャをＭＰＥＧ符号化する回路（３）
    と、 エレメンタリストリームが得られるよう上記セグメンテ
    ーションキーをＭＰＥＧ符号化する回路（２）と、 エレメンタリストリームが得られるよう背景画像をＭＰ
    ＥＧ符号化する回路（５）と、 上記エレメンタリストリームを多重化させ、プログラム
    ストリーム（ＰＳ）又はトランスポートストリーム（Ｔ
    Ｓ）が得られる少なくとも１つの回路（４、６、７）と
    を含むことを特徴とする装置。
  10. 【請求項１０】 ビデオオブジェクトを符号化するエレ
    メンタリストリーム、背景画像を符号化するエレメンタ
    リストリーム、及び上記ビデオオブジェクトを画成する
    セグメンテーションキーを符号化するエレメンタリスト
    リームとを含むことを特徴とするＭＰＥＧ２規格に従う
    プログラムストリーム（ＰＳ）又はトランスポートスト
    リーム（ＴＳ）。
JP2001072505A 2000-03-15 2001-03-14 ビデオ画像を符号化する処理方法及びその装置 Expired - Fee Related JP5305552B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0003309A FR2806570B1 (fr) 2000-03-15 2000-03-15 Procede et dispositif de codage d'images video
FR0003309 2000-03-15

Publications (2)

Publication Number Publication Date
JP2001285871A true JP2001285871A (ja) 2001-10-12
JP5305552B2 JP5305552B2 (ja) 2013-10-02

Family

ID=8848110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001072505A Expired - Fee Related JP5305552B2 (ja) 2000-03-15 2001-03-14 ビデオ画像を符号化する処理方法及びその装置

Country Status (5)

Country Link
US (1) US6909747B2 (ja)
EP (1) EP1134985A1 (ja)
JP (1) JP5305552B2 (ja)
CN (1) CN1170424C (ja)
FR (1) FR2806570B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207183A (ja) * 2009-06-15 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009213161A (ja) * 2009-06-15 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010022058A (ja) * 2001-11-21 2010-01-28 General Instr Corp デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化
JP2016527791A (ja) * 2013-08-19 2016-09-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像処理方法及び装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7895616B2 (en) 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US7151831B2 (en) * 2001-06-06 2006-12-19 Sony Corporation Partial encryption and PID mapping
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US7765567B2 (en) * 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
US8051443B2 (en) * 2002-01-02 2011-11-01 Sony Corporation Content replacement by PID mapping
US7376233B2 (en) 2002-01-02 2008-05-20 Sony Corporation Video slice and active region based multiple partial encryption
US7155012B2 (en) * 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US7823174B2 (en) * 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US8027470B2 (en) 2002-01-02 2011-09-27 Sony Corporation Video slice and active region based multiple partial encryption
US7292690B2 (en) 2002-01-02 2007-11-06 Sony Corporation Video scene change detection
US7302059B2 (en) 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
JP3870124B2 (ja) * 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US8818896B2 (en) 2002-09-09 2014-08-26 Sony Corporation Selective encryption with coverage encryption
EP1582070A1 (en) * 2002-12-30 2005-10-05 Koninklijke Philips Electronics N.V. Video coding and decoding method
EP1376381A1 (en) * 2003-02-12 2004-01-02 Agilent Technologies Inc Method and system for data sampling
US7292692B2 (en) 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
US20040194127A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method and system for modifying digital cinema frame content
JP4346966B2 (ja) * 2003-06-13 2009-10-21 キヤノン株式会社 撮像装置
US20050017968A1 (en) * 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
EP1549083A3 (en) 2003-12-19 2007-10-24 Texas Instruments Incorporated Method and related system for overlaying a graphics object on a digital picture
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US7382381B2 (en) * 2004-10-22 2008-06-03 Hewlett-Packard Development Company, L.P. Graphics to video encoder
US7895617B2 (en) 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US8041190B2 (en) * 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US7720283B2 (en) * 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
US7555464B2 (en) * 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
CN101822068B (zh) * 2007-10-11 2012-05-30 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
EP2053864A1 (en) * 2007-10-15 2009-04-29 Koninklijke KPN N.V. System for distributing TV signals to an end-terminal
CN106162191A (zh) * 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种基于目标的视频编码方法及系统
CN108427951B (zh) * 2018-02-08 2023-08-04 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化／復号化装置
JPH08181995A (ja) * 1994-12-21 1996-07-12 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像復号化装置
JPH0937240A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
WO1998015915A1 (en) * 1996-10-09 1998-04-16 Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-d depth information
JPH11122619A (ja) * 1997-10-17 1999-04-30 Hitachi Ltd 動画像符号化および復号化方法
JPH11510002A (ja) * 1995-07-21 1999-08-31 ザ トラスティーズ オブ コロンビア ユニバーシティー 多観点ディジタルビデオエンコード

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JP3210862B2 (ja) * 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
US6092107A (en) * 1997-04-07 2000-07-18 At&T Corp System and method for interfacing MPEG-coded audiovisual objects permitting adaptive control
AU761202B2 (en) * 1997-09-22 2003-05-29 Sony Corporation Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6678416B1 (en) * 2000-02-08 2004-01-13 University Of Washington Detecting and segmenting local deformation in a tracked video object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化／復号化装置
JPH08181995A (ja) * 1994-12-21 1996-07-12 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像復号化装置
JPH0937240A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH11510002A (ja) * 1995-07-21 1999-08-31 ザ トラスティーズ オブ コロンビア ユニバーシティー 多観点ディジタルビデオエンコード
WO1998015915A1 (en) * 1996-10-09 1998-04-16 Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-d depth information
JPH11122619A (ja) * 1997-10-17 1999-04-30 Hitachi Ltd 動画像符号化および復号化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010022058A (ja) * 2001-11-21 2010-01-28 General Instr Corp デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化
JP2009207183A (ja) * 2009-06-15 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009213161A (ja) * 2009-06-15 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2016527791A (ja) * 2013-08-19 2016-09-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像処理方法及び装置

Also Published As

Publication number Publication date
FR2806570A1 (fr) 2001-09-21
CN1170424C (zh) 2004-10-06
CN1313706A (zh) 2001-09-19
US20010024471A1 (en) 2001-09-27
US6909747B2 (en) 2005-06-21
JP5305552B2 (ja) 2013-10-02
FR2806570B1 (fr) 2002-05-17
EP1134985A1 (en) 2001-09-19

Similar Documents

Publication Publication Date Title
JP5305552B2 (ja) ビデオ画像を符号化する処理方法及びその装置
US6400768B1 (en) Picture encoding apparatus, picture encoding method, picture decoding apparatus, picture decoding method and presentation medium
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6081551A (en) Image coding and decoding apparatus and methods thereof
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
JP3413720B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
FI114433B (fi) Otossiirtymän koodaaminen videokoodauksessa
KR100779875B1 (ko) 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
JP3413721B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
EP1527613B1 (en) Method and apparatus for encoding a digital video signal
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
JP3440830B2 (ja) 画像符号化装置及び方法、並びに記録媒体
JP2002531019A (ja) 小画像を挿入するｍｐｅｇ標準に準拠した画像の符号化方法及び装置
Haskell et al. Mpeg video compression basics
JP3371191B2 (ja) 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
JP2004537931A (ja) シーンを符号化する方法及び装置
KR100780844B1 (ko) 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
US20060251168A1 (en) Video encoding and decoding methods and corresponding devices
CN100542286C (zh) 视频编解码方法和相应的编解码设备
KR100535630B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100731884B1 (ko) 복수의 프레임을 참조하는 시간적 스케일러블 인코딩 및디코딩 방법과 그 장치
JP2003244694A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR100620715B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100399044B1 (ko) 양방향예측-비오피(b-vop)간의동기화방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120718

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Ref document number: 5305552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees