JP2006500855A - デジタルビデオ信号を処理するための方法及びシステム - Google Patents

Abstract

本発明は、ビデオ通信システム（ＳＹＳ）に関する。このシステムはデジタルビデオ信号を入力することができ、前記デジタルビデオ信号は成分（ＣＯＭＰ）を備えるオブジェクト（ＯＢＪ）の組を幾つか有する。本発明は、前記オブジェクト（ＯＢＪ）の成分（ＣＯＭＰ）が符号化され、送信チャンネル（ＣＨ）を介して送信されるかを判断するための可用性情報（ＦＬＡＧ）、この可用性情報（ＦＬＡＧ）が使用可能である場合、前記オブジェクト（ＯＢＪ）の成分（ＣＯＭＰ）を符号化する符号化手段、この可用性情報（ＦＬＡＧ）が使用可能である場合、前記オブジェクト（ＯＢＪ）の前記成分（ＣＯＭＰ）を復号する復号手段、及びこの可用性情報（ＦＬＡＧ）が使用不可である場合、前記オブジェクト（ＯＢＪ）の前記成分（ＣＯＭＰ）を取り出すための取得手段を有することを特徴とする。

Description

本発明は、請求項１の序文による、デジタルビデオ信号を入力することが可能であるビデオ通信システムに関する。本発明はさらに、請求項８の序文によるデジタルビデオ信号を処理する方法にも関する。

上記システムは、例えばＭＰＥＧ規格内の３Ｄビデオアプリケーションに用いられる。

ビデオ通信システムは通例、符号化器を備える送信器と、復号器を備える受信器とを有する。このようなシステムは、入力デジタルビデオ信号を入力し、前記信号を符号化器を介して符号化し、この符号化された信号を受信器に送信し、次いでこの送信された信号を復号器を介して復号し、出力デジタルビデオ信号を得る。この出力デジタルビデオ信号は入力デジタルビデオ信号を復元した信号である。受信器は次いで、前記出力デジタルビデオ信号を表示する。デジタルビデオ信号は、オブジェクトの組を幾つか有し、これらは、例えば形状、テクスチャ、動き情報、視差マップ（３Ｄビデオ信号の場合）等の成分により特徴付けられる。

オブジェクトが符号化される場合、当該オブジェクトの成分が符号化される。各ビデオ成分の符号化処理及び復号処理は、ある程度互いに依存することができる。符号化性能はこの相互依存に頼っている。

ＭＰＥＧ４規格を用いて符号化された３Ｄビデオのオブジェクトを備える実施例を述べてみる。ＩＳＯにおけるＭＰＥＧ４文書番号w3056によって参照され、”Information Technology-Coding of audio-visual objects-Part2: Visual, ISO/IEC JTC 1/SC 29 /WG 11, Maui, December 1999”という題名の文献において、２つのビューを有するステレオビデオシーケンスを符号化する場合、一方のビュー（仮に左側のビュー）及び対応する視差マップ（又は深さマップ）が符号化される。右側のビューはこの視差マップを用いて左側のビューを射影することにより復元される。左側のビューには無かった右側のビューの一部（閉塞部分）は、復元されることができず、穴（ホール）のまま残る。右側のビューを適切に復元するために、一方が本来の右側のビューから取り出された閉塞部分をＭＰＥＧ４ビデオオブジェクトとして符号化し、その形状は前記穴に対応している。左側のビューが３．５Ｍｂｉｔ／ｓのビットレートで符号化される場合、閉塞部分を扱うように規定されるエンハンスメント層は、このビットレートの１０％よりも大きくすべきではない。ここでは３４０ｋｂｉｔ／ｓを採用する。閉塞オブジェクトは形状及びテクスチャにより規定される。符号化オブジェクトの標準的なやり方を用いることで、これらのビットレートの費用は、
形状：９３ｋｂｉｔ／ｓ すなわち、閉塞に割り当てられるビットレートの２７％
テクスチャ：１２８ｋｂｉｔ／ｓ すなわち、ビットレートの３７％
である。この閉塞の形状は視差マップから決められることができる。依然として、成分の符号化は相互依存していて、これら形状を符号化せずに、前記閉塞部分のテクスチャを効果的に符号化することは不可能である。従って、ビデオシーケンスのビットレートの費用は最適ではない。

これにより、本発明の目的は請求項１の序文に記載のビデオ通信システム、及び請求項８に記載の方法を提供することであり、これらはオブジェクトを符号化するのに必要とされるビットレートよりも低い。

この目的のために、本発明の第１の目的によれば、請求項１に記載のビデオ通信システムを提供する。

加えて、本発明の第２の目的によれば、請求項８に記載の方法を提供する。

以下に詳細に見られるように、第１の成分を符号化しない、従ってこの成分を送信しない一方、まるでそうであったかのように、他の成分を符号化する可能性を提供することにより、全オブジェクトを符号化するのにより少ないビットしか必要とされないので、符号化効率が改善される。

本発明の追加のオブジェクト、特徴及び利点は、以下の詳細な説明を読むことにより、及び付随する図面を参照することにより明らかとなるであろう。

以下の説明において、当業者によく知られた機能又は構造は、これら機能又は構造が本発明を不要に分かり難くするために、詳しくは説明されない。

本発明は、デジタルビデオ信号を処理するビデオ通信システムに関する。

図１に記載されるような上記システムは、ＭＰＥＧ２又はＭＰＥＧ４であるビデオアプリケーションに対し用いられ、ここで上記ビデオ通信システムは送信器ＴＲＡＮＳ、送信媒体ＣＨ、及び受信器ＲＥＣＥＩＶを有する。前記送信器ＴＲＡＮＳ及び受信器ＲＥＣＥＩＶは、符号化器ＥＮＣ及び復号器ＤＥＣを夫々有する。

幾つかのビデオ信号を送信媒体ＣＨを介して効果的に送信するために、ここでこれらビデオ信号の送信ビットはビットストリームＢＩＴ＿ＳＴＲと知られていて、前記符号化器ＥＮＣはビデオ信号を符号化し、次いでこの符号化されたビデオ信号は、当該信号を復号する復号器ＤＥＣに送信される。最後に、受信器ＲＥＣＥＩＶが前記ビデオ信号を表示する。

ビデオ信号は、異なる成分ＣＯＭＰ、例えば形状、テクスチャ、動きベクトル、視差マップ、色等を備えるオブジェクトＯＢＪの組を幾つか有する。

符号化器ＥＮＣがオブジェクトＯＢＪを符号化する場合、この符号化器は、前記オブジェクトＯＢＪの成分ＣＯＭＰを全て効果的に符号化する。成分を多く符号化することは、他の成分に依存している。例えば、当業者にはよく知られたＩＮＴＥＲモード方式では、テクスチャ情報は動き情報がある場合にのみ用いられる。ブロックベース原理を用いてＭＰＥＧ４でのビデオオブジェクトの符号化をする場合、テクスチャブロックの位置は形状により決められ、この形状を知ることが、同じ場所に配置された(co-located)テクスチャブロック間の空間冗長を用いることにより符号化効率を改善することを可能にする。

符号化器ＥＮＣは、オブジェクトの成分ＣＯＭＰが符号化されるべきかを判断するための可用性情報(availability information)ＦＬＡＧと、この可用性情報ＦＬＡＧが使用可能（イネーブル）である場合、前記成分ＣＯＭＰを符号化する符号化手段と、この可用性情報ＦＬＡＧが使用可能である場合、前記オブジェクトＯＢＪの前記成分ＣＯＭＰを送信する送信手段とを有する。

復号器ＤＥＣは、この可用性情報ＦＬＡＧが使用可能である場合、成分ＣＯＭＰを復号する復号手段と、この可用性情報ＦＬＡＧが使用不可能（ディスエーブル）である場合、前記成分ＣＯＭＰを取り出す取得手段とを有する。

図２に説明されるオブジェクトＯＢＪの符号化は、符号化器ＥＮＣにより以下のように行われる。

符号化器ＥＮＣは、オブジェクトＯＢＪの各成分ＣＯＭＰに対し、前記成分ＣＯＭＰがビットストリームＢＩＴ＿ＳＴＲに含まれているかを決める。この決定は、ビデオアプリケーションの形式に依存する、例えば閉塞部を符号化するステレオシステムにおいて、これら閉塞部の形状を符号化し、送信する必要がないことが分かっている。

可用性情報ＦＬＡＧは、オブジェクトＯＢＪの各成分ＣＯＭＰに割り当てられている。成分ＣＯＭＰがビットストリームに含まれる、すなわち符号化され、送信される場合、この可用性情報ＦＬＡＧは使用可能である。好ましくは、この可用性情報ＦＬＡＧはビデオオブジェクトレベル（ＭＰＥＧ４においてＶＯ）で置かれる。

第１の非限定的実施例において、この可用性情報ＦＬＡＧは２つの値、つまり１（使用可能である場合）及び０（使用不可である場合）を持つ。

第２の非限定的実施例において、この可用性情報ＦＬＡＧは、拡張構文：１（使用可能である場合）、及び拡張構文：０の他に記述コードワード（使用不可である場合）を持つ。この記述コードワードは欠けている成分ＣＯＭＰを取り出す方法（事前に計算された形状のような追加の入力を待つ、追加入力及びｎ番目の成分情報を待つ等）を述べている。その後、復号器ＤＥＣはこの記述コードワードを用いて、成分ＣＯＭＰを取り出す。復号器側において、欠けている成分ＣＯＭＰを取り出す方法は、よく知られ、検索アルゴリズムが利用可能である。

次いで、符号化器ＥＮＣは、ビットストリームＢＩＴ＿ＳＴＲに含まれる成分ＣＯＭＰの全てを符号化して（図２におけるステップＥＮＣ＿ＣＯＭＰ）、欠けている成分ＣＯＭＰ＿Ｍを必要とする成分ＣＯＭＰ＿Ｄに対しては、オブジェクトＯＢＪの成分ＣＯＭＰの全て、特に欠けている成分ＣＯＭＰ＿Ｍが同様に用いられ、符号化され、送信されたようにこれら成分を符号化する。確かに、符号化する成分の幾つかは前述したように他の成分を使用する必要がある。

可用性情報ＦＬＡＧ及び（本出願に用いられる可用性情報の種類に依存する）潜在的な記述コードワードは、各オブジェクト成分ＣＯＭＰに対し規定されることに注意されたい。符号化されたビデオオブジェクトＯＢＪはこのとき、含まれる符号化された成分ＣＯＭＰと一緒に、これらの可用性情報ＦＬＡＧの全てに対応する。故に、復号器に送信されるビットストリームＢＩＴ＿ＳＴＲは、欠けている成分の可用性情報ＦＬＡＧを有し、他の全成分に対しては、対応する可用性情報ＦＬＡＧ及び符号化される成分ＣＯＭＰ自身を有する。

以下の仮説を立てることに注意されたい。ビデオオブジェクトＯＢＪが幾つかの成分となる符号化アルゴリズムを持ち、これら成分はビットストリームＢＩＴ＿ＳＴＲの異なる分離可能な部分に対応していると仮定する。他の成分の復号処理を妨げることなくある成分を置き換えることが可能であることを意味している。例えばＭＰＥＧ４において、ビデオシーケンスをテクスチャ及び深さ情報と共に符号化する場合であり、符号化されたテクスチャ情報を置き換える又は修正する場合、深さ情報を復号することは依然として可能である。その上、動きベクトル成分を変更する場合、テクスチャ情報を復号することができる。つまり、本来のシーケンスとは視覚的に異なるシーケンスであっても、依然として符号化されたテクスチャ情報は正確である。

前記符号化されたビットストリームＢＩＴ＿ＳＴＲは次いで送信媒体ＣＨを介して受信器ＲＥＣＥＩＶの復号器ＤＥＣに送られる。

符号化されたビットストリームＢＩＴ＿ＳＴＲの復号は、復号器ＤＥＣにより以下のように及び図３に説明されるように行われる。

符号化されたビットストリームＢＩＴ＿ＳＴＲを入力する場合、前記復号器ＤＥＣは、初めに前記ビットストリームＢＩＴ＿ＳＴＲにおける可用性情報ＦＬＡＧを調べる。可用性情報ＦＬＡＧが１に設定される場合、復号器は、ビットストリームＢＩＴ＿ＳＴＲにおける、これら割り当てられた可用性情報ＦＬＡＧに従う対応する成分ＣＯＭＰを待つ。次いで、これら成分を符号化する。他の符号化された成分又は欠けている成分ＣＯＭＰ＿Ｍ（図３におけるステップＤＥＣ＿ＣＯＭＰ）を何ら必要としない成分ＣＯＭＰを復号し、次いで前記他の符号化された成分及び欠けている成分ＣＯＭＰ＿Ｍに依存する成分ＣＯＭＰ＿Ｄを復号する。後者の依存成分ＣＯＭＰ＿Ｄに対し、復号器ＤＥＣは、欠けている成分ＣＯＭＰ＿Ｍを取り出し（図３におけるステップＲＥＴＲ＿ＣＯＭＰ＿Ｍ１）、次いでこれら依存成分ＣＯＭＰ＿Ｄを復号する（図３におけるステップＤＥＣ＿ＣＯＭＰ＿Ｄ）。成分間の依存関係はアプリケーション依存である。つまり、ステレオビデオ復号器において、閉塞形状を復号する場合、一方が復号された視差マップを使用すると言うことができ、これは“視差から取り出す”ことを意味する記述コードワードを取り入れることにより行われる。より一般的な場合を考えるために、ＭＰＥＧ符号化方式において、テクスチャ情報は動きベクトル及び先行するフレームから取り出される。

符号化された成分ＣＯＭＰの全てが一度復号されると、復号器ＤＥＣは最後の欠けている成分ＣＯＭＰ＿Ｍを取り出す（図３におけるステップＲＥＴＲ＿ＣＯＭＰ＿Ｍ２）。この最後のステップは、他の如何なる時間、例えば初めに行われることも可能である。

ビットストリームＢＩＴ＿ＳＴＲは、どの成分も取り除かれていないようである。当業者によく知られた復号処理は、全成分が規則的に符号化され、送信されるように可能である。

これにより、本発明の１つの利点は、可用性情報ＦＬＡＧを単に使用するだけで、オブジェクトを符号化するのに使用されるビットレートを簡単に減少させ、復号器に幾つかのを取り出すためにこの可用性情報自身が必要であることを簡単に知らせることである。

本発明は上述した実施例に限定されず、添付される特許請求の範囲に記載される本発明の意図及び範囲から外れることなく、修正及び変形を行ってよいと理解すべきである。この点に関し、以下のように終わりの見解を行う。

本発明は前述したビデオアプリケーションに制限されないと理解すべきである。如何なるアプリケーションにおいて、幾つかの成分に分解される信号を処理するためのシステムを介して使用されることが可能であり、これら成分を符号化して、分離したビットストリーム部を得る。特に、本発明は、他のＭＰＥＧ規格のファミリー（ＭＰＥＧ１、ＭＰＥＧ２）のビデオ圧縮アルゴリズム、及びＩＴＵ Ｈ２６Ｘファミリー（Ｈ２６１、Ｈ２６３及び拡張版；参照番号Ｑ１５−Ｋ−５９である、最新のＨ２６１）に適用する。

本発明による方法は、上述した実施に制限されないと理解すべきである。

ハードウェア又はソフトウェアの単一のアイテムが幾つかの機能を実行することができるのであれば、ハードウェア若しくはソフトウェアのアイテム、又はそれら両方を用いて本発明による方法の機能を実施するやり方はたくさんある。ハードウェア若しくはソフトウェアのアイテムを組み合わせたもの、若しくはそれら両方を組み合わせたものが、このように本発明によるビデオ信号を処理する方法を修正せずに単一の機能を形成する１つの機能を実行することは排除しない。

前記ハードウェア又はソフトウェアアイテムは、例えば有線の電子回路又は適切にプログラムされた集積回路を用いて幾つかの方法で実施されることができる。この集積回路は、コンピュータ又はビデオシステム通信に収容されることができる。２番目の場合、ビデオシステム通信は、可用性情報が使用可能である場合、オブジェクトの成分を符号化する符号化手段と、可用性情報が使用可能である場合、前記オブジェクトの前記成分を復号する復号手段と、可用性情報が使用不可である場合、前記オブジェクトの前記成分を取り出す取得手段とを有し、前に説明したように、前記手段は上述したようなハードウェア又はソフトウェアアイテムである。

集積回路は命令の組を有する。これにより、例えばコンピュータプログラムメモリ又はビデオ通信システムに含まれる前記命令の組は、コンピュータ又はビデオ通信システムに符号化方法の別々のステップを実行させる。

前記命令の組は、例えばディスクのようなデータ担体を読み取ることにより、前記プログラムメモリにロードされる。サービスプロバイダは、例えばインターネットのような通信ネットワークを介して前記命令の組を使用可能にすることもできる。

特許請求の範囲における参照符号は、これら特許請求の範囲を制限するとみなすべきではない。「有する」という動詞及びその派生語を用いることは、請求項に記載されるステップ又は要素以外のステップ又は要素が存在することを排除するものではない。要素又はステップを単数で表示することがこのような要素又はステップが複数存在することを排除するものではない。

本発明による符号化器及び復号器を有するビデオ通信システム。 本発明によるビデオ通信の符号化器により用いられる符号化方法の概略図。 本発明によるビデオ通信の復号器により用いられる復号方法の概略図。

Claims (10)

1. 成分を備えるオブジェクトの組を幾つか有しデジタルビデオ信号を入力することができるビデオ通信システムであって、前記ビデオ信号を符号化する符号化器と、前記符号化されたビデオ信号を送信する送信チャンネルと、前記符号化されたビデオ信号を復号する復号器とを有するビデオ通信システムにおいて、
   −前記オブジェクトの成分が符号化器側において符号化され、送信チャンネルを介して送信されるべきかを決める可用性情報と、
   −前記可用性情報が使用可能である場合、前記オブジェクトの成分を符号化するための前記符号化器側にある符号化手段と、
   −前記可用性情報が使用可能である場合、前記オブジェクトの前記成分を復号するための前記復号器側にある復号手段と、
   −前記可用性情報が使用不可である場合、前記オブジェクトの前記成分を取り出すための前記復号器側にある取得手段と、
   を有することを特徴とするビデオ通信システム。
2. 前記符号化手段は、前記オブジェクトの前記成分全てが同様に符号化され、送信されたように、成分を符号化することを特徴とする請求項１に記載のビデオ通信システム。
3. 符号化された成分は、符号化された成分又は欠けている成分である他の成分に依存していることを特徴とする請求項１に記載のビデオ通信システム。
4. 成分を備えるオブジェクトの組を幾つか有するデジタルビデオ信号を符号化する符号化器において、
   −前記オブジェクトの成分が符号化され、送信チャンネルを介して送信されるべきかを決める可用性情報と、
   −前記可用性情報が使用可能である場合、前記オブジェクトの成分を符号化する符号化手段と、
   を有することを特徴とする符号化器。
5. 前記符号化手段は、前記オブジェクトの前記成分全てが同様に符号化され、送信されたように、成分を符号化することを特徴とする請求項４に記載の符号化器。
6. 成分を備えるオブジェクトの組を幾つか有するデジタルビデオ信号を復号する復号器において、
   −可用性情報が使用可能である場合、前記オブジェクトの成分を復号する復号手段と、
   −か用性情報が使用不可である場合、前記オブジェクトの成分を取り出す取得手段と、
   を有することを特徴とする復号器。
7. 前記復号手段は、初めに他の成分に依存していない成分を復号し、次いで他の成分に依存している成分を復号し、欠けている成分に依存している場合、前記欠けている成分を取り出した後、前記依存している成分を復号することを特徴とする請求項６に記載の復号器。
8. 成分を備えるオブジェクトの組を幾つか有するデジタルビデオ信号を処理する方法において、
   −可用性情報によって、前記オブジェクトの成分が符号化され、送信チャンネルを介して送信されるべきかを決めるステップと、
   −前記可用性情報が使用可能である場合、前記オブジェクトの前記成分を符号化し、当該符号化された成分を送信するステップと、
   −前記可用性情報が使用可能である場合、前記オブジェクトの前記成分を復号するステップと、
   −前記可用性情報が使用不可である場合、前記オブジェクトの前記成分を取り出す取得ステップと、
   を有することを特徴とするデジタルビデオ信号を処理する方法。
9. 前記成分の符号化は、前記オブジェクトの前記成分全てが同様に符号化され、送信されるように行われることを特徴とする請求項８に記載のデジタルビデオ信号を処理する方法。
10. 命令の組を有し、コンピュータにロードされる場合、前記コンピュータに請求項８及び９に記載の方法を実行させるコンピュータ用のコンピュータプログラム。

Images