JP2004529597A - モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム - Google Patents
モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム Download PDFInfo
- Publication number
- JP2004529597A JP2004529597A JP2003504685A JP2003504685A JP2004529597A JP 2004529597 A JP2004529597 A JP 2004529597A JP 2003504685 A JP2003504685 A JP 2003504685A JP 2003504685 A JP2003504685 A JP 2003504685A JP 2004529597 A JP2004529597 A JP 2004529597A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- model
- video
- priority
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012913 prioritisation Methods 0.000 title abstract description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【0001】
本発明は、広くはビデオ通信の分野に関し、特に、画像/ビデオ送信においてオブジェクト優先順位決定と階層的画像符号化を用いるシステムおよび方法に関する。
【背景技術】
【0002】
インターネットや公衆交換電話網(PSTN)などのビットレートの低いチャネルで用いられるビデオ/画像通信アプリケーションの人気が高まっている。JPEG規格やGIF規格ではピクチャサイズ(あるいはデータ量)が大きいため、画像通信に広い帯域を必要とする。したがって、低ビットレートのチャネルを使用した場合、受信画像の画質が許容レベル以下になる場合がある。
【0003】
このため、従来から、低ビットレートのチャネルを伝送させる情報量を低減して、ビデオ/画像通信を改善する方法が用いられてきた。ひとつには、ビデオフォン(TV電話)アプリケーションで用いられる方法である。この方法では、画像は、動き、形状、表面色をそれぞれ定義する3セットのパラメータによって符号化される。通常、ビジュアル通信の被写体は人間なので、被写体の頭部や顔に一次焦点が合わせられる。
【0004】
また、公知のオブジェクト(フェイス)セグメンテーション技術として、パラメータ化された顔を記述するデータセットを生成する方法がある。このデータセットは、顔オブジェクトの3次元記述である。パラメータ化された顔は、筋肉と皮膚の動作および力の作用による変形(デフォーメーション)をモデリングすることによって、解剖学ベースの構造として与えられる。そのようなパラメータ化された顔モデルでは、多角形の集合を用いて人間の顔を定義する。多角形の各頂点は、X,Y,Z座標で求められる。特定の多角形がこの多角形を取り巻くインデックス集合で定義される。インデックス集合にコードを追加して、特定の多角形の色を定義することもできる。
【0005】
さらに、ディジタルイメージを分析して、人の顔を認識し顔特徴を抽出するシステムおよび方法も知られている。従来の顔特徴検出システムは、顔のカラートーン検出、テンプレートマッチング、エッジ検出アプローチ、あるいは不均衡マッピング方法などの方法を採用していた。
【0006】
従来の顔モデルベースのビデオ通信では、通信開始時に、一般的な顔モデルが送り側から受信装置に送信されるか、あるいは、受信側にあらかじめ格納されている。通信の間、特定の話者の顔に、一般モデル(generic model)が適応される。送信側からすべての画像を送るかわりに、一般モデルを調整するパラメータだけを送信して、圧縮条件を満たす必要がある。
【0007】
画像送信で用いられる別の符号化方式として、階層的ソース符号化がある。この符号化方式では、ビデオデータ情報は多数のレイヤに分解され、各レイヤが、ビデオソースのそれぞれ異なる知覚関連コンポーネントを表わす。ベースレイヤは、ソースの基本情報を含み、許容し得る品質の出力ビデオ信号を生成するのに用いられる。
【0008】
図2は、階層的符号化と送信の優先順位決定手法に基づくビデオシステム10の一例を示す。階層的ソースエンコーダ11は、入力ビデオデータを符号化し、複数のチャネル12で符号化されたデータを搬送する。階層的ソースデコーダ13は、符号化データを復号する。
【0009】
階層的符号化を実現するには、いくつかの方法がある。たとえば、時間ドメインでの階層的符号化では、ベースレイヤは低フレームレートのビットストリームを含み、エンハンスメントレイヤは、高フレームレートの出力を獲得するためのインクリメント情報を含む。空間ドメインの階層的符号化では、ベースレイヤは、オリジナルのビデオシーケンスをサブサンプリングしたデータを符号化し、エンハンスメントレイヤは、デコーダでより高い空間解像度を得るための追加情報を含む。
【0010】
一般に、異なるレイヤは異なるデータストリームを用い、チャネルエラーに対する耐性も明確に異なる。チャネルエラーに対抗するために、通常は、階層的符号化と送信の優先順位決定を組み合わせて、エラー保護の程度を高くしてベースレイヤを送信する。ベースレイヤが損失された場合、エンハンスメントレイヤに含まれるデータは、無駄になる可能性がある。
【0011】
本発明は、モデルベースの符号化と階層的ソース符号化技術に基づき、特に画像/ビデオ送信におけるオブジェクト符号化の際の優先順位決定手法を用いることによって、画像通信の性能を改善し、効果を実現する。
(発明の開示)
本発明は、従来のビデオ/画像通信システムとモデルベースの符号化における上記の問題点を解決することを目的とする。
【0012】
本発明のひとつの側面では、画像中で識別されたオブジェクトの優先順位の決定に関する。
【0013】
本発明の別の側面では、割り当てられた優先順位に基づいて、所定のオブジェクトにマスキングを行い、マスキングされたオブジェクトとは別個に、非マスキングオブジェクトを符号化する。
【0014】
本発明の一実施形態では、画像/ビデオ通信システムにおけるデータ符号化方法を提供する。この方法は、画像中に少なくとも2つのオブジェクトを識別するステップと、前記少なくとも2つのオブジェクトを表わすモデルを与えるステップと、所定の優先順位決定ルールにしたがって、前記少なくとも2つのオブジェクトの優先順位を決定するステップと、優先順位の高いオブジェクトが優先順位の低いオブジェクトよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも2つのオブジェクトのモデル関連データを通信するステップとを有する。
【0015】
以下の詳細な説明で、その他の実施形態および発明の態様を具体的に例示する。本発明の特徴、効果は、図面を参照した良好な実施形態の詳細な説明に基づき、より明確に理解される。
【発明を実施するための最良の形態】
【0016】
図1は、たとえばテレビ会議システムなどのビデオ通信システム1を示す。システム1は、送信側と受信側にそれぞれ配置されるビデオ装置2(たとえばビデオ会議装置)と、通信媒体3を有する。システム1はまた、オブジェクト取得ユニット10と、モデルデータベース20を有する。オブジェクト取得ユニット10とモデルデータベース20は別個の要素として図示されているが、これらはビデオ会議装置2と一体に構成されてもよい。
【0017】
オブジェクト取得ユニット10は、ビデオ会議装置2の視野内で、モデル化され得る種々の一般オブジェクトを識別する。オブジェクト取得ユニット10は、取得した各オブジェクトに対し、モデルデータベース20の中から一般モデルを割り当てる。たとえば、個人の顔4または5は、上述したように一般顔モデルを用いて表わされる。そのようなモデル化の対象となり得るオブジェクトは複数あってもよい。
【0018】
図3は、オブジェクト取得ユニット10のブロック図である。オブジェクト取得ユニットは、1以上の特徴抽出決定部11、12と、特徴対応マッチングユニット13を備える。この構成では、左フレーム14と右フレーム15がオブジェクト取得ユニット10に入力される。左フレームおよび右フレームは、ディジタルまたはアナログの画像データで構成される。画像データがアナログの場合は、A/Dコンバータを用いて、ディジタル形式に変換する。
【0019】
特徴抽出決定部11は、ディジタル画像中で識別された各オブジェクトにおいて、特徴要素の位置/ロケーションを決定する。たとえば、図1の顔4、5における、鼻、目、口、髪などの顔特徴の位置が決定される。図3では、2つの特徴抽出決定部11,12が図示されているが、単一の決定部を用いて左右のフレーム14、15から位置情報を抽出する構成としてもよい。この更新後のモデル情報をモデルデータベース20に格納して、将来の使用に供してもよい。特徴抽出決定部11は、1999年8月30日出願の米国特許出願第08/385,280号に記載のシステムおよび方法によって構成されるのが望ましい。なお、上記米国特許出願は、本件出願に参照によって組み込まれる。
【0020】
モデルデータベース20には、複数の一般モデル21および更新後モデル22が格納される。一般モデル21は、自動車や部屋の3Dモデルなど、任意の物理オブジェクトとシーンを表わす。一般モデルは、特徴抽出決定部11からの情報を用いて更新され、更新後のモデルが生成される。更新後モデル22は、さらにカスタマイズ(個別化)あるいは調整され、個人の顔のような特定のオブジェクトが、より正確に表わされる。一般モデル適応の詳細については、本件出願に参照として組み込まれる1999年10月21日出願の命国特許第09/422,735号に記載されるとおりである。
【0021】
図4は、本発明の一実施形態に係るコーダ/デコーダのブロック図である。ネットワーク201(あるいは記憶装置)から入力されるオブジェクトデータストリーム200は、デマルチプレクサ202で受け取られ、エレメンタリストリーム(ES)にデマルチプレックス(逆多重化)される。ESは解剖されて適切なデコーダ203に送られる。デコーダ203は、オーディオビジュアル(AV)オブジェクトに含まれるデータを、符号化された方式から回復し、オリジナルのAVオブジェクトを復元するのに必要な処理を行って適切なデバイスで解釈できるように整える。復元されたAVオブジェクトは、シーンレンダリングの使用に備えて、コンポジションレイヤ204で有効な状態にされる。復号されたAVオブジェクトは、シーン記述情報205とともに用いられ、シーン206を合成する。送信(符号化)の場合は、逆の動作が行われる。
【0022】
本発明では、AVオブジェクトの優先順位が決定され、階層的符号化型の手法で送信される。このとき行われる動作の一例を、図5を参照して説明する。
【0023】
ビデオ会議装置2(送信側と受信側)で視野100が決定される。図5の例では、視野100内の一人の人物によって行われるプレゼンテーションに関してテレビ会議が行われることを想定する。視野内には、プレゼンタの他に黒板、視聴者、室内背景が含まれる。
【0024】
まず、視野100に含まれるオブジェクト、たとえば顔101〜105、プレゼンテーションボード106、部屋107などが識別される。オブジェクトの識別は、従来の画像認識技術を用いて行われる。次に、各オブジェクトに一般モデルが与えられ、その後、上述したように一般モデルが更新される。
【0025】
識別されたオブジェクトに送信の優先順位が決定される。優先順位は所定のルールに従って決定される。優先順位決定の際には、プレゼンテーション、一般会議、製品発表など、特定の適用例に適合する正確なルールが選択される。優先度は、ビデオ会議の前に手操作で設定できる。あるいは、特定の基準、たとえば、すべての顔を最優先し、次にプレゼンテーションマテリアル、その次に視聴者、というルールに基づいて決定してもよい。優先度は、プレゼンタが途中で替わるなど、ビデオ会議セッションの間に、動的に変更され得る。適用対象の目的に沿うように、最優先順位が与えられる。図5の例では、各オブジェクトに対し、以下の優先順位が与えられる。
【0026】
【表1】
各オブジェクトは、優先順位とチャネル内の帯域の有効性にしたがって、それぞれ異なるチャネルに割り当てられる。たとえば、第1位、第2位の優先順位が与えられたオブジェクトは、ベースレイヤ類似のチャネルで送信され、優先順位の低いその他のオブジェクトは、エンハンスメントレイヤ類似のチャネルで送信される。
【0027】
ビデオ会議の間、各オブジェクトに関するデータとパラメータが、割り当てられたチャネルで送信される。各オブジェクトに関するデータとパラメータを、ビデオ通信セッションが実際に始まる前(すなわち、セットアップ期間)に送信して、一般モデル21を更新/カスタマイズしてもよい。
【0028】
これは、送信エラーの可能性を考慮し、最重要の情報が常に最初に送信されることを保証する。たとえば、エンハンスメントレイヤチャネルのひとつが故障しても、そのチャネルで伝送されるオブジェクトの一般/更新後モデルは、前回送られたデータに基づいて維持され得る。また、本発明は、モデルベースの符号化を行うことによって全体の送信帯域を低減することができる。
【0029】
別の実施形態では、視界のマスキング技術が用いられる。図6に示すように、まず、高優先順位のオブジェクトを除くすべてのオブジェクトにマスキングを施す。マスキングの結果得られるイメージに、従来の階層的ソース符号化が行われる。残りの部分(マスクされた部分)は、その後符号化されてエンハンスメントレイヤを用いて送信される。実施形態において、複数のマスキングレイヤを用いてもよい。
【0030】
良好な実施形態では、システム1の符号化機能は、データ処理装置によって実行されるコンピュータ読み取り可能の命令コードによって実現される。コードはデータ処理装置のメモリに格納されてもよいし、CD−ROMやフロッピー(登録商標)ディスクなどの記憶媒体から読み取り/ダウンロードされてもよい。別の態様として、ソフトウェア命令列の代わりに、あるいはソフトウェア命令列と組み合わせて、ハードウェア回路構成を用いて本発明を実現することができる。このような機能/ソフトウェア/ハードウェアは、ビデオ会議装置2の一部に組み込んでもよいし、補助ユニットとして用いてもよい。たとえば、本発明は図7に示すようなコンピュータ30で実現できる。
【0031】
コンピュータ30は、帯域可変ネットワークやインターネット等のデータネットワークとのインターフェイスをとるネットワーク接続と、ビデオカメラやディジタルカメラ(不図示)のような遠隔ソースとのインターフェイスをとるFAX/MODEM接続32を有する。コンピュータ30はさらに、ユーザに情報(ビデオデータを含む)を表示するディスプレイと、テキストおよびユーザコマンドを入力するキーボードと、ディスプレイ上でカーソルを動かしてユーザコマンドを入力するマウスと、インストールされたフロッピー(登録商標)ディスクとの間でデータの読み書きを行うディスクドライブと、CD−ROMに記憶された情報にアクセスするCD−ROMドライブとを有する。コンピュータ30はまた、画像等を入力する一対のビデオ会議カメラや、画像、テキストなどを出力するプリンタなど、システムに接続される1以上の周辺機器を含んでもよい。
【0032】
図8は、コンピュータ30の内部構造を示す。コンピュータ30は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスクなどのコンピュータ読み取り可能な媒体を含むメモリ40を有する。メモリ40に格納されるアイテムとして、オペレーティングシステム(OS)41、データ42、アプリケーション43などがある。良好な実施形態では、オペレーティングシステム41として、Windowingオペレーティングシステム、UNIX(登録商標)などを用いるが、Microsoft Windows(登録商標) 95など、その他のオペレーティングシステムを用いてもよい。メモリ40に格納されているアプリケーションの例として、ビデオコーダ44、ビデオデコーダ45、フレームグラバ46などがある。ビデオコーダ44は、通常の方法でビデオデータを符号化する。ビデオデコーダ45は、符号化されたデータを通常の方法で復号する。フレームグラバ46は、信号フレームをビデオ信号ストリームから、処理可能にする。
【0033】
コンピュータ30は、中央演算ユニット(CPU)50、通信インターフェイス51、メモリインターフェイス52、CD−ROMドライブインターフェイス53、ビデオインターフェイス54、およびバス55を有する。CPU50は、マイクロプロセッサなどで構成され、コンピュータ読み取り可能のコード(上述したようなアプリケーション)をメモリ40から読み出して実行する。このようなアプリケーションは(上述のように)メモリ40に格納されてもよいし、あるいは、ディスクドライブ36にセットされるフロッピー(登録商標)ディスクや、CD−ROMドライブ37にセットされるCD−ROMに格納されてもよい。CPU50は、メモリインターフェイス52を介してフロッピー(登録商標)ディスクに格納されたアプリケーション(その他のデータ)にアクセスし、CD−ROMドライブインターフェイス53を介してCD−ROMに格納されたアプリケーション(その他のデータ)にアクセスする。
【0034】
入力ビデオデータはビデオインターフェイス54または通信インターフェイス51を介して受信される。入力ビデオデータはビデオデコーダ45によって復号される。出力ビデオデータは、ビデオコーダ44で符号化され、ビデオインターフェイス54または通信インターフェイス51を介して送信される。
【0035】
ビデオ通信セッションの間、まず、更新後モデル22が生成され、特徴対応マッチングユニット13と特徴抽出決定部11による情報を用いて、調整モデルをさらに適応させて、動きや表情、同期オーディオ(スピーチ)を可能にする。基本的に、ビデオ通信セッションの間、更新後モデル22は必要に応じて動的に変形され、オブジェクトを表現する。モデルのパラメータ/データをリアルタイムまたは非リアルタイムで送信する場合、合成モデルの低ビットレート動画が規定される。データレートは64Kbps以下であるのが望ましいが、動画像の場合は、65Kbps〜4Mbpsの範囲でもよい。
【0036】
本発明は、ビデオ会議、実オブジェクトのアニメーション/シミュレーションなどの分野や、オブジェクトのモデル化が必要とされる任意のアプリケーションに多数の適用がある。たとえば、ビデオゲーム、マルチメディア生成、インターネット上の改良されたナビゲーションなどに適用できる。
【0037】
以上、本発明を特徴の実施形態に基づいて説明してきたが、本発明はこれらの実施形態に限定されるものではない。たとえば、本発明は特定の種類のフィルタリングあるいは数学的変換、特定の入力画像のスケールや方向に限定されない。むしろ、本発明は添付クレームの思想と範囲内に含まれる多様な構成、変形も含むことを意図する。
【図面の簡単な説明】
【0038】
【図1】本発明の一実施形態に係るビデオ通信システムの図である
【図2】階層的符号化を用いた従来のビデオ送信システムの図である。
【図3】本発明の一態様によるオブジェクト取得データベースシステムのブロック図である。
【図4】オブジェクトコーダ/デコーダのブロック図である。
【図5】本発明の一態様によるオブジェクト機識別別の典型例を示す図である。
【図6】本発明の別の態様によるマスキングの実施例を示す図である。
【図7】図1のシステムを支援するコンピュータシステムの一例を示すブロック図である。
【図8】図7のコンピュータシステムのアーキテクチャを示すブロック図である。
Claims (9)
- 画像/ビデオ通信システムにおけるデータ符号化方法であって、
画像中に少なくとも2つのオブジェクトを識別するステップと、
前記少なくとも2つのオブジェクトを表わすモデルを与えるステップと、
所定の優先順位決定ルールにしたがって、前記少なくとも2つのオブジェクトの優先順位を決定するステップと、
優先順位の高いオブジェクトが優先順位の低いオブジェクトよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも2つのオブジェクトのモデル関連データを通信するステップと
を有する方法。 - 前記少なくとも2つのオブジェクトに与えられたモデルを調整して、前記2つのオブジェクトの各々に関するモデルを個別化するステップをさらに有することを特徴とする請求項1に記載の方法。
- 前記調整後のモデルをデータベースに格納するステップをさらに有することを特徴とする請求項2に記載の方法。
- 前記画像/ビデオ通信システムは、ビデオ会議システムであることを特徴とする請求項1に記載の方法。
- 前記少なくとも2つのオブジェクトに与えられる優先順位は、通信セッションの間、動的に変更されることを特徴とする請求項1に記載の方法。
- 前記優先順位の低いオブジェクトをマスキングし、前記優先順位の高いオブジェクトを送信用に符号化するステップをさらに有することを特徴とする請求項1に記載の方法。
- 前記優先順位の高いオブジェクトを符号化した後に、当該優先順位の高いオブジェクトをマスキングして、前記優先順位の低いオブジェクトを送信用に符号化するステップをさらに有することを特徴とする請求項6に記載の方法。
- 画像中に少なくとも2つのオブジェクトを識別する手段と、
前記少なくとも2つのオブジェクトにモデルを与える手段と、
所定の優先順位決定ルールに従って、前記少なくとも2つのオブジェクトの優先順位を決定する手段と、
優先順位の高いオブジェクトが優先順位の低いオブジェクトよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当て、前記少なくとも2つのオブジェクトのモデル関連データを通信する手段と
を有することを特徴とする通信システム。 - 画像/ビデオ通信用のコードを含む記憶媒体であって、前記コードは、
画像中に少なくとも2つのオブジェクトを識別するコードと、
前記少なくとも2つのオブジェクトにモデルを与えるコードと、
所定の優先順位決定ルールにしたがって、前記少なくとも2つのオブジェクトの優先順位を決定するコードと、
優先順位の高いオブジェクトが優先順位の低いオブジェクトよりも信頼性ファクタの高い通信チャネルに割り当てられるように通信チャネルを割り当てて、前記少なくとも2つのオブジェクトのモデル関連データを通信するコードと
を含むことを特徴とする記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/878,979 US6496217B1 (en) | 2001-06-12 | 2001-06-12 | Video communication system using model-based coding and prioritzation techniques |
PCT/IB2002/002153 WO2002102084A1 (en) | 2001-06-12 | 2002-06-06 | Video communication system using model-based coding and prioritization techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004529597A true JP2004529597A (ja) | 2004-09-24 |
JP4436126B2 JP4436126B2 (ja) | 2010-03-24 |
Family
ID=25373199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003504685A Expired - Fee Related JP4436126B2 (ja) | 2001-06-12 | 2002-06-06 | モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US6496217B1 (ja) |
EP (1) | EP1459550A1 (ja) |
JP (1) | JP4436126B2 (ja) |
KR (1) | KR100872732B1 (ja) |
WO (1) | WO2002102084A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006101527A (ja) * | 2004-09-28 | 2006-04-13 | Thomson Licensing | 画像のシーケンスの符号化の方法及び装置 |
JP2011527546A (ja) * | 2008-07-10 | 2011-10-27 | ラドヴィジョン リミテッド | スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 |
JP2012134874A (ja) * | 2010-12-22 | 2012-07-12 | Ricoh Co Ltd | Tv会議システム |
JP2013512642A (ja) * | 2009-11-30 | 2013-04-11 | アルカテル−ルーセント | 無線ビデオの優先順位ベースの伝送の方法 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7958532B2 (en) * | 2001-06-18 | 2011-06-07 | At&T Intellectual Property Ii, L.P. | Method of transmitting layered video-coded information |
DE10321498A1 (de) * | 2003-05-13 | 2004-12-02 | Siemens Ag | Verfahren zum Übertragen von Bilddaten |
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US7508990B2 (en) | 2004-07-30 | 2009-03-24 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
WO2010042486A1 (en) | 2008-10-07 | 2010-04-15 | Euclid Discoveries, Llc | Feature-based video compression |
US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
US7706576B1 (en) * | 2004-12-28 | 2010-04-27 | Avaya Inc. | Dynamic video equalization of images using face-tracking |
US7460150B1 (en) | 2005-03-14 | 2008-12-02 | Avaya Inc. | Using gaze detection to determine an area of interest within a scene |
US8908766B2 (en) | 2005-03-31 | 2014-12-09 | Euclid Discoveries, Llc | Computer method and apparatus for processing image data |
US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
US7593032B2 (en) | 2005-07-20 | 2009-09-22 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
US8289370B2 (en) * | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
AU2006346225B8 (en) * | 2005-07-20 | 2010-03-25 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
US7933294B2 (en) | 2005-07-20 | 2011-04-26 | Vidyo, Inc. | System and method for low-delay, interactive communication using multiple TCP connections and scalable coding |
CA2779498C (en) * | 2005-07-20 | 2015-06-30 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
EP1966917B1 (en) * | 2005-09-07 | 2016-05-04 | Vidyo, Inc. | System and method for a conference server architecture for low delay and distributed conferencing applications |
WO2007075196A1 (en) * | 2005-09-07 | 2007-07-05 | Vidyo, Inc. | System and method for a high reliability base layer trunk |
US8436889B2 (en) * | 2005-12-22 | 2013-05-07 | Vidyo, Inc. | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
US8165282B1 (en) | 2006-05-25 | 2012-04-24 | Avaya Inc. | Exploiting facial characteristics for improved agent selection |
US7898950B2 (en) * | 2006-08-18 | 2011-03-01 | Microsoft Corporation | Techniques to perform rate matching for multimedia conference calls |
US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
CA2662812C (en) * | 2006-09-29 | 2014-02-11 | Vidyo, Inc. | System and method for multipoint conferencing with scalable video coding servers and multicast |
US20080101410A1 (en) * | 2006-10-25 | 2008-05-01 | Microsoft Corporation | Techniques for managing output bandwidth for a conferencing server |
EP2106663A2 (en) | 2007-01-23 | 2009-10-07 | Euclid Discoveries, LLC | Object archival systems and methods |
US8243118B2 (en) | 2007-01-23 | 2012-08-14 | Euclid Discoveries, Llc | Systems and methods for providing personal video services |
EP2151122B1 (en) * | 2007-02-14 | 2014-01-22 | Teliris, Inc. | Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method |
KR101370290B1 (ko) | 2007-07-31 | 2014-03-05 | 삼성전자주식회사 | 복호화 레벨을 구비하는 멀티미디어 데이터의 생성 방법과장치 및 복호화 레벨을 이용한 멀티미디어 데이터의 재구성방법과 장치 |
US8300792B2 (en) * | 2008-05-14 | 2012-10-30 | At&T Mobility Ii Llc | Changing assigned priority of active voice or data session |
CA2727569C (en) * | 2008-06-09 | 2017-09-26 | Vidyo, Inc. | Improved view layout management in scalable video and audio communication systems |
US20100232521A1 (en) * | 2008-07-10 | 2010-09-16 | Pierre Hagendorf | Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding |
US8355040B2 (en) * | 2008-10-16 | 2013-01-15 | Teliris, Inc. | Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method |
AU2010238757A1 (en) * | 2009-04-24 | 2011-11-03 | Vidyo, Inc. | Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems |
US8429687B2 (en) * | 2009-06-24 | 2013-04-23 | Delta Vidyo, Inc | System and method for an active video electronic programming guide |
US20110173300A1 (en) * | 2009-11-25 | 2011-07-14 | Isaac Levy | IPTV Presence And Interaction Protocol |
WO2012122246A1 (en) | 2011-03-10 | 2012-09-13 | Vidyo, Inc. | Dependency parameter set for scalable video coding |
US20130031589A1 (en) * | 2011-07-27 | 2013-01-31 | Xavier Casanova | Multiple resolution scannable video |
US9848217B2 (en) * | 2012-01-20 | 2017-12-19 | Korea Electronics Technology Institute | Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information |
US9191696B2 (en) * | 2012-06-15 | 2015-11-17 | Samsung Electronics Co., Ltd. | Reception device and program for reception device |
US9313486B2 (en) | 2012-06-20 | 2016-04-12 | Vidyo, Inc. | Hybrid video coding techniques |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
MX368827B (es) * | 2014-08-07 | 2019-10-18 | Sony Corp | Dispositivo de transmision, metodo de transmision y dispositivo de recepcion. |
US9998711B2 (en) * | 2014-11-11 | 2018-06-12 | Isee Vc Pty Ltd | Reducing data content on a data system |
WO2017164595A1 (ko) * | 2016-03-21 | 2017-09-28 | 엘지전자(주) | 방송 신호 송수신 장치 및 방법 |
FR3070566B1 (fr) * | 2017-08-30 | 2020-09-04 | Sagemcom Broadband Sas | Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation |
US11606528B2 (en) * | 2018-01-03 | 2023-03-14 | Saturn Licensing Llc | Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute |
US10582117B1 (en) * | 2019-05-02 | 2020-03-03 | Yamaha-United Communications | Automatic camera control in a video conference system |
US10999531B1 (en) | 2020-01-27 | 2021-05-04 | Plantronics, Inc. | Detecting and framing a subject of interest in a teleconference |
GB2598701B (en) * | 2020-05-25 | 2023-01-25 | V Nova Int Ltd | Wireless data communication system and method |
US11496675B2 (en) | 2021-04-13 | 2022-11-08 | Plantronics, Inc. | Region of interest based adjustment of camera parameters in a teleconferencing environment |
CN113709510A (zh) * | 2021-08-06 | 2021-11-26 | 联想(北京)有限公司 | 高速率数据实时传输方法及装置、设备、存储介质 |
US11798204B2 (en) * | 2022-03-02 | 2023-10-24 | Qualcomm Incorporated | Systems and methods of image processing based on gaze detection |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0589657B1 (en) * | 1992-09-21 | 1999-05-12 | Canon Kabushiki Kaisha | Network system and terminal apparatus |
US5710590A (en) * | 1994-04-15 | 1998-01-20 | Hitachi, Ltd. | Image signal encoding and communicating apparatus using means for extracting particular portions of an object image |
EP1276326A3 (en) * | 1997-02-14 | 2003-12-10 | The Trustees of Columbia University in the City of New York | Object based audio visual terminal and bitstream structure |
KR100248404B1 (ko) * | 1997-09-04 | 2000-03-15 | 정선종 | 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법 |
SG77650A1 (en) * | 1998-09-07 | 2001-01-16 | Victor Company Of Japan | A scalable delivery scheme of compressed video |
FI113124B (fi) * | 1999-04-29 | 2004-02-27 | Nokia Corp | Tiedonsiirto |
JP2000350197A (ja) * | 1999-06-02 | 2000-12-15 | Hitachi Ltd | 映像伝送方法とそれを用いた監視システム |
JP2001069502A (ja) * | 1999-08-25 | 2001-03-16 | Toshiba Corp | 映像送信端末、及び映像受信端末 |
-
2001
- 2001-06-12 US US09/878,979 patent/US6496217B1/en not_active Expired - Fee Related
-
2002
- 2002-06-06 KR KR1020037002035A patent/KR100872732B1/ko not_active IP Right Cessation
- 2002-06-06 WO PCT/IB2002/002153 patent/WO2002102084A1/en active Application Filing
- 2002-06-06 EP EP02735776A patent/EP1459550A1/en not_active Withdrawn
- 2002-06-06 JP JP2003504685A patent/JP4436126B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006101527A (ja) * | 2004-09-28 | 2006-04-13 | Thomson Licensing | 画像のシーケンスの符号化の方法及び装置 |
JP2011527546A (ja) * | 2008-07-10 | 2011-10-27 | ラドヴィジョン リミテッド | スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 |
JP2013512642A (ja) * | 2009-11-30 | 2013-04-11 | アルカテル−ルーセント | 無線ビデオの優先順位ベースの伝送の方法 |
JP2012134874A (ja) * | 2010-12-22 | 2012-07-12 | Ricoh Co Ltd | Tv会議システム |
Also Published As
Publication number | Publication date |
---|---|
US6496217B1 (en) | 2002-12-17 |
JP4436126B2 (ja) | 2010-03-24 |
US20020196328A1 (en) | 2002-12-26 |
KR100872732B1 (ko) | 2008-12-08 |
WO2002102084A1 (en) | 2002-12-19 |
KR20030027023A (ko) | 2003-04-03 |
EP1459550A1 (en) | 2004-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4436126B2 (ja) | モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム | |
US11888909B2 (en) | Avatar information protection | |
US8798168B2 (en) | Video telecommunication system for synthesizing a separated object with a new background picture | |
US5926575A (en) | Model-based coding/decoding method and system | |
US20020164068A1 (en) | Model switching in a communication system | |
US20060281064A1 (en) | Image communication system for compositing an image according to emotion input | |
Cox et al. | On the applications of multimedia processing to communications | |
KR100669837B1 (ko) | 입체 비디오 코딩을 위한 포어그라운드 정보 추출 방법 | |
Ostermann | Face Animation in MPEG‐4 | |
CN104782121A (zh) | 多区域视频会议编码 | |
WO1998053438A1 (en) | Segmentation and sign language synthesis | |
US20230281901A1 (en) | Moving a direction of gaze of an avatar | |
CA2162199A1 (en) | Acoustic-assisted image processing | |
US20230106330A1 (en) | Method for creating a variable model of a face of a person | |
Cox et al. | Scanning the Technology | |
JP3854871B2 (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
JP2001231037A (ja) | 画像処理システム、画像処理装置、及び記憶媒体 | |
WO2001029767A2 (en) | System and method for three-dimensional modeling | |
US20020101933A1 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processsing program code | |
US20230070853A1 (en) | Creating a non-riggable model of a face of a person | |
US20230085339A1 (en) | Generating an avatar having expressions that mimics expressions of a person | |
Chang et al. | Virtual Talk: a model-based virtual phone using a layered audio-visual integration | |
Bojkovic et al. | Audiovisual integration in multimedia communications based on MPEG-4 facial animation | |
Kuroda et al. | A Study on Facial Action Visualization on S-TEL: An Avatar Based Sign Language Telecommunication System | |
Lavagetto | VIDAS Workshop on Synthetic Natural Hybrid Coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081118 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091014 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |