JP2001359067A - 通信システム及びその通信方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＱｏＳ（Quality of Service）に応じたサー
ビスを持たない比較的低速な通信回線を介して動画像を
含むマルチメディアデータを伝送した場合でも、リアル
タイム性の高いオブジェクトに遅延やゆらぎが生じ、音
声や話者の映像の品質が低下するといった問題を解決
し、視聴者に不快感を与えないことを目的とする。 【解決手段】 マイク５０４、ビデオカメラ５０５、蓄
積部５０６から音声インターフェース５１１、映像イン
ターフェース５１２、データインターフェース５１３を
介して音声、映像、データを各オブジェクトとして入力
し、オブジェクト分離部５１４で話者映像と背景映像と
に分離し、各オブジェクト符号化部５１５〜５１８で符
号化する。そして、通信部５１９で、符号化データの長
さが一定の長さ以上の場合には一定の長さ毎に分割し、
各オブジェクト毎に分類して蓄積し、各オブジェクトに
対して要求されるリアルタイム性に基づき、蓄積された
符号化データを送信する優先順位を調停して送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクト符号
化方式を用いて符号化したデータを、比較的低速でＱｏ
Ｓ（Quality of Service）に応じたサービスクラスの区
別を持たない伝送路を介して送信する通信システム及び
その通信方法に関するものである。

【０００２】

【従来の技術】近年、動画像を送信するシステムとし
て、例えばテレビ会議システムが実用化されている。そ
して、このシステムに用いられる映像・音声の符号化方
式には、様々な方式が提案されている。

【０００３】このような状況において、標準化が行われ
ているＭＰＥＧ４などの符号化方式、即ち、部分的な映
像や音声などの各構成要素を個々のオブジェクトとして
取り扱い、個別に符号化できるオブジェクト符号化方式
が提案されている。

【０００４】例えば、テレビ会議システムの場合の一例
を図１に示すならば、１つのシーン１０１を音声と映像
に分離し、更に映像のうち、話者映像と背景映像を分離
して話者映像オブジェクト１０２と背景映像オブジェク
ト１０３とし、不図示の音声オブジェクトと、その他の
オブジェクト（図１に示す例ではプレゼンテーション画
面のオブジェクト）１０４とを個別に符号化するもので
ある。

【０００５】このような符号化方式を用いた場合、送信
側で、各オブジェクト毎に符号化が行われ、各オブジェ
クトの符号化データを多重化して１つのデータストリー
ムに纏めて送信する。一方、受信側では、送信側で多重
化されたデータストリームを各オブジェクト毎に分離し
て復号化し、各オブジェクトを合成して１つのシーンを
再構成している。

【０００６】ここで一例として、このような複数のオブ
ジェクトに対してオブジェクト符号化方式を用いたテレ
ビ会議システムの場合の動作について、後述する実施形
態と対比するために、類似の構成とした図２を用いて簡
単に説明する。

【０００７】ここでは説明を簡略化するために、送信側
テレビ会議装置２０１側にいる話者の映像を受信側テレ
ビ会議装置２０２側にいる視聴者へ送信する一方向の動
作についてのみ説明する。尚、オブジェクトとしては、
音声・話者映像・背景映像・プレゼンテーションデータ
の４つの要素を持つ場合について説明する。

【０００８】送信側テレビ会議装置２０１において、送
信側の話者の音声はマイク２０４でピックアップされ、
音声インターフェース２１１を介して送信側テレビ会議
装置２０１に入力される一方、話者と背景の映像はビデ
オカメラ２０５で撮影され、映像インターフェース２１
２を介して送信側テレビ会議装置２０１に入力される。
ここで、話者が視聴者にプレゼンテーションを行うため
にプレゼンテーション操作を行うと、記憶部２０６に蓄
積されているプレゼンテーションデータが読み出され、
データインターフェース２１３を介して送信側テレビ会
議装置２０１に入力される。

【０００９】映像インターフェース２１２から出力され
る映像信号は、オブジェクト分離部２１４に入力され、
図１に示したような話者映像オブジェクト１０２と背景
映像オブジェクト１０３とに分離される。そして、音声
インターフェース２１１から出力される音声オブジェク
ト信号、オブジェクト分離部２１４から出力される話者
映像オブジェクト信号及び背景映像オブジェクト信号、
データインターフェース２１３から出力されるデータオ
ブジェクト信号は、それぞれ音声オブジェクト符号化部
２１５、話者映像オブジェクト符号化部２１６、背景映
像オブジェクト符号化部２１７、データオブジェクト符
号化部２１８により最適な方法で符号化される。

【００１０】上述の各オブジェクト符号化部により符号
化されたデータは、多重化部２２０で多重化され、更に
送信側の通信部２１９により通信回線網２０３を経由し
て、受信側テレビ会議装置２０２内の受信側の通信部２
２１に送信される。

【００１１】一方、受信側テレビ会議装置２０２におい
て、受信側通信部２２１で受信されたデータは分離部２
２８により各オブジェクト毎に分離され、それぞれ音声
オブジェクト復号化部２２２、話者映像オブジェクト復
号化部２２３、背景映像オブジェクト復号化部２２４、
データオブジェクト復号化部２２５により、それぞれ音
声オブジェクト信号、話者映像オブジェクト信号、背景
映像オブジェクト信号、データオブジェクト信号に復号
化される。

【００１２】ここで、各オブジェクト復号化部により復
号化されたデータは、シーン合成部２２６に入力され、
図１に示したようなプレゼンテーションデータも含めた
１つの映像・音声のシーンとして合成され、映像・音声
インターフェース部２２７に転送され、表示器２０７で
表示及び再生される。

【００１３】このように、オブジェクト符号化を用いた
テレビ会議システムにおいて、送信側の音声、映像、デ
ータの各オブジェクトがオブジェクト符号化され、多重
化された後、通信回線を介して受信側へ送信され、受信
側で各オブジェクト毎に分離し、復号化された後、１つ
のシーンに合成される。

【００１４】

【発明が解決しようとする課題】しかしながら、動画像
を送信するシステムにおける通信手段の面においては、
近年の通信回線の高速化の動きは目覚ましいものがある
ものの、一方では、通信回線のコストの問題から、低速
な通信回線を有効利用しなければならない局面も多くみ
られる。

【００１５】このような状況において、低速回線を有効
利用するためには、多種のデータを１つの伝送路に送信
しなければならないが、この場合、データのリアルタイ
ム性を考慮して送信を行う必要がある。

【００１６】例えば、上述の例を用いて説明すると、音
声、映像、データの各オブジェクトは、図２に示す音声
オブジェクト符号化部２１５、話者映像オブジェクト符
号化部２１６、背景映像オブジェクト符号化部２１７、
データオブジェクト符号化部２１８により、それぞれ符
号化され、図３に示すように、音声オブジェクト符号化
データ３０１〜３０５、話者映像オブジェクト符号化デ
ータ３１１〜３１５、背景映像オブジェクト符号化デー
タ３２１〜３２５、データオブジェクト符号化データ３
３１となる。

【００１７】また、それぞれ符号化された音声オブジェ
クト符号化データ３０１〜３０５、話者映像オブジェク
ト符号化データ３１１〜３１５、背景映像オブジェクト
符号化データ３２１〜３２５は、図３に示すｔ₁，ｔ₂，
ｔ₃，ｔ₄，ｔ₅のタイミングで発生し、データオブジェ
クト符号化データ３３１はｔ₁及びｔ₂の間で発生するも
のとする。

【００１８】これらの符号化データが多重化部２２０で
多重化されると、時間単位毎に発生した各符号化データ
が結合して、一纏まりのデータストリームの形となる。
このように多重化されたデータが、通信部２１９から送
信される状態を図４に示す。また、受信側通信部２２１
で受信した状態も同様と考えることができる。

【００１９】しかしながら、上述のように複数のオブジ
ェクトを１つのデータストリームに多重化して送信する
場合、音声オブジェクト符号化データ３０１〜３０５や
話者映像オブジェクト符号化データ３１１〜３１５のよ
うなリアルタイム性の高いオブジェクトの符号化データ
が、データオブジェクト符号化データ３３１のようなリ
アルタイム性が低く、大きなデータサイズを持つものと
多重化されると、その多重化されたデータストリーム全
体の送信に時間がかかってしまう。

【００２０】例えば、図４に示す多重化データ４０２は
サイズの大きなオブジェクト符号化データ３３１を多重
しているので、それに続く多重化データ４０３が送信さ
れるのはｔ₄のタイミングよりも後になってしまう。そ
の結果、音声オブジェクト符号化データ３０２が受信さ
れるのはｔ₂のタイミング付近であるのに対し、次の音
声オブジェクト符号化データ３０３が受信されるのは、
ｔ₄のタイミング付近となる。

【００２１】このように、単に多重化した場合、リアル
タイム性の高いデータ３０３が遅延してしまう、或いは
データ３０１，３０２の間隔とデータ３０２，３０３の
間隔が不揃いになるという「ゆらぎ」が生じる（受信側
で「ゆらぎ」問題を解消するためには、全てのデータを
遅延させてから復号化・再生を行う必要があり、全体的
な遅延を生む）こととなり、その結果、テレビ会議の音
声や話者の映像の品質が低下するという問題が起こる。

【００２２】このような問題は、高速な回線であれば全
体が高速であるため、遅延やゆらぎが起こっても比較的
小さな値ですみ問題となりにくいが、低速な通信回線を
利用する場合には顕著な問題となる。また、通信回線が
ＡＴＭ（非同期転送モード）のようにＱｏＳに応じたサ
ービスを提供できるものではなく、通信回線がＱｏＳに
対応しておらず、かつ、比較的低速な回線である場合に
問題となる。

【００２３】本発明は、ＱｏＳに応じたサービスを持た
ない比較的低速な通信回線を介して動画像を含むマルチ
メディアデータを伝送した場合でも、リアルタイム性の
高いオブジェクトに遅延やゆらぎが生じ、音声や話者の
映像の品質が低下するといった問題を解決し、視聴者に
不快感を与えないことを目的とするものである。

【００２４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、複数の映像及び音声を構成する各要素を
オブジェクトとして扱い、複数の映像及び音声のデータ
から各オブジェクト毎に複数のオブジェクトデータを分
離した後、複数のオブジェクトデータを合成して映像デ
ータ及び音声データに再構成し、映像及び音声を表示・
再生する通信システムにおいて、分離された複数のオブ
ジェクトデータに対して各オブジェクト毎に符号化する
符号化手段と、各オブジェクト毎に符号化された符号化
データを各オブジェクト毎に分類して蓄積する蓄積手段
と、各オブジェクトに対して要求されるリアルタイム性
に基づき、前記蓄積された符号化データを送信する優先
順位を調停して送信を行う送信手段と、送信された符号
化データを受信する受信手段と、受信された符号化デー
タに対して前記分割されたデータは再結合し、各符号化
データ毎に複数のオブジェクトデータに復号化する復号
化手段とを有することを特徴とする。

【００２５】また、上記目的を達成するために、本発明
は、複数の映像及び音声を構成する各要素をオブジェク
トとして扱い、複数の映像及び音声のデータから各オブ
ジェクト毎に複数のオブジェクトデータを分離した後、
複数のオブジェクトデータを合成して映像データ及び音
声データに再構成し、映像及び音声を表示・再生する通
信システムの通信方法であって、分離された複数のオブ
ジェクトデータに対して各オブジェクト毎に符号化する
符号化工程と、各オブジェクト毎に符号化された符号化
データを各オブジェクト毎に分類して蓄積する蓄積工程
と、各オブジェクトに対して要求されるリアルタイム性
に基づき、前記蓄積された符号化データを送信する優先
順位を調停して送信を行う送信工程とを有することを特
徴とする。

【００２６】

【発明の実施の形態】以下、図面を参照しながら本発明
に係る実施の形態を詳細に説明する。

【００２７】尚、本実施形態では、マルチメディア通信
システムとして、音声・話者映像・背景映像・プレゼン
テーションデータの４つの要素をオブジェクトとして有
するテレビ会議システムを例に説明する。

【００２８】図５は、本実施形態におけるテレビ会議シ
ステムの構成を示すブロック図である。同図において、
５０１は送信側のテレビ会議装置、５０２は受信側のテ
レビ会議装置である。一般に、送信側テレビ会議装置５
０１と受信側テレビ会議装置５０２とは同種のものであ
り、送受信は双方向に行われる場合が多いが、ここでは
説明を簡略化するために、送信側と受信側とに分けて、
送信側テレビ会議装置５０１側にいる話者の映像を受信
側テレビ会議装置５０２側にいる視聴者へ送信する一方
向の動作について説明する（尚、逆方向へ送信する場合
の動作についても同様である）。

【００２９】５０３は通信回線であり、ＱｏＳ（Qualit
y of Service）に応じたサービスクラスの区別を持たな
い比較的低速な回線である。一般的に、一つの通信回線
には多数の装置が接続され、複雑な構成や動作を伴うこ
とも多いが、ここでは簡略化して、送信側テレビ会議装
置５０１と受信側テレビ会議装置５０２との間が通信回
線５０３で接続され、通信回線５０３の帯域をすべて占
有しているものとして説明する。

【００３０】送信側テレビ会議装置５０１において、５
０４はマイク、５０５はビデオカメラ、５０６はプレゼ
ンテーションデータなどのデータを蓄積した記憶部であ
る。また、送信側テレビ会議装置５０１は、マイク５０
４からの音声信号を入力する音声インターフェース部５
１１、ビデオカメラ５０５からの映像信号を入力する映
像インターフェース部５１２、記憶部５０６からのデー
タを入力するデータインターフェース部５１３、映像イ
ンターフェース部５１２からの映像信号を話者映像信号
と背景映像信号に分離するオブジェクト分離部５１４、
音声インターフェース部５１１からの音声信号を符号化
する音声オブジェクト符号化部５１５、オブジェクト分
離部５１４で分離された話者映像信号を符号化する話者
映像オブジェクト符号化部５１６、オブジェクト分離部
５１４で分離された背景映像信号を符号化する背景映像
オブジェクト符号化部５１７、データインターフェース
部５１３からのデータを符号化するデータオブジェクト
符号化部５１８、符号化された各データを通信回線５０
３を介して送信する送信側通信部５１９により構成され
ている。

【００３１】そして、受信側テレビ会議装置５０２は、
通信回線５０３からのデータを受信する受信側通信部５
２１、符号化された音声信号を復号化する音声オブジェ
クト復号化部５２２、符号化された話者映像信号を復号
化する話者映像オブジェクト復号化部５２３、符号化さ
れた背景映像信号を復号化する背景映像オブジェクト復
号化部５２４、符号化されたデータ信号を復号化するデ
ータオブジェクト復号化部５２５、復号化された各デー
タを合成して一つのシーンにするシーン合成部５２６、
合成された信号を出力する映像・音声インターフェース
部５２７により構成されている。また、５０７は合成さ
れた映像・音声を表示・再生する表示器である。

【００３２】このような構成を有するテレビ会議システ
ムにおいて、送信側テレビ会議装置５０１から受信側テ
レビ会議装置５０２へ符号化データを送信する際に、送
信側通信部５１９が各オブジェクトのリアルタイム性に
応じた優先度で、送信制御を行う動作について説明す
る。

【００３３】送信側テレビ会議装置５０１側にいる話者
の音声はマイク５０４によりピックアップされ、マイク
５０４からの音声信号が音声インターフェース５１１を
介して送信側テレビ会議装置５０１に入力されてデジタ
ル化される。同様に、話者の映像は背景の映像と共にビ
デオカメラ５０５で撮影され、ビデオカメラ５０５から
の映像信号が映像インターフェース８を介して送信側テ
レビ会議装置５０１に入力されてデジタル化される。

【００３４】ここで、話者が視聴者にプレゼンテーショ
ンを行うためにプレゼンテーション操作を行うと、記憶
部５０６に蓄積されているプレゼンテーションデータが
読み出され、データインタフェース５１３を介して送信
側テレビ会議装置５０１に入力される。尚、記憶部５０
６は送信側テレビ会議装置５０１と独立したパーソナル
コンピュータ等であっても良い。

【００３５】映像インターフェース５１２から出力され
る映像信号は、オブジェクト分離部５１４に入力され、
図１に示したように、話者の映像の部分（オブジェク
ト）とそれ以外の背景の部分（オブジェクト）に分離さ
れ、話者映像オブジェクト信号と背景映像オブジェクト
信号として出力される。

【００３６】ここで、音声インターフェース５１１から
出力される音声オブジェクト信号、オブジェクト分離部
５１４から出力される話者映像オブジェクト信号及び背
景映像オブジェクト信号、データインターフェース５１
３から出力されるデータオブジェクト信号は、それぞれ
音声オブジェクト符号化部５１５、話者映像オブジェク
ト符号化部５１６、背景映像オブジェクト符号化部５１
７、データオブジェクト符号化部５１８により最適な方
法で符号化される。そして、それぞれの符号化されたデ
ータには、時間情報が付加される。

【００３７】上述の各オブジェクト符号化部により符号
化されたデータ、即ち、図３に示すような音声オブジェ
クト符号化データ３０１〜３０５、話者映像オブジェク
ト符号化データ３１１〜３１５、背景映像オブジェクト
符号化データ３２１〜３２５、データオブジェクト符号
化データ３３１は、送信側通信部５１９で一定以上の長
さの符号化データは一定の長さに分割され、送信すべき
プロトコルに対応したパケットとして通信回線５０３を
介して送信される。尚、これらの符号化データは前述し
た図３に示すタイミングで発生するものとする。

【００３８】ここで、上述の送信側通信部５１９の詳細
な構成及び動作について説明する。図６は、送信側通信
部５１９の構成を示す図である。同図において、６０１
ａは第１のデータ分割部であり、音声オブジェクト符号
化部５１５からの音声オブジェクト符号化データ３０１
〜３０５の長さが一定以上の場合は一定の長さ毎に分割
する。６０１ｂは第２のデータ分割部であり、話者映像
オブジェクト符号化部５１６からの話者映像オブジェク
ト符号化データ３１１〜３１５の長さが一定以上の場合
は一定の長さ毎に分割する。６０１ｃは第３のデータ分
割部であり、背景映像オブジェクト符号化部５１７から
の背景映像オブジェクト符号化データ３２１〜３２５の
長さが一定以上の場合は一定の長さ毎に分割する。６０
１ｄは第４のデータ分割部であり、データオブジェクト
符号化部５１８からのデータオブジェクト符号化データ
３３１の長さが一定以上の場合は一定の長さ毎に分割す
る。

【００３９】図７は、第１〜第４のデータ分割部により
分割された各符号化データを示す図である。図７に示す
例では、話者映像オブジェクト符号化データのうち、３
１２，３１３が一定以上の長さであるため、３１２−１
及び３１２−２、３１３−１及び３１３−２に分割さ
れ、同様に背景映像オブジェクト符号化データ３２２は
３２２−１及び３２２−２に分割され、データオブジェ
クト符号化データ３３１は３３１−１〜４に分割され
る。

【００４０】図６に戻り、分割後の各符号化データは、
第１キューイングメモリ６０２ａ、第２キューイングメ
モリ６０２ｂ、第３キューイングメモリ６０２ｃ、第４
キューイングメモリ６０２ｄにそれぞれ蓄積される。そ
して、各キューイングメモリに蓄積された符号化データ
は、送信調停部６０３により送信する優先順位の調停が
行われ、回線制御部６０４へ転送される。

【００４１】ここで、図８及び図９を参照しながら送信
調停部６０３における調停と転送の動作について説明す
る。

【００４２】図８は、本実施形態における送信調停部６
０３の動作を示すフローチャートである。また、図９
は、回線制御部６０４へ転送される符号化データの一例
を示す図である。尚、図７に示すように、第１キューイ
ングメモリ６０２ａには符号化データ３０１が、第２キ
ューイングメモリ６０２ｂには符号化データ３１１が、
第３キューイングメモリ６０２ｃには符号化データ３２
１がそれぞれ蓄積されている状態にあるものとする。ま
た、各符号化データの中では、第１キューイングメモリ
６０２ａに蓄積されているデータが最も優先度が高いも
のとする。

【００４３】まず、ステップＳ８０１において、送信調
停部６０３は第１キューイングメモリ６０２ａにデータ
が蓄積されているかチェックし、蓄積されていればステ
ップＳ８０２へ進み、蓄積されている符号化データ３０
１を回線制御部６０４に転送する。その後、第１キュー
イングメモリ６０２ａにデータがなくなるとステップＳ
８０３へ進み、次に優先度の高い第２キューイングメモ
リ６０２ｂにデータが蓄積されているかチェックする。
ここで、蓄積されていればステップＳ８０４へ進み、蓄
積されている符号化データ３１１を回線制御部６０４に
転送する。

【００４４】更に、第１キューイングメモリ６０２ａ及
び第２キューイングメモリ６０２ｂにデータがなくなる
とステップＳ８０５へ進み、第３キューイングメモリ６
０２ｃにデータが蓄積されているかチェックする。ここ
で、蓄積されていればステップＳ８０６へ進み、蓄積さ
れている符号化データ３２１を回線制御部６０４に転送
する。

【００４５】次に、図７に示すように、やや時間をおい
て第４キューイングメモリ６０２ｄに符号化データ３３
１−１〜４が蓄積されるが、この時点では第１〜第３キ
ューイングメモリ６０２ａ〜ｃにデータが蓄積されてい
ないため、ステップＳ８０７へ進み、第４キューイング
メモリ６０２ｄにデータが蓄積されているかチェックす
る。ここで第４キューイングメモリ６０２ｄにデータが
蓄積されるとステップＳ８０８へ進み、蓄積された符号
化データ３３１−１を回線制御部６０４に転送する。そ
の後、符号化データ３３１−１の転送が終了した時点で
も、第１〜第３キューイングメモリ６０２ａ〜ｃにデー
タが蓄積されていないため、第４キューイングメモリ６
０２ｄにデータが蓄積されているかチェックする。ここ
で、第４キューイングメモリ６０２ｄに次に続く符号化
データ３３１−２が蓄積されるとステップＳ８０８にお
いて、符号化データ３３１−２を回線制御部６０４に転
送する。

【００４６】この符号化データ３３１−２の転送が終了
する時点では、図７に示すように、第１キューイングメ
モリ６０２ａには符号化データ３０２が、第２キューイ
ングメモリ６０２ｂには符号化データ３１２−１，３１
２−２が、第３キューイングメモリ６０２ｃには符号化
データ３２２−１，３２２−２がそれぞれ蓄積されてい
る。この状態で、送信調停部６０３が図８に示すフロー
チャートに従って動作することにより、図９に示すよう
に回線制御部６０４には、符号化データ３０２，３１２
−１，３１２−２，３２２−１の順に転送される。

【００４７】また、符号化データ３２２−１の転送が終
了する時点では、図７に示すように、第１キューイング
メモリ６０２ａには符号化データ３０３が、第２キュー
イングメモリ６０２ｂには符号化データ３１３−１，３
１３−２が、第３キューイングメモリ６０２ｃには符号
化データ３２３がそれぞれ蓄積されている。この場合も
送信調停部６０３が図８に示すフローチャートに従って
動作することにより、図９に示すように回線制御部６０
４には、符号化データ３０３，３１３−１，３１３−
２，３２２−２，３２３の順に転送される。これ以降も
同様に、回線制御部６０４には、符号化データ３０４，
３１４，３２４，３３１−３，３３１−４，３０５，３
１５，３２５の順に転送される。そして、回線制御部６
０４では、転送された各符号化データをそれぞれパケッ
ト化し、通信回線５０３を経由して受信側テレビ会議装
置５０２へ送信する。

【００４８】一方、受信側テレビ会議装置５０２では、
通信回線５０３からパケットを受信した受信側通信部５
２１が分割された符号化データを復元し、それぞれ音声
オブジェクト符号化データ３０１〜３０５、話者映像オ
ブジェクト符号化データ３１１〜３１５、背景映像オブ
ジェクト符号化データ３２１〜３２５、データオブジェ
クト符号化データ３３１に分離し、音声オブジェクト復
号化部５２２、話者映像オブジェクト復号化部５２３、
背景映像オブジェクト復号化部５２４、データオブジェ
クト復号化部５２５にそれぞれ転送する。

【００４９】これにより、音声オブジェクト復号化部５
２２、話者映像オブジェクト復号化部５２３、背景映像
オブジェクト復号化部５２４、データオブジェクト復号
化部５２５で、それぞれ音声オブジェクト信号、話者映
像オブジェクト信号、背景映像オブジェクト信号、デー
タオブジェクト信号に復号化されるとともに、データス
トリームから取り出された時間情報に基づき、シーン合
成部５２６で、図１に示すようなプレゼンテーションデ
ータも含めた１つの映像・音声のシーンとして合成さ
れ、合成されたデータが映像・音声インターフェース部
５２７に転送される。そして、映像・音声インターフェ
ース部５２７でアナログの映像・音声信号に変換され、
表示器５０７へ送られ、表示・再生される。

【００５０】このように、送信側通信部５１９が各オブ
ジェクトのリアルタイム性に合わせた優先送信制御を行
うことにより、比較的に低速の通信回線を用いても視聴
者に不快感を与えない通信を行うことができる。

【００５１】［他の実施形態］前述した実施形態では、
送信側通信部５１９が一定以上の長さの符号化データを
一定の長さに分割して送信する場合について説明した
が、他の実施形態としてデータのリアルタイム性に応じ
た優先度を決め、データを送信中により高い優先度のデ
ータが発生した場合、送信中のデータを分割して送信を
中断し、より高い優先度のデータの送信を開始する制御
について説明する。

【００５２】尚、他の実施形態におけるマルチメディア
通信システムとして、図５に示したテレビ会議システム
を例に説明する。

【００５３】他の実施形態では、送信側テレビ会議装置
５０１の送信側通信部（詳細な構成については後述す
る）がデータのリアルタイム性に応じた優先度を決め、
データを送信中により高い優先度のデータが発生した場
合、送信中のデータを分割して送信を中断し、より高い
優先度のデータの送信を開始するように制御するもので
ある。

【００５４】以下、他の実施形態における送信側通信部
の構成及び動作について説明する。図１０は、他の実施
形態による送信側通信部の構成を示す図である。図示す
るように、図６に示す送信側通信部５１９と比較する
と、図１０では第１のデータ分割部６０１ａ〜第４のデ
ータ分割部６０１ｄを削除し、送信調停部１００２が後
述する図１１に示すフローチャートに従って調停及び転
送の動作を行うように構成されている。

【００５５】また、図３に示した音声オブジェクト符号
化データ３０１〜３０５、話者映像オブジェクト符号化
データ３１１〜３１５、背景映像オブジェクト符号化デ
ータ３２１〜３２５、データオブジェクト符号化データ
３３１が前述した実施形態と同様のタイミングで発生す
るものとする。その後、各符号化データは、それぞれ第
１キューイングメモリ１００１ａ、第２キューイングメ
モリ１００１ｂ、第３キューイングメモリ１００１ｃ、
第４キューイングメモリ１００１ｄにそれぞれ蓄積され
る。

【００５６】各キューイングメモリに蓄積された各符号
化データは、送信調停部１００２により送信する優先順
位を調停しながら、回線制御部１００３に転送される。

【００５７】図１１は、他の実施形態による送信調停部
１００２の動作を示すフローチャートである。また、図
１２は、回線制御部６０４へ転送される符号化データの
一例を示す図である。

【００５８】最初の時点では、第１キューイングメモリ
１００１ａには符号化データ３０１が、第２キューイン
グメモリ１００１ｂには符号化データ３１１が、第３キ
ューイングメモリ１００１ｃには符号化データ３２１が
それぞれ蓄積されている状態にある。この中では第１キ
ューイングメモリ１００１ａに蓄積されているデータが
最も優先度が高いことから、送信調停部１００２は、ま
ず第１キューイングメモリ１００１ａにデータがあるこ
とをチェックし（Ｓ１１０１）、符号化データ３０１の
回線制御部１００３への転送を開始し（Ｓ１１０２）、
終了まで（Ｓ１１０３のＹｅｓ）転送を継続する（Ｓ１
１０４）。

【００５９】次に、第１キューイングメモリ１００１ａ
にデータがなくなると（Ｓ１１０１のＮｏ）、その次に
優先度の高い第２キューイングメモリ１００１ｂにデー
タがあることをチェックし（Ｓ１１０５）、符号化デー
タ３１１の回線制御部１００３への転送を開始し（Ｓ１
１０６）、第１キューイングメモリ１００１ａにデータ
が入ってこない限り（Ｓ１１０７のＮｏ）、終了まで
（Ｓ１１０９のＹｅｓ）転送を継続する（Ｓ１１１
０）。更に、第１キューイングメモリ１００１ａ及び第
２キューイングメモリ１００１ｂにデータがなくなると
（Ｓ１１０１のＮｏ，Ｓ１１０５のＮｏ）、第３キュー
イングメモリ１００１ｃにデータがあることをチェック
し（Ｓ１１１１）、符号化データ３２１の回線制御部１
００３への転送を開始し（Ｓ１１１２）、第１キューイ
ングメモリ１００１ａ及び第２キューイングメモリ１０
０１ｂにデータが入ってこない限り（Ｓ１１１３のＮ
ｏ）、終了まで（Ｓ１１１５のＹｅｓ）転送を継続する
（Ｓ１１１６）。

【００６０】次に、やや時間をおいて、第４キューイン
グメモリ１００１ｄに符号化データ３３１が蓄積される
が、この時点では第１〜第３キューイングメモリ１００
１ａ〜１００１ｃにはデータがないため（Ｓ１１０１の
Ｎｏ〜Ｓ１１１１のＮｏ）、第４キューイングメモリ１
００１ｄにデータがあることをチェックし（Ｓ１１１
７）、符号化データ３３１の回線制御部１００３への転
送を開始し（Ｓ１１１８）、第１〜第３キューイングメ
モリ７０２−１〜３にデータが入ってこない限り（Ｓ１
１１９のＮｏ）、終了まで（Ｓ１１２１のＹｅｓ）転送
を継続する（Ｓ１１２２）。

【００６１】但し、図３に示した例の場合では、符号化
データ３３１の転送中に第１〜第３キューイングメモリ
１００１ａ〜１００１ｃにデータが入ってくる（Ｓ１１
１９のＹｅｓ）ため、この時点で転送中の符号化データ
３３１は分割され（Ｓ１１２０）、ここまで転送された
分は図１２に示す符号化データ３３１−１１となる。こ
のとき、第１キューイングメモリ１００１ａに符号化デ
ータ３０２が、第２キューイングメモリ１００１ｂに符
号化データ３１２が、第３キューイングメモリ１００１
ｃに符号化データ３２２がそれぞれ蓄積されている。こ
の状態で、送信調停部１００２が図１１に示すフローチ
ャートに基づいて動作することにより、図１２に示すよ
うに、回線制御部１００３には、符号化データ３０２，
３１２，３２２の順に転送される。

【００６２】この符号化データ３２２の転送中に、また
第１〜第３キューイングメモリ１００１ａ〜１００１ｃ
にデータが入ってくる（Ｓ１１１３のＹｅｓ）ため、こ
の時点で転送中の符号化データ３２２は分割され（Ｓ１
１１４）、ここまで転送された分は図１２に示す符号化
データ３２２−１となる。

【００６３】これ以降も送信調停部１００２が図１１に
示すフローチャートに基づいて動作することにより、図
１２に示すように、回線制御部１００３には、符号化デ
ータ３０３，３１３、ついで符号化データ３２２の残り
の部分の３２２−２，３２３の順に転送される。その
後、符号化データ３３１の残りの部分が転送されるが、
このときも転送中に、第１〜第３キューイングメモリ１
００１ａ〜１００１ｃにデータが入ってくる（Ｓ１１１
９のＹｅｓ）ため、再び符号化データ３３１は分割され
（Ｓ１１２０）、ここまで転送された分は符号化データ
３３１−１２となる。

【００６４】以下同様に、回線制御部１００３には、符
号化データ３０４，３１４，３２４，３３１−１３，３
０５，３１５，３２５，３３１−１４の順に転送される
こととなる。

【００６５】また、回線制御部１００３では、転送され
た各符号化データを、それぞれパケット化して通信回線
５０３に送信する。分割された符号化データもそれぞれ
分割されたままパケット化して通信回線５０３に送信す
る。

【００６６】一方、受信側では、通信回線５０３からパ
ケットを受信した受信側通信部５２１は、分割された符
号化データを復元し、それぞれ音声オブジェクト符号化
データ３０１〜３０５、話者映像オブジェクト符号化デ
ータ３１１〜３１５、背景映像オブジェクト符号化デー
タ３２１〜３２５、データオブジェクト符号化データ３
３１の形にし、音声オブジェクト復号化部５２２、話者
映像オブジェクト復号化部５２３、背景映像オブジェク
ト復号化部５２４、データオブジェクト復号化部５２５
に転送する。

【００６７】このようにして、データのリアルタイム性
に応じた優先度を決めて、データを送信中により高い優
先度のデータが発生した場合は、送信中のデータを分割
して送信を中断し、より高い優先度のデータの送信を開
始することで、リアルタイム性に合わせた優先送信制御
を行うことができる。

【００６８】尚、本発明は複数の機器（例えば、ホスト
コンピュータ，インタフェイス機器，リーダ，プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機，ファクシミリ装置な
ど）に適用してもよい。

【００６９】また、本発明の目的は前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。

【００７０】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００７１】プログラムコードを供給するための記憶媒
体としては、例えばフロッピー（登録商標）ディスク，
ハードディスク，光ディスク，光磁気ディスク，ＣＤ−
ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカー
ド，ＲＯＭなどを用いることができる。

【００７２】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部又は全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【００７３】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部又は全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
映像及び音声を構成する複数の要素をオブジェクトとし
て扱い、映像データ及び音声データから各オブジェクト
毎に複数のオブジェクトデータを分離した後、複数のオ
ブジェクトデータを合成して映像データ及び音声データ
に再構成し、映像及び音声を表示或いは再生する通信シ
ステムにおいて、複数のオブジェクトデータのうち、よ
り高いリアルタイム性が要求されるオブジェクトデータ
に対し、そのオブジェクトデータを符号化した符号化デ
ータを、より高い優先度をもって送信することにより、
ＱｏＳに応じたサービスを持たない比較的低速な回線を
介して伝送した場合でも、リアルタイム性の高いオブジ
ェクトに遅延やゆらぎが生じ、音声や話者の映像の品質
が低下するといった問題を解決し、視聴者に不快感を与
えないことができるという効果がある。

【図面の簡単な説明】

【図１】オブジェクト符号化を用いたテレビ会議の画面
の例を示す図である。

【図２】従来のテレビ会議システムの構成を示す図であ
る。

【図３】オブジェクト符号化によりそれぞれ符号化され
たデータを示す図である。

【図４】各符号化データを多重化した送信用のデータス
トリームを示す図である。

【図５】本実施形態におけるテレビ会議システムの構成
を示すブロック図である。

【図６】図５に示す送信側通信部５１９の構成を示す図
である。

【図７】図６に示す第１〜第４のデータ分割部により分
割された各符号化データを示す図である。

【図８】本実施形態における送信調停部６０３の動作を
示すフローチャートである。

【図９】回線制御部６０４へ転送される符号化データの
一例を示す図である。

【図１０】他の実施形態による送信側通信部の構成を示
す図である。

【図１１】他の実施形態による送信調停部１００２の動
作を示すフローチャートである。

【図１２】回線制御部６０４へ転送される符号化データ
の一例を示す図である。

【符号の説明】

５０１ 送信側テレビ会議装置 ５０２ 受信側テレビ会議装置 ５０３ 通信回線 ５０４ マイク ５０５ ビデオカメラ ５０６ 記憶部 ５０７ 表示器 ５１１ 音声インターフェース部 ５１２ 映像インターフェース部 ５１３ データインターフェース部 ５１４ オブジェクト分離部 ５１５ 音声オブジェクト符号化部 ５１６ 話者映像オブジェクト符号化部 ５１７ 背景映像オブジェクト符号化部 ５１８ データオブジェクト符号化部 ５１９ 送信側通信部 ５２１ 受信側通信部 ５２２ 音声オブジェクト復号化部 ５２３ 話者映像オブジェクト復号化部 ５２４ 背景映像オブジェクト復号化部 ５２５ データオブジェクト復号化部 ５２６ シーン合成部 ５２７ 映像・音声インターフェース部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C054 AA02 DA09 EA01 EA05 EG05 EG10 FE09 FE12 FE19 FF03 GA04 GB14 GB15 HA25 5C059 KK23 MA00 MB01 MB12 MB14 PP02 PP19 PP28 PP29 RB02 RC32 RE07 RE20 SS07 SS20 SS26 UA02 UA05 UA39 5C064 AA02 AC01 AC18 AD02 AD08 AD09 AD14 5K028 AA03 AA12 EE03 KK01 KK03 KK18 KK32 LL11 SS05 SS15 5K034 AA04 AA17 CC03 CC05 HH01 HH12 HH17 HH27 HH54 KK13 MM22 MM25

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数の映像及び音声を構成する各要素を
   オブジェクトとして扱い、複数の映像及び音声のデータ
   から各オブジェクト毎に複数のオブジェクトデータを分
   離した後、複数のオブジェクトデータを合成して映像デ
   ータ及び音声データに再構成し、映像及び音声を表示・
   再生する通信システムにおいて、 分離された複数のオブジェクトデータに対して各オブジ
   ェクト毎に符号化する符号化手段と、 各オブジェクト毎に符号化された符号化データを各オブ
   ジェクト毎に分類して蓄積する蓄積手段と、 各オブジェクトに対して要求されるリアルタイム性に基
   づき、前記蓄積された符号化データを送信する優先順位
   を調停して送信を行う送信手段と、 送信された符号化データを受信する受信手段と、 受信された符号化データに対して前記分割されたデータ
   は再結合し、各符号化データ毎に複数のオブジェクトデ
   ータに復号化する復号化手段とを有することを特徴とす
   る通信システム。
2. 【請求項２】 更に、前記符号化データの長さが一定の
   長さ以上の場合には一定の長さ毎に分割する分割手段を
   有し、 前記送信手段は、分割された符号化データのうち、より
   高いリアルタイム性が要求されるオブジェクトに分類さ
   れている符号化データを優先的に送信することを特徴と
   する請求項１記載の通信システム。
3. 【請求項３】 前記送信手段は、現在送信中の符号化デ
   ータよりも、より高いリアルタイム性が要求されるオブ
   ジェクトの符号化データが蓄積された場合には、現在送
   信中の符号化データを分割して送信を中断し、当該蓄積
   された符号化データを優先的に送信することを特徴とす
   る請求項１記載の通信システム。
4. 【請求項４】 複数の映像及び音声を構成する各要素を
   オブジェクトとして扱い、複数の映像及び音声のデータ
   から各オブジェクト毎に複数のオブジェクトデータを分
   離した後、複数のオブジェクトデータを合成して映像デ
   ータ及び音声データに再構成し、映像及び音声を表示・
   再生する通信システムの通信方法であって、 分離された複数のオブジェクトデータに対して各オブジ
   ェクト毎に符号化する符号化工程と、 各オブジェクト毎に符号化された符号化データを各オブ
   ジェクト毎に分類して蓄積する蓄積工程と、 各オブジェクトに対して要求されるリアルタイム性に基
   づき、前記蓄積された符号化データを送信する優先順位
   を調停して送信を行う送信工程とを有することを特徴と
   する通信システムの通信方法。
5. 【請求項５】 更に、前記符号化データの長さが一定の
   長さ以上の場合には一定の長さ毎に分割する分割工程を
   有し、 前記送信工程は、分割された符号化データのうち、より
   高いリアルタイム性が要求されるオブジェクトに分類さ
   れている符号化データを優先的に送信することを特徴と
   する請求項４記載の通信システムの通信方法。
6. 【請求項６】 前記送信工程は、現在送信中の符号化デ
   ータよりも、より高いリアルタイム性が要求されるオブ
   ジェクトの符号化データが蓄積された場合には、現在送
   信中の符号化データを分割して送信を中断し、当該蓄積
   された符号化データを優先的に送信することを特徴とす
   る請求項４記載の通信システムの通信方法。
7. 【請求項７】 複数の映像及び音声を構成する各要素を
   オブジェクトとして扱い、複数の映像及び音声のデータ
   から各オブジェクト毎に複数のオブジェクトデータを分
   離した後、複数のオブジェクトデータを合成して映像デ
   ータ及び音声データに再構成し、映像及び音声を表示・
   再生する通信システムにおける通信方法のプログラムコ
   ードが記録されたコンピュータ読み出し可能な記憶媒体
   であって、 分離された複数のオブジェクトデータに対して各オブジ
   ェクト毎に符号化する符号化工程のコードと、 各オブジェクト毎に符号化された符号化データを各オブ
   ジェクト毎に分類して蓄積する蓄積工程のコードと、 各オブジェクトに対して要求されるリアルタイム性に基
   づき、前記蓄積された符号化データを送信する優先順位
   を調停して送信を行う送信工程のコードとを有すること
   を特徴とする記憶媒体。