JP2003259292A - マルチメディア通信装置とその信号処理モジュール - Google Patents

Abstract

(57)【要約】 【課題】 メモリ容量の増大や記録情報の再送信に支障
を生じることなく、低遅延型レート制御の符号・復号処
理の下でも上記記録情報を正しく再生する。 【解決手段】 入力されたマルチメディア情報或いは受
信されたマルチメディア情報を記録する際に、この記録
対象のマルチメディア情報をそのメディアごとに、低遅
延型レート制御の符号復号処理部で復号処理可能な情報
長に予め分割すると共に、この分割された情報ごとにそ
の長さ情報、属性情報及び記録時刻を表すタイムスタン
プを生成する。そして、これらの情報を上記分割された
情報に付加して、これを記録情報の１単位としてメイン
メモリ２に格納するようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばテレビジ
ョン電話機能を有する移動通信端末のように、低ビット
レートマルチメディア通信を行うマルチメディア通信装
置とその信号処理モジュールに関する。

【０００２】

【従来の技術】一般に、符号化情報を記録してこの記録
された符号化情報を別の時間に再生するシステムでは、
蓄積型レート制御を行った符号・復号処理が使用されて
いる。これに対し、マルチメディア通信等のように途中
に通信路が介在して実時間で処理を行うシステムでは、
低遅延型レート制御を行った符号・復号処理が使用され
ている。

【０００３】低遅延型レート制御を行った符号・復号処
理は、途中に通信路等の狭い固定の帯域を想定するの
で、情報量の大きなフレームが存在するとそれに続くフ
レームをスキップして符号化量を短時間に一定値となる
ように修正している。例えば、動きの変化量の大きい画
像データや、ＭＰＥＧのイントラ符号化されたＩフレー
ム等のように情報量の大きい画像フレームが入力される
と、その後のフレームでは符号間隔が空いてコマ送りの
ような画像となる。さらに復号処理に関しては、固定レ
ートで符号化情報が入力することを想定しているため、
入力された符号化情報は直ちに復号化されて再生され
る。

【０００４】したがって、例えば低ビットレートマルチ
メディア通信の一つであるテレビジョン電話通信におい
ては、画像情報を記録する場合にネットワーク上で多重
化された情報をそのまま記録するようにしている。

【０００５】

【発明が解決しようとする課題】ところが、ネットワー
クから伝送された情報をそのまま記録すると、この伝送
情報には通信制御情報等の冗長な情報が多く含まれてい
るため多くのメモリ容量が必要になる。また、記録情報
に通信制御情報等の本来あってはならない情報が含まれ
ると、記録情報を再送信した場合に送信先で当該情報を
正しく復号再生することができない。

【０００６】この発明は上記事情に着目してなされたも
ので、その目的とするところは、メモリ容量の増大や記
録情報の再送信に支障を生じることなく、低遅延型レー
ト制御の符号・復号処理の下でも上記記録情報を正しく
再生できるようにしたマルチメディア通信装置とその信
号処理モジュールを提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
にこの発明は、マルチメディア情報をネットワークを介
して実時間又は低遅延で伝送すると共に低遅延型レート
制御の符号復号手段により符号化及び復号処理する機能
を有するマルチメディア通信装置において、上記ネット
ワークを介して伝送されるマルチメディア情報を、当該
マルチメディア情報を構成するメディア情報ごとに上記
符号復号手段の復号処理能力に対応する情報長に分割す
る。そして、この分割されたメディア情報の各々につい
て、その属性を表す属性情報と、当該メディア情報の発
生時刻を表すタイムスタンプとをそれぞれ生成し、この
生成された属性情報及びタイムスタンプを上記分離され
たメディア情報に付加して、記録情報の１記録単位とし
て記録媒体に記録するようにしたものである。

【０００８】具体的には、上記分割手段において、マル
チメディア情報が自装置において入力されたものか或い
は前記ネットワークを介して受信されたものかを判定す
る。そして、上記マルチメディア情報が自装置において
入力された場合には、符号復号手段により符号化された
各メディア情報をそれぞれ当該符号復号手段の復号処理
能力に対応する情報長に分割し、この分割された情報長
ごとにタイムスタンプと属性情報を付加して記録する。

【０００９】また、上記マルチメディア情報がネットワ
ークを介して受信された場合には、この受信されたマル
チメディア情報に付加されているオーバヘッド部を削除
する。そして、このオーバヘッド部が削除されたマルチ
メディア情報を、そのメディア情報ごとに符号復号手段
の復号処理能力に対応する情報長に分割し、この分割さ
れた情報長ごとにタイムスタンプと属性情報を付加して
記録する。

【００１０】したがってこの発明によれば、各メディア
情報は予め符号復号手段の復号処理能力に対応する情報
長に分割されて記録される。このため、この記録された
メディア情報を再生する際に、符号復号手段では上記メ
ディア情報がフレームスキップ等を起こすことなく円滑
に復号される。また、メディア情報には上記分割された
情報長ごとにその発生時刻を表すタイムスタンプが付加
される。このため、上記記録されたメディア情報を再生
する際には、このタイムスタンプを利用することで、各
メディア情報間の時間的な対応関係、及び各メディア情
報の時間的な連続性を正しく保持することができる。

【００１１】したがって、テレビジョン電話通信を行う
場合のように、マルチメディア情報が通信路を介して実
時間又は低遅延で伝送され、それに応じて符号復号処理
手段において低遅延型レート制御の復号処理が行われる
場合でも、マルチメディア情報を円滑かつ正確に再生す
ることが可能となる。

【００１２】また、マルチメディア情報がネットワーク
を介して受信された場合でも、このマルチメディア情報
に付加されているオーバヘッド部が削除されるので、記
録対象のマルチメディア情報の冗長部分を少なくするこ
とができ、これにより記録媒体のメモリ容量を節約する
ことができる。

【００１３】さらに、マルチメディア情報はオーバヘッ
ド部が削除された状態で記録されるので、このマルチメ
ディア情報を再生する場合に上記オーバヘッド部による
影響を排除してメディア情報を正しく再生することが可
能となる。

【００１４】特に、記録対象のマルチメディア情報がネ
ットワークを介して受信されたものであって、かつ伝送
誤りを含んでいる場合には、この伝送誤りを含む旨の情
報を属性情報に含めて記録する。このようにすると、ネ
ットワークを介して受信されたマルチメディア情報に伝
送誤りが含まれていても、このマルチメディア情報を再
生する際に当該伝送誤りを訂正することが可能となり、
これによりマルチメディア情報をより一層高品質に再生
することができる。

【００１５】

【発明の実施の形態】図１は、この発明に係わるマルチ
メディア通信装置の一実施形態であるテレビジョン電話
通信装置の概略構成図である。

【００１６】このテレビジョン電話通信装置は、システ
ム制御用プロセッサ（Proc）１と、システム制御用メイ
ンメモリ（Main Mem）２とを備える。このシステム制御
用プロセッサ１及びシステム制御用メインメモリ２に
は、バスを介してマルチメディア通信処理部１１が接続
される。

【００１７】マルチメディア通信処理部１１は、多重分
離処理部（Mux/Demux）２３と、音声符号復号処理部（A
udio Codec）２４と、画像符号復号処理部（Video Code
c）２５とを備え、さらに制御部インタフェース（Host
IF）２１及びローカルメモリ（Local Mem）２２を備え
ている。この制御部インタフェース２１及びローカルメ
モリ２２は、上記各処理部２３〜２５と前記システム制
御用プロセッサ１との間の情報転送を行う。

【００１８】音声符号復号処理部２４は、音声入力部５
から入力されたディジタル音声信号を符号化してローカ
ルメモリ２２へ出力すると共に、ローカルメモリ２２か
ら出力された符号化音声データをディジタル音声信号に
復号してオーディオ出力部６へ供給する。

【００１９】画像符号復号処理部２５は、画像入力部３
から入力されたディジタル画像信号を符号化してローカ
ルメモリ２２へ出力すると共に、ローカルメモリ２２か
ら出力された符号化画像データをディジタル画像信号に
復号して画像出力部４へ供給する。

【００２０】多重分離処理部２３は、システム制御用プ
ロセッサ１の指示に従い動作するもので、マルチメディ
ア通信のための通常の多重分離処理機能に加え、マルチ
メディア情報をシステム制御用のメインメモリ２に記憶
するための記録処理機能と、システム制御用のメインメ
モリ２に記憶された記録情報を再生するための再生処理
機能とを備える。

【００２１】このうち記録処理機能には、自装置の音声
入力部５及び画像入力部３により入力されたマルチメデ
ィア情報を記録するための第１の記録処理モードと、通
信路を介して受信したマルチメディア情報を記録するた
めの第２の記録処理モードとがある。

【００２２】第１の記録処理モードは、音声符号復号処
理部２４及び画像符号復号処理部２５からそれぞれ音声
信号及び画像信号の符号化データを取り込み、これらの
符号化データをそれぞれ音声符号復号処理部２４及び画
像符号復号処理部２５の復号処理能力に応じた情報長に
分割する。また、この分割された情報長ごとにその長さ
情報、属性情報及びタイムスタンプを生成し、この生成
した情報を上記符号化データに付加することで記録情報
を構成する。

【００２３】第２の記録処理モードは、通信路Ｉ／Ｆ７
により受信されたマルチメディア情報をパケット単位で
取り込み、この受信パケットからオーバヘッド部を削除
した上で複数のメディア情報、つまり音声データ及び画
像データを分離する。そして、この分離された音声デー
タ及び画像データをそれぞれ音声符号復号処理部２４及
び画像符号復号処理部２５の復号処理能力に応じた情報
長に設定する。また、この情報長ごとにその長さ情報、
属性情報及びタイムスタンプを生成し、この生成した各
情報を上記対応する情報長の符号化データに付加するこ
とで記録情報を構成する。

【００２４】一方再生処理機能には、システム制御用の
メインメモリ２に記憶されたマルチメディア情報を自装
置の音声出力部６及び画像出力部４から再生出力させる
第１の再生処理モードと、システム制御用メインメモリ
２に記憶されたマルチメディア情報を通信路を介して通
信相手装置に伝送し再生させる第２の再生処理モードと
がある。

【００２５】第１の再生処理モードは、システム制御用
メインメモリ２から読み出された記録情報をその属性情
報をもとに前記所定の情報長ごとの音声データ及び画像
データに分離する。そして、この分離された音声データ
及び画像データをそれぞれ、上記情報長ごとにタイムス
タンプにより指示されるタイミングで音声符号復号処理
部２４及び画像符号復号処理部２５に供給し復号させ
る。

【００２６】第２の再生処理モードは、システム制御用
メインメモリ２から読み出された記録情報をその属性情
報をもとに前記所定の情報長ごとの音声データ及び画像
データに分離する。そして、この分離された音声データ
及び画像データを情報長ごとに付されたタイムスタンプ
により指示されるタイミングで送信パケットに多重化
し、この送信パケットを上記通信Ｉ／Ｆ７へ転送する。

【００２７】図２は、この実施形態におけるテレビジョ
ン電話通信装置の具体的な構成を示す回路ブロック図で
ある。

【００２８】同図において、送話器１０１、音声入力用
のアナログ信号処理回路１０２及びＡ／Ｄ変換器１０３
は前記音声入力部５を構成する。話者の送話音声は、マ
イクロホン１０１で集音されたのち音声入力用のアナロ
グ信号処理回路１０２で増幅及びフィルタ処理等が行わ
れ、しかるのちＡ／Ｄ変換器１０３でディジタル音声信
号に変換されて音声符号化器（A-Enc）１０４に入力さ
れる。この音声符号化器１０４は後述する音声復号器
（A-Dec）１４４と共に音声符号復号処理部２４を構成
する。上記Ａ／Ｄ変換器１０３から出力されたディジタ
ル音声信号は、音声符号化器１０４で例えばＡＭＲ（Ad
aptive Multi Rate）等の音声符号化方式により符号化
され、この符号化された音声データは多重化回路（Mu
x）１５１に入力される。

【００２９】また、カメラ１１１、画像入力用アナログ
信号処理回路１１２及びＡ／Ｄ変換器１１３は、前記画
像入力部３を構成する。カメラ１１１から出力された画
像信号は、画像入力用のアナログ信号処理回路１１２に
より所定の画像信号処理が施されたのちＡ／Ｄ変換器１
１３でディジタル画像信号に変換され、画像符号化器
（V-Enc）１１４に入力される。この画像符号化器１１
４は後述する画像復号器（V-Dec）１３４と共に前記画
像符号復号処理部２５を構成する。上記Ａ／Ｄ変換器１
１３から出力されたディジタル画像信号は、画像符号化
器１１４で例えばＭＰＥＧ４（Moving Picture Experts
Group 4）等の画像符号化方式により符号化され、この
符号化された画像データは上記多重化回路（Mux）１５
１に入力される。

【００３０】多重化回路１５１は、出力バッファメモリ
１５２、出力切替スイッチ１５３、分離回路（Demux）
１６１、入力切替スイッチ１６２及び入力バッファメモ
リ１６３と共に前記多重分離処理部２３を構成する。多
重化回路１５１により生成されたマルチメディア情報の
パケットは、出力バッファメモリ１５２及び出力切替ス
イッチ１５３を介して通信Ｉ／Ｆ７へ出力され、この通
信Ｉ／Ｆ７により例えば変調されて無線チャネルからな
る通信路へ送信される。

【００３１】また通信Ｉ／Ｆ７により受信されたマルチ
メディア情報は、入力切替スイッチ１６２及び入力バッ
ファメモリ１６３を介してパケットごとに分離回路１６
１に入力され、音声データと画像データとに分離され
る。そして、再生モードが設定されている場合には、上
記分離された音声データ及び画像データはそれぞれ音声
復号器１４４及び画像復号器１３４に入力されて復号さ
れる。音声出力用のＤ／Ａ変換器１４３、アナログ信号
処理回路１４２及び受話器１４１は、前記音声出力部６
を構成し、上記音声復号器１４４から出力されたディジ
タル音声信号をＤ／Ａ変換したのち所定の信号処理を施
して受話器１４１から出力する。画像出力用のＤ／Ａ変
換器１３３、アナログ信号処理回路１３２及び表示器１
３１は、前記画像出力部４を構成し、上記画像復号器１
３４から出力されたディジタル画像信号をＤ／Ａ変換し
たのち所定の信号処理を施して表示器１３１に表示す
る。

【００３２】システム制御回路１２３及び留守応答制御
回路１７２は、前記システム制御用のプロセッサ１及び
メインメモリ２に対応する。システム制御回路１２３
は、テレビジョン電話通信を行う通常の制御機能に加
え、留守番モードに係わるマルチメディア情報の記録及
び再生制御機能を有する。なお、留守応答制御回路１７
２は、留守応答モードが設定されている状態で、システ
ム制御回路１２３からの指示に従い通信Ｉ／Ｆ７を制御
することで、自動留守応答動作を可能にするものであ
る。

【００３３】次に、以上のように構成された装置におけ
るマルチメディア情報の記録動作及び再生動作を説明す
る。第４図は記録制御手順とその内容を示すフローチャ
ート、第５図は再生制御手順とその内容を示すフローチ
ャートである。

【００３４】（１）自装置で入力されたマルチメディア
情報を記録する場合 システム制御用プロセッサ１は、先ずステップ４ａにお
いて、ユーザにより指定された記録モードが、自装置で
入力されたマルチメディア情報を記録するモードか、或
いは通信路を介して受信したマルチメディア情報を記録
するモードかを判定する。この判定の結果、いまは自装
置で入力されたマルチメディア情報を記録するモードな
ので、システム制御用プロセッサ１は多重分離処理部２
３に対し第１の記録処理モードを設定する。またそれと
共に、入力されるメディア情報の種類が音声データと画
像データのうちのいずれであるのか或いは両方であるの
かを判定し、この判定結果をもとに多重分離処理部２３
に対し処理対象のメディア情報の種類を指示する。

【００３５】さて、記録動作が開始されると、多重分離
処理部２３はステップ４ｂからステップ４ｃに移行し、
ここで先ず記録用タイマをスタートさせる。次に、上記
ステップ４ａによる記録モードの判定結果をもとに、記
録元が自装置であるのか或いは通信路を介して接続され
る通信相手の装置であるのかをステップ４ｄで判定す
る。そして、記録元が自装置であればステップ４ｅに移
行して、ここで第１の記録処理モードに応じた記録情報
の作成処理を開始する。

【００３６】すなわち、通常の送信サイクルに従い、音
声符号復号処理部２４又は画像符号復号処理部２５から
一定量の符号化データを取り込む。このとき１回に取り
込まれる符号化データの情報長は、音声符号復号処理部
２４及び画像符号復号処理部２５が低遅延レート制御に
より復号処理を行った場合に処理可能な長さ、言い換え
れば通信路により実時間で伝送可能な最大パケット長以
下になるように設定される。例えば、６４ｋbps のネッ
トワークであれば伝送可能な最大パケット長は２０ｍse
c（１６０バイト）であり、この１６０バイトからヘッ
ダやフラグ等のオーバヘッド分を引いた残りの情報長に
設定される。

【００３７】次に多重分離処理部２３は、取り込んだ符
号化データについてその情報長を表す長さ情報と属性情
報を生成すると共に、上記記録用タイマの計時時刻をも
とに記録時刻を表すタイムスタンプを生成する。このと
き属性情報には、メディア情報の種類、画像データのフ
レーム間の切れ目を表す情報、処理単位の切れ目を表す
情報、画像データのフレームがそれ単独で表示可能なＩ
フレームであるか否かを表す情報、構成情報の位置を表
す情報等が含まれる。

【００３８】そして多重分離処理部２３は、上記生成さ
れた長さ情報、属性情報及びタイムスタンプを上記取り
込んだ符号化データに付加してこれを記録情報の１単位
とし、この記録情報をステップ４ｇにより制御部インタ
フェース２１を介してシステム制御用のメインメモリ２
へ転送し、格納させる。

【００３９】以後同様に、音声符号復号処理部２４又は
画像符号復号処理部２５から一定量の符号化データを取
り込むごとに、上記長さ情報、属性情報及びタイムスタ
ンプを生成して符号化データに付加して記録情報の１単
位を作成し、この記録情報をメインメモリ２に格納す
る。そして、一つのメディア情報、例えば音声データに
ついての記録処理が終了すると、続いて他のメディア情
報、例えば画像データの記録処理を同様に実行する。図
３は、以上のような処理によりメインメモリ２に記録さ
れた記録情報の構成を示す図である。

【００４０】なお、上記メディア情報の記録処理中に多
重分離処理部２３は、ステップ４ｉでローカルメモリ２
２のデータ保持量が一定量を超えたか否かを判定する。
そして、データ保持量が一定量を超えた場合にはステッ
プ４ｊにてシステム制御用プロセッサ１にその旨を通知
する。

【００４１】（２）自装置で入力されたマルチメディア
情報を記録する場合 システム制御用プロセッサ１は、前記（１）の場合と同
様に、先ずステップ４ａにおいて、ユーザにより指定さ
れた記録モードが、自装置で入力されたマルチメディア
情報を記録するモードか、或いは通信路を介して受信し
たマルチメディア情報を記録するモードかを判定する。
この判定の結果、通信路を介して受信したマルチメディ
ア情報を記録するモードであれば、システム制御用プロ
セッサ１は多重分離処理部２３に対し第２の記録処理モ
ードを設定する。またそれと共に、受信されるメディア
情報の種類が音声データと画像データのうちのいずれで
あるのか或いは両方であるのかを判定し、この判定結果
をもとに多重分離処理部２３に対し処理対象のメディア
情報の種類を指示する。

【００４２】さて、記録動作が開始されると多重分離処
理部２３は、ステップ４ｂからステップ４ｃに移行して
ここで先ず記録用タイマをスタートさせる。次に、上記
ステップ４ａによる記録モードの判定結果をもとに、記
録元が自装置であるのか或いは通信路を介して接続され
る通信相手の装置であるのかをステップ４ｄで判定す
る。そして、記録元が通信相手の装置であればステップ
４ｆに移行して、ここで第２の記録処理モードに応じた
記録情報の作成処理を開始する。

【００４３】すなわち、通信Ｉ／Ｆ７から受信パケット
を一つ取り込むごとに、当該受信パケットのオーバヘッ
ド部を削除すると共に複数のメディア情報を分離抽出す
る。そして、この１パケットに多重化されていたメディ
ア情報について、その情報長を表す長さ情報と属性情報
を生成すると共に、上記記録用タイマの計時時刻をもと
に記録時刻を表すタイムスタンプを生成する。このとき
属性情報には、メディア情報の種類、画像データのフレ
ーム間の切れ目を表す情報、処理単位の切れ目を表す情
報、画像データのフレームがそれ単独で表示可能なＩフ
レームであるか否かを表す情報等が含められる。また、
受信されたメディア情報に伝送誤りがあるか否かが判定
され、伝送誤りが存在する場合にはその旨を表す情報も
上記属性情報に加えられる。

【００４４】そして多重分離処理部２３は、上記生成さ
れた長さ情報、属性情報及びタイムスタンプを、上記受
信した１パケットのメディア情報に付加して、これを記
録情報の１単位とする。そして、この記録情報をステッ
プ４ｇにより制御部インタフェース２１を介してシステ
ム制御用のメインメモリ２へ転送し、格納させる。

【００４５】以後同様に、通信Ｉ／Ｆ７から受信パケッ
トを取り込むごとに、そのオーバヘッドを除去したのち
複数のメディア情報をそれぞれ分離する。そして、分離
された各メディア情報の各々について、上記長さ情報、
属性情報及びタイムスタンプを生成して符号化データに
付加し、これを記録情報の１単位としてメインメモリ２
に格納する。以上の処理はメディア種別ごとに行われ、
システム制御用プロセッサ１から記録終了の指示が到来
した時点で処理終了となる。

【００４６】（３）記録情報を自装置において再生出力
する場合 システム制御用プロセッサ１は、先ずステップ５ａにお
いて、ユーザにより指定された再生モードが、記録情報
を自装置で再生出力するモードか、或いは記録情報を通
信路を介して通信相手の装置へ伝送し再生させるモード
かを判定する。この判定の結果、いまは自装置で再生す
るモードなので、システム制御用プロセッサ１は多重分
離処理部２３に対し第１の再生処理モードを設定する。
またそれと共にシステム制御用プロセッサ１は、再生さ
れるメディア情報の種類を多重分離処理部２３に対し通
知する。

【００４７】この状態で再生動作が開始されると、多重
分離処理部２３はステップ５ｂからステップ５ｃに移行
し、ここで先ず再生用タイマをスタートさせる。次に、
システム制御用のメインメモリ２から記録情報が転送さ
れるのを待つ。この状態で記録情報がインタフェース２
１を介してローカルメモリ２２に転送されると、ステッ
プ５ｄにおいてローカルメモリ２２から記録情報を１単
位ずつ取り込み、この取り込んだ記録情報からその属性
情報をもとにメディア情報、つまり音声データ及び画像
データを分離する。

【００４８】続いて、ステップ５ｅにおいて、この分離
されたメディア情報に付加されているタイムスタンプに
より指示される再生時刻と上記再生用タイマの時刻とを
比較する。そして、時刻が一致するか又は再生時刻が過
ぎていると、その時点でステップ５ｇにより再生先が自
装置か通信相手装置かを判定し、再生先が自装置であれ
ばステップ５ｈに移行して、上記分離されたメディア情
報、つまり音声データ及び画像データをそれぞれ音声符
号復号処理部２４及び画像符号復号処理部２５に転送す
る。

【００４９】なお、このとき再生対象のメディア情報が
音声データの場合には、ステップ５ｆにおいて、音声デ
ータの最初のフレームの前に相関を切断するための情報
を挿入する。この相関を切断するための情報を挿入する
ことで、例えば通話中に記録情報の音声データを再生し
ようとした場合に、受話音声から再生音声に切り替わる
時点での異音の発生が防止される。

【００５０】音声符号復号処理部２４及び画像符号復号
処理部２５ではそれぞれ、上記転送された音声データ及
び画像データの復号処理が行われ、この復号処理により
得られたディジタル音声信号及びディジタル画像信号は
音声出力部６及び画像出力部４に供給される。そして、
音声信号は受話器１４１から拡声出力され、また画像信
号は表示器１３１に表示される。このとき上記転送され
た音声データ及び画像データの情報長は、音声符号復号
処理部２４及び画像符号復号処理部２５により低遅延型
レート制御で復号処理可能な長さに予め設定されてい
る。このため、上記音声データ及び画像データはフレー
ムスキップなどを起こすことなく円滑に再生される。

【００５１】多重分離処理部２３は、以上述べた１記録
単位ごとのメディア情報の再生処理を各メディア情報ご
とに実行する。そして、全メディア情報についての再生
が終了すると、ステップ５ｊからステップ５ｎに移行し
てここでシステム制御用プロセッサ１からの記録終了通
知を待ち、記録終了が通知されると再生処理動作を終了
する。

【００５２】なお、上記メディア情報の再生期間中に多
重分離処理部２３は、ステップ５ｋでローカルメモリ２
２のデータ保持量が一定量以下になったか否かを判定す
る。そして、一定量以下に低下するとステップ５ｍでシ
ステム制御用プロセッサ１に対しデータ転送要求を通知
する。

【００５３】（４）記録情報を通信路を介して通信相手
装置へ伝送し再生させる場合 システム制御用プロセッサ１は、前記（３）の場合と同
様に、先ずステップ５ａにおいて、ユーザにより指定さ
れた再生モードが、記録情報を自装置で再生出力するモ
ードか、或いは記録情報を通信路を介して通信相手の装
置へ伝送し再生させるモードかを判定する。この判定の
結果、いまは通信相手装置で再生させるモードなので、
システム制御用プロセッサ１は多重分離処理部２３に対
し第２の再生処理モードを設定する。またそれと共にシ
ステム制御用プロセッサ１は、再生されるメディア情報
の種類を多重分離処理部２３に対し通知する。

【００５４】この状態で再生動作が開始されると、多重
分離処理部２３はステップ５ｂからステップ５ｃに移行
し、ここで先ず再生用タイマをスタートさせる。次に、
システム制御用のメインメモリ２から記録情報が転送さ
れるのを待つ。この状態で記録情報がインタフェース２
１を介してローカルメモリ２２に転送されると、ステッ
プ５ｄにおいてローカルメモリ２２から記録情報を１単
位ずつ取り込み、この取り込んだ記録情報からその属性
情報をもとにメディア情報、つまり音声データ及び画像
データを分離する。

【００５５】続いて、ステップ５ｅにおいて、この分離
されたメディア情報に付加されているタイムスタンプに
より指示される再生時刻と上記再生用タイマの時刻とを
比較する。そして、時刻が一致するか又は再生時刻が過
ぎていると、その時点でステップ５ｇにより再生先が自
装置か通信相手装置かを判定し、再生先が通信相手装置
であればステップ５ｉに移行する。多重化分離処理部２
３は、このステップ５ｉにおいて、通常の送信と同様
に、上記分離された音声データ及び画像データを多重化
して送信パケットを生成する。そして、この生成された
送信パケットを通信Ｉ／Ｆ７に転送する。通信Ｉ／Ｆ７
は、転送された上記送信パケットを無線送信が可能な形
態に変換して通信路へ送信する。

【００５６】上記送信パケットは、実時間又は低遅延で
通信相手装置へ伝送される。そして通信相手装置におい
て、デパケットされたのち低遅延型レート制御される符
号復号処理部で復号処理されて再生される。このとき上
記１個の送信パケットに多重化されているメディア情報
の情報長は、符号復号処理部により低遅延型レート制御
で復号処理可能な長さに記録時において予め設定されて
いるため、通信相手装置ではフレームスキップなどを起
こすことなく円滑に再生される。

【００５７】多重分離処理部２３は、以上述べた１記録
単位ごとのメディア情報の再生送信処理を各メディア情
報ごとに実行する。そして、全メディア情報についての
再生が終了すると、ステップ５ｊからステップ５ｎに移
行してここでシステム制御用プロセッサ１からの記録終
了通知を待ち、記録終了が通知されると再生処理動作を
終了する。

【００５８】なお、上記メディア情報の再生期間中に多
重分離処理部２３は、ステップ５ｋでローカルメモリ２
２のデータ保持量が一定量以下になったか否かを判定す
る。そして、一定量以下に低下するとステップ５ｍでシ
ステム制御用プロセッサ１に対しデータ転送要求を通知
する。

【００５９】以上述べたようにこの実施形態では、入力
されたマルチメディア情報或いは受信されたマルチメデ
ィア情報を記録する際に、この記録対象のマルチメディ
ア情報をそのメディアごとに、低遅延型レート制御の符
号復号処理部２４，２５で復号処理可能な情報長に予め
分割すると共に、この分割された情報ごとにその長さ情
報、属性情報及び記録時刻を表すタイムスタンプを生成
する。そして、これらの情報を上記分割された情報に付
加して、これを記録情報の１単位としてメインメモリ２
に格納するようにしている。

【００６０】また、そうして記録された情報を再生する
際には、記録情報を上記１記録単位ごとに読み出して、
この読み出されたメディア情報をタイムスタンプで指示
されるタイミングで符号復号処理部２４，２５に与えて
復号処理させるか、或いは通信Ｉ／Ｆ７に与えて通信路
へ送信させるようにしている。

【００６１】したがってこの実施形態によれば、テレビ
ジョン電話通信を行う場合のように、マルチメディア情
報が通信路を介して実時間又は低遅延で伝送され、それ
に応じて符号復号処理部において低遅延型レート制御の
復号処理が行われる場合でも、フレームスキップ等を起
こすことなくマルチメディア情報を円滑かつ正確に再生
することが可能となる。

【００６２】また、マルチメディア情報がネットワーク
を介して受信された場合でも、このマルチメディア情報
に付加されているオーバヘッド部が削除されたのち記録
情報が再構成されるので、記録情報の冗長部分を少なく
することができ、これによりメインメモリ２の記憶容量
を節約することができる。さらに、記録されたマルチメ
ディア情報を再生する場合に、上記オーバヘッド部がメ
ディア情報の一部として再生される不具合はなくなり、
これによりメディア情報を正しく再生することができ
る。

【００６３】さらにこの実施形態では、記録対象のマル
チメディア情報がネットワークを介して受信されたもの
であってかつ伝送誤りを含んでいる場合には、この伝送
誤りを含む旨の情報が属性情報に挿入されて記録され
る。このため、ネットワークを介して受信されたマルチ
メディア情報に伝送誤りが発生していたとしても、この
マルチメディア情報を再生する際には当該伝送誤りを訂
正することが可能となり、これによりマルチメディア情
報をより一層高品質に再生することができる。

【００６４】なお、この発明は上記実施形態に限定され
るものではない。例えば、前記実施形態では記録対象の
マルチメディア情報を装置内のＲＡＭやフラッシュメモ
リ等の半導体メモリに記憶する場合を例にとって説明し
たが、ＣＤやＤＶＤ、メモリカード等の外部メモリに記
録するようにしてもよい。

【００６５】また前記実施形態では、メディア情報とし
て音声データと画像データとを用いた場合を例にとって
説明したが、コンピュータデータ等のその他のメディア
情報を記録対象としてもよい。

【００６６】さらに前記実施形態では、記録情報の生成
処理及び記録情報の再生処理を多重分離処理部２３にお
いて行うようにしたが、システム制御用プロセッサで行
ってもよく、またマルチメディア通信処理部にローカル
プロセッサ或いはＤＳＰ等を使用した信号処理部を設
け、このローカルプロセッサ或いは信号処理部で行うよ
うにしてもよい。

【００６７】その他、マルチメディア通信装置の種類や
その構成、マルチメディア情報の記録処理手順とその内
容、記録情報の再生処理手順とその内容等についても、
この発明の要旨を逸脱しない範囲で種々変形して実施で
きる。

【００６８】

【発明の効果】以上詳述したようにこの発明では、マル
チメディア情報をネットワークを介して実時間又は低遅
延で伝送すると共に低遅延型レート制御の符号復号手段
により符号化及び復号処理する機能を有するマルチメデ
ィア通信装置において、上記ネットワークを介して伝送
されるマルチメディア情報を、当該マルチメディア情報
を構成する各メディア情報ごとに上記符号復号手段の復
号処理能力に対応する情報長に分割する。そして、この
分割されたメディア情報の各々について、その属性を表
す属性情報と、当該メディア情報の発生時刻を表すタイ
ムスタンプとをそれぞれ生成し、この生成された属性情
報及びタイムスタンプを上記分離されたメディア情報に
付加して、記録情報の１記録単位として記録媒体に記録
するようにしている。

【００６９】従ってこの発明によれば、メモリ容量の増
大や記録情報の再送信に支障を生じることなく、低遅延
型レート制御の符号・復号処理の下でも上記記録情報を
正しく再生することが可能なマルチメディア通信装置と
その信号処理モジュールを提供することができる。

【図面の簡単な説明】

【図１】 この発明に係わるマルチメディア通信装置の
一実施形態であるテレビジョン電話通信装置の概略構成
を示す図。

【図２】 図１に示したテレビジョン電話通信装置の具
体的な構成を示す回路ブロック図。

【図３】 図１及び図２に示したテレビジョン電話通信
装置において作成され記録される記録情報の構成を示す
図。

【図４】 図１及び図２に示したテレビジョン電話通信
装置によるマルチメディア情報記録制御の手順と内容を
示すフローチャート。

【図５】 図１及び図２に示したテレビジョン電話通信
装置によるマルチメディア情報再生制御の手順と内容を
示すフローチャート。

【符号の説明】

１…システム制御用プロセッサ（Proc） ２…システム制御用メインメモリ（Main Mem） ３…ビデオ入力部 ４…ビデオ出力部 ５…オーディオ入力部 ６…オーディオ出力部 ７…通信インタフェース部 １１…マルチメディア通信処理部 ２１…システム制御部インタフェース（Host IF） ２２…ローカルメモリ（Local Mem） ２３…多重分離処理部（Mux/Demux） ２４…音声符号復号処理部（Audio Codec） ２５…画像符号復号処理部（Video Codec） １０１…送話器 １０２…音声入力用アナログ信号処理回路 １０３…音声入力用のＡ／Ｄ変換器 １０４…音声符号化器（A-Enc） １１１…カメラ １１２…画像入力用のアナログ信号処理回路 １１３…画像入力用のＡ／Ｄ変換器 １１４…画像符号化器（V-Enc） １２１…ダイヤルキー １２２ａ〜１２２ｎ…機能キー １２３…システム制御回路 １３１…表示器 １３２…画像出力用のアナログ信号処理回路 １３３…画像出力用のＡ／Ｄ変換器 １３４…画像復号器（V-Dec） １４１…受話器 １４２…音声出力用のアナログ信号処理回路 １４３…音声出力用のＡ／Ｄ変換器 １４４…音声復号器（A-Dec） １５１…多重化回路（Mux） １５２…出力バッファメモリ １５３…出力切替スイッチ １６１…分離回路（Demux） １６２…入力切替スイッチ １６３…入力バッファメモリ １７２…留守応答制御回路

フロントページの続き Ｆターム(参考） 5C053 FA27 GA11 GB06 GB17 GB21 JA01 JA12 JA21 JA22 JA23 KA01 KA24 LA14 5C064 AA01 AB04 AC01 AC16 AC18 AD02 AD14 5K027 AA11 CC01 HH26 5K067 AA21 BB04 BB21 DD51 EE02 FF40 HH22 HH23 KK13 KK15

Claims (10)

【特許請求の範囲】
1. 【請求項１】 マルチメディア情報をネットワークを介
   して実時間又は低遅延で伝送すると共に低遅延型レート
   制御の符号復号手段により符号化及び復号処理する機能
   を有するマルチメディア通信装置において、 前記ネットワークを介して伝送されるマルチメディア情
   報を、当該マルチメディア情報を構成する各メディア情
   報ごとに前記符号復号手段の復号処理能力に対応する情
   報長に分割する分割手段と、 前記分割されたメディア情報の各々について、その属性
   を表す属性情報と、当該メディア情報の発生時刻を表す
   タイムスタンプとをそれぞれ生成する生成手段と、 前記分割されたメディア情報と前記生成された属性情報
   及びタイムスタンプとを記録情報の１記録単位として記
   録媒体に記録する記録制御手段とを具備したことを特徴
   とするマルチメディア通信装置。
2. 【請求項２】 前記分割手段は、 前記マルチメディア情報が自装置において入力されたも
   のか或いは前記ネットワークを介して受信されたものか
   を判定する手段と、 前記マルチメディア情報が自装置において入力された場
   合には、前記符号復号手段により符号化された各メディ
   ア情報をそれぞれ前記符号復号手段の復号処理能力に対
   応する情報長に分割する手段とを備えることを特徴とす
   る請求項１記載のマルチメディア通信装置。
3. 【請求項３】 前記分割手段は、 前記マルチメディア情報が自装置において入力されたも
   のか或いは前記ネットワークを介して受信されたものか
   を判定する手段と、 前記マルチメディア情報が前記ネットワークを介して受
   信された場合には、この受信されたマルチメディア情報
   に付加されているオーバヘッド部を削除し、このオーバ
   ヘッド部が削除されたマルチメディア情報をそのメディ
   ア情報ごとに前記符号復号手段の復号処理能力に対応す
   る情報長に分割する手段とを備えることを特徴とする請
   求項１記載のマルチメディア通信装置。
4. 【請求項４】 前記生成手段は、記録対象のマルチメデ
   ィア情報が前記ネットワークを介して受信されたもので
   あって、かつ伝送誤りを含んでいる場合には、この伝送
   誤りを含む旨の情報を前記属性情報に含めることを特徴
   とする請求項１記載のマルチメディア通信装置。
5. 【請求項５】 再生要求に応じて前記記録媒体から記録
   情報を読み出し、この読み出された記録情報を１記録単
   位ごとにその属性情報をもとに複数のメディア情報に分
   離する手段と、 前記分離された各メディア情報を１記録単位分ずつ対応
   する前記タイムスタンプにより指示される時刻に再生す
   る再生制御手段とを、さらに具備したことを特徴とする
   請求項１記載のマルチメディア通信装置。
6. 【請求項６】 前記再生制御手段は、 前記記録情報の再生場所が自装置であるか或いは前記ネ
   ットワークを介して接続される他の装置であるかを判定
   する手段と、 前記記録情報の再生場所が自装置である場合には、前記
   分離された各メディア情報を１記録単位分ずつ前記タイ
   ムスタンプにより指定される時刻に前記符号復号手段に
   復号処理させる手段とを備えることを特徴とする請求項
   ５記載のマルチメディア通信装置。
7. 【請求項７】 前記再生制御手段は、 前記記録情報の再生場所が自装置であるか或いは前記ネ
   ットワークを介して接続される他の装置であるかを判定
   する手段と、 前記記録情報の再生場所が前記ネットワークを介して接
   続される他の装置である場合には、前記分離された各メ
   ディア情報を１記録単位分ずつ多重化してマルチメディ
   ア情報のパケットを生成すると共に、この生成されたパ
   ケットを対応する前記タイムスタンプにより指定される
   時刻に前記ネットワークへ送信する手段とを備えること
   を特徴とする請求項５記載のマルチメディア通信装置。
8. 【請求項８】 前記再生制御手段は、再生対象のメディ
   ア情報が音声情報の場合に、その最初の位置に相関を切
   断するための情報を挿入する手段を備えることを特徴と
   する請求項５記載のマルチメディア通信装置。
9. 【請求項９】 マルチメディア情報をネットワークを介
   して実時間又は低遅延で伝送すると共に低遅延型レート
   制御の符号復号手段により符号化及び復号処理するマル
   チメディア通信装置に設けられる信号処理モジュールに
   おいて、 前記ネットワークを介して伝送されるマルチメディア情
   報を、当該マルチメディア情報を構成する各メディア情
   報ごとに前記符号復号手段の復号処理能力に対応する情
   報長に分割する手段と、 前記分割されたメディア情報の各々について、その属性
   を表す属性情報と、当該メディア情報の発生時刻を表す
   タイムスタンプとをそれぞれ生成する手段と、 前記分割されたメディア情報と前記生成された属性情報
   及びタイムスタンプとを記録情報の１記録単位として記
   録媒体に記録させる手段とを具備したことを特徴とする
   信号処理モジュール。
10. 【請求項１０】 再生要求に応じて前記記録媒体から記
    録情報を読み出し、この読み出された記録情報を１記録
    単位ごとにその属性情報をもとに複数のメディア情報に
    分離する手段と、 前記分離された各メディア情報を１記録単位分ずつ対応
    する前記タイムスタンプにより指示される時刻に再生す
    べく、前記符号復号手段の復号処理又は前記ネットワー
    クへの送信処理を制御する手段とを、さらに具備したこ
    とを特徴とする請求項９記載の信号処理モジュール。