JP2000197024A - 音声画像通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 音声データにエラーが発生した場合、または
回線の状態が劣悪で正しいデータの通信が困難な場合
に、少なくとも音声データを相手先に送信することので
きる音声画像通信装置を提供すること。 【解決手段】 画像データおよび音声データを多重して
複合データを生成するとともに、受信した複合データを
画像データと音声データに分離する多重分離処理手段１
０７と、該多重分離処理手段から出力された複合データ
を送信しまたは通信相手から復号データを受信する通信
処理手段１０８，１０９と、受信した複合データの誤り
を検出する誤り検出手段１００とを、少なくとも有する
音声画像通信装置において、音声データと画像データを
多重通信している状態において、前記多重分離処理手段
は、前記誤り検出手段が受信したデータに一定以上のデ
ータ誤りを検出した時、画像データの送信を中止するよ
うに処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声と画像を同時
に双方向で通信することのできる音声画像通信装置に係
り、特に、通信状態が劣悪な場合でも、音声データのみ
を送信することにより、音声が途切れたりすることなく
相手と通信することのできる音声画像通信装置に関す
る。

【０００２】

【従来の技術】電話回線を用いて音声と画像の情報を伝
送する技術として、特開平６−２５３０７２号公報に
は、回線のデータ通信速度に応じて、画像データと音声
データの割合を決めてデータ合成を行うことにより、音
声の品質を保ちながら、画像データを伝送する技術が紹
介されている。

【０００３】図１０に、従来技術に係わる音声画像同時
通信装置の主要部のブロック図を示す。

【０００４】同図において、同装置が回線接続され、音
声と画像のデータ通信を行なう状態になっている場合、
システム制御部９１０は、画像符号化部９０１からデー
タ合成部９０３に画像符号化データを送信し、また音声
符号化部９０５からデータ合成部９０３に音声符号化デ
ータを送信するように制御を行い、さらにデータ合成部
９０３では、受信したデータを合成し、システム制御部
９１０の制御命令により、回線のデータ通信速度に応じ
て予め決められた音声データ通信速度と、画像データ通
信速度の割合で、時分割で音声符号化データと画像符号
化データをモデム部９０８に出力している。モデム部９
０８では前記の各符号化データをアナログ信号に変調し
て、２線４線変換部９０９を介して電話回線９０４に出
力される。一方、２線４線変換部９０９を介してデータ
を受信した場合は、モデム部９０８でアナログ信号から
ディジタル信号に復調し、システム制御部９１０の制御
により、データ分離部９０７において音声符号化データ
と画像符号化データに分離処理される。分離処理された
音声符号化データは音声複合化部９０６へ送信し、また
画像符号化データは画像符号化部９０２に送信し、それ
ぞれ複合化する。

【０００５】

【発明が解決しようとする課題】上記従来の技術では、
回線のデータ通信速度によって、音声データの通信速度
は一定になるので、回線品質の劣化などにより、音声の
データに連続してエラーが発生した場合、受信側で正し
く音声が再生されなかったり、音声が途切れたりする現
象が発生する。

【０００６】本発明の目的は、上記の従来技術の問題点
を改善した音声と画像の両方のデータを同時に双方向で
通信することのできる音声画像通信装置を提供すること
にある。

【０００７】

【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような手段を採用した。

【０００８】画像データおよび音声データを多重して複
合データを生成するとともに、受信した複合データを画
像データと音声データに分離する多重分離処理手段と、
該多重分離処理手段から出力された複合データを送信し
または通信相手から復号データを受信する通信処理手段
と、受信した複合データの誤りを検出する誤り検出手段
とを、少なくとも有する音声画像通信装置において、音
声データと画像データを多重通信している状態におい
て、前記多重分離処理手段は、前記誤り検出手段が受信
したデータに一定以上のデータ誤りを検出した時、画像
データの送信を中止するように処理することを特徴とす
る。

【０００９】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記誤り検出手段が
受信したデータに一定以上のデータ誤りを検出した時
は、画像データの送信を中止する要求を送信し、または
画像データの送信を中止する要求を受信した時は、画像
データの送信を中止するように処理することを特徴とす
る。

【００１０】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記誤り検出手段が
受信した音声データに一定以上のデータ誤りを検出した
時は、音声データの再送の要求を送信し、または音声デ
ータの再送の要求を受信した時は、音声データを再送す
るように処理することを特徴とする。

【００１１】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記通信処理手段に
よりデータ通信速度を取得し、該データ通信速度が所定
の速度より遅い時は、画像データの送信を中止するよう
に処理することを特徴とする。

【００１２】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記誤り検出手段が
受信したデータに一定以上のデータ誤りを検出した時、
音声データの送信を中止するように処理することを特徴
とする。

【００１３】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記誤り検出手段が
受信したデータに一定以上のデータ誤りを検出した時
は、画像データの送信を中止し、または画像データの送
信を中止する要求を受信した時は、音声データの送信を
中止するように処理することを特徴とする。

【００１４】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記誤り検出手段が
受信した画像データに一定以上のデータ誤りを検出した
時は、画像データの再送の要求を送信し、または画像デ
ータの再送の要求を受信した時は、画像データを再送す
るように処理することを特徴とする。

【００１５】また、画像データおよび音声データを多重
して複合データを生成するとともに、受信した複合デー
タを画像データと音声データに分離する多重分離処理手
段と、該多重分離処理手段から出力された複合データを
送信しまたは通信相手から復号データを受信する通信処
理手段と、受信した複合データの誤りを検出する誤り検
出手段とを、少なくとも有する音声画像通信装置におい
て、音声データと画像データを多重通信している状態に
おいて、前記多重分離処理手段は、前記通信処理手段に
よりデータ通信速度を取得し、該データ通信速度が所定
の速度より遅い時は、音声データの送信を中止するよう
に処理することを特徴とする。

【００１６】また、請求項１、請求項２、請求項３、請
求項４、請求項５、請求項６、請求項７、または請求項
８に記載の音声画像通信装置において、前記多重分離処
理手段において多重分離処理される画像データは、カメ
ラやＴＶ等の映像信号を圧縮符号化した画像符号化デー
タであることを特徴とする。

【００１７】また、請求項１、請求項２、請求項３、請
求項４、請求項５、請求項６、請求項７、または請求項
８に記載の音声画像通信装置において、前記多重分離処
理手段において多重分離処理される音声データは、マイ
ク等から入力された音声信号を圧縮符号化した音声符号
化データであることを特徴とする。

【００１８】

【発明の実施の形態】本発明の一実施の形態を図１から
図９を用いて説明する。図１は、本実施の形態に係わる
音声画像通信装置の全体構成を示すブロック図である。

【００１９】同図において、１００は音声画像通信装
置、１０１はカメラやＶＴＲからの画像信号を取り込む
画像入力部、１０２は受信した画像信号をディスプレイ
等に出力する画像出力部、１０３は画像データの符号化
および復号化を行う画像コーディック部、１０４はマイ
ク等からの音声信号を取り込む音声入力部、１０５は受
信した音声信号をスピーカ等に出力する音声出力部、１
０６は音声データの符号化および復号化を行う音声コー
ディック部、１０７は音声符号化データや画像符号化デ
ータのパケット化処理、多重分離処理等を行う多重分離
処理部、１０８は通信データの変復調を行うモデム部、
１０９は回線接続切断等の回線制御処理を行う回線制御
部、１１０はシステム全体を制御する制御部、１１１は
電話回線、１１２は音声画像通信装置１００と同様の構
成を有し、音声と画像の通信を行う対向音声画像通信装
置である。

【００２０】画像入力部１０１に入力された画像信号は
画像データに変換され、画像コーディック部１０３に入
力され圧縮符号化され多重分離処理部１０７に入力され
る。音声入力部１０４に入力された音声信号は音声デー
タに変換され、音声コーディック部１０６に入力され圧
縮符号化され多重分離処理部１０７に入力される。多重
分離処理部１０７では、モデム部１０８から回線状態と
回線のデータ通信速度情報を取得し、回線の状態に応じ
て、符号化された音声データと画像データを予め決めら
れた方法で多重してモデム部１０８に出力する。モデム
部１０８は入力された符号化データをアナログ信号に変
調して回線制御部１０９を介して電話回線１１１に送出
する。

【００２１】次に、電話回線１１１から送られてくるア
ナログ信号は、回線制御部１０９を介してモデム部１０
８に入力され、符号化データに復調される。符号化デー
タは、多重分離処理部１０７に入力され、音声符号化デ
ータと画像符号化データに分離される。音声符号化デー
タは音声コーディック部１０６に入力され音声データに
復号化されると、音声出力部１０５に入力されて音声信
号に変換され出力される。画像符号化データは画像コー
ディック部１０３に入力され画像データに復号化される
と、画像出力部１０２に入力されて画像信号に変換され
出力される。

【００２２】多重分離処理部１０７が受信した符号化デ
ータにエラーを検出した場合は、制御部１１０は、画像
コーディック部１０３に対し画像符号化データの送信処
理を中止するように制御し、対向音声画像通信装置１１
２に対して、画像送信を中止する制御データを送信し、
画像データの送信を中止する。また、多重分離処理部１
０７は受信した音声符号化データにエラーを検出した場
合は、制御部１１０は、エラーのあった音声符号化デー
タを再送要求する制御データを送信し、逆に音声符号化
データを再送する制御データを受信した場合は、音声符
号化データを再送するように制御する。

【００２３】図２は、本実施の形態に係わる音声画像通
信装置のハードウェア構成を示すブロック図である。

【００２４】同図において、１００１は画像データの符
号化および複合化を行なう画像コーディック、１００２
は音声データの符号化および複合化を行なう音声コーデ
ィック、１００３はＲＯＭ、１００４はＲＡＭ、１００
５は本装置の制御を行なうＣＰＵ、１００６はデータ通
信を行なうモデム、１００７は電話回線、１００８はバ
ス、１００９は映像信号をＡ／Ｄ変換する画像Ａ／Ｄコ
ンバータ、１０１０は画像データを映像信号にＤ／Ａ変
換するＤ／Ａコンバータ、１０１１は音声信号をＡ／Ｄ
変換する音声Ａ／Ｄコンバータ、１０１２は音声データ
をＤ／Ａ変換する音声Ｄ／Ａコンバータである。

【００２５】図３は、音声画像通信装置１００と対向音
声画像通信装置１１２との間で通信するデータのパケッ
ト構成を示す図である。

【００２６】同図において、２００は多重分離処理部１
０７からモデム部１０８を介して対向音声画像通信装置
１１２とデータ通信する場合のパケット列を示す通信多
重データパケット列、２０１は音声コーディック部１０
６から出力された音声符号化データを多重分離処理部１
０７でパケット化したときの構成を示す音声データパケ
ット、２０２は画像コーディック部１０３から出力され
た画像符号化データを多重分離処理部１０７でパケット
化したときの構成を示す画像データパケット、２０３は
各部の制御を行うための制御データを多重分離処理部１
０７でパケット化したときの構成を示す制御データパケ
ットである。

【００２７】ここで、音声画像通信装置１００による音
声データと画像データの同時送受信動作について図１お
よび図３を用いて説明する。

【００２８】制御部１１０は、対向音声画像通信装置１
１２へ発信処理を行なうために、モデム部１０８に発信
処理命令を出力する。次いで、モデム部１０８は回線制
御部１０９を介してダイヤル処理を行い、回線接続処理
を行なう。対向音声画像通信装置１１２に着信し回線接
続されると、モデム部１０８はデータ通信を行うための
ネゴシエーション処理を行い、データ通信モードに移行
する。モデム部１０８はデータ通信モードで接続された
ことを制御部１１０に通知する。

【００２９】次に、音声データと画像データを音声画像
通信装置１００から、対向音声画像通信装置１１２に送
信する処理について説明する。

【００３０】制御部１１０は、モデム部１０８からデー
タ通信モードで接続したことを確認すると、画像コーデ
ッィク部１０３に対し、画像データを符号化複合化処理
する状態に設定し、また、音声コーディック部１０７に
対し、音声データを符号化複合化処理する状態に設定す
る。カメラ等から画像入力部１０１に入力された画像信
号は、画像入力部１０１でＡ／Ｄ変換され画像データと
して画像コーディック部１０３に入力される。画像デー
タは画像コーディック部１０３で画像符号化データに符
号化されると、多重分離処理部１０７に送られる。同様
に、マイク等から音声入力部１０４に入力された音声信
号は、音声入力部１０４でＡ／Ｄ変換され音声データと
して音声コーディック部１０６に入力される。音声デー
タが音声コーディック部１０６で音声符号化データに符
号化されると、多重分離処理部１０７に送られる。多重
分離処理部１０７は、受信した画像符号化データと音声
符号化データを対向音声画像通信装置１１２へ送信する
ため、図３に示すような音声データパケット２０１およ
び画像データパケット２０２のフォーマットでパケット
化する。パケット化の処理内容は、対向音声画像通信装
置１１２がデータパケットを受信した時に先頭を検出す
るためのヘッダ情報を付加し、さらに受信したデータパ
ケットの種別を区別するためのパケット種別情報を付加
する。多重分離処理部１０７においてパケット化される
と、パケット化されたデータはモデム部１０８へ送信さ
れ、モデム部１０８において、データパケットをアナロ
グ信号に変調して回線制御部１０９を経由して電話回線
１１１に出力する。

【００３１】次に、対向音声画像通信装置１１２から送
信された各データパケットの音声画像通信装置１００お
ける受信処理について説明する。

【００３２】音声画像通信装置１００は、対向音声画像
通信装置１１２から送信されたデータパケットを、電話
回線１１１を介して受信する。受信したデータパケット
は、回線制御部１０９を介してモデム部１０８に入力さ
れ、モデム部１０８は受信したデータパケットをアナロ
グ信号からディジタル信号に復調し、多重分離処理部１
０７へ送信する。多重分離処理部１０７は、モデム部１
０８から通信多重データパケット列２００で構成される
データパケットを順次受信する。多重分離処理部１０７
は、受信した通信多重データパケット列２００からヘッ
ダ部を検出すると、音声データパケット２０１、画像デ
ータパケット２０２、制御データパケット２０３の各種
パケットに分離する処理を行い、分離したデータパケッ
トが音声データパケット２０１の時は音声符号化データ
を抽出して音声コーディック部１０６へ、画像データパ
ケット２０２の時は画像符号化データを抽出して画像コ
ーディック部１０３へ、制御データパケット２０３の時
は制御データを制御部１１０へ、それぞれ送信する。音
声コーディック部１０６は受信した音声符号化データを
音声データに復号化し、音声出力部１０５に送信する。
音声出力部１０５は、受信した音声データを音声信号に
Ｄ／Ａ変換し、スピーカ等に出力する。また、画像コー
ディック部１０３は、受信した画像符号化データを画像
データに復号化し、画像出力部１０２に送信する。画像
出力部１０２は、受信した画像データを画像信号にＤ／
Ａ変換し、モニタ等に出力する。

【００３３】また、通信するデータは、音声データ、画
像データとは別に、対向音声画像通信装置１１２に対し
て制御を行うための制御データや、送信したデータの受
信確認用の応答情報などの制御データを、多重分離処理
部１０７で制御データパケット２０３にパケット化して
送受信する。受信した制御データは制御部１１０におい
て処理される。

【００３４】次に、音声データの遅延を防止する処理
を、図１、図３、図４、および図５を用いて説明する。

【００３５】ここで、図４は、多重分離処理部１０７の
内部構成を示すブロック図である。

【００３６】同図において、５０１は画像符号化データ
を画像データパケット２０２にパケット化する画像デー
タパケット処理部、５０２は画像データパケット処理部
５０１がパケット化した画像データパケット２０２をバ
ッファする画像データパケットバッファ、５０３は制御
データを制御データパケット２０３にパケット化する制
御データパケット処理部、５０４は制御データパケット
処理部５０３がパケット化した制御データパケット２０
３をバッファする制御データパケットバッファ、５０５
は音声符号化データを音声データパケット２０１にパケ
ット化する音声データパケット処理部、５０６は音声デ
ータパケット処理部５０５がパケット化した音声データ
パケット２０１をバッファするの音声データパケットバ
ッファ、５０７は多重分離処理部１０７全体を制御する
全体制御部である。

【００３７】また、図５は、音声データパケット２０
１、画像データパケット２０２、制御データパケット２
０３の各データパケットを送信する時の送信タイミング
を説明する図であり、同図において、０，ｎ，１ｎ・・
・は一定間隔の送信タイミングを示す。

【００３８】通常、音声データパケット２０１は、受信
側で音声を再生した時に連続性を保つために、一定のデ
ータサイズを一定時間内に定期的に送信する必要があ
る。音声データパケット２０１の受信時間間隔が不定期
に長くなったり、連続性が失われると、受信側で音声を
再生した場合に、音声が途切れたり音声の連続性が失わ
れて正しく再生されない現象が発生する。この現象が発
生しないようにするため、パケット単位で各データパケ
ットの送受信を行う場合、音声データパケット２０１の
送信処理の優先度を高くして、音声データパケット２０
１を送っていない間の時間内に画像データパケット２０
２や制御データパケット２０３を送信するようにデータ
送信処理を行なう。そのため、図５に示すように、一定
間隔ｎ時間以内に音声パケットデータ２０１を必ず１回
送信するように処理し、音声データパケット２０１を送
信していない時間に画像データパケット２０２、または
制御データパケット２０３を送信することにより、受信
側で受信する音声データパケットの連続性は保ち、受信
側で再生しても音声が途切れないようにすることができ
る。

【００３９】次に、音声データの遅延を発生させないた
めの、各データパケットの送信処理について詳述する。

【００４０】図１において、音声画像通信装置１００
が、音声データと画像データの同時通信を開始して、多
重分離処理部１０７が、最初に音声コーディック部１０
６から音声符号化データを受信すると、図４に示す全体
制御部５０７は、音声データパケット処理部５０５に音
声データパケット２０１の受信を通知し、音声データパ
ケット処理部５０５は音声符号化データを音声データパ
ケット２０１にパケット化して、音声データパケットバ
ッファ５０６にバッファリングする。全体制御部５０７
は、音声データパケットバッファ５０６に音声データパ
ケット２０１が１パケット分しかバッファされていない
場合は、モデム部１０８には送信処理を行なわない。次
に、一定時間経過後、もう一度、多重分離処理部１０７
が、音声コーディック部１０６から音声符号化データを
受信すると、全体制御部５０７は、音声データパケット
処理部５０５に音声データパケット２０１の受信を通知
し、音声データパケット処理部５０５は音声符号化デー
タを音声データパケット２０１のフォーマットでパケッ
ト化して、音声データパケットバッファ５０６にバッフ
ァリングする。全体制御部５０７は、音声データパケッ
トバッファ５０６に音声データパケット２０１が２パケ
ット分バッファされたことを検出すると、モデム部１０
８に、最初に受信した音声データパケット２０１を送信
する。以後、音声コーディック部１０６から一定時間経
過後に、音声符号化データを受信した場合は同様の処理
を繰り返す。多重分離処理部１０７が、画像コーディッ
ク部１０３から画像符号化データを受信すると、全体制
御部５０７は、画像データパケット処理部５０１に画像
データパケット２０２の受信を通知し、画像データパケ
ット処理部５０１は画像符号化データを画像データパケ
ット２０２のフォーマットでパケット化して、画像デー
タパケットバッファ５０２にバッファリングする。全体
制御部５０７は、画像データパケットバッファ５０２に
画像データパケット２０２がバッファリングされたこと
を検出すると、音声データパケットバッファ５０６に音
声データパケット２０１が２パケット分バッファリング
されていないかを確認し、バファリングされていない場
合は、モデム部１０８に、画像データパケットバッファ
５０２にバッファリングされた画像データパケット２０
２を送信し、また、音声データパケットバッファ５０６
に音声データパケット２０１が、２パケット分バッファ
リングされている場合は、モデム部１０８に、音声デー
タパケット２０１を先に送信し、音声データパケット２
０１を送信後、画像データパケット２０２を送信する。
以後、多重分離処理部１０７が画像コーディック部１０
３から画像符号化データを受信した場合は同様の処理を
繰り返す。また、全体制御部５０７が、制御データパケ
ット処理部５０３に制御データを送信すると、制御デー
タパケット処理部５０３は制御データを制御データパケ
ット２０３のフォーマットでパケット化して、制御デー
タパケットバッファ５０４にバッファリングする。全体
制御部５０７は、制御データパケットバッファ５０４に
制御データパケット２０３がバッファリングされたこと
を検出すると、音声データパケットバッファ５０６に音
声データパケット２０１がバッファリングされていない
か確認し、バファリングされていない場合は、モデム部
１０８に、制御データパケットバッファ５０４にバッフ
ァリングされた制御データパケット２０３を送信し、音
声データパケットバッファ５０６に音声データパケット
２０１が、２パケット分バッファリングされている場合
は、モデム部１０８に、音声データパケット２０１を先
に送信し、音声データパケット２０１を送信後、制御デ
ータパケット２０３を送信する。以後、全体制御部５０
７が、制御データパケット処理部５０３に制御データを
送信した場合は同様の処理を繰り返す。

【００４１】このように、音声コーディック部１０６
は、一定間隔で音声符号化データを多重分離処理部１０
７に送信し、全体制御部５０７は、音声符号化データを
受信して、音声データパケットバッファ５０６に音声デ
ータパケット２０１を２パケット分バッファリングした
場合、画像データパケット２０２または制御データパケ
ット２０３をモデム部１０８へ送信している処理の途中
でない限り、必ず優先して、音声符号化データをモデム
部１０８に送信する処理を行なう。

【００４２】さらに、音声の遅延を防止するための各デ
ータパケットのデータ長と送信処理時間について、図
１、図３、図６、および図７を用いて説明する。

【００４３】図６および図７は、それぞれ各データパケ
ットの送信処理時間と各パケット長との関係を示す図で
あり、図６は、受信側で音声データを再生した場合に遅
延が発生しないパケット送信パターンを示す図、図７
は、受信側で音声データを再生した場合に遅延が発生す
るパケット送信パターンを示す図である。

【００４４】図６に示すように、一定時間間隔ｎで音声
コーディック部１０６から多重分離処理部１０７に音声
送信要求が行なわれる時は、一定時間ｎ以内に画像送信
処理と音声送信処理が行なえるようにそれぞれのパケッ
トのデータ長が決められているので、送信側からは一定
時間間隔ｎで音声データパケット２０１が１パケットデ
ータ分、確実に送信され、受信側で音声を再生した時、
音声の連続性を確保することができる。それに対して、
図７に示すように、画像送信処理時間と音声処理時間を
加えたトータルのパケット送信処理時間が、音声コーデ
ィック部１０６が多重分離処理部１０７に音声送信要求
を行なう一定時間間隔ｎより長くなると、斜線で示した
部分の時間分、受信側で音声データパケット２０１の受
信遅れが生じるため、音声を再生した場合に遅延が発生
する。このように、受信側で音声遅延を発生させないた
めには、図６に示すように、多重分離処理部１０７は、
音声コーディック部１０６が多重分離処理部１０７に音
声送信要求を行なう時間間隔ｎに、音声データパケット
を１データパケット分、送信処理が行えるように、各デ
ータパケットのデータ長を設定するとよい。

【００４５】次に、回線の通信品質が劣悪な場合の音声
データの再送処理について、図１、図３、図８、および
図９を用いて説明する。

【００４６】図８は、音声パケットデータ２０１および
再送される再送音声パケットデータ２０１の送信タイミ
ングを説明する図である。

【００４７】一般に、データパケットの通信において
は、電話回線のノイズ、バースト誤り、ヒット、瞬断等
により、音声データパケット２０１にエラ−が連続して
発生すると、受信側では、正しい音声データパケット２
０１を受信できなくなり、音声を正しく再生することが
できないことがある。このような現象を発生させないた
めには、受信側で音声データパケット２０１にエラーを
検出した場合にエラーのあった音声データパケット２０
１を再送要求する処理を行うようにするとよい。しか
し、再送処理を行った場合でも、再送処理を行う時に、
例えば、多重分離処理部１０７がモデム部１０８へ画像
パケットデータ２０２の送信中であれば、音声パケット
データ２０１の送信処理は延期され、再送した音声デー
タが受信側に到着するまでに時間がかかり、受信側で再
生した音声の連続性が保てなくなるという現象が発生す
る。また、画像データパケット２０２の送信処理中でな
い場合に、音声データパケット２０１の再送処理を行っ
ても、回線の状態が劣悪であれば、再送した音声データ
パケット２０１にもエラーが発生する確率が高くなり、
やはり受信側で再生した音声の連続性が保てなくなると
いう現象が発生する。従って、このような場合は、図８
に示すように、音声データの再送処理中は、画像データ
パケット２０２のデータ通信処理を行なわず、音声デー
タパケット２０１のみの送信をする処理を行う。これに
より、音声データパケット２０１は、さらに優先的に送
信され、受信側では、音声データの連続性は保たれ、再
生した音声を途切れないようにすることができる。

【００４８】図９は、音声データパケット２０１の再送
処理のシーケンスを示す図である。同図において、音声
画像通信装置１００が音声データと画像データの同時通
信を行っている時に、受信側の対向音声画像通信装置１
１２の多重分離処理部において受信した音声データパケ
ット２０１にエラーが検出された場合、多重分離処理部
は送信側の音声画像通信装置１００に対して、画像符号
化データの送信を中止するように指令する。さらに、対
向音声画像通信装置１１２の多重分離処理部は、エラー
のあった音声データパケット２０１を再送要求する制御
データパケット２０３を、送信側の音声画像通信装置１
００に送信する。送信側の音声画像通信装置１００の多
重分離処理部１０７では、音声データパケット２０１を
再送要求する制御データパケット２０３を受信すると、
画像コーディック部１０３から画像符号化データの送信
を中止するように制御を行い、さらに、要求のあった音
声データパケット２０１を受信側の音声画像通信装置１
００に再送信する。

【００４９】さらに、このように処理を行った場合で
も、受信側で受信した音声データパケット２０１にエラ
ーが頻繁に発生する場合は、音声データパケット２０１
のデータ長を短くして、音声コーディック部１０６が多
重分離処理部１０７に音声送信要求を行なう時間間隔ｎ
の間に、再送できる回数を増やすことにより、エラーが
発生しても数回の再送処理を行うことにより正しい音声
データパケット２０１を受信することが可能となる。こ
れにより、音声データパケット２０１は、さらに優先的
に送信され、受信側では、音声データの連続性は保た
れ、再生した音声が途切れることがなくなる。

【００５０】ところで、本実施の形態では、回線状態が
劣悪であるかどうかを判断するのに、受信側で受信した
データパケットにエラーを検出された場合に、送信側か
ら画像データパケット２０２の送信を停止させたり、音
声データパケット２０１の再送処理を行ったり、また、
音声データパケット２０１のデータ長を調整するように
制御する仕組みになっているが、モデム部１０８に回線
の状態をモニタする機能を持たせ、制御部１１０がこれ
を定期的にモニタすることにより、回線状態を取得し、
劣悪な時は、画像データパケット２０２の通信を中止し
たり、音声データパケット２０１の再送処理を行った
り、音声データパケット２０１のデータ長を調整するよ
うに制御するようにしても構わない。

【００５１】また、本実施の形態では、回線状態が劣悪
であるかどうかを判断するのに、受信側で受信したデー
タパケットにエラーが検出された場合に対応するように
しているが、エラーの検出率を制御部１１０が計算し、
一定以上の検出率を超えた場合に、画像データパケット
２０２の送信を停止したり、音声データパケット２０１
の再送処理を行ったり、音声データパケット２０１のデ
ータ長を調整するように制御するようにしても構わな
い。

【００５２】また、本実施の形態では、受信側で音声デ
ータパケット２０１にエラーを検出した場合、画像デー
タパケット２０２の送信を中止し、音声データパケット
２０１の再送処理を行なうように制御するようにした
が、画像データパケット２０２の送信のみを中止し、音
声データパケット２０１の再送処理は行なわないように
制御するようにしてもよい。さらに、音声データパケッ
ト２０１の送信間隔を短くし、データ長を短くすること
で、エラーに強くなるように制御するようにしてもよ
い。

【００５３】また、本実施の形態では、受信側で受信し
たデータパケットにエラーを検出した場合に、画像デー
タパケット２０２の送信を停止し、音声データパケット
２０１の再送処理を行ったり、音声データパケット２０
１のデータ長を調整するように動作する仕組みになって
いるが、音声データパケット２０１の送信を停止し、画
像データパケット２０２の再送処理を行ったり、画像デ
ータパケット２０２のデータ長を調整するように制御す
るようにしてもよい。

【００５４】なお、本実施の形態では、音声画像通信装
置１００の通信媒体はアナログ電話回線１１１を使用
し、通信するデータは、モデム部１０８を用いてアナロ
グ信号に変調してデータ通信を行なうシステムとした
が、通信媒体をＩＳＤＮ回線を使用し、モデム部１０８
の代わりに、ターミナルアダプタ、ＤＳＵを使用する形
態としてもよい。

【００５５】また、本実施の形態では、音声画像通信装
置１００の通信媒体はアナログ電話回線１１１を使用
し、通信するデータは、モデム部１０８を用いてアナロ
グ信号に変調してデータ通信を行なうシステムとした
が、通信媒体にＬＡＮを使用し、モデム部１０８、回線
制御部１０９を使用しない形態としてもよい。

【００５６】また、本実施の形態では、音声画像通信装
置１００には、カメラ、スピーカー等を外付けとなるブ
ロック構成としているが、内蔵するようにしてもよい。

【００５７】

【発明の効果】本発明によれば、回線の影響で音声デー
タにエラーが発生した場合、または回線の状態が劣悪で
正しいデータの通信が困難な場合でも、音声データを優
先的に送信することにより、または音声データを再送す
ることにより、受信側では再生する音声の連続性は保つ
ことにより、音声が途切れたりせずに通信を行うことが
でき、音声画像通信装置として、少なくとも音声情報を
相手先に送信することができ、大切な情報が伝達できな
いという状態を回避することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係わる音声画像通信装
置の全体構成を示すブロック図である。

【図２】本実施の形態に係わる音声画像通信装置のハー
ドウェア構成を示すブロック図である。

【図３】音声画像通信装置１００と対向音声画像通信装
置１１２との間で通信するデータのパケット構成を示す
図である。

【図４】多重分離処理部１０７の内部構成を示すブロッ
ク図である。

【図５】音声データパケット２０１、画像データパケッ
ト２０２、制御データパケット２０３の各データパケッ
トを送信する時のタイミングを説明する図である。

【図６】受信側で音声データを再生した場合に遅延が発
生しないパケット送信パターンを示す図である。

【図７】受信側で音声データを再生した場合に遅延が発
生するパケット送信パターンを示す図ある。

【図８】音声パケットデータ２０１および再送される再
送音声パケットデータ２０１の送信タイミングを説明す
るための図である。

【図９】音声データパケット２０１の再送処理のシーケ
ンスを示す図である。

【図１０】従来技術に係わる音声画像通信装置の主要部
のブロック図である。

【符号の説明】

１００ 画像通信装置 １０１ 画像入力部 １０２ 画像出力部 １０３ 画像コーディック部 １０４ 音声入力部 １０５ 音声出力部 １０６ 音声コーディック部 １０７ 多重分離処理部 １０８ モデム部 １０９ 回線制御部 １１１ 電話回線 １１２ 対向音声画像通信装置 ２００ 通信多重データパケット列 ２０１ 音声データパケット ２０２ 画像データパケット ２０３ 制御データパケット ５０１ 画像データパケット処理部 ５０２ 画像データパケットバッファ ５０３ 制御データパケット処理部 ５０４ 制御データパケットバッファ ５０５ 音声データパケット処理部 ５０６ 音声データパケットバッファ ５０７ 全体制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 関 淳一 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 黒田 昌芳 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 浜崎 健一 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 Ｆターム(参考） 5C059 RF01 RF23 SS07 TA73 TA76 TB00 TC22 TD12 5C064 AA01 AC04 AC06 AC11 AC12 AC16 AD02 AD07 AD08 AD09 AD13 AD14 5K014 AA01 EA08 FA03 FA08 GA01 HA05 HA10

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   したデータに一定以上のデータ誤りを検出した時、画像
   データの送信を中止するように処理することを特徴とす
   る音声画像通信装置。
2. 【請求項２】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   したデータに一定以上のデータ誤りを検出した時は、画
   像データの送信を中止する要求を送信し、または画像デ
   ータの送信を中止する要求を受信した時は、画像データ
   の送信を中止するように処理することを特徴とする音声
   画像通信装置。
3. 【請求項３】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   した音声データに一定以上のデータ誤りを検出した時
   は、音声データの再送の要求を送信し、または音声デー
   タの再送の要求を受信した時は、音声データを再送する
   ように処理することを特徴とする音声画像通信装置。
4. 【請求項４】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記通信処理手段により
   データ通信速度を取得し、該データ通信速度が所定の速
   度より遅い時は、画像データの送信を中止するように処
   理することを特徴とする音声画像通信装置。
5. 【請求項５】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   したデータに一定以上のデータ誤りを検出した時、音声
   データの送信を中止するように処理することを特徴とす
   る音声画像通信装置。
6. 【請求項６】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   したデータに一定以上のデータ誤りを検出した時は、画
   像データの送信を中止し、または画像データの送信を中
   止する要求を受信した時は、音声データの送信を中止す
   るように処理することを特徴とする音声画像通信装置。
7. 【請求項７】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記誤り検出手段が受信
   した画像データに一定以上のデータ誤りを検出した時
   は、画像データの再送の要求を送信し、または画像デー
   タの再送の要求を受信した時は、画像データを再送する
   ように処理することを特徴とする音声画像通信装置。
8. 【請求項８】 画像データおよび音声データを多重して
   複合データを生成するとともに、受信した複合データを
   画像データと音声データに分離する多重分離処理手段
   と、該多重分離処理手段から出力された複合データを送
   信しまたは通信相手から復号データを受信する通信処理
   手段と、受信した複合データの誤りを検出する誤り検出
   手段とを、少なくとも有する音声画像通信装置におい
   て、 音声データと画像データを多重通信している状態におい
   て、前記多重分離処理手段は、前記通信処理手段により
   データ通信速度を取得し、該データ通信速度が所定の速
   度より遅い時は、音声データの送信を中止するように処
   理することを特徴とする音声画像通信装置。
9. 【請求項９】 請求項１、請求項２、請求項３、請求項
   ４、請求項５、請求項６、請求項７、または請求項８に
   おいて、 前記多重分離処理手段において多重分離処理される画像
   データは、カメラやＴＶ等の映像信号を圧縮符号化した
   画像符号化データであることを特徴とする音声画像通信
   装置。
10. 【請求項１０】 請求項１、請求項２、請求項３、請求
    項４、請求項５、請求項６、請求項７、または請求項８
    において、 前記多重分離処理手段において多重分離処理される音声
    データは、マイク等から入力された音声信号を圧縮符号
    化した音声符号化データであることを特徴とする音声画
    像通信装置。