JPH0865278A - Multimedia communication equipment - Google Patents
Multimedia communication equipmentInfo
- Publication number
- JPH0865278A JPH0865278A JP6199735A JP19973594A JPH0865278A JP H0865278 A JPH0865278 A JP H0865278A JP 6199735 A JP6199735 A JP 6199735A JP 19973594 A JP19973594 A JP 19973594A JP H0865278 A JPH0865278 A JP H0865278A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- image
- voice
- retransmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、画像、音声、データの
各情報を多重化して通信回線を介して送信し、多重化さ
れた情報を受信し、画像、音声、データの各情報に分離
するマルチメディア通信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to multiplexing information of image, voice and data and transmitting it through a communication line, receiving the multiplexed information and separating it into information of image, voice and data. Multimedia communication device.
【０００２】[0002]
【従来の技術】図８は、一般的なマルチメディア通信装
置であるＩＴＵ−Ｔ勧告Ｈシリーズ（Ｈ．２２１，Ｈ．
２４２，Ｈ．２６１，Ｈ．３２０）に規定されているＩ
ＳＤＮ用のテレビ電話／テレビ会議装置の構成図であ
る。2. Description of the Related Art FIG. 8 shows an ITU-T Recommendation H series (H.221, H.221) which is a general multimedia communication apparatus.
242, H.M. 261, H.H. 320) I
It is a block diagram of a video telephone / video conference apparatus for SDN.
【０００３】画像データ入力部１０１はカメラ、ＶＴ
Ｒ、ハードディスク等の、画像信号を入力する画像入力
部である。音声データ入力部１０２はマイク、ハンドセ
ット、ハードディスク等の、音声信号を入力する音声入
力部である。送信データ入力部１０３はテキストデータ
等の送信データを入力する送信データ入力部である。画
像符号化部１０４は画像データ入力部１０１から入力さ
れた画像信号を符号化する。音声符号化部１０５は音声
データ入力部１０２から入力された音声信号を符号化す
る。画像誤り訂正符号化部１１９は符号化された画像情
報の誤り訂正を行う。多重誤り検出符号化部１２０は多
重信号の誤り検出を行う。多重分離部１２１は、伝送す
る画像、音声、データ等の各情報を多重化したり、通信
回線３００と回線インタフェ−ス部１２２を介して通信
相手装置４００から受信した画像、音声、データ等の多
重信号を分離する。画像データ出力部２０１は受信・復
号化された画像信号を表示出力する、テレビ、モニタ等
の画像データ出力部である。音声データ出力部２０２
は、受信・復号化された音声情報を出力する、スピー
カ、ハンドセット等の音声データ出力部である。送信デ
ータ出力部２０３はテキストデータ等の受信データを出
力する。画像復号化部２０４は、受信し分離された画像
情報を復号化する。音声復号化部２０５は受信し分離さ
れた音声情報を復号化する。画像誤り訂正復号化部２１
８は、受信し分離された画像情報の誤り訂正を行う。多
重誤り検出復号化部２１９は多重信号の誤り検出を行
う。The image data input unit 101 includes a camera and a VT.
An image input unit for inputting an image signal, such as R or a hard disk. The voice data input unit 102 is a voice input unit such as a microphone, a handset, a hard disk, etc. for inputting a voice signal. The transmission data input unit 103 is a transmission data input unit for inputting transmission data such as text data. The image encoding unit 104 encodes the image signal input from the image data input unit 101. The voice encoding unit 105 encodes the voice signal input from the voice data input unit 102. The image error correction coding unit 119 performs error correction on the coded image information. The multiple error detection coding unit 120 detects errors in multiple signals. The demultiplexing unit 121 multiplexes information such as images, voices, and data to be transmitted, and multiplexes images, voices, data, and the like received from the communication partner device 400 via the communication line 300 and the line interface unit 122. Separate the signals. The image data output unit 201 is an image data output unit such as a television or a monitor that displays and outputs the received / decoded image signal. Audio data output unit 202
Is an audio data output unit such as a speaker or a handset that outputs received / decoded audio information. The transmission data output unit 203 outputs reception data such as text data. The image decoding unit 204 decodes the received and separated image information. The voice decoding unit 205 decodes the voice information received and separated. Image error correction decoding unit 21
8 performs error correction of the received and separated image information. The multiple error detection decoding unit 219 performs error detection on multiple signals.
【０００４】次に、図８の従来のマルチメディア通信装
置の動作を説明する。画像データ入力部１０１で入力さ
れた画像信号は画像符号化部１０４で通信回線３００で
伝送可能な画像情報に圧縮符号化される。同様に、音声
データ入力部１０２から入力された音声信号は音声符号
化部１０５で通信回線３００で伝送可能な音声情報に圧
縮符号化される。その他の送信データ信号は送信データ
入力部１０３から入力する。これら入力された画像情
報、音声情報、データは多重分離部１２１で多重化さ
れ、回線インタフェ−ス部１２２より通信回線３００を
介して通信相手装置４００に送信される。また、通信相
手装置４００から通信回線３００を介して伝送され回線
インタフェース部１２２を経由して受信されたマルチメ
ディア情報は、多重分離部１２１で画像情報、音声情
報、データの各情報に分離される。分離された画像情報
は画像復号化部２０４で復号化され、ディスプレイ等の
画像データ出力部２０１に表示される。音声情報は音声
復号化部２０５で復号化され、スピーカやハンドセット
等の音声データ出力部２０２から出力される。その他受
信した受信データは送信データ出力部２０３から出力さ
れる。Next, the operation of the conventional multimedia communication device of FIG. 8 will be described. The image signal input by the image data input unit 101 is compressed and encoded by the image encoding unit 104 into image information that can be transmitted through the communication line 300. Similarly, the audio signal input from the audio data input unit 102 is compression-encoded by the audio encoding unit 105 into audio information that can be transmitted through the communication line 300. Other transmission data signals are input from the transmission data input unit 103. The input image information, audio information, and data are multiplexed by the demultiplexing unit 121 and transmitted from the line interface unit 122 to the communication partner device 400 via the communication line 300. Also, the multimedia information transmitted from the communication partner device 400 via the communication line 300 and received via the line interface unit 122 is separated by the demultiplexing unit 121 into image information, audio information, and data information. . The separated image information is decoded by the image decoding unit 204 and displayed on the image data output unit 201 such as a display. The voice information is decoded by the voice decoding unit 205 and output from the voice data output unit 202 such as a speaker or a handset. Other received data received is output from the transmission data output unit 203.
【０００５】一般に、画像情報は音声情報に比較して誤
りが発生した場合の品質に対する影響が大きいため、Ｉ
ＴＵ−Ｔ勧告では画像が圧縮符号化された信号に巡回誤
り訂正符号であるＢＣＨ符号（Bose-Chaudhuri-Hocquen
ghem) を施す。図８では、画像誤り訂正符号化部１１９
においてＢＣＨ誤り訂正符号化を行い、画像誤り訂正復
号化部２１８でＢＣＨ誤り訂正復号化を行っている。ま
た、ＩＴＵ−Ｔ勧告では多重信号における誤り検出処理
も規定されており、図８では多重誤り検出符号化部１２
０で誤り符号化、多重誤り検出復号化部２１９で誤り検
出復号化を行っている。In general, image information has a greater effect on quality when an error occurs as compared with audio information.
According to the TU-T recommendation, a BCH code (Bose-Chaudhuri-Hocquen), which is a cyclic error correction code, is applied to a signal in which an image is compression-encoded.
ghem). In FIG. 8, the image error correction coding unit 119
The BCH error correction coding is performed in the above, and the BCH error correction decoding is performed in the image error correction decoding unit 218. Further, the ITU-T recommendation also defines error detection processing for multiple signals, and in FIG.
0 performs error coding, and the multiple error detection decoding unit 219 performs error detection decoding.
【０００６】[0006]
【発明が解決しようとする課題】上述した従来例のマル
チメディア通信装置では、ＩＳＤＮ等の比較的伝送品質
の良い通信回線を用いる場合を想定した誤り対策処理を
規定している。しかしながら、無線伝送路では図９に示
すように受信電力が変動し、受信誤り率が著しく増大す
る場合がある。そのため、受信した多重信号を単純に分
離し復号化しても十分な品質を得ることはできない。つ
まり、無線伝送路等のように伝送品質が悪く、通信誤り
が多発する通信回線を用いる場合には、音声、画像、デ
ータ等の情報を品質良く受信することはできず、品質の
悪い情報でしか再生できない問題があった。In the above-mentioned conventional multimedia communication apparatus, error countermeasure processing is defined assuming that a communication line such as ISDN having a relatively good transmission quality is used. However, in the wireless transmission path, the reception power may fluctuate as shown in FIG. 9, and the reception error rate may increase significantly. Therefore, sufficient quality cannot be obtained even if the received multiple signals are simply separated and decoded. In other words, when using a communication line such as a wireless transmission line where the transmission quality is poor and communication errors occur frequently, it is not possible to receive information such as voice, image, data, etc. in good quality, and it is not possible to use poor quality information. There was a problem that it could only be played.
【０００７】このような伝送品質の悪い通信回線で情報
を伝送する場合には、誤り訂正符号化を強化し、受信側
で伝送誤りを訂正する方法が考えられるが、無線伝送路
等では、一般に誤り率が１０-3〜１０-2まで劣化する場
合があり、誤り訂正符号化を施す場合には誤り訂正用の
符号情報量が膨大になり、本来伝送すべき情報を十分に
伝送できなくなるという問題があった。When transmitting information through such a communication line with poor transmission quality, a method of strengthening error correction coding and correcting a transmission error at the receiving side can be considered. However, in a wireless transmission line, etc. The error rate may deteriorate to 10 -3 to 10 -2, and when error correction coding is performed, the amount of code information for error correction becomes enormous, and the information that should originally be transmitted cannot be transmitted sufficiently. There was a problem.
【０００８】本発明の目的は、リアルタイム性を損なう
ことなしに無線伝送路等の伝送品質が悪い伝送路でも品
質の良いマルチメディア情報を通信することができるマ
ルチメディア通信装置を提供することにある。An object of the present invention is to provide a multimedia communication device capable of communicating high-quality multimedia information even on a transmission line having a poor transmission quality such as a wireless transmission line without deteriorating the real-time property. .
【０００９】[0009]
【課題を解決するための手段】本発明の、マルチメディ
ア通信装置における情報伝送方法は、受信装置側で受信
情報に誤りが検出された場合には、誤りの発生度合に応
じて、画像、音声、データの各情報単位に再送要求を行
うか否かを決定して送信装置側に再送要求を行い、送信
装置側では、受信装置側からの再送要求に従って各情報
単位に再送処理を行う。According to the method of transmitting information in a multimedia communication device of the present invention, when an error is detected in the received information on the receiving device side, an image or a sound is sent according to the degree of error occurrence. , Determines whether or not to make a retransmission request for each information unit of data, and makes a retransmission request to the transmitting device side, and the transmitting device side performs a retransmission process for each information unit according to the retransmission request from the receiving device side.
【００１０】本発明の他の、マルチメディア通信装置に
おける情報伝送方法は、受信装置側で受信情報の誤りを
画像、音声、データの情報毎に推定し、該推定結果に応
じて、画像、音声、データの各情報単位に再送要求を行
うか否かを決定して送信装置側に再送要求を行い、送信
装置側では受信装置側からの再送要求に従って各情報単
位に再送処理を行う。According to another method of transmitting information in a multimedia communication apparatus of the present invention, an error of received information is estimated on the side of a receiving apparatus for each information of image, voice and data, and the image and voice are determined according to the estimation result. Then, it is determined whether or not a retransmission request is to be made for each information unit of data, and a retransmission request is made to the transmitting device side, and the transmitting device side performs a retransmission process for each information unit in accordance with the retransmission request from the receiving device side.
【００１１】本発明のさらに他の、マルチメディア通信
装置における情報伝送方法は、受信装置側で多重化され
た受信情報に誤りが検出された場合には、誤りの発生度
合に応じて、画像、音声、データの各情報単位に再送要
求を行うか否かを決定して送信装置側に再送要求を行
い、送信装置側では、受信装置側からの再送要求に従っ
て各情報単位に再送処理を行う。In still another information transmission method in a multimedia communication apparatus of the present invention, when an error is detected in the reception information multiplexed on the receiving apparatus side, an image, It is determined whether or not to make a retransmission request for each information unit of voice and data, and a retransmission request is made to the transmitting device side. At the transmitting device side, a retransmission process is made for each information unit according to the retransmission request from the receiving device side.
【００１２】本発明のさらに他の、マルチメディア通信
装置における情報伝送方法は、受信装置側で多重化され
た受信情報に誤りが検出された場合には、誤りの発生度
合に応じて、画像、音声、データの各情報単位に再送要
求を行うかを決定して送信装置側に再送要求を行い、送
信装置側では、受信装置側からの再送要求に従って各情
報の符号化を行い、あるいは停止する。According to still another information transmission method in a multimedia communication device of the present invention, when an error is detected in the received information multiplexed on the receiving device side, an image, It decides whether to make a retransmission request for each information unit of voice and data, and makes a retransmission request to the transmitting device side, and the transmitting device side encodes or stops each information according to the retransmission request from the receiving device side. .
【００１３】本発明のマルチメディア通信装置は、画
像、音声、データの情報毎に誤りを検出し、多重分離部
に出力する誤り検出部と、受信装置側から要求された再
送要求に対して情報毎に情報の再送を行う再送処理部を
送信装置側に有し、通信回線上の誤りを画像、音声、デ
ータの情報毎に検出する誤り検出部と、画像、音声、デ
ータの情報単位毎に各情報の再送要求を前記再送処理部
に行う再送要求処理部と、前記誤り検出部における受信
情報の誤りの発生度合に応じて、画像、音声、データの
各情報単位に前記送信装置に再送を要求するか否かを決
定し、再送の要求を決定した場合、前記再送要求処理部
ち再送要求を行わせる再送制御部を受信装置側に有す
る。The multimedia communication apparatus of the present invention detects an error for each image, voice, and data information and outputs the error to a demultiplexing section, and information for a retransmission request requested from the receiving apparatus side. The transmission device side has a retransmission processing unit that retransmits information for each, and an error detection unit that detects an error on the communication line for each image, voice, and data information, and for each image, voice, and data information unit A retransmission request processing unit that makes a request to retransmit each information to the retransmission processing unit, and retransmits to the transmission device for each information unit of image, voice, and data according to the occurrence degree of an error of the received information in the error detection unit. When it is determined whether or not to make a request, and when a request for retransmission is determined, the retransmission request processing unit includes a retransmission control unit on the receiving device side for making a retransmission request.
【００１４】本発明の他のマルチメディア通信装置は、
受信装置側から要求された再送要求に対して画像、音
声、データの情報毎に情報の再送を行う再送処理部を送
信装置側に有し、受信情報の誤りを画像、音声、データ
の情報毎に推定する誤り推定部と、画像、音声、データ
の情報単位毎に各情報の再送要求を前記再送処理部に行
う再送要求処理部と、前記誤り検出部における受信情報
の誤りの発生度合に応じて、画像、音声、データの各情
報単位に前記送信装置に再送を要求するか否かを決定
し、再送の要求を決定した場合、前記再送要求処理部に
再送要求を行わせる再送制御部を受信装置側に有する。Another multimedia communication device of the present invention is
The transmitting device side has a retransmission processing unit that retransmits information for each image, voice, and data information in response to a retransmission request requested by the receiving device side, and an error in received information is generated for each image, voice, and data information. According to the error occurrence rate of the received information in the error detection section, an error estimation section that estimates the error information, a retransmission request processing section that requests the retransmission processing section to resend each information for each information unit of image, voice, and data. Then, it is determined whether or not to request retransmission to the transmitting device for each information unit of image, voice, and data, and when the request for retransmission is determined, a retransmission control unit that causes the retransmission request processing unit to make a retransmission request. It has on the receiving device side.
【００１５】本発明のさらに他のマルチメディア通信装
置は、画像、音声、データの多重化された情報の誤りを
検出し、通信回線に出力する誤り検出部と、受信装置か
ら要求された再送要求に対して画像、音声、データの情
報毎に情報の再送を行う再送処理部とを送信装置側に有
し、多重化された受信信号の誤りを検出する誤り検出部
と、画像、音声、データの情報単位毎に各情報の再送要
求を前記再送処理部に行う再送要求処理部と、前記誤り
検出部における受信情報の誤りの発生度合に応じて、画
像、音声、データの各情報単位に前記送信装置に再送を
要求するか否かを決定し、再送の要求を決定した場合、
前記再送要求処理部に再送要求を行わせる再送制御部を
受信装置側に有する。Still another multimedia communication apparatus of the present invention is an error detecting section for detecting an error in information multiplexed with image, voice and data and outputting the error to a communication line, and a retransmission request requested by the receiving apparatus. On the other hand, the transmission device side has a retransmission processing unit that retransmits information for each image, voice, and data information, and an error detection unit that detects an error in a multiplexed received signal, and an image, voice, and data. A retransmission request processing unit that makes a retransmission request of each information to the retransmission processing unit for each information unit, and, in accordance with the occurrence degree of the error of the received information in the error detection unit, each information unit of image, voice, and data is If you decide to request the transmitter to retransmit, and if you decide to request retransmission,
The receiving device has a retransmission control unit that causes the retransmission request processing unit to make a retransmission request.
【００１６】本発明のさらに他のマルチメディア通信装
置は、画像、音声の各情報の符号化部作動／停止を行う
符号化制御部と、画像、音声、データの多重化された情
報の誤りを検出する誤り検出部と、受信装置から要求さ
れた再送要求に応じて各情報の符号化制御部と送信デー
タ入力部を制御する再送情報発生制御部を送信装置側に
有し、多重化された受信信号の誤りを検出する誤り検出
部と、画像、音声、データの情報単位毎に各情報の再送
要求を前記再送処理部に行う再送要求処理部と、前記誤
り検出部における通信回線の誤りの発生度合に応じて、
画像、音声、データの各情報単位に、前記送信装置に再
送を要求するか否かを決定し、再送の要求を決定した場
合、前記再送要求処理部に再送要求を行わせる再送制御
部を受信装置側に有する。Still another multimedia communication device of the present invention is a coding control unit for activating / stopping a coding unit for each information of image and voice, and an error of information multiplexed with image, voice and data. The error detection unit for detection and the retransmission information generation control unit for controlling the encoding control unit for each information and the transmission data input unit according to the retransmission request requested by the reception device are provided on the transmission device side and are multiplexed. An error detection unit that detects an error in a received signal, a retransmission request processing unit that requests the retransmission processing unit to retransmit each information for each image, voice, and data information unit, and a communication line error in the error detection unit. Depending on the degree of occurrence,
For each information unit of image, voice, and data, it is determined whether or not to request retransmission to the transmission device, and when the request for retransmission is determined, a retransmission control unit that causes the retransmission request processing unit to make a retransmission request is received. Have on the device side.
【００１７】[0017]
【作用】本発明は、受信装置側に伝送誤りを検出あるい
は推定する機能、画像、音声、データの各情報単位毎の
再送要求、再送制御機能を設け、受信情報に誤りが検出
された場合には、情報のリアルタイム性に影響しないよ
うに各情報単位毎に再送要求を行い、送信装置側では、
受信装置側からの再送要求にしたがって各情報単位に再
送処理を実施する。例えば、音声情報は画像情報に比較
してリアルタイム性が高いため、音声情報には再送処理
を用いず、画像、データ情報のみに再送を施す等の処理
を行う。The present invention is provided with a function of detecting or estimating a transmission error on the receiving device side, a retransmission request for each information unit of image, voice, and data, and a retransmission control function, and when an error is detected in the received information. Makes a resend request for each information unit so as not to affect the real-time property of information, and on the transmitting device side,
Resending processing is performed for each information unit according to a resending request from the receiving device side. For example, since the voice information has a higher real-time property than the image information, the retransmission process is not used for the voice information, but a process of retransmitting only the image and data information is performed.
【００１８】このように、受信される情報を選択的に再
送すること、例えば誤りが存在しても比較的に情報の品
質が良くさらにリアルタイム性の要求の高い音声情報は
再送を行わず、誤りが存在する場合には情報の品質が大
きく劣化するがリアルタイム性の要求の比較的低い画像
情報は再送を行う等により、リアルタイム性を損なうこ
となしに無線伝送路等の伝送品質の悪い伝送路でも品質
の良いマルチメディア情報を通信することができる。As described above, by selectively retransmitting the received information, for example, even if there is an error, voice information having relatively good information quality and high real-time requirement is not retransmitted and an error occurs. , The quality of the information is greatly deteriorated, but the image information for which the real-time property is relatively low is retransmitted, so that it can be transmitted even in a transmission line with poor transmission quality such as a wireless transmission line without impairing the real-time property. It is possible to communicate high-quality multimedia information.
【００１９】また、伝送路品質等が変動する場合には、
伝送品質の良い状態では再送があまり発生しないため一
括して伝送する情報量を大きくし、また伝送品質の悪い
場合には頻繁に再送が発生するため一括して伝送する情
報量を小さくし、伝送効率を向上させながらリアルタイ
ム性を損なうことなしに無線伝送路等の伝送品質の悪い
伝送路でも品質の良いマルチメディア情報を通信するこ
とができる。Further, when the transmission line quality or the like fluctuates,
When the transmission quality is good, the amount of information that is transmitted in bulk is increased because retransmissions do not occur often, and when the transmission quality is poor, the amount of information that is transmitted in batches is reduced because frequent retransmissions occur. It is possible to communicate high-quality multimedia information even on a transmission line with poor transmission quality such as a wireless transmission line without improving real-time performance while improving efficiency.
【００２０】さらに、各情報がリアルタイムで符号化さ
れている場合には、再送の発生にしたがって画像、音声
の符号化制御部を制御し、符号化を停止したり、行わせ
たりすることで、さらにリアルタイム性を向上させるこ
とができる。Further, when each information is encoded in real time, by controlling the image and audio encoding control unit according to the occurrence of retransmission, the encoding is stopped or is performed, Further, the real-time property can be improved.
【００２１】[0021]
【実施例】次に、本発明の実施例について図面を参照し
て説明する。Embodiments of the present invention will now be described with reference to the drawings.
【００２２】図１は本発明の第１の実施例のマルチメデ
ィア通信装置のブロック図である。図８中と同符号は図
８と同じものを指す。FIG. 1 is a block diagram of a multimedia communication device according to a first embodiment of the present invention. The same reference numerals as in FIG. 8 indicate the same parts as in FIG.
【００２３】本実施例のマルチメディア通信装置は、送
信装置側に、図８中の画像誤り訂正符号化部１１９と多
重誤り検出符号化部１２０がなくなり、代りに画像誤り
検出符号化部１０７と音声誤り検出符号化部１０８とデ
ータ誤り検出符号化部１０９と再送処理部１１０を有
し、受信装置側に、図８中の画像誤り訂正復号化部２１
８と多重誤り検出復号化部２１９がなくなり、代りに画
像誤り検出復号化部２０７と音声誤り検出復号化部２０
８とデータ誤り検出復号化部２０９と再送制御部２１３
と再送要求処理部２１４を有している。In the multimedia communication apparatus of this embodiment, the image error correction coding section 119 and the multiple error detection coding section 120 in FIG. 8 are eliminated on the transmitting apparatus side, and instead the image error detection coding section 107 is provided. The audio error detection coding unit 108, the data error detection coding unit 109, and the retransmission processing unit 110 are provided, and the image error correction decoding unit 21 in FIG.
8 and the multiple error detection decoding unit 219 are eliminated, and instead the image error detection decoding unit 207 and the voice error detection decoding unit 20 are replaced.
8, a data error detection decoding unit 209, and a retransmission control unit 213
And a retransmission request processing unit 214.
【００２４】画像誤り検出符号化部１０７、音声誤り検
出符号化部１０８、データ誤り検出符号化部１０９はそ
れぞれ符号化された画像情報、符号化された音声情報、
送信データ情報を入力し、誤りを検出し、符号化し、多
重分離部１１６に送る。再送処理部１１０は受信装置か
ら送られてきた再送要求を解釈し、要求されている情報
の再送を画像データ入力部１０１、音声データ入力部１
０２、送信データ入力部１０３に指示して行わせる。The image error detection coding unit 107, the voice error detection coding unit 108, and the data error detection coding unit 109 respectively encode coded image information, coded voice information,
The transmission data information is input, an error is detected, encoded, and sent to the demultiplexing unit 116. The resending processing unit 110 interprets the resending request sent from the receiving device, and resends the requested information by resending the image data input unit 101 and the audio data input unit 1.
02, the transmission data input unit 103 is instructed to do so.
【００２５】画像誤り検出復号化部２０７、音声誤り検
出復号化部２０８、データ誤り検出復号化部２０９はそ
れぞれ、受信し、分離された画像情報、音声情報、デー
タ情報を誤り検出復号化し、受信情報中に伝送誤りが存
在するかを検出し、検出結果を再送制御部２１３に送
る。再送制御部２１３は画像誤り検出復号化部２０７、
音声誤り検出復号化部２０８、データ誤り検出復号化部
２０９の誤り検出状況（発生度分）に応じて各情報単位
に送信装置に再送を要求するか否かを決定し、再送要求
処理部２１４を介して送信装置に再送要求を送る。な
お、画像誤り検出復号化部２０７、音声誤り検出復号化
部２０８、データ誤り検出復号化部２０９は誤りを検出
しなかった場合、受信した画像情報、音声情報、データ
情報をそれぞれ画像復号化部２０４、音声復号化部２０
５、送信データ出力部２０３に出力する。The image error detection / decoding unit 207, the voice error detection / decoding unit 208, and the data error detection / decoding unit 209 respectively perform error detection decoding of the image information, voice information, and data information that have been received and separated, and receive It detects whether or not there is a transmission error in the information, and sends the detection result to the retransmission control unit 213. The retransmission control unit 213 includes an image error detection / decoding unit 207,
The retransmission request processing unit 214 determines whether or not to request the transmission device to retransmit each information unit according to the error detection status (occurrence) of the voice error detection decoding unit 208 and the data error detection decoding unit 209. A re-send request is sent to the transmitting device via. When the image error detection decoding unit 207, the voice error detection decoding unit 208, and the data error detection decoding unit 209 do not detect an error, the received image information, voice information, and data information are respectively received by the image decoding unit. 204, voice decoding unit 20
5, output to the transmission data output unit 203.
【００２６】次に、本実施例の動作を説明する。Next, the operation of this embodiment will be described.
【００２７】送信側では画像データ入力部１０１から入
力され、画像符号化部１０４で符号化された画像情報が
画像誤り検出符号化部１０７に入力される。画像誤り検
出符号化部１０７では画像情報を誤り検出符号化し、多
重分離部１１６に送る。同様に、音声データ入力部１０
２から入力され、音声符号化部１０５で符号化された音
声情報が音声誤り検出符号化部１０８に入力される。音
声誤り検出符号化部１０８では音声情報を誤り検出符号
化し、多重分離部１１６に送る。さらに、送信データ入
力部１０３から入力された送信データ情報がデータ誤り
検出符号化部１０９に入力される。データ誤り検出符号
化部１０９ではデータ情報を誤り検出符号化し、多重分
離部１１６に送る。多重分離部１１６では、ＩＴＵ−Ｔ
勧告Ｈ．２２１のような多重方法やＸ．２５のような多
重方法により、画像誤り検出符号化部１０７、音声誤り
検出符号化部１０８、データ誤り検出符号化部１０９か
ら送られてきた情報を多重し、回線インタフェース部１
１７を介して通信回線３００に送出する。受信装置側で
は、通信回線３００を介して回線インタフェース部２１
６で受信した多重信号を多重分離部２１５で画像、音
声、データ情報に分離し、それぞれの情報を画像誤り検
出復号化部２０７、音声誤り検出復号化部２０８、デー
タ誤り検出復号化部２０９に送る。画像誤り検出復号化
部２０７では受信した分離された画像情報を誤り検出復
号し、受信情報中に伝送誤りが存在するか否かを検出す
る。検出結果は再送制御部２１３に送られる。また、画
像誤り検出復号化部２０７の画像信号は誤りの発生状況
により画像データ復号化部２０４に送られるか否かが決
定される。同様に、音声誤り検出復号化部２０８では受
信し分離された音声情報を誤り検出復号し、受信情報中
に伝送誤りが存在するか否かを検出する。検出結果は再
送制御部２１３に送られる。また、音声誤り検出復号化
部２０８の音声信号は誤りの発生状況により音声復号化
部２０５に送られるか否かが決定される。さらに、デー
タ誤り復号化部２０９では受信し分離されたデータ情報
を誤り検出復号し、受信情報中に伝送誤りが存在するか
否かを検出する。検出結果は再送制御部２１３に送られ
る。また、データ誤り検出復号化部２０９のデータ信号
は誤りの発生状況により送信データ出力部２０３に送ら
れるか否かが決定される。再送制御部２１３は、画像誤
り検出復号化部２０７、音声誤り検出復号化部２０８、
データ誤り検出復号化部２０９で検出された誤りの度合
が大きい場合、再送要求処理部２１４を介して送信装置
側に各情報単位に再送要求を送る。送信装置側では送ら
れてきた再送要求を再送処理部１１０で解釈し、要求さ
れている情報の再送を画像データ入力部１０１、音声デ
ータ入力部１０２、送信データ入力部１０３に指示して
行う。On the transmitting side, the image information input from the image data input unit 101 and the image information encoded by the image encoding unit 104 are input to the image error detection encoding unit 107. The image error detection coding unit 107 performs error detection coding on the image information and sends it to the demultiplexing unit 116. Similarly, the voice data input unit 10
2 is input and the voice information encoded by the voice encoding unit 105 is input to the voice error detection encoding unit 108. The voice error detection coding unit 108 performs error detection coding on the voice information and sends it to the demultiplexing unit 116. Further, the transmission data information input from the transmission data input unit 103 is input to the data error detection coding unit 109. The data error detection coding unit 109 performs error detection coding on the data information and sends it to the demultiplexing unit 116. In the demultiplexing unit 116, the ITU-T
Recommendation H. 221 or a multiplex method such as X.221. 25, the information sent from the image error detection coding unit 107, the voice error detection coding unit 108, and the data error detection coding unit 109 are multiplexed, and the line interface unit 1
It is sent to the communication line 300 via 17. On the receiving device side, the line interface unit 21 is connected via the communication line 300.
The demultiplexing unit 215 demultiplexes the multiplexed signal received in 6 into image, audio, and data information, and the image information is decoded by the image error detection decoding unit 207, the voice error detection decoding unit 208, and the data error detection decoding unit 209. send. The image error detection decoding unit 207 performs error detection decoding on the received separated image information and detects whether or not there is a transmission error in the received information. The detection result is sent to the retransmission control unit 213. Further, whether or not the image signal of the image error detection / decoding unit 207 is sent to the image data decoding unit 204 is determined depending on the error occurrence situation. Similarly, the voice error detection decoding unit 208 performs error detection decoding on the received and separated voice information, and detects whether or not a transmission error exists in the received information. The detection result is sent to the retransmission control unit 213. Further, whether or not the voice signal of the voice error detection / decoding unit 208 is sent to the voice decoding unit 205 is determined depending on the error occurrence state. Further, the data error decoding unit 209 performs error detection decoding on the received and separated data information and detects whether or not a transmission error exists in the received information. The detection result is sent to the retransmission control unit 213. Further, it is determined whether or not the data signal of the data error detection / decoding unit 209 is sent to the transmission data output unit 203 depending on the error occurrence state. The retransmission control unit 213 includes an image error detection decoding unit 207, a voice error detection decoding unit 208,
When the degree of error detected by the data error detection / decoding unit 209 is large, the retransmission request processing unit 214 transmits a retransmission request for each information unit to the transmission apparatus side. On the transmitting device side, the resending request transmitted is interpreted by the resending processing unit 110, and the resending of the requested information is instructed by the image data input unit 101, the audio data input unit 102, and the sending data input unit 103.
【００２８】本実施例では、各情報単位のリアルタイム
性の要求度合と誤りに対する耐性により各情報単位に再
送要求の方法を変更し、品質の良い伝送を可能としてい
る。その様子を図２で説明する。図２では、簡単のため
音声、画像情報について説明する。音声情報はリアルタ
イム性が強く、また誤りに対する耐性が強いため誤りが
あっても再送を要求しない。画像情報については、音声
情報ほどリアルタイム性が強く要求されず、逆に誤りに
対する耐性は弱く、誤りがあった場合には再送を要求す
る。図２の下図（誤りがある場合）において、３回目の
転送において画像情報Ｖ１が正常に受信でき、４回目の
転送では画像情報Ｖ４を送ることにより、画像情報Ｖ
２，Ｖ３のデータをスキップしたり、また画像情報Ｖ４
の代りに４回目で画像情報Ｖ２を送る等の処理を行う。In the present embodiment, the method of requesting retransmission for each information unit is changed according to the degree of real-time requirement of each information unit and resistance to errors, and high quality transmission is enabled. This will be described with reference to FIG. In FIG. 2, voice and image information will be described for simplicity. Since voice information has a strong real-time property and is highly resistant to errors, retransmission is not required even if there is an error. The image information is not required to have a real-time property as strongly as the voice information, but is less resistant to an error, and requires resending when an error occurs. In the lower diagram of FIG. 2 (when there is an error), the image information V1 can be normally received in the third transfer, and the image information V4 is sent in the fourth transfer, so that the image information V1 can be received.
2, V3 data can be skipped, or image information V4
Instead of the above, processing such as sending the image information V2 at the fourth time is performed.
【００２９】図３は、本発明の第２の実施例のマルチメ
ディア通信装置のブロック図である。図１、図８中と同
符号は同じものを指す。FIG. 3 is a block diagram of a multimedia communication device according to a second embodiment of the present invention. The same reference numerals as those in FIGS. 1 and 8 indicate the same things.
【００３０】本実施例のマルチメディア装置は、送信装
置側では、図８中の画像誤り訂正符号化部１１９と多重
誤り検出符号化部１２０がなくなり、代りに再送処理部
１１０が設けられ、受信装置側では、図８中の画像誤り
訂正復号化部２１８と多重誤り検出復号化部２１９がな
くなり、代りに画像誤り推定部２１０と音声誤り推定部
２１１とデータ誤り推定部２１２と再送制御部２１３と
再送要求処理部２１４が設けられている。In the multimedia device of this embodiment, on the transmission device side, the image error correction coding unit 119 and the multiple error detection coding unit 120 in FIG. 8 are eliminated, and the retransmission processing unit 110 is provided instead, and reception is performed. On the device side, the image error correction decoding unit 218 and the multiple error detection decoding unit 219 in FIG. 8 are eliminated, and instead, the image error estimation unit 210, the voice error estimation unit 211, the data error estimation unit 212, and the retransmission control unit 213. And a resend request processing unit 214.
【００３１】画像誤り推定部２１０、音声誤り推定部２
１１、データ誤り推定部２１２はぞれぞれ受信され、分
離された画像情報、音声情報、送信データ情報を解析
し、本来有り得ない情報を受信した場合に誤りが発生し
たと推定し、推定結果を再送制御部２１３に送る。例え
ば、画像や音声情報では、信号間の相関が高く、圧縮符
号化された情報を復号した値を近傍の復号情報と比較
し、極端に値が異なっている場合等に誤りが発生してい
る場合が多い。また、受信した圧縮符号化情報を復号す
る際に復号が行えない状態等に陥った場合等も誤りの発
生と推定できる。再送制御部２１３は画像誤り推定部２
１０、音声誤り推定部２１１、データ誤り推定部２１２
の誤り推定に応じて各情報単位に送信装置に再送を要求
するか否かを決定し、再送を決定した場合、再送要求処
理部２１４を介して送信装置に再送要求を送る。なお、
画像誤り推定部２１０、音声誤り推定部２１１、データ
誤り推定部２１２は誤りを推定しなかった場合、受信し
た画像情報、音声情報、データ情報をそれぞれ画像デー
タ出力部２０１、音声データ出力部２０２、送信データ
出力部２０３に出力する。Image error estimating section 210, speech error estimating section 2
11. The data error estimation unit 212 analyzes the image information, the audio information, and the transmission data information that are respectively received, and estimates that an error has occurred when information that is originally impossible is received. To the retransmission control unit 213. For example, in image and audio information, the correlation between signals is high, and the value obtained by decoding the compressed and encoded information is compared with the decoded information in the vicinity, and an error occurs when the value is extremely different. In many cases. In addition, it can be estimated that an error has occurred even when the received compression-coded information is decoded and the decoding cannot be performed. The retransmission control unit 213 uses the image error estimation unit 2
10, speech error estimation unit 211, data error estimation unit 212
It is determined whether or not to request the transmission device to retransmit for each information unit according to the error estimation of 1., and when retransmission is determined, the retransmission request is sent to the transmission device via the retransmission request processing unit 214. In addition,
When the image error estimation unit 210, the voice error estimation unit 211, and the data error estimation unit 212 do not estimate the error, the received image information, voice information, and data information are respectively received as the image data output unit 201, the voice data output unit 202, and It is output to the transmission data output unit 203.
【００３２】図４は、無声伝送路等における誤りの変動
と１回の再送の情報量の関係を示す図である。前述した
ように無線伝送路等では、伝送誤りの発生頻度が時間に
より変動する。したがって、伝送誤りの小さな場合は、
再送の発生が少ないため誤り再送を実現する際に伴うヘ
ッダ情報によるスループットの低下を押さえるため１回
の転送情報量を大きくし、逆に伝送誤りの大きな場合
は、再送が頻繁に行われるため誤りによる情報の破棄を
少なくするため１回の転送情報量を小さくする。このこ
とにより、再送に伴うスートップを上げることが可能と
なる。FIG. 4 is a diagram showing the relationship between the error variation in the unvoiced transmission line and the like and the information amount of one retransmission. As described above, in a wireless transmission line or the like, the frequency of occurrence of transmission errors varies with time. Therefore, if the transmission error is small,
Since the number of retransmissions is small, the amount of information transferred at one time is increased in order to suppress the decrease in throughput due to header information that accompanies erroneous retransmissions, and conversely, if the transmission error is large, retransmission is performed frequently, resulting in an error. The amount of information transferred at one time is reduced in order to reduce the discard of information due to. As a result, it is possible to increase the soot associated with the retransmission.
【００３３】図５は、本発明の第３の実施例のマルチメ
ディア通信装置のブロック図である。図１、図３、図８
中と同符号は同じものを示す。FIG. 5 is a block diagram of a multimedia communication device according to a third embodiment of the present invention. 1, 3, and 8
The same symbols as those in the middle indicate the same things.
【００３４】本実施例のマルチメディア通信装置は、前
述のスループットの改善を目的としており、送信装置側
に図８中の画像誤り訂正符号化部１１９と多重誤り検出
符号化部１２０の代りに再送処理部１１０とパケット長
制御部１１１と誤り検出符号化部１１８が設けられ、受
信装置側に図８中の画像誤り訂正復号化部２１８と多重
誤り検出復号化部２１９の代りに再送制御部２１３と再
送要求処理部２１４と誤り検出符号化部２１７が設けら
れている。The multimedia communication apparatus of the present embodiment aims at improving the above-mentioned throughput, and retransmits instead of the image error correction coding section 119 and the multiple error detection coding section 120 in FIG. A processing unit 110, a packet length control unit 111, and an error detection coding unit 118 are provided, and a retransmission control unit 213 is provided instead of the image error correction decoding unit 218 and the multiple error detection decoding unit 219 in FIG. A retransmission request processing unit 214 and an error detection coding unit 217 are provided.
【００３５】本実施例においては、送信側では、画像デ
ータ入力部１０１、音声データ入力部１０２、送信デー
タ入力部１０３から入力された情報をパケット多重分離
部１１６’で多重した後、誤り検出符号化部１１８で誤
り検出符号化を施す。受信側では誤り検出復号化部２１
７で受信多重信号を誤り検出復号化し、パケット多重分
離部２１５’で各情報毎に分離し、画像復号化部２０
４、音声復号化部２０５、送信データ出力部２０３へ送
る。誤り検出復号化部２１７で検出された誤りの発生状
況は再送制御部２１３に送られ、誤り発生状況にしたが
って各情報単位に再送するか否かを決定し、再送要求処
理部２１４を介して再送要求を送信装置側に送る。送信
装置側では送られてきた再送要求を再送処理部１１０で
解釈し、要求されている情報の再送を画像データ入力部
１０１、音声データ入力部１０２、送信データ入力部１
０３に指示して行わせると共に、パケット長制御部１１
１を介してパケット多重分離部１１６’における各情報
の１回の転送情報量、すなわちパケット長を受信側での
誤りの発生度合に応じて、つまり発生度合が大きければ
短く、発生度合が小さければ短く制御する。In this embodiment, on the transmission side, the information input from the image data input unit 101, the audio data input unit 102, and the transmission data input unit 103 is multiplexed by the packet demultiplexing unit 116 ', and then the error detection code is added. The coder 118 performs error detection coding. On the receiving side, the error detection decoding unit 21
7, the received multiplexed signal is error-detected and decoded, and the packet demultiplexing unit 215 ′ separates it for each information, and the image decoding unit 20
4, to the voice decoding unit 205 and the transmission data output unit 203. The error occurrence status detected by the error detection / decoding section 217 is sent to the retransmission control section 213, it is determined whether or not to retransmit each information unit according to the error occurrence status, and the retransmission request processing section 214 retransmits the information. Send the request to the transmitter. On the transmitting device side, the resending request transmitted from the transmitting device is interpreted by the resending processing unit 110, and resending of the requested information is performed by the image data input unit 101, the sound data input unit 102, and the transmission data input unit 1.
03 to direct the packet length control unit 11
1, the packet transfer amount of each piece of information in the packet demultiplexing unit 116 ', that is, the packet length depends on the degree of error occurrence on the receiving side, that is, if the occurrence degree is large, it is short, and if the occurrence degree is small, Control short.
【００３６】図６は、本発明における各情報の時間軸に
おける情報毎の処理状況を示したものである。同図
（ａ）は音声、画像の原信号を示しており、同図（ｂ）
は誤りがない場合に伝送される情報の関係を示してい
る。送信側の情報が、誤りの発生しない条件で既に圧縮
符号化され、何らかの蓄積装置に蓄積されている場合
は、同図（ｂ）と同じ情報が送信側に蓄積している。そ
の場合に再送を行うと、同図（ｃ）に示すように再送に
より全ての蓄積情報を伝送することが不可能となり、蓄
積情報を間引いて伝送することとなる。その際、予め蓄
積されている情報よりも時間的に前の段階で次の情報が
伝送可能となっているにも関らず、蓄積情報を先に伝送
すれば各情報間の同期が乱れることとなり伝送を開始す
ることはできない。また、前述のような蓄積情報を間引
いて伝送することは、次に伝送される情報が先に伝送さ
れた情報がなくとも復号、再生できる場合であるが、例
えば画像情報等では、圧縮符号化の効率を向上させるた
め、先に伝送した画像情報から次に伝送する画像情報を
予測し、その予測差分を圧縮符号化することで伝送効率
を向上させている。このような場合には、蓄積されてい
る情報を間引いて伝送することができなくなる。このよ
うな問題点に関して、送信側では、伝送する情報をリア
ルタイムで符号化するようにし、誤りがなく新しい情報
を伝送する必要が生じた際に最新の情報を符号化し伝送
することで、同図（ｄ）に示すように予め圧縮符号化し
た情報を蓄積している場合に比べ、情報が正常に伝送で
き次の情報を伝送できる状態となった場合に最も早く伝
送可能な情報を符号化して伝送することができると共
に、前述のように先に伝送した画像情報から次に伝送す
る画像情報を予測し、その予測差分を圧縮符号化する場
合等においても利用することが可能となる。FIG. 6 shows the processing status of each piece of information on the time axis of the present invention. The same figure (a) has shown the original signal of a voice and an image, and the same figure (b).
Indicates the relationship of information transmitted when there is no error. When the information on the transmitting side is already compression-encoded under the condition that no error occurs and is stored in some storage device, the same information as in FIG. 7B is stored on the transmitting side. In that case, if the retransmission is performed, it becomes impossible to transmit all the accumulated information due to the retransmission as shown in FIG. 7C, and the accumulated information is thinned and transmitted. At that time, even if the next information can be transmitted at a time earlier than the previously stored information, if the stored information is transmitted first, the synchronization between the respective information will be disturbed. The transmission cannot be started next to. Further, thinning and transmitting the stored information as described above is a case where the information to be transmitted next can be decoded and reproduced without the information transmitted first. In order to improve the efficiency of the above, the image information transmitted next is predicted from the image information transmitted first, and the prediction difference is compression-encoded to improve the transmission efficiency. In such a case, accumulated information cannot be thinned and transmitted. Regarding such a problem, the transmitting side encodes the information to be transmitted in real time, and when there is no error and it is necessary to transmit new information, the latest information is encoded and transmitted. As shown in (d), when the information can be normally transmitted and the next information is ready to be transmitted, the information that can be transmitted is encoded earliest as compared with the case where the information which is compression-encoded in advance is stored. It can be transmitted, and as described above, it can be used also when predicting the image information to be transmitted next from the image information transmitted first and compressing and encoding the prediction difference.
【００３７】図７は、前述のリアルタイム性の改善を目
的とする本発明の第４の実施例のマルチメディア通信装
置のブロック図である。図中、図１，３及び５と同じ番
号を付けている部分は図１，３及び５と同様の動作であ
るので説明は省略する。FIG. 7 is a block diagram of a multimedia communication device according to a fourth embodiment of the present invention for improving the above-mentioned real-time property. In the figure, the parts given the same numbers as in FIGS. 1, 3 and 5 have the same operations as in FIGS.
【００３８】本実施例のマルチメディア通信装置は、受
信装置側は第３の実施例のマルチメディア通信装置（図
５）と同じであるが、送信装置側は、符号化制御部１１
２，１１３と再送情報発生制御部１１５が第３の実施例
のマルチメディア通信装置に付加されている。The multimedia communication device of this embodiment is the same as the multimedia communication device of the third embodiment (FIG. 5) on the receiving device side, but the encoding control unit 11 on the transmitting device side.
2, 113 and a retransmission information generation control unit 115 are added to the multimedia communication device of the third embodiment.
【００３９】送信装置側において再送処理部１１０で受
信された再送要求は再送情報発生制御部１１５に送ら
れ、再生情報発生制御部１１５は各情報単位の再送要求
に応じて符号化制御部１１２，１１３，送信データ入力
部１０３を制御する。符号化制御部１１２，１１３はそ
れぞれ画像符号化部１０４、音声符号化部１０５の作動
／停止を制御する。すなわち、再送要求が頻繁に発生し
た場合、当該情報の符号化を停止させ、送信データ入力
部１０３はデータの入力を停止する。これにより伝送効
率を向上させながらリアルタイム性を損なうことなしに
無線伝送路等の伝送品質の悪い伝送路でも品質の良いマ
ルチメディア情報を通信することができる。 本実施例
では無線伝送路を例として説明したが、勿論その他の誤
りの多い伝送路であっても良い。例えば、Ethernet等の
ＬＡＮや衛星通信等の伝送路等においても本実施例と同
様の構成を用いることができる。The retransmission request received by the retransmission processing unit 110 on the transmission device side is sent to the retransmission information generation control unit 115, and the reproduction information generation control unit 115 responds to the retransmission request for each information unit by the coding control unit 112, 113, and controls the transmission data input unit 103. The encoding control units 112 and 113 control the operation / stop of the image encoding unit 104 and the audio encoding unit 105, respectively. That is, when a retransmission request frequently occurs, the encoding of the information is stopped and the transmission data input unit 103 stops the data input. As a result, it is possible to improve the transmission efficiency and communicate high-quality multimedia information even on a transmission line with poor transmission quality such as a wireless transmission line without deteriorating the real-time property. In the present embodiment, the wireless transmission path has been described as an example, but of course, other transmission paths with many errors may be used. For example, the same configuration as this embodiment can be used in a LAN such as Ethernet and a transmission line such as satellite communication.
【００４０】[0040]
【発明の効果】以上説明したように、本発明は、下記の
ような効果がある。 （１）請求項１から４および７から１０の発明は、受信
情報に誤りが検出された場合には、情報のリアルタイム
性に影響しないように各情報単位毎に再送要求を行い、
送信装置側では、受信装置側からの再送要求にしたがっ
て各情報単位に再送処理で再送を行うことにより、リア
ルタイム性を損なうことなしに無線伝送路等の伝送品質
の悪い伝送路でも品質の良いマルチメディア情報を通信
することができる。 （２）請求項５と１１の発明は、伝送路品質等が変動す
る場合には、一括して伝送する情報量を大きくし、また
伝送品質が悪い場合には一括して伝送する情報量を小さ
くすることにより、つまり受信装置側での誤りの発生度
合に応じて各情報単位にパケット長を制御することによ
り、伝送効率を向上させながらリアルタイム性を損なう
ことなしに無線伝送路等の伝送品質の悪い伝送路でも品
質の良いマルチメディア情報を通信することができる。 （３）請求項６と１２の発明は、各情報がリアルタイム
で符号化されている場合には、再送の発生にしたがって
符号化制御部を制御し、符号化を停止したり、行わせを
することにより、さらにリアルタイム性を向上させるこ
とができる。As described above, the present invention has the following effects. (1) According to the inventions of claims 1 to 4 and 7 to 10, when an error is detected in the received information, a retransmission request is made for each information unit so as not to affect the real-time property of the information,
On the transmission device side, by performing retransmission in each information unit in accordance with a retransmission request from the reception device side, multi-channel transmission with good quality even on a transmission line with poor transmission quality such as a wireless transmission line without deteriorating real-time performance. Media information can be communicated. (2) The inventions of claims 5 and 11 increase the amount of information to be transmitted collectively when the transmission line quality or the like fluctuates, and increase the amount of information to be transmitted collectively when the transmission quality is poor. By reducing the packet size, that is, by controlling the packet length for each information unit according to the degree of error occurrence on the receiving device side, the transmission quality of the wireless transmission line, etc. can be improved without sacrificing real-time performance while improving the transmission efficiency. It is possible to communicate high-quality multimedia information over a poor transmission line. (3) In the inventions of claims 6 and 12, when each information is encoded in real time, the encoding control unit is controlled according to the occurrence of retransmission, and the encoding is stopped or is performed. As a result, the real-time property can be further improved.
【図１】本発明の第１の実施例のマルチメディア通信装
置のブロック図である。FIG. 1 is a block diagram of a multimedia communication device according to a first embodiment of the present invention.
【図２】再送時の各情報の関係を示す図である。[Fig. 2] Fig. 2 is a diagram illustrating a relationship of each information at the time of retransmission.
【図３】本発明の第２の実施例のマルチメディア通信装
置のブロック図である。FIG. 3 is a block diagram of a multimedia communication device according to a second exemplary embodiment of the present invention.
【図４】誤り発生と再送時の転送情報量の関係を示す図
である。FIG. 4 is a diagram showing a relationship between an error occurrence and a transfer information amount at the time of retransmission.
【図５】本発明の第３の実施例のマルチメディア通信装
置のブロック図である。FIG. 5 is a block diagram of a multimedia communication device according to a third exemplary embodiment of the present invention.
【図６】符号化制御と再送の関係を示す図である。FIG. 6 is a diagram showing a relationship between coding control and retransmission.
【図７】本発明の第４の実施例のマルチメディア通信装
置のブロック図である。FIG. 7 is a block diagram of a multimedia communication device according to a fourth exemplary embodiment of the present invention.
【図８】一般的なマルチメディア通信装置のブロック図
である。FIG. 8 is a block diagram of a general multimedia communication device.
【図９】無線伝送路における受信電力の変動を示す図で
ある。FIG. 9 is a diagram showing variations in received power in a wireless transmission path.
１０１ 画像データ入力部 １０２ 音声データ入力部 １０３ 送信データ入力部 １０４ 画像符号化部 １０５ 音声符号化部 １０７ 画像誤り検出符号化部 １０８ 音声誤り検出符号化部 １０９ データ誤り検出符号化部 １１０ 再送処理部 １１１ パケット長制御部 １１２，１１３ 符号化制御部 １１５ 再送情報発生制御部 １１６ 多重分離部 １１６’ パケット多重分離部 １１７ 回線インタフェース部 １１８ 誤り検出符号化部 ２０１ 画像データ出力部 ２０２ 音声データ出力部 ２０３ 送信データ出力部 ２０４ 画像復号化部 ２０５ 音声復号化部 ２０７ 画像誤り検出復号化部 ２０８ 音声誤り検出復号化部 ２０９ データ誤り検出復号化部 ２１０ 画像誤り推定部 ２１１ 音声誤り推定部 ２１２ データ誤り推定部 ２１３ 再送制御部 ２１４ 再送要求処理部 ２１５ 多重分離部 ２１５’ パケット多重分離部 ２１６ 回線インタフェース部 ２１７ 誤り検出符号化部 ３００ 通信回線 101 image data input unit 102 audio data input unit 103 transmission data input unit 104 image encoding unit 105 audio encoding unit 107 image error detection encoding unit 108 audio error detection encoding unit 109 data error detection encoding unit 110 retransmission processing unit 111 packet length control unit 112, 113 coding control unit 115 retransmission information generation control unit 116 demultiplexing unit 116 'packet demultiplexing unit 117 line interface unit 118 error detection coding unit 201 image data output unit 202 voice data output unit 203 transmission Data output unit 204 Image decoding unit 205 Speech decoding unit 207 Image error detection decoding unit 208 Speech error detection decoding unit 209 Data error detection decoding unit 210 Image error estimation unit 211 Speech error estimation unit 212 Data error estimation unit 213 Retransmission control unit 214 Request processing unit 215 demultiplexing unit 215 'packet demultiplexing section 216 line interface unit 217 the error detection coding unit 300 communication line
フロントページの続き (72)発明者 藤本 強 東京都千代田区内幸町一丁目１番６号 日 本電信電話株式会社内Front Page Continuation (72) Inventor Tsuyoshi Fujimoto 1-6, 1-chome, Saiwaicho, Chiyoda-ku, Tokyo Nihon Telegraph and Telephone Corporation
Claims (12)
て通信回線を介して送信し、多重化された情報を受信し
て画像、音声、データの各情報に分離するマルチメディ
ア通信装置における情報伝送方法において、 受信装置側で受信情報に誤りが検出された場合には、誤
りの発生度合に応じて、画像、音声、データの各情報単
位に再送要求を行うか否かを決定して送信装置側に再送
要求を行い、送信装置側では、受信装置側からの再送要
求に従って各情報単位に再送処理を行うことを特徴とす
る、マルチメディア通信装置における情報伝送方法。1. A multimedia communication device for multiplexing image, voice and data information, transmitting the multiplexed information through a communication line, and receiving the multiplexed information to separate image, voice and data information. In the information transmission method, when an error is detected in the received information on the receiving device side, it is decided whether to make a retransmission request for each information unit of image, voice, and data according to the degree of error occurrence. An information transmission method in a multimedia communication device, characterized in that a retransmission request is made to the transmitting device side, and the transmitting device side makes a retransmission process for each information unit in accordance with a retransmission request from the receiving device side.
て通信回線を介して送信し、多重化された情報を受信し
て画像、音声、データの各情報に分離するマルチメディ
ア通信装置における情報伝送方法において、 受信装置側で受信情報の誤りを画像、音声、データの情
報毎に推定し、該推定結果に応じて、画像、音声、デー
タの各情報単位に再送要求を行うか否かを決定して送信
装置側に再送要求を行い、送信装置側では受信装置側か
らの再送要求に従って各情報単位に再送処理を行うこと
を特徴とする、マルチメディア通信装置における情報伝
送方法。2. A multimedia communication device for multiplexing image, voice and data information, transmitting the multiplexed information via a communication line, and receiving the multiplexed information to separate image, voice and data information. In the information transmission method, whether or not the receiving device estimates the error of the received information for each image, voice, and data information, and makes a resend request for each information unit of image, voice, and data according to the estimation result. Information transmission method in a multimedia communication device, characterized in that a retransmission request is made to the transmitting device side, and the transmitting device side performs a retransmission process for each information unit in accordance with a retransmission request from the receiving device side.
求を行わない請求項１または２記載の、マルチメディア
通信装置における情報伝送方法。3. The information transmission method in a multimedia communication device according to claim 1, wherein a retransmission request for voice information having a high real-time property is not made.
てある単位のパケットに分割して通信回線を介して送信
し、多重化された情報を受信して画像、音声、データの
各情報に分離するマルチメディア通信装置における情報
伝送方法において、 受信装置側で多重化された受信情報に誤りが検出された
場合には、誤りの発生度合に応じて、画像、音声、デー
タの各情報単位に再送要求を行うか否かを決定して送信
装置側に再送要求を行い、送信装置側では、受信装置側
からの再送要求に従って各情報単位に再送処理を行うこ
とを特徴とする、マルチメディア通信装置における情報
伝送方法。4. Information of image, voice and data is multiplexed and divided into a unit packet and transmitted through a communication line, and the multiplexed information is received and information of image, voice and data is received. When an error is detected in the reception information multiplexed on the receiving device side in the information transmission method in the multimedia communication device that is separated into two, each information unit of image, voice and data is determined according to the occurrence degree of the error. Is determined to make a retransmission request to the transmitting device side, and the transmitting device side performs a retransmission process for each information unit in accordance with the retransmission request from the receiving device side. Information transmission method in communication device.
生度合に応じて、各情報単位にパケットの長さを制御す
る請求項４記載の、マルチメディア通信装置における情
報伝送方法。5. The information transmission method in a multimedia communication device according to claim 4, wherein the transmitting device side controls the packet length for each information unit according to the degree of error occurrence on the receiving device side.
て通信回線を介して送信し、多重化された情報を受信し
て画像、音声、データの各情報に分離するマルチメディ
ア通信装置における情報伝送方法において、 受信装置側で多重化された受信情報に誤りが検出された
場合には、誤りの発生度合に応じて、画像、音声、デー
タの各情報単位に再送要求を行うかを決定して送信装置
側に再送要求を行い、送信装置側では、受信装置側から
の再送要求に従って各情報の符号化を行い、あるいは停
止することを特徴とする、マルチメディア通信装置にお
ける情報伝送方法。6. A multimedia communication device for multiplexing image information, voice information and data, transmitting the information via a communication line, receiving the multiplexed information and separating the information into image information, voice information and data information. In the information transmission method, when an error is detected in the received information multiplexed on the receiving device side, it is decided whether to make a retransmission request for each information unit of image, voice and data according to the degree of error occurrence. An information transmission method in a multimedia communication device, characterized in that a retransmission request is made to the transmitting device side, and the transmitting device side encodes or stops each information according to the retransmission request from the receiving device side.
て通信回線を介して送信し、多重化された情報を受信し
て画像、音声、データの各情報に分離するマルチメディ
ア通信装置において、 画像、音声、データの情報毎に誤りを検出し、多重分離
部に出力する誤り検出部と、 受信装置側から要求された再送要求に対して情報毎に情
報の再送を行う再送処理部を送信装置側に有し、 受信情報の誤りを画像、音声、データの情報毎に検出す
る誤り検出部と、 画像、音声、データの情報単位毎に各情報の再送要求を
前記再送処理部に行う再送要求処理部と、 前記誤り検出部における受信情報の誤りの発生度合に応
じて、画像、音声、データの各情報単位に前記送信装置
に再送を要求するか否かを決定し、再送の要求を決定し
た場合、前記再送要求処理部に再送要求を行わせる再送
制御部を受信装置側に有することを特徴とするマルチメ
ディア通信装置。7. A multimedia communication apparatus for multiplexing image, voice and data information, transmitting the multiplexed information through a communication line, and receiving the multiplexed information to separate image, voice and data information. An error detection unit that detects an error for each image, voice, and data information and outputs the error to the demultiplexing unit, and a retransmission processing unit that retransmits the information for each information in response to the retransmission request requested from the receiving device side. An error detection unit, which is provided on the transmission device side, detects an error in received information for each image, voice, and data information, and requests the retransmission processing unit to retransmit each information for each information unit of image, voice, and data. Retransmission request processing unit and, depending on the occurrence degree of error of the received information in the error detection unit, determine whether to request the retransmission to the transmission device for each information unit of image, voice, and data, request the retransmission If you decide Multimedia communication apparatus characterized by having a retransmission control unit to perform a retransmission request to the processing section to the receiving apparatus side.
て通信回線を介して送信し、多重化された情報を受信し
て画像、音声、データの各情報に分離するマルチメディ
ア通信装置において、 受信装置側から要求された再送要求に対して画像、音
声、データの情報毎に情報の再送を行う再送処理部を送
信装置側に有し、 受信情報の誤りを画像、音声、データの情報毎に推定す
る誤り推定部と、 画像、音声、データの情報単位毎に各情報の再送要求を
前記再送処理部に行う再送要求処理部と、 前記誤り推定部における受信情報の誤りの推定結果に応
じて、画像、音声、データの各情報単位に前記送信装置
に再送を要求するか否かを決定し、再送の要求を決定し
た場合、前記再送要求処理部に再送要求を行わせる再送
制御部を受信装置側に有することを特徴とするマルチメ
ディア通信装置。8. A multimedia communication device for multiplexing image information, voice information and data, transmitting the information via a communication line, and receiving the multiplexed information to separate image information, voice information and data information. The transmission device has a retransmission processing unit that retransmits information for each image, voice, and data information in response to a retransmission request requested by the reception device side. An error estimation unit that estimates each of the information, a retransmission request processing unit that makes a retransmission request of each information to the retransmission processing unit for each information unit of image, voice, and data, and an error estimation result of the received information in the error estimation unit. Accordingly, it is determined whether or not to request retransmission to the transmission device for each information unit of image, voice, and data, and when a retransmission request is determined, a retransmission control unit that causes the retransmission request processing unit to make a retransmission request. On the receiver side Multimedia communication apparatus according to claim and.
い音声情報の再送要求を行わない請求項７または８記載
のマルチメディア通信装置。9. The multimedia communication device according to claim 7, wherein the retransmission control unit does not request retransmission of voice information having high real-time property.
してある単位のパケットに分割して通信回線を介して送
信し、多重化された情報を受信して画像、音声、データ
の各情報に分離するマルチメディア通信装置において、 画像、音声、データの多重化された情報の誤りを検出
し、通信回線に出力する誤り検出部と、 受信装置側から要求された再送要求に対して画像、音
声、データの情報毎に情報の再送を行う再送処理部を送
信装置側に有し、 多重化された受信信号の誤りを検出する誤り検出部と、 画像、音声、データの情報単位毎に各情報の再送要求を
前記再送処理部に行う再送要求処理部と、 前記誤り検出部における受信情報の誤りの発生度合に応
じて、画像、音声、データの各情報単位に前記送信装置
に再送を要求するか否かを決定し、再送の要求を決定し
た場合、前記再送要求処理部に再送要求を行わせる再送
制御部を受信装置側に有することを特徴とするマルチメ
ディア通信装置。10. Information of image, voice and data is multiplexed and divided into packets of a certain unit and transmitted through a communication line, and the multiplexed information is received and information of image, voice and data is received. In the multimedia communication device that separates into two, an error detection unit that detects an error in information multiplexed with image, voice, and data and outputs the error to the communication line, and an image in response to a resend request requested from the receiving device side, The transmission device side has a retransmission processing unit that retransmits information for each voice and data information, and an error detection unit that detects an error in the multiplexed received signal, and an error detection unit for each image, voice, and data information unit. A retransmission request processing unit that makes a request to retransmit information to the retransmission processing unit, and requests the transmission device to retransmit each information unit of image, voice, and data according to the occurrence degree of an error in the received information in the error detection unit. Decide whether to do If you decide to request retransmission, multimedia communication apparatus characterized by having a retransmission control unit to perform a retransmission request to the retransmission request processing section to the receiving apparatus side.
て、各情報単位にパケットの長さを制御するパケット長
制御部を送信装置側に有する、請求項１０記載のマルチ
メディア通信装置。11. The multimedia communication device according to claim 10, wherein the transmitting device has a packet length control unit for controlling the packet length for each information unit according to the degree of error occurrence on the receiving device side.
して通信回線を介して送信し、多重化された情報を受信
して画像、音声、データの各情報に分離するマルチメデ
ィア通信装置において、 画像、音声の各情報の符号化部の作動／停止を行う符号
化制御部と、 画像、音声、データの多重化された情報の誤りを検出す
る誤り検出部と、 受信装置から要求された再送要求に応じ各情報の符号化
制御部と送信データ入力部を制御する再送情報発生制御
部を送信装置側に有し、 多重化された受信信号の誤りを検出する誤り検出部と、 画像、音声、データの情報単位毎に各情報の再送要求を
前記再送処理部に行う再送要求処理部と、 前記誤り検出部における通信回線の誤りの発生度合に応
じて、画像、音声、データの各情報単位に、前記送信装
置に再送を要求するか否かを決定し、再送の要求を決定
した場合、前記再送要求処理部に再送要求を行わせる再
送制御部を受信装置側に有することを特徴とするマルチ
メディア通信装置。12. A multimedia communication device for multiplexing image, voice and data information, transmitting the information via a communication line, and receiving the multiplexed information to separate the image, voice and data information. , A coding control unit that operates / stops the coding unit of each information of image and voice, an error detection unit that detects an error of information multiplexed of image, voice, and data, and a request from the receiving device. An error detection unit for detecting an error in the multiplexed reception signal, which has a retransmission information generation control unit for controlling the encoding control unit for each information and the transmission data input unit according to the retransmission request on the transmission device side, an image, Retransmission request processing unit that requests the retransmission processing unit to retransmit each information for each information unit of voice and data, and each information of image, voice, and data according to the degree of error of the communication line in the error detection unit. In units of the transmitter A multimedia communication device, characterized in that the receiving device side has a retransmission control unit that determines whether or not to request retransmission, and when the retransmission request is determined, causes the retransmission request processing unit to make a retransmission request.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6199735A JPH0865278A (en) | 1994-08-24 | 1994-08-24 | Multimedia communication equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6199735A JPH0865278A (en) | 1994-08-24 | 1994-08-24 | Multimedia communication equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0865278A true JPH0865278A (en) | 1996-03-08 |
Family
ID=16412760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6199735A Pending JPH0865278A (en) | 1994-08-24 | 1994-08-24 | Multimedia communication equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0865278A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0741468A2 (en) * | 1995-05-02 | 1996-11-06 | Yamaha Corporation | Network karaoke system of broadcast type having supplementary communication channel |
| WO1998031131A1 (en) * | 1997-01-07 | 1998-07-16 | Matsushita Electric Industrial Co., Ltd. | Multimedia terminal device |
| US6637001B1 (en) | 2000-08-30 | 2003-10-21 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image/voice transmission |
| JP2005347899A (en) * | 2004-06-01 | 2005-12-15 | Sharp Corp | Music data transmission apparatus, music data reproducing apparatus, and music data communication system |
-
1994
- 1994-08-24 JP JP6199735A patent/JPH0865278A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0741468A2 (en) * | 1995-05-02 | 1996-11-06 | Yamaha Corporation | Network karaoke system of broadcast type having supplementary communication channel |
| EP0741468A3 (en) * | 1995-05-02 | 1998-11-04 | Yamaha Corporation | Network karaoke system of broadcast type having supplementary communication channel |
| WO1998031131A1 (en) * | 1997-01-07 | 1998-07-16 | Matsushita Electric Industrial Co., Ltd. | Multimedia terminal device |
| US6637001B1 (en) | 2000-08-30 | 2003-10-21 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image/voice transmission |
| JP2005347899A (en) * | 2004-06-01 | 2005-12-15 | Sharp Corp | Music data transmission apparatus, music data reproducing apparatus, and music data communication system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8089502B2 (en) | Adaptive video telephone system | |
| US6940819B2 (en) | Internet telephone apparatus and method for an internet telephone set | |
| JP2001189713A (en) | Data transmitter and data transmission method | |
| KR20090124993A (en) | Transmission apparatus, transmission method, and reception apparatus | |
| JPH07322248A (en) | Motion image data transmission method and transmitter | |
| KR20030051265A (en) | Data communications system, data sender, data receiver, data communications method, and computer program | |
| US5774483A (en) | Method and apparatus for recovering an image in a video telephone system | |
| JPH08265332A (en) | Data transfer method and its device | |
| US20060005101A1 (en) | System and method for providing error recovery for streaming fgs encoded video over an ip network | |
| JP2005033556A (en) | Data transmitter, data transmitting method, data receiver, data receiving method | |
| JP2003324733A (en) | System and method for moving picture transmission/ reception | |
| JPH0865278A (en) | Multimedia communication equipment | |
| JP3931594B2 (en) | Retransmission method for multipoint broadcast networks | |
| EP2200025B1 (en) | Bandwidth scalable codec and control method thereof | |
| JP2002152181A (en) | Method and device for multimedia communication | |
| JP2006222663A (en) | Communication terminal and method for controlling communication data volume | |
| WO2010000910A1 (en) | Transmission capacity probing using adaptive redundancy adjustment | |
| KR100916312B1 (en) | An apparatus for transmitting video using adaptive weighted error correction coding and multiple description coding and method thereof | |
| JP2003169304A (en) | Image transmission method for multimedia communication | |
| KR20020042962A (en) | Encoder and decoder in a wireless terminal for retransmitting a moving picture | |
| JP2004120148A (en) | Transmitter and receiver for multimedia contents | |
| GB2469281A (en) | Asynchronous live video transmission based on client side requests for individual frames | |
| JPH09307510A (en) | Hierarchical coder, hierarchical decoder, and hierarchical coding decoding device | |
| JP2000197024A (en) | Voice/image communicating equipment | |
| JPH0799662A (en) | Dynamic image signal transmission method |