JP2001111993A - 動画像データ通信システム - Google Patents

Abstract

(57)【要約】 【課題】 無駄なデータを送出することを最小限にとど
め、動画像の伝送遅れを抑制して表示画面の更新間隔を
短縮する。 【解決手段】 フレーム内またはフレーム間モードの動
画像データを送受信する動画像データ通信システム１０
０において、受信装置１２０は、各種コマンドを生成す
るコマンド生成部と、フレーム間モードの圧縮画像デー
タのエラーを検出したときにフレーム内モードコマンド
を生成するよう指示する送信制御部と、生成したコマン
ドを送信する送信部とを含み、送信装置１１０は、フレ
ーム内モードコマンドに基づきこれから処理するフレー
ムデータをフレーム内モードで圧縮する圧縮部と、圧縮
画像データを送信する送信部とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮処理した動画
像データの送受信をネットワークを介して行なう動画像
データ通信システムに関し、特に、エラー発生頻度の高
いネットワークに用いるのに適した動画像データ通信シ
ステムに関する。

【０００２】

【従来の技術】従来から、ネットワークを介して動画像
データを伝送し、送信先で動画像の再生を行なう通信シ
ステムが開発されている。このような通信システムは、
取り扱うデータ量が大きいため、送信側でデータ圧縮な
どを行なったあとネットワークに送出し、受信側でデー
タ伸張して再生する構成とされている。

【０００３】

【発明が解決しようとする課題】しかし、上述のシステ
ムでは、圧縮した動画像データを含むパケットが伝送路
上で損失した場合や、ネットワーク上でノイズが混入す
るなどしてデータ誤りといったエラーが発生した場合に
は、修正処理を行なうことなくそのまま無視するように
していた。すなわち、上述のシステムでは、エラーが発
生した場合に、一定の間隔で送信されてくるフレーム内
モードの画像データによって全画面が更新されるまで画
面の更新を停止するか、エラーによって乱れた画像を表
示し続けるようにしていた。このように、エラーが発生
したときにそのまま無視して全画面が更新されるまで待
つようにすると、次のフレーム内モードの画像フレーム
が送信されてくるまで画像が更新されないか、あるい
は、エラーによって乱れた画像を表示し続けることにな
る。また、その間に送信されてくるフレーム間モードの
データは正しく伸張することができない。従って、表示
画面が見づらいものとなると共に、無駄となるデータを
ネットワーク上に流してしまうことになるという問題が
あった。

【０００４】また、エラーが発生した場合に、受信側が
送信側に対して再送要求を通知してエラーが起こったデ
ータを再度送信するようにし、正しいデータを受け取っ
たら画面を更新することが考えられる。しかし、エラー
発生時に送信側に再送要求を通知してエラーが起こった
フレームのデータを再送すると、再送要求通知や再度同
じデータを送る処理の時間が必要となる。従って、画像
フレームが正常に再送されたときに、その画像フレーム
は既に通常よりも遅延したものとなってしまうという問
題がある。また、再送要求が何度も繰返されて無駄なデ
ータをネットワーク上に繰返し流すことになるという問
題もある。このような問題は、特に、エラー発生頻度が
高いネットワークで著しい。

【０００５】さらに、エラーが発生した場合に、送信側
に対してフレーム内モードで圧縮処理して送信する要求
を通知して、そのフレーム内モードの画像フレームデー
タが送られてきたときに全画面を更新することが考えら
れる。しかし、エラー発生時に送信側に対してフレーム
内モードの画像フレームの送信要求を通知する方法で
は、要求したフレーム内モードの画像フレームを送信し
ている間にエラーが発生した場合にそのデータが無駄と
なるだけでなく、再度フレーム内モード画像フレームの
送信要求を通知する必要がある。このため、上記のシス
テムは、特にネットワークのエラー発生頻度が高い状態
ではフレーム内モード画像フレームの送信要求を繰返し
通知することになる。従って、画像の更新時間が長くな
ってしまうことに加えて、無駄となる多くのデータをネ
ットワーク上に繰返し流してしまうという問題がある。

【０００６】本発明は上述した問題を解消し、特にエラ
ー発生頻度が高い動画像通信ネットワークにおいて、無
駄なデータをネットワーク上に送出してしまうことを最
小限にとどめ、動画像の伝送遅れを抑制すると共に、表
示画面の更新間隔を短縮することを目的とする。

【０００７】

【課題を解決するための手段】上記の問題を解決するた
めに、本発明は、動画像データをフレーム内モードまた
はフレーム間モードで圧縮した圧縮画像データを通信ネ
ットワークを介して送信する送信装置と、圧縮画像デー
タを受信して伸張する受信装置とを含む動画像データ通
信システムにおいて、受信装置は、各種コマンドを生成
するコマンド生成部と、フレーム間モードの圧縮画像デ
ータの受信の際にパケット損失またはデータ誤りのエラ
ーを検出したときに再送コマンドではなくフレーム内モ
ードコマンドを生成するようコマンド生成部を制御する
送信制御部と、コマンド生成部が生成したコマンドを送
信する送信部とを含み、送信装置は、フレーム内モード
コマンドに基づいてこれから処理するフレームデータを
フレーム内モードで圧縮する圧縮部と、圧縮部が処理し
た圧縮画像データを送信する送信部とを含むものであ
る。

【０００８】上記の構成としたことで、動画像の伝送遅
れを抑制すると共に、表示画面の更新間隔を短縮するこ
とができる。

【０００９】

【発明の実施の形態】本発明の第１の実施の形態につい
て図面を参照して説明する。図１は、本例の動画像デー
タ通信システム１００の構成を示すブロック図である。
動画像データ通信システム１００は、２つの動画像デー
タ通信装置１１０，１２０と、ネットワークインタフェ
ース１３０，１４０と、例えばインターネットなどの通
信ネットワーク１９０とを含む。本例では、動画像デー
タ通信装置１１０，１２０は、それぞれ同一の構成をな
しており、それぞれ動画像データの送受信機能を有して
いる。各動画像データ通信装置１１０，１２０は、それ
ぞれネットワークインタフェース１３０，１４０を介し
てネットワーク１９０に接続されている。各動画像デー
タ通信装置１１０，１２０は、それぞれ、例えばビデオ
カメラ装置などの映像入力装置から画像を１フレームず
つディジタル化して取り込む画像取り込み装置１５０，
１６０と、例えばＣＲＴ（陰極線管）やＬＣＤ（液晶表
示装置）などで構成されるの画像表示装置１７０，１８
０とが接続されている。なお、ネットワークに接続され
る動画像データ通信装置は、いくつであっても良い。

【００１０】図２は、動画像データ通信装置１１０の構
成を示すブロック図である。動画像データ通信装置１１
０は、画像圧縮部１１１と、誤り検出符号付加部１１２
と、パケット送信部１１３と、パケット受信部１１４
と、誤り検出部１１５と、画像伸張部１１６と、パケッ
ト損失検出部１１７と、コマンド生成解析部１１８と、
送信制御部１１９とを含む。なお、動画像データ通信装
置１２０の構成については、動画像データ通信装置１１
０の構成と同一であるため、その詳細な説明は省略す
る。

【００１１】画像圧縮部１１１は、例えばＩＴＵ−Ｔ
（電気通信標準化部門）のＨ．２６１勧告やＩＳＯ（国
際標準化機構）のＭＰＥＧ標準で定められているフレー
ム内およびフレーム間での画像圧縮符号化方式を用いて
データ圧縮処理を行なう。画像圧縮部１１１は、画像取
り込み装置１５０から入力される画像データを、１フレ
ーム毎に縦横複数個のマクロブロックと呼ばれる小画面
に分割して、そのマクロブロック単位でデータ圧縮を行
なう。

【００１２】誤り検出符号付加部１１２は、画像圧縮部
１１１から小画面単位で出力される圧縮データそれぞれ
の先頭に誤り検出用の符号を生成して付加する。

【００１３】パケット送信部１１３は、誤り検出符号付
加部１１２から出力されるデータに、送信先でパケット
損失を検出するための連続番号や、送信先のアドレス情
報などを付加してパケット化する。また、パケット送信
部１１３は、ネットワークインタフェース１３０を制御
してネットワーク１９０にパケット化したデータを送出
する。パケット送信部１１３は、送信先からフレーム間
モードの圧縮画像データにエラーが発生した旨の通知を
受けたときは、内部バッファにて送信待ちとなっている
圧縮画像データを破棄する送信データ破棄機能を有す
る。

【００１４】パケット受信部１１４は、ネットワークイ
ンタフェース１３０を制御して、ネットワーク１９０を
介して伝送されてきたパケットを受信する。また、パケ
ット受信部１１４は、受信したパケットに付加されてい
るパケット損失検出用の連続番号を抽出してパケット損
失検出部１１７に通知する。パケット受信部１１４は、
パケット損失検出部１１７においてフレーム間モードの
圧縮画像データにパケット損失があることが検出された
場合に、損失したパケットを含んでいるフレームデータ
のうちの既に受信したデータを破棄する受信済データ破
棄機能を有している。また、パケット受信部１１４は、
フレーム間モードの圧縮画像データについてパケット損
失が検出されたあとは、フレーム内モードの画像データ
を受信するまで受信データ（フレーム間モードで圧縮さ
れた画像データ）を破棄する受信データ破棄機能を有し
ている。

【００１５】誤り検出部１１５は、受信した各パケット
に付加されている誤り検出符号を検査することにより、
データ誤りがあるかどうかの判断を行なう。データ誤り
があると判断した場合には、誤り検出部１１５は、エラ
ーを検出したことを送信制御部１１９に通知する。誤り
検出部１１５は、フレーム間モードの圧縮画像データに
データ誤りがあることを検出した場合に、誤りのあるデ
ータをその場で破棄する誤りデータ破棄機能を有してい
る。また、誤り検出部１１５は、フレーム間モードの圧
縮画像データについてデータ誤りが検出されたあとは、
フレーム内モードの画像データを受信するまで受信デー
タ（フレーム間モードで圧縮された画像データ）を破棄
する受信データ破棄機能を有している。

【００１６】画像伸張部１１６は、受信した圧縮画像デ
ータを伸張して小画面に分割されていた画像フレームを
再構成する。

【００１７】パケット損失検出部１１７は、パケット受
信部１１４から受信した各パケットに付加されている連
続番号の通知を受け、その番号に基づいてネットワーク
上で消失したパケットの有無を検出する。すなわち、パ
ケット損失検出部１１７は、例えば一定時間内（例えば
０．５秒程度）に連続番号を構成するためのパケットが
受信されたかった場合には、ネットワーク上でパケット
が損失したものと判断する。パケット損失検出部１１７
は、パケットが損失したと判断すると、エラーを検出し
たことを送信制御部１１９に通知する。

【００１８】コマンド生成解析部１１８は、受信データ
にエラーが発生した時に送信制御部１１９の指示により
送信側に通知するためのコマンドを生成し、送信側のコ
マンド生成解析部に対してパケット送信部１１３を介し
てコマンドパケットを送信する。また、コマンド生成解
析部１１８は、パケット受信部１１４で受信したコマン
ドパケットを受け取ってコマンドの解析を行なう。

【００１９】送信制御部１１９は、装置１１０全体の制
御を行なう。送信制御部１１９は、パケット損失検出部
１１７および誤り検出部１１５で検出されたエラー情報
を取得し、コマンド生成解析部１１８に対してエラーの
通知や再送要求を行なうためのコマンドを発行するよう
要求する。また、送信制御部１１９は、相手端末側から
エラー発生や再送要求のコマンドを受信した場合、コマ
ンド生成解析部１１８からの要求に応じて、画像圧縮部
１１１を制御してフレーム内モードの圧縮画像データを
生成するように要求したり、パケット送信部１１３内部
のバッファに保持されているフレーム内モードの圧縮画
像データを再送するように要求する。

【００２０】次に、動画像データ伝送システム１００に
おける動画像データ伝送処理について、送信処理、正常
受信処理、エラー発生時の処理に分けて、図面を参照し
て説明する。なお、ここでは動画像データ通信装置１１
０から、動画像データ送信装置１２０に向けて動画像デ
ータを伝送する場合のデータ伝送処理について説明す
る。また、以下の説明において、動画像データ通信装置
１２０の各部には、動画像データ通信装置１１０の各部
に対応する符号を付与するものとする。

【００２１】（ａ）送信側の動画像データ通信装置１１
０による送信処理 画像取り込み装置１５０から入力した動画像データをネ
ットワーク１９０に送出する際には、先ず、動画像デー
タ通信装置１１０の画像圧縮部１１１は、画像取り込み
装置１５０から順次入力されるフレーム画像データを、
取り扱う画像データやフレームレートなどに応じて設定
したほぼ一定（例えば、０．５秒〜１５秒程度の範囲内
毎）の間隔でフレーム内モードの圧縮処理を行い、フレ
ーム内モードの各画像フレームの間にあるフレームはフ
レーム間モードで圧縮処理する。

【００２２】なお、フレーム内モードの圧縮処理を行な
う間隔は、処理を行なう動画像の対象が、例えばテレビ
ジョン放送などの一般の映像（ある程度動きが激しい映
像）であるか、あるいはテレビ会議や遠隔監視システム
などの映像（動きが少ない映像）であるかなどにより、
間隔を定める上で考慮すべき範囲が異なる。すなわち、
テレビジョン放送などの一般の映像を対象とする場合
は、ＭＰＥＧ１標準やＭＰＥＧ２標準を用いて、例えば
０．５秒から１秒間隔と定めるようにする。また、テレ
ビ会議などの映像を対象とする場合は、ＩＴＵ−Ｔの
Ｈ．２６１勧告やＨ．２６３勧告などを用いる。例えば
Ｈ．２６１勧告によれば少なくとも１３２フレームに１
回の間隔と定められており、フレームレートが最高で３
０［フレーム／秒］の場合は４．４秒間隔となり、一般
には回線伝送速度の関係から１０〜１５［フレーム／
秒］であるため８．８秒〜１３．２秒間隔となる。従っ
て、テレビ会議システムなどの動きの少ない映像を対象
とする場合は、例えば５秒から１５秒程度の範囲でフレ
ーム内モードで処理する間隔を設定する。また、一般の
ビデオカメラなどの映像を対象とする場合は、例えば１
秒から５秒程度の範囲でフレーム内モードで処理する間
隔を設定する。なお、フレーム内モードで処理する間隔
の設定は、対象とする動画像データの内容や用途などに
応じて上述した範囲以外の値に設定しても良い。

【００２３】データ圧縮を行なうと、画像圧縮部１１１
は、圧縮データを誤り検出符号付加部１１２に出力す
る。誤り検出符号付加部１１２は、受信した圧縮データ
に誤り検出符号を付加してパケット送信部１１３に出力
する。そして、パケット送信部１１３は、入力した画像
圧縮データをパケット化し、パケット化した画像圧縮デ
ータをネットワークインタフェース１３０を経由してネ
ットワーク１９０に送出する。パケット送信部１１３
は、１フレーム分のパケットデータが正常に送信された
と判断すると、送信したフレームデータを内部に有する
バッファから削除すると共に、次の画像フレームのパケ
ット化した画像圧縮データの送信を開始する。このよう
にして、動画像データ通信装置１１０は、ネットワーク
１９０にパケット化した圧縮データを順次送出し、動画
像データの送信を行なう。

【００２４】（ｂ）受信側の動画像データ通信装置１２
０の正常受信処理 送信側の動画像データ通信装置１１０によりパケットデ
ータが順次送信されると、受信側の動画像データ通信装
置１２０のパケット受信部１２４は、ネットワークイン
タフェース１４０を制御して、ネットワーク１９０から
パケットデータを受信する。パケット損失検出部１２７
でのパケット損失の検出、または誤り検出部１２５での
データ誤りの検出がなければ、受信した圧縮画像データ
を画像伸張部１２６にて伸張すると共に小画面に分割さ
れていた画像フレームを再構成する。そして、画像伸張
部１２６は、再構成した画像フレームを順次画像表示装
置１８０に出力する。

【００２５】（ｃ）受信側の動画像データ通信装置１２
０でフレーム間モードで圧縮されたデータの受信の際に
エラーが検出された場合のシステム１００の処理 受信側装置１２０のパケット損失検出部１２７は、パケ
ット受信部１２４で受信した各パケットに付加されてい
る番号を調べることによりパケット損失を検出すると、
パケット損失があったことを送信制御部１２９に通知す
る。また、パケット損失が検出されると、パケット受信
部１２４は、内部バッファに保持している損失したパケ
ットを含んでいるフレームデータを破棄する。

【００２６】また、受信側装置１２０の誤り検出部１２
５が、パケットに付加されている誤り検出符号を検査す
ることによりデータ誤りがあることを検出すると、誤り
検出部１２５は、データ誤りがあったことを送信制御部
１２９に通知すると共に、誤りのある圧縮画像データを
画像伸張部１２６に送ることなく直ちに破棄する。

【００２７】そして、パケット損失またはデータ誤りが
あることを検出して、上述のようにエラー発生に関する
データを破棄すると、パケット受信部１２４または誤り
検出部１２５は、そのあとフレーム内モードの画像デー
タを受信するまで、受信したデータ（フレーム間モード
で圧縮された画像データ）を破棄する。

【００２８】動画像データ通信装置１２０の送信制御部
１２９は、例えば図３に示すように、フレーム間モード
の圧縮画像データを受信しているある時刻Ａに、パケッ
ト損失検出部１２７または誤り検出部１２５からエラー
検出の通知を受けると、コマンド生成解析部１２８にフ
レーム内モードの画像フレームを送信要求するコマンド
（以下、「フレーム内モードコマンド」という）３１を
発行するように要求する。コマンド生成解析部１２８
は、パケット送信部１２３にフレーム内モードコマンド
３１を含むパケットを生成して送信側装置１１０に送信
するよう要求する。パケット送信部１２３は、ネットワ
ークインタフェース１４０、ネットワーク１９０、およ
びネットワークインタフェース１３０を介して、送信側
装置１１０に向けてフレーム内モードコマンド３１を含
むパケットを出力する。

【００２９】フレーム内モードコマンド３１は、送信側
装置１１０のパケット受信部１１４により受信され、コ
マンド生成解析部１１８に入力される。コマンド生成解
析部１１８は、コマンド３１の内容を解析し、フレーム
内モードの画像フレームの送信が要求されたことを検出
する。そして、コマンド生成解析部１１８は、コマンド
３１の解析結果を送信制御部１１９に通知する。送信制
御部１１９は、パケット送信部１１３に対してパケット
送信部１１３が内部に有するバッファで送信待ちとなっ
ている圧縮画像データを破棄するように要求する。ま
た、送信制御部１１９は、画像圧縮部１１１にこれから
処理を行なおうとしていたフレームデータをフレーム内
モードで圧縮処理するよう要求する。

【００３０】パケット送信部１１３は、送信制御部１１
９の要求に応じて内部に有するバッファに保持している
圧縮画像データを破棄する。また、画像圧縮部１１１
は、送信制御部１１９の要求に応じてフレーム内モード
で圧縮した画像フレームを生成する。そして、フレーム
内モードで圧縮されたフレームデータは、検出符号付加
部１１２やパケット送信部１１３などを介して受信側装
置１２０に向けてネットワーク１９０に送出される。

【００３１】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
てフレーム内モードの圧縮画像データ３２を受信する。
フレーム内モード圧縮画像データ３２は、パケット損失
検出部１２７でのパケット損失の検出、および誤り検出
部１２５でのデータ誤りの検出がなければ、画像伸張部
１２６に送られ、正常な受信処理が行われる。すなわ
ち、画像伸張部１２６は、受信した圧縮画像データを伸
張すると共に小画面に分割されていた画像フレームを再
構成する。画像伸張部１２６は、再構成した画像フレー
ムを順次画像表示装置１８０に出力する。そして、画像
表示装置１８０では、全画面の表示が更新されて、正常
な受信処理が行われるようになる。

【００３２】ここで、受信側装置１２０の要求に応じて
送信側装置１１０より送信されたフレーム内モードの圧
縮画像データ３２の受信処理において、例えば図３に示
す時刻Ｂに、パケット損失検出部１２７または誤り検出
部１２５にてエラーが検出された場合の処理について説
明する。先ず、送信制御部１２９は、パケット損失検出
部１２７または誤り検出部１２５からエラー検出の通知
を受ける。すると、送信制御部１２９は、コマンド生成
解析部１２８に圧縮画像データ３２に含まれているパケ
ット３４（受信側でエラーが発生してしまったパケッ
ト。以下、「エラーパケット」という。）の再送要求コ
マンド３３を発行するように要求する。コマンド生成解
析部１２８は、再送要求コマンド３３を発行して、パケ
ット送信部１２３に再送要求コマンド３３のパケットを
送信側装置１１０に送信するよう要求する。パケット送
信部１２３は、パケット化された再送要求コマンド３３
を、ネットワークインタフェース１４０、ネットワーク
１９０、およびネットワークインタフェース１３０を介
して送信側装置１１０に通知する。

【００３３】再送要求コマンド３３は、送信側装置１１
０のパケット受信部１１４により受信され、コマンド生
成解析部１１８に入力される。コマンド生成解析部１１
８は、コマンド３３の内容を解析し、圧縮画像データ３
２のエラーパケット３４が再送要求されたことを検出す
る。コマンド生成解析部１１８は、コマンド３３解析の
結果を送信制御部１１９に通知する。送信制御部１１９
は、パケット送信部１１３に対し、パケット送信部１１
３が内部に有するバッファに保持しているエラーパケッ
ト３４を再送するように要求する。パケット送信部１１
３は、送信制御部１１９の要求に応じて、エラーパケッ
ト３４を受信側装置１２０に向けてネットワーク１９０
に再送する。

【００３４】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
て圧縮画像データ３２のエラーパケット３４を再度受信
する。エラーパケット３４は、パケット損失検出部１２
７でのパケット損失の検出、および誤り検出部１２５で
のデータ誤りの検出がなければ、画像伸張部１２６に送
られ、上述したような正常な受信処理が行われるように
なる。

【００３５】ここでさらに、受信側装置１２０の要求に
応じて送信側装置１１０より再送された圧縮画像データ
３２のエラーパケット３４の受信処理において、例えば
図３に示す時刻Ｃに、パケット損失検出部１２７または
誤り検出部１２５にてエラーが検出された場合の処理に
ついて説明する。エラーパケット３４の受信処理におい
てエラーが検出されたときには、再び上述した時刻Ｂ以
降の処理を繰り返す。すなわち、再送要求コマンド３３
を、再度送信側装置１１０に通知する。そして、圧縮画
像データ３２のエラーパケット３４が正しく受信される
まで上述した処理を繰り返す。

【００３６】しかし、エラーの発生頻度が高いために再
送動作を繰返し、例えば図３に示す時刻Ｄになってもエ
ラーパケット３４が正しく受信されない場合には、圧縮
画像データ３２に基づく画面の更新を断念する。この場
合、時刻Ｄは、本例では、時刻Ａのあとのコマンド３１
の通知により要求した圧縮画像データ３２を受信した時
点から、フレーム内モードの画像データを送信する間隔
の半分の時間が経過したときの時刻とする。なお、時刻
Ｄを定める場合に、測定を開始する時点は上記以外の時
点（例えば、時刻Ａ）であっても良い。また、測定時間
は、遅延の少ない画像で更新できるようにするため、フ
レーム内モードの画像データを送信する間隔よりも短い
時間であれば上記以外の時間（例えば、フレーム内モー
ドの画像データ送信間隔の１／４の時間）であっても良
い。この場合、測定を開始する時点を時刻Ａとするとき
には、使用するシステムでの送受信装置間の往復にかか
る時間を考慮して測定時間を定める（例えば、往復時間
が１秒である場合には、測定時間をフレーム内モードの
画像データを送信する間隔の半分の時間に１秒加算した
時間などと定めるようにする）。

【００３７】そして、動画像データ通信装置１２０は、
上述した時刻Ａ以降の処理と同様の処理を行なう。すな
わち、動画像データ通信装置１２０は、フレーム内モー
ドコマンド３１を送信側装置１１０に向けて送出する。
通知を受けた送信側装置１１０の送信制御部１１９は、
パケット送信部１１３に対して送信待ちとなっている圧
縮画像データを破棄するように要求する。また、送信制
御部１１９は、画像圧縮部１１１にこれから処理を行な
う画像フレームをフレーム内モードで圧縮するよう要求
する。

【００３８】パケット送信部１１３は、送信制御部１１
９の要求に応じて送信待ちとなっている圧縮画像データ
を破棄する。また、画像圧縮部１１１は、送信制御部１
１９の要求に応じてフレーム内モードで処理した圧縮画
像データ３５を生成する。そして、圧縮画像データ３５
は、検出符号付加部１１２やパケット送信部１１３など
を介して受信側装置１２０に向けてネットワーク１９０
に出力される。

【００３９】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
て圧縮画像データ３５を受信する。圧縮画像データ３５
は、パケット損失検出部１２７でのパケット損失の検
出、および誤り検出部１２５でのデータ誤りの検出がな
ければ、画像伸張部１２６に送られ、上述したと同様に
正常な受信処理が行われる。

【００４０】なお、受信側装置１２０においてフレーム
内モードで圧縮されたデータの受信の際に最初のエラー
が検出された場合は、動画像データ通信システム１００
は、上述した時刻Ｂ以降の処理を行なう。

【００４１】以上説明したように、フレーム間モードの
圧縮画像データの受信の際にエラーが発生したときは再
送要求は行なわず、これから処理が行われるフレームデ
ータをフレーム内モードの圧縮画像データとして送信要
求する構成としたことで、現在送信中の残りのパケット
を送信しなくて済み、無駄なデータをネットワーク上に
送出してしまうことを最小限に止めることができ、動画
像の伝送遅れを抑制すると共に、表示画面の更新間隔を
短縮することができる。かかる効果は、特にエラー発生
頻度が高い動画像通信ネットワークにおいて顕著に発揮
される。

【００４２】また、上述したようにフレーム内モードで
圧縮した画像フレームを受信しているときにエラーを検
出した場合にのみ再送要求を行なう構成としたことで、
迅速にフレーム内モードの画像フレームにて画面表示の
更新を行うことができ、動画像の伝送遅れを抑制すると
共に、表示画面の更新間隔を短縮することができる。

【００４３】さらに、上述したように再送動作を行なう
際に一定期間内に正しいデータが受信できなかった場合
には再送動作を停止し、次のフレーム内モードの画像デ
ータを送信する構成としたことで、ネットワークのエラ
ー発生頻度が高い場合であっても、ネットワーク上での
無駄な再送データを減らすことができ、画像データの遅
延も最小限に抑えることができる。

【００４４】次に、本発明の第２の実施の形態について
説明する。本例では、上述した図１、図２に示した動画
像データ通信システム１００により、特にＭＰＥＧ２を
用いた場合の画像データ通信処理について、送信処理、
正常受信処理、エラー発生時の処理に分けて、図面を参
照して説明する。また、本例では、上述した第１の実施
の形態で既に説明した構成および処理と同様の構成およ
び処理となる各部についての詳細な説明は省略する。な
お、ここでは動画像データ通信装置１１０から、動画像
データ送信装置１２０に向けて動画像データを伝送する
とした場合のデータ伝送処理について説明する。また、
以下の説明において、動画像データ通信装置１２０の各
部には、動画像データ通信装置１１０の各部に対応する
符号を付与するものとする。

【００４５】（ａ）送信側の動画像データ通信装置１１
０による送信処理 画像取り込み装置１５０から入力した動画像データをネ
ットワーク１９０に向けて送出する際には、先ず、送信
側の動画像データ通信装置１１０の画像圧縮部１１１
は、画像取り込み装置１５０から順次入力されるフレー
ム画像データの画像フォーマットに対応した処理を行
い、ほぼ一定の間隔（０．５〜１秒程度）でフレーム画
像データに基づいてＩピクチャを生成する。また、画像
圧縮部１１１は、各Ｉピクチャの画像フレーム間にある
フレーム画像データをＰピクチャ（あるいは、Ｐピクチ
ャまたはＢピクチャ）として圧縮処理する。

【００４６】なお、Ｉピクチャを生成する間隔は、本例
ではＭＰＥＧ２標準を用いて、ある程度動きの激しい映
像に関する動画像データの処理を想定しているため、
０．５秒から１秒間隔としている。なお、Ｉピクチャを
生成する間隔の設定は、対象とする動画像データなどに
応じて上述した範囲以外の値に設定しても良い。

【００４７】生成された各ピクチャは、それぞれ誤り検
出符号付加部１１２にて誤り検出符号が付加され、パケ
ット送信部１１３にてパケット化されてネットワークイ
ンタフェース１３０を経由してネットワーク１９０に送
出される。パケット送信部１１３は、１フレーム分のパ
ケットデータが正常に送信されたと判断すると、送信し
たフレームデータを削除すると共に、次のフレームをパ
ケット化した画像圧縮データの送信を開始する。このよ
うにして、動画像データ通信装置１１０は、ネットワー
ク１９０に各ピクチャのデータを順次送出し、動画像デ
ータの送信を行なう。

【００４８】（ｂ）受信側の動画像データ通信装置１２
０の正常受信処理 受信側装置１２０のパケット受信部１２４は、動画像デ
ータ通信装置１１０により送信された各ピクチャのパケ
ットデータを受信する。受信データにエラーがなけれ
ば、画像伸張部１２６が、圧縮画像データの伸張処理お
よび画像フレームの再構成を行なう。そして、画像伸張
部１２６は、再構成した画像フレームを順次画像表示装
置１８０に出力する。

【００４９】（ｃ）受信側の動画像データ通信装置１２
０においてＰピクチャまたはＢピクチャの受信の際にエ
ラーが検出された場合のシステム１００の処理 パケット損失検出部１２７は、受信側装置１２０におけ
るＰピクチャまたはＢピクチャの受信処理の際にパケッ
ト損失を検出すると、エラーがあったことを送信制御部
１２９に通知する。また、パケット損失が検出される
と、パケット受信部１２４は、損失したパケットを含む
ＰピクチャまたはＢピクチャのデータを破棄する。

【００５０】また、誤り検出部１２５は、受信側装置１
２０におけるＰピクチャまたはＢピクチャの受信処理の
際にデータ誤りを検出すると、エラーがあったことを送
信制御部１２９に通知すると共に、誤りのあるパケット
を破棄する。

【００５１】そして、上述したようにエラー発生に関す
るデータを破棄すると、パケット受信部１２４は、その
後Ｉピクチャが送られてくるまで受信したデータを破棄
する。

【００５２】動画像データ通信装置１２０の送信制御部
１２９は、例えば図４に示すように、時刻Ａにエラーの
通知を受けると、コマンド生成解析部１２８にＩピクチ
ャを送信要求するコマンド（以下、「Ｉピクチャコマン
ド」という）４１を発行するように要求する。コマンド
生成解析部１２８は、パケット送信部１２３にＩピクチ
ャコマンド４１のパケットを送信側装置１１０に送信す
るよう要求する。パケット送信部１２３は、送信側装置
１１０に向けてＩピクチャコマンド４１を送信する。

【００５３】Ｉピクチャコマンド４１は、送信側装置１
１０のパケット受信部１１４により受信され、コマンド
生成解析部１１８に入力される。コマンド生成解析部１
１８は、コマンドの内容を解析してＩピクチャの送信が
要求されたことを検出する。そして、コマンド生成解析
部１１８は、送信制御部１１９にコマンドの解析結果を
通知する。送信制御部１１９は、パケット送信部１１３
に対して送信待ちとなっている圧縮画像データを破棄す
るように要求する。また、送信制御部１１９は、画像圧
縮部１１１に対してこれから処理を行なう画像フレーム
に基づいてＩピクチャを生成するよう要求する。

【００５４】パケット送信部１１３は、送信制御部１１
９の要求に応じて圧縮画像データを破棄する。また、画
像圧縮部１１１は、送信制御部１１９の要求に応じてＩ
ピクチャ４２を生成する。そして、生成されたＩピクチ
ャ４２は、検出符号付加部１１２やパケット送信部１１
３などを介して受信側装置１２０に向けてネットワーク
１９０に出力される。

【００５５】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
てＩピクチャ４２を受信する。Ｉピクチャ４２は、エラ
ーの検出がなければ、画像伸張部１２６に送られて正常
な受信処理が行われる。すなわち、画像伸張部１２６
は、受信したＩピクチャを伸張すると共に小画面に分割
されていた画像フレームを再構成する。画像伸張部１２
６は、再構成した画像フレームを順次画像表示装置１８
０に出力する。そして、画像表示装置１８０における全
画面の表示を更新し、正常な受信処理が行われるように
なる。

【００５６】ここで、受信側装置１２０の要求に応じて
送信側装置１１０より送信されたＩピクチャ４２の受信
処理において、例えば図４に示す時刻Ｂに、エラーが検
出された場合の処理について説明する。先ず、送信制御
部１２９は、パケット損失検出部１２７または誤り検出
部１２５からエラー検出の通知を受ける。すると、送信
制御部１２９は、コマンド生成解析部１２８にＩピクチ
ャ４２のデータに含まれているパケット４４（受信側で
エラーが発生してしまったパケット。以下、「エラーパ
ケット」という。）の再送要求コマンド４３を発行する
ように要求する。パケット送信部１２３は、コマンド生
成解析部１２８が発行した再送要求コマンド４３をネッ
トワーク１９０に送出して送信側装置１１０に通知す
る。

【００５７】再送要求コマンド４３は、送信側装置１１
０のパケット受信部１１４により受信され、コマンド生
成解析部１１８に入力される。コマンド生成解析部１１
８は、コマンド４３の内容を解析してＩピクチャ４２の
エラーパケット４４が再送要求がされたことを検出す
る。コマンド生成解析部１１８は、コマンド４３の解析
結果を送信制御部１１９に通知する。送信制御部１１９
は、パケット送信部１１３に対して内部に保持している
エラーパケット４４を再送するように要求する。パケッ
ト送信部１１３は、送信制御部１１９の要求に応じて、
エラーパケット４４を受信側装置１２０に向けてネット
ワーク１９０に再送する。

【００５８】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
てＩピクチャ４２のエラーパケット４４を再度受信す
る。エラーパケット４４は、受信側の装置１２０にてエ
ラーの検出がされなければ画像伸張部１２６に送られ
る。そして、上述したように、画像表示装置１８０に
て、Ｉピクチャ４２に基づく表示画面の更新がなされ、
正常な受信処理が行われる。

【００５９】ここでさらに、受信側装置１２０の要求に
応じて送信側装置１１０より再送されたＩピクチャ４２
のエラーパケット４４の受信処理において、例えば図４
に示す時刻Ｃに、パケット損失検出部１２７または誤り
検出部１２５にてエラーが検出された場合の処理につい
て説明する。エラーパケット４４の受信処理においてエ
ラーが検出されたときには、再び上述した処理を繰り返
す。すなわち、受信側装置１２０は、再送要求コマンド
４３を再度送信側装置１１０に通知する。そして、シス
テム１００は、Ｉピクチャ４２のエラーパケット４４が
正しく受信されるまで上述した処理を繰り返す。

【００６０】しかし、エラーの発生頻度が高いために再
送動作を繰返し、例えば図４に示す時刻Ｄ（例えば、時
刻Ａから１〜２秒後）になってもＩピクチャ４２のエラ
ーパケット４４が正しく受信されない場合には、Ｉピク
チャ４２での画面の更新を断念する。時刻Ｄは、本例で
は、時刻Ａのあとのコマンド４１通知により要求したＩ
ピクチャ４２を受信した時点から、Ｉピクチャを送信す
る間隔の半分の時間が経過したときの時刻とする。な
お、時刻Ｄを定める場合に、測定を開始する時点は上記
以外の時点（例えば、時刻Ａ）であっても良く、また、
測定時間についてはＩピクチャを送信する間隔よりも短
い時間であれば上記以外の時間（例えば、Ｉピクチャ送
信間隔の１／４の時間）であっても良い。

【００６１】そして、動画像データ通信装置１２０は、
時刻Ａでエラーを検出した際の処理と同様の処理を行な
う。すなわち、受信側の動画像データ通信装置１２０
は、Ｉピクチャコマンド４１をネットワーク１９０を介
して送信側の動画像データ通信装置１１０に通知する。

【００６２】通知を受けた送信側装置１１０では、パケ
ット送信部１１３の有している送信待ちの圧縮画像デー
タが破棄され、画像圧縮部１１１が処理しようとしてい
たフレームデータに基づいてＩピクチャ４５が生成され
る。そして、新たに生成されたＩピクチャ４５は、検出
符号付加部１１２やパケット送信部１１３などを介して
受信側装置１２０に向けてネットワーク１９０に出力さ
れる。

【００６３】受信側の動画像データ通信装置１２０のパ
ケット受信部１２４は、ネットワーク１９０などを介し
てＩピクチャ４５を受信する。Ｉピクチャ４５は、受信
側の装置１２０にてにてエラーが検出されなければ画像
伸張部１２６に送られる。そして、上述したと同様に、
画像表示装置１８０にて、Ｉピクチャ４５に基づく全画
面の表示の更新が行われ、正常な受信処理が行われる。

【００６４】なお、受信側装置１２０においてＩピクチ
ャのデータを受信処理しているときに最初のエラーが検
出された場合は、動画像データ通信システム１００は、
上述した時刻Ｂ以降の処理を行なう。

【００６５】以上説明したように、ＰピクチャまたはＢ
ピクチャの受信の際にエラーが発生したときは再送要求
を行なわず、これから処理が行われるフレームデータを
Ｉピクチャとして送信要求する構成としたことで、現在
送信中の残りのパケットを送信しなくて済み、無駄なデ
ータをネットワーク上に送出してしまうことを最小限に
とどめることができ、動画像の伝送遅れを抑制すると共
に、表示画面の更新間隔を短縮することができる。かか
る効果は、特にエラー発生頻度が高い動画像通信ネット
ワークにおいて顕著に発揮される。

【００６６】また、上述したようにＩピクチャを受信し
ているときにエラーを検出した場合にのみ再送要求を行
なう構成としたことで、迅速にＩピクチャの画像フレー
ムにて画面表示の更新を行うことができ、動画像の伝送
遅れを抑制すると共に、表示画面の更新間隔を短縮する
ことができる。

【００６７】さらに、上述したように再送動作を行なう
際に一定期間内に正しいデータが受信できなかった場合
には再送動作を停止し、これから圧縮処理しようとする
フレームデータをＩピクチャとして処理して送信する構
成としたことで、ネットワークのエラー発生頻度が高い
場合であっても、ネットワーク上での無駄な再送データ
を減らすことができ、画像データの遅延も最小限に抑え
ることができる。

【００６８】なお、上述した各実施の形態では、２つの
動画像データ通信装置１１０，１２０を同一の構成とし
ていたが、同一構成でなくても良く、例えば、一方の装
置に送信側の機能のみを持たせ、他方の装置に受信側の
機能のみを持たせるようにしても良い。

【００６９】また、上述した各実施の形態では、圧縮画
像データをパケット化して送信する構成としたが、パケ
ット化せずに送信するとしても良い。

【００７０】

【発明の効果】以上のように、本発明によれば、動画像
データをフレーム内モードまたはフレーム間モードで圧
縮した圧縮画像データを通信ネットワークを介して送信
する送信装置と、圧縮画像データを受信して伸張する受
信装置とを含む動画像データ通信システムにおいて、受
信装置は、各種コマンドを生成するコマンド生成部と、
フレーム間モードの圧縮画像データのエラーを検出した
ときにフレーム内モードコマンドを生成するようコマン
ド生成部を制御する送信制御部と、コマンド生成部が生
成したコマンドを送信する送信部とを含み、送信装置
は、フレーム内モードコマンドに基づいてこれから処理
するフレームデータをフレーム内モードで圧縮する圧縮
部と、該圧縮部が処理した圧縮画像データを送信する送
信部とを含むため、動画像の伝送遅れを抑制すると共
に、表示画面の更新間隔を短縮することができる。

【００７１】受信装置は、フレーム間モードの圧縮画像
データのエラーの検出によりエラー発生データに関する
圧縮画像データを破棄するデータ破棄手段と、エラーの
検出によりフレーム内モードの圧縮画像データを受信す
るまで受信データを破棄する受信データ破棄手段とを備
えた受信部を含むとした場合には、不必要なデータの受
信処理を行なうことを避けることができるため、表示画
面の更新間隔を短縮することができる。

【００７２】送信部は、フレーム内モードコマンドに基
づいて送信待ちとなっている圧縮画像データを破棄する
送信データ破棄手段を備えるとした場合には、現在送信
中の残りのパケットを送信しなくて済み、無駄なデータ
をネットワーク上に送出してしまうことを最小限にとど
めることができ、動画像の伝送遅れを抑制すると共に、
表示画面の更新間隔を短縮することができる。かかる効
果は、特にエラー発生頻度が高い動画像通信ネットワー
クにおいて顕著に発揮される。

【００７３】コマンド生成部は、フレーム内モードの圧
縮画像データのエラーを検出したときに再送コマンドを
生成し、送信部は、再送コマンドに基づいてエラーの発
生した圧縮画像データを再送するとした場合には、迅速
にフレーム内モードの画像フレームにて画面表示の更新
を行うことができ、動画像の伝送遅れを抑制すると共
に、表示画面の更新間隔を短縮することができる。

【００７４】コマンド生成部は、エラーが発生したあと
所定時間が経過したときまでに正常な受信がされないと
きは、再度フレーム内モードコマンドを生成するとした
場合には、ネットワークのエラー発生頻度が高い場合で
あっても、エラーが発生したあと所定時間経過後に再度
フレーム内モードコマンドを生成するため、ネットワー
ク上での無駄な再送データを減らすことができ、画像デ
ータの遅延も最小限に抑えることができる。

【００７５】コマンド生成部は、最初に再送されたフレ
ーム内モードの圧縮画像データを受信したあと所定時間
が経過したときまでに正常な受信がされないときは、再
度フレーム内モードコマンドを生成するとした場合に
は、ネットワークのエラー発生頻度が高い場合であって
も、再送データを受信したあとの所定時間経過後に再度
フレーム内モードコマンドを生成するため、ネットワー
ク上での無駄な再送データを減らすことができ、画像デ
ータの遅延も最小限に抑えることができる。

【００７６】所定時間は、フレーム内モードの画像デー
タの送信間隔の半分の時間よりも短い時間とした場合に
は、ネットワーク上での無駄な再送データを減らすこと
ができ、画像データの遅延も最小限に抑えることができ
る。

【図面の簡単な説明】

【図１】 本発明の実施の形態における動画像データ通
信システムの構成の例を示すブロック図である。

【図２】 本発明の実施の形態における動画像データ通
信装置の構成の例を示すブロック図である。

【図３】 本発明の第１の実施の形態における動画像デ
ータ通信システムの通信処理の例を示すシーケンス図で
ある。

【図４】 本発明の第２の実施の形態における動画像デ
ータ通信システムの通信処理の例を示すシーケンス図で
ある。

【符号の説明】

１００ 動画像データ通信システム １１０，１２０ 動画像データ通信装置 １１１ 画像圧縮部 １１２ 誤り検出符号付加部 １１３ パケット送信部 １１４ パケット受信部 １１５ 誤り検出部 １１６ 画像伸張部 １１７ パケット損失検出部 １１８ コマンド生成解析部 １１９ 送信制御部 １３０，１４０ ネットワークインタフェース １５０，１６０ 画像取り込み装置 １７０，１８０ 画像表示装置 １９０ ネットワーク

Claims (7)

【特許請求の範囲】
1. 【請求項１】 動画像データをフレーム内モードまたは
   フレーム間モードで圧縮した圧縮画像データを通信ネッ
   トワークを介して送信する送信装置と、上記圧縮画像デ
   ータを受信して伸張する受信装置とを含む動画像データ
   通信システムにおいて、 受信装置は、各種コマンドを生成するコマンド生成部
   と、フレーム間モードの圧縮画像データのエラーを検出
   したときにフレーム内モードコマンドを生成するよう上
   記コマンド生成部を制御する送信制御部と、上記コマン
   ド生成部が生成したコマンドを送信する送信部とを含
   み、 送信装置は、上記フレーム内モードコマンドに基づいて
   これから処理するフレームデータをフレーム内モードで
   圧縮する圧縮部と、該圧縮部が処理した圧縮画像データ
   を送信する送信部とを含む動画像データ通信システム。
2. 【請求項２】 受信装置は、フレーム間モードの圧縮画
   像データのエラーの検出によりエラー発生データに関す
   る圧縮画像データを破棄するデータ破棄手段と、上記エ
   ラーの検出によりフレーム内モードの圧縮画像データを
   受信するまで受信データを破棄する受信データ破棄手段
   とを備えた受信部を含む請求項１記載の動画像データ通
   信システム。
3. 【請求項３】 送信部は、フレーム内モードコマンドに
   基づいて送信待ちとなっている圧縮画像データを破棄す
   る送信データ破棄手段を備える請求項２記載の動画像デ
   ータ通信システム。
4. 【請求項４】 コマンド生成部は、フレーム内モードの
   圧縮画像データのエラーを検出したときに再送コマンド
   を生成し、 送信部は、上記再送コマンドに基づいてエラーの発生し
   た圧縮画像データを再送する請求項１ないし請求項３記
   載の動画像データ通信システム。
5. 【請求項５】 コマンド生成部は、エラーが発生したあ
   と所定時間が経過したときまでに正常な受信がされない
   ときは、再度フレーム内モードコマンドを生成する請求
   項１ないし請求項４記載の動画像データ通信システム。
6. 【請求項６】 コマンド生成部は、最初に再送されたフ
   レーム内モードの圧縮画像データを受信したあと所定時
   間が経過したときまでに正常な受信がされないときは、
   再度フレーム内モードコマンドを生成する請求項１ない
   し請求項４記載の動画像データ通信システム。
7. 【請求項７】 所定時間は、フレーム内モードの画像デ
   ータの送信間隔の半分の時間よりも短い時間とした請求
   項６記載の動画像データ通信システム。