JP2009118151A - 通信システム、送信装置、中継装置、受信装置及び送信プログラム - Google Patents

Abstract

【課題】回線が輻輳状態などであっても、視聴者が画像情報や音声情報として欲する重要な映像フレームや音声部分を優先して伝送させることができる送信装置を提供する。
【解決手段】送信装置１００は、静止画像データ、動画像データ、音データの少なくとも１つの入力データにおける画質又は音質情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部２０と、入力したデータを符号化するデータ符号化部３０と、符号化されたデータを伝送路に対応させる伝送路符号化部４０と、データの質情報、データ符号化情報、伝送データ情報のいずれかの情報に基づき、所定のデータ単位に判定して重要度情報を出力するデータ重要度判定部１０と、伝送路符号化したデータを分割し、制御情報を付加したパケットに、データ重要度判定部１０により判定された重要度情報を、当該パケットの前、後、前後のいずれかに付加して伝送路５００に送出する。
【選択図】図１

Description

この発明は、動画像及び音声をＭＰＥＧ（Moving Picture Experts Group）などの符号化方式にて圧縮したうえで、作成されたビットストリームをＩＰ（Internet Protocol）ネットワークなどの回線を用いて受信装置に配信し、受信装置にて復号してリアルタイムに動画像及び音声や音楽を視聴する通信システム、送信装置、中継装置、受信装置及び送信プログラムに関する。

ＩＰネットワークなどの回線においては、回線の品質が劣悪な状態や回線が混雑した輻輳状態などにより、回線を伝送するパケットに抜け（パケットロス、パケット損失、パケット欠落）や誤りが発生することがある。この対策として、受信装置から送信装置に再送要求のためのパケット（以下、再送要求パケットと称す）を送出し、この再送要求を受けた送信装置が対象のパケット（以下、再送パケットと称す）を再送する方式（再送要求方式）を用いる手段がある。

一般的なマルチメディア通信装置では、受信側でパケットロスやパケット誤りの認識手段をもつため、これらの情報を元に再送要求を行っていた。また、再送実現手段の一例として次のような方式も考えられていた。送信側からはＵＤＰプロトコルでの伝送と平行して、信頼性のあるＴＣＰプロトコルでの伝送を行ない、画像又は音声情報を送信する。受信側は、ＵＤＰプロトコルのパケット欠落を監視する機能を持っており、送信側へ欠落情報を送信する。さらに、ＵＤＰプロトコルとＴＣＰプロトコルのいずれかで画像あるいは音声情報を受信でき、送信側が同時に２つのプロトコルで伝送した情報を選択して受信することができる。パケットの欠落が発生した場合には、送信側と受信側の間でＵＤＰプロトコルを使用して伝送していた画像又は音声情報を、ＴＣＰプロトコルに切り替えて伝送を行ない、ＴＣＰプロトコルの再送機能により確実な伝送が行なわれる（例えば、特許文献１参照）。

しかしながら、全てのパケット欠落に対して再送要求を行なった場合には、パケット通信回線を伝送する全体のパケット量が増加するために、パケット欠落を多発させる要因となり、強いては、伝送する画像情報あるいは音声情報などのマルチメディア情報を完全に復元することが困難な状況となる。

これに対して、従来の画像データの転送および再送方式は、画像処理部にヘッダ作成手段及び音声分離手段を設け、画像データから音声データを抽出し、画像データ転送部に転送データ作成手段を設け、転送する際に重要度の高い画像データから転送する。転送したデータを、転送データデコーダ部で、転送データ獲得手段が獲得し、転送データ復元手段にて、転送されてきたデータに誤りまたは欠落がないか調べ、問題があったデータの重要度が大きくないＰデータまたはＢデータの場合には、再送を要求せずに、画像を再生するようにする（例えば、特許文献２参照）。
特開２０００−１５１６８０号公報 特開平１１−９８５０３号公報

しかしながら、従来の画像データの転送および再送方式は、符号化した画像データの情報量が比較的多く変化した映像フレームを重要であると判断するのであるが、視聴者が一連の静止画像（すなわち、動画像）を見ることを考えた場合であり、その動画像でコマ落ちが発生することを許容した場合に、視聴者がその動画像の画質の劣化を感じるのは、必ずしも符号化した画像データの情報量の変化が大きい映像フレームであるとは限らない。

例えば、被写体である顔の表情の変化や風景の中の小さな物体の移動を考えた場合に、いずれも映像フレーム内の一部のみが変化するだけであり、符号化した画像データの情報量の変化は少ないのであるが、映像的に重要な部分を含むことは多い。

また、動画像の被写体の変化が顕著に大きい(符号化した画像データの情報量の変化が顕著に多い)場合には、視聴者の目の追従性を考慮すると、動画像がコマ落ちしても特に品質の劣化を感じない場合もある。

また、音データで、音声（音声に限定しない。音楽や物音などの音全体）の場合についても動画像の場合と同様に、視聴者の耳で一連の音声を聞いたときの音質の劣化を感じる部分は、必ずしも符号化した音声データの情報量の変化が大きい部分と一致するとは限らない。

例えば、オーケストラによる演奏における独奏の部分や、ぼそぼそと小さな話し声が連続する部分などは、音量が全体的に小さい場合であっても、その状態が継続するときは、音声として重要度が非常に高い場合がある。

このように、従来の画像データの転送および再送方式においては、符号化したデータの情報量が多い場合に重要度を高く設定するために、本来、視聴者が必要とする映像情報や音声情報とは重要度の判定基準が異なり、視聴者からは重要と感じる映像や音声を受信側に伝送しない場合や、過剰な映像情報や音声情報を誤って再送要求の対象としてしまう場合があるという問題点があった。

この発明は、上述のような課題を解決するためになされたもので、データを伝送する回線が輻輳状態などであっても、受信装置で復元される動画像が、視聴者からは、品質的な劣化を感じ難いものとし、視聴者が画像情報や音声情報として欲する重要な映像フレームや音声部分を優先して伝送させることができる通信システム、送信装置、中継装置、受信装置及び送信プログラムを提供するものである。

この通信システムは、前記送信装置が、静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部と、前記入力したデータの性質に応じて前記データを符号化するデータ符号化部と、前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化部と、前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記データの重要度を所定のデータ単位に判定して重要度情報を判定するデータ重要度判定部と、前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットと当該パケットの前、後、前後のいずれかに送出するパケットに当該パケットの重要度情報を付加して前記伝送路に送信する伝送路パケット化部とを備え、前記受信装置が、前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元し、前記受信したパケットの制御情報に基づき、パケットの欠落又は誤りを検出した場合に、当該パケット又は直前に受信したパケットの重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定し、再送要求を行なうと判定した場合に、前記送信装置側に再送要求を行な伝送路パケット分離部と、前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化部と、前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化部とを備えるものである。

この通信システムは、パケットの再送要求による回線の輻輳状態を抑制することができると共に、パケットロスや誤りが多発して正常な全てのデータが伝送されない場合であっても、視聴者の視覚又は聴覚で感じ取れる重要な部分を逃さずに再生することができるという効果を奏する。

（本発明の第１の実施形態）
ここで、本発明は多くの異なる形態で実施可能である。したがって、下記の各実施形態の記載内容のみで解釈すべきではない。
各実施形態では、主にシステムについて説明するが、いわゆる当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム、方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、又は、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置又は磁気記憶装置などの任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。

図１はこの発明を実施するための第１の実施形態における通信システムのシステム構成を示すブロック図、図２は図１に示す通信システムによる処理手順を示すフローチャート、図３は図２に示すフローチャートの続きを示すフローチャートである。

入力装置３００は、カメラなどの撮像手段又はマイクロホンなどの集音手段であり、被写体の光学像又は音声を電気信号に変換して、映像信号又は音声信号を生成する発生源である。

出力装置４００は、テレビモニターなどの表示手段又はスピーカーなどの音響再生手段であり、入力装置３００で生成した映像信号を画像（静止画像、動画像）として表示し、音声信号を音声として再生する。

この第１の実施形態における映像伝送システムとしての通信システムは、入力装置３００から入力された入力信号（映像信号、音声信号）を圧縮符号化し、リアルタイムに、回線であるＩＰネットワークなどの伝送路５００を介して出力装置４００に配信する符号化装置としての送信装置１００と、受信した符号化されたデータを出力信号（映像信号、音声信号）に復元して出力装置４００に出力する復号化装置としての受信装置２００とからなる。

送信装置１００は、データ符号化部３０と、伝送路符号化部４０と、伝送路パケット化部５０と、を少なくとも備える既存の符号化装置の構成に、データ質情報取得部２０と、データ重要度判定部１０と、を新たに追加した構成である。

データ質情報取得部２０は、入力装置３００からの入力信号に基づき、動画像（動画像を構成する連続する映像フレーム）又は音声のデータの質に関する情報を取得する。なお、入力信号が映像信号であれば、画像の質（すなわち、画質）に関する情報を取得する。また、入力信号が音声信号であれば、音声の質（すなわち、音質）に関する情報を取得する。

ここで、画質に関する情報としては、例えば、動画像の連続する各映像フレームにおける各映像フレームの画像データの明度、彩度又は複雑度（一般的には、周波数情報）などや、それらの時間的な変化に関する測定結果などが考えられる。また、音質に関する情報としては、例えば、音声の音量又は周波数成分などや、それらの時間的な変化に関する測定結果などが考えられる。

データ符号化部３０は、入力装置３００からの入力信号を、データの性質に応じてデータを符号化する。なお、映像であれば、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphics Interchange Format）やＭＰＥＧなどの圧縮方式にてデータ圧縮（高効率符号化）する。また、音声であれば、ＭＰ３（MPEG Audio Layer-3）などの圧縮方式にてデータ圧縮する。すなわち、静止画像であれば、同一フレーム内において、人間の視覚の特性に基づいた色の変化の成分におけるデータの間引きや高周波成分のデータの削除などが行なわれ、複数の映像フレームからなる動画像は、さらに、時間方向において、動き補償などが行なわれる。また、音声であれば、人間の聴覚の特性に基づいたサンプリング周波数の選択や、心理聴覚理論に基づいた高効率符号化などが行われる。

さらに、この発明に係るデータ符号化部３０の特徴は、データ符号化情報として、例えば、動画像をデータ符号化したデータから、被写体の動きに関する情報や、連続する前後の映像フレームにおける情報量の差分量などを取得する。

伝送路符号化部４０は、データ符号化部３０から入力されるデータ符号化したデータ（以下、データ符号化データと称す）を、伝送路５００の帯域、雑音や妨害などの性質に応じて伝送路符号化する。なお、伝送路符号化したデータ符号化データ（以下、伝送路符号化データと称す）は、データ符号化データを、伝送路５００に対応する出力用の形式として、可変長符号化、畳み込み符号化、又はデータの信頼性を高めるための誤り検出若しくは誤り訂正符号の付加などが行なわれる。
また、この発明に係る伝送路符号化部４０の特徴は、伝送データ情報として、例えば、伝送データの情報量やその時間的な変化に関する測定結果などを取得する。

データ重要度判定部１０は、データ質情報取得部２０からのデータの質に関する情報、データ符号化部３０からのデータ符号化情報又は伝送路符号化部４０からの伝送データ情報を取得し、当該取得した情報を総合的に判断して、伝送路符号化データに対して重要度を判定する。
ここで、データ重要度判定部１０における重要度の判定については、以下のような判定例が挙げられる。

まず、入力データが動画像データの場合についての判定例を挙げる。
第１の条件は、データ質情報取得部２０から取得した画質に関する情報に基づき、判定対象とする映像フレームにおいて、当該映像フレーム直前までの連続する複数の映像フレームのうち、各映像フレームの画像データの明度、彩度及び複雑度における、前後の変化量は少なかったが、当該フレームで急激に変化量が多くなったことが検出された場合である。なお、変化量の基準値については、復元後の画質を重要視して符号化時の符号化情報量を多く取るか、符号化時の符号化情報量の削減を重要視して復元後の画質を犠牲にするかなどのような、映像信号を符号化する際の方針や条件などの違いにより、変化量の基準値を設定する。

第２の条件は、データ符号化部３０から取得したデータ符号化情報に基づき、判定対象とする映像フレームにおいて、当該映像フレーム直前までの連続する複数の映像フレームに亘って被写体が動いている状態であったが、当該映像フレームで被写体の動きが検出することができなかった場合である。

第３の条件は、伝送路符号化部４０から取得した伝送データ情報に基づき、判定対象とする映像フレームにおいて、当該映像フレーム直前までの連続する複数の映像フレームに亘っての伝送データ量が平均値よりも少ないことが検出された場合である。

そして、第１の条件及び第２の条件に該当することで、データ重要度判定部１０は、判定対象とする映像フレームにおいて、シーンチェンジが発生したことを認識し、第３の条件に該当することで、当該映像フレームの重要度が高いと判定する。
また、入力データが動画像データの場合における他の判定例として、類似動作を検出することによる判定がある。

例えば、雨や雪が降っている場面や海面の波などの画面においては、雨や雪や海面の周辺で類似した動作を連続する映像フレームで繰り返すために、その動作を検出した場合には、コマ落ちしても視聴者の目からは視認し難いために、当該映像フレームの重要度を低く判定する。

また、携帯用のカメラで撮影し、手振れが発生したような、画面全体でわずかに揺れるような連続する映像フレームからなる映像を認識した場合に、コマ落ちしても視聴者の目からは視認し難いために、当該映像フレームの重要度を低く判定する。

さらに、人や車の移動などが継続して行なわれていること（連続する映像フレームにける数フレームに亘って連続して一定方向への移動の状態）を検出した場合には、コマ落ちしても視聴者の目からは視認し難いために、当該映像フレームのうち合間の映像フレームについては、重要度を低く判定する。

また、入力データが動画像データの場合におけるさらに他の判定例として、繰り返し動作を検出することによる判定がある。
例えば、道路の監視用のカメラで撮影した映像のように、連続する映像フレームで同じような変化が繰り返し行なわれる場合には、コマ落ちしても視聴者の目から視認し難いために、当該映像フレームの重要度を低く判定する。

また、連続する映像フレームで変化する部分が、画面内におけるある部分のみに限られ、当該部分の変化が、当該部分から画面内における所定の範囲内であり、所定の時間（映像フレーム数）を越えて、継続した場合には、連続する映像フレームで繰り返しの動作が行なわれていると判断して、判断後の映像フレームの重要度を低く判定する。

また、入力データが動画像データの場合における他の判定例として、特徴物の個数を検出することによる判定がある。
例えば、１つの映像フレーム内の連続したデータにおける水平方向及び垂直方向の比較を行ない、データの特性（例えば、明るさや色合いなど）が、急激に変化する部分（変化点）を、特徴物とみなす。そして、１つの映像フレーム内に存在する特徴物の個数を検出し、所定の時間を経過しても、その特徴物の個数に変化が生じていない場合には、その後の映像フレームの重要度を低く判定する。なお、特徴物の個数を検出する場合には、変化点の単なる個数だけではなく、水平方向及び垂直方向における隣接するデータの特性の変化量を観察し、特徴物を輪郭として捉えることにより、特徴物の個数を決定することが好ましい。例えば、１つの映像フレームにおける画像が上空から見た道路上の車であれば、水平方向及び垂直方向における変化点が大まかに４箇所となるが、その４箇所の変化の度合いが類似するために、特徴物としては１個と捉えることができる。

つぎに、入力データが音声データの場合についての判定例を挙げる。
データ重要度判定部１０は、データ質情報取得部２０から取得した音質に関する情報、データ符号化部３０から取得したデータ符号化情報又は伝送路符号化部４０から取得した伝送データ情報に基づき、音量や周波数成分が短時間で大きく変化をする条件に該当する場合には、音声データを間引きして、間引きしていない部分の音声データの重要度を高く判定する。

また、データ重要度判定部１０は、データ質情報取得部２０から取得した音質に関する情報、データ符号化部３０から取得したデータ符号化情報又は伝送路符号化部４０から取得した伝送データ情報に基づき、音量又は周波数成分が徐々に同じような変化をする条件に該当する場合には、音声データを間引きして、間引きしていない部分の音声データの重要度を高く判定する。

また、データ重要度判定部１０は、データ質情報取得部２０から取得した音質に関する情報、データ符号化部３０から取得したデータ符号化情報又は伝送路符号化部４０から取得した伝送データ情報に基づき、音量又は周波数成分が急激な変化を連続して発生する条件に該当し、人間の聴覚上問題のない場合には、音声データを飛び飛びに重要度を高く判定する。

伝送路パケット化部５０は、伝送路符号化データを少量のデータに分割し、当該分割した伝送路符号化データに、発信元及び送信先のアドレスやパケットの種類及び伝送順序などの制御情報、並びにデータ重要度判定部１０により判定された重要度情報を付加した、パケットを、伝送路５００に送出する。また、伝送路パケット化部５０は、伝送データの一時保存が可能であり、後述する受信装置２００の伝送路パケット分離部２１０からの再送要求を受けた場合に、該当するパケットを再度送出する機能を有する。
受信装置２００は、伝送路パケット分離部２１０と、伝送路復号化部２２０と、データ復号化部２３０と、を少なくとも備える既存の復号化装置とほぼ同様の構成である。

伝送路パケット分離部２１０は、伝送路５００を介して受信したパケットの誤りやパケットロス（以下の記載では、パケットロスに、パケットの誤りも含むものとする）の検出を行ない、パケットロスを発生しているパケットのうち重要度が高いと判断したパケットについては、送信装置１００の伝送路パケット化部５０に対して該当するパケットの再送要求を行なう。なお、受信装置２００は、再送されたパケットを正常なデータ配列に戻すために、映像信号又は音声信号の復元が可能となる全てのパケットが揃うまで、再送要求を行なわなかったパケットを蓄積するメモリや回路などを有している。また、伝送路パケット分離部２１０は、受信したパケットのデータから制御情報及び重要度情報を分離し、互いに連関する複数のパケットのデータを結合して、分割前の伝送路符号化データに復元する。
伝送路復号化部２２０は、伝送路符号化データを、可変長符号化の逆変換などを行ない、データ符号化データに復号化する。

データ復号化部２３０は、データ符号化データを静止画像若しくは動画像又は音声のデータに復号して映像信号又は音声信号に復元する。また、データ復号化部２３０は、パケットロスを発生しているが重要度の低い（再送要求を行なわなかった）パケットを含むデータに対して、前のデータを用いて復元する。特に、動画像であれば、連続する映像フレームのうちパケットロスを生じているパケットを含む映像フレームの前の映像フレームを再表示する機能を有する。

つぎに、通信システムにおける処理手順について説明する。
まず、入力装置３００は、被写体を撮像又は音声を集音し、映像信号又は音声信号に変換したうえで、映像信号又は音声信号を送信装置１００に出力する（ステップＳ１）。

送信装置１００に入力された映像信号又は音声信号は、データ質情報取得部２０及びデータ符号化部３０にそれぞれ入力される（ステップＳ２）。

データ質情報取得部２０は、映像信号から画質に関する情報又は音声信号から音質に関する情報を取得して、データの質に関する情報をデータ重要度判定部１０に出力する。また、データ符号化部３０は、映像信号又は音声信号をデータ符号化して、データ符号化データを伝送路符号化部４０に出力すると共に、データ符号化情報を取得してデータ重要度判定部１０に出力する（ステップＳ３）。

伝送路符号化部４０は、データ符号化データを伝送路符号化して、伝送路符号化データを伝送路パケット化部５０に出力すると共に、伝送データ情報を取得してデータ重要度判定部１０に出力する（ステップＳ４）。

そして、データ重要度判定部１０は、データの質に関する情報、データ符号化情報又は伝送データ情報に基づき、伝送路符号化データに対して重要度を判定すると共に、判定した伝送路符号化データに対する重要度情報を、伝送路パケット化部５０に出力する（ステップＳ５）。

伝送路パケット化部５０は、伝送路符号化データを分割し、分割したデータに、制御情報を付加したパケットを生成し、重要度を判定したデータに対応するパケットに重要度情報を付加したうえで、伝送路５００を介して受信装置２００に送出する。また、伝送路パケット化部５０は、受信装置２００からの再送要求に備えて、所定の期間において伝送データを保存する（ステップＳ６）。
伝送路パケット分離部２１０は、伝送路５００を介して入力されたパケットに対して、パケットロスの検出を行なう（ステップＳ７）。

ステップＳ７において、パケットロスを検出しなかった場合には、伝送路パケット分離部２１０は、パケットのデータから制御情報及び重要度情報を分離し、互いに連関する複数のパケットのデータを結合して、分割前の伝送路符号化データに復元する。そして、伝送路復号化部２２０に伝送路符号化データを出力する（ステップＳ８）。

伝送路復号化部２２０は、伝送路パケット分離部２１０から入力された伝送路符号化データを、データ符号化データに復号化する。そして、データ復号化部２３０にデータ符号化データを出力する（ステップＳ９）。

データ復号化部２３０は、伝送路復号化部２２０から入力されたデータ符号化データを、データに復号化して映像信号又は音声信号に復元する。そして、出力装置４００に映像信号又は音声信号を出力する（ステップＳ１０）。なお、データ復号化部２３０は、パケットロスを発生しているが重要度の低い（再送要求を行なわなかった）パケットを含むデータに対しては、当該データの直前のデータを再度用いて、映像信号又は音声信号に復元する。
出力装置４００は、データ復号化部２３０から出力された映像信号を画像（静止画像、動画像）として表示し、音声信号を音声として再生する（ステップＳ１１）。

ステップＳ７において、パケットロスを検出した場合には、伝送路パケット分離部２１０は、パケットロスを検出したパケットの重要度情報を確認する（ステップＳ１２）。

ステップＳ１２において、パケットロスを検出したパケットの重要度が低いと判断した場合には、ステップＳ８に戻る。

また、ステップＳ１２において、パケットロスを検出したパケットの重要度が高いと判断した場合には、送信装置１００の伝送路パケット化部５０に対して該当するパケットの再送要求を行なう（ステップＳ１３）。
伝送路パケット化部５０は、再送要求を受信すると、受信装置２００に対して該当するパケットを再送し（ステップＳ１４）、ステップＳ７に戻る。

以上のように、この第１の実施形態においては、パケットロスが頻発するような回線の状況が悪い場合であっても、視聴者を基準として映像的に重要と判断される映像フレームや音声的に重要と判断される音声部分のみを再送することにより、品質の劣化が少ない映像や音声の復号を行なうことができる。また、受信装置１００から送信装置２００に対する再送要求の対象となるパケットを必要最小限とすることにより、パケットロスの多発による再送要求の多発を抑制し、強いては、トラフィックの増加によるパケットロスのさらなる増加という悪循環に陥ることを防止することができる。

（本発明の第２の実施形態）
図４はこの発明を実施するための第２の実施形態における送信装置のシステム構成を示すブロック図である。図４において、図１と同じ符号は、同一または相当部分を示し、その説明を省略する。

既存の通信システムは、入力装置からの映像信号として、徐々に明暗や色相が変化する映像であった場合には、この映像における前後の映像フレームの差分量としてある程度の情報量を発生させる。このため、静止画像などと比較すると、伝送路符号化後のデータ量は多いものである。

これに対し、視聴者の目から映像を見た場合には、徐々に明暗や色相が変化する映像に対してコマ落ちが発生したとしても、視聴者にとって、その映像はそれほど気にならない場合が多い。

しかしながら、前述したように、徐々に明暗や色相が変化する映像であれば、伝送データがある程度の情報量となるため、既存の通信システムでは、再送要求の対象となるような画質の重要度判定がなされることも考えられる。
また、全体的に複雑な（周波数成分が高い）映像信号の場合は、映像信号の少しの変化で情報量が多くなることがある。

これに対し、画像が複雑であっても、微細な部分の早い変化に対しては、視聴者の目が追従できないために、コマ落ちが生じても特に問題とならない。
しかしながら、既存の通信システムでは、画質が複雑であることにより、画質の重要度が高く判定され、再送要求の対象となる映像フレームを多くしてしまうことになる。これにより、回線を逼迫させ、パケットロスを誘発し、復号化の処理に悪影響を及ぼすことになる。

したがって、この第２の実施形態においては、データ重要度判定部１０の内部に、明度変化度検出部１ａ、彩度変化度検出部１ｂ及び複雑度変化度検出部１ｃを配設させ、前述した映像に特化した判定基準を用いて、映像フレームの重要度を判定する。

データ重要度判定部１０は、データ質情報取得部２０から取得する画質に関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの明度、彩度及び複雑度の変化量並びに変化速度を検出し、演算部１１が、当該変化量及び変化速度の測定結果に基づき、前記各映像フレームの画像データに対して重要度を判定する。

また、データ重要度判定部１０は、動画像の連続する映像フレーム間における各映像フレームの画像データの明度の変化度（変化量、変化速度）を検出する明度変化度検出部１ａと、動画像の連続する映像フレーム間における各映像フレームの画像データの彩度の変化度（変化量、変化速度）を検出する彩度変化度検出部１ｂと、動画像の連続する映像フレーム間における各映像フレームの画像データの複雑度の変化度（変化量、変化速度）を検出する複雑度変化度検出部１ｃと、を備えている。
ここで、データ重要度判定部１０の演算部１１における映像フレームの重要度の判定については、以下のような判定例が挙げられる。

例えば、動画像の連続する映像フレーム間における各映像フレームの画像データの明度や彩度の変化が、比較的早い速度で同一方向に発生している場合には、演算部１１は、連続する映像フレームのうち、数フレームおきの映像フレームに対して、重要度を高く判定する。
また、動画像が複雑な場合も同様に、演算部１１は、連続する映像フレームのうち、数フレームおきの映像フレームに対して、重要度を高く判定する。

また、明度変化度検出部１ａが、動画像の連続する映像フレーム間における各映像フレームの画像データの明度の変化量及び変化速度が小さいことを検出し、彩度変化度検出部１ｂが、動画像の連続する映像フレーム間における各映像フレームの画像データの彩度の変化量及び変化速度が小さいことを検出した場合には、演算部１１は、当該映像フレームの重要度が低いと判定する。

また、動画像の連続する映像フレーム間における各映像フレームの画像データの明度、彩度又は複雑度の変化量が比較的長時間に亘って同じような傾向にある場合には、連続する映像フレームのうち、要所となる映像フレームの重要度を高く判定し、要所となる映像フレーム間の映像フレームに対しては、重要度を低く判定する。

なお、この第２の実施形態における送信装置１００においては、データ重要度判定部１０が明度変化度検出部１ａ、彩度変化度検出部１ｂ及び複雑度変化度検出部１ｃを備え、各検出部における検出結果に基づき演算部１１が重要度を判定しているところのみが第１の実施形態と異なるところであり、後述する明度変化度検出部１ａ、彩度変化度検出部１ｂ、複雑度変化度検出部１ｃ及び演算部１１による作用効果以外は、第１の実施形態と同様の作用効果を奏する。

演算部１１は、動画像の連続する映像フレーム間における各映像フレームの画像データの明度や彩度が変化する場合や、複雑な画像の場合において、映像フレームに対して適切な重要度を判定することができ、再送要求の対象となる映像フレームを効率的に減少させることができる。また、送信装置１００と受信装置２００とを結ぶ回線の品質が低い場合であっても、視聴者の見た目からは、比較的滑らかな映像に復元することができる。

（本発明の第３の実施形態）
図５はこの発明を実施するための第３の実施形態における送信装置のシステム構成を示すブロック図である。図５において、図１及び図４と同じ符号は、同一または相当部分を示し、その説明を省略する。

既存の通信システムは、入力装置からの映像信号が、カメラによる撮影手法としてパン（ティルト）やズーム（ズームイン、ズームアウト）を行ったような映像であった場合に、画面全体で被写体の動きが発生するため、静止画像などと比較すると、伝送路符号化後のデータ量は多いものである。
これに対し、視聴者の目から映像を見た場合には、カメラのパンやズームによる映像に対してコマ落ちが発生したとしても、視聴者にとって、その映像はそれほど気にならない場合が多い。

しかしながら、前述したように、伝送データがある程度の情報量となるため、既存の通信システムでは、再送要求の対象となるような画質の重要度判定がなされることも考えられる。

したがって、この第３の実施形態においては、データ重要度判定部１０の内部に、パン移動度検出部２ａ及びズーム移動度検出部２ｂを配設させ、前述した映像に特化した判定基準を用いて、映像フレームの重要度を判定する。

データ重要度判定部１０は、データ符号化部３０から取得する動画像の動きに関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロック（画像データを一定の画素数に分割した単位要素）の移動量、移動速度及び移動変位を検出し、演算部１１が当該移動量、変化速度及び移動変位に基づき、前記各映像フレームの画像データに対して重要度を判定する。

また、データ重要度判定部１０は、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロックの平行又は垂直の移動度（移動量、移動速度、移動変位など）を検出し、同じ平行移動度又は垂直移動度を示すブロックが画面全体の何％にあたるかなどにより、現在の映像フレームがカメラのパンにより発生したことを検出するパン移動度検出部２ａと、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロックの移動度（移動量、移動速度、移動変位など）がある点を中心にした放射線上にあることを検出し、現在の映像フレームがカメラのズームにより発生したことを検出するズーム移動度検出部２ｂと、を備えている。
ここで、データ重要度判定部１０の演算部１１における映像フレームの重要度の判定については、以下のような判定例が挙げられる。

例えば、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロックの移動速度が比較的遅い場合や継続時間が比較的長い場合には、連続する映像フレームのうち、当該連続する映像フレーム間の映像フレームに対して、映像フレームの重要度を低く判定する。

また、パン移動度検出部２ａが判定対象である映像フレームに対してカメラのパンにより発生したことを検出した場合や、ズーム移動度検出部２ｂが判定対象である映像フレームに対してカメラのズームにより発生したことを検出した場合には、演算部１１は、当該映像フレームの重要度を低く判定する。

なお、この第３の実施形態における送信装置１００においては、データ重要度判定部１０がパン移動度検出部２ａ及びズーム移動度検出部２ｂを備え、各検出部における検出結果に基づき演算部１１が重要度を判定しているところのみが第１の実施形態又は第２の実施形態と異なるところであり、後述するパン移動度検出部２ａ、ズーム移動度検出部２ｂ及び演算部１１による作用効果以外は、第１の実施形態及び第２の実施形態と同様の作用効果を奏する。

演算部１１は、カメラのパンやズームによる映像信号が伝送される場合において、映像フレームに対して適切な重要度を判定することができ、再送要求の対象となる映像フレームを効率的に減少させることができる。また、送信装置１００と受信装置２００とを結ぶ回線の品質が低く、パケットロスが多発している場合であっても、トラフィックの増加を抑制し、視聴者の見た目からは、比較的滑らかな映像に復元することができる。

（本発明の第４の実施形態）
図６はこの発明を実施するための第４の実施形態における送信装置のシステム構成を示すブロック図である。図６において、図１、図４及び図５と同じ符号は、同一または相当部分を示し、その説明を省略する。

既存の通信システムは、入力装置からの映像信号として、風景の中の一部分で物体が移動している場合や人間の顔の表情が変化している場合、すなわち、映像の画面全体の中で少しの部分のみが変化しているような場合には、伝送路符号化後の伝送データ量が少なくなるため、画質の重要度が低く判定される。
これに対し、視聴者の目から一連の画像として見た場合には、このような状況において、コマ落ちが発生すると、視聴者は画質の劣化を感じてしまう。

したがって、この第４の実施形態においては、データ重要度判定部１０の内部に、被写体検出部３を配設させ、前述した映像に特化した判定基準を用いて、映像フレームの重要度を判定する。

データ重要度判定部１０は、入力データである動画像データに対して所定のパターン認識を行ない、演算部１１が当該パターン認識により特定された被写体を含む各映像フレームの画像データに対して重要度を判定する。
ここで、データ重要度判定部１０の演算部１１における映像フレームの重要度の判定については、以下のような判定例が挙げられる。

例えば、入力データである動画像データに対して、一般的に知られている、人物画像認識、顔画像認識又は車両画像認識などのパターン認識の手法を用いて、人物全体や顔の判定、又は監視用カメラなどによる車両や人物全体の特定を行なう。これにより、特定された被写体が認識された情報に基づき、当該被写体が画面の一部に映っている状況において、特定された被写体を含む映像フレームの重要度を高く判定する。

なお、この第４の実施形態における送信装置１００においては、データ重要度判定部１０が被写体検出部３を備え、被写体検出部３における検出結果に基づき演算部１１が重要度を判定しているところのみが第１の実施形態、第２の実施形態又は第３の実施形態と異なるところであり、後述する被写体検出部３及び演算部１１による作用効果以外は、第１の実施形態、第２の実施形態及び第３の実施形態と同様の作用効果を奏する。

演算部１１は、動画像の一部分にのみ映っている重要な情報も見逃さないように、映像フレームに対して適切な重要度を判定することができ、再送要求の対象となる映像フレームを効率的に減少させることができる。また、送信装置１００と受信装置２００とを結ぶ回線の品質が低く、パケットロスが多発している場合であっても、トラフィックの増加を抑制し、視聴者の見た目からは、比較的滑らかな映像に復元することができる。

（本発明の第５の実施形態）
図７はこの発明を実施するための第５の実施形態における送信装置のシステム構成を示すブロック図である。図７において、図１、図４〜図６と同じ符号は、同一または相当部分を示し、その説明を省略する。

既存の通信システムは、入力装置からの映像信号として、ほとんど動きのない映像が連続している場合には、重要度が低く判定された映像フレームが連続してしまい、再送要求の対象となる映像フレームが少なくなってしまう。例えば、既存の通信システムにおいては、Ｉピクチャのみが再送要求の対象となってしまう。このような場合には、回線の伝送量に余裕があったとしても、重要度が低い連続する映像フレームに関して再送要求が行なわれずに、映像品質が悪い状態のまま、Ｉピクチャのみの再生となる。

したがって、この第４の実施形態においては、送信装置１００の内部に、判定閾値調整部６０を配設させ、データに対して適切な重要度の判定が行なえるように、映像フレーム又は音声部分の重要度の判定基準を調節する。

判定閾値調整部６０は、データ質情報取得部２０からのデータの質に関する情報、データ符号化部３０からのデータ符号化情報及び伝送路符号化部４０からの伝送データ情報、並びにデータ重要度判定部１０により判定された重要度情報に基づき、データの重要度の同一状態が所定の期間を継続した場合に、重要度の閾値を所定の値に変更して、データ重要度判定部１０における重要度の判定基準となる閾値を調節する。

すなわち、データ質情報取得部２０は、データの質に関する情報を、データ符号化部３０及び判定閾値調整部６０に出力する。また、データ符号化部３０は、データ符号化情報を、伝送路符号化部４０及び判定値調整部６０に出力する。また、伝送路符号化部４０は、伝送データ情報を、伝送路パケット化部５０及び判定閾値調整部６０に出力する。さらに、データ重要度判定部１０は、重要度情報を、伝送路パケット化部５０及び判定閾値調整部６０に出力する。

また、判定閾値調整部６０は、順次入力されるデータの質に関する情報、データ符号化情報及び伝送データ情報、並びに重要度情報を時間的に継続して観察する。そして、判定閾値調整部６０は、重要度の判定結果が低い状態又は高い状態が、所定時間を経過後も継続していると判断した場合には、重要度の閾値を所定の値に変更して、新たな閾値情報をデータ重要度判定部１０に出力する。

データ重要度判定部１０は、新たな閾値情報による重要度の閾値を判定基準として、データの質に関する情報、データ符号化情報又は伝送データ情報に基づき、伝送路符号化したデータに対して重要度を判定する。

なお、この第５の実施形態における送信装置１００においては、送信装置１００が判定閾値調整部６０を備えているところのみが第１の実施形態乃至第４の実施形態と異なるところであり、後述する判定閾値調整部６０による作用効果以外は、第１の実施形態乃至第４の実施形態と同様の作用効果を奏する。
送信装置１００は、判定閾値調整部６０によって、データ重要度判定部１０における判定結果を適応的に変更することが可能となる。

例えば、画質や音質の時間的な変化量が少ない場合には、重要度の判定基準となる閾値を下げ、通常であれば、重要度の判定が低いはずの映像フレームや音声部分の重要度の判定を高くすることができる。また、再送要求の対象となる映像フレームや音声部分を増加させることで、パケットロスが多い場合であっても、オリジナルの映像や音声に近いものを再現できるようになる。

逆に、画質や音質の時間的な変化量が多い場合には、重要度の判定基準となる閾値を上げ、通常であれば、重要度の判定が高くなるはずの映像フレームや音声部分の重要度判定を低くすることができる。また、再送要求の対象である映像フレームや音声部分を削減することで、パケットロスによる再送要求の回数を減少させ、パケットロスが多い場合であっても、輻輳状態の頻度を低下させる作用効果を奏する。

（本発明の第６の実施形態）
図８は図１に示す送信装置の伝送路パケット化部におけるパケット化を説明するための説明図である。
前述した第１の実施形態乃至第５の実施形態においては、伝送路パケット化部５０は、データ重要度判定部１０から入力された重要度情報を、伝送路符号化データ（例えば、図８（ａ）に示すデータ列）と共にパケット化し、伝送路５００を介して受信装置２００に送出される。

このパケット化の方法として、伝送路符号化データと、そのデータに対応する重要度情報とを、別のパケットとしてそれぞれパケット化する方法と、同一のパケット（例えば、図８（ｂ）に示すパケット）としてパケット化する方法が考えられる。なお、図８において、各データのヘッダに付与された、「重」は重要度が高いことを示す重要度情報であり、「否」は重要度が低い（重要でない）ことを示す重要度情報である。

ここで、別のパケットとしてパケット化した場合には、別々に受信したパケットを受信装置２００で処理できるように、伝送路符号化データとその重要度情報とを何らかの方法で関連付ける必要があり、処理的に面倒になる。

また、同一のパケットとしてパケット化した場合には、処理面で比較的扱いやすくなるが、パケットの欠落が発生した場合に、そのパケットに付加された重要度情報も失うことになる。

そこで、この第６の実施形態における送信装置１００は、伝送されたパケットを受信装置２００が有効に取り扱えるように、伝送路パケット化部５０において最適なパケット化を行なうものである。

まず、伝送路パケット化部５０が、重要度情報の連続重畳処理機能として、伝送路符号化データとそれに対応する重要度情報とを同一のパケットとしてパケット化する際に、当該パケットの前、後、前後のいずれかに送出される数パケットの重要度情報も情報として重畳する機能を有する場合について、図８（ｃ）を用いて説明する。

図８（ｃ）において、例えば、データ３は重要度が高く判定され、重要度が高いことを示す重要度情報が付加されており、データ１、データ２、データ４及びデータ５は重要度が低く判定され、重要度が低いことを示す重要度情報が付加されている場合を想定する。

この場合に、データ３のヘッダには、データ３の重要度情報「重」と、データ３の前に送出されるパケット（データ２）の重要度情報「否」と、データ３の後に送出されるパケット（データ４）の重要度情報「否」と、が付加されている。特に、ヘッダにおける、自パケット及び前後のパケットの重要度情報を格納する場所が設定される。なお、図８（ｃ）では、説明を容易にするために、ヘッダの左側に前のパケットの重要度情報、ヘッダの中央に自パケットの重要度情報、ヘッダの右側に後のパケットの重要度情報、を図示している。

このように、重要度情報が付加されているパケットにパケットの欠落が生じた場合であっても、伝送路パケット分離部２１０は、パケット欠落したパケットに対して前後に送出されたパケットのヘッダに格納された重要度情報に基づき、パケット欠落したパケットの重要度情報を取得することができる。そして、伝送路パケット分離部２１０は、取得した重要度情報に基づき、パケット欠落したパケットの再送要求を行なうか否かを判断することができる。

つぎに、伝送路パケット化部５０が、重要データ集約処理機能として、複数の伝送路符号化データ及びそれに対応した重要度情報から１つのパケットを構成する場合に、重要度が高いデータを集約させて、単一のパケットとしてパケット化する機能を有する場合について、図８（ｄ）を用いて説明する。

例えば、図８（ａ）に示すように、２５個のデータからなるデータ列のうち、データ３、データ１０、データ１５、データ２０及びデータ２５は重要度が高く判定され、それ以外のデータは重要度が低く判定されている場合を想定する。

この場合に、図８（ｄ）に示すように、重要度が高く判定された、データ３、データ１０、データ１５、データ２０及びデータ２５を１つのパケット３としてパケット化し、パケット３のヘッダには重要度情報「重」が付加されている。

このようなパケットのデータ構成にすることで、再送要求の対象となるパケットを削減することができ、パケットロスが多発した場合であっても、再送要求パケット及び再送パケットによる輻輳状態を抑制することができる。

つぎに、伝送路パケット化部５０が、重要データ二重化処理機能として、重要度が高いと判定されたデータに対応するパケットを二重化して、伝送路５００に送出する機能を有する場合について、図８（ｅ）を用いて説明する。

例えば、図８（ｂ）に示すように、データ３は重要度が高く判定され、重要度が高いことを示す重要度情報が付加されており、データ１、データ２、データ４及びデータ５は重要度が低く判定され、重要度が低いことを示す重要度情報が付加されている場合を想定する。

この場合に、図８（ｅ）に示すように、データ３のパケット３を複製し、パケット３を送出した後に、新たに複製したパケット３を送出することで、重要度が高いと判断されたパケット３の二重化を図る。

なお、受信装置２００の伝送路パケット分離部２１０は、二重化されたパケットのうち、１つのパケットロスもなく両方とも受信した場合には、いずれか１つのパケットを破棄する。

このように、二重化されたパケットのうち、両方のパケットロスが生じない限りは、送信装置１００の伝送路パケット化部５０に対して再送要求を行なう必要がなく、受信装置２００から再送要求を出力する回数を削減することができる。特に、再送要求を無くした場合には、受信装置２００は、再送されるパケットの受信のための待機時間を無くすことができるため、全体的な遅延時間を削減した動作が可能となる。

（本発明の第７の実施形態）
図９はこの発明を実施するための第７の実施形態における通信システムのシステム構成を示すブロック図、図１０は送信装置と受信装置との間に中継装置を配置することによる作用効果を説明するための説明図である。図９及び図１０において、図１、図４〜図７と同じ符号は、同一または相当部分を示し、その説明を省略する。

前述した第１の実施形態乃至第６の実施形態における通信システムにおいては、送信装置１００との受信装置２００との間のＩＰネットワークなどの伝送路５００が長距離となる場合もあり得る。極端な場合であれば、送信装置１００から受信装置２００までのビットストリームの到達時間が、数十ｍｓから数百ｍｓに及ぶこともある。

また、一般的に、映像や音声を符号化及び復号化する際にも、数百ｍｓ程度の処理時間がかかることが知られている。
このため、全体の処理時間の遅延が、１秒にも及ぶことも考えられる。
したがって、リアルタイム伝送や双方向伝送を考えた場合に、映像や音声におけるこのような処理の遅延時間をいかに短縮するかが課題となることが多い。

特に、本発明の場合においては、重要度情報に基づき、再送要求を行なうことを前提としているために、再送要求されたパケットが受信装置２００に到達するまでの時間分だけ、再送要求を行なわないパケットを受信装置２００で待機させたうえで、復元に必要なパケットが全て揃ってから映像や音声の復号化データの出力を開始する必要がある。このため、その分の遅延時間も減少させる必要がある。

したがって、この第７の実施形態においては、送信装置１００と受信装置２００との間に、１又は複数の中継装置６００を配置して、再送されるパケットによる遅延時間を減少させるものである。

中継装置６００は、送信装置１００側から伝送路５００を介して伝送されるパケットに欠落又は誤りを検出した場合に、当該パケットに付加された重要度情報に基づき、送信装置１００側に対して該当するパケットの再送要求を行なうか否かを判定する再送要求判定部６１０と、送信装置１００側から伝送路５００を介して伝送されたパケットを保存したうえで、当該パケットを受信装置２００側に送出すると共に、受信装置２００側の再送要求に応じて、該当するパケットを受信装置２００側に再送する再送処理部６２０と、を備えている。

また、再送要求判定部６１０は、パケットの再送要求を行なうと判定した場合に、送信装置１００側に再送要求を行なうと共に、パケットの再送要求を行なわないと判定した場合に、再送処理部６２０にパケットを出力する。

中継装置６００は、送信装置１００側からのビットストリームに対しては、パケットロスが発生した際に、再送要求判定部６１０においてパケットロスを検出し、パケットロスを検出したパケットが再送要求の対象となるパケットである場合には、再送要求を送信装置１００側に対して出力する。

また、中継装置６００は、受信装置２００側からの再送要求に対しては、再送処理部６２０において、既に受信装置２００側に対して送出したデータを保存しておき、受信装置２００側から再送要求があった場合に、予め保持している該当するパケットを受信装置２００側に再送する。

なお、この第７の実施形態における通信システムにおいては、送信装置１００と受信装置２００との間に中継装置６００を配置しているところのみが第１の実施形態乃至第６の実施形態と異なるところであり、後述する中継装置６００による作用効果以外は、第１の実施形態乃至第６の実施形態と同様の作用効果を奏する。
送信装置１００と受信装置２００との間に中継装置６００を配置することによる作用効果について、図１０を用いて説明する。

図１０（ａ）に示すように、例えば、中継装置６００を配置していない場合における送信装置１００と受信装置２００との間の遅延時間を２００ｍｓとし、図１０（ｂ）に示すように、送信装置１００から１２０ｍｓ（受信装置２００から８０ｍｓ）の遅延時間を生じる地点に中継装置６００を配置した場合を想定する。

また、再送要求に基づき再送された再送パケットが、送信装置１００と中継装置６００との間及び受信装置２００と中継装置６００との間の両方の伝送路５００において、パケットロスが発生する確率が非常に低いと考えられるパケットロス発生率を想定する。すなわち、図１０において、送信装置１００から受信装置２００までの間で、パケットロスが１回のみ発生した場合を例に挙げる。

まず、送信装置１００と受信装置２００との間に中継装置６００を配置しない場合を考える（図１０（ａ）参照）。
送信装置１００から受信装置２００に到達するまでの最初のパケットの伝送に掛かる時間は、２００ｍｓである（図中の矢印１）。

また、受信装置２００から送信装置１００に到達するまでの再送要求パケットの伝送に掛かる時間は、２００ｍｓである（図中の矢印２）。
また、送信装置１００から受信装置２００に到達するまでの再送パケットの伝送に掛かる時間は、２００ｍｓである（図中の矢印３）。

すなわち、送信装置１００と受信装置２００との間に中継装置６００を配置しない場合には、送信装置１００から送出したパケットが、受信装置２００に正常に受信するために必要な伝送時間は、６００ｍｓ（２００ｍｓ＋２００ｍｓ＋２００ｍｓ）であることがわかる。このことは、受信装置２００が、６００ｍｓを経過した後に、映像信号又は音声信号を出力することができることを意味している。

つぎに、送信装置１００と受信装置２００との間に中継装置６００を配置した場合を考える（図１０（ｂ）参照）。
送信装置１００から中継装置６００に到達するまでの最初のパケットの伝送に掛かる時間は、１２０ｍｓである（図中の矢印１）。
ここで、中継装置６００が、最初のパケットにパケットロスが発生していることを検出した場合には、送信装置１００に対して再送要求を行なう。
これにより、中継装置６００から送信装置１００までに到達するまでの再送要求パケットの伝送に掛かる時間は、１２０ｍｓである（図中の矢印２）。

そして、送信装置１００から中継装置６００に到達するまでの再送パケットの伝送に掛かる時間は、１２０ｍｓである（図中の矢印３）。
また、中継装置６００から受信装置２００に到達するまでの再送パケットの伝送に掛かる時間は、８０ｍｓである（図中の矢印４）。

すなわち、送信装置１００と受信装置２００との間に中継装置６００を配置した場合には、送信装置１００から送出したパケットが、受信装置２００に正常に受信するために必要な伝送時間は、４４０ｍｓ（１２０ｍｓ＋１２０ｍｓ＋１２０ｍｓ＋８０ｍｓ）であることがわかる。このことは、受信装置２００が、４４０ｍｓを経過した後に、映像信号又は音声信号を出力することができることを意味している。

なお、送信装置１００と中継装置６００との間でパケットロスを１回だけ発生した場合を説明したが、中継装置６００と受信装置２００との間でパケットロスが１回だけ発生した場合については、中継装置６００と受信装置２００とで、図１０（ｂ）中の矢印２’及び矢印３’で示したやり取りを行なうことになる。すなわち、送信装置１００から送出したパケットが、受信装置２００に正常に受信するために必要な伝送時間は、３６０ｍｓ（１２０ｍｓ＋８０ｍｓ＋８０ｍｓ＋８０ｍｓ）となる。

以上のように、送信装置１００と中継装置６００との間に受信装置２００を設置することで、受信装置２００における、映像信号又は音声信号を出力するまでの再送要求を行なっていないパケットの待機時間を、６００ｍｓから４４０ｍｓ又は３６０ｍｓに短縮することができる。また、再送要求されたパケットが、再びパケットロスを起こす可能性も低くなる。なお、送信装置１００と中継装置６００との間に、中継装置６００を複数配置することによっても、受信装置２００における再送要求を行なっていないパケットの待機時間を削減することができる。

（本発明の第８の実施形態）
図１１はこの発明を実施するための第８の実施形態における通信システムのシステム構成を示すブロック図、図１２は図１１に示す受信装置の重要度予測部における重要度の予測の一例を説明するための説明図である。図１１において、図１、図４〜図７、図９と同じ符号は、同一または相当部分を示し、その説明を省略する。

前述した第１の実施形態乃至第７の実施形態における通信システムにおいては、送信装置１００が、データ重要度判定部１０によって判定した重要度情報を伝送データに付加して、受信装置２００に送出する構成であり、伝送路５００を伝送するパケットにおける、重要度情報分の情報量が増えることになる。また、受信装置２００では伝送された重要度情報を処理する回路が必要となる。
したがって、この第８の実施形態においては、送信装置１００内部で伝送路符号化データの重要度を判定するのではなく、受信装置２００内部で伝送データの重要度を予測する。

送信装置１００ａは、データ符号化部３０ａと、伝送路符号化部４０ａと、伝送路パケット化部５０ａと、を少なくとも備える既存の符号化装置とほぼ同様の構成である。

受信装置２００ａは、伝送路パケット分離部２１０ａと、伝送路復号化部２２０ａと、データ復号化部２３０ａと、を少なくとも備える既存の復号化装置の構成に、データ質情報取得部２０ａと、データ重要度判定部１０ａと、重要度情報履歴格納部２４０と、重要度予測部２５０と、を新たに追加した構成である。

伝送路パケット分離部２１０ａは、伝送路５００を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化データに復元する。

また、伝送路パケット分離部２１０ａは、伝送されるパケットに欠落又は誤りを検出した場合に、後述する重要度予測部２５０により予測された重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定すると共に、再送要求を行なうと判定したときに、送信装置１００に再送要求を行なう。
伝送路復号化部２２０ａは、伝送路符号化データをデータ符号化データに復号化する。

データ復号化部２３０ａは、データ符号化データを静止画像若しくは動画像又は音声のデータに復号化する。
データ質情報取得部２０ａは、データの質に関する情報をデータに復号化後に取得する。

データ重要度判定部１０ａは、伝送路復号化部２２０ａからの伝送データ情報、データ復号化部２３０ａからのデータ符号化情報又はデータ質情報取得部２０ａからのデータの質に関する情報に基づき、伝送路パケット分離部２１０ａで受信するパケットに対応するデータに対して重要度を判定する。

重要度情報履歴格納部２４０は、データ重要度判定部１０ａによって判定されたデータ毎の重要度情報を一時的に保存する。
重要度予測部２５０は、伝送路パケット分離部２１０ａに受信した現在の受信データに関連する、重要度情報履歴格納部２４０に保存された過去の受信データに対する重要度情報を読出し、この過去の受信データに対する重要度情報を用いて、現在の受信データに対する重要度を予測する。

なお、伝送路パケット分離部２１０ａにおいて、一連の映像又は音声における最初に受信した受信データから所定の期間に受信する受信データに対しては、関連する過去の受信データの重要度情報が存在しない。このため、過去の重要度情報が存在しない受信データに対しては、全て重要度を高く設定して、質を重視した映像又は音声を再現することや、全て重要度を低く設定して、伝送データ量の削減を重視して映像又は音声を再現にすることや、重要度の高低の割合を調整することなどのように、場合によって重要度情報を設定することが好ましい。
ここで、重要度予測部２５０における現在の受信データに対する重要度の予測については、以下のような予測例が挙げられる。

例えば、画面上の円が左から右にゆっくりと移動する動画像であり、多少の映像フレームのコマ落ちが発生したとしても、映像にそれほど影響がないと判断される場合を想定する。すなわち、図１２に示すように、第１の映像フレーム、第２の映像フレーム及び第４の映像フレームは、重要度が高い映像フレームであり、第３の映像フレームは重要度の低い映像フレームであると、データ重要度判定部１０ａが伝送データ情報、データ符号化情報又はデータの質に関する情報に基づきそれぞれ判断した場合を想定する。

この場合に、各映像フレームの重要度情報が、重要度情報履歴格納部２４０にそれぞれ保存され、重要度予測部２５０は、重要度情報履歴格納部２４０に保存された所定の映像フレーム（ここでは、第１の映像フレームから第４の映像フレームまで）の重要度情報を読み出すことになる。

そして、重要度予測部２５０は、読み出した所定の映像フレームの重要度情報に基づき、伝送路パケット分離部２１０ａに受信した現在の受信データに対して、重要度を予測することになる。すなわち、図１２においては、第５の映像フレームの重要度は高いと予測され、第６の映像フレームの重要度は低いと予測される。

なお、この第８の実施形態における通信システムにおいては、送信装置１００にデータ質情報取得部２０及びデータ重要度判定部１０を備えるのではなく、受信装置２００にデータ質情報取得部２０ａ、データ重要度判定部１０ａ、重要度情報履歴格納部２４０及び重要度予測部２５０と備えるところのみが第１の実施形態乃至第７の実施形態と異なるところであり、後述する重要度予測部２５０による作用効果以外は、第１の実施形態乃至第７の実施形態と同様の作用効果を奏する。

この第７の実施形態においては、受信装置２００の重要度予測部２５０が、映像フレーム又は音声部分の重要度を予測し、重要度が高いと予測された映像フレーム又は音声部分に対応するパケットにパケットロスが発生した場合に、受信装置２００の伝送路パケット分離部２１０ａから自律で再送要求を送出することにより、送信装置１００から伝送路５００を介して伝送されるパケットにおける、重要度情報分の情報量が削減することができるうえに、受信装置２００では伝送された重要度情報を処理するための回路が不要となる。

また、受信装置からの再送要求に対する再送機能を有すると共に、伝送路符号化データの重要度を判定しない、既存の送信装置に対しても、この受信装置２００ａを用いることにより、受信装置２００ａ側で重要度を判定することができ、この発明に係る通信システムを構築することができる。特に、既存の受信装置の製品価格と比較して、既存の送信装置の製品価格が高価であることが多く、既存の送信装置を改造又は買い換えることは、コスト的にも容易ではなく、送信者側は既存の送信装置を使用し続ける場合も考えられる。これに対し、受信者側は、この受信装置２００ａを導入することで、既存の送信装置に対してもこの発明に係る通信システムを構築することができる。

［付記］ 以上の実施例１〜８を含む実施形態に関し、更に以下の付記を開示する。
（付記１） データを伝送路を介してパケット送信する送信装置と、前記パケットを受信する受信装置とを備えた通信システムにおいて、前記送信装置が、静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部と、前記入力したデータの性質に応じて前記データを符号化するデータ符号化部と、前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化部と、前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記データの重要度を所定のデータ単位に判定して重要度情報を判定するデータ重要度判定部と、前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットと当該パケットの前、後、前後のいずれかに送出するパケットに当該パケットの重要度情報を付加して前記伝送路に送信する伝送路パケット化部とを備え、前記受信装置が、前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元し、前記受信したパケットの制御情報に基づき、パケットの欠落又は誤りを検出した場合に、当該パケット又は直前に受信したパケットの重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定し、再送要求を行なうと判定した場合に、前記送信装置側に再送要求を行な伝送路パケット分離部と、前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化部と、前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化部とを備えることを特徴とする通信システム。

（付記２） データを伝送路を介してパケット送信する送信装置において、静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部と、前記入力したデータの性質に応じて前記データを符号化するデータ符号化部と、前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化部と、前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記データの重要度を、所定の基準に基づいて所定のデータ単位に判定して重要度情報を出力するデータ重要度判定部と、
前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットに、前記データ重要度判定部により判定された重要度情報を、該当するデータに対応付けされたパケットと当該パケットの前、後、前後のいずれかに送出するパケットに付加して前記伝送路に送出する送信装置。

（付記３） 前記データ重要度判定部は、前記入力データが動画像データの場合、前記データ質情報取得部から取得する画質に関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの明度、彩度及び複雑度の変化量並びに変化速度を検出し、当該変化量及び変化速度に基づき、前記各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。

（付記４） 前記データ重要度判定部は、前記入力データが動画像データの場合、前記データ符号化部から取得する動画像の動きに関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロックの移動量、移動速度及び移動変位を検出し、当該移動量、変化速度及び移動変位に基づき、前記各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。

（付記５） 前記データ重要度判定部は、前記入力データが動画像データの場合、各動画像データに対して所定のパターン認識を行ない、当該パターン認識により特定された被写体を含む各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。

（付記６） 前記データ重要度判定部における重要度の判定基準となる閾値を調節する判定閾値調整部を備え、前記判定閾値調整部は、前記データ質情報取得部からのデータの質に関する情報、前記データ符号化部からのデータ符号化情報及び前記伝送路符号化部からの伝送データ情報、並びに前記データ重要度判定部により判定された重要度情報に基づき、前記データの重要度の同一状態が所定の期間を継続した場合に、前記重要度の閾値を所定の値に変更することを特徴とする送信装置。

（付記７） コンピュータに、静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得手順と、前記入力したデータの性質に応じて前記データを符号化するデータ符号化手順と、前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化手順と、前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記伝送路符号化したデータの重要度を、所定の基準に基づいて所定のデータ単位に判定して重要度情報を出力するデータ重要度判定手順と、前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットに、前記データ重要度判定部により判定された重要度情報を、該当するデータに対応付けされたパケットと当該パケットの前、後、前後のいずれかに送出するパケットに付加して前記伝送路に送出する送出手順を、機能させる送信プログラム。

（付記８） 送信側から伝送路を介して伝送されるパケットに欠落又は誤りを検出した場合に、当該パケットに付加された重要度情報に基づき、送信側に対して該当するパケットの再送要求を行なうか否かを判定する再送要求判定部と、送信側から伝送路を介して伝送されたパケットを保存したうえで、当該パケットを受信側に送出すると共に、受信側の再送要求に応じて、該当するパケットを受信側に再送する再送処理部と、を備え、前記再送要求判定部は、前記パケットの再送要求を行なうと判定した場合に、送信側に再送要求を行なうと共に、前記パケットの再送要求を行なわないと判定した場合に、前記再送処理部にパケットを出力することを特徴とする中継装置。

（付記９） データをパケット送信する送信装置から送信されたパケットを、伝送路を介して受信する受信装置において、前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元する伝送路パケット分離部と、前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化部と、前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化部と、前記データにおける画質又は音質に関する情報を、データに復号化後に取得するデータ質情報取得部と、前記伝送路復号化された伝送データ情報、前記データ復号化部からのデータ符号化情報又は前記データ質情報取得部からのデータの質に関する情報に基づき、前記伝送路パケット分離部で受信するパケットに対応するデータに対して重要度を判定するデータ重要度判定部と、前記データ重要度判定部によって判定されたデータ毎の重要度情報を保存する重要度情報履歴格納部と、前記重要度情報履歴格納部に保存された過去の受信データの重要度情報に基づき、現在の受信データの重要度を予測する重要度予測部と、を備え、前記伝送路パケット分離部は、伝送されるパケットに欠落又は誤りを検出した場合に、前記重要度予測部により予測された重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定すると共に、再送要求を行なうと判定したときに、送信側に再送要求を行なうことを特徴とする受信装置。

（付記１０） データをパケット送信する送信装置から送信されたパケットを、伝送路を介して受信する受信装置として、コンピュータを機能させる受信プログラムにおいて、コンピュータに、前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元する伝送路パケット分離手順と、前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化手順と、前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化手順と、前記データの質に関する情報を、データに復号化後に取得するデータ質情報取得手順と、前記伝送路復号化された伝送データ情報、前記データ復号化部からのデータ符号化情報又は前記データの質に関する情報に基づき、前記受信パケットに対応するデータに対して重要度を判定するデータ重要度判定手順と、該データ毎の重要度情報を記憶する重要度情報履歴記憶手順と、前記記憶された過去の受信データの重要度情報に基づき、現在の受信データの重要度を予測する重要度予測手順と、を備え、前記伝送路パケット分離手順は、さらに、伝送されるパケットに欠落又は誤りを検出した場合に、前記予測された重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定すると共に、再送要求を行なうと判定したときに、送信側に再送要求を行なう手順を、機能させる受信プログラム。

この発明を実施するための第１の実施形態における通信システムのシステム構成を示すブロック図である。 図１に示す通信システムによる処理手順を示すフローチャートである。 図２に示すフローチャートの続きを示すフローチャートである。 この発明を実施するための第２の実施形態における送信装置のシステム構成を示すブロック図である。 この発明を実施するための第３の実施形態における送信装置のシステム構成を示すブロック図である。 この発明を実施するための第４の実施形態における送信装置のシステム構成を示すブロック図である。 この発明を実施するための第５の実施形態における送信装置のシステム構成を示すブロック図である。 図１に示す送信装置の伝送路パケット化部におけるパケット化を説明するための説明図である。 この発明を実施するための第７の実施形態における通信システムのシステム構成を示すブロック図である。 送信装置と受信装置との間に中継装置を配置することによる作用効果を説明するための説明図である。 この発明を実施するための第８の実施形態における通信システムのシステム構成を示すブロック図である。 図１１に示す受信装置の重要度予測部における重要度の予測の一例を説明するための説明図である。

符号の説明

１ａ 明度変化度検出部
１ｂ 彩度変化度検出部
１ｃ 複雑度変化度検出部
２ａ パン移動度検出部
２ｂ ズーム移動度検出部
３ 被写体検出部
１０，１０ａ データ重要度判定部
１１ 演算部
２０，２０ａ データ質情報取得部
３０，３０ａ データ符号化部
４０，４０ａ 伝送路符号化部
５０，５０ａ 伝送路パケット化部
６０ 判定閾値調整部
１００，１００ａ 送信装置
２００，２００ａ 受信装置
２１０，２１０ａ 伝送路パケット分離部
２２０，２２０ａ 伝送路復号化部
２３０，２３０ａ データ復号化部
２４０ 重要度情報履歴格納部
２５０ 重要度予測部
３００ 入力装置
４００ 出力装置
５００ 伝送路
６００ 中継装置
６１０ 再送要求判定部
６２０ 再送処理部

Claims (8)

1. データを伝送路を介してパケット送信する送信装置と、前記パケットを受信する受信装置とを備えた通信システムにおいて、
   前記送信装置が、静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部と、前記入力したデータの性質に応じて前記データを符号化するデータ符号化部と、前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化部と、前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記データの重要度を所定のデータ単位に判定して重要度情報を判定するデータ重要度判定部と、前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットと当該パケットの前、後、前後のいずれかに送出するパケットに当該パケットの重要度情報を付加して前記伝送路に送信する伝送路パケット化部とを備え、
   前記受信装置が、前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元し、前記受信したパケットの制御情報に基づき、パケットの欠落又は誤りを検出した場合に、当該パケット又は直前に受信したパケットの重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定し、再送要求を行なうと判定した場合に、前記送信装置側に再送要求を行な伝送路パケット分離部と、前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化部と、前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化部とを備えることを特徴とする通信システム。
2. データを伝送路を介してパケット送信する送信装置において、
   静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得部と、
   前記入力したデータの性質に応じて前記データを符号化するデータ符号化部と、
   前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化部と、
   前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記データの重要度を、所定の基準に基づいて所定のデータ単位に判定して重要度情報を出力するデータ重要度判定部と、
   前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットに、前記データ重要度判定部により判定された重要度情報を、該当するデータに対応付けされたパケットと当該パケットの前、後、前後のいずれかに送出するパケットに付加して前記伝送路に送出する送信装置。
3. 前記請求項１に記載の送信装置において、
   前記データ重要度判定部は、前記入力データが動画像データの場合、前記データ質情報取得部から取得する画質に関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの明度、彩度及び複雑度の変化量並びに変化速度を検出し、当該変化量及び変化速度に基づき、前記各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。
4. 前記請求項２又は３に記載の送信装置において、
   前記データ重要度判定部は、前記入力データが動画像データの場合、前記データ符号化部から取得する動画像の動きに関する情報に基づき、動画像の連続する映像フレーム間における各映像フレームの画像データの各ブロックの移動量、移動速度及び移動変位を検出し、当該移動量、変化速度及び移動変位に基づき、前記各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。
5. 前記請求項２乃至４のいずれかに記載の送信装置において、
   前記データ重要度判定部は、前記入力データが動画像データの場合、各動画像データに対して所定のパターン認識を行ない、当該パターン認識により特定された被写体を含む各映像フレームの画像データに対して重要度を判定することを特徴とする送信装置。
6. データを伝送路を介してパケット送信する送信装置として、コンピュータを機能させる送信プログラムにおいて、
   コンピュータに、
   静止画像データ、動画像データ、音データの少なくとも１つのデータを含むデータを入力され、該入力されたデータにおける画質又は音質に関する情報を、所定の判定基準に基づいて、データ符号化前に取得するデータ質情報取得手順と、
   前記入力したデータの性質に応じて前記データを符号化するデータ符号化手順と、
   前記符号化されたデータを伝送路に対応させて符号化する伝送路符号化手順と、
   前記データの質に関する情報、前記データ符号化情報、前記伝送データ情報の少なくとも１つの情報に基づき、前記伝送路符号化したデータの重要度を、所定の基準に基づいて所定のデータ単位に判定して重要度情報を出力するデータ重要度判定手順と、
   前記伝送路符号化したデータを分割し、当該分割したデータに制御情報を付加したパケットに、前記データ重要度判定部により判定された重要度情報を、該当するデータに対応付けされたパケットと当該パケットの前、後、前後のいずれかに送出するパケットに付加して前記伝送路に送出する送出手順を、機能させる送信プログラム。
7. 送信側から伝送路を介して伝送されるパケットに欠落又は誤りを検出した場合に、当該パケットに付加された重要度情報に基づき、送信側に対して該当するパケットの再送要求を行なうか否かを判定する再送要求判定部と、
   送信側から伝送路を介して伝送されたパケットを保存したうえで、当該パケットを受信側に送出すると共に、受信側の再送要求に応じて、該当するパケットを受信側に再送する再送処理部と、
   を備え、
   前記再送要求判定部は、前記パケットの再送要求を行なうと判定した場合に、送信側に再送要求を行なうと共に、前記パケットの再送要求を行なわないと判定した場合に、前記再送処理部にパケットを出力することを特徴とする中継装置。
8. データをパケット送信する送信装置から送信されたパケットを、伝送路を介して受信する受信装置において、
   前記伝送路を介して受信したパケットのデータから制御情報を分離し、互いに連関する複数のパケットのデータを結合して、伝送路符号化したデータに復元する伝送路パケット分離部と、
   前記伝送路符号化したデータを、データ符号化したデータに復号化する伝送路復号化部と、
   前記データ符号化されたデータを静止画像データ、動画像データ、音データの少なくとも１つのデータに復号化するデータ復号化部と、
   前記データにおける画質又は音質に関する情報を、データに復号化後に取得するデータ質情報取得部と、
   前記伝送路復号化された伝送データ情報、前記データ復号化部からのデータ符号化情報又は前記データ質情報取得部からのデータの質に関する情報に基づき、前記伝送路パケット分離部で受信するパケットに対応するデータに対して重要度を判定するデータ重要度判定部と、
   前記データ重要度判定部によって判定されたデータ毎の重要度情報を保存する重要度情報履歴格納部と、
   前記重要度情報履歴格納部に保存された過去の受信データの重要度情報に基づき、現在の受信データの重要度を予測する重要度予測部と、
   を備え、
   前記伝送路パケット分離部は、伝送されるパケットに欠落又は誤りを検出した場合に、前記重要度予測部により予測された重要度情報に基づき、該当するパケットの再送要求を行なうか否かを判定すると共に、再送要求を行なうと判定したときに、送信側に再送要求を行なうことを特徴とする受信装置。

Images