JP2008312126A - データ送信装置、データ受信装置、及びデータ送受信システム - Google Patents

データ送信装置、データ受信装置、及びデータ送受信システム Download PDF

Info

Publication number
JP2008312126A
JP2008312126A JP2007160223A JP2007160223A JP2008312126A JP 2008312126 A JP2008312126 A JP 2008312126A JP 2007160223 A JP2007160223 A JP 2007160223A JP 2007160223 A JP2007160223 A JP 2007160223A JP 2008312126 A JP2008312126 A JP 2008312126A
Authority
JP
Japan
Prior art keywords
packet
retransmission
data
importance
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007160223A
Other languages
English (en)
Other versions
JP5084362B2 (ja
JP2008312126A5 (ja
Inventor
Toru Suneya
亨 強矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007160223A priority Critical patent/JP5084362B2/ja
Priority to US12/140,093 priority patent/US8185792B2/en
Publication of JP2008312126A publication Critical patent/JP2008312126A/ja
Publication of JP2008312126A5 publication Critical patent/JP2008312126A5/ja
Application granted granted Critical
Publication of JP5084362B2 publication Critical patent/JP5084362B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0086—Unequal error protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0019—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy in which mode-switching is based on a statistical approach
    • H04L1/0021—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy in which mode-switching is based on a statistical approach in which the algorithm uses adaptive thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1825—Adaptation of specific ARQ protocol parameters according to transmission conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Communication Control (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】パケットロスが発生した場合に、受信側の処理負荷が大きくならないようにするとともに、トラフィックが増大するのをできるだけ抑制して効率の良い通信を行なうことができるようにする。
【解決手段】受信装置１０１から送られた再送要求から、パケット再送制御部１０７がパケットロス率を算出する。そして、前記算出したパケットロス率とパケット重要度設定部１０４が設定したパケット毎の重要度とから受信装置１０１に再送する再送パケットを決定するようにして、受信装置１０１は、パケットロスが発生した場合に、損失したパケットの重要度を判別して再送要求を行なうか否かを判断することを不要にすることができ、さらに、各パケットにロストしたパケットの重要度を受信装置１０１で判別するための仕組みを組み入れることによるトラフィックの増大を防止することができるようにする。
【選択図】図１

Description

本発明はデータ送信装置、データ受信装置、データ送受信システム、データ送信装置の制御方法、データ受信装置の制御方法、プログラム及び記録媒体に関し、特に、回線状況やパケットの重要度に応じて再送の動作を制御するために用いて好適な技術に関する。
近年、通信システムの発達により、比較的大きなデータ通信帯域が必要となる動画像データをインターネットなどの通信回線を通して見ることが一般に行なわれるようになってきている。このような動画像データの通信を行なう際に、特に、ライブ映像などのリアルタイム性を必要とする動画像データを長時間にわたり送信するために、ＲＴＰ（A Transport Protocol for Real-Time Applications）と呼ばれる形式が一般的と用いられている。ＲＴＰは、オーディオやビデオなどをリアルタイムでデータ転送するために、ＩＥＴＦ（The Internet Engineering Task Force）によりＲＦＣ１８８９及びＲＦＣ１８９０として定義されたプロトコルである。
一般的に、前記ＲＴＰプロトコルに代表されるリアルタイム通信においては、必ずしもデータの信頼性という点で高いとはいえない。しかしながら、比較的単純で通信速度が大きいと期待されるＵＤＰ／ＩＰ（User Datagram Protocol/Internet Protocol）などの下位の低層プロトコルが利用されている。ＲＴＰにおいては、これを強く想定したものとなっている。このような、ＵＤＰ／ＩＰなどのプロトコルを用いた場合、リアルタイム性には優れているものの、その性質上、パケットロスなどのエラーが発生しやすいという問題がある。
もし、エラーが発生すれば、動画像の一部が欠落するといった現象が発生する可能性が高いため、様々な工夫がなされてきている。例えば、圧縮符号化された動画像データに対し、符号化時点でエラーの波及する範囲を限定する仕組みを組み込むことが行なわれている。また、一度発生したエラーに対して再生表示する際の動画像の欠落を目立たなくしたりするといったことも実際に行なわれている。さらに、通信の側面からは、より信頼性の高い通信回線が提案され、特定条件下では、エラー率はかなり低いものとなってきている。
一方、通信が混雑してエラーが発生しやすい状況においては、この状況を抑制させることも重要な課題となっている。従来、パケットロス等のエラーを抑制させる技術として、エラーが発生した際のネットワークの状況、或いはパケット毎の重要度を考慮して、パケットの送信方法を制御し、効率の良い通信を行なう技術が提案されている。この技術の従来例として、送信側でパケットの重要度を設定する際に、パケットのロス率が高い時には重要度の高いパケットの割合を少なくし、ロス率が低い時には重要度の高いパケットの割合を多くする。一方、受信側では重要度が高く設定されているパケットのロスを検出した場合に、送信側にパケットの再送を要求する技術が開示されている（例えば、特許文献１参照）。
特開２００４−２４８３２２号公報
しかしながら、前記特許文献１に記載の技術では、受信側は、パケットロスの検知だけではなく、パケットロスが発生した場合にロストしたパケットの重要度を判別して再送要求を行なうか否かの判断を行なう必要があった。このため、受信側の処理負荷が大きくなってしまうという問題点があった。
さらに、ロストしたパケットの重要度を受信側で判別するための仕組みを各パケットに送信側で組み入れる必要があり、その分だけトラフィックが増大してしまう。このため、効率の良い通信を行なう点においては不十分であった。
また、前記特許文献１に記載の技術では、重要度のレベルが高・低の２段階であり、処理の細かい再送制御を行なうことができなかった。このため、再送制御という点に着目した場合においても、効率の良い通信を行なう点においては不十分であった。
本発明は前述の問題点に鑑み、パケットロスが発生した場合に、受信側の処理負荷が大きくならないようにするとともに、トラフィックが増大するのをできるだけ抑制して効率の良い通信を行なうことができるようにすることを目的としている。
本発明のデータ送信装置は、動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するデータ送信装置であって、前記動画像データから送信用のパケットを生成するパケット生成手段と、前記パケット生成手段によって生成されたパケット毎の重要度を設定するパケット重要度設定手段と、前記パケット重要度設定手段によって設定されたパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶手段と、前記パケット生成手段によって生成されたパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信手段と、前記パケット通信手段により送信するパケットを第２の記憶部に保管するパケット保管手段と、前記パケット通信手段によって受信されたパケットの再送要求からパケットの損失率を算出するパケットロス率算出手段と、前記パケットロス率算出手段によって算出されたパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定手段と、前記再送パケット決定手段によって決定された再送パケットを前記第２の記憶部から読み出して前記パケット通信手段を介して前記データ受信装置に送信するパケット再送手段とを備えることを特徴とする。
本発明のデータ受信装置は、データ送信装置に対して動画像データの送信要求を行なうデータ受信装置であって、前記データ送信装置から送信されたパケットを受信するパケット通信手段と、前記パケット通信手段によって受信されたパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出手段と、前記パケットロス検出手段によって検出されたパケットを前記データ送信装置に対して再送要求するパケット再送要求手段とを備え、前記パケット通信手段は、前記パケット再送要求手段による再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信することを特徴とする。
本発明のデータ送受信システムは、前記に記載のデータ送信装置と、前記に記載のデータ受信装置とを備えることを特徴とする。
本発明のデータ送信装置の制御方法は、動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するデータ送信装置の制御方法であって、前記動画像データから送信用のパケットを生成するパケット生成工程と、前記パケット生成工程において生成したパケット毎の重要度を設定するパケット重要度設定工程と、前記パケット重要度設定工程において設定したパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶工程と、前記パケット生成工程において生成したパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信工程と、前記パケット通信工程において送信するパケットを第２の記憶部に保管するパケット保管工程と、前記パケット通信工程において受信したパケットの再送要求からパケットの損失率を算出するパケットロス率算出工程と、前記パケットロス率算出工程において算出したパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定工程と、前記再送パケット決定工程において決定した再送パケットを前記第２の記憶部から読み出して前記データ受信装置に送信するパケット再送工程とを備えることを特徴とする。
本発明のデータ受信装置の制御方法は、データ送信装置に対して動画像データの送信要求を行なうデータ受信装置の制御方法であって、前記データ送信装置から送信されたパケットを受信するパケット通信工程と、前記パケット通信工程において受信したパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出工程と、前記パケットロス検出工程において検出したパケットを前記データ送信装置に対して再送要求するパケット再送要求工程とを備え、前記パケット通信工程においては、前記パケット再送要求工程における再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信することを特徴とする。
本発明のプログラムは、動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するようにコンピュータに実行させるプログラムであって、前記動画像データから送信用のパケットを生成するパケット生成工程と、前記パケット生成工程において生成したパケット毎の重要度を設定するパケット重要度設定工程と、前記パケット重要度設定工程において設定したパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶工程と、前記パケット生成工程において生成したパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信工程と、前記パケット通信工程において送信するパケットを第２の記憶部に保管するパケット保管工程と、前記パケット通信工程において受信したパケットの再送要求からパケットの損失率を算出するパケットロス率算出工程と、前記パケットロス率算出工程において算出したパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定工程と、前記再送パケット決定工程において決定した再送パケットを前記第２の記憶部から読み出して前記データ受信装置に送信するパケット再送工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、データ送信装置に対して動画像データの送信要求を行なうようにコンピュータに実行させるプログラムであって、前記データ送信装置から送信されたパケットを受信するパケット通信工程と、前記パケット通信工程において受信したパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出工程と、前記パケットロス検出工程において検出したパケットを前記データ送信装置に対して再送要求するパケット再送要求工程とをコンピュータに実行させ、前記パケット通信工程においては、前記パケット再送要求工程における再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信するようにコンピュータに実行させることを特徴とする。
本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。
本発明によれば、データ受信装置から送られた再送要求からパケットの損失率を算出し、前記算出したパケットの損失率とパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定するようにした。これにより、受信側は、パケットロスが発生した場合に、損失したパケットの重要度を判別して再送要求を行なうか否かを判断することを不要にすることができる。さらに、ロストしたパケットの重要度を受信側で判別するための仕組みを各パケットに組み入れることによるトラフィックが増大するのを防止することができる。したがって、受信側の処理負荷が大きくならないようにするとともに、効率の良い通信を行なうことができる。
また、本発明の他の特徴によれば、動画像データを復号する場合に参照するフレームの階層の深さに応じてパケットの重要度を設定するようにしたので、処理の細かい再送制御を行なうことができる。これにより、さらに効率の良い通信を行なうことができる。
（第１の実施形態）
本発明の実施形態として、動画像データから通信用のパケットを生成し、受信装置に送信するシステムについて図面を参照しながら説明する。
図１は、本実施形態におけるデータ送受信システムの構成例を示すブロック図である。このシステムは、動画像データを送信する送信装置１００と動画像データを受信する受信装置１０１とで構成され、動画像データは通信に適したサイズに分割され、通信パケットとして送受信が行なわれる。
図１に示す送信装置１００においては、動画像データ生成部１０２は、概念的な機能面からは、動画像データを生成し、パケット生成部１０３は、生成した動画像データを通信に適したサイズに分割し、通信用のプロトコルに準じたパケットを生成する。また、パケット生成部１０３はパケット保管手段として機能し、第２の記憶部である送信バッファ１１２に生成したパケットを一時保管する。
パケット重要度設定部１０４は、生成したパケット毎に重要度のレベル分けを行なう。また、パケット重要度設定部１０４はパケット重要度記憶手段として機能し、パケット毎の重要度情報を第１の記憶部である重要度情報バッファ１１３に一時保管する。接続制御部１０５は、受信装置１０１との接続状態を制御し、パケット通信部１０６は、生成したパケットを受信装置１０１に送信する。また、パケット再送制御部１０７は、パケット通信部１０６を介して受信装置１０１から送られるパケットの再送要求情報からパケットのロス率を計算する。そして、パケットの再送を行なうか否かを判断し、計算したパケットロス率のデータをロス率バッファ１１４に一時保管する。
一方、受信装置１０１においては、接続制御部１０８は、送信装置１００との接続状態を制御し、パケット通信部１０９は、送信装置１００から送信されるパケットを受信する。そして、パケットロス検知部１１１は、受信したパケットから通信経路途中で損失したパケットを検出し、パケット再送要求部１１０は、損失したパケットの再送をパケット通信部１０９を介して送信装置１００に要求する。なお、受信装置１０１は１つの送信装置１００に対して、複数接続していてもよい。
次に、図１を参照しながら、本実施形態のシステムの一般的な処理の流れについて説明する。まず、受信装置１０１を操作する利用者の操作により、送信装置１００から動画像データを取得するように要求する。この操作は、例えばＧＵＩ（グラフィカル・ユーザ・インターフェース）を用いて送信装置１００のＵＲＬ（Uniform Resource Locator）を入力する操作であってもよい。また、受信装置１０１に予め通信接続の定義しておいた情報を用いて、スイッチを押下するような操作であってもよい。
動画像データ取得の指示においては、送信装置１００に接続するためのメッセージをパケット通信部１０９から送信するように接続制御部１０８が制御する。そして、パケット通信部１０９は、送信装置１００のパケット通信部１０６に対して、接続を要求するメッセージを通知する。
送信装置１００では、受信装置１０１から送信された接続を要求するメッセージをパケット通信部１０６にて受信し、接続制御部１０５は、接続の可否を判断する。そして、その判断の結果を示すメッセージを受信装置１０１に返す。この接続制御のための通信において最も一般的な方法のひとつは、ＲＴＳＰ（Real Time Streaming Protocol、RFC 2326、The Internet Society）によるものである。図１では簡略化のため、接続制御のメッセージを単純化した矢印にて記載しているが、例えばＲＴＳＰにおいては、複数回のメッセージ交換により行われる。
送信装置１００においては、次に、動画像データ生成部１０２において動画像データの生成を行ない、生成された動画像データを、所定のバッファに一時的に保管する。そして、所定のバッファに保管された動画像データは、パケット生成部１０３にて通信に適したサイズに分割され、動画像データを含んだ送信用パケットが生成される。この生成された送信用パケットは、受信装置１０１から再送要求があった時に備え、送信バッファ１１２において、一定時間分保管される。
一方、パケット重要度設定部１０４では、送信用パケットを生成する際に、動画像データ生成部１０２から動画像のフレーム毎にフレームの種類を取得し、取得したフレームの種類、及びそのフレームの並び順からフレーム毎に重要度を設定する。この重要度設定の方法および処理内容については、後で詳細に説明する。
そして、生成された送信用パケットは、パケット通信部１０６から受信装置１０１のパケット通信部１０９へ順次送信される。
次に、受信装置１０１では、パケット通信部１０９で受信したパケットから、通信系路上で失われたパケットの検出を行なう。この検出処理は、パケットロス検出手段として機能するパケットロス検知部１１１において行なわれる。そして、パケットの損失（ロス）があった場合には、パケット再送要求部１１０において、パケットロスが検出されたパケットの再送を要求するメッセージ（以下、再送要求メッセージと称す）を生成する。そして、送信装置１００の再送要求受信手段として機能するパケット通信部１０６に対して、パケット通信部１０９から再送要求メッセージを通知する。
通信経路上で損失したパケットの再送要求メッセージが受信装置１０１から送信装置１００に通知された場合、送信装置１００では、パケット通信部１０６からパケット再送制御部１０７へ再送要求メッセージが渡される。そして、再送要求メッセージに対して、再送するパケットの選別及び再送の可否が判定される。
この時、パケット再送制御部１０７では、パケットの再送要求メッセージから算出するパケット損失の割合、パケット重要度設定部１０４で設定したパケット毎の重要度情報などから、実際に受信装置１０１へ再送するパケットを決定する。この決定に応じて、パケット通信部１０６はパケット再送手段として機能し、パケットの再送に備えて送信バッファ１１２にて保管していたパケットを読み出して受信装置１０１へ送信する。受信装置１０１のパケット通信部１０９はパケット通信手段として機能し、送信装置１００から送信された再送パケットを受信する。なお、送信バッファ１１２、重要度情報バッファ１１３、及びロス率バッファ１１４は、同一の記憶装置であってもよい。
次に、図２を参照しながら前述したパケット重要度設定部１０４で行なわれるフレーム毎の重要度設定の方法及び処理内容について説明する。動画像データを分割してパケット化して送受信を行なう場合、動画像データは一般に圧縮符号化処理が行なわれる。その代表的な方式として、ＭＰＥＧ−２（ISO/IEC 13818）やＭＰＥＧ−４（ISO/IEC 14496）などのＭＰＥＧ方式があげられる。本実施形態では、動画像データ生成部１０２において、これらの圧縮符号化方式を用いて動画像データを符号化するものとする。そこで、まず動画像データを構成する各画像（フレーム）を圧縮する方式として存在する主な３種類の圧縮方式について説明する。
１つ目は、１つのフレーム内の情報のみでマクロブロック処理などを行ない圧縮符号化処理する方式であり、この方式で圧縮されたフレームはI-Frame (Intra-coded Frame)と呼ばれる。
２つ目は、時間軸上前方のフレームを参照しながら、動き補償予測、マクロブロック処理など差分情報を抽出して行なう方式であり、前方のフレームに依存した圧縮方式である。この方式で圧縮されたフレームをP-Frame (Predicted Frame)と呼ぶ。
３つ目は、P-Frameと同様に時間軸上隣り合ったフレームを参照しながら圧縮符号化を行なう方式である。ところが、P-Frameが前方のフレームのみを参照していたのに対し、時間軸上、当該フレームの前後のフレームを参照しながら動き補償予測、マクロブロック処理などを行なう。この方式で圧縮されたフレームをB-Frame (Bi-directional Predicted Frame)と呼ぶ。なお、前述した画像のフレーム(Frame)はピクチャ(Picture)とも呼ばれるが、本実施形態ではフレーム(Frame)と呼ぶこととする。
図２に示す「Ｉ」、「Ｐ」、「Ｂ」は、各々I-Frame、P-Frame、B-Frameを表しており、「Ｐ」、及び「Ｂ」の添え字の数字は、同じ符号化形式のフレームを識別するために付されている。また、いくつかの符号化済みのフレームの集合はＧＯＰ(Group of Pictures)、或いはＧＯＶ(Group of Video Object Plane)と呼ばれている。通常、符号化済みの動画像データはＧＯＰ或いはＧＯＶの組み合わせのフレームが連続している。以下、符号化済みのフレームの集合をＧＯＰと呼称する。
図２は、代表的な２つのタイプのＧＯＰにおける重要度の設定方法を示す図である。図２（ａ）に示すタイプのＧＯＰでは、先頭のI-Frameから始まって、以降のP-Frameは常に前方フレームのみを参照している。このため、パケットロスなどで情報の欠落があった場合、情報の欠落があるフレームが前方のフレームであるほど画像への影響が大きい。そこで本実施形態では、パケットの損失などによるエラーの伝播の影響度の高いものほど重要度が高いものとして設定する。したがって、図２（ａ）に示すタイプのＧＯＰでは、先頭のI-Frameが最も重要度が高く、以降のP-Frameでは送信順に重要度が低下する。また、図２に示す重要度は、数値が小さいほど重要度が高いことを示しており、「１」が最も重要度が高い数値である。
一方、図２（ｂ）に示すタイプのＧＯＰでは、B-Frameが含まれているため、図２（ｂ）に示すように送信順（＝デコード順）とディスプレイ装置で表示される表示順とが異なる。この場合、デコード時のフレーム間の参照関係に着目すると、I-Frameはそのフレーム以降の最初の参照元フレームを生成するデータとなるので図２（ａ）に示すタイプと同様に最も重要度が高い。
ところがB-Frameは、前後のフレームを参照してデコードするが、そのように生成したフレームは、さらにそのフレームを参照してデコードに利用されることはない。つまり、パケットの損失などによるエラーの伝播の影響はそのフレームに限定されるため、B-Frameの重要度は最も低い。また、エラーの伝播の影響のみを考慮した場合も、B-Frame同士では、全て同じレベルの重要度となる。
また、P-FrameはI-FrameとB-Frameの中間の重要度となり、P-Frame間の重要度に関しては、図２（ａ）に示すタイプと同様に時間軸上前方に位置するフレームの方が重要度が高い。よって、図２（ｂ）に示すようにデコード順が「Ｉ・Ｐ・Ｂ・Ｂ・Ｐ・Ｂ・Ｂ」という並びのＧＯＰのフレーム毎の重要度は、「１・２・４・４・３・４・４（数字が小さいほど重要度が高い）」という順番になる。
パケット重要度設定部１０４では、前述したようにフレーム単位で重要度を決定し、そのフレームのデータを格納したパケットを生成する毎に当該パケットの重要度を設定する。このパケット毎の重要度情報は、少なくとも送信バッファ１１２で再送用に一時保管されているパケットが廃棄されるまでは、重要度情報バッファ１１３に保持される。なお、図２においては、Ｉ，Ｐ，Ｂ各フレームを含むＧＯＰの典型的なフレーム構成を示したものであるため、その他の構成のＧＯＰも勿論存在する。
以上のように、本実施形態における各フレームの重要度の設定方法においては、いかなる構成のＧＯＰであっても、パケットロスなどによって各フレームのデータが欠落した場合に、エラーの伝播の影響が及ぶフレームの数が多いほど、重要度を高く設定する。
次に、各フレームから構成された動画像データを通信に適したサイズに分割してパケット化する方法について説明する。本実施形態では、データ通信の手段として、ＲＴＰを用いる場合のパケット生成について説明する。
図３は、ＲＴＰパケットの構成を模式化した簡略図である。ＲＴＰパケットは、ＲＴＰヘッダ３００とペイロードデータ部３０３とで構成されている。動画像データ生成部１０２で生成された動画像データは、パケット生成部１０３にて通信に適したサイズに分割されるが、この時、分割された動画像データはペイロードデータとして、ペイロードデータ部３０３に格納される。
動画像データを構成する各フレームのデータは、通信に適した任意のサイズで分割してパケット化することが可能であるため、受信側で復号化する際に、元のフレームのデータを再現する必要がある。その情報を与えるものとして、ＲＴＰヘッダ３００には、データの順序を表す付加情報として、シーケンスナンバー３０１が付与されている。また、ＲＴＰヘッダ３００には、各フレームのデータを復号したものを表示する時間を示す、タイムスタンプ３０２なども付与されている。これら情報以外にも、各フレームを構成するＲＴＰパケットの終わりを示す情報やＲＴＰパケット仕様のバージョン情報など様々な情報が含まれているが、図３では、簡略化のために記載していない。
次に、受信装置１０１のパケットロス検知部１１１によるパケットロス検出の方法について説明する。前述したように、送信装置１００から送信されるパケットは、図３に示すような構成を持つＲＴＰパケットであり、ＲＴＰヘッダ３００にあるシーケンスナンバー３０１は、パケットを生成する毎に１ずつ増加する自然数で表される。したがって、受信したＲＴＰパケットのシーケンスナンバー３０１に番号の抜けがあった場合は、送信側から受信側へ到達しなかったパケット、即ちパケットの損失（パケットロス）があったことが分かる。
パケットロス検知部１１１では、このようにＲＴＰパケットのシーケンスナンバー３０１を監視することによってパケットロスの発生を検知する。なお、通信経路上において、パケットの送信順番が入れ替わることがある。そこで、パケットロス検知部１１１では、フレームのデータの復号化などの処理や、後述するパケットの再送処理に支障を来たさない範囲で、ある閾値でパケットの順番の入れ替わりを容認して、損失したパケットの検出を行なう。なお、このパケットの到達する順番の入れ替わりを容認してパケットロスを検出する方法については、本実施形態に関する技術においては重要ではないので、説明を割愛する。
次に、パケットロスがあった場合の再送要求の方法について説明する。パケット再送要求部１１０ではパケットロス検知部１１１において検知された損失したパケットのシーケンスナンバー３０１を送信装置１００に通知するための再送要求パケットを生成する。生成された再送要求パケットは、パケット通信部１０９から送信装置１００へ送信される。そして、パケット通信部１０６で受信された再送要求パケットの情報は、パケット再送制御部１０７に渡され、再送可否の判定が行なわれる。本実施形態では、受信装置１０１がパケットロスを検知する毎に再送要求パケットが生成され、随時、送信装置１００へ再送要求が行なわれる。
次に、パケット再送制御部１０７によるパケット再送可否の判定の方法について説明する。前述したように再送要求パケットが受信されると、通信経路上で損失したパケットのシーケンスナンバー３０１が、再送要求の情報としてパケット再送制御部１０７へ通知される。パケット再送制御部１０７はパケットロス率算出手段として機能し、通知されたシーケンスナンバー３０１と、ロストしたパケットの個数とから、ある単位時間当たりのパケットロス率を計算する。パケットロス率は、再送要求パケットを受信した時刻からある一定時間前までの間（所定時間）に送信した総パケット数と、それに対するロストしたパケット数との割合から計算する。
図４は、計算により求めたパケットロス率に対する、パケットを再送する割合を示したものである。ここで、パケットロス率を計算する際には、図５に示すように、時間的に比較的短い時間レンジでのパケットロス率５０１と長い時間レンジでのパケットロス率５０２との２種類の数値を計算する。
図４に示すように、短い時間レンジでのパケットロス率５０１が図４に示す閾値ＴｈＬｏ４０１以下であった場合は、送信装置１００は、再送要求された全てのパケットの再送に応じる。また、逆に閾値ＴｈＨｉ４０２以上であった場合は、再送要求には応じない。さらに、閾値ＴｈＬｏ４０１と閾値ＴｈＨｉ４０２との間であった場合は、パケット再送率とパケット毎の重要度とに応じて再送要求するパケットを選別する。
図６は、短い時間レンジでのパケットロス率５０１が閾値ＴｈＬｏ４０１から閾値ＴｈＨｉ４０２までの間にある場合において、再送するパケットの重要度レベルを示す図である。図６に示す重要度（再送重要度レベル）は、数値が小さいほど重要度が高いことを意味している。例えば、パケットロス率が１０〜１５％のレンジに含まれている場合は、重要度が「１」から「２」までのパケットを再送し、「３」以上の数値の重要度が設定されているパケットに関しては、再送要求を受けても再送には応じないようにしている。
なお、図６に示すパケットロス率のレンジや再送重要度レベルの設定値は１つの例であり、本実施形態におけるパケット再送制御の絶対的な値を意味するものではない。さらに、閾値ＴｈＬｏ４０１及び閾値ＴｈＨｉ４０２は、時間的に長い時間レンジでのパケットロス率５０２の値によって、その値を動的に変更するようにしてもよい。例えば、長い時間レンジでのパケットロス率５０２が比較的低い場合は、閾値を右側にシフトし、逆に長い時間レンジでのパケットロス率５０２が比較的高い場合は、閾値を左側にシフトするようにしてもよい。
これによって、短い時間レンジでのパケットロス率５０１が同じでも、長い時間レンジでのパケットロス率５０２が低い場合は、再送に応じるパケットの数が増える。また、逆に短い時間レンジでのパケットロス率５０１が同じで長い時間レンジでのパケットロス率５０２が高いと、再送に応じるパケットの数が減る。このような方法によって、通信経路の輻輳状態をも考慮したパケットの再送制御が可能となる。
以上、本実施形態について図１に示すシステム構成図を中心に詳細に説明してきたが、より明確に説明するために、パケットの再送制御に関する処理の流れを図７に示すフローチャートを参照しながら再度説明する。図７は、本実施形態におけるパケットの再送制御に関する部分の処理手順の一例を示すフローチャートである。
動画像データの送受信処理が開始されると、送信装置１００において動画像データ生成部１０２により動画像データを生成する（ステップＳ７０１）。次に、パケット重要度設定部１０４は、生成したフレームの種別やＧＯＰ構成から推測される、参照フレーム階層に起因するエラー伝播の影響度などからフレーム単位に重要度を決定し、フレームに分割したパケット毎に重要度設定を行なう。そして、このパケット毎に設定した重要度情報を重要度情報バッファ１１３に一時保管する（ステップＳ７０２）。次に、パケット生成部１０３によりパケットを生成し、パケット通信部１０６により受信装置１０１に送信する（ステップＳ７０３）。
次に、受信装置１０１においてパケット通信部１０９によりパケットを受信する（ステップＳ７０４）。そして、パケットロス検知部１１１によりパケットロスの検出を行なう（ステップＳ７０５）。次に、ステップＳ７０５の検出処理によりロストしたパケットが有るか否かを判定する（ステップＳ７０６）。
この判定の結果、ロストしたパケットが有る場合は、パケット再送要求部１１０によりロストしたパケットの再送を要求するパケットを生成する（ステップＳ７０７）。そして、パケット通信部１０９により送信装置１００に再送を要求するパケットを送信する（ステップＳ７０８）。一方、ステップＳ７０６の判定の結果、ロストしたパケットがない場合は、再送要求を行なう必要がないため、そのまま処理を終了する。
次に、送信装置１００においてパケット通信部１０６は、再送を要求するパケットを受信する（ステップＳ７０９）。そして、パケット再送制御部１０７によりパケットロス率を算出し、算出したパケットロス率のデータをロス率バッファ１１４に一時保管する（ステップＳ７１０）。ここで算出されるパケットロス率は、例えば、数秒から数十秒単位の短い時間レンジでのパケットロス率５０１と、例えば、１分から数分単位の長い時間レンジでのパケットロス率５０２との２種類のパケットロス率である。
次に、再送要求されたパケットのシーケンスナンバー３０１に対応する重要度情報を重要度情報バッファ１１３から取得し、前述の２種類のパケットロス率の情報をロス率バッファ１１４から取得する。そして、パケット再送制御部１０７は再送パケット決定手段として機能し、これらの取得した情報から再送するパケットを決定する（ステップＳ７１１）。そして、パケット再送制御部１０７により決定した再送するパケットをパケット通信部１０６が送信バッファ１１２から取得して、受信装置１０１に送信する（ステップＳ７１２）。そして、処理を終了する。
以上のような処理の流れにより、受信装置１０１側では、送信装置１００から送信されてくるパケットの損失を検出し、再送要求を送信装置側に随時送るだけでよい。一方、送信装置１００側においては、ネットワークの状況に応じて重要度が高いパケットから優先して受信装置１０１側に再送処理を行なう。
以上のように本実施形態によれば、受信装置１０１から送られた再送要求から、パケット再送制御部１０７がパケットロス率を算出する。そして、前記算出したパケットロス率とパケット重要度設定部１０４が設定したパケット毎の重要度とから受信装置１０１に再送する再送パケットを決定するようにした。これにより、受信装置１０１は、パケットロスが発生した場合に、損失したパケットの重要度を判別して再送要求を行なうか否かを判断することを不要にすることができる。さらに、ロストしたパケットの重要度を受信装置１０１で判別するための仕組みを各パケットに組み入れることによるトラフィックの増大を防止することができる。したがって、受信側の処理負荷が大きくならないようにするとともに、効率の良い通信を行なうことができる。
（第２の実施形態）
次に、送信装置に複数の受信装置が接続されている実施形態について説明する。図８は、送信装置１００に複数の受信装置８２０が接続されている概略図、及び主に送信側でのパケット再送制御の処理手順の一例を示すフローチャートである。
本実施形態では、送信装置１００が外部のネットワークに接続している経路の帯域使用率や送信装置１００の処理負荷に応じて、全体のパケット再送レベルを設定する。そしてさらに、第１〜第５の受信装置８０１〜８０５毎に設定された優先度、各々のパケットロス率などを考慮して、再送するパケットの選別を行なう。なお、送信装置１００、及び第１〜第５の受信装置８０１〜８０５の機能構成については、第１の実施形態と同様であるため、説明を省略する。
図８を参照しながら、処理の流れについて説明する。まず、複数の受信装置８２０が送信装置１００に接続すると、送信装置１００の接続制御部１０５により第１〜第５の受信装置８０１〜８０５毎の接続優先度を設定する（ステップＳ８０１）。
次に、受信装置１０１からの送信要求に伴い、動画像データの送信を開始するために、動画像データのパケットを送信する（ステップＳ８０２）。そして、接続制御部１０５により送信装置１００が外部のネットワークに接続している経路の帯域使用率と送信装置１００の処理負荷情報とを随時算出する（ステップＳ８０３）。
ここで処理負荷情報とは、送信装置１００が複数の受信装置８２０へ動画像データ（パケット）を送信する際の処理負荷が増減する要因となる情報である。例えば、送信装置１００に接続している受信装置の数や、送信している動画像データのビットレートの情報などがあげられる。また、帯域使用率とは、複数の受信装置８２０が接続されている外部経路を繋ぐゲートウェイ８１０と送信装置１００との間の帯域の使用率である。
次に、複数の受信装置８２０から再送要求を受信したか否かを判定する（ステップＳ８０４）。この判定の結果、再送要求を受信していない場合は、ステップＳ８０２に戻る。一方、ステップＳ８０４の判定の結果、再送要求を受信した場合は、その時点での送信装置１００側の帯域使用率及び処理負荷情報から、再送全体レベルの設定を行なう（ステップＳ８０５）。本実施形態では、複数の受信装置８２０の個別の優先度を考慮した再送重要度レベルの他に、送信装置１００の帯域使用率や処理負荷情報から算出される再送全体レベルによって、全体の基本的な再送のレベルを制御する。
次に、ステップＳ８０５で設定した再送全体レベルと、複数の受信装置８２０毎の接続優先度と、重要度情報バッファ１１３及びロス率バッファ１１４に記憶されている情報とを基に、実際に再送を行なうパケットの選別を行なう。
ここで、図９を参照しながらステップＳ８０６における再送パケットの選別の方法について説明する。図９は、１つの送信装置１００に複数の受信装置８２０が接続している場合における、再送全体レベルの変化に伴う複数の受信装置８２０のパケット再送率の変化の一例を示す図である。
第１〜第４の受信装置８０１〜８０４はそれぞれ接続優先度が異なり、第１の受信装置８０１が最も接続優先度が高い。そして、第２の受信装置８０２、第３の受信装置８０３、第４の受信装置８０４の順に接続優先度が低くなり、第４の受信装置８０４が最も接続優先度が低いものとする。この時、再送全体レベルが比較的高い、つまり、通信回線の状況が比較的良好であるときは、図９の左側に示すように第１〜第４の受信装置８０１〜８０４のパケット再送レートを接続優先度に従って設定する。
このパケット再送レートは再送全体レベルによって変化し、再送全体レベルが低くなった場合には、図９の右側に示すようにパケットの再送レートは、パケット再送率が低くなる側に変化する。例えば、図９に示す第１の受信装置８０１は、再送全体レベルが高い場合は全てのパケット再送要求に応じていた。ところが、再送全体レベルが低くなると、閾値ＴｈＬｏと閾値ＴｈＨｉとの間ではパケットロス率が大きくなるに従ってパケット再送率が低下するように変化する。
前記のパケット再送レートの変化の仕方には、図９に示したように、閾値ＴｈＬｏ及び閾値ＴｈＨｉの値を変更する方法と、閾値は変えずにパケット再送率を変化させる方法と、前記２つの方法を組み合わせる方法とがある。
さらに、第１実施形態と同様に、個別の受信装置毎のパケットロス率が保持されているロス率バッファ１１４、及びロストしたパケットの重要度情報が保持されている重要度情報バッファ１１３から、それぞれの情報を読み出す。そして、読み出した情報とパケット再送レートとから最終的に再送を行なうパケットを決定する（ステップＳ８０６）。そして、次のステップＳ８０７において第１〜第４の受信装置８０１〜８０４にパケットを再送し、処理を終了する。
以上のように本実施形態においては、複数の受信装置８２０が１つの送信装置１００に接続することによって、送信装置１００側の帯域使用率や処理負荷も再送するパケットを決定する際に考慮している。また、複数の受信装置８２０毎の優先度に応じて再送するパケットの重要度を切り分けている。さらに、第１の実施形態と同様に、送信装置１００側でパケット毎の重要度を設定・管理するようにした。これにより、複数の受信装置が接続している場合においても、受信装置間の優先度の制御を確実に行うことが可能となり、効率の良い通信を行なって、さらに総合してより高品質なコンテンツの提供が可能となる。
（本発明に係る他の実施形態）
本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（ＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記録したコンピュータ読み取り可能な記録媒体は本発明を構成することになる。
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、これだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System（ＯＳ）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれる。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の第１の実施形態におけるデータ送受信システムの構成例を示すブロック図である。 本発明の第１の実施形態において、代表的な２つのタイプのＧＯＰにおけるフレーム毎の重要度の設定方法を示す図である。 ＲＴＰパケットの構成を模式化した簡略図である。 本発明の第１の実施形態において、パケットロス率に対するパケットを再送する割合を示す図である。 本発明の第１の実施形態において、時間的に比較的長い時間レンジと短い時間レンジとのパケットロス率の変化の一例を示す図である。 本発明の第１の実施形態において、パケットロス率がある閾値の間にある場合の再送するパケットの重要度レベルの一例を示す図である。 本発明の第１の実施形態におけるパケットの再送制御に係わる処理手順の一例を示すフローチャートである。 本発明の第２の実施形態において、１つの送信装置に複数の受信装置が接続している場合のパケット再送制御の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態において、１つの送信装置に複数の受信装置が接続している場合の再送全体レベルの変化に伴う各受信装置のパケット再送率の変化の一例を示す図である。
符号の説明
１００ 送信装置
１０１ 受信装置
１０２ 動画像データ生成部
１０３ パケット生成部
１０４ パケット重要度設定部
１０５ 接続制御部
１０６ パケット通信部
１０７ パケット再送制御部
１０８ 接続制御部
１０９ パケット通信部
１１０ パケット再送要求部
１１１ パケットロス検知部
１１２ 送信バッファ
１１３ 重要度情報バッファ
１１４ ロス率バッファ

Claims (16)

  1. 動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するデータ送信装置であって、
    前記動画像データから送信用のパケットを生成するパケット生成手段と、
    前記パケット生成手段によって生成されたパケット毎の重要度を設定するパケット重要度設定手段と、
    前記パケット重要度設定手段によって設定されたパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶手段と、
    前記パケット生成手段によって生成されたパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信手段と、
    前記パケット通信手段により送信するパケットを第２の記憶部に保管するパケット保管手段と、
    前記パケット通信手段によって受信されたパケットの再送要求からパケットの損失率を算出するパケットロス率算出手段と、
    前記パケットロス率算出手段によって算出されたパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定手段と、
    前記再送パケット決定手段によって決定された再送パケットを前記第２の記憶部から読み出して前記パケット通信手段を介して前記データ受信装置に送信するパケット再送手段とを備えることを特徴とするデータ送信装置。
  2. 前記動画像データは、ＭＰＥＧ方式で圧縮符号化されたデータであることを特徴とする請求項１に記載のデータ送信装置。
  3. 前記パケット重要度設定手段は、前記動画像データのフレーム単位で重要度を設定し、
    前記パケット重要度記憶手段は、前記フレーム単位の重要度をパケット毎に前記第１の記憶部に記憶することを特徴とする請求項１または２に記載のデータ送信装置。
  4. 前記パケット重要度設定手段は、前記動画像データを構成するフレームがフレーム間の差分情報を抽出して圧縮されている場合は、前記動画像データを復号する場合に参照するフレームの階層の深さに応じて重要度を設定することを特徴とする請求項１〜３の何れか１項に記載のデータ送信装置。
  5. 前記パケットロス率算出手段は、前記パケット通信手段によって受信されたパケットの再送要求をもとに、所定時間に通信経路で損失したパケットの数から算出することを特徴とする請求項１〜４の何れか１項に記載のデータ送信装置。
  6. 前記再送パケット決定手段は、前記データ受信装置の接続優先度を基に、再送パケットを決定することを特徴とする請求項１〜５の何れか１項に記載のデータ送信装置。
  7. 前記再送パケット決定手段は、前記データ送信装置の帯域使用率及び処理負荷に基づいて、再送するパケットの割合を制御して再送パケットを決定することを特徴とする請求項６に記載のデータ送信装置。
  8. データ送信装置に対して動画像データの送信要求を行なうデータ受信装置であって、
    前記データ送信装置から送信されたパケットを受信するパケット通信手段と、
    前記パケット通信手段によって受信されたパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出手段と、
    前記パケットロス検出手段によって検出されたパケットを前記データ送信装置に対して再送要求するパケット再送要求手段とを備え、
    前記パケット通信手段は、前記パケット再送要求手段による再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信することを特徴とするデータ受信装置。
  9. 前記パケットロス検出手段は、前記パケット通信手段によって受信されたパケット毎に格納されているパケットの順序を示す数値を参照することにより、通信経路で損失したパケットを検出することを特徴とする請求項８に記載のデータ受信装置。
  10. 前記パケット再送要求手段は、前記パケットロス検出手段によって検出されたパケットを識別する数値を、前記データ送信装置に通知することを特徴とする請求項８または９に記載のデータ受信装置。
  11. 請求項１〜７の何れか１項に記載のデータ送信装置と、請求項８〜１０の何れか１項に記載のデータ受信装置とを備えることを特徴とするデータ送受信システム。
  12. 動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するデータ送信装置の制御方法であって、
    前記動画像データから送信用のパケットを生成するパケット生成工程と、
    前記パケット生成工程において生成したパケット毎の重要度を設定するパケット重要度設定工程と、
    前記パケット重要度設定工程において設定したパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶工程と、
    前記パケット生成工程において生成したパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信工程と、
    前記パケット通信工程において送信するパケットを第２の記憶部に保管するパケット保管工程と、
    前記パケット通信工程において受信したパケットの再送要求からパケットの損失率を算出するパケットロス率算出工程と、
    前記パケットロス率算出工程において算出したパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定工程と、
    前記再送パケット決定工程において決定した再送パケットを前記第２の記憶部から読み出して前記データ受信装置に送信するパケット再送工程とを備えることを特徴とするデータ送信装置の制御方法。
  13. データ送信装置に対して動画像データの送信要求を行なうデータ受信装置の制御方法であって、
    前記データ送信装置から送信されたパケットを受信するパケット通信工程と、
    前記パケット通信工程において受信したパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出工程と、
    前記パケットロス検出工程において検出したパケットを前記データ送信装置に対して再送要求するパケット再送要求工程とを備え、
    前記パケット通信工程においては、前記パケット再送要求工程における再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信することを特徴とするデータ受信装置の制御方法。
  14. 動画像データをパケットに分割して、前記動画像データを要求するデータ受信装置に送信するようにコンピュータに実行させるプログラムであって、
    前記動画像データから送信用のパケットを生成するパケット生成工程と、
    前記パケット生成工程において生成したパケット毎の重要度を設定するパケット重要度設定工程と、
    前記パケット重要度設定工程において設定したパケット毎の重要度を第１の記憶部に記憶するパケット重要度記憶工程と、
    前記パケット生成工程において生成したパケットを前記データ受信装置に送信するとともに、前記データ受信装置からパケットの再送要求を受信するパケット通信工程と、
    前記パケット通信工程において送信するパケットを第２の記憶部に保管するパケット保管工程と、
    前記パケット通信工程において受信したパケットの再送要求からパケットの損失率を算出するパケットロス率算出工程と、
    前記パケットロス率算出工程において算出したパケットの損失率と前記第１の記憶部に記憶されたパケット毎の重要度とから前記データ受信装置に再送する再送パケットを決定する再送パケット決定工程と、
    前記再送パケット決定工程において決定した再送パケットを前記第２の記憶部から読み出して前記データ受信装置に送信するパケット再送工程とをコンピュータに実行させることを特徴とするプログラム。
  15. データ送信装置に対して動画像データの送信要求を行なうようにコンピュータに実行させるプログラムであって、
    前記データ送信装置から送信されたパケットを受信するパケット通信工程と、
    前記パケット通信工程において受信したパケットを基に、前記データ送信装置との通信経路で損失したパケットを検出するパケットロス検出工程と、
    前記パケットロス検出工程において検出したパケットを前記データ送信装置に対して再送要求するパケット再送要求工程とをコンピュータに実行させ、
    前記パケット通信工程においては、前記パケット再送要求工程における再送要求に応じてパケットの損失率及びパケット毎の重要度を基に決定された再送パケットを前記データ送信装置から受信するようにコンピュータに実行させることを特徴とするプログラム。
  16. 請求項１４または１５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2007160223A 2007-06-18 2007-06-18 データ送信装置、及びデータ送受信システム Expired - Fee Related JP5084362B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007160223A JP5084362B2 (ja) 2007-06-18 2007-06-18 データ送信装置、及びデータ送受信システム
US12/140,093 US8185792B2 (en) 2007-06-18 2008-06-16 Data-transmission device data-reception device and data-transmission-and-reception system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007160223A JP5084362B2 (ja) 2007-06-18 2007-06-18 データ送信装置、及びデータ送受信システム

Publications (3)

Publication Number Publication Date
JP2008312126A true JP2008312126A (ja) 2008-12-25
JP2008312126A5 JP2008312126A5 (ja) 2010-07-29
JP5084362B2 JP5084362B2 (ja) 2012-11-28

Family

ID=40133486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007160223A Expired - Fee Related JP5084362B2 (ja) 2007-06-18 2007-06-18 データ送信装置、及びデータ送受信システム

Country Status (2)

Country Link
US (1) US8185792B2 (ja)
JP (1) JP5084362B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013518511A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 再送決定する方法及び装置
WO2018008237A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 無線通信装置
CN116225534A (zh) * 2023-05-10 2023-06-06 国仪量子(合肥)技术有限公司 Dma数据传输控制系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014089798A1 (en) * 2012-12-13 2014-06-19 Thomson Licensing Method and apparatus for error control in 3d video transmission
KR20160006209A (ko) * 2013-05-07 2016-01-18 브이아이디 스케일, 인크. 비디오 애플리케이션들을 위한 비디오를 위한 qoe-인식 wifi 향상
WO2017144643A1 (en) * 2016-02-26 2017-08-31 Net Insight Intellectual Property Ab Retransmission of data in packet networks
KR102480856B1 (ko) * 2016-06-17 2022-12-23 삼성전자주식회사 블루투스 기반의 무선 통신 시스템에서 스트리밍 데이터의 통신 방법 및 장치
CN108419275B (zh) * 2017-02-10 2022-01-14 华为技术有限公司 一种数据传输方法、通信设备、终端和基站
US11706662B2 (en) * 2019-01-11 2023-07-18 Qualcomm Incorporated Techniques for determining a number of (re)transmissions in wireless communications
US11115155B2 (en) * 2019-09-09 2021-09-07 Facebook Technologies, Llc Systems and methods for prioritizing packet retransmission
CN114584844B (zh) * 2020-11-30 2023-09-22 青岛海信宽带多媒体技术有限公司 一种rtp包丢包重传方法、装置及智能机顶盒
US20230139023A1 (en) * 2021-10-28 2023-05-04 Qualcomm Incorporated Adaptive rateless coding for sidelink communications

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225168A (ja) * 1997-03-17 1999-08-17 Matsushita Electric Ind Co Ltd 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
JP2001274861A (ja) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd データ伝送方法および装置
JP2002135324A (ja) * 2000-08-17 2002-05-10 Matsushita Electric Ind Co Ltd データ伝送装置およびデータ伝送方法
JP2003338841A (ja) * 2002-05-22 2003-11-28 Sony Corp プロトコル、情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2004320230A (ja) * 2003-04-14 2004-11-11 Sharp Corp マルチキャスト型通信システムにおける送信局および受信局、並びに通信方法
JP2005027208A (ja) * 2003-07-01 2005-01-27 Sony Corp 送信装置および方法、記録媒体、並びにプログラム
JP2005236909A (ja) * 2004-02-23 2005-09-02 Fujitsu Ltd Ｉｐネットワークの通信品質測定装置及び測定方法
JP2007013419A (ja) * 2005-06-29 2007-01-18 Canon Inc 画像処理装置、画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248322A (ja) 2000-08-17 2004-09-02 Matsushita Electric Ind Co Ltd データ伝送装置およびデータ伝送方法
US6810488B2 (en) * 2001-05-22 2004-10-26 Webex Communications, Inc. Adaptive selective retransmission of packets
US7337384B2 (en) * 2003-02-19 2008-02-26 Nokia Corporation Error detection scheme with partial checksum coverage

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225168A (ja) * 1997-03-17 1999-08-17 Matsushita Electric Ind Co Ltd 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
JP2001274861A (ja) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd データ伝送方法および装置
JP2002135324A (ja) * 2000-08-17 2002-05-10 Matsushita Electric Ind Co Ltd データ伝送装置およびデータ伝送方法
JP2003338841A (ja) * 2002-05-22 2003-11-28 Sony Corp プロトコル、情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2004320230A (ja) * 2003-04-14 2004-11-11 Sharp Corp マルチキャスト型通信システムにおける送信局および受信局、並びに通信方法
JP2005027208A (ja) * 2003-07-01 2005-01-27 Sony Corp 送信装置および方法、記録媒体、並びにプログラム
JP2005236909A (ja) * 2004-02-23 2005-09-02 Fujitsu Ltd Ｉｐネットワークの通信品質測定装置及び測定方法
JP2007013419A (ja) * 2005-06-29 2007-01-18 Canon Inc 画像処理装置、画像処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9306708B2 (en) 2009-10-07 2016-04-05 Thomson Licensing Method and apparatus for retransmission decision making
JP2013518511A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 再送決定する方法及び装置
WO2018008237A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 無線通信装置
JPWO2018008237A1 (ja) * 2016-07-07 2019-04-18 ソニー株式会社 無線通信装置
US10841067B2 (en) 2016-07-07 2020-11-17 Sony Corporation Wireless communication apparatus
US11343050B2 (en) 2016-07-07 2022-05-24 Sony Corporation Wireless communication apparatus
CN116225534A (zh) * 2023-05-10 2023-06-06 国仪量子(合肥)技术有限公司 Dma数据传输控制系统
CN116225534B (zh) * 2023-05-10 2023-08-01 国仪量子(合肥)技术有限公司 Dma数据传输控制系统

Also Published As

Publication number Publication date
JP5084362B2 (ja) 2012-11-28
US20080313520A1 (en) 2008-12-18
US8185792B2 (en) 2012-05-22

Similar Documents

Publication Publication Date Title
JP5084362B2 (ja) データ送信装置、及びデータ送受信システム
JP3598110B2 (ja) データ伝送方法および装置
US9781028B2 (en) Transcoding and dynamic error correction for content centric networks using a proxy server
US8929443B2 (en) Recovering from dropped frames in real-time transmission of video over IP networks
JP5100311B2 (ja) 動画像データ送信方法、通信装置、及びプログラム
US9525874B2 (en) Transmitting apparatus and transmission method
JP4936542B2 (ja) 通信制御装置、通信制御方法、及びコンピュータプログラム
US8479059B2 (en) Radio communication device, radio communication system, program and radio communication method
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
JP2013070436A (ja) 損失の多いネットワークを通してデータを送信するためのシステム及び方法
JP2005198191A (ja) 伝送装置、伝送制御プログラム、及び伝送方法
JP5724879B2 (ja) 品質制御装置、動画送信システム、品質制御方法および記録媒体
JP2009049507A (ja) 送信装置、送信方法、及びコンピュータプログラム
JP2010028378A (ja) 通信装置及び通信方法
KR20230002784A (ko) 오디오 및/또는 비디오 콘텐츠 전송을 위한 방법 및 서버
JP2009207084A (ja) 送信装置、送信プログラム、受信装置及び受信プログラム
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP2010147713A (ja) 通信システム、通信方法、通信装置、およびプログラム
JP5682292B2 (ja) 映像配信装置及び映像配信方法
JP4909590B2 (ja) メディア信号の受信装置、送信装置及び送受信システム
JP6592864B2 (ja) 映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラム
JP5523163B2 (ja) 送信装置、送信方法、プログラム
JP2008141633A (ja) データ通信システム、データ受信装置、データ受信方法、データ送信装置およびデータ送信方法
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120904

R151 Written notification of patent or utility model registration

Ref document number: 5084362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees