JP2006319423A - 送信機及び受信機 - Google Patents
送信機及び受信機 Download PDFInfo
- Publication number
- JP2006319423A JP2006319423A JP2005137390A JP2005137390A JP2006319423A JP 2006319423 A JP2006319423 A JP 2006319423A JP 2005137390 A JP2005137390 A JP 2005137390A JP 2005137390 A JP2005137390 A JP 2005137390A JP 2006319423 A JP2006319423 A JP 2006319423A
- Authority
- JP
- Japan
- Prior art keywords
- time
- packet
- information
- unit
- reproduction time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 85
- 230000005540 biological transmission Effects 0.000 claims description 59
- 238000012544 monitoring process Methods 0.000 abstract description 22
- 239000000872 buffer Substances 0.000 description 15
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 101000741965 Homo sapiens Inactive tyrosine-protein kinase PRAG1 Proteins 0.000 description 2
- 102100038659 Inactive tyrosine-protein kinase PRAG1 Human genes 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- DFUSDJMZWQVQSF-XLGIIRLISA-N (2r)-2-methyl-2-[(4r,8r)-4,8,12-trimethyltridecyl]-3,4-dihydrochromen-6-ol Chemical compound OC1=CC=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1 DFUSDJMZWQVQSF-XLGIIRLISA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
- H04L1/1887—Scheduling and prioritising arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Communication Control (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
な効率的な再送制御方法を提案する。
【解決手段】 受信部16は送られた再送要求情報を再送判定部18へ送る。再送判定部
18は再送要求情報を受け取ると、パケット情報監視部17よりリフレッシュデータの時
間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を読み出す
。読み出したリフレッシュデータの時間情報と、再送要求のあったパケットのパケットタ
イプ情報と、その時間情報を用いて再送要求を行うか否かを判断する。
【選択図】 図2
Description
タなどのデータ伝送が盛んに行われている。特に、インターネット上のデータ伝送におい
て、従来から利用されているダウンロード型伝送方式に加えて、ストリーム型伝送方式に
よるサービスが増加してきている。
のと並行して、受信側端末にて受信した映像・音声データの再生処理を実行するものであ
り、インターネット電話や遠隔テレビ会議などに利用されている。このようなストリーム
型伝送方式に適した伝送プロトコルとして、代表的にはUDP/IP(User Datagram Pro
tocol / Internet Protocol)等が用いられている。このUDP/IP伝送プロトコルを利
用してデータをパケット単位で伝送する場合、送信側は相手先のIPアドレスを指定して
一方的に送信するため、もし伝送路においてパケットロスが発生した場合、送信側も相手
先にパケットが届いたか否かもわからないし、受信側も送信側が意図したパケットが全て
届いているかどうかもわからないため、自動的にロスしたパケットを再送するということ
はない。
ルで、RTP(Real time Transport Protocol)がある。RTP/UDP/IPに従ったデ
ータ伝送を行えば、それぞれのパケットに、再生に関する時間情報およびパケットの番号
の情報等が付加されるため、受信側において、その時間情報及びパケットの番号を参照す
ることにより、送られるデータの時間的関係の把握を行い、同期をとった再生を行うこと
ができる。
出した場合、送信側へ再送要求を送り、再度ロスしたパケットを送ってもらうことが行わ
れるが、受信側で全てのロスしたパケットに対して再送要求を行うことや、送信側で全て
の再送要求に対して再送を行うことは効率が悪く、使用可能な伝送帯域を圧迫することに
なる。そのため、効率的な再送制御が望まれている。
ャなど)を判定し、Iピクチャと判定された場合だけ再送要求を送るといった方法が提案
されている(例えば特許文献1参照)。また、送信側が再送要求を受けた場合、それぞれ
Iピクチャの送信番号を1とし、そのIピクチャからn番目のピクチャの優先度を1/n
として、ある閾値以下の優先度を持つピクチャは再送を行わないという方法が提案されて
いる(例えば特許文献2参照)。
れた場合にだけ再送要求を行う方法においては、最も重要であるIピクチャだけが再送要
求されるため、再送要求をなるべく減らしつつもパケットロスによる画像劣化をある程度
おさえることができる。しかし、Pピクチャにおいてもパケットロスが発生すると、その
後のフレームにエラーが伝播するため、従来の制御では必ずしも十分ではない。つまり、
パケットロスしたPピクチャ以降長時間に渡りIピクチャがなければ、次のIピクチャが
現れるまでは正しく表示することができず、その誤りの影響を引きずるという問題が生じ
る。また、予め関数によって優先度を設定し、その優先度が閾値以上の場合のみ再送を行
う方法においても、同様の問題が生じる。
ロスに対するパケットの再送要求及び再送要求に対する送信機の再送決定において、送信
するデータの種別に加え、送信するデータ列に応じてパケットの再送要求の制御及びパケ
ット再送決定の制御を行うことができる送信機及び受信機を提供することを目的とする。
て送られたパケットの再送要求を受信する受信部と、少なくとも画像データをパケット化
したパケットの再生時間の情報を管理するパケット管理部と、前記再送要求を前記受信部
によって受信した場合、前記再送要求を受けたパケットの画像データが再生される第1の
再生時間より後の再生時間で、かつ前記第1の再生時間に最も近いイントラ予測データが
含まれるフレームが再生される第2の再生時間と、前記第1の再生時間の情報を前記パケ
ット管理部より読み出し、前記第2の再生時間と、前記第1の再生時間の差の時間を求め
、前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送
を行う命令を前記送信部に送るパケット再送制御手段とを有することを特徴とする。
と、前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、前記受信部に
おいて受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケ
ットロス判定部と、前記ロスしたパケットの次に再生される画像データが再生される第1
の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時
間の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の再生時間で、かつ前
記第1の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第2の
再生時間を予測するパケット時間情報予測部と、前記パケットロス判定部においてパケッ
トロスと判断された場合、前記予測した第2の再生時間と前記第1の再生時間の差の時間
を求め、前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要
求を行うと判断する再送判定部とを有することを特徴とする。
及び再送要求に対する送信機の再送決定において、送信するデータの種別に加え、送信す
るデータ列に応じてパケットの再送要求の制御及びパケット再送決定の制御を行うことが
できる。
おける送信機の構造を示したブロック図である。本発明の送信機1は入力部11、コンテ
ンツデータ蓄積部12、パケット化部13、送信部14、送信済みバッファ部15、受信
部16、パケット情報監視部17、再送判定部18、符号化部19などを有する。そして
、それぞれの各部は以下の機能を有する。
された映像は、符号化部19によって符号化され、更に符号化されたデータはUDP/I
P方式に基づいたヘッダが付され、パケット化部13へ送られる。
で作成されたデータ等が記憶されており、コンテンツデータ蓄積部12に記憶されている
一部乃至全部のデータを送信すべき命令を受けたことをトリガーにして、送信するデータ
はパケット化部13へ送られる。
有する。そして、パケット化部13においてパケット化されたデータは送信部14へ送ら
れる。
能を有する。そして、送信が終わったパケットは送信済みデータバッファ部15へ蓄積す
る。更に、送信部14は再送判定部18からパケットの再送を要求されたことをトリガー
にして、該当するパケットを送信済みデータバッファ部15より読み出して外部へ送信す
る機能も有する。また、再送を行った場合もそのパケットのデータを再度送信済みデータ
バッファ部15へ蓄積する。
ケットのデータを一時蓄積する機能を有する。送信済みデータバッファ部15はリングバ
ッファによって構成されており、バッファ容量が一杯になったら一番古いパケットのデー
タより消去される。なお、リングバッファに限定されることなく、他のバッファでも良い
。
スによる再送要求情報を受信した場合は、その受信した再送要求情報を再送判定部18ヘ
送る。
る情報を監視する機能を有する。以下、パケット情報監視部17において監視されるデー
タについて述べる。なお、以下に述べる監視データ以外のデータも監視するように設定し
ても良い。
ものである。図3に示すように、RTP方式によってパケット化されたパケットはRTP
ヘッダに時間(タイムスタンプ)情報(図3の「TS」)とシーケンスナンバ情報(図3
の「SN」)などが記載されており、ペイロードのヘッダ部分にはピクチャタイプ(I、
P、Bなど)(図3の「PT」)等が記載されている。パケット情報監視部17は少なく
とも時間(タイムスタンプ)情報と、シーケンスナンバ情報と、ピクチャタイプ情報をそ
れぞれのパケットについて監視する。
クチャに比べて符号量が少ないので多く用いられるが、エラー耐性を高めるためにIピク
チャなどによるリフレッシュが行われる。ここで、映像情報の一般的なリフレッシュの方
法は2つの代表的な方法がある。1つは図4(1)のように1つの画像全体をIフレーム
でリフレッシュする方法であって、もう1つは図4(2)のように1つの画像の一部ずつ
をリフレッシュして行く方法である。図4(1)のようなリフレッシュ方法を採用した場
合、Iピクチャの場合はペイロードのピクチャタイプの箇所にIであることの情報が記載
されている。そして、ペイロードのピクチャタイプの箇所を参照すればそのパケットがリ
フレッシュのためのデータであることが分かる。しかし、図4(2)のようなリフレッシ
ュ方法を採用した場合、一部分がリフレッシュのためのデータであった(一部がイントラ
予測データであった)としても、ペイロードのピクチャタイプの箇所はPであることの情
報が記載されるため、リフレッシュのためのデータか否かはこの情報だけではわからない
。そのため、リフレッシュのためのデータか否かを把握するためには更にマクロブロック
の予測方式(イントラ予測かインター予測)が記載されている箇所(スライスヘッダなど
)も参照する。図4(2)のリフレッシュ方法を採用したデータ構成がなされている場合
、パケット情報監視部17は、上記3つの情報に加えてそれぞれのマクロブロックの予測
方式(イントラ予測かインター予測)が記載されている箇所(スライスヘッダなど)も監
視する。以下、リフレッシュのためのデータを含むパケットをリフレッシュデータパケッ
トと記す。
視部17において監視しているパケット情報の一部等に基づいて再送を行うか否かの判定
を行う機能を有する。なお、パケット情報監視部17から読み出すパケット情報の読み出
し方法、および再送判定部18による再送判定方法についての詳細は後述する。
について、フローチャートを用いて説明する。図2は送信機1による再送制御方法を示し
たフローチャートである。まず、送信部14によって送信されたパケットデータが何らか
の原因でパケットロスが生じ、受信側から再送要求が送られ、受信部16において再送要
求を受信すると(ステップ101)、受信部16は送られてきた再送要求情報を再送判定
部18へ送る(ステップ102)。なお、ステップ102における再送要求情報は送信部
14によって送信されたパケットのRTPヘッダに記載されたシーケンスナンバ情報を用
いるのが一般的である。また再送要求の方法としては、直接的に再送すべきパケットのシ
ーケンスナンバを指定する方法(NACK方式)と、受信したパケットの番号だけを通知
することで、間接的に受信できなかったパケットを指定する方法(ACK方式)等が考え
られる。本発明ではどのような再送要求方法でも利用することが可能であり、例えばRT
Pパケットに含まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側
に通知し、その時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び
表示中のパケットの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送
すべきパケットを判断させる方式等も考えられる。そのため、再送要求情報は、前述した
シーケンスナンバだけでなく、どのパケットの再送を要求しているか、そのパケットが使
用される(そのパケットの画像が表示される)時間が分かる情報であるならば、どのよう
な情報でもよい。
要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあっ
たパケットのパケットタイプ情報と、その時間情報を読み出す(ステップ103)。なお
、再送要求のあったパケットのパケットタイプ情報と、その時間情報は、再送判定部18
より送られる再送要求情報に含まれているならば読み出さなくても良い。また、次のリフ
レッシュデータパケットの時間情報とは、図4(1)のようなリフレッシュの方法である
ならば、再送要求のあったパケットの時間情報より後の時間情報を持ち、再送要求のあっ
たパケットの時間情報に最も近いリフレッシュデータパケットの時間情報を指す。また、
図4(2)のようなリフレッシュの方法であって再送要求されたパケットと同じ再生画面
位置のリフレッシュデータパケットが複数のフレームに分かれており、再送要求されてい
るパケットの次のリフレッシュデータパケットの時間情報が複数存在した場合は最も遅い
時刻をそのパケットに対する次のリフレッシュデータパケットの時間情報とする(図4(
2)参照)。ステップ103における時間情報の読み出しについての詳細は後述する。
再送要求のあったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情
報を用いて再送要求を行うか否かを判断する(ステップ104)。このステップ104に
おける判断方法の詳細についても後述する。そして、ステップ104において再送要求を
行うと判断された場合(ステップ104の「行う」方向)、再送の命令を送信部14へ送
る(ステップ105a)。また、ステップ104において再送要求を行わないと判断され
た場合(ステップ104の「行わない」方向)、受け取った再送要求に対して再送を行わ
ない(ステップ105b)。そして、送信部14は再送の命令を受け取ると、送信済みデ
ータバッファ部15より要求のあったパケットデータを読み出し、パケットの再送を行う
(ステップ106)。
次に、ステップ103におけるリフレッシュデータパケットの時間情報の取得について
の詳細を述べる。ここで、再送判定部18がパケット情報監視部17より読み出す情報は
再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求の
あったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情報であるが
、以下の実施例1の説明において再送要求のあったパケットの次のリフレッシュデータの
時間情報をRT情報、再送要求のあったパケットのパケットタイプ情報をSP情報、再送
要求のあったパケットの時間情報をST情報と記す。
対するパケット情報監視部17の動作・応答を示したフローチャートである。まず、パケ
ット情報監視部17が再送判定部18からRT情報、SP情報、ST情報等の読み出し要
求を受け取ると、RT情報が把握できているかを判断する(ステップ201)。
いた場合(ステップ201のYes方向)、その時刻をRT情報として、再送判定部18
へ送る(ステップ202a)。また、再送要求されたパケットの次のRT情報が把握出来
ていない場合(ステップ201のNo方向)、再送要求されたパケット以前の把握してい
るRT情報が2つ以上あるか否かを判定する(ステップ202b)。
の場合(ステップ202bのNo方向)、RT情報を応答不能である旨の信号を再送判定
部18へ送る(ステップ203a)。また、再送要求されたパケット以前のRT情報が2
つ以上ある場合は(ステップ202bのYes方向)、以下の数式1に基づいてパケット
データ情報監視部17によって把握されているt番目(再送要求のあったパケットの直前
のもの)までのリフレッシュデータパケットの時間間隔の平均値Rtavを求め、更に数式
2に基づいて再送要求されたパケットの次のリフレッシュデータパケット(t+1番目)
の時間の予測値R(t+1)Pを求め、その値R(t+1)PをRT情報(予測時刻)とする(ステッ
プ203b)。
ッシュデータパケットの時間はt個全てパケット情報監視部17によって把握されている
ものとする。また、t番目のリフレッシュデータパケットの時間をRtとする。また、再
送要求されたパケットの次のリフレッシュデータパケットの時間の予測値の求め方は上記
数式1及び数式2に限定されることなく、以下の数式3及び数式4によって求めるなど、
他の方法によって求めても構わない。
レッシュデータパケットの時間(t番目)までの連続した(t−a+1)個のリフレッシ
ュデータパケットの時間が把握されているものとする。なお、aはt未満の整数値を取る
。
大値又は最小値を用いる方法もある。さらに、符号化器や制御アプリケーション等がこれ
らの情報を有している、或いは観測しているのであれば、それらから情報を取得する方法
もある。
テップ204)。
次に、ステップ104における再送判定部18での再送判断についての詳細を述べる。
を得られたか判断する(ステップ301)。なお、「RT情報を得られなかった」とは、
例えば図5のステップ203aのように、RT情報を読み出せなかった場合や、図2のス
テップ103において予め定めた時間内にパケット情報監視部17より応答がなく、タイ
ムアウトした場合などをいう。
ず」方向)、パケットの再送を行うものとする(ステップ302a、図2のステップ10
4「行う」方向)。また、RT情報を得られた場合(ステップ301の「得られた」方向
)、SP情報を参照して当該再送要求されたパケットがIフレームであるか否かを判断す
る(ステップ302b)。
ップ302bのYes)、パケットの再送を行うものとする(ステップ303a、図2の
ステップ104「行う」方向)。また、再送要求されたパケットがIフレーム以外であっ
た場合(ステップ302bのNo)、RT情報とST情報の差の時間を求める(ステップ
303b)。そして、ステップ303で求めたRT情報とST情報の差の値と、予め定め
た閾値と比較する(ステップ304)。なお、予め定めた閾値とは、機器によって定めら
れる値であって、なるべく再送を許容する場合には閾値を小さく設定し、逆になるべく再
送を許容しない場合には閾値を大きく設定する。また、伝送路の状況によって閾値を可変
に設定することも可能である。また、予め定めた閾値を一定値に設定する場合、それぞれ
のリフレッシュ情報の時間間隔の最小時間以下の値に設定されることが望ましい。例えば
、リフレッシュ情報を含むフレームが1秒おきに表示されるデータ列を送信する場合(図
4(1)におけるA−B間、B−C間、C−D間の時間が1秒である場合)、予め定めた
閾値を0.5秒(一定値)に設定してもよい。
る場合(図4(1)におけるA−B間の時間が1秒、B−C間の時間が1.2秒、C−D
間の時間が0.8秒とリフレッシュ情報を含むフレームの時間間隔が動的に変わる場合)
、予め定めた閾値を現在のリフレッシュ情報を含むフレームの間隔の6割の値(図4(1
)の斜線の再送要求パケットに対する予め定めた閾値は0.6秒となる)に設定してもよ
い。このように、予め定められた閾値はリフレッシュ情報を含むフレームの時間間隔、送
信するデータに依存する値に設定されてもよい。
4(2)に示されるようにフレーム単位ではなく、フレーム内のリフレッシュされる単位
で間隔を考える。
予め定めた閾値以上であった場合(ステップ304の「閾値より大きい」)、パケットの
再送を行うものとする(ステップ305a、図2のステップ104「行う」方向)。また
、再送要求された次のRT情報とST情報の差の時間が予め定めた閾値未満であった場合
(ステップ304の「閾値より小さい」)、パケットの再送を行わないものとする(ステ
ップ305b、図2のステップ104「行わない」方向)。なお、ステップ304におい
て、再送要求された次のRT情報とST情報の差の時間が予め定めた閾値以上の場合にス
テップ305aへ進むものとしたが、再送要求された次のRT情報とST情報の差の時間
が予め定めた閾値と等しい場合は、パケットの再送を行わないように設定しても構わない
。
る再送待ちデータのデータ量などを利用し、再送すると判断されたパケットでもRT情報
とST情報の差分の大小から順位付けを行い、再送に利用できる帯域が少ない場合、優先
度の高いものだけを再送する方法も適用可能である。更に、再送パケットの送信順序も順
番に行うのではなく、順位の高いものから先に送るなどの変更も可能である。
合を述べたが、他の方式においても趣旨を逸脱しない範囲において応用可能である。また
、リフレッシュ方法については図4(1)及び図4(2)について述べたが、これに限定
されることなく、他のリフレッシュ方法によっても可能である。
レッシュデータパケットとの時刻によって再送決定を行うことができるため、再送決定を
効率よく行うことができる。
おける受信機の構造を示したブロック図である。本発明の受信機2は受信部21、受信デ
ータ蓄積部22、情報蓄積部23、パケットロス判定部24、リフレッシュ時間予測部2
5、再送判定部26、再送要求送信部27、などを有する。そして、それぞれ受信機2の
各部は以下の機能を有する。なお、以下に記載されるシーケンスナンバ情報、ピクチャタ
イプの情報、及び時間情報とは実施例1において図3によって説明されたデータと同じデ
ータであり、その説明を省略する。また、それぞれのデータが図4(2)によるリフレッ
シュ方法を取っているデータの場合、ピクチャタイプの情報を得るためには実施例1で説
明した通り、ペイロードのスライスヘッダ情報やマクロブロック情報まで取得する必要が
ある。以降、送られてくるデータが図4(1)によるリフレッシュ方法である場合を例に
説明するが、図4(2)によるリフレッシュ方法など、他のリフレッシュ方法においても
応用できる。
したパケットは受信データ蓄積部22へ送られる。更に受信データ蓄積部22は、図示し
ないデコーダなどによって復号される。
報蓄積部23に蓄積する情報は、少なくとも受信したパケットのシーケンスナンバ情報と
、ピクチャタイプの情報と、時間情報が含まれている。そして、送信機2の各部よりそれ
らの情報が読み出される。更に、パケットのシーケンスナンバ情報と、ピクチャタイプの
情報と、時間情報からリフレッシュデータの時間の間隔を把握し、ピクチャタイプ情報が
Iピクチャであるならば、シーケンスナンバ情報と、時間情報をリフレッシュ時間予測部
25へ送る機能を有する。
3より把握し、送信側から送られたパケットのロスがないかを判断する機能を有する。図
8はパケットロス判定部24におけるパケットロスの判定方法を説明する図である。パケ
ットに付されている番号はそのパケットのシーケンスナンバである。パケットロス判定部
24は、受信したパケットのシーケンスナンバを把握し、パケット番号順に受信している
かを判断し、連続していない場合はパケットロスが生じたと判断する。例えば図8(1)
のように、シーケンスナンバ1番から順番に受信し、2番、3番と順番に受信しているか
否かを確かめる。そして、3番のパケットの次に5番パケットを受信した場合、4番のパ
ケットが欠落したと判断する。同様に図8(2)の場合においても、14番パケットの次
に17番パケットを受信しているため、15番パケット及び16番パケットが欠落したと
判断する。そして、パケットロスを検出した場合、再送判定部26へパケットロスしたシ
ーケンスナンバ情報を送る。
ナンバ情報と、その時間情報を読み出し、そのIピクチャのシーケンスナンバ情報とその
時間情報を用いてリフレッシュデータパケットの時間の間隔を把握し、次のリフレッシュ
データパケットの時間情報を予測する機能を有する。なお、以下ではリフレッシュデータ
パケットの時間情報そのものをリフレッシュ時間情報といい、予測したリフレッシュデー
タパケットの時間情報を仮時間情報という。なお、リフレッシュ時間予測部25によるリ
フレッシュデータパケットの時間間隔情報の予測方法及び次の仮時間情報の予測方法に関
する詳細は後述する。
か否かの判断についての詳細は後述する。
送要求を送信する機能を有する。
部24においてパケットロスと判断された場合における、再送要求制御方法について、フ
ローチャートを用いて説明する。図9は、パケットロス判定部24によってパケットロス
が検出された場合における、再送要求制御方法を示したフローチャートである。まず、パ
ケットロス判定部24によって、前述の通りパケットロスを検出すると(ステップ401
)、パケットロス判定部24は、ロスしたパケットのシーケンスナンバを把握し、そのシ
ーケンスナンバ情報を再送判定部26ヘ送る(ステップ402)。
フレッシュ時間予測部25よりロスを検出したパケットの次の仮時間情報を読み出す(ス
テップ403)。なお、パケットロスを検出したパケットの時間情報とは、例えば図8(
1)に示すシーケンスナンバ5のパケットや、図8(2)に示すシーケンスナンバ17の
パケット等のロスを検出したパケットの時間情報を指す。また、ロスを検出したパケット
の次の仮時間情報とはパケットロスを検出したパケットの時間情報の次の仮時間情報を指
す。この仮時間情報についての詳細は後述する。
のシーケンスナンバ情報とを用いて再送判定を行う(ステップ404)。なお、予め決め
られた閾値とは、実施例1で記載したものと同様に定義されるものである。また、ステッ
プ404における再送判定の詳細は後述する。
の「行わない」方向)、再送要求を行わず、ロスしたパケットとして扱う(ステップ40
5a)。また、ステップ404において再送要求を行うと判断された場合(ステップ40
4の「行う」方向)、再送要求送信部27はパケットが送信された送信機へ再送要求を送
る(ステップ405b)。
次に、リフレッシュ時間予測部25による仮時間情報の求め方についてその詳細を説明
する。図10は、リフレッシュ時間予測部25がt番目のリフレッシュデータパケットの
シーケンスナンバ情報、及びその時間情報を情報蓄積部23より取得した場合におけるt
+1番目のリフレッシュ時間情報(t+1番目の仮時間情報)を予測する方法を示したフ
ローチャートである。なお、「t番目のリフレッシュデータパケット」のtは、1以上の
整数値をとり、受信したデータを表示順に並べた場合におけるリフレッシュデータパケッ
トだけをカウントした値である。つまり、ここでは受信機2において受信予定のデータ列
の中でt番目のリフレッシュデータパケットまで受信している場合における、t+1番目
のリフレッシュ時間情報を予測する方法を述べる。
ンスナンバ情報、及びその時間情報を情報蓄積部23より取得すると(ステップ501)
、t番目の仮時間情報が存在する場合は、そのt番目の仮時間情報をステップ501で受
け取ったリフレッシュ時間情報に変更する(ステップ502)。
の数式1を用いて求める(ステップ503)。なお、リフレッシュ時間情報が存在しない
場合は仮時間情報を用いる。その後、リフレッシュ時間情報の時間間隔の平均値Rtavと
t番目のリフレッシュ時間情報(存在しない場合は仮時間情報)を用いて、前述の数式2
によってt+1番目の仮時間情報R(t+1)pを求める(ステップ504)。
+1番目の仮時間情報R(t+1)pを求めたが、実施例1で説明した様に数式3乃至数式4を
用いてリフレッシュ時間情報の時間間隔の平均値R’tav及び仮時間情報R’(t+1)pを求
めてもよい。また、実施例1と同様に平均値だけでなく、ある観測範囲内の最大値または
最小値を用いる方法も適応可能である。さらに、復号化器や制御アプリケーション等がこ
れらの情報を有している・観測しているのであれば、それらから情報を取得する方法もあ
る。
次に、前述したステップ404における再送判定についての詳細を述べる。図11はス
テップ404における再送判定を説明する図であって、図12はステップ404における
再送判定の詳細の動作を示したフローチャートである。まず、再送判定部26がパケット
ロス判定部24よりシーケンスナンバ情報を得て、リフレッシュ時間予測部25より仮時
間情報(例えば図11のR2p)を得ると(図9のステップ403に該当する)、次にロス
したパケットの時間情報(図11のt4)が把握できるか否か判断する(ステップ601
)。このステップ601において、ロスしたパケットの時間情報(t4)が把握できる場
合とは、次のような場合を指す。図4(1)等に示される1つのスライス(1つの画像を
指す)が複数のパケットに分割されてパケット化することが可能であるが、複数のパケッ
トに分割されてパケット化された場合、そのうちの1つのパケットがロスしても、他のパ
ケットによってロスしたパケットと同じスライスの一部がパケット化され、そのパケット
と、ロスしたパケットの時間情報は同じスライスであるため同じ時間情報を持つことにな
る。ステップ601においては、以上の状況よりロスしたパケットの時間情報がわかる場
合を指す。
できた場合はステップ603へ進む(ステップ601の「できる」方向)。また、ステッ
プ601において再送判定部26がロスしたパケットの時間情報が把握できなかった場合
は(ステップ601の「できない」方向)、パケットロス判定部24より送られてきたパ
ケットロスを検出したシーケンスナンバ情報を持つパケットの時間情報(図11のシーケ
ンスナンバSN5のパケットの時間情報t5)を情報蓄積部23より得る(ステップ60
2)。なお、ステップ602において再送判定部26が得る情報はこれに限定されること
無く、ロスが生じた1つ前シーケンスナンバを持つパケットの時間情報(図11のt3)
や1つ後のシーケンスナンバを持つパケットの時間情報(図11のt5)でもよいし、ロ
スが生じたパケットの時間情報t4の予測時間t’4(t3とt5の平均値で求める等)
でもよい。
図11のR2p)とステップ601又はステップ602で得た時間情報(図11のt3、t
4、t’4、t5等)との差の値(図11のT1、T2、T3、T’3等)を求める(ス
テップ603)。そして、ステップ603で求めた仮時間情報とステップ601又はステ
ップ602で得た時間情報との差の値(図11のT1、T2、T3、T’3等)と、予め
定められた閾値とを比較する(ステップ604)。このステップ604において用いられ
る予め定められた閾値とは実施例1において用いられる閾値と同様に定義されるものであ
って、その説明を省略する。
1又はステップ602で得た時間情報との差の値(図11のT1、T2、T3、T’3等
)が予め定めた閾値より小さい場合は(ステップ604の「閾値より小さい」方向)、再
送要求を行わないと判断し(ステップ605a)、ステップ603で求めた仮時間情報と
ステップ601又はステップ602で得た時間情報との差の値(図11のT1、T2、T
3、T’3等)が予め定めた閾値より大きい場合は(ステップ604の「閾値より大きい
」方向)、再送要求を行うと判断する(ステップ605b)。
フレッシュデータパケットまでの時間によって再送要求の決定を行うことができるため、
再送要求の決定を効率よく行うことができる。
信機の構成は実施例1と同様の構成であるため、その説明を省略する(図1)。そして、
本実施例3における再送制御方法について図13のフローチャートを用いて説明する。図
13は送信機1による再送制御方法を示したフローチャートである。まず、送信部14に
よって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送
要求が送られ、受信部16において再送要求を受信すると(ステップ1001)、受信部
16は送られてきた再送要求情報を再送判定部18へ送る(ステップ1002)。なお、
前述の実施例1と同様、ステップ1002における再送要求情報は送信部14によって送
信されたパケットのRTPヘッダに記載されたシーケンスナンバ情報を用いるのが一般的
である。また再送要求の方法としては、直接的に再送すべきパケットのシーケンスナンバ
を指定する方法(NACK方式)と、受信したパケットの番号だけを通知することで、間
接的に受信できなかったパケットを指定する方法(ACK方式)等が考えられる。本発明
ではどのような再送要求方法でも利用することが可能であり、例えばRTPパケットに含
まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側に通知し、その
時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び表示中のパケッ
トの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送すべきパケット
を判断させる方式等も考えられる。そのため、再送要求情報は、前述したシーケンスナン
バだけでなく、どのパケットの再送を要求しているか、そのパケットが使用される(その
パケットの画像が表示される)時間が分かる情報であるならば、どのような情報でもよい
。
符号化部19より再送要求のあったパケットの次のリフレッシュデータパケットの時間情
報を読み出す(ステップ1003)。
ケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾
値を超えているか否かを判断する(ステップ1004)。そして、ステップ1004にお
いてリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報と
の差分が予め定められた閾値以下であると判断された場合、(ステップ1004の「差が
閾値以下」方向)、リフレッシュデータパケットのIピクチャ以降のデータを用いて、再
送データの再送を行うため、送信部14にその命令を行う(ステップ1005b)。
あったパケットの時間情報との差分が予め定められた閾値以上(または超えている)と判
断された場合(ステップ1004の「閾値以上」方向)、再送判定部18は、前後のパケ
ットが消失しているか否か(前後のパケットにおいても再送要求が到達しているか否か)
を判断する(ステップ1005b)。そして、ステップ1005bにおいて、前後のパケ
ットが消失していないと判断された場合においては(ステップ1005bの「No」方向
)、当該再送要求に対しての再送を行わない(ステップ1006b)。また、ステップ1
005bにおいて、前後のパケットが消失していると判断された場合は(ステップ100
5bの「Yes」方向)、再送判定部18は、パケット情報監視部17を通じて、符号化
部19に対して再送要求のあったパケットに対してIピクチャを生成するよう要求し、そ
こから再度再送を行うように制御する(ステップ1006a)。
おいて算出した方法によって求めることとするため、その説明を省略する。
ミングの再送要求を受けた場合、または、Iピクチャを送信した直後のパケットに再送要
求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができる。
信機の構成は実施例1と同様の構成であるため、その説明を省略する(図1)。 また、
本発明の送信機1において、受信部16が再送要求を受信した際の再送制御方法について
、フローチャートを用いて説明する。図14は送信機1による再送制御方法を示したフロ
ーチャートである。まず、送信部14によって送信されたパケットデータが何らかの原因
でパケットロスが生じ、受信側から再送要求が送られ、受信部16において再送要求を受
信すると(ステップ2001)、受信部16は送られてきた再送要求情報を再送判定部1
8へ送る(ステップ2002)。
要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあっ
たパケットの時間情報を読み出す(ステップ2003)。
、再送要求のあったパケットの時間情報を用いて再送要求を行うか否かを判断する(ステ
ップ2004)。このステップ2004における判断方法の詳細については、実施例1と
同じであるため、その説明を省略する。そして、ステップ2004において再送要求を行
うと判断された場合(ステップ2004の「行う」方向)、再送の命令を送信部14へ送
る(ステップ2005a)。また、ステップ2004において再送判定部18によって再
送要求を行わないと判断された場合(ステップ2004の「行わない」方向)、受け取っ
た再送要求に対して再送を行わず、次のリフレッシュ時刻情報で指定されているIピクチ
ャ以降のデータを用いて送信制御を行うよう、送信部14に命令する(ステップ2005
b)。つまり、次のリフレッシュ時刻までのパケットデータを送信せずに、リフレッシュ
時刻情報で指定されているパケット以降を早めに送信するよう制御する。
求のあったパケットデータを読み出し、パケットの再送を行う(ステップ2006)。
おいて算出した方法によって求めることとするため、その説明を省略する。
ミングの再送要求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができ
る。
2 受信機
11 入力部
12 コンテンツデータ蓄積部
13 パケット化部
14 送信部
15 送信済みデータバッファ部
16 受信部
17 パケット情報監視部
18 再送判定部
21 受信部
22 受信データ蓄積部
23 情報蓄積部
24 パケットロス判定部
25 リフレッシュ時間予測部
26 再送判定部
27 再送要求送信部
Claims (23)
- 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理するパケット
管理部と、
前記再送要求を前記受信部によって受信した場合、
前記再送要求を受けたパケットの画像データが再生される第1の再生時間より後の再生時
間で、かつ前記第1の再生時間に最も近いイントラ予測データが含まれるフレームが再生
される第2の再生時間と、前記第1の再生時間の情報を前記パケット管理部より読み出し
、
前記第2の再生時間と、前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を
行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理し、更に前記
再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画像デー
タが再生される第1の再生時間より前の再生時間であって、イントラ予測データが含まれ
るフレームの再生時間の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の
再生時間で、かつ前記第1の再生時間に最も近いイントラ予測データが含まれるフレーム
が再生される第2の再生時間を予測するパケット管理部と、
前記再送要求を前記受信部によって受信した場合、前記予測した第2の再生時間の情報
と前記第1の再生時間の情報を読み出し、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を
行う命令を前記送信部に送るパケット再送制御手段とを有する
ことを特徴とする送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理し、更に前記
再送要求を受けたパケットに含まれる画像データが再生される第1の再生時間より後の再
生時間でかつ前記第1の再生時間に最も近いイントラ予測データが含まれるフレームが再
生される第2の再生時間が把握出来ていない場合、前記第1の再生時間より前の再生時間
であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも2つ以
上用いて、前記第2の再生時間を予測するパケット管理部と、
前記再送要求を前記受信部によって受信し、かつ前記パケット管理部が第2の再生時間
が把握出来ていない場合、前記第1の再生時間の情報と、前記予測した第2の再生時間の
情報を読み出し、
前記パケット管理部が第2の再生時間が把握できている場合、前記第1の再生時間の情報
と前記第2の再生時間の情報を読み出し、
前記予測した第2の再生時間又は前記第2の再生時間と前記第1の再生時間の差の時間を
求め、前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの
再送を行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 前記パケット管理部における前記第2の再生時間の予測は、
前記第1の再生時間より前の再生時間であって、イントラ予測データが含まれるフレーム
の連続した再生時間の間隔の平均時間を求め、
前記第1の再生時間より前の再生時間であり、かつ最も近いイントラ予測データが含まれ
るフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項2又は請求項3に記載の送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理するパケット
管理部と、
前記再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画像
データを含むフレームが再生される第1の再生時間の後、前記画像データの少なくとも一
部と同じ表示位置の画像データをはじめてリフレッシュするフレームが再生される第2の
再生時間と、前記第1の再生時間の情報とを前記パケット管理部より読み出し、
前記第2の再生時間と、前記第1の再生時間との差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を
行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理し、
更に前記再送要求を受けたパケットの画像データを含むフレームが再生される第1の再生
時間より前の再生時間であり、かつ前記画像データの少なくとも一部と同じ表示位置の画
像データをリフレッシュするフレームの再生時間の情報を少なくとも2つ以上用いて、前
記第1の再生時間の後、前記画像データの少なくとも一部と同じ表示位置の画像データを
はじめてリフレッシュするフレームが再生される第2の再生時間を予測するパケット管理
部と、
前記再送要求を前記受信部によって受信した場合、前記予測した第2の再生時間の情報
と前記第1の再生時間の情報を読み出し、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を
行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
少なくとも画像データをパケット化したパケットの再生時間の情報を管理し、
前記再送要求を受けたパケットの画像データを含むフレームが再生される第1の再生時間
の後、前記画像データの少なくとも一部と同じ表示位置の画像データをはじめてリフレッ
シュするフレームが再生される第2の再生時間が、少なくとも送信するパケットの時間の
情報を管理する時間管理手段によって把握できていない場合、
前記再送要求を受けたパケットに含まれる画像データと同じ表示位置にイントラ予測デー
タが含まれており、かつ前記第1の再生時間より前の再生時間であるフレームの再生時間
の情報を少なくとも2つ以上用いて、前記第2の再生時間を予測するパケット管理部と、
前記再送要求を前記受信部によって受信した場合において、
前記パケット管理部が第2の再生時間が把握出来ていない場合、前記第1の再生時間の情
報と、前記予測した第2の再生時間の情報を読み出し、
前記パケット管理部が第2の再生時間が把握できている場合、前記第1の再生時間の情報
と前記第2の再生時間の情報を読み出し、
前記予測した第2の再生時間又は前記第2の再生時間と前記第1の再生時間の差の時間を
求め、
前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を
行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 前記パケット管理部による前記第2の再生時間の予測は、
前記第1の再生時間より前の再生時間であって、前記再送要求を受けたパケットに含ま
れる画像データと同じ表示位置にイントラ予測データが含まれるフレームの連続した再生
時間の間隔の平均時間を求め、
前記第1の再生時間より前の再生時間であり、かつ前記第1の再生時間に最も近いイン
トラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測
する
ことを特徴とする請求項6又は請求項7に記載の送信機。 - 前記第2の再生時間又は予測した前記第2の再生時間が複数存在する場合
、前記差の時間を最も遅い前記予測した第2の再生時間と前記第1の再生時間で求めるこ
とを特徴とする請求項6乃至請求項8のうちいずれか1項に記載の送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
画像データをパケット化したパケットの再生時間の情報を管理するパケット管理部と、
前記再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画
像データが再生される第1の再生時間より後の再生時間で、かつ前記第1の再生時間に最
も近いイントラ予測データが含まれるフレームが再生される第2の再生時間と、前記第1
の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上であり、かつ前記再送要求を受けたパケットの前
または後のパケットが連続して消滅していることを検出した場合、前記再送要求を受けた
パケットの再送をイントラ予測データが含まれるフレームによって再送するよう制御を行
う再送制御手段と
を有することを特徴とする送信機。 - 画像データをパケット化して送信する送信部と、
前記送信部によって送られたパケットの再送要求を受信する受信部と、
画像データをパケット化したパケットの再生時間の情報を管理するパケット管理部と、
前記再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画
像データが再生される第1の再生時間より後の再生時間で、かつ前記第1の再生時間に最
も近いイントラ予測データが含まれるフレームが再生される第2の再生時間と前記第1の
再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以下の場合、前記第2の再生時間に再生されるフレー
ムに基づくパケットの再送を行う命令を前記送信部に送るパケット再送制御手段と
を有することを特徴とする送信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データが再生される第1の再生時間より前
の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なく
とも2つ以上用いて、前記第1の再生時間より後の再生時間で、かつ前記第1の再生時間
に最も近いイントラ予測データが含まれるフレームが再生される第2の再生時間を予測す
るパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットの画像データが再生される第1の再生時間より前の再生時間であ
って、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも2つ以上用
いて、前記第1の再生時間より後の再生時間で、かつ前記第1の再生時間に最も近いイン
トラ予測データが含まれるフレームが再生される第2の再生時間を予測するパケット時間
情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データと、前記ロスしたパケットの1つ前
に再生される画像データとによって、ロスしたパケットが再生されると予測される第1の
再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間
の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の再生時間で、かつ前記
第1の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第2の再
生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 前記第1の再生時間の予測は、前記パケットロスした次に再生される画
像データの再生時間と、前記パケットロスした前に再生される画像データの再生時間の平
均時間によって求められることを特徴とする請求項14に記載の受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットの1つ前に再生される画像データが再生される第1の再生時間よ
り前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少
なくとも2つ以上用いて、前記第1の再生時間より後の再生時間で、かつ前記第1の再生
時間に最も近いイントラ予測データが含まれるフレームが再生される第2の再生時間を予
測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 前記第2の再生時間の予測は、
前記第1の再生時間より前の再生時間であって、イントラ予測データが含まれるフレーム
の連続した再生時間の間隔の平均時間を求め、
前記第1の再生時間より前の再生時間であり、かつ最も近いイントラ予測データが含まれ
るフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項12乃至請求項16のいずれか1項に記載の受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置にイント
ラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データが
再生される第1の再生時間より前の再生時間であって、かつイントラ予測データが含まれ
るフレームの再生時間の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の
再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表
示位置にイントラ予測データが含まれており、かつ前記第1の再生時間に最も近いイント
ラ予測データが含まれるフレームが再生される第2の再生時間を予測するパケット時間情
報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置にイント
ラ予測データが含まれており、かつ前記パケットロスした画像データが再生される第1の
再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生
時間の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の再生時間で、かつ
前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置にイントラ
予測データが含まれており、かつ前記第1の再生時間に最も近いイントラ予測データが含
まれるフレームが再生される第2の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置にイント
ラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データと
、前記ロスしたパケットの1つ前に再生される画像データによって、ロスしたパケットが
再生されると予測される第1の再生時間より前の再生時間であって、かつイントラ予測デ
ータが含まれるフレームの再生時間の情報を少なくとも2つ以上用いて、前記第1の再生
時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも
1つと同じ表示位置にイントラ予測データが含まれており、かつ前記第1の再生時間に最
も近いイントラ予測データが含まれるフレームが再生される第2の再生時間を予測するパ
ケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロス
を判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置にイント
ラ予測データが含まれており、かつ前記ロスしたパケットの1つ前に再生される画像デー
タの第1の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレ
ームの再生時間の情報を少なくとも2つ以上用いて、前記第1の再生時間より後の再生時
間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも1つと同じ表示位置
にイントラ予測データが含まれており、かつ前記第1の再生時間に最も近いイントラ予測
データが含まれるフレームが再生される第2の再生時間を予測するパケット時間情報予測
部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第2の再生時間と前記第1の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行う
と判断する再送判定部と
を有することを特徴とした受信機。 - 前記第2の再生時間の予測は、
前記第1の再生時間より前の再生時間であって、前記再送要求を受けたパケットに含ま
れる画像データの少なくとも1つと同じ表示位置にイントラ予測データが含まれるフレー
ムの連続した再生時間の間隔の平均時間を求め、
前記第1の再生時間より前の再生時間であり、かつ前記第1の再生時間に最も近いイン
トラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測
する
ことを特徴とする請求項18乃至請求項21のうちいずれか1項に記載の受信機。 - 予測した前記第2の再生時間が複数存在する場合、前記差の時間を最も
遅い前記予測した第2の再生時間と前記第1の再生時間で求めることを特徴とする請求項
18乃至請求項22のうちいずれか1項に記載の受信機。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005137390A JP4688566B2 (ja) | 2005-05-10 | 2005-05-10 | 送信機及び受信機 |
US11/262,534 US7756127B2 (en) | 2005-05-10 | 2005-10-28 | Mobile terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005137390A JP4688566B2 (ja) | 2005-05-10 | 2005-05-10 | 送信機及び受信機 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010282012A Division JP4888594B2 (ja) | 2010-12-17 | 2010-12-17 | 送信機及び受信機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006319423A true JP2006319423A (ja) | 2006-11-24 |
JP4688566B2 JP4688566B2 (ja) | 2011-05-25 |
Family
ID=37419042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005137390A Expired - Fee Related JP4688566B2 (ja) | 2005-05-10 | 2005-05-10 | 送信機及び受信機 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7756127B2 (ja) |
JP (1) | JP4688566B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042769A (ja) * | 2006-08-09 | 2008-02-21 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
JP2010141413A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 通信装置、及び通信方法、プログラム |
JP2011055219A (ja) * | 2009-09-01 | 2011-03-17 | Sony Corp | 画像送信装置、画像受信装置、画像送信方法及び画像受信方法 |
JP2011517233A (ja) * | 2008-04-07 | 2011-05-26 | クゥアルコム・インコーポレイテッド | エラーフィードバックに応答するビデオリフレッシュ適合アルゴリズム |
JP2011166508A (ja) * | 2010-02-10 | 2011-08-25 | Yamaha Corp | 映像送信装置 |
JP6099028B1 (ja) * | 2016-09-28 | 2017-03-22 | パナソニックIpマネジメント株式会社 | テレビ会議装置 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4711921B2 (ja) * | 2006-05-22 | 2011-06-29 | パナソニック株式会社 | 通信端末装置および再送要求方法 |
US8213295B2 (en) * | 2006-09-12 | 2012-07-03 | Qualcomm Incorporated | Transaction timeout handling in communication session management |
US7782851B2 (en) * | 2007-06-26 | 2010-08-24 | At&T Intellectual Property I, L.P. | System and method of detecting lost video data packets |
KR101487771B1 (ko) * | 2007-08-10 | 2015-01-30 | 삼성전자주식회사 | 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치 |
FR2930387B1 (fr) * | 2008-04-17 | 2010-09-24 | Canon Kk | Procede de traitement d'un flux de donnees codes |
JP5207895B2 (ja) * | 2008-09-17 | 2013-06-12 | キヤノン株式会社 | 送信装置、受信装置、及び方法、プログラム |
CN101594689B (zh) * | 2009-06-29 | 2011-08-10 | 中兴通讯股份有限公司 | 用户数据调度的方法和装置 |
EP2302845B1 (en) | 2009-09-23 | 2012-06-20 | Google, Inc. | Method and device for determining a jitter buffer level |
US8477050B1 (en) | 2010-09-16 | 2013-07-02 | Google Inc. | Apparatus and method for encoding using signal fragments for redundant transmission of data |
US8838680B1 (en) | 2011-02-08 | 2014-09-16 | Google Inc. | Buffer objects for web-based configurable pipeline media processing |
US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
US8661323B2 (en) | 2011-05-09 | 2014-02-25 | Google Inc. | Method and apparatus for generating packet mask |
US20130070581A1 (en) * | 2011-09-20 | 2013-03-21 | Cambridge Silicon Radio Limited | Controlling Data Transmission |
US9930360B2 (en) * | 2011-11-08 | 2018-03-27 | Texas Instruments Incorporated | Method, system and apparatus for intra-refresh in video signal processing |
US9490850B1 (en) | 2011-11-28 | 2016-11-08 | Google Inc. | Method and apparatus for decoding packetized data |
US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
US10034023B1 (en) | 2012-07-30 | 2018-07-24 | Google Llc | Extended protection of digital video streams |
US8902907B2 (en) | 2012-10-05 | 2014-12-02 | Futurewei Technologies, Inc. | Terminal based grouping virtual transmission and reception in wireless networks |
US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
EP3254435B1 (en) * | 2015-02-03 | 2020-08-26 | Dolby Laboratories Licensing Corporation | Post-conference playback system having higher perceived quality than originally heard in the conference |
US20210304705A1 (en) * | 2020-03-27 | 2021-09-30 | Samsung Electronics Co., Ltd. | Image display apparatus and method for managing data packet loss |
CN114598377B (zh) * | 2022-02-21 | 2022-12-06 | 北京富通亚讯网络信息技术有限公司 | 基于卫星网络下的可靠数据传输系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1198503A (ja) * | 1997-09-19 | 1999-04-09 | Nec Corp | 画像データの転送および再生方式 |
JP2000253380A (ja) * | 1999-03-01 | 2000-09-14 | Matsushita Electric Ind Co Ltd | データ伝送装置 |
JP2001119437A (ja) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | データ伝送方法,データ送信装置,データ受信装置,及びパケットデータ構造 |
JP2001274861A (ja) * | 2000-03-02 | 2001-10-05 | Matsushita Electric Ind Co Ltd | データ伝送方法および装置 |
JP2002314583A (ja) * | 2001-04-10 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 中継方法および中継装置 |
JP2003152789A (ja) * | 2001-11-14 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム中継制御方法、ストリーム中継制御プログラム及びそのプログラムを記録した媒体、並びにストリーム中継制御装置 |
JP2003169040A (ja) * | 2001-12-04 | 2003-06-13 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
JP2003218934A (ja) * | 2002-01-10 | 2003-07-31 | Samsung Electronics Co Ltd | 走査フォーマット変換装置及び方法 |
JP2004186793A (ja) * | 2002-11-29 | 2004-07-02 | Ntt Docomo Inc | ストリーミング配信装置、ストリーミング端末装置、ストリーミング配信システム、及びストリーミング配信方法 |
JP2004215201A (ja) * | 2003-01-09 | 2004-07-29 | Sony Corp | 情報処理装置および情報処理方法、データ通信システム、記録媒体、並びにプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10126772A (ja) | 1996-10-18 | 1998-05-15 | Chokosoku Network Computer Gijutsu Kenkyusho:Kk | 動画像データ転送方法 |
JP3812115B2 (ja) * | 1998-01-19 | 2006-08-23 | ブラザー工業株式会社 | 通信システム |
JP2001274681A (ja) | 2000-03-27 | 2001-10-05 | Rohm Co Ltd | Pll回路 |
JP3769752B2 (ja) * | 2002-12-24 | 2006-04-26 | ソニー株式会社 | 情報処理装置および情報処理方法、データ通信システム、並びに、プログラム |
US7401324B1 (en) * | 2003-09-18 | 2008-07-15 | Sun Microsystems, Inc. | Method and apparatus for performing time measurements during instrumentation-based profiling |
JP4480568B2 (ja) * | 2004-12-21 | 2010-06-16 | 株式会社エヌ・ティ・ティ・ドコモ | 制御装置、移動端末及び通信制御方法 |
-
2005
- 2005-05-10 JP JP2005137390A patent/JP4688566B2/ja not_active Expired - Fee Related
- 2005-10-28 US US11/262,534 patent/US7756127B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1198503A (ja) * | 1997-09-19 | 1999-04-09 | Nec Corp | 画像データの転送および再生方式 |
JP2001119437A (ja) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | データ伝送方法,データ送信装置,データ受信装置,及びパケットデータ構造 |
JP2000253380A (ja) * | 1999-03-01 | 2000-09-14 | Matsushita Electric Ind Co Ltd | データ伝送装置 |
JP2001274861A (ja) * | 2000-03-02 | 2001-10-05 | Matsushita Electric Ind Co Ltd | データ伝送方法および装置 |
JP2002314583A (ja) * | 2001-04-10 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 中継方法および中継装置 |
JP2003152789A (ja) * | 2001-11-14 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム中継制御方法、ストリーム中継制御プログラム及びそのプログラムを記録した媒体、並びにストリーム中継制御装置 |
JP2003169040A (ja) * | 2001-12-04 | 2003-06-13 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
JP2003218934A (ja) * | 2002-01-10 | 2003-07-31 | Samsung Electronics Co Ltd | 走査フォーマット変換装置及び方法 |
JP2004186793A (ja) * | 2002-11-29 | 2004-07-02 | Ntt Docomo Inc | ストリーミング配信装置、ストリーミング端末装置、ストリーミング配信システム、及びストリーミング配信方法 |
JP2004215201A (ja) * | 2003-01-09 | 2004-07-29 | Sony Corp | 情報処理装置および情報処理方法、データ通信システム、記録媒体、並びにプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042769A (ja) * | 2006-08-09 | 2008-02-21 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
JP2011517233A (ja) * | 2008-04-07 | 2011-05-26 | クゥアルコム・インコーポレイテッド | エラーフィードバックに応答するビデオリフレッシュ適合アルゴリズム |
US8406296B2 (en) | 2008-04-07 | 2013-03-26 | Qualcomm Incorporated | Video refresh adaptation algorithms responsive to error feedback |
US9479800B2 (en) | 2008-04-07 | 2016-10-25 | Qualcomm Incorporated | Video refresh adaptation algorithms responsive to error feedback |
JP2010141413A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 通信装置、及び通信方法、プログラム |
JP2011055219A (ja) * | 2009-09-01 | 2011-03-17 | Sony Corp | 画像送信装置、画像受信装置、画像送信方法及び画像受信方法 |
JP2011166508A (ja) * | 2010-02-10 | 2011-08-25 | Yamaha Corp | 映像送信装置 |
JP6099028B1 (ja) * | 2016-09-28 | 2017-03-22 | パナソニックIpマネジメント株式会社 | テレビ会議装置 |
JP2018056756A (ja) * | 2016-09-28 | 2018-04-05 | パナソニックIpマネジメント株式会社 | テレビ会議装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4688566B2 (ja) | 2011-05-25 |
US7756127B2 (en) | 2010-07-13 |
US20060256785A1 (en) | 2006-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4688566B2 (ja) | 送信機及び受信機 | |
JP3598110B2 (ja) | データ伝送方法および装置 | |
KR101234734B1 (ko) | 송수신 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법과 컴퓨터 판독가능한 기록 매체 | |
JP3757857B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
EP2061174B1 (en) | Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control | |
JP4670902B2 (ja) | 送信装置、送信方法および受信装置 | |
JP5084362B2 (ja) | データ送信装置、及びデータ送受信システム | |
JP4903435B2 (ja) | メディア信号の送信方法と受信方法ならびに送受信方法及び装置 | |
JP2007150859A5 (ja) | ||
JP2015138990A (ja) | 受信装置、送信装置及び通信システム | |
JP2008271378A (ja) | 映像監視装置 | |
JP2006279436A (ja) | マルチメディア通信システムおよび再送用データ削除方法 | |
JP4888594B2 (ja) | 送信機及び受信機 | |
JP3927486B2 (ja) | ストリーミング配信装置、ストリーミング配信システム、及びストリーミング配信方法 | |
CN110113641B (zh) | 视频数据的传输方法、装置、边缘服务节点及介质 | |
JP2014011636A (ja) | 送信装置、送信方法、及びプログラム | |
EP1450535A1 (en) | A relay for hierarchical retransmissions in multimedia streaming | |
JP6592864B2 (ja) | 映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラム | |
CN117880603A (zh) | 一种视频调阅画面卡顿修复方法及系统 | |
JP2011015214A (ja) | 送信装置、送信方法、及びコンピュータプログラム | |
JP2006050221A (ja) | データ観測システムおよび装置 | |
JP2006285842A (ja) | 情報処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080324 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20101028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
LAPS | Cancellation because of no payment of annual fees |