JP2003023639A - データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体 - Google Patents

データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体

Info

Publication number
JP2003023639A
JP2003023639A JP2001209725A JP2001209725A JP2003023639A JP 2003023639 A JP2003023639 A JP 2003023639A JP 2001209725 A JP2001209725 A JP 2001209725A JP 2001209725 A JP2001209725 A JP 2001209725A JP 2003023639 A JP2003023639 A JP 2003023639A
Authority
JP
Japan
Prior art keywords
data
data transmission
image
encoding
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001209725A
Other languages
English (en)
Inventor
Satoshi Mihashi
聡 三橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001209725A priority Critical patent/JP2003023639A/ja
Publication of JP2003023639A publication Critical patent/JP2003023639A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

(57)【要約】 【課題】 伝送エラーが生じた場合に次のキーフレーム
を再生するタイミングまで表示が停止されるのを防止
し、また、伝送可能レートの低下や受信装置側の処理能
力の低下が起こった場合にも十分な画質と安定的な伝送
を確保する。 【解決手段】 ＲＴＰパケッタイザ５０は、ＭＰＥＧ４
ビットストリームをパケット化して、受信装置２の逆パ
ケッタイザ７０に供給する。伝送エラーが発生している
場合、逆パケッタイザ７０は、エラー情報の記録された
状態情報をエラーハンドラ４０に供給し、エラーハンド
ラ４０は、制御情報Ｓとしてこのエラー情報をトランス
コーダ１０の制御部に出力する。これにより制御部は、
フレーム間順方向予測符号化画像をフレーム内予測符号
化画像に変更するように制御する。また、制御部は、逆
パケッタイザ７０からの情報に基づいて、伝送可能レー
トの低下や受信装置側の処理能力の低下に応じたビット
量、フレーム数等に制御する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データ伝送装置及
び方法、データ伝送プログラム、並びにデータ伝送プロ
グラムの記録された記録媒体に関し、特に、時系列のデ
ィジタルデータを符号化して送信し、受信側において、
これを受信して、リアルタイムで復号する場合等に用い
て好適なデータ伝送装置及び方法、データ伝送プログラ
ム、並びにデータ伝送プログラムの記録された記録媒体
に関する。
【０００２】
【従来の技術】現在、インターネット上での映像（音声
及びビデオ）データの伝送には、ダウンロード型伝送方
式とストリーム型伝送方式とがある。このダウンロード
型伝送方式では、配信サーバから送信された映像ファイ
ルは、端末側で一旦コピーされ、その後、映像ファイル
のデータ（映像データ）が再生されることとなる。この
ため、この方式では、ファイルの転送が完了するまで
は、端末側ではデータの再生を行うことができず、ダウ
ンロード型伝送方式は、映像データ等の長時間再生に
は、不向きである。
【０００３】一方、ストリーム型伝送方式では、配信サ
ーバから端末への伝送が行われている間にも、受信した
データの再生が行われる。このストリーム型伝送方式
は、ＩＥＴＦ（Internet Engineering Task Force）の
ＲＦＣ１８８９において規定されているＲＴＰ（Real-T
ime Transport Protocol）と呼ばれるプロトコルを用い
るものが主流となっている。
【０００４】従来のＲＴＰによる映像データの伝送方法
を図６を用いて説明する。図６に示すように、配信サー
バ（送信側）とパーソナルコンピュータ等の端末（受信
側）とは、インターネットにおけるモデム、ＩＳＤＮ
（Integrated Service DigitalNetwork）、ＬＡＮ（Loc
al Area Network）等の有線回線により接続され、ＲＴ
Ｐにより映像データの伝送が行われる。
【０００５】
【発明が解決しようとする課題】ところで、このＲＴＰ
は、ＵＤＰ（User Datagram Protocol）上に実装された
プロトコルである。このＲＴＰによるデータ伝送では、
送信側と受信側との間で時間情報としてのタイムスタン
プにより各パケットに対する処理の同期が取られてお
り、同期外れ（到着遅延）パケットや送信エラーが発生
したエラーパケットを検出することができる。しかし、
エラーが発生しても再送要求は行われず、エラーパケッ
トを破棄し、上位のパケットを受け取るプログラムにエ
ラー発生のみを知らせるようになっている。このため、
このような送信、受信を行うシステム上では、ＲＴＰの
レイヤの上位のプログラムで再送要求を行い、受信した
データと再送されたデータとの順序の並べ替えを行う必
要があるが、このような再送を行っても、ネットワーク
の状況によっては、データが欠落したままになることが
ある。
【０００６】また、システムを簡略化するためにデータ
の再送を行わないシステムも存在する。このような場
合、送信エラーが発生すると、再生画像の表示をエラー
が起きる直前のフレームで停止し、次にＩピクチャ（フ
レーム内予測符号化画像）等の、他のフレームを参照せ
ずにそのフレームのデータだけで再生可能なフレーム
（以下、適宜、キーフレームという。）を表示するタイ
ミングになると、正常な表示を再開するようにする手法
がとられている。
【０００７】また、システムの簡略化のため、エラーパ
ケットのみを破棄し、残りのデータで再生を行う手法も
存在する。この場合、フレーム間予測符号化を用いてい
るため、欠落フレームにより参照画像が正しく表示され
ず、再生画像が符号化側と異なる違和感のある映像が表
示される。
【０００８】特に、ＭＰＥＧ４（Moving Picture Exper
ts Group 4） ＳＰを用いた低ビットレートの伝送で
は、符号化効率を考慮して、シーンチェンジのない映像
では、キーフレームを伝送する間隔が一般には約６秒と
長いのが現状である。このため、キーフレームの伝送直
後やキーフレーム自体にエラーが発生すると、上述のよ
うに表示を数秒間にわたって停止するか、又はエラーの
ある不自然な映像を数秒間表示することになるという問
題があった。
【０００９】ＲＴＰを用いてデータを伝送し、リアルタ
イムで復号する場合には、別の問題も存在する。例え
ば、インターネット等のネットワークを介して、送信側
から受信側に映像データ等のディジタルデータを伝送す
る場合においては、一般に、ディジタルデータのデータ
レートの方がネットワークの伝送帯域（伝送可能レー
ト）よりも高いため、送信側でディジタルデータを圧縮
符号化し、符号化データとしてから送信し、受信側でそ
の符号化データを復号するようになされている。
【００１０】しかし、不特定多数で伝送路を共有して使
用しているため、伝送可能レートは、トラフィック量に
起因して刻一刻と変化している。従って、符号化データ
を受信しながら、それをリアルタイムで復号するような
場合は、ネットワークの伝送可能レートが符号化データ
のデータレートよりも小さくなると、符号化データの送
信が間に合わなくなり、ディジタルデータをリアルタイ
ムで復号、再生することが困難となる。
【００１１】この伝送可能レートの変化は、予測不可能
であるが、一旦伝送エラーが発生した場合、次も同じデ
ータレートで伝送しようとすると、エラーの起きる可能
性が高くなると考えられる。
【００１２】しかし、従来、符号化側においては、伝送
エラーの発生の有無に関わらず、一定のビットレートで
符号化を行うため、エラーの起きた後も同じデータレー
トで伝送が行われ、再度伝送エラーの発生する可能性が
高くなるという問題があった。
【００１３】また、インターネット等では、符号化デー
タの送信が間に合わなくなるようなことがなるべく生じ
ないようなシステム設計がなされているが、受信側のハ
ードウェアの性能やデコーダの復号方法等に起因して、
ディジタルデータをリアルタイムで復号、再生すること
が困難となるという問題があった。
【００１４】すなわち、例えば、送信側におけるエンコ
ーダの符号化方法が複雑なものであると、一般に、その
ようなエンコーダによって符号化された符号化データを
復号するデコーダの復号方法も複雑なものとなる。この
場合、受信側のハードウェアが、その複雑な復号方法に
対象可能な処理能力を有していないと、ディジタルデー
タの復号がその再生に間に合わなくなる。また、デコー
ダによる符号化データの復号処理時間は、受信側のハー
ドウェアの処理能力に大きく影響されるため、例えば他
の処理や省電力モード等の影響で、受信側のハードウェ
アの処理能力が送信側が予想するものよりも低いと、符
号化データの処理に費やされる時間が、送信側が予想す
る時間よりも長くなってしまい、ディジタルデータをリ
アルタイムで復号、再生することが困難となる。このよ
うな場合、伝送された符号化データを復号後、再生部分
でフレームの表示すべき時刻と現時刻とを比較し、フレ
ームの破棄を行うことになる。
【００１５】また、そもそも受信側に、伝送された符号
化データを受信、復号、再生する処理能力がない場合に
も、フレームの破棄が行われ、ディジタルデータの内容
をスムーズに再生することができない。
【００１６】本発明は、このような従来の実情に鑑みて
提案されたものであり、伝送エラーが生じた場合に次の
キーフレームを再生するタイミングまで表示が停止され
るのを防止し、また、伝送可能レートの低下や受信側の
処理能力の低下が起こった場合にも十分な画質と安定的
な伝送を確保するデータ伝送装置及びその方法、データ
伝送プログラム、並びにデータ伝送プログラムの記録さ
れた記録媒体を提供することを目的とする。
【００１７】
【課題を解決するための手段】上述した目的を達成する
ために、本発明に係るデータ伝送装置は、画像を符号化
した符号化データを、所定の伝送レートの伝送路を介し
て受信装置に伝送するデータ伝送装置であって、上記画
像を符号化して上記符号化データとして出力する符号化
手段と、上記符号化データが伝送された上記受信装置か
ら入力した状態情報に応じてエラー情報を出力する送受
信手段と、上記送受信手段から入力した上記エラー情報
に基づいて、フレーム間順方向予測符号化画像をフレー
ム内予測符号化画像に変更するように制御する制御手段
とを備えることを特徴としている。
【００１８】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【００１９】このようなデータ伝送装置は、フレーム内
予測符号化画像又はフレーム間予測符号化画像にエラー
が発生すると、フレーム間順方向予測符号化画像をフレ
ーム内予測符号化画像に変更するように制御する。
【００２０】また、上述した目的を達成するために、本
発明に係るデータ伝送装置は、画像を符号化した符号化
データを、所定の伝送レートの伝送路を介して受信装置
に伝送するデータ伝送装置であって、上記画像を符号化
して上記符号化データとして出力する符号化手段と、上
記符号化データが伝送された上記受信装置から入力した
状態情報に応じて実際に伝送されたビット量の情報を出
力する送受信手段と、上記送受信手段から入力した所定
単位時間のビット量と当該単位時間に上記符号化手段に
おいて生成されたビット量とに基づいて、生成するビッ
ト量を変更するように制御する制御手段とを備えること
を特徴としている。
【００２１】このようなデータ伝送装置は、所定単位時
間に受信装置に伝送されたビット量と当該単位時間に符
号化手段において生成されたビット量とに基づいて、生
成するビット量を変更する。
【００２２】また、上述した目的を達成するために、本
発明に係るデータ伝送装置は、画像を符号化した符号化
データを、所定の伝送レートの伝送路を介して受信装置
に伝送するデータ伝送装置であって、上記画像を符号化
して上記符号化データとして出力する符号化手段と、上
記符号化データが伝送された上記受信装置から入力した
状態情報に応じて実際に再生されたフレーム数の情報を
出力する送受信手段と、上記送受信手段から入力した所
定単位時間のフレーム数と当該単位時間に上記符号化手
段において生成されたフレーム数とに基づいて、生成す
るフレーム数を変更するように制御する制御手段とを備
えることを特徴としている。
【００２３】ここで、上記制御手段は、上記符号化手段
において生成するビット量又は上記符号化データの解像
度を変更するように制御しても構わない。
【００２４】このようなデータ伝送装置は、所定単位時
間に受信装置で再生されたフレーム数と当該単位時間に
符号化手段において生成されたフレーム数とに基づい
て、生成するフレーム数等を変更する。
【００２５】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置がエラー情報を含む状態情報を上記データ伝
送装置に出力する状態情報出力工程と、上記データ伝送
装置が上記状態情報に応じて当該データ伝送装置の制御
手段に上記エラー情報を出力するエラー情報出力工程
と、上記制御手段が上記エラー情報に基づいて、フレー
ム間順方向予測符号化画像をフレーム内予測符号化画像
に変更するように制御する制御工程とを有することを特
徴としている。
【００２６】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【００２７】このようなデータ伝送方法は、フレーム内
予測符号化画像又はフレーム間予測符号化画像にエラー
が発生すると、フレーム間順方向予測符号化画像をフレ
ーム内予測符号化画像に変更するように制御する。
【００２８】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置が実際に伝送されたビット量の情報を含む状
態情報を上記データ伝送装置に出力する状態情報出力工
程と、上記データ伝送装置が上記状態情報に応じて上記
実際に伝送されたビット量の情報を当該データ伝送装置
の制御手段に出力する出力工程と、上記制御手段が所定
単位時間のビット量の情報と当該単位時間に上記符号化
工程にて生成されたビット量とに基づいて、生成するビ
ット量を変更するように制御する制御工程とを有するこ
とを特徴としている。
【００２９】このようなデータ伝送方法は、所定単位時
間に受信装置に伝送されたビット量と当該単位時間に符
号化工程にて生成されたビット量とに基づいて、生成す
るビット量を変更する。
【００３０】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置が実際に再生されたフレーム数の情報を含む
状態情報を上記データ伝送装置に出力する状態情報出力
工程と、上記データ伝送装置が上記状態情報に応じて実
際に再生されたフレーム数の情報を当該データ伝送装置
の制御手段に出力する出力工程と、上記制御手段が所定
単位時間の上記フレーム数の情報と当該単位時間に上記
符号化工程にて生成されたフレーム数とに基づいて、生
成するフレーム数を変更するように制御する制御工程と
を有することを特徴としている。
【００３１】ここで、上記制御工程では、上記符号化工
程にて生成するビット量又は上記符号化データの解像度
を変更するように制御しても構わない。
【００３２】このようなデータ伝送方法は、所定単位時
間に受信装置で再生されたフレーム数と当該単位時間に
符号化工程にて生成されたフレーム数とに基づいて、生
成するフレーム数等を変更する。
【００３３】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じてエラー情報を出力する送
受信工程と、上記送受信工程にて入力された制御情報に
基づいて、フレーム間順方向予測符号化画像をフレーム
内予測符号化画像に変更するように制御する制御工程と
を有することを特徴としている。
【００３４】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【００３５】このようなデータ伝送プログラムは、フレ
ーム内予測符号化画像又はフレーム間予測符号化画像に
エラーが発生すると、フレーム間順方向予測符号化画像
をフレーム内予測符号化画像に変更するように制御す
る。
【００３６】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じて実際に伝送されたビット
量の情報を出力する送受信工程と、上記送受信工程にて
入力された所定単位時間のビット量と当該単位時間に上
記符号化工程にて生成されたビット量とに基づいて、生
成するビット量を変更するように制御する制御工程とを
有することを特徴としている。
【００３７】このようなデータ伝送プログラムは、所定
単位時間に受信装置に伝送されたビット量と当該単位時
間に符号化工程にて生成されたビット量とに基づいて、
生成するビット量を変更する。
【００３８】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じて実際に再生されたフレー
ム数の情報を出力する送受信工程と、上記送受信工程に
て入力された所定単位時間のフレーム数と当該単位時間
に上記符号化工程にて生成されたフレーム数とに基づい
て、生成するフレーム数を変更するように制御する制御
工程とを有することを特徴としている。
【００３９】ここで、上記制御工程では、上記符号化工
程にて生成するビット量又は上記符号化データの解像度
を変更するように制御しても構わない。
【００４０】このようなデータ伝送プログラムは、所定
単位時間に受信装置で再生されたフレーム数と当該単位
時間に符号化工程にて生成されたフレーム数とに基づい
て、生成するフレーム数等を変更する。
【００４１】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じてエラー情報を出力する送受信工程と、上
記送受信工程にて入力された上記エラー情報に基づい
て、フレーム間順方向予測符号化画像をフレーム内予測
符号化画像に変更するように制御する制御工程とを有す
ることを特徴するデータ伝送プログラムが記録されてい
る。
【００４２】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【００４３】このような記録媒体に記録されているデー
タ伝送プログラムは、フレーム内予測符号化画像又はフ
レーム間予測符号化画像にエラーが発生すると、フレー
ム間順方向予測符号化画像をフレーム内予測符号化画像
に変更するように制御する。
【００４４】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じて実際に伝送されたビット量の情報を出力
する送受信工程と、上記送受信工程にて入力された所定
単位時間の制御情報と当該単位時間に上記符号化工程に
て生成されたビット量とに基づいて、生成するビット量
を変更するように制御する制御工程とを有することを特
徴とするデータ伝送プログラムが記録されている。
【００４５】このような記録媒体に記録されているデー
タ伝送プログラムは、所定単位時間に受信装置に伝送さ
れたビット量と当該単位時間に符号化工程にて生成され
たビット量とに基づいて、生成するビット量を変更す
る。
【００４６】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じて実際に再生されたフレーム数の情報を出
力する送受信工程と、上記送受信工程にて入力された所
定単位時間の制御情報と当該単位時間に上記符号化工程
にて生成されたフレーム数とに基づいて、生成するフレ
ーム数を変更するように制御する制御工程とを有するこ
とを特徴とするデータ伝送プログラムが記録されてい
る。
【００４７】ここで、データ伝送プログラムにおいて、
上記制御工程では、上記符号化工程にて生成するビット
量又は上記符号化データの解像度を変更するように制御
しても構わない。
【００４８】このような記録媒体に記録されているデー
タ伝送プログラムは、所定単位時間に受信装置で再生さ
れたフレーム数と当該単位時間に符号化工程にて生成さ
れたフレーム数とに基づいて、生成するフレーム数等を
変更する。
【００４９】
【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。この実施の形態は、トランスコーダにおいてＭＰＥ
Ｇ２（MovingPicture Experts Group 2）ビットストリ
ームをＭＰＥＧ４ビットストリームに変換し、このＭＰ
ＥＧ４ビットストリームを後述するように再生機能を有
する受信装置に伝送し、受信装置においてリアルタイム
に復号、再生するものである。
【００５０】先ず、このトランスコーダの構成について
図１を用いて説明する。図１に示すトランスコーダ１０
において、パーサー部１１は、入力されたＭＰＥＧ２ビ
ットストリームから所定の情報を抽出し、その情報に従
って以下の再符号化処理を実行する。このパーサー部１
１は、特に、符号量制御に必要な情報を後述する符号量
制御部１９に供給する。
【００５１】可変長復号部１２は、ＭＰＥＧ２ビットス
トリームを可変長復号し、量子化された離散コサイン係
数を逆量子化部１３に供給する。また、可変長復号部１
２は、動きベクトル及び予測モードの情報を動き補償部
１７とスケーラ１８とに供給する。
【００５２】逆量子化部１３は、量子化された離散コサ
イン係数を逆量子化し、得られた離散コサイン係数を逆
ＤＣＴ（Discrete Cosine Transformation）部１４に供
給し、逆ＤＣＴ部１４は、離散コサイン係数を逆ＤＣＴ
し、演算器１５に供給する。
【００５３】演算器１５には、逆ＤＣＴ部１４の出力デ
ータの他、動き補償部１７の出力データも供給されてい
る。すなわち、動き補償部１７は、フレームメモリ１６
に記憶されている、既に復号された画像データを、可変
長復号部１２からの動きベクトル及び予測モードに従っ
て読み出し、予測画像データとして演算器１５に供給す
る。演算器１５は、逆ＤＣＴ部１４の出力データと動き
補償部１７からの予測画像データとを加算することで、
元の画像データを復号する。
【００５４】スケーラ１８は、可変長復号部１２から供
給された動きベクトル及び予測モードの情報をＭＰＥＧ
４の動きベクトル及び予測モードに変換する。
【００５５】制御部１９における符号量制御部２０は、
パーサー部１１から供給される情報と後述する可変長符
号化部２５から供給されるフィードバック情報とに基づ
いて、後述する量子化部２４における量子化ステップ等
を制御する。また、制御部１９には、後述するように、
受信側情報Ｓが入力される。
【００５６】解像度変換部２１は、ＭＰＥＧ４ビットス
トリームに変換するための解像度変換を行う。すなわ
ち、水平方向については、例えばローパスフィルタによ
り１／２の間引きを行う。垂直方向については、例えば
トップフィールド又はボトムフィールドの何れかを削除
することにより、１／２の間引き処理を行う。ここで、
例えば、入力されたＭＰＥＧ２ビットストリームがＮＴ
ＳＣ（National Television System Committee）の規格
に準拠したもの、つまり７２０×４８０画素、３０Ｈｚ
のインタレース画像であった場合、解像度変換部２０に
おける変換後の画枠は３６０×２４０画素ということに
なるが、後続のＭＰＥＧ４ビットストリームに符号化す
る際、マクロブロック単位の処理を行うには、水平方
向、垂直方向ともに、その画素数が１６の倍数である必
要がある。従って、このための画素の補填又は廃棄を解
像度変換部２１において同時に行う。すなわち、画素の
補填又は廃棄として、例えば水平方向の右端若しくは左
端の８画素分を廃棄して３５２×２４０画素とする。
【００５７】演算器２２は、解像度変換された画像デー
タと後述する動き補償部３０からの予測画像との差分値
を演算し、ＤＣＴ部２３に供給する。
【００５８】ＤＣＴ部２３は、演算器２２の出力データ
に対してＤＣＴ処理を施し、その結果得られるＤＣＴ係
数を量子化部２４に供給する。
【００５９】量子化部２４は、符号量制御部２０から供
給された量子化ステップで、ＤＣＴ係数を量子化し、量
子化されたＤＣＴ係数を量子化ステップと共に可変長符
号化部２５及び逆量子化部２６に供給する。
【００６０】可変長符号化部２５は、量子化されたＤＣ
Ｔ係数を可変長符号化し、ＭＰＥＧ４ビットストリーム
として出力する。また、可変長符号化部２５は、量子化
部２４からの量子化ステップ、スケーラ１８からの動き
ベクトル及び予測モードも可変長符号化する。また、可
変長符号化部２５は、符号化したフレーム毎のビット量
等の情報を符号量制御部２０にフィードバックする。
【００６１】逆量子化部２６は、量子化されたＤＣＴ係
数を量子化部２４から供給された量子化ステップに従っ
て逆量子化し、得られたＤＣＴ係数を逆ＤＣＴ部２７に
供給する。
【００６２】逆ＤＣＴ部２７は、逆量子化部２６から供
給されたＤＣＴ係数に対して逆ＤＣＴ処理を施し、得ら
れたデータを演算器２８に供給する。演算器２８は、逆
ＤＣＴ部２７からのデータと動き補償部３０からの予測
画像とを加算し、元の画像データを局所復号する。この
局所復号された画像データは、フレームメモリ２９に供
給されて記憶され、予測画像として用いられる。
【００６３】以上のような構成を有するトランスコーダ
１０からのＭＰＥＧ４ビットストリームが、後述するよ
うにパケットを単位としてＲＴＰ（Real-Time Transpor
t Protocol）によりインターネットを介して受信装置に
伝送される。
【００６４】以下、上述したトランスコーダ１０を有す
るサーバと、サーバから伝送された符号化データを復号
して再生する受信装置との構成及び動作について図２を
用いて説明する。
【００６５】図２に示すように、サーバ１は、トランス
コーダ１０と、エラーハンドラ４０と、ＲＴＰパケッタ
イザ５０と、コントロールハンドラ６０とを有する。ま
た、受信装置２は、逆パケッタイザ７０と、ストリーム
ハンドラ８０と、デコーダ９０と、ミドル・ウェア・レ
イヤ１００と、アプリケーション・レイヤ１１０とを有
する。このサーバ１と受信装置２とは、インターネット
におけるモデム、ＩＳＤＮ（Integrated Service Digit
al Network）、ＬＡＮ（Local Area Network）等の有線
回線により接続され、ＲＴＰにより圧縮画像データの伝
送が行われる。
【００６６】トランスコーダ１０は、上述するようにし
て生成したＭＰＥＧ４ビットストリームをＲＴＰパケッ
タイザ５０に供給し、ＲＴＰパケッタイザ５０は、この
ＭＰＥＧ４ビットストリームをＲＴＰに従ってパケット
化する。ＲＴＰパケッタイザ５０は、パケット化によっ
て得られたＲＴＰパケットをＲＴＰに従って受信装置２
の逆パケッタイザ７０に供給する。
【００６７】逆パケッタイザ７０は、供給されたＲＴＰ
パケットを逆パケット化し、元のＭＰＥＧ４ビットスト
リームに復元する。また、逆パケッタイザ７０は、パケ
ット化した際のタイムスタンプの情報をストリームハン
ドラ８０に供給し、ＭＰＥＧ４ビットストリームをデコ
ーダ９０に供給する。さらに、逆パケッタイザ７０は、
供給されたＲＴＰパケットの状態情報をＲＴＣＰ（Real
-Time Control Protocol）に従ってエラーハンドラ４０
に返送する。
【００６８】デコーダ９０は、ＭＰＥＧ４ビットストリ
ームを復号し、また、図示しない符号化部において例え
ばＡＴＲＡＣ３（Adaptive TRansform Acoustic Coding
3）で符号化されたオーディオ信号を復号する。
【００６９】ミドル・ウェア・レイヤ１００は、デコー
ダ９０で復号されて得た画像データとオーディオデータ
との時間軸の同期をとって多重化する。そして、アプリ
ケーション・レイヤ１１０は、この多重化されたデータ
を再生する。また、アプリケーション・レイヤ１１０
は、停止，早送り，巻き戻し，指定した位置からの再生
等の情報をＲＴＳＰ（Real-Time Streaming Protocol）
に従ってコントロールハンドラ６０に供給する。これに
より、受信装置２側でサーバ１のデータを操作すること
ができる。
【００７０】ここで、伝送エラーによってエラーパケッ
トが発生した場合について考える。例えばＰピクチャ
（フレーム間順方向予測符号化画像）に対応するパケッ
トやＩピクチャ（フレーム内予測符号化画像）に対応す
るパケットにエラーが発生した場合、このエラーパケッ
トは、逆パケッタイザ７０において破棄される。この場
合、残りのデータで再生を行うことができるが、フレー
ム間予測符号化を用いているため、欠落フレームにより
参照画像が正しく表示されず、再生画像が符号化側と異
なる違和感のある映像が表示されることになる。また、
再生画像の表示をエラーが起きる直前のフレームで停止
し、次にＩピクチャ等の、他のフレームを参照せずにそ
のフレームのデータだけで再生可能なフレーム（以下、
適宜、キーフレームという。）を表示するタイミングに
なると、正常な表示を再開するようにすることもできる
が、ＭＰＥＧ４ ＳＰを用いた低ビットレートの伝送の
ようにキーフレームを伝送する間隔が長い場合には、キ
ーフレームの伝送直後やキーフレーム自体にエラーが発
生すると、数秒間にわたって表示を停止することにな
る。
【００７１】そこで本実施の形態では、逆パケッタイザ
７０においてＰピクチャに対応するパケットやＩピクチ
ャに対応するパケットにエラーが発生すると、エラー情
報の記録された状態情報をＲＴＣＰに従ってエラーハン
ドラ４０に送るようにしている。なお、Ｂピクチャ（フ
レーム間双方向予測符号化画像）に対応するパケットに
エラーが発生した場合、Ｂピクチャは、参照画像とはな
らないため、逆パケッタイザ７０において破棄するのみ
でよく、エラー情報を送る必要はない。
【００７２】エラーハンドラ４０は、状態情報を入力す
ると図１に示すトランスコーダ１０の制御部１９に受信
側情報Ｓとしてエラー情報を出力する。制御部１９は、
このエラー情報によりトランスコーダ１０を制御し、次
のＰピクチャをＩピクチャに変更して符号化させる。
【００７３】以上の処理を図３のフローチャートに示
す。図３において、先ずステップＳ１では、ＭＰＥＧ４
ビットストリームをパケット化して図２の受信装置２に
出力する。
【００７４】次にステップＳ２では、逆パケッタイザ７
０がＲＴＰパケットのエラーを検出し、ステップＳ３で
は、状態情報をエラーハンドラ４０に供給する。
【００７５】続いてステップＳ４では、エラーハンドラ
４０が受信側情報Ｓとしてエラー情報を制御部１９に出
力し、ステップＳ５では、制御部１９が次のＰピクチャ
をＩピクチャに変更して符号化するように制御する。
【００７６】以上のようにすることで、数秒間にわたっ
て違和感のある映像が表示することや、数秒間にわたっ
て表示を停止することが防止される。なお、エラーパケ
ットを検出してエラー情報が供給された場合であって
も、次にキーフレームを伝送するまでの時間が短い場合
には、ＰピクチャからＩピクチャへの変更を行わないよ
うにしても構わない。
【００７７】次に、伝送路のトラフィック量に起因して
パケットの同期外れ（到着遅延）が起こり、これにより
パケットが破棄されることで生成したビット量の一部し
か実際に伝送されなかった場合について考える。
【００７８】本実施の形態では、このような場合、伝送
されたビット量とタイムスタンプとの記録された状態情
報をＲＴＣＰに従ってエラーハンドラ４０に送るように
している。すなわち、伝送できたビット量によって生成
するビット量にフィードバックをかける。この際、短い
単位時間でフィードバックを行うと生成するビット量の
変動が激しくなるため、ある程度の長さの単位時間毎の
データを用いてフィードバックを行うようにする。
【００７９】逆パケッタイザ７０は、伝送されたビット
量とタイムスタンプとの記録された状態情報をＲＴＣＰ
に従ってエラーハンドラ４０に送り、エラーハンドラ４
０は、この情報を受信側情報Ｓとして図１に示す制御部
１９に供給する。制御部１９は、ビット量及びタイムス
タンプの情報を図示しない記憶部に記憶する。
【００８０】また、制御部１９には、図１に示す可変長
符号化部２５から生成したビット量の情報が供給されて
おり、この情報についても図示しない記憶部に記憶す
る。
【００８１】そして制御部１９は、例えば２０秒分のデ
ータを記憶部から読み出し、以下の式（１）に従って、
生成するビット量を変更する。なお、式（１）におい
て、Σtransfered_bitは、例えば２０秒間に実際に伝送
されたビット量を示し、Σgenerated_bitは、その２０
秒間に生成したビット量を示す。また、MAX_bitrate
は、ストリームのビット量を示す。また、Ｋは、ビット
量の変動を安定化させるための安定化係数である。
【００８２】
【数１】
【００８３】以上の処理を図４のフローチャートに示
す。図４において、先ずステップＳ１０では、生成した
ビット量を記憶する。
【００８４】次にステップＳ１１において、実際に伝送
されたビット量を記憶し、ステップＳ１２において、例
えば２０秒分のデータに基づいて、生成するビット量を
変更する。
【００８５】一般に、一旦伝送エラーが発生した場合、
次も同じデータレートで伝送しようとすると、エラーの
起きる可能性が高くなると考えられるが、以上のように
生成ビット量を更新することで、再度伝送エラーの発生
する可能性が高くなるのを防止することができる。
【００８６】次に、受信装置２の処理能力に起因して、
伝送されたフレーム数の一部しか再生できなくなる場合
について説明する。
【００８７】例えば他の処理や省電力モード等の影響
で、受信装置２の処理能力がサーバ１側が予想するもの
よりも低いと、データの処理に費やされる時間が、送信
側が予想する時間よりも長くなってしまい、伝送された
データをリアルタイムで復号、再生することが困難とな
る。このような場合、伝送されたデータを復号後、再生
部分でフレームの表示すべき時刻と現時刻とが比較さ
れ、同期外れのフレームの破棄が行われてしまう。
【００８８】そこで本実施の形態においては、単位時間
当たりに再生されたフレーム数とタイムスタンプとの記
録された状態情報をＲＴＣＰに従ってエラーハンドラ４
０に送るようにしている。
【００８９】逆パケッタイザ７０は、単位時間当たりに
再生されたフレーム数とタイムスタンプとをＲＴＣＰに
従ってエラーハンドラ４０に送り、エラーハンドラ４０
は、この情報を受信側情報Ｓとして図１に示す制御部１
９に出力する。制御部１９は、フレーム数及びタイムス
タンプの情報を図示しない記憶部に記憶する。
【００９０】また、制御部１９には、図１に示す可変長
符号化部２５から生成したフレーム数の情報が供給され
ており、この情報についても図示しない記憶部に記憶す
る。
【００９１】そして制御部１９は、単位時間分のデータ
を記憶部から読み出し、単位時間に再生されたフレーム
数とその単位時間に生成したフレーム数との比較結果に
応じて、生成するフレーム数を変更させる。この際、伝
送エラーによってフレーム数の減少が生じている場合に
は、実際に伝送されたフレーム数を上述した単位時間に
生成したフレーム数と考えればよい。
【００９２】以上の処理を図５のフローチャートに示
す。図５において、先ずステップＳ２０では、再生した
フレーム数を記憶する。
【００９３】次にステップＳ２１において、生成された
ビット量を記憶し、ステップＳ２２において、単位時間
分のデータに基づいて、生成するフレーム数を変更す
る。
【００９４】なお、制御部１９は、生成するフレーム数
を変更するだけでなく、解像度やビット量を減じるよう
に制御し、これにより再生にかかる処理を減らすように
しても構わない。
【００９５】以上のように、所定単位時間に受信装置２
で再生されたフレーム数と当該単位時間に生成されたフ
レーム数とに基づいて、生成するフレーム数等を変更す
ることにより、受信装置２の処理能力の変動に応じたフ
レーム数等に設定することができる。
【００９６】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。
【００９７】例えば、上述の説明では、トランスコーダ
からの出力をパケット化するものとして説明したが、こ
れに限定されるものではなく、本発明は、符号化装置の
出力をパケット化して伝送し、受信側でそれをリアルタ
イムで復号して再生する場合に適用可能である。
【００９８】また、上述の説明では、画像データをＭＰ
ＥＧ符号化するものとして説明したが、符号化方式は、
ＭＰＥＧに限定されるものではない。
【００９９】また、上述の説明では、ハードウェアの構
成として説明したが、これに限定されるものではなく、
サーバ１の処理をＣＰＵ（Central Processing Unit）
にコンピュータプログラムを実行させることにより実現
することも可能である。この場合、そのコンピュータプ
ログラムは、記録媒体に記録して提供することも可能で
あり、また、インターネットその他の伝送媒体を介して
伝送することにより提供することも可能である。
【０１００】
【発明の効果】以上詳細に説明したように本発明に係る
データ伝送装置は、画像を符号化した符号化データを、
所定の伝送レートの伝送路を介して受信装置に伝送する
データ伝送装置であって、上記画像を符号化して上記符
号化データとして出力する符号化手段と、上記符号化デ
ータが伝送された上記受信装置から入力した状態情報に
応じてエラー情報を出力する送受信手段と、上記送受信
手段から入力した上記エラー情報に基づいて、フレーム
間順方向予測符号化画像をフレーム内予測符号化画像に
変更するように制御する制御手段とを備えることを特徴
としている。
【０１０１】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【０１０２】このようなデータ伝送装置によっては、フ
レーム内予測符号化画像又はフレーム間予測符号化画像
にエラーが発生した場合であっても、数秒間にわたって
違和感のある映像が表示されることや、数秒間にわたっ
て表示を停止することが防止される。
【０１０３】また、上述した目的を達成するために、本
発明に係るデータ伝送装置は、画像を符号化した符号化
データを、所定の伝送レートの伝送路を介して受信装置
に伝送するデータ伝送装置であって、上記画像を符号化
して上記符号化データとして出力する符号化手段と、上
記符号化データが伝送された上記受信装置から入力した
状態情報に応じて実際に伝送されたビット量の情報を出
力する送受信手段と、上記送受信手段から入力した所定
単位時間のビット量と当該単位時間に上記符号化手段に
おいて生成されたビット量とに基づいて、生成するビッ
ト量を変更するように制御する制御手段とを備えること
を特徴としている。
【０１０４】このようなデータ伝送装置によっては、所
定単位時間に受信装置に伝送されたビット量と当該単位
時間に符号化手段において生成されたビット量とに基づ
いて、生成するビット量を変更することにより、トラフ
ィック量に起因する伝送エラーの発生頻度を減少させる
ことができる。
【０１０５】また、上述した目的を達成するために、本
発明に係るデータ伝送装置は、画像を符号化した符号化
データを、所定の伝送レートの伝送路を介して受信装置
に伝送するデータ伝送装置であって、上記画像を符号化
して上記符号化データとして出力する符号化手段と、上
記符号化データが伝送された上記受信装置から入力した
状態情報に応じて実際に再生されたフレーム数の情報を
出力する送受信手段と、上記送受信手段から入力した所
定単位時間のフレーム数と当該単位時間に上記符号化手
段において生成されたフレーム数とに基づいて、生成す
るフレーム数を変更するように制御する制御手段とを備
えることを特徴としている。
【０１０６】ここで、上記制御手段は、上記符号化手段
において生成するビット量又は上記符号化データの解像
度を変更するように制御しても構わない。
【０１０７】このようなデータ伝送装置によっては、所
定単位時間に受信装置で再生されたフレーム数と当該単
位時間に符号化手段において生成されたフレーム数とに
基づいて、生成するフレーム数等を変更することによ
り、受信装置の処理の応力の変動に応じたフレーム数等
に設定することができる。
【０１０８】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置がエラー情報を含む状態情報を上記データ伝
送装置に出力する状態情報出力工程と、上記データ伝送
装置が上記状態情報に応じて当該データ伝送装置の制御
手段に上記エラー情報を出力するエラー情報出力工程
と、上記制御手段が上記エラー情報に基づいて、フレー
ム間順方向予測符号化画像をフレーム内予測符号化画像
に変更するように制御する制御工程とを有することを特
徴としている。
【０１０９】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【０１１０】このようなデータ伝送方法によっては、フ
レーム内予測符号化画像又はフレーム間予測符号化画像
にエラーが発生した場合であっても、数秒間にわたって
違和感のある映像が表示されることや、数秒間にわたっ
て表示を停止することが防止される。
【０１１１】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置が実際に伝送されたビット量の情報を含む状
態情報を上記データ伝送装置に出力する状態情報出力工
程と、上記データ伝送装置が上記状態情報に応じて上記
実際に伝送されたビット量の情報を当該データ伝送装置
の制御手段に出力する出力工程と、上記制御手段が所定
単位時間のビット量の情報と当該単位時間に上記符号化
工程にて生成されたビット量とに基づいて、生成するビ
ット量を変更するように制御する制御工程とを有するこ
とを特徴としている。
【０１１２】このようなデータ伝送方法によっては、所
定単位時間に受信装置に伝送されたビット量と当該単位
時間に符号化工程にて生成されたビット量とに基づい
て、生成するビット量を変更することにより、トラフィ
ック量に起因する伝送エラーの発生頻度を減少させるこ
とができる。
【０１１３】また、上述した目的を達成するために、本
発明に係るデータ伝送方法は、データ伝送装置が、画像
を符号化した符号化データを所定の伝送レートの伝送路
を介して受信装置に伝送するデータ伝送方法であって、
上記データ伝送装置が上記画像を符号化して上記符号化
データとして上記受信装置に出力する符号化工程と、上
記受信装置が実際に再生されたフレーム数の情報を含む
状態情報を上記データ伝送装置に出力する状態情報出力
工程と、上記データ伝送装置が上記状態情報に応じて上
記実際に再生されたフレーム数の情報を当該データ伝送
装置の制御手段に出力する出力工程と、上記制御手段が
所定単位時間の上記フレーム数の情報と当該単位時間に
上記符号化工程にて生成されたフレーム数とに基づい
て、生成するフレーム数を変更するように制御する制御
工程とを有することを特徴としている。
【０１１４】ここで、上記制御工程では、上記符号化工
程にて生成するビット量又は上記符号化データの解像度
を変更するように制御しても構わない。
【０１１５】このようなデータ伝送方法によっては、所
定単位時間に受信装置で再生されたフレーム数と当該単
位時間に符号化工程にて生成されたフレーム数とに基づ
いて、生成するフレーム数等を変更することにより、受
信装置の処理の応力の変動に応じたフレーム数等に設定
することができる。
【０１１６】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じてエラー情報を出力する送
受信工程と、上記送受信工程にて入力された制御情報に
基づいて、フレーム間順方向予測符号化画像をフレーム
内予測符号化画像に変更するように制御する制御工程と
を有することを特徴としている。
【０１１７】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【０１１８】このようなデータ伝送プログラムによって
は、フレーム内予測符号化画像又はフレーム間予測符号
化画像にエラーが発生した場合であっても、数秒間にわ
たって違和感のある映像が表示されることや、数秒間に
わたって表示を停止することが防止される。
【０１１９】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じて実際に伝送されたビット
量の情報を出力する送受信工程と、上記送受信工程にて
入力された所定単位時間のビット量と当該単位時間に上
記符号化工程にて生成されたビット量とに基づいて、生
成するビット量を変更するように制御する制御工程とを
有することを特徴としている。
【０１２０】このようなデータ伝送プログラムによって
は、所定単位時間に受信装置に伝送されたビット量と当
該単位時間に符号化工程にて生成されたビット量とに基
づいて、生成するビット量を変更することにより、トラ
フィック量に起因する伝送エラーの発生頻度を減少させ
ることができる。
【０１２１】また、上述した目的を達成するために、本
発明に係るデータ伝送プログラムは、画像を符号化した
符号化データを、所定の伝送レートの伝送路を介して受
信装置に伝送するデータ伝送プログラムであって、上記
画像を符号化して上記符号化データとして出力する符号
化工程と、上記符号化データが伝送された上記受信装置
から入力した状態情報に応じて実際に再生されたフレー
ム数の情報を出力する送受信工程と、上記送受信工程に
て入力された所定単位時間のフレーム数と当該単位時間
に上記符号化工程にて生成されたフレーム数とに基づい
て、生成するフレーム数を変更するように制御する制御
工程とを有することを特徴としている。
【０１２２】ここで、上記制御工程では、上記符号化工
程にて生成するビット量又は上記符号化データの解像度
を変更するように制御しても構わない。
【０１２３】このようなデータ伝送プログラムによって
は、所定単位時間に受信装置で再生されたフレーム数と
当該単位時間に符号化工程にて生成されたフレーム数と
に基づいて、生成するフレーム数等を変更することによ
り、受信装置の処理の応力の変動に応じたフレーム数等
に設定することができる。
【０１２４】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じてエラー情報を出力する送受信工程と、上
記送受信工程にて入力された上記エラー情報に基づい
て、フレーム間順方向予測符号化画像をフレーム内予測
符号化画像に変更するように制御する制御工程とを有す
ることを特徴するデータ伝送プログラムが記録されてい
る。
【０１２５】ここで、上記エラー情報は、上記受信装置
に伝送された上記符号化データのうち、フレーム内予測
符号化画像又はフレーム間予測符号化画像に発生したエ
ラーに関する情報である。
【０１２６】このような記録媒体に記録されているデー
タ伝送プログラムによっては、フレーム内予測符号化画
像又はフレーム間予測符号化画像にエラーが発生した場
合であっても、数秒間にわたって違和感のある映像が表
示されることや、数秒間にわたって表示を停止すること
が防止される。
【０１２７】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じて実際に伝送されたビット量の情報を出力
する送受信工程と、上記送受信工程にて入力された所定
単位時間の制御情報と当該単位時間に上記符号化工程に
て生成されたビット量とに基づいて、生成するビット量
を変更するように制御する制御工程とを有することを特
徴とするデータ伝送プログラムが記録されている。
【０１２８】このような記録媒体に記録されているデー
タ伝送プログラムによっては、所定単位時間に受信装置
に伝送されたビット量と当該単位時間に符号化工程にて
生成されたビット量とに基づいて、生成するビット量を
変更することにより、トラフィック量に起因する伝送エ
ラーの発生頻度を減少させることができる。
【０１２９】また、上述した目的を達成するために、本
発明に係る記録媒体は、画像を符号化した符号化データ
を、所定の伝送レートの伝送路を介して受信装置に伝送
するデータ伝送プログラムが記録された記録媒体であっ
て、上記データ伝送プログラムは、上記画像を符号化し
て上記符号化データとして出力する符号化工程と、上記
符号化データが伝送された上記受信装置から入力した状
態情報に応じて実際に再生されたフレーム数の情報を出
力する送受信工程と、上記送受信工程にて入力された所
定単位時間の制御情報と当該単位時間に上記符号化工程
にて生成されたフレーム数とに基づいて、生成するフレ
ーム数を変更するように制御する制御工程とを有するこ
とを特徴とするデータ伝送プログラムが記録されてい
る。
【０１３０】ここで、データ伝送プログラムにおいて、
上記制御工程では、上記符号化工程にて生成するビット
量又は上記符号化データの解像度を変更するように制御
しても構わない。
【０１３１】このような記録媒体に記録されているデー
タ伝送プログラムによっては、所定単位時間に受信装置
で再生されたフレーム数と当該単位時間に符号化工程に
て生成されたフレーム数とに基づいて、生成するフレー
ム数等を変更することにより、受信装置の処理能力の変
動に応じたフレーム数等に設定することができる。
【図面の簡単な説明】
【図１】本実施の形態におけるトランスコーダの構成を
説明する図である。
【図２】本実施の形態におけるサーバと受信装置の構成
を説明する図である。
【図３】本実施の形態において、エラー情報をフィード
バックする際の処理を説明するフローチャートである。
【図４】本実施の形態において、伝送されたビット量を
フィードバックする際の処理を説明するフローチャート
である。
【図５】本実施の形態において、再生されたフレーム数
をフィードバックする際の処理を説明するフローチャー
トである。
【図６】従来の映像伝送システムを説明する概念図であ
る。
【符号の説明】
１ サーバ、２ 受信装置、１０ トランスコーダ、１
１ パーサー部、１２可変長復号部、１３ 逆量子化
部、１４ 逆ＤＣＴ部、１８ スケーラ、１９制御部、
２０ 符号量制御部、２１ 解像度変換部、２３ ＤＣ
Ｔ部、２４量子化部、２５ 可変長符号化部、４０ エ
ラーハンドラ、５０ ＲＴＰパケッタイザ、６０ コン
トロールハンドラ、７０ 逆パケッタイザ、８０ スト
リームハンドラ、９０ デコーダ、１００ ミドル・ウ
ェア・レイヤ、１１０ アプリケーション・レイヤ
フロントページの続き Ｆターム(参考） 5C059 KK41 LB05 MA00 MA04 MA05 MA23 MC11 ME01 PP05 PP06 PP07 RB03 RC04 RE16 SS08 SS20 TA23 TA73 TB04 TC22 TC37 UA02 UA12 UA39 5K014 AA01 DA02 FA08 FA11

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 画像を符号化した符号化データを、所定
    の伝送レートの伝送路を介して受信装置に伝送するデー
    タ伝送装置であって、 上記画像を符号化して上記符号化データとして出力する
    符号化手段と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じてエラー情報を出力する送受信手段
    と、 上記送受信手段から入力した上記エラー情報に基づい
    て、フレーム間順方向予測符号化画像をフレーム内予測
    符号化画像に変更するように制御する制御手段とを備え
    ることを特徴とするデータ伝送装置。
  2. 【請求項２】 上記エラー情報は、上記受信装置に伝送
    された上記符号化データのうち、フレーム内予測符号化
    画像又はフレーム間予測符号化画像に発生したエラーに
    関する情報であることを特徴とする請求項１記載のデー
    タ伝送装置。
  3. 【請求項３】 画像を符号化した符号化データを、所定
    の伝送レートの伝送路を介して受信装置に伝送するデー
    タ伝送装置であって、 上記画像を符号化して上記符号化データとして出力する
    符号化手段と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に伝送されたビット量の情報を
    出力する送受信手段と、 上記送受信手段から入力した所定単位時間のビット量と
    当該単位時間に上記符号化手段において生成されたビッ
    ト量とに基づいて、生成するビット量を変更するように
    制御する制御手段とを備えることを特徴とするデータ伝
    送装置。
  4. 【請求項４】 画像を符号化した符号化データを、所定
    の伝送レートの伝送路を介して受信装置に伝送するデー
    タ伝送装置であって、 上記画像を符号化して上記符号化データとして出力する
    符号化手段と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に再生されたフレーム数の情報
    を出力する送受信手段と、 上記送受信手段から入力した所定単位時間のフレーム数
    と当該単位時間に上記符号化手段において生成されたフ
    レーム数とに基づいて、生成するフレーム数を変更する
    ように制御する制御手段とを備えることを特徴とするデ
    ータ伝送装置。
  5. 【請求項５】 上記制御手段は、上記符号化手段におい
    て生成するビット量を変更するように制御することを特
    徴とする請求項４記載のデータ伝送装置。
  6. 【請求項６】 上記制御手段は、上記符号化手段におい
    て生成する上記符号化データの解像度を変更するように
    制御することを特徴とする請求項４記載のデータ伝送装
    置。
  7. 【請求項７】 データ伝送装置が、画像を符号化した符
    号化データを所定の伝送レートの伝送路を介して受信装
    置に伝送するデータ伝送方法であって、 上記データ伝送装置が上記画像を符号化して上記符号化
    データとして上記受信装置に出力する符号化工程と、 上記受信装置がエラー情報を含む状態情報を上記データ
    伝送装置に出力する状態情報出力工程と、 上記データ伝送装置が上記状態情報に応じて当該データ
    伝送装置の制御手段に上記エラー情報を出力するエラー
    情報出力工程と、 上記制御手段が上記エラー情報に基づいて、フレーム間
    順方向予測符号化画像をフレーム内予測符号化画像に変
    更するように制御する制御工程とを有することを特徴と
    するデータ伝送方法。
  8. 【請求項８】 上記エラー情報は、上記受信装置に伝送
    された上記符号化データのうち、フレーム内予測符号化
    画像又はフレーム間予測符号化画像に発生したエラーに
    関する情報であることを特徴とする請求項７記載のデー
    タ伝送方法。
  9. 【請求項９】 データ伝送装置が、画像を符号化した符
    号化データを所定の伝送レートの伝送路を介して受信装
    置に伝送するデータ伝送方法であって、 上記データ伝送装置が上記画像を符号化して上記符号化
    データとして上記受信装置に出力する符号化工程と、 上記受信装置が実際に伝送されたビット量の情報を含む
    状態情報を上記データ伝送装置に出力する状態情報出力
    工程と、 上記データ伝送装置が上記状態情報に応じて上記実際に
    伝送されたビット量の情報を当該データ伝送装置の制御
    手段に出力する出力工程と、 上記制御手段が所定単位時間のビット量の情報と当該単
    位時間に上記符号化工程にて生成されたビット量とに基
    づいて、生成するビット量を変更するように制御する制
    御工程とを有することを特徴とするデータ伝送方法。
  10. 【請求項１０】 データ伝送装置が、画像を符号化した
    符号化データを所定の伝送レートの伝送路を介して受信
    装置に伝送するデータ伝送方法であって、 上記データ伝送装置が上記画像を符号化して上記符号化
    データとして上記受信装置に出力する符号化工程と、 上記受信装置が実際に再生されたフレーム数の情報を含
    む状態情報を上記データ伝送装置に出力する状態情報出
    力工程と、 上記データ伝送装置が上記状態情報に応じて上記実際に
    再生されたフレーム数の情報を当該データ伝送装置の制
    御手段に出力する出力工程と、 上記制御手段が所定単位時間の上記フレーム数の情報と
    当該単位時間に上記符号化工程にて生成されたフレーム
    数とに基づいて、生成するフレーム数を変更するように
    制御する制御工程とを有することを特徴とするデータ伝
    送方法。
  11. 【請求項１１】 上記制御工程では、上記符号化工程に
    て生成するビット量を変更するように制御されることを
    特徴とする請求項１０記載のデータ伝送方法。
  12. 【請求項１２】 上記制御工程では、上記符号化工程に
    て生成する上記符号化データの解像度を変更するように
    制御されることを特徴とする請求項１０記載のデータ伝
    送方法。
  13. 【請求項１３】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムであって、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じてエラー情報を出力する送受信工程
    と、 上記送受信工程にて入力された制御情報に基づいて、フ
    レーム間順方向予測符号化画像をフレーム内予測符号化
    画像に変更するように制御する制御工程とを有すること
    を特徴とするデータ伝送プログラム。
  14. 【請求項１４】 上記エラー情報は、上記受信装置に伝
    送された上記符号化データのうち、フレーム内予測符号
    化画像又はフレーム間予測符号化画像に発生したエラー
    に関する情報であることを特徴とする請求項１３記載の
    データ伝送プログラム。
  15. 【請求項１５】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムであって、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に伝送されたビット量の情報を
    出力する送受信工程と、 上記送受信工程にて入力された所定単位時間のビット量
    と当該単位時間に上記符号化工程にて生成されたビット
    量とに基づいて、生成するビット量を変更するように制
    御する制御工程とを有することを特徴とするデータ伝送
    プログラム。
  16. 【請求項１６】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムであって、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に再生されたフレーム数の情報
    を出力する送受信工程と、 上記送受信工程にて入力された所定単位時間のフレーム
    数と当該単位時間に上記符号化工程にて生成されたフレ
    ーム数とに基づいて、生成するフレーム数を変更するよ
    うに制御する制御工程とを有することを特徴とするデー
    タ伝送プログラム。
  17. 【請求項１７】 上記制御工程では、上記符号化工程に
    て生成するビット量を変更するように制御されることを
    特徴とする請求項１６記載のデータ伝送プログラム。
  18. 【請求項１８】 上記制御工程では、上記符号化工程に
    て生成する上記符号化データの解像度を変更するように
    制御されることを特徴とする請求項１６記載のデータ伝
    送プログラム。
  19. 【請求項１９】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムが記録された記録媒体であって、 上記データ伝送プログラムは、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じてエラー情報を出力する送受信工程
    と、 上記送受信工程にて入力された上記エラー情報に基づい
    て、フレーム間順方向予測符号化画像をフレーム内予測
    符号化画像に変更するように制御する制御工程とを有す
    ることを特徴とするデータ伝送プログラムが記録された
    記録媒体。
  20. 【請求項２０】 上記エラー情報は、上記受信装置に伝
    送された上記符号化データのうち、フレーム内予測符号
    化画像又はフレーム間予測符号化画像に発生したエラー
    に関する情報であることを特徴とするデータ伝送プログ
    ラムが記録された請求項１９記載の記録媒体。
  21. 【請求項２１】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムが記録された記録媒体であって、 上記データ伝送プログラムは、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に伝送されたビット量の情報を
    出力する送受信工程と、 上記送受信工程にて入力された所定単位時間の制御情報
    と当該単位時間に上記符号化工程にて生成されたビット
    量とに基づいて、生成するビット量を変更するように制
    御する制御工程とを有することを特徴とするデータ伝送
    プログラムが記録された記録媒体。
  22. 【請求項２２】 画像を符号化した符号化データを、所
    定の伝送レートの伝送路を介して受信装置に伝送するデ
    ータ伝送プログラムが記録された記録媒体であって、 上記データ伝送プログラムは、 上記画像を符号化して上記符号化データとして出力する
    符号化工程と、 上記符号化データが伝送された上記受信装置から入力し
    た状態情報に応じて実際に再生されたフレーム数の情報
    を出力する送受信工程と、 上記送受信工程にて入力された所定単位時間の制御情報
    と当該単位時間に上記符号化工程にて生成されたフレー
    ム数とに基づいて、生成するフレーム数を変更するよう
    に制御する制御工程とを有することを特徴とするデータ
    伝送プログラムが記録された記録媒体。
  23. 【請求項２３】 上記制御工程では、上記符号化工程に
    て生成するビット量を変更するように制御されることを
    特徴とするデータ伝送プログラムが記録された請求項２
    ２記載の記録媒体。
  24. 【請求項２４】 上記制御工程では、上記符号化工程に
    て生成する上記符号化データの解像度を変更するように
    制御されることを特徴とするデータ伝送プログラムが記
    録された請求項２２記載の記録媒体。
JP2001209725A 2001-07-10 2001-07-10 データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体 Pending JP2003023639A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001209725A JP2003023639A (ja) 2001-07-10 2001-07-10 データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001209725A JP2003023639A (ja) 2001-07-10 2001-07-10 データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2003023639A true JP2003023639A (ja) 2003-01-24

Family

ID=19045342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001209725A Pending JP2003023639A (ja) 2001-07-10 2001-07-10 データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP2003023639A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100946A1 (ja) * 2005-03-24 2006-09-28 Pioneer Corporation 画像信号再符号化装置及び画像信号再符号化方法
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
JP2013005429A (ja) * 2011-06-10 2013-01-07 Chicony Electronics Co Ltd 画質調整機能を有する映像伝送方法及びシステム
US8964855B2 (en) 2008-05-12 2015-02-24 Canon Kabushiki Kaisha Data transmission apparatus, data transmission method, and program
JP2016519466A (ja) * 2013-03-15 2016-06-30 クアルコム，インコーポレイテッド ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法
JP2018019262A (ja) * 2016-07-28 2018-02-01 サイレックス・テクノロジー株式会社 映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラム
WO2021140768A1 (ja) 2020-01-09 2021-07-15 ソニーグループ株式会社 送信装置、送信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04334189A (ja) * 1991-05-09 1992-11-20 Mitsubishi Electric Corp 画像伝送装置
JPH1028269A (ja) * 1995-08-02 1998-01-27 Matsushita Electric Ind Co Ltd 画像符号化装置およびそれを用いた画像伝送システムならびにそこで用いられる量子化制御方法および平均スループット算出方法
JP2001025013A (ja) * 1999-07-12 2001-01-26 Matsushita Electric Ind Co Ltd 送受信方法及びその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04334189A (ja) * 1991-05-09 1992-11-20 Mitsubishi Electric Corp 画像伝送装置
JPH1028269A (ja) * 1995-08-02 1998-01-27 Matsushita Electric Ind Co Ltd 画像符号化装置およびそれを用いた画像伝送システムならびにそこで用いられる量子化制御方法および平均スループット算出方法
JP2001025013A (ja) * 1999-07-12 2001-01-26 Matsushita Electric Ind Co Ltd 送受信方法及びその装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100946A1 (ja) * 2005-03-24 2006-09-28 Pioneer Corporation 画像信号再符号化装置及び画像信号再符号化方法
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
US8964855B2 (en) 2008-05-12 2015-02-24 Canon Kabushiki Kaisha Data transmission apparatus, data transmission method, and program
JP2013005429A (ja) * 2011-06-10 2013-01-07 Chicony Electronics Co Ltd 画質調整機能を有する映像伝送方法及びシステム
JP2016519466A (ja) * 2013-03-15 2016-06-30 クアルコム，インコーポレイテッド ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させるための方法
JP2018019262A (ja) * 2016-07-28 2018-02-01 サイレックス・テクノロジー株式会社 映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラム
WO2021140768A1 (ja) 2020-01-09 2021-07-15 ソニーグループ株式会社 送信装置、送信方法

Similar Documents

Publication Publication Date Title
US8355437B2 (en) Video error resilience
US8848790B2 (en) Encoding processing apparatus and method for a moving image
EP1605347B1 (en) Method and system for buffering streamed data
AU2004234896B2 (en) Picture coding method
JP3900413B2 (ja) 映像情報伝送方式およびプログラム
RU2385541C2 (ru) Изменение размера буфера в кодере и декодере
KR100711635B1 (ko) 화상 부호화 방법
US6611561B1 (en) Video coding
US8374236B2 (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
JP2004507178A (ja) ビデオ信号符号化方法
AU2002231829A1 (en) Method and system for buffering streamed data
JP3668110B2 (ja) 画像伝送システムおよび画像伝送方法
JP2009512265A (ja) ネットワーク上の動画データ伝送制御システムとその方法
JP2003023639A (ja) データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
US8290063B2 (en) Moving image data conversion method, device, and program
Jaiswal Media Coding and Distribution over Unreliable Networks: Some Issues

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705