JP2003324733A - 動画像送受信システムおよび動画像送受信方法 - Google Patents

動画像送受信システムおよび動画像送受信方法

Info

Publication number
JP2003324733A
JP2003324733A JP2002129462A JP2002129462A JP2003324733A JP 2003324733 A JP2003324733 A JP 2003324733A JP 2002129462 A JP2002129462 A JP 2002129462A JP 2002129462 A JP2002129462 A JP 2002129462A JP 2003324733 A JP2003324733 A JP 2003324733A
Authority
JP
Japan
Prior art keywords
moving image
header
data
image
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002129462A
Other languages
English (en)
Other versions
JP3927443B2 (ja
Inventor
Tatsuya Fujii
竜也 藤井
Mitsuru Nomura
充 野村
Tetsuo Fujii
哲郎 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002129462A priority Critical patent/JP3927443B2/ja
Publication of JP2003324733A publication Critical patent/JP2003324733A/ja
Application granted granted Critical
Publication of JP3927443B2 publication Critical patent/JP3927443B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 複数の符号化器と復号器を用いた並列処理に
よる画像送受信に、受信側の処理を簡略化して符号化デ
ータ系列の高速な伝送と超高解像度の動画像の伝送およ
びエラーの少ない伝送を可能にする。 【解決手段】 符号化部11で並列処理された符号化デ
ータ系列の多重化に際して、受信側でのデータ分配・並
列処理による復号に必要な情報を記したヘッダを生成回
路11Dで作成し、符号化データ系列とは別のソケット
間通信を行う。また、ヘッダに関して、TCP/IPに
よる誤り訂正再送機能に加えて、さらに別個の誤り訂正
符号の付加と受信側での誤り検出・訂正、ないしヘッダ
の複製の多重送信と受信側での多数決判断を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、送信側では圧縮
アルゴリズムを用いて符号化した画像データを、パケッ
ト伝送ネットワークを通じて伝送し、これを受信する受
信側では復号・伸張して元の画像信号を再生する動画像
送受信システムおよび送受信方法に係り、特に、符号
化、復号処理を画面分割による並列処理に関する。
【0002】
【従来の技術】動画像をネットワーク伝送する場合、限
られた通信帯域の中で効率的で高品質な画像送受信を行
うためには、何らかのデータ圧縮アルゴリズムを用いて
動画像データの総情報量を少なくするための符号化処理
を行ってから伝送することが広く行われている。この場
合、送信側で画像データを圧縮する符号化処理回路と、
受信側で圧縮データを伸長する復号処理回路が必要にな
る。しかし現在の半導体技術では、LSIとして1チッ
プ化出来るハードウェアの規模の範囲で、リアルタイム
圧縮・伸長処理が出来るのは、走査線数が1000本程
度のHDTV品質までである。しかし、映画のような高
い解像度の動画像をディジタル画像としてネットワーク
で伝送する為には、縦横2000×2000画素を越え
るような非常に高い解像度を有する画像を伝送すること
が必要になり、このときの所要符号化伝送レートは10
0Mbpsを超える場合が生じる。
【0003】このような極めて高い解像度の動画像を伝
送するためには、1つの画像圧縮・符号化器と画像伸長
・復号器を用いるだけでは処理能力が不足するので、複
数の符号化器と復号器を用意して並列処理することにな
る。この並列処理のためには、複数の符号化器で発生す
る画像データを送信側で多重化し、また受信側では、複
数の復号器に分配する処理が必要になる。
【0004】従来の動画像送受信システムでは、1つの
伝送チャネルで画像データを伝送している。送信側で単
一のチャネルの中に複数のデータを多重化して送出す
る。従来の構成例を図3に示す。送信側では、画像デー
タ符号化部1のフレーム分割回路1Aで画像信号を分割
し、各領域画像を複数の符号化器1Bで符号化し、その
処理結果を多重化回路1Cで直列な1つのデータ系列に
変換し、データ蓄積回路2に符号データとして保存す
る。この際、送信側の複数の符号化器から出力される符
号化データは、分割された画像の内容に応じてデータ長
が異なるので、区切り用の識別コードを埋め込んで直列
化するか、図4のように、データ系列の先頭に、分離す
べき各データ系列のバイト数を格納したヘッダを挿入す
る方法が採られる。
【0005】画像信号の伝送に際しては、伝送路中での
伝送誤りを考慮する必要がある。IPパケットネットワ
ークを用いた動画像送受信システムでは、データ伝送プ
ロトコルとしてUDPとTCPが主に使われる。UDP
はマルテチキャストに対応するが、伝送プロトコル自体
はエラー訂正機能を持たないので、伝送エラーが生じた
場合はデータを捨てて、次の動画像フレームまで、復号
処理を中断するか、アプリケーション側でエラー検出・
訂正、データ再送の処理を行う必要がある。伝送プロト
コルにエラー検出、データ再送機能を求める場合は、T
CPによるデータ伝送が用いられる。この場合は、IP
送信部3の前段にある誤り検出符号付加回路3Aで、誤
り検出用のCRCが計算され、IP送信回路3Bにより
符号化データととも送信される。
【0006】TCPプロトコルを用いたデータ伝送の場
合、IP受信部4のIP受信回路4Aで受信したTCP
/IPパケットデータ系列は、誤り検出・再送制御回路
4Bで、伝送誤りの有無をチェックし、誤りの場合は送
信側にエラー訂正のためのデータパケットの再送を要求
する。画像データ復号部5では、受信した画像データ系
列を、先に挿入した識別符号あるいはヘッダを用いて、
分配回路5Aにより並列処理するデータ系列ごとに再分
解して、それを各復号器5Bに入力する。
【0007】各復号器5Bでは、分配された符号化デー
タから伸張処理を並列して行う。画像バッファ5Cで
は、各復号器で伸張された動画像データを1つのフレー
ム画像に統合し、1つの完全な画像フレームを構成して
出力する。フレーム周期の間に次のフレームの復号・画
像統合の処理を繰り返し、連続した動画像信号を逐次出
力する。
【0008】
【発明が解決しようとする課題】上述のように、大容量
の画像を符号化するには複数の符号化回路で並列処理す
るが、従来はこの複数の符号化器のデータ系列を1チャ
ネルの伝送路で伝送できるように、1つのデータ系列に
多重化する処理を行っていた。
【0009】この並列処理による画像の符号化・復号処
理を用いた画像送受信システムでは、高速な画像データ
の多重化・分離処理が必要になる。映画のような高解像
度の画像を符号化して伝送する場合は、200Mbps
以上データ伝送速度が必要となる場合があるが、この識
別符号を検出することが処理速度におけるネックとな
る。
【0010】また、ヘッダを用いた場合は、1つの画像
フレームが読み終わるまで、次のヘッダが伝送されない
が、このヘッダ情報に基づき、次の画像データ系列の本
体部分が読み出されるので、そこに1伝送路遅延等によ
る時間的なギャップが生じて、スループットの低下につ
ながる。
【0011】また、映画のディジタル配信を考えた場
合、2時間以上のデータを連続して流すこととなり、そ
の総データ量は1Tbit以上にもなるので、通常のT
CP/IP伝送では検出できないで通過するエラーが発
生する確率が無視できなくなる。識別符号やヘッダの部
分に伝送エラーが発生すると、各復号器にデータが正確
に分配されないので、符号化の動作に決定的な不調を起
こす原因となる。
【0012】本発明の目的は、複数の符号化器と復号器
を用いた並列処理による画像送受信処理と、TCP/I
P等によるパケット伝送ネットワークを用いた大容量・
高解像度の動画像送受信システムにおいて、受信側の処
理を簡略化して符号化データ系列の高速な伝送を可能に
し、超高解像度の動画像の伝送を可能にすることであ
る。
【0013】また、本発明の他の目的は、ヘッダの伝送
誤り耐性を強化することで、極めて大容量の動画像デー
タの伝送において、通常のTCP/IP等によるパケッ
ト伝送ネットワークで伝送する場合よりはるかにエラー
の少ない動画像の伝送を可能にすることである。
【0014】
【課題を解決するための手段】本発明における動画像送
受信システムでは、IP等の伝送路のうえで符号化部で
並列処理された符号化データ系列の多重化に際して、受
信側でのデータ分配・並列処理による復号に必要な情報
を記したヘッダを作成し、符号化データ系列とは別個の
ソケット間通信を行う。また、ヘッダに関して、TCP
/IP等による誤り訂正再送機能に加えて、さらに別個
の誤り訂正符号の付加と受信側での誤り検出・訂正、な
いしヘッダの複製の多重送信と受信側での多数決判断を
行う。
【0015】さらに詳細には、本発明は、画像データ符
号化部において、入力画像を複数の部分領域に分割して
並列に圧縮・符号化し、これを多重化する際に、各符号
化器のデータ長を内容とするテーブル・ヘッダを生成す
る手段と、ヘッダ分離・冗長化部で、ヘッダを分離して
これに誤り訂正符号を付けるか、ヘッダそのものを複数
個コピーする手段と、TCP/IP送信部において、画
像データ符号化部で得られた複数の圧縮済み画像データ
を、多重化して直列にしたデータ系列と、先に分離した
冗長化ヘッダ情報を別のソケット間通信を用いて別個の
データパスでIP伝送路に向けて伝送する手段とを備
え、TCP/IP受信部において、IP伝送路から受信
した画像データ系列と冗長化ヘッダを並行して受信・バ
ッファリングする手段と、ヘッダ誤り検出部において受
信ヘッダの誤り検出・誤り訂正を行う手段と、画像デー
タ復号部において有効なヘッダの内容に応じて、複数の
復号器にデータを分配して、復号器で並列に画像データ
の復号処理を行い、受信ヘッダが有効でないと判定され
た場合は、復号器の処理を次の有効ヘッダが受信される
まで復号器の動作を停止させて、有効に復号できた最近
の画像を出力し続ける手段とを備えるもので、以下の動
画像送受信システム、動画像送受信方法を特徴とする。
【0016】(動画像送受信システム) (1)動画像送信装置は動画像信号をフレーム毎に圧縮
して蓄積し、これを分割して、パケット伝送ネットワー
クを通じて伝送し、動画像受信装置は前記パケット伝送
された動画像信号を受信し、この動画像信号を復号・伸
張して再生する動画像送受信システムにおいて、前記動
画像送信装置は、各フレームの画像を複数の領域に分割
し、それぞれ独立して符号化・圧縮を行う手段と、この
符号化データ群を1つのストリームに集合して、領域ご
とのデータ長をテーブルとしてヘッダを算出する手段
と、このヘッダを、パケット伝送する符号化データのス
トリームとは別に、各画像フレーム毎の伝送データ長を
平行して、かつ、予め別のストリームとして並列伝送す
る手段とを有し、前記動画像受信装置は、前記画像デー
タ系列と冗長化ヘッダを並行して受信し、前記ヘッダの
内容に応じて、複数の復号器にデータを分配して、復号
器で並列に画像データの復号・伸長処理することを特徴
とする。
【0017】(2)動画像送信装置は動画像信号をフレ
ーム毎に圧縮して蓄積し、これを分割して、パケット伝
送ネットワークを通じて伝送し、動画像受信装置は前記
パケット伝送された動画像信号を受信し、この動画像信
号を復号・伸張して再生する動画像送受信システムにお
いて、前記動画像送信装置は、各フレームの画像を複数
の領域に分割し、それぞれ独立して符号化・圧縮を行
い、この符号化データ群を1つのストリームに集合し
て、領域ごとのデータ長になるヘッダを算出し、このヘ
ッダをパケット伝送する符号化データのストリームとは
別のストリームとして並列伝送し、前記動画像受信装置
は、ネットワークを通じて受信した画像データ系列と冗
長化ヘッダを並行して受信・バッファリングする手段
と、受信ヘッダの誤り検出・誤り訂正を行う手段と、前
記冗長化ヘッダのうち有効なヘッダと判定した場合は複
数の復号器にデータを分配して、復号器で並列に画像デ
ータの復号処理を行い、受信ヘッダが有効でないと判定
された場合は復号器の処理を次の有効ヘッダが受信され
るまで復号器の動作を停止させて、有効に復号できた最
近の画像を出力し続ける手段とを有することを特徴とす
る。
【0018】(3)前記動画像送信装置はデータ長テー
ブルを複数回伝送し、前記動画像受信装置は、受信結果
からの多数決をとり、その結果の各データ長の情報を元
に、受信画像データ列を分解し、各データに列に対応し
た復号回路を用いて並列に画像の伸張処理を行う手段を
有することを特徴とする。
【0019】(4)前記動画像送信装置はデータ長テー
ブルに誤り訂正符号を付加して伝送し、前記動画像受信
装置は、受信結果の誤り検出・訂正結果のヘッダ情報か
ら、各データ長の情報を元に、受信画像データ列を分解
し、各データに列に対応した復号回路を用いて並列に画
像の伸張処理を行う手段を有することを特徴とする。
【0020】(5)前記動画像送信装置および動画像受
信装置は、動画像データとヘッダをTCP/IPストリ
ームとして送受信し、TCP誤り検出再送制御手段を備
えたことを特徴とする。
【0021】(動画像送受信方法) (6)動画像送信装置は動画像信号をフレーム毎に圧縮
して蓄積し、これを分割して、パケット伝送ネットワー
クを通じて伝送し、動画像受信装置は前記パケット伝送
された動画像信号を受信し、この動画像信号を復号・伸
張して再生する動画像送受信方法において、前記動画像
送信装置は、各フレームの画像を複数の領域に分割し、
それぞれ独立して符号化・圧縮を行う過程と、この符号
化データ群を1つのストリームに集合して、領域ごとの
データ長をテーブルとしてヘッダを算出する過程と、こ
のヘッダを、パケット伝送する符号化データのストリー
ムとは別に、各画像フレーム毎の伝送データ長を平行し
て、かつ、予め別のストリームとして並列伝送する過程
とを有し、前記動画像受信装置は、前記画像データ系列
と冗長化ヘッダを並行して受信し、前記ヘッダの内容に
応じて、複数の復号器にデータを分配して、復号器で並
列に画像データの復号・伸長処理することを特徴とす
る。
【0022】(7)動画像送信装置は動画像信号をフレ
ーム毎に圧縮して蓄積し、これを分割して、パケット伝
送ネットワークを通じて伝送し、動画像受信装置は前記
パケット伝送された動画像信号を受信し、この動画像信
号を復号・伸張して再生する動画像送受信方法におい
て、前記動画像送信装置は、各フレームの画像を複数の
領域に分割し、それぞれ独立して符号化・圧縮を行い、
この符号化データ群を1つのストリームに集合して、領
域ごとのデータ長になるヘッダを算出し、このヘッダを
パケット伝送する符号化データのストリームとは別のス
トリームとして並列伝送し、前記動画像受信装置は、ネ
ットワークを通じて受信した画像データ系列と冗長化ヘ
ッダを並行して受信・バッファリングする過程と、受信
ヘッダの誤り検出・誤り訂正を行う過程と、前記冗長化
ヘッダのうち有効なヘッダと判定した場合は複数の復号
器にデータを分配して、復号器で並列に画像データの復
号処理を行い、受信ヘッダが有効でないと判定された場
合は復号器の処理を次の有効ヘッダが受信されるまで復
号器の動作を停止させて、有効に復号できた最近の画像
を出力し続ける過程とを有することを特徴とする。
【0023】(8)前記動画像送信装置はデータ長テー
ブルを複数回伝送し、前記動画像受信装置は、受信結果
からの多数決をとり、その結果の各データ長の情報を元
に、受信画像データ列を分解し、各データに列に対応し
た復号回路を用いて並列に画像の伸張処理を行う過程を
有することを特徴とする。
【0024】(9)前記動画像送信装置はデータ長テー
ブルに誤り訂正符号を付加して伝送し、前記動画像受信
装置は、受信結果の誤り検出・訂正結果のヘッダ情報か
ら、各データ長の情報を元に、受信画像データ列を分解
し、各データに列に対応した復号回路を用いて並列に画
像の伸張処理を行う過程を有することを特徴とする。
【0025】(10)前記動画像送信装置および動画像
受信装置は、動画像データとヘッダをTCP/IPスト
リームとして送受信し、TCP誤り検出再送制御過程を
備えたことを特徴とする。
【0026】(作用)本発明による動画像送受信システ
ムおよび動画像送受信方法では、複数の符号化器から送
出されるデータ系列は、そのまま1つの伝送チャネルで
伝送され、受信側で一回の受信操作でどれだけのデータ
を読み込むかは、別のチャネルを通じて送られたヘッダ
情報を参照して行うことで、送信側と受信側で同じバイ
ト数のブロック書き込み/読み出しの処理が出来、バッ
ファの利用効率が高くデータ伝送のスループットが向上
する。この際、データ系列にはヘッダが多重化されてい
ないので、前のデータ系列が受信されて、復号器に向け
て転送されている間に、受信回路によって同時進行でヘ
ッダ情報を読み出すことが出来るので、符号化データ系
列の転送をとぎれなく行うことが出来て、スループット
が向上する。この傾向は、TCP/IP送受信回路をハ
ードウェアで、受信側のエラー検出・訂正・復号器制御
をソフトウェアで行う構成とした時に特に顕著である。
また、TCP/IPで検出が出来ずに通過したヘッダ情
報のエラーに対して、再度エラー検出を行うため、受信
側の復号器が誤動作を起こす可能性を飛躍的に低減でき
る。
【0027】
【発明の実施の形態】本発明による、動画像送受信シス
テムと送信装置および受信装置の実施形態を図1,図2
を参照して以下に詳細に説明する。
【0028】図1は動画像データ送信装置を示し、入力
された動画像データは、まず画像データ符号化部11の
領域分割回路11Aで各フレーム毎に複数の領域に分割
される。分割方法としては画像のフレームを縦横に分割
してもよいし、縦ないし横方向に短冊状に分割してもよ
い。
【0029】分割された画像データは、それぞれ独立し
た符号化回路11Bで並列に符号化され、多重化回路1
1Cにより、1つのデータ系列に集められる。このとき
図4の例のように、ヘッダ生成回路11Dにおいて、各
符号化回路から生成した符号化データのバイト数を内容
とするテーブルを作成し、データ系列の先頭に付与した
のち、ハードディスク等のデータ蓄積回路12に蓄積さ
れる。
【0030】データ蓄積回路12に蓄積しておいた符号
化データ系列を送信するとき、ヘッダ分離・冗長化部1
3は、データ蓄積回路12に蓄積する符号化データを読
み出し、データ分離回路13Aにより符号化データの先
頭に付加したヘッダ情報を先に取り出す。
【0031】ヘッダ情報冗長化回路13Bは、分離抽出
されたヘッダ情報を冗長化する。この冗長化は、伝送誤
りに対する耐性を高めるために誤り訂正符号を付加する
か、ヘッダそのものを複数回、受信側で多数決判断が行
いやすいように3回以上の奇数回を伝送する方法が簡便
である。この場合、伝送されるヘッダのデータ量は、3
倍以上となるが、画像データ系列に比べると、はるかに
少ないデータ量なので伝送効率の点では問題とはならな
い。
【0032】TCP/IP送信部14は、ソケット多重
化伝送回路14Aにおいて、冗長化したヘッダと符号化
データとを多重化した画像データ系列を生成し、TCP
誤り検出再送制御回路14Bでは画像データ系列に対し
て、別のソケット番号を用いた個別のソケット間通信に
よって並行に伝送する制御を行い、IP送信回路14C
から送信する。
【0033】その送信の際、ヘッダと画像データ系列を
分割したIPパケットのそれぞれの群は、TCPの規約
に則してシーケンス番号が振られて、伝送路でのパケッ
トロスが検知できるようになっている。また、ビット誤
りについては、各IPパケットについてCRC−32が
計算され付与される。
【0034】図2は、動画像データ受信装置を示し、T
CP/IP受信部15では、IP受信回路15Aで受信
した画像データ系列について、TCP誤り検出再送制御
回路15BではIPパケットに関するCRC−32の一
致判定を行い、さらにTCPのシーケンス番号を検定す
る。多くの伝送エラーはこの2つのチェックで検出が可
能で、エラーが検出された場合は、送信側に正しく受信
されるまで再送を要求する。正しく送信されたとき、ソ
ケット分離回路15Cはソケット分離を行い、ソケット
バッファ15Dにそれぞれ一時保存する。
【0035】ヘッダ誤り検出部16では、ヘッダ誤り検
出訂正回路16Aにて冗長化された受信ヘッダについて
誤り検出と訂正を行う。たとえば、送信側で同じヘッダ
を3回送る方法を採った場合は、誤り検出は単純な多数
決回路で実現される。ヘッダ誤り検出部16で、有効と
認められたヘッダの内容、つまり、各復号回路に分配さ
れるべきデータ長の情報に基づいて、TCP/IP受信
部から、画像データ復号部17ヘデータのブロック転送
を行う。
【0036】画像データ復号部17では、分配回路17
Aで各復号回路17Bに符号化データを分配する、復号
回路17Bに送られたデータは伸張処理され、短冊状に
分割した画像ブロックに再生されるので、これを画像統
合バッファ17Cに送り、そこで、1フレームの画像信
号に再構成して出力とする。
【0037】以上の構成において、伝送誤りのない受信
画像信号は並列に動作する複数の復号回路によって順次
復号する。復号された画像は、送信側の画像データ符号
化部11の領域分割回路11Aで分割された領域画像に
位置的に1対1に対応するが、復号された画像が信号値
的にどれだけ元の画像に類似するかは、符号化器と復号
器で使用される画像の圧縮・伸張アルゴリズムに依存す
る。
【0038】たとえば、画素間の差分を符号化する差分
符号化に代表させる可逆圧縮伸張アルゴリズムを用いた
場合は、伝送誤りがない限り送信側と受信側には同一の
画像信号を送受信することになる。
【0039】一般的には、圧縮率が高いJPEGに代表
される非可逆圧縮アルゴリズムが広く用いられるが、受
信側で復号される信号は若干の符号化損失を含み画像の
品質が劣化する。符号化データ系列に伝送誤りが生じ
て、復号処理が異常となる場合は、符号器でエラーを検
出し、他の復号器の処理結果も併せて復号データを棄却
し、画像統合バッファにある前のフレームの画像を再度
表示する。
【0040】
【発明の効果】本発明による動画像送受信システムおよ
び動画像送受信方法では、ソケット信号で識別されるソ
ケット間通信ごとにバッファを持つ。通常、画像データ
系列の長さはこのバッファよりも大きくなるので、受信
側の画像データ復号部に転送された分だけ、ソケット受
信バッファに空きが出来て、送信側から後続のパケット
が到達することになる。一方、ヘッダは、バッファに対
して容量が小さいので、送信側で、前のフレームの符号
化データ系列の最後尾が送信され、次のフレームのヘッ
ダ情報が送信された時点で、受信側の別のソケット受信
バッファに到達し保持されるので、受信側で即座に利用
することが出来る。
【0041】受信側の画像データ復号部では、前フレー
ムの符号化データ系列がすべて復号されると、即座に次
のヘッダの解析を行うことが出来るので、次のフレーム
の符号化データ系列の読み込みを即座に行うことが出来
る。前フレームの符号化データ、次フレームのヘッダ、
次フレームの符号化データを逐次的に伝送する場合に比
べ、伝送路の遅延等の影響を受けないで、可変長の符号
化データ系列を連続して高速に伝送することが出来る。
【0042】また、ヘッダの冗長化、誤り検出・訂正を
併用することにより、総データ伝送量をわずかに増やす
だけで、復号器の動作を大幅に安定化できる。ヘッダに
関して、エラー発生頻度を極めて低くできる。符号化デ
ータ系列、ヘッダの双方ともTCP/IPの誤り検出再
送機能に加えてもう一段の誤り訂正を行うことで、復号
側の動作不調の大きな要因となるヘッダの伝送誤りの発
生率を大幅いに低減できる。
【0043】符号化データ系列については、TCP/I
Pの持つエラー訂正機能以上のデータ保護はされていな
いので、伝送エラーが混入して、復号処理が異常となる
ことがあり得るが、この場合は、符号器でエラーを検出
し、画像統合バッファにある前のフレームの画像を再度
表示することで、視覚上の顕著な画像劣化を回避でき
る。また、ヘッダは保護されているので、送信側から送
られてくる次の符号化データ系列の境界を見失うことは
ない。
【図面の簡単な説明】
【図1】本発明の実施形態を示す動画像データ送信装置
の構成図。
【図2】本発明の実施形態を示す動画像データ受信装置
の構成図。
【図3】従来の動画像データ伝送装置の構成図。
【図4】分割された動画像フレームの領域分割とその符
号化と符号化データストリームの説明図。
【符号の説明】
1、11…画像データ符号化部 2、12…データ蓄積回路 3…IP送信部 4…IP受信部 5…画像データ復号部 13…ヘッダ分離・冗長化部 14…TCP/IP送信部 15…TCP/IP受信部 16…ヘッダ誤り検出部 17…画像データ復号部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤井 哲郎 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5C053 FA17 FA23 GB14 GB15 GB21 JA21 LA15 5C059 KK00 KK13 LC00 RA06 RC28 RF01 RF04 RF07 RF23 RF30 SS21 UA02 UA05 UA31 5K034 AA01 CC02 MM24

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 動画像送信装置は動画像信号をフレーム
    毎に圧縮して蓄積し、これを分割して、パケット伝送ネ
    ットワークを通じて伝送し、動画像受信装置は前記パケ
    ット伝送された動画像信号を受信し、この動画像信号を
    復号・伸張して再生する動画像送受信システムにおい
    て、 前記動画像送信装置は、各フレームの画像を複数の領域
    に分割し、それぞれ独立して符号化・圧縮を行う手段
    と、この符号化データ群を1つのストリームに集合し
    て、領域ごとのデータ長をテーブルとしてヘッダを算出
    する手段と、このヘッダを、パケット伝送する符号化デ
    ータのストリームとは別に、各画像フレーム毎の伝送デ
    ータ長を平行して、かつ、予め別のストリームとして並
    列伝送する手段とを有し、 前記動画像受信装置は、前記画像データ系列と冗長化ヘ
    ッダを並行して受信し、前記ヘッダの内容に応じて、複
    数の復号器にデータを分配して、復号器で並列に画像デ
    ータの復号・伸長処理することを特徴とする動画像送受
    信システム。
  2. 【請求項2】 動画像送信装置は動画像信号をフレーム
    毎に圧縮して蓄積し、これを分割して、パケット伝送ネ
    ットワークを通じて伝送し、動画像受信装置は前記パケ
    ット伝送された動画像信号を受信し、この動画像信号を
    復号・伸張して再生する動画像送受信システムにおい
    て、 前記動画像送信装置は、各フレームの画像を複数の領域
    に分割し、それぞれ独立して符号化・圧縮を行い、この
    符号化データ群を1つのストリームに集合して、領域ご
    とのデータ長になるヘッダを算出し、このヘッダをパケ
    ット伝送する符号化データのストリームとは別のストリ
    ームとして並列伝送し、 前記動画像受信装置は、ネットワークを通じて受信した
    画像データ系列と冗長化ヘッダを並行して受信・バッフ
    ァリングする手段と、受信ヘッダの誤り検出・誤り訂正
    を行う手段と、前記冗長化ヘッダのうち有効なヘッダと
    判定した場合は複数の復号器にデータを分配して、復号
    器で並列に画像データの復号処理を行い、受信ヘッダが
    有効でないと判定された場合は復号器の処理を次の有効
    ヘッダが受信されるまで復号器の動作を停止させて、有
    効に復号できた最近の画像を出力し続ける手段とを有す
    る、ことを特徴とする動画像送受信システム。
  3. 【請求項3】 前記動画像送信装置はデータ長テーブル
    を複数回伝送し、前記動画像受信装置は、受信結果から
    の多数決をとり、その結果の各データ長の情報を元に、
    受信画像データ列を分解し、各データに列に対応した復
    号回路を用いて並列に画像の伸張処理を行う手段を有す
    ることを特徴とする請求項1または2に記載の動画像送
    受信システム。
  4. 【請求項4】 前記動画像送信装置はデータ長テーブル
    に誤り訂正符号を付加して伝送し、前記動画像受信装置
    は、受信結果の誤り検出・訂正結果のヘッダ情報から、
    各データ長の情報を元に、受信画像データ列を分解し、
    各データに列に対応した復号回路を用いて並列に画像の
    伸張処理を行う手段を有することを特徴とする請求項1
    または2に記載の動画像送受信システム。
  5. 【請求項5】 前記動画像送信装置および動画像受信装
    置は、動画像データとヘッダをTCP/IPストリーム
    として送受信し、TCP誤り検出再送制御手段を備えた
    ことを特徴とする請求項1〜4のいずれか1項に記載の
    動画像送受信システム。
  6. 【請求項6】 動画像送信装置は動画像信号をフレーム
    毎に圧縮して蓄積し、これを分割して、パケット伝送ネ
    ットワークを通じて伝送し、動画像受信装置は前記パケ
    ット伝送された動画像信号を受信し、この動画像信号を
    復号・伸張して再生する動画像送受信方法において、 前記動画像送信装置は、各フレームの画像を複数の領域
    に分割し、それぞれ独立して符号化・圧縮を行う過程
    と、この符号化データ群を1つのストリームに集合し
    て、領域ごとのデータ長をテーブルとしてヘッダを算出
    する過程と、このヘッダを、パケット伝送する符号化デ
    ータのストリームとは別に、各画像フレーム毎の伝送デ
    ータ長を平行して、かつ、予め別のストリームとして並
    列伝送する過程とを有し、 前記動画像受信装置は、前記画像データ系列と冗長化ヘ
    ッダを並行して受信し、前記ヘッダの内容に応じて、複
    数の復号器にデータを分配して、復号器で並列に画像デ
    ータの復号・伸長処理することを特徴とする動画像送受
    信方法。
  7. 【請求項7】 動画像送信装置は動画像信号をフレーム
    毎に圧縮して蓄積し、これを分割して、パケット伝送ネ
    ットワークを通じて伝送し、動画像受信装置は前記パケ
    ット伝送された動画像信号を受信し、この動画像信号を
    復号・伸張して再生する動画像送受信方法において、 前記動画像送信装置は、各フレームの画像を複数の領域
    に分割し、それぞれ独立して符号化・圧縮を行い、この
    符号化データ群を1つのストリームに集合して、領域ご
    とのデータ長になるヘッダを算出し、このヘッダをパケ
    ット伝送する符号化データのストリームとは別のストリ
    ームとして並列伝送し、 前記動画像受信装置は、ネットワークを通じて受信した
    画像データ系列と冗長化ヘッダを並行して受信・バッフ
    ァリングする過程と、受信ヘッダの誤り検出・誤り訂正
    を行う過程と、前記冗長化ヘッダのうち有効なヘッダと
    判定した場合は複数の復号器にデータを分配して、復号
    器で並列に画像データの復号処理を行い、受信ヘッダが
    有効でないと判定された場合は復号器の処理を次の有効
    ヘッダが受信されるまで復号器の動作を停止させて、有
    効に復号できた最近の画像を出力し続ける過程とを有す
    る、ことを特徴とする動画像送受信方法。
  8. 【請求項8】 前記動画像送信装置はデータ長テーブル
    を複数回伝送し、前記動画像受信装置は、受信結果から
    の多数決をとり、その結果の各データ長の情報を元に、
    受信画像データ列を分解し、各データに列に対応した復
    号回路を用いて並列に画像の伸張処理を行う過程を有す
    ることを特徴とする請求項6または7に記載の動画像送
    受信方法。
  9. 【請求項9】 前記動画像送信装置はデータ長テーブル
    に誤り訂正符号を付加して伝送し、前記動画像受信装置
    は、受信結果の誤り検出・訂正結果のヘッダ情報から、
    各データ長の情報を元に、受信画像データ列を分解し、
    各データに列に対応した復号回路を用いて並列に画像の
    伸張処理を行う過程を有することを特徴とする請求項6
    または7に記載の動画像送受信方法。
  10. 【請求項10】 前記動画像送信装置および動画像受信
    装置は、動画像データとヘッダをTCP/IPストリー
    ムとして送受信し、TCP誤り検出再送制御過程を備え
    たことを特徴とする請求項6〜9のいずれか1項に記載
    の動画像送受信方法。
JP2002129462A 2002-05-01 2002-05-01 動画像送受信システムおよび動画像送受信方法 Expired - Lifetime JP3927443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002129462A JP3927443B2 (ja) 2002-05-01 2002-05-01 動画像送受信システムおよび動画像送受信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002129462A JP3927443B2 (ja) 2002-05-01 2002-05-01 動画像送受信システムおよび動画像送受信方法

Publications (2)

Publication Number Publication Date
JP2003324733A true JP2003324733A (ja) 2003-11-14
JP3927443B2 JP3927443B2 (ja) 2007-06-06

Family

ID=29542853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002129462A Expired - Lifetime JP3927443B2 (ja) 2002-05-01 2002-05-01 動画像送受信システムおよび動画像送受信方法

Country Status (1)

Country Link
JP (1) JP3927443B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182648A (ja) * 2007-01-26 2008-08-07 Sony Corp 送信装置、受信装置、パケット送信方法、パケット受信方法及びプログラム
JP2008533870A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド エラーが起こりやすい無線ブロードキャストチャネルで多重化する方法
JP2009164907A (ja) * 2008-01-07 2009-07-23 Nec Corp 再生装置、再生システム、再生方法、プログラム、及び記録媒体
JP2010021758A (ja) * 2008-07-10 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 無線通信システム
JP2010114814A (ja) * 2008-11-10 2010-05-20 Nec Corp 動画像処理装置
JP2011239046A (ja) * 2010-05-07 2011-11-24 Nec System Technologies Ltd 通信装置、通信システム及び通信方法
WO2013121609A1 (ja) * 2012-02-14 2013-08-22 Nttエレクトロニクス株式会社 画像処理装置
WO2015040824A1 (ja) * 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP2015061316A (ja) * 2013-09-20 2015-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
WO2016021153A1 (ja) * 2014-08-06 2016-02-11 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
WO2021038625A1 (ja) * 2019-08-23 2021-03-04 三菱電機株式会社 画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008533870A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド エラーが起こりやすい無線ブロードキャストチャネルで多重化する方法
US9252921B2 (en) 2005-03-10 2016-02-02 Qualcomm Incorporated Method of multiplexing over an error-prone wireless broadcast channel
JP2011024220A (ja) * 2005-03-10 2011-02-03 Qualcomm Inc エラーが起こりやすい無線ブロードキャストチャネルで多重化する方法
US7979561B2 (en) 2005-03-10 2011-07-12 Qualcomm Incorporated Method of multiplexing over an error-prone wireless broadcast channel
JP2011139476A (ja) * 2005-03-10 2011-07-14 Qualcomm Inc エラーが起こりやすい無線ブロードキャストチャネルで多重化する方法
US8132071B2 (en) 2007-01-26 2012-03-06 Sony Corporation Transmitting device, receiving device, packet transmission method, packet reception method, and programs for same
JP2008182648A (ja) * 2007-01-26 2008-08-07 Sony Corp 送信装置、受信装置、パケット送信方法、パケット受信方法及びプログラム
JP2009164907A (ja) * 2008-01-07 2009-07-23 Nec Corp 再生装置、再生システム、再生方法、プログラム、及び記録媒体
JP4561837B2 (ja) * 2008-01-07 2010-10-13 日本電気株式会社 再生装置、システム、方法、プログラム及びコンピュータ読取可能な記録媒体
US8355622B2 (en) 2008-01-07 2013-01-15 Nec Corporation Reproducing apparatus, reproducing system, reproducing method, and recording medium thereof
JP2010021758A (ja) * 2008-07-10 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 無線通信システム
JP2010114814A (ja) * 2008-11-10 2010-05-20 Nec Corp 動画像処理装置
US8755677B2 (en) 2008-11-10 2014-06-17 Nec Corporation Moving-picture processing device and moving-picture processing method
JP2011239046A (ja) * 2010-05-07 2011-11-24 Nec System Technologies Ltd 通信装置、通信システム及び通信方法
WO2013121609A1 (ja) * 2012-02-14 2013-08-22 Nttエレクトロニクス株式会社 画像処理装置
JP2015061316A (ja) * 2013-09-20 2015-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
WO2015040824A1 (ja) * 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6271074B1 (ja) * 2013-09-20 2018-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
JP2018057011A (ja) * 2013-09-20 2018-04-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
US10499113B2 (en) 2013-09-20 2019-12-03 Panasonic Intellectual Property Corporation Of America Transmission method, reception method, transmitting apparatus, and receiving apparatus
WO2016021153A1 (ja) * 2014-08-06 2016-02-11 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
WO2021038625A1 (ja) * 2019-08-23 2021-03-04 三菱電機株式会社 画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラム
JPWO2021038625A1 (ja) * 2019-08-23 2021-03-04
JP7170886B2 (ja) 2019-08-23 2022-11-14 三菱電機株式会社 画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラム

Also Published As

Publication number Publication date
JP3927443B2 (ja) 2007-06-06

Similar Documents

Publication Publication Date Title
JP4434242B2 (ja) 送信装置、受信装置、誤り訂正システム、送信方法及び誤り訂正方法
US5680322A (en) Method and apparatus for dynamic image data transmission
JP2001189713A (ja) データ伝送装置およびデータ伝送方法
EP1457052B1 (en) System and method for streaming multimedia over packet networks
US9246630B2 (en) Method, device, and system for forward error correction
JP5141197B2 (ja) 符号化装置
USRE41569E1 (en) Method of processing variable size blocks of data by storing numbers representing size of data blocks in a fifo
WO2009093292A1 (ja) 動画像送受信システム
US9497493B2 (en) Video transmission device, video reception device, and video communication system
EP1501228A1 (en) Encoded packet transmission/reception method, device thereof, and program
JP3927443B2 (ja) 動画像送受信システムおよび動画像送受信方法
US7839925B2 (en) Apparatus for receiving packet stream
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
JP2011172153A (ja) メディア符号化伝送装置
KR100916312B1 (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
JPH10200595A (ja) 可変長符号化データ伝送装置、送信側装置、受信側装置およびその方法
JP3130512B2 (ja) 画像通信方法、画像通信システム、および、画像通信プログラムを記録した記録媒体
JP2004120148A (ja) マルチメディアコンテンツ送信装置およびマルチメディアコンテンツ受信装置
EP1443774A1 (en) A method of encoding and decoding of data packets
JPH0865278A (ja) マルチメディア通信装置
JP3543776B2 (ja) 送信装置と受信装置とこれらを用いた伝送システム及び送信方法と受信方法とこれらを用いた伝送方法
JP2000316033A (ja) 送信装置、受信装置、データ伝送システム、及びデータ伝送方法
CN117749322A (zh) 一种数据传输方法和装置
JP2001069123A (ja) マルチメディアデータ通信装置及びその通信方法
JP2006295567A (ja) パケットストリーム受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070302

R150 Certificate of patent or registration of utility model

Ref document number: 3927443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term