JPWO2003092296A1 - Code conversion transmission method and apparatus for moving image data and code conversion reception method and apparatus - Google Patents

Code conversion transmission method and apparatus for moving image data and code conversion reception method and apparatus Download PDF

Info

Publication number
JPWO2003092296A1
JPWO2003092296A1 JP2004501992A JP2004501992A JPWO2003092296A1 JP WO2003092296 A1 JPWO2003092296 A1 JP WO2003092296A1 JP 2004501992 A JP2004501992 A JP 2004501992A JP 2004501992 A JP2004501992 A JP 2004501992A JP WO2003092296 A1 JPWO2003092296 A1 JP WO2003092296A1
Authority
JP
Japan
Prior art keywords
code conversion
moving image
data
transmission
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004501992A
Other languages
Japanese (ja)
Other versions
JP4803343B2 (en
Inventor
洋明 出井
洋明 出井
敦史 幡生
敦史 幡生
一範 小澤
一範 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2004501992A priority Critical patent/JP4803343B2/en
Publication of JPWO2003092296A1 publication Critical patent/JPWO2003092296A1/en
Application granted granted Critical
Publication of JP4803343B2 publication Critical patent/JP4803343B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

圧縮符号化データを入力して変換し伝送路に出力する符号変換伝送装置は、入力された符号化データと入力された符号化データを再符号化した符号化データ、又は、入力された符号化データをそれぞれ別々に再符号化した符号化データよりなる複数の符号化データを出力し、複数の符号化データを少なくとも１つの伝送路に送出する符号変換送信部を備えている。入力された符号化データと、再符号化した符号化データのそれぞれの少なくとも一部が伝送路に送出される。A code conversion transmission apparatus that inputs and converts compressed encoded data and outputs the encoded data to the transmission line is encoded data obtained by re-encoding the input encoded data and the input encoded data, or the input encoded data. A code conversion transmission unit is provided that outputs a plurality of pieces of encoded data composed of encoded data obtained by re-encoding the data separately and sends the plurality of pieces of encoded data to at least one transmission path. At least a part of each of the input encoded data and the re-encoded encoded data is transmitted to the transmission path.

Description

技術分野
本発明は、符号データの伝送技術に関し、特に、符号化された動画像データを受信し、伝送路でのデータ損失、データ誤りに対する耐性を有する方式のデータへ変換してその変換された動画像データを伝送する方法及び装置と、動画像符号化データを受信し復号する方法及び装置に関する。
背景技術
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮を行い、この高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方法では、時間的に前後に配置したフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データとを符号化することで、時間方向の相関が高い動画像データの情報量が削減される。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での動画像データ伝送を可能としている。
その代表例として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域に分割し、矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと予測残差画像データとに２次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。
しかしながら、従来の動画像伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では、そのエラーが発生したフレームの画像データを正しく復号できない。
このようなエラーに対する受信側での対策として、エラーフレームに対して時間的に前後に存在するとともに正しくデコードできたフレームの画像や、フレーム内でのエラー領域の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法があるが、このエラーコンシールメント手法によっても、復号画像の乱れを除去することは不可能である。さらに、フレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまう、という問題がある。
そして、マルチキャスト／ブロードキャストによる情報配信を用いる場合には、受信したデータにおける誤りや伝送パケットの欠落情報を受信側から送信側へ伝送することができない。また、受信側からエラー情報を折り返し、送信側へ伝送する場合、このフィードバック情報により、通信路の帯域が占有されることにもなる。
発明の開示
本発明の第１の目的は、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。
本発明の第２の目的は、画像データ伝送に使用することのできる伝送帯域と画質とのトレードオフを使用者が設定し得る方法及び装置を提供することにある。
本発明の第３の目的は、圧縮符号化データの復号に要する演算量の増大を防ぐことができる方法及び装置を提供することにある。
本発明の第４の目的は、受信側からのフィードバック情報を送信側に送ることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。
本発明に係る符号変換伝送装置は、圧縮符号化データを入力して変換し伝送路に出力する符号変換伝送装置であって、入力された符号化データ及び／又は、入力された符号化データを再符号化した符号化データよりなる複数の符号化データを少なくとも１つの伝送路に送出する符号変換送信手段を備えており、入力された符号化データと、再符号化した符号化データの少なくとも一部を伝送路に送出する。
本発明に係る符号変換受信装置は、上述した符号変換伝送装置から伝送路に送信された符号化データを受信する符号変換受信装置であって、受信する伝送路を選択する手段と、選択された伝送路から符号化データを受信し、正常に受信された符号化データに基づき、符号化データを再構成する手段と、を備えている。
本発明に係るシステムは、上述した符号変換伝送装置に対して上述した符号変換受信装置を複数備え、符号化データを配信する装置から送信された符号化データを符号変換伝送装置が受け取り、符号変換受信装置で受信されるシステム構成を有してもよい。
本発明の他のアスペクトに係る動画像データの符号変換伝送装置は、
（ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを送出する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、を備えている。
本発明の他のアスペクトに係る動画像データの符号変換受信装置は、上述した符号変換伝送装置からの符号化データを受け取る受信装置であって、
（ｄ）上述した第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
（ｅ）選択手段で選択された伝送路から複数の符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、を備えている。
本発明の他のアスペクトに係る動画像データの符号変換伝送装置は、
（ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、を備える。
本発明の他のアスペクトに係る動画像データの符号変換受信装置は、上述した符号変換伝送装置からの符号化データを受け取る受信装置であって、
（ｄ）上述した第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
（ｅ）選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、を備えている。
本発明の他のアスペクトに係る方法は、Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを出力するステップと、
（ｂ）第２乃至第Ｎの動画像符号変換送信手段、が、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、を含む。
本発明の他のアスペクトに係る受信方法は、Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択するステップと、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、を含む。
本発明の他のアスペクトに係るコンピュータプログラムは、動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させ、これによってコンピュータに動画像データの符号変換送信処理を実行させるものである。
本発明の他のアスペクトに係るコンピュータプログラムは、動画像データの符号変換受信装置を構成するコンピュータに動画像データの符号変換処理を実行させるプログラムであって、Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択する処理と、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する処理と、をコンピュータに実行させるためのプログラムである。
本発明においては、動画像圧縮符号化データの伝送エラーによる著しい復号画像の乱れを防ぐため、符号変換伝送装置において、情報提供源をなす動画像符号化装置（サーバ装置）からの符号化データを受信し、伝送路でのデータ損失、データ誤りに耐性を有する方式へとその符号化データを変換し、符号変換受信装置側へ送信する。
本発明において、符号変換伝送装置は、Ｎを２以上の整数、Ｍを１以上の整数として、第１乃至第Ｎの符号変換送信手段と、それらの第１乃至第Ｍの伝送路への送信手段を備え、動画像データをＮ個の符号化データに圧縮符号化して送信する。符号変換受信装置側はＭ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中で、例えば符号化の最も圧縮率が低く画質の良い符号化データを選択して復号する。
本発明において、第１乃至第Ｎの符号変換送信手段で得られたＮ個の符号化データは、一定又は適応的に変化する時間間隔を離間させて送信される。例えばクライアント端末をなす符号変換受信装置側は、Ｍ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く、画質の良い符号化データをフレーム又はパケット単位で選択する。符号変換受信装置からの符号化データは、復号装置（デコーダ）に受け渡されて復号される。
また、本発明では、第１乃至第Ｍの伝送路において使用することのできる伝送帯域にあわせて、第１乃至第Ｎの符号変換送信手段の圧縮率、及び／又は送信符号化データ数を選択することができる。また、第２乃至第Ｎの符号変換送信手段は第１の符号変換送信手段と同等、ないしはそれよりも高い圧縮率で符号化するか、その圧縮率を任意に設定することができる。
本発明において、複数の符号化データ送信に伴う受信側での演算量増大を防ぐため、符号変換伝送装置側は同一のフレーム又は同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中から少なくとも１個のフレーム又はパケット単位で選択して復号する。
より具体的には、本発明に係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて制御する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。
また、本発明の第２のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信パケットデータと同一画像領域を含む１個のパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。
また、本発明の第３のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。
また、本発明の第４のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように、当該パケットデータと同一画像領域を含む１個のパケットデータに符号化し、得られた符号化パケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信る制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。
また、本発明の第５のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。
また、本発明の第６のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号化手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように、当該パケットデータと同一画像領域を含む１個のパケットデータに符号化し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。
また、本発明の第７のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号化手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば、圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。
また、本発明の第８のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。
また、本発明の第９のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信パケットデータと同一画像領域を含む１個のパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。
本発明においては、Ｍを１以上の整数として、それぞれが、第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、第１乃至第Ｍの符号変換送信処理部の第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力は、それぞれ、第１乃至第Ｍの伝送路に送出される構成としてもよい。
あるいは、本発明においては、Ｍを１以上の整数として、それぞれが、第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、第１乃至第Ｍの符号変換送信処理部が、それぞれ、第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力を、時間間隔を離間させて多重化して出力する手段を備えた構成としてもよい。
また、本発明に係るシステムにおいては、動画像データの符号化装置と、上述の各アスペクトに係る変換伝送装置と、上述の各アスペクトに係る複数の符号変換受信装置と、符号変換受信装置に対応する複数の復号装置（デコーダ）とを備え、符号化装置からの符号化データを符号変換伝送装置が入力し、複数の符号変換受信装置が符号変換伝送装置からの出力を入力し、複数の復号装置が複数の符号変換受信装置からそれぞれ符号化データを入力して復号する構成としてもよい。
本発明は、バースト性の高い伝送エラーやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、もとのパケットと複製パケットの複数個の符号化データとの全てが、誤って伝送される確率は小さくなり、パケットロス発生時等にも、復号画像の劣化を、効率よく防止することができる、という効果を奏する。その理由は次の通りである。
本発明において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対し、符号変換伝送装置側は、第１乃至第Ｍの伝送路上で、第１乃至第Ｎの動画像符号変換送信手段を備えており、第１の動画像符号変換送信手段は、動画像データのフレーム又はパケットを、伝送レートにあわせて少なくとも一部を伝送するか、復号後、動画像データをＮ個の符号化データに圧縮符号化して、一定又は適応的に変化する時間間隔を離間させて送信し、第２乃至第Ｎの動画像符号変換送信手段は、入力されたフレームを、第１の動画像符号変換送信手段による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方、もしくは第１の符号変換送信手段で利用した参照フレーム画像を利用して符号化しており、符号変換受信装置側は、Ｍ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く画質の良い符号化データをフレーム又はパケット単位で選択して復号する構成としているためである。
本発明によれば、第１乃至第Ｍの伝送路により、伝送路で動画像データの伝送に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は送信符号化データ数を選択することができ、伝送路の状態もしくは動画像データ送信者の意図に沿った送信が可能である。
また、本発明によれば、第２乃至第Ｎの動画像符号変換送信手段は第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率で符号化し、また、第２乃至第Ｎの動画像符号変換送信手段による符号化データの送信制御においては、第１の動画像符号変換送信手段が符号化したフレーム又は画像領域の一部に対してだけ行うことが可能であるため、複数の符号化データ送信による伝送レートの増大を抑止することができる。
さらに、本発明によれば、符号変換伝送装置側は、同一のフレーム又は同一画像領域を含む符号化データを生成し、符号変換受信装置側は受信した複数の符号化データの中から１個だけをフレーム又はパケット単位で選択して復号するため、受信側は同一フレーム又は同一画像領域の復号のために、受信した２個の符号化データの中から少なくとも１個のデータを復号すればよいことから、受信側に要求される演算量の増大を抑えることができる。
その上、本発明によれば、符号変換伝送装置は、符号変換受信装置側からのフィードバック情報を用いることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができるため、フィードバック情報に要するトラヒックの増加が発生せず、また符号変換伝送装置及び符号変換受信装置の構造を簡単にすることができる。
発明を実施するための最良の形態
（１）第１の実施の形態：
本発明の第１の実施の形態では、図１に示すように、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置１００は、
ａ）圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送出する制御を行う第１の動画像符号変換送信部１０２と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信部１０２と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第１の動画像符号変換送信部１０２と同一又は異なる伝送手段を用いて、一定又は適応的に変化する時間間隔を離間させて送出する制御を行う第２乃至第Ｎの動画像符号変換送信部１０４〜１０６と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
また符号変換受信装置１２０は、Ｍ個の伝送路から少なくとも１個の伝送路を選択する受信伝送路選択部１０７と、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出する符号化データ受信部１０８〜１１１と、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する符号化データ再構成部１１２と、を備えている。符号変換伝送装置１００、符号変換受信装置１２０それぞれの各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理・機能が実現されてもよい。
以下、第１の実施形態についてさらに詳しく説明する。
（１．Ａ）概要：
図１は、本発明の第１の実施形態の構成を示す図である。図１に示すように、動画像データの符号変換伝送装置１００と、符号変換受信装置１２０、及び符号化データを伝送するための伝送路１３０から構成される。整数Ｎは、符号変換伝送装置１００が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。なお、符号変換伝送装置１００と、符号変換受信装置１２０は、それぞれ、動画像符号変換伝送装置、動画像符号変換受信装置ともいう。
符号変換伝送装置１００は、例えば符号化装置（図１では図示されない、例えば図１６の符号化装置４０参照）より動画像データを入力し、入力された動画像データを、Ｎ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍ（Ｍは１以上の整数）の伝送路１３０へ送出する。図１に示すように、この符号変換伝送部装置１００は、第１乃至第Ｍの伝送路１３０に対応して、Ｍ個の符号変換送信処理部１〜Ｍを備えている。符号変換送信処理部１〜Ｍは、それぞれに対応する第１乃至第ＭのＭ個の伝送路１３０へ符号化データを送出する。
符号変換送信処理部１〜Ｍは、いずれも、第１乃至第ＮのＮ個の動画像符号変換送信部１０２、１０４〜１０６を備えており、第１乃至第Ｎの符号化データを出力する。符号変換送信処理部２〜Ｍは、符号変換送信処理部１で一旦受信された符号化データを共通に入力しているほかは、符号変換送信処理部１と同一の構成とされている。図１には、簡単のため、符号変換送信処理部１の構成のみが示されている。以下では、符号変換送信処理部１について説明し、符号変換送信処理部２〜Ｍの説明は省略する。
符号変換送信処理部１の動画像データ受信部１０１は、動画像符号化データを受信する。符号変換送信処理部１の動画像データ受信部１０１で受信された動画像符号化データは、符号変換送信処理部２〜Ｍへも供給される。
第１の動画像符号変換送信部１０２は、入力された動画像データのフレームの少なくとも一部を、動画像符号変換受信装置１２０に送出する。入力された動画像データは、動画像データ復号部１０３で復号される。
第２の動画像符号変換送信部１０４は、動画像データ復号部１０３で得られた動画像を、第１の動画像符号化データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置１２０へ送出する。
Ｎが３以上の場合、第３乃至第Ｎの動画像符号変換送信部１０５，１０６は、第１の動画像変換送信部１０２で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第２の動画像符号化送信部１０４のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第２の動画像符号化送信部１０４と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、動画像符号変換受信装置１２０へ送出する。
符号変換送信処理部１〜Ｍからの第１乃至第Ｎの動画像符号化データは、第１乃至第Ｍの伝送路１３０上へ送出される。第１〜第Ｍの伝送路１３０に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路１３０へ送出する制御を行うようにしてもよい。符号変換送信処理部１〜Ｍを複数並設する代わりに、１つの符号変換送信処理部１の第１乃至第Ｎの動画像符号変換送信部の出力を、第１乃至第Ｍの伝送路１３０へ分配するようにしてよい。さらに、符号変換送信処理部１〜Ｍの出力方路を切替え、第１乃至第Ｍの伝送路１３０の接続の切替えを行ってもよい。
動画像符号変換受信装置１２０は、受信伝送路選択部１０７で、符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。
図１に示すように、受信伝送路選択部１０７で選択された伝送路からの符号化データを符号変換受信部が受信する。符号変換受信部は、符号変換伝送装置の備える第１乃至第Ｎの動画像符号変換送信部によって送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１０８〜１１１を備えている。
符号変換受信部の第１乃至第Ｎの符号化データ受信部１０８〜１１１からの出力を入力する符号化データ再構成部１１２を備える。
符号化データ再構成部１１２は、符号化データ受信部１０８〜１１１で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。あるいは、符号化データ再構成部１１２は、受信される最大Ｎ個の符号化データの中から、例えば最初に正常に受信された符号化データ等、圧縮率とは異なる所定の判定基準にしたがって、符号化データを選択して動画像符号データの再構成を行うようにしてもよい。符号化データ再構成部１１２で再構成された符号化データは、図示されない復号装置に入力されて、復号装置は、符号化データの復号処理を行う。
（１．Ｂ）符号変換伝送装置：
図２は、本発明の第１の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを３とし、符号化データを伝送する伝送路の個数Ｍを２としている。
図２において、第１の動画像符号化送信部２００は、第１の送信フレーム／パケット選択部２０１と、第１の第１の誤り検出符号・フレーム／パケット識別番号付加部２０２を備えている。なお、この第１の動画像符号化送信部２００は、図１の第１の動画像符号変換送信部１０２に対応している。
第１の送信フレーム／パケット選択部２０１は、入力された動画像フレームを入力動画像のうち、画像の性質や伝送路の状況に従い、適応的に、伝送路に送出するフレームを選択する。選択にあたり、例えば一定周期（ｎパケットに１回）ごとにパケットを選択して出力してもよい。あるいは、動画像フレームのパケット中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化パケット中の特徴パラメータとして、例えば動きベクトルなど、ビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定する。あるいは、符号化がＭＰＥＧ方式の場合、ビクチャタイプにしたがって、例えば、Ｉピクチャは必ず選択する等の規則を設けておいてもよいし、この選択用の規則を動的に可変させるようにしてもよい。
第１の誤り検出符号・フレーム／パケット識別番号付加部２０２は、第１の送信フレーム／パケット選択部２０１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。
同じく図２において、第２の動画像符号変換送信部２２０は、復号部２０３、フレーム間予測部２０４、予測残差算出部２０５、第２の予測誤差圧縮符号化部２０６、第２の符号化パケット生成部２０７、第２の誤り検出符号・フレーム／パケット識別番号付加部２０８、予測残差復号部２０９、参照フレーム格納メモリ２１１、復号画像算出部２１０を備えている。なお、この第２の動画像符号変換送信部２２０は、図１の第２の動画像符号変換送信部１０４に対応しており、復号部２０３は、図１の動画像データ復号部１０３に対応する。
図２において、復号部２０３は、入力された動画像符号化データの少なくとも一部を復号する。
フレーム間予測部２０４は、参照フレーム格納メモリ２１１に格納された少なくとも１つの復号画像から、入力された画像へのフレーム間予測を行う。
予測残差算出部２０５は入力フレーム画像から、フレーム間予測部２０４で得られた予測画像を減算することで予測残差を算出する。
第２の予測残差圧縮符号化部２０６は予測残差算出部２０５で得られた予測残差画像を所定の方法で圧縮符号化する。
第２の符号化パケット生成部２０７はフレーム間予測部２０４で得られたフレーム間予測パラメータと第２の予測誤差圧縮符号化部２０６で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。
第２の誤り検出符号・フレーム／パケット識別番号付加部２０８は、第２の符号化パケット生成部２０７が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。
予測残差復号部２０９は、第２の誤り検出符号・フレーム／パケット識別番号付加部２０８で符号化された予測残差の復号データを求める。
復号画像算出部２１０はフレーム間予測部２０４で生成された予測画像と、予測残差復号部２０９で復号された予測残差の和により復号画像を求める。
参照フレーム格納メモリ２１１は、次のフレームの符号化に備え復号画像を格納する。
図２において、第３の動画像符号変換送信部２３０は、第３の予測残差圧縮符号化部２１２、第３の符号化パケット生成部２１３、第３の誤り検出符号・フレーム／パケット識別番号付加部２１４を備えている。第３の動画像符号変換送信部は、図１の第３の動画像符号変換送信部１０５に対応する。
第３の予測残差圧縮符号化部２１２は、予測残差算出部２０５で得られた予測残差画像を、第１（第２）の予測残差圧縮符号化部２０６と同等もしくはそれよりも高い圧縮率で符号化する。
第３の符号化パケット生成部２１３は、フレーム間予測部２０４で得られたフレーム間予測パラメータと第３の予測残差圧縮符号化部２１２で得られた予測残差の圧縮データを、ビット列に可変長符号化し、所定のパケット単位で出力する。
第３の誤り検出符号・フレーム／パケット識別番号付加部２１４は、第３の符号化パケット生成部２１３が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。
以上の処理部の動作により第３の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。
本実施形態では、Ｍを２、Ｎを３としているため、２個の伝送路それぞれに、以上の第１乃至第３の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。図１において、２つの符号変換送信処理部１、符号変換送信処理部２を備え、符号変換送信処理部１、２は、各々３本の伝送路のそれぞれに送出する。
本実施形態において、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２を設け、第１の送信フレーム／パケット選択部２０１から出力された第１の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、入力された動画像パケットデータに、既にこのような情報が付加されていれば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２は設けなくてもよい。また、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２で誤り検出符号化を付加する必要は無い。別の例として、第１の送信フレーム／パケット選択部２０１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２でフレーム／パケット識別番号を付加する必要は無い。
同様に、第２の誤り検出符号付加・フレーム／パケット識別番号付加部２０８を設け、第２の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化データの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
同様に、第３の誤り検出符号付加・フレーム／パケット識別番号付加部２１４を設け、第３の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化データの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
以上で説明した本実施形態を更に好ましく具体化した例では、動画像符号変換伝送装置は、インターネット通信網に接続され、例えばＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラなどを介して撮像・入力された動画像をＭＰＥＧ−４ビジュアル（Ｖｉｓｕａｌ）方式に従った符号化データに圧縮し、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ（ｌｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコルを用いて伝送されるデータを入力する。
図２において、フレーム間予測部２０４は動き補償によるフレーム間予測を行う。第１の予測残差圧縮符号化部２０６と第３の予測残差圧縮符号化部２１２は２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。第２の予測残差圧縮符号化部２１２は、第１の予測残差圧縮符号化部２０６よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴ係数を適応的に除去するなどの方法で、第３の符号化データの圧縮率が第１の符号化データの圧縮率と同等もしくはそれよりも高くなるように圧縮する。予測残差復号部２０９は逆量子化と逆２次元離散コサイン変換（２Ｄ−ＩＤＣＴ）を行う。
第２の符号化パケット生成部２０７は第２の予測残差圧縮符号化部２０６から出力される量子化ＤＣＴ係数とフレーム間予測部２０４から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。同様に、第３の符号化パケット生成部２１３は、第３の予測残差圧縮符号化部２１２から出力される量子化ＤＣＴ係数と、フレーム間予測部２０４から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット識別番号付加部２０８と、第３の誤り検出符号付加・フレーム／パケット識別番号付加部２１４は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された符号変換受信装置に送出する。
（１．Ｃ）符号変換受信装置：
図３は、本発明の第１の実施形態における動画像符号変換受信装置１２０（図１参照）の詳細な構成を示している。図３において、動画像符号変換受信装置は、伝送路選択部３００と、第１乃至第３の符号化データ受信部３２０、３３０、３４０と、符号化データ再構成部３１０と、を備えている。
第１の符号化データ受信部３２０は、第１のパケット受信バッファ３０１と、第１の符号化データ抽出部３０２と、第１のエラー／パケットロス検出部３０３を備えている。第２、第３の符号化データ受信部も第１の符号化データ受信部と同様の構成とされている。
図１では受信伝送路選択部１０７として示されている受信伝送路選択部３００は、符号化変換受信装置１２０（図１参照）が動画像データを受信する伝送路１３０（図１参照）を選択する。第１のパケット受信バッファ３０１は、符号変換伝送装置１００（図１参照）から送信された第１の符号化パケットデータを受信する。第１の符号化データ抽出部３０２は、第１のパケット受信バッファ３０１で受信されたパケットデータから、動画像符号化データを抽出する。第１のエラー／パケットロス検出部３０３は、第１の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。
また第２の符号化データ受信部３３０において、第２のパケット受信バッファ３０４は、符号変換伝送装置１００（図１参照）から送信された第２の符号化パケットデータを受信する。第２の符号化データ抽出部３０５は、第２のパケット受信バッファ３０４で受信されたパケットデータから、動画像符号化データを抽出する。第２のエラー検出／パケットロス検出部３０６は、第２の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。
第３の符号化データ受信部３４０において、第３のパケット受信バッファ３０７は、符号変換伝送装置１００（図１参照）から送信された第３の符号化パケットデータを受信する。第３の符号化データ抽出部３０８は、第３のパケット受信バッファ３０７で受信されたパケットデータから、動画像符号化データを抽出する。第３のエラー検出／パケットロス検出部３０９は、第３の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。
符号化データ再構成部３１０は、第１乃至第３のエラー検出・パケットロス検出部３０３、３０６、３０９においてビットエラー及び／又はパケットロスを検出した結果に従って、符号変換伝送装置より送信された２つの符号化データを１つの符号化データに再構成する。
本実施形態における、符号化データ再構成部３１０での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し、第ｎフレームの符号化データ再構成処理を示している。
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
ステップＳ４０２では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中の第ｎフレームデータにパケットロス、ビット誤りがないどうかを判定する。
第１の受信パケットバッファ３０１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に分岐する。それ以外の場合には、ステップＳ４０４に進む。
ステップＳ４０３に分岐した場合には、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを出力し、符号化データ再構成処理を終了する。
ステップＳ４０２の判定の結果、ステップＳ４０４に進んだ場合、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中の第ｎフレームデータにパケットロス、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップＳ４０５に分岐する。それ以外の場合は、ステップＳ４０６に進む。
ステップＳ４０６に進んだ場合は、第３の誤り検出・パケットロス検出部３０９における誤りとパケットロスの検出結果に従い、第３の受信パケットバッファ３０７中の第ｎフレームデータにパケットロス、ビット誤りがないかどうかを判定する。第３の受信パケットバッファ３０７に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップＳ４０７に進む。それ以外の場合は、ステップＳ４０３に分岐する。
ステップＳ４０７では、第３の符号化データ抽出部３０８が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、符号化データ再構成処理を終了する。
本実施形態において、第１のエラー検出・パケットロス検出部３０３における第１の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法は、いかなる方法でも構わない。例えば、本実施形態の符号変換伝送装置で付加された誤り検出符号とフレーム／パケット番号により検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合には、符号化データに含まれる情報を利用しても良い。
同様に、第２のエラー検出・パケットロス検出部３０６において第２の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法は、いかなる方法でも構わない。第３のエラー検出・パケットロス検出部３０９において第３の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法も、いかなる方法でも構わない。
符号化データ再構成部３１０における符号化データの再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
符号化データ再構成部３１０における符号化データ再構成手順において、ステップＳ４０６で第３の受信パケットバッファで受信した符号化データに伝送エラーかパケットロスが検出された場合、すなわち第１乃至第３の符号化データ全てに伝送エラーかパケットロスが発生した場合に関しては、符号化データ再構成部３１０は、他のいかなる対応を行っても構わない。
本実施形態では、図４のステップＳ４０３に進み、第１の符号化データを復号する符号化データとして出力しているが、例えば第ｎフレームの出力を取り止め、一つ前に出力された第（ｎ−１）フレームの画像データを第ｎフレームの出力とするなど、他の方法で対応しても構わない。
本実施形態を実施した具体例では、符号変換受信装置は、インターネット通信網に接続され、別地点でインターネット通信網に接続された符号変換伝送装置からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを変換して復号装置に出力する。動画像符号化データはＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従っている。第１のエラー検出／パケットロス検出部３０３と、第２のエラー検出／パケットロス検出部３０６と、第３のエラー検出／パケットロス検出部３０９とは、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。
（１．Ｄ）符号化パケットデータの伝送形態：
本発明では、第１ないし第２の符号化パケットデータを符号変換伝送装置１００（図１参照）から符号変換受信装置１２０（図１参照）へいかなる方法で伝送しても構わない。ただし、本発明の効果を高めるには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が好ましい。
図５は、このような好ましい符号化パケットデータ伝送方法の一例を示している。図５において、符号変換伝送装置５０１は、図２を参照して説明した符号変換伝送装置である。遅延付加部５０２乃至５０３は、符号変換伝送装置５０１から出力される第２乃至第３の符号化パケットデータに、一定又は適応的に変化する遅延時間を加えて出力する。
多重化部５０４は、図１においては符号変換伝送装置１００として示されている符号変換伝送装置５０１から出力される第１の符号化データと、遅延付加部５０２から出力される第２の符号化データと、遅延付加部５０３から出力される第３の符号化データとを多重化して、伝送路５０５に送出する。
伝送路５０５は、多重化部５０４で多重化されたデータを、送信装置から受信装置へ伝送する。同様に、遅延付加部５０６、５０７と多重化部５０８は、第２の伝送路５０９へ同様のデータを送出する処理を行う。
伝送路選択部５１０は、伝送路５０５又は伝送路５０９の少なくとも一方の伝送路を選択する。分離部５１１は、伝送路選択部５１０からデータを受信し、第１の符号化データと第２の符号化データに分離する。動画像受信復号装置５１２は、図３を参照して説明した動画像符号変換受信装置よりなる。
ここで、遅延付加部５０２、５０３で、第２乃至第３の符号化データに加えられる遅延は、伝送路５０５で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路５０５でバーストエラーが発生しても、同一フレームを符号化した第１乃至第３の符号化データのいずれもがエラーの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部で設定される遅延は、受信装置のバッファサイズや、伝送路の転送レート（ビットレート）に基づき設定される。
同様に、遅延付加部５０６、５０７で第２乃至第３の符号化データに加えられる遅延時間は、伝送路５０９で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路５０９でバーストエラーが発生しても、同一フレームを符号化した第１乃至第３の符号化データのいずれもがエラーの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部、あるいは遅延付加部と多重化部を、符号変換伝送装置５０１内に設ける構成としてもよい。
（１．Ｅ）効果：
この第１の実施形態によれば、動画像符号変換伝送装置１００は、同一の動画像データを、３個の符号化データに変換して、一定又は適応的に変化する時間間隔を離間させて伝送路１３０に送出する。
第１の符号変換送信部１０２は、入力された動画像データのフレームを動画像の性質又は予め定められた規則に従い適応的に選択して出力する。第２の符号変換送信部１０４は、入力された動画像データの少なくとも一部を復号し、入力データと同等もしくはそれより高い圧縮率で符号化し、送信する。第３の符号変換送信部１０５は、第２の符号変換送信部１０４で符号化されたフレームを、第２の符号変換送信部１０４による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。
符号変換受信装置１２０側は、Ｍ個の伝送路のうち少なくとも１個の伝送路からのデータを受信し、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データを、フレーム単位で選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、３個の符号化データのいずれもが誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２乃至第３の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第１乃至第３の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。また、動画像符号変換受信装置で、受信した３個の符号化データの中から少なくとも１個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、インタリーブ法等により、パケット順序をシャフルして多重化してもよい。インタリーブ法によれば、時間的に変化する回線等の伝送路の影響を平均化することができる。
（２）第２の実施の形態：
本発明の第２の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部、を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第２の実施形態についてさらに詳しく説明する。
（２．Ａ）概要：
本実施形態のシステムの構成及び動作は第１の実施形態とほぼ同じであり、図１に示されるように、動画像符号変換伝送装置１００と符号変換受信装置１２０及び符号化データを伝送するための伝送路１３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。
動画像符号変換伝送装置１００の構成は、第１の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態での動作と第１の実施形態での動作との相違点についてのみ説明する。
第１の動画像符号化送信部（第１の動画像符号変換送信部）１０２で符号化される入力フレーム画像の符号化データは、少なくとも一個のパケットデータから構成されており、各パケットデータには、入力フレーム画像に含まれる画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。第１の動画像符号化送信部１０２は、入力された動画像データのパケットの少なくとも一部を、動画像符号変換受信装置に送信する。
第２の動画変換送信部（第２の動画像符号変換送信部）１０４は、入力された動画像データの少なくとも一部を復号し、得られた画像を第１の動画像符号化データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置へ送信する。
また、第３乃至第Ｎの動画像符号化送信部（第３乃至第Ｎの動画像符号変換送信部）１０５は、第２の動画像符号変換化送信部で符号化されたパケットの全て又はパケットが含む画像領域を、当該画像領域に対する第２の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像の少なくとも一方のデータを利用して、第２の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータの少なくとも一部を動画像符号変換受信装置へ送信する。これ以外の他の動作は、第１の実施形態と実質的に同一である。
動画像符号変換受信装置の構成も第１の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態における動作が、第１の実施形態での動作と相違する点について説明する。
符号化データ再構成部１１２は、第１の実施形態と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤り又は欠落がなく受信され同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。これ以外の他の動作は、第１の実施形態と実質的に同一である。
（２．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図２に示した第１の実施形態における動画像符号変換伝送装置とほぼ同じである。ただし、図２における第１の符号化パケット選択部２０１と、第２の符号化パケット生成部２０７と、第３の符号化パケット生成部２１３と、第１の誤り検出符号付加・フレーム／パケット番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット番号付加部２０８と、第３の誤り検出符号付加・フレーム／パケット番号付加部２１４の動作が、第１の実施形態と相違する。以下相違点について説明し、同一部分の説明は省略する。
本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット選択部２０１と第２の符号化パケット生成部２０７と第３の符号化パケット生成部２１３は、第１の符号化パケット選択部２０１で選択される符号化パケットデータが含む画像領域と、第２の符号化パケット生成部２０７で生成する符号化パケットデータが含む画像領域と、第３の符号化パケット生成部２１３で生成する符号化パケットデータが含む画像領域とが一致するように、符号化パケットデータを生成する。
第１の誤り検出符号付加・フレーム／パケット番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット番号付加部２０７と、第３の誤り検出符号付加・フレーム／パケット番号付加部２１３とは、同一フレームの同一画像領域に対応する符号化パケットデータに、同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第３の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
本実施形態を具体化した例では、動画像の圧縮符号化にＭＰＥＧ−４ ビジュアル（Ｖｉｓｕａｌ）方式を利用している。この方式では、入力画像フレームを、「マクロブロック」と呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号可能である。第１の符号化パケット選択部２０１と第２の符号化パケット生成部２０７と第３の符号化パケット生成部２１３は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部２０７で符号化されたビデオパケットと、第３の符号化パケット生成部２１３で符号化されたビデオパケットは、第１の符号化パケット選択部２０１で選択されたビデオパケットと同一領域のマクロブロックを含むように生成される。
（２．Ｃ）符号変換受信装置：
本実施形態における動画像符号変換受信装置の構成及び動作は、図３に示した第１の実施形態における動画像符号変換受信装置とほぼ同じであり、図３における符号化データ再構成部３１０の動作のみが相違する。以下相違点について説明し、同一部分の説明は省略する。
本実施形態における、符号化データ再構成部３１０での符号化データ再構成の手順を、図６のフローチャートをもとに説明する。図６の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。
ステップＳ６０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４と第３の受信パケットバッファ３０７に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ６０２に進む。
ステップＳ６０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
ステップＳ６０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ６０４からの繰り返し処理を開始する。
ステップＳ６０４では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０８に進む。それ以外の場合は、ステップＳ６０５に進む。
ステップＳ６０８に進んだ場合には、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、ステップＳ６１０に進む。
ステップＳ６０５に進んだ場合には、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０７に進む。それ以外の場合は、ステップＳ６０６に進む。
ステップＳ６０７では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、ステップＳ６１０に進む。
ステップＳ６０６に進んだ場合は、第３の誤り検出・パケットロス検出部３０９における誤りとパケットロスの検出結果に従い、第３の受信パケットバッファ３０７中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第３の受信パケットバッファ３０７に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０９に進む。それ以外の場合は、ステップＳ６１０に進む。
ステップＳ６１０では、変数ｉを１増加させる。続くステップＳ６１１では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ６０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
なお、本実施形態の符号化データ再構成部３１０での符号化データ再構成手順における、ステップＳ６０１での第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
（２．Ｄ）効果：
この第２の実施形態によれば、動画像符号変換伝送装置は、同一の動画像データを３個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。第２乃至第３の動画像符号変換送信部は、第１の動画像符号変換送信部で変換されたパケットが含む画像領域を符号化する。第３の符号化送信部は、第２の符号化送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。
動画像符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、３個の符号化データのいずれもが誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２乃至第３の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
さらに、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第１乃至第３の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した３個の符号化データの中から少なくとも１個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。
（３）第３の実施の形態：
本発明の第３の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データを第１の動画像符号変換送信部と同一又は異なる伝送路を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第３の実施形態について、さらに詳しく説明する。
（３．Ａ）概要：
図７は、本発明の第３の実施形態でのシステム構成を示す図である。図７に示すように、動画像データの符号変換伝送部（符号変換送信装置）７００と、符号変換受信装置７２０及び符号化データを伝送するための伝送路７３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表す。Ｎは２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路７３０の個数を表し、１以上とする。
動画像符号変換伝送装置７００は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置７２０へ送信する。入力された動画像データをＮ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍの伝送路７３０に送信する。
図７に示すように、この装置は、第１乃至第ＮのＮ個の動画像符号化送信部（第１乃至第Ｎの動画像符号変換送信部）７０３〜７０５を備える。
動画像データ受信部７０１は、動画像データを受信する。動画像復号部７０２は、入力された動画像符号化データの少なくとも一部を復号する。
第１の動画像符号化送信部（第１の動画像符号変換送信部）７０３は、符号変換伝送装置（符号化変換伝送部）に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う。第２乃至第Ｎの動画像符号化送信部（動画像符号変換送信部）７０４，７０５は、第１の動画像符号化送信部７０３で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第１の動画像符号化送信部７０３と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、伝送路７３０を介して動画像符号変換受信装置７２０へ送信する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データは、第１乃至第Ｍの伝送路上へ送出される。
動画像符号変換受信装置７２０は、受信伝送路選択部７０６で、動画像符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。
図７に示すように、動画像符号変換受信装置７２０は、符号変換伝送装置７００の備える第１乃至第Ｎの動画像符号変換送信部７０３〜７０５によって伝送路７３０上に送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部７０７〜７０９と、符号化データ再構成部７１０を備える。符号化データ再構成部７１０は、符号化データ受信部７０７乃至７０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。
（３．Ｂ）符号変換伝送装置：
図８は、図７に示した第３の実施形態における動画像符号変換伝送装置の詳細な構成を示している。図８では、簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。
図８において、復号部８０１は、入力された動画像データの少なくとも一部を復号する。フレーム間予測部８０２は参照フレーム格納メモリ８０９に格納された少なくとも１つの復号画像から、復号部８０１より出力された画像へのフレーム間予測を行う。予測残差算出部８０３は入力フレーム画像から、フレーム間予測部８０２で得られた予測画像を減算することで予測残差を算出する。第１の予測残差圧縮符号化部８０４は予測残差算出部８０３で得られた予測残差画像を所定の方法で圧縮符号化する。第１の符号化パケット生成部８０５は、フレーム間予測部８０２で得られたフレーム間予測パラメータと、第１の予測残差圧縮符号化部８０４で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第１の誤り検出符号・フレーム／パケット識別番号付加部８０６は、第１の符号化パケット生成部８０５が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。予測残差復号部８０７は第１の誤り検出符号・フレーム／パケット識別番号付加部８０６で符号化された予測残差の復号データを求める。復号画像算出部８０８はフレーム間予測部８０２で生成された予測画像と予測残差復号部８０７で復号された予測残差の和により復号画像を求める。参照フレーム格納メモリ８０９は次のフレームの符号化に備え復号画像を格納する。
図８において、第２の予測残差圧縮符号化部８１０は、予測残差算出部８０３で得られた予測残差画像を第１の予測残差圧縮符号化部と同等もしくはそれよりも高い圧縮率で符号化する。第２の符号化パケット生成部８１１は、フレーム間予測部８０２で得られたフレーム間予測パラメータと、第２の予測残差圧縮符号化部８１０で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２の誤り検出符号付加・フレーム／パケット識別番号付加部８１２は、第２の符号化パケット生成部８１１が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって、第２の動画像符号化データが得られ、所定の送信機構によってパケット単位で送信される。
本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。
本実施形態において、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６を設け、第１の符号化パケット生成部８０５から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６で誤り検出符号化を付加する必要は無い。別の例として、第１の符号化パケット生成部８０５から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６でフレーム／パケット識別番号を付加する必要は無い。
同様に、第２の誤り検出符号付加・フレーム／パケット識別番号付加部８１２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
以上で説明した本実施形態を更に好ましく具体化した例は、上述の第１の実施形態と同様である。
（３．Ｃ）符号変換受信装置：
本発明の第３の実施形態における動画像符号変換受信装置は、図３に示す構成と同様である。ただし図３に示すものでは、伝送路の個数Ｍを３としているが、本実施形態では２であるため、第３の符号化受信部は本実施形態では存在しない。また、符号化データ再構成部３１０の動作は、Ｍが２であるため、手順が異なる。
本実施形態における、符号化データ再構成部３１０での動作手順を、図９のフローチャートをもとに説明する。図９の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。
ステップＳ９０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ９０２に進む。
ステップＳ９０２では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中に第ｎフレームデータが存在し、ビット誤りがないかどうかを判定する。第１の受信パケットバッファ３０１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ９０３に進む。それ以外の場合は、ステップＳ９０４に進む。
ステップＳ９０３に進んだ場合は、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして、可変長復号部（図示されていないが、例えば図１６に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。
ステップＳ９０４に進んだ場合は、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中に第ｎフレームデータが存在し、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ９０５に進む。それ以外の場合は、ステップＳ９０３に進む。
ステップＳ９０５では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部（図示されていないが、例えば図１６に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。
本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第１の実施形態の場合と同様である。
（３．Ｄ）効果：
第３の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたフレームを、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。
符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（４）第４の実施の形態：
本発明の第４の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、その画像領域に対する第１の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるような１個のパケットデータに符号化し、得られた符号化パケットデータを第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。
受信側の装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置、符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理・機能が実現されてもよい。
以下、第４の実施形態についてさらに詳しく説明する。
（４．Ａ）概要：
本実施形態の構成及び動作は第３実施形態とほぼ同じであり、図７に示されるように、動画像符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。
動画像符号変換伝送装置の構成は、第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。
入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、少なくとも１個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第３の実施形態と同じである。
動画像符号変換受信装置の構成も第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。
図７を参照すると、この実施形態において、符号化データ再構成部７１０は、第３の実施形態と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットの少なくとも一部を復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第３の実施形態と同じである。
（４．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図８に示した第３の実施形態における動画像データ符号変換伝送装置とほぼ同じであり、図８における第１の符号化パケット生成部８０５と、第２の符号化パケット生成部８１１と、第１の誤り検出符号付加・フレーム／パケット番号付加部８０６と、第２の誤り検出符号付加・フレーム／パケット番号付加部８１２の動作のみが相違する。
本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部８０５と第２の符号化パケット生成部８１１は、第１の符号化パケット生成部８０５で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部８１１で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
第１の誤り検出符号付加・フレーム／パケット番号付加部８０６と第２の誤り検出符号付加・フレーム／パケット番号付加部８１２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
上記以外の処理部の動作は、第３の実施形態と同様である。以上で説明した本実施形態を更に好ましく具体化した例は、第２の実施形態の場合と同様である。
（４．Ｃ）符号変換受信装置：
本実施形態における動画像符号変換受信装置の構成及び動作は、図３に示した第２の実施形態における動画像符号変換受信装置とほぼ同じである。図３に示す例では、伝送路の個数Ｍを３としているが、本実施形態ではＭを２としているため、第３の符号化データ受信部は存在しない。また、符号化データの再構成３１０の動作は、Ｍが２であるため、手順が異なる。
本実施形態における、符号化データ再構成部３１０での動作手順を、図１０のフローチャートをもとに説明する。図１０の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。
ステップＳ１００１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ１００２に進む。
ステップＳ１００２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
ステップＳ１００３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ１００４からの繰り返し処理を開始する。
ステップＳ１００４では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうか判定する。第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ１００５に進む。それ以外の場合は、ステップＳ１００６に進む。
ステップＳ１００５に進んだ場合は、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部３０８に受け渡し、ステップＳ１００８に進む。
ステップＳ１００６に進んだ場合は、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうか判定する。第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ１００７に進む。それ以外の場合は、ステップＳ１００８に進む。
ステップＳ１００７では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部３０８に受け渡し、ステップＳ１００８に進む。
ステップＳ１００８では、変数ｉを１増加させる。続くステップＳ１００９では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ１００４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第３の実施形態の場合と同様である。
（４．Ｄ）効果：
本発明の第４の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。
第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。
符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低い、及び／又は、画質の良い符号化データをパケット単位で選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（５）第５の実施の形態：
本発明の第５の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。
これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第５の実施形態について、さらに詳しく説明する。
（５−Ａ）概要：
本実施形態のシステムの構成及び動作は第３の実施形態の場合とほぼ同じであり、図７に示されるように、動画像データの符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。
動画像符号変換伝送装置の構成は第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。
入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う第２乃至第Ｎの動画像符号化送信部における入力フレーム画像の符号化は、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で用いた参照フレーム画像を用いて行われる。第１の動画像符号化送信部と異なる制御によりフレーム間予測を行って得られた、第１の動画像符号化送信部と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第３の実施形態と同じである。
動画像符号変換受信装置の構成は第３の実施形態の場合と同じである。
（５．Ｂ）符号変換伝送装置：
図１１は、第５の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを２としている。図１１において、参照符号１１０１〜１１０９は、本実施形態における動画像符号変換伝送装置が備える第１の動画像符号化送信部を構成する処理部を示しており、これらの処理部は、図８における第１の動画像符号変換送信部の処理部と同様に動作する。同じく図１１において、フレーム間予測部１１１０、予測残差算出部１１１１、第２の予測残差圧縮符号化部１１１２、第２の符号化パケット生成部１１１３、１１１４は、本実施形態における動画像符号変換伝送装置が備える第２の動画像符号化送信部を構成する処理部である。ただし、第１の実施形態における動画像符号化送信部とは異なる動作をする。
フレーム間予測部１１１０は、参照フレーム格納メモリ１１０９に格納された少なくとも１つの復号画像から、復号部１１０１より入力された画像へのフレーム間予測を行う。予測残差算出部１１１１は入力フレーム画像から、フレーム間予測部１１１０で得られた予測画像を減算することで予測残差を算出する。第２の予測残差圧縮符号化部１１１２は、予測残差算出部１１１１で得られた予測残差画像を第１の予測残差圧縮符号化部１１０４と同等もしくはそれよりも高い圧縮率で符号化する。第２の符号化パケット生成部１１１３はフレーム間予測部１１１０で得られたフレーム間予測パラメータと１１１２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２の誤り検出符号付加・フレーム／パケット識別番号付加部１１１４は、第２の符号化パケット生成部１１１３が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。以上の処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。
（５．Ｃ）効果：
本発明の第５の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。
第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたフレームを、第１の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。
符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、かつ２個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（６）第６の実施の形態：
本発明の第６の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるようなパケットデータに符号化し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。
これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第６の実施形態について、さらに詳しく説明する。
（６．Ａ）概要：
本実施形態のシステムの構成は第５の実施形態におけるものとほぼ同じであり、図７に示されるように、動画像データの符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。
動画像符号変換伝送装置の構成は第５の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では相違点について説明する。
入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で符号化する第１の動画像符号化送信部で符号化される入力フレーム画像の符号化データは、少なくとも一個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部のフレーム間予測で用いた参照フレーム画像を利用して、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータの少なくとも一部を動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第５の実施形態と同じである。
本発明の第６の実施形態での動画像符号変換受信装置の構成及び動作は、第４の実施形態の場合と同じであり、第５の実施形態とは異なっている。
（６．Ｂ）符号変換伝送装置：
本実施形態における動画像符号変換伝送装置の構成及び動作は、図９に示した第５の実施形態における動画像符号変換伝送装置とほぼ同じであり、図１１における第１の符号化パケット生成１１０５と、第２の符号化パケット生成部１１１３と、第１の誤り検出符号付加・フレーム／パケット番号付加部１１０６と、第２の誤り検出符号付加・フレーム／パケット番号付加部１１１４の動作のみが相違する。第５の実施形態との相違点について以下に説明する。
本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部１１０５と第２の符号化パケット生成部１１１３は、第１の符号化パケット生成部１１０５で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１１３で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
第１の誤り検出符号付加・フレーム／パケット番号付加部１１０６と第２の誤り検出符号付加・フレーム／パケット番号付加部１１１４は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
（６．Ｃ）効果：
以上で説明した第６の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。
第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択し、かつ２個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（７）第７の実施の形態：
本発明の第７の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば最初に正常に受信した符号化パケットデータを選択して出力する選択部、を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第７の実施形態について、さらに詳しく説明する。
（７．Ａ）概要：
図１２は、本発明の第７の実施形態におけるシステムの構成を示す図である。図１２に示すように、第７の実施形態のシステムは、動画像データの符号変換伝送装置１２００、符号変換受信装置１２２０及び符号化データを伝送するための伝送路１２３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路１２３０の個数を表し、１以上とする。
符号変換伝送装置１２００は、動画像パケットデータを入力し、その少なくとも一部を選択し、第１乃至第Ｍの伝送路１２３０へ送出する。
図１２に示すように、この装置１２００は、動画像符号化パケットデータを、第１乃至第ＭのＭ個の伝送路へ送出する制御を行う第１乃至第ＮのＮ個の動画像符号変換送信部１２０２〜１２０５を備える。動画像データ受信部１２０１は、動画像パケットデータを受信する。第１の動画像符号変換送信部１２０２は、入力された動画像パケットデータの少なくとも一部のパケットを、動画像符号変換受信装置１２２０に送出する処理を行う。動画像データ複製部１２０３は、受信したパケットを複製し、第２乃至第Ｎの動画像符号変換送信部１２０４乃至１２０５へ出力する。第２の動画像符号変換送信部１２０４乃至１２０５は、複製されたパケットの少なくとも一部を、動画像符号変換受信装置１２２０へ送出する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第１乃至第Ｍの伝送路１２３０上へ送出される。
動画像符号変換受信装置１２２０は、受信伝送路選択部１２０６で、符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。
図１２に示すように、動画像符号変換受信装置１２２０は、符号変換伝送装置１２００が備える第１乃至第Ｎの動画像符号変換送信部１２０２乃至１２０５によって送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１２０７乃至１２０９と、符号化データ再構成部１２１０を備える。
符号化データ再構成部１２１０は、符号化データ受信部１２０７〜１２０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、データを選択して出力する。最大Ｎ個の符号化データの圧縮率は同じであるため、例えば最初に、正常に受信した符号化データを出力する等の選択が行われる。
（７．Ｂ）符号化変換伝送装置：
図１３は、本発明の第７の実施形態における動画像符号変換伝送装置１２００（図７参照）の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。
図１３において、第１の動画像符号変換送信部１３００の第１の送信パケット選択部１３０１は、入力された動画像パケットデータのうち、画像の性質や伝送路の状況に従い、適応的に送信するパケットを選択する。選択にあたり、例えば一定周期（ｎパケットに１回）ごとにパケットを選択して送信してもよい。あるいは、動画像フレームのパケット中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化パケット中の特徴パラメータとして、動きベクトルなどビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定するようにしてもよい。あるいは、符号化がＭＰＥＧの場合、例えばＩピクチャは、必ず選択する等の規則（動的に可変させる場合も含む）にしたがって選択するようにしてもよい。
第１の誤り検出符号・フレーム／パケット識別番号付加部１３０２は、出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。
図１３において、第２の動画像符号変換送信部１３１０のパケット複製部１３０３は、入力された動画像符号化パケットデータを複製する。
第２の送信パケット選択部１３０４は、複製された動画像パケットデータのうち、第１の動画像符号変換送信部と同じ、もしくは異なった個数で、画像の性質や伝送路の状況に従って適応的に送信するパケットを選択する。異なった個数で選択する場合、上記したように、動きベクトルなど特徴パラメータとその閾値の関係（規則）に基づき、選択するようにしてもよいし、符号化がＭＰＥＧの場合、例えばＩピクチャは必ず選択する等の規則にしたがって選択するようにしてもよい。
第２の誤り検出符号・フレーム／パケット識別番号付加部１３０５は、選択部１３０４が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とパケット識別番号を付加する。
本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。
上記以外の処理部の動作は、第４の実施形態と同様である。
本実施形態を更に好ましくした具体化した例は、第２の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第４の実施形態の場合と同じである。
（７．Ｃ）効果：
以上で説明した第７の実施形態によれば、動画像符号変換伝送装置は同一の動画像パケットデータを２個の符号化データに変換して、一定又は適応的に変化する時間間隔を離間させて送信する。
第１の動画像符号変換送信部は、入力された動画像パケットデータを、動画像の性質又は予め定められた規則に従い適応的に選択して送信する。第２の動画像符号変換送信部は、入力された動画像パケットデータを複製し、少なくともその一部を選択し、送信する。
符号変換受信装置側は正常に受信できた符号化パケットデータの中から誤りもしくは欠落のないデータを、パケット単位で選択し、かつ２個の伝送路から受信したデータのうち、例えば最初に到着したデータを選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化パケットデータの選択個数を小さくすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（８）第８の実施の形態：
本発明の第８の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第８の実施形態についてさらに詳しく説明する。
（８．Ａ）概要：
図１４は、本発明の第８の実施形態でのシステムの構成を示す図である。図１４に示すように、このシステムは、動画像データの符号変換伝送装置１４００、符号変換受信装置１４２０及び符号化データを伝送するための伝送路１４３０から構成されている。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表す。Ｎは２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路１４３０の個数を表し、１以上とする。
動画像符号変換伝送装置１４００は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する。動画像符号変換伝送装置１４００は、入力された動画像データをＮ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍの伝送路に送信する。図１４に示すように、この装置は第１乃至第Ｎの動画像符号変換送信部１４０３〜１４０５を備える。
動画像データ受信部１４０１は、動画像データを受信する。動画像復号部１４０２は、入力された動画像符号化データの少なくとも一部を復号する。第１の動画像符号変換送信部１４０３は、符号変換伝送装置に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置１４２０へ送信する。第２乃至第Ｎの動画像符号変換送信部１４０３〜１４０５は、第１の動画像符号変換送信部１４０３と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を動画像符号変換受信装置１４２０へ送出する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第１乃至第Ｍの伝送路１４３０上へ送出される。
動画像符号変換受信装置１４３０は、受信伝送路選択部１４０６で、動画像符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。
図１４に示すように、動画像符号変換受信装置１４３０は、符号変換伝送装置１４００が備える第１乃至第Ｎの動画像符号変換送信部１４０３〜１４０５により送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１４０７乃至１４０９と、符号化データ再構成部１４１０とを備える。
符号化データ再構成部１４１０は、符号化データ受信部１４０７〜１４０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。
（８．Ｂ）符号変換伝送装置：
図１５は、本発明の第８の実施形態における動画像符号変換伝送装置１４００（図１４参照）の詳細な構成を示す図である。簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。
図１５において、復号部１５０１は、入力された動画像データの少なくとも一部を復号する。図１４においては第１の動画像符号変換送信部１４０３と示されている第１の動画像符号変換送信部１５００の第１の送信フレーム／パケット生成部１５０２は、復号された動画像データを、入力されたデータと同等、もしくはそれより高い圧縮率で符号化し、第１の誤り検出符号・フレーム／パケット識別番号付加部１５０３へ出力する。第１の誤り検出符号・フレーム／パケット識別番号付加部１５０３は、第１の送信フレーム／パケット生成部１５０２が出力した符号化データの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって、第１の動画像符号化データが得られ、所定の送信手段によって送信される。同じく図１５において、図１４においては第２の動画像符号変換送信部１４０４と記載されている第２の動画像符号変換送信部１５１０の第２の送信フレーム／パケット生成部１５０４は、第１の動画像符号変換送信部１５００と同等、もしくはそれより高い圧縮率で符号化し、第２の誤り検出符号・フレーム／パケット識別番号付加部１５０５へ出力する。第２の誤り検出符号・フレーム／パケット識別番号付加部１５０５は、第２の送信フレーム／パケット生成部１５０４が出力した符号化データの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって第２の動画像符号化データが得られ、所定の送信手段によって送信される。
本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号変換送信データが送信される。
上記以外の処理部の動作は、第３の実施形態と同様である。
本実施形態を更に好ましく具体化した例は、本発明の第１の実施形態の場合と同様である。また動画像符号変換受信装置の構成及び動作は、第３の実施形態の場合と同じである。
（８．Ｃ）効果：
本実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。
符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。
（９）第９の実施の形態：
本発明の第９の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。
符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。
これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。
以下、第９の実施形態について、さらに詳しく説明する。
（９．Ａ）概要：
本実施形態の構成及び動作は第８実施形態とほぼ同じであり、図１４に示されるように、システムは、動画像符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。
動画像符号変換伝送装置の構成は第８の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第８の実施形態との相違点についてのみ説明する。
入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、１個又は複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像符号変換受信装置へ送信する。
動画像符号変換受信装置の構成も第８の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第８の実施形態との相違点についてのみ説明する。
符号化データ再構成部１４１０は、第８の実施形態の場合と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。
（９．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図１５に示した第８の実施形態における動画像データ符号変換伝送装置とほぼ同じであり、図１５における第１の符号化パケット生成部１５０２と、第２の符号化パケット生成部１５０４と、第１の誤り検出符号付加・フレーム／パケット番号付加部１５０３と、第２の誤り検出符号付加・フレーム／パケット番号付加部１５０５の動作のみが相違する。以下では、動作の相違点についてのみ説明する。
本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部１５０２と第２の符号化パケット生成部１５０４は、第１の符号化パケット生成部１５０２で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１５０４で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
以上で説明した本実施形態を更に好ましく具体化した例は、第２の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第４の実施形態と同じである。
（９．Ｃ）効果：
第９の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。
第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択し、出力する。
その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。
また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。
本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外による、インタリーブ法で送信しても構わない。第１乃至第Ｎの符号変換データの送信順序は、インタリーブ法によってシャフルされて出力され、第ｍの符号化データが、第ｎの符号化データ（ただし、ｍ＜ｎ）よりも後に送信されるようにしてもよい。第１乃至第Ｎの符号変換データは、多重装置で多重化して送信するようにしてもよいし、また並列伝送してもよい。
上記各実施形態の変形例として、動画像符号変換伝送装置の第２乃至第Ｎの動画像符号変換送信部からの第２乃至第Ｎの動画像符号化データを遅延させる図５に示した遅延付加部５０２、５０３あるいは遅延付加部５０６、５０７と、第１の動画像符号変換送信部からの第１の動画像符号化データ出力と遅延が付加された第２乃至第Ｎの動画像符号化データを多重化させる図５に示した多重化部５０４、５０８を、動画像符号変換伝送装置内に設ける構成としてもよい。あるいは遅延付加部を備える変わりに、多重化部５０４、５０８が、動画像符号変換伝送装置の第１乃至第Ｎの動画像符号変換送信部からの第１乃至第Ｎの動画像符号化データをインタリーブして多重化出力する構成を、動画像符号変換伝送装置内に設ける構成としてもよい。またＭ個の伝送路１３０（図１参照）のそれぞれは同一の通信媒体であっても、無線と有線等のように異なる媒体を含むものであってもよい。
（１０）第１０の実施の形態：
さらに本発明の別の実施の形態について説明する。図１６は、本発明の第１０の実施の形態のシステム構成を示している。図１６を参照すると、符号化データを出力する符号化装置４０と、動画像データの符号変換伝送装置１０と、複数（Ｋ個）の動画像データの符号変換受信装置２０１〜２０Ｋと、符号変換受信装置２０１〜２０Ｋに接続される複数（Ｋ個）の復号装置３０１〜３０Ｋとを備えている。符号化装置４０は、符号化データを配信する情報提供源をなし、公知のサーバ装置が用いられる。符号変換伝送装置１０は、第１乃至第９の実施形態を参照しで説明した本発明の符号変換伝送装置、例えば図１に示した符号変換伝送装置１００からなる。
複数の動画像データの符号変換受信装置２０は、第１乃至第９の実施形態を参照して説明した本発明の符号変換受信装置、例えば図１に示した符号変換受信装置１２０からなる。復号装置３０は、符号変換受信装置２０からの符号化データを復号して表示する装置（デコーダ）であり、既製品がそのまま利用される。
図１６に示す例では、符号変換伝送装置１０と各符号変換受信装置２０１〜２０Ｋとのそれぞれの情報転送に用いられる伝送路１３は、各符号変換受信装置につき１本とされている。すなわち、図１に示した実施形態でのＭ個の伝送路１３０のＭは１個とされており、図１の符号変換受信装置１２０を複数個備えた構成としたものである。符号変換伝送装置１０は、図示されないＮ個の動画像符号変換送信部を備えておりＮ本の符号化データを出力することは、上述の各実施形態と同じである。
この実施形態の具体例をなす一例として、符号変換伝送装置１０は、インターネット通信網（あるいはイントラネット）に接続され、符号化装置４０から、符号化データを例えばＵＤＰ／ＩＰプロトコルを用いて伝送される符号化データを入力する。符号変換伝送装置１０の図示されない動画像符号変換送信部の処理は、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に対応する処理を行う。符号変換受信装置２０は、例えばインターネット通信網に接続されるクライアント端末とする。
この実施形態で、伝送路が、無線の場合、符号変換伝送装置１０からの符号変換出力（Ｎ本の符号化データ）はＵＤＰ／ＩＰプロトコル、物理層を介して出力され、ルータ及びゲートウエイ等を介して移動体パケット通信システム網内の基地局を介し宛先の符号変換受信装置２０に送信され、符号変換受信装置２０では、符号化装置４０と復号装置３０との間の符号変換伝送装置１０で符号変換されたデータを、符号化装置４０のもとの符号化に対応した符号化データに再構成して出力し、復号装置３０は符号化装置４０の符号化と対応する復号処理を行うことで、図示されない表示装置に動画像等を表示する。符号変換受信装置２０に接続される復号装置（デコーダ）３０は、符号変換受信装置２０と一体化した端末として構成してもよいし、あるいは、符号変換受信装置２０を構成する端末と通信接続する端末（パーソナルコンピュータ）等に備えた構成としてもよい。
この実施形態において、符号変換受信装置２０は、符号変換伝送装置１０に制御信号（リクエスト信号）を出力する構成とされ、符号変換伝送装置１０は、この制御信号を受けて、符号化データを符号変換受信装置２０に送信する。図１６には、制御信号が、符号変換伝送装置１０からの符号化データ出力とは異なるものであることを表している。
また、符号変換受信装置２０側から符号変換伝送装置１０に送信される制御信号を使って、符号変換受信装置２０のシステム情報、例えばＩＰアドレス、装置情報、復号装置３０で対応可能な符号化方式（例えばＩＴＵ−Ｔ勧告であるＨ．２６１あるいはＨ．２６３、ＩＳＯ／ＩＥＣ勧告であるＭＰＥＧ−４ Ｖｉｓｕａｌ）等の情報を、符号変換伝送装置１０を通知することで、リクエスト信号を受けた符号変換伝送装置１０では、符号変換受信装置２０、復号装置３０に適合した符号変換を行うようにしてもよい。なお、本発明において、伝送路が有線の場合にも適用できることはもちろんである。
図１６に示す構成において、符号変換伝送装置１０から各伝送路１３にそれぞれ出力される複数本（Ｎ本）の符号化データを、図５のように、遅延付加部により、時間間隔を設けて多重化部で多重してもよいし、Ｎ本の符号化データを多重化部でインタリーブして送信順序をシャフルし、時間間隔を離間させて多重化出力を伝送路に送出するようにしてもよい。符号変換伝送装置１０内に、図５に示した遅延付加部、及び、多重化部を設ける構成としてもよい。この場合、符号変換受信装置２０は、図５の分離部５１１を備える。受信伝送路選択部で選択された伝送路から受信された多重化伝送パケットは、各符号化データのパケットに分離されて、符号化データの抽出処理、再構成処理が行われる。この実施例によれば、情報提供源をなす符号化装置４０からの符号化データを符号変換伝送装置１０で受信し、符号変換伝送装置１０は伝送路１３でのデータ損失、データ誤りに耐性を有する方式へと変換し、符号変換受信装置２０側へ送信し、伝送路１３上での伝送に適した効率的な符号伝送を行うことができる。復号装置３０は符号化装置４０の符号化方式に対応して復号処理を行う。
以上本発明を上記実施形態に即して説明したが、本発明は、上記実施形態の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは、もちろんのことである。
【図面の簡単な説明】
図１は、本発明の第１及び第２の実施の形態における符号変換伝送システムの構成を示すブロック図である。
図２は、図１に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。
図３は、本発明に基づく動画像符号変換受信装置の構成の一例を示すブロック図である。
図４は、第１の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。
図５は、本発明に基づく動画像符号化データパケット伝送システムの構成の一例を示すブロック図である。
図６は、第２の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。
図７は、本発明の第３乃至第６の実施の形態における符号変換伝送システムの構成を示すブロック図である。
図８は、第３及び第４の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。
図９は、第３、第５及び第８の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。
図１０は、第４、第６及び第９の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。
図１１は、第５及び第６の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。
図１２は、本発明の第７の実施の形態の符号変換伝送システムの構成を示すブロック図である。
図１３は、図１２に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。
図１４は、本発明の第８及び第９の実施の形態の符号変換伝送システムの構成を示すブロック図である。
図１５は、図１４に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。
図１６は、本発明の第１０の実施の形態でのシステム構成の一例を示すブロック図である。 Technical field
The present invention relates to code data transmission technology, and more particularly, receives encoded moving image data, converts the data into data of a method having resistance to data loss and data error in a transmission path, and converts the converted moving image data. The present invention relates to a method and apparatus for transmitting data, and a method and apparatus for receiving and decoding moving image encoded data.
Background art
In recent years, as a method for efficiently transmitting moving image data, a method of performing highly efficient compression based on inter-frame prediction and transmitting encoded data by this highly efficient compression is often used. In these methods, by encoding the prediction parameters obtained by predicting the encoded image from the frames arranged before and after in time and the prediction residual image data, moving image data having a high correlation in the time direction is encoded. The amount of information is reduced. Furthermore, the prediction residual image data is compression-encoded with high efficiency by transform coding or quantization, thereby enabling moving image data transmission in a small transmission band.
As a typical example, there is a method using a compression coding system such as MPEG (Moving Picture Expert Group) -1, MPEG-2, MPEG-4 or the like. In these compression coding methods, an input image frame is divided into rectangular regions of a certain size called macroblocks, interframe prediction is performed by motion compensation in units of rectangular regions, and the obtained motion vectors and prediction residual image data Then, the signal data compressed by performing two-dimensional discrete cosine transform and quantization is subjected to variable length coding.
However, in the conventional moving image transmission method, when an error occurs in transmission data having a long burst characteristic that cannot be restored even if an error correction code is used or a transmission packet is lost, the error occurs on the receiving side. The frame image data cannot be decoded correctly.
As a countermeasure on the receiving side for such an error, an error should be as much as possible from an image of a frame that exists before and after the error frame and has been decoded correctly, or image data around the error area in the frame. There is an error concealment method that generates image data that is inconspicuous, but even with this error concealment method, it is impossible to remove the disturbance of the decoded image. Furthermore, since inter-frame prediction is used, there is a problem in that once generated image disturbance is propagated to subsequent frames.
When information distribution by multicast / broadcast is used, errors in received data and missing information of transmission packets cannot be transmitted from the reception side to the transmission side. Further, when error information is returned from the receiving side and transmitted to the transmitting side, the bandwidth of the communication path is also occupied by this feedback information.
Disclosure of the invention
A first object of the present invention is to provide an image data transmission method and apparatus capable of suppressing a significant disturbance of a reception side decoded image caused by an encoded data transmission error to an inconspicuous level.
A second object of the present invention is to provide a method and apparatus in which a user can set a trade-off between transmission bandwidth and image quality that can be used for image data transmission.
A third object of the present invention is to provide a method and apparatus that can prevent an increase in the amount of computation required for decoding compression-encoded data.
A fourth object of the present invention is to provide image data that can suppress a significant disturbance of a decoded image on the receiving side caused by a transmission error of encoded data to an inconspicuous level without sending feedback information from the receiving side to the transmitting side. It is an object to provide a transmission method and apparatus.
A code conversion transmission apparatus according to the present invention is a code conversion transmission apparatus that receives compressed encoded data, converts the compressed encoded data, and outputs the converted encoded data to a transmission path. The encoded encoded data and / or the input encoded data is Code conversion transmitting means for sending a plurality of encoded data composed of re-encoded encoded data to at least one transmission path is provided, and at least one of the input encoded data and the re-encoded encoded data. Part to the transmission line.
A code conversion receiving apparatus according to the present invention is a code conversion receiving apparatus that receives encoded data transmitted from a code conversion transmission apparatus described above to a transmission path, and means for selecting a transmission path to be received, Means for receiving encoded data from the transmission line and reconstructing the encoded data based on the normally received encoded data.
The system according to the present invention includes a plurality of the above-described code conversion receiving devices for the above-described code conversion transmission device, and the code conversion transmission device receives the encoded data transmitted from the device that distributes the encoded data. You may have a system configuration received with a receiving device.
A code conversion transmission apparatus for moving image data according to another aspect of the present invention,
(A) first moving image code conversion transmission means for inputting compressed encoded data and transmitting at least a part of the frames of the input encoded data;
(B) N is a predetermined integer equal to or greater than 2, decoding at least a part of the input encoded data, encoding the data obtained by decoding, and at least a part of the frame of the obtained encoded data 2nd to Nth video code conversion transmission means for outputting
(C) means for sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer equal to or greater than one. ing.
A code conversion receiving apparatus for moving image data according to another aspect of the present invention is a receiving apparatus for receiving encoded data from the code conversion transmission apparatus described above,
(D) selecting means for selecting a transmission path for receiving encoded data from the first to Mth transmission paths described above;
(E) receiving a plurality of encoded data from the transmission path selected by the selection means, extracting the encoded data received without transmission errors and missing, and encoding based on the extracted encoded data Means for reconstructing and outputting data.
A code conversion transmission apparatus for moving image data according to another aspect of the present invention,
(A) first moving image code conversion transmission means for inputting compressed encoded packet data and outputting at least a part of the input encoded packet;
(B) Decode at least part of the input encoded packet data with N being a predetermined integer of 2 or more, encode the data obtained by decoding, and output at least part of the obtained packet data Second to Nth moving image code conversion transmitting means;
(C) means for sending at least one of outputs from the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer equal to or greater than 1. .
A code conversion receiving apparatus for moving image data according to another aspect of the present invention is a receiving apparatus for receiving encoded data from the code conversion transmission apparatus described above,
(D) selecting means for selecting a transmission path for receiving encoded data from the first to Mth transmission paths described above;
(E) receiving encoded data from the transmission path selected by the selection unit, extracting encoded packet data received without transmission errors or missing, and based on the extracted encoded packet data; Means for reconstructing and outputting the encoded packet data.
A method according to another aspect of the present invention is a code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer equal to or greater than two. hand,
(A) a first moving image code conversion / transmission means that inputs compressed encoded data and outputs at least a part of the frames of the input encoded data;
(B) The second to Nth moving image code conversion transmission means decodes at least a part of the input encoded data, encodes the data obtained by decoding, and obtains the encoded data obtained Outputting at least some frames; and
(C) setting M as a predetermined integer equal to or greater than 1, and sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines. .
A receiving method according to another aspect of the present invention includes a step of selecting at least one transmission path from M transmission paths, where M is a predetermined integer equal to or greater than 1, and encoding data from the selected transmission path. Receiving, extracting encoded data received with no transmission error and without omission, reconstructing the encoded data based on the extracted encoded data, and outputting the encoded data.
A computer program according to another aspect of the present invention provides a computer constituting a code conversion transmission apparatus for moving image data,
(A) first moving image code conversion transmission means for inputting compressed encoded data and outputting at least a part of the frames of the input encoded data;
(B) N is a predetermined integer equal to or greater than 2, decoding at least a part of the input encoded data, encoding the data obtained by decoding, and at least a part of the frame of the obtained encoded data 2nd to Nth moving image code conversion transmission means for outputting
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more,
As a result, the computer is caused to execute code conversion transmission processing of moving image data.
A computer program according to another aspect of the present invention is a program for causing a computer constituting a code conversion receiving apparatus for moving image data to execute code conversion processing of moving image data, where M is a predetermined integer of 1 or more, Processing for selecting at least one transmission path from M transmission paths, receiving encoded data from the selected transmission path, and extracting and extracting received encoded data with no transmission errors and no missing data This is a program for causing a computer to execute processing for reconstructing and outputting encoded data based on the encoded data.
In the present invention, in order to prevent significant decoded image disturbance due to transmission error of moving image compression encoded data, in the code conversion transmission device, the encoded data from the moving image encoding device (server device) serving as an information providing source is received. Received data, converts the encoded data into a system that is resistant to data loss and data error in the transmission path, and transmits the converted data to the code conversion receiver.
In the present invention, the code conversion transmission device sets N as an integer equal to or greater than 2 and M as an integer equal to or greater than 1, and transmits the first to Nth code conversion transmission means and their transmission to the first to Mth transmission lines. Means for compressing and encoding moving image data into N pieces of encoded data. The code conversion receiving apparatus side selects, for example, encoded data having the lowest compression rate and good image quality from among the encoded data successfully received from at least one of the M transmission lines. Decrypt.
In the present invention, the N pieces of encoded data obtained by the first to Nth code conversion transmission means are transmitted with a constant or adaptively changing time interval. For example, the code conversion receiving device side that forms the client terminal, for example, has the lowest compression rate and the highest image quality among the encoded data that can be normally received from at least one of the M transmission paths. Are selected in units of frames or packets. The encoded data from the code conversion receiving device is transferred to the decoding device (decoder) and decoded.
In the present invention, the compression rate of the first to Nth code conversion transmission means and / or the number of encoded transmission data are selected according to the transmission band that can be used in the first to Mth transmission paths. can do. Further, the second to Nth code conversion transmission means can encode at a compression rate equivalent to or higher than that of the first code conversion transmission means, or can arbitrarily set the compression rate.
In the present invention, in order to prevent an increase in the amount of computation on the receiving side due to the transmission of a plurality of encoded data, the code conversion transmission device side generates encoded data including the same frame or the same image area, and the receiving side receives At least one frame or packet unit is selected from the plurality of encoded data and decoded.
More specifically, in the apparatus according to the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer M of 1 or more, the code conversion transmission apparatus is:
a) Input compressed compressed data, and perform control to transmit all frames or frames adaptively selected according to the nature of input moving images or predetermined rules using a predetermined transmission means First moving image code conversion transmission means;
b) Decoding at least a part of the input encoded data, compression encoding so as to achieve a compression rate equivalent to or higher than that of the first moving image code conversion transmission means, and all frames of the obtained encoded data Alternatively, control is performed to control a frame adaptively selected according to the nature of the input moving image or a predetermined rule by using a predetermined transmission means and separating a constant or adaptively changing transmission time interval. 2nd to Nth video code conversion transmission means;
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. There is provided selection means for extracting encoded data and selecting and outputting moving image encoded data having the lowest compression rate and good image quality from among the encoded data of the same frame.
Further, in the apparatus according to the second aspect of the present invention, for any integer 2 or more and any integer M or more, the code conversion transmission apparatus is:
a) Control by which compressed encoded packet data is input and all packets or packets adaptively selected according to the nature of the input moving image or predetermined rules are transmitted using a predetermined transmission means. First moving image code conversion transmission means for performing;
b) Decoding at least a part of the input encoded packet data, and including one image area including the same image area as the received packet data so that the compression rate is equal to or higher than that of the first moving image code conversion / transmission means. All the packet data obtained by compression encoding into packet data, or packet data adaptively selected according to the nature of the input moving image or predetermined rules, are changed constant or adaptively using a predetermined transmission means. Second to Nth moving image code conversion transmission means for performing transmission control with a transmission time interval being separated;
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. And selecting means for selecting and outputting, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
In the device according to the third aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission device side:
a) Input the compressed encoded data, and input all the frames of the decoded moving image data, or the frames adaptively selected according to the nature of the input moving image or a predetermined rule, A first moving image code conversion transmission unit that performs control to perform compression and encoding so that the compression rate is equal to or higher than that, and to transmit at least a part of the obtained encoded data using a predetermined transmission unit;
b) The first moving image code conversion for all the frames encoded by the first moving image code converting means or the frame adaptively selected according to the nature of the input moving image or a predetermined rule. The code is re-used by reusing at least one of the inter-frame prediction parameter or the prediction difference data obtained by the inter-frame prediction by the transmission means so that the compression rate is equal to or higher than that of the first moving image code conversion transmission means. Second to Nth video code conversion transmission means for performing control to transmit the encoded data obtained by using a predetermined transmission means and transmitting a transmission time interval that changes constant or adaptively,
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. There is provided selection means for extracting encoded data and selecting and outputting moving image encoded data having the lowest compression rate and good image quality from among the encoded data of the same frame.
In the device according to the fourth aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission device is:
a) At least a part of the encoded packet data obtained by decoding at least a part of the input encoded packet data and compression-encoding so that the compression rate is equal to or higher than that of the input moving image data. A first moving image code conversion transmission means for performing control to transmit using a predetermined transmission means;
b) Each packet data is encoded with respect to all packet data encoded by the first moving image code converting means or packet data adaptively selected according to the characteristics of the input moving image or a predetermined rule. The first moving image code conversion is performed by reusing at least one of the inter-frame prediction parameter or the prediction difference data obtained by performing the inter-frame prediction by the first moving image code conversion transmission unit for the image region. Encoding into one packet data including the same image area as the packet data so that the compression rate is equal to or higher than that of the transmission means, and at least a part of the obtained encoded packet data is a predetermined transmission means Second to Nth moving image code conversion transmission means for performing control to transmit at a constant or adaptively changing transmission time interval, and
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. In addition, there is provided selection means for selecting and outputting encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding an image in the same area of the same frame.
Further, in the apparatus according to the fifth aspect of the present invention, for any integer 2 or more and any integer 1 or more, the code conversion transmission apparatus is:
a) Input the compressed encoded data, and receive all the frames of the decoded moving image data, or the frames selected adaptively according to the nature of the input moving image or a predetermined rule, A first moving image code conversion transmission unit that performs control to perform compression and encoding so that the compression rate is equal to or higher than that, and to transmit at least a part of the obtained encoded data using a predetermined transmission unit;
b) All frames re-encoded by the first moving image code converting means, or frames adaptively selected according to the nature of the input moving image or a predetermined rule, the first moving image code for the frame Using the reference frame image used in the inter-frame prediction by the conversion / transmission means, the encoded data is obtained by encoding so that the compression rate is equal to or higher than that of the first moving image code conversion / transmission means. Second to Nth video code conversion transmission means for performing control to transmit at least a part of the transmission time interval with a predetermined or adaptively changing transmission time interval.
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. There is provided selection means for extracting the encoded data, selecting from among the encoded data of the same frame, for example, the moving image encoded data having the lowest compression rate and the highest image quality.
In the device according to the sixth aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission device is:
a) Compressed encoded packet data is input, the decoded moving image data is compression-encoded so as to have a compression rate equal to or higher than the input moving image data, and at least of the obtained encoded packet data A first moving image code conversion transmission unit that performs control to transmit a part using a predetermined transmission unit;
b) Each packet data is encoded with respect to all packet data encoded by the first moving image encoding means or packet data adaptively selected according to the nature of the input moving image or a predetermined rule. Using the reference frame image used in the inter-frame prediction by the first moving image code conversion / transmission unit for the image region, the image region is equal to or higher than the first moving image code conversion / transmission unit. Encoding into one packet data including the same image area as the packet data so as to achieve a compression rate, and at least a part of the obtained packet data is transmitted with constant or adaptive change using a predetermined transmission means Second to Nth moving image code conversion transmitting means for performing control to transmit at a time interval;
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. And selecting means for selecting and outputting, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
In the device according to the seventh aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission device is:
a) a first moving image code conversion transmission unit that performs control of inputting encoded packet data and transmitting the encoded packet data using a predetermined transmission unit;
b) It is obtained by duplicating a packet for all packet data encoded by the first moving image encoding means, or for packet data adaptively selected according to the nature of the input moving image or a predetermined rule. Second to Nth video code conversion transmitting means for performing control to transmit at least a part of the packet data by using predetermined transmission means and transmitting at constant or adaptively changing transmission time intervals;
c) Select the number of transmission encoded data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission lines, and code to the first to Mth transmission lines Means for sending the digitized data.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. And selecting means for selecting and outputting, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images of the same region of the same frame.
In the apparatus according to the eighth aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission apparatus is:
a) Input compressed encoded data, decode at least a part of the input encoded data, and compress and encode all the frames so that the compression rate is equal to or higher than that of the input encoded data. Or a first moving image code conversion transmission means for performing control to transmit a frame adaptively selected according to the nature of the input moving image or a predetermined rule using a predetermined transmission means;
b) Decoding at least a part of the input encoded data, compression encoding so as to achieve a compression rate equivalent to or higher than that of the first moving image code conversion transmission means, and all frames of the obtained encoded data Alternatively, control may be performed to transmit a frame adaptively selected according to the nature of the input moving image or a predetermined rule, using a predetermined transmission means, with a constant or adaptively changing transmission time interval. 2nd to Nth video code conversion transmission means;
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. There is provided selection means for extracting the encoded data, selecting from among the encoded data of the same frame, for example, the moving image encoded data having the lowest compression rate and the highest image quality.
In the device according to the ninth aspect of the present invention, for any integer N or more and any integer M or more, the code conversion transmission device is:
a) Input the compressed encoded packet data, decode at least a part of the input encoded packet data, and perform compression encoding so that the compression rate is equal to or higher than the input encoded data. A first moving image code conversion transmitting means for performing control to transmit a packet selected adaptively according to the nature of the input moving image or a predetermined rule according to a predetermined rule;
b) Decoding at least a part of the input encoded packet data, and including one image area including the same image area as the received packet data so that the compression rate is equal to or higher than that of the first moving image code conversion / transmission means. All the packet data obtained by compression encoding into packet data, or packet data adaptively selected according to the nature of the input moving image or predetermined rules, are changed constant or adaptively using a predetermined transmission means. Second to Nth moving image code conversion transmission means for performing transmission control with a transmission time interval being separated;
c) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means in accordance with the band that can be used for the first to Mth transmission paths, Means for sending encoded data to the Mth transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. And selecting means for selecting and outputting, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
In the present invention, M is an integer equal to or greater than 1, and each includes first to Mth code conversion transmission processing units including first to Nth video code conversion transmission means, The first to Nth encoded data output of the first to Nth moving image code conversion transmission means of the code conversion transmission processing unit may be sent to the first to Mth transmission lines, respectively. .
Alternatively, in the present invention, M is an integer equal to or greater than 1, and each includes first to Mth code conversion transmission processing units including first to Nth moving image code conversion transmission units, Means for the M-th code conversion transmission processing unit to multiplex and output the first to N-th encoded data outputs of the first to N-th moving image code conversion transmission means at intervals of time. It is good also as a structure provided.
In addition, the system according to the present invention corresponds to a moving image data encoding device, the conversion transmission device according to each aspect described above, a plurality of code conversion reception devices according to each aspect described above, and a code conversion reception device. A plurality of decoding devices (decoders), the encoded data from the encoding device is input to the code conversion transmission device, the plurality of code conversion reception devices are input to the output from the code conversion transmission device, and a plurality of decoding is performed. The apparatus may be configured to input and decode encoded data from a plurality of code conversion receiving apparatuses, respectively.
In the present invention, even when a low-reliability transmission path in which a bursty transmission error or packet loss occurs is used, all of the original packet and a plurality of encoded data of duplicate packets are erroneously transmitted. The probability of being reduced is reduced, and there is an effect that degradation of the decoded image can be efficiently prevented even when packet loss occurs. The reason is as follows.
In the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus side performs first to N-th video code conversion transmission on the first to M-th transmission paths. The first moving image code conversion transmitting means transmits at least a part of a frame or packet of moving image data in accordance with a transmission rate or decodes the moving image data into N codes. The encoded data is compressed and encoded, and transmitted with a constant or adaptively changing time interval, and the second to Nth video code conversion transmitting means transmits the input frame to the first video code Encoding using at least one of the inter-frame prediction parameter or the prediction residual image data obtained by encoding the frame by the conversion transmission unit, or the reference frame image used by the first code conversion transmission unit, Mark The conversion receiver side selects, for example, encoded data with the lowest compression rate and good image quality in units of frames or packets from the encoded data successfully received from at least one of the M transmission paths. This is because the decoding is performed.
According to the present invention, the compression rate of the first to Nth moving image code conversion transmitting means is adjusted by the first to Mth transmission lines in accordance with the band that can be used for transmission of moving image data on the transmission line, and / or Alternatively, the number of encoded transmission data can be selected, and transmission according to the state of the transmission path or the intention of the moving image data sender is possible.
According to the present invention, the second to Nth moving image code conversion / transmission means encodes at a compression rate equal to or higher than that of the first moving image code conversion / transmission means, and the second to Nth moving image code conversion transmission means. In the transmission control of encoded data by the moving image code conversion / transmission means, since it can be performed only on a part of the frame or image area encoded by the first moving image code conversion / transmission means, a plurality of An increase in transmission rate due to transmission of encoded data can be suppressed.
Further, according to the present invention, the code conversion transmission apparatus side generates encoded data including the same frame or the same image area, and the code conversion reception apparatus side only selects one of the received plurality of encoded data. Therefore, the receiving side needs to decode at least one of the received two encoded data to decode the same frame or the same image area. Therefore, an increase in the amount of calculation required on the receiving side can be suppressed.
In addition, according to the present invention, the code conversion transmission apparatus does not use the feedback information from the code conversion reception apparatus side, and the reception side decoded image caused by the transmission error of the encoded data is not noticeably disturbed. Therefore, the traffic required for the feedback information does not increase, and the structure of the code conversion transmission device and the code conversion reception device can be simplified.
BEST MODE FOR CARRYING OUT THE INVENTION
(1) First embodiment:
In the first embodiment of the present invention, as shown in FIG. 1, the code conversion transmission apparatus 100 for any two or more integers N and any one or more integers M,
a) Inputs compressed encoded data, and performs control to send all frames or frames adaptively selected according to the nature of the input moving image or predetermined rules using a predetermined transmission means A first moving image code conversion transmission unit 102;
b) Decoding at least a part of the input encoded data, compression-encoding so as to achieve a compression rate equivalent to or higher than that of the first moving image code conversion / transmission unit 102, and all of the obtained encoded data A frame or a frame adaptively selected according to the nature of an input moving image or a predetermined rule is changed constant or adaptively using the same or different transmission means as the first moving image code conversion transmission unit 102. Second to Nth moving image code conversion transmission units 104 to 106 that perform control to transmit the time intervals separated from each other;
c) Select the compression rate and / or the number of transmission encoded data of the first to N-th moving image code conversion transmission units according to the bands that can be used for the first to M-th transmission paths, And a mechanism for sending the encoded data to the Mth transmission line.
The code conversion receiving apparatus 120 receives a reception transmission path selection unit 107 that selects at least one transmission path from the M transmission paths, and receives N encoded data from the selected transmission path. Encoded data receiving sections 108 to 111 that extract received encoded data that is not missing or missing, and, for example, the encoded image data having the lowest compression rate from the encoded data of the same frame and having the highest image quality. And an encoded data reconstruction unit 112 that selects and outputs the data. Each component of each of the code conversion transmission device 100 and the code conversion reception device 120 may have its processing / function realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the first embodiment will be described in more detail.
(1.A) Overview:
FIG. 1 is a diagram showing the configuration of the first exemplary embodiment of the present invention. As shown in FIG. 1, it comprises a code conversion transmission apparatus 100 for moving image data, a code conversion reception apparatus 120, and a transmission path 130 for transmitting encoded data. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus 100, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more. Note that the code conversion transmission device 100 and the code conversion reception device 120 are also referred to as a moving image code conversion transmission device and a moving image code conversion reception device, respectively.
The code conversion transmission device 100 receives moving image data from, for example, an encoding device (not shown in FIG. 1, see, for example, the encoding device 40 in FIG. 16), and converts the input moving image data into N encoded data. And transmitted as first to Nth moving image encoded data to first to Mth (M is an integer of 1 or more) transmission lines 130. As illustrated in FIG. 1, the code conversion transmission unit apparatus 100 includes M code conversion transmission processing units 1 to M corresponding to the first to Mth transmission paths 130. The code conversion transmission processing units 1 to M send the encoded data to the first to M-th M transmission paths 130 corresponding to the code conversion transmission processing units 1 to M, respectively.
Each of the code conversion transmission processing units 1 to M includes first to Nth N moving image code conversion transmission units 102 and 104 to 106, and outputs the first to Nth encoded data. . The code conversion transmission processing units 2 to M have the same configuration as the code conversion transmission processing unit 1 except that the encoded data once received by the code conversion transmission processing unit 1 is input in common. In FIG. 1, only the configuration of the code conversion transmission processing unit 1 is shown for simplicity. Hereinafter, the code conversion transmission processing unit 1 will be described, and description of the code conversion transmission processing units 2 to M will be omitted.
The moving image data receiving unit 101 of the code conversion transmission processing unit 1 receives moving image encoded data. The encoded moving image data received by the moving image data receiving unit 101 of the code conversion transmission processing unit 1 is also supplied to the code conversion transmission processing units 2 to M.
The first moving image code conversion transmitting unit 102 transmits at least a part of the frame of the input moving image data to the moving image code conversion receiving apparatus 120. The input moving image data is decoded by the moving image data decoding unit 103.
The second moving image code conversion transmission unit 104 performs predetermined compression coding on the moving image obtained by the moving image data decoding unit 103 at a compression rate equal to or higher than the first moving image encoded data. Then, at least a part of the encoded data is transmitted to the moving image code conversion receiving apparatus 120.
When N is 3 or more, the third to Nth video code conversion / transmission units 105 and 106 determine at least a part of the frames encoded by the first video conversion / transmission unit 102 as to the frame. By using at least one of the inter-frame prediction parameter or the prediction difference image data obtained by the inter-frame prediction of the second moving image encoding / transmitting unit 104, it is equivalent to or more than the second moving image encoding / transmitting unit 104. Are encoded at a high compression rate, and at least a part of the obtained encoded data is transmitted to the moving image code conversion receiving apparatus 120.
The first to Nth moving image encoded data from the code conversion transmission processing units 1 to M are transmitted onto the first to Mth transmission lines 130. In accordance with the band that can be used for the first to Mth transmission lines 130, the compression rate and / or the number of transmission encoded data of the first to Nth video code conversion transmission units are selected, Control of sending to the M transmission line 130 may be performed. Instead of arranging a plurality of code conversion transmission processing units 1 to M in parallel, the outputs of the first to Nth video code conversion transmission units of one code conversion transmission processing unit 1 are used as the first to Mth transmission lines 130. May be distributed to Further, the output paths of the code conversion transmission processing units 1 to M may be switched, and the connection of the first to Mth transmission paths 130 may be switched.
In the moving image code conversion receiving apparatus 120, the reception transmission path selection unit 107 selects at least one transmission path from the M transmission paths transmitted by the code conversion transmission apparatus, and the N transmission paths from the selected transmission path are selected. Receives encoded data and performs decoding conversion.
As shown in FIG. 1, the code conversion receiving unit receives the encoded data from the transmission path selected by the reception transmission path selection unit 107. The code conversion receiving unit includes first to Nth encoded data receiving units 108 to 111 that receive encoded data transmitted by the first to Nth moving image code conversion transmitting units included in the code conversion transmission apparatus. ing.
A coded data reconstruction unit 112 that receives outputs from the first to Nth coded data receiving units 108 to 111 of the code conversion receiving unit is provided.
The encoded data reconstructing unit 112 selects, for example, the data having the lowest compression rate and the highest image quality from among the maximum N encoded data received by the encoded data receiving units 108 to 111 without transmission errors or omissions. Select and output. Alternatively, the encoded data reconstructing unit 112, according to a predetermined determination criterion different from the compression rate, such as encoded data that is normally received first, among the maximum N encoded data received, The encoded data may be selected to reconstruct the moving image code data. The encoded data reconstructed by the encoded data reconstruction unit 112 is input to a decoding device (not shown), and the decoding device performs a decoding process on the encoded data.
(1.B) Code conversion transmission apparatus:
FIG. 2 shows a detailed configuration of the moving picture code conversion transmission apparatus according to the first embodiment of the present invention. For simplicity, the number N of encoded data output by this apparatus is set to 3, and the number M of transmission lines for transmitting the encoded data is set to 2.
In FIG. 2, the first moving image encoding / transmitting unit 200 includes a first transmission frame / packet selecting unit 201 and a first first error detection code / frame / packet identification number adding unit 202. . Note that the first moving image coding / transmission unit 200 corresponds to the first moving image code conversion / transmission unit 102 in FIG.
The first transmission frame / packet selection unit 201 adaptively selects a frame to be transmitted to the transmission line from the input moving image according to the nature of the image and the state of the transmission line. For selection, for example, a packet may be selected and output at regular intervals (once every n packets). Alternatively, the selective encoding packet to be transmitted is adaptively determined with reference to the feature parameter in the packet of the moving image frame. For example, as a characteristic parameter in an encoded packet, for example, a parameter that has a large influence on the image quality of a decoded image due to a bit error or packet loss, such as a motion vector, is adaptively determined. . Or, when the encoding is MPEG, according to the picture type, for example, a rule such as an I picture must be selected may be provided, or the selection rule may be dynamically changed. Also good.
The first error detection code / frame / packet identification number adding unit 202 is an error for detecting a transmission error and packet loss of the encoded packet data output from the first transmission frame / packet selection unit 201 by the receiving device. A detection code and a frame / packet identification number are added.
Similarly, in FIG. 2, the second moving image code conversion transmission unit 220 includes a decoding unit 203, an interframe prediction unit 204, a prediction residual calculation unit 205, a second prediction error compression coding unit 206, and a second coding. A packet generation unit 207, a second error detection code / frame / packet identification number addition unit 208, a prediction residual decoding unit 209, a reference frame storage memory 211, and a decoded image calculation unit 210 are provided. The second moving image code conversion / transmission unit 220 corresponds to the second moving image code conversion / transmission unit 104 in FIG. 1, and the decoding unit 203 corresponds to the moving image data decoding unit 103 in FIG. To do.
In FIG. 2, the decoding unit 203 decodes at least a part of the input moving image encoded data.
The inter-frame prediction unit 204 performs inter-frame prediction from at least one decoded image stored in the reference frame storage memory 211 to an input image.
The prediction residual calculation unit 205 calculates a prediction residual by subtracting the prediction image obtained by the inter-frame prediction unit 204 from the input frame image.
The second prediction residual compression encoding unit 206 compresses and encodes the prediction residual image obtained by the prediction residual calculation unit 205 by a predetermined method.
The second encoded packet generation unit 207 has a variable length of the interframe prediction parameter obtained by the interframe prediction unit 204 and the compressed data of the prediction residual image obtained by the second prediction error compression coding unit 206 in a bit string. Encode and output in predetermined packet units.
The second error detection code / frame / packet identification number adding unit 208 detects an error for detecting a transmission error and a packet loss of the encoded packet data output from the second encoded packet generation unit 207 by the receiving device. A code and a frame / packet identification number are added.
The prediction residual decoding unit 209 obtains decoded data of the prediction residual encoded by the second error detection code / frame / packet identification number adding unit 208.
The decoded image calculation unit 210 obtains a decoded image from the sum of the prediction image generated by the interframe prediction unit 204 and the prediction residual decoded by the prediction residual decoding unit 209.
The reference frame storage memory 211 stores a decoded image in preparation for encoding of the next frame.
In FIG. 2, the third moving image code conversion / transmission unit 230 includes a third prediction residual compression encoding unit 212, a third encoded packet generation unit 213, a third error detection code / frame / packet identification number. An additional unit 214 is provided. The third moving image code conversion transmission unit corresponds to the third moving image code conversion transmission unit 105 in FIG.
The third prediction residual compression encoding unit 212 uses the prediction residual image obtained by the prediction residual calculation unit 205 to be equal to or more than the first (second) prediction residual compression encoding unit 206. Encode with high compression rate.
The third encoded packet generation unit 213 converts the interframe prediction parameter obtained by the interframe prediction unit 204 and the compressed data of the prediction residual obtained by the third prediction residual compression encoding unit 212 into a bit string. Variable length encoding is performed and output in predetermined packet units.
The third error detection code / frame / packet identification number adding unit 214 is an error detection code for detecting a transmission error and a packet loss of the compressed packet data output from the third encoded packet generation unit 213 by the receiving device. And a frame / packet identification number.
The third moving image encoded data is obtained by the operation of the processing unit described above, and is transmitted in units of packets by a predetermined transmission unit.
In the present embodiment, since M is 2 and N is 3, each of the two transmission paths is selected from the first to third moving image encoded data according to the band that can be used for the transmission path. The encoded moving image data is transmitted. In FIG. 1, two code conversion transmission processing units 1 and a code conversion transmission processing unit 2 are provided, and the code conversion transmission processing units 1 and 2 transmit to each of three transmission paths.
In the present embodiment, a first error detection code addition / frame / packet identification number addition unit 202 is provided, and an error detection code and a frame are added to the first encoded data output from the first transmission frame / packet selection unit 201. / Packet identification number is added, but if such information has already been added to the input video packet data, the first error detection code addition / frame / packet identification number addition unit 202 is provided. It does not have to be. Further, any other realization method may be used as long as the transmission error and packet loss of the transmitted encoded packet data can be detected by the code conversion reception apparatus. For example, when a transmission error detection mechanism is provided in the transmission path of the first encoded packet, it is necessary to add error detection encoding at the first error detection code addition / frame / packet identification number addition unit 202 There is no. As another example, if the encoded data output from the first transmission frame / packet selection unit 201 includes information capable of identifying a frame or a packet, the first error detection code is added and the frame / packet is identified. There is no need to add a frame / packet identification number by the number adding unit 202.
Similarly, a second error detection code addition / frame / packet identification number adding unit 208 is provided to add an error detection code and a frame / packet identification number to the second encoded data. Any other realization method may be used as long as it enables detection of data transmission errors and packet loss by the code conversion receiver.
Similarly, a third error detection code addition / frame / packet identification number addition unit 214 is provided to add an error detection code and a frame / packet identification number to the third encoded data. Any other realization method may be used as long as it enables detection of data transmission errors and packet loss by the code conversion receiver.
In an example in which the embodiment described above is more preferably embodied, the moving image code conversion / transmission apparatus is connected to the Internet communication network, and for example, a moving image captured and input via a CCD (charge coupled device) camera or the like. Is encoded into encoded data according to the MPEG-4 visual (Visual) system, and data transmitted using a UDP (User Datagram Protocol) / IP (Internet Protocol) protocol is input.
In FIG. 2, an inter-frame prediction unit 204 performs inter-frame prediction by motion compensation. The first prediction residual compression encoding unit 206 and the third prediction residual compression encoding unit 212 perform compression processing by two-dimensional discrete cosine transform (2D-DCT) and quantization. The second prediction residual compression encoding unit 212 uses a quantization parameter larger than that of the first prediction residual compression encoding unit 206 to quantize the 2D-DCT coefficient, or a higher-order 2D-DCT. The compression is performed so that the compression rate of the third encoded data is equal to or higher than the compression rate of the first encoded data by a method such as adaptively removing the coefficient. The prediction residual decoding unit 209 performs inverse quantization and inverse two-dimensional discrete cosine transform (2D-IDCT).
The second encoded packet generation unit 207 defines the quantized DCT coefficient output from the second prediction residual compression encoding unit 206, the motion vector output from the inter-frame prediction unit 204, and the like in MPEG-4 Visual. Is encoded according to the specified syntax. Similarly, the third encoded packet generation unit 213 converts the quantized DCT coefficient output from the third prediction residual compression encoding unit 212, the motion vector output from the inter-frame prediction unit 204, and the like into MPEG. -4 Encoding is performed according to the syntax defined in Visual. First error detection code addition / frame / packet identification number addition unit 202, second error detection code addition / frame / packet identification number addition unit 208, and third error detection code addition / frame / packet identification number addition The unit 214 creates a UDP datagram including a checksum for error detection, and sends it to a code conversion receiving apparatus connected to the Internet.
(1.C) Code conversion receiver:
FIG. 3 shows a detailed configuration of the moving picture code conversion receiving apparatus 120 (see FIG. 1) according to the first embodiment of the present invention. In FIG. 3, the moving image code conversion receiving apparatus includes a transmission path selection unit 300, first to third encoded data receiving units 320, 330, and 340, and an encoded data reconstruction unit 310. .
The first encoded data reception unit 320 includes a first packet reception buffer 301, a first encoded data extraction unit 302, and a first error / packet loss detection unit 303. The second and third encoded data receiving units have the same configuration as that of the first encoded data receiving unit.
In FIG. 1, the reception transmission path selection unit 300, which is shown as the reception transmission path selection unit 107, selects the transmission path 130 (see FIG. 1) from which the encoding / conversion reception apparatus 120 (see FIG. 1) receives moving image data. To do. The first packet reception buffer 301 receives first encoded packet data transmitted from the code conversion transmission apparatus 100 (see FIG. 1). The first encoded data extraction unit 302 extracts moving image encoded data from the packet data received by the first packet reception buffer 301. The first error / packet loss detector 303 detects a bit error and / or packet loss that has occurred during transmission of the first encoded packet data.
In the second encoded data receiving unit 330, the second packet reception buffer 304 receives the second encoded packet data transmitted from the code conversion transmission apparatus 100 (see FIG. 1). The second encoded data extraction unit 305 extracts encoded video data from the packet data received by the second packet reception buffer 304. The second error detection / packet loss detection unit 306 detects a bit error and / or packet loss that has occurred during transmission of the second encoded packet data.
In the third encoded data receiving unit 340, the third packet reception buffer 307 receives the third encoded packet data transmitted from the code conversion transmission apparatus 100 (see FIG. 1). The third encoded data extraction unit 308 extracts encoded video data from the packet data received by the third packet reception buffer 307. The third error detection / packet loss detection unit 309 detects a bit error and / or packet loss that has occurred during transmission of the third encoded packet data.
The encoded data reconstruction unit 310 receives 2 bits transmitted from the code conversion transmission apparatus according to the result of detecting the bit error and / or packet loss in the first to third error detection / packet loss detection units 303, 306, and 309. One piece of encoded data is reconstructed into one piece of encoded data.
The encoded data reconstruction procedure in the encoded data reconstruction unit 310 in this embodiment will be described with reference to the flowchart of FIG. The series of procedures in FIG. 4 shows the encoded data reconstruction process of the nth frame for a certain integer n.
In step S401, it waits until the time when all the encoded data of the nth frame should arrive at the first received packet buffer 301 and the second received packet buffer 304 plus a predetermined maximum allowable delay time. Then, the process proceeds to step S402.
In step S402, it is determined whether there is no packet loss or bit error in the nth frame data in the first reception packet buffer 301 according to the error and packet loss detection result in the first error detection / packet loss detection unit 303. .
If all the encoded data of the nth frame are received by the first reception packet buffer 301 and no error is detected in the data, the process branches to step S403. In cases other than that described here, process flow proceeds to Step S404.
When the process branches to step S403, the encoded data of the nth frame output from the first encoded data extraction unit 302 is output, and the encoded data reconstruction process ends.
As a result of the determination in step S402, if the process proceeds to step S404, the packet is transmitted to the nth frame data in the second received packet buffer 304 according to the error and packet loss detection result in the second error detection / packet loss detection unit 306. Judge whether there is any loss or bit error. If all the encoded data of the nth frame are received by the second received packet buffer 304 and no error is detected in the data, the process branches to step S405. Otherwise, the process proceeds to step S406.
When the processing proceeds to step S406, there is no packet loss or bit error in the nth frame data in the third reception packet buffer 307 according to the error and packet loss detection result in the third error detection / packet loss detection unit 309. Determine whether or not. If all the encoded data of the nth frame are received by the third received packet buffer 307 and no error is detected in the data, the process proceeds to step S407. Otherwise, the process branches to step S403.
In step S407, the encoded data of the nth frame output from the third encoded data extraction unit 308 is output as encoded data to be decoded, and the encoded data reconstruction process is terminated.
In the present embodiment, the first error detection / packet loss detection unit 303 may detect any transmission error and / or erroneous packet loss of the first encoded data. For example, the detection may be performed by the error detection code and the frame / packet number added by the code conversion transmission apparatus of the present embodiment. Alternatively, when the transmission path of encoded data has an error detection function, the detection result may be used. When the information specifying the encoded frame is included in the encoded data, the information included in the encoded data may be used.
Similarly, the second error detection / packet loss detection unit 306 may detect any transmission error and / or error packet loss of the second encoded data by any method. The third error detection / packet loss detection unit 309 may detect any transmission error and / or erroneous packet loss of the third encoded data.
In the encoded data reconstruction procedure in the encoded data reconstruction unit 310, the method of waiting for reception of the nth frame encoded data in step S401 is a method capable of detecting a packet loss while suppressing the packet transmission delay within a predetermined range. Any other method can be used.
In the encoded data reconstruction procedure in the encoded data reconstruction unit 310, when a transmission error or packet loss is detected in the encoded data received by the third reception packet buffer in step S406, that is, the first to third In the case where a transmission error or packet loss occurs in all the encoded data, the encoded data reconstruction unit 310 may take any other measures.
In the present embodiment, the process proceeds to step S403 in FIG. 4 and the first encoded data is output as encoded data to be decoded. For example, the output of the nth frame is canceled and the first ( n-1) Other methods may be used such as setting the frame image data as the output of the nth frame.
In a specific example in which the present embodiment is implemented, the code conversion receiving device is connected to the Internet communication network, and packet data transmitted using the UDP / IP protocol from the code conversion transmission device connected to the Internet communication network at another point. Is converted, and the moving image encoded data included in the received UDP datagram is converted and output to the decoding device. The moving image encoded data conforms to the MPEG-4 Visual system. The first error detection / packet loss detection unit 303, the second error detection / packet loss detection unit 306, and the third error detection / packet loss detection unit 309 calculate the checksum included in the UDP datagram. By doing so, a transmission error is detected.
(1.D) Transmission form of encoded packet data:
In the present invention, the first and second encoded packet data may be transmitted from the code conversion transmission apparatus 100 (see FIG. 1) to the code conversion reception apparatus 120 (see FIG. 1) by any method. However, in order to enhance the effect of the present invention, a bit error or packet loss occurring in the first encoded packet data and a bit error or packet loss occurring in the second encoded packet data obtained by encoding the same frame image A method in which the correlation with the value is small is preferable.
FIG. 5 shows an example of such a preferred encoded packet data transmission method. In FIG. 5, a code conversion transmission apparatus 501 is the code conversion transmission apparatus described with reference to FIG. Delay adding sections 502 to 503 add a delay time that changes constantly or adaptively to the second to third encoded packet data output from code conversion transmission apparatus 501 and outputs the result.
The multiplexing unit 504 includes the first encoded data output from the code conversion transmission device 501 shown as the code conversion transmission device 100 in FIG. 1 and the second encoding output from the delay addition unit 502. The data and the third encoded data output from the delay adding unit 503 are multiplexed and sent to the transmission line 505.
The transmission path 505 transmits the data multiplexed by the multiplexing unit 504 from the transmission device to the reception device. Similarly, the delay adding units 506 and 507 and the multiplexing unit 508 perform processing for sending similar data to the second transmission path 509.
The transmission path selection unit 510 selects at least one of the transmission path 505 and the transmission path 509. Separating section 511 receives data from transmission path selecting section 510 and separates it into first encoded data and second encoded data. The moving image receiving / decoding device 512 is composed of the moving image code conversion receiving device described with reference to FIG.
Here, the delay added to the second to third encoded data by the delay adding sections 502 and 503 is determined by the maximum burst time of a bit error or packet loss occurring in the transmission path 505. As a result, even if a burst error occurs in the transmission path 505, the probability that any of the first to third encoded data encoded in the same frame is affected by the error is reduced. It is possible to reduce the occurrence of significant image quality degradation due to loss. The delay set by the delay adding unit is set based on the buffer size of the receiving device and the transfer rate (bit rate) of the transmission path.
Similarly, the delay time added to the second to third encoded data by the delay adding units 506 and 507 is determined by the maximum burst time of bit errors and packet loss that occur in the transmission path 509. As a result, even if a burst error occurs in the transmission path 509, the probability that any of the first to third encoded data encoded in the same frame is affected by the error is reduced. It is possible to reduce the occurrence of significant image quality degradation due to loss. The delay adding unit or the delay adding unit and the multiplexing unit may be provided in the code conversion transmission apparatus 501.
(1.E) Effect:
According to the first embodiment, the moving image code conversion / transmission apparatus 100 converts the same moving image data into three pieces of encoded data, and separates a time interval that changes constant or adaptively. It is sent to the transmission line 130.
The first code conversion transmission unit 102 adaptively selects and outputs the frame of the input moving image data according to the nature of the moving image or a predetermined rule. The second code conversion transmission unit 104 decodes at least a part of the input moving image data, encodes it with a compression rate equal to or higher than that of the input data, and transmits it. The third code conversion transmission unit 105 uses the inter-frame prediction parameter or the prediction obtained by encoding the frame encoded by the second code conversion transmission unit 104 with respect to the frame encoded by the second code conversion transmission unit 104. Encoding is performed using at least one of the residual image data.
The code conversion receiving apparatus 120 side receives data from at least one transmission path out of M transmission paths, and selects encoded data with a low compression rate and good image quality from among the encoded data that can be normally received. Select and output in frame units.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that any of the three encoded data is erroneously transmitted is reduced, and decoding after transmission is performed. It is possible to prevent the image from being significantly disturbed.
Furthermore, by increasing the compression rate of the second to third encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the encoded data. In addition, the first to third encoded data can be transmitted to a plurality of transmission paths having different bands in accordance with the usable bands, and the influence of errors in the transmission paths can be reduced. In addition, since at least one piece of data is selected from the received three pieces of encoded data and is output to the moving picture decoding apparatus by the moving picture code conversion receiving apparatus, Compared with the decoding device, the amount of calculation required does not increase greatly.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. The first to Nth code conversion data may be multiplexed by shuffling the packet order by an interleaving method or the like. According to the interleaving method, it is possible to average the influence of a transmission line such as a line that changes with time.
(2) Second embodiment:
In the second embodiment of the present invention, the code conversion transmission apparatus for an arbitrary integer N of 2 or more and an arbitrary integer M of 1 or more,
(A) Control of inputting compressed encoded packet data and transmitting all packets or packets adaptively selected according to the nature of input moving images or predetermined rules using a predetermined transmission means A first moving image code conversion transmission unit for performing
(B) Decoding at least a part of the input encoded packet data, compression encoding the packet data so that the compression rate is equal to or higher than that of the first moving image code conversion / transmission unit, and all obtained Control of packet data or packet data selected adaptively according to the nature of the input moving image or a predetermined rule using a predetermined transmission means and transmitting at constant or adaptively changing transmission time intervals 2nd to Nth moving image code conversion transmission units for performing
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. In addition, a selection unit that selects and outputs, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame is provided.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the second embodiment will be described in more detail.
(2.A) Overview:
The configuration and operation of the system of this embodiment are almost the same as those of the first embodiment. As shown in FIG. 1, the moving image code conversion transmission device 100, the code conversion reception device 120, and the encoded data are transmitted. Transmission line 130. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more.
The configuration of the moving image code conversion / transmission apparatus 100 is substantially the same as that of the first embodiment, but the operation of each part constituting this apparatus is slightly different. Hereinafter, only the difference between the operation in this embodiment and the operation in the first embodiment will be described.
The encoded data of the input frame image encoded by the first moving image encoding / transmitting unit (first moving image code conversion / transmitting unit) 102 is composed of at least one packet data. Are encoded with inter-frame prediction parameters and differential image compression data for an image region included in an input frame image. The first moving image encoding / transmitting unit 102 transmits at least a part of the input moving image data packet to the moving image code conversion receiving apparatus.
The second moving image conversion transmission unit (second moving image code conversion transmission unit) 104 decodes at least a part of the input moving image data, and the obtained image is equivalent to the first moving image encoded data. Alternatively, predetermined compression encoding is performed at a higher compression rate, and at least a part of the encoded data is transmitted to the moving image code conversion receiving apparatus.
Further, the third to Nth moving image encoding / transmission unit (third to Nth moving image code conversion / transmission unit) 105 performs transmission of all of the packets encoded by the second moving image code conversion / transmission unit or The second moving image is obtained by using at least one data of an inter-frame prediction parameter or a prediction difference image obtained by inter-frame prediction of the second moving image encoding transmission unit for the image region included in the packet. Encoding is performed at a compression rate equivalent to or higher than that of the image encoding transmission unit, and at least a part of the obtained encoded packet data is transmitted to the moving image code conversion receiving apparatus. Other operations other than this are substantially the same as those of the first embodiment.
The configuration of the moving image code conversion receiving apparatus is almost the same as that of the first embodiment, but the operation of each part constituting this apparatus is slightly different. Below, the point in which the operation | movement in this embodiment differs from the operation | movement in 1st Embodiment is demonstrated.
Similar to the first embodiment, the encoded data reconstruction unit 112 receives the first Nth encoded data reception unit without any transmission error or omission in the first to Nth encoded data reception units and includes the maximum N including compressed data in the same region of the same frame. For example, a packet with the lowest compression rate and good image quality is selected as encoded data to be decoded from among the encoded packet data, and this selection is performed in units of packet data transmitted by the code conversion transmission apparatus. Other operations other than this are substantially the same as those of the first embodiment.
(2.B) Code conversion transmission apparatus:
The configuration and operation of the moving picture data code conversion / transmission apparatus in the present embodiment are substantially the same as those of the moving picture code conversion / transmission apparatus in the first embodiment shown in FIG. However, the first encoded packet selection unit 201, the second encoded packet generation unit 207, the third encoded packet generation unit 213, and the first error detection code addition / frame / packet number in FIG. The operations of the addition unit 202, the second error detection code addition / frame / packet number addition unit 208, and the third error detection code addition / frame / packet number addition unit 214 are different from those of the first embodiment. Differences will be described below, and description of the same parts will be omitted.
In the moving image data code conversion transmission apparatus according to the present embodiment, the first encoded packet selection unit 201, the second encoded packet generation unit 207, and the third encoded packet generation unit 213 are the first encoded packet. An image region included in the encoded packet data selected by the selection unit 201, an image region included in the encoded packet data generated by the second encoded packet generation unit 207, and generated by the third encoded packet generation unit 213 The encoded packet data is generated so that the image area included in the encoded packet data matches.
First error detection code addition / frame / packet number addition unit 202, second error detection code addition / frame / packet number addition unit 207, third error detection code addition / frame / packet number addition unit 213, Operates so that the same packet identification number is added to the encoded packet data corresponding to the same image area of the same frame. However, if the packet data encoded by the first to third encoded packet generators includes information for specifying the frame number and the position of the image area included in the packet data, the frame / packet An identification number may not be added.
In an example in which the present embodiment is embodied, the MPEG-4 visual method is used for compression encoding of moving images. In this method, an input image frame is divided and compressed into rectangular regions of a certain size called “macroblocks”, and image information compressed in units of macroblocks is encoded into a bit string in units of packets called video packets. A video packet includes compressed data relating to an arbitrary number of macroblocks in the same frame, and bit string data encoded by the same method can be decoded in units of video packets. The first encoded packet selector 201, the second encoded packet generator 207, and the third encoded packet generator 213 output the encoded data in units of video packets. The video packet encoded by the second encoded packet generator 207 and the video packet encoded by the third encoded packet generator 213 are the video selected by the first encoded packet selector 201. It is generated to include a macroblock in the same area as the packet.
(2.C) Code conversion receiver:
The configuration and operation of the moving image code conversion receiving apparatus in the present embodiment are almost the same as those of the moving image code conversion receiving apparatus in the first embodiment shown in FIG. 3, and the encoded data reconstruction unit 310 in FIG. Only the operation is different. Differences will be described below, and description of the same parts will be omitted.
The procedure of the encoded data reconstruction in the encoded data reconstruction unit 310 in this embodiment will be described based on the flowchart of FIG. The series of procedures in FIG. 6 shows the encoded data reconstruction process of the nth frame for a certain integer n.
In step S601, a predetermined maximum allowable delay at the time when all the encoded data of the nth frame should arrive at the first reception packet buffer 301, the second reception packet buffer 304, and the third reception packet buffer 307. After waiting until the time when the time is added, the process proceeds to step S602.
In step S602, the minimum value of the packet number of the nth frame is stored in the variable a that stores the packet number, and the maximum value of the packet number of the nth frame is stored in the variable b.
In step S603, the value of variable a is substituted for variable i that stores the packet number, and the iterative process from step S604 is started.
In step S604, according to the detection result of the error and packet loss in the first error detection / packet loss detection unit 303, whether or not the i-th packet of the nth frame exists in the first received packet buffer 301 and there is no bit error. Determine if. When the i-th packet of the n-th frame is received by the first received packet buffer 301 and no error is detected in the data, the process proceeds to step S608. In cases other than that described here, process flow proceeds to Step S605.
When the process proceeds to step S608, the encoded data of the nth frame output from the first encoded data extraction unit 302 is output as encoded data to be decoded, and the process proceeds to step S610.
When the process proceeds to step S605, the i-th packet of the n-th frame is present in the second received packet buffer 304 in accordance with the detection result of the error and packet loss in the second error detection / packet loss detection unit 306, Determine if there are any bit errors. When the i-th packet of the n-th frame is received by the second received packet buffer 304 and no error is detected in the data, the process proceeds to step S607. In cases other than that described here, process flow proceeds to Step S606.
In step S607, the encoded data of the nth frame output from the second encoded data extraction unit 305 is output as encoded data to be decoded, and the process proceeds to step S610.
When the process proceeds to step S606, the i-th packet of the n-th frame exists in the third received packet buffer 307 according to the error and packet loss detection results in the third error detection / packet loss detection unit 309, and the bit Determine if there are any errors. When the i-th packet of the n-th frame is received by the third received packet buffer 307 and no error is detected in the data, the process proceeds to step S609. Otherwise, the process proceeds to step S610.
In step S610, the variable i is incremented by one. In the subsequent step S611, it is determined whether or not the variable i exceeds the value of the variable b. If not, the processing from step S604 is repeated. When the variable i exceeds the value of the variable b, a series of repetitive processes are finished, and the reconstruction process of the nth frame encoded data is finished.
Note that the method of waiting for reception of the nth frame encoded data in step S601 in the encoded data reconstruction procedure in the encoded data reconstruction unit 310 of the present embodiment has a packet transmission delay within a predetermined range. Any other method may be used as long as the packet loss can be detected while suppressing.
(2.D) Effect:
According to the second embodiment, the moving image code conversion / transmission apparatus encodes the same moving image data into three pieces of encoded data, and transmits them with a constant or adaptively changing time interval. . The second to third moving image code conversion / transmission units encode the image region included in the packet converted by the first moving image code conversion / transmission unit. The third encoded transmission unit is configured to predict an image region included in the packet encoded by the second encoded transmission unit by performing inter-frame prediction obtained by encoding the frame by the first moving image code conversion transmission unit. Encoding is performed using at least one of parameters and prediction residual image data.
The moving image code conversion receiving apparatus side selects and decodes encoded data with a low compression rate and good image quality from encoded data that can be normally received.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that any of the three encoded data is erroneously transmitted is reduced, and decoding after transmission is performed. It is possible to prevent the image from being significantly disturbed.
Furthermore, by increasing the compression rate of the second to third encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the encoded data.
Furthermore, the first to third encoded data can be transmitted to a plurality of transmission paths having different bands in accordance with the usable bands, and the influence of errors in the transmission paths can be reduced.
In addition, since at least one piece of data is selected from the received three pieces of encoded data and is output to the moving picture decoding apparatus by the moving picture code conversion receiving apparatus, Compared with the decoding device, the amount of calculation required does not increase greatly.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently.
(3) Third embodiment:
In the third embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer M of 1 or more, the code conversion transmission apparatus:
(A) Moving picture data in which compressed encoded data is inputted and all frames of the decoded moving picture data or a frame adaptively selected according to the nature of the input moving picture or a predetermined rule are inputted. A first moving image code conversion transmission unit that performs control to transmit at least a part of the obtained encoded data by using a predetermined transmission unit,
(B) all frames encoded by the first moving image code conversion / transmission unit, or frames adaptively selected according to the nature of the input moving image or a predetermined rule, the first moving image for the frame By reusing at least one of the inter-frame prediction parameter or the prediction difference data obtained by the inter-frame prediction by the code conversion transmission unit, the compression rate is equal to or higher than that of the first moving image code conversion transmission unit. A second control for transmitting the obtained encoded data using the same or different transmission path as that of the first moving image code conversion transmission unit, and transmitting a transmission time interval that changes constant or adaptively. Thru | or Nth moving image code conversion transmission part,
(C) Select the compression rate and / or the number of encoded transmission data of the first to Nth moving image code conversion transmission means according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or loss. A selection unit is provided that extracts encoded data, selects and outputs, for example, moving image encoded data having the lowest compression rate and good image quality from the encoded data of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the third embodiment will be described in more detail.
(3.A) Overview:
FIG. 7 is a diagram showing a system configuration in the third embodiment of the present invention. As shown in FIG. 7, it comprises a code conversion transmission unit (code conversion transmission device) 700 for moving image data, a code conversion reception device 720, and a transmission path 730 for transmitting encoded data. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus. N is 2 or more. The integer M represents the number of transmission lines 730 through which N encoded data are transmitted, and is set to 1 or more.
The moving image code conversion transmission apparatus 700 decodes at least a part of the input encoded moving image data, and performs predetermined compression encoding of the obtained image at a compression rate equal to or higher than that of the input data. The code conversion data is transmitted to the moving image code conversion receiving device 720. The input moving image data is encoded into N pieces of encoded data, and transmitted to the first to Mth transmission lines 730 as first to Nth moving image encoded data.
As illustrated in FIG. 7, this apparatus includes first to Nth N moving image coding / transmission units (first to Nth moving image code conversion transmission units) 703 to 705.
The moving image data receiving unit 701 receives moving image data. The moving image decoding unit 702 decodes at least a part of the input moving image encoded data.
A first video encoding / transmission unit (first video code conversion / transmission unit) 703 performs predetermined compression encoding on a frame input to the code conversion transmission device (encoding conversion transmission unit), and obtains the result. Control is performed to transmit at least part of the encoded data to the moving image code conversion receiver. The second to Nth moving image encoding / transmitting units (moving image code converting / transmitting units) 704 and 705 are configured to output at least a part of the frames encoded by the first moving image encoding / transmitting unit 703, Equivalent to or equivalent to the first video encoding / transmission unit 703 using at least one of the inter-frame prediction parameter or the prediction difference image data obtained by the inter-frame prediction of the first video encoding / transmission unit for the frame Encoding is performed at a higher compression rate, and at least a part of the obtained encoded data is transmitted to the moving image code conversion receiving apparatus 720 via the transmission path 730. Among the first to Nth moving image encoded data, the moving image encoded data selected in accordance with the band that can be used for the transmission path is transmitted onto the first to Mth transmission paths.
In the video code conversion receiving device 720, the reception transmission path selection unit 706 selects at least one transmission path from the M transmission paths transmitted by the video code conversion transmission apparatus, and N from the selected transmission path. The encoded data is received, and decoding conversion is performed.
As illustrated in FIG. 7, the moving image code conversion reception device 720 includes encoded data transmitted on the transmission path 730 by the first to Nth moving image code conversion transmission units 703 to 705 included in the code conversion transmission device 700. Are provided with first to Nth encoded data receiving units 707 to 709 and an encoded data reconstruction unit 710. The encoded data reconstruction unit 710 selects, for example, the data having the lowest compression rate and the good image quality from among the maximum N encoded data received by the encoded data receiving units 707 to 709 without transmission errors or omissions. Select and output.
(3.B) Code conversion transmission apparatus:
FIG. 8 shows a detailed configuration of the moving picture code conversion transmission apparatus according to the third embodiment shown in FIG. In FIG. 8, for the sake of simplicity, the number N of encoded data output by this apparatus is set to 2, and the number M of transmission lines for transmitting encoded data is set to 2.
In FIG. 8, the decoding unit 801 decodes at least a part of the input moving image data. The inter-frame prediction unit 802 performs inter-frame prediction from at least one decoded image stored in the reference frame storage memory 809 to the image output from the decoding unit 801. The prediction residual calculation unit 803 calculates a prediction residual by subtracting the prediction image obtained by the inter-frame prediction unit 802 from the input frame image. The first prediction residual compression encoding unit 804 compresses and encodes the prediction residual image obtained by the prediction residual calculation unit 803 by a predetermined method. The first encoded packet generation unit 805 converts the interframe prediction parameter obtained by the interframe prediction unit 802 and the compressed data of the prediction residual image obtained by the first prediction residual compression encoding unit 804 into a bit string. Are encoded in a variable length and output in predetermined packet units. The first error detection code / frame / packet identification number adding unit 806 detects an error for detecting a transmission error and a packet loss of the encoded packet data output from the first encoded packet generation unit 805 by the receiving device. A code and a frame / packet identification number are added. The prediction residual decoding unit 807 obtains decoded data of the prediction residual encoded by the first error detection code / frame / packet identification number adding unit 806. The decoded image calculation unit 808 obtains a decoded image from the sum of the prediction image generated by the inter-frame prediction unit 802 and the prediction residual decoded by the prediction residual decoding unit 807. The reference frame storage memory 809 stores the decoded image in preparation for encoding the next frame.
In FIG. 8, the second prediction residual compression encoding unit 810 compresses the prediction residual image obtained by the prediction residual calculation unit 803 equivalent to or higher than the first prediction residual compression encoding unit. Encode with rate. The second encoded packet generation unit 811 converts the interframe prediction parameter obtained by the interframe prediction unit 802 and the compressed data of the prediction residual obtained by the second prediction residual compression encoding unit 810 into a bit string. Variable length encoding is performed and output in predetermined packet units. The second error detection code addition / frame / packet identification number addition unit 812 is an error detection unit for detecting a transmission error and a packet loss of the compressed packet data output from the second encoded packet generation unit 811 at the receiving device. A code and a frame / packet identification number are added. As a result, second moving image encoded data is obtained and transmitted in units of packets by a predetermined transmission mechanism.
In the present embodiment, since M is 2 and N is 2, each of the two transmission paths is selected from the first to second moving image encoded data according to the band that can be used for the transmission path. The encoded moving image data is transmitted.
In the present embodiment, a first error detection code addition / frame / packet identification number addition unit 806 is provided, and an error detection code and a frame are added to the first encoded packet data output from the first encoded packet generation unit 805. / A packet identification number is added, but any other implementation method can be used as long as it can detect transmission errors and packet losses of transmitted encoded packet data with a code conversion receiver. It doesn't matter. For example, when a transmission error detection mechanism is provided in the transmission path of the first encoded packet, it is necessary to add error detection encoding at the first error detection code addition / frame / packet identification number addition unit 806 There is no. As another example, if the encoded data output from the first encoded packet generation unit 805 includes information capable of identifying a frame or a packet, the first error detection code addition / frame / packet identification number is included. There is no need to add a frame / packet identification number by the adding unit 806.
Similarly, a second error detection code addition / frame / packet identification number addition unit 812 is provided to add an error detection code and a frame / packet identification number to the second encoded packet data. Any other realization method may be used as long as it enables the transmission error and packet loss of the encoded packet data to be detected by the code conversion receiver.
An example in which the present embodiment described above is more preferably embodied is the same as in the first embodiment described above.
(3.C) Code conversion receiver:
The moving picture code conversion receiving apparatus according to the third embodiment of the present invention has the same configuration as shown in FIG. However, in the example shown in FIG. 3, the number M of transmission lines is 3, but in the present embodiment, it is 2, so the third encoded receiving unit does not exist in this embodiment. The operation of the encoded data reconstruction unit 310 is different in procedure because M is 2.
The operation procedure in the encoded data reconstruction unit 310 in this embodiment will be described based on the flowchart of FIG. The series of procedures in FIG. 9 shows the encoded data reconstruction process of the nth frame for a certain integer n.
In step S901, the process waits until a time when all the encoded data of the nth frame should arrive at the first reception packet buffer 301 and the second reception packet buffer 304 plus a predetermined allowable maximum delay time. Thereafter, the process proceeds to step S902.
In step S902, in accordance with the error and packet loss detection results in the first error detection / packet loss detection unit 303, it is determined whether the nth frame data exists in the first received packet buffer 301 and there is no bit error. To do. If all the encoded data of the nth frame are received by the first reception packet buffer 301 and no error is detected in the data, the process proceeds to step S903. Otherwise, the process proceeds to step S904.
When the process proceeds to step S903, a variable length decoding unit (not shown, for example, as shown in FIG. 16) is used as encoded data for decoding the nth frame encoded data output from the first encoded data extraction unit 302. The encoded data reconstruction process is terminated.
When the process proceeds to step S904, the nth frame data exists in the second received packet buffer 304 and there is no bit error according to the detection result of the error and the packet loss in the second error detection / packet loss detection unit 306. Determine whether or not. When all the encoded data of the nth frame are received by the second received packet buffer 304 and no error is detected in the data, the process proceeds to step S905. Otherwise, the process proceeds to step S903.
In step S905, a variable length decoding unit (not shown, but included in, for example, the decoding apparatus illustrated in FIG. 16) is used as encoded data for decoding the nth frame encoded data output from the second encoded data extraction unit 305. And the encoded data reconstruction process is terminated.
The operation of each part other than this in this embodiment, and a preferred specific example, are the same as in the case of the first embodiment.
(3.D) Effect:
According to the third embodiment, the moving image code conversion / transmission apparatus decodes at least part of the input moving image data, encodes the same moving image data into two encoded data, Transmit at intervals of constant or adaptively changing time intervals. The second moving image code conversion transmission unit performs inter-frame prediction obtained by encoding the frame encoded by the first moving image code conversion transmission unit by the first moving image code conversion transmission unit. Encoding is performed using at least one of parameters and prediction residual image data.
The code conversion receiving apparatus side selects encoded data with a low compression rate and good image quality from the encoded data that can be normally received, and outputs the selected data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands according to the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(4) Fourth embodiment:
In the fourth embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer M of 1 or more, the code conversion transmission apparatus:
(A) At least a part of the input encoded packet data is decoded and compression-encoded so that the compression rate is equal to or higher than the input moving image data, and at least one of the obtained encoded packet data A first moving image code conversion transmission unit that performs control to transmit the unit using a predetermined transmission unit;
(B) With respect to all packet data encoded by the first moving image code conversion / transmission unit or packet data adaptively selected according to the nature of the input moving image or a predetermined rule, each packet data is The encoded image region is reused by reusing at least one of the inter-frame prediction parameter or the prediction difference data obtained by inter-frame prediction by the first moving image code conversion / transmission unit for the image region. Encode into one packet data that has a compression rate equal to or higher than that of the code conversion transmission unit, and transmit the encoded packet data obtained by the same or different transmission means as the first video code conversion transmission unit A second to Nth moving image code conversion transmission unit for performing transmission using a transmission time interval that is constant or adaptively changed,
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To means for sending the encoded data to the Mth transmission line.
The receiving apparatus selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and has received no transmission error or omission. A selection unit is provided that selects and outputs, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and function realized by a program executed by a computer constituting the code conversion transmission device and the code conversion reception device.
Hereinafter, the fourth embodiment will be described in more detail.
(4.A) Overview:
The configuration and operation of this embodiment are almost the same as those of the third embodiment. As shown in FIG. 7, the configuration and operation include a moving image code conversion transmission device, a code conversion reception device, and a transmission path for transmitting encoded data. Is done. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more.
The configuration of the moving picture code conversion / transmission apparatus is almost the same as that of the third embodiment, but the operation of each part constituting this apparatus is slightly different. Only the difference will be described below, and the description of the same part will be omitted.
Decode at least a part of the input video encoded data, perform the predetermined compression encoding of the obtained image at a compression rate equal to or higher than the input image data, and receive the code conversion data as video encoding conversion The encoded data of the input frame image encoded by the moving image code conversion transmission processing unit to be transmitted to the apparatus is composed of at least one packet data, and each packet data includes a part included in the input frame image The inter-frame prediction parameter and the differential image compressed data for the image area are encoded. In addition, the second to Nth moving image encoding / transmitting units include an image region included in at least a part of the packets encoded by the first moving image encoding / transmitting unit, for the first region for the image region. By using at least one of the inter-frame prediction parameter or the prediction difference image data obtained by the inter-frame prediction of the moving image encoding transmission unit, the compression rate is equal to or higher than that of the first moving image encoding transmission unit. The encoded packet data obtained by encoding is transmitted to the moving image code conversion receiving apparatus. Operations other than those described above are basically the same as those in the third embodiment.
The configuration of the moving image code conversion receiving apparatus is almost the same as that of the third embodiment, but the operation of each part constituting this apparatus is slightly different. Only the difference will be described below, and the description of the same part will be omitted.
Referring to FIG. 7, in this embodiment, the encoded data reconstruction unit 710 is received without transmission errors or omissions in the first to Nth encoded data receiving units, as in the third embodiment. For example, at least a part of a packet having the lowest compression rate and good image quality is selected as encoded data to be decoded from a maximum of N encoded packet data including compressed data in the same area of the same frame. Is performed in units of packet data transmitted by the code conversion transmission apparatus. Operations other than those described above are basically the same as those in the third embodiment.
(4.B) Code conversion transmission apparatus:
The configuration and operation of the moving image data code conversion / transmission apparatus in the present embodiment are almost the same as those of the moving image data code conversion / transmission apparatus in the third embodiment shown in FIG. 8, and the first encoded packet in FIG. Operation of generation section 805, second encoded packet generation section 811, first error detection code addition / frame / packet number addition section 806, and second error detection code addition / frame / packet number addition section 812 Only the difference.
In the moving image data code conversion transmission apparatus according to the present embodiment, the first encoded packet generation unit 805 and the second encoded packet generation unit 811 are encoded packet data generated by the first encoded packet generation unit 805. The encoded packet data is generated so that the image area included in the image area included in the encoded packet data generated by the second encoded packet generation unit 811 matches.
The first error detection code addition / frame / packet number addition unit 806 and the second error detection code addition / frame / packet number addition unit 812 have the same packet in the encoded packet data corresponding to the same image area of the same frame. It operates so that an identification number is added. However, if the packet data encoded by the first or second encoded packet generation unit includes information for specifying the frame number or the position of the image area included in the packet data, the frame / packet An identification number may not be added.
The operations of the processing units other than those described above are the same as those in the third embodiment. An example in which the present embodiment described above is more preferably embodied is the same as in the case of the second embodiment.
(4.C) Code conversion receiver:
The configuration and operation of the moving image code conversion receiving apparatus in the present embodiment are substantially the same as those of the moving image code conversion receiving apparatus in the second embodiment shown in FIG. In the example shown in FIG. 3, the number M of transmission lines is 3, but in the present embodiment, M is 2, so there is no third encoded data receiving unit. The operation of the encoded data reconstruction 310 is different because M is 2.
The operation procedure in the encoded data reconstruction unit 310 in this embodiment will be described based on the flowchart of FIG. The series of procedures in FIG. 10 shows the encoded data reconstruction process of the nth frame for a certain integer n.
In step S1001, the process waits until a time when all the encoded data of the nth frame should arrive at the first reception packet buffer 301 and the second reception packet buffer 304 plus a predetermined allowable maximum delay time. Thereafter, the process proceeds to step S1002.
In step S1002, the minimum value of the packet number of the nth frame is stored in the variable a that stores the packet number, and the maximum value of the packet number of the nth frame is stored in the variable b.
In step S1003, the value of variable a is substituted into variable i that stores the packet number, and the iterative process from step S1004 is started.
In step S1004, in accordance with the error and packet loss detection result in the first error detection / packet loss detection unit 303, whether or not the nth frame i-th packet exists in the first received packet buffer 301 and there is no bit error. judge. When the i-th packet of the n-th frame is received by the first received packet buffer 301 and no error is detected in the data, the process proceeds to step S1005. In cases other than that described here, process flow proceeds to Step S1006.
When the process proceeds to step S1005, the encoded data of the nth frame output from the first encoded data extraction unit 302 is transferred to the variable length decoding unit 308 as encoded data to be decoded, and the process proceeds to step S1008.
When the process proceeds to step S1006, the i-th packet in the n-th frame exists in the second received packet buffer 304 in accordance with the error and packet loss detection result in the second error detection / packet loss detection unit 306, and a bit error occurs. Determine if there is any. When the i-th packet of the n-th frame is received by the second received packet buffer 304 and no error is detected in the data, the process proceeds to step S1007. In cases other than that described here, process flow proceeds to Step S1008.
In step S1007, the encoded data of the nth frame output from the second encoded data extraction unit 305 is transferred to the variable length decoding unit 308 as encoded data to be decoded, and the process proceeds to step S1008.
In step S1008, the variable i is incremented by one. In the subsequent step S1009, it is determined whether or not the variable i exceeds the value of the variable b. If not, the processing from step S1004 is repeated. When the variable i exceeds the value of the variable b, a series of repetitive processes are finished, and the reconstruction process of the nth frame encoded data is finished.
The operation of each part other than this in this embodiment, and a preferred specific example, are the same as in the case of the third embodiment.
(4.D) Effect:
According to the fourth embodiment of the present invention, the moving image code conversion / transmission apparatus decodes at least a part of the input moving image data, and encodes the same moving image data into two encoded data. Then, the time intervals that change constantly or adaptively are transmitted apart.
The second video code conversion / transmission unit obtains an image region included in the packet encoded by the first video code conversion / transmission unit by encoding the frame by the first video code conversion / transmission unit. Encoding is performed using at least one of the inter-frame prediction parameter or the prediction residual image data.
The code conversion receiving apparatus side selects encoded data with a low compression rate and / or good image quality from the encoded data that can be normally received, and outputs the selected data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands according to the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(5) Fifth embodiment:
In the fifth embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus side:
(A) Moving picture data received by inputting compressed encoded data and receiving all frames of decoded moving picture data or frames adaptively selected according to the nature of the input moving picture or a predetermined rule A first moving image code conversion transmission unit that performs control to transmit at least a part of the obtained encoded data by using a predetermined transmission unit,
(B) All frames re-encoded by the first moving image code conversion / transmission unit, or frames adaptively selected according to the nature of the input moving image or a predetermined rule, are used as the first moving image for the frame. Using the reference frame image used in the inter-frame prediction by the image code conversion transmission unit, encoding is performed so that the compression rate is equal to or higher than that of the first moving image code conversion transmission unit. 2nd to Nth control for transmitting at least a part of the digitized data using the same or different transmission means as the first moving image code conversion transmission unit, with a transmission time interval that changes constant or adaptively separated. A moving image code conversion transmission unit;
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. A selection unit that extracts the encoded data and selects and outputs the moving image encoded data having the lowest compression rate and the highest image quality from among the encoded data of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the fifth embodiment will be described in more detail.
(5-A) Overview:
The configuration and operation of the system of this embodiment are almost the same as those of the third embodiment. As shown in FIG. 7, a code conversion transmission device, a code conversion reception device, and encoded data of moving image data are transmitted. It consists of a transmission line for doing this. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more.
The configuration of the moving image code conversion / transmission apparatus is almost the same as that of the third embodiment, but the operation of each part constituting this apparatus is slightly different. Only the difference will be described below, and the description of the same part will be omitted.
At least a part of the input moving image encoded data is decoded, the obtained image is subjected to predetermined compression encoding at a compression rate equal to or higher than that of the input image data, and at least a part of the code conversion data is converted into a moving image. The encoding of the input frame image in the second to Nth moving image encoding / transmitting units that performs control to transmit to the image code conversion receiving apparatus is used for inter-frame prediction of the first moving image encoding / transmitting unit for the frame. This is performed using the reference frame image. The inter-frame prediction parameters and the prediction difference image data different from those of the first moving image encoding / transmitting unit obtained by performing the inter-frame prediction by control different from those of the first moving image encoding / transmitting unit may be encoded. Operations other than those described above are basically the same as those in the third embodiment.
The configuration of the moving image code conversion receiving apparatus is the same as that of the third embodiment.
(5.B) Code conversion transmission apparatus:
FIG. 11 shows a detailed configuration of a moving picture code conversion transmission apparatus according to the fifth embodiment. For simplicity, the number N of encoded data output by this apparatus is set to 2. In FIG. 11, reference numerals 1101 to 1109 denote processing units that constitute a first video encoding / transmission unit included in the video code conversion / transmission apparatus according to the present embodiment, and these processing units are illustrated in FIG. 8. Operates in the same manner as the processing unit of the first video code conversion transmission unit. Similarly, in FIG. 11, the inter-frame prediction unit 1110, the prediction residual calculation unit 1111, the second prediction residual compression encoding unit 1112, and the second encoded packet generation units 1113 and 1114 are the moving image code in this embodiment. It is a process part which comprises the 2nd moving image encoding transmission part with which a conversion transmission apparatus is provided. However, the operation is different from that of the moving image encoding transmission unit in the first embodiment.
The inter-frame prediction unit 1110 performs inter-frame prediction from at least one decoded image stored in the reference frame storage memory 1109 to an image input from the decoding unit 1101. The prediction residual calculation unit 1111 calculates a prediction residual by subtracting the prediction image obtained by the inter-frame prediction unit 1110 from the input frame image. The second prediction residual compression encoding unit 1112 encodes the prediction residual image obtained by the prediction residual calculation unit 1111 with a compression rate equal to or higher than that of the first prediction residual compression encoding unit 1104. Turn into. The second encoded packet generator 1113 variable-length-encodes the interframe prediction parameter obtained by the interframe predictor 1110 and the compressed data of the prediction residual obtained by 1112 into a bit string, and outputs it in a predetermined packet unit. . The second error detection code addition / frame / packet identification number addition unit 1114 detects an error for detecting a transmission error and a packet loss of the compressed packet data output from the second encoded packet generation unit 1113 by the receiving device. A code and a frame / packet identification number are added. The second moving image encoded data is obtained by the operation of the processing unit described above, and is transmitted in units of packets by a predetermined transmission unit.
(5.C) Effect:
According to the fifth embodiment of the present invention, the moving image code conversion / transmission apparatus decodes at least a part of the input moving image data and encodes the same moving image data into two pieces of encoded data. And transmitting at intervals of constant or adaptively changing time intervals.
The second moving image code conversion / transmission unit uses the frame encoded by the first moving image code conversion / transmission unit as a reference frame image used for encoding the frame by the first moving image code conversion / transmission unit. Encode using.
The code conversion receiving apparatus side selects encoded data with a low compression rate and good image quality from the encoded data that can be normally received, and the quality of the data received from the two transmission paths is selected from the two transmission paths. Select and output high data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands depending on the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(6) Sixth embodiment:
In the sixth embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus side:
(A) Compressed encoded packet data is input, and the decoded moving image data is compression-encoded so as to have a compression rate equal to or higher than that of the input moving image data. A first moving image code conversion transmission unit that performs control to transmit at least a part using a predetermined transmission unit;
(B) With respect to all packet data encoded by the first moving image code conversion / transmission unit or packet data adaptively selected according to the nature of the input moving image or a predetermined rule, each packet data is The encoded image region is equivalent to or more than the first moving image code conversion / transmission unit by using the reference frame image used in the inter-frame prediction by the first moving image code conversion / transmission unit for the image region. Is encoded into packet data that achieves a high compression ratio, and at least a part of the obtained packet data is transmitted using a predetermined transmission means with a constant or adaptively changing transmission time interval. Second to Nth moving image code conversion transmission units;
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. In addition, a selection unit is provided that selects and outputs, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the sixth embodiment will be described in more detail.
(6.A) Overview:
The system configuration of this embodiment is almost the same as that of the fifth embodiment. As shown in FIG. 7, a code conversion transmission device, a code conversion reception device, and encoded data for moving image data are transmitted. It consists of transmission lines. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more.
The configuration of the moving image code conversion / transmission apparatus is almost the same as that of the fifth embodiment, but the operation of each part constituting this apparatus is slightly different. The difference will be described below.
At least a part of the input moving image encoded data is decoded, and the obtained image is encoded by a first moving image encoding transmission unit that encodes the obtained image at a compression rate equal to or higher than that of the input image data. The encoded data of the input frame image is composed of at least one packet data, and each packet data is encoded with inter-frame prediction parameters and differential image compressed data for a part of the image area included in the input frame image. ing. In addition, the second to Nth moving image encoding / transmitting units include an image region included in at least a part of the packets encoded by the first moving image encoding / transmitting unit, for the first region for the image region. Encoded packet data obtained by encoding at a compression rate equal to or higher than that of the first video encoding / transmission unit using the reference frame image used in the inter-frame prediction of the video encoding / transmission unit Is transmitted to the moving image code conversion receiver. Operations other than those described above are basically the same as those in the fifth embodiment.
The configuration and operation of the moving picture code conversion receiving apparatus in the sixth embodiment of the present invention are the same as those in the fourth embodiment, and are different from those in the fifth embodiment.
(6.B) Code conversion transmission apparatus:
The configuration and operation of the moving picture code conversion / transmission apparatus in this embodiment are substantially the same as those of the moving picture code conversion / transmission apparatus in the fifth embodiment shown in FIG. 9, and the first encoded packet generation 1105 in FIG. Only the operations of the second encoded packet generation unit 1113, the first error detection code addition / frame / packet number addition unit 1106, and the second error detection code addition / frame / packet number addition unit 1114 are different. To do. Differences from the fifth embodiment will be described below.
In the moving image data code conversion transmission apparatus according to the present embodiment, the first encoded packet generation unit 1105 and the second encoded packet generation unit 1113 are encoded packet data generated by the first encoded packet generation unit 1105. The encoded packet data is generated so that the image area included in the image area included in the encoded packet data generated by the second encoded packet generation unit 1113 matches.
The first error detection code addition / frame / packet number addition unit 1106 and the second error detection code addition / frame / packet number addition unit 1114 have the same packet in the encoded packet data corresponding to the same image area of the same frame. It operates so that an identification number is added. However, if the packet data encoded by the first or second encoded packet generator includes a frame number or information for specifying an image area included in the packet data, the frame / packet identification number It is not necessary to add.
(6.C) Effect:
According to the sixth embodiment described above, the moving image code conversion / transmission apparatus decodes at least a part of the input moving image data, and encodes the same moving image data into two encoded data. And transmitting at intervals of constant or adaptively changing time intervals.
The second video code conversion / transmission unit is used to encode the frame including the packet encoded by the first video code conversion / transmission unit by the first video code conversion / transmission unit. The reference frame image is used for encoding. The code conversion receiving apparatus side selects encoded data with a low compression rate and good image quality from among the encoded data that can be normally received, and has high quality among the data received from the two transmission paths. Select and output data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data. In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands depending on the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(7) Seventh embodiment:
In the seventh embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus
(A) a first moving image code conversion transmission unit that performs control of inputting encoded packet data and transmitting the encoded packet data using a predetermined transmission unit;
(B) Duplicating a packet with respect to all packet data encoded by the first moving image code conversion / transmission unit, or packet data adaptively selected according to the nature of the input moving image or a predetermined rule, A second to second control for transmitting at least a part of the obtained packet data by using a transmission means that is the same as or different from that of the first moving image code conversion transmission unit, with a constant or adaptively changing transmission time interval. An Nth moving image code conversion transmission unit;
(C) Select the number of transmission encoded data of the first to N-th video code conversion transmission units in accordance with the bands that can be used for the first to M-th transmission paths, and move to the first to M-th transmission paths. And a mechanism for sending encoded data.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. In addition, a selection unit is provided that selects and outputs, for example, encoded packet data that is normally received first from packet data obtained by encoding an image in the same region of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the seventh embodiment will be described in more detail.
(7.A) Overview:
FIG. 12 is a diagram showing a system configuration according to the seventh embodiment of the present invention. As shown in FIG. 12, the system of the seventh embodiment includes a code conversion transmission apparatus 1200 for moving image data, a code conversion reception apparatus 1220, and a transmission path 1230 for transmitting encoded data. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission lines 1230 through which N pieces of encoded data are transmitted, and is 1 or more.
The code conversion transmission apparatus 1200 receives the moving image packet data, selects at least a part thereof, and transmits the selected data to the first to Mth transmission paths 1230.
As shown in FIG. 12, this device 1200 performs first to Nth N moving image code conversions for performing control to send moving image encoded packet data to the first to Mth M transmission paths. Transmitters 1202 to 1205 are provided. The moving image data receiving unit 1201 receives moving image packet data. The first moving image code conversion transmission unit 1202 performs a process of sending at least a part of the input moving image packet data to the moving image code conversion reception device 1220. The moving image data duplicating unit 1203 duplicates the received packet and outputs it to the second to Nth moving image code conversion transmitting units 1204 to 1205. Second moving image code conversion transmitting sections 1204 to 1205 send at least a part of the copied packet to moving image code conversion receiving apparatus 1220. Of the first to Nth moving image encoded data, the encoded data selected in accordance with the band that can be used for the transmission path is sent out on the first to Mth transmission paths 1230.
The moving image code conversion receiving apparatus 1220 selects at least one transmission path from the M transmission paths transmitted by the code conversion transmission apparatus by the reception transmission path selection unit 1206, and sets N transmission paths from the selected transmission path. Receives encoded data and performs decoding conversion.
As illustrated in FIG. 12, the moving image code conversion reception device 1220 receives the encoded data transmitted by the first to Nth moving image code conversion transmission units 1202 to 1205 included in the code conversion transmission device 1200. To N-th encoded data receiving units 1207 to 1209 and an encoded data reconstruction unit 1210.
The encoded data reconstruction unit 1210 selects and outputs data from a maximum of N encoded data received by the encoded data receiving units 1207 to 1209 without transmission errors or omissions. Since the compression rate of the maximum N pieces of encoded data is the same, for example, first, selection such as outputting the normally received encoded data is performed.
(7.B) Encoding conversion transmission apparatus:
FIG. 13 shows a detailed configuration of a moving picture code conversion / transmission apparatus 1200 (see FIG. 7) according to the seventh embodiment of the present invention. For simplicity, the number N of encoded data output by this apparatus is set to 2, and the number M of transmission lines for transmitting the encoded data is set to 2.
In FIG. 13, the first transmission packet selection unit 1301 of the first moving image code conversion transmission unit 1300 adaptively transmits the input moving image packet data according to the property of the image and the state of the transmission path. Select a packet. For selection, for example, a packet may be selected and transmitted at regular intervals (once every n packets). Alternatively, the selective encoding packet to be transmitted is adaptively determined with reference to the feature parameter in the packet of the moving image frame. For example, as a feature parameter in an encoded packet, an encoded packet to be transmitted is adaptively determined by referring to a parameter such as a motion vector that has a large effect on the image quality of a decoded image due to a bit error or packet loss. May be. Alternatively, when encoding is MPEG, for example, an I picture may be selected according to a rule such as selection (including a case where it is dynamically changed).
First error detection code / frame / packet identification number adding section 1302 adds an error detection code and a frame / packet identification number for detecting a transmission error and packet loss of the output encoded packet data at the receiving device. .
In FIG. 13, the packet duplicating unit 1303 of the second moving image code conversion transmitting unit 1310 duplicates the input moving image coded packet data.
The second transmission packet selection unit 1304 adaptively adapts the same or different number of the copied moving image packet data as the first moving image code conversion transmission unit according to the property of the image and the state of the transmission path. Select the packet to send. When selecting with a different number, as described above, the selection may be made based on the relationship (rule) between the feature parameter such as a motion vector and its threshold value. You may make it select according to rules, such as selecting.
Second error detection code / frame / packet identification number adding section 1305 receives an error detection code and a packet identification number for detecting transmission error and packet loss of the encoded packet data output from selection section 1304 at the receiving device. Append.
In the present embodiment, since M is 2 and N is 2, each of the two transmission paths is selected from the first to second moving image encoded data according to the band that can be used for the transmission path. The encoded moving image data is transmitted.
The operations of the processing units other than those described above are the same as those in the fourth embodiment.
A more specific example in which the present embodiment is more preferable is the same as in the second embodiment. The configuration and operation of the moving image code conversion receiving apparatus are the same as those in the fourth embodiment.
(7.C) Effect:
According to the seventh embodiment described above, the moving picture code conversion / transmission apparatus converts the same moving picture packet data into two pieces of coded data, and separates a time interval that changes constant or adaptively. To send.
The first moving image code conversion transmission unit adaptively selects and transmits the input moving image packet data according to the nature of the moving image or a predetermined rule. The second moving image code conversion transmission unit duplicates the input moving image packet data, selects at least a part thereof, and transmits the selected data.
The code conversion receiving apparatus side selects data without errors or missing data from the encoded packet data that can be normally received, and among the data received from the two transmission paths, for example, the data arrives first. Select and output data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by reducing the selected number of second encoded packet data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands according to the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(8) Eighth embodiment:
In the eighth embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus side:
(A) Input compressed encoded data, decode at least a part of the input encoded data, and compress and encode the compressed encoded data so that the compression rate is equal to or higher than that of the input encoded data. A first moving image code conversion transmitting unit that performs control to transmit a frame or a frame adaptively selected according to a property of an input moving image or a predetermined rule using a predetermined transmission unit;
(B) Decode at least a part of the input encoded data, compress and encode the compressed data so that the compression rate is equal to or higher than that of the first moving image code conversion transmission unit, and all of the obtained encoded data A frame or a frame adaptively selected according to the nature of the input moving image or a predetermined rule, and transmission that changes constant or adaptively using the same or different transmission means as the first moving image code conversion transmission unit Second to Nth moving image code conversion transmission units for performing control to transmit at a time interval;
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. A selection unit that extracts the encoded data and selects and outputs the moving image encoded data having the lowest compression rate and the highest image quality from among the encoded data of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the eighth embodiment will be described in more detail.
(8.A) Overview:
FIG. 14 is a diagram showing the configuration of a system according to the eighth embodiment of the present invention. As shown in FIG. 14, this system includes a code conversion transmission device 1400 for moving image data, a code conversion reception device 1420, and a transmission path 1430 for transmitting encoded data. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus. N is 2 or more. The integer M represents the number of transmission lines 1430 through which N encoded data are transmitted, and is set to 1 or more.
The moving image code conversion / transmission device 1400 decodes at least a part of the input encoded moving image data, and performs a predetermined compression encoding of the obtained image at a compression rate equal to or higher than that of the input data. Then, at least a part of the code conversion data is transmitted to the moving image code conversion receiving apparatus. The moving image code conversion transmission apparatus 1400 encodes the input moving image data into N pieces of encoded data, and transmits the encoded data to the first to Mth transmission paths as the first to Nth moving image encoded data. As shown in FIG. 14, this apparatus includes first to Nth moving image code conversion transmission units 1403 to 1405.
The moving image data receiving unit 1401 receives moving image data. The moving image decoding unit 1402 decodes at least a part of the input moving image encoded data. The first moving image code conversion transmission unit 1403 performs predetermined compression coding on the frame input to the code conversion transmission device, and transfers at least part of the obtained encoded data to the moving image code conversion reception device 1420. Send. Second to Nth video code conversion / transmission units 1403 to 1405 encode at a compression rate equal to or higher than that of first video code conversion / transmission unit 1403 and at least a part of the obtained encoded data Is sent to the moving picture code conversion receiving apparatus 1420. Of the first to Nth moving image encoded data, the encoded data selected in accordance with the band that can be used for the transmission path is sent out on the first to Mth transmission paths 1430.
In the moving image code conversion receiving apparatus 1430, the reception transmission path selection unit 1406 selects at least one transmission path from the M transmission paths transmitted by the moving image code conversion transmission apparatus, and N from the selected transmission path. The encoded data is received, and decoding conversion is performed.
As illustrated in FIG. 14, the moving image code conversion reception device 1430 receives the encoded data transmitted by the first to Nth moving image code conversion transmission units 1403 to 1405 included in the code conversion transmission device 1400. To N-th encoded data receiving units 1407 to 1409 and an encoded data reconstructing unit 1410.
The encoded data reconstructing unit 1410 selects, for example, the data having the lowest compression rate and good image quality from among the maximum N encoded data received by the encoded data receiving units 1407 to 1409 without transmission errors or omissions. Select and output.
(8.B) Code conversion transmission apparatus:
FIG. 15 is a diagram showing a detailed configuration of a moving picture code conversion / transmission apparatus 1400 (see FIG. 14) according to the eighth embodiment of the present invention. For simplicity, the number N of encoded data output by this apparatus is set to 2, and the number M of transmission lines for transmitting the encoded data is set to 2.
In FIG. 15, the decoding unit 1501 decodes at least a part of the input moving image data. In FIG. 14, the first transmission frame / packet generation unit 1502 of the first moving image code conversion / transmission unit 1500, which is indicated as the first moving image code conversion / transmission unit 1403, The data is encoded at a compression rate equal to or higher than that of the input data, and output to first error detection code / frame / packet identification number adding section 1503. First error detection code / frame / packet identification number adding section 1503 detects an error in order to detect a transmission error and packet loss of the encoded data output from first transmission frame / packet generation section 1502 by the receiving apparatus. A code and a frame / packet identification number are added. Thereby, first moving image encoded data is obtained and transmitted by a predetermined transmission means. Similarly in FIG. 15, the second transmission frame / packet generation unit 1504 of the second moving image code conversion transmission unit 1510, which is described as the second moving image code conversion transmission unit 1404 in FIG. 14, It is encoded at a compression rate equivalent to or higher than that of the moving image code conversion / transmission unit 1500 and is output to the second error detection code / frame / packet identification number adding unit 1505. Second error detection code / frame / packet identification number adding section 1505 detects an error in order to detect a transmission error and packet loss of the encoded data output from second transmission frame / packet generation section 1504 at the receiving device. A code and a frame / packet identification number are added. In this way, second moving image encoded data is obtained and transmitted by a predetermined transmission means.
In the present embodiment, since M is 2 and N is 2, the above-described first to second moving image code conversion transmission data are transmitted to each of the two transmission paths.
The operations of the processing units other than those described above are the same as those in the third embodiment.
An example in which the present embodiment is more preferably embodied is the same as in the case of the first embodiment of the present invention. Further, the configuration and operation of the moving image code conversion receiving apparatus are the same as those in the third embodiment.
(8.C) Effect:
According to the present embodiment, the moving image code conversion transmission apparatus decodes at least a part of the input moving image data, encodes the same moving image data into two encoded data, and is constant or adaptive. Are transmitted at intervals of different time intervals.
The code conversion receiving apparatus side selects encoded data with a low compression rate and good image quality from the encoded data that can be normally received, and outputs the selected data.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands according to the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be interleaved by other than the time interval.
(9) Ninth embodiment:
In the ninth embodiment of the present invention, for an arbitrary integer N of 2 or more and an arbitrary integer of 1 or more, the code conversion transmission apparatus side:
(A) Input compressed encoded packet data, decode at least a portion of the input encoded packet data, and compress and encode the compressed encoded data so that the compression rate is equal to or higher than the input encoded data; A first moving image code conversion transmission unit that performs control to transmit all packets or packets adaptively selected according to the characteristics of input moving images or predetermined rules using a predetermined transmission unit;
(B) Decoding at least a part of the input encoded packet data, compression encoding the packet data so that the compression rate is equal to or higher than that of the first moving image code conversion / transmission unit, and all obtained Control of packet data or packet data selected adaptively according to the nature of the input moving image or a predetermined rule using a predetermined transmission means and transmitting at constant or adaptively changing transmission time intervals 2nd to Nth moving image code conversion transmission units for performing
(C) Select the compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission units according to the band that can be used for the first to Mth transmission paths, To a mechanism for sending encoded data to the M-th transmission line.
The code conversion receiver side selects at least one transmission path from the M transmission paths, receives N encoded data from the selected transmission path, and is received without transmission errors or omissions. In addition, a selection unit is provided that selects and outputs, for example, encoded packet data having the lowest compression rate and good image quality from packet data obtained by encoding images in the same region of the same frame.
Each component of the code conversion transmission device and the code conversion reception device may have its processing and functions realized by a program executed by a computer constituting the code conversion transmission device or the code conversion reception device.
Hereinafter, the ninth embodiment will be described in more detail.
(9.A) Overview:
The configuration and operation of this embodiment are almost the same as those of the eighth embodiment. As shown in FIG. 14, the system performs transmission for transmitting a moving image code conversion transmission device, a code conversion reception device, and encoded data. Consists of roads. The integer N represents the number of encoded data transmitted by the code conversion transmission apparatus, and is 2 or more. The integer M represents the number of transmission paths through which N encoded data is transmitted, and is set to 1 or more.
The configuration of the moving picture code conversion / transmission apparatus is almost the same as that of the eighth embodiment, but the operation of each part constituting this apparatus is slightly different. Only differences from the eighth embodiment will be described below.
Decode at least a part of the input video encoded data, perform the predetermined compression encoding of the obtained image at a compression rate equal to or higher than the input image data, and receive the code conversion data as video encoding conversion The encoded data of the input frame image encoded by the moving image code conversion transmission processing unit transmitted to the apparatus is composed of one or a plurality of packet data, and each packet data is included in the input frame image. Interframe prediction parameters and differential image compression data for some image regions are encoded. In addition, the second to Nth video encoding / transmission units perform the first video encoding on an image area included in at least a part of the packets encoded by the first video encoding / transmission unit. Encoding is performed at a compression rate equivalent to or higher than that of the transmission unit, and the obtained encoded packet data is transmitted to the moving image code conversion receiving apparatus.
The configuration of the moving image code conversion receiving apparatus is almost the same as that of the eighth embodiment, but the operation of each part constituting this apparatus is slightly different. Only differences from the eighth embodiment will be described below.
As in the case of the eighth embodiment, the encoded data reconstruction unit 1410 is received by the first to Nth encoded data receivers without transmission errors or omissions, and the compressed data in the same region of the same frame is received. For example, a packet having the lowest compression rate and a good image quality is selected as encoded data to be decoded from the maximum N encoded packet data included, and this selection is performed in units of packet data transmitted by the code conversion transmission apparatus. .
(9.B) Code conversion transmission apparatus:
The configuration and operation of the moving image data code conversion / transmission apparatus in the present embodiment are substantially the same as those of the moving image data code conversion / transmission apparatus in the eighth embodiment shown in FIG. 15, and the first encoded packet in FIG. Operations of generation section 1502, second encoded packet generation section 1504, first error detection code addition / frame / packet number addition section 1503, and second error detection code addition / frame / packet number addition section 1505 Only the difference. Only the differences in operation will be described below.
In the moving image data code conversion transmission apparatus according to the present embodiment, the first encoded packet generator 1502 and the second encoded packet generator 1504 are encoded packet data generated by the first encoded packet generator 1502. The encoded packet data is generated so that the image area included in the image area included in the encoded packet data generated by the second encoded packet generation unit 1504 matches.
An example in which the present embodiment described above is more preferably embodied is the same as in the case of the second embodiment. The configuration and operation of the moving image code conversion receiving apparatus are the same as those in the fourth embodiment.
(9.C) Effect:
According to the ninth embodiment, the moving image code conversion / transmission apparatus decodes at least a part of the input moving image data, encodes the same moving image data into two pieces of encoded data, and keeps constant. Alternatively, the time intervals that change adaptively are transmitted apart.
The second video code conversion / transmission unit encodes an image region included in the packet encoded by the first video code conversion / transmission unit. The code conversion receiving apparatus side selects encoded data with a low compression rate and good image quality from the encoded data received normally, and outputs it.
As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and the decoded image after transmission is reduced. It is possible to prevent a significant disturbance from occurring.
Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
In addition, the first and second encoded data can be transmitted to a plurality of transmission paths having different bands depending on the condition of the transmission path and the intention of the moving picture sender or moving picture receiver. Can reduce the effect of errors.
In addition, at least one piece of data is selected from the two received encoded data by the moving image code conversion receiving device, and the moving image code conversion receiving device selects a moving image from the received two encoded data. Since the data is output to the image decoding device, the amount of calculation required for the moving image decoding device does not increase significantly compared to a normal moving image decoding device.
In this embodiment, the code conversion transmission device and the code conversion reception device are used in combination, but there is no problem even if they are used independently. Further, the first to Nth code conversion data may be transmitted by an interleaving method other than the time interval. The transmission order of the first to Nth code conversion data is shuffled by the interleaving method and is output, and the mth encoded data is transmitted after the nth encoded data (where m <n). You may do it. The first to Nth code conversion data may be transmitted after being multiplexed by a multiplexing device, or may be transmitted in parallel.
As a modification of each of the embodiments described above, the delay shown in FIG. 5 is used to delay the second to Nth moving image encoded data from the second to Nth moving image code conversion transmission units of the moving image code conversion transmission apparatus. Addition units 502 and 503 or delay addition units 506 and 507, the first moving image encoded data output from the first moving image code conversion transmission unit, and the second to Nth moving image encodings with added delay The multiplexing units 504 and 508 shown in FIG. 5 for multiplexing data may be provided in the moving picture code conversion transmission apparatus. Alternatively, instead of including a delay adding unit, the multiplexing units 504 and 508 receive the first to Nth moving image encoded data from the first to Nth moving image code conversion transmission units of the moving image code conversion transmission apparatus. A configuration of interleaving and multiplexing output may be provided in the moving image code conversion transmission apparatus. Each of the M transmission paths 130 (see FIG. 1) may be the same communication medium or may include different media such as wireless and wired.
(10) Tenth embodiment:
Further, another embodiment of the present invention will be described. FIG. 16 shows the system configuration of the tenth embodiment of the present invention. Referring to FIG. 16, an encoding device 40 that outputs encoded data, a code conversion transmission device 10 for moving image data, and a code conversion reception device 20 for a plurality (K) of moving image data.1~ 20KAnd code conversion receiver 201~ 20K(K) decoding devices 30 connected to1~ 30KAnd. The encoding device 40 serves as an information providing source for distributing encoded data, and a known server device is used. The code conversion transmission apparatus 10 includes the code conversion transmission apparatus of the present invention described with reference to the first to ninth embodiments, for example, the code conversion transmission apparatus 100 shown in FIG.
The plurality of moving image data code conversion receiving apparatuses 20 includes the code conversion receiving apparatus of the present invention described with reference to the first to ninth embodiments, for example, the code conversion receiving apparatus 120 shown in FIG. The decoding device 30 is a device (decoder) that decodes and displays the encoded data from the code conversion receiving device 20, and an off-the-shelf product is used as it is.
In the example shown in FIG. 16, the code conversion transmission apparatus 10 and each code conversion reception apparatus 201~ 20KThe number of transmission lines 13 used for each information transfer to the code conversion receiver is one. That is, the M of the M transmission lines 130 in the embodiment shown in FIG. 1 is set to one, and is configured to include a plurality of code conversion receiving apparatuses 120 of FIG. The code conversion transmission apparatus 10 includes N moving image code conversion transmission units (not shown), and outputs N encoded data as in the above embodiments.
As an example as a specific example of this embodiment, the code conversion transmission device 10 is connected to the Internet communication network (or intranet), and the encoded data is transmitted from the encoding device 40 using, for example, the UDP / IP protocol. Input encoded data. The processing of a moving image code conversion transmission unit (not shown) of the code conversion transmission apparatus 10 performs processing corresponding to RTP (Real-time Transport Protocol). The code conversion receiver 20 is a client terminal connected to an Internet communication network, for example.
In this embodiment, when the transmission path is wireless, the code conversion output (N encoded data) from the code conversion transmission device 10 is output via the UDP / IP protocol, the physical layer, and the router, gateway, etc. Via the base station in the mobile packet communication system network, and is transmitted to the destination code conversion reception device 20. In the code conversion reception device 20, the code conversion transmission device 10 between the encoding device 40 and the decoding device 30. The code-converted data is reconstructed into encoded data corresponding to the original encoding of the encoding device 40 and output, and the decoding device 30 performs a decoding process corresponding to the encoding of the encoding device 40 Then, a moving image or the like is displayed on a display device (not shown). The decoding device (decoder) 30 connected to the code conversion receiving device 20 may be configured as a terminal integrated with the code conversion receiving device 20 or may be connected to a terminal constituting the code conversion receiving device 20 for communication. It is good also as a structure with which the terminal (personal computer) etc. were equipped.
In this embodiment, the code conversion receiving device 20 is configured to output a control signal (request signal) to the code conversion transmission device 10, and the code conversion transmission device 10 receives the control signal and encodes the encoded data. It transmits to the conversion receiver 20. FIG. 16 shows that the control signal is different from the encoded data output from the code conversion transmission apparatus 10.
In addition, using a control signal transmitted from the code conversion receiving device 20 to the code conversion transmission device 10, system information of the code conversion receiving device 20, for example, an IP address, device information, and an encoding method that can be handled by the decoding device 30 (For example, H.261 or H.263, which is an ITU-T recommendation, MPEG-4 Visual, which is an ISO / IEC recommendation), etc. The transmission apparatus 10 may perform code conversion suitable for the code conversion receiving apparatus 20 and the decoding apparatus 30. Of course, the present invention can also be applied when the transmission line is wired.
In the configuration shown in FIG. 16, a plurality of (N) pieces of encoded data output from the code conversion transmission apparatus 10 to each transmission line 13 are provided with a time interval by a delay adding unit as shown in FIG. Multiplexing may be performed by the multiplexing unit, or N encoded data may be interleaved by the multiplexing unit, the transmission order may be shuffled, and the multiplexed output may be sent to the transmission line at a time interval. Good. The code conversion transmission apparatus 10 may include the delay adding unit and the multiplexing unit illustrated in FIG. In this case, the code conversion receiving device 20 includes the separation unit 511 in FIG. The multiplexed transmission packet received from the transmission path selected by the reception transmission path selection unit is separated into each encoded data packet, and encoded data extraction processing and reconfiguration processing are performed. According to this embodiment, the code conversion transmission apparatus 10 receives encoded data from the encoding apparatus 40 that is an information providing source, and the code conversion transmission apparatus 10 is resistant to data loss and data errors in the transmission path 13. It is possible to perform efficient code transmission suitable for transmission on the transmission path 13 by converting to a system having the transmission method and transmitting to the code conversion receiver 20 side. The decoding device 30 performs a decoding process corresponding to the encoding method of the encoding device 40.
Although the present invention has been described with reference to the above embodiment, the present invention is not limited to the configuration of the above embodiment, and those skilled in the art within the scope of the invention of each claim of the claims. It goes without saying that various modifications and corrections that can be made are included.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a code conversion transmission system in the first and second embodiments of the present invention.
FIG. 2 is a block diagram showing the configuration of the moving picture code conversion / transmission apparatus in the system shown in FIG.
FIG. 3 is a block diagram showing an example of the configuration of the moving image code conversion receiving apparatus according to the present invention.
FIG. 4 is a flowchart illustrating a procedure for reconstructing encoded data in the moving image code conversion receiving apparatus according to the first embodiment.
FIG. 5 is a block diagram showing an example of the configuration of a moving image encoded data packet transmission system based on the present invention.
FIG. 6 is a flowchart illustrating a procedure for reconstructing encoded data in the moving image code conversion receiving apparatus according to the second embodiment.
FIG. 7 is a block diagram showing the configuration of the code conversion transmission system in the third to sixth embodiments of the present invention.
FIG. 8 is a block diagram showing the configuration of the moving picture code conversion / transmission apparatus in the third and fourth embodiments.
FIG. 9 is a flowchart showing a procedure for reconstructing encoded data in the moving image code conversion receiving apparatus according to the third, fifth, and eighth embodiments.
FIG. 10 is a flowchart showing a procedure for reconstructing encoded data in the moving image code conversion receiving apparatus according to the fourth, sixth, and ninth embodiments.
FIG. 11 is a block diagram showing a configuration of a moving image code conversion / transmission apparatus in the fifth and sixth embodiments.
FIG. 12 is a block diagram showing the configuration of the code conversion transmission system according to the seventh embodiment of this invention.
FIG. 13 is a block diagram showing a configuration of a moving picture code conversion / transmission apparatus in the system shown in FIG.
FIG. 14 is a block diagram showing the configuration of the code conversion transmission system according to the eighth and ninth embodiments of the present invention.
FIG. 15 is a block diagram showing a configuration of a moving picture code conversion / transmission apparatus in the system shown in FIG.
FIG. 16 is a block diagram illustrating an example of a system configuration according to the tenth embodiment of the present invention.

Claims (77)

（ａ）圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) first moving image code conversion transmission means for inputting compressed encoded data and outputting at least a part of the frames of the input encoded data;
(B) N is a predetermined integer equal to or greater than 2, decoding at least a part of the input encoded data, encoding the data obtained by decoding, and at least a part of the frame of the obtained encoded data 2nd to Nth video code conversion transmission means for outputting
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化パケットデータを入力し、前記入力された符号化パケットの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) first moving image code conversion transmission means for inputting compressed encoded packet data and outputting at least a part of the input encoded packet;
(B) Decode at least part of the input encoded packet data with N being a predetermined integer of 2 or more, encode the data obtained by decoding, and output at least part of the obtained packet data Second to Nth moving image code conversion transmitting means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化データを入力し、前記入力した符号化データを復号して得られた動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) Input compressed encoded data, encode at least a part of a frame of moving image data obtained by decoding the input encoded data, and at least a part of the obtained encoded data First moving image code conversion transmission means for outputting;
(B) With N being a predetermined integer equal to or larger than 2, at least a part of the frames encoded by the first moving image code converting means is inter-frame predicted by the first moving image code conversion transmitting means for the frame Second to Nth moving image code conversion transmission means for re-encoding using at least one of the inter-frame prediction parameter or the prediction difference data obtained in the above and outputting the obtained encoded data;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化したパケットデータの少なくとも一部に対し、各前記パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化パケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) a first moving image code that decodes at least a part of input encoded packet data, re-encodes the data obtained by decoding, and outputs at least a part of the obtained encoded packet data Conversion transmission means;
(B) N is a predetermined integer equal to or greater than 2, and at least part of the packet data encoded by the first moving image code conversion means is an image area encoded by each of the packet data. Is encoded using at least one of the inter-frame prediction parameter or the prediction difference data obtained by the inter-frame prediction by the first moving image code conversion transmission means, and outputs at least a part of the obtained encoded packet data Second to Nth moving image code conversion transmission means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの前記伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) a first moving image that inputs and decodes compressed encoded data, encodes at least a part of the frame obtained by decoding, and outputs at least a part of the obtained encoded data Image code conversion and transmission means;
(B) With N being a predetermined integer equal to or larger than 2, at least a part of the frames encoded by the first moving image code converting means is inter-frame predicted by the first moving image code conversion transmitting means for the frame Second to Nth moving image code conversion transmission means for encoding using the reference frame image used in the above and outputting at least a part of the obtained encoded data;
(C) means for sending at least one of outputs of the first to N-th video code conversion transmission means to the first to M-th transmission paths, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化パケットデータを入力して復号し、復号して得られたデータの少なくとも一部を符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号化手段が符号化した少なくとも一部のパケットデータに対し、前記各パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) a first moving image that inputs and decodes compressed encoded packet data, encodes at least a part of the obtained data, and outputs at least a part of the obtained encoded packet data; Image code conversion and transmission means;
(B) With N being a predetermined integer equal to or greater than 2, an image area encoded by each of the packet data with respect to at least a part of the packet data encoded by the first moving image encoding means Are encoded using a reference frame image used in inter-frame prediction by the first moving image code conversion / transmission means, and at least part of the obtained packet data is output. Conversion transmission means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化パケットデータを入力し、入力したパケットの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号化手段が入力するパケットデータの少なくとも一部のパケットに対して当該パケットを複製し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) first moving image code conversion transmission means for inputting compressed encoded packet data and outputting at least a part of the input packet;
(B) When N is a predetermined integer of 2 or more, the packet is duplicated for at least a part of the packet data input by the first moving image encoding means, and at least one of the obtained packet data Second to Nth moving image code conversion transmission means for outputting a unit,
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) A first moving image that receives compressed encoded data, decodes at least a part of the input encoded data, and outputs at least a part of a frame obtained by encoding the data obtained by decoding. Image code conversion and transmission means;
(B) Encoding data obtained by decoding at least a part of input encoded data, where N is a predetermined integer of 2 or more, and outputting at least a part of the frame of the obtained encoded data Second to Nth moving image code conversion transmission means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. （ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のパケットを出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた少なくとも一部のパケットデータを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、
を備える、動画像データの符号変換伝送装置。(A) First, input compressed encoded packet data, decode at least a part of the input encoded packet data, and output at least a part of a packet obtained by encoding the data obtained by decoding Moving image code conversion transmission means,
(B) Decode at least part of the input encoded packet data with N being a predetermined integer of 2 or more, encode the data obtained by decoding, and output at least part of the obtained packet data Second to Nth moving image code conversion transmitting means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission apparatus for moving image data. 前記第１乃至第Ｎの動画像符号変換送信手段の少なくとも１つが、一部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従ってフレームを選択する、請求項１、３、５、８のいずれか１項に記載の符号変換伝送装置。The at least one of the first to N-th moving image code conversion transmission means selects a frame according to the nature of the moving image or a predetermined rule when selecting some frames. 8. The code conversion transmission device according to claim 1. 前記第１乃至第Ｎの動画像符号変換送信手段の少なくとも１つが、一部のパケットを選択するにあたり、動画像の性質又は予め定められた規則に従ってパケットを選択する、請求項２、４、６、７、９のいずれか１項に記載の符号変換伝送装置。7. At least one of the first to N-th moving image code conversion transmitting means selects a packet according to a moving image property or a predetermined rule when selecting a part of the packet. The code conversion transmission apparatus according to any one of claims 7 and 9. 前記第１の動画像符号変換送信手段において前記入力された符号化データを復号し前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項３乃至６、８、９のいずれか１項に記載の符号変換伝送装置。In the first moving image code conversion / transmission means, when the encoded data inputted is decoded and the data obtained by decoding is encoded, it is equal to or more than the compression rate of the inputted encoded data. The code conversion transmission device according to any one of claims 3 to 6, 8, and 9, wherein compression is performed at a high compression rate. 前記第２乃至第Ｎの動画像符号変換送信手段において前記入力された符号化データを復号し前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれはより高い圧縮率で圧縮する、請求項１又は２に記載の符号変換伝送装置。In the second to Nth moving image code conversion transmitting means, the input encoded data is decoded, and the data obtained by decoding is encoded with the compression rate of the input encoded data. Or the code conversion transmission apparatus of Claim 1 or 2 which compresses with a higher compression rate. 前記第２乃至第Ｎの動画像符号変換送信手段において前記入力された符号化データを復号し前記復号して得られたデータを符号化するにあたり、前記第１の動画像符号変換送信手段の圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項３乃至６、８、９のいずれか１項に記載の符号変換伝送装置。In decoding the input encoded data in the second to N-th video code conversion / transmission means and encoding the data obtained by the decoding, compression of the first video code conversion / transmission means is performed. The code conversion transmission device according to any one of claims 3 to 6, 8, and 9, wherein compression is performed at a compression rate equal to or higher than the rate. 前記第２乃至第Ｎの動画像符号変換送信手段の出力と、前記第１の動画像符号変換送信手段からの出力とが、時間的に離間した状態で出力されるように制御する手段を備える、請求項１乃至９のいずれか１項に記載の符号変換伝送装置。And a means for controlling the output of the second to Nth video code conversion / transmission means and the output of the first video code conversion / transmission means to be output in a time-separated state. The code conversion transmission apparatus according to any one of claims 1 to 9. 前期第１乃至第Ｎの動画像符号変換送信手段の、出力の離間時間を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項１５に記載の符号変換伝送装置。16. The code conversion transmission apparatus according to claim 15, wherein output separation times of the first to Nth video code conversion transmission units in the previous period are set according to a state of a transmission path and / or a predetermined rule. . 前記第１乃至第Ｍの伝送路に使用できる帯域にあわせて、前記第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、前記第１乃至第Ｍの伝送路へ送出する手段を備える、請求項１乃至９のいずれか１項に記載の符号変換伝送装置。The compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission means are selected in accordance with the band that can be used for the first to Mth transmission paths, and the first The code conversion transmission apparatus according to any one of claims 1 to 9, further comprising means for sending to an M-th transmission line. それぞれが、前記第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、
前記第１乃至第Ｍの符号変換送信処理部の出力が、それぞれ、前記第１乃至第Ｍの伝送路に送出される、請求項１乃至９のいずれか１項に記載の符号変換伝送装置。Each includes first to Mth code conversion transmission processing units including the first to Nth video code conversion transmission means,
The code conversion transmission apparatus according to any one of claims 1 to 9, wherein outputs of the first to Mth code conversion transmission processing units are sent to the first to Mth transmission paths, respectively. それぞれが、前記第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部と、
前記第１乃至第Ｍの符号変換送信処理部の前記第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力を、時間的に離間した状態で、多重化して出力する手段と、
を備え、第１乃至第Ｍの符号変換送信処理部の多重化出力が、前記第１乃至第Ｍの伝送路に送出される、請求項１乃至９のいずれか１項に記載の符号変換伝送装置。Each of the first to Mth code conversion transmission processing units each including the first to Nth video code conversion transmission means,
The first to Nth encoded data output of the first to Nth moving image code conversion transmission means of the first to Mth code conversion transmission processing units are multiplexed in a time-separated state. Means for outputting;
10. The code conversion transmission according to claim 1, wherein multiplexed outputs of the first to M-th code conversion transmission processing units are transmitted to the first to M-th transmission lines. apparatus. 前期第１乃至第Ｎの動画像符号変換送信手段の出力を多重化する際に、離間させる時間を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項１９に記載の符号変換伝送装置。The time to be separated when multiplexing the outputs of the first to Nth moving image code conversion transmission means in the previous period is set according to the state of the transmission path and / or a predetermined rule. The code conversion transmission apparatus described. 前記第１乃至第Ｎの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力された符号化データを復号して出力する動画像復号手段を備え、
前記複数の動画像符号変換送信手段は、符号化データを符号化する場合に、前記動画像復号手段から出力される復号されたデータを符号化する、請求項１、３、５、８のいずれか１項に記載の符号変換伝送装置。Video decoding means for decoding and outputting the input encoded data provided in common to a plurality of video code conversion transmission means among the first to Nth video code conversion transmission means With
The plurality of moving image code conversion transmitting means encodes the decoded data output from the moving image decoding means when encoding encoded data. The code conversion transmission apparatus according to claim 1. 前記第１乃至第Ｎの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力された符号化データを復号して出力する動画像復号手段を備え、
前記複数の動画像符号変換送信手段のそれぞれは、パケットデータを符号化する場合に、前記動画像復号手段から出力される復号されたパケットデータを符号化する、請求項２、４、６、９のいずれか１項に記載の符号変換伝送装置。Video decoding means for decoding and outputting the input encoded data provided in common to a plurality of video code conversion transmission means among the first to Nth video code conversion transmission means With
Each of the plurality of moving image code conversion transmission means encodes the decoded packet data output from the moving image decoding means when encoding the packet data. The code conversion transmission apparatus according to any one of the above. Ｍを１以上の所定の整数として、第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、
を備える、動画像データの符号変換受信装置。Selecting means for selecting a transmission path for receiving encoded data from the first to M-th transmission paths, where M is a predetermined integer of 1 or more;
Receives encoded data from the transmission path selected by the selection unit, extracts encoded data received with no transmission error and no omission, and reconstructs encoded data based on the extracted encoded data And means for outputting,
A code conversion receiving apparatus for moving image data. Ｍを１以上の所定の整数として、第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、
を備える、動画像データの符号変換受信装置。Selecting means for selecting a transmission path for receiving encoded data from the first to M-th transmission paths, where M is a predetermined integer of 1 or more;
Receive encoded data from the transmission path selected by the selection means, extract the encoded packet data received with no transmission error or no omission, and encode based on the extracted encoded packet data Means for reconstructing and outputting packet data;
A code conversion receiving apparatus for moving image data. 前記選択された伝送路より受信した同一フレームの符号化データの中から、圧縮率、及び／又は、画質に基づき、１つを選択する手段を備える、請求項２３に記載の符号変換受信装置。The code conversion receiving apparatus according to claim 23, further comprising means for selecting one of encoded data of the same frame received from the selected transmission path based on a compression rate and / or image quality. 前記選択された伝送路より受信した同一フレームの同一領域の画像を符号化したパケットデータの中から圧縮率、及び／又は、画質に基づき１つを選択する手段を備える、請求項２４に記載の符号変換受信装置。The means according to claim 24, further comprising means for selecting one based on a compression rate and / or image quality from packet data obtained by encoding an image of the same region of the same frame received from the selected transmission path. Code conversion receiver. 請求項１、３、５、８のいずれか１項に記載の符号変換伝送装置と、請求項２３又は２５に記載の符号変換受信装置と、を備える、動画像データの符号変換伝送システム。A code conversion transmission system for moving image data, comprising: the code conversion transmission device according to any one of claims 1, 3, 5, 8; and the code conversion reception device according to claim 23 or 25. 請求項２、４、６、７、９のいずれか１項に記載の符号変換伝送装置と、請求項２４又は２６に記載の符号変換受信装置と、を備える、動画像データの符号変換伝送システム。A code conversion transmission system for moving image data, comprising the code conversion transmission device according to any one of claims 2, 4, 6, 7, and 9 and the code conversion reception device according to claim 24 or 26. . 前記動画像データの符号変換伝送装置の前記第１乃至第Ｎの前記動画像符号変換送信手段の出力が時間的に離間した状態で伝送されるように、遅延を制御し、前記各データを多重化して出力する手段を備え、多重化されたデータが伝送路に送信される、請求項２７に記載の符号変換伝送システム。The delay is controlled so that the outputs of the first to Nth moving image code conversion transmitting means of the moving image data code conversion transmission apparatus are transmitted in a time-separated state, and the respective data are multiplexed. 28. The code conversion transmission system according to claim 27, further comprising means for generating and outputting the data, wherein the multiplexed data is transmitted to the transmission path. 前記動画像データの符号変換伝送装置の前記第１乃至第Ｎの前記動画像符号変換送信手段の出力が時間的に離間した状態で伝送されるように、遅延を制御し、前記各データを多重化して出力する手段を備え、多重化されたデータが伝送路に送信される、請求項２８に記載の符号変換伝送システム。The delay is controlled so that the outputs of the first to Nth moving image code conversion transmitting means of the moving image data code conversion transmission apparatus are transmitted in a time-separated state, and the respective data are multiplexed. 29. The code conversion transmission system according to claim 28, further comprising means for generating and outputting the data, wherein the multiplexed data is transmitted to the transmission path. 前期動画像データ符号変換伝送装置の第１乃至第Ｎの動画像符号変換送信手段の、出力の離間時間を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項２９又は３０に記載の符号変換伝送システム。The output separation time of the first to Nth moving image code conversion transmission means of the first moving image data code conversion transmission device is set according to the state of the transmission path and / or a predetermined rule. The code conversion transmission system according to 29 or 30. 符号化データを出力する符号化装置と、請求項１、３、５、８のいずれか１項に記載の符号変換伝送装置と、請求項２３又は２５に記載の複数の符号変換受信装置と、複数の復号装置と、を備え、
前記符号化装置からの符号化データを前記動画像データの符号変換伝送装置が入力し、
前記複数の動画像データの符号変換受信装置が前記動画像データの符号変換伝送装置からの出力を入力し、
前記複数の復号装置が前記複数の動画像データの符号変換受信装置から符号化データを入力して復号する、動画像データの符号変換伝送システム。An encoding device that outputs encoded data, a code conversion transmission device according to any one of claims 1, 3, 5, and 8, and a plurality of code conversion reception devices according to claim 23 or 25; A plurality of decoding devices,
The encoded data from the encoding device is input by the code conversion transmission device of the moving image data,
The plurality of moving image data code conversion receiving devices input the output from the moving image data code conversion transmission device,
A moving image data code conversion transmission system in which the plurality of decoding devices receive and decode encoded data from the moving image data code conversion receiving devices. 符号化データを出力する符号化装置と、請求項２、４、６、７、９のいずれか１項に記載の符号変換伝送装置と、請求項２４又は２６に記載の複数の符号変換受信装置と、複数の復号装置と、を備え、
前記符号化装置からの符号化データを前記動画像データの符号変換伝送装置が入力し、
前記複数の動画像データの符号変換受信装置が前記動画像データの符号変換伝送装置からの出力を入力し、
前記複数の復号装置が前記複数の動画像データの符号変換受信装置から符号化データを入力して復号する、動画像データの符号変換伝送システム。An encoding device that outputs encoded data, a code conversion transmission device according to any one of claims 2, 4, 6, 7, and 9, and a plurality of code conversion reception devices according to claim 24 or 26. And a plurality of decoding devices,
The encoded data from the encoding device is input by the code conversion transmission device of the moving image data,
The plurality of moving image data code conversion receiving devices input the output from the moving image data code conversion transmission device,
A moving image data code conversion transmission system in which the plurality of decoding devices receive and decode encoded data from the moving image data code conversion receiving devices. 前記動画像データの符号変換伝送装置は、前記複数の動画像データの符号変換受信装置のそれぞれからの制御信号を受けて符号化データを前記複数の動画像データの符号変換受信装置のそれぞれに送出する、請求項３２に記載の符号変換伝送システム。The moving image data code conversion transmission device receives a control signal from each of the plurality of moving image data code conversion reception devices, and transmits the encoded data to each of the plurality of moving image data code conversion reception devices. The code conversion transmission system according to claim 32. 前記動画像データの符号変換伝送装置は、前記複数の動画像データの符号変換受信装置のそれぞれからの制御信号を受けて符号化データを前記複数の動画像データの符号変換受信装置のそれぞれに送出する、請求項３３に記載の符号変換伝送システム。The moving image data code conversion transmission device receives a control signal from each of the plurality of moving image data code conversion reception devices, and transmits the encoded data to each of the plurality of moving image data code conversion reception devices. The code conversion transmission system according to claim 33. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) the first moving image code conversion transmission means inputs compressed encoded data, and outputs at least a part of frames of the input encoded data;
(B) Each of the second to Nth moving image code conversion transmission means encodes data obtained by decoding at least a part of the input encoded data, and at least of the obtained encoded data. Outputting some frames; and
(C) Sending at least one of the outputs of the first to N-th moving image code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力されたパケットの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、入力された符号化パケットデータの少なくとも一部を復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの前記伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) the first moving image code conversion / transmission means inputs the compressed encoded packet data and outputs at least a part of the input packet;
(B) Each of the second to Nth moving image code conversion transmission means encodes data obtained by decoding at least a part of the input encoded packet data, and at least the obtained packet data A step of outputting a part,
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission paths, where M is a predetermined integer equal to or greater than 1, and
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力した符号化データを復号した動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means inputs the compressed encoded data, encodes at least a part of the frame of the moving image data obtained by decoding the input encoded data, and the obtained code Outputting at least part of the digitized data;
(B) Each of the second to N-th moving image code conversion and transmission means converts at least a part of the frames encoded by the first moving image code conversion means to the first moving image code for the frame. Re-encoding using at least one of the inter-frame prediction parameter or the prediction difference data obtained by the inter-frame prediction by the conversion transmission means, and outputting at least a part of the obtained encoded data;
(C) Sending at least one of the outputs of the first to N-th moving image code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換手段が符号化したパケットデータの少なくとも一部に対し、各前記パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力の少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means decodes at least a part of the input encoded packet data, re-encodes the data obtained by decoding, and obtains the encoded packet data obtained Outputting at least a portion;
(B) Each of the second to Nth video code conversion transmission means encodes each packet data with respect to at least a part of the packet data encoded by the first video code conversion means. Encoded packet data obtained by encoding an image area using at least one of an inter-frame prediction parameter or prediction difference data obtained by inter-frame prediction by the first moving image code conversion transmission means for the image area. Outputting at least a part of
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer equal to or greater than 1, and
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの前記動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means inputs and decodes the compressed encoded data, encodes at least a part of the frame of the data obtained by decoding, and obtains the obtained encoding Outputting at least a portion of the data;
(B) Each of the second to Nth video code conversion transmission means converts at least a part of the frames encoded by the first video code conversion means to the first video code for the frame. Encoding using the reference frame image used in the inter-frame prediction by the conversion transmission means, and outputting at least a part of the obtained encoded data;
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力して復号し、復号して得られたデータを符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号化手段が符号化した少なくとも一部のパケットデータに対し、前記各パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたパケットデータの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの前記動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means inputs and decodes compressed encoded packet data, encodes the data obtained by decoding, and at least one of the obtained encoded packet data A step of outputting a part,
(B) Each of the second to Nth moving image code conversion transmitting means encodes each packet data with respect to at least a part of the packet data encoded by the first moving image encoding means. Encoding an image region using a reference frame image used in inter-frame prediction by the first moving image code conversion transmission means for the image region, and outputting at least a part of the obtained packet data; ,
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力したパケットの少なくとも一部を出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号化手段が入力するパケットデータの少なくとも一部のパケットに対して該パケットを複製し、得られたパケットデータの少なくとも一部を出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの前記動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) the first moving image code conversion transmission means inputs compressed encoded packet data and outputs at least a part of the input packet;
(B) Each of the second to Nth video code conversion transmitting means duplicates the packet for at least a part of the packet data input by the first video coding means, Outputting at least part of the received packet data;
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method. Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの前記動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、ことを特徴とする動画像データの符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means inputs the compressed encoded data, decodes at least a part of the input encoded data, and encodes the data obtained by decoding Outputting at least some frames; and
(B) Each of the second to Nth moving image code conversion transmission means decodes at least a part of the input encoded data, encodes the data obtained by decoding, and obtains the obtained encoding Outputting at least some frames of data;
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method for moving image data, comprising: Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のパケットを出力するステップと、
（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、入力された符号化パケットデータの少なくとも一部を復号して得られたデータを符号化し、得られた少なくとも一部のパケットデータを出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの前記動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、
を含む、ことを特徴とする動画像データの符号変換伝送方法。A code conversion transmission method of moving image data by a code conversion transmission device including first to Nth moving image code conversion transmission means, where N is a predetermined integer of 2 or more,
(A) The first moving image code conversion transmission means inputs the compressed encoded packet data, decodes at least a part of the input encoded packet data, and encodes the data obtained by decoding Outputting at least some of the packets
(B) Each of the second to Nth moving image code conversion transmission means encodes data obtained by decoding at least a part of the input encoded packet data, and obtains at least a part of the obtained Outputting packet data; and
(C) Sending at least one of the outputs of the first to Nth moving image code conversion transmission means to the first to Mth transmission lines, where M is a predetermined integer of 1 or more;
A code conversion transmission method for moving image data, comprising: 一部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従ってフレームを選択する、請求項３６、３８、４０、４３のいずれか１項に記載の符号変換伝送方法。44. The code conversion transmission method according to any one of claims 36, 38, 40, and 43, wherein, when selecting some of the frames, the frames are selected in accordance with the nature of a moving image or a predetermined rule. 一部のパケットを選択する際に、動画像の性質又は予め定められた規則に従ってパケットを選択する、請求項３７、３９、４１、４２、４４のいずれか１項に記載の符号変換伝送方法。The code conversion transmission method according to any one of claims 37, 39, 41, 42, and 44, wherein, when selecting some of the packets, the packets are selected according to the nature of the moving image or a predetermined rule. 前記ステップ（ａ）において、前記第１の前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項３８乃至４４のいずれか１項に記載の符号変換伝送方法。In the step (a), the first moving image code conversion transmission means decodes the input encoded data, and encodes the input code when encoding the data obtained by the decoding. 45. The code conversion transmission method according to any one of claims 38 to 44, wherein compression is performed at a compression rate equal to or higher than the compression rate of the digitized data. 前記ステップ（ｂ）において、前記第２乃至第Ｎの前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項３６又は３７に記載の符号変換伝送方法。In the step (b), the second to Nth moving image code conversion transmission means decodes the input encoded data and encodes the data obtained by the decoding. The code conversion transmission method according to claim 36 or 37, wherein compression is performed at a compression rate equal to or higher than a compression rate of the encoded data. 前記ステップ（ｂ）において、前記第２乃至第Ｎの前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記第２乃至第Ｎの前記動画像符号変換送信手段での圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項３８乃至４２のいずれか１項に記載の符号変換伝送方法。In the step (b), the second to Nth moving image code conversion transmission means decodes the input encoded data and encodes the data obtained by the decoding. 43. The code conversion transmission method according to any one of claims 38 to 42, wherein compression is performed at a compression rate equal to or higher than a compression rate in the 2nd to Nth video code conversion transmission means. 前記ステップ（ｂ）での前記第２乃至第Ｎの前記動画像符号変換送信手段のそれぞれの出力は、前記ステップ（ａ）での出力と、時間的に離散した状態で出力される、請求項３４乃至４２のいずれか１項に記載の符号変換伝送方法。The outputs of the second to N-th video code conversion transmission means in the step (b) are output in a time-discrete state with respect to the output in the step (a). 43. The code conversion transmission method according to any one of 34 to 42. 前期動画像符号変換送信手段の、出力の離間時間を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項５０に記載の符号変換伝送装置。51. The code conversion transmission apparatus according to claim 50, wherein an output separation time of said first moving image code conversion transmission means is set according to a state of a transmission path and / or a predetermined rule. 前記第１乃至第Ｍの伝送路に使用できる帯域にあわせて、前記第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、前記第１乃至第Ｍの伝送路へ送出する、請求項３４乃至４２のいずれか１項に記載の符号変換伝送方法。The compression rate and / or the number of transmission encoded data of the first to Nth moving image code conversion transmission means are selected in accordance with the band that can be used for the first to Mth transmission paths, and the first 43. The code conversion transmission method according to any one of claims 34 to 42, wherein the code conversion transmission method transmits the data to an M-th transmission path. 前記第１乃至第Ｎの動画像符号変換送信手段のうち、動画像データを復号して得られたデータを符号化する複数の動画像符号変換送信手段に対して、共通の動画像復号手段で復号して得られたデータが供給される、請求項３６乃至４１、４３、４４のいずれか１項に記載の符号変換伝送方法。Among the first to Nth moving image code conversion / transmission means, a plurality of moving image code conversion / transmission means for encoding data obtained by decoding moving image data is a common moving image decoding means. 45. The code conversion transmission method according to any one of claims 36 to 41, 43, and 44, wherein data obtained by decoding is supplied. Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択するステップと、
前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、
を含む動画像データの符号変換受信方法。Selecting at least one transmission path from M transmission paths, where M is a predetermined integer equal to or greater than 1, and
Receive encoded data from the selected transmission path, extract encoded data received without error and lack of transmission error, and reconstruct and output encoded data based on the extracted encoded data And steps to
A method for receiving code conversion of moving image data. Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択するステップと、
前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力するステップと、
を含む動画像データの符号変換受信方法。Selecting at least one transmission path from M transmission paths, where M is a predetermined integer equal to or greater than 1, and
Receive encoded data from the selected transmission path, extract encoded packet data received with no transmission errors and no omissions, and re-encode the encoded packet data based on the extracted encoded packet data. Configuring and outputting; and
A method for receiving code conversion of moving image data. 同一フレームの符号化データが複数受信された場合、圧縮率、及び／または、画質に基づき、１つを選択する、請求項５４に記載の符号変換受信方法。55. The code conversion reception method according to claim 54, wherein when a plurality of pieces of encoded data of the same frame are received, one is selected based on the compression rate and / or the image quality. 同一フレームの同一領域の画像を符号化したパケットデータが複数受信された場合、圧縮率、及び／または、画質に基づき、１つを選択する、請求項５５に記載の符号変換受信方法。56. The code conversion reception method according to claim 55, wherein when a plurality of packet data obtained by encoding an image in the same area of the same frame is received, one is selected based on the compression rate and / or the image quality. 請求項３６、３８、４０、４３のいずれか１項に記載の符号変換伝送方法で送信された符号化データを、請求項５４又は５６に記載の符号変換受信方法で受信する、動画像データの符号伝送方法。An encoded data transmitted by the code conversion transmission method according to any one of claims 36, 38, 40, and 43 is received by the code conversion reception method according to claim 54 or 56. Code transmission method. 請求項３７、３９、４１、４２、４４のいずれか１項に記載の符号変換伝送方法で送信された符号化データを、請求項５５又は５７に記載の符号変換受信方法で受信する、動画像データの符号伝送方法。A moving image that receives the encoded data transmitted by the code conversion transmission method according to any one of claims 37, 39, 41, 42, and 44 by the code conversion reception method according to claim 55 or 57. Code transmission method of data. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
して機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) first moving image code conversion transmission means for inputting compressed encoded data and outputting at least a part of the frames of the input encoded data;
(B) N is a predetermined integer equal to or greater than 2, decoding at least a part of the input encoded data, encoding the data obtained by decoding, and at least a part of the frame of the obtained encoded data 2nd to Nth moving image code conversion transmission means for outputting
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to make it work. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化パケットデータを入力し、前記入力された符号化パケットの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力の少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) first moving image code conversion transmission means for inputting compressed encoded packet data and outputting at least a part of the input encoded packet;
(B) Decode at least part of the input encoded packet data with N being a predetermined integer of 2 or more, encode the data obtained by decoding, and output at least part of the obtained packet data Second to Nth moving image code conversion transmission means,
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データを入力し、前記入力した符号化データを復号して得られた動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) Input compressed encoded data, encode at least a part of a frame of moving image data obtained by decoding the input encoded data, and at least a part of the obtained encoded data First moving image code conversion transmission means for outputting,
(B) With N being a predetermined integer equal to or greater than 2, at least a part of the frames encoded by the first video code conversion unit is inter-frame predicted by the first video code conversion transmission unit for the frame 2nd to Nth moving image code conversion transmission means for re-encoding using at least one of the inter-frame prediction parameter or the prediction difference data obtained in step 1 and outputting at least a part of the obtained encoded data,
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化したパケットデータの少なくとも一部に対し、各前記パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化パケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) a first moving image code that decodes at least a part of input encoded packet data, re-encodes the data obtained by decoding, and outputs at least a part of the encoded packet data obtained; Conversion transmission means,
(B) N is a predetermined integer of 2 or more, and at least a part of the packet data encoded by the first moving image code conversion means, an image area encoded by each packet data is defined as the image area Is encoded using at least one of the inter-frame prediction parameter or the prediction difference data obtained by the inter-frame prediction by the first moving image code conversion transmission means, and outputs at least a part of the obtained encoded packet data Second to Nth moving image code conversion transmission means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの前記伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) a first moving image that receives and decodes compressed encoded data, encodes at least a part of the frame obtained by decoding, and outputs at least a part of the obtained encoded data; Image code conversion transmission means,
(B) With N being a predetermined integer equal to or greater than 2, at least a part of the frames encoded by the first video code conversion unit is inter-frame predicted by the first video code conversion transmission unit for the frame Second to Nth moving image code conversion transmission means for encoding using the reference frame image used in the above and outputting at least a part of the obtained encoded data;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission paths, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化パケットデータを入力して復号し、復号して得られたデータの少なくとも一部を符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号化手段が符号化した少なくとも一部のパケットデータに対し、前記各パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) a first moving image that inputs and decodes compressed encoded packet data, encodes at least a part of the obtained data, and outputs at least a part of the obtained encoded packet data; Image code conversion transmission means,
(B) With N being a predetermined integer equal to or greater than 2, an image area encoded by each of the packet data with respect to at least a part of the packet data encoded by the first moving image encoding means Are encoded using a reference frame image used in inter-frame prediction by the first moving image code conversion / transmission means, and at least part of the obtained packet data is output. Conversion transmission means,
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化パケットデータを入力し、入力したパケットの少なくとも一部を出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号化手段が入力するパケットデータの少なくとも一部のパケットに対して該パケットを複製し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) first moving image code conversion transmission means for inputting compressed encoded packet data and outputting at least a part of the input packet;
(B) N is a predetermined integer equal to or greater than 2, and the packet is duplicated for at least a part of the packet data input by the first moving image encoding means, and at least one of the obtained packet data Second to Nth moving image code conversion transmission means for outputting a unit,
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) A first moving image that receives compressed encoded data, decodes at least a part of the input encoded data, and outputs at least a part of a frame obtained by encoding the data obtained by decoding. Image code conversion transmission means,
(B) Encoding data obtained by decoding at least a part of input encoded data, where N is a predetermined integer of 2 or more, and outputting at least a part of the frame of the obtained encoded data Second to Nth moving image code conversion transmission means;
(C) means for sending at least one of the outputs of the first to N-th video code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more;
Program to function as. 動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のパケットを出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた少なくとも一部のパケットデータを出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力をのうち少なくとも１つ、第１乃至第Ｍの伝送路へ送出する手段、
として機能させるプログラム。A computer constituting a code conversion transmission apparatus for moving image data,
(A) First, input compressed encoded packet data, decode at least a part of the input encoded packet data, and output at least a part of a packet obtained by encoding the data obtained by decoding Moving image code conversion transmission means,
(B) Decode at least part of the input encoded packet data with N being a predetermined integer of 2 or more, encode the data obtained by decoding, and output at least part of the obtained packet data Second to Nth moving image code conversion transmission means,
(C) means for sending M to at least one of the outputs of the first to N-th moving image code conversion transmission means to the first to M-th transmission lines, where M is a predetermined integer of 1 or more,
Program to function as. 前記コンピュータを、さらに、前記第１乃至第Ｎの動画像符号変換送信手段のうち、動画像データを復号して得られたデータを符号化する複数の動画像符号変換送信手段に対して共通に設けられ、入力された動画像符号化データを復号し、得られた復号データを、前記複数の動画像符号変換送信手段に供給する動画像復号手段として機能させる、請求項５８乃至６５、６７、６８のいずれか１項に記載のプログラム。The computer is further common to a plurality of moving image code conversion transmitting means for encoding data obtained by decoding moving image data among the first to Nth moving image code conversion transmitting means. 68. 65 to 67, 67, which is provided and functions as moving image decoding means for decoding input moving image encoded data and supplying the obtained decoded data to the plurality of moving image code conversion transmitting means. 68. The program according to any one of 68. 動画像データの符号変換受信装置を構成するコンピュータに、
Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択する処理と、
選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する処理と、
を実行させるためのプログラム。In the computer constituting the code conversion receiving apparatus for moving image data,
A process of selecting at least one transmission path from M transmission paths, where M is a predetermined integer equal to or greater than 1, and
Receives encoded data from the selected transmission path, extracts encoded data received with no transmission errors and no omissions, and reconstructs and outputs the encoded data based on the extracted encoded data. Processing,
A program for running 動画像データの符号変換受信装置を構成するコンピュータに、
Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択する処理と、
前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信されたパケットデータを抽出し、抽出されたパケットデータに基づき、符号化データを再構成して出力する処理と、
を実行させるプログラム。In the computer constituting the code conversion receiving apparatus for moving image data,
A process of selecting at least one transmission path from M transmission paths, where M is a predetermined integer equal to or greater than 1, and
A process of receiving encoded data from the selected transmission path, extracting received packet data with no transmission error and no loss, and reconstructing and outputting the encoded data based on the extracted packet data When,
A program that executes 前記選択された伝送路から受信した同一フレームの符号化データが複数存在する場合、圧縮率、及び／または、画質に基づき、符号化データを選択し、選択された符号化データを出力する処理をさらに前記コンピュータに実行させる、請求項７０に記載のプログラム。When there are a plurality of encoded data of the same frame received from the selected transmission path, a process of selecting the encoded data based on the compression rate and / or image quality and outputting the selected encoded data The program according to claim 70, further causing the computer to execute. 前記選択された伝送路から受信した同一フレームの同一領域の画像を符号化したパケットデータが複数存在する場合、圧縮率、及び／又は、画質に基づき、符号化パケットデータを選択し、符号化データを再構成して出力する処理をさらに前記コンピュータに実行させる、請求項７１に記載のプログラム。When there are a plurality of packet data obtained by encoding the image of the same region of the same frame received from the selected transmission path, the encoded packet data is selected based on the compression rate and / or the image quality, and the encoded data 72. The program according to claim 71, further causing the computer to execute a process of reconfiguring and outputting. 符号化データを入力して変換し伝送路に出力する符号変換伝送装置であって、
前記入力された符号化データと前記入力された符号化データを再符号化した符号化データをそれぞれ出力するか、又は、前記入力された符号化データをそれぞれ再符号化した符号化データよりなる複数の符号化データをそれぞれ出力する、複数の符号変換送信手段を備え、
前記複数の符号変換送信手段は、前記入力された符号化データ及び／又は前記再符号化した符号化データの少なくとも一部を出力し、前記複数の符号化データは、１つの伝送路又は複数の伝送路上に送出される、符号変換伝送装置。A code conversion transmission device that inputs encoded data, converts it, and outputs it to a transmission line,
A plurality of encoded data obtained by re-encoding the input encoded data and the input encoded data; or a plurality of encoded data obtained by re-encoding the input encoded data. A plurality of code conversion transmission means for respectively outputting the encoded data of
The plurality of code conversion transmission means outputs at least a part of the input encoded data and / or the re-encoded encoded data, and the plurality of encoded data are transmitted through one transmission path or a plurality of encoded data. A code conversion transmission device sent on a transmission line. 前記複数の符号変換送信手段の１つは、他の符号変換送信手段の圧縮符号化と同等もしくはそれより高い圧縮率で符号化する、請求項７４に記載の符号変換伝送装置。75. The code conversion transmission apparatus according to claim 74, wherein one of the plurality of code conversion transmission units encodes at a compression rate equal to or higher than the compression encoding of the other code conversion transmission units. 請求項７４又は７５に記載の符号変換伝送装置から伝送路に送信された符号化データを受信する符号変換受信装置であって、
前記１又は複数の伝送路のうち、受信する伝送路を選択する手段と、
前記選択された伝送路から符号化データを受信し、正常に受信された符号化データに基づき、符号化データを再構成する手段と、
を備える、符号変換受信装置。A code conversion receiving device for receiving encoded data transmitted to a transmission line from the code conversion transmission device according to claim 74 or 75,
Means for selecting a transmission path to receive from among the one or more transmission paths;
Means for receiving encoded data from the selected transmission path and reconstructing the encoded data based on the normally received encoded data;
A code conversion receiving apparatus comprising: 請求項７４又は７５に記載の符号変換伝送装置に対して、請求項７６に記載の符号変換受信装置を少なくとも１つ備え、
前記符号変換伝送装置は、符号化データを配信する装置から送信された符号化データを受け取り符号変換した符号化データを出力し、
前記符号変換受信装置が、前記符号変換伝送装置から出力された符号化データを受信する、符号伝送システム。The code conversion transmission device according to claim 74 or 75 comprises at least one code conversion reception device according to claim 76,
The code conversion transmission apparatus receives encoded data transmitted from an apparatus that distributes encoded data, outputs encoded data obtained by code conversion,
A code transmission system in which the code conversion receiving device receives encoded data output from the code conversion transmission device.
JP2004501992A 2002-04-26 2003-04-28 Code conversion transmission system, code transmission method and code conversion reception apparatus for moving image data Expired - Fee Related JP4803343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004501992A JP4803343B2 (en) 2002-04-26 2003-04-28 Code conversion transmission system, code transmission method and code conversion reception apparatus for moving image data

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002126674 2002-04-26
JP2002126674 2002-04-26
JP2004501992A JP4803343B2 (en) 2002-04-26 2003-04-28 Code conversion transmission system, code transmission method and code conversion reception apparatus for moving image data
PCT/JP2003/005455 WO2003092296A1 (en) 2002-04-26 2003-04-28 Moving picture data code conversion/transmission method and device, code conversion/reception method and device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009125263A Division JP5463733B2 (en) 2002-04-26 2009-05-25 Code conversion transmission system and code transmission method of moving image data

Publications (2)

Publication Number Publication Date
JPWO2003092296A1 true JPWO2003092296A1 (en) 2005-09-08
JP4803343B2 JP4803343B2 (en) 2011-10-26

Family

ID=29267609

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004501992A Expired - Fee Related JP4803343B2 (en) 2002-04-26 2003-04-28 Code conversion transmission system, code transmission method and code conversion reception apparatus for moving image data
JP2009125263A Expired - Fee Related JP5463733B2 (en) 2002-04-26 2009-05-25 Code conversion transmission system and code transmission method of moving image data

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009125263A Expired - Fee Related JP5463733B2 (en) 2002-04-26 2009-05-25 Code conversion transmission system and code transmission method of moving image data

Country Status (8)

Country Link
US (2) US7957465B2 (en)
EP (1) EP1501310A4 (en)
JP (2) JP4803343B2 (en)
KR (1) KR100752287B1 (en)
CN (1) CN100380976C (en)
CA (1) CA2483516C (en)
HK (1) HK1075779A1 (en)
WO (1) WO2003092296A1 (en)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986732B2 (en) * 2003-04-10 2011-07-26 Nec Corporation Moving picture compression/encoding method conversion device and moving picture communication system
KR20080102322A (en) 2004-01-28 2008-11-24 닛본 덴끼 가부시끼가이샤 Content distribution method, encoding method, reception/reproduction method and device, and program
KR20080066823A (en) * 2004-01-28 2008-07-16 닛본 덴끼 가부시끼가이샤 Content encoding, distribution, and reception method, device, and system, and program
US7653869B2 (en) * 2005-02-18 2010-01-26 Sony Corporation System and method for error correction in high definition TV signal
US20090245249A1 (en) * 2005-08-29 2009-10-01 Nec Corporation Multicast node apparatus, multicast transfer method and program
JP4577574B2 (en) * 2006-02-07 2010-11-10 日本電気株式会社 Data transmitting apparatus, data receiving apparatus, data transmitting method, and data receiving method
US8031701B2 (en) 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8769591B2 (en) 2007-02-12 2014-07-01 Cisco Technology, Inc. Fast channel change on a bandwidth constrained network
JP4777274B2 (en) * 2007-02-19 2011-09-21 キヤノン株式会社 Video playback apparatus and control method thereof
JP4765980B2 (en) * 2007-03-30 2011-09-07 株式会社日立製作所 Communication network system
US20080253369A1 (en) 2007-04-16 2008-10-16 Cisco Technology, Inc. Monitoring and correcting upstream packet loss
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US7995578B2 (en) * 2007-12-14 2011-08-09 Electronics And Telecommunications Research Institute Repetition apparatus and method for repeatedly transmitting and receiving data packet using different puncturing patterns
US9064333B2 (en) 2007-12-17 2015-06-23 Nvidia Corporation Interrupt handling techniques in the rasterizer of a GPU
US8780123B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Interrupt handling techniques in the rasterizer of a GPU
US8787153B2 (en) 2008-02-10 2014-07-22 Cisco Technology, Inc. Forward error correction based data recovery with path diversity
US8332884B2 (en) * 2008-02-20 2012-12-11 Rovi Solutions Corporation Apparatus for and a method of providing content data
US8923385B2 (en) 2008-05-01 2014-12-30 Nvidia Corporation Rewind-enabled hardware encoder
US8681861B2 (en) * 2008-05-01 2014-03-25 Nvidia Corporation Multistandard hardware video encoder
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8457425B2 (en) * 2009-06-09 2013-06-04 Sony Corporation Embedded graphics coding for images with sparse histograms
US8964851B2 (en) * 2009-06-09 2015-02-24 Sony Corporation Dual-mode compression of images and videos for reliable real-time transmission
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8582654B1 (en) * 2009-09-30 2013-11-12 Hewlett-Packard Development Company, L.P. Generating a deblocked version of video frames using motion estimation
GB0921831D0 (en) 2009-12-14 2010-01-27 British Telecomm Graphical data delivery
GB201000738D0 (en) * 2010-01-18 2010-03-03 British Telecomm Graphical data processing
US9621930B2 (en) * 2010-05-07 2017-04-11 Deutsche Telekom Ag Distributed transcoding of video frames for transmission in a communication network
JP2013143747A (en) * 2012-01-12 2013-07-22 Fuji Xerox Co Ltd Image transfer device and program
US11093327B1 (en) 2012-06-25 2021-08-17 Pure Storage, Inc. Failure abatement approach for failed storage units common to multiple vaults
US9141297B2 (en) 2012-06-25 2015-09-22 Cleversafe, Inc. Verifying encoded data slice integrity in a dispersed storage network
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
JP6439414B2 (en) * 2014-12-01 2018-12-19 富士通株式会社 Communication device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177939A (en) * 1997-12-09 1999-07-02 Matsushita Electric Ind Co Ltd Digital broadcasting method and its receiver
JP2001007786A (en) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd Data communication method and system
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
JP2001333094A (en) * 2000-05-22 2001-11-30 Sony Corp Communication equipment and communication method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748711B2 (en) 1987-02-20 1995-05-24 日本電信電話株式会社 Signal transmission method
CA2179973C (en) * 1995-06-30 2002-03-05 Takayuki Nagashima Image transmission apparatus, image transmission system, and communication apparatus
JPH10224746A (en) * 1997-02-05 1998-08-21 Kokusai Electric Co Ltd Image transmission system
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
JP3495922B2 (en) * 1997-09-26 2004-02-09 フーリエ有限会社 Video data transmission method
JPH11225161A (en) 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd Data processing method and its device
JPH11331305A (en) * 1998-05-08 1999-11-30 Sony Corp Transmitter and transmitting method, receiver and receiving method and providing medium
JP3974712B2 (en) * 1998-08-31 2007-09-12 富士通株式会社 Digital broadcast transmission / reception reproduction method, digital broadcast transmission / reception reproduction system, digital broadcast transmission apparatus, and digital broadcast reception / reproduction apparatus
US7016337B1 (en) * 1999-03-02 2006-03-21 Cisco Technology, Inc. System and method for multiple channel statistical re-multiplexing
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
JP3874153B2 (en) * 1999-12-06 2007-01-31 ソニー株式会社 Re-encoding device and re-encoding method, encoding device and encoding method, decoding device and decoding method, and recording medium
US6493386B1 (en) * 2000-02-02 2002-12-10 Mitsubishi Electric Research Laboratories, Inc. Object based bitstream transcoder
US6904094B1 (en) * 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
GB2377573B (en) * 2001-07-11 2004-03-31 Motorola Inc Video transmission system, video tranmission unit and methods of encoding/decoding video data
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
JP4016709B2 (en) * 2002-04-26 2007-12-05 日本電気株式会社 Audio data code conversion transmission method, code conversion reception method, apparatus, system, and program
JP4521679B2 (en) * 2006-07-14 2010-08-11 賢二郎 穴井 Squid angle thrower

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
JPH11177939A (en) * 1997-12-09 1999-07-02 Matsushita Electric Ind Co Ltd Digital broadcasting method and its receiver
JP2001007786A (en) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd Data communication method and system
JP2001333094A (en) * 2000-05-22 2001-11-30 Sony Corp Communication equipment and communication method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6010047062, Ｍｅｈｄｉ Ａｌａｓｔｉ ｅｔ ａｌ．, "Ｍｕｌｔｉｐｌｅ ｄｅｓｃｒｉｐｔｉｏｎ ｃｏｄｉｎｇ ｉｎ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｃｏｎｇｅｓｔｉｏｎ ｐｒｏｂｌｅｍ", ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ, 200103, Ｖｏｌｕｍｅ ４７， Ｉｓｓｕｅ ３, ｐ．８９１−９０２ *
JPN6010047064, Ｄａｖｉｄ Ｃｏｍａｓ ｅｔ ａｌ．, "Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ ｉｎ ａ ｒｏｂｕｓｔ ｖｉｄｅｏ ｔｒａｎｓｍｉｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｕｎｂａｌａｎｃｅｄ ｍｕｌｔｉｐｌｅ ｄｅｓｃｒｉｐｔｉｏｎ", ２００１ ＩＥＥＥ Ｆｏｕｒｔｈ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ, 200110, ｐ．５８１−５８６ *

Also Published As

Publication number Publication date
CN100380976C (en) 2008-04-09
JP2009189058A (en) 2009-08-20
KR20040106388A (en) 2004-12-17
HK1075779A1 (en) 2005-12-23
US20050226325A1 (en) 2005-10-13
WO2003092296A1 (en) 2003-11-06
US7957465B2 (en) 2011-06-07
CA2483516A1 (en) 2003-11-06
EP1501310A1 (en) 2005-01-26
EP1501310A4 (en) 2012-07-11
CN1663282A (en) 2005-08-31
CA2483516C (en) 2010-02-09
JP4803343B2 (en) 2011-10-26
JP5463733B2 (en) 2014-04-09
KR100752287B1 (en) 2007-08-29
US20110194604A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
JP5463733B2 (en) Code conversion transmission system and code transmission method of moving image data
JP4016709B2 (en) Audio data code conversion transmission method, code conversion reception method, apparatus, system, and program
KR100844224B1 (en) Method and apparatus for handling video communication errors
US8139642B2 (en) Method for encoding signals, related systems and program product therefor
JP4135395B2 (en) Encoded packet transmission receiving method and apparatus and program thereof
JP4732428B2 (en) Transcoding node and transcoding method for multiple description transcoding
KR20050031460A (en) Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
US7627184B2 (en) Content distribution/reception device, content transmission/reception method, and content distribution/reception program
JP4280927B2 (en) Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method
Zhao et al. RD-Based Adaptive UEP for H. 264 Video Transmission in Wireless Networks
Chen et al. Error-resilient video streaming over wireless networks using combined scalable coding and multiple-description coding
Conci et al. Real-time multiple description intra-coding by sorting and interpolation of coefficients
Eranti et al. Efficient video streaming in wireless P2P network using HIS-MDC technique
Chen et al. Channel-aware robust video streaming over wireless LANs using multiple-description FGS coding
KR20110054805A (en) Method and apparatus for reconstructing bitstreams for distributed video coding

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees