JP2011010356A - 画像データ配信制御方法及び装置とシステムならびにプログラム - Google Patents

画像データ配信制御方法及び装置とシステムならびにプログラム Download PDF

Info

Publication number
JP2011010356A
JP2011010356A JP2010188082A JP2010188082A JP2011010356A JP 2011010356 A JP2011010356 A JP 2011010356A JP 2010188082 A JP2010188082 A JP 2010188082A JP 2010188082 A JP2010188082 A JP 2010188082A JP 2011010356 A JP2011010356 A JP 2011010356A
Authority
JP
Japan
Prior art keywords
image data
data
image
encoded
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010188082A
Other languages
English (en)
Other versions
JP5533435B2 (ja
Inventor
Hiroaki Idei
洋明 出井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010188082A priority Critical patent/JP5533435B2/ja
Publication of JP2011010356A publication Critical patent/JP2011010356A/ja
Application granted granted Critical
Publication of JP5533435B2 publication Critical patent/JP5533435B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/02Arrangements for detecting or preventing errors in the information received by diversity reception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】動画像の配信において、配信データ量の増加を小さく抑えつつ、受信者の受信環境に応じて、画像品質を最適化し、配信データの信頼性を向上させ、その際に、送受信者双方での配信品質最適化処理及び、信頼性向上のための処理量の増加を小さく抑えるシステム、方法、装置、プログラムの提供。
【解決手段】送信側は、画像データ配信装置から、同一画像の複数の画像符号化データを、異なったセッションで配信するか、もしくは、画像フレームや画像ブロックの種別の異なる画像データを、異なったセッションで配信し、その際、セッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路であれば電力制御を行う。受信側は、1つ以上のセッションから正常に受信できた画像符号化データの中から、画像品質に基づき、符号化データを選択して復号化する。
【選択図】図1

Description

本発明は、符号化された画像データを配信する方法、装置、及びシステム、並びに画像データの配信装置と受信装置をそれぞれ構成するコンピュータで実行されるコンピュータプログラムに関し、特に、受信装置での動画像データ等の受信環境に応じて良好な画質の再生を可能とするのに好適とされる方法、装置、システム、ならびにコンピュータプログラムに関する。
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での動画像データ伝送を可能としている。
その代表例としてはMPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG-4などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと、予測残差画像データに2次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。
このような動画像圧縮符号化情報を、パケット交換方式を利用したIP(Internet Protocol)ネットワークへ配信する方法は多数あり、また、無線伝送路を用いた動画像の配信へと展開していくことが考えられる。
動画像データの配信において、ネットワークのトラヒックの状況によりパケット損失が発生した場合、もしくは無線伝送路での無線誤りや損失が発生した場合、失われたデータの再送要求を行う方法が一般的である。
また、無線伝送路での通信では、個々の受信者の無線受信環境によって、送受信電力制御等を行って、データの通信品質を確保し、受信データの安定化を図っている。
なお、画質の異なる画像情報を伝送する手法として、データレートの低い低画質成分の画像情報の伝送とデータレートの高い高画質成分の画像情報の伝送を適応的に切り替え、画質を劣化させることなく伝送効率の向上を図ったシステムが知られている(例えば特許文献1)。また、送信側に異なるレートの複数の映像データを備えたものとして、映像送信装置に複数の映像レートを持つ映像データ(1)〜(3)を用意し、映像受信装置が、レート切替要求信号を映像送信装置に送り、映像データ(1)〜(3)を切替えることにより、映像停止を防ぎ、高画質の映像データを送信するようにした装置も知られている(例えば特許文献2)。さらに、受信データを選択して再構成し復号化する装置として、受信側装置内の再構成手段が、画像フレームの同一部分について受信した複数のブロックデータ(送信側装置から画像フレーム中の同一部分について複数のブロックデータが送信される)から正常なブロックデータを選択し当該画像フレームを再構成し、再構成された画像フレームを復号化する画像復号化手段を備えた構成も知られている(例えば特許文献3)。なお、後述されるRTPヘッダ情報等については以下の非特許文献1等が参照される。
特開平10−294941号公報(第5−6頁、第1図) 特開平11−187367号公報(第3−4頁、第1図) 特開平10−224746号公報(第4−6頁、第1図)
Schulzrinne, H., Casner, S., Frederick, R., and V. Jacobson, "RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996、5.1 RTP Fixed Header Fields. インターネット<URL//www.ietf.org/tfc.htmlから入手される、ftp://ftp.rfc-editor.org/in-notes/rfc1889.txt>
ところで、パケット損失発生時、再送要求によるデータ損失を補完するという従来の手法では、再送要求情報、及び再送されてくるデータが、さらにネットワークトラヒックを増大させる結果となる。このため、トラヒックの輻輳によってパケットが損失している場合、本質的な解決とならない。また、受信者ごとの無線伝送路での電力制御は、複雑な処理が必要となる。
さらに、再送制御や、受信者ごとの無線伝送路での電力制御といった手法を採用しても、パケットの損失が発生する場合がある。パケット損失に対する受信側での対策として、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法がある。しかしながら、このエラーコンシールメント手法によっても、復号化画像の乱れを除去することは不可能である。さらに、フレーム間予測を利用しているため、一度発生した画像の乱れが、後続フレームにも伝搬してしまう、という問題がある。
したがって、本発明は上記の事情を考慮してなされたものであり、本発明の第1の目的は、動画像の配信において、トラヒックの増加を小さく抑えつつ、受信者の受信環境に応じて、配信画像品質の最適化を図る方法、装置、システム、及びコンピュータプログラムを提供することである。
また、本発明の第2の目的は、画像の配信方式の信頼性を高めるため、少なくとも1つ以上のセッションからの画像データを受信し、画像品質に応じてデータを選択し復号化することで、パケット損失発生時の画像の乱れを抑えることを可能とした方法、装置、システム、及びコンピュータプログラムを提供することである。
本発明のさらに別の目的は、上記第1、第2の目的を達成するため、送受信者両方に加わる処理量を少なく抑えることを可能とした方法、装置、システム、及びコンピュータプログラムを提供することにある。
本発明のさらに別の目的は、受信側からのフィードバック情報を送信側に送ることなく、上記第1、第2の目的を達成する方法、装置、システム、及びコンピュータプログラムを提供することにある。
さらに本発明の別の目的は、上記第1、第2の目的を達成しながら、受信装置側で必要とされる消費電力の増大を抑えることを可能とする方法、装置、システム、及びコンピュータプログラムを提供することにある。
前記目的の少なくとも1つを達成する本発明の1のアスペクトに係る装置は、同一画像の複数の画像符号化データを配信する際、画像品質にしたがって、画像符号化データを配信するセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。本発明においては、この際に、同一画像の複数の画像符号化データを、時間差を設けて配信する構成としてもよい。
本発明においては、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び/又は、無線伝送路での電力制御、を行う手段と、を備えた構成としてもよい。
本発明の他のアスペクトに係る装置は、画像符号化データを配信する際、画像フレーム及び/又は画像ブロックの種別に基づき、配信するセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。
本発明においては、画像符号化データを配信する際、画像フレーム及び/又は画像ブロックの種別に基づき、配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び/又は、無線伝送路での電力制御を行う手段を備えた構成としてもよい。
本発明の他のアスペクトに係る装置は、画像符号化データを配信する際、画像符号化データを配信する複数のセッションを選択する手段と、選択されたセッションで画像符号化データを配信する手段と、を備えている。
本発明においては、画像符号化データを配信するセッションを選択する手段と、画像の品質によって選択されるセッションごとに、伝送路でのルーティングの優先度制御、及び/又は、無線伝送路での電力制御、を行う手段と、を備えた構成としてもよい。
本発明においては、前記同一画像の複数の画像符号化データは、符号化方式及びフレーム構成が同一であり、その各送信単位は、それぞれ同一フレームの同一部位が符号化されたデータである。
本発明の他のアスペクトに係る装置は、画像データ配信装置から配信される、少なくとも1つの動画像符号化データを受信する手段と、正常に受信された符号化データの中から、画像品質に基づき、データを選択する手段と、選択されたデータを復号化する手段と、を備えている。
本発明のさらに他のアスペクトに係る装置は、画像データ配信装置から配信される、少なくとも1つの動画像符号化データを受信する手段と、少なくとも1つの画像データの受信の有無を、受信データの誤り/損失率、利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段と、正常に受信された符号化データの中から、画像品質に基づき、データを選択する手段と、選択されたデータを復号化する手段と、を備えている。
本発明の他のアスペクトに係る方法は、画像データ配信装置から画像データ受信装置へ画像データを配信する制御方法であって、
前記画像データ配信装置が、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択するステップと、
選択されたセッションで画像符号化データを配信するステップと、
を含む。
本発明の他のアスペクトに係る方法は、前記画像データ配信装置が、同一画像の複数の画像符号化データを配信する際、画像品質に基づき配信するセッションを選択するステップと、
前記画像データ配信装置が、画像の品質によって選択されるセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路の場合に電力制御を行うステップと、
を含む。
本発明の他のアスペクトに係る方法は、画像データ配信装置から画像データ受信装置へ画像データを配信する制御方法であって、
前記画像データ配信装置が、画像符号化データを配信する際、画像フレーム及び/又は画像ブロックの種別に基づき、配信するセッションを選択するステップと、
選択されたセッションで画像符号化データを配信するステップと、
を含む。
本発明の他のアスペクトに係る方法は、前記画像データ配信装置が、画像符号化データを配信する際、画像フレーム及び/又は画像ブロックの種別に基づき、配信するセッションを選択するステップと、
画像の品質によって選択されるセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路の場合に電力制御を行うステップを含む。
本発明の他のアスペクトに係る方法は、前記画像データ受信装置は、前記画像データ配信装置から配信される少なくとも1つの動画像符号化データを受信するステップと、
前記画像データ受信装置は、正常に受信された符号化データの中から、画像品質に基づき、データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
本発明の他のアスペクトに係る方法は、前記画像データ受信装置は、前記画像データ配信装置から配信される少なくとも1つの動画像符号化データを受信するステップと、
少なくとも1つの画像データの受信の有無を、受信データの誤り/損失率、利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択するステップと、
前記画像データ受信装置は、正常に受信された符号化データの中から、画像品質に基づき、データを選択するステップと、
選択されたデータを復号化するステップと、
を含む。
本発明に係るシステムにおいては、画像データ配信装置は、同一の画像の複数の動画像データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成する手段と、再構成されたデータを復号化する手段と、を備えている。
本発明に係るシステムにおいては、画像データ配信装置は、同一の画像の複数の動画像データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成する手段と、再構成されたデータを復号化する手段と、を備えている。
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データとを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのI(Intra)ピクチャ、P(Predictive)ピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合には、B(Bidirectionally−predictive)ピクチャのうち、Iピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備え、前記画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、1つの動画像データに再構成する手段と、再構成されたデータを復号化する手段とを備えている。
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうち、I/Pピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうちIピクチャ、Pピクチャ、Bピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
本発明に係るシステムにおいては、前記画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合にはBピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック(Intra−MB)符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。
本発明によれば、動画像の配信において、ネットワークトラヒックの増加を小さく抑えつつ、受信者の受信環境に応じて、配信画像を最適化することができる。
また、本発明によれば、伝送路でのデータ誤り、欠落に対して耐性のある配信が可能になり、動画像配信の信頼性を高めることができる。
また、本発明によれば、上記の2つの効果を得るため、送受信者双方に必要となる処理量の増加を、小さく抑えることができる。
本発明によれば、受信側から送信側へフィードバック情報を送ることなく、上記2つの効果を得ることができる。
また、本発明によれば、上記の2つの効果を得るために、受信装置で必要とされる消費電力の増大を、小さく抑えることができる。
本発明の第1の実施の形態の構成の一例を示す図である。 本発明の第2の実施の形態の構成の一例を示す図である。 本発明の第3の実施の形態の構成の一例を示す図である。 本発明の第4の実施の形態の構成の一例を示す図である。 本発明の第5の実施の形態の構成の一例を示す図である。 本発明の第6の実施の形態の構成の一例を示す図である。 本発明の第7の実施の形態の構成の一例を示す図である。 本発明の第8の実施の形態の構成の一例を示す図である。 本発明の第9の実施の形態の構成の一例を示す図である。 本発明の第10の実施の形態の構成の一例を示す図である。 本発明の第11の実施の形態の構成の一例を示す図である。 本発明の第12の実施の形態の構成の一例を示す図である。
本発明を実施するための最良の形態と実施例について以下に説明する。
[発明の第1の実施の形態]
本発明の第1の実施の形態において、画像データ配信装置は、同一の画像の複数の動画像データ(例えば異なる画像品質の動画像データ)を、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。
さらに、本発明の第1の実施の形態において、画像データ受信装置は、少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第1の実施例]
本発明の第1の実施例を図面を参照して説明する。第1図は、本発明の第1の実施例の構成を示している。第1図に示すように、画像符号化データを配信する画像データ配信装置101と、画像データ受信装置108と、画像符号化データを伝送するための伝送路107を備えている。本実施例では、画像データ配信装置101は、IP(Internet Protocol)網である伝送路107に接続されており、UDP(User Datagram Protocol)/IPを用いて画像符号化データを配信し、画像データ受信装置108は、IP網に接続されるクライアント端末とする。なお、本実施例では、あくまで説明の簡単のため、配信する画像データ数を「2」として説明するが、本発明において配信する画像データ数が2に限定されるものでないことは勿論である。
画像データ配信装置101は、配信情報送信部102と、セッション情報管理部103と、画像データ蓄積/生成部104と、画像符号化データ1送信部105と、画像符号化データ2送信部106と、を備えている。
画像データ受信装置108は、セッション情報受信部109と、画像符号化データ1受信部110及び画像符号化データ2受信部111と、符号化データ再構成部112と、デコーダ113を備えている。以下、画像データ配信装置101、画像データ受信装置108の動作について順に説明する。
画像データ配信装置101は、画像データ蓄積/生成部104で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ
を、セッション情報管理部103で設定された、セッションごとの伝送路107でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、画像符号化データ1送信部105及び画像符号化データ2送信部106により、伝送路107経由で送信する。優先ルーティングは、特定プロトコルとポート番号を指定することで、特定のアプリケーションデータを優先して送受信可能としたものであり、この実施例及び以下の各実施例では、公知の任意の手法を用いることができる。また無線伝送路での電力制御は、送信電力を制御し、適切な受信レベルに制御するためのものであり、この実施例及び以下の各実施例では、公知の任意の手法を用いることができる。
セッション情報管理部103では、画像符号化データ1及び画像符号化データ2の画像品質(圧縮率)に関する情報を管理し、配信情報送信部102から画像データ受信装置108に通知する。
画像符号化データ1送信部105、及び画像符号化データ2送信部106は、画像データ受信装置108で、重複する複数の画像データが受信された場合に、データの選択ができるように、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるように、RTP(Real-time Transport Protocol)に相当する情報(例えばRTPヘッダ)を付加する機能を有する。RTPヘッダについては上記非特許文献1等が参照される。なお、画像符号化データ1及び画像符号化データ2の各送信単位は、それぞれ同一画像の同一フレームの同一部位を符号化したデータとし、これに同一のRTPシーケンス番号を付与し、さらにいずれの画像符号化データかを示す、ペイロードタイプ、及び/又は、SSRC(Synchronization Source identifier)、及び/又は、CSRC(Contributing Source identifier)を付与してもよい。
また、送信の際、画像符号化データ1に対して画像符号化データ2を、例えば伝送路107でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路で画像符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置108がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。このとき、画像符号化データ1と画像符号化データ2の画像品質を同じに設定するか、あるいは画像符号化データ1を画像符号化データ1送信部105及び画像符号化データ2送信部106の双方から送信すれば、伝送路での誤りや損失の影響があった場合の、画像データ受信装置での再生画像品質の劣化を最小限に抑えることが可能となる。
本実施例において、同一画像の複数の画像符号化データの送信の時間差(時間間隔)について、セッション情報管理部103で管理し、配信情報送信部102から画像データ受信装置108に通知する構成としてもよいし、あるいは、送信の時間差について、あらかじめ画像データ配信装置101及び画像データ受信装置108間で定めておき、該時間差に基づいて、画像データ受信装置108が、受信バッファ量を設定する構成としてもよい。
画像データ受信装置108は、画像データ配信装置101からの例えば画像品質(圧縮率)などの画像符号化に関する情報を、セッション情報受信部109で受信し、この情報から、伝送路107より受信した画像データの符号化情報を知る。
また、セッション情報管理部103は、
・画像符号化データ1及び画像符号化データ2の符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部102により画像データ受信装置108へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置101及び画像データ受信装置108間で設定しておいてもよい。
画像符号化データ1と画像符号化データ2ともに受信できた場合、重複する画像データについて、符号化データ再構成部112は、RTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部109で受信された画像品質に関する情報に基づいて選択して、1つの画像データに再構成し、再構成したデータをデコーダ113へと出力する。画像データは、1つだけ復号化すればよいので、デコーダ113の復号化処理の負担は増加しない。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
画像符号化データ1と画像符号化データ2の品質(圧縮率等)を変え、例えば画像符号化データ1をより高品質とする。
画像符号化データ1送信部105、及び画像符号化データ2送信部106で、画像符号化データ2を、伝送路107において画像符号化データ1より高い優先度でルーティングされるように設定する。もしくは、画像符号化データ1送信部105及び画像符号化データ2送信部106で、画像符号化データ2を、無線伝送路において、より高い電力で送信するように設定する。
受信者Aの画像データ受信装置108と受信者Bの画像データ受信装置108が、配信される動画像データを受信しているとものし、受信者Aの画像データ受信装置108は受信者Bの画像データ受信装置108と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
受信者Aの画像データ受信装置108は、ネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好のため、画像符号化データ1の高品質な画像データと、画像符号化データ2の低品質な画像データの両方を受信することができる。そして、受信者Aの画像データ受信装置108では、万が一、画像符号化データ1の画像データに誤りや欠落があったとしても、当該箇所を画像符号化データ2の画像データで補完することができるため、受信環境の良好さに応じた、高品質で安定した動画像データを再生することができる。
この際、例えば受信者Aの画像データ受信装置108が、
バッテリー/電池で動作する場合のように、利用可能な電力に制限のある環境で使用される場合、及び/又は、
受信環境が良好であり、画像符号化データ1を、ほとんど誤りや欠落なく受信できる場合、
には、画像符号化データ2の受信を停止し、装置の使用時間をできるだけ長くする制御を行ってもよい。
逆に、画像データ受信装置108が、大容量バッテリーや、AC電源が接続された場合には、画像符号化データ1、画像符号化データ2とも受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。あるいは、受信画像データ数を、受信者Aが、画像データ受信装置108に設定できるように構成してもよい。
受信者Bの画像データ受信装置108は、高優先度でルーティング、もしくは高電力で無線配信された画像符号化データ2は受信することができ、受信環境が劣る分、受信者Aの画像データ受信装置108と比べて品質は劣るものの、動画像データを再生することができる。
この際も、例えば受信者Bの画像データ受信装置108が、
バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合、画像データ1の受信を停止し、画像データ2の受信のみとし、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、受信者Bの画像データ受信装置108が、大容量バッテリーや、AC電源が接続された場合には、画像データ1、画像データ2とも受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
あるいは、受信画像データ数を、受信者Bが画像データ受信装置108に設定できるようにしてもよい。
また、圧縮率が高く、より低品質な画像符号化データ2の配信は、高品質な画像符号化データ1と比べて、トラヒックに余裕のないネットワークでの配信に適しており、また無線伝送路でより高い電力で送信することが容易であるため、限られたリソース環境下での配信に適用することが可能である。
なお、本実施例において、伝送路を複数とし、画像符号化データ1及び画像符号化データ2、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよいことは勿論である。
本実施例において、画像符号化データ1及び画像符号化データ2を配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置101における、配信情報送信部102と、セッション情報管理部103と、画像データ蓄積/生成部104と、画像符号化データ1送信部105と、画像符号化データ2送信部106について、画像データ配信装置101を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置108における、セッション情報受信部109と、画像符号化データ1受信部110及び画像符号化データ2受信部111と、符号化データ再構成部112と、デコーダ113について、画像データ受信装置108を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第2の実施の形態]
本発明の第2の実施の形態では、画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。また画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第2の実施例]
次に本発明の第2の実施例として図面を参照しながら説明する。第2図は、本発明の第2の実施例の構成を示す図である。第2図に示すように、画像データ配信装置201と、画像データ受信装置208、及び動画像符号化データを伝送するための伝送路207を備えている。本実施例では、画像データ配信装置201はIP(Internet Protocol)網である伝送路207に接続されており、UDP/IPを用いて画像符号化データを配信し、画像データ受信装置208は、IP網に接続されるクライアント端末であるとする。
画像データ配信装置201は、配信情報送信部202と、セッション情報管理部203と、画像データ蓄積/生成部204と、画像符号化データ送信部205と、イントラ−マクロブロック(Intra−MB)符号化データ送信部206を備えている。
画像データ受信装置208は、セッション情報受信部209と、画像符号化データ受信部210、イントラ−マクロブロック(Intra−MB)符号化データ受信部211、符号化データ再構成部212と、デコーダ213を備えている。以下、画像データ配信装置201、画像データ受信装置208の動作を順に説明する。
画像データ配信装置201は、画像データ蓄積/生成部204で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部203で設定された、セッションごとの伝送路207でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、画像符号化データ送信部205、及びイントラ−マクロブロック(Intra−MB)符号化データ送信部206により、伝送路207経由で送信する。
また、セッション情報管理部203で、符号化データの種別に関する情報を管理し、配信情報送信部202から画像データ受信装置208に通知する。
画像符号化データ送信部205、及びIntra−MB符号化データ送信部206は、画像データ受信装置208で、重複する複数の画像データが受信された場合に、データの選択ができるよう、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、RTPに相当する情報を付加する機能を有する。この際、イントラ−マクロブロック符号化データが符号化する画像の同一部位の画像符号化データに、同じRTPシーケンス番号を付与し、さらに画像符号化データとイントラ−マクロブロックのいずれであるかを示すペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
また、本実施例においては、送信の際、画像符号化データに対して、イントラ−マクロブロック符号化データを、例えば伝送路207でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路で画像符号化データとイントラ−マクロブロック符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。
本実施例において、同一画像の複数の画像符号化データの送信の時間差については、セッション情報管理部203で管理し、配信情報送信部202から画像データ受信装置208に通知するか、あらかじめ画像データ配信装置201及び画像データ受信装置208間で定めておき、その時間差に基づいて画像データ受信装置208が受信バッファ量を設定してもよい。
画像データ受信装置208は、画像データ配信装置201からの符号化データ種別に関する情報を、セッション情報受信部209で受信し、この情報から、伝送路207より受信した符号化データの種別を知る。
また、セッション情報管理部203は、
・符号化データの符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報
の少なくとも1つを設定し、配信情報送信部202により画像データ受信装置208へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置201及び画像データ受信装置208間で設定しておいてもよい。
画像符号化データ、及び、イントラ−マクロブロック符号化データの両方が受信できた場合、重複する画像データは、符号化データ再構成部212でRTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部209で受信された情報に基づいて、1つの画像データに再構成し、デコーダ213へと出力する。画像データは、1つだけ復号化すればよいので、デコーダ213の復号化処理の負担は増加しない。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
イントラ−マクロブロックは、符号化されるフレームのうち、動きベクトルの大きい箇所等、一部のマクロブロックのみを選択して符号化する。
画像符号化データ送信部205、及びIntra−MB符号化データ送信部206で、画像符号化データを、伝送路207において、イントラ−マクロブロック符号化データより高い優先度でルーティングされるように設定する。もしくは、画像符号化データ送信部205、及びIntra−MB符号化データ送信部206で、画像符号化データを、無線伝送路においてより高い電力で送信するように設定する。
受信者Aの画像データ受信装置208と受信者Bの画像データ受信装置208が、配信される動画像データを受信しているものとし、受信者Aの画像データ受信装置208は、受信者Bの画像データ受信装置208と比べて、例えばネットワークのトラヒックに余裕があるか、もしくは、無線受信環境が良好であるもの、とする。
受信者Aの画像データ受信装置208は、トラヒックに余裕があるか、もしくは無線受信環境が良好のため、画像符号化データとイントラ−マクロブロック符号化データの両方を受信することができる。そして、受信者Aの画像データ受信装置208では、万が一、画像符号化データの一部に誤りや欠落があったとしても、当該箇所のマクロブロックの符号化データがイントラ−マクロブロック符号化データから受信できれば、補完することができる。あるいは、誤りや欠落により劣化したマクロブロックを、補正することができるため、受信環境の良好さに応じた、安定した動画像データが再生できる。
受信者Bの画像データ受信装置208は、高優先度でルーティング、もしくは高電力で無線配信された画像符号化データは受信することができ、受信環境が劣る分、受信者Aの画像データ受信装置208よりも、データの誤りや欠落が増える可能性はあるものの、動画像データを再生することができる。
この際、例えば受信者A、Bの画像データ受信装置208が、バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合、及び/又は、受信環境が良好で、画像符号化データを、ほとんど誤りや欠落なく受信できる場合には、イントラ−マクロブロック符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、大容量バッテリーや、AC電源が接続された場合、画像符号化データ、イントラ−マクロブロック符号化データとも受信するなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
本実施例においては、この受信画像符号化データの種別を、受信者が、画像データ受信装置208に設定できる構成としてもよい。
また、例えば画像符号化データが正しく受信できている場合でも、それがインターフレーム(参照フレーム)符号化データであるとき、符号化データ再構成部212で周期的に必ずイントラ−マクロブロック符号化データを選択するようにすれば、伝送路での誤りや損失が発生した場合でも、MPEG−4符号化方式でのCIR(Cyclic Intra Refresh)と同様の効果を得ることができ、伝送路での誤りや損失による再生画像品質の劣化を素早く回復させることで、以後のフレームへの品質劣化の伝播を小さく抑えることができる。
なお、本実施例において、伝送路を複数とし、画像符号化データ及びイントラ−マクロブロック符号化データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
また、画像符号化データ及びイントラ−マクロブロック符号化データを配信するセッションは、少なくとも1つをユニキャスト方式で送信されても、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置201における、配信情報送信部202と、セッション情報管理部203と、画像データ蓄積/生成部204と、画像符号化データ送信部205と、イントラ−マクロブロック符号化データ送信部206について、画像データ配信装置201を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置208における、セッション情報受信部209と、画像符号化データ受信部210及びイントラ−マクロブロック符号化データ受信部211と、符号化データ再構成部212と、デコーダ213について、画像データ受信装置208を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第3の実施の形態]
本発明の第3の実施の形態では、画像データ配信装置側は、動画像データのI(Intra)ピクチャ、P(Predictive)ピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はB(Bidirectionally−predictive)ピクチャのうち、Iピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第3の実施例]
本発明の第3の実施例を図面を参照しながら説明する。第3図は、本発明の第3の実施例の構成を示す図である。第3図に示すように、画像データ配信装置301と、画像データ受信装置308、及び画像符号化データを伝送するための伝送路307から構成される。本実施例では、画像データ配信装置301はIP網である伝送路307に接続されており、UDP/IPを用いて画像符号化データを配信し、画像データ受信装置308は、IP網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Iピクチャ、Pピクチャ、Bピクチャの3つのフレーム種別が存在するものとして説明する。
画像データ配信装置301は、配信情報送信部302と、セッション情報管理部303と、画像データ蓄積/生成部304と、Iピクチャ符号化データ送信部305と、P/Bピクチャ符号化データ送信部306を備えている。
画像データ受信装置308は、セッション情報受信部309と、Iピクチャ符号化データ受信部310、P/Bピクチャ符号化データ受信部311と、符号化データ再構成部312と、デコーダ313を備えている。以下、画像データ配信装置301、画像データ受信装置308の動作を順に説明する。
画像データ配信装置301は、画像データ蓄積/生成部304で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部303で設定された、セッションごとの伝送路307でのルーティングの優先度情報及び/又は、無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部305及びP/Bピクチャ符号化データ送信部306により、伝送路307経由で送信する。
また、セッション情報管理部303では、各セッションから配信するピクチャ情報を管理し、配信情報送信部302から画像データ受信装置308に通知する。
Iピクチャ符号化データ送信部305、及び、P/Bピクチャ符号化データ送信部306は、画像データ受信装置308で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、RTPに相当する情報を付加する機能を有する。
画像データ受信装置308は、画像データ配信装置301からの画像符号化に関する情報を、セッション情報受信部309で受信し、この情報から、伝送路307より受信した画像データのピクチャ種別を知る。
また、セッション情報管理部303は、
・符号化データの符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部302により画像データ受信装置308へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置301及び画像データ受信装置308間で設定しておいてもよい。
受信したIピクチャ、Pピクチャ、Bピクチャ符号化データは、符号化データ再構成部312で、RTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部309で受信された情報に基づいて、1つの画像データに再構成し、デコーダ313へと出力する。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなもとなる。
Iピクチャ符号化データ送信部305、及びP/Bピクチャ符号化データ送信部306で、Iピクチャ符号化データを、伝送路307において、P/Bピクチャ符号化データより高い優先度でルーティングされるように設定する。もしくは、Iピクチャ符号化データ送信部305、及びP/Bピクチャ符号化データ送信部306で、Iピクチャ符号化データを、無線伝送路においてより高い電力で送信するように設定する。
受信者Aの画像データ受信装置308と、受信者Bの画像データ受信装置308が、配信される動画像データを受信しているものとし、受信者Aの画像データ受信装置308は受信者Bの画像データ受信装置308と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
受信者Aの画像データ受信装置308は、トラヒックに余裕がある、もしくは無線受信環境が良好のため、Iピクチャ符号化データと、P/Bピクチャ符号化データの両方を受信することができ、受信環境の良好さに応じた、動きの滑らかな、高品質な動画像データを再生することができる。
受信者Bの画像データ受信装置308は、高優先度でルーティング、もしくは高電力で無線配信されたIピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Aの画像データ受信装置308よりも品質が劣るが、動画像データを再生することができる。
この際、例えば受信者A、Bの画像データ受信装置308が、バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば、受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、P/Bピクチャ符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、画像データ受信装置308が、大容量バッテリーや、AC電源が接続された場合には、全ピクチャの符号化データを受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
本実施例においては、この受信ピクチャ符号化データの種別を、受信者が画像データ受信装置308に設定できるようにしてもよい。
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能であり、少ない品質変動で動画像データを配信することができる。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ及びP/Bピクチャ符号化データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
本実施例において、Iピクチャ符号化データ及びP/Bピクチャ符号化データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置301における、配信情報送信部302と、セッション情報管理部303と、画像データ蓄積/生成部304と、Iピクチャ符号化データ送信部305と、P/Bピクチャ符号化データ送信部306について、画像データ配信装置301を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置308における、セッション情報受信部309と、Iピクチャ符号化データ受信部310及びP/Bピクチャ符号化データ受信部311と、符号化データ再構成部312と、デコーダ313について、画像データ受信装置308を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第4の実施の形態]
本発明の第4の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうち、I/Pピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データを、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第4の実施例]
本発明の第4の実施例を図面を参照しながら説明する。第4図は、本発明の第4の実施例の構成を示す図である。第4図に示すように、画像データ配信装置401と、画像データ受信装置408、及び画像符号化データを伝送するための伝送路407から構成される。本実施例では、画像データ配信装置401はIP網である伝送路407に接続されており、UDP/IPを用いて画像符号化データを配信し、画像データ受信装置408は、IP網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Iピクチャ、Pピクチャ、Bピクチャの3つのフレーム種別が存在するとして説明する。
画像データ配信装置401は、配信情報送信部402と、セッション情報管理部403と、画像データ蓄積/生成部404と、I/Pピクチャ符号化データ送信部405と、Bピクチャ符号化データ送信部406とを備えている。
画像データ受信装置408は、セッション情報受信部409と、I/Pピクチャ符号化データ受信410と、Bピクチャ符号化データ受信部411と、符号化データ再構成部412と、デコーダ413を備えている。以下、画像データ配信装置401、画像データ受信装置408の動作について順に説明する。
画像データ配信装置401は、画像データ蓄積/生成部404で、
・あらかじめ蓄積された画像データ、または、
・リアルタイムで生成された画像データ、または、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部403で設定された、セッションごとの伝送路407でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、I/Pピクチャ符号化データ送信部405及びBピクチャ符号化データ送信部406により、伝送路407経由で送信する。
また、セッション情報管理部403で、各セッションから配信するピクチャ情報を管理し、配信情報送信部402から画像データ受信装置408に通知する。
I/Pピクチャ符号化データ送信部405、及びBピクチャ符号化データ送信部406は、画像受信装置408で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、RTPに相当する情報を付加する機能を有する。
画像データ受信装置408は、画像データ配信装置401から配信される画像符号化に関する情報を、セッション情報受信部409で受信し、この情報から、伝送路407より受信した画像データのピクチャ種別を知る。
なお、セッション情報管理部403は、
・符号化データの符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・及び/又は、SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部402により画像データ受信装置408へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置401及び画像データ受信装置408間で設定しておいてもよい。
受信したIピクチャ、Pピクチャ、Bピクチャ符号化データは、符号化データ再構成部412でRTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部409で受信された情報に基づいて1つの画像データに再構成し、デコーダ413へと出力する。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
I/Pピクチャ符号化データ送信部405、及びBピクチャ符号化データ送信部406で、I/Pピクチャ符号化データを、伝送路407において、Bピクチャ符号化データよりも高い優先度でルーティングされるように設定する。もしくは、I/Bピクチャ符号化データ送信部405、及びBピクチャ符号化データ送信部406で、I/Pピクチャ符号化データを、無線伝送路においてより高い電力で送信するように設定する。
受信者Aの画像データ受信装置408と、受信者Bの画像データ受信装置408が、配信される動画像データを受信しているものとし、受信者Aの画像データ受信装置408は、受信者Bの画像データ受信装置408と比べて、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
受信者Aの画像データ受信装置408は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、I/Pピクチャ符号化データと、Bピクチャ符号化データの両方を受信することができ、受信環境の良好さに応じた、動きの滑らかな、高品質な動画像データを再生することができる。
受信者Bの画像データ受信装置408は、高優先度でルーティング、もしくは高電力で無線配信されたI/Pピクチャ符号化データは受信することができ、受信環境が劣る分、受信者Aの画像データ受信装置408よりも、品質が劣るが、動画像データを再生することができる。
この際、例えば受信者A、Bの画像データ受信装置408が、バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、Bピクチャ符号化データの受信を停止し、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、画像データ受信装置408が大容量バッテリーや、AC電源が接続された場合には、全ピクチャの符号化データを受信するようにしてもよい。このように、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
本実施例においては、受信ピクチャ符号化データ種別を、受信者が画像データ受信装置408に設定できるようにしてもよい。
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能で、少ない品質変動で動画像データを配信することができる。
なお、本実施例において、伝送路を複数とし、I/Pピクチャ符号化データ、及びBピクチャ符号化データ、及びこれらの画像符号化に関する情報を異なった伝送路により伝送する構成としてもよい。
本実施例においても、I/Pピクチャ符号化データ及びBピクチャ符号化データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置401における、配信情報送信部402と、セッション情報管理部403と、画像データ蓄積/生成部404と、I/Pピクチャ符号化データ送信部405と、Bピクチャ符号化データ送信部406について、画像データ配信装置401を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置408における、セッション情報受信部409と、I/Pピクチャ符号化データ受信部410及びBピクチャ符号化データ受信部411と、符号化データ再構成部412と、デコーダ413について、画像データ受信装置408を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第5の実施の形態]
本発明の第5の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうち、Iピクチャ、Pピクチャ、Bピクチャで、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と受信した動画像データを、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第5の実施例]
次に本発明の第5の実施例を図面を参照しながら説明する。第5図は、本発明の第5の実施例の構成の一例を示している。第5図に示すように、画像データ配信装置501と、画像データ受信装置509、及び画像符号化データを伝送するための伝送路508から構成される。本実施例では、画像データ配信装置501はIP網である伝送路508に接続されており、UDP/IPを用いて画像符号化データを配信し、画像データ受信装置509は、IP網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Iピクチャ、Pピクチャ、Bピクチャの3つのフレーム種別が存在するとして説明する。
画像データ配信装置501は、配信情報送信部502と、セッション情報管理部503と、画像データ蓄積/生成部504と、Iピクチャ符号化データ送信部505、Pピクチャ符号化データ送信部506と、Bピクチャ符号化データ送信部507を備えている。
画像データ受信装置509は、セッション情報受信部510と、Iピクチャ符号化データ受信部511、Pピクチャ符号化データ受信部512、Bピクチャ符号化データ受信部513、符号化データ再構成部514と、デコーダ515を備えている。以下、画像データ配信装置501、画像データ受信装置509の動作について順に説明する。
画像データ配信装置501は、画像データ蓄積/生成部504で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
を、セッション情報管理部503で設定された、セッションごとの伝送路508でのルーティングの優先度情報及び/又は、無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部505、及びPピクチャ符号化データ送信部506、及びBピクチャ符号化データ送信部507により、伝送路508経由で送信する。
セッション情報管理部503では、各セッションから配信するピクチャ情報を管理し、配信情報送信部502から画像データ受信装置509に通知する。
Iピクチャ符号化データ送信部505、Pピクチャ符号化データ送信部506、及びBピクチャ符号化データ送信部507は、画像データ受信装置509で、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、RTPに相当する情報を付加する機能を有する。
画像データ受信装置509は、画像データ配信装置501からの画像符号化に関する情報を、セッション情報受信部510で受信し、この情報から、伝送路508より受信した画像データのピクチャ種別を知る。
また、セッション情報管理部503は、
・符号化データの符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部502により画像データ受信装置509へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置501及び画像データ受信装置509間で設定しておいてもよい。
受信したIピクチャ、Pピクチャ、Bピクチャ符号化データは、符号化データ再構成部514でRTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部510で受信された情報に基づいて、1つの画像データに再構成し、デコーダ515へと出力する。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようなものとなる。
Iピクチャ符号化データ送信部505、Pピクチャ符号化データ送信部506、及びBピクチャ符号化データ送信部507で、伝送路508において、Iピクチャ符号化データを最も高い優先度で、Pピクチャ符号化データをこれに次ぐ優先度で、Bピクチャ符号化データを最も低い優先度でルーティングされるように設定する。もしくは、Iピクチャ符号化データ送信部505、Pピクチャ符号化データ送信部506、及びBピクチャ符号化データ送信部507で、無線伝送路において、Iピクチャ符号化データを最も高い電力で、Pピクチャ符号化データをこれに次ぐ電力で、Bピクチャを最も低い電力で送信するように設定する。
受信者Aと受信者Bと受信者Cのそれぞれの画像データ受信装置509が、配信される動画像データを受信しているものとし、受信者Aの画像データ受信装置509は受信者Bの画像データ受信装置509より、受信者Bの画像データ受信装置509は受信者Cの画像データ受信装置509より、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
受信者Aの画像データ受信装置509は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、Iピクチャ符号化データと、Pピクチャ符号化データと、Bピクチャ符号化データのいずれも受信することができ、受信環境の良好さに応じた、動きの滑らかな、最も高品質な動画像データを再生することができる。
受信者Bの画像データ受信装置509は、最も高い優先度と、これに次ぐ優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力で無線配信されたIピクチャ符号化データと、Pピクチャ符号化データを受信することができ、受信環境が劣る分、受信者Aよりは品質が劣るが、比較的滑らかな動きの動画像データは再生することができる。
受信者Cの画像データ受信装置509では、最も高い優先度でルーティング、もしくは、最も高い電力で無線配信されたIピクチャ符号化データを受信することができ、受信環境が劣る分、受信者A、受信者Bの画像データ受信装置509よりも、品質が劣るが、動画像データを再生することができる。
この際、例えば受信者A、B、Cの画像データ受信装置509が、バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合には、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、より重要度の低いデータのBピクチャ符号化データの受信を停止し、あるいは、さらにBピクチャ及びPピクチャの受信を停止することで、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、画像データ受信装置509が大容量バッテリーや、AC電源が接続された場合には、より重要度の高い符号化データから受信をするなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
本実施例においては、この受信ピクチャ符号化データ種別を、受信者が画像データ受信装置509に設定できるようにしてもよい。
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信する場合と比べ、本実施例においては、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能とされ、少ない品質変動で動画像データを配信することができる。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ、Bピクチャ符号化データ、及びPピクチャ符号化データ、これらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよい。
本実施例においても、Iピクチャ符号化データ、及び、Pピクチャ符号化データ及び、Bピクチャ符号化データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また画像データ配信装置501における、配信情報送信部502と、セッション情報管理部503と、画像データ蓄積/生成部504と、Iピクチャ符号化データ送信部505と、Pピクチャ符号化データ送信部506、Bピクチャ符号化データ送信部507について、画像データ配信装置501を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置509における、セッション情報受信部510と、Iピクチャ符号化データ受信部511、Pピクチャ符号化データ受信部512、Bピクチャ符号化データ受信部513と、符号化データ再構成部514と、デコーダ515について、画像データ受信装置509を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第6の実施の形態]
本発明の第6の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はBピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック(Intra−MB)符号化した符号化データを、それぞれ異なったセッションで配信する手段と、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。さらに、少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第6の実施例]
本発明の第6の実施例を図面を参照しながら説明する。第6図は、本発明の第6の実施例の構成を示す図である。第6図に示すように、画像データ配信装置601と、画像データ受信装置610、及び画像符号化データを伝送するための伝送路609から構成される。本実施例では、画像データ配信装置601はIP網である伝送路609に接続されており、UDP/IPを用いて画像符号化データを配信し、画像データ受信装置610は、IP網に接続されるクライアント端末であるとする。なお、ここでは簡単のため、配信する画像データの符号化方式には、Iピクチャ、Pピクチャ、Bピクチャの3つのフレーム種別が存在するとして説明する。
画像データ配信装置601は、配信情報送信部602と、セッション情報管理部603と、画像データ蓄積/生成部604と、Iピクチャ符号化データ送信部605、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、イントラ‐マクロブロック(Intra‐MB)符号化データ送信部608を備えている。
画像データ受信装置610は、セッション情報受信部611と、Iピクチャ符号化データ受信部612、Pピクチャ符号化データ受信部613、Bピクチャ符号化データ受信部614、イントラ‐マクロブロック(Intra‐MB)符号化データ受信部615と、符号化データ再構成部616と、デコーダ617を備えている。以下、画像データ配信装置601、画像データ受信装置610の動作について順に説明する。
画像データ配信装置601は、画像データ蓄積/生成部604で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像を変換し生成された画像データ、
を、セッション情報管理部603で設定された、セッションごとの伝送路609でのルーティングの優先度情報及び/又は無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部605、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、及びIntra−MB符号化データ送信部608により、伝送路609経由で送信する。
セッション情報管理部603で、各セッションから配信するピクチャ情報を管理し、配信情報送信部602から画像データ受信装置610に通知する。
Iピクチャ符号化データ送信部605、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、及びIntra−MB符号化データ送信部608は、画像データ受信装置610で、重複する複数の画像データが受信された場合に、データの選択ができるよう、また、受信したデータの順序が入れ替わっていても、正しく並び替えられるよう、RTPに相当する情報を付加する機能を有する。この際、例えばイントラ−マクロブロック符号化データが符号化する画像の同一部位のI/P/Bピクチャ符号化データに、同じRTPシーケンス番号を付与し、さらに画像符号化データとイントラ−マクロブロックのいずれであるかを示すペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
また、送信の際、I/P/Bピクチャ符号化データに対して、イントラ−マクロブロック符号化データを、例えば伝送路609でのデータの誤り、もしくは損失のバースト長より長くなるような時間差を設けて送信すると、伝送路でI/P/Bピクチャ符号化データとイントラ−マクロブロック符号化データが両方とも誤り、もしくは損失の影響を受ける可能性が低下し、画像データ受信装置がこの時間差以上の受信バッファを備える場合、より安定した画像データの配信をすることができる。
本実施例において、同一画像の複数の画像符号化データの送信の時間差について、セッション情報管理部603で管理し、配信情報送信部602から画像データ受信装置610に通知するか、あるいは、送信の時間差について、あらかじめ画像データ配信装置601及び画像データ受信装置610間で定めておき、その時間差に基づいて画像データ受信装置610が受信バッファ量を設定してもよい。
画像データ受信装置610は、画像データ配信装置601からの画像符号化に関する情報を、セッション情報受信部611で受信し、この情報から、伝送路609より受信した画像データのピクチャ、ブロック種別を知る。
また、セッション情報管理部603は、
・符号化データの符号化設定、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データを識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部602により画像データ受信装置610へ通知するか、あるいは、これらの情報を、あらかじめ画像データ配信装置601及び画像データ受信装置609間で設定しておいてもよい。
受信したIピクチャ、Pピクチャ、Bピクチャ、イントラ−マクロブロック符号化データは、符号化データ再構成部616で、RTPに相当する機能、RTPヘッダのシーケンス番号、ペイロードタイプ、SSRCや、CSRC、及び/又は、セッション情報受信部611で受信された情報に基づいて、1つの画像データに再構成し、デコーダ617へと出力する。画像データは、1つだけ復号化すればよいので、デコーダ617の復号化処理の負担は増加しない。
受信環境により、配信される画像品質が最適化される仕組みは、以下のようになる。
イントラ−マクロブロックは、符号化されるフレームのうち、動きベクトルの大きい箇所等、一部のマクロブロックのみを選択して符号化することとする。
Iピクチャ符号化データ送信部605、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、及び、Intra−MB符号化データ送信部608で、例えば、伝送路609において、
・Iピクチャ符号化データを最も高い優先度で、
・Pピクチャをその次の優先度で、
・Bピクチャさらに次の優先度で、
・イントラ−マクロブロック符号化データを最も低い優先度、
でルーティングされるように設定する。
もしくは、Iピクチャ符号化データ送信部605、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、及び、Intra−MB符号化データ送信部608で、無線伝送路において、
・Iピクチャ符号化データを最も高い電力で、
・Pピクチャ符号化データをこれに次ぐ電力で、
・Bピクチャ符号化データをさらにこれに次ぐ電力で、
・イントラ−マクロブロック符号化データを最も低い電力、
で送信するように設定する。
受信者Aと受信者Bと受信者Cと受信者Dのそれぞれの画像データ受信装置610が、配信される動画像データを受信しているものとし、
・受信者Aの画像データ受信装置610は受信者Bの画像データ受信装置610より、
・受信者Bの画像データ受信装置610は受信者Cの画像データ受信装置610より、
・受信者Cの画像データ受信装置610は受信者Dの画像データ受信装置610より、例えばネットワークのトラヒックに余裕がある、もしくは無線受信環境が良好である、ものとする。
受信者Aの画像データ受信装置610は、トラヒックに余裕がある、もしくは無線受信環境が良好であるため、Iピクチャ符号化データと、Pピクチャ符号化データと、Bピクチャ符号化データと、イントラ−マクロブロック符号化データのいずれも受信することができ、受信環境の良好さに応じた、動きの滑らかな、最も高品質な動画像データが再生できる。また、受信者Aの画像データ受信装置610では、万が一、画像符号化データの一部に誤りや欠落があったとしても、当該箇所のマクロブロックの符号化データがイントラ−マクロブロック符号化データから受信できれば、補完することができる、あるいは、誤りや欠落により劣化したマクロブロックを、補正することができるため、受信環境の良好さに応じた、安定した動画像データが再生することができる。
受信者Bの画像データ受信装置610は、最も高い優先度と、これに次ぐ優先度と、さらに次の優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力と、さらに次の電力で無線配信されたIピクチャ符号化データと、Pピクチャ符号化データと、Bピクチャ符号化データを受信することができる。受信者Bの画像データ受信装置610では、画像符号化データの一部に誤りや欠落が発生した場合には、受信者Aの画像データ受信装置610のようなデータの補完、補正はできないため、画質が劣化するが、それ以外の場合は、同等の品質の動画像データが再生することができる。
受信者Cの画像データ受信装置610は、最も高い優先度と、これに次ぐ優先度でルーティング、もしくは最も高い電力と、これに次ぐ電力で無線配信されたIピクチャ符号化データと、Pピクチャ符号化データを受信することができ、受信環境が劣る分、受信者A、受信者Bの画像データ受信装置610よりも、品質が劣るものの、比較的滑らかな動きの動画像データは再生することができる。
受信者Dの画像データ受信装置610は、最も高い優先度でルーティング、もしくは最も高い電力で無線配信されたIピクチャ符号化データを受信することができ、受信環境が劣る分、受信者A、受信者B、受信者Cの画像データ受信装置610よりも品質が劣るが、動画像データを再生することができる。
この際、例えば受信者A、B、C、Dの画像データ受信装置610が、バッテリー/電池で動作する場合のように、電力に制限のある環境で使用される場合に、例えば受信者が画質よりも装置の使用時間を長く維持することを望むのであれば、より重要度の低いデータのイントラ−マクロブロック符号化データの受信を停止し、次いでBピクチャ符号化データの受信を停止する、さらにPピクチャの受信を停止することで、低消費電力化を図り、装置の使用時間をできるだけ長くするようにしてもよい。
逆に、画像データ受信装置610が大容量バッテリーや、AC電源が接続された場合には、より重要度の高い符号化データから受信をするなど、利用可能な電力や受信環境に応じて、データの受信の有無を制御することもできる。
本実施例においては、この受信ピクチャ符号化データの種別を、受信者が、画像データ受信装置610に設定できる構成としてもよい。
さらに、例えば画像符号化データが正しく受信できている場合でも、それがPピクチャ、もしくはBピクチャ符号化データであるとき、符号化データ再構成部616で周期的に必ずイントラ−マクロブロック符号化データを選択するようにすれば、伝送路での誤りや損失が発生した場合でも、MPEG−4符号化方式でのCIR(Cyclic Intra Refresh)と同様の効果を得ることができ、伝送路での誤りや損失による再生画像品質の劣化を素早く回復させることで、以後のフレームへの品質劣化の伝播を小さく抑えることができる。
また、本来の全てのピクチャの符号化データを、同一のセッションで、同一のルーティングの優先度、または同一の電力で無線配信するのに比べ、トラヒックの負荷が高い状況や、無線リソースが限られた状況でも、状況に応じた柔軟な優先度設定や、電力制御が可能で、少ない品質変動で動画像データを配信することができる。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ、Bピクチャ符号化データ、Pピクチャ符号化データ、及びイントラ−マクロブロック符号化データ、及びこれらのデータに関する情報が、異なった伝送路を介して伝送される構成としてもよいことは勿論である。
本実施例において、Iピクチャ符号化データ及び、Pピクチャ符号化データ及び、Bピクチャ符号化データ、及びイントラ−マクロブロック符号化データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
画像データ配信装置601における、配信情報送信部602と、セッション情報管理部603と、画像データ蓄積/生成部604と、Iピクチャ符号化データ送信部605と、Pピクチャ符号化データ送信部606、Bピクチャ符号化データ送信部607、イントラ−マクロブロック符号化データ送信部608について、画像データ配信装置601を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置610における、セッション情報受信部611と、Iピクチャ符号化データ受信部612、Pピクチャ符号化データ受信部613、Bピクチャ符号化データ受信部614、イントラ−マクロブロック符号化データ受信部615と、符号化データ再構成部616と、デコーダ617について、画像データ受信装置610を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第7の実施の形態]
本発明の第7の実施の形態において、画像データ配信装置は、同一の画像の複数の動画像データ(例えば異なる画像品質の動画像データ)及び、誤り訂正符号データを、それぞれ異なったセッションで配信する手段と、少なくとも1つのセッションで、データを配信するセッションごとに、伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データ及び、復元された動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。
さらに、本発明の第7の実施の形態において、画像データ受信装置は、少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第7の実施例]
本発明の第7の実施例を図面を参照して説明する。第7図は、本発明の第7の実施例の構成を示している。第7図に示すように、画像符号化データを配信する画像データ配信装置701と、画像データ受信装置708と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路707を備えており、これらは、前記第1の実施例の画像データ配信装置101と、画像データ受信装置108と、伝送路107にそれぞれ対応している。画像データ配信装置701を構成する各要素702乃至706、画像データ受信装置708を構成する各要素709乃至713は、前記第1の実施例のそれぞれ画像データ配信装置101の各要素102乃至106、画像データ受信装置108の各要素109乃至113に対応している。以下では、前記第1の実施例と異なる部分のみ説明する。なお、本実施例では、あくまで説明の簡単のため、配信する画像データ数を「2」とし、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、本発明において配信する画像データ数が「2」に、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置701は、配信情報送信部702と、セッション情報管理部703と、画像データ蓄積/生成部704と、画像符号化データ1送信部705と、画像符号化データ2送信部706と、FEC(前方誤り訂正)符号データ送信部714を備えている。
画像データ受信装置708は、セッション情報受信部709と、画像符号化データ1受信部710、画像符号化データ2受信部711、符号化データ再構成部712と、デコーダ713と、FEC符号データ受信部715を備えている。
画像データ配信装置701の画像データ蓄積/生成部704で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像符号化データ、もしくは、
・リアルタイムで既存画像符号化データを変換し生成された画像符号化データ
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部703で設定された、セッションごとの伝送路707でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、画像符号化データ1送信部705及び画像符号化データ2送信部706及びFEC符号データ送信部714により、伝送路707経由で送信する。ここで、前方誤り訂正(FEC;Forwards Error Correction)符号とは、リード・ソロモン符号やLDPC(Low Density parity check)符号、畳み込み符号等があり、本発明ではこれらの既存の手法を用いるため、ここでの詳しい説明は省略する。
セッション情報管理部703では、画像符号化データ1及び画像符号化データ2の画像品質(圧縮率)及び、誤り訂正符号データに関する情報を管理し、配信情報送信部702から画像データ受信装置708に通知する。
FEC符号データ送信部714は、画像符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
また、セッション情報管理部703は、
・画像符号化データ1及び画像符号化データ2の符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部702により画像データ受信装置708へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置701及び画像データ受信装置708間で設定しておいてもよい。
画像データ符号化データ1が伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部712は、FEC符号データ受信部で受信した誤り訂正符号データを用いて画像符号化データ1を復元する。復元して得た画像符号化データ1を含め、画像符号化データ1と画像符号化データ2ともに受信できた場合については、第1の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第1の実施例と同様で、受信環境が良好である画像データ受信装置708は、画像符号化データ1、2及び誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合、誤り訂正符号化データを、伝送路での誤り、もしくは損失のいくつかのパターンに合わせて生成し、コンテンツ受信装置708が、受信環境に最も適した誤り訂正符号データによって、伝送路で誤った/損失したデータを復元することで、より高い確率で本来のコンテンツの符号化データを得ることもできる。この場合、コンテンツ配信装置701が、コンテンツ受信装置708へ、それぞれの誤り訂正符号化データが適している伝送路状況を通知するか、あるいは誤り訂正符号データを生成するための設定(例えばLDPC方式での検査行列、もしくはこれを生成するための設定情報)を通知するか、あるいはこれをあらかじめコンテンツ配信装置701とコンテンツ受信装置708間で定めておいてもよい。
さらに、誤り訂正符号データを複数とする場合、誤り訂正符号方式が異なっていてもよく、コンテンツ受信装置708の受信環境や、処理能力によって、復号が可能な誤り訂正符号データを選択してもよい。この場合、コンテンツ配信装置701が、コンテンツ受信装置708へ、それぞれの誤り訂正符号種別を通知するか、あるいはこれをあらかじめコンテンツ配信装置701とコンテンツ受信装置708間で定めておいてもよい。
上記以外については、前記第1の実施例と同様である。
なお、本実施例において、伝送路を複数とし、画像符号化データ1及び画像符号化データ2、誤り訂正符号データ、及びこれらの画像符号化に関する情報を、異なった伝送路により伝送する構成としてもよいことは勿論である。
本実施例において、画像符号化データ1及び画像符号化データ2及び誤り訂正符号データを配信するセッションは、ユニキャスト方式で送信するようにしてもよいし、マルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置701における、配信情報送信部702と、セッション情報管理部703と、画像データ蓄積/生成部704と、画像符号化データ1送信部705と、画像符号化データ2送信部706と、FEC符号データ送信部714について、画像データ配信装置701を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置708における、セッション情報受信部709と、画像符号化データ1受信部710及び画像符号化データ2受信部711と、符号化データ再構成部712と、デコーダ713と、FEC符号データ受信部715について、画像データ受信装置708を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第8の実施の形態]
本発明の第8の実施の形態では、画像データ配信装置は、動画像データと、動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック符号化した符号化データと、誤り訂正符号データを、それぞれ異なったセッションで配信する手段と、少なくとも1つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。また画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第8の実施例]
次に本実施の形態の実施例を、本発明の第8の実施例として図面を参照しながら説明する。第8図は、本発明の第8の実施例の構成を示す図である。第8図に示すように、画像データ配信装置801と、画像データ受信装置808と、動画像符号化データ及び誤り訂正符号データを伝送するための伝送路807を備えており、これらは、それぞれ前記第2の実施例の画像データ配信装置201と、画像データ受信装置208と、伝送路207に対応している。また、画像データ配信装置801を構成する各要素802乃至806、画像データ受信装置808を構成する各要素809乃至813は、前記第2の実施例の画像データ配信装置201の各要素202乃至206、画像データ受信装置208の各要素209乃至213にそれぞれ対応している。以下では、第2の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、画像符号化データから生成するものとし、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置801は、配信情報送信部802と、セッション情報管理部803と、画像データ蓄積/生成部804と、画像符号化データ送信部805と、イントラ−マクロブロック(Intra−MB)符号化データ送信部806と、FEC符号データ送信部814を備えている。
画像データ受信装置808は、セッション情報受信部809と、画像符号化データ受信部810、イントラ−マクロブロック(Intra−MB)符号化データ受信部811、符号化データ再構成部812と、デコーダ813と、FEC符号データ受信部815を備えている。
なお、FECの方式については、第7の実施例と同様である。
画像データ配信装置801は、画像データ蓄積/生成部804で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで符号化し生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部803で設定された、セッションごとの伝送路807でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、画像符号化データ送信部805、イントラ−マクロブロック(Intra−MB)符号化データ送信部806及び、FEC符号データ送信部814により、伝送路807経由で送信する。なお、誤り訂正符号については、第7の実施例と同様である。
また、セッション情報管理部803で、符号化データの種別及び、誤り訂正符号データに関する情報を管理し、配信情報送信部802から画像データ受信装置808に通知する。
FEC符号データ送信部814は、画像符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
画像データ受信装置808は、画像データ配信装置801からの符号化データ種別及び、誤り訂正符号データに関する情報を、セッション情報受信部809で受信し、この情報から、伝送路807より受信したデータの種別を知る。
また、セッション情報管理部803は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部802により画像データ受信装置808へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置801及び画像データ受信装置808間で設定しておいてもよい。
画像データ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部812は、FEC符号データ受信部815で受信した誤り訂正符号データを用いて画像符号化データを復元する。復元して得た画像符号化データを含め、画像符号化データとイントラ−マクロブロック符号化データともに受信できた場合については、第2の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第2の実施例と同様で、受信環境が良好である画像データ受信装置808は、画像符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合については、第7の実施例と同様である。
上記以外については、前記第2の実施例と同様である。
なお、本実施例において、伝送路を複数とし、画像符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データ及びこれらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
また、画像符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データを配信するセッションは、少なくとも1つをユニキャスト方式で送信されても、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置801における、配信情報送信部802と、セッション情報管理部803と、画像データ蓄積/生成部804と、画像符号化データ送信部805と、イントラ−マクロブロック符号化データ送信部806と、FEC符号データ送信部814について、画像データ配信装置801を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置808における、セッション情報受信部809と、画像符号化データ受信部810及びイントラ−マクロブロック符号化データ受信部811と、符号化データ再構成部812と、デコーダ813と、FEC符号データ受信部815について、画像データ受信装置808を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第9の実施の形態]
本発明の第9の実施の形態では、画像データ配信装置側は、動画像データのIピクチャ、Pピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はBピクチャのうち、Iピクチャとそれ以外のピクチャとでそれぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも1つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置側は、少なくとも1つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第9の実施例]
本発明の第9の実施例を図面を参照しながら説明する。第9図は、本発明の第9の実施例の構成を示す図である。第9図に示すように、画像データ配信装置901と、画像データ受信装置908と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路907から構成される。これらは、それぞれ前記第3の実施例の画像データ配信装置301と、画像データ受信装置308と、伝送路307に対応している。また、画像データ配信装置901を構成する各要素902乃至906、画像データ受信装置908を構成する909乃至913も、前記第3の実施例の画像データ配信装置301の各要素302乃至306、画像データ受信装置308の各要素309乃至313に対応している。以下では、前記第3の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Iピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置901は、配信情報送信部902と、セッション情報管理部903と、画像データ蓄積/生成部904と、Iピクチャ符号化データ送信部905と、P/Bピクチャ符号化データ送信部906と、FEC符号データ送信部914を備えている。
画像データ受信装置908は、セッション情報受信部909と、Iピクチャ符号化データ受信部910、P/Bピクチャ符号化データ受信部911と、符号化データ再構成部912と、デコーダ913と、FEC符号データ受信部915を備えている。
なお、FECの方式については、第7の実施例と同様である。
画像データ配信装置901は、画像データ蓄積/生成部904で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部903で設定された、セッションごとの伝送路907でのルーティングの優先度情報及び/又は、無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部905及びP/Bピクチャ符号化データ送信部906及びFEC符号データ送信部914により、伝送路907経由で送信する。
また、セッション情報管理部903では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部902から画像データ受信装置908に通知する。
FEC符号データ送信部914は、Iピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
画像データ受信装置908は、画像データ配信装置901からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部909で受信し、この情報から、伝送路907より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
また、セッション情報管理部903は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部902により画像データ受信装置908へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置901及び画像データ受信装置908間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部912は、FEC符号データ受信部915で受信した誤り訂正符号データを用いてIピクチャ符号化データを復元する。復元して得たIピクチャ符号化データを含め、画像データの再構成については、前記第3の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第3の実施例と同様で、受信環境が良好である画像データ受信装置908は、Iピクチャ符号化データ、P/Bピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合については、第7の実施例と同様である。
上記以外については、前記第3の実施例と同様である。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ、P/Bピクチャ符号化データ、誤り訂正符号データ及びこれらに関する情報を、異なった伝送路により伝送する構成としてもよい。
本実施例において、Iピクチャ符号化データ及びP/Bピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置901における、配信情報送信部902と、セッション情報管理部903と、画像データ蓄積/生成部904と、Iピクチャ符号化データ送信部905と、P/Bピクチャ符号化データ送信部906と、FEC符号データ送信部914について、画像データ配信装置901を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置908における、セッション情報受信部909と、Iピクチャ符号化データ受信部910及びP/Bピクチャ符号化データ受信部911と、符号化データ再構成部912と、デコーダ913と、FEC符号データ受信部915について、画像データ受信装置908を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第10の実施の形態]
本発明の第10の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうち、I/Pピクチャとそれ以外のピクチャで、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも1つのセッションで、データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段とを備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを、1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第10の実施例]
本発明の第10の実施例を図面を参照しながら説明する。第10図は、本発明の第10の実施例の構成を示す図である。第10図に示すように、画像データ配信装置1001と、画像データ受信装置1008と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路1007から構成される。これらは、それぞれ前記第4の実施例の画像データ配信装置401と、画像データ受信装置408と、伝送路407に対応している。画像データ配信装置1001を構成する1002乃至1006、画像データ受信装置1008を構成する各要素1009乃至1013も、前記第4の実施例の画像データ配信装置401の各要素402乃至406、画像データ受信装置408の各要素409乃至413にそれぞれ対応している。以下では、主に、前記第4の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、I/Bピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置1001は、配信情報送信部1002と、セッション情報管理部1003と、画像データ蓄積/生成部1004と、I/Pピクチャ符号化データ送信部1005と、Bピクチャ符号化データ送信部1006と、FEC符号データ送信部1014を備えている。
画像データ受信装置1008は、セッション情報受信部1009と、I/Pピクチャ符号化データ受信部1010と、Bピクチャ符号化データ受信部1011と、符号化データ再構成部1012と、デコーダ1013と、FEC符号データ受信部1015を備えている。
なお、FECの方式については、第7の実施例と同様である。
画像データ配信装置1001は、画像データ蓄積/生成部1004で、
・あらかじめ蓄積された画像データ、または、
・リアルタイムで生成された画像データ、または、
・リアルタイムで既存画像を変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部1003で設定された、セッションごとの伝送路1007でのルーティングの優先度情報、及び/又は、無線伝送路の電力制御情報に基づいて、I/Pピクチャ符号化データ送信部1005及びBピクチャ符号化データ送信部1006及び、FEC符号データ送信部1014により、伝送路1007経由で送信する。
また、セッション情報管理部1003では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部1002から画像データ受信装置1008に通知する。
FEC符号データ送信部1014は、I/Pピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
画像データ受信装置1008は、画像データ配信装置1001からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部1009で受信し、この情報から、伝送路1007より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
また、セッション情報管理部1003は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部1002により画像データ受信装置1008へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置1001及び画像データ受信装置1008間で設定しておいてもよい。
I/Pピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部1012は、FEC符号データ受信部1015で受信した誤り訂正符号データを用いてI/Pピクチャ符号化データを復元する。復元して得たI/Pピクチャ符号化データを含め、画像データの再構成については、前記第4の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第4の実施例と同様で、受信環境が良好である画像データ受信装置1008は、I/Pピクチャ符号化データ、Bピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合については、第7の実施例と同様である。
上記以外については、前記第4の実施例と同様である。
なお、本実施例において、伝送路を複数とし、I/Pピクチャ符号化データ、Bピクチャ符号化データ、及び誤り訂正符号データ、これらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
本実施例においても、I/Pピクチャ符号化データ及びBピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また、画像データ配信装置1001における、配信情報送信部1002と、セッション情報管理部1003と、画像データ蓄積/生成部1004と、I/Pピクチャ符号化データ送信部1005と、Bピクチャ符号化データ送信部1006と、FEC符号データ送信部1014について、画像データ配信装置1001を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置1008における、セッション情報受信部1009と、I/Pピクチャ符号化データ受信部1010及びBピクチャ符号化データ受信部1011と、符号化データ再構成部1012と、デコーダ1013と、FEC符号データ受信部1015について、画像データ受信装置1008を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第11の実施の形態]
本発明の第11の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及びBピクチャのうち、Iピクチャ、Pピクチャ、Bピクチャで、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも1つのセッションで、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データを1つの動画像データに再構成して復号化する手段と、を備えている。さらに少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第11の実施例]
次に本発明の第11の実施例を図面を参照しながら説明する。第11図は、本発明の第11の実施例の構成の一例を示している。第11図に示すように、画像データ配信装置1101と、画像データ受信装置1109と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路1108から構成される。これらは、それぞれ前記第5の実施例の画像データ配信装置501と、画像データ受信装置509と、伝送路508に対応している。画像データ配信装置1101を構成する各要素1102乃至1107、画像データ受信装置1109を構成する各要素1110乃至1115も、前記第5の実施例の画像データ配信装置501の各要素502乃至507、画像データ受信装置509の各要素510乃至515に対応している。以下では、前記第5の実施例と異なる部分のみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Iピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置1101は、配信情報送信部1102と、セッション情報管理部1103と、画像データ蓄積/生成部1104と、Iピクチャ符号化データ送信部1105、Pピクチャ符号化データ送信部1106と、Bピクチャ符号化データ送信部1107と、FEC符号データ送信部1116を備えている。
画像データ受信装置1109は、セッション情報受信部1110と、Iピクチャ符号化データ受信部1111、Pピクチャ符号化データ受信部1112、Bピクチャ符号化データ受信部1113、符号化データ再構成部1114と、デコーダ1115と、FEC符号データ受信部1117を備えている。
なお、FECの方式については、第7の実施例と同様である。
画像データ配信装置1101は、画像データ蓄積/生成部1104で、
・あらかじめ蓄積された画像データ、もしくは、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像データを変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部1103で設定された、セッションごとの伝送路1108でのルーティングの優先度情報及び/又は、無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部1105、及びPピクチャ符号化データ送信部1106、及びBピクチャ符号化データ送信部1107、及びFEC符号データ送信部1116により、伝送路1108経由で送信する。
セッション情報管理部1103では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部1102から画像データ受信装置1109に通知する。
FEC符号データ送信部1116は、Iピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
画像データ受信装置1109は、画像データ配信装置1101からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部1110で受信し、この情報から、伝送路1108より受信した画像データのピクチャ種別及び、誤り訂正符号データの対象符号化データ種別を知る。
また、セッション情報管理部1103は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部1102により画像データ受信装置1109へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置1101及び画像データ受信装置1109間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部1114は、FEC符号データ受信部1117で受信した誤り訂正符号データを用いてIピクチャ符号化データを復元する。復元して得たIピクチャ符号化データを含め、画像データの再構成については、前記第5の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第5の実施例と同様で、受信環境が良好である画像データ受信装置1109は、Iピクチャ符号化データ、Pピクチャ符号化データ、Bピクチャ符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合については、第7の実施例と同様である。
上記以外については、前記第5の実施例と同様である。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ、Bピクチャ符号化データ、Pピクチャ符号化データ及び、誤り訂正符号データと、これらのデータに関する情報を、異なった伝送路により伝送する構成としてもよい。
本実施例においても、Iピクチャ符号化データ及びPピクチャ符号化データ及びBピクチャ符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
また画像データ配信装置1101における、配信情報送信部1102と、セッション情報管理部1103と、画像データ蓄積/生成部1104と、Iピクチャ符号化データ送信部1105と、Pピクチャ符号化データ送信部1106、Bピクチャ符号化データ送信部1107と、FEC符号データ送信部1116について、画像データ配信装置1101を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置1109における、セッション情報受信部1110と、Iピクチャ符号化データ受信部1111、Pピクチャ符号化データ受信部1112、Bピクチャ符号化データ受信部1113と、符号化データ再構成部1114と、デコーダ1115と、FEC符号データ受信部1117について、画像データ受信装置1109を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
[発明の第12の実施の形態]
本発明の第12の実施の形態では、画像データ配信装置は、動画像データのIピクチャ、Pピクチャ、及び動画像の符号化に用いた符号化方式に存在する場合はBピクチャ、及び動画像データの当該フレームの少なくとも一部をイントラ−マクロブロック(Intra−MB)符号化した符号化データを、それぞれ異なったセッションで配信する手段と、誤り訂正符号データを配信する手段と、少なくとも1つのセッションで、動画像データを配信するセッションごとに伝送路でのルーティングの優先度制御や、無線伝送路での電力制御を設定する手段と、を備えている。画像データ受信装置は、少なくとも1つのセッションにより配信されたデータを受信する手段と、誤り訂正符号データを受信する手段と、伝送路での誤りや損失によって失われた動画像データを、誤り訂正符号データを用いて復元する手段と、受信した動画像データのうち、画像品質に基づいてデータを選択し、1つの動画像データに再構成して復号化する手段と、を備えている。さらに、少なくとも1つのセッションの受信の有無を、受信データの誤り/損失率、受信装置の利用可能な電力、あらかじめ定められた設定のうちの少なくとも1つに基づき、選択する手段を備えた構成としてもよい。
[第12の実施例]
本発明の第12の実施例を図面を参照しながら説明する。第12図は、本発明の第12の実施例の構成を示している。第12図に示すように、画像データ配信装置1201と、画像データ受信装置1210と、画像符号化データ及び誤り訂正符号データを伝送するための伝送路1209から構成される。これらは、それぞれ前記第6の実施例の画像データ配信装置601と、画像データ受信装置610と、伝送路609に対応している。画像データ配信装置1201を構成する各要素1202乃至1208、画像データ受信装置1210を構成する各要素1211乃至1217も、前記第6の実施例の画像データ配信装置601の各要素602乃至608、画像データ受信装置610の各要素611乃至617にそれぞれ対応している。以下では、前記第6の実施例との相違点についてのみ説明する。なお、本実施例では、説明の簡単のため、誤り訂正符号データは、Iピクチャ符号化データから生成するものとして説明するが、全てのピクチャ符号化データ及び/又は、イントラ−マクロブロック符号データから生成し、それらを異なったセッションにより配信してもよいことは勿論である。また、本実施例では、説明の簡単のため、1つの符号化データから生成する誤り訂正符号データ数を「1」として説明するが、誤り訂正符号データ数が「1」に限定されるものでないことは勿論である。
画像データ配信装置1201は、配信情報送信部1202と、セッション情報管理部1203と、画像データ蓄積/生成部1204と、Iピクチャ符号化データ送信部1205、Pピクチャ符号化データ送信部1206、Bピクチャ符号化データ送信部1207、イントラ‐マクロブロック(Intra‐MB)符号化データ送信部1208、FEC符号データ送信部1218を備えている。
画像データ受信装置1210は、セッション情報受信部1211と、Iピクチャ符号化データ受信部1212、Pピクチャ符号化データ受信部1213、Bピクチャ符号化データ受信部1214、イントラ‐マクロブロック(Intra‐MB)符号化データ受信部1215と、符号化データ再構成部1216と、デコーダ1217と、FEC符号データ受信部1219を備えている。
なお、FECの方式については、第7の実施例と同様である。
画像データ配信装置1201は、画像データ蓄積/生成部1204で、
・あらかじめ蓄積された画像データ、
・リアルタイムで生成された画像データ、もしくは、
・リアルタイムで既存画像を変換し生成された画像データ、
と、上記のいずれかによる画像符号化データから生成された誤り訂正符号データを、セッション情報管理部1203で設定された、セッションごとの伝送路1209でのルーティングの優先度情報及び/又は無線伝送路の電力制御情報に基づいて、Iピクチャ符号化データ送信部1205、Pピクチャ符号化データ送信部1206、Bピクチャ符号化データ送信部1207、Intra−MB符号化データ送信部1208及び、FEC符号データ送信部1218により、伝送路1209経由で送信する。
セッション情報管理部1203では、各セッションから配信するピクチャ情報及び、誤り訂正符号データを管理し、配信情報送信部1202から画像データ受信装置1210に通知する。
FEC符号データ送信部1218は、Iピクチャ符号化データのどの部分の誤り訂正符号データであるかわかるように、RTPに相当する情報(例えばRTPヘッダのシーケンス番号)を付加する機能を有する。またさらに、誤り訂正符号データであることを示す、ペイロードタイプ、及び/又は、SSRC、及び/又は、CSRCを付与してもよい。
画像データ受信装置1210は、画像データ配信装置1201からの画像符号化及び、誤り訂正符号データに関する情報を、セッション情報受信部1211で受信し、この情報から、伝送路1209より受信した画像データのピクチャ、ブロック種別及び、誤り訂正符号データの対象符号化データ種別を知る。
また、セッション情報管理部1203は、
・符号化データの符号化設定、
・誤り定性符号種別、
・誤り訂正符号設定(例えばLDPC符号での検査行列データ、もしくはこれを生成するための設定)、
・符号化オプション(使用ツール)、
・符号化データのペイロード・オプション、
・符号化データ及び誤り訂正符号を識別するRTPヘッダのペイロードタイプに相当する情報、
・SSRC、CSRCに相当する情報、
の少なくとも1つを設定し、配信情報送信部1202により画像データ受信装置1210へ通知してもよく、また、これらの情報を、あらかじめ画像データ配信装置1201及び画像データ受信装置1210間で設定しておいてもよい。
Iピクチャ符号化データが伝送路での誤り、もしくは損失により受信できなかった場合、符号化データ再構成部1216は、FEC符号データ受信部1219で受信した誤り訂正符号データを用いてIピクチャ符号化データを復元する。復元して得たIピクチャ符号化データを含め、画像データの再構成については、前記第6の実施例と同様である。
受信環境により、配信される画像品質が最適化される仕組みも、第6の実施例と同様で、受信環境が良好である画像データ受信装置1210は、Iピクチャ符号化データ、Pピクチャ符号化データ、Bピクチャ符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを受信することができ、より高品質で安定した動画像データを再生することができる。また、これらを配信するセッションごとに伝送路でのルーティングの優先度や、無線伝送路での送信電力を制御することができるため、ネットワークリソースを考慮した配信を行うことができる。
また、誤り訂正符号データを複数とする場合については、第7の実施例と同様である。
上記以外については、前記第6の実施例と同様である。
なお、本実施例において、伝送路を複数とし、Iピクチャ符号化データ、Bピクチャ符号化データ、Pピクチャ符号化データ、イントラ−マクロブロック符号化データ、誤り訂正符号データ、及びこれらのデータに関する情報が、異なった伝送路を介して伝送される構成としてもよいことは勿論である。
本実施例において、Iピクチャ符号化データ及び、Pピクチャ符号化データ及び、Bピクチャ符号化データ、イントラ−マクロブロック符号化データ及び、誤り訂正符号データを配信するセッションは、少なくとも1つをユニキャスト方式で送信するようにしてもよいし、少なくとも1つをマルチキャスト、もしくはブロードキャスト方式で送信するようにしてもよい。
なお、画像データ配信装置1201における、配信情報送信部1202と、セッション情報管理部1203と、画像データ蓄積/生成部1204と、Iピクチャ符号化データ送信部1205と、Pピクチャ符号化データ送信部1206、Bピクチャ符号化データ送信部1207、イントラ−マクロブロック符号化データ送信部1208、FEC符号データ送信部1218について、画像データ配信装置1201を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。画像データ受信装置1210における、セッション情報受信部1211と、Iピクチャ符号化データ受信部1212、Pピクチャ符号化データ受信部1213、Bピクチャ符号化データ受信部1214、イントラ−マクロブロック符号化データ受信部1215と、符号化データ再構成部1216と、デコーダ1217と、FEC符号データ受信部1219について、画像データ受信装置1210を構成するコンピュータで実行されるプログラム制御によりそれぞれの機能・処理を実現するようにしてもよいことは勿論である。
以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
101、201、301、401、501、601 画像データ配信装置
102、202、302、402、502、602 配信情報送信部
103、203、303、403、503、603 セッション情報管理部
104、204、304、404、504、604 画像データ蓄積/生成部
105 画像符号化データ1送信部
106 画像符号化データ2送信部
107、207、307、407、508、609 伝送路
108、208、308、408、509、610 画像データ受信装置
109、209、309、409、510、611 セッション情報受信部
110 画像符号化データ1受信部
111 画像符号化データ2受信部
112、212、312、412、514、616 符号化データ再構成部
113、213、313、413、515、617 デコーダ
205 画像符号化データ送信部
206 イントラ−マクロブロック符号化データ送信部
210 画像符号化データ受信部
211 イントラ−マクロブロック符号化データ受信部
305 Iピクチャ符号化データ送信部
306 P/Bピクチャ符号化データ送信部
310 Iピクチャ符号化データ受信部
311 P/Bピクチャ符号化データ受信部
405 I/Pピクチャ符号化データ送信部
406 Bピクチャ符号化データ送信部
410 I/Pピクチャ符号化データ受信部
411 Bピクチャ符号化データ受信部
505、605 Iピクチャ符号化データ送信部
506、606 Pピクチャ符号化データ送信部
507、607 Bピクチャ符号化データ送信部
511、612 Iピクチャ符号化データ受信部
512、613 Pピクチャ符号化データ受信部
513、614 Bピクチャ符号化データ受信部
608 イントラ−マクロブロック符号化データ送信部
615 イントラ−マクロブロック符号化データ受信部
701、801、901、1001、1101、1201 画像データ配信装置
702、802、902、1002、1102、1202 配信情報送信部
703、803、903、1003、1103、1203 セッション情報管理部
704、804、904、1004、1104、1204 画像データ蓄積/生成部
705 画像符号化データ1送信部
706 画像符号化データ2送信部
707、807、907、1007、1108、1209 伝送路
708、808、908、1008、1109、1210 画像データ受信装置
709、809、909、1009、1110、1211 セッション情報受信部
710 画像符号化データ1受信部
711 画像符号化データ2受信部
712、812、912、1012、1114、1216 符号化データ再構成部
713、813、913、1013、1115、1217 デコーダ
714、814、914、1014、1116、1218 FEC符号データ送信部
715、815、915、1015、1117、1219 FEC符号データ受信部
805 画像符号化データ送信部
806 イントラ−マクロブロック符号化データ送信部
810 画像符号化データ受信部
811 イントラ−マクロブロック符号化データ受信部
905 Iピクチャ符号化データ送信部
906 P/Bピクチャ符号化データ送信部
910 Iピクチャ符号化データ受信部
911 P/Bピクチャ符号化データ受信部
1005 I/Pピクチャ符号化データ送信部
1006 Bピクチャ符号化データ送信部
1010 I/Pピクチャ符号化データ受信部
1011 Bピクチャ符号化データ受信部
1105、1205 Iピクチャ符号化データ送信部
1106、1206 Pピクチャ符号化データ送信部
1107、1207 Bピクチャ符号化データ送信部
1111、1212 Iピクチャ符号化データ受信部
1112、1213 Pピクチャ符号化データ受信部
1113、1214 Bピクチャ符号化データ受信部
1208 イントラ−マクロブロック符号化データ送信部
1215 イントラ−マクロブロック符号化データ受信部

Claims (16)

  1. 画像符号化データを配信する配信手段を備え、前記配信手段が、前記画像符号化データが配信されるセッションとは異なるセッションで誤り訂正符号データを配信することを特徴とする画像データ配信装置。
  2. 前記配信手段が前記画像符号化データと前記誤り訂正符号データとを識別する情報を配信することを特徴とする請求項1記載の画像データ配信装置。
  3. 前記配信手段が前記誤り訂正符号の種別の設定に用いられる情報を配信することを特徴とする請求項1又は2記載の画像データ配信装置。
  4. 前記配信手段が符号化データの使用ツール、ペイロード・オプション、ペイロードタイプ、送信者識別情報、の少なくとも1つを配信することを特徴とする請求項1〜3のいずれか記載の画像データ配信装置。
  5. 画像符号化データを受信する受信装置を備え、前記受信装置が、前記画像符号化データとは異なるセッションで誤り訂正符号データを受信することを特徴とする画像データ受信装置。
  6. 前記受信装置が前記画像符号化データと前記誤り訂正符号データとを識別する情報を受信することを特徴とする請求項5記載の画像データ受信装置。
  7. 前記受信装置が前記誤り訂正符号の識別の設定に用いられる情報を受信することを特徴とする請求項5又は6記載の画像データ受信装置。
  8. 前記受信装置が符号化データの使用ツール、ペイロード・オプション、ペイロードタイプ、送信者識別情報、の少なくとも1つを受信することを特徴とする請求項5〜7のいずれか記載の画像データ受信装置。
  9. 画像符号化データを配信する配信手段を備えること、及び、
    前記配信手段が、前記画像符号化データが配信されるセッションとは異なるセッションで誤り訂正符号データを配信することを特徴とする画像データ配信方法。
  10. 前記配信手段が前記画像符号化データと前記誤り訂正符号データとを識別する情報を配信することを特徴とする請求項9記載の画像データ配信方法。
  11. 前記配信手段が前記誤り訂正符号の種別の設定に用いられる情報を配信することを特徴とする請求項9又は10記載の画像データ配信方法。
  12. 前記配信手段が符号化データの使用ツール、ペイロード・オプション、ペイロードタイプ、送信者識別情報、の少なくとも1つを配信することを特徴とする請求項9〜11のいずれか記載の画像データ配信方法。
  13. 画像符号化データを受信する受信装置を備え、前記受信装置が、前記画像符号化データとは異なるセッションで誤り訂正符号データを受信することを特徴とする画像データ受信方法。
  14. 前記受信装置が前記画像符号化データと前記誤り訂正符号データとを識別する情報を受信することを特徴とする請求項13記載の画像データ受信方法。
  15. 前記受信装置が前記誤り訂正符号の識別の設定に用いられる情報を受信することを特徴とする請求項12又は13記載の画像データ受信方法。
  16. 前記受信装置が符号化データの使用ツール、ペイロード・オプション、ペイロードタイプ、送信者識別情報、の少なくとも1つを受信することを特徴とする請求項12〜14のいずれか記載の画像データ受信方法。
JP2010188082A 2003-02-21 2010-08-25 画像データ配信制御方法及び装置とシステムならびにプログラム Expired - Lifetime JP5533435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010188082A JP5533435B2 (ja) 2003-02-21 2010-08-25 画像データ配信制御方法及び装置とシステムならびにプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2003044237 2003-02-21
JP2003044237 2003-02-21
JP2003387993 2003-11-18
JP2003387993 2003-11-18
JP2010188082A JP5533435B2 (ja) 2003-02-21 2010-08-25 画像データ配信制御方法及び装置とシステムならびにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005502692A Division JPWO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム

Publications (2)

Publication Number Publication Date
JP2011010356A true JP2011010356A (ja) 2011-01-13
JP5533435B2 JP5533435B2 (ja) 2014-06-25

Family

ID=32911428

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005502692A Pending JPWO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム
JP2010188082A Expired - Lifetime JP5533435B2 (ja) 2003-02-21 2010-08-25 画像データ配信制御方法及び装置とシステムならびにプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005502692A Pending JPWO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム

Country Status (6)

Country Link
US (1) US20060285149A1 (ja)
EP (2) EP1599044A4 (ja)
JP (2) JPWO2004075548A1 (ja)
KR (2) KR100977646B1 (ja)
CN (1) CN1754385B (ja)
WO (1) WO2004075548A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015520546A (ja) * 2012-04-19 2015-07-16 中興通訊股▲ふん▼有限公司Ztecorporation マルチメディアビデオデータの送信、受信方法及び対応装置
JP2019071593A (ja) * 2017-10-11 2019-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、通信システム、通信方法、及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006038054A1 (en) * 2004-10-06 2006-04-13 Nokia Corporation Packet transmission using error correction of data packets
US8351363B2 (en) * 2005-04-08 2013-01-08 Qualcomm Incorporated Method and apparatus for enhanced file distribution in multicast or broadcast
US9128202B2 (en) * 2008-04-22 2015-09-08 Srd Innovations Inc. Wireless data acquisition network and operating methods
US8217803B2 (en) * 2008-04-22 2012-07-10 Srd Innovations Inc. Wireless data acquisition network and operating methods
JP4626701B2 (ja) * 2008-10-21 2011-02-09 ソニー株式会社 表示装置
EP2200220A1 (en) * 2008-12-22 2010-06-23 Thomson Licensing Method and apparatus for reliable multicast streaming
CA2728007A1 (en) * 2010-01-13 2011-07-13 Srd Innovations Inc. Link sensitive aodv for wireless data transfer
US8949318B2 (en) * 2011-06-16 2015-02-03 Kodak Alaris Inc. Digital image communication
US20130182643A1 (en) * 2012-01-16 2013-07-18 Qualcomm Incorporated Method and system for transitions of broadcast dash service receptions between unicast and broadcast
US9860296B2 (en) * 2012-03-23 2018-01-02 Avaya Inc. System and method for end-to-end call quality indication
US9356917B2 (en) 2012-03-23 2016-05-31 Avaya Inc. System and method for end-to-end encryption and security indication at an endpoint
US9178778B2 (en) 2012-03-23 2015-11-03 Avaya Inc. System and method for end-to-end RTCP
JP5979949B2 (ja) * 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
JP5979948B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
WO2016080233A1 (ja) * 2014-11-17 2016-05-26 ソニー株式会社 送信装置、ハイダイナミックレンジ画像データ送信方法、受信装置、ハイダイナミックレンジ画像データ受信方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1070715A (ja) * 1996-08-27 1998-03-10 Matsushita Electric Ind Co Ltd ディジタル映像通信システム
JPH11127138A (ja) * 1997-10-24 1999-05-11 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
JPH11177628A (ja) * 1997-12-15 1999-07-02 Mitsubishi Electric Corp 広域環境用3次元仮想空間共有システム
JP2000295608A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体
JP2002077912A (ja) * 2000-08-29 2002-03-15 Brother Ind Ltd 画像符号化装置
JP2002353964A (ja) * 2001-05-30 2002-12-06 Sony Corp コンテンツ提供装置及びコンテンツ提供方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635095T2 (de) * 1995-05-23 2006-05-18 Koninklijke Philips Electronics N.V. Redundantes Datenübertragungssystem mit mindestens zwei Kanälen
JPH0923214A (ja) * 1995-07-05 1997-01-21 Hitachi Ltd ディジタル信号送受信装置
JPH1023380A (ja) * 1996-06-28 1998-01-23 Canon Inc 画像通信システム、画像通信装置、画像通信方法および媒体
JPH10224746A (ja) 1997-02-05 1998-08-21 Kokusai Electric Co Ltd 画像伝送システム
JPH10294941A (ja) 1997-04-22 1998-11-04 Canon Inc 画像伝送システム、画像伝送装置、画像送信装置及び画像受信装置
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
JPH11187367A (ja) 1997-12-19 1999-07-09 Nec Corp 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
JPH11196072A (ja) * 1997-12-30 1999-07-21 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
CN1160958C (zh) * 2000-01-08 2004-08-04 四川长虹电器股份有限公司 数字hdtv接收装置
JP3662473B2 (ja) * 2000-05-12 2005-06-22 株式会社エヌ・ティ・ティ・ドコモ マルチキャストサービス提供方法及び情報配信装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP3461157B2 (ja) * 2000-05-29 2003-10-27 松下電器産業株式会社 マルチキャリア通信装置およびマルチキャリア通信方法
US7003794B2 (en) * 2000-06-27 2006-02-21 Bamboo Mediacasting, Inc. Multicasting transmission of multimedia information
JP4341161B2 (ja) * 2000-09-12 2009-10-07 ソニー株式会社 情報提供方法、情報提供装置及び情報記録媒体
US7072971B2 (en) * 2000-11-13 2006-07-04 Digital Foundation, Inc. Scheduling of multiple files for serving on a server
EP1217841A2 (en) * 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
US20020073136A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Data reproduction method, data receiving terminal and data receiving method
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
JP2002251494A (ja) * 2000-12-20 2002-09-06 Victor Co Of Japan Ltd デジタルコンテンツデータ配信システム
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1241821A1 (fr) * 2001-03-13 2002-09-18 Koninklijke Philips Electronics N.V. Procédé de protection de paquets de données contre des erreurs
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7020823B2 (en) * 2002-03-19 2006-03-28 Matsushita Electric Industrial Co., Ltd. Error resilient coding, storage, and transmission of digital multimedia data
KR100952185B1 (ko) * 2002-12-19 2010-04-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법
FR2852179A1 (fr) * 2003-03-06 2004-09-10 Thomson Licensing Sa Procede de codage d'une image video
KR101191181B1 (ko) * 2005-09-27 2012-10-15 엘지전자 주식회사 디지털 방송의 송/수신 시스템 및 데이터 구조

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1070715A (ja) * 1996-08-27 1998-03-10 Matsushita Electric Ind Co Ltd ディジタル映像通信システム
JPH11127138A (ja) * 1997-10-24 1999-05-11 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
JPH11177628A (ja) * 1997-12-15 1999-07-02 Mitsubishi Electric Corp 広域環境用3次元仮想空間共有システム
JP2000295608A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体
JP2002077912A (ja) * 2000-08-29 2002-03-15 Brother Ind Ltd 画像符号化装置
JP2002353964A (ja) * 2001-05-30 2002-12-06 Sony Corp コンテンツ提供装置及びコンテンツ提供方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
相原玲二 他: "HDTV MPEG2 over IPv6システムの開発", 情報処理学会研究報告, vol. 2002, no. 93, JPN6013030769, 10 October 2002 (2002-10-10), JP, pages 7 - 12, ISSN: 0002565681 *
近堂徹 他: "MPEG2 over IP伝送システムmpeg2tsの開発と性能評価", マルチメディア,分散,協調とモバイル(DICOMO)シンポジウム論文集, vol. 2002, no. 9, JPN6013030770, 3 July 2002 (2002-07-03), JP, pages 157 - 160, ISSN: 0002565682 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015520546A (ja) * 2012-04-19 2015-07-16 中興通訊股▲ふん▼有限公司Ztecorporation マルチメディアビデオデータの送信、受信方法及び対応装置
JP2019071593A (ja) * 2017-10-11 2019-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、通信システム、通信方法、及びプログラム

Also Published As

Publication number Publication date
KR20050103232A (ko) 2005-10-27
CN1754385B (zh) 2010-07-21
EP1599044A1 (en) 2005-11-23
KR20080024544A (ko) 2008-03-18
US20060285149A1 (en) 2006-12-21
JPWO2004075548A1 (ja) 2006-06-01
KR100949402B1 (ko) 2010-03-24
KR100977646B1 (ko) 2010-08-24
JP5533435B2 (ja) 2014-06-25
EP2538695A1 (en) 2012-12-26
WO2004075548A1 (ja) 2004-09-02
EP1599044A4 (en) 2010-05-12
CN1754385A (zh) 2006-03-29

Similar Documents

Publication Publication Date Title
JP5533435B2 (ja) 画像データ配信制御方法及び装置とシステムならびにプログラム
JP6145127B2 (ja) ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
US9215498B2 (en) Video data transmission processing method, video data sending processing method, apparatus, network system
JP4475235B2 (ja) コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
JP4659838B2 (ja) 一連のフレームを予測的にコード化する装置
US7627184B2 (en) Content distribution/reception device, content transmission/reception method, and content distribution/reception program
JP2006503516A (ja) Ipネットワークでfgs符号化映像をストリーミングするための誤り回復を備えるシステム及び方法
JPWO2004071089A1 (ja) 画像データ配信制御方法及び装置とシステムならびにプログラム
US8548030B2 (en) Relay apparatus
JP4596164B2 (ja) 画像データ通信システムおよび画像データ通信方法
Chen et al. A qoe-based app layer scheduling scheme for scalable video transmissions over multi-rat systems?
US8707141B1 (en) Joint optimization of packetization and error correction for video communication
Noh et al. Robust mobile video streaming in a peer-to-peer system
Panahi et al. A novel schema for multipath video transferring over ad hoc networks
JP2012195973A (ja) 中継装置
Siruvuri et al. Adaptive error resilience for video streaming
Saadawi et al. A transport level unequal error protection mechanism for wireless interactive video
Huang et al. A novel unbalanced multiple description coder for robust video transmission over ad hoc wireless networks
Park et al. Effective Relay Communication for Scalable Video Transmission
Panahi Multipath Local Error Management Technique Over Ad Hoc Networks

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5533435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term