CN1754385B - 图像数据分发装置、方法及图像数据接收方法 - Google Patents

图像数据分发装置、方法及图像数据接收方法 Download PDF

Info

Publication number
CN1754385B
CN1754385B CN2004800048683A CN200480004868A CN1754385B CN 1754385 B CN1754385 B CN 1754385B CN 2004800048683 A CN2004800048683 A CN 2004800048683A CN 200480004868 A CN200480004868 A CN 200480004868A CN 1754385 B CN1754385 B CN 1754385B
Authority
CN
China
Prior art keywords
data
image
coding
coded data
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN2004800048683A
Other languages
English (en)
Other versions
CN1754385A (zh
Inventor
出井洋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co ltd
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1754385A publication Critical patent/CN1754385A/zh
Application granted granted Critical
Publication of CN1754385B publication Critical patent/CN1754385B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/02Arrangements for detecting or preventing errors in the information received by diversity reception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

图像数据分发装置(101)包括图像编码数据1发送部(105)、图像编码数据2发送部(106)、会话管理部(103),其将同一图像的多个图像编码数据分发在不同的会话中,或是将图像帧或图像块的类型不同的图像数据分发在不同的会话中,并在此时对每个会话进行传送通路中的路由的优先级控制,或者如果是无线传送通路的话就进行功率控制。图像数据接收装置(108)包括图像编码数据1接收部(110)、图像编码数据2接收部(111)、会话信息接收部(109)、重构编码数据的编码数据重构部(112)、解码器(113),其在从一个以上会话正常接收的图像编码数据中基于图像品质选择编码数据并进行解码。

Description

图像数据分发装置、方法及图像数据接收方法
技术领域
本发明涉及分发已编码的图像数据的方法、装置及系统,以及由分别构成图像数据的分发装置和接收装置的计算机执行的计算机程序,特别是,涉及适于根据接收装置中运动图像数据等的接收环境能够进行高图像品质的再现的方法、装置、系统以及计算机程序。
背景技术
近年来,作为高效传送运动图像数据的方法,多采用传送通过基于帧间预测的高效压缩而得的编码数据的方法。在这些方式中,对从时间上相邻的帧中预测编码图像而得的预测参数和预测残差图像数据进行编码,从而削减在时间方向上相关度高的运动图像数据的信息量。而且,通过对预测残差图像数据进行编码转换或量化来高效率地进行压缩编码,能够实现窄传送带宽内的运动图像数据传送。
作为其代表例,有利用MPEG(Moving Picture Experts Group;运动图像专家组)-1、MPEG-2、MPEG-4等压缩编码方式的方法。在这些压缩编码方式中,对输入图像帧以称为宏块的恒定大小的矩形区域单位进行基于运动补偿的帧间预测,并对所得的运动矢量和预测残差图像数据实施二维离散余弦变换及量化来进行压缩,然后对压缩的信号数据进行可变长度编码。
将这样的运动图像压缩编码信息分发到利用分组交换方式的IP(Internet Protocol;互联网协议)网络上的方法有很多,还可以考虑向利用无线传送通路的运动图像的分发进行展开。
在运动图像的分发中,当由于互联网的流量状况而发生了分组损失时,或是发生了无线传送通路中的无线错误或损失时,一般的方法是进行所损失数据的再发送请求。
此外,在无线传送通路上的通信中,根据各个接收方的无线接收环境来进行接收发送功率控制等,从而确保数据的通信品质,并使接收数据稳定。
另外,作为传送不同图像品质的图像信息的方法,公知有如下系统,即:适当切换数据传送率低的低图像品质成分的图像信息的传送和数据传送率高的高图像品质成分的图像信息的传送,从而在不恶化图像品质的情况下提高传送效率(例如专利文献1)。此外,作为在发送侧具有不同传送率的多个影像数据的装置,还公知有如下装置,即:在影像发送装置中准备具有多个影像传送率的影像数据(1)~(3),并由影像接收装置向影像发送装置发送传送率切换请求信号,以切换影像数据(1)~(3),由此来防止影像停止,并发送高图像品质的影像数据(例如专利文献2)。此外,作为选择接收数据来重构并解码的装置,还公知有如下结构,即:由接收侧装置内的重构单元从接收的有关图像帧的同一部分的多个块数据(从发送侧装置发送有关图像帧中同一部分的多个块数据)中选择正常的块数据,并重构成该图像帧,并且具有对重构的图像帧进行解码的图像解码单元(例如专利文献3)。另外,关于后述的RTP报头信息等参照下述非专利文献1等。
专利文献1:日本专利文献特开平10-294941号公报(第5-6页、图1);
专利文献2:日本专利文献特开平11-187367号公报(第3-4页、图1);
专利文献3:日本专利文献特开平10-224746号公报(第4-6页、图1);
非专利文献1:
Schulzrinne,H.,Casner,S.,Frederick,R.,and V.Jacobson,“RTP:ATransport Protocol for Real-Time Applications”,RFC 1889,January 1996、5.1RTP Fixed Header Fields.互联网<可从URL//www.ietf.org/tfc.html获得ftp://ftp.rfc-editor.org/in-notes/rfc1889.txt>。
发明内容
然而,在发生分组损失时通过请求再发送来不足数据损失的传统的方法中,再发送请求和再发送的数据最终进一步增大了互联网流量。因此,当由于流量的集中而导致分组损失时,无法从本质上解决。此外,按每个接收方进行的无线传送通路中的功率控制需要进行复杂的处理。
此外,即使采用再发送控制或按每个接收方进行的无线传送通路中的功率控制的方法,发送分组的损失有时也会发生。作为接收侧对分组损失的对策,有这样的错误隐藏方法,即:从正确解码的时间上相邻的帧的图像或同一帧内的周围的图像数据生成尽量不凸现错误的图像数据。然而,即使通过该错误隐藏方法也不能消除解码图像的错乱。而且由于使用了帧间预测,所以存在如下问题,即:一旦产生图像的错乱,还会传播到后续的帧中。
因此,本发明是考虑上述的情况而完成的,其第一目的在于,提供一种方法、装置、系统以及程序,从而在运动图像的分发中能够将流量的增加抑制得较小,并根据接收方的接收环境,可使分发图像品质达到最佳。
此外,本发明的第二目的在于,为了提高图像分发方式的可靠性,提供一种方法、装置、系统以及程序,在该方法、装置、系统以及程序中,接收来自至少一个以上会话的图像数据,并根据图像品质选择数据以进行解码,从而能够抑制发生分组损失时的图像错乱。
此外,本发明的另一目的在于,提供一种由于达到上述第一、第二目的,从而能够将接收发送双方上增加的处理量抑制得较少的方法、装置、系统以及程序。
此外,本发明的再一目的在于,提供一种不用将来自接收方的反馈信息发送给发送方就可达到上述第一、第二目的的方法、装置、系统以及程序。
此外,本发明的又一目的在于,提供一种在达到上述第一、第二目的的同时,能够抑制接收装置一侧所需的功率消耗的增加的方法、装置、系统以及计算机程序。
达到至少一个上述目的的本发明一个方面的装置包括:当分发同一图像的多个图像编码数据时,基于图像品质来选择用于分发图像编码数据的会话的单元;以及用选中的会话分发图像编码数据的单元。在本发明中还可以是,此时通过设置时间差来分发同一图像的多个图像编码数据的结构。
在本发明中也可以是如下的结构,其中包括:在分发同一图像的多个图像编码数据时,基于图像品质选择要分发的会话的单元;以及对每个根据图像的品质而选择的会话,进行传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的单元。
本发明的其他方面的装置包括:在分发图像编码数据时,基于图像帧和/或图像块的类型来选择分发的会话的单元;以及用选中的会话分发图像编码数据的单元。
在本发明中也可以是如下的结构,其中包括:在分发图像编码数据时,基于图像帧和/或图像块的类型来选择要分发的会话的单元;以及对每个根据图像的品质而选择的会话,进行传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的单元。
本发明的其他方面的装置包括:在分发图像编码数据时,选择用于分发图像编码数据的多个会话的单元;以及用选中的会话分发图像编码数据的单元。
在本发明中还可以如下的结构,其中包括:选择用于分发图像编码数据的会话的单元;以及对每个根据图像的品质而选择的会话,进行传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的单元。
在本发明中,所述同一图像的多个图像编码数据的编码方式和帧结构相同,其各个发送单位是分别将同一帧的同一部分编码所得的数据。
本发明的其他方面的装置包括:接收从图像数据分发装置分发的至少一个运动图像编码数据的单元;基于图像品质从正常接收的编码数据中选择数据的单元;以及对所选择的数据进行解码的单元。
本发明的其他方面的装置包括:接收从图像数据分发装置分发的至少一个运动图像编码数据的单元;基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否的单元;基于图像品质,从正常接收的编码数据中选择数据的单元;以及对所选择的数据进行解码的单元。
本发明的其他方面的方法是从图像数据分发装置向图像数据接收装置分发图像数据的控制方法,其中包括:
所述图像数据分发装置在分发同一图像的多个图像编码数据时,基于图像品质来选择要分发的会话的步骤;和
用选中的会话分发图像编码数据的步骤。
本发明的其他方面的方法包括:
所述图像数据分发装置在分发同一图像的多个图像编码数据时,基于图像品质来选择要分发的会话的步骤;和
所述图像数据分发装置对每个根据图像的品质而选择的会话,进行传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的步骤。
本发明的其他方面的方法是从图像数据分发装置向图像数据接收装置分发图像数据的控制方法,其中包括:
所述图像数据分发装置在分发图像编码数据时,基于图像帧和/或图像块的类型来选择要分发的会话的步骤;和
用选中的会话分发图像编码数据的步骤。
本发明的其他方面的方法包括:
所述图像数据分发装置在分发图像编码数据时,基于图像帧和/或图像块的类型来选择要分发的会话的步骤;和
对每个根据图像的品质而选择的会话,进行传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的步骤。
本发明的其他方面的方法包括:
所述图像数据接收装置接收从所述图像数据分发装置分发的至少一个运动图像编码数据的步骤;
所述图像数据接收装置基于图像品质从正常接收的编码数据中选择数据的步骤;和
所述图像数据接收装置对所选择的数据进行解码的步骤。
本发明的其他方面的方法包括:
所述图像数据接收装置接收从所述图像数据分发装置分发的至少一个运动图像编码数据的步骤;
所述图像数据接收装置基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否的步骤;
所述图像数据接收装置基于图像品质,从正常接收的编码数据中选择数据的步骤;和
对所选择的数据进行解码的步骤。
在本发明的系统中,图像数据分发装置包括:将同一图像的多个运动图像数据分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元;所述图像数据接收装置包括:接收通过至少一个会话分发的数据的单元;基于图像品质从所接收的运动图像数据中选择数据,并重构成一个运动图像数据的单元;以及对重构的数据进行解码的单元。
在本发明的系统中,图像数据分发装置包括:将同一图像的多个运动图像数据分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元;所述图像数据接收装置包括:接收通过至少一个会话分发的数据的单元;基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否的单元;基于图像品质从所接收的运动图像数据中选择数据,并重构成一个运动图像数据的单元;以及对重构的数据进行解码的单元。
在本发明的系统中,所述图像数据分发装置包括:将运动图像数据和对运动图像数据的有关帧的至少一部分进行了帧内宏块编码所得的编码数据分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制、和/或无线传送通路中的功率控制的单元。
在本发明的系统中,所述图像数据分发装置包括:在运动图像数据的I图片(Intra-picture)、P(Predictive)图片、以及用于运动图像编码的编码方式中存在B图片时的所述B(Bidirectionally-predictive)图片中,将I图片和其以外的图片分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元;所述图像数据接收装置包括:接收通过至少一个会话分发的数据的单元;从所接收的运动图像数据重构为一个运动图像数据的单元;以及对重构的数据进行解码的单元。
在本发明的系统中,所述图像数据分发装置包括:在运动图像数据的I图片、P图片、以及B图片中,将I/P图片和其以外的图片分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元。
在本发明的系统中,所述图像数据分发装置包括:在运动图像数据的I图片、P图片、以及B图片中,将I图片、P图片、以及B图片分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元。
在本发明的系统中,所述图像数据分发装置包括:将运动图像数据的I图片、P图片、用于运动图像编码的编码方式中存在B图片时的所述B图片、以及对运动图像数据的有关帧的至少一部分进行帧内宏块(Intra-MB)编码所得的编码数据分发在分别不同的会话中的单元;以及为每个分发运动图像数据的会话,设定传送通路中的路由的优先级控制或无线传送通路中的功率控制的单元。
根据本发明,在运动图像的分发中,能够将网络流量的增加抑制得较小,并同时能够根据接收方的接收环境来使分发图像最佳化。
此外,根据本发明,可实现耐于传送通路上的数据错误、遗漏的分发,从而可提高运动图像分发的可靠性。
此外,根据本发明,由于获得上述两个效果,所以能够将接收方和发送方双方所需的处理量的增加抑制得较小。
根据本发明,不从接收方向发送方发送反馈信息,就能够获得上述两个效果。
根据本发明,由于获得上述两个效果,所以可将接收装置上所需的消耗功率的增大抑制得较小。
附图说明
图1是本发明第一实施方式的构成例的示意图;
图2是本发明第二实施方式的构成例的示意图;
图3是本发明第三实施方式的构成例的示意图;
图4是本发明第四实施方式的构成例的示意图;
图5是本发明第五实施方式的构成例的示意图;
图6是本发明第六实施方式的构成例的示意图;
图7是本发明第七实施方式的构成例的示意图;
图8是本发明第八实施方式的构成例的示意图;
图9是本发明第九实施方式的构成例的示意图;
图10是本发明第十实施方式的构成例的示意图;
图11是本发明第十一实施方式的构成例的示意图;
图12是本发明第十二实施方式的构成例的示意图。
具体实施方式
下面说明用于实施本发明的最佳方式和实施例。
在本发明的第一实施方式中,图像数据分发装置包括:在分别不同的会话中分发同一图像的多个运动图像数据(例如,不同图像品质的运动图像数据)的单元;以及,为每个分发运动图像数据的会话设定在传送通路中的路由(routing)的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;以及,基于图像品质从接收的运动图像数据中选择数据,并将所述数据重构为一个运动图像数据来进行解码的单元。
此外,在本发明的第一实施方式中,图像数据接收装置也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第一实施例。图1示出了本发明第一实施例的构成。如图1所示,具有分发图像编码数据的图像数据分发装置101、图像数据接收装置108、以及用于传送图像编码数据的传送通路107。在本实施例中,图像数据分发装置101与作为IP(Internet Protocol;互联网协议)网的传送通路107连接,并利用UDP(User DatagramProtocol;用户数据报协议)/IP分发图像编码数据,图像数据接收装置108是与IP网连接的客户终端。另外,在本实施例中,为了简化说明,将分发的图像数据的个数设为“2”来进行说明,但很显然本发明中分发的图像数据的个数不限于2。
图像数据分发装置101包括分发信息发送部102、会话信息管理部103、图像数据存储/生成部104、图像编码数据1发送部105、图像编码数据2发送部106。
图像数据接收装置108包括会话信息接收部109、图像编码数据1接收部110、图像编码数据2接收部111、编码数据重构部112、以及解码器113。以下依次说明图像数据分发装置101、图像数据接收装置108的操作。
在图像数据分发装置101中,图像数据存储/生成部104基于由会话信息管理部103设定的每个会话在传送通路107上的路由的优先级信息、和/或无线传送通路的功率控制信息,从图像编码数据1发送部105及图像编码数据2发送部106经由传送通路107发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
优先路由是可通过指定特定协议和端口编号来优先接收发送特定的应用数据的路由方式,在该实施例及以下的各实施例中,可采用公知的任意方法。此外,无线传送通路中的功率控制是用于控制发送功率,从而控制合适的接收水平(level)的功率控制方式,在该实施例及以下的各实施例中,可以采用公知的任意方法。
会话信息管理部103管理与图像编码数据1和图像编码数据2的图像品质(压缩率)相关的信息,并从分发信息发送部102将这些信息通知给图像数据接收装置108。
图像编码数据1发送部105及图像编码数据2发送部106具有附加与RTP(Real-Time Transport Protocol;实时传输协议)相当的信息(例如RTP报头信息)的功能,以使得在图像数据接收装置108接收了重复的多个图像数据时能够选择数据;并且在所接收数据的顺序交错时能够正确地重新排列。关于RTP报头,参照上述非专利文献1等。此外,图像编码数据1及图像编码数据2的各个发送单位分别设为对同一图像的同一帧的同一部位进行编码后的数据,并为其赋予相同的RTP序列号,而且还可以赋予表示哪一个图像编码数据的有效载荷类型、和/或SSRC(Synchronization Source identifier;同步源标识符),和/或CSRC(Contributing Source identifier;贡献源标识符)。
此外,当发送时,相对于图像编码数据1,若通过设置例如比传送通路107中的数据错误、或损失的突发长度长的时间差来发送图像编码数据2,则在传送通路中这两个图像编码数据都受错误或损失的影响的可能性降低,并且当图像数据接收装置108具有所述时间差以上的接收缓冲时,能够更稳定地进行图像数据的分发。此时,若将图像编码数据1和图像编码数据2的图像品质设定为相同,或者从图像编码数据1发送部105和图像编码数据2发送部106双方发送图像编码数据1,则在传送通路中有错误和损失的影响时,可将图像数据接收装置中的再现图像品质的恶化抑制在最小限度。
在本实施例中,关于同一图像的多个图像编码数据的发送的时间差(时间间隔),可以由会话信息管理部103进行管理,并从分发信息发送部102通知给图像数据接收装置108,或者也可以预先在图像数据分发装置101和图像数据接收装置108之间设定发送的时间差,然后由图像数据接收装置108基于该时间差设定接收缓冲量。
图像数据接收装置108通过会话信息接收部109接收来自图像数据分发装置101的、例如图像品质(压缩率)等与图像编码数据有关的信息,并从该信息得知从传送通路107接收的图像数据的编码信息。
此外,会话信息管理部103设定
·图像编码数据1及图像编码数据2的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息中的至少一个,并通过分发信息发送部102通知给图像数据接收装置108,或者也可以事先在图像数据分发装置101及图像数据接收装置108之间设定这些信息。
当图像编码数据1和图像编码数据2都被接收时,对于重复的图像数据,编码数据重构部112基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或与会话信息接收部109所接收的图像品质相关的信息来进行选择,从而重构一个图像数据,并将重构的数据输出给解码器113。由于只对一个图像数据进行解码即可,所以不会增加解码器113的解码处理的负担。
根据接收环境,使分发的图像品质最佳的结构如下。
改变图像编码数据1和图像编码数据2的品质(压缩率),例如使图像编码数据1为更高品质(低压缩率)。
在图像编码数据1发送部105及图像编码数据2发送部106中进行设定,以使图像编码数据2在传送通路107中以高于图像编码数据1的优先级被路由。或者,在图像编码数据1发送部105及图像编码数据2发送部106中进行设定,以使图像编码数据2在无线传送通路中以更高功率发送。
假设接收方A的图像数据接收装置108和接收方B的图像数据接收装置108正在接收分发的运动图像数据,并且接收方A的图像数据接收装置108与接收方B的图像数据接收装置108相比,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置108网络流量充裕,或者无线接收环境良好,所以可接收图像编码数据1的高品质图像数据和图像编码数据2的低品质图像数据这双方。而且,在接收方A的图像数据接收装置108中,即使万一图像编码数据1的图像数据中有错误或遗漏,也可以用图像编码数据2的图像数据将该处补足,所以能够再现与接收环境的良好程度相应的高品质且稳定的运动图像数据。
此时,例如对于接收方A的图像数据接收装置108来说,当其在可用功率有限的环境中使用,例如用电池驱动时,和/或,其接收环境良好,从而能够几乎没有错误或遗漏地接收图像编码数据1时,该图像数据接收装置108也可以进行停止图像编码数据2的接收,从而尽可能地延长装置使用时间的控制。
相反,当在图像数据接收装置108上连接了大容量电池或AC电源时,也可以将图像编码数据1、图像编码数据2都接收。这样,可根据可用功率和接收环境来控制是否接收数据。或者,也可以是能够由接收方A在图像数据接收装置108中设定接收图像数据的数量的结构。
接收方B的图像数据接收装置108能够接收以高优先级路由、或是以高功率无线分发的图像编码数据2,并且,尽管与接收环境恶劣程度相应地,品质较接收方A的图像数据接收装置108会变差,但仍能够再现运动图像数据。
此时,例如当接收方B的图像数据接收装置108在可用功率有限的环境中使用,例如用电池驱动时,该图像数据接收装置108也可以停止图像数据1的接收而只进行图像数据2的接收,以尽可能地延长装置的使用时间。
相反,当在图像数据接收装置108上连接了大容量电池或AC电源时,也可以将图像数据1、图像数据2都接收。这样,可根据可用功率和接收环境来控制是否接收数据。
或者,也可以由接收方B在图像数据接收装置108中设定接收图像数据的数量。
此外,与高品质的图像编码数据1相比,压缩率高而品质更低的图像编码数据2的分发适于在流量不充裕的网络上的分发,而且,在无线传送通路中容易以更高的功率进行发送,因此可适于在受限的资源环境下的分发。
此外,在本实施例中,不用说也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送图像编码数据1及图像编码数据2、以及与它们的图像编码有关的信息。
在本实施例中,也可以通过单播方式发送分发图像编码数据1和图像编码数据2的会话中的至少一个,也可以通过多播或广播方式发送所述会话中的至少一个。
此外,关于图像数据分发装置101中的分发信息发送部102、会话信息管理部103、图像数据存储/生成部104、图像编码数据1发送部105、图像编码数据2发送部106,当然也可以通过在构成图像数据分发装置101的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置108中的会话信息接收部109、图像编码数据1接收部110、图像编码数据2接收部111、编码数据重构部112、以及解码器113,当然也可以通过在构成图像数据接收装置108的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第二实施方式中,图像数据分发装置包括:在彼此不同的会话中分发运动图像数据和对运动图像数据的有关帧的至少一部分进行帧内宏块编码而得的编码数据的单元,以及,为每个分发运动图像数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。此外,图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;以及,基于图像品质从接收运动图像数据中选择数据,并将所述数据重构为一个运动图像数据来进行解码的单元。也可以是还包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。
接着,参照附图对本发明的第二实施例进行说明。图2示出了本发明第二实施例的构成。如图2所示,具有图像数据分发装置20 1、图像数据接收装置208、以及用于传送运动图像编码数据的传送通路207。在本实施例中,图像数据分发装置201与作为IP(Internet Protocol;互联网协议)网的传送通路207连接,并利用UDP/IP分发图像编码数据,图像数据接收装置208是与IP网连接的客户终端。
图像数据分发装置201包括分发信息发送部202、会话信息管理部203、图像数据存储/生成部204、图像编码数据发送部205、帧内宏块(Intra-MB)编码数据发送部206。
图像数据接收装置208包括会话信息接收部209、图像编码数据接收部210、帧内宏块(Intra-MB)编码数据接收部211、编码数据重构部212、解码器213。以下,依次说明图像数据分发装置201、图像数据接收装置208的操作。
在图像数据分发装置201中,图像数据存储/生成部204基于由会话信息管理部203设定的每个会话在传送通路207中的路由的优先级信息、和/或无线传送通路的功率控制信息,从图像编码数据发送部205及帧内宏块(Intra-MB)编码数据发送部206经由传送通路207发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
此外,会话信息管理部203管理与编码数据的类别有关的信息,并从分发信息发送部202将这些信息通知给图像数据接收装置208。
图像编码数据发送部205及Intra_MB编码数据发送部206具有附加与RTP相当的信息的功能,以使得在图像数据接收装置208接收了重复的多个图像数据时能够选择数据;并且在所接收数据的顺序交错时能够正确地重新排列。此时,为由帧内宏块编码数据编码的图像的同一部位的图像编码数据赋予相同的RTP序列号,而且还可以赋予表示是图像编码数据和帧内宏块中的哪一个的有效载荷类型、和/或SSRC、和/或CSRC。
此外,在本实施例中,当发送时,相对于图像编码数据,若通过设置例如比传送通路207中的数据错误或损失的突发长度长的时间差来发送帧内宏块编码数据,则在传送通路中图像编码数据和帧内宏块编码数据都受错误或损失的影响的可能性降低,并且在图像数据接收装置具有该时间差以上的接收缓冲时,能够更稳定地进行图像数据的分发。
在本实施例中,关于同一图像的多个图像编码数据的发送的时间差,可以由会话信息管理部203进行管理,并从分发信息发送部202通知给图像数据接收装置208,或者也可以预先在图像数据分发装置201和图像数据接收装置208之间进行设定,然后基于该时间差,由图像数据接收装置208设定接收缓冲量。
图像数据接收装置208通过会话信息接收部209接收来自图像数据分发装置201的与编码数据类别有关的信息,并从该信息得知从传送通路207接收的编码数据的类型。
此外,会话信息管理部203设定
·编码数据的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息中的至少一个,并通过分发信息发送部202通知给图像数据接收装置208,或者也可以事先在图像数据分发装置201及图像数据接收装置208之间设定这些信息。
当图像编码数据和帧内宏块编码数据都被接收时,对于重复的图像数据,编码数据重构部212基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或会话信息接收部209所接收的信息,重构为一个图像数据,并输出给解码器213。由于只对一个图像数据进行解码即可,所以不会增加解码器213的解码处理的负担。
根据接收环境,使所分发的图像品质最佳的结构如下。
帧内宏块在要编码的帧中只选择运动矢量大的位置等一部分的宏块来进行编码。
在图像编码数据发送部205及Intra-MB编码数据发送部206中进行设定,以使图像编码数据在传送通路207中以高于帧内宏块编码数据的优先级被路由。或者,在图像编码数据发送部205及Intra-MB编码数据发送部206中进设定,以使图像编码数据在无线传送通路中以更高功率发送。
假设接收方A的图像数据接收装置208和接收方B的图像数据接收装置208正在接收分发的运动图像数据,并且接收方A的图像数据接收装置208与接收方B的图像数据接收装置208相比,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置208网络流量充裕,或者无线接收环境良好,所以可接收图像编码数据和帧内宏块编码数据这双方。而且,在接收方A的图像数据接收装置208中,即使万一图像编码数据的一部分中有错误或遗漏,只要能够从帧内宏块编码数据接收该处的帧内宏块编码数据,就能够将该处补足。或者,可以补正由于错误和遗漏而恶化的宏块,因此能够再现与接收环境的良好程度相应的稳定的运动图像数据。
接收方B的图像数据接收装置208能够接收以高优先级路由、或是以高功率无线分发的图像编码数据,并且,尽管与接收环境恶化程度相应地,较接收方A的图像数据接收装置208,数据的错误和遗漏有可能增加,但仍能够再现运动图像数据。
此时,例如接收方A、B的图像数据接收装置208当在可用功率有限的环境中使用,例如用电池驱动时,和/或它们的接收环境良好,从而能够几乎没有错误和遗漏地接收图像编码数据时,也可以停止帧内宏块编码数据的接收,以尽可能地延长装置的使用时间。
相反,当连接了大容量电池或AC电源时,也可以将图像编码数据、帧内宏块编码数据都接收。这样,可根据可用功率和接收环境来控制是否接收数据。
在本实施例中,也可以是能够由接收方在图像数据接收装置208中设定该接收图像编码数据的类别的结构。
此外,例如即使在正确接收了图像编码数据的情况下,当该图像编码数据是帧间(参照帧)编码数据时,必使编码数据重构部212周期选择帧内宏块编码数据,如果这样,即使在传送通路中发生了错误或损失时,也可以获得与MPEG-4编码方式中的CIR(Cyclic Intra Refresh;循环帧内更新)相同的效果,并能够迅速恢复由传送通路中的错误和损失所导致的再现图像品质的恶化,从而可将品质恶化向后续帧的传播抑制得很小。
另外,在本实施例中也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送图像编码数据、帧内宏块编码数据、以及与它们的图像编码有关的信息。
此外,也可以通过单播方式发送分发图像编码数据和帧内宏块编码数据的会话中的至少一个;也可以通过多播或广播方式发送分发图像编码数据和帧内宏块编码数据的会话中的至少一个。
此外,关于图像数据分发装置201中的分发信息发送部202、会话信息管理部203、图像数据存储/生成部204、图像编码数据发送部205、帧内宏块编码数据发送部206,当然也可以通过在构成图像数据分发装置201的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置208中的会话信息接收部209、图像编码数据接收部210及帧内宏块编码数据接收部211、编码数据重构部212、解码器213,当然也可以通过在构成图像数据接收装置208的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第三实施方式中,图像数据分发装置一侧包括如下两个单元,其中一个单元在运动图像数据的I(Intra)图片、P(Predictive)图片、以及用于运动图像编码的编码方式中存在B(Bidirectionally-predictive)图片时的所述B图片中,将I图片和其以外的图片分发在不同的会话中,另一个单元为每个分发运动图像数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制。图像数据接收装置一侧包括:接收通过至少一个会话来分发的数据的单元,以及,将接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
接着,参照附图对本发明的第三实施例进行说明。图3示出了本发明第三实施例的构成。如图3所示,具有图像数据分发装置301、图像数据接收装置308、以及用于传送图像编码数据的传送通路307。在本实施例中,图像数据分发装置301与作为IP网的传送通路307连接,并利用UDP/IP分发图像编码数据,图像数据接收装置308是与IP网连接的客户终端。另外,这里为了简化说明,对要分发的图像数据的编码方式中存在I图片、P图片、B图片这三种帧类型的情况进行说明。
图像数据分发装置301包括分发信息发送部302、会话信息管理部303、图像数据存储/生成部304、I图片编码数据发送部305、P/B图片编码数据发送部306。
图像数据接收装置308包括会话信息接收部309、I图片编码数据接收部310、P/B图片编码数据接收部311、编码数据重构部312、解码器313。以下,依次说明图像数据分发装置301、图像数据接收装置308的操作。
在图像数据分发装置301中,图像数据存储/生成部304基于由会话信息管理部303设定的每个会话在传送通路307中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部305及P/B图片编码数据发送部306经由传送通路307发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
此外,会话信息管理部303管理从各会话分发的图片信息,并从分发信息发送部302通知给图像数据接收装置308。
I图片编码数据发送部305及P/B图片编码数据发送部306具有附加与RTP相当的信息的功能,以使得即使在图像数据接收装置308中接收的数据的顺序交错,也能够正确地重新排列。
图像数据接收装置308通过会话信息接收部309接收来自图像数据分发装置301的与图像编码有关的信息,并从该信息得知从传送通路307接收的图像数据的图片类型。
此外,会话信息管理部303设定
·编码数据的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部302通知给图像数据接收装置308,或者也可以事先在图像数据分发装置301及图像数据接收装置308之间设定这些信息。
编码数据重构部312基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC、和/或由会话信息接收部309接收的信息,将所接收的I图片、P图片、B图片编码数据重构为一个图像数据,并输出给解码器313。
根据接收环境,使分发的图像品质最佳的结构如下。
在I图片编码数据发送部305及P/B图片编码数据发送部306中进行设定,以使I图片编码数据在传送通路307中以高于P/B图片编码数据的优先级被路由。或者,在I图片编码数据发送部305及P/B图片编码数据发送部306进行设定,以使I图片编码数据在无线传送通路中以更高功率发送。
假设接收方A的图像数据接收装置308和接收方B的图像数据接收装置308正在接收分发的运动图像数据,并且接收方A的图像数据接收装置308与接收方B的图像数据接收装置308相比,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置308网络流量充裕,或者无线接收环境良好,所以可接收I图片编码数据和P/B图片编码数据这双方,从而能够再现与接收环境的良好程度相应的运动流畅、高品质的运动图像数据。
接收方B的图像数据接收装置308能够接收以高优先级路由、或是以高功率无线分发的I图片编码数据,并且,尽管与接收环境恶化程度相应地,品质较接收方A的图像数据接收装置308会恶化,但仍能够再现运动图像数据。
此时,例如接收方A、B的图像数据接收装置308当在可用功率有限的环境中使用,例如用电池驱动时,如果例如与图像品质相比接收方更希望延长装置的使用时间的话,也可以停止P/B图片编码数据的接收,以尽可能地延长装置的使用时间。
相反,当图像数据接收装置308上连接了大容量电池或AC电源时,也可以接收所有图片的编码数据。这样,可根据可用功率和接收环境来控制是否接收数据。
在本实施例中,也可以由接收方在图像数据接收装置308中设定该接收图片编码数据的类型。
此外,与原来通过同一个会话,以同一优先级或同一功率无线分发所有图片的编码数据情况相比,即使在流量负荷高的情况或无线资源受限的情况下,也能够根据情况进行灵活的优先级设定或功率控制,从而能够使品质变动较少地分发运动图像数据。
另外,在本实施例中也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据和P/B图片编码数据、以及与它们的图像编码有关的信息。
此外,也可以通过单播方式发送分发I图片编码数据和P/B图片编码数据的会话中的至少一个,也可以通过多播或广播方式发送分发I图片编码数据和P/B图片编码数据的会话中的至少一个。
此外,关于图像数据分发装置301中的分发信息发送部302、会话信息管理部303、图像数据存储/生成部304、I图片编码数据发送部305、P/B图片编码数据发送部306,当然也可以通过在构成图像数据分发装置301的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置308中的会话信息接收部309、I图片编码数据接收部310、P/B图片编码数据接收部311、编码数据重构部312、以及解码器313,当然也可以通过在构成图像数据接收装置308的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第四实施方式中,图像数据分发装置包括如下两个单元,其中一个单元在运动图像数据的I图片、P图片、以及B图片中,将I/P图片和其以外的图片分发在不同的会话中,另一个单元为分发运动图像数据的每个会话设定在传送通路中的路由的优先级控制或在无线传送通路中的功率控制。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;以及,将接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
接着,参照附图对本发明的第四实施例进行说明。图4示出了本发明第四实施例的构成。如图4所示,具有图像数据分发装置401、图像数据接收装置408、以及用于传送图像编码数据的传送通路407。在本实施例中,图像数据分发装置401与作为IP网的传送通路407连接,并利用UDP/IP分发图像编码数据,图像数据接收装置408是与IP网连接的客户终端。另外,这里为了简化说明,对要分发的图像数据的编码方式中存在I图片、P图片、B图片这三种帧类型的情况进行说明。
图像数据分发装置401包括分发信息发送部402、会话信息管理部403、图像数据存储/生成部404、I/P图片编码数据发送部405、B图片编码数据发送部406。
图像数据接收装置408包括会话信息接收部409、I/P图片编码数据接收部410、B图片编码数据接收部411、编码数据重构部412、解码器413。以下,依次说明图像数据分发装置401、图像数据接收装置408的操作。
在图像数据分发装置401中,图像数据存储/生成部404基于由会话信息管理部403设定的每个会话在传送通路407中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I/P图片编码数据发送部405及B图片编码数据发送部406经由传送通路407发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
此外,会话信息管理部403管理从各会话分发的图片信息,并从分发信息发送部402通知给图像数据接收装置408。
I/P图片编码数据发送部405及B图片编码数据发送部406具有附加与RTP相当的信息的功能,以使得在图像数据接收装置408中接收的数据的顺序交错时能够正确地重新排列。
图像数据接收装置408通过会话信息接收部409接收从图像数据分发装置401分发的与图像编码有关的信息,并从该信息得知由传送通路407接收的图像数据的图片类型。
此外,会话信息管理部403设定
·编码数据的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部402通知给图像数据接收装置408,或者也可以事先在图像数据分发装置401及图像数据接收装置408之间设定这些信息。
编码数据重构部412基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC、和/或由会话信息接收部409接收的信息,将所接收的I图片、P图片、B图片编码数据重构为一个图像数据,并输出给解码器413。
根据接收环境,使分发的图像品质最佳的结构如下。
在I/P图片编码数据发送部405及B图片编码数据发送部406中进行设定,以使I/P图片编码数据在传送通路407中以高于B图片编码数据的优先级被路由。或者,在I/P图片编码数据发送部405及B图片编码数据发送部406中进行设定,以使I/P图片编码数据在无线传送通路中以更高功率发送。
假设接收方A的图像数据接收装置408和接收方B的图像数据接收装置408正在接收所分发的运动图像数据,并且接收方A的图像数据接收装置408与接收方B的图像数据接收装置408相比,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置408网络流量充裕,或者无线接收环境良好,所以可接收I/P图片编码数据和B图片编码数据这双方,从而能够再现与接收环境的良好程度相应的运动流畅、高品质的运动图像数据。
接收方B的图像数据接收装置408能够接收以高优先级路由、或是以高功率无线分发的I/P图片编码数据,从而,尽管与接收环境恶化程度相应地,品质较接收方A的图像数据接收装置408会恶化,但仍能够再现运动图像数据。
此时,例如接收方A、B的图像数据接收装置408当在可用功率有限的环境中使用,例如用电池驱动时,如果例如与图像品质相比接收方更希望延长装置的使用时间的话,也可以停止B图片编码数据的接收,以尽可能地延长装置的使用时间。
相反,当在图像数据接收装置408上连接了大容量电池或AC电源时,也可以接收所有图片的编码数据。这样,可根据可用功率和接收环境来控制是否接收数据。
在本实施例中,也可以由接收方在图像数据接收装置408中设定接收图片编码数据的类型。
此外,与原来通过同一个会话,以同一优先级或同一功率无线分发所有图片的编码数据的情况相比,即使在流量负荷高的情况或无线资源受限的情况下,也能够根据情况进行灵活的优先级设定或功率控制,从而能够使品质变动较少地分发运动图像数据。
另外,在本实施例中也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I/P图片编码数据和B图片编码数据、以及与它们的图像编码有关的信息。
此外,也可以通过单播方式发送分发I/P图片编码数据和B图片编码数据的会话中的至少一个,也可以通过多播或广播方式发送分发I/P图片编码数据和B图片编码数据的会话中的至少一个。
此外,关于图像数据分发装置401中的分发信息发送部402、会话信息管理部403、图像数据存储/生成部404、I/P图片编码数据发送部405、B图片编码数据发送部406,当然也可以通过在构成图像数据分发装置401的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置408中的会话信息接收部409、I/P图片编码数据接收部410、B图片编码数据接收部411、编码数据重构部412、以及解码器413,当然也可以通过在构成图像数据接收装置408的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第五实施方式中,图像数据分发装置包括如下两个单元,其中一个单元在运动图像数据的I图片、P图片、以及B图片中,将I图片、P图片、B图片分发在不同的会话中,另一个单元为分发运动图像数据的每个会话设定在传送通路中的路由的优先级控制或在无线传送通路中的功率控制。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;以及,将接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
接着,参照附图对本发明的第五实施例进行说明。图5示出了本发明第五实施例的构成。如图5所示,具有图像数据分发装置501、图像数据接收装置509、以及用于传送图像编码数据的传送通路508。在本实施例中,图像数据分发装置501与作为IP网的传送通路508连接,并利用UDP/IP分发图像编码数据,图像数据接收装置509是与IP网连接的客户终端。另外,这里为了简化说明,对要分发的图像数据的编码方式中存在I图片、P图片、B图片这三种帧类型的情况进行说明。
图像数据分发装置501包括分发信息发送部502、会话信息管理部503、图像数据存储/生成部504、I图片编码数据发送部505、P图片编码数据发送部506、B图片编码数据发送部507。
图像数据接收装置509包括会话信息接收部510、I图片编码数据接收部511、P图片编码数据接收部512、B图片编码数据接收部513、编码数据重构部514、解码器515。以下,依次说明图像数据分发装置501、图像数据接收装置509的操作。
在图像数据分发装置501中,图像数据存储/生成部504基于由会话信息管理部503设定的每个会话在传送通路508中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部505、P图片编码数据发送部506、以及B图片编码数据发送部507经由传送通路508发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
此外,会话信息管理部503管理从各会话分发的图片信息,并从分发信息发送部502通知给图像数据接收装置509。
I图片编码数据发送部505、P图片编码数据发送部506、以及B图片编码数据发送部507具有附加与RTP相当的信息的功能,以使得在图像数据接收装置509中接收的数据的顺序交错时能够正确地重新排列。
图像数据接收装置509通过会话信息接收部510接收来自图像数据分发装置501的与图像编码有关的信息,并从该信息得知由传送通路508接收的图像数据的图片类型。
此外,会话信息管理部503设定
·编码数据的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部502通知给图像数据接收装置509,或者也可以事先在图像数据分发装置501及图像数据接收装置509之间设定这些信息。
编码数据重构部514基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC、和/或由会话信息接收部510接收的信息,将接收的I图片、P图片、B图片编码数据重构为一个图像数据,并输出给解码器515。
根据接收环境,使分发的图像品质最佳的结构如下。
在I图片编码数据发送部505、P图片编码数据发送部506、以及B图片编码数据发送部507中进行设定,使得在传送通路508中以最高的优先级路由I图片编码数据,以其次的优先级路由P图片编码数据,并以最低的优先级路由B图片编码数据。或者,在I图片编码数据发送部505、P图片编码数据发送部506、以及B图片编码数据发送部507中进行设定,使得以最高的功率发送I图片编码数据,以其次的功率发送P图片编码数据,并以最低的功率发送B图片。
假设接收方A、接收方B、接收方C各自的图像数据接收装置509正在接收所分发的运动图像数据,并且,接收方A的图像数据接收装置509比接收方B的图像数据接收装置509,而且接收方B的图像数据接收装置509比接收方C的图像数据接收装置509,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置509网络流量充裕余,或者无线接收环境良好,所以I图片编码数据、P图片编码数据和B图片编码数据都能被接收,从而能够再现与接收环境的良好程度相应的运动流畅、高品质的运动图像数据。
接收方B的图像数据接收装置509能够接收以最高优先级和其次的优先级路由、或是以最高的功率和其次的功率无线分发的I图片编码数据和P图片编码数据,从而,尽管与接收环境恶化程度相应地,品质较接收方A会恶化,但仍能够再现运动较流畅的运动图像数据。
接收方C的图像数据接收装置509能够接收以最高优先级路由、或是以最高的功率无线分发的I图片编码数据,从而,尽管与接收环境恶化程度相应地,品质较接收方A、接收方B的图像数据接收装置509会恶化,但能够再现运动图像数据。
此时,例如接收方A、B、C的图像数据接收装置509当在可用功率有限的环境中使用,例如用电池驱动时,如果例如与图像品质相比接收方更希望延长装置的使用时间的话,也可以停止重要度更低的数据的B图片编码数据的接收,或者甚至停止B图片和P图片的接收,以尽可能延长装置的使用时间。
相反,当在图像数据接收装置509上连接了大容量电池或AC电源时,也可以从重要度更高的编码数据开始进行接收等,这样,可根据可用功率和接收环境来控制是否接收数据。
在本实施例中,也可以由接收方在图像数据接收装置509中设定该接收图片编码数据的类型。
此外,与原来通过同一个会话,以同一优先级或同一功率无线分发所有图片的编码数据的情况相比,即使在流量负荷高的情况或无线资源受限的情况下,也能够根据情况进行灵活的优先级设定或功率控制,从而能够使品质变动较少地分发运动图像数据。
另外,在本实施例中也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据、B图片编码数据和P图片编码数据、以及与它们的图像编码有关的信息。
此外,也可以通过单播方式发送分发I图片编码数据、P图片编码数据和B图片编码数据的会话中的至少一个;也可以通过多播或广播方式发送分发I图片编码数据、P图片编码数据和B图片编码数据的会话中的至少一个。
此外,关于图像数据分发装置501中的分发信息发送部502、会话信息管理部503、图像数据存储/生成部504、I图片编码数据发送部505、P图片编码数据发送部506、B图片编码数据发送部507,当然也可以通过在构成图像数据分发装置501的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置509中的会话信息接收部510、I图片编码数据接收部511、P图片编码数据接收部512、B图片编码数据接收部513、编码数据重构部514、以及解码器515,当然也可以通过在构成图像数据接收装置509的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第六实施方式中,图像数据分发装置包括如下两个单元,其中一个单元在不同的会话中分发运动图像数据的I图片、P图片、用于运动图像编码的编码方式中存在B图片时的所述B图片、以及对运动图像的有关帧的至少一部分进行帧内宏块(Intra-MB)编码所得的编码数据,另一个单元为分发运动图像数据的每个会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;以及,基于图像品质从所接收的运动图像数据中选择数据,并将该数据重构为一个运动图像数据以进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
接着,参照附图对本发明的第六实施例进行说明。图6示出了本发明第六实施例的构成。如图6所示,具有图像数据分发装置601、图像数据接收装置610、以及用于传送图像编码数据的传送通路609。在本实施例中,图像数据分发装置601与作为IP网的传送通路609连接,并利用UDP/IP分发图像编码数据,图像数据接收装置610是与IP网连接的客户终端。另外,这里为了简化说明,对要分发的图像数据的编码方式中存在I图片、P图片、B图片这三种帧类型的情况进行说明。
图像数据分发装置601包括分发信息发送部602、会话信息管理部603、图像数据存储/生成部604、I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607、帧内宏块(Intra-MB)编码数据发送部608。
图像数据接收装置610包括会话信息接收部611、I图片编码数据接收部612、P图片编码数据接收部613、B图片编码数据接收部614、帧内宏块(Intra-MB)编码数据接收部615、编码数据重构部616、解码器617。以下,依次说明图像数据分发装置601、图像数据接收装置610的操作。
在图像数据分发装置601中,图像数据存储/生成部604基于由会话信息管理部603设定的每个会话在传送通路609中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607以及Intra-MB编码数据发送部608经由传送通路609发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据。
会话信息管理部603管理从各会话分发的图片信息,并从分发信息发送部602通知给图像数据接收装置610。
I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607以及Intra-MB编码数据发送部608具有附加与RTP相当的信息的功能,以使得在图像数据接收装置610接收了重复的多个图像数据时能够选择数据;并且即使接收的数据的顺序交错,也能够正确地重新排列。此时,例如也可以向由帧内宏块编码数据编码的图像的同一部位的I/P/B图片编码数据赋予相同的RTP序列号,而且还可以赋予表示是图像编码数据和帧内宏块中的哪一个的有效载荷类型、和/或SSRC、和/或CSRC。
此外,当发送时,相对于I/P/B图片编码数据,若通过设置例如比传送通路609中的数据错误、或损失的突发长度长的时间差来发送帧内宏块编码数据,则在传送通路中I/P/B图片编码数据和帧内宏块编码数据双方都受错误或损失的影响的可能性降低,并且当图像数据接收装置具有该时间差以上的接收缓冲时,能够更稳定地进行图像数据的分发。
在本实施例中,关于同一图像的多个图像编码数据的发送的时间差,可以由会话信息管理部603进行管理,并从分发信息发送部602通知给图像数据接收装置610,或者,也可以预先在图像数据分发装置601和图像数据接收装置610之间进行设定发送的时间差,然后由图像数据接收装置610基于该时间差设定接收缓冲量。
图像数据接收装置610通过会话信息接收部611接收来自图像数据分发装置601的与编码数据类别有关的信息,并从该信息得知由传送通路609接收的图像数据的图片、块类型。
此外,会话信息管理部603设定
·编码数据的编码设定、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部602通知给图像数据接收装置610,或者也可以事先在图像数据分发装置601及图像数据接收装置610之间设定这些信息。
编码数据重构部616基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC、和/或会话信息接收部611,将所接收的I图片、P图片、B图片以及帧内宏块编码数据重构为一个图像数据,并输出给解码器617。由于只对一个图像数据进行解码即可,所以不会增加解码器617的解码处理的负担。
根据接收环境,使分发的图像品质最佳的结构如下。
假设帧内宏块在要编码的帧中只选择运动矢量大的位置等一部分的宏块来进行编码。
在I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607及Intra-MB编码数据发送部608进行设定,使得在传送通路609中,
·以最高的优先级路由I图片编码数据;
·以其次的优先级路由P图片;
·以再次的优先级路由B图片;
·以最低的优先级路由帧内宏块编码数据。
或者,在I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607及Intra-MB编码数据发送部608进行设定,使得在无线传送通路中,
·以最高的功率发送I图片编码数据;
·以其次的功率发送P图片编码数据;
·以再次的功率发送B图片编码数据;
·以最低的功率发送帧内宏块编码数据。
假设接收方A、接收方B、接收方C各自的图像数据接收装置610正在接收所分发的运动图像数据,并且
·接收方A的图像数据接收装置610比接收方B的图像数据接收装置610,例如网络流量充裕,或者无线接收环境良好;
·接收方B的图像数据接收装置610比接收方C的图像数据接收装置610,例如网络流量上充裕,或者无线接收环境良好;
·接收方C的图像数据接收装置610比接收方D的图像数据接收装置610,例如网络流量充裕,或者无线接收环境良好。
由于接收方A的图像数据接收装置610网络流量充裕,或者无线接收环境良好,所以I图片编码数据、P图片编码数据、B图片编码数据和帧内宏块编码数据都能够被接收,所以能够再现与接收环境的良好程度相应的运动流畅、最高品质的运动图像数据。而且,在接收方A的图像数据接收装置610中,即使万一在图像编码数据的一部分中有错误或遗漏,只要能够从帧内宏块编码数据中接收该处的帧内宏块编码数据,就能够将该处补足,或者可以补正由于错误和遗漏而恶化的宏块,因此能够再现与接收环境相应的稳定的运动图像数据。
接收方B的图像数据接收装置610能够接收以最高优先级和其次的优先级以及再次的优先级路由,或是以最高功率和其次的功率以及再次的功率无线分发的I图片编码数据和P图片编码数据及B图片编码数据。在接收方B的图像数据接收装置610中,当图像编码数据的一部分中发生了错误或遗漏时,由于无法像接收方A的图像数据接收装置610那样进行数据的补足、补正,所以图像品质会恶化,但除此情况之外,可以再现同等品质的运动图像数据。
接收方C的图像数据接收装置610能够接收以最高的优先级和其次的优先级路由、或是以最高的功率和其次的功率无线分发的I图片编码数据和P图片编码数据,从而,尽管与接收环境恶化程度相应地,品质较接收方A、接收方B的图像数据接收装置610会恶化,但仍能够再现运动较流畅的运动图像数据。
接收方D的图像数据接收装置610能够接收以最高优先级路由、或是以最高功率无线分发的I图片编码数据,从而,尽管与接收环境恶化程度相应地,品质较接收方A、接收方B、接收方C的图像数据接收装置610会恶化,但能够再现运动图像数据。
此时,例如接收方A、B、C、D的图像数据接收装置610当在可用功率有限的环境中使用,例如用电池驱动时,如果例如与图像品质相比接收方更希望延长装置的使用时间的话,也可以停止重要度更低的数据的帧内宏块编码数据的接收,其次停止B图片的接收,进而停止P图片的接收,以达到低功率消耗,从而尽可能地延长装置的使用时间。
相反,当在图像数据接收装置610上连接了大容量电池或AC电源时,也可以从重要度更高的编码数据开始进行接收等,这样,可根据可用功率和接收环境来控制是否接收数据。
在本实施例中,也可以由接收方在图像数据接收装置610中设定该接收图片编码数据的类型。
此外,例如即使在正确接收了图像编码数据的情况下,当该图像编码数据是P图片或B图片编码数据时,必使编码数据重构部616周期选择帧内宏块编码数据,如果这样,即使在传送通路中发生了错误或损失时,也可以获得与MPEG-4编码方式的CIR(Cyclic Intra Refresh;循环帧内更新)相同的效果,并能够迅速恢复由传送通路中的错误和损失所导致的再现图像品质的恶化,从而可将品质恶化向后续帧的传播抑制得很小。
此外,与原来通过同一个会话,以同一优先级或同一功率无线分发的所有图片的编码数据的情况相比,即使在流量负荷高的情况或无线资源受限的情况下,也能够根据情况进行灵活的优先级设定或功率控制,从而能够使品质变动较少地分发运动图像数据。
另外,在本实施例中也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据、B图片编码数据、P图片编码数据、帧内宏块编码数据、以及与这些数据有关的信息。
此外,也可以通过单播方式发送分发I图片编码数据、P图片编码数据、B图片编码数据和帧内宏块编码数据的会话中的至少一个,也可以通过多播或广播方式发送分发I图片编码数据、P图片编码数据、B图片编码数据和帧内宏块编码数据的会话中的至少一个。
此外,关于图像数据分发装置601中的分发信息发送部602、会话信息管理部603、图像数据存储/生成部604、I图片编码数据发送部605、P图片编码数据发送部606、B图片编码数据发送部607、帧内宏块编码数据发送部608,当然也可以通过在构成图像数据分发装置601的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置610中的会话信息接收部611、I图片编码数据接收部612、P图片编码数据接收部613、B图片编码数据接收部614、帧内宏块编码数据接收部615、编码数据重构部616、解码器617,当然也可以通过在构成图像数据接收装置610的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第七实施方式中,图像数据分发装置包括:在不同的会话中分发同一图像的多个运动图像数据(例如不同图像品质的运动图像数据)以及纠错码数据的单元,以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;使用纠错码数据复原由于传送通路中的错误或损失而丢失的运动图像数据的单元;以及,基于图像品质在复原的运动图像数据中选择数据,并将其重构为一个运动图像数据以进行解码的单元。
此外,在本发明的第七实施方式中,图像数据接收装置也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第七实施例。图7示出了本发明第七实施例的构成。如图7所示,具有分发图像编码数据的图像数据分发装置701、图像数据接收装置708、以及用于传送图像编码数据和纠错码数据的传送通路707,它们分别与上述第一实施例的图像数据分发装置101、图像数据接收装置108、传送通路107相对应。构成图像数据分发装置701的各要素702至706、构成图像数据接收装置708的各要素709至713也分别与上述第一实施例中的图像数据分发装置101的各要素102至106、图像数据接收装置108的各要素109至113相对应。以下,只说明与上述第一实施例不同的部分。另外,在本实施例中,为了简化说明,将分发的图像数据的个数设为“2”,将从一个编码数据生成的纠错码数据的个数设为“1”来进行说明,但很显然本发明中分发的图像数据的个数并不限于2,纠错码数据的个数也不限于“1”。
图像数据分发装置701包括分发信息发送部702、会话信息管理部703、图像数据存储/生成部704、图像编码数据1发送部705、图像编码数据2发送部706、FEC(前向纠错)码数据发送部714。
图像数据接收装置708包括会话信息接收部709、图像编码数据1接收部710和图像编码数据2接收部711、编码数据重构部712、解码器713、FEC码数据接收部715。
在图像数据分发装置701中,图像数据存储/生成部704基于由会话信息管理部703设定的每个会话在传送通路707中的路由的优先级信息、和/或无线传送通路的功率控制信息,从图像编码数据1发送部705、图像编码数据2发送部706以及FEC码数据发送部714经由传送通路707发送:
·预先存储的图像数据;或
·实时编码而生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和
从上述某一图像编码数据生成的纠错码数据。这里,前向纠错(FEC;Forward Error Correction)码是指里德-所罗门码、LDPC(Low Densityparity check;低密度奇偶校验码)码、或卷积码等,由于在本发明中使用了这些现有方法,故省略其详细说明。
会话信息管理部703管理与图像编码数据1和图像编码数据2的图像品质(压缩率)及纠错码数据相关的信息,并从分发信息发送部702将这些信息通知给图像数据接收装置708。
FEC码数据发送部714具有附加与RTP相当的信息(例如RTP报头的序列号)的功能,以便知道是图像编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
此外,会话信息管理部703设定
·图像编码数据1及图像编码数据2的编码设定、
·错误定性码类型(誤り定性符号種别)、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据和纠错码的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部702通知给图像数据接收装置708,或者也可以事先在图像数据分发装置701及图像数据接收装置708之间设定这些信息。
当图像数据编码数据1由于在传送通路中的错误或损失而无法被接收时,编码数据重构部712使用在FEC码数据接收部接收的纠错码数据来复原图像编码数据1。关于包括复原所得的图像编码数据1在内,图像编码数据1和图像编码数据2都被接收的情况,与第一实施例相同。
根据接收环境,使分发的图像品质最佳的结构也和第一实施例一样,接收环境良好的图像数据接收装置708能够接收图像编码数据1、图像编码数据2以及纠错码,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以能够进行考虑了网络资源的分发。
此外,当纠错码数据为多个时,将纠错码数据组合并生成为传送通路中的错误或损失的几种模式(pattern),并由内容接收装置708通过最适于接收环境的纠错码来复原在传送通路中出错或损失的数据,从而能够以更高的概率获得原内容的编码数据。此时,内容分发装置701向内容接收装置708通知各个纠错码数据所适合的传送通路状况,或者,通知用于生成纠错码数据的设定(例如LDPC方式中的检查矩阵、或用于生成改检查矩阵的设定信息),或者预先在内容分发装置701和内容接收装置708之间设定这些。
进而,当纠错码数据为多个时,纠错码方式可以不同,也可以根据内容接收装置708的接收环境、处理能力来选择可解码的纠错码数据。此时,内容分发装置701向内容接收装置708通知各个纠错码类型,或是预先在内容分发装置701和内容接收装置708之间设定这些。
除上述以外,与所述第一实施例相同。
此外,在本实施例中,不用说也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送图像编码数据1、图像编码数据2、纠错码数据、以及与它们的图像编码有关的信息。
在本实施例中,可以通过单播方式发式,也可以通过多播或广播方式发送分发图像编码数据1、图像编码数据2及纠错码数据的会话。
此外,关于图像数据分发装置701中的分发信息发送部702、会话信息管理部703、图像数据存储/生成部704、图像编码数据1发送部705、图像编码数据2发送部706、FEC码数据发送部714,当然也可以通过在构成图像数据分发装置701的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置708中的会话信息接收部709、图像编码数据1接收部710及图像编码数据2接收部711、编码数据重构部712、解码器713、FEC码数据接收部715,当然也可以通过在构成图像数据接收装置708的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第八实施方式中,图像数据分发装置包括:在分别不同的会话中分发运动图像数据、对运动图像数据的有关帧的至少一部分进行帧内宏块编码而得的编码数据、以及纠错码数据的单元;以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;利用纠错码数据来复原由于传送通路中的错误或损失而丢失的运动图像数据的单元;以及,基于图像品质在所接收的运动图像数据中选择数据,并将该数据重构为一个运动图像数据以进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第八实施例。图8示出了本发明第八实施例的构成。如图8所示,具有图像数据分发装置801、图像数据接收装置808、以及用于传送图像编码数据和纠错码数据的传送通路807,它们分别与上述第二实施例的图像数据分发装置201、图像数据接收装置208、传送通路207相对应。此外,构成图像数据分发装置801的各要素802至806、构成图像数据接收装置808的各要素809至813也分别与上述第二实施例中的图像数据分发装置201的各要素202至206、图像数据接收装置208的各要素209至213相对应。以下,只说明与上述第二实施例不同的部分。另外,在本实施例中,为了简化说明,假设纠错码数据是从图像编码数据中生成的,并且从一个编码数据生成的纠错码数据的个数为“1”来进行说明,但很显然纠错码数据的个数不限于“1”。
图像数据分发装置801包括分发信息发送部802、会话信息管理部803、图像数据存储/生成部804、图像编码数据发送部805、帧内宏块(Intra-MB)编码数据发送部806、FEC码数据发送部814。
图像数据接收装置808包括会话信息接收部809、图像编码数据接收部810、帧内宏块(Intra-MB)编码数据接收部811、编码数据重构部812、解码器813、FEC码数据接收部815。
关于FEC的方式,与第七实施例相同。
在图像数据分发装置801中,图像数据存储/生成部804基于由会话信息管理部803设定的每个会话在传送通路807中的路由的优先级信息、和/或无线传送通路的功率控制信息,从图像编码数据发送部805、帧内宏块(Intra-MB)编码数据发送部806以及FEC码数据发送部814经由传送通路807发送:
·预先存储的图像数据;或
·实时编码而生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和从上述某一图像编码数据生成的纠错码数据。另外,关于纠错码,与第七实施方式相同。
此外,会话信息管理部803管理与编码数据的类型和纠错码数据相关的信息,并从分发信息发送部802将这些信息通知给图像数据接收装置808。
FEC码数据发送部814具有附加与RTP相当的信息(例如RTP报头信息的序列号)的功能,以便知道是图像编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
图像数据接收装置808通过会话信息接收部809接收来自图像数据分发装置801的与编码数据类型及纠错码数据有关的信息,并从该信息得知从传送通路807接收的数据的类型。
此外,会话信息管理部803设定
·编码数据的编码设定、
·错误定性码类型、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据和纠错码的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部802通知给图像数据接收装置808,或者也可以事先在图像数据分发装置801及图像数据接收装置808之间设定这些信息。
当图像数据编码数据由于传送通路中的错误或损失而无法被接收时,编码数据重构部812使用在FEC码数据接收部815接收的纠错码数据来复原图像编码数据。关于包括复原所得的图像编码数据在内,图像编码数据和帧内宏块编码数据都能接收的情况,与第二实施例相同。
根据接收环境,使所分发的图像品质最佳的结构也和第二实施例一样,接收环境良好的图像数据接收装置808能够接收图像编码数据、帧内宏块编码数据以及纠错码数据,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以能够进行考虑了网络资源的分发。
此外,关于纠错码数据为多个的情况,与第七实施例一样。
除上述以外,与所述第二实施例相同。
此外,在本实施例中,也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送图像编码数据、帧内宏块编码数据、纠错码数据、以及与这些数据有关的信息。
在本实施例中,关于分发图像编码数据、帧内宏块编码数据及纠错码数据的会话,可以通过单播方式发送其中的至少一个会话,也可以通过多播或广播方式发送其中的至少一个会话。
此外,关于图像数据分发装置801中的分发信息发送部802、会话信息管理部803、图像数据存储/生成部804、图像编码数据发送部805、帧内宏块编码数据发送部806、FEC码数据发送部814,当然也可以通过在构成图像数据分发装置801的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置808中的会话信息接收部809、图像编码数据接收部810及帧内宏块编码数据接收部811、编码数据重构部812、解码器813、FEC码数据接收部815,当然也可以通过在构成图像数据接收装置808的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第九实施方式中,图像数据分发装置一侧包括:在运动图像数据的I图片、P图片、以及用于运动图像编码的编码方式中存在B图片时的所述B图片中,将I图片和其以外的图片分别分发在不同的会话中的单元;分发纠错码数据的单元;以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;接收纠错码数据的单元;使用纠错码数据来复用由于在传送通路中的错误或损失而丢失的运动图像数据的单元;以及,将所接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第九实施例。图9示出了本发明第九实施例的构成。如图9所示,具有图像数据分发装置901、图像数据接收装置908、以及用于传送图像编码数据和纠错码数据的传送通路907,它们分别与上述第三实施例的图像数据分发装置301、图像数据接收装置308、传送通路307相对应。此外,构成图像数据分发装置901的各要素902至906、构成图像数据接收装置908的各要素909至913也分别与上述第三实施例中的图像数据分发装置301的各要素302至306、图像数据接收装置308的各要素309至313相对应。以下,只说明与上述第三实施例不同的部分。另外,在本实施例中,为了简化说明,假设纠错码数据是从I图片编码数据中生成的来进行说明,当然纠错码数据也可以是从所有的图片编码数据中生成,并由不同的会话分发的。此外,在本实施例中,为了简化说明,将从一个编码数据生成的纠错码数据的个数设为“1”来进行说明,但很显然纠错码数据的个数不限于“1”。
图像数据分发装置901包括分发信息发送部902、会话信息管理部903、图像数据存储/生成部904、I图片编码数据发送部905、P/B图片编码数据发送部906、FEC码数据发送部914。
图像数据接收装置908包括会话信息接收部909、I图片编码数据接收部910、P/B图片编码数据接收部911、编码数据重构部912、解码器913、FEC码数据接收部915。
关于FEC的方式,与第七实施例相同。
在图像数据分发装置901中,图像数据存储/生成部904基于由会话信息管理部903设定的每个会话在传送通路907中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部905、P/B图片编码数据发送部906以及FEC码数据发送部914经由传送通路907发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和
从上述某一图像编码数据生成的纠错码数据。
此外,会话信息管理部903管理从各会话分发的图片信息和纠错码数据,并从分发信息发送部902将这些信息通知给图像数据接收装置908。
FEC码数据发送部914具有附加与RTP相当的信息(例如RTP报头信息的序列号)的功能,以便知道是I图片编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
图像数据接收装置908通过会话信息接收部909接收来自图像数据分发装置901的与编码数据类型及纠错码数据有关的信息,并从该信息得知从传送通路907接收的图像数据的图片类型和纠错码数据的对象编码数据类型。
此外,会话信息管理部903设定
·编码数据的编码设定、
·错误定性码类型、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部902通知给图像数据接收装置908,或者也可以事先在图像数据分发装置90 1及图像数据接收装置908之间设定这些信息。
当I图片数据编码数据由于传送通路中的错误或损失而无法被接收时,编码数据重构部912利用在FEC码数据接收部915接收的纠错码数据来复原I图片编码数据。有关将复原所得的I图片编码数据包括在内重构为图像数据的情况,与上述第三实施例相同。
根据接收环境,使分发的图像品质最佳的结构也和第三实施例一样,接收环境良好的图像数据接收装  908能够接收I图片编码数据、P/B图片编码数据以及纠错码数据,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以可进行考虑了网络资源的分发。
此外,关于纠错码数据为多个的情况,与第七实施例一样。
除上述以外,与所述第三实施例相同。
此外,在本实施例中,也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据、P/B图片编码数据、纠错码数据、以及有关它们的信息。
在本实施例中,关于分发I图片编码数据、P/B图片编码数据及纠错码数据的会话,可以通过单播方式发送其中的至少一个会话,也可以通过多播或广播方式发送其中的至少一个会话。
此外,关于图像数据分发装置901中的分发信息发送部902、会话信息管理部903、图像数据存储/生成部904、I图片编码数据发送部905、P/B图片编码数据发送部906、FEC码数据发送部914,当然也可以通过在构成图像数据分发装置901的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置908中的会话信息接收部909、I图片编码数据接收部910及P/B图片编码数据接收部911、编码数据重构部912、解码器913、FEC码数据接收部915,当然也可以通过在构成图像数据接收装置908的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第十实施方式中,图像数据分发装置包括:在运动图像数据的I图片、P图片、以及B图片中,将I/P图片和其以外的图片分别分发在不同的会话中的单元;分发纠错码数据的单元;以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;接收纠错码数据的单元;使用纠错码数据来复用由于传送通路中的错误或损失而丢失的运动图像数据的单元;以及,将所接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第十实施例。图10示出了本发明第十实施例的构成。如图10所示,具有图像数据分发装置1001、图像数据接收装置1008、以及用于传送图像编码数据和纠错码数据的传送通路1007。它们分别与上述第四实施例的图像数据分发装置401、图像数据接收装置408、传送通路407相对应。构成图像数据分发装置1001的各要素1002至1006、构成图像数据接收装置1008的各要素1009至1013也分别与上述第四实施例中的图像数据分发装置401的各要素402至406、图像数据接收装置408的各要素409至413相对应。以下,主要只说明与上述第四实施例不同的部分。另外,在本实施例中,为了简化说明,假设纠错码数据是从I/B图片编码数据中生成的来进行说明,当然纠错码数据也可以是从所有的图片编码数据中生成,并由不同的会话分发的。此外,在本实施例中,为了简化说明,将从一个编码数据生成的纠错码数据的个数设为“1”来进行说明,但很显然纠错码数据的个数不限于“1”。
图像数据分发装置1001包括分发信息发送部1002、会话信息管理部1003、图像数据存储/生成部1004、I/P图片编码数据发送部1005、B图片编码数据发送部1006、FEC码数据发送部1014。
图像数据接收装置1008包括会话信息接收部1009、I/P图片编码数据接收部1010、B图片编码数据接收部1011、编码数据重构部1012、解码器1013、FEC码数据接收部1015。
关于FEC的方式,与第七实施例相同。
在图像数据分发装置1001中,图像数据存储/生成部1004基于由会话信息管理部1003设定的每个会话在传送通路1007中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I/P图片编码数据发送部1005、B图片编码数据发送部1006以及FEC码数据发送部1014经由传送通路1007发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和从上述某一图像编码数据生成的纠错码数据。
此外,会话信息管理部1003管理从各会话分发的图片信息和纠错码数据,并从分发信息发送部1002将这些信息通知给图像数据接收装置1008。
FEC码数据发送部1014具有附加与RTP相当的信息(例如RTP报头信息的序列号)的功能,以便知道是I/P图片编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
图像数据接收装置1008通过会话信息接收部1009接收来自图像数据分发装置1001的与图像编码及纠错码数据有关的信息,并从该信息得知从传送通路1007接收的图像数据的图片类型和纠错码数据的对象编码数据类型。
此外,会话信息管理部1003设定
·编码数据的编码设定、
·错误定性码类型、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据和纠错码的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部1002通知给图像数据接收装置1008,或者也可以事先在图像数据分发装置1001及图像数据接收装置1008之间设定这些信息。
当I/P图片数据编码数据由于传送通路中的错误或损失而无法被接收时,编码数据重构部1012使用在FEC码数据接收部1015接收的纠错码数据来复原I/P图片编码数据。关于包括复原所得的I/P图片编码数据在内的图像数据的重构,与上述第四实施例相同。
根据接收环境,使分发的图像品质最佳的结构也和第四实施例一样,接收环境良好的图像数据接收装置1008能够接收I/P图片编码数据、B图片编码数据以及纠错码数据,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以可进行考虑了网络资源的分发。
此外,关于纠错码数据为多个的情况,与第七实施例一样。
除上述以外,与上述第四实施例相同。
此外,在本实施例中,也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I/P图片编码数据、B图片编码数据、纠错码数据、以及与这些数据有关的信息。
在本实施例中,关于分发I/P图片编码数据、B图片编码数据、以及纠错码数据的会话,可以通过单播方式发送其中的至少一个会话;也可以通过多播或广播方式发送其中的至少一个会话。
此外,关于图像数据分发装置1001中的分发信息发送部1002、会话信息管理部1003、图像数据存储/生成部1004、I/P图片编码数据发送部1005、B图片编码数据发送部1006、FEC码数据发送部1014,当然也可以通过在构成图像数据分发装置1001的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置1008中的会话信息接收部1009、I/P图片编码数据接收部1010及B图片编码数据接收部1011、编码数据重构部1012、解码器1013、FEC码数据接收部1015,当然也可以通过在构成图像数据接收装置1008的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第十一实施方式中,图像数据分发装置包括:分别在不同的会话中分发运动图像数据的I图片、P图片及B图片中的I图片、P图片、B图片的单元;分发纠错码数据的单元;以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;接收纠错码数据的单元;利用纠错码数据来复原由于传送通路中的错误或损失而丢失的运动图像数据的单元;以及,将所接收的运动图像数据重构为一个运动图像数据并进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第十一实施例。图11示出了本发明第十一实施例的构成。如图11所示,具有图像数据分发装置1101、图像数据接收装置1109、以及用于传送图像编码数据和纠错码数据的传送通路1108。它们分别与上述第五实施例的图像数据分发装置501、图像数据接收装置509、传送通路508相对应。构成图像数据分发装置1101的各要素1102至1107、构成图像数据接收装置1109的各要素1110至1115也分别与上述第五实施例中的图像数据分发装置501的各要素502至507、图像数据接收装置509的各要素510至515相对应。以下,只说明与上述第五实施例不同的部分。另外,在本实施例中,为了简化说明,假设纠错码数据是从I图片编码数据中生成的来进行说明,当然纠错码数据也可以是从所有的图片编码数据中生成,并由不同的会话分发的。此外,在本实施例中,为了简化说明,将从一个编码数据生成的纠错码数据的个数设为“1”来进行说明,但很显然纠错码数据的个数不限于“1”。
图像数据分发装置1101包括分发信息发送部1102、会话信息管理部1103、图像数据存储/生成部1104、I图片编码数据发送部1105、P图片编码数据发送部1106、B图片编码数据发送部1107、FEC码数据发送部1116。
图像数据接收装置1109包括会话信息接收部1110、I图片编码数据接收部1111、P图片编码数据接收部1112、B图片编码数据接收部1113、编码数据重构部1114、解码器1115、FEC码数据接收部1117。
关于FEC的方式,与第七实施例相同。
在图像数据分发装置1101中,图像数据存储/生成部1104基于由会话信息管理部1103设定的每个会话在传送通路1108中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部1105、P图片编码数据发送部1106、B图片编码数据发送部1107以及FEC码数据发送部1116经由传送通路1108发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和
从上述某一图像编码数据生成的纠错码数据。
会话信息管理部1103管理从各会话分发的图片信息和纠错码数据,并从分发信息发送部1102将这些信息通知给图像数据接收装置1109。
FEC码数据发送部1116具有附加与RTP相当的信息(例如RTP报头信息的序列号)的功能,以便知道是I图片编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
图像数据接收装置1109通过会话信息接收部1110接收来自图像数据分发装置1101的与图像编码及纠错码数据有关的信息,并从该信息得知从传送通路1108接收的图像数据的图片类型和纠错码数据的对象编码数据类型。
此外,会话信息管理部1103设定
·编码数据的编码设定、
·错误定性码类型、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据和纠错码的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部1102通知给图像数据接收装置1109,或者也可以事先在图像数据分发装置1101及图像数据接收装置1109之间设定这些信息。
当I图片数据编码数据由于传送通路中的错误或损失而无法被接收时,编码数据重构部1114使用在FEC码数据接收部1117接收的纠错码数据来复原I图片编码数据。有关将复原所得的I图片编码数据包括在内重构为图像数据的情况,与上述第五实施例相同。
根据接收环境,使分发的图像品质最佳的结构也和第五实施例一样,接收环境良好的图像数据接收装置1109能够接收I图片编码数据、P图片编码数据、B图片编码数据以及纠错码数据,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以可进行考虑了网络资源的分发。
此外,关于纠错码数据为多个的情况,与第七实施例一样。
除上述以外,与上述第五实施例相同。
此外,在本实施例中,也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据、B图片编码数据、P图片编码数据、纠错码数据、以及与这些数据有关的信息。
在本实施例中,关于分发I图片编码数据、P图片编码数据、B图片编码数据、以及纠错码数据的会话;可以通过单播方式发送其中的至少一个会话,也可以通过多播或广播方式发送其中的至少一个会话。
此外,关于图像数据分发装置1101中的分发信息发送部1102、会话信息管理部1103、图像数据存储/生成部1104、I图片编码数据发送部1105、P图片编码数据发送部1106、B图片编码数据发送部1107、FEC码数据发送部1116,当然也可以通过在构成图像数据分发装置1101的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置1109中的会话信息接收部1110、I图片编码数据接收部1111、P图片编码数据接收部1112、B图片编码数据接收部1113、编码数据重构部1114、解码器1115、FEC码数据接收部1117,当然也可以通过在构成图像数据接收装置1109的计算机中执行的程序控制来实现各自的功能及处理。
在本发明的第十二实施方式中,图像数据分发装置包括:分别在不同的会话中分发运动图像数据的I图片、P图片、用于运动图像编码的编码方式中存在B图片时的所述B图片、以及对运动图像的有关帧的至少一部分进行帧内宏块(Intra-MB)编码所得的编码数据的单元;分发纠错码数据的单元;以及,在至少一个会话中,对每个分发数据的会话设定在传送通路中的路由的优先级控制和在无线传送通路中的功率控制的单元。图像数据接收装置包括:接收通过至少一个会话来分发的数据的单元;接收纠错码数据的单元;使用纠错码数据来复原由于传送通路中的错误或损失而丢失的运动图像数据的单元;以及,基于图像品质在所接收的运动图像数据中选择数据,并将该数据重构为一个运动图像数据以进行解码的单元。此外,也可以是包括下述单元的结构,该单元基于接收数据的错误/损失率、接收装置的可用功率、预先确定的设定中的至少一个来选择至少一个会话的接收与否。
下面,参照附图说明本发明的第十二实施例。图12示出了本发明第十二实施例的构成。如图12所示,具有图像数据分发装置1201、图像数据接收装置1210、以及用于传送图像编码数据和纠错码数据的传送通路1209,它们分别与上述第六实施例的图像数据分发装置601、图像数据接收装置610、传送通路609相对应。构成图像数据分发装置1201的各要素1202至1208、构成图像数据接收装置1210的各要素1211至1217也分别与上述第六实施例中的图像数据分发装置601的各要素602至608、图像数据接收装置610的各要素611至617相对应。以下,只说明与上述第六实施例不同的部分。另外,在本实施例中,为了简化说明,假设纠错码数据是从I图片编码数据中生成的来进行说明,当然纠错码数据也可以是从所有的图像编码数据中生成,并由不同的会话分发的。此外,在本实施例中,为了简化说明,将从一个编码数据生成的纠错码数据的个数设为“1”来进行说明,但很显然纠错码数据的个数不限于“1”。
图像数据分发装置1201包括分发信息发送部1202、会话信息管理部1203、图像数据存储/生成部1204、I图片编码数据发送部1205、P图片编码数据发送部1206、B图片编码数据发送部1207、帧内宏块(Intra-MB)编码数据发送部1208、FEC码数据发送部1218。
图像数据接收装置1210包括会话信息接收部1211、I图片编码数据接收部1212、P图片编码数据接收部1213、B图片编码数据接收部1214、帧内宏块(Intra-MB)编码数据接收部1215、编码数据重构部1216、解码器1217、FEC码数据接收部1219。
关于FEC的方式,与第七实施例相同。
在图像数据分发装置1201中,图像数据存储/生成部1204基于由会话信息管理部1203设定的每个会话在传送通路1209中的路由的优先级信息、和/或无线传送通路的功率控制信息,从I图片编码数据发送部1205、P图片编码数据发送部1206、B图片编码数据发送部1207、Intra-MB编码数据发送部1208、以及FEC码数据发送部1218经由传送通路1209发送:
·预先存储的图像数据;或
·实时生成的图像数据;或
·实时转换现有图像数据而生成的图像数据;和
从上述某一图像编码数据生成的纠错码数据。
会话信息管理部1203管理从各会话分发的图片信息和纠错码数据,并从分发信息发送部1202将这些信息通知给图像数据接收装置1210。
FEC码数据发送部1218具有附加与RTP相当的信息(例如RTP报头信息的序列号)的功能,以便知道是I图片编码数据的哪个部分的纠错码数据。此外,还可以赋予表示纠错码数据的有效载荷类型、和/或SSRC、和/或CSRC。
图像数据接收装置1210通过会话信息接收部1211接收来自图像数据分发装置1201的与图像编码及纠错码数据有关的信息,并从该信息得知从传送通路1209接收的图像数据的图片类型和纠错码数据的对象编码数据类型。
此外,会话信息管理部1203设定
·编码数据的编码设定、
·错误定性码类型、
·纠错码设定(例如LDPC码中的检查矩阵数据,或用于生成该检查矩阵数据的设定)、
·编码选项(使用工具)、
·编码数据的有效载荷·选项、
·与用于识别编码数据的RTP报头的有效载荷类型相当的信息、
·与SSRC、CSRC相当的信息
中的至少一个,并通过分发信息发送部1202通知给图像数据接收装置1210,或者也可以事先在图像数据分发装置1201及图像数据接收装置1210之间设定这些信息。
当I图片数据编码数据由于传送通路中的错误或损失而无法被接收时,编码数据重构部1216使用在FEC码数据接收部1219接收的纠错码数据来复原I图片编码数据。有关将复原所得的I图片编码数据包括在内重构为图像数据的情况,与上述第六实施例相同。
根据接收环境,使分发的图像品质最佳的结构也和第六实施例一样,接收环境良好的图像数据接收装置1210能够接收I图片编码数据、P图片编码数据、B图片编码数据、帧内宏块编码数据以及纠错码数据,从而能够再现更高品质且稳定的运动图像数据。此外,由于可对分发这些信息的每个会话控制传送通路中的路由的优先级或无线传送通路中的发送功率,所以可进行考虑了网络资源的分发。
此外,关于纠错码数据为多个的情况,与第七实施例一样。
除上述以外,与上述第六实施例相同。
此外,在本实施例中,也可以采用如下结构:将传送通路设为多个,从而通过不同的传送通路来传送I图片编码数据、B图片编码数据、P图片编码数据、帧内宏块编码数据、纠错码数据、以及与这些数据有关的信息。
在本实施例中,关于分发I图片编码数据、P图片编码数据、B图片编码数据、帧内宏块编码数据及纠错码数据的会话,可以通过单播方式发送其中至少一个会话,也可以通过多播或广播方式发送其中至少一个会话。
此外,关于图像数据分发装置1201中的分发信息发送部1202、会话信息管理部1203、图像数据存储/生成部1204、I图片编码数据发送部1205、P图片编码数据发送部1206、B图片编码数据发送部1207、帧内宏块编码数据发送部1208、FEC码数据发送部1218,当然也可以通过在构成图像数据分发装置1201的计算机中执行的程序控制来实现各自的功能及处理。关于图像数据接收装置1210中的会话信息接收部1211、I图片编码数据接收部1212、P图片编码数据接收部1213、B图片编码数据接收部1214、帧内宏块编码数据接收部1215、编码数据重构部1216、解码器1217、FEC码数据接收部1219,当然也可以通过在构成图像数据接收装置1210的计算机中执行的程序控制来实现各自的功能及处理。
如上所述,以上述各实施例为例对本发明进行了说明,但本发明并不仅限于上述实施例的构成,当然也包括本领域技术人员在权利要求书的各权利要求的发明范围内可获得的各种变形、修改的方案。

Claims (16)

1.一种图像数据分发装置,其特征在于,包括分发图像编码数据的分发单元,所述分发单元通过与分发所述图像编码数据的会话不同的会话来分发从该图像编码数据生成的纠错码数据。
2.如权利要求1所述的图像数据分发装置,其特征在于,所述分发单元分发识别所述图像编码数据和所述纠错码数据的信息。
3.如权利要求1或2所述的图像数据分发装置,其特征在于,所述分发单元分发在所述纠错码的类型的设定中使用的信息。
4.如权利要求1或2所述的图像数据分发装置,其特征在于,所述分发单元分发接收侧的使用工具和所述图像编码数据的有效载荷·选项。
5.一种图像数据接收装置,其特征在于,包括接收图像编码数据的接收装置,所述接收装置通过与接收所述图像编码数据的会话不同的会话来接收从该图像编码数据生成的纠错码数据。
6.如权利要求5所述的图像数据接收装置,其特征在于,所述接收装置接收识别所述图像编码数据和所述纠错码数据的信息。
7.如权利要求5或6所述的图像数据接收装置,其特征在于,所述接收装置接收在所述纠错码的类型的设定中使用的信息。
8.如权利要求5或6所述的图像数据接收装置,其特征在于,所述接收装置接收自己的使用工具和所述图像编码数据的有效载荷·选项。
9.一种图像数据分发方法,其特征在于,包括分发图像编码数据的分发单元,所述分发单元通过与分发所述图像编码数据的会话不同的会话来分发从该图像编码数据生成的纠错码数据。
10.如权利要求9所述的图像数据分发方法,其特征在于,所述分发单元分发识别所述图像编码数据和所述纠错码数据的信息。
11.如权利要求9或10所述的图像数据分发方法,其特征在于,所述分发单元分发在所述纠错码的类型的设定中使用的信息。
12.如权利要求9或10所述的图像数据分发方法,其特征在于,所述分发单元分发接收侧的使用工具和所述图像编码数据的有效载荷·选项。
13.一种图像数据接收方法,其特征在于,包括接收图像编码数据的接收装置,所述接收装置通过与接收所述图像编码数据的会话不同的会话来接收从该图像编码数据生成的纠错码数据。
14.如权利要求13所述的图像数据接收方法,其特征在于,所述接收装置接收识别所述图像编码数据和所述纠错码数据的信息。
15.如权利要求13或14所述的图像数据接收方法,其特征在于,所述接收装置接收在所述纠错码的类型的设定中使用的信息。
16.如权利要求13或14所述的图像数据接收方法,其特征在于,所述接收装置接收自己的使用工具和所述图像编码数据的有效载荷·选项。
CN2004800048683A 2003-02-21 2004-02-16 图像数据分发装置、方法及图像数据接收方法 Expired - Lifetime CN1754385B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP044237/2003 2003-02-21
JP2003044237 2003-02-21
JP387993/2003 2003-11-18
JP2003387993 2003-11-18
PCT/JP2004/001621 WO2004075548A1 (ja) 2003-02-21 2004-02-16 画像データ配信制御方法及び装置とシステムならびにプログラム

Publications (2)

Publication Number Publication Date
CN1754385A CN1754385A (zh) 2006-03-29
CN1754385B true CN1754385B (zh) 2010-07-21

Family

ID=32911428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800048683A Expired - Lifetime CN1754385B (zh) 2003-02-21 2004-02-16 图像数据分发装置、方法及图像数据接收方法

Country Status (6)

Country Link
US (1) US20060285149A1 (zh)
EP (2) EP1599044A4 (zh)
JP (2) JPWO2004075548A1 (zh)
KR (2) KR100949402B1 (zh)
CN (1) CN1754385B (zh)
WO (1) WO2004075548A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006038054A1 (en) * 2004-10-06 2006-04-13 Nokia Corporation Packet transmission using error correction of data packets
US8351363B2 (en) * 2005-04-08 2013-01-08 Qualcomm Incorporated Method and apparatus for enhanced file distribution in multicast or broadcast
US8217803B2 (en) * 2008-04-22 2012-07-10 Srd Innovations Inc. Wireless data acquisition network and operating methods
US9128202B2 (en) * 2008-04-22 2015-09-08 Srd Innovations Inc. Wireless data acquisition network and operating methods
JP4626701B2 (ja) * 2008-10-21 2011-02-09 ソニー株式会社 表示装置
EP2200220A1 (en) * 2008-12-22 2010-06-23 Thomson Licensing Method and apparatus for reliable multicast streaming
US20110170443A1 (en) * 2010-01-13 2011-07-14 Ronald Gerald Murias Link sensitive aodv for wireless data transfer
US8949318B2 (en) * 2011-06-16 2015-02-03 Kodak Alaris Inc. Digital image communication
US20130182643A1 (en) * 2012-01-16 2013-07-18 Qualcomm Incorporated Method and system for transitions of broadcast dash service receptions between unicast and broadcast
US9860296B2 (en) 2012-03-23 2018-01-02 Avaya Inc. System and method for end-to-end call quality indication
US9178778B2 (en) 2012-03-23 2015-11-03 Avaya Inc. System and method for end-to-end RTCP
US9356917B2 (en) 2012-03-23 2016-05-31 Avaya Inc. System and method for end-to-end encryption and security indication at an endpoint
JP5979949B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
JP5979948B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
CN102665109A (zh) * 2012-04-19 2012-09-12 中兴通讯股份有限公司 一种多媒体视频数据的发送、接收方法及对应装置
US10623805B2 (en) * 2014-11-17 2020-04-14 Sony Corporation Sending device, method of sending high dynamic range image data, receiving device, and method of receiving high dynamic range image data
JP7271080B2 (ja) * 2017-10-11 2023-05-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、通信システム、通信方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1264249A (zh) * 2000-01-08 2000-08-23 四川长虹电器股份有限公司段军 数字hdtv接收装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744847B1 (fr) * 1995-05-23 2005-08-24 Koninklijke Philips Electronics N.V. Système de transmission d'information utilisant, en redondance, au moins deux canaux
JPH0923214A (ja) * 1995-07-05 1997-01-21 Hitachi Ltd ディジタル信号送受信装置
JPH1023380A (ja) * 1996-06-28 1998-01-23 Canon Inc 画像通信システム、画像通信装置、画像通信方法および媒体
JP3589532B2 (ja) * 1996-08-27 2004-11-17 松下電器産業株式会社 ディジタル映像通信システム
JPH10224746A (ja) 1997-02-05 1998-08-21 Kokusai Electric Co Ltd 画像伝送システム
JPH10294941A (ja) 1997-04-22 1998-11-04 Canon Inc 画像伝送システム、画像伝送装置、画像送信装置及び画像受信装置
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
JPH11127138A (ja) * 1997-10-24 1999-05-11 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
JPH11177628A (ja) * 1997-12-15 1999-07-02 Mitsubishi Electric Corp 広域環境用3次元仮想空間共有システム
JPH11187367A (ja) 1997-12-19 1999-07-09 Nec Corp 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
JPH11196072A (ja) * 1997-12-30 1999-07-21 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
JP2000295608A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体
JP3662473B2 (ja) * 2000-05-12 2005-06-22 株式会社エヌ・ティ・ティ・ドコモ マルチキャストサービス提供方法及び情報配信装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP3461157B2 (ja) * 2000-05-29 2003-10-27 松下電器産業株式会社 マルチキャリア通信装置およびマルチキャリア通信方法
US7003794B2 (en) * 2000-06-27 2006-02-21 Bamboo Mediacasting, Inc. Multicasting transmission of multimedia information
JP2002077912A (ja) * 2000-08-29 2002-03-15 Brother Ind Ltd 画像符号化装置
JP4341161B2 (ja) * 2000-09-12 2009-10-07 ソニー株式会社 情報提供方法、情報提供装置及び情報記録媒体
US7072971B2 (en) * 2000-11-13 2006-07-04 Digital Foundation, Inc. Scheduling of multiple files for serving on a server
EP1217841A2 (en) * 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
US20020073136A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Data reproduction method, data receiving terminal and data receiving method
JP2002251494A (ja) * 2000-12-20 2002-09-06 Victor Co Of Japan Ltd デジタルコンテンツデータ配信システム
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1241821A1 (fr) * 2001-03-13 2002-09-18 Koninklijke Philips Electronics N.V. Procédé de protection de paquets de données contre des erreurs
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
JP2002353964A (ja) * 2001-05-30 2002-12-06 Sony Corp コンテンツ提供装置及びコンテンツ提供方法
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7020823B2 (en) * 2002-03-19 2006-03-28 Matsushita Electric Industrial Co., Ltd. Error resilient coding, storage, and transmission of digital multimedia data
US20060109901A1 (en) * 2002-12-19 2006-05-25 Koninklijke Philips Electronics N.V. System and method for drift-free fractional multiple description channel coding of video using forward error correction codes
FR2852179A1 (fr) * 2003-03-06 2004-09-10 Thomson Licensing Sa Procede de codage d'une image video
KR101191181B1 (ko) * 2005-09-27 2012-10-15 엘지전자 주식회사 디지털 방송의 송/수신 시스템 및 데이터 구조

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1264249A (zh) * 2000-01-08 2000-08-23 四川长虹电器股份有限公司段军 数字hdtv接收装置

Also Published As

Publication number Publication date
KR100949402B1 (ko) 2010-03-24
KR100977646B1 (ko) 2010-08-24
JP5533435B2 (ja) 2014-06-25
EP1599044A4 (en) 2010-05-12
EP2538695A1 (en) 2012-12-26
JP2011010356A (ja) 2011-01-13
JPWO2004075548A1 (ja) 2006-06-01
CN1754385A (zh) 2006-03-29
WO2004075548A1 (ja) 2004-09-02
US20060285149A1 (en) 2006-12-21
KR20080024544A (ko) 2008-03-18
EP1599044A1 (en) 2005-11-23
KR20050103232A (ko) 2005-10-27

Similar Documents

Publication Publication Date Title
CN1754385B (zh) 图像数据分发装置、方法及图像数据接收方法
CN1914922B (zh) 内容的编码、分发及接收的方法、装置、系统
CN101849378B (zh) 用于流传输可缩放多媒体数据流的方法和装置
EP1410643B1 (en) Method for streaming media with multiple description bitstreams
US20140115094A1 (en) Systems and Methods for Data Representation and Transportation
CN101742271B (zh) 流媒体数据的传输方法、系统和装置
Munaretto et al. Broadcast video streaming in cellular networks: An adaptation framework for channel, video and AL-FEC rates allocation
CN110740334A (zh) 一种帧级别的应用层动态fec编码方法
US20060123456A1 (en) Video data distribution control method, device, system and program
KR20050071568A (ko) Ip망 위에서 fgs 인코딩된 비디오를 스트리밍하기위해 에러 복구를 제공하기 위한 시스템 및 방법
Sheikh et al. Distributed scheduling for low-delay and loss-resilient media streaming with network coding
US7627184B2 (en) Content distribution/reception device, content transmission/reception method, and content distribution/reception program
US7729311B2 (en) Image data communication system and image data communication method
Stockhammer et al. Nested harmonic broadcasting for scalable video over mobile datacast channels
Li et al. Dante: Enabling fov-aware adaptive fec coding for 360-degree video streaming
CN103987083A (zh) 一种视频流的无比率编码解码方法及装置
Wen et al. Dynamic FEC-distortion optimization for H. 264 scalable video streaming
EP3544370B1 (en) Delivering content over muliple different networks using different transmission modes
Zeng et al. Robust scalable video with network coding for peer-to-peer streaming
CN103974070A (zh) 基于多用户输入输出的无线视频传输方法及系统
Yin et al. An adaptive distance learning system based on media streaming
Liang et al. MoViF: a lower power consumption live video multicasting framework over ad-hoc networks with terminal collaboration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160224

Address after: Tokyo, Japan

Patentee after: Rakuten, Inc.

Address before: Tokyo, Japan

Patentee before: NEC Corp.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20100721