CN102273216A - 分发系统、方法以及变换装置 - Google Patents

分发系统、方法以及变换装置 Download PDF

Info

Publication number
CN102273216A
CN102273216A CN2010800039497A CN201080003949A CN102273216A CN 102273216 A CN102273216 A CN 102273216A CN 2010800039497 A CN2010800039497 A CN 2010800039497A CN 201080003949 A CN201080003949 A CN 201080003949A CN 102273216 A CN102273216 A CN 102273216A
Authority
CN
China
Prior art keywords
mentioned
information
conversion
terminal
coded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800039497A
Other languages
English (en)
Inventor
渡边一辉
小泽一范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102273216A publication Critical patent/CN102273216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供在分发比特流时需要对比特流进行变换的情况下则能够高速地进行变换的分发系统、方法、变换装置。本发明的分发系统,经由网络向终端分发一种以上的比特流,其中,具有变换装置(102)在分发终端(103)所指定的动态图像的编码数据时,为了适应从终端通知的性能信息和网络状况中的至少一种状况,该变换装置(102)重新利用上述编码数据的信息来对上述编码数据进行变换,并将变换了的编码数据发送给上述终端。

Description

分发系统、方法以及变换装置
技术领域
有关相关申请的记载
本发明主张日本专利申请号为特愿2009-002990号(2009年1月8日申请)的优先权,援引该申请的全部记载内容而记载于本说明书中。
本发明涉及图像变换技术,特别涉及具有对编码化的动态图像压缩编码比特流进行重新编码以使其适合网络、终端的变换装置的分发系统、方法以及其变换装置。
背景技术
近年来,作为以低比特率高效地传输动态图像信号的动态图像压缩编码方式,公知有ITU-T(International Telecommunication UnionTelecommunication Standardization Sector,国际电信联盟远程通信标准化组)建议H.261以及H.263、由ISO/IEC(International Organization forStandardization/International Electrotechnical Commission,国际标准化组织/国际电工协会)制定为国际标准的MPEG-4(Moving Picture ExpertGroup Phase 4,移动图像专家组第四阶段)。并且,由于由ITU-T和ISO/IEC制定为国际标准的H.264/MPEG-4AVC(Advanced VideoCoding)相比于上述动态图像压缩编码方式能够更有效地传输动态图像信号,从而备受关注。
动态图像压缩编码方式包括仅使用当前帧的图像数据来进行编码的帧内预测和参照过去、将来的帧的图像来进行编码的帧间预测。
在帧内预测中对输入图像帧进行编码时,对应于每个被称作“宏块”的单位进行DCT(Discrete Cosine Transform,离散余弦变换)之后,对DCT系数进行可变长编码。或者,针对宏块或将宏块更细地分割成的每个块,利用左侧、上侧等附近的块的像素进行预测。并且,对输入图像信号与预测信号间的残差信号进行DCT、DIT(DiscreteInteger Transform,离散整数变换)之后,对DCT系数或DIT系数进行可变长编码。
在帧间预测中,当对输入图像帧进行编码时,通过在与过去或将来的帧的解码像素间进行动态补偿预测来求出预测残差信号,对其进行DCT或DIT之后,对运动向量、DCT系数等进行可变长编码。
另外,近年来,研讨了用于使便携电话、PC等不同种类的终端或者相同种类的终端中功能不同的终端存在于相同网络上的方式。
在这种网络上对终端分发动态图像数据的情况下,由于因便携电话、PC等终端的种类或终端的功能不同而终端的性能存在差异,因而需要将图像数据变换成与各自终端对应的动态图像比特流。
在动态图像的数据通信中,由于对应于终端不同而使可显示的图像尺寸、比特率、帧速率存在限制,因而需要有与各自的终端对应的变换装置。
另外,由于网络的拥挤度不同,向每个终端分发的频带变宽或变窄,因而需根据网络状况来改变图像尺寸、比特率、帧速率。
但是,对所接收的动态图像压缩编码比特流编码数据的画面尺寸、比特率、帧速率进行变换时,需要将编码数据解码,并变换图像尺寸、比特率和帧速率,最后对上述变换了的动态图像信号重新进行编码。
作为进行动态图像变换的关联技术,例如在专利文献1公开了一种如下的图像分发装置:为了对应每个用户而分发被压缩成多样的图像压缩格式、图像尺寸、图像质量的动态图像等,且能够指定从用户终端向图像分发装置发送的图像的图像压缩格式、图像尺寸和图像质量,而在图像分发装置设有如下单元:根据来自用户终端的指定来决定图像压缩格式、图像尺寸和图像质量的各图像参数的单元;以该已决定的图像压缩格式、图像尺寸、图像质量生成比特流压缩图像数据的单元;将该已生成的比特流向用户终端发送的单元;以及根据上述已决定的图像压缩格式、图像尺寸和图像质量来向用户收费的单元。
作为使利用动态补偿预测以及正交变换来编码化了的数据的图像尺寸变换简单地进行而可得到良好的画质的编码数据图像尺寸变换装置,在专利文献2中公开了如下结构:通过图像数据变换器取得从所供给的图像编码数据变换到预定图像尺寸的宏块图像数据,通过运动向量变换器来取得将供给与宏块图像数据有关的变换运动向量的图像编码数据的运动向量乘以预定的变换比率而得出的值时,若该变换比率小于1,则与图像数据的变换所需的多个变换运动向量的分散对应地求出总运动向量,并利用作为总运动向量求出的宏块图像数据来进行尺寸变换,以取得图像编码数据。
作为在具有高像素显示画面的便携终端装置等的显示装置如减色动态图像那样以高画质逐帧播放显示的图像的动态图像分发装置,在专利文献3中公开了如下结构:在请求接收部中,接收来自便携终端装置的动态图像发送请求,机型判断部判断便携终端装置的机型,动态图像格式变换部将动态图像数据变换成适合机型的显示画面尺寸等的格式(实施图像尺寸变换);在便携电话终端装置不能显示动态图像数据但能显示以高画质逐帧播放显示多个帧的多媒体图像的情况下,动态图像变换部将动态图像数据变换为多媒体图像数据,此时,考虑到便携终端装置的数据容量等,图像输出部将多媒体图像数据发送给已提出请求的便携终端装置。如在后文说明中可知,专利文献1至3记载的发明与本发明完全不同。
专利文献1:日本特开2002-82861号公报
专利文献2:日本特开2002-344973号公报
专利文献3:日本特开2004-356998号公报
发明内容
发明要解决的课题
以下,提供基于本发明的分析。
当对图像尺寸、比特率、帧速率进行变换时,最大问题是重新编码时的运算量。其原因如下:当对具有各种性能的终端分发比特流时需要对比特流进行变换的情况下,需要进行用于重新预测的运算。
另外,对具有各种性能的终端分发比特流时需要对比特流进行变换的情况下,当直接使用所接收的比特流的信息时,画质会变差。
并且,若在网络状况发生变化的环境下分发比特流,则在需要对比特流进行变换的情况下,需要进行用于重新预测的运算。若在网络状况发生变化的环境下分发比特流,则在需要对比特流进行变换的情况下,直接使用上述所接收到的比特流的信息时,画质会变差。
本发明的目的在于提供在分发比特流时需要对比特流进行变换的情况下能使变换高速化的分发系统、方法以及变换装置。
本发明的另一目的在于提供在分发比特流时,需要对比特流进行变换的情况下能够进行使用上述接收到的比特流的信息来抑制画质变差的变换的分发系统、方法以及变换装置。
用于解决课题的手段
本发明为了解决上述课题中至少一种,简要构成如下所述。
根据本发明,提供一种分发系统,经由网络向终端分发一种以上的比特流,其特征在于,具有变换装置,当分发上述终端所指定的动态图像的编码数据时,上述变换装置为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,而重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
根据本发明,提供一种分发系统,经由网络向终端分发一种以上的比特流,其特征在于,具有变换装置,在分发上述终端所指定的动态图像的编码数据时,上述变换装置根据来自上述终端的上述终端的功能信息来判断是否对上述编码数据进行变换,并向上述终端发送上述比特流。
根据本发明,提供一种分发方法,经由网络向终端分发一种以上的比特流,其特征在于,在分发上述终端所指定的动态图像的编码数据时,变换装置为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,而重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
根据本发明,提供一种分发方法,在分发上述终端所指定的动态图像的编码数据时,变换装置根据来自上述终端的上述终端的功能信息来判断是否对上述编码数据进行变换,并向上述终端发送上述比特流。
根据本发明,提供一种程序,该程序使构成变换装置的计算机执行如下的处理:在分发上述终端所指定的动态图像的编码数据时,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,重新利用上述动态图像比特流的信息,对上述动态图像比特流进行变换,并将上述变换了的编码数据发送给上述终端。
根据本发明,提供一种程序,所述程序使构成变换装置的计算机执行如下的处理:在经由网络分发上述终端所指定的动态图像的编码数据时,根据来自上述终端的上述终端的功能信息来判断是否对上述编码数据进行变换,并向上述终端发送上述比特流。
根据本发明,提供一种变换装置,其特征在于,所述变换装置具有:接收部,接收来自分发服务器的编码数据,上述分发服务器向变换装置发送终端所指定的编码数据;性能信息交换部,与上述终端交换性能信息或功能信息;动态图像代码变换器,为了适应从上述分发服务器通知的性能信息或功能信息或网络状况的方式,重新利用从上述分发系统接收到的上述编码数据的信息进行编码;发送部,将来自上述动态图像代码变换器的编码数据发送给上述终端。
发明的效果
根据本发明,在分发比特流时需要对比特流进行变换的情况下,能够高速地进行变换。另外,根据本发明,在比特流分发时需要对比特流进行变换的情况下,能够使用上述接收到的比特流的信息来抑制画质变差。
附图说明
图1是表示本发明的第一、第四至第十三实施例的动态图像分发系统的结构的图。
图2是表示本发明的第一实施例的动态图像代码变换器的结构的图。
图3是表示本发明的第一至第六实施例的编码部的结构的图。
图4是表示本发明的第二、第四至第十三实施例的动态图像分发系统的结构的图。
图5是表示本发明的第三、第四至第十三实施例的动态图像分发系统的结构的图。
图6是表示本发明的第四实施例的动态图像代码变换器的结构的图。
图7是表示本发明的第五实施例的动态图像代码变换器的结构的图。
图8是表示本发明的第六实施例的动态图像代码变换器的结构的图。
图9是表示本发明的第六实施例的编码部的结构的图。
图10是表示本发明的第七实施例的动态图像代码变换器的结构的图。
图11是表示本发明的第七实施例的编码部的结构的图。
图12是表示本发明的第八实施例的动态图像代码变换器的结构的图。
图13是表示本发明的第八实施例的编码部的结构的图。
图14是表示本发明的第九实施例的动态图像代码变换器的结构的图。
图15是表示本发明的第九实施例的编码部的结构的图。
图16是表示本发明的第十实施例的动态图像代码变换器的结构的图。
图17是表示本发明的第十实施例的编码部的结构的图。
图18是表示本发明的第十一实施例的动态图像代码变换器的结构的图。
图19是表示本发明的第十一实施例的编码部的结构的图。
图20是表示本发明的第十二实施例的动态图像代码变换器的结构的图。
图21是表示本发明的第十三实施例的动态图像分发系统的结构的图。
图22是表示本发明的第十三至第十五实施例的动态图像代码变换器的结构的图。
图23是表示本发明的第十三至第十五实施例的编码部的结构的图。
图24是表示本发明的第十四实施例的动态图像分发系统的结构的图。
图25是表示本发明的第十五实施例的动态图像分发系统的结构的图。
附图标记的说明
101 分发服务器
102 变换装置
103 终端
104 传送路径
105 传送路径
106 传送路径
107 接收部
108 性能信息交换部
109 动态图像代码变换器
110 收发部
111 编码信息
112 编码数据
113 变换请求
114 性能信息、网络信息
115 编码数据
201 变换控制部
202 接收缓冲器
203 解码部
204 尺寸变换部
205 编码部
206 发送缓冲器
208 变换请求
209 变换信息
211 输入编码数据
212 编码参数
213 图像数据
214 图像数据
215 编码数据
216 编码信息
301 帧间预测数据生成部
302 帧内预测数据生成部
303 变换器
304 帧存储器
305 DCT(Discrete Cosine Transform,离散余弦变换)器
306 量子化器
307 反量子化器
308 反DCT器
309 环内滤波
310 可变长编码器
311 标题信息生成部
312 标题信息
313 图像数据
401 变换装置
402 终端
403 性能信息交换部
404 性能信息、功能信息、网络信息
501 变换装置
502 终端
503 性能信息交换部
504 性能信息、功能信息、网络信息、用户信息
600 动态图像代码变换器
601 变换控制部
700 动态图像代码变换器
701 变换控制部
800 动态图像代码变换器
801 变换控制部
802 编码部
803 变换信息
901 帧间预测编码部
902 帧内预测编码部
903 运动向量、参照帧信息
904 预测模式
1000 动态图像代码变换器
1001 变换控制部
1002 编码部
1003 变换信息
1101 帧间预测数据生成部
1102 帧间预测编码部
1103 帧内预测数据生成部
1104 帧内预测编码部
1105 变换器
1106 运动向量、参照帧信息
1107 预测模式
1190 动态图像代码变换器
1201 变换控制部
1202 编码部
1203 变换信息
1301 量子化器
1400 动态图像代码变换器
1401 变换控制部
1402 编码部
1403 变换信息
1501 量子化器
1600 动态图像代码变换器
1601 变换控制部
1602 编码部
1603 变换信息
1701 量子化器
1800 动态图像代码变换器
1801 变换控制部
1802 编码部
1803 变换信息
1901 环内滤波
1902 图像数据
2000 动态图像代码变换器
2001 变换控制部
2002 解码部
2003 编码部
2004 变换请求
2005 变换信息
2101 变换装置
2102 终端
2103 性能信息交换部
2104 动态图像代码变换器
2105 性能信息、功能信息
2201 变换控制部
2202 编码部
2203 变换信息
2301 帧间预测数据编码部
2302 帧内预测数据编码部
2401 变换装置
2501 变换装置
具体实施方式
以下,对本发明的实施方式进行说明。本发明的分发系统经由网络向终端分发一种以上的比特流。该分发系统,每次分发从终端指定了的动态图像比特流的编码数据动态图像编码数据时,重新利用从分发服务器接收的编码数据的信息来进行重新编码,以取得该接收到的编码数据适合从终端通知的性能信息,然后将重新编码了的编码数据分发给终端。
另外,本发明的分发系统向终端分发编码数据时,为了适应从终端通知的网络状况,而重新利用该编码数据的信息,重新编码并分发给终端。
更具体地说,在一种实施方式中,本发明的动态图像的分发系统设有:分发服务器101(图1),其将自终端103(图1)指定了的编码数据发送给变换装置102(图1);变换装置102(图1),其向终端103发送编码数据,该变换装置102具有与终端103交换性能信息的性能信息交换部108(图1)和动态图像代码变换器109(图1),该动态图像代码变换器109对从分发服务器101接收到的编码数据,重新利用上述编码数据的信息来进行编码,以适应从终端103通知的性能信息或网络状况;以及终端103,其与变换装置102交换性能信息,并接收到指定的动态图像数据。
分发服务器101将在终端103中指定了的编码数据发送给变换装置102。
变换装置102与终端103交换性能信息,对从分发服务器101接收的编码数据,为适应从终端103通知的性能信息而重新利用上述编码数据的信息进行重新编码,并发送给终端103。
另外,变换装置102从终端103接到网络状况的通知时,为适应该网络状况而对从分发服务器101接收到的编码数据重新利用该编码数据的信息来重新编码,并发送给终端103。
或者,变换装置102也可以根据从终端103通知的终端的功能信息来判断是否变换编码数据后,将比特流发送给终端。根据本发明,在对具有各种性能的终端分发比特流时需要变换比特流的情况下,能够高速地进行变换。
根据本发明,在对具有各种性能的终端分发比特流时需要变换比特流的情况下,能够使用上述接收的比特流的信息来进行可抑制画质变差的变换。
根据本发明,在网络状况变化的环境下分发比特流分发时需要对比特流进行变换的情况下,则能够高速地进行变换。
根据本发明,在网络状况变化的环境下分发比特流分发时需要对比特流进行变换的情况下,能够使用上述接收的比特流的信息来进行抑制画质变差的变换。
根据本发明,在网络状况变化的环境下分发比特流分发时需要对比特流进行变换的情况下,当变换为终端的解码性能上限的比特流时,能够进行抑制了网络负荷的变换。
根据本发明,当在网络状况变化的环境下分发比特流分发时需要对比特流进行变换的情况下,若网络的频带不足时,能够使用终端的信息来进行抑制了画质变差的变换。下面,结合实施例进行详细说明。
实施例1
以下,对本发明的第一实施例进行说明。图1是表示本发明的第一实施例的动态图像分发系统的结构的图。参照图1,本实施例的动态图像分发系统具有分发服务器101、变换装置102、终端103、用于连接分发服务器101与变换装置102的传送路径104、用于连接终端103与变换装置102的传送路径105以及用于连接分发服务器101与终端103的传送路径106。
经由传送路径106从终端103指定编码数据(动态图像编码数据)时,分发服务器101经由传送路径104向变换装置102分发编码数据和上述编码数据的编码信息。
变换装置102具有接收部107、性能信息交换部108、动态图像代码变换器109以及收发部110。
接收部107将从分发服务器101接收到的编码数据的编码信息发送给性能信息交换部108。另外,接收部107将从分发服务器101接收到的编码数据发送给动态图像代码变换器109。
性能信息交换部108与终端103交换性能信息。性能信息例如有如下信息:
●编码信息;
●图像尺寸信息;
●比特率;
●帧速率。
编码信息例如有如下信息:
●DCI(Decoder Configration Information,解码器配置信息);
●SPS(Sequence Parameter Set,序列参数集);
●PPS(Picture Parameter Set,图像参数集);
●SEI(Supplemental Enhancement Information,补充增强信息)等。
在收到从接收部107通知的编码数据的编码信息时,性能信息交换部108将其与从终端103通知的编码信息进行比较,并判断是否对从分发服务器101接收到的编码数据进行变换。在判断为需要变换的情况下,性能信息交换部108向动态图像代码变换器109通知如下信息:
●变换后的画面尺寸;
●比特率;
●帧速率;
●编码信息。
在不需要进行变换情况下,性能信息交换部108向动态图像代码变换器109通知不需用进行变换。
另外,性能信息交换部108在收到从终端103通知的网络状况时,为了将数据变换成适应网络状况的编码数据,而将所需变换后的画面尺寸、比特率、帧速率、编码信息通知给动态图像代码变换器109。
作为通知网络状况的单元可使用如下单元:
●Session Description Protocol(SDP,会话描述协议)[RFC(REquest For Comments,请求注解)2327];
●Real Time Streaming Protocol(RTSP,实时流协议)[RFC2326];
●RTP Control Protocol(RTCP,RTP控制协议)[RFC1890];
●The SIP(Session Initiation Protocal,会话发起协议)INFOMethod[RFC2976]等。
例如在网络的频带中没有宽余(富余)的情况下,在适应从终端103通知的性能信息的范围内,缩小图像尺寸,降低比特率、帧速率。
另一方面,在网络的频带有宽余的情况下,在适应从终端103通知的性能信息的范围内,扩大图像尺寸,增加比特率、帧速率。
此外,变更图像尺寸、比特率和帧速率时,根据需要从性能信息交换部108以带内或带外方式向终端103通知编码信息。
作为通知方法,在编码中加入DCI、SPS、PPS、SEI来发送,或以SDP、RTSP、RTCP、SIP INFO Method等方式发送。
例如在如下的情况下,需要从变换装置102的性能信息交换部108向终端103通知编码信息:
●对图像尺寸进行变换时;或者
●预先通知动态图像压缩编码方式的各级别,且画面尺寸、比特率、帧速率超出在动态图像压缩编码方式中预定级别的上限时等。
图2是表示图1的动态图像代码变换器109的构成一例的图。参照图2,对动态图像代码变换器109进行说明。动态图像代码变换器109具有变换控制部201、接收缓冲器202、解码部203、尺寸变换部204、编码部205以及发送缓冲器206。
变换控制部201以来自性能信息交换部108的变换请求113和来自解码部203的编码参数212为基础,向尺寸变换部204提出尺寸变换请求208,向编码部205赋予变换信息209。
作为变换请求113有如下信息:
●编码信息;
●倍率;
●变换后的图像尺寸;
●比特率;
●帧速率等。
变换控制部201从性能信息交换部108接收编码信息时,能够将编码信息发送给解码部203。
接着,具体说明从变换控制部201向尺寸变换部204发出指示208的情况。当变换控制部201接收到来自性能信息交换部108的变换请求113时,向尺寸变换部204发出输入图像数据的尺寸变换请求208。若来自性能信息交换部108的变换请求113成为倍率,则将上述变换请求直接发送给尺寸变换部204。从性能信息交换部108输入变换后的图像尺寸的情况下,变换控制部201基于从解码部203接收到的编码参数212或从性能信息交换部108接收到的编码信息来获得尺寸变换前的图像尺寸,并向尺寸变换部204发送倍率或输入输出的图像尺寸的信息。向尺寸变换部204指示在尺寸变换后的图像尺寸与变换前相同的情况下不要进行变换。
另外,变换控制部201接收在来自性能信息交换部108的变换请求113中包含的帧速率的信息,并向尺寸变换部204发出指示。帧速率的信息包括如下信息:
●输入编码数据;
●输出编码数据各自的帧速率信息;
●对输入编码数据的帧进行间除的个数、时机的信息等。
变换控制部201以帧速率的信息为基础,通知尺寸变换部204进行帧的间除。
接着,具体说明从变换控制部201向编码部205发出的指示。
变换控制部201使用来自性能信息交换部108的变换请求113和来自解码部203的编码参数212,生成发送给编码部205的信息209。
信息209包括如下信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●帧类型;
●比特率;
●帧速率等。
在进行帧间预测的情况下,使用如下的信息209中的信息:
●帧类型;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型。
在进行帧内预测的情况下,使用了信息209中的如下信息:
●帧类型;
●预测模式和方向;
●块尺寸;
●块类型。
下面,对使用变换请求113和编码参数212来生成信息209的顺序进行说明。
为了简单起见,以2倍、1/2为例进行了说明,但这只是用于说明本发明而提出的一个例子,当然不是将本发明限定于此。从本发明的原理也可知,也能够适用其他倍率、运动向量、预测模式及方向、块尺寸。
<例1>将图像尺寸变换为2倍的情况:
所输入的编码数据的8×8块A的运动向量在右方为5且在上方为4的情况下,为了对尺寸变换后的块A进行编码,以16×16的尺寸将右10且上8的运动向量发送给编码部205。此时,参照帧信息使用与输入编码数据相同的值。
<例2>将图像尺寸变换为1/2倍的情况:
所输入的编码数据的8×8块B的帧内预测模式为左向的情况下,为了对尺寸变换后的块B进行编码,以4×4的尺寸将帧内预测模式为左向的信息发送给编码部205。
接着,对变更帧速率的情况进行描述。
由变换控制部201判断帧速率是否降低,向编码部205通知有无对每个帧进行编码。
以下,对帧速率降低时的运动向量、参照帧信息的生成方法,以将画面尺寸变换为2倍之后每隔1帧进行帧间除的情况为例进行说明。另外,从本发明的原理也可知,能够实施其他尺寸、帧速率。
<例1>
关于参照帧,在参照该帧间除的帧的情况下,参照其过去或将来的输出帧。另外,由于参照帧编号也需要间除,因而减去相应帧间除的数。在该帧参照输出的帧的情况下,直接参照帧。此时,由于参照帧编号也需要间除,因而减去相应帧间除的数。
接着,关于运动向量,由于画面尺寸成为2倍,因而将输入编码数据的运动向量设为2倍。在该帧参照输出的帧的情况下,运动向量的尺寸直接是画面尺寸比。
在该帧参照间除帧的情况下,参照相比其过去或将来的输出帧,例如在间除的帧为该帧的1帧前的情况且参照2帧前的情况下,将运动向量根据画面尺寸比进而设为2倍。
例如在所间除的帧为该帧的3帧前且参照2帧前的情况下,将运动向量根据画面尺寸比进而设为0.66倍。
<例2>
关于参照帧,在该帧参照所间除的帧的情况下,参照间除的帧所参照的输出帧。另外,由于参照帧编号也需要间除,因而将帧减去相应间除的数。在该帧参照输出的帧的情况下,直接参照帧。此时,由于参照帧编号也需要间除,因而将帧减去相应间除的数。
接着,关于运动向量,由于画面尺寸成为2倍,因而将输入编码数据的运动向量设为2倍。在参照该帧输出的帧的情况下,运动向量的尺寸直接是画面尺寸比。在参照该帧间除的帧的情况下,参照相比其过去或将来的输出帧,并使该帧的输入编码数据内的运动向量与所间除的帧的运动向量结合。
接收缓冲器202接收从图1的接收部107发送出的输入编码数据112,并将其发送给解码部203。
解码部203在从变换控制部201接收到编码信息216的通知的情况下,利用编码信息216,根据从接收缓冲器202接收到的输入编码数据211对图像数据213进行解码。解码部203将已解码的图像数据发送给尺寸变换部204。
解码部203没有从变换控制部201接收到编码信息216的通知的情况下,利用没有包含在输入编码数据211中的编码信息,根据输入编码数据211对图像数据进行解码。
另外,解码部203将解码时得到的输入编码数据的编码参数212通知给变换控制部201。
尺寸变换部204利用在来自变换控制部201的信息208中所包含的倍率或输入输出图像尺寸,对从解码部203接收到的图像数据213的图像尺寸进行变换。尺寸变换部204将变换后的图像数据214发送给编码部205。
另外,尺寸变换部204从变换控制部201得到进行帧间除的请求时,不对从解码部203输入的图像数据213进行尺寸变换而将其废弃。此时,在尺寸变换部204废弃的图像数据不发送给编码部205。
编码部205针对从尺寸变换部204接收到的图像数据214,使用来自变换控制部201的信息的同时对其进行编码。编码部205将编码后的数据215发送给发送缓冲器206。
在降低帧速率的情况下,根据来自变换控制部201的信息指示不进行编码时,编码部205不进行该帧的编码。
图3是表示图2的编码部205的构成例的图。参照图3对编码部205进行说明。在本实施例中,以H.264为例进行了说明,但这只是用于说明本发明而提出的一例,当然不是将本发明限定于此。从本发明的动态图像变换方式的原理可知,也可以应用到H.263、MPEG-4、H.264 SVCScalable Video Codec、H.264 MVCMultiview Video Codec、其他动态图像压缩编码方式中。
编码部205具有帧间预测数据生成部301、帧内预测数据生成部302、变换器303、帧存储器304、DCT(离散余弦变换)器305、量子化器306、反量子化器307、反DCT器308、环内滤波器309、可变长编码器310和标题信息生成部311。
帧间预测数据生成部301使用从变换控制部201接收到的信息209和来自帧存储器304的图像数据313进行帧间预测,生成预测数据并发送给变换器303。
作为在帧间预测数据生成部301使用的变换信息209有如下信息:
●运动向量;
●参照帧信息;
●块尺寸、块类型等。
帧内预测数据生成部302使用从变换控制部201接收到的信息209和从尺寸变换部204接收到的图像数据214进行帧内预测,生成预测数据并发送给变换器303。
作为在帧内预测数据生成部302使用的变换信息209有如下信息:
●预测模式和方向;
●块尺寸、块类型等。
变换器303根据来自变换控制部201的变换信息209,对在帧间预测数据生成部301或帧内预测数据生成部302生成的预测数据进行切换,使得能发送给DCT器305、环内滤波器309、帧内预测数据生成部302。
量子化器306以从变换控制部201发出指示的信息209中包含的比特率为目标,来决定量子化步骤。另外,由于决定量子化步骤的方法与通常的编码器进行相同的动作,因而省略了其说明。
标题信息生成部311以从变换控制部201接收到的信息209为基础来生成标题信息312并向可变长编码器310输出。作为在标题信息生成部311使用的信息209有帧类型、图像尺寸、运动向量、块尺寸、块类型、预测模式及方向、参照帧信息和帧速率等。
由于其他结构构成为与通常的编码器相同的结构、动作,因而在图3中省略了其说明。
参照图2,发送缓冲器206从编码部205接收图像比特流215,并将图像比特流115输出到图1的收发部110。
在图1中,收发部110将从终端103通知的性能信息、网络状况通知给性能信息交换部108,并且将上述性能信息交换部108所通知的性能通知给信息终端。另外,收发部110将从动态图像代码变换器接收到的编码数据115发送给终端。
终端103选择所希望的动态图像比特流,并向分发服务器101发出请求。另外,终端103与变换装置102交换性能信息。另外,从变换装置102接收上述所希望的动态图像比特流。另外,终端103根据本身或来自变换装置102的请求将网络状况通知给变换装置102。
作为网络状况通知的协议有如下协议:
●Session Description Protocol(SDPR)[RFC2327];
●Real Time Streaming Protocol(RTSP)[RFC];
●RTP Control Protocol(RTCP)[RFC1890];
●he SIPSession Initiation Protocal INFO Method[RFC2976]等。
传送路径104、105、106为线路交换网与数据包交换网中的至少一种网络。
根据本实施例,在向终端分发编码数据的情况下,根据终端的性能信息、网络状况变换分发服务器的编码数据时,能高速地进行该变换。
也可以通过在构成动态图像代码变换器109的计算机上运行的程序来实现图2的动态图像代码变换器109的变换控制部201、解码部203、尺寸变换部204和编码部205各部的处理。同样,也可以通过在构成变换装置102的计算机上运行的程序来实现图1的变换装置102中的接收部107、性能信息交换部108、动态图像代码变换器109和收发部110的各处理。
实施例2
接着对本发明的第二实施例进行说明。图4是表示本发明的第二实施例的动态图像分发系统的结构的图。在图4中,对与图1相同的结构元件标注相同的附图标记。参照图4,动态图像分发系统具有分发服务器101、变换装置401、终端402和传送路径104、105、106。
变换装置401具有接收部107、性能信息交换部403、动态图像代码变换器109以及收发部110。
性能信息交换部403与终端402交换性能信息、功能信息。另外,性能信息交换部403从终端402接收网络状况的通知。另外,在图4中,将性能信息、功能信息和网络信息合起来表示信息404。
作为性能信息,例如有如下信息:
●编码信息;
●图像数据;
●比特率;
●帧速率。
作为编码信息,例如有如下信息:
●DCI(Decoder Configration Information);
●SPS(Sequence Parameter Set,PPSPicture Parameter Set);
●SEI(Supplemental Enhancement Infomation)等。
作为功能信息,例如有如下信息:
●画面尺寸变换的功能;
●帧间除的功能;
●扩大比特流的频带的功能等。
在变换画面尺寸的功能中,有能应对的图像尺寸、放大、缩小比信息;
在帧间除的功能中,有能应对的帧间除量信息;
在扩大比特流的频带的功能中,有扩大方法、用于扩大的表格信息等。
在终端402具有变换图像尺寸的功能的情况下,为了还缩小图像尺寸,向动态图像代码变换器109发出指示。在终端402将缩小了的比特流放大为原来大小来进行显示。
另外,在终端402帧间除的功能的情况下,在动态图像代码变换器109中,以帧单位对编码数据112进行间除。在终端402使用帧间除功能根据间除了的编码数据115来显示比特流。
另外,在终端402具有扩大比特流的频带的功能的情况下,在动态图像代码变换器109中,提高量子化步骤并降低编码数据115的比特率。在终端402扩大接收到的编码数据115的频带并显示比特流。
在本实施例中,也可以组合上述功能来进行变换。
作为终端向变换装置401通知功能的协议有如下协议:
●Session Description Protocol(SDPR)[RFC2327];
●Real Time Streaming Protocol(RTSP)[RFC];
●RTP Control Protocol(RTCP)[RFC1890];
●The SIPSession Initiation Protocal INFO Method[RFC2976]等。
另外,变换装置401在变换尺寸、帧速率、比特率的情况下,也可以使用如下协议进行通知:
●Session Description Protocol(SDPR)[RFC2327];
●Real Time Streaming Protocol(RTSP)[RFC];
●RTP Control Protocol(RTCP)[RFC1890];
●The SIPSession Initiation Protocal INFO Method[RFC2976]等。
终端402根据本身或来自变换装置401的请求,通知终端本身的功能信息。作为功能信息,例如为变换画面尺寸的功能、帧间除的功能、扩大比特流的频带的功能等。由于上述以外的结构以及动作与上述实施例1相同,因而省略了其说明。
根据本实施例,在向终端分发编码数据的情况下,能够根据终端的性能信息、网络状况来高速地变换分发服务器101的编码数据,并使用功能信息,由此与上述实施例1相比,能够抑制画质变差。另外,在本实施例中,当然也可以通过在变换装置401的计算机上运行的程序来实现变换装置401的各部的功能。
实施例3
接着参照图2、图3、图5对本发明的第三实施例进行详细说明。图5是表示本发明的第三实施例的动态图像分发系统的结构的图。在图5中,对与图1相同的结构元件标注相同的附图标记。参照图5,动态图像分发系统具有分发服务器101、变换装置501、终端502和传送路径104、105、106。
变换装置501具有接收部107、性能信息交换部503、动态图像代码变换器109以及收发部110。
性能信息交换部503与终端502交换性能信息、功能信息和用户信息。另外,性能信息交换部503从终端502接收网络状况的通知。在图5中,将性能信息、功能信息、用户信息以及网络信息合起来表示信息504。
作为用户信息例如包含如下信息:
●是否经由包括毫微微蜂窝式小区、小型基站等的专用线路进行通信;
●是否定额利用;
●签约的运营商信息等。
可使用如下的用户信息来进行通知:
●Session Description Protocol(SDPR)[RFC2327];
●Real Time Streaming Protocol(RTSP)[RFC];
●RTP Control Protocol(RTCP)[RFC1890];
●The SIPSession Initiation Protocal INFO Method[RFC2976]等。
变换装置501的性能信息交换部503以性能信息、功能信息、用户信息或性能信息、网络状况以及功能信息为基础,变换输入编码数据。
例如,在终端502不利用专用线路而接收编码数据的情况下,以终端502所具的功能信息为基础,变换装置501在性能信息的范围内抑制比特率。
在终端502具有变换图像尺寸的功能的情况下,在变换装置501内缩小图像尺寸。
在终端502具有帧间除的功能的情况下,在变换装置501内对帧进行间除。
在终端502具有扩大比特流的频带的功能的情况下,在变换装置501内抑制比特率。
例如,在终端502利用专用线路接收编码数据的情况下,
不进行变换,或者,
在变换装置501内,性能信息的范围内进行如下动作中的至少一种,并分发给终端502编码数据:
●图像尺寸的放大;
●帧速率的间除;
●比特流的频带的扩大。
另外,在终端502利用固定费用制接收编码数据的情况下,变换装置501以终端502所具有的功能信息为基础,在性能信息的范围内抑制比特率。
在终端502具有变换图像尺寸的功能的情况下,在变换装置501内缩小图像尺寸。
在终端502具有帧间除的功能的情况下,在变换装置501内对帧进行间除。
在终端502具有扩大比特流的频带的功能的情况下,在变换装置501内抑制比特率。
例如,在终端502利用专用线路接收编码数据的情况下,
不进行变换,或者,
在变换装置501内,进行如下动作中的至少一种向终端502分发编码数据:
●图像尺寸的放大;
●帧速率的间除;
●比特流的频带的扩大。
另外,以运营商信息为基础,使与运营商签约的服务、频带以及功能信息组合,进行与上述相同的变换。
终端502根据本身或来自变换装置501的请求,将终端本身的功能信息、用户信息通知给变换装置501。由于上述以外的结构以及动作与上述实施例1至2相同,因而省略了其说明。
根据本实施例,在向终端分发编码数据的情况下,能根据终端的性能信息和网络状况来高速地变换分发服务器的编码数据,并且与上述实施例1、2相比,能对用户的频带进行分配控制。另外,在本实施例中,当然也可以通过在变换装置401的计算机上运行的程序来实现变换装置501的各部的功能。
实施例4
接着参照图1、图3、图6对本发明的第四实施例进行详细说明。图6是表示本发明的第四实施例的动态图像代码变换器600的结构的图。在图6中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器600配置在图1、图4、图5的动态图像代码变换器109的位置。
参照图6,变换控制部601以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113为基础,向尺寸变换部204发出尺寸变换请求208,并向编码部205发出变换信息209。
下面对使用变换请求113和编码参数212生成变换信息209的顺序进行说明。为简单起见,以4倍为例,但当然也可以在下述以外的倍率实现。
<例1>将图像尺寸变换为4倍的情况:
所输入的编码数据的4×4块B的帧内预测模式为左上方向(角度30度)的情况下,为了对尺寸变换后的块B进行编码而使尺寸成为16×16。此时,在16×16块的帧内预测模式没有左上方向(角度30度)的情况下,近似于存在的预测方向。例如,只有左、右、上、下这4个方向的情况下,将其是左方向的信息发送给编码部205。
由于上述以外的结构以及动作与上述实施例1至3相同,因而省略了其说明。
根据本实施例,在向终端分发编码数据的情况下,能根据终端的性能信息、网络状况高速地变换分发服务器的编码数据。另外,根据本实施例,能提高尺寸变换的灵活性。另外,在本实施例中,当然也可以通过在动态图像代码变换器600的计算机上运行的程序来实现动态图像代码变换器600的各部的功能。
实施例5
接着参照图1、图3、图7对本发明的第五实施例进行详细说明。图7是表示本发明第五实施例的动态图像代码变换器700的结构的图。在图7中,与图2相同又等同的结构元件标注相同的附图标记。动态图像代码变换器700配置在图1、图4、图5中的动态图像代码变换器109的位置上。
参照图7,变换控制部701以来自性能信息交换部108的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部205发出变换信息209。
下面对使用变换请求113和编码参数212生成变换信息209的顺序进行说明。为简单起见,以2倍、1/2倍为例进行了说明,但这只是为了说明本发明而提出的一例,当然不用于限定本发明。从本发明的原理也可知,也可以适用其他倍率、运动向量、预测模式和方向、块尺寸。
<例1>将图像尺寸变换为2倍的情况:
在所输入的编码数据的16×16块A的运动向量为右5、上4的情况下,尺寸变换后的块A成为32×32。此时,设进行编码的块的最大的单位为16×16时,为了进行编码而需要将尺寸变换后的32×32的块A分割为4份。此时,针对分割了的4个16×16块的各块,将右10、上8的运动向量发送给编码部205。此时,参照帧信息使用与输入编码数据相同的值。
<例2>将图像尺寸变换为1/2倍的情况:
在所输入的编码数据的4×4块B的帧内预测模式为左方向的情况下,尺寸变换后的块B成为2×2。此时,设进行编码的块的最小单位为4×4时,为了进行编码而需要与将尺寸变换后的2×2的块B周围的2×2块合成而成为4×4块。此时,将2×2块各自的预测模式方向合成来决定一个预测模式。
作为合成的方法,将4种中的最多的模式及方向发送给编码部205。若四个2×2块为左2个、上2个,且为45°方向的模式,则选择左上45°方向的模式。另外,在4个2×2块为左、右、上、下的情况下,使用平均值模式。
由于上述以外的结构以及动作与上述实施例1至3相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,能根据终端的性能信息、网络状况高速地变换分发服务器的编码数据,并且相比实施例3能进一步提高尺寸变换的灵活性。另外,在本实施例中,当然也可以通过在动态图像代码变换器700的计算机上运行的程序来实现动态图像代码变换器700的各部的功能。
实施例6
接着参照图1、图8、图9对本发明的第六实施例进行详细说明。图8是表示本发明第六实施例的动态图像代码变换器800的结构的图。在图8中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器800配置在图1、图4、图5中的动态图像代码变换器109的位置上。
参照图8,变换控制部801以来自性能信息交换部108的变换请求113和来自解码部203的编码参数212为基础,向尺寸变换部204发出尺寸变换请求208,向编码部802发出变换信息803。
变换控制部801对编码部802发送如下的信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●比特率;
●帧速率。
图9是表示本发明第六实施例的编码部802的结构的图。在图9中,对与图3相同或等同的结构元件标注相同的附图标记。参照图9对编码部802进行说明。
帧间预测编码部901使用从变换控制部801接收到的变换信息803来进行帧间预测编码。
更具体地,的帧间预测编码部901作为信息803接收如下的信息:
●参照帧信息;
●运动向量;
●帧的检索范围;以及
●运动向量的检索范围。
帧间预测编码部901在从帧存储器904接收一个图像数据时,则以上述运动向量为起点,对该一个图像数据进行与运动向量的检索范围对应的帧间预测。
在帧间预测编码部901中,作为检索范围,例如以上述运动向量为起点,检索至上下左右一概离开预定位置的地点为止。或者,利用上述运动向量的方向,以上述运动向量为起点,针对上述运动向量的方向,检索离开预定位置的地点。若帧的检索范围在2个以上,则以帧编号为起点,进行与帧的检索范围对应的运动向量的检索,决定最佳运动向量、帧编号,并作为运动向量、参照帧信息903发送给可变长编码器310。
帧内预测编码部902使用从变换控制部801接收到的变换信息803来进行帧内预测符号。更具体地,帧内预测编码部902作为变换信息803接收如下信息:
●预测模式;
●检索范围。
帧内预测编码部902若接收到进行预测的块及其附近的图像数据,则以预测模式为起点,从检索范围内的预测模式决定最佳预测模式,并作为预测模式904发送给可变长编码器310。
下面举例说明以由变换信息803接收到的预测模式为起点进行检索的方法。
在预测方向对应每45°都存在,根据信息803接收到的预测模式为左方向且检索范围为2的情况下,除了左方向的帧内预测以外,还进行左上45°和左下45°的帧内预测,从而决定最佳预测模式。
由于上述以外的结构以及动作与上述实施例1至4相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,能根据终端的性能信息、网络状况高速地变换分发服务器的编码数据。另外,根据本实施例,相比上述实施例1至4更进而提高画质。另外,在本实施例中,也可以通过在动态图像代码变换器800的计算机上运行的程序来实现动态图像代码变换器800的各部的功能。
实施例7
接着参照图1、图10、图11对本发明的第七实施例进行详细说明。图10是表示本发明第七实施例的动态图像代码变换器1000的结构的图。在图10中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器1000配置在图1、图4、图5的动态图像代码变换器109的位置上。
参照图10,变换控制部1001以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部1002发出编码指示。
变换控制部1001对编码部1002发送如下信息:
●图像数据尺寸;
●帧类型、预测模式及方向、运动向量、参照帧信息、块尺寸、块类型、帧速率、输入编码数据的符号量分布、比特率、预测模式以及用于判断是否使用运动向量的阈值(信息1003)。
阈值例如有如下的值:
●(进行预测的块的尺寸)×(图像数据的振幅的平均值或其平方),或者,
●根据比特率、输入编码数据的符号量分布而计算出的各块的目标符号量等。
图11是表示本发明第七实施例的编码部1002的结构的图。在图11中,对与图3相同或等同的结构元件标注相同的附图标记。参照图10对编码部1002进行说明。
帧间预测数据生成部1101使用在从变换控制部1001接收到的变换信息1003中包含的运动向量、帧编号来生成帧间预测数据。另外,将上述帧间预测数据与帧存储器304的图像数据之差与阈值进行比较。
在预测残差小于阈值的情况下,帧间预测编码部1102采用以变换信息1003接收到的运动向量、帧编号。
在预测残差大于阈值的情况下,通过帧间预测编码部1102进行帧间预测并决定运动向量、帧编号,并将运动向量、参照帧信息1106发送给可变长编码器310。此时,帧间预测编码部1102也可以将以变换信息1003接收到的运动向量、帧编号作为起点。
另外,也可以使用帧内预测编码部1103来代替帧间预测编码部1102。
帧内预测数据生成部1104使用以信息1003接收到的预测模式来生成帧内预测数据。另外,帧内预测数据生成部1104对帧内预测数据与该块附近的图像数据之差和阈值进行比较。
在预测残差小于阈值的情况下,帧内预测数据生成部1104采用以变换信息1003接收到的预测模式。
在预测残差大于阈值的情况下,通过帧内预测编码部1103进行帧内预测来决定预测模式(1107),并发送给可变长编码器310。此时,也可以将以变换信息1003接收到的预测模式作为起点。另外,也可以使用帧间预测编码部1102来代替帧内预测编码部1103。
由于上述以外的结构以及动作与上述实施例1至6相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,能根据终端的性能信息、网络状况高速地变换分发服务器的编码数据,并且相比实施例1至6能进而提高画质。另外,在本实施例中,当然也可以通过在动态图像代码变换器1000的计算机上运行的程序来实现动态图像代码变换器1000的各部的功能。
实施例8
接着参照图1、图12、图13对本发明的第八实施例进行详细说明。图12是表示本发明第八实施例的动态图像代码变换器1200的结构的图。在图12中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器1200配置在图1、图4、图5的动态图像代码变换器109的位置。
参照图12,变换控制部1201以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部1202发出变换信息1203。
变换控制部1201作为变换信息1203对编码部1202发送如下的信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●帧速率;
●量子化步骤尺寸。
变换控制部1201针对在来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113中包含的图像数据尺寸与比特率中至少一种,能够与变换之前的信息比较,将量子化步骤尺寸变换为N倍、1/N倍。
图13是表示本发明第八实施例的编码部1202的结构的图。在图13中,对与图11相同或等同的结构元件标注相同的附图标记。参照图13对编码部1202进行详细说明。
参照图13,量子化器1301使用自变换控制部1201接收到的变换信息1203中包含的量子化步骤尺寸来进行量子化。
由于上述以外的结构以及动作与上述实施例1至7相同,因而省略了其说明。
根据本实施例,在向终端分发编码数据的情况下,能够根据终端的性能信息、网络状况来相比实施例1至7更高速地变换分发服务器的编码数据。另外,在本实施例中,当然也可以通过在动态图像代码变换器1200的计算机上运行的程序来实现动态图像代码变换器1200的各部的功能。
实施例9
接着参照图1、图14、图15对本发明的第九实施例进行详细说明。图14是表示本发明第九实施例的动态图像代码变换器1400的结构的图。在图14中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器1400配置在图1、图4、图5中的动态图像代码变换器109的位置上。
参照图14,变换控制部1401以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部1402发出变换信息。
变换控制部1401作为变换信息1403对编码部1402发送如下信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●帧速率;
●比特率;
●输入编码数据的符号量的分布。
图15是表示本发明第九实施例的编码部1402的结构的图。在图15中,对与图11相同或等同的结构元件标注相同的附图标记。参照图15对编码部1402进行详细说明。
量子化器1501使用自变换控制部1401接收到的变换信息1403中包含的比特率和输入编码数据的符号量的分布,来决定各块的目标符号量,决定量子化步骤尺寸后再进行量子化。
由于上述以外的结构以及动作与上述实施例1至8相同,因而省略了说明。
根据本实施例,若对所输入的编码数据的图像尺寸进行变换,则相比实施例1至8能进而调整符号量。另外,在本实施例中,当然也可以通过在动态图像代码变换器1400的计算机上运行的程序来实现动态图像代码变换器1400的各部的功能。
实施例10
接着参照图1、图16、图17对本发明的第十实施例进行详细说明。图16是表示本发明第十实施例的动态图像代码变换器1600的结构的图。在图16中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器1600配置在图1、图4、图5中的动态图像代码变换器109的位置上。
参照图16,变换控制部1601以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部1602发出变换信息1603。
变换控制部1601作为变换信息1603对编码部1602发送如下信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●比特率;
●帧速率;
●量子化信息。
在这里,作为量子化信息包含如下信息:
●输入编码数据的量子化步骤尺寸;
●是否使用输入编码数据的符号量的分布;
●量子化步骤尺寸;
●比特率。
作为是否使用输入编码数据的量子化步骤尺寸的判断,例如在如下情况下不使用输入编码数据的量子化步骤尺寸:
●尺寸变换比大的情况;
●输入编码数据的比特率和输出编码数据的比特率的比大的情况;
●尺寸变换比的增减与输入输出的比特率比的增减相比时其差大的情况。
作为是否使用输入编码数据的符号量的分布的判断,例如在目标比特率与输出符号量之差大的情况下,不使用输入编码数据的符号量的分布。
图17是表示本发明第十实施例的编码部1602的结构的图。在图17中,对与图11相同或等同的结构元件标注相同的附图标记。参照图17对编码部1602进行详细说明。
量子化器1701使用在从变换控制部1601接收到的变换信息1603中包含的输入编码数据的量子化步骤尺寸、是否使用符号量的分布、量子化步骤尺寸、符号量的分布、比特率用来进行量子化。
具体地说,在以输入编码数据的量子化步骤尺寸、是否使用符号量的分布的信息为基础进行使用的情况下,量子化器1701通过使用上述输入编码数据的量子化步骤尺寸、符号量的分布来计算出的量子化步骤尺寸进行量子化。在不使用输入编码数据的量子化步骤尺寸、符号量的分布的情况下,量子化器1701以比特率为基础亲自决定量子化步骤尺寸来进行量子化。
由于上述以外的结构以及动作上述实施例1至9相同,因而省略了其说明。根据本实施例,对所输入的编码数据的图像尺寸进行变换时,能够高速地进行变换。另外,根据本实施例,能够相比实施例8、9更好地调整画质。另外,在本实施例中,当然也可以通过在动态图像代码变换器1600的计算机上运行的程序来实现动态图像代码变换器1600的各部的功能。
实施例11
接着参照图1、图18、图19对本发明的第九实施例进行详细说明。图18是表示本发明第十一实施例的动态图像代码变换器1190的结构的图。在图18中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器1800配置在图1、图4、图5的动态图像代码变换器109的位置。
参照图18,变换控制部1801以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求113和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,对编码部1802发出变换信息1803。
变换控制部1801作为变换信息1803对编码部1802发送如下信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●比特率;
●帧速率;
●滤波处理信息。
在这里,作为滤波处理信息有如下信息:
●对编码前的图像数据或编码中的图像数据是否执行滤波处理;
●执行滤波处理时的滤波强度、执行滤波处理的区域的信息等。
针对是否执行滤波处理,例如使用如下信息来进行判断:
●针对尺寸变换后的画面尺寸的输出比特率;
●图像尺寸变换是放大还是缩小;
●输入编码数据的比特率是高还是低。
例如使用在输入编码数据中包含的是否执行滤波处理的信息的情况下,或者在针对尺寸变换后的画面尺寸输出比特率低的情况下或输入编码数据的比特率低的情况下,进行滤波处理;
在针对尺寸变换后的画面尺寸,输出比特率高的情况、输入编码数据的比特率高的情况、缩小图像尺寸的情况下,进行不做滤波处理的判断。
图19是表示本发明第十一实施例的编码部1802的结构的图。在图19中,对与图11相同或等同的结构元件标注相同的附图标记。参照图19对编码部1802进行详细说明。
环内滤波1901以从变换控制部1801接收到的变换信息1803为基础来进行滤波处理。
在变换信息1803指示进行滤波处理时,则对图像数据1902进行滤波处理。
若在变换信息1803含有滤波强度、实施滤波的区域的信息,则依据变换信息1803进行滤波处理。
在变换信息1803中,若指示不实施滤波处理,则直接将图像数据1902发送给帧存储器304。
在本实施例中,说明了是否对编码中的图像数据进行滤波处理的情况,但这只是为了说明本发明而提出的一例,当然不是限定本发明。从本发明的动态图像变换方式的原理可知,也能够适用于针对编码前的图像数据是否执行滤波处理的判断。
由于上述以外的结构以及动作与上述实施例1至10相同,因而省略了其说明。根据本实施例,对所输入的编码数据的图像尺寸进行变换时,能高速地进行变换,并且能相比实施例1至10提高画质。另外,在本实施例中,当然也可以通过在动态图像代码变换器1800的计算机上运行的程序来实现动态图像代码变换器1800的各部的功能。
实施例12
接着参照图1、图20对本发明的第十二实施例进行详细说明。图20是表示本发明第十二实施例的动态图像代码变换器2000的结构的图。在图20中,对与图2相同或等同的结构元件标注相同的附图标记。动态图像代码变换器2000配置在图1、图4、图5的动态图像代码变换器109的位置。
参照图20,变换控制部2001以来自性能信息交换部108(403、503)(参照图1、图4、图5)的变换请求2004和来自解码部203的编码参数212为基础,对尺寸变换部204发出尺寸变换请求208,并对编码部2002发出变换信息2005。
在变换请求2004中包含如下信息:
●尺寸变换信息;
●输入编码数据的编码方式;
●输出编码数据的编码方式。
变换控制部2001从解码部2002接收到编码参数212时,则以变换请求2004为基础,对编码部2002发送作为变换信息2005的如下信息:
●图像数据尺寸;
●帧类型;
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●帧速率;
●比特率;
●量子化信息;
●滤波处理信息。
在变换请求2004的输入编码方式和输出编码方式相同的情况下,变换控制部2001以与在上述实施例1至11说明的方法对编码参数212进行变换并发送给编码部2002。
在变换请求2004的输入编码方式和输出编码方式不同的情况下,变换控制部2001以适应输入编码数据的输出编码方式对如下信息进行变换:
●预测模式和方向;
●运动向量;
●参照帧信息;
●块尺寸;
●块类型;
●图片类型;
●量子化信息;
●帧速率;
●滤波处理信息。
在预测模式的情况下,例如若输入编码数据的预测模式不对应于输出编码方式,则近似于最接近的预测模式及方向。
运动向量的情况下,例如使上下限值、长度适合输出编码方式。
在参照帧信息的情况下,例如输入编码方式的参照帧信息在输出编码方式中不能对应时,将帧编号放大/缩小为输出编码方式的最大/最小值。另外,与输出编码方式无关的参照帧信息不发送给编码部2002。或者,相应部位不使用输入编码数据的信息而重新编码。
在块尺寸的情况下,例如在输入编码方式针对4×4块的各块能够指定一种预测模式及方向、运动向量,但针对输出编码方式8×8块、16×16块只能指定一种预测模式及方向、运动向量的情况下,通过实施例4记载的方法来合成预测模式及方向与运动向量。
在图片类型的情况下,若在输入编码方式存在而在输出编码方式不存在,则对该帧重新进行编码,或者若图片类型的差仅附加有与输出编码方式无关的信息,则不发送该信息而近似于图片类型,并发送给编码部1802。在量子化步骤的情况下,与上下限值、长度的含义(例如是对数还是倍数)对应地进行变换。
在滤波处理信息的情形下,在其存在于输入编码方式中而不存在于输出编码方式中时,若不进行滤波处理仅附加有与输出编码方式无关的信息,则不发送该信息而生成滤波处理信息。
由于上述以外的结构以及动作与上述实施例1至11相同,因而省略了其说明。根据本实施例,在输入的编码方式与输出的编码方式不同的情况下,能够高速地变换上述输入的编码数据的图像尺寸。另外,在本实施例中,当然也可以通过在动态图像代码变换器2000的计算机上运行的程序来实现动态图像代码变换器2000的各部的功能。
实施例13
接着参照图21、图22、图23对本发明的第十四实施例进行说明。图21是表示本发明第十三实施例的动态图像分发系统的结构的图。在图21中,对与图1相同或等同的结构元件标注相同的附图标记。
参照图21,本实施例的动态图像分发系统具有分发服务器101、变换装置2101、终端2102、传送路径104、105、106。变换装置2101具有接收部107、性能信息交换部2103、动态图像代码变换器2104以及收发部110。
性能信息交换部2103与终端2102交换性能信息、功能信息。在图21中,性能信息、功能信息用符号2105来表示。性能信息交换部2103相对动态图像代码变换器2104以功能信息为基础,请求在性能信息的范围内变换输入编码数据。
图22是表示图21的动态图像代码变换器2104的结构的图。在图22中,对与图2相同或等同的结构元件标注相同的附图标记。变换控制部2201以从性能信息交换部2103接收到的编码信息、图像尺寸信息、比特率、帧速率的信息为基础,向编码部2202发送变换信息2203。
作为变换信息2203包含如下信息:
●输出编码数据的编码信息;
●是否进行编码的指示。
图23是表示图22的编码部2202的结构的图。在图23中,图3相同或等同的结构元件标注相同的附图标记。在图23中,由于帧卷预测编码部2301、帧内预测编码部2302的结构、动作与通常的编码器相同,因而省略了其说明。
由于上述以外的结构以及动作与上述实施例1至2相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,通过使用功能信息来进行变换,能够使得分发服务器的编码数据与终端的性能信息匹配,且抑制了画质变差。另外,由于编码部可利用通常的编码器(已有产品等),因而与上述实施例1至12相比更容易适用。另外,在本实施例中,当然也可以通过在变换装置2101、动态图像代码变换器2004的计算机上运行的程序来实现变换装置2101、动态图像代码变换器2004各部的功能。
实施例14
接着参照图22、图23、图24对本发明的第十四实施例进行详细说明。图24是表示动态图像分发系统的结构的图。在图24中,对与图1相同或等同的结构元件标注相同的附图标记。在本实施例中,动态图像代码变换器、编码部的结构如图22、图23所示。
参照图24,本实施例的动态图像分发系统具有分发服务器101、变换装置2401、终端402和传送路径104、105、106。
变换装置2401具有接收部107、性能信息交换部403、动态图像代码变换器2104以及收发部110。
性能信息交换部403与终端402交换性能信息、功能信息。另外,性能信息交换部403从终端402接收网络状况的通知。
由于上述以外的结构以及动作与上述实施例1至2、实施例13相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,可通过使用功能信息来使得分发服务器的编码数据与终端的性能信息、网络状况匹配地同时抑制画质变差而进行变换,并且由于编码部可使用通常的编码器,因而与实施例1至12相比容易适用。另外,在本实施例中,当然也可以通过在变换装置2401的计算机上运行的程序来实现变换装置2401的各部的功能。
实施例15
接着参照图22、图23、图25对本发明的第十五实施例进行详细说明。图25是表示动态图像分发系统的结构的图。在图24中,对与图1相同或等同的结构元件标注相同的附图标记。在本实施例中,动态图像代码变换器、编码部的结构如图22、图23所示。
参照图25,本实施例的动态图像分发系统具有分发服务器101、变换装置2501、终端502和传送路径104、105、106。
变换装置2501具有接收部107、性能信息交换部503、动态图像代码变换器2104以及收发部110。
性能信息交换部503与终端402交换性能信息、功能信息、用户信息。另外,性能信息交换部503从终端402接收网络状况的通知。
由于上述以外的结构以及动作与上述实施例1至3、实施例13至14相同,因而省略了其说明。根据本实施例,在向终端分发编码数据的情况下,通过使用功能信息来使得分发服务器的编码数据与终端的性能信息、网络状况匹配的同时抑制画质变差地进行变换。并且根据本实施例,编码部可使用通常的编码部,与上述实施例1至12相比更容易适用。另外,与上述实施例13至14相比能进行针对用户分配频带的控制。另外,在本实施例中,也可以通过在变换装置2501的计算机上运行的程序来实现变换装置2501各部的功能,。
以下,简单介绍本实施例的作用效果。
当对具有各种性能的终端分发比特流时,若需要变换比特流时能够高速地进行变换。
当对具有各种性能的终端分发比特流时,若需要变换比特流时,能够使用上述接收到的比特流的信息来进行抑制画质变差的变换。
在网络状况发生变化的环境下分发比特流时,需要对比特流进行变换的情况下,则能够高速地进行变换。
在网络状况发生变化的环境下分发比特流时,需要对比特流进行变换的情况下,能够使用接收到的比特流的信息来进行抑制了画质变差的变换。
在网络状况发生变化的环境下分发比特流分发时需要对比特流进行变换的情况下,当变换为终端的解码性能上限的比特流时,能够进行抑制了网络的负荷的变换。
在网络状况发生变化的环境下分发比特流分发时需要对比特流进行变换的情况下,在网络的频带不足时,能够使用来自终端的信息来进行抑制了画质变差的变换。
本发明具体如下所述。
附1
一种分发系统,经由网络向终端分发一种以上的比特流,其特征在于,具有变换装置,该变换装置在分发终端所指定的动态图像的编码数据时,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,而重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
附2
一种分发系统,经由网络向终端分发一种以上的比特流,其特征在于,具有变换装置,在分发上述终端所指定的动态图像的编码数据时,该变换装置根据来自上述终端的上述终端的功能信息来判断是否对上述编码数据进行变换,并将上述比特流发送给上述终端。
附3
根据上述附2所述的分发系统,其特征在于,上述变换装置以从上述终端通知的功能信息为基础,抑制所分发的比特流的比特率。
附4
根据上述附2或3所述的分发系统,其特征在于,上述变换装置进行以从上述终端通知的功能信息不足以应对的功能的动作。
附5
根据上述附1至4中任一项所述的分发系统,其特征在于,具有分发服务器,该分发服务器向变换装置发送从上述终端指定了的动态图像的编码数据,
上述变换装置对从上述分发服务器接收到的编码数据解码为图像数据,
为了适合从上述终端通知的性能信息和网络状况中的至少一种状况,而对上述解码的图像数据进行变换,对变换了的图像数据进行编码时,重新利用上述接收到的编码数据的信息来进行重新编码,并将上述重新编码了的编码数据经由网络发送给上述终端。
附6
根据上述附5所述的分发系统,其特征在于,
上述变换装置具有:
接收部,接收来自上述分发服务器的编码数据;
信息交换部,与上述终端交换性能信息或功能信息;
代码变换器,为了适应从上述终端通知的性能信息与网络中至少一种状况,重新利用从上述分发服务器接收到的上述编码数据的信息对从上述分发服务器接收到的上述编码数据进行编码;
发送部,将来自上述代码变换器的编码数据发送给上述终端。
附7
根据上述附6所述的分发系统,其特征在于,
上述代码变换器具有:
解码部,对上述接收到的编码数据进行解码;
尺寸变换部,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,而对由上述解码部已解码的图像数据的尺寸进行变换;以及
编码部,当对用上述尺寸变换部变换了的图像数据进行编码时,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,而重新利用上述接收到的编码数据的信息来进行重新编码。
附8
根据上述附1至7中任一项所述的分发系统,其特征在于,
上述变换装置具有根据从上述终端通知的网络状况和/或从上述终端通知的性能信息来对上述编码数据中的画面尺寸、比特率、帧速率中的至少一种参数来进行变换的单元。
附9
根据上述附1至8中任一项所述的分发系统,其特征在于,
上述变换装置具有利用从上述终端通知的功能信息来对上述编码数据中的画面尺寸、比特率、帧速率中的至少一种参数进行变换的单元。
附10
根据上述附1至9中任一项所述的分发系统,其特征在于,
上述变换装置具有重新利用预测模式、运动向量、块尺寸中的至少一种参数作为上述接收到的编码数据的信息的单元。
附11
根据上述附10所述的分发系统,其特征在于,
在对尺寸变更后的图像数据进行编码时,上述变换装置重新利用上述接收到的编码数据的参照帧信息。
附12
根据上述附1至11中任一项所述的分发系统,其特征在于,
上述变换装置具有在对画面尺寸变更后的图像数据进行编码时,根据变换前后的图像尺寸比使上述接收到的编码数据的运动向量和块尺寸中的至少一种伸长或缩短的单元。
附13
根据上述附1至12中任一项所述的分发系统,其特征在于,
上述变换装置具有上述接收到的编码数据的预测模式在尺寸变换后不直接使用的情况下使上述预测模式近似的单元。
附14
根据上述附1至13中任一项所述的分发系统,其特征在于,
上述变换装置具有根据变换前后的图像尺寸比来将上述接收到的编码数据的预测模式和运动向量中的至少一种分割或合成而重新利用的单元。
附15
根据上述附1至14中任一项所述的分发系统,其特征在于,
上述变换装置具有以重新利用了的预测模式和运动向量中的至少一种作为起点来重新预测的单元。
附16
根据上述附15所述的分发系统,其特征在于,
上述变换装置具有以重新利用的运动向量为起点来重新预测的情况下利用运动向量的方向的单元。
附17
根据上述附1至16中任一项所述的分发系统,其特征在于,
上述变换装置具有当预测误差为预先设定的阈值以上的情况下重新进行预测的单元。
附18
根据上述附1至17中任一项所述的分发系统,其特征在于,
上述变换装置具有在对尺寸变更后的图像数据进行编码时重新利用上述接收到的编码数据的量子化步骤尺寸的单元。
附19
根据上述附1至18中任一项所述的分发系统,其特征在于,
上述变换装置具有当对尺寸变更后的图像数据进行编码时重新利用上述接收到的编码数据的符号量的分布的单元。
附20
根据上述附18或19所述的分发系统,其特征在于,
上述变换装置具有判断是否重新利用量子化步骤尺寸和输入编码数据的符号量的分布中的至少一种的单元。
附21
根据上述附1至20中任一项所述的分发系统,其特征在于,
上述变换装置具有当对尺寸变更后的图像数据进行编码时重新利用上述接收到的编码数据的图片类型、块类型的单元。
附22
根据上述附1至21中任一项所述的分发系统,其特征在于,
上述变换装置具有当对尺寸变更后的图像数据进行编码时判断是否对上述尺寸变换后的图像数据或编码中的图像数据进行滤波的单元。
附23
根据上述附1至22中任一项所述的分发系统,其特征在于,
在上述变换装置中,解码方式和编码方式是相互不同的方式。
附24
一种分发方法,经由网络向终端分发一种以上的比特流,其特征在于,
在分发终端所指定的动态图像的编码数据时,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,变换装置重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
附25
一种分发方法,经由网络向终端分发一种以上的比特流,其特征在于,在分发上述终端所指定的动态图像的编码数据时,变换装置根据来自上述终端的上述终端的功能信息来判断是否对上述编码数据进行变换,并将上述比特流发送给上述终端。
附26
根据上述附24所述的分发方法,其特征在于,
上述变换装置根据从上述终端通知的性能信息和上述网络状况中的至少一种状况,对上述编码数据的画面尺寸、比特率、帧速率中的至少一种进行变换。
附27
根据上述附25所述的分发方法,其特征在于,
上述变换装置利用从上述终端通知的功能信息,对上述编码数据的画面尺寸、比特率、帧速率中至少一种进行变换。
附28
根据上述附25或27所述的分发方法,其特征在于,
上述变换装置进行以从上述终端通知的功能信息不足以应付的功能的动作。
附29
根据上述附24至28中任一项所述的分发方法,其特征在于,
上述变换装置作为上述接收到的编码数据的信息重新利用预测模式、运动向量和块尺寸中的至少一种。
附30
一种程序,其使构成变换装置的计算机执行如下的处理:
在经由网络分发终端所指定的动态图像的编码数据时,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,重新利用上述编码数据的信息来对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
附31
一种程序,其使构成变换装置的计算机执行如下的处理:
在经由网络分发终端所指定的动态图像的编码数据时,根据来自上述终端的上述终端的功能信息,判断是否对上述编码数据进行变换,并将上述比特流发送给上述终端。
附32
一种变换装置,其包括:
接收部,其接收来自分发服务器的编码数据,该分发服务器将从终端指定的编码数据发送给变换装置;
性能信息交换部,其与上述终端交换性能信息和/或功能信息;
代码变换器,根据从上述终端通知的性能信息和/或网络状况,或者利用从上述终端通知的功能信息,并重新利用从上述分发服务器接收到的上述编码数据的信息,对从上述分发服务器接收到的上述编码数据进行编码;
发送部,其将来自上述代码变换器的编码数据发送给上述终端。
附33
根据上述附32所述的变换装置,其特征在于,
上述代码变换器具有:
解码部,对上述接收部所接收到的编码数据进行解码;
变换控制部,接收来自上述性能信息交换部的尺寸变换请求或来自上述解码部的编码参数,以控制尺寸变换部和编码部;
尺寸变换部,根据上述变换控制部的指示对从解码部输入的图像数据进行尺寸变换;
编码部,根据上述变换控制部的指示,根据从上述尺寸变换部输入的图像数据来生成编码数据。
附34
根据上述附33所述的变换装置,其特征在于,
上述变换控制部以上述尺寸变换请求和来自上述解码部的编码参数为基础,对上述尺寸变换部赋予尺寸变换请求,对上述编码部赋予变换信息;
上述尺寸变换部利用来自上述变换控制部的尺寸变换请求信息中包含的倍率或输入输出图像尺寸,对从上述解码部接收到的图像数据的图像尺寸进行变换,并将变换后的图像数据赋予上述编码部;
上述编码部具有:
帧间预测数据生成部,其利用从上述变换控制部接收到的变换信息和来自帧存储器的图像数据进行帧间预测以生成预测数据,并将其发送给变换器,
帧内预测数据生成部,其利用从上述变换控制部接收到的变换信息和从上述尺寸变换部接收到的图像数据进行帧内预测以生成预测数据,并将其发送给上述变换器;
上述变换器根据来自上述变换控制部的指示对在上述帧间预测数据生成部或上述帧内预测数据生成部生成的预测数据进行切换,以便能够发送给离散余弦变换器、环内滤波器、上述帧内预测数据生成部;
上述编码部还具有:
量子化器,其以来自上述变换控制部的指示的比特率为目标,决定量子化步骤,
标题信息生成部,其以从上述变换控制部接收到的变换信息为基础来生成标题信息,
可变长编码器,其以来自上述标题信息生成部的标题信息为基础,对上述量子化器的输出进行可变长编码。
另外,将上述的专利文献的各公开内容都通过引用方式进行援引。在本发明的全部公开范围(包含权利要求书)内,根据其基本技术思想,能进行实施方式或实施例的变更、调整。另外,在本发明的权利要求范围内,可进行各种考开要素的组合或选择。即,本发明包含本领域技术人员根据包含权利要求书的全部公开内容、技术思想进行的各种变形、修改。

Claims (20)

1.一种分发系统,经由网络向终端分发一种以上的比特流,其特征在于,具有变换装置,
所述变换装置从上述分发服务器接收上述终端所指定的动态图像的编码数据,
根据从上述终端通知的上述终端的性能信息、上述终端的功能信息和上述网络状况中的至少一种状况,对上述编码数据进行变换,
并将上述变换了的编码数据发送给上述终端。
2.根据权利要求1所述的分发系统,其特征在于,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,上述变换装置重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述已变换的编码数据发送给上述终端。
3.根据权利要求1或2所述的分发系统,其特征在于,在分发上述终端所指定的动态图像的编码数据时,上述变换装置根据来自上述终端的上述终端的性能信息、功能信息来判断是否对上述编码数据进行变换,并在对判断为要变换的上述编码数据进行变换后,发送给上述终端。
4.根据权利要求1或3所述的分发系统,其特征在于,从上述终端通知的功能信息包含图像尺寸变更功能、帧间除功能和比特流频带扩大功能中的至少一种功能;
上述变换装置以上述功能信息为基础,实施图像尺寸的变更、上述编码数据的帧单位的间除和上述编码数据的比特率的抑制中的至少一种动作。
5.根据权利要求1至4中任一项所述的分发系统,其特征在于,
上述变换装置具有:
接收部,接收来自上述分发服务器的编码数据;
信息交换部,与上述终端交换上述终端的性能信息或功能信息以及上述网络状况的信息;
代码变换器,将从上述分发服务器接收的编码数据解码为图像数据,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,对上述解码了的图像数据进行变换,并重新利用上述接收的编码数据的编码信息,对上述变换后的解码图像数据进行编码;以及
发送部,将来自上述代码变换器的编码数据经由上述网络发送给上述终端。
6.根据权利要求5所述的分发系统,其特征在于,
上述信息交换部接收编码信息、图像尺寸信息、比特率和帧速率中的至少一种信息以作为上述终端的上述性能信息,对来自上述接收部的编码数据的编码信息与从上述终端通知的编码信息进行比较,并判断是否对从上述分发服务器接收的编码数据进行变换,在进行变换的情况下,将包含变换后的图像尺寸、比特率、帧速率、编码信息中至少一种的变换请求通知给上述代码变换器,
并且,从上述终端通知上述网络状况时,将与上述网络状况对应的、包含变换后的图像尺寸、比特率、帧速率、编码信息中至少一种的变换请求通知给上述代码变换器。
7.根据权利要求6所述的分发系统,其特征在于,
上述代码变换器具有:
解码部,对上述接收到的编码数据进行解码;
变换控制部,根据来自上述信息交换部的变换请求和来自上述解码部的编码信息,生成用于对上述上述编码数据的画面尺寸、比特率和帧速率中的至少一种参数进行变换的变换信息;
尺寸变换部,根据来自上述变换控制部的画面尺寸的变换信息来对已被上述解码部解码的图像数据的尺寸进行变换;
编码部,输入有从上述尺寸变换部输出的图像数据,根据来自上述变换控制部的变换信息来进行编码。
8.根据权利要求7所述的分发系统,其特征在于,从上述代码变换器的上述变换控制部向上述编码部通知的上述变换信息包含图像数据尺寸、帧类型、预测模式和方向、运动向量、参照帧信息、块尺寸、块类型、帧速率、比特率、量子化信息和滤波处理信息中的至少一种信息。
9.根据权利要求7所述的分发系统,其特征在于,
上述代码变换器的上述编码部在对从上述尺寸变换部输出的图像数据进行编码时,执行如下所示的至少一种处理:
重新利用上述接收到的编码数据的参照帧信息;以及
使上述接收到的编码数据的运动向量和块尺寸中的至少一种数据对应于变换前后的图像尺寸进行伸长又缩短。
10.根据权利要求1至9中任一项所述的分发系统,其特征在于,在上述信息交换部的变换请求的输入编码方式与输出编码方式不同的情况下,上述代码变换器的上述变换控制部针对输入编码数据的以下数据中的至少一种进行变换,使其适合输出编码方式:
预测模式和方向;
运动向量;
参照帧信息;
块尺寸;
块类型;
图片类型;
量子化信息;
帧速率;
滤波处理信息。
11.根据权利要求7至10中任一项所述的分发系统,其特征在于,上述代码变换器的上述变换控制部根据变换前后的图像尺寸比,对上述接收到的编码数据的预测模式和运动向量中的至少一种进行继续分割或合成以重新利用。
12.根据权利要求10所述的分发系统,其特征在于,
上述代码变换器的上述变换控制部在输入编码方式与输出编码方式间进行如下处理中的至少一种:
使预测模式及方向近似;
使运动向量适合输出编码方式;
使参照帧信息扩大/缩小至输出编码方式的最大/最小值,不将与输出编码方式无关的参照帧信息发送给上述编码部,或者该部位是不使用输入编码数据的信息而将该参照帧信息重新进行编码;
在块尺寸不同的情况下,使预测模式及方向与运动向量合成;
在图片类型存在于输入编码方式中而不存在于输出编码方式中的情况下,重新对该帧进行编码,或使图片类型近似并发送给上述编码部;
使量子化步骤适合输出编码方式;
在滤波处理信息存在于输入编码方式中而不存在于输出编码方式中时,若不进行滤波处理或仅附加有与输出编码方式无关的信息的情况下,生成滤波处理信息。
13.根据权利要求10所述的分发系统,其特征在于,
上述代码变换器的上述编码部进行如下处理中的至少一种:
以重新利用的预测模式和运动向量中的至少一种作为起点,重新进行预测;
在以重新利用的运动向量作为起点重新进行预测的情况下,利用运动向量的方向;
在预测误差为预先设定的阈值以上的情况下,重新进行预测。
14.根据权利要求1至15中任一项所述的分发系统,其特征在于,
在对被上述尺寸变换部变更了尺寸的图像数据进行编码时,上述代码变换器的上述编码部进行如下处理中的至少一种:
重新利用上述接收到的编码数据的量子化步骤尺寸;
重新利用上述接收到的编码数据的符号量的分布;
重新利用上述接收到的编码数据的图片类型、块类型;
判断在上述尺寸变换后的图像数据或编码中的图像数据中是否进行滤波。
15.一种分发方法,从分发服务器经由网络向终端分发一种以上的比特流,其特征在于,
变换装置从上述分发服务器接收上述终端所指定的动态图像的编码数据,根据从上述终端通知的上述终端的性能信息、功能信息或上述网络状况,对上述编码数据进行变换,并将上述变换了的编码数据发送给上述终端。
16.根据权利要求15所述的分发方法,其特征在于,为了适应从上述终端通知的性能信息和网络状况中的至少一种状况,上述变换装置重新利用上述编码数据的信息,对上述编码数据进行变换,并将上述已变换的编码数据发送给上述终端。
17.根据权利要求15或16所述的分发方法,其特征在于,当分发上述终端所指定的动态图像的编码数据时,上述变换装置根据来自上述终端的上述终端的性能信息和上述功能信息,判断是否对上述编码数据进行变换,将判断为要变换的编码数据进行变换后再发送给上述终端。
18.一种变换装置,其特征在于,具有:
接收部,接收来自分发服务器的编码数据,上述分发服务器向变换装置发送终端所指定的编码数据;
信息交换部,从上述终端接收上述终端的性能信息和/或功能信息;
代码变换器,根据从上述终端通知的性能信息和/或网络状况,或者利用从上述终端通知的功能信息,并重新利用从上述分发服务器接收到的上述编码数据的信息,对从上述分发服务器接收到的上述编码数据进行编码;以及
发送部,将来自上述代码变换器的编码数据经由网络发送给上述终端。
19.根据权利要求18所述的变换装置,其特征在于,
上述代码变换器具有:
解码部,对由上述接收部接收到的编码数据解码为图像数据;
变换控制部,接收来自上述信息交换部的变换请求或上述变换请求和来自上述解码部的编码参数,对尺寸变换部、编码部中的变换进行控制;
尺寸变换部,根据上述变换控制部的变换指示,对从上述解码部输入的图像数据进行尺寸变换;以及
编码部,根据来自上述变换控制部的变换指示,对从上述尺寸变换部输出的图像数据进行编码;
在上述尺寸变换部对尺寸变更后的图像数据进行编码时,上述编码部重新利用上述接收到的编码数据的预测模式、运动向量和块尺寸中的至少一种信息。
20.根据权利要求19所述的变换装置,其特征在于,上述变换控制部以来自上述信息交换部的上述变换请求和来自上述解码部的编码参数为基础,对上述尺寸变换部提出尺寸变换请求,对上述编码部赋予变换信息;
上述尺寸变换部利用来自上述变换控制部的尺寸变换请求信息中包含的倍率或输入输出图像尺寸,对从上述解码部接收的图像数据的图像尺寸进行变换,并将变换后的图像数据赋予上述编码部,
上述编码部具有:
帧间预测数据生成部,其利用从上述变换控制部接收的变换信息和来自帧存储器的图像数据进行帧间预测以生成预测数据,并将其发送给变换器;以及
帧内预测数据生成部,其利用从上述变换控制部接收到的变换信息和从上述尺寸变换部接收到的图像数据进行帧内预测以生成预测数据,并将其发送给上述变换器;
上述变换器根据来自上述变换控制部的指示,对在上述帧间预测数据生成部或上述帧内预测数据生成部生成的预测数据进行切换,以便能发送给离散余弦变换器、环内滤波器、上述帧内预测数据生成部,
上述编码部还具有:
量子化器,其以来自上述变换控制部的指示的比特率为目标,决定量子化步骤;
标题信息生成部,其以从上述变换控制部接收的变换信息为基础来生成标题信息;以及
可变长编码器,其以来自上述标题信息生成部的标题信息为基础,对上述量子化器的输出进行可变长编码。
CN2010800039497A 2009-01-08 2010-01-06 分发系统、方法以及变换装置 Pending CN102273216A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-002990 2009-01-08
JP2009002990 2009-01-08
PCT/JP2010/050056 WO2010079790A1 (ja) 2009-01-08 2010-01-06 配信システムと方法並びに変換装置

Publications (1)

Publication Number Publication Date
CN102273216A true CN102273216A (zh) 2011-12-07

Family

ID=42316556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800039497A Pending CN102273216A (zh) 2009-01-08 2010-01-06 分发系统、方法以及变换装置

Country Status (4)

Country Link
US (1) US20110268185A1 (zh)
JP (1) JP5780582B2 (zh)
CN (1) CN102273216A (zh)
WO (1) WO2010079790A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081643A2 (en) * 2009-12-14 2011-07-07 Thomson Licensing Merging encoded bitstreams
JP5520190B2 (ja) * 2010-10-20 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
JP5856854B2 (ja) * 2012-01-17 2016-02-10 日本電信電話株式会社 コンテンツ送信方法、コンテンツ送信装置及びコンテンツ送信プログラム
KR20130125168A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 비디오 인코딩 장치 및 그것의 인코딩 방법
JP6046923B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
JPWO2014057555A1 (ja) * 2012-10-10 2016-08-25 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
US9838487B2 (en) 2013-09-27 2017-12-05 Disney Enterprises, Inc. Method and system for mapping, tracking, and transporting of content data on a webpage
JP6022076B2 (ja) 2013-10-15 2016-11-09 株式会社東芝 電子機器および通信制御方法
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
JP6402723B2 (ja) * 2014-01-23 2018-10-10 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法
CN104270649B (zh) * 2014-10-28 2019-01-22 中磊电子(苏州)有限公司 影像编码装置及影像编码方法
JP6565324B2 (ja) * 2015-05-20 2019-08-28 日本電気株式会社 通信端末、データ送受信システム、通信方法、および通信用プログラム
CN108028942B (zh) 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质
US20170060376A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Displaying HDMI Content in a Tiled Window
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
CN115278229A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
KR20210067783A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
US20230124473A1 (en) * 2020-03-04 2023-04-20 Sony Group Corporation Image processing device and image processing method
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082861A (ja) * 2000-09-07 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法、映像配信装置および画像配信システム
JP2002232860A (ja) * 2001-02-01 2002-08-16 Toshiba Corp コンテンツ配信システム、コンテンツ配信方法、プログラム
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP2002374298A (ja) * 2001-06-13 2002-12-26 Oki Electric Ind Co Ltd トランスコーダー装置
JP2004356998A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 動画像変換装置および方法、動画像配信装置および方法並びにプログラム
JP2007295142A (ja) * 2006-04-24 2007-11-08 Hitachi Ltd 記録再生装置、送出装置及び伝送システム。

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69323338T2 (de) * 1992-03-24 1999-06-10 Toshiba Kawasaki Kk Vorrichtung zum Aufzeichnen/Wiedergeben von Kodes mit variablen Längen für einen Videorekorder
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
US7039116B1 (en) * 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data
JP4346868B2 (ja) * 2002-06-17 2009-10-21 株式会社日立製作所 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
US7676590B2 (en) * 2004-05-03 2010-03-09 Microsoft Corporation Background transcoding
KR20060007765A (ko) * 2004-07-21 2006-01-26 삼성전자주식회사 영상 압축/복원 방법 및 장치
JP4585479B2 (ja) * 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082861A (ja) * 2000-09-07 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法、映像配信装置および画像配信システム
JP2002232860A (ja) * 2001-02-01 2002-08-16 Toshiba Corp コンテンツ配信システム、コンテンツ配信方法、プログラム
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP2002374298A (ja) * 2001-06-13 2002-12-26 Oki Electric Ind Co Ltd トランスコーダー装置
JP2004356998A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 動画像変換装置および方法、動画像配信装置および方法並びにプログラム
JP2007295142A (ja) * 2006-04-24 2007-11-08 Hitachi Ltd 記録再生装置、送出装置及び伝送システム。

Also Published As

Publication number Publication date
WO2010079790A1 (ja) 2010-07-15
JP5780582B2 (ja) 2015-09-16
US20110268185A1 (en) 2011-11-03
JPWO2010079790A1 (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
CN102273216A (zh) 分发系统、方法以及变换装置
CN100527833C (zh) 按照运动图像专家组标准编码的流的代码转换方法
CN101232622B (zh) 用于子像素值内插的方法
US9877048B2 (en) Entropy coding techniques for display stream compression (DSC)
EP3632114B1 (en) Substream multiplexing for display stream compression
US10362310B2 (en) Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
CN108702513B (zh) 用于在显示流压缩中量化参数的适应性计算的设备及方法
JP6449329B2 (ja) ディスプレイストリーム圧縮(dsc)において量子化パラメータ(qp)を選択するためのシステムおよび方法
JP2002152727A (ja) 画像情報変換装置及び画像情報変換方法
JP6772275B2 (ja) ディスプレイストリーム圧縮(dsc)におけるひずみを計算するためのシステムおよび方法
CN102273207A (zh) 图像转换装置、方法以及程序
KR20160145181A (ko) 디스플레이 스트림 압축 (dsc) 을 위해 패턴 모드에서 코딩하기 위한 시스템 및 방법
JP4517453B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
JP2018525901A (ja) ディスプレイストリーム圧縮における変換モード用ブロックサイズの変更
JP2002010266A (ja) 画像情報変換装置及び方法
KR20040062110A (ko) 동영상 인코딩 시스템 및 코딩방법
Luo Game theoretical models and algorithms for rate control in video compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111207