CN101945262A - 无线影像传送系统、内容比特率控制方法 - Google Patents
无线影像传送系统、内容比特率控制方法 Download PDFInfo
- Publication number
- CN101945262A CN101945262A CN2010101951256A CN201010195125A CN101945262A CN 101945262 A CN101945262 A CN 101945262A CN 2010101951256 A CN2010101951256 A CN 2010101951256A CN 201010195125 A CN201010195125 A CN 201010195125A CN 101945262 A CN101945262 A CN 101945262A
- Authority
- CN
- China
- Prior art keywords
- image data
- wireless
- bits rate
- content bits
- inferred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012546 transfer Methods 0.000 title claims abstract description 31
- 239000000872 buffer Substances 0.000 claims abstract description 179
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 abstract description 12
- 230000014509 gene expression Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001137903 Centropomus pectinatus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供无线影像传送系统、内容比特率控制方法。显示设备的缓存器监视部监视积存影像数据的缓存器的使用状况,向调谐设备发送。缓存器剩余时间推定部根据缓存器的使用状况信息,推定缓存器内的影像数据的剩余时间。无线带宽推定部推定调谐设备与显示设备之间的无线带宽。内容比特率控制部根据所推定的影像数据的剩余时间和无线带宽,控制向显示设备发送的影像数据的内容比特率,内容比特率变换部变换影像数据的内容比特率,将该影像数据从调谐设备向显示设备发送。
Description
技术领域
本发明涉及无线影像传送系统、内容比特率控制方法和存储有内容比特率控制程序的计算机能够读取的记录介质,特别涉及调谐设备与显示设备分离的无线影像传送系统、该系统的内容比特率控制方法和存储有内容比特率控制程序的计算机能够读取的记录介质。
背景技术
已知,在电视接收机中,调谐设备与显示设备分离,以无线方式从调谐设备向显示设备发送影像数据。
此外,公开有对影像缓存器变空所需要的时间进行的计算(例如,参照专利文献1)
图17表示说明课题的示意图。
调谐设备以规定的内容比特率1701将影像数据向显示设备无线地发送。此处,内容比特率1701是内容自身的比特率。其中,实际上对于影像的各帧而言,内容自身的比特率不同,此处为了简单起见,将所有帧作为相同的比特率描绘。无线带宽变动1702是调谐设备与显示设备之间的无线LAN环境的带宽变动,表示例如下述原因造成的无线LAN带宽的变动,这些原因是:噪声或来自其他无线LAN的干扰、人的经过或门的开关、微波炉的使用等。影像缓存器剩余时间1703表示存储在显示设备的影像缓存器中的数据的时间换算的量。单位不是Byte(字节)而是Sec(秒或者小时)或影像帧数等。例如,如果是30fps(frame per sec:帧/秒),则15帧相当于0.5秒。
例如,由于调谐设备与显示设备之间的无线区间的带宽减少而产生延迟(1704)。例如,存在内容发送会花费影像再现时间以上的发送时间的情况。另一方面,因为来自影像缓存器的影像输出是一定的,所以存在下述情况,即,上述延迟造成显示设备的影像缓存器内的数 据减少,不久,影像缓存器出现缓存器下溢1706,数据用尽,无法进行再现(1705)。
其中,本说明书中在接收缓存器中特别关注于影像专用的缓存器,也可以称为影像缓存器。此外,声音和字幕等其他缓存器也是相同的情况。
图18表示现有技术和说明其课题的示意图。
已知,为了防止在多次发生无线带宽的急剧降低的情况下影像缓存器的数据用尽,存在与无线带宽变动相应地调整内容的比特率的方法。
例如,与无线带宽变动1702相应地控制内容比特率1701(1801)。该技术能够消除上述延迟,但由于与带宽相应地减少了内容的单位时间的数据量(比特率),画质会伴随急剧的带宽变动而恶化(1802)。对此,用户可能会察觉到观看的影像的画质发生恶化。
此外,在专利文献1的技术中,由于除去了B、P帧,或者除去了每隔1帧的I帧,可能会产生丢帧导致的不连贯显示。
专利文献1:日本特表2006-521035号公报
专利文献2:日本特开2006-060802号公报
发明内容
本发明鉴于以上诸点完成,其目的在于提供防止调谐设备与显示设备之间的无线带宽变动导致的影像停止和画质恶化的无线影像传送系统、内容比特率控制方法和存储有内容比特率控制程序的计算机能够读取的记录介质。此外,本发明的其中一个目的还在于,例如在房屋间的隔墙传送等无线LAN的带宽不充裕的状况之下,即使在多次发生无线带宽急剧降低的情况下,也能够防止影像停止,或者图像大幅度恶化。
本发明中,监视客户端(显示设备)的影像缓存量和无线带宽的变动,预测影像缓存的数据量,控制内容的比特率以使不会产生缓存器下溢和急剧的大幅度的画质恶化。
本发明是例如在分离为调谐设备和显示设备的电视接收机的设备之间通过无线LAN发送影像数据(MPEG2或者H.264的TS数据)的电 视接收机,其特征在于,包括:
监视无线带宽的单元;
显示设备的影像缓存量的接收单元;
使用无线带宽的急剧的降低的发生频率和大小、和根据影像缓存的数据剩余量换算而得的剩余时间来计算内容的比特率的减少量的单元;
控制比特率的单元;和
变换比特率的单元。
在上述电视接收机中,在将OSD图像数据与影像分开发送的电视接收机中,还可以具备监视OSD图像的数据量和频率的单元。
根据本发明的第1解决方法,提供无线影像传送系统,其包括:
无线影像传送装置,其将规定的内容比特率的影像数据通过无线带宽变动的无线通信进行发送;和
无线影像接收装置,其积存从上述无线影像传送装置接收的影像数据,读出该影像数据并加以显示,
上述无线影像接收装置包括:
缓存器,其用于积存影像数据;和
缓存器监视部,其监视该缓存器的使用状况,将包含使用状况信息的反馈信息向上述无线影像传送装置发送,
上述无线影像传送装置包括:
缓存器剩余时间推定部,其根据来自上述无线影像接收装置的上述缓存器的使用状况信息,推定上述缓存器内的影像数据的剩余时间;
无线带宽推定部,其推定上述无线影像传送装置与上述无线影像接收装置之间的无线带宽;
内容比特率控制部,其根据所推定的影像数据的剩余时间和无线带宽,控制向上述无线影像接收装置发送的影像数据的内容比特率;和
内容比特率变换部,其将向上述无线影像接收装置发送的影像数据的内容比特率变换为由上述内容比特率控制部所控制的内容比特率。
根据本发明的第2解决方法,提供无线影像传送系统中的内容比 特率控制方法,该无线影像传送系统包括:无线影像传送装置,其将规定的内容比特率的影像数据通过无线带宽变动的无线通信进行发送;和无线影像接收装置,其积存从无线影像传送装置接收的影像数据,读出该影像数据并加以显示,该内容比特率控制方法的特征在于,包括:
对积存影像数据的无线影像接收装置的缓存器的使用状况进行监视,将包含使用状况信息的反馈信息向无线影像传送装置发送的步骤;
根据来自无线影像接收装置的缓存器的使用状况信息,推定缓存器内的影像数据的剩余时间的步骤;
推定无线影像传送装置和无线影像接收装置之间的无线带宽的步骤;
根据所推定的影像数据的剩余时间和无线带宽,控制向无线影像接收装置发送的影像数据的内容比特率的步骤;
将影像数据的内容比特率变换为由控制上述内容比特率的步骤所控制的内容比特率,将该影像数据从无线影像传送装置向无线影像接收装置发送的步骤。
根据本发明的第3解决方法,提供计算机能够读取的记录介质,其特征在于:
存储有内容比特率控制程序,该内容比特率控制程序用于使第1计算机执行下述步骤:
将规定的内容比特率的影像数据通过无线带宽变动的无线通信从上述第1计算机向第2计算机发送的步骤,该第2计算机积存所接收的影像数据,读出该影像数据并加以显示;
根据从第2计算机接收到的第2计算机的缓存器的使用状况信息,推定该缓存器内的影像数据的剩余时间的步骤;
推定上述无线通信的无线带宽的步骤;
根据所推定的影像数据的剩余时间和无线带宽,控制向第2计算机发送的影像数据的内容比特率的步骤;和
将影像数据的内容比特率变换为由控制上述内容比特率的步骤所控制的内容比特率,将该影像数据向第2计算机发送的步骤。
根据本发明,能够提供防止调谐设备与显示设备之间的无线带宽 变动导致的影像停止和画质恶化的无线影像传送系统、内容比特率控制方法和存储有内容比特率控制程序的计算机能够读取的记录介质。此外,根据本发明,还能够例如在房屋间的隔墙传送等无线LAN的带宽不充裕的状况之下,即使在多次发生无线带宽急剧降低的情况下,也能够防止影像停止,或者图像大幅度恶化。
附图说明
图1是表示无线影像传送装置和无线影像接收装置的功能模块结构图(框图)。
图2是服务器系统的结构图。
图3是客户端系统的结构图。
图4是与所推定的影像缓存器剩余时间和无线带宽的状态相应的内容比特率控制方法的一例的说明图。
图5是表示服务器的反馈信息的处理顺序的流程图。
图6是表示客户端的反馈顺序的流程图。
图7是表示服务器进行的无线带宽推定顺序的流程图。
图8是表示客户端进行的无线带宽监视顺序的流程图。
图9是表示服务器进行的影像缓存器剩余时间的推定顺序的流程图。
图10是表示客户端进行的影像缓存器监视顺序的流程图。
图11是表示服务器进行的内容比特率控制顺序的流程图。
图12是反馈信息的数据结构的说明图。
图13是带宽推定用工作表(work table)的说明图。
图14是推定带宽数据表的说明图。
图15是剩余时间数据表的说明图。
图16是内容比特率历史表(history table)的说明图。
图17是说明课题的示意图。
图18是说明现有技术和其课题的示意图。
图19是说明本发明的效果的示意图。
符号的说明
101播放接收天线
102调谐器
103影像缓存器剩余时间预测部
104无线带宽推定部
105调谐器和存储器(影像传送部、服务器)
106影像缓存器剩余时间监视部
107无线LAN天线
108无线LAN模块
109内容比特率控制部
110内容比特率变换部
111录像再现部
112HDD(录像数据保存部)
120无线带宽监视部
121面板(影像显示部、客户端)
122影像显示面板(显示器)
123解码器
124影像缓存器
125Demux(TS数据(Transport Stream:传输流)的分离部)
126影像缓存器监视
127无线LAN模块
201服务器
202视频·声音模块
203显示器·扬声器
204内部总线
205无线LAN天线
206MAC/RF
207通信接口
208处理器
209媒体控制部
210易失性存储器
211存储部
212数字播放接收模块
301客户端
302显示器·扬声器
303内部总线
304无线LAN天线
305MAC/RF
306通信接口
307处理器
308媒体控制部
309易失性存储器
310存储部
311视频·声音模块
具体实施方式
1.第1实施方式
图1是表示无线影像传送装置和无线影像接收装置的无线影像传送系统功能模块结构图(框图)。
无线影像传送系统包括无线影像传送装置(调谐器和存储器、影像传送部、服务器)105和无线影像接收装置(面板、影像显示部、客户端)121。无线影像传送装置105具有播放接收天线101、调谐器102、影像缓存器剩余时间预测部103、无线带宽推定部104、影像缓存器剩余时间监视部(缓存器剩余时间推定部)106、无线LAN天线107、无线LAN模块108、内容比特率控制部109、内容比特率变换部110、录像再现部111、HDD(录像数据保存部)112。无线影像接收装置121具有无线带宽监视部120、影像显示面板(显示器)122、解码器123、影像缓存器124、Demux部125、影像缓存器监视部126、无线LAN模块127。
播放接收天线101是地面数字播放和BS数字(卫星数字)播放等的天线。调谐器102是地面数字播放和BS数字播放等的调谐器。影像缓存器剩余时间预测部103预测由影像缓存器剩余时间监视部106获取的面板侧的影像缓存器124的、经过规定时间后的剩余时间。例如,预测数据发送后的时刻的影像帧数。无线带宽推定部104与无线带宽 监视部120一起,根据实际能够发送的数据量来监视无线影像传送装置105与无线影像接收装置121之间的无线带宽。影像缓存器剩余时间监视部106监视影像缓存器124的剩余时间。例如,影像缓存器剩余时间监视部106接收用于求取影像缓存器124的剩余时间的信息(影像帧数等)。无线LAN天线107是用于向无线影像接收装置121传送影像数据,并从无线影像接收装置121接收反馈信息的天线。可以如图所示为无线自组织(ad hoc)通信(直接通信),也可以经由无线LAN路由器进行通信。无线LAN模块108是用于经由无线LAN天线107发送接收数据的模块。内容比特率控制部109指示内容比特率,控制内容比特率变换部110。内容比特率变换部110根据指示的比特率变换内容的比特率。录像再现部111在录像时从调谐器102经由内容比特率变换部110将数据保存到HDD112。此外,录像再现部111在再现时读出HDD112的数据,将数据发送到内容比特率变换部110。HDD112保存录像数据。
无线带宽监视部120监视影响无线带宽的包间隔,向无线带宽推定部104反馈。影像显示面板122是显示接收到的影像数据的显示器。解码器123将影像·声音·字幕等数据解码,向影像显示面板122输出影像数据。影像缓存器124是积存数据的缓存器。另外,为了便于说明,只表示了影像ES(Elemental Stream:基本流)数据的缓存器。实际上可以存在所有的ES的缓存器。Demux部125是TS(TransportStream:传输流)数据的分离部,从TS分离影像、声音、字幕等的ES。影像缓存器监视部126监视影像缓存器124,将信息发送到影像缓存器剩余时间监视部106。无线LAN模块127是用于经由无线LAN天线107发送接收数据的模块。
图5是表示服务器105的反馈信息的处理顺序的流程图。图6是表示客户端121的反馈顺序的流程图。
服务器105在结束影像传送之前重复步骤502、503、504(步骤501)。在步骤502,服务器105向客户端121发送影像数据的数据包。本实施方式中,作为一例,记载了将数据包用于带宽推定的方法。例如,对数据包附加表示其用于无线带宽推定的数据(识别信息)和其序列编号加以发送。这些信息在由客户端121提取之后除去。此外,连 续的包的发送间隔遵从后述的“无线带宽推定”(步骤508)的指示。初始值能够预先决定。服务器105以与指示的带宽相应的包间隔发送数据。例如,若带宽较高则缩短包间隔,若带宽较低则延长包间隔。因此单位时间的发送数据量得以调整。此外,也可以不使用数据包,而发送带宽推定用的通常试验用包。该情况下,生成与通常的数据包不同的包进行发送。
此处,参照图6说明客户端121的处理。
客户端121在影像传送结束之前重复以下各处理(步骤601)。首先,客户端121利用无线LAN模块127接收来自服务器105的包(步骤602)。客户端121(例如无线带宽监视部120)执行无线带宽监视(步骤603)。例如,客户端121在将包的包头除去并存储到影像缓存器124中时,检测影像帧的分隔并测定每帧的数据量,进行无线带宽监视。对于步骤603的详细处理,之后将参照图8进行详细说明。
客户端121(例如Demux部125)对包的负载进行Demux处理(步骤604)。存储在包的负载中的数据为TS(Transport Stream:传输流)数据。Demux处理将其分离为各ES(Elemental Stream:基本流,影像、声音、字幕、数据播放等)。客户端121将Demux输出向各ES的缓存器分配(步骤605)。例如,将Demux处理的结果存储到按每个ES准备的缓存器中。其中,各缓存器为环形缓存器,如果有空位则可以存储,在没有空位的情况下则产生缓存器溢出的错误,进行异常处理。例如,进行丢弃数据、返回通常动作等的处理。本实施方式提供了尽量不使该错误产生的方式。
客户端121监视影像缓存器124(步骤606)。例如,求取影像缓存器124内的影像帧数、剩余数据量等缓存器的使用状况信息。对于步骤606的详细处理,之后将参照图10进行详细说明。客户端121将序列编号和监视时刻存储到反馈信息的数据结构中(步骤607)。
图12表示反馈信息的数据结构的说明图。
反馈信息被从客户端121送至服务器105。图12仅表示通信数据的负载部分。标志1201为表示是否存在例如编号、监视时刻、包间隔、缓存器剩余时间、缓存器剩余数据量的字段的标志。例如,具备与字段的数量对应的比特数,本实例中为5比特。存在的数据的比特字段 为1,不存在的数据的比特字段为0。编号1202是在客户端121的带宽监视中发出的序列编号。监视时刻1203是在客户端121的带宽监视中发出的监视时刻。包间隔1204是所测定的包间隔时间。影像帧数1205是存在于缓存器内的影像帧数、张数。缓存器剩余数据量1206是存在于缓存器内的数据的数据量,单位为Byte或者KByte等。
返回图6的说明,客户端121向服务器105发送反馈信息(步骤608)。反馈信息能够包含例如序列编号1202、监视时刻1203、包间隔时间1204、缓存器内影像帧数1205、缓存器剩余数据量1206等。也可以不包含不能够观测到的数据。
返回图5,返回服务器105的处理的说明。步骤503中,服务器105接受来自客户端121的反馈信息。此外,步骤504中,服务器105判定所接收的反馈信息是否异常。例如,在反馈信息的数据结构被破坏的情况下、未存储序列编号或监视时刻数据的情况下,服务器105判定反馈信息异常。在反馈信息没有异常的情况下(步骤504,否),执行无线带宽推定处理(步骤505)、对反馈信息内是否存在影像帧数·剩余数据量信息的确认(步骤506)、和内容比特率控制(步骤507)。其中,当在反馈信息内存储有影像帧数和剩余数据量的信息时(步骤506,是),执行影像缓存器剩余时间推定(步骤508)。
在无线带宽处理(步骤505)中,例如,根据包含在反馈信息中的包间隔信息推定服务器101与客户端121之间的无线带宽。在影像缓存器剩余时间推定(步骤508)中,例如推定影像缓存器124的影像数据的剩余时间。图7表示无线带宽推定处理(步骤505)的顺序,图9表示影像缓存器剩余时间推定(步骤508)的顺序。之后将对各处理进行详细说明。
图4表示与所推定的影像缓存器剩余时间和无线带宽的状态相应的内容比特率控制方法的一例的说明图,其中,C是内容比特率(Mbps),W是所推定的无线带宽(Mbps),T是影像缓存器内的剩余时间,L是影像缓存器的阈值时间,U(C)是影像缓存器的上限时间。图11是表示服务器进行的内容比特率控制顺序的流程图。参照图4和图11,详细说明步骤507的内容比特率控制。
内容比特率控制部109遵从图4的状态矩阵,对内容比特率变换 部110发出比特率的指示。无线带宽W通过上述无线带宽推定(步骤505)、更详细而言通过图7的带宽预测(步骤713)获取。影像缓存器内的剩余时间T、影像缓存器的上限时间U(C)通过上述步骤508(更详细而言为后述图9的处理)获取。影像缓存器的阈值时间L能够预先决定。
在图4的状态矩阵中,纵向表示所推定的无线带宽W的状态,横向表示所推定的影像缓存器剩余时间T的状态。无线带宽的状态分为内容比特率C为无线带宽W以下的情况(401)和内容比特率C大于无线带宽W的情况(402)。例如,内容比特率C为无线带宽W以下的情况(401)为无线带宽充裕的状态,另一方面,内容比特率C比无线带宽W大的情况(402)为不能够无延迟地发送该内容比特率C的数据的状态。
所推定的影像缓存器剩余时间T的状态分为:所推定的影像缓存器剩余时间T比影像缓存器的阈值时间L小的情况(403);所推定的影像缓存器剩余时间T为影像缓存器的阈值时间L以上并且比影像缓存器的上限时间U(C)小的情况(404);和所推定的影像缓存器剩余时间T为影像缓存器的上限时间U(C)以上的情况(405)。406~411表示了由无线带宽的状态和所推定的影像缓存器剩余时间的状态的组合而决定的状态。
内容比特率控制部109首先判定无线带宽的状态(步骤1101)。例如,判定其为图4的状态401还是状态402。其中,内容比特率C的初始值为变更前的内容的比特率。此外,内容比特率控制部109判定影像缓存器的状态(步骤1102)。例如,判定其为图4的状态403、404、405中的哪一种。此外,步骤1101和1102的顺序也可以颠倒。
内容比特率控制部109根据步骤1101和1102的判定结果,判定图4的406~411的状态(步骤1103)。在各状态下,按照下述方式控制内容比特率。
状态406:比特率C维持原状发送(步骤1105)。
状态407:一面将比特率C恢复至原始值一面发送(步骤1108)。例如,判定比特率C是否恢复原有的比特率(例如初始值),在内容比特率C恢复原有的比特率之前使其逐渐增大,恢复后维持原状(步骤1108、1111、1112)。
状态408:发送停止(步骤1107)。例如,发出缓存器溢出错误,停止发送。
状态409:减少比特率C进行发送(在T停止减少之前逐渐减少C)(步骤1106)。
状态410:将比特率C保持原状发送(步骤1109)。
状态411:发送停止(步骤1110)。例如,发出缓存器溢出错误,停止发送。
内容比特率控制部109对内容比特率变换部110指示与状态相应的内容比特率(步骤1104)。
下面说明状态转移的例子,通常的状态例如为状态407。此时,内容比特率为原始的状态。此处,若服务器105与客户端121之间的无线带宽的状态恶化,则转移到状态410。状态410下,内容比特率C不变,保持原状发送。由于状态410下无线带宽较小,产生数据发送的延迟,影像缓存器剩余时间减少。当影像缓存器剩余时间T为阈值时间L以下时,转移到状态409,使比特率C在影像缓存器剩余时间T停止减少之前逐渐减少,发送影像数据。
若无线带宽恢复,则转移到状态406。状态406下,将已减少的比特率C保持原状发送。由于此处减少内容比特率进行发送,与从影像缓存器124输出而显示的单位时间的帧数相比,向影像缓存器124写入的单位时间的帧数增加,所以影像缓存器剩余时间增加。当影像缓存器剩余时间为阈值时间L以上时,转移到状态407,一面使比特率C逐渐恢复至原始值一面发送影像数据。
(无线带宽推定)
图13表示带宽推定用工作表的说明图。
带宽推定用工作表例如存储在无线带宽推定部104中。无线带宽推定部104从反馈信息提取各信息存放在本表。序列编号1301、监视时刻1302、包间隔1303对应地存储在带宽推定用工作表中。
编号1301是客户端121的无线带宽监视部120所发出的序列编号,从反馈信息中提取而得。能够检测出顺序错乱和缺少。监视时刻1302是客户端121的无线带宽监视部120所发出的监视时刻,从反馈信息中提取而得。能够测定反馈信息的传输延迟。包间隔1303是客户端121 的无线带宽监视部120所观测到的包间隔时间,从反馈信息中提取而得。能够检测出间隔的变化。带宽推定用工作表积存所接收的反馈信息(1304)。此外,在能够推定带宽时,从较旧的数据开始丢弃。
图14表示推定带宽数据表的说明图。
推定带宽数据表例如存储在无线带宽推定部104中。无线带宽推定部104将使用带宽推定用工作表推定的带宽存放在本表,积存在服务器侧。推定时刻1401与推定带宽1402对应地存储在推定带宽数据表中。
推定时刻1401表示完成带宽推定的时刻。推定带宽1402存储例如由PathLoad法等推定的带宽。根据带宽的变化和带宽衰减的频率·衰减间隔来推定数据发送定时的带宽。推定带宽数据表积存所推定的带宽(1403)。另外,对于在计算带宽变化和带宽衰减·衰减间隔中不使用的数据,从旧数据开始丢弃。
图7是表示服务器进行的无线带宽推定顺序的流程图。图7是图5的无线带宽推定(步骤508)的详细流程。
首先,说明图7的流程。本顺序在每次被反复调用时通过使内部状态稍有转移而推进处理。状态转移为“推定暂停(初始状态)→“推定开始”→“推定中”→“推定暂停”,使其以一定间隔或按照需要来重复。带宽推定能够使用以下公知的方法(Pathload、PathChirp、IGI(初始间隔递增)等)。
“Pathload”-Manish Jain、Constantinos Dovrolis-2002
“PathChirp”-Vinay Ribeiro、Rudolf Riedi、Richard Baraniuk、Jiri Navratil、Les Cottrell-2003
“IGI(Initial Gap Increasing)”-Ningning Hu、Peter Steenkiste-2003
此外,可以不限于此,使用适当的带宽推定的方法。
本顺序以其中的Pathload为例表示顺序。下述方法中发送通常试验用包进行带宽推定,但也能够使用实际发送的数据进行推定,从而一面进行推定处理一面发送数据。
首先,无线带宽推定部104判断无线带宽推定的状态(步骤701、702)。如果状态为推定暂停(步骤701,是),则结束本流程的处理(步 骤705)。此外,如果状态为推定开始(步骤702,是),则进行步骤706和707。其中,由推定暂停到推定开始的状态转移在本顺序外部进行。例如进行以下处理,即,在定时器的每一秒或者在影像传送刚开始时检查状态,如果为推定暂停则变更为推定开始。
在步骤706中,无线带宽推定部104设定带宽推定的上限和下限。其中,在推定开始时,上限设定为无线模块108的物理上限极限,下限设定为0。此外,在步骤707,无线带宽推定部104将状态转移到“推定中”。此外,状态能够存储在合适的存储部。
无线带宽推定部104向数据包发送部(无线LAN模块108)指示所设定的上限和下限的中间值。例如,无线带宽推定部104计算出带宽推定的上限和下限的中间值,作为用于在图5的“数据包的发送”(步骤502)中使用的推定候补的带宽进行指示。无线LAN模块108在上述步骤502中,以与所指示的带宽相应的包间隔发送数据。即,如果带宽较高则包间隔较短,带宽较低则包间隔较长。因此单位时间的发送数据量得以调整。
无线带宽推定部104判断来自客户端121的反馈信息中是否存在包间隔信息(步骤704)。当在反馈信息的包间隔信息1204的字段中存在数据时(步骤704,是),执行以下的处理。
无线带宽推定部104将接收到的反馈信息的包间隔信息(1204)、监视时刻信息(1203)和序列编号(1202)积存在图13所示的带宽推定用工作表中(步骤708)。无线带宽推定部104进行包间隔的判定(步骤709)。例如,无线带宽推定部104判定包间隔与上一次的数据(前一个序列编号的数据)相比是减少还是增大、是否在所指定的容许误差范围内一致(差是否在容许误差范围内)。因为包间隔减少表示无线带宽充裕,所以无线带宽推定部104将在步骤703中采用的中间值设定为新的下限(步骤710)。另一方面,因为包间隔增大表示无线带宽不足,所以无线带宽推定部104将在步骤703中采用的中间值设定为新的上限(步骤711)。
当包间隔在容许误差范围内一致时(步骤709),无线带宽推定部104以单位时间的发送数据量为推定的带宽,在推定带宽数据表(图14)中存放所推定的带宽(推定带宽)1402和当前的时刻(推定时 刻)1401(步骤712)。此时,可以适当丢弃带宽推定用工作表(图13)的旧数据。无线带宽推定部104使用积存在推定带宽数据表(图14)中的数据,向时刻的未来方向外推,预测包被发送到客户端121时的无线带宽(步骤713)。其中,预测的方法能够使用适当的方法。由此获取图4的“控制方法”中的推定的无线带宽W。其中,也可以省略步骤713的处理,将步骤712推定的带宽作为无线带宽W。由于推定结束,无线带宽推定部104将状态转移到“推定暂停”(步骤714)。
图8是表示客户端121进行的无线带宽监视顺序的流程图。服务器105和客户端121的无线带宽推定顺序共同作用。图8是图6的无线带宽监视(步骤603)的详细流程。
无线带宽监视部120在接收到为了无线带宽监视用而发送的包时,记录包的序列编号、接收时刻(步骤801)。无线带宽监视部120判定是否存在连续的上一次的包(步骤802)。连续的包的判定,例如能够通过接收到的包内的序列编号与存放的序列编号连续来进行判定。在发生包顺序调换的情况下以正常的顺序处理,在一定时间内没有包到达的情况下作为无线带宽监视用包的丢失来处理。如果没有连续的上一次的包,则结束本处理。
无线带宽监视部120计算包间隔时间(步骤803)。例如,在连续的两个包中,计算上一次包接收时刻和本次包接收时刻的差,作为包间隔时间。无线带宽监视部120将包间隔时间存放在反馈信息的数据结构中。例如,在图12的数据结构的包间隔字段1204中存放数据,使标志1201的该比特为真。此外,反馈信息被从客户端121发送至服务器105(例如上述步骤608)。
(影像缓存器的剩余时间推定)
图15表示剩余时间数据表的说明图。
剩余时间数据表积存在服务器105侧。例如,能够存储在影像缓存器剩余时间监视部106或影像缓存器剩余时间预测部103中。各信息从来自客户端121的反馈信息中提取,存放在本表中。因为并不一定会包含在反馈信息内,所以仅当其存在的时候存放。
编号1501是客户端121的无线带宽监视部120所发出的序列编号。能够检测出顺序错乱和缺少。监视时刻1502是客户端121的无线带宽 监视部120所发出的监视时刻。其从反馈信息中提取而得。缓存器剩余时间1503通过从反馈信息中提取而得的缓存器内影像帧数×每1帧的时间(例如1/30)来求得。缓存器剩余数据量1504是影像缓存器124内存在的数据量,从反馈信息中提取而得。此外,剩余时间数据的积存1505从较旧的数据开始丢弃,成为环形缓存器。
图10是表示客户端121进行的影像缓存器监视顺序的流程图。
其为图6的影像缓存器监视处理(步骤606)的详细流程。例如为,影像缓存器监视部126求取影像缓存器124内的影像帧数和缓存器剩余数据量,存放在反馈信息中的流程。
首先,影像缓存器监视部126进行初始设定(步骤1001)。例如,将影像帧数设定为0。影像缓存器监视部126扫描影像缓存器124,搜索影像缓存器124内的影像数据(步骤1002)。例如,扫描影像ES用的缓存器124。重复直至处理完全部缓存器。在扫描中,影像缓存器监视部126检测出影像帧(I、P、B帧)。在检测出影像帧(I、P、B帧)时,能够对每帧进行详细的监视。或者,检测到序列头(sequence header)(仅I帧)时,能够对每GOP(Group of Pictures:图像组,15帧的影像单位,相当于0.5秒)进行相对粗糙的监视。能够预先决定对什么进行检测。影像缓存器监视部126在每当检测到影像帧时计数加一,对影像帧数计数(步骤1006)。
此外,作为对影像帧数计数的另一种方法,除上述扫描以外还能够通过在从步骤605的Demux向各ES分配时进行影像帧检测,能够减少存储器访问,实现高速化。
此外,影像缓存器监视部126对影像数据量计数(步骤1003)。如本实施方式所述,在影像ES专用的环形缓存器的情况下,能够根据数据的头指针和尾指针的位置计算数据量。影像缓存器监视部126在反馈信息中存放影像帧数1205和影像数据量(缓存器剩余数据量)1206(步骤1004)。此外,反馈信息被从客户端121发送到服务器105(例如上述步骤608)。
图9是表示服务器105进行的影像缓存器剩余时间的推定顺序的流程图。是图5的影像缓存器剩余时间推定处理(步骤508)的详细流程。
影像缓存器剩余时间监视部106读出反馈信息的影像帧数和剩余数据量(步骤901)。例如可以在接收到反馈信息时从包中提取而得,也可以先存储反馈信息,在适当的定时读出。影像缓存器剩余时间监视部106根据影像帧数计算影像再现的剩余时间(步骤902)。例如,通过“剩余时间(秒)=影像帧数/每秒的帧数”来计算。影像缓存器剩余时间监视部106将剩余时间和剩余数据量积存在剩余时间数据表中(步骤903)。例如,在剩余时间数据表(图15)中,存放从反馈信息中提取而得的序列编号1501、监视时刻1502,并且存放缓存器剩余时间1503和缓存器剩余数据量1504。其中,剩余时间数据表成为环状缓存器,旧数据被丢弃(覆盖)。
影像缓存器剩余时间预测部103预测剩余时间(T)和剩余数据量(步骤904)。例如,接收到的反馈信息在接收的时刻已经成为过去的数据,在当前时刻和在数据发送前需要耗费时间的情况下,需要预测未来的时刻的剩余时间和剩余数据量。为了进行该预测,使用积存在图15的剩余时间数据表中的数据,通过从监视时刻1502向未来的时刻外推来进行预测。此外,在反馈信息的实际数据与以前的预测数据存在偏差的情况下,还能够通过下一次预测时考虑上该偏差从而提高预测性能。其中,可以使用适当的方法,根据多个数据求取未来的时刻的预测值。
影像缓存器剩余时间预测部103计算影像缓存器的上限时间U(C)(步骤905)。上限时间U(C)兼顾已经积存在影像缓存器中的数据和之后以内容比特率C发送并积存的数据,根据以下的(式1)决定。
U(C)=L+(A-R)/C (式1)
此处为,L:剩余时间(s),A:缓存器总容量(MByte),R:剩余数据量(MByte),C:当前时刻的内容比特率(MByte/s)。
影像缓存器剩余时间预测部103、影像缓存器剩余时间监视部106将求得的各数据存储在适当的存储部中。
其中,在2画面显示等、将多个画面同时在面板122显示的情况下,例如,缓存器124可以具有显示的各个影像数据的区域,按各影像数据求取剩余时间。此外,可以使用所求得的各影像数据的剩余时间中最小的时间,也可以使用最大的时间。在使用最小的时间的情况 下,能够防止2画面显示的停止·画质恶化,在使用最大的时间的情况下,即使2画面显示不能继续也能够至少再现一个影像,防止该影像的画质恶化。
(内容比特率的存储)
图16表示内容比特率历史表的说明图。
内容比特率历史表例如存储在内容比特率控制部109或者内容比特率变换部110中。内容比特率历史表存放有变换时刻1601和比特率1602。变换时刻1601是变换内容比特率的时刻。比特率1602是由内容比特率控制部109决定的内容比特率的值,或者由内容比特率变换部110变换的内容比特率的值(例如,Mbps等)。内容比特率数据的积存1603从较旧的数据开始丢弃,成为环形缓存器。
(效果例)
图19表示说明本实施方式的效果的示意图。
如上所述,服务器105根据无线带宽的状态和影像缓存量将内容比特率1701控制为抑制缓存器下溢的比特率(1901)。从而,本发明的优点是画质的恶化较少(1902)。并不直接与无线带宽变动1702相一致,而是在影像缓存器的剩余时间充裕时通过略微减少比特率来抑制画质恶化。减少比特率之前产生的延迟,在比特率控制后逐渐缓和(恢复)(1903)。影像缓存器剩余时间1703也随之逐渐恢复(1904)。
2.第2实施方式
第1实施方式的服务器105和客户端121也能够由机顶盒(STB)、PC等构成。服务器105和客户端121的各处理与上述第1实施方式相同。上述各处理由处理器(处理部)208、307执行。此外,用于由处理器执行的程序和上述各表例如存储在内部存储部211、310等存储部中。该程序能够通过记录介质、网络等来安装/更新。
图2表示服务器系统的结构图。
服务器201能够使用例如可更新固件的STB或者PC。此外,在这样的服务器201上,安装用于进行上述第1实施方式的处理的软件、程序,通过处理器运行软件来实现第1实施方式的功能。软件的安装/更新方法例如有以下三种。
(1)通过记录媒体
(2)通过互联网/内部网下载
(3)播放下载(也对应通常的TV)
服务器201例如是搭载数字播放接收调谐器的PC、或者能够更新固件的数字播放接收设备。
服务器201例如具有处理器208、存储部211、数字播放接收模块212、无线LAN天线205、MAC/RF206、内部总线204,此外,服务器201还可以具有视频·声音模块202、显示器和扬声器203、通信接口207、媒体控制部209、和易失性存储器210。
视频·声音模块202具备例如影像和声音的输出(HDMI等)功能。显示器和扬声器203输出接收到的影像数据、声音数据。内部总线204,例如在PC的情况下,为PCI-Express等。无线LAN天线205是用于经由无线LAN发送接收数据的天线。其中,无线LAN天线205,在例如IEEE802.11n方式的情况下,存在天线为3根以上的情况。MAC/RF206为无线LAN模块。MAC/RF206也可以将获取的固件经由无线LAN发送到客户端。通信接口207例如为Ethernet卡(以太网卡)等,能够从Web站点(网络站点)获取固件进行安装/更新。处理器208例如在PC的情况下为CPU,在STB的情况下为微型计算机。媒体控制部209中,例如,接口为USB和SATA等,驱动器为CD、DVD、BD、SD卡等。媒体控制部209在媒体中保存安装/更新用的固件,也能够通过从其读入来进行程序的导入/更新。
易失性存储器210例如为RAM。内置存储部211例如在PC的情况下为HDD,在STB的情况下为FlashROM等非易失性存储器。数字播放接收模块212,在图示的示例中,记为内置在服务器201中的结构,但可以为通过USB外置的结构。数字播放接收模块212能够以播放下载的方式获取固件,进行安装/更新。数字播放接收天线213例如经由同轴电缆与数字播放接收模块212连接。
图3表示客户端系统的结构图。
在客户端301,例如,能够使用可更新固件的STB、或者PC。此外,软件的安装/更新方法,与上述相同地例如存在以下三种。
(1)通过记录媒体
(2)通过互联网/内部网下载
(3)播放下载(也对应通常的TV)
客户端301例如为PC、或者能够更新固件的互联网终端或者DLNA播放器。
客户端301例如具有处理器307、存储部310、无线LAN天线304、MAC/RF305、视频·声音模块311、显示器和扬声器302、内部总线303,此外,客户端301还可以具有通信接口306、媒体控制部308、和易失性存储器309。
显示器和扬声器302将接收到的影像数据、声音数据输出。内部总线303,例如在PC的情况下,为PCI-Express等。无线LAN天线304是用于经由无线LAN发送接收数据的天线。另外,无线LAN天线304,例如在IEEE802.11n方式的情况下,存在天线为3根以上的情况。MAC/RF305为无线LAN模块。MAC/RF305可以经由无线LAN从服务器201获取固件。通信接口306例如为Ethernet卡等(Ethemet为注册商标)。处理器307例如在PC的情况下为CPU,在STB的情况下为微型计算机。媒体控制部308中,例如,接口为USB、SATA等,驱动器为CD、DVD、BD、SD卡等。易失性存储器309例如为RAM。内置存储部310例如在PC的情况下为HDD,在STB的情况下为FlashROM等非易失性存储器。视频·声音模块311具备影像和声音的输出(HDMI等)功能。
例如,利用计算机可读取的存储介质,上述内容比特率控制程序能够安装在服务器201中,其中,该存储介质存储有用于使上述服务器201执行下述步骤的内容比特率控制程序,这些步骤是:
将规定的内容比特率的影像数据通过无线带宽变动的无线通信从服务器(第1计算机)201向客户端(第2计算机)301发送的步骤,该客户端积存所接收的影像数据,读出该影像数据并加以显示;
根据从客户端301接收到的客户端301的缓存器(例如,内部存储部310的积存影像数据的区域)的使用状况信息,推定该缓存器内的影像数据的剩余时间的步骤;
推定上述无线通信的无线带宽的步骤;
根据所推定的影像数据的剩余时间和无线带宽,控制向客户端301发送的影像数据的内容比特率的步骤;和
将影像数据的内容比特率变换为由控制上述内容比特率的步骤所控制的内容比特率,将该影像数据向客户端301发送的步骤。
3.附记
能够通过用于使计算机执行各顺序的内容比特率控制程序、记录有内容比特率控制程序的计算机能够读取的记录介质、包含该程序并能够加载到计算机的内部存储器中的程序产品、包含该程序的服务器等计算机等,来提供本发明的内容比特率控制方法。
产业上的可利用性
本发明例如能够用于调谐设备和显示设备间通过无线来发送影像数据的电视接收机等。
Claims (15)
1.一种无线影像传送系统,其特征在于,包括:
无线影像传送装置,其将规定的内容比特率的影像数据通过无线带宽变动的无线通信进行发送;和
无线影像接收装置,其积存从所述无线影像传送装置接收的影像数据,读出该影像数据并加以显示,
所述无线影像接收装置包括:
缓存器,其用于积存影像数据;和
缓存器监视部,其监视该缓存器的使用状况,将包含使用状况信息的反馈信息向所述无线影像传送装置发送,
所述无线影像传送装置包括:
缓存器剩余时间推定部,其根据来自所述无线影像接收装置的所述缓存器的使用状况信息,推定所述缓存器内的影像数据的剩余时间;
无线带宽推定部,其推定所述无线影像传送装置与所述无线影像接收装置之间的无线带宽;
内容比特率控制部,其根据所推定的影像数据的剩余时间和无线带宽,控制向所述无线影像接收装置发送的影像数据的内容比特率;和
内容比特率变换部,其将向所述无线影像接收装置发送的影像数据的内容比特率变换为由所述内容比特率控制部所控制的内容比特率。
2.如权利要求1所述的无线影像传送系统,其特征在于:
所述缓存器的使用状况信息为所述缓存器内具有的影像帧数;
所述缓存器剩余时间推定部根据影像帧数和每1帧的时间,推定所述缓存器内的影像数据的剩余时间。
3.如权利要求1所述的无线影像传送系统,其特征在于:
所述内容比特率控制部,
在所推定的无线带宽比内容比特率小,并且所推定的影像数据的剩余时间为预先决定的阈值以上的情况下,不变更内容比特率,
在所推定的无线带宽比内容比特率小,并且所推定的影像数据的剩余时间比所述阈值小的情况下,减少该内容比特率。
4.如权利要求3所述的无线影像传送系统,其特征在于:
所述内容比特率控制部,
在所推定的无线带宽为内容比特率以上,并且所推定的影像数据的剩余时间为所述阈值以上的情况下,将该内容比特率恢复至初始值。
5.如权利要求3所述的无线影像传送系统,其特征在于:
所述内容比特率控制部,
在所推定的无线带宽为内容比特率以上,并且所推定的影像数据的剩余时间比所述阈值小的情况下,不变更内容比特率。
6.如权利要求1所述的无线影像传送系统,其特征在于:
所述内容比特率控制部,
在所推定的无线带宽比内容比特率小,并且所推定的影像数据的剩余时间为预先决定的阈值以上的情况下,不变更内容比特率,
在所推定的无线带宽比内容比特率小,并且所推定的影像数据的剩余时间比所述阈值小的情况下,减少该内容比特率,
在所推定的无线带宽为内容比特率以上,并且所推定的影像数据的剩余时间为所述阈值以上的情况下,将该内容比特率恢复至初始值,或者不变更内容比特率,
在所推定的无线带宽为内容比特率以上,并且所推定的影像数据的剩余时间比所述阈值小的情况下,不变更内容比特率。
7.如权利要求1所述的无线影像传送系统,其特征在于:
所述内容比特率控制部,
在所推定的影像数据的剩余时间超过能够存储在所述缓存器中的影像数据的上限时间的情况下,停止影像数据的发送。
8.如权利要求7所述的无线影像传送系统,其特征在于:
所述缓存器剩余时间推定部,
根据所推定的影像数据的剩余时间、预先决定的所述缓存器的容量、和在以当前时刻的内容比特率发送影像数据的情况下积存的数据量,求取所述缓存器的上限时间。
9.如权利要求6所述的无线影像传送系统,其特征在于:
所述缓存器剩余时间推定部利用下式求取所述缓存器的上限时间U(C),
U(C)=L+(A-R)/C,
此处,L:缓存器的剩余时间(秒),A:缓存器的容量(字节),R:剩余数据量(字节),C:当前时刻的内容比特率(字节/秒)。
10.如权利要求1所述的无线影像传送系统,其特征在于:
所述无线影像传送装置,
还具有缓存器剩余时间预测部,其根据将所述缓存器剩余时间推定部所推定的影像数据的剩余时间与时刻对应地加以存储而得的积存数据,推定规定时间后的所述缓存器内的影像数据的剩余时间。
11.如权利要求1所述的无线影像传送系统,其特征在于:
所述无线带宽推定部,
根据所述无线影像接收装置从所述无线影像传送装置接收的包的包间隔,推定无线带宽。
12.如权利要求1所述的无线影像传送系统,其特征在于:
所述无线带宽推定部,
根据将所推定的无线带宽与时刻对应地加以存储而得的第2积存数据,预测规定时间后的无线带宽。
13.如权利要求1所述的无线影像传送系统,其特征在于:
所述无线影像传送装置,
还具有用于将播放的所述影像数据经由天线来进行接收的调谐设备部。
14.一种无线影像传送系统中的内容比特率控制方法,该无线影像传送系统包括:无线影像传送装置,其将规定的内容比特率的影像数据通过无线带宽变动的无线通信进行发送;和无线影像接收装置,其积存从无线影像传送装置接收的影像数据,读出该影像数据并加以显示,该内容比特率控制方法的特征在于,包括:
对积存影像数据的无线影像接收装置的缓存器的使用状况进行监视,将包含使用状况信息的反馈信息向无线影像传送装置发送的步骤;
根据来自无线影像接收装置的缓存器的使用状况信息,推定缓存器内的影像数据的剩余时间的步骤;
推定无线影像传送装置和无线影像接收装置之间的无线带宽的步骤;
根据所推定的影像数据的剩余时间和无线带宽,控制向无线影像接收装置发送的影像数据的内容比特率的步骤;
将影像数据的内容比特率变换为由控制所述内容比特率的步骤所控制的内容比特率,将该影像数据从无线影像传送装置向无线影像接收装置发送的步骤。
15.一种计算机能够读取的记录介质,其特征在于:
存储有内容比特率控制程序,该内容比特率控制程序用于使第1计算机执行下述步骤:
将规定的内容比特率的影像数据通过无线带宽变动的无线通信从所述第1计算机向第2计算机发送的步骤,该第2计算机积存所接收的影像数据,读出该影像数据并加以显示;
根据从第2计算机接收到的第2计算机的缓存器的使用状况信息,推定该缓存器内的影像数据的剩余时间的步骤;
推定所述无线通信的无线带宽的步骤;
根据所推定的影像数据的剩余时间和无线带宽,控制向第2计算机发送的影像数据的内容比特率的步骤;和
将影像数据的内容比特率变换为由控制所述内容比特率的步骤所控制的内容比特率,将该影像数据向第2计算机发送的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009149490A JP2011009904A (ja) | 2009-06-24 | 2009-06-24 | 無線映像配信システム、コンテンツビットレート制御方法及びコンテンツビットレート制御プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
JP2009-149490 | 2009-06-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101945262A true CN101945262A (zh) | 2011-01-12 |
Family
ID=42735944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101951256A Pending CN101945262A (zh) | 2009-06-24 | 2010-05-31 | 无线影像传送系统、内容比特率控制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20100333148A1 (zh) |
EP (1) | EP2268029A1 (zh) |
JP (1) | JP2011009904A (zh) |
CN (1) | CN101945262A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184739A (zh) * | 2011-03-08 | 2011-09-14 | 深圳英飞拓科技股份有限公司 | 一种录像播放装置及方法 |
CN103828378A (zh) * | 2011-09-21 | 2014-05-28 | 日本电气株式会社 | 内容发布系统、缓存服务器以及内容发布方法 |
CN104038846A (zh) * | 2013-03-05 | 2014-09-10 | 华为技术有限公司 | 缓存状态估计方法及设备 |
CN103716114B (zh) * | 2012-09-28 | 2018-02-23 | 华为技术有限公司 | 数据传输业务中参数设置方法、终端和基站 |
CN107924665A (zh) * | 2015-08-31 | 2018-04-17 | 夏普株式会社 | 转移控制装置、终端装置及转移控制方法 |
CN105376642B (zh) * | 2014-08-18 | 2019-12-03 | 深圳Tcl新技术有限公司 | 视频播放分辨率切换方法及系统 |
CN111225209A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 视频数据推流方法、装置、终端及存储介质 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8516578B1 (en) * | 2010-12-22 | 2013-08-20 | Google Inc. | Vertex array access bounds checking |
US8898718B2 (en) * | 2011-01-27 | 2014-11-25 | International Business Machines Corporation | Systems and methods for managed video services at edge-of-the-network |
US8644678B2 (en) * | 2011-03-03 | 2014-02-04 | Verizon Patent And Licensing Inc. | Video recording management |
US9473406B2 (en) * | 2011-06-10 | 2016-10-18 | Citrix Systems, Inc. | On-demand adaptive bitrate management for streaming media over packet networks |
CA2839436C (en) * | 2011-06-15 | 2015-08-04 | Allot Communications Ltd | Method and apparatus for session bandwidth estimation and rate control |
KR101799311B1 (ko) * | 2011-06-28 | 2017-11-21 | 삼성전자 주식회사 | 무선통신장치 및 그 제어방법 |
JP5539289B2 (ja) * | 2011-10-31 | 2014-07-02 | 株式会社日立製作所 | 無線通信装置 |
WO2013112081A1 (en) * | 2012-01-24 | 2013-08-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and iptv server for enabling playout of one or more media objects |
JP2014093655A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
TWI520590B (zh) * | 2012-12-17 | 2016-02-01 | 財團法人工業技術研究院 | 影音串流傳輸方法、影音裝置以及影音提供裝置 |
CA2804741A1 (en) * | 2013-01-21 | 2014-07-21 | Disternet Technology, Inc. | Media server |
KR102034624B1 (ko) * | 2013-02-26 | 2019-10-21 | 삼성전자 주식회사 | 대역폭 예측을 통한 휴대 단말기의 스트리밍 컨텐츠 운용 방법 및 장치 |
US8887217B2 (en) * | 2013-03-13 | 2014-11-11 | Futurewei Technologies, Inc. | Systems and methods for quality of experience aware joint scheduling of buffered video on demand and best effort flows |
EP2822287A1 (en) * | 2013-07-01 | 2015-01-07 | Thomson Licensing | Method and apparatus for frame accurate advertisement insertion |
KR101782453B1 (ko) * | 2013-07-08 | 2017-09-28 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 재생 제어 방법, 장치 및 시스템 |
US20160182849A1 (en) * | 2013-08-09 | 2016-06-23 | Panasonic Intellectual Property Management Co., Ltd. | Wireless camera system, central device, image display method, and image display program |
EP2876890A1 (en) | 2013-11-21 | 2015-05-27 | Thomson Licensing | Method and apparatus for frame accurate synchronization of video streams |
JP2016005264A (ja) * | 2014-06-20 | 2016-01-12 | 船井電機株式会社 | 映像送信装置及び映像送信方法 |
EP3016394A1 (en) * | 2014-10-30 | 2016-05-04 | Alcatel Lucent | Apparatus, user equipment, adaptation server, method and computer program for determining information related to a presentation time of buffered media data |
US10666698B1 (en) * | 2014-12-19 | 2020-05-26 | Amazon Technologies, Inc. | Bit rate selection for streaming media |
US10708331B1 (en) | 2014-12-19 | 2020-07-07 | Amazon Technologies, Inc. | Generating requests for streaming media |
US9686332B1 (en) | 2014-12-19 | 2017-06-20 | Amazon Technologies, Inc. | Live stream manifests for on demand content |
GB2541736B (en) | 2015-08-28 | 2019-12-04 | Imagination Tech Ltd | Bandwidth management |
CA3001480C (en) * | 2015-10-16 | 2019-06-18 | Tribune Broadcasting Company, Llc | Video-production system with dve feature |
KR102650652B1 (ko) * | 2016-11-09 | 2024-03-25 | 한화비전 주식회사 | 동영상 데이터를 전송하는 방법 |
WO2018161356A1 (zh) * | 2017-03-10 | 2018-09-13 | 华为技术有限公司 | 一种数据传输优化方法、终端及网络设备 |
CN108174286B (zh) * | 2017-12-27 | 2021-02-09 | 北京奇艺世纪科技有限公司 | 一种视频码流的处理方法及装置 |
US11463747B2 (en) | 2018-04-05 | 2022-10-04 | Tvu Networks Corporation | Systems and methods for real time control of a remote video production with multiple streams |
US10966001B2 (en) * | 2018-04-05 | 2021-03-30 | Tvu Networks Corporation | Remote cloud-based video production system in an environment where there is network delay |
US11212431B2 (en) | 2018-04-06 | 2021-12-28 | Tvu Networks Corporation | Methods and apparatus for remotely controlling a camera in an environment with communication latency |
CN111801949B (zh) | 2018-10-31 | 2023-07-28 | 松下知识产权经营株式会社 | 影像显示装置、影像显示装置的控制方法、以及程序记录介质 |
US10958947B1 (en) * | 2020-03-12 | 2021-03-23 | Amazon Technologies, Inc. | Content delivery of live streams with playback-conditions-adaptive encoding |
US11818406B2 (en) * | 2020-07-23 | 2023-11-14 | Western Digital Technologies, Inc. | Data storage server with on-demand media subtitles |
CN114143223B (zh) * | 2020-08-13 | 2023-11-21 | 贵州白山云科技股份有限公司 | 一种带宽异常检测方法、装置、介质及设备 |
WO2023047578A1 (ja) * | 2021-09-27 | 2023-03-30 | 富士通株式会社 | 画像伝送制御装置、方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101203827A (zh) * | 2005-05-23 | 2008-06-18 | 微软公司 | 用于媒体流的流量控制 |
US20080170630A1 (en) * | 2007-01-16 | 2008-07-17 | Yohai Falik | System and a method for controlling one or more signal sequences characteristics |
CN101238671A (zh) * | 2005-08-04 | 2008-08-06 | 汤姆逊许可证公司 | 补偿自适应视频传送期间信道状态信息在接收机和发射机之间的延时 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100420601B1 (ko) * | 2001-11-22 | 2004-03-02 | 에스케이 텔레콤주식회사 | 비디오 데이터 스트리밍 서비스 방법 |
US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
US7606928B2 (en) | 2003-03-21 | 2009-10-20 | Nokia Corporation | Method and device for controlling receiver buffer fullness level in multimedia streaming |
AU2005232349B2 (en) * | 2004-04-16 | 2010-03-25 | Etiip Holdings Inc | Method and apparatus for delivering consumer entertainment services accessed over an IP network |
JP2006031394A (ja) * | 2004-07-15 | 2006-02-02 | Yamaha Corp | コンテンツ配信システム |
US7571246B2 (en) * | 2004-07-29 | 2009-08-04 | Microsoft Corporation | Media transrating over a bandwidth-limited network |
JP2007266875A (ja) * | 2006-03-28 | 2007-10-11 | Toshiba Corp | 映像データの処理方法及び無線通信装置 |
US7987285B2 (en) * | 2007-07-10 | 2011-07-26 | Bytemobile, Inc. | Adaptive bitrate management for streaming media over packet networks |
US7987243B2 (en) * | 2007-07-10 | 2011-07-26 | Bytemobile, Inc. | Method for media discovery |
US7991904B2 (en) * | 2007-07-10 | 2011-08-02 | Bytemobile, Inc. | Adaptive bitrate management for streaming media over packet networks |
US8462855B2 (en) * | 2007-09-26 | 2013-06-11 | Intel Corporation | Method and apparatus for stream parsing and picture location |
JP5064305B2 (ja) * | 2008-06-05 | 2012-10-31 | 株式会社日立製作所 | ビットレート変換装置及び変換方法 |
US9294526B2 (en) * | 2009-12-28 | 2016-03-22 | Microsoft Technology Licensing, Llc | Managing multiple dynamic media streams |
-
2009
- 2009-06-24 JP JP2009149490A patent/JP2011009904A/ja not_active Withdrawn
-
2010
- 2010-05-26 US US12/787,612 patent/US20100333148A1/en not_active Abandoned
- 2010-05-27 EP EP20100005526 patent/EP2268029A1/en not_active Withdrawn
- 2010-05-31 CN CN2010101951256A patent/CN101945262A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101203827A (zh) * | 2005-05-23 | 2008-06-18 | 微软公司 | 用于媒体流的流量控制 |
CN101238671A (zh) * | 2005-08-04 | 2008-08-06 | 汤姆逊许可证公司 | 补偿自适应视频传送期间信道状态信息在接收机和发射机之间的延时 |
US20080170630A1 (en) * | 2007-01-16 | 2008-07-17 | Yohai Falik | System and a method for controlling one or more signal sequences characteristics |
Non-Patent Citations (1)
Title |
---|
《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 20070831 Aravindan Raghuveer,et al A Network-Aware Approach for Video and Metadata Streaming 全文 1-14 第17卷, 第8期 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184739A (zh) * | 2011-03-08 | 2011-09-14 | 深圳英飞拓科技股份有限公司 | 一种录像播放装置及方法 |
CN103828378A (zh) * | 2011-09-21 | 2014-05-28 | 日本电气株式会社 | 内容发布系统、缓存服务器以及内容发布方法 |
CN103716114B (zh) * | 2012-09-28 | 2018-02-23 | 华为技术有限公司 | 数据传输业务中参数设置方法、终端和基站 |
CN104038846A (zh) * | 2013-03-05 | 2014-09-10 | 华为技术有限公司 | 缓存状态估计方法及设备 |
CN104038846B (zh) * | 2013-03-05 | 2018-03-09 | 华为技术有限公司 | 缓存状态估计方法及设备 |
CN105376642B (zh) * | 2014-08-18 | 2019-12-03 | 深圳Tcl新技术有限公司 | 视频播放分辨率切换方法及系统 |
CN107924665A (zh) * | 2015-08-31 | 2018-04-17 | 夏普株式会社 | 转移控制装置、终端装置及转移控制方法 |
CN111225209A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 视频数据推流方法、装置、终端及存储介质 |
CN111225209B (zh) * | 2018-11-23 | 2022-04-12 | 北京字节跳动网络技术有限公司 | 视频数据推流方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20100333148A1 (en) | 2010-12-30 |
JP2011009904A (ja) | 2011-01-13 |
EP2268029A1 (en) | 2010-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101945262A (zh) | 无线影像传送系统、内容比特率控制方法 | |
US10277532B2 (en) | Quality management of media encoding for multiple client devices | |
US7970926B2 (en) | Synchronized transmission of audio and video data from a computer to a client via an interface | |
US8437624B2 (en) | System and method for digital multimedia stream conversion | |
CN1263031C (zh) | 带有网络接口的个人录像机 | |
US8861597B2 (en) | Distributed channel time allocation for video streaming over wireless networks | |
CN103828384B (zh) | 基于软件的无线信道感知自适应视频比特率编码 | |
US20100110892A1 (en) | Network system, adjusting method of data transmission rate and computer program product thereof | |
US20080310825A1 (en) | Record quality based upon network and playback device capabilities | |
US20080134267A1 (en) | Remote Access to Internet Protocol Television by Enabling Place Shifting Utilizing a Telephone Company Network | |
US20080104644A1 (en) | Video Transferring Apparatus and Method | |
US20080107173A1 (en) | Multi-stream pro-active rate adaptation for robust video transmission | |
KR20070116454A (ko) | 무선 네트워크 상에서 멀티미디어 데이터를 전송/재생하는방법, 및 그 방법을 이용한 무선 기기 | |
CN102318348A (zh) | 数据流的块划分 | |
US9088453B2 (en) | Apparatus, systems and methods for monitoring the transmission of media content events | |
US20130028576A1 (en) | Reproduction control device and reproduction control method | |
CN109168083A (zh) | 一种流媒体实时播放方法及装置 | |
CN101174918B (zh) | 发送设备、发送方法和通信系统 | |
JP2004524775A (ja) | ビデオ及びオーディオパケットをビデオトランスポートストリームに挿入するためのシステム及び方法 | |
US9445161B2 (en) | Systems and methods for accessing recoverable program content | |
US20130272432A1 (en) | Method and system for fast channel change | |
JP3558983B2 (ja) | デジタル放送の記録再生装置 | |
CN115484483A (zh) | 一种流媒体音视频同步方法及终端设备、控制装置、介质 | |
JP2004158929A (ja) | 動画像処理方法および動画像処理装置ならびに動画像伝送装置 | |
CN100518312C (zh) | 流媒体数据处理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110112 |