CN108353197A - 通信设备 - Google Patents

通信设备 Download PDF

Info

Publication number
CN108353197A
CN108353197A CN201680064681.5A CN201680064681A CN108353197A CN 108353197 A CN108353197 A CN 108353197A CN 201680064681 A CN201680064681 A CN 201680064681A CN 108353197 A CN108353197 A CN 108353197A
Authority
CN
China
Prior art keywords
stream
terminal
rate stream
streaming media
low rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680064681.5A
Other languages
English (en)
Inventor
古谷高弘
深田浩之
宗片和视
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108353197A publication Critical patent/CN108353197A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6408Unicasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

提供一种通信设备,包括:具有多个信道的编码器,配置为对输入流进行编码,同时在至少两个级别中切换输出数据的速率;以及无线通信设备,通过无线通信网络将编码器的输出发送至终端,其中,当在所述终端上选择频道时,所述编码器的输出被从低速率流切换为高速率流,从而将所述高速率流传送至已经进行了频道选择的所述终端。

Description

通信设备
技术领域
本发明涉及应用于广播和便携式无线通信的通信设备。
背景技术
近期,已提出了配备有地面数字广播调谐器的广播接收服务器的方案,从而能通过无线局域网(无线LAN)重新发布地面数字广播。在这种设备中,由于无线通信引起的传输延迟、无线通信的频带限制等,观看电视所需的功能是受限的,例如调谐响应度和允许使用多个终端观看的能力。有一种系统是可以想象的,其中在家庭、车辆等场所中内置有使用无线LAN的网络,通过消除上文所提及的受限的不便,就可以通过无线LAN重新发布由广播接收服务器接收的数字广播,并且同时使用多个终端观看电视广播。例如,多个人可以同时利用他们自己的终端(智能电话,平板电脑等)在车辆中欣赏喜爱的电视广播节目。
传统上,在用于移动站的无线基站中提供电视调谐器以广播或多播接收的数字广播内容和与电子节目指南相关的信息,从而使移动站接收这些内容和与电子节目指南相关的信息,进而可以观看数字广播(参考专利文献1)。此外,在移动装置上接收数字广播方面,已经提出能接收用于固定应用的数字广播以及用于移动装置的数字广播的方案,从而根据环境接收一种类型的数字广播(参考专利文献2)。
引用列表
专利文献1:日本专利申请待公开No.2013-038513
专利文献2:日本专利No.3772830。
发明内容
本发明要解决的技术问题
可以确定的是,在利用多个终端同时观看电视广播的系统会产生以下问题。
首先,由于选择观看频道时,需要进行流媒体开始处理(调谐,转码,前向纠错(FEC)处理等),因此从选择频道到在终端上输出图像和音频需要花费时间,因此在观看节目前需要等待一段时间。
其次,通过无线LAN传输数据流期间的传输效率较低。为了利用单播观看电视,每个观众需要获得数据,当多个人观看同一个频道时,这同一频道的数据必须被多人发送。结果,传输效率降低。上文提及的专利文献1和专利文献2并未讨论针对这些问题的任何方案。
因此,本发明的目的在于提供一种能解决这些问题的通信设备。
解决问题的方案
为了解决上述问题,本发明提供一种通信设备(服务器),包括:
具有多个信道的编码器,其对输入流进行编码,同时在至少两个级别中切换输出数据的速率;以及
无线通信设备,其通过无线通信网络将编码器的输出发送至终端,其中,
当在终端上选择频道时,编码器的输出被从低速率流切换为高速率流,从而高速率流被传送至已经进行了频道选择的终端。
例如,日本的地面综合数字广播(ISDB-T)采用分级传输,其中单波段广播被用于低速率等级,而全波段广播被用于高速率等级。在单波段广播中传送的流为低速率流,在全波段广播中传送的流为高速率流。
此外,本发明提供一种通信设备(终端),包括:
无线通信设备,其接收从服务器通过无线通信网络发送的流;
解码器,其对接收的流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其向服务器发送频道选择的信息并切换解码器的参数,从而对由服务器传送的低速率流或高速率流进行解码。
此外,本发明提供一种通信设备(服务器),包括:
第一流媒体单元,其将输入流编码为包括用户界面信息的低速率流;
第二流媒体单元,其将输入流编码为高速率流;
无线通信设备,其通过无线通信网络将第一流媒体单元和第二流媒体单元的输出发送至终端;以及
控制单元,其以下述方式执行控制:当在终端上利用用户界面信息选择频道同时传送低速率流时,将来自第二流媒体单元的所选频道的高速率流传送至终端。
此外,本发明提供一种通信设备(终端),包括:
无线通信设备,其接收通过无线通信网络从服务器发送的低速率流和高速率流之一;
解码器,其对已接收的高速率流和低速率流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其以下述方式执行控制:根据低速率流中包含的用户界面信息在显示单元上显示频道选择屏幕,利用频道选择屏幕作出的频道选择信息被发送至服务器,且从服务器传送的高速率流被解码。
发明效果
按照至少一个实施方式,当用户在终端上选择观看频道时,用户可以立即看到选择的频道。此外,在不看频道的情况下,可以降低流媒体速率,不浪费无线通信频带。在没有观看终端的情况下,也可以执行类似的处理。要注意的是,本文所描述的效果并不必然受限,本发明中所描述的任何效果都可适用。此外,下文的描述中所举例的效果不被解释为限制本发明的内容。
附图说明
图1为用于解释第一实施方式的系统的框图。
图2为用于解释现有系统的处理的时序图。
图3为用于解释第一实施方式的处理的时序图。
图4为用于解释现有系统的处理的示意图。
图5为用于解释本发明的处理的示意图。
图6为流媒体服务器的状态过渡图。
图7为显示流媒体服务器开始设置的处理的流程图。
图8为显示流媒体服务器停止设置的处理的流程图。
图9为显示流媒体参数更新的处理的流程图。
图10为显示流媒体单元设置更新的处理的流程图。
图11为显示流媒体服务的处理的流程图。
图12为终端的状态过渡图。
图13为显示观看频道选择屏幕显示设置的处理的流程图。
图14为显示用户频道选择输入校验的处理的流程图。
图15为显示高速率等级接收请求的处理的流程图。
图16为显示高速率等级全屏显示设置的处理的流程图。
图17为显示用户观看结束输入校验的处理的流程图。
图18为显示高速率等级解码停止设置的处理的流程图。
图19为用于解释第二实施方式的系统的框图。
图20为用于解释第二实施方式的处理的时序图。
图21为用于解释现有系统的处理的示意图。
图22为用于解释本发明的处理的示意图。
图23为流媒体服务器的状态过渡图。
图24为显示低速率等级流媒体开始处理的流程图。
图25为显示高速率等级广播接收质量通知设置的处理的流程图。
图26为显示用户请求处理的流程图。
图27为显示低速率等级流媒体停止处理的流程图。
图28为高速率等级流媒体单元的状态过渡图。
图29为显示高速率等级流媒体单元观看开始处理的流程图。
图30为显示高速率等级流媒体单元观看校验切换处理的流程图。
图31为显示高速率等级流媒体单元观看停止处理的流程图。
图32为终端的状态过渡图。
图33为显示显示屏的示意图。
图34为显示低速率等级无线LAN接收设置的处理的流程图,
图35为显示低速率等级多屏显示设置的处理的流程图。
图36为显示用户频道选择输入校验的处理的流程图。
图37为显示高速率等级接收请求的处理的流程图。
图38为显示低速率等级全屏显示设置的处理的流程图。
图39为显示高速率等级广播接收质量通知的接收处理的流程图。
图40为显示高速率等级接收质量校验的流程图。
图41为显示用户观看结束输入校验的处理的流程图。
图42为显示高速率等级全屏显示设置的处理的流程图。
具体实施方式
下文所描述的各个实施方式是本发明的特定优选示例,其中给定了多种技术性优选限制。但是,在下文的描述中,本发明的范围不限于这些实施方式,除非特别作出限制本发明的声明。
要注意的是,本发明将按以下顺序进行描述。
<1.第一实施方式>
<2.第二实施方式>
<3.变形>
<1.第一实施方式>
“系统结构”
下面将参照图1描述按照第一实施方式的系统。该系统由流媒体服务器1(广播站、便携式基站、无线LAN基站等)、多个终端21、22、……,2m以及无线通信网络3(图中表示为WLAN)构成,流媒体服务器1接收数字广播例如地面数字广播并通过无线通信网络重新发布广播节目,终端举例来说是用于无线通信的m个通信设备,在不需要特别区分这些终端的情况下,这些终端被简称为终端2。
天线单元4和调谐器单元5与流媒体服务器1相连。作为天线单元4和调谐器单元5的结构示例,图1显示了由单个天线和单个调谐器组成的结构、由单个天线和多个调谐器组成的结构、由分集天线和单个调谐器组成的结构、以及由分集天线和多个调谐器组成的结构。可以使用这些结构中的任意一种。
调谐器单元5中的每个调谐器接收电视广播信号,执行调谐,并执行数字解调处理。可以采用以下数字广播标准。
DVB-T/DVB-T2/DVB-H/DVB-C/DVB-C2/ISDB-T/DVB-S/DVB-S2/ATSC-MH/ATSC-3.0
DTMB
在同时接收多个频道(在适当的情况下图中表示为CH)的电视广播的情况下,使用多个调谐器。调谐器单元5中的每个调谐器的输出被提供给流媒体服务器1中的n个流媒体单元111、112、113、……、11n,在不需要特别区分这些流媒体单元的情况下,这些流媒体单元被简称为流媒体单元11。
流媒体单元11具有调谐器单元5的输出被提供至的A/V解码器12、A/V解码器12的输出被提供至的A/V编码器13、,以及A/V编码器13的输出被提供至的AL-FEC编码器14。A/V解码器12对流数据执行A/V解码处理。A/V解码器12对采用以下标准的数据进行解码。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2/
A/V编码器13执行处理,从而例如将数字电视广播的数据速率降低至无线通信网络可以传送的速率,并生成压缩流数据。A/V编码器13可以按照以下标准生成数据。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2/
AL-FEC编码器14通过应用层前向纠错(AL-FEC)对流数据执行编码处理。
流媒体单元11的输出被提供给用户数据报协议(UDP)/互联网协议(IP)15。UDP/IP15对传输层(UDP)和网络层(IP)执行标准协议处理。
UDP/IP 15的输出数据被提供给无线LAN接口16。无线LAN接口16是无线通信发送/接收单元。无线LAN接口16与无线通信网络3结合,用于执行双向无线通信。符合以下标准的无线LAN可以被用作无线通信网络3。
IEEE.802.11a/11b/11g/11n/11ac/11ad
提供控制单元17以控制流媒体服务器1中的每个组件(调谐器单元5、流媒体单元11、UDP/IP单元15、无线LAN接口16等)。控制单元17由中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等构成,且稍后描述的流媒体服务器1的处理是在CPU的控制下执行的。
上面所描述的流媒体服务器1多播或广播与多个频道(例如五个频道)相对应的多路复用广播数据。终端2接收广播数据信息数据包。终端2对涉及从接收数据中选择的频道的数据包进行处理,从而观看期望频道的节目。
如图1所示,终端2具有无线LAN接口21,并经由无线通信网络3与流媒体服务器1进行双向无线通信。UDP/IP 22与无线LAN接口21相连,AL-FEC解码器23与UDP/IP 22相连。此外,A/V解码器24与AL-FEC解码器23相连。
对应于流媒体服务器1中的流媒体单元11的各个组件,也就是无线LAN接口16、UDP/IP 15、AL-FEC编码器14和A/V编码器13,提供无线LAN接口21、UDP/IP 22、AL-FEC解码器23和A/V解码器24。此外,提供显示单元/用户输入单元25以再现解码后的视频和音频以及输入用户的频道选择等。
提供控制单元26以控制终端2中的每个组件(无线LAN接口21、UDP/IP22、AL-FEC解码器23和A/V解码器24等)。控制单元26由CPU、RAM、ROM等构成,并且稍后描述的终端2的处理是在CPU的控制下执行的。
“现有系统的处理流程”
为了便于理解本发明,图2显示了现有系统的处理流程,图3显示了第一实施方式的处理流程。在现有处理中,当用户请求启动应用程序时,终端的控制单元执行初始化。当已完成初始化的流媒体服务器的控制单元接收来自终端的连接请求时,控制单元发出连接许可。
用户选择一个观看频道并将频道切换请求发送至流媒体服务器的控制单元。流媒体服务器向流媒体单元输出请求以启动处理,且流媒体单元执行高速率等级的流媒体开始处理。然后,流媒体数据被发送给终端。
终端向流媒体单元请求显示,并在显示单元上显示高速率等级屏幕。然后,当用户选择观看频道时,重复上文所述的类似动作。
如图2所示,在现有处理中,从用户执行频道选择操作时直至显示可用频道的图像,在流媒体服务器中需要高速率图像流媒体开始处理(用P0表示)。也就是说,由于必须要进行处理以开始广播接收、开始转码和用于流媒体的缓存,因此在用户选择观看频道之后直至开始视频显示需要等待一段时间。本发明能解决该问题。
“第一实施方式的处理流程”
图3显示了第一实施方式的处理流程,显示了用户10、终端2的控制单元26和显示单元25、以及流媒体服务器1的流媒体单元11和控制单元17各自的时序。作为示例,具有三个流媒体单元111、112和113
当用户10请求启动应用程序时,终端2的控制单元26执行初始化。初始化之后,流媒体服务器1的控制单元17向每个流媒体单元请求启动处理。每个流媒体单元执行低比特率流媒体开始处理。
在接收到来自终端2的连接请求之后,流媒体服务器1的控制单元17向终端2发送连接许可。连接请求包括用于识别终端的终端信息和用户信息(支持的A/V编解码器,屏幕分辨率等)。
流媒体服务器1的每个流媒体单元111、112和113执行低比特率流媒体开始处理,并向终端2发送得到的数据。当用户10选择流媒体单元111所响应的频道作为观看频道时,向显示单元26请求显示该频道。由于已经开始了低比特率流媒体,因此在请求后可以立即开始视频显示。作为结果,流媒体服务器1的控制单元17被通知观看的流。
在流媒体服务器1中,流媒体单元111被命令更新编码参数。响应于该命令,流媒体单元111执行最优比特率流媒体处理(用P1表示)。相应的,在终端2的显示单元25上以适用于终端的比特率呈现数据流的全屏显示画面(用P2表示)。
此外,当用户10选择流媒体单元112所响应的频道作为观看频道时,向显示单元26请求显示该频道。作为结果,流媒体服务器1的控制单元17被通知观看的数据流。
在流媒体服务器1中,流媒体单元112被命令更新编码参数。响应于该命令,流媒体单元112执行最优比特率流媒体处理(用P3表示)。相应的,在终端2的显示单元25上以适用于终端的比特率显示数据流的全屏显示画面(用P4表示)。要注意的是,当流媒体单元112被命令更新编码参数时,流媒体单元111的编码参数被改变为用于执行低比特率流媒体的处理的编码参数。
第一实施方式包括多个流媒体单元11,且所有频道总是在同一时刻通过多播传输数据流。因此,当通知用户对于观看频道的选择操作时,在调谐器中不需要执行调谐、转码和FEC的处理,因此,在用户选择观看频道后可以立即开始所选频道的视频显示。
在选择新频道的情况下,在从显示前一频道的图像到显示新频道的图像的过渡期间,可以显示新频道的低比特率图像,因此可以避免图像中断。
由于流媒体服务器的编码参数根据频道选择请求从低比特率设置切换为最优编码参数,因此可以有效利用频带,并实现满足接收条件的高图像质量观看。
“现有系统的处理”
下面,将描述无线LAN流媒体时的传输效率。图4为从服务器侧向终端进行发送的时序图。服务器以数据包为单位发送Ch_Data。在使用单播的现有系统中,如图4所示,对应于每个观众的终端的各个数据包对于观看电视广播而言是必须的。因此,当多个终端0、1和2被用于观看同一频道Ch1时,需要对三个终端发送相同频道的数据。按此方式,现有系统中的传输效率降低。
“按照第一实施方式的处理”
按照本发明,如图5所示,由于三个终端21、22和23响应于对使用多播传输的同一频道的观看请求而联合使用发送的数据包,因此流媒体服务器1只需要发送一次数据包,因此传输效率得以提高。此外,由于流媒体服务器101识别连接的终端数量和终端地址,因此在无终端连接时流媒体的速率降低。
“流媒体服务器的处理”
下面将描述第一实施方式的流媒体服务器1的处理。图6为流媒体服务器1的状态过渡图。统一建模语言(UML)被用作解释语言,也被类似地应用于稍后的描述中。在UML中,实线圆圈表示状态图的开始,而双实线圆圈表示状态图的结束。在图6的状态(框)中,名称段包含“流媒体服务状态”。
在内部过渡段中,利用语法声明动作(动作标签/动作)。
UML中所保存的动作标签包括Entry(进入)、Exit(退出)、Do(执行)、Include(算入)。
Entry:表示在进入一状态时执行的动作
Exit:表示在退出一状态时执行的动作
Do:表示在一状态中执行的动作
Include:表示调用状态机提炼一状态
动作标签表示激活在符号/右侧声明的动作的事件。由于这种事件指代在某个状态内过渡,因此除了进入状态和退出状态外,所述事件在语义上等同于过渡为其自身的状态。
“流媒体服务状态”始于“服务开始事件/流媒体服务开始设置”并结束于“服务停止事件/流媒体服务停止设置”。
Entry/
Do/按照所连接终端的流媒体参数更新处理
Do/用户请求处理
Exit/
下面将描述流媒体服务器1的动作。图7显示了流媒体服务开始设置的动作。也就是执行步骤ST1(广播接收开始设置)和步骤ST2(UDP/IP发送设置)。在步骤ST2中,多播地址被设置为发送目的地,并对终端执行多播传输。
图8显示了流媒体服务停止设置的动作。也就是执行步骤ST3(UDP/IP发送停止设置)和步骤ST4(流媒体单元停止设置)。
图9显示了按照所连接终端的流媒体参数更新处理的动作。也就是执行步骤ST50(对于流媒体单元0(图1中的流媒体单元111)的设置更新处理)、步骤ST51(对于流媒体单元1(图1中的流媒体单元112)的设置更新处理)、步骤ST52(对于流媒体单元2(图1中的流媒体单元113)的设置更新处理)、……、步骤ST5N(对于流媒体单元N的设置更新处理)。
图10为显示对于流媒体单元的设置更新处理的动作的流程图。流程图中的菱形标记代表分支处理。
步骤ST11:获取连接信息。用户信息、终端信息和观看流信息被存储在连接信息中。
在存在已连接终端的情况下,执行以下处理。
步骤ST12:确定A/V编码的编码机制。
步骤ST13:确定图像分辨率。
步骤ST14:确定帧速率。
步骤ST15:确定比特率。
从已连接终端所支持的配置等级(profile level)中选择被大多数终端所支持的配置等级的编码参数,并根据选择的参数执行编码。因此,允许尽可能多的终端接收服务。这样可以避免因选择不必要的高等级而导致计算量和频带使用量的增大。
在不存在已连接终端的情况下,执行步骤ST16中的处理。
步骤ST16:选择不存在已连接终端的情况下的编码参数。
也就是说,即使不存在已连接终端,也以最低等级执行编码。这样可以节约频带,还能消除在选择观看频道时的延迟。
步骤ST17:更新A/V编码器的设置。
步骤ST18:更新AL-FEC编码器的设置。
图11为显示流媒体服务器1的用户请求处理的动作的流程图。
步骤ST21:获取用户请求。在用户请求是连接请求的情况下,执行以下处理。
步骤ST22:获取用户信息。
步骤ST23:获取终端信息。
步骤ST24:添加至连接信息并执行结束处理。也就是说,将用户信息、终端信息和连接流信息储存在连接信息中。
在用户请求是连接结束请求的情况下,执行以下处理。
步骤ST25:获取用户信息。
步骤ST26:获取终端信息。
步骤ST27:删除连接信息。
步骤ST28:做出连接结束通知并执行结束处理。
在用户请求是高速率等级观看通知的情况下,执行以下处理。
步骤ST29:获取用户信息。
步骤ST30:获取终端信息。
步骤ST31:获取观看流信息。
步骤ST32:更新观看流信息并执行结束处理。
表1显示了连接信息的示例。在连接请求时获得的与每个终端相关的信息和来自高速率等级观看通知的信息被保存。
[表1]
连接信息
{终端信息}
在描述高速率等级流媒体的情况下的编码参数选择时,由于即使在不存在已连接终端的情况下也会以预先定义的较低等级执行编码和数据流传输,因此在利用终端选择观看频道的情况下,可以无延迟地再现期望的频道,同时用于流媒体的频带的使用被最小化。表2显示了在不存在已连接终端的情况下的编码参数示例。
[表2]
表3显示了在存在三个已连接终端的情况下的编码参数的示例。
[表3]
当存在已连接终端时(示例1)
编码机制 配置 等级 屏幕分辨率
终端A H.264 BP 4.1 HD(720)级
终端B H.265 Main 5 4K级
终端C H.265 Main 5 4K级
从已连接终端所支持的配置等级中选择大多数终端所支持的配置等级的编码参数并执行编码。即使不存在已连接终端,也以最低等级执行编码。在表3的示例中,利用已连接终端B或已连接终端C(表4)的配置等级的编码参数执行编码,这是被已连接终端中的大多数终端所支持的编码参数。
[表4]
表5显示了在存在三个已连接终端的情况下的编码参数的另一个示例。
[表5]
当存在已连接终端时(示例2)
编码机制 配置 等级 屏幕分辨率
终端A H.265 Main 5 全HD(FHD)级
终端B H.265 Main 5 4K级
终端C H.265 Main 6 8K级
从已连接终端所支持的配置等级中选择最低等级的配置等级的编码参数并执行编码。即使不存在已连接终端,也以最低等级执行编码。在表5的示例中,利用具有最低等级的已连接终端A的配置等级的编码参数执行编码(表6)。
[表6]
作为用于选择编码参数的标准,上述两个示例表明了选择大多数终端所支持的编码参数的示例以及选择最低等级的编码参数的示例。通过按照这种方式设置编码参数,可以允许尽可能多的终端接收服务。可以避免选择不必要的高等级,以及不必要的计算量和不必要的频带使用量。
“终端的处理”
下面将描述第一实施方式的终端2的处理。图12为终端2的观看状态过渡图。图12中的状态(框)具有两个状态,即,名称段包含“观看频道选择等待状态”的状态和名称段包含“高速率等级全屏显示状态”的状态。
“观看频道选择等待状态”始于“观看应用程序激活”,且内部过渡段如下。
Entry/观看频道选择屏幕显示设置
Do/用户选择输入校验
通过观看频道选择事件激活高速率等级接收请求的动作,且“观看频道选择等待状态”过渡为“高速率等级全屏显示状态”。通过高速率等级观看结束事件激活高速率等级解码停止设置的动作,且“高速率等级全屏显示状态”过渡为“观看频道选择等待状态”。
“高速率等级全屏显示状态”的内部过渡段如下:
Entry/高速率等级全屏显示状态
Do/用户观看结束输入校验
如图13所示,在步骤ST41中执行观看频道选择屏幕显示设置。
如图14的流程中所示,执行用户频道选择输入校验。
步骤ST42:监测来自输入装置的用户输入。在没有用户输入的情况下,处理结束。
步骤ST43:当用户选择观看频道时,产生观看频道选择事件。
当产生观看频道选择事件时,做出图15中所示的高速率等级观看通知。在高速率等级观看通知时,用户信息和终端信息被同时通知。
步骤ST44:发出高速率等级观看通知。
步骤ST45:高速率等级流媒体无线LAN接收设置
步骤ST46:高速率等级流媒体AL-FEC解码设置
图16显示了高速率等级全屏显示设置。
步骤ST47:高速率等级流媒体A/V解码接收设置
步骤ST48:高速率等级全屏显示设置
图17显示了用户观看结束输入校验。
步骤ST51:监测来自输入装置的用户输入。在没有用户输入的情况下,处理结束。
步骤ST52:当用户选择停止观看时,产生高速率等级观看结束事件。
图18显示了做出高速率等级解码停止设置。
步骤ST53:高速率等级流媒体A/V解码停止设置
步骤ST54:高速率等级流媒体AL-FEC停止设置
<2.第二实施方式>
“系统结构”
下面将参照图19描述第二实施方式的系统。该系统由接收数字广播(例如地面数字广播)的流媒体服务器(便携式基站,无线LAN基站等)101、多个终端1021,1022,1023,……,102m(例如用于无线通信的四个通信设备(在不需要特别区分终端的情况下,这些终端被简称为终端102))和无线通信网络103构成。
天线单元104和调谐器单元105与流媒体服务器101相连。例如,采用n个调谐器并行连接天线104的结构。这种结构允许同时接收n个频道的电视广播。要注意的是,可以使用分集接收机制。
调谐器单元105中的每个调谐器接收电视广播信号,执行调谐,并执行数字解调处理。可以采用下文的数字广播标准。在第二实施方式中,以多个速率(低速率等级和高速率等级)在电视广播的广播频道中发送相同的内容。在ISDB-T中,低速率等级广播是单波段广播,高速率等级广播是全波段广播。可以将以下数字广播标准应用于电视广播。
DVB-T/DVB-T2/DVB-H/DVB-C/DVB-C2/ISDB-T/DVB-S/DVB-S2/ATSC-MH/ATSC-3.0
DTMB
调谐器单元105中的每个调谐器的输出被提供给分级数据分离单元50。分级数据分离单元50分离低速率等级数据和高速率等级数据。分离出的低速率等级数据被提供给低速率等级流媒体单元51的A/V解码器单元52。A/V解码器单元52具有n个A/V解码器,分别输入所述低速率等级数据。A/V解码器单元52对数据流执行解码处理。A/V解码器单元52可以对应用了以下标准的数据进行解码。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2
A/V解码器单元52的输出被提供给视频合成器53并创建一个合并流(多屏活动图像)。来自视频合成器53的输出数据被提供给A/V编码器54。A/V编码器54执行处理,从而将数字电视广播的数据速率降低为可被无线通信网络传送的速率,并产生压缩数据流。A/V编码器54的输出被提供给AL-FEC编码器55。A/V编码器54可以生成应用了以下标准的数据。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2
AL-FEC编码器55利用AL-FEC对流数据执行编码处理。
流媒体单元51的输出被提供给UDP/IP 66。UDP/IP 66对传输层(UDP)和网络层(IP)执行标准协议处理。
UDP/IP 66的输出数据被提供给无线LAN接口67。无线LAN接口67是无线通信发送/接收单元。无线LAN接口67与无线通信网络一起执行双向无线通信。可以使用满足以下标准的无线LAN。
IEEE.802.11a/11b/11g/11n/11ac/11ad
被分级数据分离单元50分离出的n段高速率等级数据被提供给各个高速率等级流媒体单元611至61n。高速率等级流媒体单元611至61n(在不需要特别区分高速率等级流媒体单元的情况下,这些高速率等级流媒体单元被简称为高速率等级流媒体单元61)具有相同的结构。
高速率等级流媒体单元61具有频道选择器62、A/V解码器63、A/V编码器64和AL-FEC编码器65。频道选择器62选择用户请求的流数据,并输出给A/V解码器63。
A/V解码器63对流数据执行A/V解码处理。A/V解码器63可以对应用了以下标准的数据进行解码。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2
A/V编码器64可以生成应用了以下标准的数据。
H.264/H.265/HEVC/MPEG-4AVC/MPEG-2
AL-FEC编码器65利用AL-FEC对流数据执行编码处理。
n个高速率等级流媒体单元61的输出被提供给UDP/IP 66,来自UDP/IP 66的输出数据被提供给无线LAN接口67。无线LAN接口67与无线通信网络103一起执行双向无线通信。可以使用满足以下标准的无线LAN作为无线通信网络103。
IEEE.802.11a/11b/11g/11n/11ac/11ad
提供控制单元68以控制流媒体服务器101中的每个组件(调谐器单元105、低速率等级流媒体单元51、高速率等级流媒体单元61、UDP/IP 66、无线LAN接口67等)。控制单元68由CPU、RAM、ROM等构成,在CPU的控制下执行稍后描述的流媒体服务器101的处理。
上文所述的流媒体服务器101传输广播数据。低速率等级是多播或广播,而高速率等级是通过单播发送的。终端102处理与从接收数据中选择的频道相关的数据包,从而观看期望频道的节目。
终端102具有与上文所述的第一实施方式的终端2类似的结构。也就是说,终端102具有无线LAN接口71,并经由无线通信网络103执行双向无线通信。UDP/IP 72与无线LAN接口71相连,且AL-FEC解码器73与UDP/IP 72相连。此外,A/V解码器74与AL-FEC解码器73相连。此外,提供显示单元/用户输入单元75以再现解码视频和音频并输入用户的频道选择等。
提供控制单元76以控制终端102中的每个组件(无线LAN接口71、UDP/IP72、AL-FEC解码器73、A/V解码器74等)。控制单元76由CPU、RAM、ROM等构成,并在CPU的控制下执行稍后描述的终端102的处理。
“第二实施方式的处理流程”
图20显示了第二实施方式的处理流程。图20中,显示了用户100、终端102的控制单元76和显示单元75,以及流媒体服务器101的控制单元68、低速率等级流媒体单元51和高速率等级流媒体单元61的各个时序。
当用户100请求启动应用程序时,终端102的控制单元76执行初始化。在初始化后,数据流服务器101的控制单元68向低速率等级流媒体单元51请求处理开始。低速率等级流媒体单元51执行低比特率流媒体开始处理。然后,执行低速率等级流媒体。
在收到来自终端102的连接请求后,流媒体服务器101的控制单元68向终端102发送连接许可。连接请求包括用于识别终端的终端信息和用户信息(支持的A/V编解码器,屏幕分辨率等)。
当终端102请求连接且连接被许可时,开始接收低速率等级数据并开始数据编码,并在终端102的显示单元75上显示低速率等级多屏显示P11。低速率等级多屏显示是将一个屏幕分为n个分割屏幕并在各个屏幕上同时显示n个频道的节目的用户界面屏幕。用户100在观看低速率等级多屏显示的同时选择用户想要观看的一个频道。
按此方式,当从终端102指示观看频道时,数据流服务器101的控制单元68执行高速率等级数据发送处理,且与所指示的频道相对应的高速率等级流媒体单元61执行流媒体开始处理P12。然后,高速率等级数据流被发送给终端。利用高速率等级流数据播放高速率等级全屏显示P14。
在流媒体开始处理P12期间,不能呈现高速率等级全屏显示。但是,在终端102中,当在多屏显示上选择频道时,可以立即播放低速率等级全屏显示P13,然后切换为高速率等级全屏显示P14。因此,可以避免其中不呈现图像的延迟。
流媒体服务器101在高速率等级全屏显示P14上呈现高速率等级发送/接收质量通知。终端102的控制单元76利用高速率等级广播接收质量和无线LAN通信质量两者来执行判断处理P15。也就是说,判断高速率等级流媒体是否能继续。当判断为高速率等级流媒体可以继续时,继续高速率等级全屏显示。在高速率等级全屏显示状态下,例如以预定的时间间隔执行判断处理。
在判断处理P16中,当判断高速率等级流媒体不能继续时,显示切换为低速率等级全屏显示P17。当用户100输入观看节目显示请求时,显示切换为低速率等级多屏显示P18。此外,当用户选择观看频道时,重复上文所述的类似动作。
在第二实施方式中,通过多播传输低速率等级流的多个屏幕,且其数据被共享。在选择观看频道时发生的流媒体开始处理时段期间,通过转换为全屏,对在低速率等级流的多个屏幕上接收的低速率等级数据进行补码。由于总是通过多播传输数据流,所述数据流中所有频道的低速率等级数据已被转换为多屏,因此,当用户选择观看频道后,可以立即开始已选频道的视频显示。在现有系统中,由于需要时间来开始广播接收、开始转码以及用于流媒体的缓存,因此在用户选择观看频道后直至开始视频显示是需要时间的。另一方面,在用户选择观看频道后,可以立即开始所选频道的视频显示。
此外,与第一实施方式类似,第二实施方式能提高无线LAN流媒体时的传输效率。当观看使用单播的电视广播时,如图21所示,需要对于每个观众的数据。因此,当多个终端0、1和2用于观看同一频道Ch1时,需要为三个终端发送相同频道的数据。每个终端接收自己的数据。按此方式,现有技术中的传输效率降低。
图21为从服务器侧向终端进行发送的时序图。以数据包为单位从服务器发送Ch_Data。在使用单播的现有系统的情况下,如图21所示,需要每个观众的终端的各个数据包以观看电视广播。因此当多个终端0、1和2用于观看同一频道Ch1时,需要给三个终端发送相同频道的数据。按此方式,现有系统中的传输效率降低。
按照第二实施方式,如图22所示,由于三个终端1021、1022和1023通过多播发送而联合使用一段低速率等级多屏数据,因此流媒体服务器101只需要发送数据一次,因此能提高传输效率。此外,由于流媒体服务器101识别连接的终端数量和终端地址,因此在未连接终端时可以降低数据流速率。此外,当在终端上选择观看频道时,通过单播将所选频道的高速率等级流传送给该终端,从而用户能观看高速率等级广播。
此外,第二实施方式能解决因车内广播接收和无线通信中的波动而导致的接收质量下降。在现有系统中,主广播接收(高速率等级数据流)和副广播接收(低速率等级数据流)之间的切换控制的执行取决于广播接收质量。在该情况下,由于无线LAN的无线通信质量未被考虑在内,因此不能正确地选择主广播接收/副广播接收。在第二实施方式中,在终端侧判断主广播接收和副广播接收的接收质量,因此广播接收和无线LAN的无线通信接收被评估,从而能正确的选择高速率等级数据流和低速率等级数据流。因此,总是能实现良好地观看。
“流媒体服务器的处理”
下面将描述第二实施方式的流媒体服务器101的处理。图23为流媒体服务器101的状态过渡图。在图23的状态(框)中,名称段包含“流媒体服务状态”。
“流媒体服务状态”始于“服务开始事件/低速率等级流媒体开始处理”,并结束于“服务停止事件/流媒体服务停止处理”。内部过渡段如下:
Entry/
Do/广播接收质量通知处理
Do/用户请求处理
Exit/
下面将描述流媒体服务器101的动作。图24显示了流媒体服务开始处理的动作,并依次执行以下处理项。
步骤ST101:广播接收开始设置
步骤ST102:低速率等级A/V编码器设置
步骤ST103:低速率等级AL-FEC编码设置
步骤ST104:低速率等级UDP/IP发送设置
也就是说,在低速率等级流媒体中,多播地址被设置为发送目的地,并为终端执行多播传输。
图25显示了高速率等级广播接收质量通知处理的动作,并依次执行以下处理项。
步骤ST105:获取高速率等级广播接收质量
步骤ST106:高速率等级广播接收质量通知
图26为显示流媒体服务器101的用户请求处理的动作的流程图。
步骤ST110:获取用户请求。在用户请求是连接请求的情况下,依次执行以下处理项。
步骤ST111:获取用户信息。
步骤ST112:获取终端信息。
步骤ST113:添加至连接信息并执行结束处理。
步骤ST114:作出连接许可通知并执行结束处理。
在用户请求是连接结束请求的情况下,依次执行以下处理项。
步骤ST115:获取用户信息。
步骤ST116:获取终端信息。
步骤ST117:删除连接信息
步骤ST118:作出连接结束通知并执行结束处理。
在用户请求是高速率等级观看请求的情况下,依次执行以下处理项。
步骤ST119:获取用户信息。
步骤ST120:获取终端信息。
步骤ST121:获取选择的频道信息。
在请求源终端中已经看到高速率等级流媒体的情况下,执行以下处理。
步骤ST122:作出高速率等级流媒体单元观看频道切换指示。
在请求源终端中未看到高速率等级流媒体且存在处于空闲状态的高速率等级流媒体单元的情况下,执行以下处理。
步骤ST123:作出高速率等级流媒体单元观看开始指示。
在请求源终端中未看到高速率等级流媒体且没有处于空闲状态的高速率等级流媒体单元的情况下,执行以下处理。
步骤ST124:作出高速率等级流媒体单元服务无效通知。
在用户请求是高速率等级观看结束的情况下,依次执行以下处理项。
步骤ST125:获取用户信息。
步骤ST126:获取终端信息。
步骤ST127:作出高速率等级流媒体单元停止指示且结束处理。
图27显示了低速率等级流媒体服务停止设置的动作。依次执行以下处理项。
步骤ST131:低速率等级UDP/IP发送停止设置
步骤ST132:低速率等级AL-FEC停止设置
步骤ST133:低速率等级A/V编码停止设置
步骤ST134:广播接收停止设置
“流媒体服务器的高速率等级流媒体单元的状态过渡”
图28为高速率等级流媒体单元的状态过渡图。响应于通过“用户请求处理”发出的指示而发生状态过渡。在空闲状态和服务状态进行过渡。通过以下处理将空闲状态过渡为服务状态。
高速率等级流媒体单元观看开始指示/高速率等级流媒体单元观看开始处理
通过以下处理将服务状态过渡为空闲状态。
高速率等级流媒体单元观看停止指示/高速率等级流媒体单元观看停止处理
服务状态下的以下处理使过渡返回服务状态。
高速率等级流媒体单元观看CH切换指示/高速率等级流媒体单元观看CH切换处理
下面将描述高速率等级流媒体单元的处理。图29显示了高速率等级流媒体单元观看开始处理。通过依次执行以下处理项来执行该处理。
步骤ST141:广播接收开始设置
步骤ST142:高速率等级A/V编码设置
步骤ST143:高速率等级AL-FEC编码设置
步骤ST144:高速率等级UDP/IP发送设置
在步骤ST144中,设置高速率等级的流媒体,从而通过单播单独地传送给每个终端(传送至终端的各个地址)。
图30显示了高速率等级流媒体单元观看频道切换处理。通过依次执行以下处理项来执行该处理。
步骤ST145:广播接收改变设置
步骤ST146:高速率等级A/V编码设置
步骤ST147:高速率等级AL-FEC编码设置
步骤ST148:高速率等级UDP/IP发送设置
在步骤ST148中,设置高速率等级的流媒体,从而通过单播单独地传送给每个终端(传送至终端的各个地址)。
图31显示了高速率等级流媒体单元观看停止设置。通过依次执行以下处理项来执行该处理。
步骤ST149:高速率等级A/V编码停止设置
步骤ST150:高速率等级AL-FEC编码停止设置
步骤ST151:高速率等级UDP/IP发送停止设置
步骤ST152:广播接收停止设置
“终端的处理”
下面将描述第二实施方式的终端102的处理。图32为终端102的观看状态过渡图。如图32所示,终端102具有三个状态,即,名称段中包含的“低速率等级多屏显示状态”、名称段中包含的“低速率等级全屏显示状态”以及名称段中包含的“高速率等级全屏显示状态”。
响应于上述状态,在终端的显示单元上呈现图33中所示的显示。图33A显示了低速率等级多屏显示。例如,一个屏幕被分为9(3*3)个屏幕,并在每个分割屏幕上显示不同频道(1至9)的节目。由于总是通过多播来传输数据流,所述数据流中所有频道的低速率等级数据已被转换为多屏,因此用户能在任意时刻看到低速率等级多屏显示。此外,在多屏显示上可以选择期望的分割屏幕。通过用户输入选择期望的分割屏幕,从而选择观看频道,用户输入例如是光标操作(通过远程控制的命令操作)和触摸屏操作。
图33B显示了低速率等级全屏显示。举例来说,当用户选择多屏上的频道1时,播放频道1的低速率等级全屏显示。在用户选择观看频道后,可以立即开始所选频道的全屏显示。此外,由于显示随后被切换为通过单播传送的高速率等级数据流,因此播放图33C所示的高速率等级全屏显示。除了用户的频道选择外,根据接收质量自动执行低速率等级流媒体和高速率等级流媒体之间的切换。
“低速率等级多屏显示状态”
通过观看应用程序激活/低速率等级WLAN接收设置进入该状态。在“低速率等级多屏显示状态”中,执行以下处理。
Entry/低速率等级多屏显示状态
Do/用户CH选择输入校验
通过以下处理将“低速率等级多屏显示状态”过渡为“低速率等级全屏显示状态”。
观看CH选择/高速率等级接收请求
通过用于全屏观看结束的处理而将“低速率等级全屏显示状态”过渡为“低速率等级多屏显示状态”。在高速率等级数据不佳(NG)的情况下,处理返回到“低速率等级全屏显示状态”。
“低速率等级全屏显示状态”
在“低速率等级全屏显示状态”中,执行以下处理。
Entry/低速率等级全屏显示设置
Do/高速率等级接收质量校验
Do/接收高速率等级广播接收质量通知
Do/用户观看结束输入校验
当高速率等级数据OK时将“低速率等级全屏显示状态”过渡为“高速率等级全屏显示状态”。
当高速率等级数据为NG时或通过以下处理将“高速率等级全屏显示状态”过渡为“低速率等级全屏显示状态”。
观看CH选择/高速率等级接收请求
通过用于全屏观看结束的处理而将“高速率等级全屏显示状态”过渡为“低速率等级多屏显示状态”。
在“高速率等级全屏显示状态”中,执行以下处理。
Entry/高速率等级全屏显示设置
Do/高速率等级接收质量校验
Do/接收高速率等级广播接收质量通知
Do/用户观看结束输入校验
下面将描述终端的处理。图34显示了用于低速率等级无线LAN接收设置的处理。通过依次执行以下处理项来执行该处理。
步骤ST161:流媒体服务器连接
步骤ST162:低速率等级流媒体接收设置
步骤ST163:低速率等级流媒体AL-FEC解码设置
图35显示了用于低速率等级多屏显示设置的处理。通过依次执行以下处理项来执行该处理。
步骤ST164:低速率等级流媒体AV解码设置
步骤ST165:低速率等级多屏显示设置
图36显示了用于用户频道选择输入校验的处理。通过依次执行以下处理项来执行该处理。
步骤ST166:监测来自输入装置的用户输入
步骤ST167:在用户输入为频道选择的情况下,产生观看CH选择事件。
在没有用户输入的情况下,处理结束。
图37显示了用于高速率等级接收请求的处理。通过依次执行以下处理项来执行该处理。
步骤ST168:发出高速率等级接收请求
步骤ST169:高速率等级流媒体无线LAN接收设置
步骤ST170:高速率等级流媒体AL-FEC解码设置
图38显示了用于低速率等级全屏显示设置的处理。通过依次执行以下处理项来执行该处理。
步骤ST171:低速率等级流媒体AV解码设置
步骤ST172:低速率等级全屏显示设置
图39显示了用于高速率等级广播接收质量通知的处理。通过执行以下处理来执行该处理。
步骤ST173:接收高速率等级广播接收质量通知
图40显示了用于高速率等级接收质量校验的处理。通过依次执行以下处理项来执行该处理。
步骤ST174:监测高速率等级接收数据的缓存状态。
步骤ST175:在缓存数据量已达到基准时,获取高速率等级无线LAN接收质量。
步骤ST176:由于数据包错误率超过基准,因此产生高速率等级数据NG事件并结束处理。
步骤ST177:在数据包错误率在基准以内时,获取高速率等级广播接收质量。
步骤ST178:由于广播接收质量超过基准(当质量低于基准时),因此产生高速率等级数据NG事件并结束处理。
例如,可以将MPEG2-TS的数据包错误率或信噪比(SNR)用作基准。
步骤ST179:在广播接收质量在基准以内时,产生高速率等级数据OK事件并结束处理。
步骤ST180:在缓存数据量未达到基准时,处理结束。
如上所述,第二实施方式通过考虑无线LAN的接收质量(例如数据包错误率)和广播接收质量两者来检测是否能使用高速率等级数据。当可用使用所述数据时产生高速率等级数据OK事件,当不能使用所述数据时产生高速率等级数据NG事件。
图41显示了用于用户观看结束输入校验的处理。通过依次执行以下处理项来执行该处理。
步骤ST181:监测来自输入装置的用户输入。
步骤ST182:在用户输入为观看停止的情况下,产生全屏观看结束事件。在没有用户输入的情况下,结束处理。
图42显示了用于高速率等级全屏显示设置的处理。通过依次执行以下处理项来执行该处理。
步骤ST183:高速率等级流媒体A/V解码设置
步骤ST184:高速率等级全屏显示设置
“用户界面附加信息”
在上文所述的第二实施方式中,如图33A所示,低速率等级多屏显示已被显示给用户,从而使用户能选择与期望频道相对应的分割屏幕,进而选择频道。在低速率等级多屏显示上,除了图33A所示的节目图像外,还显示用户界面附加信息。作为显示方法,可以利用分割屏幕的一部分来显示附加信息,或在分割屏幕旁边显示附加信息。
用户界面附加信息可以为:
相关信息显示:节目信息(概述,演员)、节目结束时间信息
导航信息(交通拥堵信息,路径信息,到达时间)
城市信息(附近的商店,地点,停车场)
气象信息(天气,温度,湿度)
仪表盘摄像机的视频显示
推荐功能:向其他乘客传送推荐节目
介绍在到达目的地前可以观看的节目
介绍在旅行期间可以观看的节目(本地节目)
介绍车辆中此时正在观看的节目
观看支持:当由于例如到达目的地而不能继续观看节目时,在记录器上记录观看节目的功能
允许在多屏上自由选择显示节目的数量及其尺寸和位置的功能
在由父母控制的终端有权对孩子的终端进行调台(选择孩子观看的节目,父母控制)的情况下的调台支持功能
除观看质量以外的图像质量控制(高级会员,观众数量,多数表决机制,竞拍)
终端说明
要注意的是,本发明还可以配备如下:
(1)一种通信设备,包括:
具有多个信道的编码器,其对输入流进行编码,同时在至少两个级别中切换输出数据的速率;以及
无线通信设备,其通过无线通信网络将编码器的输出发送至终端,其中,
当在所述终端上选择频道时,所述编码器的输出被从低速率流切换为高速率流,从而高速率流被传送至已经进行了频道选择的终端。
(2)根据(1)所述的通信设备,其中所述输入流为数字广播数据。
(3)根据(1)所述的通信设备,其中通过多播或单播传送所述高速率流。
(4)根据(1)至(3)中任一项所述的通信设备,其中在所述高速率流的传送时段以外传送所述低速率流。
(5)一种通信设备,包括:
无线通信设备,其接收从服务器通过无线通信网络发送的流;
解码器,其对接收的流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其向所述服务器发送频道选择的信息并切换所述解码器的参数,从而对从所述服务器传送的低速率流或高速率流进行解码。
(6)一种通信设备,包括:
第一流媒体单元,其将输入流编码为包括用户界面信息的低速率流;
第二流媒体单元,其将输入流编码为高速率流;
无线通信设备,其通过无线通信网络将所述第一流媒体单元和所述第二流媒体单元的输出发送至终端;以及
控制单元,其以下述方式执行控制:当在所述终端上利用所述用户界面信息选择频道同时传送所述低速率流时,将所述第二流媒体单元输出的所选频道的高速率流传送至所述终端。
(7)根据(6)所述的通信设备,其中所述输入流为数字广播数据。
(8)根据(6)或(7)所述的通信设备,其中通过多播传送所述低速率流,通过单播传送所述高速率流。
(9)根据(6)或(7)所述的通信设备,其中所述用户界面信息为在分割屏幕上显示多个可选频道的图像的多屏显示。
(10)根据(9)所述的通信设备,其中在所述多屏显示上显示附加信息。
(11)根据(6)所述的通信设备,其中所述第一流媒体单元总是执行编码处理。
(12)一种通信设备,包括:
无线通信设备,其接收通过无线通信网络从服务器发送的低速率流和高速率流之一;
解码器,其对已接收的所述高速率流和所述低速率流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其以下述方式执行控制:根据所述低速率流中包含的用户界面信息在所述显示单元上显示频道选择屏幕,利用所述频道选择屏幕作出的频道选择信息被发送至所述服务器,并对所述服务器传送的所述高速率流进行解码。
(13)根据(12)所述的通信设备,其中所述控制单元执行控制,使得在从所述频道选择屏幕直到以高速率流来显示屏幕的过渡时段期间,以低速率流显示全屏。
(14)根据(12)所述的通信设备,其中,在以所述高速率流来显示屏幕的同时,基于所述输入流的接收质量的信息和无线通信的质量来判断所述高速率流的接收质量,并选择要解码的流。
(15)根据(12)所述的通信设备,其中所述输入流为数字广播数据。
<3.变形>
到目前为止,已经具体描述了本发明的多个实施方式。但是,本发明不限于上述各个实施方式,基于本发明的技术精神还可以做出多种变形。例如,流的速率不限于两种,也可以允许设置三种或多种速率。此外,本发明可以被应用于发布除数字广播数据以外的图像数据的情况中。
此外,在不脱离本发明的主旨的前提下,上文所述的实施方式中的结构、方法、处理、形状、材料、树脂等可以相互组合。
参数列表
1 流媒体服务器
2,21至2m 终端
3,103 无线通信网络
4,104 天线单元
5,105 调节器单元
10,110 用户
11,111至11n 流媒体单元
12,24 A/V解码器
13 A/V编码器
14 AL-FEC编码器
23 AL-FEC解码器
15,22 UDP/UP
16,21 无线LAN接口
17,26 控制单元。

Claims (15)

1.一种通信设备,包括:
具有多个信道的编码器,其对输入流进行编码,同时在至少两个级别中切换输出数据的速率;以及
无线通信设备,其通过无线通信网络将所述编码器的输出发送至终端,其中,
当在所述终端上选择频道时,所述编码器的输出被从低速率流切换为高速率流,从而所述高速率流被传送至已经进行了频道选择的所述终端。
2.根据权利要求1所述的通信设备,其中,所述输入流为数字广播的数据。
3.根据权利要求1所述的通信设备,其中,所述高速率流是通过多播或单播传送的。
4.根据权利要求1所述的通信设备,其中,所述低速率流是在所述高速率流的传送时段以外传送的。
5.一种通信设备,包括:
无线通信设备,其接收从服务器通过无线通信网络发送的流;
解码器,其对接收的流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其向所述服务器发送频道选择的信息并切换所述解码器的参数,从而对从所述服务器传送的低速率流或高速率流进行解码。
6.一种通信设备,包括:
第一流媒体单元,其将输入流编码为包括用户界面信息的低速率流;
第二流媒体单元,其将输入流编码为高速率流;
无线通信设备,其通过无线通信网络将所述第一流媒体单元和所述第二流媒体单元的输出发送至终端;以及
控制单元,其以下述方式执行控制:当在所述终端上利用所述用户界面信息选择频道同时传送所述低速率流时,将来自所述第二流媒体单元的所选频道的高速率流传送至所述终端。
7.根据权利要求6所述的通信设备,其中,所述输入流为数字广播的数据。
8.根据权利要求6所述的通信设备,其中,所述低速率流是通过多播传送的,所述高速率流是通过单播传送的。
9.根据权利要求6所述的通信设备,其中,所述用户界面信息为在分割屏幕上显示多个可选频道的图像的多屏显示。
10.根据权利要求9所述的通信设备,其中,在所述多屏显示上显示附加信息。
11.根据权利要求6所述的通信设备,其中,所述第一流媒体单元总是执行编码处理。
12.一种通信设备,包括:
无线通信设备,其接收通过无线通信网络从服务器发送的低速率流和高速率流之一;
解码器,其对已接收的所述高速率流和所述低速率流进行解码;
显示单元,其显示已解码的流;以及
控制单元,其以下述方式执行控制;根据所述低速率流中包含的用户界面信息在所述显示单元上显示频道选择屏幕,利用所述频道选择屏幕作出的频道选择信息被发送至所述服务器,并且从所述服务器传送的所述高速率流被解码。
13.根据权利要求12所述的通信设备,其中,所述控制单元执行控制,使得在从所述频道选择屏幕直到以所述高速率流来显示屏幕的过渡时段期间,以所述低速率流来显示全屏。
14.根据权利要求12所述的通信设备,其中,在以所述高速率流来显示屏幕的同时,基于输入流的接收质量的信息和无线通信的质量来判断所述高速率流的接收质量,并选择要解码的流。
15.根据权利要求12所述的通信设备,其中所述输入流为数字广播的数据。
CN201680064681.5A 2015-11-11 2016-10-19 通信设备 Pending CN108353197A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015221559 2015-11-11
JP2015-221559 2015-11-11
PCT/JP2016/004633 WO2017081843A1 (ja) 2015-11-11 2016-10-19 通信装置

Publications (1)

Publication Number Publication Date
CN108353197A true CN108353197A (zh) 2018-07-31

Family

ID=58694913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064681.5A Pending CN108353197A (zh) 2015-11-11 2016-10-19 通信设备

Country Status (6)

Country Link
US (1) US10820031B2 (zh)
EP (1) EP3376770B1 (zh)
JP (1) JP6876922B2 (zh)
CN (1) CN108353197A (zh)
WO (1) WO2017081843A1 (zh)
ZA (1) ZA201802368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505500A (zh) * 2019-08-06 2019-11-26 咪咕视讯科技有限公司 一种缓存数据发送处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026702A (zh) * 2006-02-23 2007-08-29 三星电子株式会社 同时显示多频道可视图像的数字广播接收器及其显示方法
CN101123717A (zh) * 2007-09-25 2008-02-13 中兴通讯股份有限公司 一种实现频道快速切换的装置和方法
CN101438520A (zh) * 2006-02-21 2009-05-20 高通股份有限公司 无线设备中的多节目观看
CN102113323A (zh) * 2008-07-28 2011-06-29 汤姆森特许公司 使用辅助频道视频流的快速频道改变的方法和装置
US20140189751A1 (en) * 2012-12-27 2014-07-03 Thomson Licensing Broadband assisted channel change

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772830B2 (ja) 2002-09-27 2006-05-10 株式会社デンソー 移動体用デジタル放送受信装置及びプログラム
US9325998B2 (en) 2003-09-30 2016-04-26 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP2006253882A (ja) * 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd ワイヤレスav機器
JP4114678B2 (ja) * 2005-05-24 2008-07-09 船井電機株式会社 サーバ装置
US8374254B2 (en) * 2008-12-15 2013-02-12 Sony Mobile Communications Ab Multimedia stream combining
US8869203B2 (en) * 2009-10-08 2014-10-21 Marshall Communications Multimedia content fusion
US8826349B2 (en) * 2011-02-01 2014-09-02 Verizon Patent And Licensing Inc. Multicast adaptive stream switching for delivery of over the top video content
EP2485472A1 (en) * 2011-02-04 2012-08-08 Thomson Licensing Fast channel change companion stream solution with bandwidth optimization
JP2013038513A (ja) 2011-08-04 2013-02-21 Kyocera Corp 無線基地局および移動局
US9736528B2 (en) * 2011-09-12 2017-08-15 Verizon Patent And Licensing Inc. Content delivery for viewing devices within a customer premises
WO2014067566A1 (en) * 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
JP2015012305A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
US9444856B2 (en) * 2013-09-25 2016-09-13 Ericsson Ab System and method for managing adjacent channels in an adaptive streaming environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438520A (zh) * 2006-02-21 2009-05-20 高通股份有限公司 无线设备中的多节目观看
CN101026702A (zh) * 2006-02-23 2007-08-29 三星电子株式会社 同时显示多频道可视图像的数字广播接收器及其显示方法
CN101123717A (zh) * 2007-09-25 2008-02-13 中兴通讯股份有限公司 一种实现频道快速切换的装置和方法
CN102113323A (zh) * 2008-07-28 2011-06-29 汤姆森特许公司 使用辅助频道视频流的快速频道改变的方法和装置
US20140189751A1 (en) * 2012-12-27 2014-07-03 Thomson Licensing Broadband assisted channel change

Also Published As

Publication number Publication date
ZA201802368B (en) 2019-07-31
EP3376770A1 (en) 2018-09-19
JP6876922B2 (ja) 2021-05-26
US20180316956A1 (en) 2018-11-01
EP3376770A4 (en) 2018-11-14
US10820031B2 (en) 2020-10-27
WO2017081843A1 (ja) 2017-05-18
EP3376770B1 (en) 2022-02-16
JPWO2017081843A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
CN101346914B (zh) 用于dvb-h和dvb-t传输的组合接收机
CN102845068B (zh) 用于3d电视节目素材的分配的方法和装备
JP6092122B2 (ja) 放送通信融合型サービスのための送信方法及び装置
US8326291B2 (en) Fast channel switching method and apparatus for digital broadcast receiver
EP2290855A1 (en) Multi-program viewing in a wireless apparatus
CN101461240A (zh) 媒体播放器中的方法和装置
CN104661044B (zh) 一种广电ott融合终端及其实现方法
US20050163225A1 (en) Apparatus for decoding video and method thereof
US20110063411A1 (en) Receiving device, receiving method, transmission device and computer program
JP2011524682A (ja) メディアストリーム処理
KR100697187B1 (ko) 이동통신망과 연동된 지상파 dmb의 양방향 방송 서비스시스템 및 방법
JP2008035102A (ja) コンテンツ受信端末装置
CN108353197A (zh) 通信设备
US8447840B1 (en) Method and system for transferring control of a user interface of a content distribution system
CN101151897B (zh) 在数字广播接收机中处理数据的设备和方法
CN100562099C (zh) 数字广播系统中的信道转换
CN101116329A (zh) 使用多个调谐器和联网的监视器的更快速调谐
KR102171707B1 (ko) 멀티미디어 데이터 재생 방법 및 장치
JP3916499B2 (ja) デジタル放送受信装置
JP4423173B2 (ja) テレビ受信機、情報処理方法及びプログラム
KR101358709B1 (ko) 디지털 방송수신기의 서비스채널 변경 장치 및 방법
KR101304888B1 (ko) 다중 주파수 채널을 사용하는 디지털 방송수신기의서비스채널 변경 장치 및 방법
JP2000333136A (ja) デジタル放送受信装置
KR20070118812A (ko) 다중 주파수 채널을 사용하는 디지털 방송수신기의서비스채널 변경 장치 및 방법
JP2010034942A (ja) 送信装置及び受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180731