CN110278474A - 接收方法、发送方法、接收装置及发送装置 - Google Patents

接收方法、发送方法、接收装置及发送装置 Download PDF

Info

Publication number
CN110278474A
CN110278474A CN201910649505.3A CN201910649505A CN110278474A CN 110278474 A CN110278474 A CN 110278474A CN 201910649505 A CN201910649505 A CN 201910649505A CN 110278474 A CN110278474 A CN 110278474A
Authority
CN
China
Prior art keywords
content
communication
information
broadcast
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910649505.3A
Other languages
English (en)
Other versions
CN110278474B (zh
Inventor
井口贺敬
远间正真
西孝启
加藤久也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110278474A publication Critical patent/CN110278474A/zh
Application granted granted Critical
Publication of CN110278474B publication Critical patent/CN110278474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18Arrangements for synchronising broadcast or distribution via plural systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

有关本发明的一形态的接收方法,是广播通信协同服务中的接收方法,接收通过广播发送的广播内容;通过上述广播接收取得位置信息,该位置信息是用于取得与上述广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所;基于接收到的上述位置信息,取得上述通信内容。

Description

接收方法、发送方法、接收装置及发送装置
本申请是申请日为2014年8月22日、申请号为201480040276.0、发明名称为“接收方法、发送方法、接收装置及发送装置”的发明专利申请的分案申请。
技术领域
本发明涉及用于将分别通过广播及通信得到的影像、声音及字幕等内容同步再现的接收方法等。
背景技术
近年来,提出了使广播与通信协同的各种服务。
作为享受这样的服务的装置,例如提出了如下的接收装置(例如,参照专利文献1、2、3)。
接收装置从数字广播信号接收广播内容,从通信网络接收与广播内容联动的通信内容,将广播内容与通信内容同步地提示。
现有技术文献
专利文献
专利文献1:特开2013-9332号公报
专利文献2:特开2013-9359号公报
专利文献3:特开2013-9341号公报
发明内容
有关本发明的一技术方案的接收方法,是广播通信协同服务中的接收方法,接收通过广播发送的广播内容;通过上述广播接收位置信息,该位置信息是用于取得与上述广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所;基于接收到的上述位置信息,取得上述通信内容。
另外,这些包括性或具体的形态也可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现。另外,这些包括性或具体的形态也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
根据有关本发明的一技术方案的接收方法,能够与广播内容的接收相应地适当地取得通信内容。
附图说明
图1是表示有关本发明的实施方式1的接收装置1的结构的框图。
图2是表示图1的缓冲器13及缓冲器22的一结构例的框图。
图3是表示图1的接收装置1的内容提示的状态转变的一例的图。
图4是表示用于说明图1的接收装置1中的广播内容与通信内容的同步提示方法的一例的信号形象的图。
图5是表示由图1的接收装置1进行的广播内容与通信内容的同步提示方法的处理动作的一例的流程图。
图6是表示用于说明同步提示方法的另一例的信号形象的图。
图7是表示用于说明同步提示方法的再另一例的信号形象的图。
图8是表示同步提示方法的处理动作的另一例的流程图。
图9是表示有关实施方式1的一变形例的接收装置1A的结构的框图。
图10是表示有关实施方式1的另一变形例的接收装置1B的结构的框图。
图11是表示设定菜单画面的一例的图。
图12是表示同步提示方法设定画面的一例的图。
图13是表示同步提示手动设定画面的一例的图。
图14是表示有关本发明的实施方式2的接收装置100的结构的框图。
图15是表示图14的控制管理部141的一结构例的框图。
图16是表示图14的接收装置100的广播通信接收开始后的延迟缓冲器及去抖缓冲器的初始动作的一例的流程图。
图17是表示由图14的控制方法决定部174进行的控制方法决定动作的一例的流程图。
图18是表示有关实施方式2的一变形例的接收装置100A的结构的框图。
图19是表示有关实施方式3的接收装置的通信内容的取得动作的一例的流程图。
图20是表示包括通信内容的取得的同步再现动作的一例的流程图。
图21是表示在程序的中途开始广播通信协同服务的动作的一例的流程图。
图22是表示通信内容的缓冲动作的一例的流程图。
图23是表示通信内容是否能够在任意的时间取得的判定的一例的流程图。
图24是表示广播内容的延迟提示没有被认可的情况下的动作的一例的流程图。
图25是表示发送装置的结构的框图。
图26是表示发送装置的动作的一例的流程图。
具体实施方式
广播内容通常在规定的时刻由广播站发送。因此,在将广播内容与通信内容同步地提示(再现)的情况下,接收装置与广播内容的接收相应地取得通信内容并再现。
但是,在接收装置中,有通信内容用的缓冲器的容量等对于通信内容的取得的限制。因此,关于接收装置的通信内容的取得方法有研究的余地。
(作为本发明的基础的认识1)
专利文献1所记载的接收装置从数字广播信号接收广播内容,从通信网络接收与广播内容联动的通信内容。并且,接收装置将接收到的广播内容暂时保存到第1同步用缓冲器中,将接收到的通信内容暂时保存到第2同步用缓冲器中。接收装置根据由命令执行部指定的时间,控制从第1同步用缓冲器及第2同步用缓冲器的某一方输出的内容的输出时间,使广播内容及通信内容的某一方的提示延迟。由此,能够将接收时刻不同的广播内容和通信内容同步地提示。
此外,专利文献2所记载的接收装置通过使广播内容的提示延迟而使广播内容和通信内容的提示同步。在该接收装置中,以来自外部的操作或来自外部的控制信号为契机取得通信内容,在通信内容的取得完成后,开始将广播内容比通常提示时的提示时刻延迟而提示的延迟提示。由此,在通信内容的取得中也能够将广播内容进行通常提示。
在上述专利文献1及专利文献2所记载的以往的接收装置中,当从将广播内容再现而没有将通信内容再现的状态向将广播内容和通信内容这两者再现的状态切换时,需要根据通信内容的接收时刻相对于广播内容的接收时刻的延迟时间使广播内容的提示延迟。由此,向视听者提示的广播内容会被暂时中断。通信内容的接收时刻相对于广播内容的接收时刻的延迟时间越大,这对视听者带来越大的影响。
此外,在广播内容的接收时刻相对于通信内容的接收时刻延迟的情况下也发生同样的课题。即,当从将通信内容再现而没有将广播内容再现的状态向将通信内容和广播内容这两者再现的状态切换时,需要根据广播内容的接收时刻相对于通信内容的接收时刻的延迟时间使通信内容的提示延迟。由此,向视听者提示的通信内容会被暂时中断。广播内容的接收时刻相对于通信内容的接收时刻的延迟时间越大,这对视听者带来越大的影响。
但是,目前还没有研究对于该课题的技术性的解决对策。
所以,发明者们研究了对于该课题的技术性的解决对策。
该研究的结果,发明者们得到了以下的认识:例如通过在使广播内容的提示延迟的前后或使通信内容的提示延迟的前后向视听者进行关于广播与通信的同步的通知,实现对视听者带来的影响的减轻。
以下,对基于根据该认识得到的解决对策的实施方式等进行说明。
(实施方式1)
图1是表示作为有关本发明的实施方式1的广播通信协同接收装置的接收装置1的结构的框图。
接收装置1具备数字广播接收部11、分离部12、缓冲器13、解码部14、通信收发部21、缓冲器22、解码部23、内容生成部31、通信收发部41、操作输入部42及控制部51。
其中,接收装置1例如是电视接收机、可携带电视、记录器、机顶盒、智能电话、平板电脑等设备。
数字广播接收部11以由外部的广播天线3接收到的数字广播信号为输入。并且,数字广播接收部11从数字广播信号中选择希望的频道,对所选择的希望的频道的数字广播信号进行解调处理及纠错处理等,生成传输流并向分离部12输出。另外,接收装置1也可以在内部具备广播天线3。
其中,所谓数字广播,例如是地面数字广播、BS(Broadcasting Satellite)数字广播、CS(Communications Satellite)数字广播、有线电视、使用光纤等IP(InternetProtocol)网的广播等。
分离部12将由数字广播接收部11生成的传输流分离为影像数据、声音数据及数据广播等。此外,分离部12取得包含在传输流中的各种控制信息。
在传输流中包含的控制信息中,例如有作为系统信息的PSI(Program SpecificInformation)、SI(Service Information)、作为同步信息的PCR(Program ClockReference)、作为关于应用的信息的应用数据表(Application Information Table:AIT)。在AIT中,例如记述有确定应用的应用ID、能够控制应用的启动及结束等的生命周期的控制代码、应用的位置信息。
此外,从分离部12输出的影像数据及声音数据等构成为PES(PacketizedElementary Stream)包。在各PES包中包含的PES头中,作为同步用的提示时刻信息而保存有PTS(Presentation Time Stamp)及DTS(Decoding Time Stamp)。另外,也有PTS及DTS的某一方或双方不包含在PES头中的情况。
分离后的影像数据及声音数据等被从分离部12向缓冲器13输出,PCR及AIT等被从分离部12向控制部51输出。
缓冲器13将从分离部12输出的影像数据及声音数据等保存。并且,缓冲器13在从控制部51指示的定时将影像及声音等的各部分(component)的内容数据以PES包单位向解码部14及通信收发部41的一方或双方输出。另外,关于缓冲器13再使用图2后述。
解码部14将从缓冲器13输出的影像及声音等的各部分的PES包变换为基本流(ES),从PES包的PES头中提取PTS及DTS。此外,解码部14将提取出的PTS及DTS向控制部51输出。并且,解码部14将各部分的基本流解码,向内容生成部31输出。其中,在影像内容的解码前的图片帧的顺序与解码后的图片帧的顺序不同的情况下,解码部14使用在内部具备的缓冲器进行顺序的替换后,向内容生成部31输出。
通信收发部21经由通信网络,从与广播业者相关联的业者或其他业者提供的内容服务器取得应用及AV内容。此外,通信收发部21也有经由通信网络取得AIT等控制信息的情况。在从通信业者提供的AV内容中,有文件数据、影像数据及声音数据等。通信收发部21将所取得的应用及控制信息向控制部51输出。通信收发部21将所取得的AV内容向缓冲器22输出。
通信收发部21及后述的通信收发部41例如使用依据无线LAN(Local AreaNetwork)、Bluetooth(注册商标)、以太网(注册商标)、USB(Universal Serial Bus)、PLC(Power Line Communication)及HDMI(注册商标)(High-Definition MultimediaInterface)等通信标准的通信方法进行通信。其中,通信收发部21和通信收发部41既可以是相同的结构,也可以是不同的结构。
缓冲器22将从通信收发部21输出的AV内容的内容数据保存。并且,缓冲器22在从控制部51指示的定时将影像及声音等的各部分的内容数据以PES包单位向解码部23及通信收发部41的一方或双方输出。另外,关于缓冲器22再使用图2后述。
解码部23将从缓冲器22输出的影像及声音等的各部分的PES包变换为基本流(ES),从PES包的PES头中提取PTS及DTS。此外,解码部23将提取出的PTS及DTS向控制部51输出。并且,解码部23将各部分的基本流解码,向内容生成部31输出。其中,在影像内容的解码前的图片帧的顺序与解码后的图片帧的顺序不同的情况下,解码部23使用在内部具备的缓冲器进行顺序的替换后,向内容生成部31输出。
内容生成部31使用从解码部14输出的各部分(影像、声音、字幕等)的内容数据、和从解码部23输出的各部分(影像、声音及字幕等)的内容数据,按照控制部51的指示生成服务的提示内容。由内容生成部31生成的提示内容被向外部的提示部5输出,由提示部5提示。另外,接收装置1也可以在内部具备提示部5。
通信收发部41在与不同于提示部5的内容提示装置、及视听者操作的输入接口之间执行通信。在内容提示装置中,例如有电视接收机、可携带电视、智能电话及平板电脑等。通信收发部41将从缓冲器13、22输出的PES包向内容提示装置发送。此外,通信收发部41将从控制部51受理的数据向内容提示装置发送。在输入接口中,例如有遥控器、平板电脑终端、智能电话、个人计算机的键盘、鼠标、相机及麦克风等。此外,通信收发部41将从输入接口受理的输入内容向操作输入部42或控制部51输出。另外,内容提示装置和输入接口既可以是相同的装置,也可以是不同的装置。
操作输入部42从外部的输入接口或内置的输入接口取得与视听者使用输入接口进行的操作相应的控制信号,将与所取得的控制信号对应的控制信息向控制部51传递。在输入接口中,例如有遥控器、平板电脑终端、智能电话、个人计算机的键盘、鼠标、相机及麦克风等。所谓视听者使用输入接口进行的操作,例如是物理地或在画面上虚拟地配置的按钮的按下、手势、通过声音的操作及它们的组合等。此外,来自输入接口的控制信号既可以经由通信收发部41输入到操作输入部42,也可以经由通信收发部41直接输入到控制部51。在来自输入接口的控制信号经由通信收发部41直接输入到控制部51的情况下,接收装置1也可以不具备操作输入部42。
控制部51使用从分离部12输出的PCR生成基准时钟信号。该生成的基准时钟信号用于缓冲器13、22的输出定时的控制等。
控制部51使用从解码部14输出的PTS,生成用于使通过广播送来的各内容(影像内容、声音内容等)间的输出定时相匹配的控制信息,向缓冲器13内的后述的PES缓冲器71输出。此外,控制部51使用从解码部23输出的PTS,生成用于使通过通信送来的各内容(影像内容、声音内容等)间的输出定时相匹配的控制信息,向缓冲器22内的后述的PES缓冲器71输出。
进而,控制部51使用从解码部14输出的PTS与从解码部23输出的PTS计算广播内容与通信内容之间的延迟时间。并且,基于计算出的延迟时间生成用于使广播内容与通信内容的输出定时相匹配的控制信息,向缓冲器13内的后述的同步用缓冲器72及缓冲器22内的后述的同步用缓冲器72输出。此外,控制部51对内容生成部31进行对于视听者的有关广播内容与通信内容的同步的报告(同步提示报告)的指示。
另外,同步提示报告例如是从广播内容的后述的通常提示切换为后述的延迟提示时的不连续影像的提示的发生的对于视听者的报告或影像的重复提示的发生的对于视听者的报告等。关于该同步提示报告,包括具体例在后面叙述。
以下,使用图2对缓冲器13及缓冲器22的一结构例进行说明。另外,由于缓冲器13和缓冲器22能够利用相同的结构,所以一起说明。
图2是表示图1的缓冲器13及缓冲器22的一结构例的框图。
缓冲器13、22具备PES缓冲器71及同步用缓冲器72。
PES缓冲器71是用于使影像内容或声音内容等内容间的输出定时一致的缓冲器。PES缓冲器71将影像内容或声音内容等各内容变换为PES包,在由控制部51通过控制信息指示的输出定时,输出PES单位的内容数据。
同步用缓冲器72是用于使广播内容与通信内容间的输出定时一致的缓冲器。同步用缓冲器72在由控制部51通过控制信息指示的定时,输出PES单位的内容数据。
但是,PES缓冲器71及同步用缓冲器72能够在任意的延迟时间及任意的输出定时输出PES单位的内容数据,延迟时间及输出定时全部遵循控制部51的指示。
以下,对将广播内容与通信内容的输出定时相匹配而提示广播内容和通信内容的同步提示方法进行说明。
在广播通信协同服务中,有通过HTML5等应用来控制广播与通信的协同的方法、和不经由应用而控制广播与通信的协同的方法。另外,以下以通过应用提供广播通信协同服务的情况为例进行说明,但应用既可以是HTML5应用,也可以是接收机的驻留应用。此外,也可以将驻留应用或接收机的功能的一部分作为API提供,通过HTML5等其他应用进行控制。
在广播通信协同服务中,有应用与AV内容联动的从属型服务、及应用不与AV内容联动的独立型服务。此外,在通信内容中有各种内容。
在以下的说明中,在与广播内容联动的从属型服务中,可以考虑提示与广播内容联动的通信内容的使用情形。此外,假设通信内容是在时间上不能先取得包的实时的实况影像的多播分发。
在图3中表示为了说明广播内容和通信内容的同步提示方法的具体例而使用的、接收装置1的内容提示的状态转变的一例。
在图3的状态转变图中,接收装置1从电源OFF(断开)状态(广播OFF/通信OFF的状态)开始。并且,通过将广播内容提示设为ON(开启),接收装置1从广播OFF/通信OFF的状态转变为仅提示广播内容的状态(广播ON/通信OFF的状态)。进而,接收装置1从广播ON/通信OFF的状态通过使通信内容提示成为ON,转变为提示广播内容及通信内容双方的状态(广播ON/通信ON的状态)。
以下,将“广播ON/通信OFF的状态”定义为“状态A”,将“广播ON/通信ON的状态”定义为“状态B”。此外,将从决定从“状态A”转变为“状态B”到转变完成的期间定义为“转变期间”。
为了提供广播通信协同服务,应用启动为前提。由此,在提供广播通信协同服务时应用没有启动的情况下,需要应用的启动。此外,为了仅提供广播服务,并不一定需要应用启动。
例如,在从状态A向状态B转变的情况下,在状态A下应用没有启动的情况下,需要应用的启动。此时,应用基于广播信号中包含的AIT而启动。
作为应用的启动定时,有视听者基于保存在广播内容或通信内容中的AIT明确地指定的情况、以及基于AIT的应用的启动信息而与内容联动地动态地自动启动的情况等。此外,作为应用的结束定时,有视听者基于保存在广播内容或通信内容中的AIT明确地指定的情况、以及基于AIT的应用的启动信息而与内容联动地动态地自动结束的情况等。
作为在提示广播内容的过程中使通信内容成为ON的方法,有视听者基于保存在广播内容中的AIT明确地指定的方法、以及基于保存在广播内容中的AIT自动启动的方法等。
一般而言,通信内容的接收与广播内容的接收相比延迟较大,所以在将实况影像以广播及通信发送的情况下,在接收侧通信内容相对于广播内容延迟而被接收。
在提示广播内容的过程中,开始通信内容的提示,为了使广播内容与通信内容同步地提示,需要将广播内容延迟而提示。
使用图4及图5对图3所示的内容提示的状态转变中的广播内容和通信内容的同步提示方法的一例进行说明。
图4是表示用于说明图3所示的内容提示的状态转变中的广播内容和通信内容之间的同步提示方法的一例的信号形象的图。
图4(a)表示无延迟的广播内容的时间信号。将使用该信号进行广播提示的情况定义为“通常提示”。
图4(b)表示延迟后的广播内容的时间信号。将使用该信号进行广播提示的情况定义为“延迟提示”。另外,图中的“D”是通信内容的接收时刻相对于广播内容的接收时刻的延迟时间。
图4(c)表示通信内容的时间信号。
图4(d)表示实际提示的广播内容的时间信号。
图4(e)表示实际提示的通信内容的时间信号。
接收装置1在时刻T1之前的期间及从开始通信内容的取得的时刻T1到通信内容的提示的准备完成的时刻T2的期间、即从状态A向状态B的转变完成之前,将广播内容进行通常提示。
并且,接收装置1在通信内容的提示的准备完成的时刻T2以后的期间,即从状态A向状态B的转变完成后,将广播内容进行延迟提示并将通信内容提示。
这样,在从状态A向状态B的转变完成的定时,广播内容的提示从通常提示切换为延迟提示。因此,在从状态A向状态B的转变完成的定时,广播内容的提示成为不连续的影像等的提示。此外,从开始延迟提示起在较长的期间中,广播内容的提示成为与在通常提示中提示了一次的影像等相同的影像等的重复提示。不连续的影像等的提示或影像等的重复提示对视听者的视听带来别扭感,有时还有可能带来不适感。
因此,接收装置1在广播内容的重复提示期间中,进行对于视听者的有关广播内容与通信内容的同步的报告(同步提示报告)(例如,将“为了取得广播内容与通信内容之间的同步而重复提示了广播内容”之意的消息向提示部5提示)。
通过进行这样的同步提示报告,视听者能够掌握不连续的影像等的提示及影像等的重复提示的理由,能够缓和对视听者的视听带来的别扭感及不适感。
图5是表示图3所示的内容提示的状态转变中的由接收装置1进行的广播内容和通信内容之间的同步提示方法的处理动作的一例的流程图。其中,在图5的流程图的开始时间点,接收装置1处于电源OFF状态(广播OFF/通信OFF的状态)。
接收装置1通过将广播内容提示设为ON,从电源OFF状态(广播OFF/通信OFF的状态)向广播ON/通信OFF的状态(状态A)转变(步骤S11)。接收装置1开始广播内容的取得并开始广播内容的通常提示(步骤S12)。
接着,接收装置1以应用的取得为契机开始通信内容的取得(步骤S13)。
接收装置1判定通信内容的提示的准备是否完成(步骤S14)。在判定为通信内容的提示的准备完成之前(S14:否),进行步骤S14的处理。并且,在判定为通信内容的提示的准备完成的情况下(S14:是),进行步骤S15的处理。另外,通信内容的取得的准备是否完成的判定中,例如在缓冲器22中储存有规定量的通信内容的内容数据的情况下判定为通信内容的取得的准备完成。
接收装置1在控制部51中将解码后的广播内容的PTS与通信内容的PTS比较,计算通信内容相对于广播内容的延迟时间(步骤S15)。
控制部51基于在步骤S15中计算出的延迟时间生成用于使广播内容与通信内容的输出定时相匹配的控制信息,向缓冲器13内的同步用缓冲器72及缓冲器22内的同步用缓冲器72输出。缓冲器13内的同步用缓冲器72按照控制信息基于在步骤S15中计算出的延迟时间使缓冲器输出延迟,缓冲器22内的同步用缓冲器72按照控制信息进行缓冲器输出。由此,接收装置1将广播内容的提示从通常提示切换为延迟提示而开始延迟提示,同时,开始通信内容的提示。进而,控制部51将同步提示报告用的消息(例如“为了取得广播内容与通信内容之间的同步而将广播内容重复提示”之意的消息)的提示向内容生成部31指示,内容生成部31基于该指示开始向提示部5提示同步提示报告用的消息(步骤S16)。
控制部51基于在步骤S15中计算出的延迟时间,判定广播内容的重复提示是否已结束(步骤S17)。在判定为广播内容的重复提示结束之前(S17:否),进行步骤S17的处理。并且,在判定为广播内容的重复提示结束的情况下(S17:是),控制部51向内容生成部31指示同步提示报告用的消息的提示的结束,内容生成部31基于该指示,结束同步报告用的消息向提示部5的提示(步骤S18)。
(实施方式1的补充)
以下,对实施方式1的补充进行记载。
(1)在实施方式1中说明的广播内容和通信内容的同步提示方法是一例,并不限定于此。
例如也可以是图6所示的同步提示方法。其中,图6(a)~图6(e)的时间信号分别是与图4(a)~图4(e)的时间信号相同的种类。
在图4的同步提示方法中,在状态的转变期间、即在从开始通信内容的取得起到通信内容的提示的准备完成的期间,将广播内容进行通常提示。
相对于此,在图6的同步提示方法中,在状态的转变期间、即从开始通信内容的取得起到通信内容的提示的准备完成的期间,将广播内容的提示中断而使提示部5的画面熄灭(black out)。与此同时,接收装置1为了对于视听者的同步提示报告而向提示部5提示例如表示处于用于取得广播内容与通信内容的同步的待机中的消息。
此外,通过改变缓冲器的时钟定时的控制方法或提示定时,能够实现各种同步提示方法,例如有图7所示的同步提示方法。其中,图7(a)~图7(e)的时间信号分别是与图4(a)~图4(e)的时间信号相同的种类。
在图7的同步提示方法中,接收装置1以通信内容的取得为契机,开始广播内容的缓慢再现,一边将通信内容的提示的准备的完成与广播内容的再现时间比较,一边转变为进行广播内容的延迟提示和通信内容的提示的状态。与此同时,接收装置1为了对于视听者的同步提示报告用而向提示部5提示例如表示处于用于取得广播内容与通信内容的同步的广播内容的缓慢再现中的消息。另外,缓慢再现可以通过扩大缓冲器的输出的时间间隔来实现。广播内容通过缓慢再现一点一点地进行延迟调整,在延迟调整完成而广播内容的提示时刻与通信内容的提示时刻一致的时刻,使广播内容与通信内容同步地提示。在此情况下,通信的提示准备完成时刻与同步提示定时不一致。
再现的定时及时钟控制由控制部51控制。此外,控制部51根据同步提示方法,将适当的提示或提示定时向内容生成部31输出。
在图7的同步提示方法中,当使广播内容与通信内容同步而提示时,能够使这些提示变得更顺畅。
(2)在实施方式1的同步提示方法中,以通信内容的准备的完成为契机,将广播内容的提示从通常提示切换为延迟提示。但是,并不限定于此,例如也可以预先使广播内容延迟提示,使用图8的流程图说明这一例。其中,在图8的流程图的开始时间点,接收装置1处于电源OFF状态(广播OFF/通信OFF的状态)。
接收装置1通过使广播内容提示成为ON,从电源OFF状态(广播OFF/通信OFF的状态)向广播ON/通信OFF的状态转变(步骤S51)。接收装置1开始广播内容的取得,开始广播内容的通常提示(步骤S52)。
接收装置1在广播内容的通常提示中,作为第一应用而启动使广播内容延迟提示的应用(以下称作“延迟提示应用”)(步骤S53)。作为广播的延迟提示定时,例如可以举出视听者指定的定时、以及广播业者或其他业者通过通信或广播的AIT指定的定时、或者通过基于AIT取得的应用指定的定时等。
在将延迟提示应用启动后,接收装置1在控制部51中取得通信内容,将解码后的广播内容的PTS与通信内容的PTS比较,计算通信内容相对于广播内容的延迟时间(步骤S54)。
控制部51基于在步骤S54中计算出的延迟时间控制缓冲器13内的同步用缓冲器72的输出延迟,由此,接收装置1将广播内容的提示从通常提示切换为延迟提示而开始延迟提示。进而,控制部51向内容生成部31指示同步提示报告用的消息(例如,“为了取得广播内容与通信内容之间的同步而将广播内容重复提示”之意的消息)的提示,内容生成部31基于该指示,开始向提示部5提示同步提示报告用的消息(步骤S55)。
控制部51基于在步骤S54中计算出的延迟时间判定广播内容的重复提示是否已结束(步骤S56)。在判定为广播内容的重复提示结束之前(S56:否),进行步骤S56的处理。并且,在判定为广播内容的重复提示结束的情况下(S56:是),控制部51向内容生成部31指示同步提示报告用的消息的提示的结束,内容生成部31基于该指示,结束同步提示报告用的消息向提示部5的提示(步骤S57)。
在广播ON/通信OFF的状态且广播内容的延迟提示中,接收装置1将第二应用启动,由此开始通信内容的取得(步骤S58)。
接收装置1判定通信内容的提示的准备是否已完成(步骤S59)。在判定为通信内容的提示的准备完成之前(S59:否),进行步骤S59的处理。并且,在判定为通信内容的提示的准备完成的情况下(S59:是),接收装置1开始通信内容的提示(步骤S60)。
在有延迟提示的可能性的程序的情况下,通过在广播接收的开始时、选台时或CM(广告)的定时等视听者的别扭感较小的定时预先使广播内容延迟提示,能够进行广播内容和通信内容的顺畅的同步提示。
另外,例如根据使广播内容的延迟提示公开的定时(例如广播接收的开始时或选台时),也可以不提示同步提示报告用的消息。
(3)在实施方式1中说明的同步提示方法中的对于视听者的有关广播内容与通信内容的同步提示的报告(同步提示报告)的内容及期间是一例,并不限定于此。
以下,关于同步提示报告,包括实施方式1中记载的内容而进行说明。
作为同步提示报告的内容,例如有有关广播内容与通信内容的同步提示的消息的提示、以及不连续影像的动画的提示等。
具体而言,例如如下述那样提示。
·显示向视听者示出所设定的同步提示方法的消息或图标等。
·显示向视听者示出要发生不连续的影像显示或发生了不连续的影像显示的消息或图标等。
·显示向视听者示出影像被重复提示的消息或图标等。
·为了消除不连续的显示,在影像之间放入动画的功能。
另外,除了消息或图标等的显示以外,还有反射式显示或声音输出等。此外,也可以使用外部的设备来提示。
作为同步提示报告的定时或期间,例如也有进行广播内容的重复提示的期间、从开始通信内容的取得起到广播内容的重复提示结束的期间、应用的启动定时、通信内容的准备完成的定时等与接收装置1的事件相应的定时或期间等。此外,还有视听者的接口操作的定时等。另外,也可以仅在视听者许可同步提示报告的期间中进行同步提示报告。
控制部51例如按照由应用指定的同步提示方法、预先设定的规则或接收装置的设定等,决定同步提示报告的内容、定时或期间,向内容生成部31指示。内容生成部31在按照控制部51的指示决定的定时或期间中执行所决定的内容的同步提示报告。另外,关于接收装置的设定,视听者既可以能够进行,也可以不能进行。
此外,也可以是在广播或通信中埋入指示同步提示报告的内容、定时或期间的控制信号等,广播业者或与广播业者相关联的业者或其他业者能够根据内容来指示同步提示报告的内容、定时或期间那样的形态。
(4)在实施方式1中,假设通信内容的取得定时与应用的取得定时相同而进行了说明,但并不限定于此,也可以是不同的定时。另外,通信内容的取得的定时例如遵循应用的指示。
(5)在实施方式1中,假设接收装置1的状态转变是在图3中表示一例的状态转变而进行了说明,但并不限定于此,例如也可以是以下这样的形态。
接收装置1在从广播内容的通常提示且不与内容联动的独立通信应用的启动中的状态(广播ON/通信独立应用ON/联动应用OFF的状态)向与广播联动的应用启动的状态(广播ON/通信独立应用ON/联动应用ON的状态)的状态转变中,也需要使广播内容延迟。在此情况下,也能够采用与在实施方式1及实施方式1的补充中说明的同步提示方法、同步提示方法中的同步提示报告实质上相同的内容。
(6)在实施方式1及实施方式1的补充的(2)中,为了计算广播内容与通信内容的延迟时间,使用在解码后输出的PTS进行计算。但是,并不限定于此,也可以使用DTS计算,也可以使用PTS和DTS这两个信息来计算。此外,也可以使用解码前的PTS、DTS计算。此外,也可以使用PCR或基于PCR生成的时钟(STC)、PTS、DTS来计算。在基准时钟是NTP的情况下,也可以使用NTP计算,在广播内容和通信内容使用不同的基准时钟的情况下,也可以使用表示各自的基准时钟的对应关系的时间线辅助信息来计算。
此外,缓冲器的控制定时也可以考虑PTS、DTS的计算的场所及缓冲器的位置来计算。作为PTS、DTS的计算的场所及缓冲器的位置不同的例子,可以使用以下这样的结构。
实施方式1在解码部14中提取PTS、DTS,但从PES包向ES的变换及PTS、DTS的提取也可以不是在解码部14中处理,而是在缓冲器13的PES缓冲器71中处理。在此情况下,优选的是在缓冲器13中PES缓冲器71与同步用缓冲器72的位置相反。PES缓冲器71将提取出的PTS及DTS向控制部51输出。PES缓冲器71在从控制部51指示的定时将影像或声音等的各部分的内容数据向解码部14及通信收发部41的一方或双方输出。同样,从PES包向ES的变换及PTS、DTS的提取也可以不是在解码部23中处理,而是在缓冲器22的PES缓冲器71中处理。在此情况下,优选的是在缓冲器22中PES缓冲器71与同步用缓冲器72的位置相反。PES缓冲器71将提取出的PTS及DTS向控制部51输出。PES缓冲器71在从控制部51指示的定时将影像或声音等的各部分的内容数据向解码部23及通信收发部41的一方或双方输出。另外,以上的结构与在后述实施方式2中说明的结构是同样的,图2中的PES缓冲器71相当于图14及图18中的分离缓冲器114。
(7)在实施方式1中,说明了在从控制部51指示的定时将影像或声音等的各部分的内容数据以PES包单位向通信收发部41输出,通信收发部41将内容数据及从控制部51受理的数据向内容提示装置发送,但更具体地讲,在通信收发部41中,将影像或声音等的各部分的访问单元、PES包、及从控制部51输入的控制信息及时钟信息使用特定的复用方式进行再复用后,向协同终端发送。复用方式中有MP4、MPEG2-TS、MPEG-DASH、MMT等。
(8)在实施方式1中,假设通信内容相对于广播内容以一定的时间延迟,但也可以考虑广播内容相对于通信内容延迟的情况。在此情况下,广播内容的提示为通常提示的1个样式(pattern),通信内容的提示为通常提示和延迟提示这两个样式。另外,除了这一点以外,能够采用与在实施方式1及实施方式1的补充中说明的同步提示方法、同步提示方法中的同步提示报告实质上相同的内容。
在实施方式1中,假设通信内容相对于广播内容以一定的时间延迟,但例如因通信传送路径中的传送抖动的影响而通信内容相对于广播内容的延迟时间不为一定的情况下,适当地控制缓冲器,进行广播内容与通信内容的同步提示。
(9)在实施方式1中,关于从广播ON/通信OFF的状态向广播ON/通信ON的状态的转变进行了说明,但也有从广播ON/通信ON的状态向广播ON/通信OFF的状态的转变。
在从该广播ON/通信ON的状态向广播ON/通信OFF的状态的转变中,在将广播内容的提示从延迟提示切换为通常提示的情况下,会发生广播内容的不连续的提示或广播内容的提示的一部分的缺失。
因此,接收装置1也可以对视听者进行以广播内容的不连续的提示的发生或广播内容的提示的一部分的缺失的发生等为内容的同步提示报告。
另外,控制部51决定同步提示报告的内容、定时或期间,向内容生成部31指示。并且,内容生成部31在指示的定时或期间执行被指示的内容的报告。
(10)在实施方式1中,使用图1对将广播内容和通信内容同步而提示的情况进行了说明,但并不限定于此,例如也可以是以下这样的形态。
在将1个内容利用两个不同的传送路径发送的情况下,可以将接收装置的结构做成例如将从两个传送路径接收的内容同步而用1个解码部解码的图9所示的结构。其中,在图9中,对于进行与图1的构成单元实质上相同的处理的构成单元赋予相同的标号。
在图9所示的接收装置1A中,解码部14A以缓冲器13及缓冲器22的输出为输入,将来自各自的输入数据解码,向内容生成部31A输出。内容生成部31A以解码部14A的输出为输入,使用输入数据按照控制部51的指示生成服务的提示内容。
在使用广播发送主影像、使用通信发送扩展信息的情况下,可以将接收装置的结构做成例如将主影像用一个解码部解码、将主影像和扩展影像用其他解码部解码的图10所示的结构。其中,在图10中,对于进行与图1的构成单元实质上相同的处理的构成单元赋予相同的标号。
在图10所示的接收装置1B中,解码部14B以缓冲器13的输出为输入,将输入数据解码,向内容生成部31B输出。内容生成部31B以解码部14B的输出为输入,使用输入数据按照控制部51的指示生成非扩展影像等提示内容,向提示部5输出。
解码部23B以缓冲器13及缓冲器22的输出为输入,将输入数据解码,向内容生成部32B输出。内容生成部32B以解码部14B的输出和解码部23B的输出为输入,使用来自各自的输入数据按照控制部51的指示生成扩展影像等提示内容,向提示部5B输出。
在图9及图10的哪种情况下,都能够采用与在实施方式1及实施方式1的补充中说明的同步提示方法、同步提示方法中的同步提示报告实质上相同的内容。
(11)即使在广播与通信之间在接收上产生了时间差,根据内容也有不需要在广播与通信之间取得同步的情况,还有在广播与通信之间不进行同步控制的选择分支。在此情况下,控制部51也可以决定在广播与通信之间进行还是不进行同步控制。
同步的必要性既可以由接收装置决定,也可以按每个内容规定延迟容许度并由广播业者或与广播业者相关联的业者或其他业者使用广播或通信向接收装置传送。关于延迟容许度,有通过AIT等发送的方法、在能够用AIT确定的应用内发送的方法、广播信号的控制信息(SI)等。
(12)在实施方式1中使用图1及图2说明的接收装置1中的缓冲器结构是一例,只要是具有与实施方式1同样的功能的缓冲器就可以,并不限定于该结构。
例如,缓冲器优选的是配置在能够使存储器尺寸最小的位置。此外,在实施方式1中,假设按每个功能具备缓冲器,如PES缓冲器、同步用缓冲器、重排序缓冲器等,但并不限定于此,也可以在一个缓冲器中具备多个功能。此外,缓冲器对于各个功能分配的存储器分配既可以是动态的,也可以是共用存储器而实现多个功能。
另外,关于使用图9及图10说明的接收装置1A、1B也可以说是同样的。
(13)在实施方式1中,关于广播与通信的同步控制进行了说明,但协同的系统并不限于广播与通信的协同,也可以是广播与广播的协同,也可以是通信与通信的协同,也可以是基于3个以上的传送路径的信号的协同。
(14)在实施方式1中,使用由MPEG2-TS系统规定的包结构进行了说明,但复用方式没有被特别限定。作为复用方式,例如有MP4、或广泛用于流媒体中的RTP、MMT等。
(15)在广播通信协同服务中,还提出了接收装置与例如智能电话、平板电脑等作为通信终端的内容提示装置协同的服务。
在此情况下,需要由接收装置1提示的内容与由内容提示装置提示的内容的同步控制。
作为这样的服务的一例,可以举出由接收装置提示广播内容、由内容提示装置提示通信内容的形态。
但是,接收装置与内容提示装置协同的服务并不限定于此。例如有:(A)将通信内容用接收装置提示、将广播内容用内容提示装置提示的服务;(B)将广播内容和通信内容的一部分用接收装置提示、将通信内容的一部分用内容提示装置提示的服务;(C)将广播内容的一部分用接收装置提示、将广播内容的一部分和通信内容用内容提示装置提示的服务;(D)将通信内容的一部分用接收装置提示、将通信内容的一部分和广播内容用内容提示装置提示的服务;(E)将广播内容的一部分和通信内容用接收装置提示、将广播内容用内容提示装置提示的服务;及(F)将广播内容的一部分和通信内容的一部分用接收装置提示、将广播内容的一部分和通信内容的一部分用内容提示装置提示的服务等。
为了在接收装置与内容提示装置之间实现广播与通信的同步控制,需要将关于同步的AIT等控制信息、PTS或DTS或广播与通信之间的延迟时间、和同步提示方法、同步提示报告根据需要向对方通知。
在由接收装置接收广播、由作为协同终端的平板电脑终端接收通信、相互同步的情况下,需要将协同终端的PTS向接收装置通知。
此外,在将由接收装置接收到的广播内容或通信内容向协同终端发送的情况下,通过发送由接收装置进行同步控制后的数据,能够减轻协同终端的硬件及软件的负担。此时,接收装置也可以计算在接收装置与内容提示装置之间的通信中发生的延迟时间,考虑通信内容的接收时刻相对于广播内容的接收时刻的延迟时间和在接收装置与内容提示装置之间的通信中发生的延迟时间这两者,来控制从缓冲器13内的PES缓冲器71及缓冲器22内的PES缓冲器71的PES包的输出定时。
在哪种情况下,控制部51都决定同步提示方法、同步提示报告的内容及定时或期间,向内容生成部指示,同时将所决定的内容经由通信收发部41向协同终端通知。
(16)根据应用的种类及内容,存在很多使通信与广播同步而提示的使用情形及同步提示方法。
控制部51具有能够提供多个同步提示方法的功能、以及能够控制与同步提示方法相应的有关同步提示的提示方法的功能,根据应用或内容向视听者提示可选择的多个同步提示方法。
视听者从可选择的多个同步提示方法中,通过使用输入接口进行的操作来选择。并且,将选择内容向控制部51输入而设定。另外,关于设定的一系列的动作由控制部51、操作输入部42、内容生成部31、提示部5联动来进行。
在图11中表示设定菜单的一例。
在图11的例子中,作为广播通信协同的菜单,可以进行动画设定和同步提示方法设定。
在动画设定中,能够进行例如在同步提示的画面转变中将两个不连续的影像连结时的动画的设定。
在同步提示方法设定中,能够进行关于同步提示方法的设定。在图12中表示同步提示方法的设定画面的一例。在同步提示方法设定中,例如除了接收机担当模式、广播站担当模式、手动模式、OFF(不进行同步提示)以外,视听者还能够从可向视听者提示的同步提示方法(类型1、类型2)中选择。
在视听者选择了广播站担当模式的情况下,控制部51仅在AIT中设定有同步提示方法的情况下执行记述在AIT中的同步提示方法。
在视听者选择了接收机担当模式的情况下,控制部51从可向视听者提示的同步提示方法或记述在AIT中的同步提示方法中选择,执行所选择的同步提示方法。另外,同步提示方法的选择也可以动态地进行。
另外,同步提示方法除了由AIT指定以外,还有在能够用AIT确定的应用内指定的方法、使用广播信号的控制信息(SI等)指定的方法。
在视听者选择了手动模式的情况下,出现图13中表示一例的手动设定画面。在图13的手动设定画面的例子中,视听者能够在-10秒~+10秒中的-MAX秒~+MAX秒之间设定延迟时间。延迟时间的MAX值由控制部51根据内容的数据的大小、缓冲器的大小等决定。此外,将根据PTS计算出的同步延迟时间作为推荐值显示。此外,视听者通过使图中的被涂黑的黑箭头的位置移动,能够变更延迟时间的设定。此外,视听者通过将推荐值按钮按下,能够使延迟时间回到控制部51决定的推荐值。此外,视听者通过将复位按钮按下,能够使延迟时间成为0(能够切换为没有延迟的通常提示)。
如果视听者进行变更延迟时间的设定的操作,则表示延迟时间的控制信号被输出到控制部51。控制部51基于控制信号控制缓冲器来调整延迟。
(17)在本实施方式中说明的控制部51的功能既可以作为软件安装,也可以作为应用安装。此外,也可以将功能的一部分作为API(Application Programming Interface)封装。
(作为本发明的基础的认识2)
专利文献3所记载的接收装置从数字广播信号接收广播内容,从通信网络接收与广播内容联动的通信内容。并且,接收装置基于广播内容的PTS与通信内容的PTS之差,使广播内容的提示延迟。
可是,在因特网那样的通信网中,在传送路径中发生抖动,所以需要在接收侧将抖动补偿。因此,在通信用的接收装置中需要用于补偿抖动的去抖缓冲器。另一方面,在广播用的接收装置中不需要去抖缓冲器。作为使广播与通信协同的广播通信协同接收装置的接收装置需要为了通信而具备去抖缓冲器,进而,为了广播而具备用于实现相当于去抖缓冲器的缓冲器延迟的缓冲器延迟的延迟缓冲器,使通信和广播的再现时间相匹配。
专利文献3所记载的接收装置如上述那样,基于广播内容的PTS与通信内容的PTS之差使广播内容与通信内容同步。如果在同步中使用大容量的缓冲器,则能够没有下溢或上溢地将抖动补偿。
但是,如果使缓冲器容量变大,则有End-to-End延迟变大的问题。在目前的广播接收系统中,被要求使End-to-End延迟极小化,即使在接收装置中有足够的剩余存储器,将全部的存储器用于抖动补偿也是不现实的,优选的是使用所需最小限度的存储器。此外,在规定了用于保证接收装置的同步再现及解码时的缓冲器管理的系统解码器模型的情况下,需要使用规定尺寸的缓冲器保证接收装置的动作。
在作为广播通信协同接收装置的接收装置中,在使用规定尺寸的缓冲器控制去抖缓冲器的情况下,发生下溢及上溢的可能性较高,作为下溢对策而需要例如通信内容的进一步的缓冲。在使用专利文献3所记载的接收装置的情况下,广播用的延迟缓冲器的延迟时间被去抖缓冲器的控制引偏,在广播用的延迟缓冲器中发生上溢或下溢、或对内容的视听带来影响,难以保证广播接收机的动作。
所以,发明者们研究了对于该问题的技术性的解决对策,以下说明基于该研究的结果发明者们得到的解决对策的实施方式等。
(实施方式2)
图14是表示作为有关本发明的实施方式2的广播通信协同接收装置的接收装置100的结构的框图。
接收装置100具备数字广播接收部111、分离部112、延迟缓冲器113、分离缓冲器114、解码部115、通信收发部121、分离部122、去抖缓冲器123、分离缓冲器124、解码部125、内容生成部131、控制管理部141及控制部151。
数字广播接收部111以由外部的广播天线3接收到的数字广播信号为输入。并且,数字广播接收部111从数字广播信号中选择希望的频道,对所选择的希望的频道的数字广播信号进行解调处理及纠错处理等,生成传输流并向分离部112输出。
分离部112将由数字广播接收部111生成的传输流分离为影像数据、声音数据及字幕数据等,向延迟缓冲器113输出。此外,分离部112取得传输流中包含的各种控制信息,将PCR向控制部151输出,将包含与内容的种类及控制有关的信息的控制信息向控制管理部1411输出。
延迟缓冲器113是用于实现相当于去抖缓冲器123的缓冲器延迟的缓冲器延迟的缓冲器。延迟缓冲器113按照从控制部151指示的输入输出定时将从分离部112输出的影像数据、声音数据等的各部分的内容数据的延迟进行调整,向分离缓冲器114输出。
分离缓冲器114将从延迟缓冲器113输出的影像数据、声音数据等进行保存,基于从PES包的PES头取得的DTS等的时间戳信息,将影像及声音等的各部分的基本流(ES)的输出定时一致而以访问单元单位向解码部115输出。此外,分离缓冲器114将从PES头取得的DTS等时间戳信息向控制部151输出。另外,分离缓冲器114、124具备与MPEG2系统中的Elementary Stream Buffer同样的功能。
解码部115将从分离缓冲器114输出的影像或声音等的各部分的访问单元解码,向内容生成部131输出。
通信收发部121经由通信网络从与广播业者相关联的业者或其他业者提供的内容服务器取得AV内容,将所取得的AV内容向分离部122输出。在从通信业者提供的AV内容中,有文件数据、影像数据及声音数据等。
分离部122将从通信收发部121输入的AV内容分离为影像数据及声音数据等,向去抖缓冲器123输出。此外,分离部122将包含与AV内容中包含的内容的种类及控制有关的信息的控制信息向控制管理部141输出。
去抖缓冲器123是用于将因传送路径带来的抖动吸收的缓冲器。去抖缓冲器123在从控制部151指示的输入输出定时调整从分离部122输出的影像数据、声音数据等的各部分的内容数据的延迟,向分离缓冲器124输出。
分离缓冲器124将从去抖缓冲器123输出的影像数据、声音数据等进行保存,基于从PES包的PES头取得的DTS等时间戳信息,将影像、声音等的各部分的基本流的输出定时一致而以访问单元单位向解码部115输出。此外,分离缓冲器124将从PES头取得的DTS等时间戳信息向控制部151输出。
解码部125将从分离缓冲器124输出的影像、声音等的各部分的访问单元解码,向内容生成部131输出。
内容生成部131使用从解码部115输出的各部分(影像、声音、字幕等)的内容数据和从解码部125输出的各部分(影像、声音及字幕等)的内容数据生成提示内容。将由内容生成部131生成的提示内容向外部的提示部5输出,由提示部5提示。
控制管理部141基于与控制信息中包含的内容的种类及控制有关的信息和延迟缓冲器113的状态及去抖缓冲器123的状态,决定延迟缓冲器113及去抖缓冲器123的控制方法,将所决定的控制方法向控制部151指示。另外,关于控制管理部141再使用图15后述。
控制部151使用从分离部112输出的PCR生成基准时钟信号。该生成的基准时钟信号利用于各缓冲器的输出定时的控制等。
控制部151基于从分离缓冲器114输出的DTS等时间戳信息、从分离缓冲器124输出的DTS等时间戳信息、由控制管理部141决定的控制方法,控制延迟缓冲器113及去抖缓冲器123的延迟。
以下,使用图15对控制管理部141的一结构例进行说明。
图15是表示图14的控制管理部141的一结构例的框图。
控制管理部141具备控制信息提取部171、缓冲器管理部172、监视部173及控制方法决定部174。
控制信息提取部171从输入的控制信息中提取与内容的种类及控制有关的信息,将提取出的与内容的种类及控制有关的信息向控制方法决定部174输出。其中,作为与内容的种类及控制有关的信息,例如有与内容同步所需要的精度有关的信息、与广播内容的能够容许的End-to-End延迟时间有关的信息等。另外,将与内容的种类及控制有关的信息等的控制信息例如在发送侧复用而发送。例如在作为复用方式而使用MPEG2-TS方式的情况下,控制信息是由记述符、表等构成的PSI或SI、会话等。
缓冲器管理部172关于延迟缓冲器113及去抖缓冲器123分别管理缓冲器尺寸、缓冲器占用量及延迟时间(从被输入到缓冲器到被输出的时间),基于这些计算可使用的剩余缓冲器的尺寸。
另外,例如缓冲器管理部172可以总是监视输入时钟及输出时钟,计算去抖缓冲器123及延迟缓冲器113各自中的延迟时间及缓冲器占用量。
此外,缓冲器管理部172可以通过对平均位速率乘以缓冲器中的延迟时间来计算去抖缓冲器123及延迟缓冲器113各自中的缓冲器占用量。
另外,缓冲器管理部172如果在延迟缓冲器113及去抖缓冲器123以外还有共有管理的缓冲器存储器,则也可以包括其中能够使用的存储器而动态地决定缓冲器尺寸。
监视部173总是监视在去抖缓冲器123中发生下溢的可能性及发生上溢的可能性,将监视结果向控制方法决定部174通知。
这里,对在实施方式2中监视部173进行的监视处理的一例进行记载。
监视部173监视去抖缓冲器123的缓冲器占用量。
并且,监视部173在去抖缓冲器123的缓冲器占用量不到规定的第1阈值的情况下认为有发生下溢的可能性,将下溢标志设为ON。另一方面,监视部173在去抖缓冲器123的缓冲器占用量为规定的第1阈值以上的情况下认为没有发生下溢的可能性,将下溢标志设为OFF。
此外,监视部173在去抖缓冲器123的缓冲器占用量超过规定的第2阈值的情况下认为有发生上溢的可能性,将上溢标志设为ON。另一方面,监视部173在去抖缓冲器123的缓冲器占用量为规定的第2阈值以下的情况下认为没有发生上溢的可能性,将上溢标志设为OFF。
监视部173总是进行上述动作。
控制方法决定部174在有发生下溢的可能性或发生上溢的可能性的情况下,基于剩余缓冲器尺寸、End-to-End延迟、与内容的种类及控制有关的信息等,决定延迟缓冲器113及去抖缓冲器123的控制方法,将所决定的控制方法向控制部151通知。另外,关于控制方法决定部174的动作再使用图17后述。
图16是表示图14的接收装置100的广播通信接收开始后的延迟缓冲器113及去抖缓冲器123的初始动作的一例的流程图。其中,在图16的流程图中,假设在延迟缓冲器113及去抖缓冲器123中不发生下溢及上溢。另外,在图16中,将关于通信的处理记在图的左侧,将关于广播的处理记在图的右侧。
接收装置100开始广播的接收(步骤S101),开始通信的接收(步骤S102)。
在通信的接收开始后,去抖缓冲器123受到控制部151的控制而开始通信数据的缓冲(步骤S103)。控制部151匹配于去抖缓冲器123的缓冲的开始而控制延迟缓冲器113的缓冲的开始,延迟缓冲器113受到控制部151的控制而开始广播数据的缓冲(步骤S104)。
控制部151判定去抖缓冲器123的缓冲量是否达到初始缓冲量,即去抖缓冲器123的初始缓冲是否完成(步骤S105)。在判定为去抖缓冲器123的初始缓冲完成之前(S105:否),进行去抖缓冲器123及延迟缓冲器113的初始缓冲,进行步骤S105的处理。
在判定为去抖缓冲器123的初始缓冲完成的情况下(S105:是),控制部151控制去抖缓冲器123及延迟缓冲器113的数据的延迟输出的开始。去抖缓冲器123受到控制部151的控制而开始通信数据的延迟输出(步骤S106),延迟缓冲器103受到控制部151的控制而开始广播数据的延迟输出(步骤S107)。
如以上这样,根据去抖缓冲器123的动作,使延迟缓冲器113动作,初始动作完成。
其中,去抖缓冲器123的初始缓冲量例如是将想要补偿的抖动的设想时间与平均位速率相乘的值。
开始延迟输出之前的通常的广播数据的输出既可以等待去抖缓冲器123的初始缓冲的完成而开始输出,也可以不等待去抖缓冲器123的初始缓冲的完成而开始输出。
在去抖缓冲器123的输出开始时,基于根据广播数据和通信数据的时间戳信息计算出的时间差,输出将时间相对于广播数据匹配后的通信数据。
另外,在图16中,假设为了使广播延迟而延迟缓冲器113的尺寸具有充分的大小而进行了说明,但在广播数据的延迟输出开始前延迟缓冲器113要上溢的情况下,需要在该时间点适当地进行处理。
图17是表示由图14的控制方法决定部174进行的控制方法决定动作的一例的流程图。其中,在图17的流程图的开始时间点,假设处于取得了去抖缓冲器123与延迟缓冲器113的同步的恒常状态。
控制方法决定部174判定基于监视部173对去抖缓冲器123的监视的结果的下溢标志是ON或OFF中的哪一个(步骤S151)。在下溢标志是OFF的情况下,即在去抖缓冲器123中没有发生下溢的可能性的情况下(S151:OFF),控制方法决定部174判定基于监视部173对去抖缓冲器123的监视的结果的上溢标志是ON或OFF中的哪一个(步骤S152)。
在上溢标志是OFF的情况下,即在去抖缓冲器123中没有上溢发生的可能性的情况下(S152:OFF),向步骤S151的处理返回。
在上溢标志是ON的情况下,即在去抖缓冲器123中有发生上溢的可能性的情况下(S152:ON),控制方法决定部174作为控制方法而决定为对于上溢的处理(例如,将去抖缓冲器123的输出跳过的处理),对控制部151指示。控制部151接受该指示,对去抖缓冲器123执行对于上溢的处理(步骤S153)。
在下溢标志是ON的情况下,即在去抖缓冲器123中有发生下溢的可能性的情况下(S151:ON),控制方法决定部174判定在去抖缓冲器123中是否有富余(步骤S154)。步骤S154的判定中,例如在缓冲器管理部172中计算的去抖缓冲器123的剩余缓冲器尺寸有规定值以上的情况下判定为在去抖缓冲器123中有富余。
在判定为在去抖缓冲器123中没有富余的情况下(S154:否),向步骤S162的处理前进。
另一方面,在判定为在去抖缓冲器123中有富余的情况下(S154:是),控制方法决定部174判定在延迟缓冲器113中是否有富余(步骤S155)。步骤S155的判定中,例如在缓冲器管理部172中计算的延迟缓冲器113的剩余缓冲器尺寸有规定值以上的情况下判定为在延迟缓冲器113中有富余。
在判定为在延迟缓冲器113中没有富余的情况下(S155:否),向步骤S162的处理前进。
在判定为在延迟缓冲器113中有富余的情况下(S155:是),控制方法决定部174向控制部151指示去抖缓冲器123的追加缓冲,控制部151接受该指示,进行使去抖缓冲器123的输出停止并追加缓冲的控制。去抖缓冲器123受到控制部151的控制而将输出停止,进行追加缓冲(步骤S156)。
控制方法决定部174判定去抖缓冲器123的追加缓冲是否完成(步骤S157)。追加缓冲是否完成,例如基于监视部173对去抖缓冲器123的监视的结果判定为去抖缓冲器的占用量充分、去抖缓冲器再次下溢的可能性较小的时间点判定为追加缓冲完成。
在判定为去抖缓冲器123的追加缓冲没有完成的情况下(S157:否),向步骤S154的处理返回。
在判定为去抖缓冲器123的追加缓冲完成的情况下(S157:是),控制方法决定部174判定是否需要使广播延迟(步骤S158)。步骤S158的判定中,例如在与内容同步所需要的精度有关的信息不需要同步的情况下判定为不需要使广播延迟。
在判定为不需要使广播延迟的情况下(S158:否),控制方法决定部174作为控制方法而决定为不进行延迟缓冲器113的延迟控制的控制方法,将所决定的控制方法向控制部151通知。控制部151接受该通知,不进行延迟缓冲器113的延迟控制,延迟缓冲器113不使广播数据延迟而输出(步骤S159)。
在判定为需要使广播延迟的情况下(S158:是),控制方法决定部174利用与广播内容的能够容许的End-to-End延迟时间有关的信息,判定实际的End-to-End延迟时间是否在容许范围内(步骤S160)。与广播内容的能够容许的End-to-End延迟时间有关的信息例如可以是,在发送侧指定内容的能够容许的End-to-End延迟时间,作为控制信号使用广播发送,接收装置接收广播信号,从控制信号取得与广播内容的能够容许的End-to-End延迟时间有关的信息。
在判定为End-to-End延迟时间不在容许范围内的情况下(S160:否),向步骤S162的处理前进。
在判定为End-to-End延迟时间在容许范围内的情况下(S160:是),控制方法决定部174作为控制方法而决定为进行延迟缓冲器113的延迟控制的控制方法,将所决定的控制方法向控制部151通知。控制部151接受该通知,进行延迟缓冲器113的延迟控制,延迟缓冲器113进行广播数据的延迟输出动作(步骤S161)。另外,延迟控制中的延迟缓冲器113中的延迟量可以通过利用去抖缓冲器123的输入输出计数器和延迟缓冲器113的输入输出计数器来计算。
在步骤S162中,控制方法决定部174判定为不能进行广播与通信的同步。并且,控制方法决定部174决定为将去抖缓冲器123和延迟缓冲器113独立地控制的控制方法以便仅保证广播的接收动作,将所决定的控制方法向控制部151通知。控制部151接受该通知,将去抖缓冲器123和延迟缓冲器113独立地控制(步骤S162)。
(实施方式2的补充)
以下,对实施方式2的补充进行记载。
(1)在实施方式2中,在广播与通信之间有因传送路径带来的延迟差的情况下,可以将接收装置的结构做成图18所示的结构。其中,在图18中,对于进行与图14的构成单元实质上相同的处理的构成单元赋予相同的标号。
图18的接收装置100A构成为,对于图14的接收装置100,在延迟缓冲器113与分离缓冲器114之间追加了同步缓冲器191、在去抖缓冲器123与分离缓冲器124之间追加了同步缓冲器196的结构。
控制部151使用来自分离缓冲器114的DTS等时间戳信息和来自分离缓冲器124的DTS等时间戳信息,控制同步缓冲器191及同步缓冲器196的输出定时,以在广播数据与通信数据之间取得同步。
(2)即使是去抖缓冲器123有发生下溢的可能性或发生上溢的可能性的情况,也并不一定需要控制延迟缓冲器113。
(3)在实施方式2中说明的控制方法的决定的机制可以利用于采用各种下溢的避免方法及上溢的避免方法的情况。
(4)在实施方式2中,在预先规定了用于保证缓冲器的动作的缓冲器尺寸的情况下,也可以使用规定的缓冲器尺寸计算剩余缓冲器尺寸。
在不能以规定的缓冲器尺寸进行去抖缓冲器123及延迟缓冲器113的控制的情况下,也可以不保证关于通信的接收动作。
在不能以规定的缓冲器尺寸进行控制的情况下,也可以将表示该情况的消息例如向提示部5提示。
在不能以规定的缓冲器尺寸进行控制的情况下,也可以使用通信手段将表示该情况的信息向发送侧反馈。
也可以使用通信手段将实际的抖动时间、广播和通信的延迟时间等的有关传送路径的信息向发送侧反馈。
(5)在不能保证广播与通信的同步的情况下,优选的是进行以关于接收装置的广播的动作为优先的控制。
在不能保证广播与通信的同步的情况下,通过一边监视去抖缓冲器123一边适当控制去抖缓冲器123及延迟缓冲器113,保证关于接收装置的广播的动作。
(6)作为去抖缓冲器123的控制的结果,也可以有将通信内容变更为延迟更少的数据、抖动更少的数据的选择分支。在此情况下,从通信收发部121向内容服务器通知该情况,取得抖动较少的数据。由此,能够向视听者提供稳定的服务。
也可以想到,随着通信内容的取得的变更,会发生将广播内容的取得方法变更的需要。在此情况下,控制管理部141进行广播内容的取得方法的变更。
(7)也可以是,在发送侧,将表示传送路径的品质的控制信息作为信令消息复用并发送,接收装置基于发送来的品质决定或限定控制方法。例如,在作为表示传送路径的品质的控制信号而从发送侧通知了在通信传送路径中设想的最大延迟时间的情况下,接收装置也可以通过与接收装置的缓冲器尺寸比较,来判定是否将通信内容接收、或是否将广播内容和通信内容同步再现。
也可以是,在发送侧,将表示推荐的控制方法的控制信息作为信令消息复用并发送,接收装置基于发送来的推荐的控制方法而动作。
也可以是,在发送侧,将发送侧能够保证动作的抖动时间、以及去抖缓冲器123及延迟缓冲器113的缓冲器尺寸的信息作为信令消息复用而发送。
(8)所谓内容同步所需要的精度,例如是相对于一方的内容而另一方的内容(A)不需要同步,(B)需要10秒以内的同步精度,(C)需要1秒以内的同步精度,(D)需要帧单位下的同步精度等。
接收装置100可以自由地决定有关同步及抖动的控制方法,以满足内容同步所需要的精度。因此,还能够选择与接收装置的规格或能力匹配的控制方法。例如,如果需要帧水平的同步,则匹配于去抖缓冲器123进行高精度的延迟缓冲器113的控制。此外,如果不需要同步,则还能够做出不进行与去抖缓冲器123的控制相匹配的延迟缓冲器113的控制的选择。也可以不通知最低限度需要的同步精度而发送推荐的同步精度。
接收装置还可以根据内容来判定同步的精度,决定控制方法。例如,在内容是影像和字幕的情况下,只要是为了视听字幕而没有问题的水平,则也可以控制为降低同步的精度。
(9)发送侧也可以发送一方的内容是能够单独解码还是不能单独解码的控制信息。例如,如果广播不能单独解码,则必须使广播与通信同步。另一方面,如果广播能够单独解码,则在不能同步的情况下,还可以有仅显示广播内容的选择分支。
(10)也可以在发送侧规定能够容许的抖动、去抖缓冲器量,并作为控制信号发送。
也可以是,内容制作者将同步的精度决定为例如“强制”或“不强制”,在发送侧发送该信息。
(11)控制信息优选的是能够在解码开始前取得。
作为能够在解码开始前取得的信息,例如在作为复用方式而使用MMT(MPEG MediaTransport)的情况下,既可以记述在CI(Composition Information)中,也可以在MPT(MMTPackege Table)中与Asset的列表一起记述。此外,在MPEG2-TS的情况下,也可以是PMT(Program Map Table)那样的控制信息,在使用MPEG-DASH(Dynamic Adaptive Streamingover HTTP)的情况下,也可以记述在MPD(Media Presentation Description)中,在其他复用系统的情况下,也只要是在接收装置中能够在解码开始前取得的程序信息就可以。
控制信息从广播或通信的某一方或双方发送,控制管理部141在解码开始前取得并解析控制信息,决定去抖缓冲器123及延迟缓冲器113的控制方法。
(12)也可以是,预先规定用于将抖动及广播与通信的同步补偿的缓冲器尺寸,进而在规定的缓冲器尺寸内规定用于进行动作补偿的制约条件,基于规定来决定下溢、上溢对策等缓冲器的动作。
也可以是预先规定去抖缓冲器、延迟缓冲器、同步缓冲器的合计尺寸,在合计尺寸中将动作补偿的规定。
(13)也可以将在图14及图18中表示了结构的接收装置100、100A的结构变形为用使用图9说明的1个解码部解码,也可以变形为具备使用图10说明的例如两个内容生成部。
(14)将在实施方式2及实施方式2的补充中说明的功能既可以用硬件实现,也可以用软件实现。此外,也可以将一部分用硬件实现,将一部分用软件实现。
(15)也可以将抖动、以及广播与通信的同步完成的内容在解码之前向平板电脑等协同装置发送。
(16)也可以将在实施方式2及实施方式2的补充中说明的功能的一部分不仅作为接收装置、而且作为中继站的功能的一部分实现。
(17)将去抖缓冲器123及延迟缓冲器113的控制结果(例如,“不能进行广播与通信之间的同步”等错误消息)既可以对视听者提示,也可以作为报告记录。
(18)在实施方式2中使用图14说明的接收装置100中的缓冲器结构是一例,只要是具有与实施方式2同样的功能的缓冲器,并不限定于该结构。
例如,缓冲器优选的是配置在能够使存储器尺寸成为最小的位置。此外,在实施方式2中,按每个功能具备缓冲器,如延迟缓冲器113、分离缓冲器114、去抖缓冲器123、分离缓冲器124等,但并不限定于此,也可以在一个缓冲器中具备多个功能。此外,缓冲器对于各个功能分配的存储器分配也可以是动态的,也可以共用存储器而实现多个功能。
另外,关于使用图18说明的接收装置100A也可以说是同样的。
(19)在实施方式2中,作为复用方式而举MPEG2-TS为例进行了说明,但复用方式并没有被特别限定。作为复用方式,例如有MP4、及在流媒体中广泛使用的RTP、MMT等。
(其他)
也可以将在实施方式1及实施方式1的补充中说明的内容适当组合。
也可以将在实施方式2及实施方式2的补充中说明的内容适当组合。
也可以将在实施方式1及实施方式1的补充中说明的内容和在实施方式2及实施方式2的补充中说明的内容适当组合。
也可以将在实施方式1及实施方式1的补充中说明的内容应用到在实施方式2及实施方式2的补充中说明的内容中,也可以将在实施方式2及实施方式2的补充中说明的内容应用到在实施方式1及实施方式1的补充中说明的内容中。
<<总结>>
关于有关实施方式及变形例的接收装置及接收方法和其效果进行总结。
(1)第1接收装置具备:第1缓冲器,将通过不需要补偿抖动的第1传送路径接收到的第1信号储存并输出;第2缓冲器,将通过需要补偿抖动的第2传送路径接收到的第2信号储存并输出;控制管理部,监视在上述第2缓冲器中是否有发生下溢的可能性,在有发生下溢的可能性的情况下,基于上述第1缓冲器的剩余缓冲器尺寸及上述第2缓冲器的剩余缓冲器尺寸,决定上述第1缓冲器及上述第2缓冲器的控制方法;以及控制部,基于由上述控制管理部决定的上述第1缓冲器及上述第2缓冲器的控制方法,控制上述第1缓冲器及上述第2缓冲器。
第1接收方法是在接收装置中进行的接收方法,该接收装置具备将通过不需要补偿抖动的第1传送路径接收到的第1信号储存并输出的第1缓冲器、和将通过需要补偿抖动的第2传送路径接收到的第2信号储存并输出的第2缓冲器,在上述第1接收方法中,监视在上述第2缓冲器中是否有发生下溢的可能性;在有发生下溢的可能性的情况下,基于上述第1缓冲器的剩余缓冲器尺寸及上述第2缓冲器的剩余缓冲器尺寸,决定上述第1缓冲器及上述第2缓冲器的控制方法;基于所决定的上述第1缓冲器及上述第2缓冲器的控制方法,控制上述第1缓冲器及上述第2缓冲器。
根据这些,能够实现不需要补偿抖动的第1信号和需要补偿抖动的第2信号的服务的品质提高。
(2)第2接收装置在第1接收装置中,上述控制管理部还基于与在上述第1信号和上述第2信号的同步中需要的精度有关的控制信息,进行上述控制方法的决定。
(3)第3接收装置在第1接收装置中,上述控制管理部还基于与上述第1信号的能够容许的End-to-End延迟时间有关的信息,进行上述控制方法的决定。
(4)第4接收装置具备:第1缓冲器,将从第1传送路径接收到的第1信号储存并输出;第2缓冲器,将从第2传送路径接收到的第2信号储存并输出;控制部,基于上述第1信号中包含的时刻信息和上述第2信号中包含的时刻信息,进行有关上述第1信号与上述第2信号的同步的上述第1缓冲器及上述第2缓冲器的同步控制;以及报告部,根据由上述控制部进行的上述同步控制,进行有关同步的报告。
第2接收方法是在接收装置中进行的接收方法,该接收装置具备将从第1传送路径接收到的第1信号储存并输出的第1缓冲器、和将从第2传送路径接收到的第2信号储存并输出的第2缓冲器,在上述第2接收方法中,基于上述第1信号中包含的时刻信息和上述第2信号中包含的时刻信息,进行有关上述第1信号与上述第2信号的同步的上述第1缓冲器及上述第2缓冲器的同步控制;根据上述同步控制进行有关同步的报告。
根据这些,能够实现当取得第1信号与第2信号的同步时对视听者带来的别扭感或不适感的减轻。
(5)第5接收装置中,上述控制部基于视听者的输入内容进行上述同步控制。
据此,能够使第1信号和第2信号的同步符合视听者的希望。
(实施方式3)
以上说明的实施方式中,以如被多播流动(multicast streaming)的通信内容的取得那样接收装置不进行通信内容的选择的情况为例进行了说明。在实施方式3中,对接收装置将所选择的通信内容与广播内容同步提示的例子进行说明。
另外,在以下的实施方式3中,在简单记为“接收装置”的情况下,该“接收装置”采用在图1、图9、图10及图14中说明的任何一种接收装置都可以。关于“控制部”等接收装置所具有的构成要素的记载也是同样的。
[概要]
以下,对有关实施方式3的接收装置及服务器进行的动作的概要进行说明。另外,服务器是发送装置的一例,在以下的实施方式3中,在关于在通信服务器及广播服务器双方中能够实现的功能记载为“服务器”的情况下,既可以是通信服务器,也可以是广播服务器。
·服务器将通信协议是否是多播、内容是否是实况的信息包含在控制信息中而发送。接收装置基于该控制信息及要取得的内容是否在通信服务器中,判定是否能够取得任意的时间的通信内容。
·接收装置在能够取得任意的时间的通信内容的情况下,决定要取得的通信内容的时间、取得定时,从服务器取得。
·接收装置在能够取得任意的时间的通信内容的情况下,将通信内容进行预缓冲。此外,服务器将预缓冲的定时等作为控制信息或事件进行通知,接收装置在通知的时间开始预缓冲。
·接收装置根据缓冲器的状态、内容的种类、传送路径的状态等,判定广播内容和通信内容是否能够同步再现。接收装置在有可能不能同步再现的情况下,进行缓冲器的控制,或进行基于通信内容的取得的判定并进行基于该判定的控制。
·服务器将广播内容和通信内容的同步所需要的精度、能够容许的内容提示的时间差作为控制信息进行通知。接收装置基于控制信息控制提示方法及缓冲器。
·服务器将广播内容和通信内容的同步所需要的精度、能够容许的内容提示的时间差作为控制信息进行通知,基于控制信息将要取得的通信内容向通信服务器指示。
[详细情况]
以下,对有关实施方式3的接收装置及服务器进行的动作的详细情况进行说明。
例如,在MPEG-DASH那样的渐进下载(progressive download)方式中,可以考虑根据通信环境选择不同品质的内容的情况。此外,可以考虑从分段后的数据中选择并取得希望的时间的数据的情况、及在流媒体服务中选择使用RTSP等协议而取得的通信内容的情况等。
在MPEG-DASH的例子中,对于1个影像内容,在服务器中准备图像尺寸和编码速度不同的多个影像数据,将影像数据分割为段单位。此外,在MPD中记述有关于保存在服务器中的影像数据的信息。
所以,接收装置从服务器取得及解析MPD,考虑接收装置的能力及通信用的传送路径的状态决定要取得的数据,向服务器请求。并且,接收装置使用HTTP协议从服务器取得所决定的希望的影像数据。
另外,在实施方式3的广播通信协同服务中,接收装置优选的是根据广播服务(广播内容)通过适当的方法取得通信内容并同步再现。所以,在实施方式3中,接收装置取得有关通信内容的取得的控制信息,并取得有关广播通信协同的控制信息,取得与广播服务相应的通信内容。
为了提供广播通信协同服务,发送侧可以将通信内容的传送方式、有关通信内容的服务的信息、表示是否包含有有关通信内容的取得的时刻信息的信息、有关通信内容的取得的时刻信息或定时信息、或通信内容的位置信息等包含到有关广播通信协同的控制信息中。以下,对各信息进行说明。
通信内容的传送方式例如是MPEG-DASH方式、MMT方式、RTP方式等。在有关广播通信协同的控制信息中包含通信内容的传送方式的情况下,接收装置从有关广播通信协同的控制信息中取得通信内容的传送方式,通过传送方式中的接收方法取得通信内容。
有关通信内容的服务的信息例如是表示VOD、流媒体或实况的信息等。
表示是否包含有有关通信内容的取得的时刻信息的信息例如是表示在控制信息中记述有有关通信内容的取得开始的时刻信息及定时信息的信息。作为定时信息,例如有事件消息那样的定时信息。
接收装置在有关通信内容的取得的时刻信息包含在控制信息中的情况下,取得时刻信息而控制通信内容的取得,或选择要取得的通信内容。此外,在表示发送了事件消息的信息包含在控制信息中的情况下,接收装置监视事件消息,根据事件控制通信内容的取得。
有关通信内容的取得的时刻信息是为了使通信内容同步于广播内容而再现所需要的、用于对接收装置指定通信内容的取得定时的信息。
另外,接收装置也可以不基于有关通信内容的取得的时刻信息而取得内容。关于是否基于时刻信息来取得内容的判断,既可以发送控制信号以使广播站能够指定,也可以由接收装置自身判断。此外,这样的判断也可以由视听者进行。
有关通信内容的取得的时刻信息或定时信息具体而言是如下信息。
·有关通信内容的取得开始的时刻信息或定时信息(表示为了与广播内容同步而应开始通信内容的取得的时刻或定时的信息)
·有关通信内容的取得完成的时刻信息或定时信息(表示为了与广播内容同步而应完成通信内容的取得的时刻或定时的信息)
·有关通信内容的再现的时刻信息或定时信息(表示为了与广播内容同步而应将通信内容再现的时刻或定时的信息)
·表示能够进行通信内容的取得的时刻的时刻信息或定时信息
另外,这些时刻信息既可以是NTP那样的绝对时刻,也可以是相对于广播信号的基准时刻(PCR或NTP等)的相对时刻。此外,作为有关通信内容的取得的时刻信息,也可以发送如事件消息那样的定时信息。
通信内容的位置信息例如是表示通信内容的保存场所的信息。
另外,在控制信息中,除了上述信息以外也还可以包含以下这样的信息。
例如,也可以包含表示仅从广播的程序(节目)向广播通信协同的程序切换的信息、或表示广播通信协同的程序开始的时刻的时刻信息。所谓广播通信协同的程序,例如是将广播和通信同步再现的程序,但也可以是不将广播和通信同步再现的程序。
此外,在仅从广播的程序向广播通信协同的程序切换的情况下,可以在切换之前预先开始广播通信协同的程序,或将广播通信协同的程序开始的时刻信息向接收侧通知,事先发送下一个程序的程序信息来指示通信内容的事先缓冲。由此,接收装置能够从比广播节目开始靠前的时刻起事先取得程序信息,开始通信内容的取得并预缓冲,所以能够实现顺畅的广播通信协同的程序的同步再现。
此外,在构成程序的传送路径的组合等的状态变化的情况下,也可以事先将表示状态变化的信息或表示状态变化的时刻的信息包含在控制信息中。在这些信息的发送中,既可以使用EIT,也可以将这些信息通过将PMT的current next indicator设置为“0”而记述到下一个程序的信息中,作为程序信息发送。
此外,这些信息也可以记述在AIT中而被发送。例如,设想在混合播规格中、记述有表示在下一个程序的PMT信息的记述符中包含有AIT(应用控制信息)的记述符aitidentifierinfo()的情况。在这样的情况下,也可以将下一个程序的AIT在当前的程序的广播中事先发送。具体而言,既可以将表示是否事先已被发送的标志保存在记述符中,也可以将能够识别是有关当前的程序的AIT还是有关下一个程序信息的AIT的信息记述在AIT内部中。
此外,在控制信息中,也可以包含表示通信服务器处于能够提供通信内容的状态的信息。换言之,这样的信息是表示处于能够取得通信内容的状态的信息(取得信息)。此外,在控制信息中,也可以包含能够提供通信内容的时刻信息。换言之,这样的时刻信息是通过通知定时而表示在该定时以后能够进行上述通信内容的取得的信息(取得信息)。此外,控制信息也可以表示多个通信内容的取得信息,也可以表示通信服务器能够提供的通信内容的列表。
有关广播通信协同的控制信息既可以作为记述符记述在基于广播传送方式的程序信息中,也可以记述在基于通信传送方式的程序信息中。此外,有关广播通信协同的控制信息也可以记述在其他形式的程序信息中。有关广播通信协同的控制信息既可以记述在这些程序信息中的某一个中,也可以记述在多个程序信息中。
这里,对程序信息进行补充。
程序信息也可以是,例如在使用MPEG2-TS的情况下记述在PMT中,而在使用MMT方式的情况下记述在MPT中,在MPEG-DASH中也可以记述在MPD中。此外,程序信息也可以记述在混合播等中使用的应用控制信息(Application Information Table)中,被作为会话传送,或被数据轮播传送。
将程序信息使用广播和通信等多个传送路径中的至少1个以上的传送路径传送。例如,也有将基于通信传送方式的程序信息使用广播传送的情况。
另外,在程序信息中也可以记述表示在程序信息中包含有有关广播通信协同的控制信息的信息,在程序信息中也可以包含表示包含有有关广播通信协同的控制信息的位置信息的信息。
以下,说明有关广播通信协同的控制信息作为记述符记述在程序信息中的情况下的具体例。
在使用MPEG2-TS方式传送广播内容、使用MPEG-DASH传送通信内容的情况下,与控制信息对应的记述符既可以记述在通过广播传送的PMT中,也可以记述在通过通信传送的MPD中。此外,与控制信息对应的记述符也可以记述在PMT和MPD双方中,也可以将MPD通过广播传送,也可以将PMT通过通信传送。
[内容取得动作例]
接着,使用流程图对有关实施方式3的接收装置的通信内容的取得动作进行说明。图19是表示有关实施方式3的接收装置的通信内容的取得动作的一例的流程图。另外,图19的流程图以处于能够在任意的时刻取得通信内容的状态(做好了通信内容的发送准备的状态)为前提。
首先,控制部(接收装置)基于通信内容的传送方式及通信内容的服务的信息等,决定通信内容的取得方法(步骤S201)。
接着,控制部基于在步骤S201中决定的通信内容的取得方法,以作为入口的程序信息为起点,取得有关广播的控制信息、有关通信的控制信息、以及有关广播通信协同的控制信息等(步骤S202)。
接着,控制部取得以下所示的用于通信内容的取得的信息(步骤S203)。
·控制部从有关通信的控制信息中,取得在服务器中准备的内容的信息。例如如果是MPEG-DASH的MPD,则内容的信息是影像数据的图像尺寸、影像数据的编码速度及影像数据的时刻信息等。
·控制部从通信收发部21取得通信传送路径的品质的信息。
·控制部取得为了将内容再现所需要的接收装置的能力。
另外,在接收装置中仅将通信内容再现的情况下,控制部能够基于上述用于通信内容的取得的信息决定通信内容。但是,为了在广播通信协同服务中将广播内容和通信内容同步再现,控制部还取得有关广播内容的再现的信息(步骤S204),决定适合于广播内容的同步再现的通信内容。
有关广播内容的再现的信息例如是PTS或DTS等的广播内容的提示时刻或解码时刻、接收装置中的延迟缓冲器或去抖缓冲器等缓冲器的状态(缓冲器尺寸、缓冲器使用量、上溢、下溢等)、End-to-End延迟量等。
另外,在上述步骤S203中,接收装置也可以取得上述有关通信内容的取得的时刻信息或定时信息(表示与通信内容的取得相关联的定时的信息)。此外,在上述步骤S203中,接收装置也可以取得表示处于能够进行通信内容的取得的状态的信息(表示在服务器中做好了通信内容的准备的信息)。这些信息(与通信内容的取得相关联的信息,即取得信息)在实施方式3中经由广播接收,但也可以通过通信接收。
通过这样的取得信息,接收装置能够对应于广播内容的接收而适当地取得通信内容。此外,接收装置根据取得信息取得通信内容,由此降低在作为主内容的广播的提示中发生跳过或停止等的不连续的可能性,能够担保稳定的广播视听。
接着,控制部基于在步骤S203及步骤S204中取得的信息,选择适合于与广播内容同步再现的通信内容,从服务器取得所选择的通信内容(步骤S205)。
并且,控制部通过根据所取得的通信内容适当地控制缓冲器,将广播内容和通信内容同步再现(步骤S206)。另外,广播内容例如在步骤S206中被接收。这里的缓冲器的控制方法已在实施方式1及2中说明,所以省略说明。
以下,对上述步骤S205的处理的详细情况进行补充。在步骤S205中,控制部具体而言取得广播内容的时间戳,选择能够与广播内容同步再现的时刻的通信内容。并且,控制部对服务器请求而取得所选择的通信内容。
此外,可以考虑在广播内容和通信内容的同步再现中监视缓冲器的状态、因缓冲器的上溢或下溢等而判断为不能继续同步再现的情况。在这样的情况下,控制部也可以通过进行通信内容的取得的控制来继续同步再现。这里,所谓通信内容的取得的控制,是对内容的取得(暂停、快进、回退等)进行控制。
此外,控制部也可以通过从服务器取得不同的再现时间的内容来继续同步再现。所谓取得不同的再现时间的内容,例如是将通信内容的取得跳过而取得再现时间更晚的通信内容、或将通信内容的取得回退而取得再现时间更早的通信内容。这样的控制在传送路径的抖动及延迟等变化的情况下是有效的。
[恒常状态下的动作例]
接着,使用图20对包括取得了去抖缓冲器和延迟缓冲器的同步的恒常状态下的通信内容的取得在内的同步再现动作进行说明。图20是表示包括通信内容的取得在内的同步再现动作的一例的流程图。
在实施方式2中说明的图17的步骤S162中,在判断为广播内容与通信内容的同步再现困难的情况下,进行控制以仅保证广播的接收动作。相对于此,在图20的流程图中不同点是,即使是判断为广播内容与通信内容的同步再现困难的情况,也再尝试能够同步再现的通信内容的取得。
在恒常状态下,控制部(或控制管理部)监视接收装置中的缓冲器(延迟缓冲器、去抖缓冲器及同步缓冲器等)。并且,基于缓冲器的状态判断广播内容和通信内容的同步再现是否困难(步骤S251)。
在因上溢或下溢等而在缓冲器的控制中判断为广播通信的同步再现困难的情况下(S251:是),控制部基于图19所示的通信内容的取得的动作流程,选择要取得的通信内容(步骤S252)。
接着,控制部判断是否能够将广播内容和所选择的通信内容同步再现(步骤S253)。如果判断为能够进行广播内容和所选择的通信内容的同步再现(S253:是),则控制部取得所选择的通信内容(步骤S254),回到恒常状态,再次进行步骤S251以后的处理。
另一方面,在步骤S253中,如果判断为不能同步再现(S253:否),在进行仅保证广播的接收动作的缓冲器控制(步骤S255)。
[关于预缓冲的动作例1]
在广播通信协同服务中,为了进行广播内容和通信内容的高精度的同步再现,优选的是预先取得通信内容而与广播内容同步再现。由此,能够不使广播内容延迟等而进行顺畅的同步再现。
以下,对在程序的中途开始广播通信协同服务的例子进行说明。图21是表示在程序的中途开始广播通信协同服务的动作的一例的流程图。
首先,控制部选择广播节目(广播站),接收与所选择的节目的服务ID对应的程序信息并解析(步骤S300)。如果是例如MPEG2-TS方式则程序信息是PMT等。
接着,控制部将程序信息解析,判断所选择的节目是否是有关广播通信协同服务的节目(步骤S301)。如果在程序信息中记述有是广播通信协同服务(S301:否),则控制部仅接收广播内容(步骤S307),将广播内容再现(步骤S308)。
在程序信息中记述有是广播通信协同服务的情况下(S301:是),控制部判断在与通信内容的取得开始时间有关的记述符中是否有开始时间的信息(与通信内容的取得相关联的信息)(步骤S302)。在有开始时间的信息的情况下(S302:是),控制部取得该时间。另外,控制部此时还取得通信内容的位置信息。并且,控制部基于所取得的信息(如果需要)计算通信内容的取得开始时间,在计算出的时间开始通信内容的取得(步骤S303)。
例如,在用广播站的PCR基准的时刻信息表示了通信内容的取得开始时间的情况下,控制部在由接收装置再现的PCR时刻与开始时间的信息表示的PCR时刻一致时开始通信内容的取得。
此外,例如在通信内容的取得开始时间被记述成如广播节目的开始T秒前那样的情况下,控制部计算相对于广播节目的开始时间的T秒前,在该时间开始通信内容的取得。
另外,在步骤S303中,也可以设置判定是否能够取得通信内容的步骤。是否能够取得通信内容,既可以通过从接收装置向服务器的询问来判定,也可以通过程序信息的记述符或从服务器的事件消息的发送来判定。此外,是否能够取得通信内容也可以通过被发送能够进行通信内容的取得的时间信息等来判定。
在步骤S302中,没有通信内容的取得开始时间的信息的情况下(S302:否),控制部以用户接口输入等的来自视听者的输入为触发事件开始通信内容的取得(步骤S306)。另外,在此情况下,控制部既可以在预先设定的时间开始内容的取得,也可以计算通信内容的取得的时间而开始取得。
另外,将在步骤S303或步骤S306中事先取得的通信内容缓冲到存储器(缓冲器)等中,等待广播内容的接收及同步再现时刻的到来而输出。
接着步骤S303,控制部接收广播内容(步骤S304),进行广播内容和通信内容的同步再现(步骤S305)。
另外,在步骤S302中,也可以设置在判断为有通信内容的取得开始时间的信息的情况下,也根据接收装置的再现能力、缓冲器性能等判定是否事先取得通信内容的判定步骤。
另外,在图21的例子中说明的包含控制信息(这里是内容的取得开始时间的信息)的记述符既可以记述在相同的程序信息中,也可以记述在不同的程序信息中。也可以用广播或通信的多个传送路径中的至少1个以上的传送路径传送。在用不同的传送路径传送的情况下,将知道程序信息的位置的信息向作为入口的程序信息记述。
此外,在图21的例子中,假设控制信息为记述符进行了说明,但控制信息也可以作为事件消息而被发送。
另外,在图21的例子中,在广播节目的中途开始广播通信协同服务,但在从下一个广播节目的最初开始广播通信协同服务的情况下,需要在下一个广播节目的开始前取得通信内容。在此情况下,在提供前面的节目的过程中发送下一个节目的程序信息。
接收装置在接收到下一个节目的程序信息的情况下,判断是否能够进行下一个节目的通信内容的事先取得,事先取得通信内容。此时,也可以通过在前面的程序信息中包含表示开始了下一个程序信息的提供的信息或位置信息,接收装置识别通信内容的存在而开始程序信息的取得。
[关于预缓冲的动作例2]
关于通信内容的缓冲动作,以由IPTV论坛或ARIB标准化的混合播规格为例进行说明。图22是表示通信内容的缓冲动作的一例的流程图。另外,在图22的例子中,使用AIT的控制代码将通信内容的取得开始时间的信息作为事件来通知。
首先,控制部选择广播节目(广播站),将所选择的节目的PMT接收并解析(步骤S351)。接着,控制部判断在PMT中是否有表示传送了AIT的记述符ait_identifier_info()(步骤S352)。在没有记述符的情况下,即在没有传送AIT的情况下(S352:否),控制部仅接收广播内容(步骤S353),将接收到的广播内容再现(步骤S354)。
在有记述符的情况下(S352:是),控制部开始AIT的取得及监视(步骤S355)。控制部具体而言,将AIT解析,取得AIT中包含的应用的位置信息及通信内容的取得开始时刻信息、位置信息。
接着,控制部监视AIT的应用控制代码(步骤S356),进行应用事先取得标志(混合播规格中的PREFECH命令)的监视,即应用事先取得标志的有无的判断(步骤S357)。
在有应用事先取得标志的情况下(S357:是),控制部事先取得应用(步骤S360),向步骤S356的处理返回。在没有应用事先取得标志的情况下(S357:否),控制部进行通信内容事先取得标志(混合播规格中的PREBUFFER命令)的监视,即通信内容事先取得标志的有无的判断(步骤S358)。另外,在步骤S355中,在没有通信内容的取得开始时刻的信息的情况下,也可以不进行步骤S358的通信内容事先取得标志的监视。
在有通信内容事先取得标志的情况下(S358:是),控制部从服务器事先取得通信内容并缓冲,向步骤S356的处理返回。在没有通信内容事先取得标志的情况下(S358:否),控制部进行应用执行标志(混合播规格中的AUTOSTART命令)的监视,即应用执行标志的有无的判断(步骤S359)。
在步骤S359中应用执行标志出现之前(S359:否),重复步骤S356~358、S360及S361的处理。在应用执行标志出现的情况下(S359:是),控制部从由记述在AIT中的位置信息确定的场所取得应用(步骤S362)。此时,如果在步骤S360中事先取得了应用,则将这里的处理跳过。
接着,控制部执行应用(步骤S363),从由通信内容的位置信息确定的场所取得通信内容(步骤S364)。此时,如果在步骤S361中事先取得了通信内容,则将这里的处理跳过。
最后,控制部接收广播内容(步骤S365),将广播内容和通信内容同步再现(步骤S366)。
另外,在图22的动作例中说明的有关应用及通信内容的动作既可以作为1个应用实现,也可以分为多个应用实现。例如,通信内容的取得既可以作为1个应用的一部分执行,也可以分别设置进行通信内容的取得动作的应用和进行通信内容的再现动作的应用并分别执行。在此情况下,将进行通信内容的取得动作的应用先启动,在不同的定时将再现通信内容的应用启动。
此外,通信内容的位置信息既可以记述在AIT中,也可以在应用内部取得。
此外,通信内容的位置信息也可以通过执行用于从通信传送路径仅取得程序信息的应用来取得。
此外,也可以通过API等取得表示是否是能够取得通信内容的状态的信息、以及表示是否是能够将通信内容再现的状态的信息。
此外,通信内容的取得开始时间的信息并不限于记载在AIT的控制代码中,也可以记载在控制信息中,也可以通过其他控制信息的有无来判别。
[实施方式3的变形例]
另外,在上述实施方式3中说明的功能(动作)既可以用软件安装,也可以用硬件安装。此外,也可以是将功能的一部分作为API安装、能够从应用进行功能的控制的结构。此外,也可以是安装能够取得由功能得到的信息、表示功能的状态的信息的API、能够从应用取得信息的结构。
这里,所谓功能的状态,例如是缓冲器(延迟缓冲器、去抖缓冲器)的占有量、End-to-End延迟时间、应用的状态、通信内容的取得状态等。
另外,在判定为被再现的节目不是实况转播、而是录制的节目的情况下,接收装置也可以从服务器取得应用或通信内容是否有效的信息。如果应用或通信内容不有效,则接收装置也可以禁止应用的取得、执行、通信内容的取得。
此外,在这样的情况下,也可以在服务器中另准备录制再现用的应用控制信息、录制再现用的通信内容的事先取得信息等,在录制再现的情况下,不使用实况转播用的信息而从服务器取得录制再现用的信息。
此外,在上述实施方式3中,主要对基于通信内容的取得开始时间进行内容的取得的例子进行了说明。但是,也可以指定通信内容的取得完成时刻,而接收装置考虑在通信的传送中花费的时间及传送延迟来决定通信内容的取得开始时间。此外,在通过平板电脑等协同终端进行应用的控制或通信内容的取得的情况下,也可以考虑协同终端间的传送延迟来决定在通信内容的取得中花费的时间。
(实施方式3的补充)
[补充1:通信内容的取得]
关于在图19及图20中说明的通信内容的取得进一步说明详细情况。
在广播通信协同服务中,作为在用于决定延迟控制、同步控制及通信内容的取得控制的各控制方法的判断中需要的信息,可以举出从发送侧通知的控制信息及接收装置的状态、传送路径的状态。接收装置可以根据需要而取得这些信息。此外,接收装置也可以通过监视下述信息及状态来检测信息及状态的变化。
有关信息及状态的取得的流程相当于图19的步骤S201~步骤S204。在控制信息及接收装置的状态、传送路径的状态中,例如有以下所示的信息。
(1)作为有关广播通信协同的控制信息,例示以下的信息。另外,(例如被保存到MPEG-2TS方式的PMT或MMT方式的MPT等的元文件中)
·表示是否是广播通信协同程序的信息
·表示广播通信协同程序的种类的信息
·表示是被可伸缩编码的内容,将基本层数据和扩展层数据的一方利用广播发送,将另一方利用通信发送的信息
·表示是适用了降雨衰减对策(在因降雨衰减而广播的传送路径恶化的情况下,代之而切换为通信内容)的程序的信息
·表示是其他的多视点、多声音、目标广告的信息
·表示是否能够以广播程序单独解码的信息
·表示对广播内容和通信内容的解码及提示要求的同步的精度的信息。该信息例如表示需要帧水平的高精度的同步或即使非同步也能够提示等。
·表示广播内容和通信内容是否是同步对象的信息
·表示时间线是否同步的信息
·表示是实况影像还是非实况影像的信息
·表示广播内容相对于通信内容延迟或通信内容相对于广播内容延迟的信息。另外,该信息也可以表示不是个别的接收装置的延迟、而是基于广播站的线路设计设想的延迟量的信息
·表示在广播节目的提示中能够容许的End-to-End延迟的信息
·事先通知控制信息变化的信息
(2)作为有关通信手段的信息,例示以下的信息。另外,有关通信手段的信息例如被保存到MPEG-DASH的MPD或IPTVF VOD规格的元文件等中。
·表示通信协议(例如http或rtsp等)的信息
·表示是单播(TCP)、多播(UDP)或单播(UDP)的信息
(3)作为有关通信内容的信息,例示以下的信息。另外,有关通信内容的信息例如被保存到MPEG-DASH的MPD或IPTVF VOD规格的元文件等中。
·表示通信内容的属性的信息
·内容的有效期限
·内容的视听限制(CAS)
·内容的种类(分辨率,传送速率)
·是否能够事先取得任意的时间的通信内容
(4)作为广播传送路径的状态、通信传送路径的状态及延迟的状态而例示以下的参数。另外,这些参数由接收装置取得。
·通信路的状态
·抖动、QoS、RTT
·End-to-End延迟
·传送速率(带宽)
广播与通信的延迟差(广播为先?通信为先?)
(5)作为缓冲器的状态而例示以下的参数。这些参数由接收装置取得。
·缓冲器容量
·缓冲器占用量
·缓冲器延迟量
(6)作为接收装置的规格或接收装置的能力而例示以下的参数。这些参数由接收装置取得。
·规范
·解码器数
·对应浏览器
·版本信息等
(7)作为有关延迟控制、同步控制及内容的取得控制方法的信息而例示“表示是否进行控制指示的信息”。该信息例如被保存到MPEG-2TS方式的PMT或MMT方式的MPT等的元文件中。
在表示是否进行控制指示的信息中,例如指定广播站指示控制方法、接收装置决定控制方法、通过用户设定由用户决定控制方法等。
在广播站指示控制方法的情况下,广播站例如指示是否将广播内容和通信内容同步提示、是否将通信内容预缓冲。在指示预缓冲的情况下,广播站通知时间信息、定时信息。
在通过用户设定由用户决定控制方法的情况下,用户设定中包括按照广播站的指示的设定、由接收装置担当的设定、用户的手动设定等。
[补充2:通信内容是否能够在任意的时间取得的判定]
以上,对于通信内容能够在任意的时间取得的情况及不能的情况分别进行了说明。这里,接收装置也可以判定通信内容是否能够在任意的时间取得,基于判定结果决定控制内容。
通信内容是否能够在任意的时间取得,例如可以根据从发送侧通知的控制信息来判定。
1.通信方式依存
能够基于广播通信协同服务中的通信方式是单播还是多播来判定。例如,在多播的情况下判定为通信内容不能在任意的时间取得。
2.内容依存
通知广播通信协同内容中的通信内容是否能够在任意的时间取得,能够基于所通知的信息来判定。基于所通知的信息,例如如下述那样判定。
2-1.不能将通信内容在任意的时间取得
2-2.通信内容已经在服务器中准备,能够在任意的时间取得
2-3.不清楚是否能够将通信内容在任意的时间取得(例如实况影像的情况等)。
在上述1、2-1及2-2的情况下,能够由接收装置解析在发送侧通知的控制信息来判定,所以基本上不用向服务器询问就能够决定控制内容。另外,即使是这些情况,在不能进行基于控制信息的解析的判定的情况下,也通过向服务器询问来决定控制内容。图23是表示通信内容是否能够在任意的时间取得的判定的一例的流程图。
如图23所示,接收装置首先将从服务器发送的控制信息解析,进行通信内容是否能够在任意的时间取得的判定(步骤S401)。在能够进行基于控制信息的解析的判定的情况下(S402:是),基于判定结果决定控制内容(步骤S404)。在不能进行基于控制信息的解析的判定的情况下(S402:否),进行基于向服务器的询问的判定(步骤S403),基于判定结果决定控制内容(步骤S404)。
在判定为不能进行通信内容的任意的时间的取得的情况下,例如使用在实施方式1及实施方式2中说明的方法进行接收装置的缓冲器控制,控制广播内容和通信内容的延迟及同步提示。
在判定为能够进行通信内容的任意的时间的取得的情况下,例如通过使用在实施方式3中说明的方法进行接收装置的缓冲器的控制、通信内容的取得的控制,进行广播内容和通信内容的延迟控制,或将广播内容和通信内容同步提示。
判定为上述2-3的情况具体而言是在服务器中通知广播内容是否是实况影像、并判定为是实况影像的情况。
这里,在广播内容是实况影像的情况下,通信内容没有被准备在服务器中的可能性较高,但也有已准备在服务器中的情况。因此,实际是否能够取得通过由接收装置向服务器询问来判定。
另外,服务器也可以通知是否是广播被延迟的实况影像。这是因为,在广播没有被延迟的实况影像的情况下,通信内容没有被准备在服务器中的可能性较高,在广播被延迟的情况下,通信内容有可能已准备在服务器中。在此情况下,服务器也可以通知使广播延迟了多少的信息。
另外,在接收装置中实际在通信内容的取得中花费的时间依存于各个通信线路的带宽、接收装置的能力、CPU使用量、缓冲器量等。因而,在上述2-3的情况下,发送侧(服务器)也可以通知在发送侧设想的环境中通信内容是否能够在任意的时间取得、来保证接收侧的通信内容的取得。
这里,所谓发送侧设想的环境,例如是基于标准中制定的最低限度的缓冲器尺寸、通信线路的带宽、CPU能力决定的环境。
以上,对通信内容能否在任意的时间取得的判定进行了说明。但是,也可以判定相对于广播内容是否能够在任意的时间取得通信内容。例如,在实况影像的情况下,也可以如是否能够取得与广播内容相比规定的时间后的时间的通信内容那样限定能够取得的期间。
[补充3:广播内容的延迟提示没有被认可的情况下的动作]
以下,说明能够将通信内容在任意的时间取得的情况、以及有可能能够将通信内容在任意的时间取得的情况、且广播内容的延迟提示没有被认可(被禁止)的情况下的动作。
在广播通信协同服务的提供中将作为主要内容的广播内容延迟提示对于视听者而言有别扭感,不成为稳定的广播服务。所以,说明在广播通信协同服务中不能使广播内容延迟提示这样的条件下的控制。
另外,如上述那样,关于是否能够进行通信内容的任意的时间的取得,有基于控制信息判定的情况、和通过实际向服务器进行询问来判定的情况。此外,在以下的说明中,作为与广播内容同步的对象的通信内容随着时间的经过而变化(通信内容按每个时刻存在多个)。
图24是表示广播内容的延迟提示没有被认可的情况下的动作的一例的流程图。
首先,接收装置取得通信内容和广播内容的延迟时间(步骤S451)。广播内容和通信内容的延迟时间(延迟差)如上述那样可以在接收装置中取得。并且,接收装置判定通信内容相对于广播内容是否延迟(步骤S452)。
在通信内容相对于广播内容延迟的情况下(S452:是),由于不能使广播内容延迟,所以接收装置取得后面的时间的通信内容(步骤S453)。即,接收装置将通信内容的帧跳过。
这里,接收装置判定是否能够取得希望的时间的通信内容(步骤S457)。在能够取得希望的时间的通信内容的情况下(S457:是),即,在虽然是后面的时间的通信内容、但为希望的时间的通信内容的情况下,接收装置取得后面的时间的通信内容,将广播内容和所取得的通信内容同步提示(步骤S459)。
在不能取得希望的时间的通信内容的情况下(S457:否),不能进行同步提示。所以,接收装置判定广播内容和通信内容的解码及提示的精度是否能够容许,在不能容许的情况下仅提示广播内容(步骤S458)。
在能够容许解码及提示的精度的情况下,能够将广播内容的解码及提示和通信内容的解码及提示独立地控制(步骤S458)。例如,在通信内容是对广播内容赋予的字幕的情况下,认为不需要精度较高的同步,所以有即使将广播内容和通信内容不同步而提示也被容许的情况。
另外,所谓能够容许解码及提示的精度的情况,具体而言是指通信内容的再现定时与广播内容的再现定时的时间差在规定的容许范围内。此外,所谓不能容许解码及提示的精度的情况,是指通信内容的再现定时与广播内容的再现定时的时间差在规定的容许范围外。
另一方面,在广播内容相对于通信内容延迟的情况下(S452:否),接收装置判定通信内容的延迟缓冲器的容量是否有富余(剩余容量是否小于规定值)(步骤S454)。
在缓冲器的容量没有富余的情况下(S454:否),接收装置取得比当前取得的通信内容靠前的时间的通信内容(步骤S455)。并且,在能够取得希望的时间的通信内容的情况下(S457:是),接收装置取得希望的时间的通信内容,将广播内容和所取得的通信内容同步提示(步骤S459)。另外,在此情况下,通常能够取得希望的通信内容。在不能取得希望的时间的通信内容的情况下,由于不能同步提示,所以接收装置仅提示广播内容,或将广播内容的解码及提示和通信内容的解码及提示独立地控制(步骤S458)。
在缓冲器的容量有富余的情况下(S454:是),将通信内容缓冲而使其延迟(步骤S456),使提示时刻匹配于广播内容,由此将广播内容和通信内容同步提示(步骤S459)。
另外,在广播内容与通信内容的延迟时间差的极性反转的情况下或有可能反转的情况下,检测状态的变化,基于检测结果进行1-1、1-2的控制。
另外,在上述图24的流程图中,也可以将步骤S454及步骤S456省略。即,即使在缓冲器的容量有富余的情况下,也可以取得靠前的时间的通信内容。在此情况下,在广播内容相对于通信内容延迟的情况下(S452:否),接收装置取得比当前取得的通信内容靠前的时间的通信内容(步骤S455)。
接着,对在步骤S453及步骤S455等中进行的、接收装置向服务器的通信内容的取得请求进行说明。
接收装置在从服务器取得通信内容的情况下,指定取得通信内容的定时及取得的通信内容的时间(例如PTS等),进行通信内容的取得请求。
服务器如果有被指定的时间的通信内容,则将该通信内容向接收装置发送。此外,服务器在没有由接收装置指定的时间的通信内容的情况下,向接收装置通知没有通信内容。
这里,在没有由接收装置指定的时间的通信内容的情况下,服务器也可以代替被指定的时间的通信内容而将最新的时间的通信内容向接收装置发送。此外,服务器也可以将与被指示的通信内容最近的时间(靠前的时间或靠后的时间)的通信内容向接收装置发送。此外,也可以将上述那样的通知与代替的通信内容的发送组合。
另外,服务器在没有由接收装置指定的时间的通信内容的情况下,也可以基于接收装置的指示将通信内容向接收装置发送。
另外,接收装置在通信内容的取得请求中用函数指定要请求的通信内容的情况下,作为自变量而保存要请求的通信内容的时间及没有内容的情况下的动作指示。
这里,动作指示并不一定需要包含在取得请求中,也可以在接收装置判定为不能同步提示的情况下的动作的决定(步骤S458)之后,基于所决定的动作来进行没有通信内容的情况下的动作指示。
具体而言,例如在能够容许广播内容和通信内容的解码及提示的精度的情况下,接收装置进行请求取得代替的时间的通信内容的指示,将广播内容和通信内容独立地解码及提示。此外,例如在不能容许广播内容和通信内容的解码及提示的精度的情况下,接收装置进行也可以不发送通信内容的指示,仅提示广播内容。
此外,在没有接收装置所指定的时间的通信内容的情况下、或在该时间没有随机访问点的情况下,接收装置也可以请求与所指定的时间的通信内容最近的(靠前的时间或靠后的时间的)通信内容的取得。
接着,对在步骤S458及步骤S459等中进行的广播内容及通信内容的提示控制进行说明。
(1)做好通信内容的提示准备为止
在做好通信内容的提示准备为止的时间,在对广播内容的解码及提示和通信内容的解码及提示要求精度的情况下,接收装置仅提示广播内容。在对广播内容的解码及提示和通信内容的解码及提示不要求精度的情况下,接收装置将广播内容和通信内容独立地解码及提示。
(2)做好通信内容的提示准备后
在上述(1)中仅提示了广播内容的情况下(停止了通信内容的提示的情况下),接收装置开始广播内容和通信内容的同步提示。
另一方面,在上述(1)中将广播内容和通信内容独立地解码及提示的情况下,在广播内容延迟的情况下,将通信内容跳过而将广播内容和通信内容同步提示。在通信内容延迟、且在上述(1)中提示了通信内容的情况下,接收装置将在上述(1)中提示的通信内容回溯(或接着)提示。
另外,在内容的提示中,也可以向用户提示表示状态的消息(例如表示是将广播内容和通信内容同步提示中、还是正将广播内容单独提示的消息)。
另外,在能够比广播内容先取得通信内容的情况下,服务器也可以通知是否也可以比广播内容先提示通信内容。在也可以将通信内容先提示的情况下,接收装置在通信内容的提示准备刚完成后提示通信内容。在不能将通信内容先提示的情况下,接收装置将通信内容缓冲直到广播内容的提示准备完成,在广播内容的提示准备完成后,将广播内容和通信内容同步提示。
[补充4:发送侧的延迟时间的设定方法]
对在使广播内容延迟的情况下,由发送站(发送装置)进行的广播内容的延迟量的设定方法进行说明。广播内容由发送站对多个接收装置发送,但接收装置的能力及通信带宽按每个装置不同。因此,难以保证全部接收终端能够将广播内容延迟而接收。
所以,为了将延迟量根据接收装置变更,发送站也可以是能够切换多个延迟模式的结构。这里,在发送站中,例如设置多个设想的通信的传送速度不同的延迟模式。
具体而言,在发送站中,设置设想了光线路等传送速度是高速的第1模式、和设想了CATV或ADSL等传送速度是中速的第2模式。
另外,延迟量例如基于下述的式子决定。
延迟量=由标准决定的最低限度的缓冲器尺寸/在各模式下设想的传送速度
发送站也可以在广播信号中通知如上述那样的延迟量、延迟模式。在该通知中,将延迟量、延迟模式保存在MPEG-2TS中的PMT或MMT方式中的MPT等中。由此,接收装置能够基于被通知的延迟量、延迟模式来控制接收装置。
另外,在基于被通知的延迟量和实际的延迟量判断为实际的延迟量比设想大的情况下,接收装置也可以增加该接收装置的资源(CPU速度、通信的传送速度)的对于通信的分配。
此外,例如在接收装置不能应对被通知的延迟量的情况下,仅将广播内容优先提示。
此外,可以考虑使用广播通信协同内容和通常的仅广播的内容双方将棒球、足球等相同的内容进行同时传送的情况。在这样的情况下,发送站对于延迟发送的广播通信协同内容,既可以将仅广播的内容匹配而延迟发送,也可以不延迟发送而原样发送。
此外,发送站在同时广播中,也可以通知表示是否将各自的内容进行了延迟发送的信息或是否有延迟差、各自的延迟差的信息。
[补充5:发送装置的结构]
这里,对在发送站(广播站)中使用的发送装置(具体而言是服务器)进行补充。图25是表示发送装置的结构的框图。图26是表示发送装置的动作的一例的流程图。另外,图26是与图19的流程图对应的发送装置的动作的流程图。
如图25所示,发送装置300具备编码部301、复用部302和发送部303。另外,发送装置300的构成要素具体而言通过微型计算机、处理器或专用电路等实现。
发送部303与上述图19的步骤S203对应而向接收装置发送用于通信内容的取得的信息(步骤S501)。这里,用于通信内容的取得的信息的一例是上述取得信息。即,发送部303通过广播发送用于使通过通信发送的通信内容与通过广播发送的广播内容同步而再现、且与上述通信内容的取得相关联的信息。
具体而言,复用部302进行从编码部301输出的被编码的取得信息的打包,发送部303将由复用部302打包的取得信息通过广播发送。
接着,发送部303与上述图19的步骤S206对应而向接收装置发送广播内容(步骤S502)。
具体而言,复用部302进行从编码部301输出的被编码的广播内容的打包,发送部303将由复用部302打包的广播内容通过广播发送。
这样,通过发送取得信息,接收装置能够与广播内容的接收相应地适当地取得通信内容。此外,通过由接收装置根据取得信息取得通信内容,能够降低在作为主内容的广播的提示中发生跳过或停止等的不连续的可能性,确保稳定的广播视听。
(实施方式3的总结)
有关本发明的一技术方案的接收方法,是广播通信协同服务中的接收方法,接收通过广播发送的广播内容;通过广播接收取得信息,所述取得信息是用于将通过通信发送的通信内容与接收的上述广播内容同步而再现的信息,并且是与上述通信内容的取得相关联的信息;基于接收到的上述取得信息,取得上述通信内容。
将这样的接收方法表示在图19的流程图等中。根据这样的接收方法,能够与广播内容的接收相应地适当地取得通信内容。此外,通过根据取得信息取得通信内容,能够降低在作为主内容的广播的提示中发生跳过或停止等的不连续的可能性,确保稳定的广播视听。
另外,广播内容和通信内容典型地构成1个内容(1个提示部提示的内容)。例如在广播内容是影像的情况下,与广播内容表示的影像对应地显示的字幕是通信内容。此外,在可伸缩编码中,例如构成60fps的影像的各帧是广播内容,用于通过添加到广播内容中来构成120fps的影像的各帧是通信内容。此外,也有广播内容是主影像、通信内容是广告(CM)那样的情况。
即,上述“同步”,是指为了将由广播内容和通信内容构成的1个内容再现而使广播内容的再现定时与通信内容的再现定时的时间差匹配于规定的时间差(规定的范围内的时间差)。
此外,上述取得信息也可以是表示与上述通信内容的取得相关联的定时的信息。
这样,通过从发送侧(服务器)指定与通信内容的取得相关联的定时,实现能够与广播内容的接收相应地适当地取得通信内容的接收方法。
此外,上述取得信息也可以是表示为了使上述通信内容与接收的上述广播内容同步地再现而应开始上述通信内容的取得的定时的信息。
此外,上述取得信息也可以是表示为了使上述通信内容与接收的上述广播内容同步地再现而应完成上述通信内容的取得的定时的信息。
此外,上述取得信息也可以是表示为了使上述通信内容与接收的上述广播内容同步地再现而应开始上述通信内容的再现的定时的信息。
此外,上述取得信息也可以是表示通过通知定时而在该定时以后能够进行上述通信内容的取得的信息。
这样,作为与通信内容的取得相关联的定时的形态,也可以考虑各种形态。
此外,也可以是,还基于接收到的上述取得信息,计算开始上述通信内容的取得的定时;在计算出的定时,开始上述通信内容的取得。
这样的接收方法表示在图21的流程图的步骤S303等中。即,在没有直接指定内容的取得开始时间的情况下,也可以在接收侧计算内容的取得开始时间。另外,为了以更高精度计算取得开始时间,也还可以使用接收装置的能力或通信用的传送路径的状态、传送延迟等在上述实施方式3中说明的信息。
此外,上述取得信息也可以是表示处于能够进行上述通信内容的取得的状态的信息。
此外,也可以还使所取得的上述通信内容与接收的上述广播内容同步而再现。
此外,也可以是,在上述通信内容的取得失败的情况下,仅将上述广播内容及上述通信内容中的上述广播内容再现。
这样的接收方法表示在图20的步骤S255、图21的步骤S308及图24的步骤S458等中。这样,在不能取得同步的情况下通过仅将广播内容再现,实现不易对视听者带来别扭感的广播通信协同服务。
此外,也可以是,在不能使所取得的上述通信内容与接收到的上述广播内容同步而再现的情况下,(1)当上述通信内容的再现定时与上述广播内容的再现定时的时间差在规定的容许范围内时,将上述通信内容及上述广播内容再现,(2)在上述时间差在上述规定的容许范围外时,仅将上述广播内容及上述通信内容中的上述广播内容再现。
这样的接收方法表示在图24的步骤S458等中。这样,也可以在容许的范围内不将广播内容和通信内容同步而再现。
此外,有关本发明的一形态的发送方法,是广播通信协同服务中的发送方法,通过广播发送取得信息,所述取得信息是用于使通过通信发送的通信内容与通过上述广播发送的广播内容同步地再现的信息,并且是与上述通信内容的取得相关联的信息。
这样的发送方法表示在图26所示的流程图等中。根据这样的发送方法,在接收侧能够与广播内容的接收相应地适当地取得通信内容,能够降低在接收侧在作为主内容的广播的提示中发生跳过或停止等的不连续的可能性,担保稳定的广播视听。
此外,有关本发明的一形态的接收装置,在广播通信协同服务中使用,具备:广播接收部,接收通过广播发送的广播内容,并通过广播接收取得信息,所述取得信息是用于使通过通信发送的通信内容与接收的上述广播内容同步地再现的信息,并且是与上述通信内容的取得相关联的信息;以及通信部,基于接收到的上述取得信息,取得上述通信内容。
这里,广播接收部相当于在图1、图9、图10及图14等中表示的数字广播接收部,通信部相当于在图1、图9、图10及图14等中表示的通信收发部。
此外,有关本发明的一形态的发送装置,在广播通信协同服务中使用,具备:发送部,通过广播发送取得信息,所述取得信息是用于使通过通信发送的通信内容与通过上述广播发送的广播内容同步地再现的信息,并且是与上述通信内容的取得相关联的信息。
这里,发送部相当于图25所示的发送部。
另外,这些包括性或具体的形态也可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现。另外,这些包括性或具体的形态也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
(其他实施方式)
以上,对实施方式1~3进行了说明,但本发明并不限定于上述实施方式。
例如,在实施方式3中,将广播内容通过广播发送,将通信内容通过通信发送,但其他信息(例如控制信息)只要可能则以广播及通信中的哪一种发送都可以。
另外,在上述各实施方式中,也可以将各构成要素用专用的硬件构成,或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。
此外,各构成要素也可以是电路。这些电路既可以作为整体构成1个电路,也可以分别是不同的电路。此外,这些电路既可以分别是通用的电路,也可以是专用的电路。
例如,在上述各实施方式中,也可以是别的处理部执行特定的处理部执行的处理。此外,也可以将多个处理的顺序变更,也可以将多个处理并行地执行。
以上,基于实施方式对有关一个或多个形态的接收装置(接收方法)及发送装置(发送方法)进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。
产业上的可利用性
本发明的接收方法作为能够与广播内容的接收相应地适当地取得通信内容的接收方法,能够利用于广播通信协同服务。
标号说明
1、1A、1B、100、100A 接收装置
3 广播天线
5、5B 提示部
11、111 数字广播接收部
12、112、122 分离部
13、22 缓冲器
14、14A、14B 解码部
21、41、121 通信收发部
23、23B、115、125 解码部
31、31A、31B、32B、131 内容生成部
42 操作输入部
51、151 控制部
71 PES缓冲器
72 同步用缓冲器
103、113 延迟缓冲器
114、124 分离缓冲器
123 去抖缓冲器
141 控制管理部
171 控制信息提取部
172 缓冲器管理部
173 监视部
174 控制方法决定部
191、196 同步缓冲器
300 发送装置
301 编码部
302 复用部
303 发送部

Claims (7)

1.一种接收方法,是广播通信协同服务中的接收方法,其特征在于,
接收通过广播发送的广播内容;
通过上述广播接收位置信息,该位置信息是用于取得与上述广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所;
基于接收到的上述位置信息,取得上述通信内容。
2.如权利要求1所述的接收方法,其特征在于,
还将所取得的上述通信内容与接收的上述广播内容同步地进行再现。
3.如权利要求1所述的接收方法,其特征在于,
在上述通信内容的取得失败的情况下,在上述广播内容及上述通信内容之中仅将上述广播内容进行再现。
4.如权利要求1所述的接收方法,其特征在于,
在不能将所取得的上述通信内容与接收到的上述广播内容同步地进行再现的情况下,(1)当上述通信内容的再现定时与上述广播内容的再现定时的时间差在规定的容许范围内时,将上述通信内容及上述广播内容进行再现,(2)当上述时间差在上述规定的容许范围外时,在上述广播内容及上述通信内容之中仅将上述广播内容进行再现。
5.一种发送方法,是广播通信协同服务中的发送方法,其特征在于,
通过广播发送位置信息,该位置信息是用于取得与通过上述广播发送的广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所。
6.一种接收装置,用于广播通信协同服务,其特征在于,具备:
广播接收部,接收通过广播发送的广播内容,并且通过上述广播接收位置信息,该位置信息是用于取得与上述广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所;以及
通信部,基于接收到的上述位置信息,取得上述通信内容。
7.一种发送装置,用于广播通信协同服务,其特征在于,
具备发送部,该发送部通过广播发送位置信息,该位置信息是用于取得与通过上述广播发送的广播内容同步地再现且通过通信发送的通信内容的信息,并且是与上述通信内容的取得相关联的信息,该位置信息表示上述通信内容的保存场所。
CN201910649505.3A 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置 Active CN110278474B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361871968P 2013-08-30 2013-08-30
US61/871,968 2013-08-30
US201361901497P 2013-11-08 2013-11-08
US61/901,497 2013-11-08
JP2014-162861 2014-08-08
JP2014162861A JP6505996B2 (ja) 2013-08-30 2014-08-08 受信方法、及び、受信装置
CN201480040276.0A CN105453580B (zh) 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480040276.0A Division CN105453580B (zh) 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置

Publications (2)

Publication Number Publication Date
CN110278474A true CN110278474A (zh) 2019-09-24
CN110278474B CN110278474B (zh) 2021-10-08

Family

ID=52700389

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910649505.3A Active CN110278474B (zh) 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置
CN201480040276.0A Active CN105453580B (zh) 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480040276.0A Active CN105453580B (zh) 2013-08-30 2014-08-22 接收方法、发送方法、接收装置及发送装置

Country Status (5)

Country Link
US (4) US10277931B2 (zh)
EP (2) EP3041252A4 (zh)
JP (4) JP6505996B2 (zh)
CN (2) CN110278474B (zh)
WO (1) WO2015029402A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127641B1 (ko) * 2014-06-20 2020-06-30 삼성전자주식회사 응용 계층 순방향 오류 정정 방식을 사용하여 제공되는 방송 서비스의 수신을 제어하는 방법 및 장치
EP3247120B1 (en) * 2015-01-13 2021-04-07 Sony Corporation Reception device and method for processing an application relating to a broadcast program
JP6487243B2 (ja) * 2015-03-23 2019-03-20 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6523003B2 (ja) * 2015-03-24 2019-05-29 マクセル株式会社 放送受信装置及びコンテンツ出力方法
CA3004650C (en) * 2015-02-06 2022-04-12 Shanghai Jiao Tong University Dynamic time window and buffer mechanism in heterogeneous network transmission
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
JP6426034B2 (ja) * 2015-03-19 2018-11-21 アルパイン株式会社 放送受信装置およびシームレスリンク状態表示方法
JP2016178595A (ja) * 2015-03-23 2016-10-06 シャープ株式会社 受信装置、受信方法、及びプログラム
JP2016208166A (ja) * 2015-04-20 2016-12-08 知紘 松野 信号処理装置
JP6478402B2 (ja) * 2015-05-15 2019-03-06 日本放送協会 情報処理装置、受信機、及びプログラム
JP6596363B2 (ja) * 2016-03-08 2019-10-23 日本放送協会 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム
WO2018180572A1 (ja) * 2017-03-31 2018-10-04 ソニー株式会社 情報処理装置、受信装置、及び情報処理方法
WO2019139099A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6641043B2 (ja) * 2019-02-21 2020-02-05 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6641052B2 (ja) * 2019-04-25 2020-02-05 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6953602B2 (ja) * 2019-12-26 2021-10-27 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6802347B2 (ja) * 2019-12-26 2020-12-16 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6799129B2 (ja) * 2019-12-26 2020-12-09 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP2020145682A (ja) * 2020-04-15 2020-09-10 松野 桂子 信号処理装置
US20210400338A1 (en) * 2020-06-19 2021-12-23 Apple Inc. Systems and methods of video jitter estimation
JP7230170B2 (ja) * 2020-11-19 2023-02-28 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP7003209B2 (ja) * 2020-11-19 2022-01-20 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP7196258B2 (ja) 2020-11-26 2022-12-26 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JPWO2023013124A1 (zh) * 2021-08-06 2023-02-09
JP7440679B2 (ja) 2021-12-28 2024-02-28 マクセル株式会社 放送受信装置及びコンテンツ出力方法
CN115842919B (zh) * 2023-02-21 2023-05-09 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050138674A1 (en) * 2003-12-17 2005-06-23 Quadrock Communications, Inc System and method for integration and synchronization of interactive content with television content
CN1643918A (zh) * 2002-03-18 2005-07-20 摩托罗拉公司 同步通信网络与广播网络的交互的系统和方法
CN1964239A (zh) * 2005-08-29 2007-05-16 三星电子株式会社 发送和接收广播和通信混合业务信息的方法和该装置
JP2008092161A (ja) * 2006-09-29 2008-04-17 Saxa Inc 通信端末、マルチメディア再生制御方法、およびプログラム
CN101690196A (zh) * 2007-07-02 2010-03-31 三星电子株式会社 数字广播发送器、接收器及其处理流的方法
CA2758828A1 (en) * 2009-04-15 2010-10-21 Ibiquity Digital Corporation Systems and methods for transmitting media content via digital radio broadcast transmission for synchronized rendering by a receiver
CN101982982A (zh) * 2007-01-08 2011-03-02 Sk电信有限公司 使广播内容与补充信息同步的系统和方法
WO2012096372A1 (ja) * 2011-01-14 2012-07-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
CN102957964A (zh) * 2011-08-10 2013-03-06 三星电子株式会社 广播信号接收器、提供广播信号相关信息的方法和服务器
WO2013065274A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013099101A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、アプリケーション情報テーブル供給装置およびアプリケーション情報テーブル供給方法
JP2013162205A (ja) * 2012-02-02 2013-08-19 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623483A (en) * 1995-05-11 1997-04-22 Lucent Technologies Inc. Synchronization system for networked multimedia streams
US7222155B1 (en) * 1999-06-15 2007-05-22 Wink Communications, Inc. Synchronous updating of dynamic interactive applications
US20020135518A1 (en) * 2001-02-02 2002-09-26 Matthew Rabinowitz Time-gated delay lock loop tracking of digital television signals
WO2003088645A1 (en) * 2002-04-12 2003-10-23 Koninklijke Philips Electronics N.V. Downloading of programs into broadcast-receivers
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법
KR20070098864A (ko) * 2004-12-15 2007-10-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 지연된 비디오와 오디오의 동기
CA2594982A1 (en) * 2005-02-10 2006-08-17 Matsushita Electric Industrial Co., Ltd. Broadcast recording apparatus
JP4691216B2 (ja) 2005-02-28 2011-06-01 株式会社日立国際電気 デジタル放送受信機
KR20060105890A (ko) * 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
US9191605B1 (en) * 2007-03-26 2015-11-17 Qurio Holdings, Inc. Remote monitoring of media content that is associated with rights management restrictions
US20080301750A1 (en) * 2007-04-13 2008-12-04 Robert Denton Silfvast Networked antenna and transport system unit
US20080301746A1 (en) * 2007-05-30 2008-12-04 Wiser Philip R Programming content reconstruction in a content delivery system
EP2320650B1 (en) * 2009-10-20 2014-06-04 Lg Electronics Inc. Method of processing application in digital broadcast receiver connected with interactive network and the digital broadcast receiver
US8424037B2 (en) * 2010-06-29 2013-04-16 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content in response to selection of a presented object
KR20120010433A (ko) * 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US9078031B2 (en) * 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
KR20120080985A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 영상 표시 방법 및 이를 적용한 방송 수신 장치
US9137585B2 (en) * 2011-01-13 2015-09-15 BlackArrow, INC Method and apparatus for inserting advertisements in content
JP5793871B2 (ja) * 2011-01-25 2015-10-14 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP5997500B2 (ja) 2011-05-20 2016-09-28 日本放送協会 放送通信連携受信装置
JP2013009332A (ja) 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
JP6076248B2 (ja) * 2011-05-20 2017-02-08 日本放送協会 放送通信連携システム、アプリケーション管理サーバー、および、アプリケーション管理サーバーにおけるアプリケーション管理方法
JP2013009341A (ja) 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
US8923342B2 (en) * 2011-07-12 2014-12-30 Electronics And Telecommunications Research Institute Method of providing timing information for synchronizing MMT packet stream in MMT hybrid delivery service and method of synchronizing MMT packet stream in MMT hybrid delivery service
KR101654439B1 (ko) * 2011-09-23 2016-09-12 엘지전자 주식회사 방송 서비스 수신 방법 및 그 수신 장치
JP5857636B2 (ja) * 2011-11-02 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9313546B2 (en) * 2011-12-02 2016-04-12 Sony Corporation Information processing apparatus, information processing method, and program
JP6138057B2 (ja) * 2012-01-31 2017-05-31 シャープ株式会社 提示制御装置、及び提示制御方法
EP2648418A1 (en) * 2012-04-05 2013-10-09 Thomson Licensing Synchronization of multimedia streams
US10110941B2 (en) * 2013-06-27 2018-10-23 Lg Electronics Inc. Method and device for transmitting and receiving broadcast service in hybrid broadcast system on basis of connection of terrestrial broadcast network and internet protocol network

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643918A (zh) * 2002-03-18 2005-07-20 摩托罗拉公司 同步通信网络与广播网络的交互的系统和方法
US20050138674A1 (en) * 2003-12-17 2005-06-23 Quadrock Communications, Inc System and method for integration and synchronization of interactive content with television content
CN1964239A (zh) * 2005-08-29 2007-05-16 三星电子株式会社 发送和接收广播和通信混合业务信息的方法和该装置
JP2008092161A (ja) * 2006-09-29 2008-04-17 Saxa Inc 通信端末、マルチメディア再生制御方法、およびプログラム
CN101982982A (zh) * 2007-01-08 2011-03-02 Sk电信有限公司 使广播内容与补充信息同步的系统和方法
CN101690196A (zh) * 2007-07-02 2010-03-31 三星电子株式会社 数字广播发送器、接收器及其处理流的方法
CA2758828A1 (en) * 2009-04-15 2010-10-21 Ibiquity Digital Corporation Systems and methods for transmitting media content via digital radio broadcast transmission for synchronized rendering by a receiver
WO2012096372A1 (ja) * 2011-01-14 2012-07-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
CN102957964A (zh) * 2011-08-10 2013-03-06 三星电子株式会社 广播信号接收器、提供广播信号相关信息的方法和服务器
WO2013065274A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013099101A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、アプリケーション情報テーブル供給装置およびアプリケーション情報テーブル供給方法
JP2013162205A (ja) * 2012-02-02 2013-08-19 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Also Published As

Publication number Publication date
CN110278474B (zh) 2021-10-08
WO2015029402A1 (ja) 2015-03-05
US20210120291A1 (en) 2021-04-22
EP3041252A4 (en) 2016-08-24
US20160173919A1 (en) 2016-06-16
JP6982021B2 (ja) 2021-12-17
CN105453580B (zh) 2019-08-16
US11284142B2 (en) 2022-03-22
JP6505996B2 (ja) 2019-04-24
CN105453580A (zh) 2016-03-30
US10277931B2 (en) 2019-04-30
JP2022010382A (ja) 2022-01-14
US10911805B2 (en) 2021-02-02
EP3041252A1 (en) 2016-07-06
JP2019115071A (ja) 2019-07-11
JP2024023782A (ja) 2024-02-21
EP3684066A1 (en) 2020-07-22
US20220167033A1 (en) 2022-05-26
JP7410107B2 (ja) 2024-01-09
JP2015050768A (ja) 2015-03-16
US20190215547A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN105453580B (zh) 接收方法、发送方法、接收装置及发送装置
JP6783293B2 (ja) 複数のオーバーザトップストリーミングクライアントを同期させること
EP2534833B1 (en) Method for synchronized content playback
TWI544791B (zh) 經由寬頻網路所接收第二節目內容之解碼方法及解碼器裝置
CN105340289B (zh) 发送方法、接收方法、发送装置及接收装置
KR20170074866A (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
US20140237536A1 (en) Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents
TWI735476B (zh) 視聽接收裝置及其快速變換頻道之方法
CN102761776A (zh) 基于SVC的P2PVoD系统的视音频同步方法
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
JP2004297628A (ja) ストリーム切替装置およびその装置にコンテンツを提供する装置
CN114079813A (zh) 画面同步方法、编码方法、视频播放设备及视频编码设备
WO2014115389A1 (ja) ビデオ表示装置及びビデオ表示方法
CN102413335A (zh) 一种手动调节节目音画同步的装置及方法
WO2014162748A1 (ja) 受信装置、及び受信方法
JP5466633B2 (ja) ストリーム切替方法およびデジタル放送送出システム
US11856242B1 (en) Synchronization of content during live video stream
JP4967402B2 (ja) 多重化ストリーム変換装置および方法
JP2003284069A (ja) 多重データ復号方法及び多重データ復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant