CN105612757A - 包发送方法、内容再现方法、包发送系统以及终端 - Google Patents

包发送方法、内容再现方法、包发送系统以及终端 Download PDF

Info

Publication number
CN105612757A
CN105612757A CN201480055236.3A CN201480055236A CN105612757A CN 105612757 A CN105612757 A CN 105612757A CN 201480055236 A CN201480055236 A CN 201480055236A CN 105612757 A CN105612757 A CN 105612757A
Authority
CN
China
Prior art keywords
information
image
bag
data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480055236.3A
Other languages
English (en)
Other versions
CN105612757B (zh
Inventor
村上豊
木村知弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN105612757A publication Critical patent/CN105612757A/zh
Application granted granted Critical
Publication of CN105612757B publication Critical patent/CN105612757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18Arrangements for synchronising broadcast or distribution via plural systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种发送被同步显示的广播内容和线路内容的方法,根据存放了所述线路内容的多个线路数据包,生成线路奇偶校验包;将所述线路数据包以及所述线路奇偶校验包经由通信线路发送;将存放了所述广播内容的多个广播数据包从基站使用广播波进行发送,所述广播内容的送出时刻与线路内容的送出时刻相比延迟规定的时间。由此,在同时显示实时的广播节目的内容和实时的线路内容时,能够提高影像的品质。

Description

包发送方法、内容再现方法、包发送系统以及终端
技术领域
本申请涉及包发送方法、内容再现方法、包发送系统以及终端。例如,涉及在广播通信协同服务中用于传输品质好的影像的信息的包发送方法、包发送系统以及终端。
背景技术
作为新的方法,正在进行用于实现广播通信协同服务的开发。广播通信协同服务是“终端接收从广播站发送的广播节目的内容、以及由服务运营商例如经由互联网等电通信线路分发的内容(在此,命名为“线路内容”,但称呼不限于此。)”这样的使广播节目的内容与线路内容协同的服务。
在实现这样的服务时,在专利文献1中,公开了用于对终端分发实时的广播节目的内容和线路内容的方法。
现有技术文献
专利文献
专利文献1:国际公开第2013/031556号
专利文献2:日本特开2012-120140号公报
专利文献3:日本特开2012-129579号公报
发明内容
本申请所涉及的方法是发送被同步显示的广播内容和线路内容的方法,其中,根据存放了所述线路内容的多个线路数据包,生成线路奇偶校验包;将所述线路数据包以及所述线路奇偶校验包经由通信线路发送;将存放了所述广播内容的多个广播数据包从基站使用广播波进行发送,所述广播内容的送出时刻与线路内容的送出时刻相比延迟规定的时间。
此外,本申请所涉及的其他方法是接收被同步显示的广播内容和线路内容并进行再现的方法,其中,经由通信线路接收存放了所述线路内容的线路数据包、以及根据所述线路数据包生成的线路奇偶校验包;经由广播波接收存放了所述广播内容的广播数据包,所述广播内容的送出时刻与所述线路内容的送出时刻相比延迟规定的时间;在所述线路数据包的一部分没有被接收到的情况下,使用所接收到的所述线路数据包以及所述线路奇偶校验包进行包等级的解码,生成没有接收到的所述线路数据包;对所述广播内容以及线路内容进行解码并同步显示。
附图说明
图1是表示广播站、电通信线路运营商、终端的关系例的图。
图2是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图3是表示终端的结构例的图。
图4是表示电通信线路运营商的发送装置的与纠错编码方法关联的部分的结构例的图。
图5是表示电通信线路运营商的发送装置的与纠错编码方法关联的部分的结构例的图。
图6是表示包的构成方法的例子的图。
图7是表示包的构成方法的例子的图。
图8是表示控制信息附加部处于检错码附加部的前级的情况下的结构例和处于后级的情况下的结构例的图。
图9是表示包的发送状况以及包的接收状况的例子的图。
图10是表示包的发送状况的例子的图。
图11是表示包的接收状况的例子的图。
图12是表示包的接收状况的例子的图。
图13是表示包的接收状况的例子的图。
图14是表示终端的包(或帧)处理部的处理流程的例子的图。
图15是表示终端的包(或帧)处理部的处理流程的例子的图。
图16是表示包的发送状况以及包的接收状况的例子的图。
图17是表示包的发送状况的例子的图。
图18是表示包的接收状况的例子的图。
图19是表示包的接收状况的例子的图。
图20是表示包的接收状况的例子的图。
图21是表示广播站和电通信线路运营商所拥有的发送装置中的包(或帧)处理部的结构例的图。
图22是表示终端中的包(或帧)处理部进行包层的纠错解码的情况下的结构例的图。
图23是表示没有进行包层的纠错编码的情况下的终端中的包(或帧)处理部的结构例的图。
图24是表示广播站、电通信线路运营商、终端的关系例的图。
图25是表示广播站、电通信线路运营商、终端的关系例的图。
图26是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图27是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图28是表示终端的结构例的图。
图29是表示包的发送状况的例子的图。
图30是表示包的接收状况的例子的图。
图31是表示包的发送状况的例子的图。
图32是表示包的接收状况的例子的图。
图33是表示终端的结构例的图。
图34是表示广播站、电通信线路运营商、终端的关系例的图。
图35是表示包的发送状况的例子的图。
图36是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图37是表示终端的结构例的图。
图38是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图39是表示终端的结构例的图。
图40是表示包的发送状况的例子的图。
图41是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图42是表示终端的结构例的图。
图43是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图44是表示包的发送状况的例子的图。
图45是表示包的发送状况的例子的图。
图46是表示广播站的结构例的图。
图47是表示影像包组与影像及/或声音的关系的例子的图。
图48是表示影像包组与影像及/或声音的关系的例子的图。
图49是表示终端的结构例的图。
图50是表示包的发送状况的例子的图。
图51是表示广播站和电通信线路运营商所拥有的发送装置的结构例的图。
图52是表示终端的结构例的图。
图53是表示显示部周边的结构例的图。
图54是表示显示部周边的结构例的图。
图55是表示显示部周边的结构例的图。
图56是表示显示部周边的结构例的图。
图57是表示显示部周边的结构例的图。
图58是表示显示部周边的结构例的图。
图59是表示显示部周边的结构例的图。
图60是表示显示部周边的结构例的图。
具体实施方式
(成为本申请的基础的知识)
作为终端,存在想要高品质地接收实时的广播节目的内容和实时的线路内容的要求。此时,特别是在线路内容的情况下,包的延迟、包缺损(丢包)成为问题的可能性高。以下说明该点。
考虑以下情况:终端接收实时的广播节目的内容和实时的线路内容,并在终端所具备的显示部(显示器部)、或终端所连接的显示装置(显示器)中显示。此时,设为将实时的广播节目的内容和实时的线路内容分别显示。此时,在显示线路内容的情况下,能够考虑线路内容的包延迟、包缺损而对影像的显示进行控制。
但是,在终端将实时的广播节目的内容和实时的线路内容同时显示在显示部(或显示装置)中的情况下,广播节目的内容的影像和线路内容的影像在时间上不同步成为严重的问题。
考虑广播站将实时的广播节目的内容传输给终端的情况。将广播节目的内容经由无线(地面数字广播、卫星数字广播等)、或有线(有线(cable)广播等)发送。此时,存在由于传播路径的状况而使节目的内容的品质恶化的情况,但为了克服该情况,导入了用于应对于传播路径的恶劣状况的纠错码,从而使得高品质地保持节目的内容的品质。另外,难以想象广播节目的内容的信息的一部分延迟到达的状况。
另一方面,在经由电通信线路向终端传输的线路内容的情况、例如利用了UDP(用户数据报协议,UserDatagramProtocol)等协议的情况下,由于包的延迟、包缺损(丢包)而导致线路内容的品质的恶化。特别是,在将实时的广播节目的内容和实时的线路内容同时显示在显示部(或显示装置)中的情况下,若使广播节目的内容的影像和线路内容的影像在时间上同步则产生若干问题。
例如,考虑线路内容的包的到达延迟,设为终端使实时的广播节目的内容的影像显示延迟。于是,需要在终端中设置到达延迟量的数据的存储部,产生导致终端的系统规模增大的课题。
此外,若与实时的广播节目的内容的影像显示相应地显示线路内容的影像,则由于线路内容的包延迟、包缺损,线路内容的影像大为紊乱的可能性高。
本申请的目的在于,减小发送系统以及终端的系统规模,且在将实时的广播节目的内容和实时的线路内容同时显示在显示部(或显示装置)中时,实现高品质的影像的显示,提供用于实现该目的的发送系统以及终端。
根据本申请的方法,若接收了规定的数量以上的线路数据包以及线路奇偶校验包,则能够开始线路内容的解码,因此能够提高经由可能产生包延迟、包缺损的通信线路被传输的线路内容的品质。此外,广播内容的送出时刻与线路内容的送出时刻相比延迟规定的时间,因此与不使广播内容的送出时刻相对于线路内容的送出时刻延迟的情况相比,能够减少在接收侧中暂时保持广播内容的存储部的容量。
以下,参照附图详细说明本申请的实施方式。
《实施方式一》
图1表示本实施方式中的广播站、电通信线路运营商、终端的关系的一例。在图1中,101表示现场,作为例子考虑棒球场、足球场。102A、102B表示摄像机。设为通过摄像机102A、102B拍摄例如不同角度的影像。
此时,设为广播站103接受由摄像机102A拍摄到的“第一影像及/或声音(音频)的信息”,“第一影像及/或声音(音频)的信息”经由线缆(cable)等有线、或无线被传输给终端105。
并且,设为广播站103接受由摄像机102B拍摄到的“第二影像及/或声音(音频)的信息”,“第二影像及/或声音(音频)的信息”经由电通信线路运营商104被传输给终端105。
另外,“第二影像及/或声音(音频)的信息”也可以不经由广播站103,而是直接被传输给电通信线路运营商104,之后被传输给终端105。
图2表示本实施方式中的广播站和电通信线路运营商所拥有的发送装置的结构的一例,由虚线240包围的部分是广播站,由虚线250包围的部分是电通信线路运营商所拥有的发送装置。另外,控制部232也可以与广播站、电通信线路运营商所拥有的发送装置分别存在,既可以由广播站具备,也可以由电通信线路运营商所拥有的发送装置具备。另外,在图2中,记载了分别存在的情况下的结构图。
包(或帧)处理部202将“第一影像及/或声音(音频)的信息”201以及第一控制信号211作为输入,按照第一控制信号211,实施包(或帧)处理,输出包(或帧)处理后的第一影像及/或声音(音频)的信息203。另外,关于详细的动作,在后面进行说明。
物理层纠错编码部204将包(或帧)处理后的第一影像及/或声音(音频)的信息203、以及第一控制信号211作为输入,按照第一控制信号211,进行纠错码的方式(具体的纠错码、编码率)的编码,输出纠错编码后的数据205。
调制部206将纠错编码后的数据205以及第一控制信号211作为输入,通过按照第一控制信号211的调制方式来进行调制,输出基带信号207。
发送部208将基带信号207、以及第一控制信号211作为输入,实施基于按照第一控制信号211的传输方法的信号处理,输出调制信号209,调制信号209从天线210例如作为电波输出。并且,由调制信号209传输的数据到达终端。
另外,在上述的说明中,以发送一个调制信号的例子进行了说明,但不限于此,也可以是专利文献1、专利文献2等所示的将多个调制信号使用多个天线利用同一时刻、同一频率进行发送的发送方法。此外,作为传输方法,使用单载波方式、OFDM(正交频分复用,orthogonalfrequencydivisionmultiplexing)方式等多载波方式、谱扩散通信方式等。此外,在图2中,关于广播站240,以通过无线的传输为例进行了说明,但也可以使用基于线缆等有线的传输方法。
控制部232将第二影像及/或声音(音频)的信息231作为输入,输出第二影像及/或声音(音频)的信息212、以及第二控制信号228。此时,设为第二控制信号228包含与发送方法相关的信息。并且,设为第二影像及/或声音(音频)的信息212是经由广播站240的信息。
包(或帧)处理部222将第二影像及/或声音(音频)的信息212、以及直接到达电通信线路运营商时的第二影像及/或声音(音频)的信息221、第二控制信号228作为输入,通过第二控制信号228,在第二影像及/或声音(音频)的信息212、第二影像及/或声音(音频)的信息221之中选择有效的第二影像及/或声音(音频)的信息,实施包(或帧)处理,输出包(或帧)处理后的第二影像及/或声音(音频)的信息223。另外,关于详细的动作,在后面进行说明。
信号处理部224将包(或帧)处理后的第二影像及/或声音(音频)的信息223、第二控制信号228作为输入,基于第二控制信号228实施各层(例如MAC(介质访问控制,MediaAccessControl)层、物理层等。其中,当然不限于此。)的处理,输出信号处理后的信号225。
发送部226将信号处理后的信号225以及第二控制信号228作为输入,基于第二控制信号228生成发送信号227,并进行输出。并且,由发送信号227传输的数据到达终端。
另外,由发送信号227传输的数据也可以进而适用其他发送方式/标准,并到达终端。例如,可举出无线LAN(局域网,LocalAreaNetwork)、PLC(电力线通信,PowerLineCommunications)、使用了毫米波的无线传输方式、蜂窝方式(蜂窝通信系统,cellularcommunicationsystem)、无线MAN(城域网,MetropolitanAreaNetwork)等,但不限于此。其中,一般而言,互联网协议被使用,使用TCP(传输控制协议,transmissionControlProtocol)或UDP(用户数据报协议)作为转发协议(另外,TCP是族(suite)的组件之一,作为另一个组件存在IP(互联网协议,InternetProtocol),将族整体称为TCP/IP)。
图3表示终端的结构例。天线301接收广播站所发送的调制信号,接收部303将由天线301接收到的接收信号302作为输入,实施频率变换、正交解调等处理,输出基带信号304。
时间频率同步部305将基带信号304作为输入,提取广播站所发送的调制信号中包含的例如前同步码、导频符号、参考符号等,进行时间同步、频率同步、频率偏移估计等,输出同步信号306。
信道估计部307将基带信号304作为输入,提取广播站所发送的调制信号中包含的例如前同步码、导频符号、参考符号等,进行传播路径的状态的估计(信道估计),输出信道估计信号308。
控制信息提取部309将基带信号304作为输入,提取广播站发送的调制信号中包含的控制信息符号,进行控制信息符号的解调、纠错解码等处理,输出控制信息信号310。
解调部311将基带信号304、同步信号306、信道估计信号308、控制信息信号310作为输入,基于控制信息信号310中包含的调制信号的信息,利用同步信号306、信道估计信号308对基带信号304进行解调,求得各比特的对数似然比,输出对数似然比信号312。另外,关于此时的动作,被记载于专利文献2、专利文献3等。
物理层纠错解码部313将对数似然比信号312、控制信息信号310作为输入,基于控制信息信号310中包含的与纠错码相关的信息(例如,纠错码的信息、码长(块长)、编码率等),进行纠错解码,输出接收数据314。
包(或帧)处理部315将接收数据314、控制信息信号310作为输入,基于控制信息信号310的信息,进行包(或帧)的处理,输出包(或帧)处理后的数据316。另外,关于详细的动作,在后面详细地进行说明。
在上述的说明中,以基于无线的传输为例进行了说明,但也可以使用基于线缆等有线的传输方法。此外,以发送一个调制信号的例子进行了说明,但不限于此,也可以使用专利文献1、专利文献2等所示的将多个调制信号使用多个天线利用同一时刻、同一频率进行发送的发送方法。此外,作为传输方法,使用单载波方式、OFDM(正交频分复用)方式等多载波方式、谱扩散通信方式等,对应于此的处理由各部进行。
接收部353与连接部351连接,例如将经由线缆传输的信号352作为输入,输出接收信号354。
信号处理部355将接收信号354作为输入,进行信息以及控制信息的分离,输出接收数据356以及控制信息357。
包(或帧)处理部358将接收数据356以及控制信息357作为输入,基于控制信息357,对接收数据实施包(或帧)处理,输出包(或帧)处理后的数据359。另外,关于详细的动作,在后面详细地进行说明。
在上述的说明中,以使用了与连接部351对应的传输方式的情况为例进行了说明,但是有线的通信方式、无线通信方式中的任一个都可以。
信号处理部380将包(或帧)处理后的数据316、控制信息信号310、包(或帧)处理后的数据359、控制信息357作为输入,生成用于在显示部384中显示两个影像的数据,输出数据381。
解码器382进行影像、音频的解码,输出影像信号383、音频信号385,影像信号383被输出至显示部384,或从外部输出端子被输出,此外,音频信号385从扬声器386输出声音,或从外部输出端子被输出。
在此,关于“在广播站中不使用在产生了包或帧丢失时使得能够复原的纠错码,而电通信线路运营商的发送装置使用在产生了包或帧丢失时使得能够复原的纠错码”的发送方法,在以下进行说明。
图4表示在电通信线路运营商的发送装置中与在产生了包或帧丢失时使得能够复原的纠错编码方法关联的部分的结构。(在此,称为“包等级下的纠错编码”。但是称呼不限于此。)另外,图4的结构在图2的电通信线路运营商所拥有的发送装置250中被包含于包(或帧)处理部222。
包生成部402将信息401、控制信息信号414作为输入,基于控制信息信号414中包含的与包大小(构成1个包的比特数)相关的信息,将信息包403作为输出。另外,在图4中示出一例,设为生成信息包#1,信息包#2,…,信息包#(n-1),信息包#n。(也就是说,信息包#k(k设为1以上且n以下的整数。(设为n是2以上的整数。)))此外,在生成相当于信息包#1至#n量的信息的比特数不足的情况下,例如通过插入已知的数据,生成信息包#1至#n。
排序部404将信息包403、控制信息信号414作为输入,基于控制信息信号414中包含的排序方法的信息,进行数据的排序,输出排序后的数据序列405。另外,也可以不一定进行排序。例如,将信息包#1至#n作为输入,在构成信息包#1至#n的比特序列的范围内进行排序。
编码部408将排序后的数据序列405、控制信息信号414作为输入,进行基于控制信息414中包含的纠错(抹除校正)编码方式(例如,使用的纠错(抹除校正)编码方式的信息、码长(块长)、编码率等)的编码,输出奇偶校验包407。另外,在图4中示出一例,设为生成奇偶校验包#1,奇偶校验包#2,…,奇偶校验包#(h-1),奇偶校验包#h(也就是说,奇偶校验包#k(k设为1以上且h以下的整数。(h设为1以上的整数)))。
检错码附加部408将奇偶校验包407作为输入,例如附加CRC(循环冗余校验,CyclicRedundancyCheck)以使能够以包为单位来进行检错,输出CRC附加后的奇偶校验包409。此时,通过附加CRC,从而接收装置能够判断包内的数据是否全部正确或包是否缺损。另外,在此,以CRC为例进行了说明,但只要是能够判断包内的数据是否全部正确或包是否缺损的块码、校验码,也可以使用任意码。另外,在图4中示出一例,设为生成CRC附加后的奇偶校验包#1,CRC附加后的奇偶校验包#2,…,CRC附加后的奇偶校验包#(h-1),CRC附加后的奇偶校验包#h(也就是说,CRC附加后的奇偶校验包#k(k设为1以上且h以下的整数。(h设为1以上的整数)))。
同样,检错码附加部410将信息包403作为输入,例如附加CRC(循环冗余校验)以使能够以包为单位来进行检错,输出CRC附加后的信息包411。此时,通过附加CRC,从而接收装置能够判断包内的数据是否全部正确或包是否缺损。另外,在此,以CRC为例进行了说明,但只要是能够判断包内的数据是否全部正确或包是否缺损的块码、校验码,也可以使用任意码。另外,在图4中示出一例,设为生成CRC附加后的信息包#1,CRC附加后的信息包#2,…,CRC附加后的信息包#(n-1),CRC附加后的信息包#n(也就是说,CRC附加后的信息包#k(k设为1以上且n以下的整数。(设为n是2以上的整数)))。
另外,也可以在图4中的信息401中包含控制信息(例如,信息的种类的信息、影像编码的编码方式的信息(帧率、压缩率、压缩方法)等(但不限于此。))。关于该点,在后面进行说明。
图5是表示在电通信线路运营商的发送装置中与在产生了包或帧丢失时使得能够复原的纠错编码方法关联的部分的与图4不同的结构。另外,图5的结构在图2的电通信线路运营商所拥有的发送装置250中被包含于包(或帧)处理部222中。
排序部502将信息501、控制信息信号510作为输入,基于控制信息信号510中包含的排序方法的信息,进行数据的排序,输出排序后的信息503。
编码部504将排序后的信息503、控制信息信号510作为输入,进行基于控制信息510中包含的纠错(抹除校正)编码方式(例如,使用的纠错(抹除校正)编码方式的信息、码长(块长)、编码率等)的编码,输出编码后的数据505。此时,在编码中使用的码是系统码(在码字中以原样的形式包含信息序列的码)、非系统码中的任一个都可以。
包生成部506将编码后的数据505、控制信息信号510作为输入,基于控制信息信号503中包含的与包大小(构成1个包的比特数)相关的信息,将包507作为输出。另外,在图5中示出一例,设为生成包#1,包#2,…,包#(m-1),信息包#m。(也就是说,包#k(k设为1以上且m以下的整数。(m设为2以上的整数。)))此外,在生成相当于包#1至#m量的信息的比特数不足的情况下,通过在编码部504中例如插入已知的数据,从而进行编码。
检错码附加部508将包507作为输入,例如附加CRC(循环冗余校验)以使能够以包为单位进行检错,输出CRC附加后的包509。此时,通过附加CRC,从而接收装置能够判断包内的数据是否全部正确或包是否缺损。另外,在此,以CRC为例进行说明,但只要是能够判断包内的数据是否全部正确或包是否缺损的块码、校验码,也可以使用任意码。另外,在图5中示出一例,设为生成CRC附加后的包#1,CRC附加后的包#2,…,CRC附加后的包#(m-1),CRC附加后的包#m(也就是说,CRC附加后的包#k(k设为1以上且m以下的整数。(m设为2以上的整数)))。
另外,也可以在图5中的信息501中包含控制信息(例如,信息的种类的信息、影像编码的编码方式的信息(帧率、压缩率、压缩方法)等(但不限于此。))。关于该点,在后面进行说明。
以下,说明上述所记载的包的构成方法的例子。
图6表示上述所说明的包的构成方法的一例。601是CRC,能够用于检测错误。
602是“与通过纠错码而得到的包数相关的信息”。例如,在图4的情况下,信息包的数量为n,奇偶校验包的数为h,因此该信息成为“n+h”。此外,在图5的情况下,与通过纠错码而得到的包数相关的信息成为“m”。
603是“包的ID(identification)(识别符)的信息”。例如,在图4时,通过纠错码而得到的包数为“n+h”。从而,作为包的ID(identification)(识别符),准备“0”至“n+h-1”。并且,对各包赋予“0”至“n+h-1”的识别符之中的某一个序号。具体而言,对图4所示的n个信息包、h个奇偶校验包分别赋予“0”至“n+h-1”的ID中的某一个。在图5时,通过纠错码而得到的包数为“m”。从而,作为包的ID准备“0”至“m-1”。并且,对各包赋予“0”至“m-1”的识别符之中的某一个序号。具体而言,对图5所示的m个包分别赋予“0”至“m-1”的ID中的某一个。
604是控制信息,是“与通过纠错码而得到的包数相关的信息”以及“包的ID(identification)(识别符)”以外的控制信息。例如,将包等级下的纠错编码的方式的信息、包长度可变时包长度的比特数(或字节数)等作为控制信息。
605为数据,为想要向终端传输的数据(在此,例如影像、音频的数据)。
图7表示与上述所说明的包的构成方法的图6不同的例子。701是CRC,能够用于检测错误。
702是第一控制信息,703是第二控制信息。作为属于第一控制信息、第二控制信息的信息的例子,有“与通过纠错码而得到的包数相关的信息”、“包的ID(identification)(识别符)的信息”、包等级下的纠错编码的方式的信息、包长度可变时包长度的比特数(或字节数)等,但不限于此。
704为数据,为想要向终端传输的数据(在此,例如影像、音频的数据)。
此时,在图6中,将由“CRC”601、“与通过纠错编码而得到的包的数量相关的信息”602、“包的ID(识别符)的信息”603、“控制信息”604、“数据”605构成的数据组设为图4、图5的“附带检错码的包之一”。
并且,在图7的情况下,将由“CRC”701、“第一控制信息”702、“第二控制信息”703、“数据”704构成的数据组设为图4、图5的“附带检错码的包之一”。
此时,作为图4、图5中的包的构成方法,以下述四个方法为例进行考虑。
第一方法:
如图6所示,将控制信息604、数据605设为图4、图5中的检错码附加前的包。从而,控制信息604、数据605成为纠错编码(编码部406、或编码部504)的输入。另一方面,与通过纠错编码而得到的包的数量相关的信息602、包的ID(identification)(识别符)的信息603、以及作为检错码的例子的CRC601被附加至控制信息604、数据605,成为附带检错码包。
另外,在通过纠错编码而得到的包的数量例如成为32的情况下,作为包的ID,取0至31中的某一个值。
此时,在图4、图5的检错码附加部408、410、508的前后之一,需要控制信息附加部。其结构如图8所示。
图8的800表示控制信息附加部处于检错码附加部的前级的情况下的结构的一例。在第一方法的情况下,控制信息附加部802将控制信息604以及数据605(相当于801)作为输入,附加与通过纠错编码而得到的包的数量相关的信息602和包的ID(identification)(识别符)的信息603,输出数据组803。
检错码附加部804将数据组803作为输入,附加CRC601,输出附带检错码的包805。
图8的810表示控制信息附加部处于检错码附加部的后级的情况下的结构的一例。在第一方法的情况下,检错码附加部812将控制信息604以及数据605(相当于811)作为输入,附加CRC601,输出数据组813。
控制信息附加部814将数据组813作为输入,附加与通过纠错编码而得到的包的数量相关的信息602和包的ID(identification)(识别符)的信息603,输出附带检错码的包815。
第二方法:
如图6所示,将数据605设为图4、图5中的检错码附加前的包。从而,数据605成为纠错编码(编码部406、或编码部504)的输入。另一方面,与通过纠错编码而得到的包的数量相关的信息602、包的ID(identification)(识别符)的信息603和控制信息604、以及作为检错码的例子的CRC601被附加给数据605,成为附带检错码包。
另外,在通过纠错编码而得到的包的数量例如成为32的情况下,作为包的ID,取0至31中的某一个值。
此时,在图4、图5的检错码附加部408、410、508的前后之一,需要控制信息附加部。其结构如图8所示。
图8的800表示控制信息附加部处于检错码附加部的前级的情况下的结构的一例。在第二方法的情况下,控制信息附加部802将数据605(相当于801)作为输入,附加与通过纠错编码而得到的包的数量相关的信息602、包的ID(identification)(识别符)的信息603和控制信息604,输出数据组803。
检错码附加部804将数据组803作为输入,附加CRC601,输出附带检错码的包805。
图8的810表示控制信息附加部处于检错码附加部的后级的情况下的结构的一例。在第二方法的情况下,检错码附加部812将数据605(相当于811)作为输入,附加CRC601,输出数据组813。
控制信息附加部814将数据组813作为输入,附加与通过纠错编码而得到的包的数量相关的信息602、包的ID(identification)(识别符)的信息603和控制信息604,输出附带检错码的包815。
第三方法:
如图7所示,将数据704以及第二控制信息703设为图4、图5中的检错码附加前的包。从而,数据704以及第二控制信息703成为纠错编码(编码部406、或编码部504)的输入。另一方面,第一控制信息702、以及作为检错码的例子的CRC701被附加给数据704以及第二控制信息703,成为附带检错码包。
另外,在通过纠错编码而得到的包的数量例如成为32的情况下,作为包的ID,取0至31中的某一个值。
此时,在图4、图5的检错码附加部408、410、508的前后之一,需要控制信息附加部。其结构如图8所示。
图8的800表示控制信息附加部处于检错码附加部的前级的情况下的结构的一例。在第三方法的情况下,控制信息附加部802将数据704以及第二控制信息703(相当于801)作为输入,附加第一控制信息702,输出数据组803。
检错码附加部804将数据组803作为输入,附加CRC601,输出附带检错码的包805。
图8的810表示控制信息附加部处于检错码附加部的后级的情况下的结构的一例。在第三方法的情况下,检错码附加部812将数据704以及第二控制信息703(相当于811)作为输入,附加CRC601,输出数据组813。
控制信息附加部814将数据组813作为输入,附加第一控制信息702,输出附带检错码的包815。
第四方法:
如图7所示,将数据704设为图4、图5中的检错码附加前的包。从而,数据704成为纠错编码(编码部406、或编码部504)的输入。另一方面,第一控制信息702和第二控制信息703、以及作为检错码的例子的CRC701被附加给数据704,成为附带检错码包。
另外,在通过纠错编码而得到的包的数量例如成为32的情况下,作为包的ID,取0至31中的某一个值。
此时,在图4、图5的检错码附加部408、410、508的前后之一,需要控制信息附加部。其结构如图8所示。
图8的800表示控制信息附加部处于检错码附加部的前级的情况下的结构的一例。在第四方法的情况下,控制信息附加部802将数据704(相当于801)作为输入,附加第一控制信息702、第二控制信息703,输出数据组803。
检错码附加部804将数据组803作为输入,附加CRC601,输出附带检错码的包805。
图8的810表示控制信息附加部处于检错码附加部的后级的情况下的结构的一例。在第四方法的情况下,检错码附加部812将数据704(相当于811)作为输入,附加CRC601,输出数据组813。
控制信息附加部814将数据组813作为输入,附加第一控制信息702、第二控制信息703,输出附带检错码的包815。
上述虽没有说明,但也可以在各包或一部分的包中包含与时刻相关的信息。此时,既可以在全部包中包含与时刻相关的信息,也可以在某特定的包中包含与时刻相关的信息。
此外,也可以在广播站发送的调制信号之中,包含与时刻相关的信息。此时,在包或帧中,既可以在全部包或帧中包含时刻相关的信息,也可以在某特定的包或帧中包含与时刻相关的信息。
终端使用电通信线路运营商发送的包中包含的与时刻相关的信息、一级广播站发送的调制信号中包含的与时刻相关的信息,取得电通信线路运营商发送的影像和广播站发送的影像的时间上的同步,能够在终端所具备的显示部中显示同步后的两个影像,对视听者造成不快感的可能性变低。
关于该点,如上述所说明那样,在电通信线路运营商发送的信息之中,包含与时刻相关的信息,此外,在广播运营商发送的信息之中也包含与时刻相关的信息,通过有效利用这些信息,从而终端能够进行第一影像和第二影像的解码、显示的时间性同步。此外,关于在本实施方式中叙述的包等级下纠错解码的定时的调整,也能够有效利用这些与时刻相关的信息。
另外,上述使用“包”这样的用语,但也可以设为“帧”、“块”等其他称呼,“包”、“帧”、“块”等由多个比特构成。
此外,广播站发送的调制信号不需要必须是以包为基础的数据结构(也可以设为包为基础。其中,包长度、控制信息的结构既可以与电通信运营商发送的包的结构相同,也可以不相同)。
接着,说明广播站和电通信线路运营商发送的包的定时、以及终端接收到广播站发送的包和电通信运营商发送的包时的接收状况。另外,在以下的说明中,设为广播站发送包,但不是必须以包这样的单位来传输信息,也可以以帧为单位,还可以是流(stream)。为了简化说明,通过以包为单位来传输信息的例子进行说明。
图9的900表示广播站和电通信线路运营商发送同一时刻的不同角度的两个影像的信息时的例子。另外,在图9中,横轴设为时间。设为广播站发送第一影像的数据,电通信线路运营商发送第二影像的数据(设为第一影像和第二影像是不同角度的同一时刻的影像)。
如图9所示,设为第一影像由包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”构成,设为第二影像由包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”构成。
另外,第一影像不是仅由包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”构成,广播站其后也同样地发送包。(但是在图9中关于该点没有记载。)并且,第二影像不是仅由由包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”构成,电通信线路运营商其后也同样地发送包(但是在图9中关于该点没有记载)。
图9的900表示广播站以及电通信线路运营商发送包的状况,设为广播站发送包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”,电通信线路运营商发送包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
此时,设为从图9所示的时刻T1发送的包“#1”以及包“$1”是包含同一时刻的影像的包,设为由广播站以及电通信线路运营商进行包的发送。
图9的910表示终端接收包的情形。关于广播站发送的包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”,只要广播站向终端以同一顺序连续地发送包,则连续地到达。从而,如图9所示终端接收包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”,在时刻R1完成接收。
如之前记载的那样,电通信线路运营商对终端使用TCP(TCP/IP)或UDP来发送包。从而,即使如图9的900所示广播站和电通信线路运营商发送同一时刻的不同角度的两个影像的信息,也如图9的910所示,电通信线路运营商发送的包产生包的到达的延迟、包的到达的顺序的替换。该情形如图9的910所示。像这样,终端易于预测广播站所发送的包到达终端的方式,但终端难以预想电通信线路运营商所发送的包的到达。
例如,在如图9的910那样接收到包的情况下,若将终端接收完成广播站的最终包的时刻设为R1,将终端接收完成电通信线路运营商的最终包的时刻设为R2,则在大多数的状况下,成为R1<R2
然而,由于第一影像和第二影像是同一时刻的不同角度的两个影像,因此若第一影像和第二影像在图3的终端所具备的显示部384中不同步显示,则视听者感到不协调感的可能性高。例如,在设第一影像为足球的整体角度,第二影像为单个选手的角度的情况,如果第一影像为在足球的整体角度下选手A进行射门的瞬间,而在第二影像中是已经得分的瞬间,则视听者感到不满的可能性高。
在时刻R1的时刻,进行了第一影像的解码、以及第二影像的解码的情况下,第一影像在终端中显示,但第二影像中,包“$1”、包“$3”、包“$6”没有到达,所以终端难以显示紊乱少的第二影像。
在时刻R2时刻,进行了第一影像的解码、以及第二影像的解码的情况下,为了使第一影像和第二影像的显示同步,终端需要使显示第一影像的时刻延迟。从而,需要第一影像的数据的延迟量的存储部(缓冲器)。此时,若是延迟量小的情况(或某程度的允许范围内),则该方法也无妨,但在TCP(TCP/IP)或UDP的情况下,延迟量不是固定,此外,进而在终端经由无线LAN等得到包的情况下,存在延迟量进一步变大的可能性。因此,在该方法中,在紊乱少地使第一影像和第二影像的显示同步的情况下,需要增大终端的存储部的规模。若考虑该点,则在采用了终端使解码的开始时刻延迟的方法的情况下,期望导入即使缩短延迟时间也能够减少影像的紊乱的方法。
作为针对上述课题的一个方法,提出图10那样的发送方法。图10的1000表示广播站和电通信线路运营商发送同一时刻的不同角度的两个影像的信息的例子,横轴设为时间。与图9的900不同的点是,考虑电通信线路运营商发送的包向终端的到达延迟,使广播站发送的包延迟。在图10中,电通信线路运营商从时刻T1开始包的发送。并且,依次发送包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
因此,图2的包(或帧)处理部202、222具有用于延迟发送所生成的包的包(或帧)积蓄功能,能够延迟相应于积蓄容量的量而发送包或帧。
并且,广播站从时刻T2(T1≠T2在此,设为T1<T2,但也考虑成为T1>T2。)开始包的发送。并且,依次发送包“#1”、包“#2”、包“#3”、包“#4”、包“#5”、包“#6”、包“#7”。
图11表示广播站以及电通信线路运营商如图10那样发送包时的终端的包的接收状况的例子(1100)。
在图11中,终端与图9时同样,接收广播站发送的包“#1”至“#7”。此时,将接收完成全部包的时刻设为R2
并且,终端接收电通信线路运营商发送的包。此时,将终端接收完成电通信线路运营商发送的全部包的时刻设为R1。于是,由于如图10那样进行发送,所以在图11的例子中,R1<R2成立。在考虑了其他例的情况下,“终端全部接收完成广播站发送的包的时刻”与“终端全部接收完成电通信线路运营商发送的包的时刻”之差与如图9那样发送包的情况相比能够变小的可能性高。从而,存在能够削减终端用于积蓄/存储包的电路规模的可能性。另外,在图11的情况下,在时刻R2的时刻,开始第一影像和第二影像的解码即可。但是,广播站、电通信线路运营商需要用于使包延迟发送的包积蓄部,从而引起电路规模的增大。
终端实际上存在多个(非常多),所以与广播站、电通信线路运营商的发送站的电路规模的增大相比,终端的电路规模的增大在总的电路规模的增大方面问题更大。从而,上述的方法是能够抑制电路规模的增大并且抑制影像的紊乱的有效的方法。
其中,不一定在影像中肯定不产生紊乱。例如,存在终端如图12那样接收的情况,即终端延迟接收如图9的910那样由电通信线路运营商发送的包。此时,若与图9时进行比较,则“终端全部接收完成广播站发送的包的时刻”与“终端全部接收完成电通信线路运营商发送的包的时刻”之差变小,但在丢失着包“$3”、包“$7”的时刻为了同步显示第一影像和第二影像而开始了第二影像的解码的情况下,仍然产生第二影像的紊乱。
进而,为了减轻第二影像的紊乱的课题,能够通过在发送侧控制延迟量来实现。
例如,图3的终端的信号处理部380求得广播站发送的包与同时刻的电通信线路运营商发送的包的到达时间之差(或其统计信息)所相关的信息,作为时间差信息399而进行输出。并且,时间差信息399从终端所具备的发送装置例如发送给电通信线路运营商。
图2的电通信线路运营商的发送装置250具备接收部,取得终端发送的时间差信息(图2的299)。并且,包(或帧)处理部202、222将时间差信息299作为输入,使包或帧存储部的量变化,从而控制进行发送的定时,输出控制了延迟量的包或帧。
另外,在图2中,广播站240难以对每个终端控制延迟量(由于多播)。从而,电通信线路运营商的发送装置250的包(或帧)处理部222控制针对各终端的延迟量。其中,在电通信线路运营商的发送装置250不对各终端分别地发送包的情况、也就是说进行多播的情况下,既可以是广播站240进行延迟时间(包的发送定时)的控制,也可以是电通信线路运营商控制延迟时间(包的发送定时)。
说明“电通信线路运营商的发送装置使用在产生了包或帧丢失时使得能够复原的纠错码(包等级下的纠错编码)”的情况。
设为电通信线路运营商想要传输由16384×4=65536比特构成的第二影像的信息。此时,将构成1个包的信息的比特数设为16384比特。(除此之外,设为如上述所说明的那样将控制信息另外传输。)于是,成为能够得到65536/16384=4个包的信息比特。此时,如图4、图5所说明的那样,设为进行在产生了包或帧丢失时使得能够复原的纠错码(包等级下的纠错编码)。此时使用的纠错码设为码长114688比特、编码率4/7。
在纠错码为系统码的情况下,例如进行如图4那样的包生成,在纠错码为非系统码的情况下,例如进行如图5那样的包生成。此时,若对由65536比特构成的第二影像的信息,进行图4、图5中的某一个的编码,则生成7个包(由于构成1个包的信息的比特数为16384比特)。将此时的7个包设为包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。此时,若终端能够接收比编码前的信息的比特数多的数量、也就是说5个包以上,则能够复原全部包。因此,如前述那样,例如设为如图9的901那样广播站以及电通信线路运营商发送包(详细的说明如上述所说明那样因此省略)。
此时,设为图3的终端的包的接收状况如图13那样。并且,设为在图13的时刻Rc,进行包等级下的纠错码的解码。(也就是说,图3的终端的包(或帧)处理部315、358具有存储部(缓冲器),在终端接收到广播站的包(或帧)时,包(或帧)处理部315依次存储包或帧的数据,使数据的处理延迟。于是,在接收完成全部包并经过了某期间之后,对电通信线路运营商发送的包进行包等级下的纠错解码)。
在图13的时刻Rc,终端丢失着包“$3”、包“$6”。(但是,在图13中为了易于理解而进行了图示。)但是,如前述记载那样,由于终端得到5个包以上,因此能够得到全部包、也就是说包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
从而,终端在经过了时刻Rc时进行第一影像的解码、第二影像的解码,由此能够得到第一影像、以及第二影像,从而,终端能够同步地将第一影像和第二影像在显示部中显示。因此,终端不需要等待至能够得到第二影像的全部包的图13所示的时刻R2为止。
通过以上那样实施,终端用于得到第二影像的全部包的待机时间变短,所以能够得到如下效果:能够大幅度削减用于积蓄第一影像的包或帧的数据的存储部的电路规模。进而,此前由于第二影像的丢包在终端中产生了影像的紊乱,但能够得到即使产生规定以内的丢包也不发生影像紊乱的效果。
另外在上述的说明中,设为“如图9的901那样广播站以及电通信线路运营商发送包”,但例如也可以如图10那样将同一时刻的第一影像的包(或帧)和同一时刻的第二影像的包隔开时间差而由广播站和电通信线路运营商发送。此时,仍然如上述所说明,如图13那样终端接收广播站以及电通信线路运营商发送的包(或帧)。此时,在时刻Rc,终端虽然丢失着包“$3”、包“$6”,但如前述记载的那样,由于终端得到5个包以上,所以能够得到全部包、也就是说包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
从而,终端在经过了时刻Rc时进行第一影像的解码、第二影像的解码,由此能够得到第一影像、以及第二影像,从而,终端能够同步地将第一影像和第二影像在显示部中显示。因此,终端不需要等待至能够得到第二影像的全部包的图13所示的时刻R2为止。
接着,说明图3的终端的包(或帧)处理部358的动作。图14表示终端的包(或帧)处理部358的处理的流程图的一例。
例如,将图13的时刻Rc设为特定的时刻。于是,首先进行以下的确认。
(1)“在特定的时刻(时刻Rc)前,终端完成了(电通信线路运营商发送的包之中)(用于执行影像解码的)全部包(或为了执行影像解码所需的包)的接收?”
在“是”的情况下,在包等级的编码中使用系统码的情况下,终端不对电通信线路运营商发送的包进行包等级解码。并且,终端能够开始第一影像、第二影像的解码,因此也可以开始解码。在包等级的编码中使用非系统码的情况下,终端对电通信线路运营商发送的包进行包等级的解码。(另外,包等级的解码既可以在时刻Rc的时刻开始,也可以在之前开始。)并且,终端能够开始第一影像、第二影像的解码,因此也可以开始解码。
在“否”的情况下,以下继续。
(2)“在特定的时刻(时刻Rc)中,终端接收了(电通信线路运营商发送的包之中)所需的数量的包数(在此为5个包)以上的包?”
在“否”的情况下,即使终端进行包等级的解码,也不能复原电通信线路运营商发送的包之中丢失的包,因此不实施包等级的解码。
在“是”的情况下,若终端进行包等级的解码,则能够复原电通信线路运营商发送的包之中丢失的包,因此实施包等级的解码。并且,终端能够开始第一影像、第二影像的解码,因此开始解码。
另外,也可以实施简化了图14而成的图15。(在图15中,其特征在于不进行在特定的时刻(时刻Rc)前的判断)。
·“在特定的时刻(时刻Rc),终端接收了(电通信线路运营商发送的包之中)所需的数量的包数(在此为5个包)以上的包?”
在“否”的情况下,即使终端进行包等级的解码,也不能复原电通信线路运营商发送的包之中丢失的包,因此不实施包等级的解码。
在“是”的情况下,若终端进行包等级的解码,则能够复原电通信线路运营商发送的包之中丢失的包,因此实施包等级的解码。并且,终端能够开始第一影像、第二影像的解码,因此开始解码。
其中,上述没有针对在广播站中导入在产生了包或帧丢失时使得能够复原的纠错码进行说明,但即使导入也能够同样实施。
接着,说明对广播站发送的调制信号的帧单位适用上述的说明时的实施。
图16的1600表示广播站和电通信线路运营商发送同一时刻的不同角度的两个影像信息时的例子。另外,在图16中,横轴设为时间。此时,设为广播站发送第一影像数据,电通信线路运营商发送第二影像的数据(设为第一影像和第二影像是不同角度的同一时刻的影像)。
图16的1600与图9的900不同的点是,广播站发送的第一影像以广播站适用了基于无线的发送方法、基于有线的发送方法时的调制信号的帧为单位来考虑。
如图16的1600所示,设为第一影像由帧“※1”构成,设为第二影像由包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”构成。
另外,第一影像不仅由帧“※1”构成,广播站其后也同样地发送帧。(但是,在图16中,关于该点没有记载。)并且,第二影像不仅由包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”构成,电通信线路运营商其后也同样地发送包(但是,在图9中,关于该点没有记载)。
此时,设为从图16所示的时刻T1发送的帧“※1”以及包“$1”包含同一时刻的影像,设为广播站以及电通信线路运营商进行帧、包的发送。
图16的1610表示终端接收帧、包的情形。接收广播站发送的帧“※1”。此时,终端在时刻R1完成接收。
如之前记载的那样,电通信线路运营商对终端使用TCP(TCP/IP)或UDP来发送包。从而,如图16的1600所示,即使广播站和电通信线路运营商发送同一时刻的不同角度的两个影像的信息,也如图16的1610所示,电通信线路运营商发送的包产生包的到达的延迟、包的到达的顺序的替换。该情形如图16的1610所示。像这样,终端易于预测广播站发送的包到达终端的方式,但终端难以预想电通信线路运营商所发送的包的到达。
例如,在如图16的1610那样接收到包的情况下,若将终端接收完成广播站的最终包的时刻设为R1,将终端接收完成电通信线路运营商的最终包的时刻设为R2,则在大多数的状况下,成为R1<R2
然而,由于第一影像和第二影像是同一时刻的不同角度的两个影像,因此若第一影像和第二影像在图3的终端所具备的显示部384中不同步显示,则视听者感到不协调感的可能性高。例如,在设第一影像为足球的整体角度,第二影像为单个选手的角度的情况下,若第一影像为在足球的整体角度下选手A进行射门的瞬间,而在第二影像中是已经得分的瞬间,则视听者感到不满的可能性高。
在时刻R1的时刻,进行了第一影像的解码、以及第二影像的解码的情况下,第一影像在终端中显示,但第二影像中,包“$1”、包“$3”、包“$6”没有到达,所以终端难以显示紊乱少的第二影像。
在时刻R2时刻,进行了第一影像的解码、以及第二影像的解码的情况下,为了使第一影像和第二影像的显示同步,终端需要使显示第一影像的时刻延迟。从而,需要第一影像的数据的延迟量的存储部(缓冲器)。此时,若是延迟量小的情况(或某程度的允许范围内),则该方法也无妨,但在TCP(TCP/IP)或UDP的情况下,延迟量不是固定的,此外,进而在终端经由无线LAN等得到包的情况下,存在延迟量进一步变大的可能性。因此,在该方法中,在紊乱少地使第一影像和第二影像的显示同步的情况下,需要增大终端的存储部的规模。若考虑该点,则在采用了终端使解码的开始时刻延迟的方法的情况下,期望导入即使缩短延迟时间也能够减少影像的紊乱的方法。
作为针对上述课题的一个方法,提出如图17那样的发送方法。图17的1700表示广播站和电通信线路运营商发送同一时刻的不同角度的两个影像的信息的例子,横轴设为时间。与图16的1600不同的点是,考虑电通信线路运营商发送的包向终端的到达延迟,使广播站发送的帧延迟。在图17中,电通信线路运营商从时刻T1开始包的发送。并且,依次发送包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
因此,图2的包(或帧)处理部202、222具有用于延迟发送所生成的包的包(或帧)积蓄功能,能够延迟相应于积蓄容量的量而发送包或帧。
并且,广播站从时刻T2(T1≠T2在此,设为T1<T2,但也可以考虑成为T1>T2。)开始帧的发送。并且,发送帧“※1”。
图18表示广播站以及电通信线路运营商如图17那样发送包时的终端的包的接收状况的例子(1800)。
在图18中,终端与图16时同样,接收广播站发送的帧“※1”。此时,将接收完成的时刻设为R2
并且,终端接收电通信线路运营商发送的包。此时,将终端接收完成电通信线路运营商发送的全部包的时刻设为R1。于是,由于如图17那样进行发送,所以在图19的例子中,R1<R2成立。在考虑了其他例的情况下,“终端全部接收完成广播站发送的包的时刻”与“终端全部接收完成电通信线路运营商发送的包的时刻”之差与如图16那样发送包的情况相比能够减小的可能性高。从而,存在能够削减终端用于积蓄/存储包的电路规模的可能性。另外,在图19的情况下,在时刻R2的时刻,开始第一影像和第二影像的解码即可。但是,广播站、电通信线路运营商需要用于延迟发送包的包积蓄部,从而引起电路规模的增大。
由于终端实际上存在多个(非常多),所以与广播站、电通信线路运营商的发送站的电路规模的增大相比,终端的电路规模的增大在总的电路规模的增大方面问题更大。从而,上述的方法是能够抑制电路规模的增大并且抑制影像紊乱的有效的方法。
其中,不一定在影像中肯定不产生紊乱。例如,存在终端如图19那样接收的情况,即终端延迟接收如图16的1610那样电通信线路运营商发送的包。此时,若与图16时进行比较,则“终端全部接收完成广播站发送的包的时刻”与“终端全部接收完成电通信线路运营商发送的包的时刻”之差变小,但在丢失着包“$3”、包“$7”的时刻为了同步显示第一影像和第二影像而开始了第二影像的解码的情况下,仍然产生第二影像的紊乱。
进而,为了减轻第二影像的紊乱的课题,能够通过在发送侧控制延迟量来实现。
例如,图3的终端的信号处理部380求得广播站发送的帧与同时刻的电通信线路运营商发送的包的到达时间之差(或其统计信息)所相关的信息,作为时间差信息399而进行输出。并且,时间差信息399从终端所具备的发送装置例如发送给电通信线路运营商。
图2的电通信线路运营商的发送装置250具备接收部,取得终端发送的时间差信息(图2的299)。并且,包(或帧)处理部202、222将时间差信息299作为输入,使包或帧存储部的量变化,从而控制进行发送的定时,输出控制了延迟量的包或帧。
另外,在图2中,广播站240难以对每个终端控制延迟量(由于多播)。从而,电通信线路运营商的发送装置250的包(或帧)处理部222控制针对各终端的延迟量。其中,在电通信线路运营商的发送装置250不对各终端分别地发送包的情况、也就是说进行多播的情况下,既可以是广播站240进行延迟时间(包的发送定时)的控制,也可以是电通信线路运营商控制延迟时间(包的发送定时)。
说明“电通信线路运营商的发送装置使用在产生了包或帧丢失时使得能够复原的纠错码(包等级下的纠错编码)”的情况。
设为电通信线路运营商想要传输由16384×4=65536比特构成的第二影像的信息。此时,将构成1个包的信息的比特数设为16384比特。(除此之外,设为如上述所说明的那样将控制信息另外传输。)于是,成为能够得到65536/16384=4个包的信息比特。此时,如图4、图5所说明的那样,设为进行在产生了包或帧丢失时使得能够复原的纠错码(包等级下的纠错编码)。此时使用的纠错码设为码长114688比特,编码率4/7。
在纠错码为系统码的情况下,例如进行如图4那样的包生成,在纠错码为非系统码的情况下,例如进行如图5那样的包生成。此时,若对由65536比特构成的第二影像的信息进行图4、图5中的某一个的编码,则生成7个包(由于构成1个包的信息的比特数是16384比特)。将此时的7个包设为包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。此时,若终端能够接收到比编码前的信息的比特数多的数量、也就是说5个包以上,则能够复原全部包。因此,如前述那样,例如设为如图16的1601那样广播站以及电通信线路运营商发送帧、包(关于详细的说明如上述所说明那样因此省略)。
此时,设为图3的终端的包的接收状况如图20那样。并且,设为在图20的时刻Rc,进行包等级下的纠错码的解码。(也就是说,图3的终端的包(或帧)处理部315、358具有存储部(缓冲器),在终端接收到广播站的帧时,包(或帧)处理部315依次存储帧的数据,使数据的处理延迟。于是,在接收完成帧并经过了某期间之后,对电通信线路运营商发送的包进行包等级下的纠错解码)。
在图20的时刻Rc,终端丢失着包“$3”、包“$6”。(但是,在图20中为了易于明白而进行了图示。)但是,如前述所记载的那样,由于终端得到了5个包以上,因此能够得到全部包、也就是说包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
从而,终端在经过了时刻Rc时进行第一影像的解码、第二影像的解码,由此能够得到第一影像、以及第二影像,从而,终端能够同步地将第一影像和第二影像在显示部中显示。因此,终端不需要等待至能够得到第二影像的全部包的图20所示的时刻R2
通过以上那样实施,终端用于得到第二影像的全部包的待机时间变短,所以能够得到如下效果:用于积蓄第一影像的帧的数据的存储部的电路规模能够大幅度地削减。进而,此前由于第二影像的丢包在终端中产生了影像的紊乱,但能够得到即使产生了规定以内的丢包也不产生影像紊乱的效果。
另外在上述的说明中,设为“如图16的1601那样广播站以及电通信线路运营商发送帧、包”,但例如也可以如图17那样将同一时刻的第一影像的帧与同一时刻的第二影像的包隔开时间差而由广播站和电通信线路运营商发送。此时,仍然存在如上述所说明的、如图20那样终端接收广播站以及电通信线路运营商发送的包(或帧)的情况。针对该情况,在时刻Rc,终端也丢失着包“$3”、包“$6”,但如前述所记载的那样,由于终端得到5个包以上,因此能够得到全部包、也就是说包“$1”、包“$2”、包“$3”、包“$4”、包“$5”、包“$6”、包“$7”。
从而,终端在经过了时刻Rc时进行第一影像的解码、第二影像的解码,由此能够得到第一影像、以及第二影像,从而,终端能够同步地将第一影像和第二影像在显示部中显示。因此,终端不需要等待至能够得到第二影像的全部包的图13所示的时刻R2为止。
接着,说明图3的终端的包(或帧)处理部358的动作。图14表示终端的包(或帧)处理部358的处理的流程图的一例。
例如,将图20的时刻Rc设为特定的时刻。于是,首先进行以下的确认。
(1)“在特定的时刻(时刻Rc)前,终端完成了(电通信线路运营商发送的包之中)(用于执行影像解码的)全部包(或为了执行影像解码所需的包)的接收?”
在“是”的情况下,在包等级的编码中使用系统码的情况下,终端不对电通信线路运营商发送的包进行包等级解码。并且,终端能够开始第一影像、第二影像的解码,因此也可以开始解码。在包等级的编码中使用非系统码的情况下,终端对电通信线路运营商发送的包进行包等级的解码。(另外,包等级的解码既可以在时刻Rc的时刻开始,也可以在之前开始。)并且,由于终端能够开始第一影像、第二影像的解码,因此也可以开始解码。
在“否”的情况下,以下继续。
(2)“在特定的时刻(时刻Rc)中,终端接收了(电通信线路运营商发送的包之中)所需的数量的包数(在此为5个包)以上的包?”
在“否”的情况下,终端即使进行包等级的解码,也不能复原电通信线路运营商发送的包之中丢失的包,因此不实施包等级的解码。
在“是”的情况下,若终端进行包等级的解码,则能够复原电通信线路运营商发送的包之中丢失的包,因此实施包等级的解码。并且,终端能够开始第一影像、第二影像的解码,因此开始解码。
另外,也可以实施简化了图14的图15(在图15中,其特征在于,不进行在特定的时刻(时刻Rc)前的判断)。
·“在特定的时刻(时刻Rc),终端接收了(电通信线路运营商发送的包之中)所需的数量的包数(在此为5个包)以上的包?”
在“否”的情况下,即使终端进行包等级的解码,也不能复原电通信线路运营商发送的包之中丢失的包,因此不实施包等级的解码。
在“是”的情况下,若终端进行包等级的解码,则能够复原电通信线路运营商发送的包之中丢失的包,因此实施包等级的解码。并且,终端能够开始第一影像、第二影像的解码,因此开始解码。
其中,上述没有针对在广播站中导入在产生了包或帧丢失时使得能够复原的纠错码进行说明,但即使导入也能够同样实施。
另外,在本实施方式中,以包或帧为单位来说明处理单位,但不限于此。此外,由存储部产生延迟也可以不是以帧或包为单位,此外,延迟时间也可以由多个帧单位的时间间隔或多个包单位的时间间隔产生。
针对上述的说明中的图2的广播站和电通信线路运营商所拥有的发送装置中的包(或帧处理部)202、222的结构进行说明。
图21表示图2的广播站和电通信线路运营商所拥有的发送装置中的包(或帧)处理部202、222的结构的一例。
包或帧生成部2102将影像及/或声音(音频)的信息2101、控制信号2105作为输入。并且,包或帧生成部2102进行基于控制信号2105的处理。例如,在进行包层的纠错编码的情况下,包或帧生成部2102对影像及/或声音(音频)的信息2101进行如图4、图5所示的处理,输出打包或成帧后的数据2103。此外,在进行打包、成帧的情况下,包或帧生成部2102对影像及/或声音(音频)的信息2101进行打包或成帧,输出打包或成帧后的数据2103。
存储部2104将打包或成帧后的数据2103、控制信号2105作为输入,基于控制信号2105,存储打包或成帧后的数据2103,使其延迟,输出延迟了的打包或成帧后的数据2106。
另外,存储部2104的结构的例子如图21所示,存储块被串行连接,存储块存储输入数据组,此时,进行输出所存储着的数据组这样的动作。
接着,说明图3的终端中的包(或帧)处理部315、358的结构。
图22表示在图3的终端中的包(或帧)处理部315、358中进行包层的纠错解码的情况下的结构例。另外,关于动作,以图20为例进行说明。
检错部(例如,CRC检验部)2202将接收数据2201、控制信号2208作为输入。
例如,在如图20那样接收了包的情况下,由于检错部(例如,CRC检验部)2202对包“$2”进行了检错的结果为没有错误,因此将包“$2”作为包信息2203而进行输出。
同样,由于检错部(例如,CRC检验部)2202对包“$4”进行了检错的结果为没有错误,因此将包“$4”作为包信息2203而进行输出。
此外,由于检错部(例如,CRC检验部)2202对包“$5”进行了检错的结果为没有错误,因此将包“$5”作为包信息2203而进行输出。
此外,由于检错部(例如,CRC检验部)2202对包“$7”进行了检错的结果为没有错误,因此将包“$7”作为包信息2203而进行输出。
此外,由于检错部(例如,CRC检验部)2202对包“$1”进行了检错的结果为没有错误,因此将包“$1”作为包信息2203而进行输出。
另外,如前述所说明的那样,在时刻Rc的时刻进行包层的解码,所以即使设为检错部(例如,CRC检验部)2202接收到包“$3”、包“$6”,也进行废弃。
存储部2204将包信息2203、控制信号2208作为输入,基于控制信号2208,控制包的存储、输出。
例如,在如图20那样的情况下,包“$2”、包“$4”、包“$5”、包“$7”、包“$1”被输入至存储部2204,从而,存储包“$2”、包“$4”、包“$5”、包“$7”、包“$1”。并且,在控制信号2208表示时刻Rc的时刻时,对存储部2204指示输出所存储着的包“$2”、包“$4”、包“$5”、包“$7”、包“$1”。从而,存储部2204将包“$2”、包“$4”、包“$5”、包“$7”、包“$1”作为所存储着的包2205进行输出。
包层解码部(抹除校正解码部)2206将所存储着的包2205、控制信号2208作为输入。并且,在控制信号2208表示时刻Rc的时刻时,使用存储部2204输出的包“$2”、包“$4”、包“$5”、包“$7”、包“$1”,包层解码部(抹除校正解码部)2206实施抹除校正解码(例如,在使用了LDPC(低密度奇偶校验,Low-DensityParity-Check)码作为纠错码的情况下,实施sum-product(积和)解码那样的可靠度传播解码)。此时,包层解码部(抹除校正解码部)2206能够复原全部信息,因此输出接收影像及/或声音(音频)的信息2207。
另外,在图2的广播站的发送中,进行了包层的纠错编码的情况下,图22的动作与上述稍微不同。关于该点进行说明。
广播站使用无线的传输方式、有线的传输方式,对终端发送包或帧,但由于传播路径的变动,即使在图3的终端中进行物理层的纠错解码,也不一定能正确地接收全部包。例如,成为包“#1”能够无错误地接收,包“#2”有错误,包“#3”能够无错误地接收,…。
此时,图22的检错部(例如,CRC检验部)2202通过检错码,以包为单位来判别有错误还是没有错误。由此,判断为包“#1”是正确的,包“#2”错误、也就是说丢包,包“#3”是正确的,…。
并且,图22的包层解码部2208使用正确的包,进行纠错解码(抹除校正解码),复原丢包了的包,输出接收影像及/或声音(音频)的信息2207。
在图2的广播站的发送中,没有进行包层的纠错编码的情况下,图3的包(或帧)处理部315的结构如图23所示。另外,关于动作,以图20为例进行说明。
存储部2302将接收数据2301、控制信号2304作为输入。
例如,在如图20那样终端接收了帧“※1”的情况下,存储部2302中,帧“※1”的接收数据成为输入,并进行存储。并且,在控制信号2304表示是时刻Rc时,存储部2302输出所存储着的数据(帧“※1”的接收数据)2303。
以上那样,在本实施方式中,说明对于多角度的第一影像和第二影像,广播站发送第一影像而电通信线路运营商发送第二影像时,在第二影像的传输时进行包等级下的纠错编码的发送方法,由此,能够得到如下效果:终端能够显示同步后的第一影像和第二影像,此外使得影像紊乱少。
另外,在本实施方式中,也可以是终端的接收装置和天线分别存在的结构。例如,接收装置具备将由天线接收到的信号、或对由天线接收到的信号实施了频率变换后的信号通过线缆进行输入的接口,接收装置进行之后的处理。
此外,接收装置所得到的数据/信息其后被变换为影像、声音,在显示器(监视器)中显示,或声音从扬声器输出。进而,接收装置所得到的数据/信息也可以被实施与影像、声音相关的信号处理(也可以不实施信号处理),从接收装置所具备的RCA端子(影像端子、声音用端子)、USB(通用串行总线,UniversalSerialBus)、HDMI(注册商标)(高清晰度多媒体接口,High-DefinitionMultimediaInterface)、数字用端子等输出。
《实施方式二》
在本实施方式中,说明对存在多个广播站、或广播站经由多种介质(例如卫星广播、地面广播、有线广播)传输信息的情况适用了实施方式一的情况。
图24是与图1不同的广播站、电通信线路运营商、终端的关系的一例,关于与图1同样进行动作的部件,赋予同一标记。
在图24中,特征的部分不仅有广播站103将由摄像机102A拍摄到的角度(第一影像)通过与图1同样的路径发送给终端105的方法(从广播站103向终端105的实线的箭头),而且有广播站103将由摄像机102A拍摄到的角度(第一影像)通过与其不同的路径发送给终端105的方法(从广播站103向终端105的虚线的箭头)、广播站103经由中继器2401发送给终端105的方法。在图24中存在三个路径,但路径的个数不限于此。
图25存在与图24同样地将由摄像机102A拍摄到的角度(第一影像)通过三个路径传输给终端105的方法,但新配置有其他广播站2501。另外,关于与图1、图24同样地进行动作的部件,赋予同一标记。
在图25中,不仅有广播站103将由摄像机102A拍摄到的角度(第一影像)通过与图1同样的路径发送给终端105的方法(从广播站103向终端105的实线的箭头),而且有广播站2501将由摄像机102A拍摄到的角度(第一影像)通过与其不同的路径发送给终端105的方法(从广播站2501向终端105的虚线的箭头)、广播站2501经由中继器2401发送给终端105的方法。在图25中存在三个路径,但路径的个数不限于此。
图26表示图24、图25的状态下的广播站和电通信线路运营商所拥有的发送装置的结构的一例,关于与图2同样地进行动作的部件,赋予同一标记。从而,电通信线路运营商所拥有的发送装置250能够实施在实施方式一中说明的全部动作(进行包等级的编码、进行延迟发送等)。
发送装置2602将第一影像及/或声音(音频)的信息2601、控制信号2603作为输入,基于控制信号2603决定发送方法,输出调制信号2604,调制信号2604从天线2605输出。同样,发送装置2612将第一影像及/或声音(音频)的信息2601、控制信号2613作为输入,基于控制信号2613决定发送方法,输出调制信号2614,调制信号2614从天线2615输出。
发送装置2622将第一影像及/或声音(音频)的信息2601、控制信号2623作为输入,基于控制信号2613而决定发送方法,输出调制信号2624。其中,设为调制信号2624通过有线被传输给终端。
此时,发送装置2602、2612、2622是与广播站关联的发送装置。另外,关于各发送装置的特征性动作,在后面进行说明。
图27表示与图26不同的、图24,图25中的广播站和电通信线路运营商所拥有的发送装置的结构的一例,关于与图2、图26同样地进行动作的部件,赋予同一标记。
图27与图26不同的点是,第一影像及/或声音(音频)的信息从摄像机侧分别被传输给发送装置2602、2612、2622,从而,图27中的2701、2712、2721都是第一影像及/或声音(音频)的信息,关于发送装置2602、2612、2622的动作,与图26相同。
此时,发送装置2602、2612、2622是与广播站关联的发送装置。
另外,关于各发送装置的特征性动作,在后面进行说明。
图28表示终端的结构例,关于与图3同样地进行动作的部件赋予同一标记。图28中的351至359与图3同样,是接收电通信线路运营商发送的包的部分的结构。进行在实施方式一中说明的动作(进行包等级的解码、存储数据等)。
图28的接收装置2803成为用于接收图26、图27的发送装置2602发送的调制信号的装置,接收装置2813成为用于接收图26、图27的发送装置2612发送的调制信号的装置,接收装置2823成为用于接收图26、图27的发送装置2622发送的调制信号的装置。
接收装置2803将由天线2801接收到的接收信号2802(图26、图27的发送装置2602发送的调制信号的接收信号)作为输入,提取接收信号中包含的控制信息,且实施解调、物理层的纠错解码、(在进行了包等级的纠错编码的情况下进行包等级的解码)等处理,输出包(或帧)处理后的数据2704和控制信息信号2705。
同样,接收装置2813将由天线2811接收到的接收信号2812(图26、图27的发送装置2612发送的调制信号的接收信号)作为输入,提取接收信号中包含的控制信息,且实施解调、物理层的纠错解码、(在进行了包等级的纠错编码的情况下进行包等级的解码)等处理,输出包(或帧)处理后的数据2714和控制信息信号2715。
接收装置2823将从与连接部2821连接的线缆等接收的接收信号2822(图26、图27的发送装置2622发送的调制信号的接收信号)作为输入,提取接收信号中包含的控制信息,且实施解调、物理层的纠错解码、(在进行了包等级的纠错编码的情况下进行包等级的解码)等处理,输出包(或帧)处理后的数据2724和控制信息信号2725。
此时,不限于接收装置2803、2813、2823全部同时进行动作。例如,若作为终端的界面具有广播信道的选择部,则与用户使用选择部设定的信道关联的接收装置进行动作。用于将其实现的信号是选择信号2850,接收装置2803、2813、2823基于选择信号2850,决定是否进行动作。
信号处理部380将包(或帧)处理后的数据2804、2814、2824、控制信息信号2805、2815、2825、选择信号2850作为输入,基于选择信号2850,选择成为有效的包(或帧)处理后的数据。
此外,信号处理部380将包(或帧)处理后的数据359、控制信息357作为输入,根据成为有效的包(或帧)处理后的数据和包(或帧)处理后的数据359,生成用于在显示部384中显示两个影像的数据,输出数据381。
另外,关于各接收装置的特征性动作,在后面进行说明。
接着,说明如图26、图27那样将第一影像(及/或声音(音频)的信息)从发送装置2602、2612、2622发送时的课题。另外,以下,假设传输了同一包而进行说明,但也可以不是同一包,即发送装置2602、2612、2622发送的包不同的结构。此外,从发送装置2602、2612、2622发送的第一影像的数据也可以影像(音频)编码的方法、帧率、影像的大小(分辨率)不同。
图29表示图26、图27的发送装置2602、2612、2622发送与第一影像(及/或声音(音频)的信息)相关的包的状况的例子(图29的2900)。另外,在图29中,横轴为时间。
设为图26、图27的发送装置2602发送包“#0-1”、包“#0-2”、包“#0-3”、包“#0-4”、包“#0-5”、包“#0-6”、包“#0-7”,图26、图27的发送装置2612发送包“#1-1”、包“#1-2”、包“#1-3”、包“#1-4”、包“#1-5”、包“#1-6”、包“#1-7”,图26、图27的发送装置2622发送包“#2-1”、包“#2-2”、包“#2-3”、包“#2-4”、包“#2-5”、包“#2-6”、包“#2-7”。
此时,设为图26、图27的发送装置2602、发送装置2612、发送装置2622都从时刻T1发送同一时刻的包。
图30表示图26、图27的发送装置2602、2612、2622如图29那样发送了包时的、图28的终端接收到包的情形(图30的3000)。
如图30所示,将图28的接收装置2803接收完成包“#0-7”的时刻设为R1,将图28的接收装置2813接收完成包“#1-7”的时刻设为R2,将图28的接收装置2823接收完成包“#2-7”的时刻设为R3。此时,R1、R2、R3为不同的值,彼此之差有时很大。另外,在图30中,假设接收装置2803、2813、2823同时进行动作,但实际上也可以不同时进行动作。也就是说,在用户选择了信道(或发送介质(地面广播、有线广播、卫星广播))的情况下,仅与其对应的接收装置进行动作。
此时,在终端仅显示第一影像(及/或声音(音频)的信息)的情况下,没有问题,但如在实施方式一中说明的那样,在使第一影像和第二影像同步显示的情况下,在终端的电路规模方面产生课题。
如在实施方式一中说明的那样,为了使用户不对多角度的影像感到不协调感,终端使经由电通信线路运营商传输的第二影像(及/或声音(音频)的信息)和第一影像(及/或声音(音频)的信息)在时间上同步而在显示部中显示影像。此时,用户选择信道(或发送介质(地面广播、有线广播、卫星广播)),仅与其对应的接收装置进行动作。但是,如上述那样(参照图30),根据用户(终端)选择的信道不同,第一影像(及/或声音(音频)的信息)的包的到达时间大为不同。因此,特别是在用户(终端)选择了与第二影像的包的到达时间大为不同的信道(传输第一影像的信道)的情况下,终端用于取得影像的同步的存储部的电路变大。
为了解决该课题,考虑图30的包的到达的时间差,使得图26、图27的传输第一影像(及/或声音(音频)的信息)的发送装置2602、2612、2622发送第一影像(及/或声音(音频)的信息)的信息的定时不同。该情形如图31所示。
如图31那样,图26、图27的发送装置2602在时刻T0开始第一影像(及/或声音(音频)的信息)的包的发送。并且,图26、图27的发送装置2612在时刻T1开始第一影像(及/或声音(音频)的信息)的包的发送,图26、图27的发送装置2622在时刻T2开始第一影像(及/或声音(音频)的信息)的包的发送。
图32表示图26、图27的发送装置2602、2612、2622如图31那样发送了包时,包到达图28的终端的接收装置时的情形。
如图32所示,将图28的接收装置2823接收完成包“#2-7”的时刻设为Z1,将图28的接收装置2823接收完成包“#1-7”的时刻设为Z2。此时,设为图28的接收装置2803在时刻Z1至Z2之间接收包“#0-7”。
若比较图30和图32则可知,由于如图31那样图26、图27的发送装置2602、2612、2622调整了发送第一影像(及/或声音(音频)的信息)的包的定时,所以分别到达终端的接收装置2803、2813、2823的第一影像(及/或声音(音频)的信息)的包的到达时间差与图30时相比变小。由此,能够得到能够削减终端的存储部的电路规模的效果。
也就是说,终端的接收装置在使图26、图27的发送装置2602发送的第一影像(及/或声音(音频)的信息)和第二影像在时间上同步上,能够缩小存储部的电路,此外,在使图26、图27的发送装置2612发送的第一影像(及/或声音(音频)的信息)和第二影像在时间上同步上,能够缩小存储部的电路,在使图26、图27的发送装置2622发送的第一影像(及/或声音(音频)的信息)和第二影像在时间上同步上,能够缩小存储部的电路。
另外,在图32中,假设接收装置2803、2813、2823同时进行动作,但实际上也可以不同时进行动作。也就是说,在用户选择了信道(或发送介质(地面广播、有线广播、卫星广播))的情况下,仅与其对应的接收装置进行动作。
另外,关于用于使图26、图27的发送装置2602发送的第一影像(及/或声音(音频)的信息)与电通信线路运营商发送的第二影像的包在时间上同步显示的包处理、信号处理、解码处理,能够通过与在实施方式一中说明的方法同样地实施来实现。关于第二影像的包,进行包等级的解码,其处理方法如实施方式一中说明的那样。
同样,关于用于使图26、图27的发送装置2612发送的第一影像(及/或声音(音频)的信息)与电通信线路运营商发送的第二影像的包在时间上同步显示的包处理、信号处理、解码处理,能够通过与在实施方式一中说明的方法同样地实施来实现。关于第二影像的包,进行包等级的解码,其处理方法如在实施方式一中说明的那样。
此外,关于用于使图26、图27的发送装置2622发送的第一影像(及/或声音(音频)的信息)和电通信线路运营商发送的第二影像的包在时间上同步显示的包处理、信号处理、解码处理,能够通过与在实施方式一中说明的方法同样地实施来实现。关于第二影像的包,进行包等级的解码,其处理方法如在实施方式一中说明的那样。
另外,如在实施方式一中说明的那样,进而为了减轻第二影像的紊乱的课题,也可以在发送侧控制延迟量。
例如,图28的终端的信号处理部380求得各广播站(图26、图27中记载的发送装置2602、2612、2622)发送的帧与同时刻的电通信线路运营商发送的包各自的到达时间之差(或其统计信息)所相关的信息,作为时间差信息399而进行输出。并且,时间差信息399从终端所具备的发送装置例如发送给电通信线路运营商。
图26、图27的电通信线路运营商的发送装置250具备接收部,取得终端发送的时间差信息(图2的299)。并且,包(或帧)处理部202、222将时间差信息299作为输入,使包或帧存储部的量变化,从而控制进行发送的定时,输出控制了延迟量的包或帧。
另外,在图26、图27中,各广播站(图26、图27中记载的发送装置2602、2612、2622)难以对每个终端控制延迟量(由于多播)。从而,电通信线路运营商的发送装置250的包(或帧)处理部222控制针对各终端的延迟量。其中,电通信线路运营商的发送装置250在没有对各终端分别发送包的情况、也就是说进行多播的情况下,既可以是各广播站(图26、图27中记载的发送装置2602、2612、2622)进行延迟时间(包的发送定时)的控制,也可以是电通信线路运营商控制延迟时间(包的发送定时)。
作为其他方法,也可以是终端自动选择由广播站发送的信道。例如,如图26、图27那样,设为将第一影像(及/或声音(音频)的信息)的信息由发送装置2602、2612、2622发送。进行自动选择时的终端的结构如图33所示。另外,在图33中,关于与图3、图28同样地进行动作的部件,赋予同一标记,省略详细的说明。
在图33中,信号处理部380输出包含与下述内容相关的信息的信号3301:接收装置2803输出的第一影像(及/或声音(音频)的信息)的包(或帧)和第二影像的包的延迟时间、以及接收装置2813输出的第一影像(及/或声音(音频)的信息)的包(或帧)和第二影像的包的延迟时间、以及接收装置2823输出的第一影像(及/或声音(音频)的信息)的包(或帧)和第二影像的包的延迟时间。
延迟时间分析部3302将信号3301作为输入,输出适于将第一影像和第二影像在时间上同步显示的包(2804、2814、2824)的信息3303。
选择部3306将适于将第一影像和第二影像在时间上同步显示的包(2804、2814、2824)的信息3303、用户设定的信道的信息3304、控制信号3305作为输入,通过控制信号3305,选择适于将第一影像和第二影像在时间上同步显示的包(2804、2814、2824)的信息3303、用户设定的信道的信息3304中的某一个,作为选择信号3307而进行输出。另外,在通过控制信号3305选择了适于将第一影像和第二影像在时间上同步显示的包(2804、2814、2824)的信息3303的情况下,反映由延迟时间分析部3302分析后的结果。
并且,接收装置2803、2813、2823基于选择信号3307,判定是否进行动作。
通过这样,“终端自动选择由广播站发送的信道”成为可能。
以上那样,在本实施方式中,对于多角度的第一影像和第二影像,广播站发送第一影像而电通信线路运营商发送第二影像时,在第二影像的传输时进行包等级下的纠错编码,且在各广播站中,控制发送第一影像的信息的定时。进而,终端具有能够对获得第一影像的广播站进行选择的功能。由此,能够得到如下效果:终端能够显示同步后的第一影像和第二影像,此外使得影像紊乱少。
《实施方式三》
在实施方式一、实施方式二中,说明了对于多角度的第一影像和第二影像,广播站发送第一影像而电通信线路运营商发送第二影像时,在第二影像的传输时进行包等级下的纠错编码的发送方法。此时,电通信线路运营商通过TCP(TCP/IP)或UDP来发送第二影像的包,为了减少包的延迟、包的缺损的影响,导入了包等级的纠错码。
但是,即使导入了包等级的纠错码,包的延迟、包的缺损的影响虽然小但存在,此时,在影像中产生紊乱。特别是,在终端经由无线LAN或蜂窝方式(蜂窝通信系统)等无线通信而接收到第二影像的包的情况下,存在影像的紊乱变大的可能性,在影像紊乱时,视听者感到不快的可能性高。
在本实施方式中,说明针对该影像的紊乱降低对用户造成不快感的方法。
图34表示本实施方式中的广播站、电通信线路运营商、终端的关系的一例。另外,关于与图1同样地进行动作的部件赋予同一标记。在图34中,101表示现场,作为例子,考虑棒球场、足球场。102A、102B表示摄像机。设为通过摄像机102A、102B,例如拍摄不同角度的影像。
此时,设为广播站103接受由摄像机102A拍摄到的“第一影像及/或声音(音频)的信息”,“第一影像及/或声音(音频)的信息”经由线缆等有线、或无线被传输给终端105。
并且,设为广播站103接受由摄像机102B拍摄到的“第二影像及/或声音(音频)的信息”,“第二影像及/或声音(音频)的信息”经由电通信线路运营商104被传输给终端105。
另外,“第二影像及/或声音(音频)的信息”也可以不经由广播站103而直接被传输给电通信线路运营商104,之后被传输给终端105。
进而设为信息提供者3401对广播站提供信息,广播站将基于该信息的信息与“第一影像及/或声音(音频)的信息”一起发送给终端。
图35表示本实施方式中的、广播站和电通信线路运营商发送的包的发送状况的例子3500。其中,如实施方式二所示,多个广播站能够发送第一影像的包,但在图35中,仅示出一个广播站的发送包(帧),但与实施方式二同样地,关于多个发送站发送第一影像包的情况,也能够实施在以下进行说明的内容。
与实施方式一、实施方式二同样地,设为广播站发送“第一影像及/或声音(音频)的信息”,电通信线路运营商发送“第二影像及/或声音(音频)的信息”。
在图35中,广播站发送的第一影像的包组和电通信线路运营商发送的第二影像的包组是同一时间的影像,如实施方式一、实施方式二所叙述的那样,终端使第一影像和第二影像在时间上同步地在显示部中显示。
并且,设为广播站不仅发送第一影像的包组,还如图35所示那样发送“字符信息(电文信息)”及/或“静止图像信息”及/或“URL(统一资源定位符)信息”。该信息在终端不能复原第一影像的信息而伴随于此难以将第一影像显示在显示部中时使用,将替代第一影像的画面显示在终端的显示部中。同样,该信息在终端不能复原第二影像的信息而伴随于此难以将第二影像显示在显示部中时使用,将替代第二影像的画面显示在终端的显示部中。
另外,在图35中,广播站发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”,但也可以不发送全部信息,也可以发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”之中的一个信息,还可以发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”之中的两个信息。
此外,这些信息也可以不是始终包含于发送帧的帧单位,例如,也可以将这些信息按每多个帧进行发送。从而,发送这些信息的定时也可以是任意的。
图36表示发送图35的信息时的、广播站和电通信线路运营商的发送装置的结构,关于与图2同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二中的说明相同,因此省略说明。
包(或帧)处理部3602将字符信息(电文信息)及/或静止图像信息及/或URL信息3601、以及第一控制信号211作为输入,基于第一控制信号211进行打包/成帧,输出包(或帧)处理后的信息3603。
物理层纠错编码部3604将包(或帧)处理后的信息3603、第一控制信号211作为输入,基于第一控制信号211中包含的物理层的纠错编码方式的信息进行纠错编码,输出纠错编码后的数据3605。
调制部206将纠错编码后的数据205、3605、第一控制信号211作为输入,基于第一控制信号211中包含的与帧结构相关的信息、与调制方式/发送方法相关的信息,对纠错编码后的数据205、3605实施映射,输出基带信号207。
图37表示接收如图36那样发送的信号的终端的接收装置的结构的一例,关于与图3同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二中的说明相同,因此省略说明。
解调部311将基带信号304、同步信号306、信道估计信号308、控制信息信号310作为输入,基于控制信息信号310中包含的与帧结构相关的信息、与调制方式/发送方法相关的信息,使用同步信号306、信道估计信号308,解调基带信号304,输出对数似然比信号312、以及“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号3701”。
物理层纠错解码部3702将“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号3701”、控制信息信号310作为输入,基于控制信息信号310中包含的与纠错编码方法相关的信息进行解码,输出“字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据3703”。
包(或帧)处理部3704将“字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据3703”、控制信息信号310作为输入,基于控制信息信号310实施包(或帧)处理,输出“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息3705”。
解码器3706将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息3705”作为输入,进行字符信息(电文信息)、静止图像信息、URL信息中的某一个的解码,输出显示画面的信息3707。
此时,解码器3706成为以下那样的动作。在“字符信息(电文信息)”的情况下,显示画面的信息3707成为“在显示部中显示的字符信息(电文信息)”。在“静止图像信息”的情况下,显示画面的信息3707成为“在显示部中显示的静止图像信息”。在“URL信息”的情况下,获得来自URL目的地的信息(3708),并进行输出。
信号处理部380判定是否得到第一影像、第二影像同步了的影像,输出判定结果3700。
显示部384将影像信号383、显示画面的信息3707、判定结果3700作为输入,在判定结果3700表示“得到了第一影像、第二影像同步了的影像”的情况下,显示影像信号383。在判定结果3700是“没有得到第一影像、第二影像同步了的影像”的信息的情况下,在没有得到第一影像的情况下,显示显示画面的信息3707代替第一影像,且显示第二影像。在没有得到第二影像的情况下,显示显示画面的信息3707代替第二影像。
图38表示发送图35的信息时的广播站和电通信线路运营商的发送装置的结构,关于与图2、图36同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二、图36的说明相同,因此省略说明。
图38与图36不同的点是,在发送图35的第一影像包组时使用的物理层的纠错码与在发送字符信息(电文信息)及/或静止图像信息及/或URL信息时使用的物理层的纠错码是相同的码,因此在图38中没有图36中的物理层纠错编码部3604,在物理层纠错编码部204中也进行与字符信息(电文信息)及/或静止图像信息及/或URL信息相关的编码。
图39表示在图38中发送了图35的信息时的终端的接收装置的结构的一例,关于与图3、图37同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二、图37的说明相同,因此省略说明。
图39与图38不同的点是,在发送图35的第一影像包组时使用的物理层的纠错码与在发送字符信息(电文信息)及/或静止图像信息及/或URL信息时使用的物理层的纠错码是相同的码,因此,在图39中没有图37中的物理层纠错解码部3702,在物理层纠错解码部313中也进行与字符信息(电文信息)及/或静止图像信息及/或URL信息相关的解码。
另外,记载了在图35中的广播站的发送帧中,将“第一包组”、“字符信息(电文信息)”、“静止图像信息”以时分方式发送的例子,但不限于此,在多载波传输方式、在频率轴上存在多个信道的情况下等,也可以将“第一包组”、“字符信息(电文信息)”、“静止图像信息”以频分方式发送。此外,也可以并用时分、频分这两者。
图40表示与图35不同的广播站和电通信线路运营商发送包的发送状况的例子4000。其中,如实施方式二所示,多个广播站能够发送第一影像的包,但在图40中,仅示出一个广播站的发送包(帧),但与实施方式二同样,即使在多个发送站发送第一影像包的情况下,也能够实施在以下进行说明的内容。
与实施方式一、实施方式二同样,设为广播站发送“第一影像及/或声音(音频)的信息”,电通信线路运营商发送“第二影像及/或声音(音频)的信息”。
在图40中,广播站发送的第一影像的包组和电通信线路运营商发送的第二影像的包组是同一时间的影像,如实施方式一、实施方式二所叙述的那样,终端使第一影像和第二影像在时间上同步地在显示部中显示。
并且,设为电通信线路运营商不仅发送第二影像的包组,还如图40所示那样发送“字符信息(电文信息)”及/或“静止图像信息”及/或“URL(统一资源定位符)信息”。该信息在终端不能复原第一影像的信息而伴随于此难以将第一影像显示在显示部中时使用,将替代第一影像的画面显示在终端的显示部中。同样,该信息在终端不能复原第二影像的信息而伴随于此难以将第二影像显示在显示部中时使用,将替代第二影像的画面显示在终端的显示部中。
另外,在图40中,电通信线路运营商发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”,但也可以不发送全部信息,也可以发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”之中的一个信息,还可以发送“字符信息(电文信息)”、“静止图像信息”、“URL(统一资源定位符)信息”之中的两个信息。
此外,这些信息也可以不是始终包含于发送帧的帧单位,例如也可以将这些信息对每多个帧进行发送。从而,发送这些信息的定时也可以是任意的。
另外,在如图40那样发送帧的情况下,图34中的信息提供3401如虚线所示那样提供电通信线路运营商104的信息,并且,电通信线路运营商104如虚线所示那样将该信息发送给终端105。
图41表示发送图40的信息时的、广播站和电通信线路运营商的发送装置的结构,关于与图2同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二中的说明相同,因此省略说明。
包(或帧)处理部4102将字符信息(电文信息)及/或静止图像信息及/或URL信息4101、以及第二控制信号228作为输入,基于第二控制信号228进行打包/成帧,输出包(或帧)处理后的信息4103。
信号处理部224将包(或帧)处理后的第二影像及/或声音信息223、包(或帧)处理后的信息4103、第二控制信号228作为输入,基于第二控制信号228中包含的图40的电通信线路运营商的发送帧的信息,实施用于生成发送信号的信号处理,输出信号处理后的信号225。
图42表示接收如图41那样发送的信号的终端的接收装置的结构的一例,关于与图3同样地进行动作的部件,赋予同一标记,实施方法与实施方式一、实施方式二中的说明相同,因此省略说明。
信号处理部355将接收信号354作为输入,进行第二影像包组、控制信息、字符信息(电文信息)、静止图像信息、URL信息的分离,输出接收数据(第二影像包组)356、控制信息357、“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号4202”。
包(或帧)处理部4203将“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号4202”、控制信息357作为输入,实施基于控制信息357中包含的与发送方法/纠错编码方法相关的信息等的信号处理,输出“字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”。
解码器4205将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”作为输入,进行字符信息(电文信息)、静止图像信息、URL信息中的某一个的解码,输出显示画面的信息4206。
此时,解码器4205成为以下那样的动作。在“字符信息(电文信息)”的情况下,显示画面的信息4206成为“在显示部中显示的字符信息(电文信息)”。在“静止图像信息”的情况下,显示画面的信息4206成为“在显示部中显示的静止图像信息”。在“URL信息”的情况下,获得来自URL目的地的信息(4210),并进行输出。
信号处理部380判定是否得到了第一影像、第二影像同步了的影像,输出判定结果4201。
显示部384将影像信号383、显示画面的信息4206、判定结果4201作为输入,在判定结果4201表示“得到了第一影像、第二影像同步了的影像”的情况下,显示影像信号383。在判定结果4201是“没有得到第一影像、第二影像同步了的影像”这样的信息的情况下,在没有得到第一影像的情况下,显示显示画面的信息4206代替第一影像,且显示第二影像。在没有得到第二影像的情况下,显示显示画面的信息4206代替第二影像。
以上那样,在多角度的第一影像和第二影像的显示中产生了紊乱的情况下,通过显示代替有可能紊乱的影像的信息,能够得到如下效果:能够提高可减轻对用户造成不快感的可能性的效果。
《实施方式四》
在实施方式一、实施方式二中,说明了对于多角度的第一影像和第二影像,广播站发送第一影像而电通信线路运营商发送第二影像时,在第二影像的传输时进行包等级下的纠错编码的发送方法。此时,电通信线路运营商通过TCP(TCP/IP)或UDP来发送第二影像的包,为了减少包的延迟、包的缺损的影响,导入了包等级的纠错码。
但是,在使广播站发送的第一影像与电通信线路运营商发送的数据在时间上同步的情况下,还存在也可以不导入抹除校正码(包等级下的纠错编码)的情况。在本实施方式中,关于该点进行说明。
图43表示本实施方式中的、广播站和电通信线路运营商的发送装置的结构的一例。在图43中,关于与图2同样地进行动作的部件,赋予同一标记。控制部232将发送数据4300作为输入,输出发送数据4301和第二控制信号228。另外,关于详细的动作,使用图44在后面进行说明。
控制信息生成部4303将发送数据4301、发送数据4302作为输入,生成控制信息4302并进行输出。另外,关于详细的动作,使用图44在后面进行说明。
包(或帧)处理部222将发送数据4301、直接到达电通信线路运营商时的发送数据4302、第二控制信号228作为输入,通过第二控制信号228,选择发送数据4301、发送数据4302之中有效的发送数据,实施包(或帧)处理,输出包(或帧)处理后的数据4304。另外,关于详细的动作,使用图44在后面进行说明。
图44表示本实施方式中的、广播站和电通信线路运营商的发送装置发送的包的发送状况的例子4400。在广播站发送“第一影像的包组#1”(4401)时,电通信线路运营商发送控制信息4405、以及“第二影像的包组#1”(4406)。此时,设为在图43所示的电通信线路运营商的发送装置中,实施用于生成“第二影像的包组#1”(4406)的抹除校正编码(包等级下的纠错编码)。并且,设为在控制信息4405中,包含“表示进行了抹除校正编码(包等级下的纠错编码)的信息”。
在图43所示的广播站发送“第一影像的包组#2”(4402)时,电通信线路运营商发送控制信息4407、以及“第二影像的包组#2”(4408)。此时,设为在图43所示的电通信线路运营商的发送装置中,为了生成“第二影像的包组#2”(4406)而不实施抹除校正编码(包等级下的纠错编码)。并且,设为在控制信息4405中,包含“表示没有进行抹除校正编码(包等级下的纠错编码)的信息”。
如上述所说明的那样,在发送第二影像的包时,存在进行和不进行抹除校正编码(包等级下的纠错编码)的情况。例如,在影像编码的压缩率高及/或画面数少(也就是说,数据尺寸小)的情况下,能够减少进行发送的包数,因此图43的控制信息生成部4303判断为“不进行抹除校正编码”。相反,在影像编码的压缩率低及/或像素数多(也就是说,数据尺寸大)的情况下,进行发送的包数变多,因此图43的控制信息生成部4303判断为“进行抹除校正编码”。
在图43所示的广播站发送“第一影像的包组#3”(4403)时,电通信线路运营商发送控制信息4409、以及“数据包组”(4410)。此时,“数据包组”(4410)的数据成为“字符信息”“静止图像信息”“URL的信息”等。此时,设为在图43所示的电通信线路运营商的发送装置中为了生成“数据包组”(4410)而不实施抹除校正编码(包等级下的纠错编码)。并且,设为在控制信息4409中,包含“表示没有进行抹除校正编码(包等级下的纠错编码)的信息”。
“数据包组”(4410)的数据在“字符信息”“静止图像信息”“URL的信息”等的情况下,与影像数据相比所发送的数据量少,所以图43的控制信息生成部4303判断为“不进行抹除校正编码”。
另外,是否进行抹除校正编码的信息被包含于控制信息4302。
从而,图43的包(或帧)处理部222如上述所说明的那样,基于控制信息4302中包含的“是否进行抹除校正编码”的信息,判断是否对数据进行抹除校正编码,进行基于进行或不进行抹除校正编码时的处理。
图42表示接收如图43、图44那样发送的信号的终端的接收装置的结构的一例,实施方法与在实施方式一、实施方式二、实施方式三中的说明相同。
信号处理部355将接收信号354作为输入,根据图44的控制信息(符号),判断电通信线路运营商发送的信息的种类(影像数据、或字符信息(电文信息)、或静止图像信息、或URL信息),输出接收数据(第二影像包组)356、控制信息357、“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号4202”。
包(或帧)处理部4203将“字符信息(电文信息)及/或静止图像信息及/或URL信息的对数似然比信号4202”、控制信息357作为输入,在控制信息357的信息的种类的信息为字符信息(电文信息)、或静止图像信息、或URL信息的情况下,基于与发送方法/纠错编码方法相关的信息等实施信号处理,输出“字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”。
解码器4205将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”作为输入,进行字符信息(电文信息)、静止图像信息、URL信息中的某一个的解码,输出显示画面的信息4206。
此时,解码器4205成为以下那样的动作。在“字符信息(电文信息)”的情况下,显示画面的信息4206成为“在显示部中显示的字符信息(电文信息)”。在“静止图像信息”的情况下,显示画面的信息4206成为“在显示部中显示的静止图像信息”。在“URL信息”的情况下,获得来自URL目的地的信息(4210),并进行输出。
包(或帧)处理部358将接收数据356、控制信息357作为输入,在控制信息357中包含的信息的种类的信息表示是第二影像时,进而得到适用了抹除校正码这样的信息的情况下,进行抹除校正解码(包等级的纠错解码)。并且,在得到没有适用抹除校正解码这样的信息的情况下,不进行抹除校正解码(包等级的纠错解码)。
信号处理部380根据图44的控制信息(符号)判定是否得到第二影像,输出判定结果4201。
显示部384将影像信号383、显示画面的信息4206、判定结果4201作为输入,在判定结果4201表示“得到了第二影像”的情况下,显示影像信号383。在判定结果4201为“没有得到第二影像”这样的信息的情况下,显示显示画面的信息4206。
以上那样,通过切换进行与不进行抹除校正码(包等级下的纠错编码)的适用的情况,终端能够兼顾高的数据接收品质和数据传输速度的提高(在进行了抹除校正编码的情况下,数据的传输速度降低)。
《实施方式五》
在实施方式一至实施方式四中,说明了抹除校正码(包等级下的纠错编码)的适用例,在本实施方式中,说明适用抹除校正码(包等级下的纠错编码)的其他例。
图45表示本实施方式中的广播站发送的包的情形,横轴为时间。在图45中,4501是事先发送包组,接收到该包组(4501)的终端暂时地存储该包组(4501)。另外,设为终端即使接收到事先发送包组4501并进行包等级的纠错解码,也不能得到影像(以及声音)。(关于此时的特征在后面详细地进行说明。)由此,具有如下特征:能够唯一地设定包含影像的节目的接收时间段。
4502为影像包组,设为终端通过得到影像包组4502从而能够显示影像(以及声音)。(关于此时的特征在后面详细地进行说明。)此外,终端使用影像包组4502和所存储的事先发送包组4501进行包等级的纠错解码,从而能够得到更高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。
因此,保持事先发送包组4501的终端和没有保持事先发送包组4501的终端通过得到影像包组4502,都能够进行影像的解码。
图46表示实现如图45那样广播站发送包的广播站的结构的一例,关于与图2同样地进行动作的部件,赋予同一标记,省略其说明。
包(或帧)处理部202将第一影像及/或声音的信息201、第一控制信号211作为输入,基于第一控制信号211进行包等级的纠错编码,输出包(或帧)处理后的第一影像及/或声音的信息203。另外,在本实施方式中,包(或帧)处理后的第一影像及/或声音的信息203由图45的事先发送包组4501和影像包组4502构成。此时,在图45的事先发送包组4501和影像包组4502中,没有示出控制信息(终端进行解调、解码、信号处理等处理所需的信息),但广播站在发送事先发送包组4501时,还发送控制信息(在事先发送包组4501中包含控制信息),此外,广播站在发送影像包组4502时,还发送控制信息(在影像包组4502中包含控制信息)。
包分配部4600将包(或帧)处理后的第一影像及/或声音的信息203、第一控制信号211作为输入,在第一控制信号211中,表示“采用如图45那样的发送方法”的情况下,输出事先(发送)包组4602、以及影像包组4603。并且,在第一控制信号211中,表示“没有采用如图45那样的发送方法”的情况下,输出包组4601。
事先(发送)包积蓄部4604将事先发送包组4602、第一控制信号211作为输入,暂时地积蓄事先发送包组(其中,若不进行积蓄也能够进行动作,则不进行积蓄。)。并且,基于第一控制信号211,事先(发送)包积蓄部4604将所积蓄着的事先发送包组作为事先发送包组4605而进行输出。
影像包存储部4607将影像包组4603、第一控制信号211作为输入,暂时地存储影像包组。并且,基于第一控制信号211,影像包存储部4607将所存储着的影像包组作为影像包组4608而进行输出。
物理层纠错编码部204将包组4601、事先(发送)包组4605、影像包组4608、第一控制信号211作为输入,在第一控制信号211中,表示“没有采用如图45那样的发送方法”的情况下,对包组4601实施物理层的纠错编码,输出纠错编码后的数据205。
物理层纠错编码部204在第一控制信号211中表示“采用如图45那样的发送方法”的情况下,按照图45的帧,输出对事先(发送)包组4605实施了物理层的纠错编码的纠错编码后的数据、对影像包组4608实施了物理层的纠错编码的纠错编码后的数据。
接着,说明事先(发送)包组4602(4605)(4501)、影像包组4603(4608)(4502)与第一影像及/或声音的信息201的关系。
在图47中,表示包组4602(4605)(4501)、影像包组4603(4608)(4502)与第一影像及/或声音的信息201的关系的一例。此外,在图48中,表示与图47不同的“包组4602(4605)(4501)、影像包组4603(4608)(4502)与第一影像及/或声音的信息201的关系的一例”。
在图47中,4701表示“第一影像及/或声音的信息”,将“第一影像及/或声音的信息”4701的比特数设为X比特(X为自然数)。并且,在包等级下的纠错编码中,使用系统码时,通过对“第一影像及/或声音的信息”4701进行编码,得到“第一影像及/或声音的信息”4702和奇偶校验位4703。另外,“第一影像及/或声音的信息”4701和“第一影像及/或声音的信息”4702成为同一数据。因此,“第一影像及/或声音的信息”4702的比特数成为X比特(X为自然数)。并且,将奇偶校验位4703的比特数设为Y比特(Y为自然数),设为Y<X的关系成立。
并且,设为根据“第一影像及/或声音的信息”4702生成图45中的影像包组4502,根据奇偶校验位4703生成图45的事先(发送)包组4501(例如,在各包中,存在附加控制信息等附加信息的情况)。
在如图47那样生成了影像包组和事先发送包组的情况下,满足上述的“终端即使接收到事先发送包组4501并进行包等级的纠错解码,也不能得到影像(以及声音)”(由于满足Y<X)。
此外,根据图47的影像包组的结构,满足上述的“设为终端通过得到影像包组4502从而能够显示影像(以及声音)。”,此外,能够实现上述的“终端使用影像包组4502和所存储的事先发送包组4501进行包等级的纠错解码,从而能够得到更高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。”。
在图48中,4801表示“第一影像及/或声音的信息”,将“第一影像及/或声音的信息”4801的比特数设为X比特(X为自然数)。
并且,设为在包等级下的纠错编码中,使用系统码或非系统码时,通过对“第一影像及/或声音的信息”4801进行编码,得到“第一数据”4802和“第二数据”4803。
另外,将“第一数据”4802的比特数设为Z比特(Z为自然数),设为Z>X成立。并且,将“第二数据”4803的比特数设为Y比特(Y为自然数),设为Y<X的关系成立。
并且,设为根据“第一数据”4802生成图45中的影像包组4502,根据“第二数据”4803生成图45的事先(发送)包组4501(例如,在各包中,存在附加控制信息等附加信息的情况)。
在如图48那样生成了影像包组和事先发送包组的情况下,满足上述的“终端即使接收到事先发送包组4501并进行包等级的纠错解码,也不能得到影像(以及声音)”(由于满足Y<X)。
此外,根据图48的影像包组的结构,满足上述的“设为终端通过得到影像包组4502从而能够显示影像(以及声音)。”,此外,能够实现上述的“终端使用影像包组4502和所存储的事先发送包组4501进行包等级的纠错解码,从而能够得到较高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。”。
图49表示接收如图45那样发送的包组的终端的结构的一例,关于与图3同样地进行动作的部件,赋予同一标记,省略其说明。
存储部4901将接收数据314、控制信息信号310作为输入,在控制信息信号310表示“接收数据314为图45的事先(发送)包组4501的数据”的情况下,存储接收数据314。并且,存储部4901在有指示的情况下,输出在存储部中存储着的数据(存储数据4902)。
包(或帧)处理部315将接收数据314、存储数据4902、控制信息信号310作为输入。
在控制信息信号310表示“接收数据314为图45的事先(发送)包组4501的数据”的情况下,包(或帧)处理部315忽略接收数据314。
在控制信息信号310表示“接收数据314为图45的影像包组4502的数据”的情况下。
<a>在存储部4901存储着图45的事先发送包组4501的情况下,包(或帧)处理部315使用接收数据314和存储数据4902进行包等级的纠错解码,输出包(或帧)处理后的数据316。
<b>在存储部4901没有存储图45的事先发送包组4501的情况下,包(或帧)处理部315使用接收数据314进行包等级的纠错解码,输出包(或帧)处理后的数据316。
在控制信息信号310表示“不是图45的发送方法”的情况下,包(或帧)处理部315基于控制信息信号310进行包(或帧)处理,输出包(或帧)处理后的数据316。
通过以上那样实施,能够得到如下效果:终端能够得到高的数据接收品质,且能够构筑灵活性高的广播系统(多播系统)。
上述说明了广播站发送事先(发送)包的情况,但不限于该方法。从而,后文说明使用了其他发送方法的情况。
图50表示本实施方式中的广播站以及电通信线路运营商的发送装置发送的包的情形,横轴为时间。在图50中,5001是事先发送包组,电通信线路运营商的发送装置发送该包组(5001)。并且,接收到该包组(5001)的终端暂时地存储该包组(5001)。另外,设为即使终端接收到事先发送包组5001并进行包等级的纠错解码,也不能得到影像(以及声音)。(关于此时的特征在后面详细地进行说明。)由此,具有如下特征:能够唯一地设定包含影像的节目的接收时间段。
5002是影像包组,广播站发送该包组(5002)。并且,设为终端通过得到影像包组5002从而能够显示影像(以及声音)。(关于此时的特征在后面详细地进行说明。)此外,终端使用影像包组5002和所存储的事先发送包组5001进行包等级的纠错解码,从而能够得到更高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。
因此,保持着事先发送包组5001的终端和没有保持事先发送包组5001的终端通过得到影像包组5002,都能够进行影像的解码。
图51表示实现如图50那样广播站以及电通信线路运营商的发送装置发送包的广播站以及电通信线路运营商的发送装置的结构的一例,关于与图2同样地进行动作的部件,赋予同一标记,省略其说明。
包(或帧)处理部202将第一影像及/或声音的信息201、第一控制信号211作为输入,基于第一控制信号211进行包等级的纠错编码,输出包(或帧)处理后的第一影像及/或声音的信息203。
另外,在本实施方式中,包(或帧)处理后的第一影像及/或声音的信息203由图50的事先发送包组5001和影像包组5002构成。此时,在图50的事先发送包组5001和影像包组5002中,没有示出控制信息(终端进行解调、解码、信号处理等处理所需的信息),但电通信线路运营商的发送装置在发送事先发送包组5001时,还发送控制信息(在事先发送包组5001中包含控制信息),此外,广播站在发送影像包组5002时,还发送控制信息(在影像包组5002中包含控制信息)。
包分配部5100将包(或帧)处理后的第一影像及/或声音的信息203、第一控制信号211作为输入,在第一控制信号211中表示“采用如图50那样的发送方法”的情况下,输出事先(发送)包组5103、以及影像包组5102。并且,在第一控制信号211中表示“没有采用如图50那样的发送方法”的情况下,输出包组5101。
另外,在图51中,设为广播站具备包(或帧)处理部202、包分配部5100的结构,但不限于此,也可以由电通信线路运营商的发送装置具备包(或帧)处理部202、包分配部5100,还可以由其他装置具备包(或帧)处理部202、包分配部5100。
影像包存储部5104将影像包组5102、第一控制信号211作为输入,暂时地存储影像包组。并且,基于第一控制信号211,影像包存储部5104将所存储着的影像包组作为影像包组5105而进行输出。
物理层纠错编码部204将包组5101、影像包组5105、第一控制信号211作为输入,在第一控制信号211中表示“没有采用如图50那样的发送方法”的情况下,对包组5101实施物理层的纠错编码,输出纠错编码后的数据205。
物理层纠错编码部204在第一控制信号211中表示“采用如图50那样的发送方法”的情况下,按照图50的帧,输出对影像包组5105实施了物理层的纠错编码的纠错编码后的数据。
电通信线路运营商的发送装置中的信号处理部224将包(或帧)处理后的信息223、事先(发送)包组5103、第一控制信号211、第二控制信号228作为输入,在第一控制信号211中表示“采用如图50那样的发送方法”的情况下,按照图50的帧,对事先(发送)包组5103实施信号处理,输出信号处理后的信号225。
在这以外的情况下,基于第二控制信号228的信息,信号处理部224对包(或帧)处理后的信息223实施信号处理,输出信号处理后的信号225。
接着,说明事先(发送)包组5103(5001)、影像包组5102(5105)(5002)与第一影像及/或声音的信息201的关系。
在图47中,表示包组5103(5001)、影像包组5102(5105)(5002)与第一影像及/或声音的信息201的关系的一例。此外,在图48中,表示与图47不同的“包组5103(5001)、影像包组5102(5105)(5002)与第一影像及/或声音的信息201的关系的一例”。
在图47中,4701表示“第一影像及/或声音的信息”,将“第一影像及/或声音的信息”4701的比特数设为X比特(X为自然数)。并且,在包等级下的纠错编码中,使用系统码时,通过对“第一影像及/或声音的信息”4701进行编码,得到“第一影像及/或声音的信息”4702和奇偶校验位4703。另外,“第一影像及/或声音的信息”4701和“第一影像及/或声音的信息”4702成为同一数据。因此,“第一影像及/或声音的信息”4702的比特数成为X比特(X为自然数)。并且,将奇偶校验位4703的比特数设为Y比特(Y为自然数),设为Y<X的关系成立。
并且,设为根据“第一影像及/或声音的信息”4702生成图50中的影像包组5002,根据奇偶校验位4703生成图50的事先(发送)包组5001(例如,在各包中,存在附加控制信息等附加信息的情况)。
在如图47那样生成了影像包组和事先发送包组的情况下,满足上述的“即使终端接收到事先发送包组5001并进行包等级的纠错解码,也不能得到影像(以及声音)”(由于满足Y<X)。
此外,根据图47的影像包组的结构,满足上述的“设为终端通过得到影像包组5002从而能够显示影像(以及声音)。”,此外,能够实现上述的“终端使用影像包组5002和所存储的事先发送包组5001进行包等级的纠错解码,从而能够得到更高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。”。
在图48中,4801表示“第一影像及/或声音的信息”,将“第一影像及/或声音的信息”4801的比特数设为X比特(X为自然数)。
并且,设为在包等级下的纠错编码中,使用系统码或非系统码时,通过对“第一影像及/或声音的信息”4801进行编码,得到“第一数据”4802和“第二数据”4803(例如,在各包中,存在附加控制信息等附加信息的情况)。
另外,将“第一数据”4802的比特数设为Z比特(Z为自然数),设为Z>X成立。并且,将“第二数据”4803的比特数设为Y比特(Y为自然数),设为Y<X的关系成立。
并且,设为根据“第一数据”4802生成图50中的影像包组5002,根据“第二数据”4803生成图50的事先(发送)包组5001。
在如图48那样生成了影像包组和事先发送包组的情况下,满足上述的“即使终端接收到事先发送包组5001并进行包等级的纠错解码,也不能得到影像(以及声音)”(由于满足Y<X)。
此外,根据图48的影像包组的结构,满足上述的“设为终端通过得到影像包组5002从而能够显示影像(以及声音)。”,此外,能够实现上述的“终端使用影像包组5002和所存储的事先发送包组5001进行包等级的纠错解码,从而能够得到更高的数据(包)的接收品质,能够实现在影像的紊乱少的状态下的影像的解码。”。
图52表示接收如图50那样发送的包组的终端的结构的一例,关于与图3同样地进行动作的部件,赋予同一标记,省略其说明。
存储部5201将控制信息信号310、接收数据356、控制信息357作为输入,在控制信息357表示“接收数据356为图50的事先(发送)包组5001的数据”的情况下,存储接收数据356。并且,存储部5201在从控制信息信号310有指示的情况下,输出在存储部中存储着的数据(存储数据5202)。
包(或帧)处理部358将接收数据314,控制信息357作为输入,在控制信息357表示“不是图50的发送方法”的情况下,基于控制信息357进行包(或帧)处理,输出包(或帧)处理后的数据359。
包(或帧)处理部315将接收数据314、存储数据5202、控制信息信号310作为输入。
在控制信息信号310表示“接收数据314为图50的影像包组5002的数据”的情况下。
<a>在存储部5201存储着图50的事先发送包组5001的情况下,包(或帧)处理部315使用接收数据314和存储数据5202进行包等级的纠错解码,输出包(或帧)处理后的数据316。
<b>在存储部5201没有存储图50的事先发送包组5001的情况下,包(或帧)处理部315使用接收数据314进行包等级的纠错解码,输出包(或帧)处理后的数据316。
在控制信息信号310表示“不是图50的发送方法”的情况下,包(或帧)处理部315基于控制信息信号310进行包(或帧)处理,输出包(或帧)处理后的数据316。
通过以上那样实施,能够得到如下效果:终端能够得到高的数据接收品质,且能够构筑灵活性高的广播系统(多播系统)。
当然广播站也可以采取本实施方式以外的发送方法,此时,广播站切换本实施方式的发送方法和本实施方式以外的发送方法而实施。
《实施方式六》
在实施方式一至实施方式五中,说明终端具备显示部的结构。但是,终端的结构不限于该结构,考虑终端具备显示部且能够与具有显示部的其他装置(命名为显示装置)连接的结构、终端不具备显示部的结构等。
在以下说明使用这样的结构的终端实施实施方式一至实施方式五的情况下的终端的详细的结构。
首先,说明终端具备显示装置且能够与具有显示部的其他装置(命名为显示装置)连接的结构的情况。
图53表示图3、图28、图33、图37、图39、图52等的终端中的显示部周边的结构的一例,关于与图3同样地进行动作的部件,赋予同一标记。
解码器382将数据381、控制信号5301作为输入。并且,在控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第一影像及/或声音的信息”的解码后的影像数据作为图53的383而进行输出,将“第一影像及/或声音的信息”的解码后的声音数据作为图53的385而进行输出。此时,显示部384显示第一影像。
此外,由于控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第二影像及/或声音的信息”的解码后的影像数据作为图53的5302,将“第二影像及/或声音的信息”的解码后的声音数据作为图53的5303而进行输出。并且,设为“第二影像及/或声音的信息”的解码后的影像数据作为图53的5302、以及“第二影像及/或声音的信息”的解码后的声音数据作为图53的5303,经由连接部5304而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
解码器382将数据381、控制信号5301作为输入。并且,在控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第二影像及/或声音的信息”的解码后的影像数据作为图53的383而进行输出,将“第二影像及/或声音的信息”的解码后的声音数据作为图53的385而进行输出。此时,显示部384显示第二影像。
此外,由于控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第一影像及/或声音的信息”的解码后的影像数据作为图53的5302,将“第一影像及/或声音的信息”的解码后的声音数据作为图53的5303而进行输出。并且,设为“第一影像及/或声音的信息”的解码后的影像数据作为图53的5302、以及“第一影像及/或声音的信息”的解码后的声音数据作为图53的5303,经由连接部5304而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第一影像(另外,也可以从扬声器放出第一声音)。
如上述的例子那样,在显示部384中,也可以显示第一影像、第二影像中的某一个,此外,显示装置5306也可以显示第一影像、第二影像中的某一个。关于显示方法,例如通过控制信号5301进行控制即可。
另外,在控制信号5301中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5301中,也可以包含用于调整显示部384和显示装置5306的显示定时的控制信息。
图54表示图3、图28、图33、图37、图39、图52等的终端中的显示部周边的结构的一例,关于与图3、图53同样地进行动作的部件,赋予同一标记。
数据分离部(也可以被称为“数据控制部”)5402将数据381、控制信号5401作为输入。并且,在控制信号5401表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5402例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第一影像及/或声音的信息”作为数据5407而进行输出,将与“第二影像及/或声音的信息”关联的数据作为数据5403而进行输出。
并且,解码器382将数据5407作为输入而进行解码,在显示部384中显示第一影像。
此外,设为与“第二影像及/或声音的信息”关联的数据经由连接部5404而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
数据分离部(也可以被称为“数据控制部”)5402将数据381、控制信号5401作为输入。并且,在控制信号5401表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5402例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第二影像及/或声音的信息”作为数据5407而进行输出,将与“第一影像及/或声音的信息”关联的数据作为数据5403而进行输出。
并且,解码器382将数据5407作为输入而进行解码,在显示部384中显示第二影像。
此外,设为与“第一影像及/或声音的信息”关联的数据经由连接部5404而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第一影像(另外,也可以从扬声器放出第一声音)。
如上述的例子那样,在显示部384中,也可以显示第一影像、第二影像中的某一个,此外,显示装置5306也可以显示第一影像、第二影像中的某一个。关于显示方法,例如通过控制信号5401进行控制即可。
另外,在控制信号5401中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5401中,也可以包含用于调整显示部384和显示装置5306的显示定时的控制信息。
此外,在图54的情况下,显示装置5308具有影像的解码器。
图55表示图42等的终端中的显示部周边的结构的一例,关于与图3、图42同样地进行动作的部件,赋予同一标记。
在终端具备图55的结构的情况下,显示部384实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
并且,显示装置5510实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
解码器382将数据381、控制信号5504作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第一影像及/或声音的信息”的解码后的影像数据作为图55的383而进行输出,将“第一影像及/或声音的信息”的解码后的声音数据作为图55的385而进行输出。此时,显示部384显示第一影像。
此外,由于控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第二影像及/或声音的信息”的解码后的影像数据作为图55的5501,将“第二影像及/或声音的信息”的解码后的声音数据作为图55的5502而进行输出。
并且,设为“第二影像及/或声音的信息”的解码后的影像数据作为图55的5501、以及“第二影像及/或声音的信息”的解码后的声音数据作为图55的5302,经由选择部5505、连接部5508而到达显示装置5510。(另外,连接5509可以是无线、有线中的任一个。)显示装置5510显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
解码器382将数据381、控制信号5504作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第二影像及/或声音的信息”的解码后的影像数据作为图55的383而进行输出,将“第二影像及/或声音的信息”的解码后的声音数据作为图55的385而进行输出。此时,显示部384显示第二影像。
此外,由于控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第一影像及/或声音的信息”的解码后的影像数据作为图55的5501,将“第一影像及/或声音的信息”的解码后的声音数据作为图55的5502而进行输出。
并且,设为“第一影像及/或声音的信息”的解码后的影像数据作为图55的5501、以及“第一影像及/或声音的信息”的解码后的声音数据作为图55的5302,经由选择部5505、连接部5508而到达显示装置5510。(另外,连接5509可以是无线、有线中的任一个。)显示装置5510显示第一影像(另外,也可以从扬声器放出第一声音)。
解码器4205将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”、来自URL的信息4210、控制信号5504作为输入。
在控制信号5504表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示部384中的情况下,输出显示画面的信息4206。
在控制信号5504表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示装置5510中的情况下,输出显示画面的信息5503。
选择部5505将信号5501、5502、5505、控制信号5504作为输入,基于控制信号5504,将在显示装置5510中显示的显示信息和从扬声器放出的声音的信息作为5506、5507而进行输出。
并且,信号5506、5507经由连接部5508被传输给显示装置5510。
如上述的例子那样,也可以在显示部384中显示多个画面,此外,也可以是终端向显示装置5306传输显示的一部分的信息,显示装置5306显示影像(或画面)。关于显示方法,例如通过控制信号5504进行控制即可。
另外,在控制信号5504中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5504中,也可以包含用于调整显示部384和显示装置5510的显示定时的控制信息。
图56表示图42等的终端中的显示部周边的结构的一例,关于与图3、图42同样地进行动作的部件,赋予同一标记。
在终端具备图56的结构的情况下,显示部384实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
并且,显示装置5510实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
数据分离部(数据控制部)5602将数据381、控制信号5601作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5602例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第一影像及/或声音的信息”作为数据5603而进行输出,将与“第二影像及/或声音的信息”关联的数据作为数据5604而进行输出。
并且,解码器382将数据5407作为输入而进行解码,第一影像成为在显示部384中显示的候选(根据判定结果4201,从候选的影像之中选择在显示部384中显示的影像)。
并且,设为与“第二影像及/或声音的信息”关联的数据经由选择部5608、连接部5611而到达显示装置5613。(另外,连接5612可以是无线、有线中的任一个。)显示装置5613显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
数据分离部(数据控制部)5602将数据381、控制信号5601作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5602例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第二影像及/或声音的信息”作为数据5603而进行输出,将与“第一影像及/或声音的信息”关联的数据作为数据5604而进行输出。
并且,解码器382将数据5407作为输入而进行解码,第二影像成为在显示部384中显示的候选(根据判定结果4201,从候选的影像之中选择在显示部384中显示的影像)。
并且,设为与“第一影像及/或声音的信息”关联的数据经由选择部5608、连接部5611而到达显示装置5613。(另外,连接5612可以是无线、有线中的任一个。)显示装置5613显示第一影像(另外,也可以从扬声器放出第一声音)。
数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”、来自URL的信息4210、控制信号5601作为输入。
在控制信号5601表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示部384中的情况下,数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息作为信号5606而进行输出。
在控制信号5601表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示装置5510中的情况下,数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息作为信号5607而进行输出。
选择部5608将信号5604、5607、控制信号5601作为输入,基于控制信号5601,将在显示装置5613中显示的显示信息和从扬声器放出的声音的信息作为5609、5610而进行输出。
并且,信号5609、5610经由连接部5611被传输给显示装置5613。
如上述的例子那样,也可以在显示部384中显示多个画面,此外,也可以是终端向显示装置5613传输显示的一部分的信息,显示装置5613显示影像(或画面)。关于显示方法,例如通过控制信号5601进行控制即可。
另外,在控制信号5601中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5601中,也可以包含用于调整显示部384和显示装置5613的显示定时的控制信息。
在上述的例子中,说明了终端具备显示部且终端能够与其他显示装置连接的情况下的实施例,但此时,关于与上述的实施例不同的情况,也可以利用终端的显示部和其他显示装置这两者来显示两个影像。例如,也可以在终端的显示部中显示广播运营商发送的影像,将与该影像联动的影像、或字符信息、或静止图像(也可以附带字符)显示在其他显示装置中。此外,也可以在其他显示装置中显示广播运营商发送的影像,将与该影像联动的影像、或字符信息、或静止图像(也可以附带字符)显示在终端的显示部中。并且,在数据传输时,也可以适用在实施方式五中叙述的传输方法。
接着,说明终端不具备显示部的结构。
图57表示图3、图28、图33、图37、图39、图52等的终端中的显示部周边的结构的一例,关于与图3、图53同样地进行动作的部件,赋予同一标记。
解码器382将数据381、控制信号5301作为输入。并且,在控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,解码器382例如将“第一影像及/或声音的信息”的解码后的影像数据作为图53的383而进行输出,将“第一影像及/或声音的信息”的解码后的声音数据作为图53的385而进行输出,经由连接部5701被传输给显示装置5703,显示装置5703显示第一影像,且输出声音(另外,连接5702可以是无线、有线中的任一个)。
此外,由于控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第二影像及/或声音的信息”的解码后的影像数据作为图53的5302,将“第二影像及/或声音的信息”的解码后的声音数据作为图53的5303而进行输出。并且,设为“第二影像及/或声音的信息”的解码后的影像数据作为图53的5302、以及“第二影像及/或声音的信息”的解码后的声音数据作为图53的5303,经由连接部5304而到达显示装置5306(另外,连接5305可以是无线、有线中的任一个)。显示装置5306显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
解码器382将数据381、控制信号5301作为输入。并且,在控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,解码器382例如将“第二影像及/或声音的信息”的解码后的影像数据作为图53的383而进行输出,将“第二影像及/或声音的信息”的解码后的声音数据作为图53的385而进行输出,经由连接部5701被传输给显示装置5703,显示装置5703显示第二影像,且输出声音(另外,连接5702可以是无线、有线中的任一个)。
此外,由于控制信号5301表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第一影像及/或声音的信息”的解码后的影像数据作为图53的5302,将“第一影像及/或声音的信息”的解码后的声音数据作为图53的5303而进行输出。并且,设为“第一影像及/或声音的信息”的解码后的影像数据作为图53的5302、以及“第一影像及/或声音的信息”的解码后的声音数据作为图53的5303,经由连接部5304而到达显示装置5306(另外,连接5305可以是无线、有线中的任一个)。显示装置5306显示第一影像(另外,也可以从扬声器放出第一声音)。
如上述的例子那样,也可以在显示装置5306中显示第一影像、第二影像中的某一个,此外,显示装置5306也可以显示第一影像、第二影像中的某一个。关于显示方法,例如通过控制信号5301进行控制即可。
另外,在控制信号5301中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5301中,也可以包含用于调整显示装置5306和显示装置5306的显示定时的控制信息。
图58表示图3、图28、图33、图37、图39、图52等的终端中的显示部周边的结构的一例,关于与图3、图53、图54同样地进行动作的部件,赋予同一标记。
数据分离部(也可以被称为“数据控制部”)5402将数据381、控制信号5401作为输入。并且,在控制信号5401表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5402例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第一影像及/或声音的信息”作为数据5407而进行输出,将与“第二影像及/或声音的信息”关联的数据作为数据5403而进行输出。
并且,解码器382将数据5407作为输入,输出解码后的数据(影像、声音)383、395。并且,解码后的数据(影像、声音)383、395、数据5407经由连接部5801被传输给显示装置5803(另外,连接5802可以是无线、有线中的任一个。),显示装置5803显示第一影像(另外,也可以从扬声器放出第一声音)。
此外,设为与“第二影像及/或声音的信息”关联的数据经由连接部5404而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
数据分离部(也可以被称为“数据控制部”)5402将数据381、控制信号5401作为输入。并且,在控制信号5401表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5402例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第二影像及/或声音的信息”作为数据5407而进行输出,将与“第一影像及/或声音的信息”关联的数据作为数据5403而进行输出。
并且,解码器382将数据5407作为输入,输出解码后的数据(影像、声音)383、395。并且,解码后的数据(影像、声音)383、395、数据5407经由连接部5801而被传输给显示装置5803(另外,连接5802可以是无线、有线中的任一个。),显示装置5803显示第二影像(另外,也可以从扬声器放出第二声音)。
此外,设为与“第一影像及/或声音的信息”关联的数据经由连接部5404而到达显示装置5306。(另外,连接5305可以是无线、有线中的任一个。)显示装置5306显示第一影像(另外,也可以从扬声器放出第一声音)。
如上述的例子那样,也可以在显示装置5803中显示第一影像、第二影像中的某一个,此外,显示装置5306也可以显示第一影像、第二影像中的某一个。关于显示方法,例如通过控制信号5401进行控制即可。
另外,在控制信号5401中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示装置5803中的情况那样的控制信息。此外,在控制信号5401中,也可以包含用于调整显示装置5803和显示装置5306的显示定时的控制信息。
此外,在图58的情况下,显示装置5308具有影像的解码器。
图59表示图42等的终端中的显示部周边的结构的一例,关于与图3、图42、图55同样地进行动作的部件,赋予同一标记。
在终端具备图59的结构的情况下,显示装置5903实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
并且,显示装置5510实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
解码器382将数据381、控制信号5504作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第一影像及/或声音的信息”的解码后的影像数据作为图59的383而进行输出,将“第一影像及/或声音的信息”的解码后的声音数据作为图59的385而进行输出。
并且,信号383、385、4206经由连接部5901被传输给显示装置5903(另外,连接5902可以是无线、有线中的任一个)。
此外,由于控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第二影像及/或声音的信息”的解码后的影像数据作为图59的5501,将“第二影像及/或声音的信息”的解码后的声音数据作为图59的5502而进行输出。
并且,设为“第二影像及/或声音的信息”的解码后的影像数据作为图59的5501、以及“第二影像及/或声音的信息”的解码后的声音数据作为图59的5302,经由选择部5505、连接部5508而到达显示装置5510。(另外,连接5509可以是无线、有线中的任一个。)显示装置5510显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
解码器382将数据381、控制信号5504作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,设为解码器382例如将“第二影像及/或声音的信息”的解码后的影像数据作为图59的383而进行输出,将“第二影像及/或声音的信息”的解码后的声音数据作为图59的385而进行输出。
并且,信号383、385、4206经由连接部5901被传输给显示装置5903(另外,连接5902可以是无线、有线中的任一个)。
此外,由于控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中,因此设为解码器382将“第一影像及/或声音的信息”的解码后的影像数据作为图59的5501,将“第一影像及/或声音的信息”的解码后的声音数据作为图59的5502而进行输出。
并且,设为“第一影像及/或声音的信息”的解码后的影像数据作为图59的5501、以及“第一影像及/或声音的信息”的解码后的声音数据作为图59的5302,经由选择部5505、连接部5508而到达显示装置5510。(另外,连接5509可以是无线、有线中的任一个。)显示装置5510显示第一影像(另外,也可以从扬声器放出第一声音)。
解码器4205将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”、来自URL的信息4210、控制信号5504作为输入。
在控制信号5504表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息进行显示的情况下,输出显示画面的信息4206。
在控制信号5504表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示装置5510中的情况下,输出显示画面的信息5503。
选择部5505将信号5501、5502、5505、控制信号5504作为输入,基于控制信号5504,将在显示装置5510中显示的显示信息和从扬声器放出的声音的信息作为5506、5507而进行输出。
并且,信号5506、5507经由连接部5508被传输给显示装置5510。
如上述的例子那样,也可以在显示装置5510中显示多个画面,此外,也可以是终端向显示装置5306传输显示的一部分的信息,显示装置5306显示影像(或画面)。关于显示方法,例如通过控制信号5504进行控制即可。
另外,在控制信号5504中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示部384中的情况那样的控制信息。此外,在控制信号5504中,也可以包含用于调整显示部384和显示装置5510的显示定时的控制信息。
图60表示图42等的终端中的显示部周边的结构的一例,关于与图3、图42、图56同样地进行动作的部件,赋予同一标记。
在终端具备图56的结构的情况下,显示装置6003实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
并且,显示装置5510实施“显示第一影像”、“显示第二影像”、“显示第一影像以及第二影像这两者”、“显示{第一影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{第二影像}以及{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”、“显示{基于字符信息(电文信息)及/或静止图像信息及/或URL信息的显示画面}”中的某一个。
数据分离部(数据控制部)5602将数据381、控制信号5601作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5602例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第一影像及/或声音的信息”作为数据5603而进行输出,将与“第二影像及/或声音的信息”关联的数据作为数据5604而进行输出。
并且,解码器382将数据5407作为输入而进行解码,输出第一影像的数据383、声音数据385。
并且,设为与“第二影像及/或声音的信息”关联的数据经由选择部5608、连接部5611而到达显示装置5613。(另外,连接5612可以是无线、有线中的任一个。)显示装置5613显示第二影像(另外,也可以从扬声器放出第二声音)。
记载其他例。
数据分离部(数据控制部)5602将数据381、控制信号5601作为输入。并且,在控制信号5504表示将“第一影像及/或声音的信息”和“第二影像及/或声音的信息”显示在分别的显示部中的情况下,数据分离部(数据控制部)5602例如将数据381分离为与“第一影像及/或声音的信息”关联的数据和与“第二影像及/或声音的信息”关联的数据,将“第二影像及/或声音的信息”作为数据5603而进行输出,将与“第一影像及/或声音的信息”关联的数据作为数据5604而进行输出。
并且,解码器382将数据5407作为输入而进行解码,输出第二影像的数据383、声音数据385。
并且,设为与“第一影像及/或声音的信息”关联的数据经由选择部5608、连接部5611而到达显示装置5613。(另外,连接5612可以是无线、有线中的任一个。)显示装置5613显示第一影像(另外,也可以从扬声器放出第一声音)。
数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”、来自URL的信息4210、控制信号5601作为输入。
在控制信号5601表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示部384中的情况下,数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息作为信号5606而进行输出。
在控制信号5601表示将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息显示在显示装置5510中的情况下,数据分离部(数据控制部)5605将“包(或帧)处理后的字符信息(电文信息)及/或静止图像信息及/或URL信息的接收数据4204”或来自URL的信息4210中的某一个信息作为信号5607而进行输出。
选择部5608将信号5604、5607、控制信号5601作为输入,基于控制信号5601,将在显示装置5613中显示的显示信息和从扬声器放出的声音的信息作为5609、5610而进行输出。
并且,信号5609、5610经由连接部5611被传输给显示装置5613。
连接部5901与显示装置5903连接(5902),显示装置5903显示影像,且将声音从扬声器输出(另外,连接5902可以是无线、有线中的任一个)。
如上述的例子那样,也可以在显示装置5903中显示多个画面,此外,也可以是终端向显示装置5613传输显示的一部分的信息,显示装置5613显示影像(或画面)。关于显示方法,例如通过控制信号5601进行控制即可。
另外,在控制信号5601中,也可以包含能够切换如上述那样显示第一影像和第二影像的情况与如在其他实施方式中说明的那样将第一影像和第二影像显示在显示装置5903中的情况那样的控制信息。此外,在控制信号5601中,也可以包含用于调整显示装置5903和显示装置5613的显示定时的控制信息。
在上述的例子中,说明了终端能够与第一显示装置和第二显示装置连接的情况下的实施例,但此时,关于与上述的实施例不同的情况,也可以利用第一显示装置和第二显示装置这两者来显示两个影像。例如,也可以在第一显示装置中显示广播运营商发送的影像,将与该影像联动的影像、或字符信息、或静止图像(也可以附带字符)显示在第二显示装置中。此外,也可以在第二显示装置中显示广播运营商发送的影像,将与该影像联动的影像、或字符信息、或静止图像(也可以附带字符)显示在第一显示装置中。并且,也可以在数据传输时,适用在实施方式五中叙述的传输方法。
通过以上那样实施,能够得到如下效果:终端能够得到高的数据接收品质,且能够构筑灵活性高的广播系统(多播系统)。
当然广播站也可以采取本实施方式以外的发送方法,此时,广播站能够切换本实施方式的发送方法与本实施方式以外的发送方法来实施。
(补充1)
在本说明书之中,表现为“影像(及/或声音(音频)的信息)”,但在进行发送/接收的信息之中包含影像的信息成为前提的状况成为主要的实施方式。
在本说明书之中,记载为“声音”,但“声音”为音频、声响等也能够同样实施。
在本说明书之中,作为终端的接收装置的结构,例如在图3、图28、图33、图37、图39、图42、图49、图52等中记载有显示部,但终端也可以不具备显示部。此时,例如作为终端考虑“具备输出影像及/或声音的数据的端子的终端”、“具备用于记录影像及/或声音的数据的存储部(硬盘、半导体存储器、盘)的终端”的结构(此时,作为影像及/或声音的数据,既可以是终端通过接收动作而得到的数据自身,也可以是终端对通过接收动作而得到的数据进行格式变换后的数据)。
此外,作为终端的接收装置的结构,例如在图3、图28、图33、图37、图39、图42、图49、图52等中记载有显示部,但在终端不具备显示部时,终端通过具备输出“影像及/或声音的数据”的输出部,并连接该输出部的显示装置,从而用户能够对影像及/或声音进行视听。
当然也可以将本说明书中说明的实施方式、其他内容组合多个而实施。
此外,关于各实施方式、其他内容只是例子,例如即使例示了“调制方式、纠错编码方式(所使用的纠错码、码长、编码率等)、控制信息等”,在适用了其他“调制方式、纠错编码方式(所使用的纠错码、码长、编码率等)、控制信息等”的情况下也能够以同样的结构来实施。
并且,在各包、各帧中,除了数据(信息)之外,也可以包含用于传输控制信息(与发送方法相关的信息等)的符号、用于实施解调的前同步码、导频符号、参考符号、单字(uniqueword)、后同步码(postamble)等符号(其中,这些符号也可以被任意命名,重要的是其功能自身)。
在本说明书中,广播站通过无线传输数据,此时的发送方法可以是任意的发送方法,使用基于单载波的发送方法、OFDM(正交频分复用)方式那样的多载波传输方法、使用了谱扩散通信方式的传输方法、进行预编码、时空间(或时间-频率)编码(例如时空间块编码(space-timeblockcodes))的处理而使用同一时刻/同一频率发送多个调制信号的传输方法等发送方法。此外,广播站也可以利用使用线缆等有线传输数据的方法。
在本说明书中,以通过有线来传输电通信线路运营商的发送装置发送的数据的情况为例进行说明,但也可以是通过无线传输数据的方法。此外,也可以是使用基于有线的传输和基于无线的传输这两者的方式。
在本说明书中,也可以是终端的接收装置和天线分别存在的结构。例如,接收装置具备将由天线接收到的信号、或对由天线接收到的信号实施了频率变换后的信号通过线缆而输入的接口,接收装置进行之后的处理。
此外,接收装置得到的数据/信息之后被变换为影像、声音,在显示器(监视器)中显示,或声音从扬声器被输出。进而,接收装置所得到的数据/信息也可以被实施与影像、声音相关的信号处理(也可以不实施信号处理),从接收装置所具备的RCA端子(影像端子、音用端子)、USB(通用串行总线)、HDMI(注册商标)(高清晰度多媒体接口)、HDMI(注册商标)2.0数字用端子等输出。
在本说明书中,认为具备接收装置的是电视、收音机、终端、个人计算机、便携电话、接入点、基站等通信设备。此外,本申请中的发送装置、接收装置是具有通信功能的设备,还可以想到该设备能够与电视、收音机、个人计算机、便携电话等用于执行应用的装置经由某种接口而连接的方式。
另外,本申请不限定于各实施方式,能够进行各种变更而实施。例如,在各实施方式中,说明了作为通信装置实施的情况,但不限于此,还能够将该通信方法作为软件实施。
发送装置的发送天线、接收装置的接收天线皆为:附图所记载的一个天线也可以由多个天线构成。
另外,例如也可以将执行上述通信方法的程序预先储存在ROM(只读存储器,ReadOnlyMemory)中,使该程序通过CPU(中央处理单元,CentralProcessorUnit)进行动作。
此外,也可以将执行上述通信方法的程序储存在计算机能够读取的存储介质中,将在存储介质中储存的程序记录在计算机的RAM(随机存取存储器,RandomAccessMemory)中,使计算机按照该程序进行动作。
并且,上述的各实施方式等的各结构典型地也可以作为集成电路即LSI(大规模集成电路,LargeScaleIntegration)而实现。它们既可以分别单芯片化,也可以以包含各实施方式的全部结构或一部分结构的方式被单芯片化。
在此,设为LSI,但根据集成度的差异,有时也被称呼为IC(集成电路,IntegratedCircuit)、系统大规模集成电路(LSI)、超大规模集成电路,特大规模集成电路。此外,集成电路化的方法不限于LSI,也可以通过专用电路或通用处理器来实现。也可以利用在LSI制造后能够编程的FPGA(现场可编程门阵列,FieldProgrammableGateArray)、能够重构LSI内部的电路单元的连接和设定的可重构处理器。
进而,若由于半导体技术的进步或衍生的其他技术作为置换LSI的集成电路化的技术登场,则当然也可以使用该技术进行功能块的集成化。有可能存在适用生物技术等的可能性。
(补充2)
另外,在上述的实施方式一至三中,举出了广播站以及电通信运营商分别通过1个或多个路径(发送介质)传输内容的情况为例进行了说明,但例如在广播站使用多个发送介质发送内容的情况、电通信运营商经由多个路径传输内容的情况下,显然也能够适用在上述的实施方式一至三中说明的发送定时的控制。
例如,既可以是电通信运营商#1和电通信运营商#2通过多个路径(发送介质)传输内容,也可以是广播站#1和广播站#2通过多个路径(发送介质)传输内容。另外。将发送站设为2个,但也可以是这以上的数量的广播站通过多个路径(发送介质)传输内容。
此外,例如也可以在电通信运营商(发送站、基站)通过包含第一路径和第二路径的相互不同的多个路径发送内容的情况下,电通信运营商所拥有的发送装置根据从发送装置发送数据起至经由第一路径到达终端为止的第一时间和从发送装置发送数据起至经由第二路径到达终端为止的第二时间的差分,控制通过第一路径发送的包组和通过第二路径发送的包组中的某一个或双方的发送定时(也就是说,也可以使用多个通信路径,且进行时分(其中,也可以是至少一部分包同时被发送),包组到达终端。其中,包组如本说明书所示,包含表示进行包等级下的纠错编码、或不进行包等级下的纠错编码的信息)。
在此,只要第一路径和第二路径中至少路径上的一部分不同,则也可以是路径上的其他部分相同。此外,在由于一部分中继装置间使用相互不同的传输介质、相互不同的协议,而在从发送装置发送数据起至到达终端为止的时间中产生差异的情况下,即使路径上的装置都相同,也可以看作是相互不同的路径,并进行发送定时的控制。
另一方面,即使在实际上经由不同的中继装置,但从发送装置发送数据起至到达终端为止的时间的差异小的情况下,也可以将它们作为同一路径对待。例如,尽管实际上经由3个以上的路径进行内容的传输,但能够将该3个以上的路径分类为从发送装置发送数据起至到达终端为止的时间被包含于第一范围的第一组、以及从发送装置发送数据起至到达终端为止的时间被包含于与第一范围不同的第二范围的第二组的情况下,也可以将第一组以及第二组分别看作第一路径以及第二路径,进行发送定时的控制。
此外,对第一路径发送包组的发送装置与对第二路径发送包组的发送装置既可以相同,也可以不同。
由此,能够抑制同步再现的内容发生紊乱。此外,能够削减终端中的电路的规模。
此外,在上述的实施方式一至三中,举出了广播站以及电通信运营商分别发送由多个摄像机拍摄到的多角度的第一影像和第二影像的情况为例进行说明,但所发送的内容不需要是多角度的第一影像和第二影像,只要需要对通过各自的路径传输的数据进行同步再现,则通过进行在实施方式一至三中说明的发送定时的控制,就能够得到抑制同步再现的内容发生紊乱的效果。
例如,既可以是同步再现的声音和影像分别通过不同的路径而传输,也可以将对影像进行编码而生成的编码数据分离为第一流和第二流,分离后的第一流和第二流分别通过不同的路径而发送。在此,既可以是第一流包含能够单独作为低品质的影像而再现的第一层级的编码数据,而第二流包含能够与第一层级的编码数据组合而作为高品质的影像而再现的第二层级的编码数据,也可以是第一流和第二流都包含需要与另一方的流中包含的编码数据组合而再现的编码数据。此外,也可以是第二流包含与第一流所包含的编码数据的至少一部分相同的编码数据。
另外,在本补充2中说明的发送定时的控制方法中,显然也可以组合实施方式四至六中的某一个或多个而实施。
另外,在本申请中,以通过多播提供的服务的例子为中心进行了说明,但显然能够适用于通过单播提供的服务。也就是说,也可以由多个电通信运营商将包组通过多个路径而发送,此时也可以由终端对各电通信运营商进行反馈,电通信运营商受理包的重发的请求。
工业实用性
本申请例如在广播通信协同服务中传输品质好的影像的信息时是有用的。
标记说明:
102A、102B摄像机
103广播站
104电通信线路运营商
105终端

Claims (2)

1.一种发送被同步显示的广播内容和线路内容的方法,
根据存放了所述线路内容的多个线路数据包,生成线路奇偶校验包;
将所述线路数据包以及所述线路奇偶校验包经由通信线路发送;
将存放了所述广播内容的多个广播数据包从基站使用广播波进行发送,所述广播内容的送出时刻与线路内容的送出时刻相比延迟规定的时间。
2.一种接收被同步显示的广播内容和线路内容并进行再现的方法,
经由通信线路接收存放了所述线路内容的线路数据包、以及根据所述线路数据包生成的线路奇偶校验包;
经由广播波接收存放了所述广播内容的广播数据包,所述广播内容的送出时刻与所述线路内容的送出时刻相比延迟规定的时间;
在所述线路数据包的一部分没有被接收到的情况下,使用所接收到的所述线路数据包以及所述线路奇偶校验包进行包等级的解码,生成没有接收到的所述线路数据包;
对所述广播内容以及线路内容进行解码并同步显示。
CN201480055236.3A 2013-10-31 2014-10-28 一种发送被同步显示的广播内容和线路内容的方法及内容再现方法 Active CN105612757B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-227397 2013-10-31
JP2013227397 2013-10-31
JP2014000902 2014-01-07
JP2014-000902 2014-01-07
PCT/JP2014/005437 WO2015064082A1 (ja) 2013-10-31 2014-10-28 パケット送信方法、コンテンツ再生方法、パケット送信システム及び端末

Publications (2)

Publication Number Publication Date
CN105612757A true CN105612757A (zh) 2016-05-25
CN105612757B CN105612757B (zh) 2020-06-23

Family

ID=53003711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055236.3A Active CN105612757B (zh) 2013-10-31 2014-10-28 一种发送被同步显示的广播内容和线路内容的方法及内容再现方法

Country Status (5)

Country Link
US (5) US9967602B2 (zh)
EP (3) EP3985985A3 (zh)
JP (5) JP6576827B2 (zh)
CN (1) CN105612757B (zh)
WO (1) WO2015064082A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160021515A1 (en) * 2014-07-18 2016-01-21 Samsung Electro-Mechanics Co., Ltd. Electronic shelf label gateway, electronic shelf label system and communications method thereof
US11606264B2 (en) * 2021-03-24 2023-03-14 Cisco Technology, Inc. Application of network layer FEC during predicted network events

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702667A (zh) * 2009-11-19 2010-05-05 杭州竞天数码科技有限公司 一种基于多个网络模式的多信道同步工作方法
CN102036123A (zh) * 2009-09-27 2011-04-27 科腾科技(北京)有限公司 用于单频网络数字广播电视系统的同步方法及系统
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10178419A (ja) * 1996-12-18 1998-06-30 Nippon Telegr & Teleph Corp <Ntt> 誤り訂正方法および装置
US20050249240A1 (en) * 2002-06-11 2005-11-10 Boyce Jill M Multimedia server with simple adaptation to dynamic network loss conditions
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP2004266741A (ja) * 2003-03-04 2004-09-24 Sony Corp 配信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
JP4328602B2 (ja) * 2003-11-20 2009-09-09 富士通株式会社 パケットエラー訂正装置及び方法
US7328393B2 (en) * 2004-04-13 2008-02-05 Cisco Technology, Inc. Forward error correction in packet networks
JP4500137B2 (ja) * 2004-09-07 2010-07-14 日本放送協会 パリティ時差送信システム、送信装置、及び受信装置
GB2440979A (en) * 2006-08-18 2008-02-20 Siemens Ag Achieving coding gain in soft handover using incremental redundancy and bit mapping techniques
JP4597927B2 (ja) * 2006-08-30 2010-12-15 日本テレビ放送網株式会社 放送中継システム及びその方法
JP4570602B2 (ja) * 2006-10-05 2010-10-27 株式会社タイトー 画像代替表示法,画像代替表示システムおよび該システムに用いる端末装置
KR101405975B1 (ko) * 2007-07-23 2014-06-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5027305B2 (ja) * 2007-09-12 2012-09-19 デジタル ファウンテン, インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US8145975B2 (en) * 2008-02-28 2012-03-27 Ip Video Communications Corporation Universal packet loss recovery system for delivery of real-time streaming multimedia content over packet-switched networks
KR101558562B1 (ko) * 2008-05-26 2015-10-07 엘지전자 주식회사 터보코드를 이용한 데이터 전송장치 및 방법
EP2214340A1 (en) * 2009-01-30 2010-08-04 Panasonic Corporation HARQ operation for macro-diversity transmissions in the downlink
EP2449708A4 (en) * 2009-07-03 2014-08-27 Nokia Corp METHOD, APPARATUS AND SERVICE FOR TRANSMITTING MEDIA
FR2949931B1 (fr) * 2009-09-10 2011-08-26 Canon Kk Procedes et dispositifs de transmission d'un flux de donnees, produit programme d'ordinateur et moyen de stockage correspondants.
WO2011030477A1 (ja) * 2009-09-11 2011-03-17 パナソニック株式会社 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
US8516333B1 (en) * 2009-11-19 2013-08-20 Viasat, Inc. Pre-interleaving for forward error correction codes
US8839078B2 (en) * 2010-03-05 2014-09-16 Samsung Electronics Co., Ltd. Application layer FEC framework for WiGig
JP5578618B2 (ja) 2010-11-08 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、送信装置、受信方法および受信装置
JP5578619B2 (ja) 2010-12-10 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信装置および受信装置
JP6018799B2 (ja) * 2011-05-20 2016-11-02 日本放送協会 放送通信連携システム
WO2012161129A1 (ja) * 2011-05-20 2012-11-29 日本放送協会 放送通信連携システム、アプリケーション管理サーバー、受信機、受信機における受信方法、および、アプリケーション管理サーバーにおけるアプリケーション管理方法
JP6043089B2 (ja) * 2011-05-20 2016-12-14 日本放送協会 放送通信連携受信装置
JP2013031556A (ja) 2011-08-02 2013-02-14 Daikoku Denki Co Ltd 遊技機用電源ユニット
EP2750309A4 (en) 2011-08-26 2015-07-15 Japan Broadcasting Corp RECEIVERS AND RECEIVER PROCEDURES
JPWO2013061526A1 (ja) * 2011-10-26 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 放送受信装置、放送受信方法およびプログラム
KR20150027891A (ko) * 2013-08-30 2015-03-13 삼성전자주식회사 전자 장치들을 이용한 콘텐트 표현 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036123A (zh) * 2009-09-27 2011-04-27 科腾科技(北京)有限公司 用于单频网络数字广播电视系统的同步方法及系统
CN101702667A (zh) * 2009-11-19 2010-05-05 杭州竞天数码科技有限公司 一种基于多个网络模式的多信道同步工作方法
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKITSUGU BABA等: "Seamless, Synchronous, and Supportive: Welcome to Hybridcast:An Advanced Hybrid Broadcast and Broadbrand System", 《IEEE CONSUMER ELECTRICS MAGAZINE》 *

Also Published As

Publication number Publication date
JP6576827B2 (ja) 2019-09-18
JP6785928B2 (ja) 2020-11-18
EP3065412A1 (en) 2016-09-07
EP3657809B1 (en) 2021-12-08
EP3065412A4 (en) 2016-09-07
US20180227613A1 (en) 2018-08-09
US20230247242A1 (en) 2023-08-03
EP3985985A2 (en) 2022-04-20
US20220248070A1 (en) 2022-08-04
US20210152861A1 (en) 2021-05-20
US11350146B2 (en) 2022-05-31
US9967602B2 (en) 2018-05-08
JP2020010356A (ja) 2020-01-16
JP7092844B2 (ja) 2022-06-28
EP3065412B1 (en) 2020-08-05
WO2015064082A1 (ja) 2015-05-07
JP7397916B2 (ja) 2023-12-13
US10945010B2 (en) 2021-03-09
US20160234540A1 (en) 2016-08-11
US11653045B2 (en) 2023-05-16
JPWO2015064082A1 (ja) 2017-03-09
EP3657809A1 (en) 2020-05-27
JP2024019272A (ja) 2024-02-08
CN105612757B (zh) 2020-06-23
EP3985985A3 (en) 2022-05-04
JP2022121493A (ja) 2022-08-19
JP2021016181A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
US11457098B2 (en) Transmitting apparatus, receiving apparatus, and signal processing method thereof
CN101263716B (zh) 以多显示格式分送和/或播放多播的视频信号的系统和方法
KR102176714B1 (ko) 송신 장치, 수신 장치 및 그 신호 처리 방법
CN106210884B (zh) 视频文件的转码方法和装置
CN1859579B (zh) 传输多媒体数据流的设备和方法
TW201131994A (en) Digital broadcast transmitter, digital broadcast receiver, and methods for configuring and processing streams thereof
CN103650431B (zh) 视频数据传输方法及装置
CN101536532A (zh) 用于在多媒体流式传输中组装前向纠错帧的方法和设备
KR101416062B1 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
CN102860030A (zh) 家庭多媒体网络中的视频管理和控制
CN102572520A (zh) 图像处理设备、图像再现设备以及图像再现系统
CN108347492B (zh) 再现装置以及再现方法
WO2021209034A1 (zh) 一种数据传输的方法及通信装置
JP7397916B2 (ja) 受信方法および端末
CN102143166A (zh) 一种基于光栅的多视点立体手机视频处理方法
JP6535718B2 (ja) ストリーミングサービスを提供する方法及び装置
CN107438990A (zh) 多层定时同步框架
GB2506349A (en) Transmitting and receiving uncompressed video data components, organised into packets comprising bits of the same significance
CN105260131A (zh) 内容处理装置及其内容处理方法
CN1829324A (zh) 信号处理装置和流处理方法
CN102595162A (zh) 图像处理设备、图像处理方法和程序
CN107332644A (zh) 信号帧构造方法、装置、系统及计算机可读存储介质
CN103281586A (zh) Dvb-c电视信号的实时监控系统
WO2014176949A1 (zh) 图像的传输方法及装置
Sachin et al. FPGA implementation of multichannel satellite modulator: An efficient data buffering technique

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant