CN102696232B - 用于实现传输间隙的传输层修改 - Google Patents

用于实现传输间隙的传输层修改 Download PDF

Info

Publication number
CN102696232B
CN102696232B CN201180005318.3A CN201180005318A CN102696232B CN 102696232 B CN102696232 B CN 102696232B CN 201180005318 A CN201180005318 A CN 201180005318A CN 102696232 B CN102696232 B CN 102696232B
Authority
CN
China
Prior art keywords
transmission stream
empty
white space
time window
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180005318.3A
Other languages
English (en)
Other versions
CN102696232A (zh
Inventor
V·R·拉维德兰
P·K·伯汉米迪帕提
J·T·德特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102696232A publication Critical patent/CN102696232A/zh
Application granted granted Critical
Publication of CN102696232B publication Critical patent/CN102696232B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4346—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream involving stuffing data, e.g. packets or bytes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种白空间设备可操作用于在白空间上传达信息，尤其使发射机静默从而能感测白空间中的信号。一种用于使白空间通信设备中的发射机不引人注意地静默的方法修改供该白空间设备的发射机传送的传输流以提供空元时间窗。该空元窗不包含实质信息。由白空间设备的发射机传送经修改的传输流的至少一部分。发射机在空元窗期间被静默，并在空元窗期间执行白空间感测。

Description

用于实现传输间隙的传输层修改
相关申请的交叉引用
本申请要求以下临时专利申请的权益：1)2010年1月5日提交的美国临时专利申请No.61/292,389；2)2010年1月26日提交的美国临时专利申请No.61/298,491；和3)2010年3月2日提交的美国临时专利申请No.61/309,525，以上公开通过全文引用明确包括于此。
背景
领域
本公开一般涉及可操作用于在白空间上传达信息的白空间设备，尤其涉及用于在白空间中操作发射机和感测器的系统和方法。
背景
联邦通信委员会(FCC)是美国政府的独立机构，负责管制对无线电频谱的所有非联邦政府使用(包括无线电和电视(TV)广播)、以及所有洲际电信(有线、卫星和缆线)和所有始发或到达美国的国际通信。在2008年，FCC颁布了批准未使用TV信道(即，白空间)中的无执照信号操作的条例。然而，此批准的无执照使用是以为TV频带的主要用户适当设置的保护为前提的。TV频带的主要用户是诸如TV广播公司之类的ATSC/国家电视系统委员会(NTSC)发射机、以及有执照无线话筒。新条例允许无线技术使用白空间，只要该技术以及任何导致的信号传输不干扰现有的主要用户。因此，需要周期性感测以检测其他信号。出于本公开的目的，利用此类技术来接入此白空间的各种设备将被称为“白空间设备”、“无执照设备”、等等。
向电视(TV)以及其他监视器和显示器无线递送内容是合需的。作为一个示例，在一些情形中从用户设备递送内容以在TV设备上输出是合需的。例如，与许多TV设备输出能力相比，诸如移动电话、个人数字助理(PDA)、媒体播放器设备(例如，苹果IPOD设备、其他MP3播放器设备等)、膝上型计算机、笔记本计算机等许多便携式用户设备具有受限/受约束的输出能力，诸如较小的显示器尺寸等。如果视频内容能被递送从而在TV设备上输出，那么例如希望在便携式用户设备上观看视频的用户可能获得改善的多媒体体验。相应地，在接收(例如，观看和/或收听)内容时，用户在一些情形中可能希望在白空间上从用户设备递送该内容以供在具有ATSC调谐器的监视器(例如，HDTV设备)上输出从而得到改善的多媒体体验。然而，在白空间上对电视设备的传输需要进行将会干扰多媒体体验的感测。
概述
本公开一般涉及可操作用于在白空间上传达信息的白空间设备，尤其涉及用于不明显地使发射机静默以感测白空间中的其他信号的系统和方法。在本公开的一个方面，一种用于使白空间通信设备中的发射机不引人注意地静默的方法包括修改供该白空间通信设备的发射机传送的传输流以提供空元时间窗。该空元窗不包含实质信息。由白空间通信设备的发射机传送经修改的传输流的至少一部分。在空元窗期间使发射机静默，并在空元窗期间进行白空间感测。
在另一方面，白空间设备具有配置成经由白空间传送传输流中的多媒体信息的发射机。白空间设备还具有配置成感测白空间中存在的信号的白空间感测器。白空间设备还具有配置成处理传输流以包括空元时间窗的传输层流处理器。该空元窗不包含实质信息。
在又一方面，白空间设备具有用于经由白空间传送传输流中的多媒体信息的装置。该设备还具有用于感测白空间信号的装置。白空间设备还具有用于用传输层信息修改传输流以包括空元时间窗的装置。该空元窗不包含实质信息。
在又一方面，一种计算机可读介质其上记录有用于使白空间设备的发射机不引人注意地静默的程序代码。该程序代码包括用于用传输层信息修改供白空间设备的发射机传送的传输流以包括空元时间窗的程序代码。该空元窗不包含实质信息。该程序代码还包括用于传送经修改的传输流的程序代码。
附图简述
为了更全面地理解本公开，现在结合附图参阅以下描述。
图1是可在其中实现本公开的实施例的示例性系统的示图。
图2A示出了可形成用于传送多媒体内容的原始传输流(TS)结构的示例，以及图2B示出了可根据本公开的实施例形成的经修改的TS结构的示例。
图3是根据本公开的一个方面的用于延迟节目时钟参考(PCR)的示例性系统的示图。
图4是根据本公开的一个方面的示例性复用的示图。
图5示出根据本公开的一个方面的示例性操作流。
详细描述
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何实施例不必被解释为优于或胜过其他实施例。
白空间设备一般指代在电视频带中的未使用频谱上通信的无执照无线收发机。这些设备一般以认知方式进行操作，在这种方式下设备首先进行扫描以检测来自有执照主要用户的TV频带信号(例如，高级电视系统委员会(ATSC)、国家电视系统委员会(NTSC)、及某些无线话筒协议)并随后选择未使用信道以避免干扰有执照信号。
白空间设备可以与用户设备通信地耦合或者集成在用户设备内，并且白空间设备因此可在白空间上将信息(例如，多媒体内容)从用户设备递送至TV接收机设备(例如，HDTV设备)。在本文对白空间设备的示例性实现作了进一步描述。然而，此类白空间设备的各种实现都是可能的，能操作用于在白空间上从用户设备递送信息的白空间设备的任何实现皆落在本公开的范围内。
为了白空间设备能在白空间中工作，执行一些感测(例如，以标识/确认TV频带中可用的未使用“白空间”)。因此，白空间设备使其发射机在周期性时间区间里静默，在此期间该设备可执行感测。在一个实施例中，“静默”包括关闭发射机，而在其他实施例中，静默包括对传输滤波、将发射切换至不发生干扰的频率或者准许进行感测的其他某个动作。
期望采用一种以不影响/降级(或者减小/最小化影响/降级)正在传送的传输流的质量(例如，以使得用户能有高质量的音频/视觉体验)的方式使发射机静默的方法。换言之，不引人注意地使发射机静默是合需的。这对于涉及视频、音频和/或其他内容的实时传输/流送的应用可能是特别合需的，诸如在用户希望从便携式用户设备递送多媒体视频内容以在TV设备(例如，HDTV设备)上输出以改善多媒体体验的情形中。
本公开的实施例涉及使白空间设备的发射机静默以感测白空间信号。该静默是以减小或最小化对白空间设备输出的所传送传输流(例如，运动图像专家组(MPEG)-2传输流(TS)、实时传输协议(RTP)传输流、以及传输控制协议(TCP)流)的降级的方式来执行的。此外，常常必须使发射机周期性地静默以允许白空间设备执行感测，并且期望以一种减小或最小化白空间设备正在传送的传输流中所含内容的传输的降级(例如，正在传送以供显示的音频/视觉信息的实时流送具有减小或最小的中断)的方式使发射机静默。
如本文进一步讨论的，可采用各种技术来管理内容(例如，多媒体内容)的流送，从而允许有某些时间帧可供用于不引人注意地使发射机静默(即，正在接收HDTV设备上显示的音频/视觉信息具有减小或最小的中断)。这在本文一般被称为“不引人注意的”发射机静默。
如在下文进一步讨论的，本公开的实施例提供了修改传输流以在白空间设备内进行不引人注意的发射机静默的各种实现。其公开通过全文引用明确包括于此的相关美国专利申请号______(代理人案号100702)记载了用于在白空间设备内进行不引人注意地使发射机静默的示例性应用层技术。本文描述的实施例提供用于修改传输流以在白空间设备内进行不引人注意地使发射机静默的示例性技术，如下文进一步描述的。
图1是可在其中实现本公开的实施例的示例性系统100的示图。系统100包括可被称为“主机”设备的示例性用户设备101。在图1中以框图形式示出了用户设备101的示例性实现。在所示的示例中，用户设备101被示为移动设备，但在其他实施例中，用户设备101无须是移动设备。示例性用户设备101一般包括一个或多个处理器，诸如媒体处理器104、显示处理器105、和/或音频输出处理器106，且用户设备101可具有嵌入式输入/输出设备，诸如嵌入式显示器107和嵌入式扬声器108。当然，用户设备101可在给定实现中被不同地配置(例如，包括与图1中所示的相比不同和/或附加的功能块)，且任何此类实现皆在本公开的范围内。
用户设备101一般可操作用于生成内容，该内容可经由其嵌入式输出设备(例如，嵌入式显示器107和扬声器108)输出。在本领域中公知有各种类型的内容在用户设备上输出，且任何此类内容可在给定应用中在用户设备101上输出。例如，多媒体播放器应用可能正在用户设备101上执行以输出多媒体内容(例如，电影等)。当然，在用户可能正经由用户设备101与之交互的给定应用中，可输出诸如文本内容和/或其他图形/图像和/或音频内容(例如，电子邮件内容、web浏览内容、视频游戏内容、字处理内容等)其他内容。
用户可能正经由诸如定点设备(例如，鼠标)、游戏棒、键盘、触摸屏接口、话筒等一个或多个人类接口输入设备(未在图1中示出)向用户设备101输入信息(例如，用于与在其上执行的应用进行交互)。在一些实例中，此类用户输入信息可导致一些输出被生成或修改。例如，用户鼠标移动的输入可导致用户设备101的嵌入式显示器107上的指针的相应移动。
示例性系统100中还包括白空间设备102，其示例性实现在图1中以框图形式示出。白空间设备102与用户设备101通信地耦合以从此类用户设备101接收信息。在一个实施例中，白空间设备102是与用户设备101通信地耦合的独立设备，可被称为“硬件钥(dongle)”。白空间设备102可经由USB连接、PCIe接口、或允许白空间设备102从用户设备101捕捉信息的任何合适方式来耦合，如本文进一步讨论的。例如，白空间设备102可经由任何合适类型的有线连接、或者经由诸如无线USB(WUSB)、蓝牙、802.11等无线通信连接来与用户设备101通信地耦合。
白空间设备102从用户设备101捕捉信息。例如，所捕捉的信息包括将经由输出设备输出的内容，诸如图1中所示的“视频输出”126和/或“音频输出”127。如本文进一步讨论的，在某些实施例中白空间设备102还可捕捉诸如“人类接口设备”(HID)数据之类的其他信息，例如用户输入的命令(例如，鼠标移动、游戏棒移动、键盘输入、和/或经由人类接口设备接收到的其他命令)。白空间设备102可操作用于由发射机116经由白空间在无线通信123上无线地传送从用户设备101捕捉的信息，从而例如允许从用户设备101捕捉的内容(例如，多媒体内容)将由诸如具有ATSC调谐器的监视器之类的设备接收和输出，例如如图1中所示的高清电视(HDTV)103。
在图1所示的示例中，白空间设备102在白空间信道上向空中传送高级电视系统委员会(ATSC)信号，由此实际充当电视台发射机。因此，如以框图形式示出的，图1的示例性白空间设备102包括ATSC基带处理器和发射机109。如本领域已知的，ATSC与公知的MPEG-2传输流(TS)相兼容，因此示例性白空间设备102包括用于将从用户设备101捕捉到的信息进行编码的音频/视频解码器111，例如MPEG-2/AC-3。经编码的数据经由复用器150被传送至传输编码器112，例如MPEG-2TS编码器。随后，传输流分组被发送至RF传输系统113(和发射机(例如天线)116)以供经由白空间123进行无线传输。
HDTV103包括嵌入式无线接收机124和ATSC调谐器/接收机(例如，常规电视调谐器)125以使其能接收并处理ATSC信号(例如，MPEG-2TS)以输出至HDTV设备103的显示器和/或扬声器。
图1的示例性白空间设备102还包括控制模块110，其具有用于感测白空间(例如，用于感测TV白空间内的信号)的白空间频谱感测器120。此类感测器120周期性地执行感测以确定可用的白空间。在需要维持白空间设备在所确定的可用白空间内的传输时，频率管理器逻辑118可对信道进行调整。如本文进一步讨论的，提供了不引人注意地使发射机116静默以使得感测器120能在此类静默期间执行其感测从而改善正在执行的感测的质量的实施例。
当然，ATSC仅是白空间设备102可以采用的电视传输标准集的一个示例，在其他实施例中，可采用诸如ATSC标准、数字视频广播(DVB)标准、综合业务数字广播(ISDB)标准、数字多媒体广播(DMB)标准等各种电视标准中的任何标准来在白空间上传送媒体内容。
如上所提及的，图1的示例性白空间设备102将从用户设备101捕捉的信息转换成用于进行传送的MPEG-2传输流，后者与ATSC相兼容并因此能被HDTV103的ATSC接收机/调谐器125所接收和处理。
如本文进一步讨论的，可采用各种技术来管理音频/视觉信息的流送，从而允许有某些时间帧可供用于不引人注意地使(图1的)发射机116静默(即，正在接收HDTV设备103上显示的音频/视觉信息具有减小或最小的中断)。如下文进一步讨论的，提供了修改传输流以在白空间设备内进行不引人注意的发射机静默的各种实现。
示例性传输流修改实现。可采用通过传输流的修改来不引人注意地使白空间设备的发射机116静默的各种技术。例如，假定正在利用30帧每秒(fps)的传输流速率，这意味着每帧约为33ms。此外，假定在每一秒内需要10ms的窗用于(例如，由感测器120)感测白空间。白空间设备的发射机116将在此类10ms的感测窗里静默。因此期望管理来自白空间设备的发射机116的音频/视觉信息的流送，从而允许有此类10ms窗可供用于不引人注意地使发射机116静默(即，正经由无线通信进行传送以在接收HDTV设备103上显示的音频/视觉信息具有减小或最小的中断)。在一些实施例中，在不实际使发射机静默的情况下进行感测。
ATSC定义了可在某些实施例中供白空间设备102使用的一个频带的TV信号。为了传输，ATSC使用称为MPEG-2传输流(TS)的MPEG-2系统规范来封装数据，如上所讨论的。
下文讨论根据本公开的实施例的用于修改此类MPEG-2传输流以使得能不引人注意地使发射机静默的示例性实现。
示例性实现1(调整节目时钟参考(PCR)以准许空元分组的聚集)：可通过在传输流中发送空元分组来实现(例如，10ms的)感测窗。复用器150插入空元分组以构造所要求的带宽。可以在比如10ms的持续时段里没有实际数据被发送的方式来修改这些空元分组的位置。
图2A示出了可形成用于传送多媒体内容的原始传输流(TS)结构200的示例，以及图2B示出了可根据本公开的实施例形成的经修改的TS结构201的示例。如在图2B中所示的经修改的TS结构201中所示，复用器150将空元分组聚集并移至传输流内的预定位置，诸如示例性的经修改TS结构201中所示的示例性的经聚集空元分组202和203。控制模块110协调复用器150所进行的聚集，并且还将白空间设备102进行(例如，感测器120进行)的感测与传输流中经聚集的空元分组的(诸)预定位置的出现相同步。
然而，在该技术中，应注意修改视频和音频帧的每一帧中的节目时钟参考(PCR)以避免缓冲问题(例如，缓冲器下溢)。即，应适当地调整PCR戳(或者应增大帧缓冲器)以使得即使在数据分组早于其呈现时间戳(PTS)抵达时，也还是将其存储在缓冲器中并在恰适时间显示。
用于修改PCR戳的示例性实施例将参照图3来描述。控制模块110控制(基于系统时钟(未示出)的)静默时钟310以插入延迟分量Z。因此，来自节目时钟参考(PCR)305的信息在被插入到原始传输流结构200之前被延迟空元分组持续时间。经修改的PCR戳也被包括在由复用器150创建的经修改的传输结构201中。因此，解码器125将能够基于经修改的PCR戳来准确地处理收到的传输流。
示例性实现2(标识个体视频和音频帧并仅修改少量空元分组)：另一选择是标识传输流(TS)内的个体视频和音频帧并仅修改每一帧内的少量空元分组以使得PCR和PTS不显著改变。在此方法中，可使用有效载荷单元开始指示符来标识视频或音频帧的开始，并且仅从每一帧移除少量的预定数目个(例如，2个)空元分组。对于10ms的感测时段，假定TS帧速率为30(fps)，则控制模块110指令复用器150从TS移除130个空元分组并在每一秒末重新插入130个空元分组。控制模块110还将白空间设备102进行(例如，感测器120进行)的感测与在每一秒末的130个空元分组的出现相同步。
示例性实现3(在流中插入附加“哑元”节目)：另一用于确保在恰适时间具有预定数目个空元分组的选择是包括具有空元分组的附加节目(具有相应节目ID或“PID”)。如图4中可看到的，将附加节目401与主节目400以及与辅助数据和节目信息进行复用。在一个实施例中，附加节目401具有可变比特率。在另一实施例中，附加节目具有固定比特率。
复用器150接收被控制模块110以该特定空元分组总是位于预定位置处(例如，在每一秒末)的方式进行设计的高优先级数据流401。即，插入具有空元分组的高优先级“哑元”节目401(在此示例中为单节目传输流(SPTS))，以有效地改变多节目传输流(MPTS)402。通过使空元分组优先，实际数据一旦被复用将不会出现在该预定位置上，因为在该时间出现更高优先级的空元分组。此实现的潜在优势在于不影响实际视频和音频数据分组的PCR和PTS。在某些实施例中，此类所插入的节目的视频比特率可能改变/变化。
图5示出了根据本公开的一个实施例的用于使白空间通信设备(例如，图2的白空间设备102)中的发射机(例如，图1的发射机116)不引人注意地静默的示例性操作流。不引人注意的静默确保白空间设备102所提供的服务具有减小或最小的中断。
在框501，修改要由白空间通信设备的发射机传送的传输流以在该传输流内提供“空元”时间窗。此类空元窗不包含实质信息(即，不包含在接收设备处用于向用户呈现所需的有效载荷多媒体信息)。传输流可由白空间通信设备的处理元件来修改。例如，如上所讨论地，作为示例，传输流可由图1中所示的白空间设备102的控制模块110来修改。空元窗例如可位于传输流内预定的一(或多个)位置上，且(例如，由图1的感测器120进行的)白空间感测的执行可与空元窗的出现同步。
如上讨论地，可采用各种不同技术中的任何技术在框501中修改传输流。作为一个示例，可通过聚集传输流的定义时间区间(例如，一秒的时间区间)中存在的多个空元分组并使聚集的空元分组定位在传输流的该定义时间区间内预定的一(或多个)位置上，来形成空元窗。此类聚集空元分组并将聚集的空元分组定位在预定位置上可由例如图1中所示的白空间设备102的控制模块110来执行。如上所提及的，在此任选实施例中，还修改了存在于传输流的该定义时间区间中的至少一些多媒体帧中的节目时钟参考。
作为另一示例，修改传输流可包括标识传输流的定义时间区间中存在的个体多媒体帧并从每个传输流移除预定数目的空元分组。被移除的空元分组可被聚集，且经聚集的空元分组可被定位于该传输流的该定义时间区间内预定的一(或多个)位置上，由此形成空元窗。此类标识个体多媒体帧、从每个传输流移除预定数目的空元分组、聚集被移除的空元分组、并将经聚集的空元分组定位在该传输流内可以由例如图1中所示的白空间设备102的控制模块110来执行。
作为另一示例，可在传输流内预定的一(或多个)位置插入具有空元分组的附加节目，由此与在其处插入了该附加节目的预定位置相对应地形成空元窗。此类插入附加节目可以由例如图1中所示的白空间设备102的控制模块110来执行。
在框502，由白空间通信设备的发射机传送经修改的传输流的至少一部分。在一个实施例中，控制模块110在空元窗期间使发射机静默。换言之，发射机操作以确保可在空元窗期间感测到有执照ATSC信号和无线话筒信号而不受发射机的干扰。
在一种配置中，白空间设备(例如，图1的白空间设备102)具有配置成经由白空间传送传输流中的多媒体信息的发射机(例如，图1的发射机116)。白空间设备还具有配置成感测电视频带中存在的白空间信号的白空间感测器(例如，图1的感测器120)。白空间设备还具有配置成处理多媒体信息流以形成由发射机进行传送的传输流的传输流编码器112，该传输流内包括“空元”时间窗。空元窗不含需要传送的多媒体信息。
在一种配置中，白空间设备(例如，图1的白空间设备102)包括用于经由白空间传送传输流中的多媒体信息的装置。例如，此类用于传送的装置可以是(如图1中所示的)发射机116。该设备还包括用于感测白空间中的信号的装置。例如，此类用于感测的装置可以是(如图1中所示的)白空间感测器120。该设备还包括用于修改由发射机进行传送的传输流从而在传输流内提供“空元”时间窗的装置。空元窗不含需要传送的实质信息。例如，用于修改传输流的装置可以是控制模块110。
在一种示例性实现中，用于修改传输流的装置包括用于聚集传输流的定义时间区间中存在的空元分组的装置，和用于将经聚集的空元分组定位在传输流的该定义时间区间内的预定时间上由此形成空元窗的装置。例如，用于修改传输流的装置可以是控制模块110。
在另一种示例性实现中，用于修改传输流的装置包括用于修改传输流的定义时间区间中存在的至少一些多媒体帧中的节目时钟参考的装置。例如，用于修改传输流的装置可以是控制模块110。
在另外其他示例性实现中，用于修改传输流的装置包括：用于标识传输流的定义时间区间中存在的个体多媒体帧的装置；用于从每一帧移除预定数目的空元分组的装置；用于聚集被移除的空元分组的装置；以及用于将经聚集的空元分组定位在传输流的该定义时间区间内的预定时间上以形成空元窗的装置。例如，用于修改传输流的装置可以是控制模块110。
在又一示例性实现中，用于修改传输流的装置包括：用于将在预定时间上具有空元分组的附加节目复用到传输流中由此在该预定时间上形成空元窗的装置。例如，用于修改传输流的装置可以是复用器150。
本领域技术人员将可理解，信息和信号可使用各种不同技术和技艺中的任何技术和技艺来表示。例如，以上描述通篇引述的数据、指令、命令、信息、信号、比特、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。
本领域技术人员将进一步领会，结合本文公开所描述的各种解说性逻辑框、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为清楚地说明硬件与软件的这一可互换性，各种示例性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和强加于整体系统的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性，但此类设计决策不应被解读为导致脱离本公开的范围。
结合本文公开描述的各种解说性逻辑框、模块、以及电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文中描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或更多个微处理器、或任何其他此类配置。
结合本文公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。
在一个或更多个示例性设计中，所描述的功能可以在硬件、软件、固件、或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码手段且能被通用或专用计算机、或者通用或专用处理器访问的任何其他介质。同样，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤缆线、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
尽管已详细描述了本公开及其优点，但是应当理解，可在本文中作出各种改变、替代和变更而不会脱离如由所附权利要求所定义的本公开的技术。此外，本申请的范围无意被限定于说明书中所描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。如本领域的普通技术人员将容易从本公开领会到的，可以利用根据本公开的现存或今后开发的与本文所描述的相应实施例执行基本相同的功能或实现基本相同结果的过程、机器、制造、物质组成、装置、方法或步骤。相应地，所附权利要求旨在将这样的过程、机器、制造、物质组成、装置、方法或步骤包括在其范围内。

Claims (17)

1.一种用于使白空间设备中的发射机不引人注意地静默的方法，所述方法包括：
用传输层信息修改供所述白空间设备的所述发射机传送的传输流以包括空元时间窗；
在所述空元时间窗期间执行白空间感测；以及
由白空间设备的所述发射机传送经修改的传输流，
其中修改所述传输流还包括：
聚集所述传输流的定义时间区间中存在的多个空元分组；以及
将经聚集的多个空元分组定位在所述传输流的所述定义时间区间内的预定时间上，由此形成所述空元时间窗。
2.如权利要求1所述的方法，其特征在于，还包括：
在所述空元时间窗期间使所述发射机静默。
3.如权利要求1所述的方法，其特征在于，所述空元时间窗包括非实质信息。
4.如权利要求1所述的方法，其特征在于，所述定义时间区间是一秒钟区间。
5.如权利要求1所述的方法，其特征在于，修改所述传输流还包括：
修改与所述传输流的所述定义时间区间中存在的至少一个多媒体帧相关联的节目时钟参考。
6.如权利要求1所述的方法，其特征在于，修改所述传输流还包括：
标识所述传输流的定义时间区间中存在的个体多媒体帧；
从每一帧移除预定数目的空元分组；
聚集被移除的空元分组；以及
将经聚集的空元分组定位在所述传输流的所述定义时间区间内的预定时间上，由此形成所述空元时间窗。
7.如权利要求1所述的方法，其特征在于，修改所述传输流还包括：
将在预定时间上具有空元分组的附加的较高优先级节目与所述传输流复用，由此在所述预定时间上形成所述空元时间窗。
8.如权利要求1所述的方法，其特征在于，所述传输流包括运动图像专家组(MPEG)-2传输流、实时传输协议(RTP)传输流、以及传输控制协议(TCP)流。
9.一种白空间设备，包括：
发射机，被配置成经由白空间传送传输流中的多媒体信息；
白空间感测器，被配置成在空元时间窗期间感测所述白空间中存在的信号；以及
传输层流处理器，被配置成处理所述传输流以在预定时间上包括空元时间窗，所述空元时间窗不含实质信息，
其中所述传输层流处理器被进一步配置成：
聚集所述传输流的定义时间区间中存在的多个空元分组；以及
将经聚集的多个空元分组定位在所述传输流的所述定义时间区间内的预定时间上，从而形成所述空元时间窗。
10.如权利要求9所述的设备，其特征在于，所述发射机在所述空元时间窗期间被静默，且所述白空间感测器在所述空元时间窗期间进行感测。
11.如权利要求9所述的设备，其特征在于，所述传输层流处理器被进一步配置成：
修改与所述传输流的所述定义时间区间中存在的至少一个多媒体帧相关联的节目时钟参考。
12.如权利要求9所述的设备，其特征在于，所述传输层流处理器被进一步配置成：
标识所述传输流的定义时间区间中存在的个体多媒体帧；
从每一帧移除预定数目的空元分组；
聚集被移除的空元分组；以及
将经聚集的空元分组定位在所述传输流的定义时间区间内的预定时间上，从而形成所述空元时间窗。
13.如权利要求9所述的设备，其特征在于，所述传输层流处理器被进一步配置成：
将在预定时间上具有空元分组的附加节目复用到所述传输流中，从而在所述预定时间上形成所述空元时间窗。
14.一种白空间设备，包括：
用于经由白空间传送传输流中的多媒体信息的装置；
用于在空元时间窗期间感测白空间信号的装置；以及
用于用传输层信息修改所述传输流以在预定时间上包括空元时间窗的装置，所述空元时间窗不含实质信息，
其中所述用于修改的装置包括：
用于聚集所述传输流的定义时间区间中存在的多个空元分组的装置；以及
用于将经聚集的多个空元分组定位在所述传输流的所述定义时间区间内的预定时间上以形成所述空元时间窗的装置。
15.如权利要求14所述的设备，其特征在于，所述用于修改的装置包括：
用于修改与所述传输流的定义时间区间中存在的至少一个多媒体帧相关联的节目时钟参考的装置。
16.如权利要求14所述的设备，其特征在于，所述用于修改的装置包括：
用于标识所述传输流的定义时间区间中存在的个体多媒体帧的装置；
用于从每一帧移除预定数目的空元分组的装置；
用于聚集被移除的空元分组的装置；以及
用于将经聚集的空元分组定位在所述传输流的所述定义时间区间内的预定时间上以形成所述空元时间窗的装置。
17.如权利要求14所述的设备，其特征在于，所述用于修改的装置包括：
用于将在预定时间上具有空元分组的附加节目复用到所述传输流中从而在所述预定时间上形成所述空元时间窗的装置。
CN201180005318.3A 2010-01-05 2011-01-05 用于实现传输间隙的传输层修改 Expired - Fee Related CN102696232B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US29238910P 2010-01-05 2010-01-05
US61/292,389 2010-01-05
US29849110P 2010-01-26 2010-01-26
US61/298,491 2010-01-26
US30952510P 2010-03-02 2010-03-02
US61/309,525 2010-03-02
US12/984,032 US9319737B2 (en) 2010-01-05 2011-01-04 Transport layer modification to enable transmission gaps
US12/984,032 2011-01-04
PCT/US2011/020228 WO2011085005A1 (en) 2010-01-05 2011-01-05 Transport layer modification to enable transmission gaps

Publications (2)

Publication Number Publication Date
CN102696232A CN102696232A (zh) 2012-09-26
CN102696232B true CN102696232B (zh) 2016-07-06

Family

ID=44224515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005318.3A Expired - Fee Related CN102696232B (zh) 2010-01-05 2011-01-05 用于实现传输间隙的传输层修改

Country Status (6)

Country Link
US (1) US9319737B2 (zh)
EP (1) EP2522137B1 (zh)
KR (1) KR101501075B1 (zh)
CN (1) CN102696232B (zh)
TW (1) TW201143441A (zh)
WO (1) WO2011085005A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942606B2 (en) * 2010-01-05 2018-04-10 Qualcomm Incorporated Application layer modification to enable transmission gaps
US9923279B2 (en) * 2011-09-13 2018-03-20 Charter Communications Operating, Llc Antenna system with small multi-band antennas
US9408132B2 (en) * 2013-04-09 2016-08-02 Microsoft Technology Licensing, Llc Radio white space database discovery
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085750A2 (en) * 1999-09-14 2001-03-21 Matsushita Electric Industrial Co., Ltd. Reception system and digital broadcasting system
EP1562381A1 (en) * 2004-02-04 2005-08-10 Samsung Electronics Co., Ltd. Method for adjusting transmission rate of MPEG-2 data and apparatus therefor

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4079380A (en) * 1976-11-22 1978-03-14 Motorola, Inc. Null steering apparatus for a multiple antenna array on an FM receiver
JP3810918B2 (ja) 1998-02-23 2006-08-16 株式会社東芝 マルチメディアデータ中継装置及び方法
JP4214816B2 (ja) 2003-04-15 2009-01-28 パナソニック株式会社 メディア情報処理方法
CN1778108A (zh) * 2003-04-23 2006-05-24 松下电器产业株式会社 数据处理装置
US7227899B2 (en) * 2003-08-13 2007-06-05 Skystream Networks Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
JP4398752B2 (ja) * 2004-02-19 2010-01-13 株式会社エヌ・ティ・ティ・ドコモ 無線中継システム、無線中継装置及び無線中継方法
EP2333980A3 (en) 2004-10-13 2011-12-07 McMASTER UNIVERSITY Transmit power control techniques for wireless communication systems
US7228154B2 (en) * 2004-11-03 2007-06-05 Sony Corporation Method and system for processing wireless digital multimedia
KR20080021699A (ko) 2005-06-28 2008-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 스펙트럼 애자일 무선통신에 의한 시의 적절한스펙트럼-공유를 위한 시스템 및 방법
US7965771B2 (en) * 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
US7573907B2 (en) 2006-08-22 2009-08-11 Nokia Corporation Discontinuous transmission of speech signals
CN100561931C (zh) 2006-09-28 2009-11-18 中兴通讯股份有限公司 采用变长帧提高传送效率的移动多媒体广播系统及其方法
US8031618B2 (en) 2006-10-16 2011-10-04 Stmicroelectronics, Inc. Methods of RF sensing control and dynamic frequency selection control for cognitive radio based dynamic spectrum access network systems-cognitive dynamic frequency hopping
US8031807B2 (en) 2006-11-10 2011-10-04 Qualcomm, Incorporated Systems and methods for detecting the presence of a transmission signal in a wireless channel
US8879573B2 (en) 2006-12-01 2014-11-04 Microsoft Corporation Media access control (MAC) protocol for cognitive wireless networks
US7680459B2 (en) 2006-12-13 2010-03-16 Sony Ericsson Mobile Communications Ab FM transmission system and method
US8687563B2 (en) 2007-01-09 2014-04-01 Stmicroelectronics, Inc. Simultaneous sensing and data transmission
US8515473B2 (en) 2007-03-08 2013-08-20 Bae Systems Information And Electronic Systems Integration Inc. Cognitive radio methodology, physical layer policies and machine learning
US7733921B2 (en) * 2007-05-08 2010-06-08 Zenith Electronics Llc Packet jitter mitigation for bursty transmission systems
US20100254682A1 (en) 2007-12-06 2010-10-07 Takashi Masuno Image coder, video camera, integrated circuit, and image coding method
US8315645B2 (en) 2008-07-01 2012-11-20 Futurewei Technologies, Inc. System and method for scheduling of spectrum sensing in cognitive radio systems
US7899089B2 (en) * 2008-07-09 2011-03-01 Ericsson Television, Inc. Constant bit rate padding of MPEG transport streams
US20100172634A1 (en) * 2009-01-08 2010-07-08 Novafora, Inc. Content Distribution Systems and Methods
US8787324B2 (en) * 2009-02-27 2014-07-22 Koninklijke Philips N.V. Scheduling and protection of quiet periods in a quiet zone for incumbent signal detection
US8958475B2 (en) 2009-07-02 2015-02-17 Qualcomm Incorporated Transmitter quieting and null data encoding
US8373759B2 (en) * 2009-08-18 2013-02-12 Wi-Lan, Inc. White space spectrum sensor for television band devices
US9942606B2 (en) 2010-01-05 2018-04-10 Qualcomm Incorporated Application layer modification to enable transmission gaps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085750A2 (en) * 1999-09-14 2001-03-21 Matsushita Electric Industrial Co., Ltd. Reception system and digital broadcasting system
EP1562381A1 (en) * 2004-02-04 2005-08-10 Samsung Electronics Co., Ltd. Method for adjusting transmission rate of MPEG-2 data and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adaptive Scheduling of Spectrum Sensing Periods in Cognitive Radio Network;Anh Tuan Hoang ET AL;《Global Telecommunications Conference, IEEE Globecom 2007 proceedings》;20071101;第3128-3132页 *

Also Published As

Publication number Publication date
EP2522137B1 (en) 2014-12-03
US20110164176A1 (en) 2011-07-07
US9319737B2 (en) 2016-04-19
WO2011085005A1 (en) 2011-07-14
TW201143441A (en) 2011-12-01
KR101501075B1 (ko) 2015-03-10
EP2522137A1 (en) 2012-11-14
CN102696232A (zh) 2012-09-26
KR20120112718A (ko) 2012-10-11

Similar Documents

Publication Publication Date Title
US11665384B2 (en) Method and apparatus for transmitting media data in multimedia transport system
CN102769801B (zh) 提供增强的电子节目指南的显示装置及其控制方法
US20130291040A1 (en) Transmission method and transmission apparatus for a combined broadcasting and communication service
CN102783175A (zh) 减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延
CN102696232B (zh) 用于实现传输间隙的传输层修改
US20220141314A1 (en) Methods, systems, and apparatus for presenting participant information associated with a media stream
CN102271286A (zh) 提供多屏控制的条件接收系统及实现方法
TW201145984A (en) Apparatus and methods for storing packetized video content
CN102714507A (zh) 用于使白空间设备与主机设备接口的系统和方法
CN102696231B (zh) 用于实现传输间隙的应用层修改
US20150201253A1 (en) Methods and apparatus for universal presentation timeline alignment
US20180176654A1 (en) Electronic apparatus and control method thereof
US20100333141A1 (en) Apparatus and method for editing a list of digital broadcast channels
KR101993486B1 (ko) 송신 장치, ait 송신 방법 및 수신 장치
JP5591954B2 (ja) ホワイトスペースデバイス中の送信機の静穏化のための方法および装置
JP5591953B2 (ja) ホワイトスペースデバイス中の送信機の静穏化のための方法および装置
US11805293B2 (en) Device and method for transmitting and receiving signal in multimedia system
CN103533426A (zh) 影音数据组合方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160706

Termination date: 20190105