CN102783175B - 减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延 - Google Patents

减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延 Download PDF

Info

Publication number
CN102783175B
CN102783175B CN201180011576.2A CN201180011576A CN102783175B CN 102783175 B CN102783175 B CN 102783175B CN 201180011576 A CN201180011576 A CN 201180011576A CN 102783175 B CN102783175 B CN 102783175B
Authority
CN
China
Prior art keywords
data
stream
equipment
white spaces
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180011576.2A
Other languages
English (en)
Other versions
CN102783175A (zh
Inventor
V·R·拉韦恩德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102783175A publication Critical patent/CN102783175A/zh
Application granted granted Critical
Publication of CN102783175B publication Critical patent/CN102783175B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种系统将人机接口数据（HID）作为辅助数据通过空白频段发送给电视接收机。用户移动设备上的内容可以被无线地显示在外部显示设备上。人们期望以不受针对显示设备设置的标准视频的时延影响的方式，使与移动设备的用户交互（例如，对视频游戏的控制）显示在外部显示设备上。可以与视频数据分开地捕获和处理HID。可以将HID形成到用于通过空白频段传输的传送流中。HID可以作为辅助数据包括在传送流中。可以使用时间戳来协调HID的传输以及当电视接收机接收到该HID时对其进行的处理。

Description

减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延
相关申请的交叉引用
本申请要求享受以RAVEENDRAN的名义于2010年3月2日递交的的美国临时专利申请No.61/309,658的优先权利益，故以引用方式将该临时申请的全部内容明确并入本文。
技术领域
概括地说，本申请涉及经由电视空白频段从用户设备向接收设备传输信息，具体地说，本申请涉及用于减少这种传输的端到端时延的系统和方法。
背景技术
人们期望向电视（TV）或其它监视设备无线传递内容。作为一个示例，人们可能期望在一些情况下从用户设备传递内容，以便在TV设备上输出。例如，与很多TV设备输出能力相比，诸如移动电话、个人数字助理（PDA）、媒体播放器（例如苹果IPOD设备、其它MP3播放器设备等）、膝上型计算机、笔记本计算机等之类的很多便携式用户设备具有受限制/受约束的输出能力，例如较小的显示器尺寸，等等。如果视频内容被传递以在TV设备上输出，则期望例如在便携式用户设备上观看视频的用户可以获得改善的视听体验。相应地，在一些情况下，为了在接收（观看和/或收听）内容时获得改善的视听体验，用户可能期望传递来自用户设备的内容，以在具有ATSC调谐器（例如HDTV设备）的监视设备上输出。
发明内容
提供了一种方法。该方法包括：由与电视接收机通信的空白频段设备捕获来自用户输入设备的信息。该方法还包括：由所述空白频段设备处理所捕获的信息，以形成用于通过空白频段向所述电视接收机传输的传送流，所捕获的信息的至少一部分作为辅助数据包括在所述传送流中。该方法还包括：通过空白频段从所述空白频段设备向所述电视接收机发送所述传送流。
提供了一种装置。该装置包括：用于捕获来自用户输入设备的信息的模块。该装置还包括：用于处理所捕获的信息，以形成用于通过空白频段向电视接收机传输的传送流的模块，所捕获的信息的至少一部分作为辅助数据包括在所述传送流中。该装置还包括：用于通过空白频段向所述电视接收机发送所述传送流的模块。
提供了一种计算机程序产品。该计算机程序产品包括其上记录有程序代码的计算机可读介质。该程序代码包括：用于捕获来自用户输入设备的信息的程序代码。该程序代码还包括：用于处理所捕获的信息，以形成用于通过空白频段向电视接收机传输的传送流的程序代码，所捕获的信息的至少一部分作为辅助数据包括在所述传送流中。该程序代码还包括：用于通过空白频段向所述电视接收机发送所述传送流的程序代码。
提供了一种装置。该装置包括处理器和耦合到该处理器的存储器。该处理器被配置为：捕获来自用户输入设备的信息。该处理器还被配置为：处理所捕获的信息，以形成用于通过空白频段向电视接收机传输的传送流，所捕获的信息的至少一部分作为辅助数据包括在所述传送流中。该处理器还被配置为：过空白频段向所述电视接收机发送所述传送流。
提供了一种系统。该系统包括空白频段设备，该空白频段设备与用户设备通信地耦合，以捕获来自所述用户设备的信息。该空白频段设备包括处理器，该处理器处理所捕获的信息，以形成用于通过空白频段传输的传送流，所捕获的信息的至少一部分作为辅助数据包括在所述传送流中。该空白频段设备还包括发射机，该发射机通过空白频段发送所述传送流。
附图说明
为了更透彻地理解本发明，现在结合附图来参考以下描述。
图1示出了可以在其中实现本发明的方面的示例性系统。
图2示出了典型的ATSC系统。
图3示出了示例性ATSC定时模型。
图4示出了ATSC中的典型的频道关联。
图5示出了示例性数据流，用于将从用户设备捕获的信息（例如，HDMI、DP、VGA等）转换成MPEG-2TS流，以便经由ATSC空白频段频带进行传输。
图6示出了用于视频、音频以及用于MPEG-2TS流的典型的ATSC数据速率。
图7示出了根据本发明的方面的、可以在其中实现本发明的方面的另一示例性系统，该系统示出了示例性方面，其中，从用户设备捕获人机接口设备（HID）数据，并且该数据作为辅助数据包括在由空白频段设备生成的传送流中。
图8示出了根据本发明的一个方面的、用户输入数据在空白频段中的传输。
具体实施方式
本申请中使用的“示例性”一词表示“用作示例、实例或例证”。本申请中被描述为“示例性”的任何方面不应被解释为比其它方面更优选或更具优势。
空白频段设备一般是指通过电视频带中未使用的频谱进行通信的未授权的无线收发机。这些设备一般以认知方式进行操作，在该方式中，这些设备首先进行扫描，以检测来自经授权的主要用户的TV频带信号（例如，先进电视系统委员会（ATSC）、国家电视系统委员会（NTSC）以及某些无线传声器协议（microphoneprotocol）），随后选择未使用的频道，以避免与授权信号的干扰。
空白频段设备可以与用户设备通信地耦合或者整合到该用户设备中，从而该空白频段设备可以通过TV空白频段从用户设备向TV设备（例如，HDTV设备）传递信息（例如，多媒体内容）。本申请将进一步描述空白频段设备的示例性实现。然而，这种空白频段设备的各种实现是可能的，并且用于通过空白频段传递来自用户设备的信息的空白频段设备的任何实现都在本发明的范围之内。
人们期望减少与经由空白频段从用户设备向接收设备（例如，HDTV设备）传递信息相关联的端到端时延。本发明的方面提供了用于减少或最小化这种端到端时延的技术。如下文进一步讨论的，在某些方面，包含在无线发送的流中（即，包含在带内空白频段传输中）的辅助数据被用来减少与传输某种信息（例如，从用户设备捕获的人机接口设备（HID）信息）相关联的端到端时延。作为示例，鼠标移动和/或其它用户输入命令可以作为辅助数据高效地传输。如下文所进一步讨论的，ATSC支持允许在传输中包含辅助数据的MPEG-2TS（传送流），并且该辅助数据一般在ATSC/MPEG-2TS通信中使用，以便传输隐藏式字幕（closed-captioning）或一般字幕（subtitle）信息。本发明的方面利用这种辅助数据来高效地传输来自用户设备的信息，例如HID信息。因此，不同于仅仅依赖于HID信息（例如鼠标移动）作为视频帧数据（其将在接收设备的显示器上显示）的传输，根据本发明的某些方面，该HID信息可以作为辅助数据更高效地传输。
本发明描述了一种示例性系统，其包括空白频段设备的示例性实现。本发明还描述了一个示例性方面，该方面利用包含在经由空白频段发送的流中的辅助数据，来高效地传输来自用户设备的某种信息，例如从用户设备捕获的HID信息。尽管示例性系统和空白频段设备的示例性实现是针对说明性目的来描述的，但是本领域技术人员应当明白，针对利用辅助数据以减少时延而描述的这些概念不限于对这种示例性系统/设备的应用，而是可能用于系统/设备的各种其它实现，以经由空白频段传递来自用户设备的信息。
图1示出了可以在其中实现本发明的方面的示例性系统100。系统100包括用户设备101（其以框图形式示出），该用户设备101可以称为“主机”设备。在所示出的示例中，用户设备101被示为移动设备，但是在其它方面，该用户设备并非必须是移动设备。移动设备101可以包括媒体处理器、显示处理器、音频输出处理器，并且可以具有嵌入式输入/输出设备，例如，嵌入式显示器和嵌入式扬声器。用户设备101一般用于生成内容，该内容可以经由该用户设备的嵌入式输出设备（例如，嵌入式显示器和扬声器）输出。用于在用户设备上输出的各种类型的内容是本领域已知的，并且任何这种内容可以在用户设备101上在给定的应用中输出。例如，多媒体播放器应用可以在用户设备101上执行，以输出多媒体内容（例如，电视节目、电影等）。当然，诸如文本内容以及/或者其它图形/图像和/或音频内容（例如，电子邮件、网页浏览内容、视频游戏、文字处理内容等）之类的其它内容可以在给定的应用中输出，其中，用户可以经由用户设备101与该应用进行交互。
用户可以经由诸如指针设备（例如鼠标）、操纵杆、键盘、触摸屏幕接口、传声器等之类的一个或多个人机接口输入设备（图1中未示出）向用户设备101输入信息（例如，以便与在该用户设备上执行的应用进行交互）。在一些情况下，这种用户输入信息可以导致一些输入被生产或修改。例如，用户的鼠标移动的输入可以导致用户设备的输出显示器上指针的相应移动。在另一个示例中，玩视频游戏的用户可以通过用户设备101上的按钮和/或触摸接口，或者通过用户设备101的物理操作（例如，通过摇晃该用户设备、旋转该用户设备等），来控制游戏。由用户进行的这些交互可以改变结合在输出显示中的指针、目标、方块（carat）或其它图标的位置。
示例性系统100中还包括空白频段设备102，该空白频段设备的示例性实现以框图形式在图1中示出。空白频段设备102与用户设备101通信地耦合，以接收来自该用户设备101的信息。在一个方面，空白频段设备102经由USB连接与用户设备101通信地耦合，但是该空白频段设备102和用户设备101可以以任何适当方式通信地耦合，其中，该方式允许来自用户设备101的信息被空白频段设备102捕获（如本申请将进一步讨论的）。例如，空白频段设备可以经由另一类型的有线连接或者经由无线通信连接（例如，经由无线USB（WUSB）、蓝牙、802.11等）与用户设备101通信地耦合。或者，在某些方面，空白频段设备102可以整合/嵌入到用户设备101中，从而可以经由内部通信总线来通信地耦合，例如，以便捕获来自用户设备101的信息。因此，在一个方面，用户设备101和空白频段设备102可以并入相同的物理设备中。
空白频段设备102捕获来自用户设备101的信息。例如，所捕获的信息包括将经由输出设备（例如“视频输出”和“音频输出”）输出的“有效载荷内容”。如本申请将进一步讨论的，在某些方面，空白频段设备102还可以捕获其它信息，比如“人机接口设备”（HID）数据（例如，用户输入命令（例如，鼠标移动、操纵杆移动、键盘输入、触摸输入、移动输入和/或经由人机接口设备接收的其它命令））。空白频段设备102用于经由空白频段无线地发送从用户设备101捕获到的信息，例如，以便允许显示设备103（在图1中示为HDTV）接收并输出从用户设备101捕获到的内容（例如，多媒体内容）。用户输入命令可以与定时信息一起包括在发送的数据中，以提供与相关联的音频或视频数据的一致性。
在图1所示的示例中，空白频段设备102通过空中在空白频段频道上发送先进电视系统委员会（ATSC）信号，从而有效地用作电视台发射机。因此，如框图形式所示，图1的示例性空白频段设备102包括ATSC基带处理器和发射机。如本领域已知的，ATSC与人们熟知的MPEG-2传送流（TS）兼容，从而示例性空白频段设备102可以包括MPEG-2TS编码器，该编码器用于将从用户设备101捕获的信息编码成MPEG-2TS流，以便经由空白频段进行无线传输。
显示设备103包括ATSC调谐器/接收机（例如，常规电视调谐器），该ATSC调谐器/接收机可以是嵌入式的（比如，嵌入标准电视）或者可以是连接到显示设备103的单独组件，使得其能够接收并处理ATSC信号（例如，MPEG-2TS流）以输出到显示设备的显示器和/或扬声器。ATSC是适当定义的标准，并且图2-3中分别示出了典型ATSC系统和ATSC定时的示例性概况。图4中示出了ATSC中的典型频道关联。每个ATSC“频道”对应于MPEG-2“节目”。节目关联表（PAT）为传送流中的每个节目提供节目映射表（PMT）的节目ID（PID）。PAT是作为人们熟知的PID（PID0）上仅有的表来发送的。PMT为与节目相关联的每个基本流定义PID。可以定义多个音频流。接收机应当检查语言描述符。如果观看者（viewer）改变语言偏好，则PMT应当被重新解析以检查匹配的音频基本流。可以在公布的ATSC标准中找到关于ATSC的更多细节。
当然，ATSC仅仅是可以由空白频段设备102使用的一组电视传输标准的一个示例。在其它方面，可以采用诸如ATSC标准、数字视频广播（DVB）标准、综合服务数字广播（ISDB）标准、数字多媒体广播（DMB）标准之类的多种电视标准中的任意一种，以便使用本发明的教导在空白频段上发送媒体内容。
示例性空白频段设备102还包括控制模块，该控制模块具有空白频段频谱传感器，以用于感测TV空白频段（例如，用于感测TV频带中没有被经授权的广播方使用的频道）。这种传感器可以定期地执行感测，以确定可用的TV空白频段，并且频率管理器逻辑单元可以在需要时调整频道，以维持空白频段设备在所确定的空白频段中进行的传输。
如上所述，示例性空白频段设备102可以将从用户设备101捕获的信息转换成MPEG-2TS流以进行传输，该MPEG-2TS流与ATSC兼容，从而可以由显示设备103的ATSC接收机/调谐器接收和处理。图5中示出了示例性数据流，用于将从用户设备101捕获的信息（例如，HDMI、DP、VGA等）转换成MPEG-2TS流，以便经由ATSC空白频段频带进行传输。并且，图6中示出了用于视频、音频以及用于MPEG-2TS流的典型ATSC数据速率。
视频和音频通信通常具有定时模型，在该定时模型中，从输入到编码器的信号到从解码器输出的信号的端到端时延是常量。例如，在ATSC中，存在严格的定时模型，其中，从输入到编码器的信号到从解码器输出的信号的端到端时延是常量。端到端时延是通过从发送方到接收方的通信遇到的时延的总和，并且其可以包括诸如编码时延、编码器缓冲时延、复用时延、通信或存储时延、解复用时延、解码器缓冲时延、解码时延、后处理时延和呈现时延之类的时延。作为ATSC定时模型的一部分，所有视频图像和音频样本均仅呈现一次。
在ATSC（MPEG-2TS）中，使用传送流中的呈现时间戳（PTS）来完成多个基本流之间的同步。时间戳一般是以90kHz为单位的，但是系统时钟参考（SCR）、节目时钟参考（PCR）和可选的基本流时钟参考（ESCR）扩展为具有27MHz的分辨率。
图7示出了可以在其中实现本发明的方面的另一示例性系统700。系统700类似于图1的系统100，但是其包括被示为帮助讨论一个示例性方面的框，其中，该示例性方面用于使用辅助数据来减少时延。如同在图1的示例性系统100中那样，系统700包括用户设备701（其可以是上述用户设备101）、空白频段设备720（其可以是上述空白频段设备102）和接收设备726（其可以是上述显示设备103）。
示例性用户设备701可以包括中央处理单元（CPU）702、存储器703和多媒体子系统709。在所示的示例中，诸如媒体播放器应用之类的软件应用704在用户设备701上执行。在图7中被示为执行的示例性应用704包括解析器705、视频解码器706、音频解码器708和渲染器707，并且该应用704可以执行以输出多媒体内容，例如电影。这种媒体播放器应用704的示例包括商业上称为WINDOWSMEDIAPLAYER,WINAMP，REALPLAYER,QUICKTIMEPLAYER,iTunes,AMAROK,ALLPLAYER,VLC,MPLAYER,XINE,TOTEM的那些应用。
多媒体子系统709可以包括编解码器710、图形处理单元（GPU）711、显示处理器712和音频处理器713。多媒体子系统709用于输出（可由应用704生成的）视频数据715和/或音频数据716，以便输出给用户设备701的显示器、扬声器或其它输出（图7中未示出）。用户设备701还包括一个或多个输入设备（或“人机接口设备”）714，例如鼠标、键盘、操纵杆、触摸屏幕接口、传声器、运动传感器等。人机接口设备（HID）714可以包括在用户设备701上执行的相应设备驱动器。
诸如视频数据715或音频数据716之类的输出有效载荷内容是由空白频段设备720经由通信接口或总线719（例如USB接口）来捕获的。空白频段设备720用于处理所捕获的信息（例如，以将其形成到MPEG-2TS流中），并且经由TV空白频段从发射机725发送该信息，以便由诸如HDTV设备之类的接收设备726进行接收。
根据本发明的一个方面，HID数据717也可以由空白频段设备720捕获。在图7所示的示例中，命令信息（例如，针对来自HID设备714的输入命令的时间戳信息）是作为HID数据717来捕获的。例如，可以从鼠标设备、触摸屏幕接口等捕获指针移动命令和相对应的时间戳。在某些情况下，用户输入命令可以导致一些输出被生成或修改。例如，用户的鼠标移动的输入可以导致用户设备的输出显示器上指针的相应移动。因此，来自GPU711的相对应的显示数据也可以被捕获（例如，作为诸如像素数据之类的静止图像），其中该数据也可以作为HID数据717包括在内。HID数据717的示例性格式被示为格式718，该格式包括：头部部分，其包含所捕获的命令时间戳信息；以及有效载荷部分，其包含所捕获的像素数据。
在某些应用（例如，视频游戏，或者识别用户输入时的时延可能影响其可操作性的其它应用）中，人们可能期望与显示数据分开地发送HID数据717，以避免可能影响显示数据传输的时延问题对HID数据717的传输产生影响。为了解决上述问题，在一个方面，空白频段设备720经由接口/总线719捕获HID数据717，并且空白频段设备720处理该HID数据717，以将其作为辅助数据723包括在生成的传送流724中（例如，在MPEG-2TS流中）。因此，例如，空白频段设备720包括视频编码器721，用于处理所捕获的视频数据715，并且空白频段设备720包括音频编码器722，用于处理所捕获的音频数据716。音频编码器和视频编码器处理所捕获的视频数据和音频数据以生成传送流724，例如MPEG-2TS（传送流）。另外，HID数据作为辅助数据723包括在所生成的流724中。HID数据717可以由空白频段设备720处理，以生成包含有效载荷数据（例如，像素数据）的辅助数据723，并且该辅助数据723是根据HID数据717中包括的时间戳，在适当的时间（例如，相对于其它视频和音频数据）嵌入所生成的传送流724中的。另外，可以传输与显示数据相关联的帧中的HID像素的位置或定位或坐标信息。MPEG-2TS可以由发射机725来发送。
以这种方式，HID数据717与显示数据分开，并且作为辅助数据723在传送流724中传输。一旦被接收，HID数据717就被空白频段设备720处理（与任何时间戳信息一起），并且被渲染以适当地显示在任何显示设备上。以这种方式分离出HID数据717，可以允许通过与普通视频数据715分开地发送HID数据717，来在显示设备726上更灵敏地显示用户设备处生成的用户命令（例如，移动应用中的鼠标指针，或者移动视频游戏中的目标）。
作为一种实现的示例，ATSC支持MPEG-2TS，后者允许在传输中包含辅助数据。这种辅助数据一般是在ATSC/MPEG-2TS通信中使用的，以便传输隐藏式字幕信息。本发明的方面利用这种辅助数据来高效地传输来自用户设备701的信息，例如HID数据717。因此，不同于仅仅依赖于HID信息（例如鼠标移动）作为视频帧数据的传输，根据本发明的某些方面，该HID信息可以作为辅助数据723更高效地传输。
接收设备726可以例如使用该接收设备中包括的传统ATSC接收机/调谐器来处理辅助数据，以便在其输出中覆盖所接收的像素数据。与视频和音频数据相比，辅助数据的尺寸相对较小，从而该辅助数据可以被更频繁和/或更高效地传输。例如，在一个方面，辅助数据723可以每隔77微秒嵌入传送流一次。相应地，可以以极低的时延（微秒量级，而不是视频流数据中可能实现的毫秒量级）高效地传输诸如鼠标移动之类的HID信息，以得到针对用户的良好视听体验。例如，由HID数据的用户输入导致的显示改变（例如，由用户的鼠标移动导致的显示器上的指针移动）可以在接收设备726（例如，HDTV显示器）处显示为在适当时刻输出的平滑移动，从而使用户更容易在观看接收设备726上的输出时，与应用704和/或（经由用户设备701的HID设备714）输出的内容进行交互。
图8示出了根据本发明的一个方面的、用户输入数据在空白频段中的传输。如框802所示，与电视接收机通信的空白频段设备捕获来自用户输入设备的信息。如框804所示，空白频段设备随后处理所捕获的信息，以形成用于通过空白频段向电视接收机传输的传送流。所捕获的信息的至少一部分作为辅助数据包括在传送流中。如框806所示，空白频段设备随后通过空白频段向电视接收机发送传送流。
在一个方面，一种装置包括：用于捕获来自用户输入设备的信息的模块；用于处理所捕获的信息以形成传送流的模块；以及用于通过空白频段向电视接收机发送传送流的模块。该设备还可以包括：用于捕获针对用户输入命令的时间戳的模块；以及用于捕获由该用户输入命令导致的相应显示数据的模块。在一个方面，上述模块可以是人机接口设备714、多媒体子系统709、编解码器710、GPU711、HID数据717、总线719、空白频段设备720、解码器721和/或722、辅助数据723、转换后的数据流724和/或发射机725。
尽管已经详细地描述了本发明及其优点，但是应当理解的是，可以在不脱离所附权利要求书所定义公开内容的技术的前提下，在本申请中进行各种改变、置换和变更。此外，本申请的范围并非旨在受限于说明书中描述的过程、机器、制品、物体组合、模块、方法和步骤的特定方面。本领域技术人员通过所公开的内容容易理解，可以根据本发明利用当前现有的或以后将开发的过程、机器、制品、物体组合、模块、方法或步骤，其中，与本申请中描述的相应方面相比，这些过程、机器、制品、物体组合、模块、方法或步骤执行基本相同的功能或实现基本相同的结果。相应地，所附权利要求书旨在将这些过程、机器、制品、物体组合、模块、方法或步骤包括在其保护范围之内。

Claims (20)

1.一种用于将信息从移动用户输入设备传输给电视接收机的方法，包括：
由与所述电视接收机通信的空白频段设备捕获来自所述移动用户输入设备的人机接口设备HID信息，所述HID信息包括：
到所述移动用户输入设备中的用户命令输入在显示数据帧中的位置，
与所述用户命令输入的所述位置对应的像素数据，以及
与所述用户命令输入对应的时间戳数据；
捕获在所述用户输入设备上输出的视频数据；
由所述空白频段设备处理所捕获的HID信息和所述视频数据，以形成用于通过空白频段向所述电视接收机传输的传送流，所捕获的包含所述像素数据的HID信息作为辅助数据包括在所述传送流中，所述辅助数据在所述传送流中与所述视频数据分开；以及
通过空白频段从所述空白频段设备向所述电视接收机发送所述传送流。
2.如权利要求1所述的方法，其中，捕获HID信息还包括：
捕获由所述用户命令输入导致的相应显示数据。
3.如权利要求1所述的方法，其中，所述HID信息还包括：
所述用户命令输入在所述显示数据帧中的坐标。
4.如权利要求2所述的方法，其中，所述处理包括：
在所述传送流中的至少部分地基于所述时间戳而确定的位置，将所述相应显示数据作为所述辅助数据包括在所述传送流中。
5.如权利要求4所述的方法，其中，所述捕获进一步包括：
捕获在所述用户输入设备上输出的音频数据；
并且其中，所述处理包括：
将所捕获的音频数据包括在所述传送流中。
6.如权利要求1所述的方法，其中，所述传送流包括MPEG-2TS(传送流)。
7.如权利要求1所述的方法，其中，所述辅助数据包括与捕获到的多媒体或显示数据相关联的辅助数据。
8.一种用于将信息从移动用户输入设备传输给电视接收机的装置，包括：
用于由与所述电视接收机通信的空白频段设备捕获来自所述移动用户输入设备的人机接口设备HID信息的模块，所述HID信息包括：
输入到所述移动用户输入设备中的用户命令在显示数据帧中的位置，
与所述用户命令输入的所述位置对应的像素数据，以及
与所述用户命令输入对应的时间戳数据；
用于捕获在所述用户输入设备上输出的视频数据的模块；
用于所述空白频段设备处理所捕获的HID信息和所述视频数据，以形成用于通过空白频段向电视接收机传输的传送流的模块，所捕获的包含所述像素数据的HID信息作为辅助数据包括在所述传送流中，所述辅助数据在所述传送流中与所述视频数据分开；以及
用于通过空白频段向所述电视接收机发送所述传送流的模块。
9.如权利要求8所述的装置，其中，所述HID信息还包括所述用户命令输入在所述显示数据帧中的坐标。
10.如权利要求8所述的装置，其中，所述用于捕获HID信息的模块还包括：
用于捕获由所述用户命令输入导致的相应显示数据的模块。
11.一种用于将信息从移动用户输入设备传输给电视接收机的装置，包括：
至少一个处理器；以及
耦合到所述至少一个处理器的存储器，所述至少一个处理器被配置为：
捕获来自所述移动用户输入设备的人机接口设备HID信息，所述HID信息包括：
输入到所述移动用户输入设备中的用户命令在显示数据帧中的位置，
与所述用户命令输入的所述位置对应的像素数据，以及
与所述用户命令输入对应的时间戳数据；
捕获在所述用户输入设备上输出的视频数据；
处理所捕获的HID信息和所述视频数据，以形成用于通过空白频段向所述电视接收机传输的传送流，所捕获的包含所述像素数据的HID信息作为辅助数据包括在所述传送流中，所述辅助数据在所述传送流中与所述视频数据分开；以及
通过空白频段向所述电视接收机发送所述传送流。
12.如权利要求11所述的装置，其中，所述至少一个处理器还被配置为通过以下操作来捕获HID信息：
捕获由所述用户命令输入导致的相应显示数据。
13.如权利要求11所述的装置，其中，所述HID信息还包括：
所述用户命令输入在所述显示数据帧中的坐标。
14.如权利要求12所述的装置，其中，所述至少一个处理器被配置为通过以下操作来进行处理：
在所述传送流中的至少部分地基于所述时间戳而确定的位置，将所述相应显示数据作为所述辅助数据包括在所述传送流中。
15.如权利要求14所述的装置，其中，所述捕获进一步包括：
捕获在所述用户输入设备上输出的音频数据；
并且其中，所述处理包括：
将所捕获的音频数据包括在所述传送流中。
16.如权利要求11所述的装置，其中，所述传送流包括MPEG-2TS(传送流)。
17.如权利要求11所述的装置，其中，所述用户输入设备包括便携式设备。
18.如权利要求11所述的装置，其中，所述辅助数据包括与捕获到的多媒体或显示数据相关联的辅助数据。
19.一种用于从移动用户输入设备传输信息的系统，包括：
空白频段设备，其与所述移动用户设备通信地耦合，以捕获来自所述用户设备的人机接口设备HID信息，所述HID信息包括：
输入到所述移动用户输入设备中的用户命令在显示数据帧中的位置，
与所述用户命令输入的所述位置对应的像素数据，以及
与所述用户命令输入对应的时间戳数据；
所述空白频段设备包括：
处理器，其处理所捕获的HID信息，以形成用于通过空白频段传输的传送流，所捕获的包含所述像素数据的HID信息作为辅助数据包括在所述传送流中，所述辅助数据在所述传送流中与视频数据分开；以及
发射机，其通过空白频段发送所述传送流。
20.如权利要求19所述的系统，其中，所述HID信息还包括所述用户命令输入在所述显示数据帧中的坐标。
CN201180011576.2A 2010-03-02 2011-03-02 减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延 Expired - Fee Related CN102783175B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30965810P 2010-03-02 2010-03-02
US61/309,658 2010-03-02
US13/038,323 US10009647B2 (en) 2010-03-02 2011-03-01 Reducing end-to-end latency for communicating information from a user device to a receiving device via television white space
US13/038,323 2011-03-01
PCT/US2011/026902 WO2011109547A1 (en) 2010-03-02 2011-03-02 Reducing end-to-end latency for communicating information from a user device to a receiving device via television white space

Publications (2)

Publication Number Publication Date
CN102783175A CN102783175A (zh) 2012-11-14
CN102783175B true CN102783175B (zh) 2016-08-03

Family

ID=44531030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180011576.2A Expired - Fee Related CN102783175B (zh) 2010-03-02 2011-03-02 减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延

Country Status (7)

Country Link
US (1) US10009647B2 (zh)
EP (1) EP2543190B1 (zh)
JP (2) JP5543620B2 (zh)
KR (1) KR101436958B1 (zh)
CN (1) CN102783175B (zh)
BR (1) BR112012021773A2 (zh)
WO (1) WO2011109547A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US20110320953A1 (en) * 2009-12-18 2011-12-29 Nokia Corporation Method and apparatus for projecting a user interface via partition streaming
US20110271195A1 (en) * 2010-04-30 2011-11-03 Nokia Corporation Method and apparatus for allocating content components to different hardward interfaces
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US8677029B2 (en) 2011-01-21 2014-03-18 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
WO2012123616A1 (en) * 2011-03-11 2012-09-20 Nokia Corporation Configuring cellular connectivity
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
CN108854055B (zh) * 2012-11-28 2021-08-20 辉达公司 用于远程显示器的基于云的虚拟化图形处理系统和介质
WO2017048106A1 (ko) * 2015-09-16 2017-03-23 엘지전자(주) 고속 인터페이스를 이용하여 휴먼 인터페이스 기기 기반 데이터를 처리하는 방법 및 장치
US11451854B2 (en) 2021-01-13 2022-09-20 Sony Corporation Dongle to convert formats to ATSC 3.0 low power wireless

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000072596A1 (en) * 1999-05-26 2000-11-30 Neal Margulis Wireless television system with portable display
EP1307062A1 (en) * 2001-10-24 2003-05-02 Nokia Corporation User interface for transmitting video data from a mobile device to an external display
CN101075820A (zh) * 2006-05-18 2007-11-21 三星电子株式会社 使用外部显示装置的便携式装置的显示方法和系统
WO2009125061A1 (en) * 2008-04-09 2009-10-15 Lh Communications Oy Method of ordering a video film with a mobile terminal such as a mobile phone and transferring it to a tv

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584153B1 (en) * 1998-07-23 2003-06-24 Diva Systems Corporation Data structure and methods for providing an interactive program guide
JP2000300849A (ja) 1999-04-26 2000-10-31 Matsushita Joho System Kk 観戦番組受信システム
US7274740B2 (en) * 2003-06-25 2007-09-25 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20050036557A1 (en) * 2003-08-13 2005-02-17 Jeyendran Balakrishnan Method and system for time synchronized forwarding of ancillary information in stream processed MPEG-2 systems streams
US8494546B2 (en) * 2006-10-16 2013-07-23 Stmicroelectronics, Inc. Method of inter-system communications dynamic spectrum access network systems-logical control connections
US8031807B2 (en) * 2006-11-10 2011-10-04 Qualcomm, Incorporated Systems and methods for detecting the presence of a transmission signal in a wireless channel
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US8358665B2 (en) * 2008-08-15 2013-01-22 Qualcomm Incorporated Method and apparatus for controlling the presentation of multimedia data from a multiplex signal between devices in a local area network
US8107391B2 (en) * 2008-11-19 2012-01-31 Wi-Lan, Inc. Systems and etiquette for home gateways using white space
US20100218207A1 (en) * 2009-02-23 2010-08-26 Advanced Micro Devices, Inc. Method and apparatus to detect preview of encrypted content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000072596A1 (en) * 1999-05-26 2000-11-30 Neal Margulis Wireless television system with portable display
EP1307062A1 (en) * 2001-10-24 2003-05-02 Nokia Corporation User interface for transmitting video data from a mobile device to an external display
CN101075820A (zh) * 2006-05-18 2007-11-21 三星电子株式会社 使用外部显示装置的便携式装置的显示方法和系统
WO2009125061A1 (en) * 2008-04-09 2009-10-15 Lh Communications Oy Method of ordering a video film with a mobile terminal such as a mobile phone and transferring it to a tv

Also Published As

Publication number Publication date
US10009647B2 (en) 2018-06-26
CN102783175A (zh) 2012-11-14
BR112012021773A2 (pt) 2016-05-17
JP2014161020A (ja) 2014-09-04
KR101436958B1 (ko) 2014-09-02
KR20120125657A (ko) 2012-11-16
EP2543190A1 (en) 2013-01-09
EP2543190B1 (en) 2017-08-09
JP5872606B2 (ja) 2016-03-01
WO2011109547A1 (en) 2011-09-09
JP2013521715A (ja) 2013-06-10
US20110216239A1 (en) 2011-09-08
JP5543620B2 (ja) 2014-07-09

Similar Documents

Publication Publication Date Title
CN102783175B (zh) 减少经由电视空白频段从用户设备向接收设备传输信息的端到端时延
JP4715886B2 (ja) 映像表示装置、映像表示システムおよび映像表示方法
CN102668587A (zh) 播放内容的方法
US10848801B2 (en) Transmission device, transmission method, reception device, and reception method
KR20130066432A (ko) 클라우드 기반의 ｉｐｔｖ 서비스 제공 방법 및 장치
US20130169866A1 (en) Display apparatus, external peripheral device connectable thereto and image displaying method
US9237304B2 (en) Multi-channel sharing apparatus and multi-channel sharing method
EP3306942B1 (en) Transmission device, transmission method, receiving device, and receiving method
TW201308131A (zh) 減少數位廣播內容游標反應時間的方法與其裝置
KR20070076781A (ko) 셋톱박스를 이용한 데이터 통신방법 및 장치
EP4084481A1 (en) Transmission device and receiving device
KR101951674B1 (ko) 적어도 하나 이상의 이미지 코드를 처리하는 디지털 수신기 및 그 제어 방법
US20150293609A1 (en) Multimedia device and method of controlling a cursor thereof
CN111629250A (zh) 一种显示设备及视频播放方法
CN114979736B (zh) 显示设备和音画同步方法
JP2013207454A (ja) 受信装置、送信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体
KR101822845B1 (ko) 고화질 dmb 수신 장치 및 그 방법
KR20090002810A (ko) 데이터방송에서의 방송 저장방법 및 이를 적용한 영상기기
US9288648B2 (en) Transport stream packet generation device and method of generating transport stream packet thereof
KR20160071835A (ko) 디스플레이 장치 및 그 제어 방법
KR102216404B1 (ko) 영상제공장치, 및 이를 포함하는 영상 제공 시스템
JP2014209693A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
TW201334515A (zh) 可攜式影像處理裝置、系統與觸控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

Termination date: 20190302