CN106464951A - 高效帧渲染 - Google Patents

高效帧渲染 Download PDF

Info

Publication number
CN106464951A
CN106464951A CN201580034448.8A CN201580034448A CN106464951A CN 106464951 A CN106464951 A CN 106464951A CN 201580034448 A CN201580034448 A CN 201580034448A CN 106464951 A CN106464951 A CN 106464951A
Authority
CN
China
Prior art keywords
frame
display
mobile device
encoder
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580034448.8A
Other languages
English (en)
Other versions
CN106464951B (zh
Inventor
朴昆勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106464951A publication Critical patent/CN106464951A/zh
Application granted granted Critical
Publication of CN106464951B publication Critical patent/CN106464951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/127—Updating a frame memory using a transfer of data from a source area to a destination area
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

用户可以与汽车或车辆中的信息娱乐系统的交互式远程显示器交互(例如触摸输入)，并且可将交互发送给移动设备上的应用。当有变化——例如通过用户交互(例如在触摸显示器上的触摸)触发的变化时，移动设备(应用和/或编码器)可以渲染用于显示器的视频帧。通过确定用于应用的渲染速度，可以缩短视频帧管道中的延迟。如果应用不是恒定的渲染类型的应用，那么可将伪帧发送给编码器。可以在经过渲染的帧之后将伪帧发送给管道，从而冲洗管道，因为在可以将管道清空之前，管道可能对于可用帧的最小数量具有一个阈值，即，将最小集合的帧从移动设备中的编码器传输给汽车的信息娱乐系统中的解码器。

Description

高效帧渲染
背景技术
在流视频系统中，可通过编码器来渲染视频帧。编码器例如可以按照与即将对视频流进行显示的显示器兼容的格式和/或分辨率来压缩视频流和/或编码视频流。在渲染视频的装置与显示器之间的连接可以是有线(例如USB)或无线(例如WiFi、蓝牙)连接。与显示器相关联的解码器可以将它接收的经过编码的视频帧解码。当以恒定的帧率渲染视频时，可以用新帧连续更新显示器。
发明内容
根据实施方式，移动设备可以接收远程显示器上的触摸输入的指示。远程显示器可以是与移动设备分立的，且触摸输入可以与对显示器上显示的应用的变化相关联。移动设备可以确定用于应用的渲染速度。可以基于渲染速度向移动设备的编码器发送至少一个伪响应。可以渲染包括至少一个伪帧在内的一个或多个帧。渲染可以填充编码器的管道。可将包括被填充的管道的一个或多个帧发送给被联接到显示器的解码器。
公开了一种包括被连接到移动设备的处理器的系统。可将处理器配置为接收远程显示器上的触摸输入的指示。远程显示器可以是与移动设备分立的，且触摸输入可以与对显示器上显示的应用的变化相关联。可将处理器配置为确定用于应用的渲染速度。处理器可以基于渲染速度向移动设备的编码器发送至少一个伪帧。处理器可以渲染包括至少一个伪帧在内的一个或多个帧。渲染可以填充编码器的管道。可将处理器配置为将组成被填充的管道的帧发送给被联接到显示器的解码器。
公开了一种以下述方式实施的处理，其中，响应于从信息娱乐系统接收的输入生成至少一个帧。可将渲染速度确定为非恒定的。可将至少一个伪帧以及至少一个帧发送给编码器。编码器可以渲染至少一个伪帧和至少一个帧，以形成一个或多个经过渲染的帧。可将一个或多个经过渲染的帧发送给连接到信息娱乐系统的解码器。信息娱乐系统可以显示一个或多个经过渲染的帧。
在实施方式中，根据本公开主题的系统包括用于响应于从信息娱乐系统接收的输入而生成一个或多个帧的装置。它可包括用于确定渲染速度并非恒定的装置。该系统可包括用于将一个或多个伪帧以及一个或多个帧发送给编码器的装置。该系统可包括用于渲染一个或多个伪帧以及一个或多个帧以形成经过渲染的帧的编码器装置。该系统可包括用于将经过渲染的帧发送给被连接到信息娱乐系统的解码器的装置。信息娱乐系统可包括用于显示经过渲染的帧的装置。
通过考虑以下详细描述、附图和权利要求可以阐明所公开主题的附加特征、优点、以及实施方式，或者显而易见。此外应当理解，前面的发明内容以及后面的详细描述提供了实施方式的示例，并且旨在提供进一步的解释而不限制权利要求的范围。
附图说明
为了提供对所公开主题的进一步理解而包括的附图合并在本说明书中并构成说明书的一部分。附图还示出所公开主题的实施方式，并与详细描述一起用于解释所公开主题的实施方式的原理。不打算通过对于所公开主题的基本理解而言所必须的更多细节以及可以实践它的各种方式来示出结构细节。
图1示出将移动设备用于驱动本文所公开的信息娱乐系统的显示器的示例性系统。
图2是本文所公开的用于在远程显示器上渲染视频帧的示例性处理。
图3是本文所公开的用于在远程显示器上渲染视频帧的示例性处理。
图4是本文所公开的用于生成即将通过编码器渲染并发送给被联接到信息娱乐系统的解码器的一个或多个伪帧的示例性处理。
图5示出根据所公开主题的实施方式的计算机。
图6示出根据所公开主题的实施方式的网络配置。
具体实施方式
用户可通过各种方式与显示器交互，例如通过触摸、按压键、或转动拨号盘。用于用户交互的视频编码器在响应于用户输入(例如触摸)而在显示器上高效渲染视频方面可能有困难。典型的视频编码器作为需要若干帧来形成编码帧的管道操作。在只通过周期性方式来更新显示器的情况下，这可能具有挑战性。如果以恒定速度(例如每秒30帧(“FPS”))渲染视频，那么可以不断地刷新屏幕。如果驱动显示器的装置足够强大，那么它可以没有困难地以恒定速度驱动显示器。但是，如果装置(例如移动设备)不是那么强大，那么仅当必须在显示器上显示改变时，渲染用于显示的帧才是有利的。例如，当用户触摸显示器时，用户经由显示器与之交互的应用可以只更新显示器的一小部分。例如，编码器可以渲染一个或两个帧，并将其发送给连接到显示器的解码器。
图1是将移动设备130用于驱动信息娱乐系统160的显示器140的示例性系统。可将其称为投影架构。移动设备130可以接收信息娱乐系统针对显示分辨率、宽高比、一个或多个按钮、以及一个或多个拨号盘的布局的指示。在投影架构系统中，信息娱乐系统160的其它功能性——例如无线电或车辆的温度控制——同样可通过移动设备130控制。可以利用USB电缆或其他有线或无线连接将移动设备130连接到车辆170(或其他远程系统)。用于移动设备130的编码器120可以利用由于功率限制而具有两个以上的级的管道。例如，三级管道可以等待发送编码帧，直到它有三个帧要发送。因此，信息娱乐系统160的显示器140可能不显示任何变化，除非并且直到编码器120从应用110或其他地方收到要渲染的三个帧。如果只有一个用户界面更新(例如，正被渲染的一个帧)，那么显示器140可能不适当地未能反映由于用户交互引起的改变，因为编码器120正在等待发送显示所述变化的经过渲染的帧，直到它有两个以上帧来填充三级管道。一旦管道充满，那么可将经过渲染的视频帧发送给连接到信息娱乐系统160的解码器150。
如本文所述，编码器(例如移动设备)可以基于在信息娱乐显示器上显示的在移动设备上操作的一个或多个应用的渲染速度来确定是否需要伪帧。伪帧可以是指简短和简单的帧指示符，其指令所述系统例如显示先前帧。因为伪帧不大，所以它有助于压缩视频流保持小尺寸和/或更容易传输。在应用不是恒定渲染应用的情况下，伪帧可以帮助推动管道。例如，如果应用正在显示电影并且以30FPS的速度渲染，那么伪帧不一定有用。但是，如果应用正在更新用户界面组件，那么它可以周期性地渲染一个或几个帧，而不是连续性地渲染。这可以被反映为管道延迟问题，并且如本文所述，可通过以下方式解决：发送一个或多个伪帧给信息娱乐系统的显示器和/或与其相连的解码器，用以填充管道的所述未填充级以便为了待被发送的下一组经过渲染的帧而清除所述管道。
可以基于渲染速度确定伪帧是否是必须的。可通过若干方式确定渲染速度。系统可以记录在一个时间段内编码器的吞吐量，并基于吞吐量分配编码器的渲染速度。指引编码器的应用可以提供渲染速度的指示。例如，电影渲染应用可以提供它是恒定渲染应用并且不需要伪帧的指示。类似地，所接收的用户输入的类型可以提供对于响应用户输入来讲可能是必须的渲染量的指示。例如，如果用户在显示器上绘制形状，那么系统可以预料用户的附加输入，等待向编码器发送伪帧。因此，发送伪帧的决定可以基于渲染的模式、输入的类型、以及应用的类型。
公开一种用于在远程显示器上渲染视频帧的处理，如图2中的示例所示。在210，移动设备可以接收远程显示器上的输入的指示。远程显示器可以是集成到车辆中的信息娱乐系统的组件。输入例如可以是远程显示器上的触摸输入。移动设备可以驱动远程显示器。例如，导航应用可以在移动设备上操作，以及除了移动设备的显示器之外或者代替移动设备的显示器，在远程显示器上显示。用户可能选择了远程显示器上的软按钮。可将触摸输入的位置发送给移动设备。应用可以确定触摸输入的位置对应于软按钮，并且它可以与需要对远程显示器的更新的特征相关联。
在220，移动设备可以确定应用的渲染速度。如上所述，可以基于应用、输入的类型、以及渲染的模式来确定渲染速度。应用可以是恒定渲染速度，在这种情况下，移动设备可以响应于从其接收的输入来渲染用于远程显示器的适当帧。如果将渲染速度确定为周期性的或者非恒定的，那么在230，移动设备可以向编码器发送一个或多个伪帧。在一些情况下，可以为移动设备预先配置阈值渲染速度，低于它则装置可以发送伪帧，高于它则装置不发送任何伪帧。可以生成伪帧，并且伪帧可以是向显示器指示其应当利用先前帧或后续帧的可计算代码。
如上所述，管道可包括对应于单个帧的一个或多个级。在240，可通过编码器渲染包括任何伪帧的一个或多个帧。在250，可以提供足够数量的伪帧，从而填充管道，使得移动设备将经过渲染的帧从编码器发送给联接到显示器的解码器。一旦管道中的帧被传输，移动设备就可以清除管道，并且编码器可以再次等待用帧填充管道。所提供的伪帧的数量可以与渲染速度相关。如果移动设备在更新显示器的一部分，那么它可以确定，它必须提供足够数量的帧来填充管道。
图3示出可包括移动设备310以及例如机动车辆信息娱乐系统340的远程显示器360的一个或多个的系统的示例。移动设备310可包括它自己的显示器、处理器322、计算可读存储器324。移动设备310可以同时操作一个或多个应用320。应用320的每一个可以与渲染速度或应用类型相关联。例如，应用320可以根据请求向处理器指示它的渲染速度是多少。应用320可以是与恒定渲染速度相关联的电影类型的应用。移动设备310可包括编码器330，编码器330被配置为在处理器322的指引下渲染一个或多个帧。编码器330例如可以调节它渲染的帧的分辨率、格式、以及压缩。编码器330可以负责生成一个或多个伪帧。例如，它可以生成包括指引远程显示器的解码器以便利用先前帧的计算机可读代码的帧。
可将处理器322配置为接收来自信息娱乐系统340的远程显示器360的输入的指示。如果远程显示器360是触摸屏和/或连接到信息娱乐系统340的按钮或旋钮，那么可以利用触摸来提供输入。可通过有线或无线连接370将输入发送给移动设备310。在移动设备310上操作的应用320可以确定，输入是否需要对远程显示器360的更新。如果需要对远程显示器360的一部分或全部的更新，则移动设备310可以确定用于应用320的渲染速度。如上所述，可以在移动设备310上同时使用一个以上应用320。因此，处理器322可以基于编码器330的活动性而不是单个应用320来确定渲染速度。作为另一个示例，它可以确定用于当前在移动设备310上操作的所有应用的总渲染速度。处理器322可以基于渲染速度向编码器330发送至少一个伪帧。如上所述，编码器330可以负责在一些配置中生成伪帧。可以渲染包括至少一个伪帧的视频帧，从而将编码器的管道完全填充。然后，编码器330可将经过渲染的帧发送给被联接到远程显示器360的解码器350。
在图4中提供其示例的实施方式中，在410，可以响应于从信息娱乐系统接收的输入生成至少一个帧，如上所述。该帧可以对应于联接到信息娱乐系统的远程显示器上显示的用户界面的一部分的更新。用于更新的渲染速度可以低于恒定速度(例如30FPS)或阈值水平(例如低于1FPS)。在420，移动设备可以如上所述确定渲染速度。可将一个或多个伪帧合并到编码器的管道中。伪帧可通过编码器本身生成和/或插入管道中。在一些配置中，在430，伪帧可通过移动设备生成并发送给编码器。在440，编码器可以渲染任何伪帧以及与远程显示器的更新相关联的视频帧。渲染过程可以包括按照正确顺序将帧插入管道中、压缩视频流、格式化视频流(例如，构成流的视频帧)、调节视频帧的分辨率等等。在450，可将经过渲染的帧发送给连接到信息娱乐系统的解码器。解码器可以改编视频帧，用于在信息娱乐系统的远程显示器上呈现。
以上在投影架构系统的背景下描述实施方式，该系统包括移动设备，移动设备驱动在信息娱乐系统上内容的显示以及用户与信息娱乐系统的交互。但是，本文公开的实施方式可以与其他配置兼容。例如，第一移动设备可以驱动在第二移动设备上内容的显示。第二移动设备可以经由第一移动设备与在其显示器上示出的内容交互。作为示例，第一移动设备可以托管视频游戏并且在第二移动设备的显示器以及第一移动设备的显示器上提供对视频游戏的动作的更新。
本公开主题的实施方式可以在各种组件和网络架构中实施以及通过各种组件和网络架构使用。图5是适合于本公开主题的实施方式的示例性计算机20。计算机20包括将计算机20的主要组件互连的总线21，例如中央处理器24，存储器27(通常是RAM，但是也可包括ROM、闪速RAM等等)，输入/输出控制器28，用户显示器22——例如经由显示适配器的显示屏，用户输入接口26——其可包括一个或多个控制器以及相关联的用户输入装置例如键盘、鼠标等等并且可以紧密联接到I/O控制器28，固定存储部23——例如硬盘驱动器、闪存、光纤通道网络、SAN装置、SCSI装置等等，以及可操作为控制和接收光盘、闪存驱动器等等的可移动媒体组件。
总线21允许中央处理器24与存储器27之间的数据通信，存储器27可包括只读存储器(ROM)或闪存(未示出)以及随机存取存储器(RAM)(未示出)，如上所述。RAM通常是加载操作系统和应用程序的主存储器。除了其他代码之外，ROM或闪速存储器还可包括基本输入-输出系统(BIOS)，其控制基本硬件操作，例如与外围组件的交互。驻留在计算机20上的应用通常存储在计算机可读介质上并经由计算机可读介质访问，例如硬盘驱动器(例如固定存储器23)、光驱、软盘、或其他存储介质25。
固定存储器23可以与计算机20集成，也可以是分立的，并通过其他接口来访问。网络接口29可以提供经由电话链接到远程服务器的直接连接、经由互联网服务提供商(ISP)到因特网的直接连接、或经由通过POP(存在点)或其他技术连到因特网的直接网络链路来到远程服务器的直接连接。网络接口29可以利用包括数字蜂窝电话连接、蜂窝数字分组数据(CDPD)连接、数字卫星数据连接等等的无线技术来提供这种连接。例如，网络接口29可以允许计算机经由一个或多个本地、广域、或其他网络与其他计算机通信，如图6所示。
很多其他装置或组件(未示出)可以按照类似的方式连接(例如，文档扫描仪、数码相机等等)。相反，不需要给出图5中所示的全部组件来实施本公开。可以按照与所示方式不同的方式将组件互连。例如图5所示的计算机的操作在本领域中容易得知，并且在本申请中不详细讨论。可将实施本公开的代码存储在计算机可读存储介质中，例如存储器27、固定存储部23、可移动介质25中的一个或多个，或者存储在远程存储位置上。
图6示出根据所公开主题的实施方式的示例性网络布置。一个或多个客户端10、11——例如本地计算机、智能电话、平板计算装置等等——可以经由一个或多个网络7连接到其他装置。网络可以是本地网络、广域网、因特网、或任何其它合适的通信网络或多个网络，并且可以在包括有线和/或无线网络的任何合适的平台上实施。客户端可以与一个或多个服务器13和/或数据库15通信。装置可通过客户端10、11直接访问，或者一个或多个其他装置可以提供中间访问，例如服务器13提供对数据库15中存储的资源的访问。此外，客户端10、11可以访问远程平台17或者由远程平台17提供的服务，例如云计算布置和服务。远程平台17可包括一个或多个服务器13和/或数据库15。
更一般而言，当前所公开主题的各种实施方式可以包括计算机实施的处理以及用于实现这些处理的装置，或者按照计算机实施的处理以及用于实现这些处理的装置的形式来实施。此外，实施方式可以按照具有计算机程序代码的计算机程序产品的形式来实施，计算机程序代码包含在非短暂性和/或有形介质(例如软盘、CD-ROM、硬盘驱动器、USB(通用串行总线)驱动器、或任何其他机器可读存储介质)中实施的指令，其中，在将计算机程序代码加载到计算机中并通过计算机执行时，计算机变成用于实施所公开主题的实施方式的设备。此外，实施方式可以按照计算机程序代码的形式实施，例如，不管是存储在存储介质中、加载到计算机中和/或通过计算机执行，还是通过某些传输介质传输——例如通过电线或电缆、通过光纤光学器件、或经由电磁辐射，其中在将计算机程序代码加载到计算机中并通过计算机执行时，计算机变成用于实施所公开主题的实施方式的设备。当在通用微处理器上实施时，计算机程序代码片段配置微处理器以创建专用逻辑电路。在一些配置中，存储在计算机可读存储介质上的一组计算机可读指令可通过通用处理器来实施，计算机可读指令可将通用处理器或包含通用处理器的装置变换为被配置为实施或执行指令的专用处理器。实施方式可以利用硬件来实施，硬件可包括处理器——例如通用微处理器和/或专用集成电路(ASIC)，其在硬件和/或固件中实施根据所公开主题的实施方式的技术的全部或一部分。可将处理器联接到存储器，例如RAM、ROM、闪存、硬盘、或者能够存储电子信息的任何其它装置。存储器可以存储适于通过处理器执行的指令，以进行根据所公开主题的实施方式的技术。
在所公开主题的实施方式收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供机会控制程序或特征是否收集用户信息(例如，用户提供的输入、用户的地理位置、以及与用户相关联的任何其他类似数据)，或者控制是否和/或如何从可能与用户更相关的提供商接收数据。此外，可以在存储或使用某些数据之前通过一种或多种方式来处理这些数据，从而消除个人可识别信息。例如，可以对用户的身份进行处理，从而不能对于用户确定个人可识别信息，或者可以在获得位置信息(例如城市、邮政编码、或者州等级)的地方将用户的地理位置一般化，从而不能确定用户的具体位置。因此，用户可以对如何围绕用户来收集信息以及对如何通过本文公开的系统使用信息来施加控制。
出于解释的目的，已经参考特定实施方式描述了说明书。但是，上面的说明性讨论并非要穷举或者将所公开主题的实施方式限制为所公开的精确形式。考虑到上述教导，很多修改和变化是可能的。选择和描述实现以便解释所公开主题的实施方式的原理及其实际应用，从而使得本领域其他技术人员能够利用这些实施方式以及具有各种修改的各种实施方式，如同可以适用于预期的特定用途。

Claims (14)

1.一种计算机实施的方法，包括：
通过移动设备来接收在远程显示器上的触摸输入的指示，其中，所述远程显示器与所述移动设备分立，并且所述触摸输入与正在所述显示器上显示的应用的变化相关联；
通过所述移动设备来确定用于所述应用的渲染速度；
基于所述渲染速度，将至少一个伪帧发送给所述移动设备的编码器；
渲染包括所述至少一个伪帧在内的多个帧，其中，所述渲染填充所述编码器的管道；
将包括被填充的管道的所述多个帧发送给被联接到所述显示器的解码器。
2.根据权利要求1所述的方法，进一步包括：
确定所述渲染速度低于阈值等级。
3.根据权利要求1或2所述的方法，进一步包括：
响应于所述触摸输入，来更新所述显示器的一部分。
4.根据前述权利要求中的任一项所述的方法，其中，
所述多个帧以及所述至少一个伪帧改变所述显示器的至少一部分。
5.根据前述权利要求中的任一项所述的方法，其中，
所述显示器是合并在机动车辆中的信息娱乐系统的组件。
6.根据前述权利要求中的任一项所述的方法，其中，
所述解码器被联接到所述显示器。
7.一种系统，包括：
被连接到移动设备的处理器，其中，所述处理器被配置为：
接收在远程显示器上的触摸输入的指示，其中，所述远程显示器与所述移动设备分立，并且所述触摸输入与正在所述显示器上显示的应用的变化相关联；
确定用于所述应用的渲染速度；
基于所述渲染速度，将至少一个伪帧发送给所述移动设备的编码器；
渲染包括所述至少一个伪帧在内的多个帧，其中，所述渲染填充所述编码器的管道；
将包括被填充的管道的所述多个帧发送给被联接到所述显示器的解码器。
8.根据权利要求7所述的系统，所述处理器进一步被配置为：
确定所述渲染速度低于阈值等级。
9.根据权利要求7或8所述的系统，所述处理器被进一步配置为：
响应于所述触摸输入来更新所述显示器的一部分。
10.根据权利要求7至9中的任一项所述的系统，其中，
所述多个帧以及所述至少一个伪帧改变所述显示器的至少一部分。
11.根据权利要求7至10中的任一项所述的系统，其中，
所述显示器是合并在机动车辆中的信息娱乐系统的组件。
12.根据权利要求7至11中的任一项所述的系统，其中，
所述解码器被联接到所述显示器。
13.一种计算机实施的方法，包括：
响应于从信息娱乐系统接收到的输入，来生成至少一个帧；
确定渲染速度是非恒定的；
将至少一个伪帧以及至少一个帧发送给编码器；
通过所述编码器，来渲染所述至少一个伪帧以及所述至少一个帧，以形成多个经过渲染的帧；以及
将所述多个经过渲染的帧发送给被连接到所述信息娱乐系统的解码器，其中，所述信息娱乐系统显示所述多个帧。
14.根据权利要求13所述的方法，其中，
通过所述信息娱乐系统的解码器来接收所述多个帧。
CN201580034448.8A 2014-06-24 2015-06-19 一种用于渲染视频帧的方法和设备 Active CN106464951B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/313,287 2014-06-24
US14/313,287 US9269328B2 (en) 2014-06-24 2014-06-24 Efficient frame rendering
PCT/US2015/036795 WO2015200143A1 (en) 2014-06-24 2015-06-19 Efficient frame rendering

Publications (2)

Publication Number Publication Date
CN106464951A true CN106464951A (zh) 2017-02-22
CN106464951B CN106464951B (zh) 2019-08-20

Family

ID=53674270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034448.8A Active CN106464951B (zh) 2014-06-24 2015-06-19 一种用于渲染视频帧的方法和设备

Country Status (9)

Country Link
US (2) US9269328B2 (zh)
EP (1) EP3161827B1 (zh)
JP (1) JP6469734B2 (zh)
KR (1) KR101961398B1 (zh)
CN (1) CN106464951B (zh)
AU (1) AU2015280330B2 (zh)
BR (1) BR112016030171B1 (zh)
CA (1) CA2953502C (zh)
WO (1) WO2015200143A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
CN114127666A (zh) * 2019-07-24 2022-03-01 高通股份有限公司 使用可变帧率的中央凹渲染
CN116324674A (zh) * 2020-10-28 2023-06-23 高通股份有限公司 应用层渲染的智能化管理
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269328B2 (en) * 2014-06-24 2016-02-23 Google Inc. Efficient frame rendering
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US11470376B2 (en) * 2019-01-04 2022-10-11 Voxx International Corporation Vehicle entertainment system providing remote user control of video content on a monitor display and related methods
US11190830B2 (en) * 2019-01-04 2021-11-30 Voxx International Corporation Vehicle entertainment system providing remote user control of video content on a monitor display and related methods
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
CN110582021B (zh) * 2019-09-26 2021-11-05 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
WO2021087412A1 (en) * 2019-11-01 2021-05-06 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
CN111107404A (zh) * 2019-12-27 2020-05-05 珠海全志科技股份有限公司 汽车与移动端的界面视频快速播放方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020028061A1 (en) * 2000-05-16 2002-03-07 Seiichi Takeuchi Method and apparatus of processing video coding bit stream, and medium recording the programs of the processing
CN102342096A (zh) * 2009-01-06 2012-02-01 Lg电子株式会社 处理图像的设备及其方法
US20130222210A1 (en) * 2012-02-28 2013-08-29 Qualcomm Incorporated Frame capture and buffering at source device in wireless display system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001292234A1 (en) * 2000-09-26 2002-04-08 Matsushita Electric Industrial Co., Ltd. Display unit and drive system thereof and an information display unit
WO2002101966A2 (en) * 2001-04-25 2002-12-19 Nokia Corporation Method and system for forward link cell switching
JP4257221B2 (ja) * 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
EP1815706A1 (en) * 2004-11-22 2007-08-08 Nokia Corporation System and method for proactive, early network switching
US8259840B2 (en) * 2005-10-24 2012-09-04 General Motors Llc Data communication via a voice channel of a wireless communication network using discontinuities
JP4347322B2 (ja) * 2006-07-14 2009-10-21 ソニー株式会社 受信装置および方法、並びにプログラム
EP1879347B1 (en) * 2006-07-14 2012-05-30 Sony Europe Limited System and method of audio/video streaming
US7990402B2 (en) * 2006-11-10 2011-08-02 Seiko Epson Corporation Image display control device
US20090164473A1 (en) * 2007-12-19 2009-06-25 Harman International Industries, Incorporated Vehicle infotainment system with virtual personalization settings
US20100060572A1 (en) * 2008-09-11 2010-03-11 Ely Tsern Display device for interfacing with a handheld computer device that dynamically generates a different user environment for the display device
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US8634873B2 (en) * 2010-03-17 2014-01-21 Microsoft Corporation Mobile communication device having multiple, interchangeable second devices
JP5625864B2 (ja) * 2010-12-15 2014-11-19 ソニー株式会社 表示装置及び表示装置の駆動方法
US8863256B1 (en) * 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
GB2492789B (en) * 2011-07-12 2018-01-03 Denso Corp Displays
US9195362B2 (en) * 2011-12-16 2015-11-24 Blackberry Limited Method of rendering a user interface
US20130208992A1 (en) * 2012-02-13 2013-08-15 Shu Lin System and method for difference frame threshold encoding and decoding
US8786517B2 (en) * 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
US9144094B2 (en) * 2012-10-29 2015-09-22 Qualcomm Incorporated Establishing a wireless display session between a computing device and a vehicle head unit
US9348555B2 (en) * 2013-03-15 2016-05-24 Volkswagen Ag In-vehicle access of mobile device functions
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
US10620700B2 (en) * 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9354744B2 (en) * 2014-06-09 2016-05-31 Sony Corporation Adaptive touch panel synchronization
US9269328B2 (en) * 2014-06-24 2016-02-23 Google Inc. Efficient frame rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020028061A1 (en) * 2000-05-16 2002-03-07 Seiichi Takeuchi Method and apparatus of processing video coding bit stream, and medium recording the programs of the processing
CN102342096A (zh) * 2009-01-06 2012-02-01 Lg电子株式会社 处理图像的设备及其方法
US20130222210A1 (en) * 2012-02-28 2013-08-29 Qualcomm Incorporated Frame capture and buffering at source device in wireless display system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
US11727619B2 (en) 2017-04-28 2023-08-15 Apple Inc. Video pipeline
US12086919B2 (en) 2017-04-28 2024-09-10 Apple Inc. Video pipeline
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US11900578B2 (en) 2017-07-21 2024-02-13 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
CN114127666A (zh) * 2019-07-24 2022-03-01 高通股份有限公司 使用可变帧率的中央凹渲染
CN116324674A (zh) * 2020-10-28 2023-06-23 高通股份有限公司 应用层渲染的智能化管理

Also Published As

Publication number Publication date
US20150371604A1 (en) 2015-12-24
CN106464951B (zh) 2019-08-20
WO2015200143A1 (en) 2015-12-30
JP2017525247A (ja) 2017-08-31
CA2953502A1 (en) 2015-12-30
US20160119669A1 (en) 2016-04-28
AU2015280330B2 (en) 2018-03-08
US9894401B2 (en) 2018-02-13
CA2953502C (en) 2018-10-23
KR101961398B1 (ko) 2019-03-25
JP6469734B2 (ja) 2019-02-13
AU2015280330A1 (en) 2016-12-22
KR20170023122A (ko) 2017-03-02
EP3161827B1 (en) 2019-05-22
EP3161827A1 (en) 2017-05-03
BR112016030171A2 (pt) 2018-07-17
BR112016030171B1 (pt) 2023-01-31
US9269328B2 (en) 2016-02-23

Similar Documents

Publication Publication Date Title
CN106464951A (zh) 高效帧渲染
CN104040529B (zh) 用于云迁移中的配置管理的装置和方法
CN105229615B (zh) 虚拟盘恢复和重新分布
CN108304324A (zh) 测试用例生成方法、装置、设备及存储介质
BR112017003270B1 (pt) Método, sistema e meio legível por computador para inércia paramétrica e apis
CN103164518A (zh) 移动终端增强现实应用系统及方法
US20150370461A1 (en) Management of Media Player Functionality
CN106572146A (zh) 消息发送方法及消息发送装置
CN107077344B (zh) 用于多个媒体应用的界面
CN106716405A (zh) 用于将在计算机设备的本地桌面应用程序上创建的命令和/或内容直接注入至网页浏览器并反之亦然的系统、方法和计算机程序产品
CN102902746A (zh) 一种海量数据处理方法、装置及系统
CN114417452B (zh) 建筑信息模型的处理方法及相关装置
CN108122038A (zh) 网约车订单推送方法、装置及电子设备
CN110737402A (zh) 管理存储系统的方法、设备和计算机程序产品
US20150370446A1 (en) Application Specific User Interfaces
CA3112873A1 (en) Automatically pairing gps data to planned travel routes of mobile objects
CN104981797B (zh) 云流服务系统以及提供云流服务的方法和设备
CN108292266A (zh) 通过存储器范围筛选器和可选择地址平坦化用于可配置存储器映射的SoC结构扩展
CN108139900A (zh) 传送关于应用的更新的信息
US20170251276A1 (en) Validating parameters on discrete computing applications to grant access control to content or commands
KR20210004660A (ko) 인코딩과 업로딩의 병행 처리를 통해 미디어 파일의 전송 시간을 단축시킬 수 있는 방법 및 시스템
JP2019531019A (ja) コンテンツ提供方法およびシステム
WO2015181851A1 (ja) 展開予測装置、展開予測方法、プログラム及び記録媒体
CN112752154A (zh) 软件升级方法及装置、智能电视
CN104536800A (zh) 一种虚拟机放置方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant