CN1901605A - 使用基于片的再现系统的低等待时间远程显示再现 - Google Patents

使用基于片的再现系统的低等待时间远程显示再现 Download PDF

Info

Publication number
CN1901605A
CN1901605A CNA2005101199884A CN200510119988A CN1901605A CN 1901605 A CN1901605 A CN 1901605A CN A2005101199884 A CNA2005101199884 A CN A2005101199884A CN 200510119988 A CN200510119988 A CN 200510119988A CN 1901605 A CN1901605 A CN 1901605A
Authority
CN
China
Prior art keywords
sheet
image
slice
machine
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101199884A
Other languages
English (en)
Other versions
CN1901605B (zh
Inventor
K·帕利斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201210057720.2A priority Critical patent/CN102625149B/zh
Publication of CN1901605A publication Critical patent/CN1901605A/zh
Application granted granted Critical
Publication of CN1901605B publication Critical patent/CN1901605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了使用基于片的再现系统用于低等待时间远程显示再现的装置、系统和方法。在一种执行方式中，一种系统包括一个网络接口和耦合到该网络接口的一个内容源。内容源能够再现分片图像的至少一个片、编码至少一个片并在分片图像的所有片再现之前提供至少一个编码片到网络接口。

Description

使用基于片的再现系统 的低等待时间远程显示再现
背景技术
在远程显示器再现系统中，一个远程服务器可以通过一个网络发送图像数据，由本地显示器的用户观看。一般，一种与服务器相关联的远程软件应用程序一次一帧地再现、编码并发送图像数据。这些帧被接收的同时，本地用户则解码并显示这些帧。本地用户接收图像帧的速度部分受到网络等待时间的限制。使用诸如3D游戏的远程显示再现的一些应用程序可能要求用户的输入(即，用户按下控制器按钮)和结果动作的显示(即，用户的游戏字符改变方向)之间的低等待时间。在这样的情况下，当一帧一帧地传输游戏场景图像时，过多的网络等待时间可能损害终端用户的游戏体验。
附图说明
结合在本说明书中并构成本说明书一部分的附图说明了符合本发明原理的一种或多种执行方式并与说明书一起解释这样的执行方式。附图不必按比例绘制，把而重点放在说明本发明的原理上。在图中，
图1示出了一个示例系统；
图2是说明提供并传输编码的图像片(tile)的示例处理的流程图；和
图3是说明接收编码后的图像片的示例处理的流程图。
具体实施方式
以下的详细说明与附图相关。相同的附图标记可能用在不同的图中来标识相同或类似的元件。在以下描述中，为了解释而非限制的目的，提出特定的细节，比如详细的结构，体系结构，接口，技术等，从而提供对要求保护的本发明的各个方面的整体理解。但是，本领域技术人员从本公开文件中获益将意识到，要求保护的本发明的各个方面可以在与这些特定细节不同的其他例子中实践。在特定情况下，公知设备、电路和方法的描述被省略，从而不会由不必要的细节使得本发明的描述模糊不清。
图1示出了按照本发明的一种执行方式的示例系统100。系统100可以包括一个远程图形和/或视频内容源102，一个本地终端104和将源102和终端104通信耦合的网络106。源102可以包括一个帧缓冲器108，一个再现器110和一个编码器112。一个网络接口114可以将源102通信耦合到网络106。终端104可以包括一个网络接口116，一个解码器118，一个显示控制器120和一个显示器122。
帧缓冲器108可以是能够保持和/或存储一帧或多帧图像数据的任意设备。尽管缓冲器108作为一个物理设备示出，但是在不背离本发明的范围和精神的条件下，缓冲器108也可以用硬件、软件、固件或它们的任意组合实现。在一种执行方式中，缓冲器108可以由诸如3D游戏应用软件的、在运行时创建图形和/或视频数据的软件应用程序(未示出)提供图像数据，但是本发明不限于这种关系。或者，在另一种执行方式中，图像帧数据可以由存储图像数据的源(未示出)提供到缓冲器108。
再现器110可以用能够从缓冲器108接受图形和/或视频内容并能将其再现成适当的格式以传输到本地终端104的集成电路(IC)和/或IC的集合来实现。在另一个实施例中，再现器110可以用软件和/或固件实现。在一种执行方式中，再现器110产生诸如红-绿-蓝(RGB)的特定位图格式的图像数据，但是本发明不限于此并且要求保护的本发明预期了其他图像数据格式。
编码器112可以把再现器110的图像数据输出转换到一种适合于通过网络106与本地终端104进行有效通信的压缩格式。在一种执行方式中，编码器112可以把由再现器110提供的RGB图像数据转换到联合图像专家组(JPEG)兼容格式，但是本发明不限于此。例如，在一种执行方式中，编码器112可以使用公知技术把RGB图像数据转换到YUV数据格式并接着把YUV图像数据压缩为JPEG兼容格式，比如4:2:2YUV或4:1:1YUV。在另一种执行方式中，编码器112可以使用公知技术对再现器110提供的RGB图像数据进行游程长度编码。很明显这种图像数据格式的转换和/或编码有很多种组合并且所要求保护的本发明已预见了这些组合。
网络接口114可以通信耦合源102到网络106并可以包括适合于在网络106上传送，压缩图像数据的诸如有线接口和/或无线接口的任何网络接口。例如，在一种执行方式中，接口114可以是无线局域网(WLAN)接口，但是本发明不限于此。
在不背离本发明的范围和精神的条件下，内容源102的部件可以用硬件、软件、固件或它们的任意组合实现。而且，内容源102的部件不需要一起位于单个设备中，但是一个或多个缓冲器108，再现器110和/或编码器112可以位于物理上分离的设备中它们互相通信和/或操作耦合。或者，内容源102可以在包括一个或多个IC的单个设备内实现，这些IC提供如前面描述的缓冲器108、再现器110和/或编码器112的功能。在一种执行方式中，源102的部件可以用一个网络服务器实现。在另一种执行方式中，一种软件应用程序可以生成图像片并把它们直接提供到再现器110，而不需要首先在一个帧缓冲器中存储图像片。
网络106可以是能够将来自内容源102的压缩图像数据传送和/或提供到终端104的任意内容传递网络。在一种执行方式中，网络106可以包括一个全球因特网或万维网。但是，网络106的确切种类不限制本发明。例如，在不限制要求保护的权利要求的情况下，网络106能够是有线和/或无线的非全球、局域网(LAN)或一个广域网(WAN)。在网络106是有线和/或无线LAN和/或WAN的执行方式中，分别应用到源102和终端104的描述符“远程”和“本地”是相对的并可以表示源102和终端104在物理上被分开很短的距离。例如，在网络106可以是无线LAN的执行方式中，源102和终端104可以只相隔几英尺。
网络接口116可以将终端104通信耦合到网络106并可以包括适用于将压缩图像数据从网络106传递到终端104的、诸如有线接口和/或无线接口的任何网络接口。例如，在一种执行方式中，接口116可以是无线局域网(WLAN)接口，但是本发明不限于此。
解码器118可以对由源102产生并通过接口116从网络106接收的压缩图像数据进行解压缩。在一种执行方式中，解码器118可以解压缩编码后的MPEG兼容格式图像数据并提供解压缩后的数据到显示控制器120，但是本发明不限于此。例如，在一种执行方式中，解码器118可以用公知技术将YUV格式图像数据从子采样的4:2:2YUV格式解压缩为全采样的YUV格式。在另一种执行方式中，解码器118可以用公知技术解压缩游程长度编码的RGB数据。很明显，这样的图像解码的许多组合也是可能的并且已被要求保护的本发明所预期。
显示控制器120可以是适用于将由解码器118提供的图像数据转换为适合由显示器122使用的格式的任何显示控制器。在一种执行方式中，显示控制器120可以将从解码器118接收的YUV图像数据转换为RGB格式，但是本发明不限于此。同样，显示器122可以是能够显示图像数据的任何显示器。在一种执行方式中，显示器122可以是与以RGB格式显示图像数据兼容的液晶显示器(LCD)，但是本发明不限于此。
在不背离要求保护的本发明的范围和精神的条件下，终端104的部件可以用硬件、软件、固件或它们的任意组合实现。而且，终端104的部件不需要一起位于单个设备中，一个或多个网络接口116、解码器118、显示控制器120和/或显示器122可以位于多个通信和/或操作耦合在一起但物理上分离的设备中。或者，终端104的一个和多个部件可以在包括一个和多个IC的单个设备中实现，这些IC提供如上所述的接口116、解码器118、显示控制器120和/或显示器122的功能。在一种执行方式中，终端104的部件可以嵌入到单个诸如笔记本电脑和/或台式电脑之类的个人计算机设备中。
在一种执行方式中，缓冲器108可以用分片格式保持、包含和/或提供图形和/或视频数据。例如，一种包括640像素乘480像素的图像可以分为300个相邻的片，每个片具有32像素乘32像素的尺寸。在一种执行方式中，再现器110可以再现由缓冲器108一次一个片提供的图像数据，并且一旦再现之后，提供每个片到编码器112。以这种方式，内容源102可以提供各个编码后的片到终端104，这将在下面更详细地描述。
图2是说明提供并发送编码后的图像片的处理200的流程图。尽管处理200可以关于图1的系统100进行描述，但是要求保护的本发明不限于此。处理可以从提供图像片开始[动作202]。这样做的一种方式是使一个软件应用程序提供一个分片的图像帧到帧缓冲器108。处理可以继续进行图像帧的一个片的再现[动作204]和所再现的片的编码[动作206]。在一种执行方式中，再现器110可以再现缓冲器108提供的分片图像帧的一个片并提供再现后的片到编码器112用于编码。处理可以继续进行到编码后的片的传输[动作208]。这可以通过编码器112提供编码后的片到网络接口114完成。随后，接口114可以将编码后的片通过网络106发送到终端104。
因为系统100可以提供分片格式的图形和/或视频数据，处理200可以用于以流水线和/或基本上并行的方式再现、编码和/或发送一个分片图像的多个图像片。换句话说，处理200可以允许网络接口114与其他由编码器112提供到网络接口114的图形和/或视频图像数据的编码后的图像片分离地通过网络106发送一个或多个编码后的图像片。从而，在一种执行方式中，网络接口114可以在再现器110已经再现存储在缓冲器108中的图形和/或视频数据图像的所有图像片之前，通过网络106发送一个或多个编码后的图像片。但是，这仅仅是处理200如何以流水线和/或基本上并行的方式提供分片图像的多个片的再现、编码和/或发送的一个例子，并且本发明的执行方式不限于此。例如，在另一种执行方式中，网络接口114可以在编码器112对缓冲器108中存储并由再现器110再现的图形和/或视频数据图像的所有图像片进行编码之前，通过网络106发送一个或多个编码后的图像片。
在一种执行方式中，再现器110在动作204中再现了一个片后，处理可以继续进行下一个片的再现[动作210]。从而，在动作204中再现一个片之后，再现器110可以在动作210时再现下一个片。接着，下一个片可以被编码[动作212]并发送[214]。在一种执行方式中，编码器112在动作206对片进行编码之后，编码器112可以在动作212编码下一个片。同样，接口114在动作208发送片之后，接口114可以在动作214发送下一个片。处理200可以以一种类似的方式继续进行图像帧中所有片的流水线或基本上并行地再现、编码和发送，直到图像帧中最后一个片在动作216-220中被再现、编码并发送。
图3是说明接收并显示编码后的图像片的处理300的流程图。尽管处理300可以结合图1的系统100进行描述，但是要求保护的本发明不限于此。处理可以从接收一个编码后的图像片[动作302]开始。这样做的一种方式是使得网络接口116从网络106接收编码后的图像片。处理可以继续进行在动作302中接收到的编码后的图像片的解码[动作304]。在一种执行方式中，解码器118可以对网络接口116提供的编码后的图像片解码。处理可以继续进行解码片的显示[动作306]。这可以通过使得解码器118提供解码后的片到显示控制器120来完成。控制器120则可以处理解码后的图像片并提供所产生的图像片数据到显示器122。
因为系统100可以以分片格式提供图形和/或视频数据，处理300可以以流水线和/或基本上并行的方式进行分片图像的多个片的接收、解码和显示。换句话说，处理300可以允许网络接口116与接口114通过网络106发送的图形和/或视频图像数据的其他编码后图像片分离地从网络106接收一个或多个编码后的图像片。从而，在一种执行方式中，网络接口116可以在再现器110再现缓冲器108中存储的图形和/或视频数据图像的所有图像片之前，通过网络106接收一个或多个编码后的图像片。但是，这仅仅是处理300如何提供以流水线和/或基本上并行的方式对分片图像的多个片进行接收、解码和/或显示的一个例子，并且本发明的执行方式不限于此。例如，在另一种执行方式中，网络接口116可以在编码器112对存储在缓冲器108并由再现器110再现的图形和/或视频数据图像的所有图像片编码之前，通过网络106接收一个或多个编码后的图像片。
在一种执行方式中，接口116在动作302中接收一个片之后，处理可以继续进行下一个片的接收[动作308]。从而，在动作302中接收编码片之后，接口116可以在动作308中接收下一个编码片。下一个编码片可以接着被解码[动作310]和显示[312]。在一种执行方式中，解码器118解码在动作302中接收的第一个片[动作304]之后，解码器118可以在动作310中解码下一个片。同样，控制器120在动作306中处理了下一个解码后的图像片用于显示后，控制器120可以在动作312中处理下一个解码后的图像片用于显示。处理300可以以类似的方式继续进行图像帧中所有片的流水线或基本上并行地接收、解码和显示，直到在动作314-318中图像帧中最后一个片被接收、解码并显示为止。
图2和/或图3所示的动作不需要以示出的顺序执行，也不需要执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行执行。而且，在该图中的至少一些动作可以按照指令或指令组执行，其在机器可读介质中执行。
与本发明的原理一致的一个或多个执行方式的前述说明提供了解释和描述，但是并不意图将本发明的范围穷举或限制为所公开的精确形式。根据以上的教导可能有多种修改和变化，或可以从本发明的各种执行方式的实践中获取这些修改和变化。例如，使用基于片的再现系统的低等待时间远程显示再现的系统、装置和方法不限于提供JPEG-兼容的编码或解码的系统或装置。但是，要求保护的本发明的也设想了能够支持使用基于片的再现系统的低等待时间远程显示再现的其他协议。而且，尽管图2和3和随附的文字描述了一个用于再现、编码、发送、接收、解码和显示各个片的处理，在要求保护的本发明中也预期了其它处理。例如，在一种执行方式中，一次可以有两个或多个片在一个批处理中进行再现、编码、发送、接收、解码和显示。换句话说，例如，一次可以有两个或多个片在动作204中再现，在动作206中编码，在动作208中发送，在动作302中接收，在动作304中解码，在动作306中显示等。很明显，可以使用很多其他执行方式来提供与要求保护的本发明一致的使用基于片的再现系统的低等待时间远程显示再现。
用在本申请的说明中的元件、动作或指令不应当被视为本发明的关键或基本点，除非明确指出。而且，如这里使用的，冠词“一个”意图包括一个或多个单元。在基本上不脱离本发明的精神和原则的条件下对要求保护的发明的上述执行方式可以作出变化和修改。所有这样的修改和改变预定包含在这里公开的范围内并由随后的权利要求来保护。

Claims (31)

1、一种方法，包括：
再现分片图像的至少一个片；
编码该至少一个片；和
在分片图像的所有片再现之前发送至少一个编码片。
2、如权利要求1的方法，其中发送至少一个编码片包括发送至少一个编码片，同时至少一个其他的片被再现或同时至少一个其他的片被编码。
3、如权利要求1的方法，其中再现至少一个片包括生成至少一个位映像片。
4、如权利要求3的方法，其中至少一个位映像片具有RGB、YUV或CIELab彩色格式中的一种。
5、如权利要求1的方法，其中编码至少一个片包括压缩至少一个片。
6、如权利要求5的方法，其中压缩至少一个片包括以JPEG-兼容格式压缩至少一个片。
7、如权利要求1的方法，其中发送至少一个编码片包括通过网络将至少一个编码片发送到一个终端。
8、如权利要求1的方法，还包括：
接收至少一个片；
解码至少一个片以生成至少一个解码片；和
显示至少一个解码片。
9、一种物品，包括具有存储在其中的指令的机器可读取介质，当由机器执行时，使该机器：
再现分片图像的至少一个片；
编码至少一个片；和
在分片图像的所有片再现之前发送至少一个编码片。
10、如权利要求9的物品，其中发送至少一个编码片的指令当由机器执行时，使得机器发送至少一个编码片，同时至少一个其他的片被再现或同时至少一个其他的片被编码。
11、如权利要求9的物品，其中再现至少一个片的指令当由机器执行时使得机器生成至少一个位映像片。
12、如权利要求11的物品，其中至少一个位映像片具有RGB、YUV或CIELab彩色格式中的一种。
13、如权利要求9的物品，其中编码至少一个片的指令当由机器执行时，使得机器压缩至少一个片。
14、如权利要求13的物品，其中编码至少一个片的指令当由机器执行时使得机器以JPEG-兼容格式压缩至少一个片。
15、如权利要求9的物品，其中发送至少一个编码片的指令当由机器执行时使得机器通过网络将至少一个编码片发送到一个终端。
16、一种系统，包括：
一个网络接口；和
一个耦合到网络接口的内容源，所述内容源能够执行至少以下步骤：
再现分片图像的至少一个片；
编码至少一个片；和
在分片图像的所有片再现之前提供至少一个编码片到网络接口。
17、如权利要求16的系统，还包括：
一个存储分片图像的帧缓冲器。
18、如权利要求16的系统，其中提供至少一个编码片包括提供至少一个编码片，同时至少一个其他的片被再现或同时至少一个其他的片被编码。
19、如权利要求16的系统，其中再现至少一个片包括生成至少一个位映像片。
20、如权利要求19的系统，其中至少一个位映像片具有RGB、YUV或CIELab彩色格式中的一种。
21、如权利要求16的系统，其中编码至少一个片包括压缩至少一个片。
22、如权利要求21的系统，其中压缩至少一个片包括以JPEG-兼容格式压缩至少一个片。
23、如权利要求16的系统，其中提供至少一个编码片包括通过网络将至少一个编码片提供到一个终端。
24、一种设备，包括：
一个存储至少一个分片图像的帧缓冲器，
一个响应于帧缓冲器的再现器，该再现器再现分片图像的至少一个片；和
一个响应于再现器的编码器，该编码器编码至少一个片并在再现器再现分片图像的所有片之前提供编码后的至少一个片到网络接口。
25、如权利要求24的物品，编码器还基本上与再现器再现至少一个其他片并行地提供编码后的至少一个片到网络接口。
26、如权利要求25的物品，编码器还编码至少一个其他片。
27、如权利要求26的物品，编码器还在提供至少一个片到网络接口之后提供至少一个其他片到网络接口。
28、一种方法，包括：
编码一个分片图像的至少第一图像片；
编码分片图像的至少第二图像片；和
在编码至少第二图像片之前，通过网络发送至少第一编码图像片。
29、如权利要求28的方法，其中发送至少第一图像片还包括：
通过网络发送至少第一编码图像片，同时编码分片图像的至少第三图像片。
30、如权利要求28的方法，其中编码至少第一图像片和编码至少第二图像片包括压缩至少第一图像片和压缩至少第二图像片。
31、如权利要求30的方法，其中
压缩至少第一图像片和压缩至少第二图像片包括以JPEG-兼容格式压缩至少第一图像片和JPEG-兼容格式压缩至少第二图像片。
CN2005101199884A 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现 Active CN1901605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210057720.2A CN102625149B (zh) 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/951,749 US7813562B2 (en) 2004-09-27 2004-09-27 Low-latency remote display rendering using tile-based rendering systems
US10/951749 2004-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210057720.2A Division CN102625149B (zh) 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现

Publications (2)

Publication Number Publication Date
CN1901605A true CN1901605A (zh) 2007-01-24
CN1901605B CN1901605B (zh) 2012-05-09

Family

ID=35483187

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2005101199884A Active CN1901605B (zh) 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现
CN201210057720.2A Active CN102625149B (zh) 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210057720.2A Active CN102625149B (zh) 2004-09-27 2005-09-26 使用基于片的再现系统的低等待时间远程显示再现

Country Status (3)

Country Link
US (4) US7813562B2 (zh)
CN (2) CN1901605B (zh)
WO (1) WO2006036661A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813562B2 (en) 2004-09-27 2010-10-12 Intel Corporation Low-latency remote display rendering using tile-based rendering systems
GB0524804D0 (en) 2005-12-05 2006-01-11 Falanx Microsystems As Method of and apparatus for processing graphics
WO2007095184A2 (en) 2006-02-13 2007-08-23 Decarta, Inc. Draggable maps
US9965886B2 (en) * 2006-12-04 2018-05-08 Arm Norway As Method of and apparatus for processing graphics
JP5302768B2 (ja) * 2008-06-26 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP5347440B2 (ja) * 2008-11-10 2013-11-20 日本電気株式会社 動画像処理装置
US8587610B2 (en) 2008-12-12 2013-11-19 Microsoft Corporation Rendering source content for display
GB0900700D0 (en) * 2009-01-15 2009-03-04 Advanced Risc Mach Ltd Methods of and apparatus for processing graphics
US20100225655A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Concurrent Encoding/Decoding of Tiled Data
US20100226441A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Frame Capture, Encoding, and Transmission Management
US8189661B2 (en) 2009-03-09 2012-05-29 Microsoft Corporation Remote desktop protocol (RDP) tile image classification for improving compression efficiency and quality
US8638337B2 (en) * 2009-03-16 2014-01-28 Microsoft Corporation Image frame buffer management
TWI405080B (zh) * 2009-09-01 2013-08-11 Inventec Corp 重映射記憶體的方法
US8385666B2 (en) 2010-03-31 2013-02-26 Microsoft Corporation Classification and encoder selection based on content
US8700796B2 (en) 2010-09-22 2014-04-15 Qualcomm Incorporated MAC data service enhancements
US20120243602A1 (en) 2010-09-23 2012-09-27 Qualcomm Incorporated Method and apparatus for pipelined slicing for wireless display
US9679404B2 (en) 2010-12-23 2017-06-13 Microsoft Technology Licensing, Llc Techniques for dynamic layout of presentation tiles on a grid
US9436685B2 (en) 2010-12-23 2016-09-06 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
US9715485B2 (en) 2011-03-28 2017-07-25 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
GB2496418A (en) 2011-11-10 2013-05-15 Esaturnus Ultra low latency video communication.
US8996762B2 (en) 2012-02-28 2015-03-31 Qualcomm Incorporated Customized buffering at sink device in wireless display system based on application awareness
US9317948B2 (en) 2012-11-16 2016-04-19 Arm Limited Method of and apparatus for processing graphics
US10204391B2 (en) 2013-06-04 2019-02-12 Arm Limited Method of and apparatus for processing graphics
US9641592B2 (en) 2013-11-11 2017-05-02 Amazon Technologies, Inc. Location of actor resources
US9805479B2 (en) 2013-11-11 2017-10-31 Amazon Technologies, Inc. Session idle optimization for streaming server
US9582904B2 (en) 2013-11-11 2017-02-28 Amazon Technologies, Inc. Image composition based on remote object data
US9596280B2 (en) 2013-11-11 2017-03-14 Amazon Technologies, Inc. Multiple stream content presentation
US9578074B2 (en) 2013-11-11 2017-02-21 Amazon Technologies, Inc. Adaptive content transmission
US9634942B2 (en) 2013-11-11 2017-04-25 Amazon Technologies, Inc. Adaptive scene complexity based on service quality
US9604139B2 (en) * 2013-11-11 2017-03-28 Amazon Technologies, Inc. Service for generating graphics object data
JP6055433B2 (ja) * 2014-04-01 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ゲーム提供サーバ
JP6412708B2 (ja) 2014-04-01 2018-10-24 株式会社ソニー・インタラクティブエンタテインメント プロセッシングシステムおよびマルチプロセッシングシステム
JP6373620B2 (ja) 2014-04-01 2018-08-15 株式会社ソニー・インタラクティブエンタテインメント ゲーム提供システム
FR3045366B1 (fr) * 2015-12-22 2019-03-29 L'oreal Polymere ethylenique phosphonique et ses applications en cosmetique
CN107241601B (zh) * 2016-03-29 2020-06-05 展讯通信（上海）有限公司 图像数据传输方法、装置及终端
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
WO2018107338A1 (zh) * 2016-12-12 2018-06-21 深圳市大疆创新科技有限公司 图像信号处理方法和装置
GB2558886B (en) 2017-01-12 2019-12-25 Imagination Tech Ltd Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space
US11076158B2 (en) * 2019-09-09 2021-07-27 Facebook Technologies, Llc Systems and methods for reducing WiFi latency using transmit opportunity and duration
US11070829B2 (en) * 2019-12-16 2021-07-20 Ati Technologies Ulc Reducing latency in wireless virtual and augmented reality systems
CN111158619B (zh) * 2019-12-25 2021-09-21 珠海格力电器股份有限公司 一种图片处理方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1126410A (zh) * 1995-01-06 1996-07-10 大宇电子株式会社 数字视频信号的并行解码装置
US6182127B1 (en) * 1997-02-12 2001-01-30 Digital Paper, Llc Network image view server using efficent client-server tilting and caching architecture
US6167442A (en) * 1997-02-18 2000-12-26 Truespectra Inc. Method and system for accessing and of rendering an image for transmission over a network
US6356283B1 (en) * 1997-11-26 2002-03-12 Mgi Software Corporation Method and system for HTML-driven interactive image client
US6449639B1 (en) * 1998-12-23 2002-09-10 Doxio, Inc. Method and system for client-less viewing of scalable documents displayed using internet imaging protocol commands
US6449636B1 (en) * 1999-09-08 2002-09-10 Nortel Networks Limited System and method for creating a dynamic data file from collected and filtered web pages
US7180523B1 (en) 2000-03-31 2007-02-20 Intel Corporation Trimming surfaces
US6704024B2 (en) * 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
US6603471B2 (en) * 2001-01-31 2003-08-05 Intel Corporation Reducing detail in animated three-dimensional models
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US7734824B2 (en) * 2002-10-18 2010-06-08 Ricoh Co., Ltd. Transport of reversible and unreversible embedded wavelets
US20040220707A1 (en) 2003-05-02 2004-11-04 Kim Pallister Method, apparatus and system for remote navigation of robotic devices
US20040252129A1 (en) * 2003-06-11 2004-12-16 Kim Pallister Methods and apparatus for a variable depth display
US20050140688A1 (en) * 2003-12-29 2005-06-30 Kim Pallister Method and mechanism for programmable filtering of texture map data in 3D graphics subsystems
US7813562B2 (en) 2004-09-27 2010-10-12 Intel Corporation Low-latency remote display rendering using tile-based rendering systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备

Also Published As

Publication number Publication date
WO2006036661A1 (en) 2006-04-06
CN102625149A (zh) 2012-08-01
US7813562B2 (en) 2010-10-12
US20120044253A1 (en) 2012-02-23
CN102625149B (zh) 2015-08-19
CN1901605B (zh) 2012-05-09
US20060072831A1 (en) 2006-04-06
US20110001755A1 (en) 2011-01-06
US20130142428A1 (en) 2013-06-06
US8768076B2 (en) 2014-07-01
US8472732B2 (en) 2013-06-25
US8208741B2 (en) 2012-06-26

Similar Documents

Publication Publication Date Title
CN1901605B (zh) 使用基于片的再现系统的低等待时间远程显示再现
JP4888729B2 (ja) 符号化装置および方法、並びに、復号装置および方法
US7660352B2 (en) Apparatus and method of parallel processing an MPEG-4 data stream
CN1901676B (zh) 流式图像系统和方法
MXPA05008405A (es) Metodo de descodificacion de imagen.
JP6333858B2 (ja) 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法
CN112601096B (zh) 视频解码方法、装置、设备及可读存储介质
CN102664939A (zh) 一种屏幕镜像移动终端的方法及设备
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
US20070086519A1 (en) Apparatus for managing multipurpose video streaming and method of the same
US20070230579A1 (en) Serial processing of video signals using a programmable hardware device
US7456844B2 (en) Image transmission method, computer-readable image transmission program, recording medium, and image transmission apparatus
US9154804B2 (en) Hint based adaptive encoding
CN115150370B (zh) 一种图像处理的方法
CN110365929A (zh) 信息传输方法、装置、设备、系统及存储介质
CN116095364A (zh) 面向编辑的视频流高效处理方法、装置、电子设备
CN116489132A (zh) 虚拟桌面数据传输方法、服务器、客户端和存储介质
TWI497446B (zh) 圖片錯誤隱藏系統及方法
TWI485618B (zh) 傳送影像訊號至複數遠端操控電腦之多電腦切換器及方法
CN114786037A (zh) 一种面向vr投影的自适应编码压缩方法
JP2004236298A5 (zh)
JP2002374174A (ja) 可変長コード復号装置、可変長コード復号方法およびその方法をコンピュータに実行させるプログラム
JP2000069480A (ja) 画像符号化方法、画像復号化方法、画像符号化装置および画像復号化装置
CN102118537A (zh) 图片错误隐藏系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant