CN102959501A - 处理图像的更新以从第一终端传输至第二终端 - Google Patents

处理图像的更新以从第一终端传输至第二终端 Download PDF

Info

Publication number
CN102959501A
CN102959501A CN2011800329418A CN201180032941A CN102959501A CN 102959501 A CN102959501 A CN 102959501A CN 2011800329418 A CN2011800329418 A CN 2011800329418A CN 201180032941 A CN201180032941 A CN 201180032941A CN 102959501 A CN102959501 A CN 102959501A
Authority
CN
China
Prior art keywords
sheet piece
piece
sub
terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800329418A
Other languages
English (en)
Other versions
CN102959501B (zh
Inventor
F.布拉希斯
R.列丁斯
J.林德布隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Skype Ltd Ireland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skype Ltd Ireland filed Critical Skype Ltd Ireland
Publication of CN102959501A publication Critical patent/CN102959501A/zh
Application granted granted Critical
Publication of CN102959501B publication Critical patent/CN102959501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/122—Tiling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

用于处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法、终端、网络和计算机程序产品，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上。所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素。确定在所述第一终端处所述图像的多个子片块已改变，并且选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块。对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。

Description

处理图像的更新以从第一终端传输至第二终端
技术领域
本发明涉及对图像进行更新。特别地，本发明涉及对第一终端处的图像的改变进行编码以传输至第二终端。
背景技术
当第一计算终端处的图像改变时，可以生成随后可以用于形成改变后的图像的数据。生成表示已对图像进行的改变的数据可以是有益的，而不是生成表示整个改变后的图像的数据，其中，原始图像和表示对该原始图像进行的改变的数据可以一起用于形成改变后的图像。
在要将对图像的改变从第一终端传输至第二终端时生成表示对图像的改变的数据可以特别有用。在终端之间传输数据通常存在带宽约束，因此，减少在终端之间传输的数据量可以是有益的。因此，传输表示对图像的改变的数据而不是表示整个改变后的图像的数据可以是有益的，这是由于需要传输更少数据。这样，可以将第一终端处的图像的更新传输至第二终端。
将对图像进行的改变从第一终端传输至第二终端有用的一个示例是当实现屏幕共享时。屏幕共享是对两个终端之间的通信来说有用的技术。可以将在第一终端（或“共享者”终端）处的第一屏幕上显示的图像传输至第二终端（或“观看者”终端），并将其显示在第二终端处的第二屏幕上。作为示例，当第一终端处的第一用户（“共享者”）尝试向第二终端处的第二用户（“观看者”）说明他们在其屏幕上看到的内容时，屏幕共享可以特别有用，这是由于利用屏幕共享，观看者可以看到在共享者的屏幕上显示的图像。
当共享者终端处的图像改变时，就将这些改变传输至观看者终端，并且可以相应地更新在观看者的屏幕上显示的图像，以反映这些改变。当图像的仅特定区域在共享者终端处改变时，就将表示需要更新的那些区域的屏幕矩形从共享者终端传输至观看者终端。这样，当图像的仅特定区域需要更新时，不必更新整个图像。
在虚拟网络计算系统中在服务器终端与客户端终端之间传输图像的改变时使用的示例协议是RFB（远程帧缓冲）协议（如“The RFB Protocol” by Tristan Richardson, RealVNC Ltd, Version 3.8中所描述）。协议的显示侧基于单个图形基元：“将像素数据的矩形放在给定的x,y位置处”。图像元素或“像素”是可控制的图像的最小单位。可以使用用于对像素数据进行编码的不同编码方案。矩形的序列形成表示从一个有效帧缓冲状态至另一有效帧缓冲状态的改变的帧缓冲更新。
可以用于在RFB协议中对矩形进行编码的一种类型的编码是RRE编码（上升和运行长度编码）。在RRE编码中，将要编码的像素数据的矩形被划分为矩形子区（“子矩形”），这些矩形子区中的每一个由单个值的像素构成。然后，以表示矩形的具有单个像素值的部分的子矩形的方式将矩形的像素数据发送至客户端终端。
可以用于在RFB协议中对矩形进行编码的另一种类型的编码是Hextile编码，其为RRE思想的变型。在Hextile编码中，将要编码的像素数据的每个矩形被分割为大小为16×16像素的片块。每个片块是作为原始像素数据而被编码的，或者作为RRE编码的变型而被编码的。然后，以16×16片块的方式将矩形的像素数据发送至客户端终端。
其他类型的编码可以用于在RFB协议中对矩形进行编码，例如：ZRLE编码（Zlib运行长度编码），其中，zlib数据在被压缩时表示64×64像素的片块（与Hextile编码的16×16片块类似），并且其中，ZRLE编码利用可仅为3字节长的压缩像素。可在RFB协议中使用的其他类型的编码是原始（Raw）和复制矩形（CopyRect），如本领域技术人员所明了的（以及如“The RFB Protocol” by Tristan Richardson, RealVNC Ltd, Version 3.8中所描述）。
对观看者的屏幕上的图像的更新而言，随着共享者的屏幕上的图像改变而实时执行通常是优选的。这在例如共享者和观看者同时参与屏幕共享和通信会话（例如呼叫或即时消息收发会话）时是特别优选的。
发明内容
根据本发明的第一方面，提供了一种处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述方法包括：确定在所述第一终端处所述图像的多个子片块已改变；选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。
根据本发明的第二方面，提供了一种终端，用于将图像的更新传输至另一终端以用在所述终端与所述另一终端之间的屏幕共享中，其中，在所述终端处的第一显示器上显示的图像的更新也被显示在所述另一终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述终端包括：确定装置，用于确定所述图像的多个子片块已改变；选择装置，用于选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及编码装置，用于对所述片块进行编码以传输至第二终端，所述编码装置被配置为确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变在所述另一终端处更新所述图像，其中，所述片块的配置是灵活的，使得由所述编码装置在所述片块中编码的邻接子片块的数目能够变化。
根据本发明的第三方面，提供了一种网络，包括：根据本发明的第二方面的终端；以及另一终端，其中，所述另一终端包括：用于接收编码后的片块的装置；以及用于根据对所述改变后的子片块的改变在所述另一终端处更新所述图像的装置。
根据本发明的第四方面，提供了一种包括计算机可读指令的计算机程序产品，所述计算机可读指令用于被第一终端处的计算机处理装置执行以将图像的更新从所述第一终端传输至第二终端，以用在所述第一终端与所述第二终端之间的屏幕共享中，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述指令包括用于进行以下操作的指令：确定在所述第一终端处所述图像的多个子片块已改变；选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。
在优选实施例中，形成片块的步骤包括：根据改变后的子片块在所述阵列中的布置，确定所述片块的配置。
由于片块的配置是灵活的，因此可以改变片块的配置，以便以高效的方式包括更新后的子片块。特别地，片块的配置可以被适配为适合改变后的子片块的特定布置。可以使用多于一个片块来对改变后的子片块的特定布置进行编码。例如，在一些情形中，在两个不同片块中对两个不同的改变后的子片块进行编码可以是优选的，而在其他情形中，在公共片块中对两个不同的改变后的子片块进行编码可以是优选的。片块的配置可以被适配为适合改变后的子片块的分布。在这种意义上，将子片块映射至片块中可以被适配的。例如，算法可以视频片块的配置以优化在编码后的片块中对改变后的子片块的编码。
这意味着：每当图像被更新时，表示改变后的子片块的片块都可以具有不同配置。因此，片块的编码包括用于向第二终端标识在编码后的片块中包括哪些子片块的子片块数据。这对第二终端来说在使用编码后的片块更新第二终端处的图像时是有用的。
可以根据多个不同因素来确定片块的配置。例如，可以根据对片块进行编码的复杂度（其可以包括算法或搜索复杂度）来确定片块的配置，例如目的是最小化复杂度。使用子片块（与使用大小为1×1像素的单位（即，没有子片块）相比）的主要优势之一在于：诸如“找到哪些子片块已改变”以及“包含所有改变后的子片块的最小矩形是什么”之类的操作变得远不那么复杂，例如，就需要更小处理能力和耗费更少时间来计算而言。这可以被视为“搜索”或优化问题，并因而被称为“搜索复杂度”。作为示例，在图像被划分为彼此紧邻的仅两个子片块的情况下，该“搜索”需要检验左片块或右片块是否已改变。与具有完全不受约束的片块相比，这可以以非常高效的方式进行。
可以根据编码后的片块中的数据量来确定片块的配置，例如目的是最小化数据量。可以根据编码后的片块的片块首部开销来确定片块的配置，例如目的是最小化片块首部开销。可以根据对编码后的片块进行压缩的压缩效率来确定片块的配置，例如目的是最大化压缩效率。可以根据除这里提及的对本领域技术人员来说将显而易见的那些因素外的因素来确定片块的配置。可以使用算法来确定片块的配置。
在根据多于一个因素来确定片块的配置的情况下，可能的情况是：不是针对所有因素都可能达到最优配置，并且所确定的配置可以是对冲突因素的折衷。例如，在存在三个改变后的子片块、这三个子片块中没有彼此邻接的子片块的情况下，从最小化编码后的片块中的数据量的观点来看，针对三个改变后的子片块具有三个分离的编码后的片块可以是最优的。然而，从带宽效率的观点来看，在例如改变后的子片块在图像中彼此相对接近并且图像内容高度地可压缩的情况下具有包括所有三个改变后的子片块的仅一个编码后的片块可以是最优的。考虑到所有因素，可以确定，片块的总体最优配置将具有两个编码后的片块，其中一个编码后的片块包括改变后的子片块中的两个，并且其中另一个编码后的片块包括改变后的子片块中其余的一个。片块的总体最优配置可以取决于改变后的子片块在图像内的布置。
编码后的片块的配置的灵活性允许在编码后的片块中高效地对图像的改变进行编码。这对在可能在不同时刻处对图像的不同区域发生改变的方法（例如，屏幕共享方法）中使用来说特别有用，使得编码后的片块的最优配置可以从图像的每次更新至下一次更新而改变。该灵活性允许在每次更新时将片块的配置适配为针对该特定更新适合改变后的子片块的特定布置。
现有技术屏幕共享系统对片块的灵活配置或如上所述的算法或者子片块没有概念。在上述RFB协议中，确定要更新的像素数据的矩形，然后对这些矩形进行编码（例如，使用RRE、Hextile或ZRLE编码）。根据RRE编码方案，将矩形编码为多个子矩形，并且根据Hextile和ZRLE编码方案，可以将矩形编码为多个片块（例如，大小为16×16或64×64像素）。因此，在RFB协议中，可以将要从第一终端传输至第二终端的矩形编码为多个更小单元（即，子矩形或片块）。然而，对这些更小单元的使用仅出于对矩形进行编码以将矩形传输至第二终端的目的。在RFB协议中，在将矩形划分为更小单元之前，首先确定包括对图像的改变的矩形。这与本发明的实施例的区别在于：图像被划分为子片块，并且进一步的计算基于这些子片块，即，在子片块级确定对图像的改变。然后，可以将改变后的子片块一起成组为片块。由于片块的配置是灵活的，因此片块可以高效地覆盖改变后的子片块。通过在子片块级确定对图像的改变，可以将所形成的片块的配置适配于对图像进行的改变的具体布置。此外，与不使用子片块（即，仅确定改变后的像素）相比，在子片块级确定对图像的改变是有利的，这是由于计算图像的更新的计算复杂度显著降低。
有利地，本发明的实施例允许以高效的方式执行屏幕共享，从而促进了响应于在共享者终端处对图像的改变而在观看者终端处对图像进行基本上实时的更新。
在一些实施例中，将编码后的片块直接从共享者终端传输至观看者终端。在替换实施例中，将编码后的片块从共享者终端传输至服务器。然后，可以将编码后的片块从服务器传输至观看者终端。
优选实施例促进了对屏幕图像进行灵活且高效（在计算复杂度方面以及在带宽使用率方面）的编码。
附图说明
为了更好地理解本发明并示出可以如何实施本发明，现在将通过示例参照以下附图，在附图中：
图1是根据优选实施例的通信网络的示意表示；
图2是根据优选实施例的处理图像的更新的过程的流程图；
图3是突出显示改变后的子片块的图像的表示；
图4是根据第一拼贴（tiling）配置的图像的表示；
图5是根据第二拼贴配置的图像的表示；
图6是根据第三拼贴配置的图像的表示；以及
图7是根据第四拼贴配置的图像的表示。
具体实施方式
现在参照图1，描述了通信网络100，其中，第一用户102可以与第二用户116进行通信。第一用户102与网络100中的第一终端104相关联，并且第二用户116与网络100中的第二终端118相关联。网络100的其余部分由图1中的云114表示。第一终端104包括显示器106、用于处理数据的中央处理单元（CPU）108、用于存储数据的存储器110、以及用于向网络114的其余部分发送数据并从网络114的其余部分接收数据的网络接口112。第二终端118包括显示器120、用于处理数据的CPU 122、用于存储数据的存储器124、以及用于向网络114的其余部分发送数据并从网络114的其余部分接收数据的网络接口126。网络100还包括服务器128。第一终端104处的CPU 108能够处理图像数据，以便将图像显示在显示器106上。可以将图像数据存储在存储器110中。类似地，第二终端118处的CPU 122能够处理图像数据，以便将图像显示在显示器120上。可以将图像数据存储在存储器124中。
在操作中，要将第一终端104处的图像的更新传输至第二终端118。可以使用网络接口112和网络接口126、通过网络114的其余部分将图像数据从第一终端104传输至第二终端118。可以将图像的需要更新的部分编码为片块。片块是可被编码并被从第一终端104传输至第二终端118的图像的一个块。第二终端118可以使用从第一终端接收到的片块来更新图像的与片块相关的特定块。
在优选实施例中，图像的更新用于第一终端104与第二终端118之间的屏幕共享，其中，在第一终端104处的显示器106上显示的图像也被显示在第二终端118处的显示器120上。
现在参照图2的流程图来描述根据优选实施例的处理图像的更新的方法。将图像显示在第一终端104处的显示器106上。将图像划分为多个子片块。每个子片块包括图像的多于一个图像元素（或“像素”）。在优选实施例中，每个子片块包括32乘32图像元素的块。在优选实施例中，存在大量相等大小的子片块，例如，针对1024×768图像元素的图像大小和32×32图像元素的子片块大小，将图像划分为768个子片块。
在时间间隔处将图像的更新从第一终端104传输至第二终端118。时间间隔可以是规则时间间隔。然而，优选地，时间间隔不必是规则的，并且取而代之，仅当确定了图像的改变已发生时，才传输更新。典型地，在可能的更新之间存在最小时间间隔，但是，更新之间的时间间隔可以变化，并可以在未检测到图像的改变时非常长（例如，处于分钟的量级）。在步骤S202中，确定多个子片块已改变，并需要更新。该确定可以包括：确定自上次针对图像形成了片块起或者自将图像的上次更新传输至第二终端118起子片块已改变。在图2所示的方法步骤中执行的计算基于子片块，例如，图像与图像的先前更新相比的改变处于子片块级。使用子片块的优势在于：与不使用子片块（可以被视为使用1×1图像元素的子片块大小）相比，计算图像的改变的计算复杂度显著降低。
图3通过示例示出了图像302的表示。如图3所示，已经将图像302划分为20个子片块，以在图像302中创建4行5列的子片块。这是简化示例。通常，将图像划分为多于20个子片块，例如768个子片块，如上所述。图3突出显示了图像302中的根据步骤S202中的确定已改变的那些子片块。在图3所示的示例中，5个子片块（表示为304a、304b、304c、304d和304e）已改变，并需要更新。图像302中未突出显示的子片块未根据步骤S202中的确定而改变，并因此不需要更新。
在步骤S204中，形成片块或多个片块，以对改变后的子片块进行编码。为了形成片块，选择如在步骤S202中确定的改变后的子片块中的至少一个，以形成片块。在片块包括多于一个子片块的情况下，还可以选择至少一个邻接子片块，以形成片块，使得该片块包括改变后的子片块中的至少一个和至少一个邻接子片块。在该形成片块的步骤中，针对屏幕的已改变的每个区域创建一个初步片块。屏幕的已改变的区域由邻接的改变后的子片块定义。这些区域还可以包含未改变的子片块。
图4示出了已针对图像302中的改变后的子片块的区域而创建的四个初步片块（404a、404b、404c和404d）。将可以将这四个初步片块（404a、404b、404c和404d）从第一终端104传输至第二终端118，使得第二终端118可以更新对改变后的子片块的改变。在这种意义上，图4示出了可以用于对改变后的子片块进行编码的第一拼贴配置。然而，在图4所示的配置中形成片块可能不是对改变后的子片块进行编码的最高效方式，如以下更详细描述。
步骤204包括：根据改变后的子片块在阵列中的布置，确定片块的配置。可以在确定片块的配置时使用算法，例如“效率算法”。对初步片块进行分析并可以改变这些初步片块，以便提供对改变后的子片块的更高效编码。可以将片块的数目和用于对改变后的子片块进行编码的实际片块这两者进行适配，以便对改变后的子片块进行编码。
在图5中示出了用于对改变后的子片块进行编码的第二拼贴配置。在图5中，将两个改变后的子片块304a和304b（如图3所示）一起成组为公共片块504a。在图5中，将改变后的子片块布置到三个片块（504a、504b和504c）中。这些片块可以用于对改变后的子片块进行编码以传输至第二终端118。
在图6中示出了用于对改变后的子片块进行编码的第三拼贴配置。在图6中，将四个改变后的子片块304b、304c、304d和304e（如图3所示）一起成组为公共片块604b。在图6中，将改变后的子片块布置到两个片块（604a和604b）中。这些片块可以用于对改变后的子片块进行编码以传输至第二终端118。
在图7中示出了用于对改变后的子片块进行编码的第四拼贴配置。在图7中，将所有五个改变后的子片块304a、304b、304c、304d和304e（如图3所示）一起成组为公共片块604b。该片块可以用于对改变后的子片块进行编码以传输至第二终端118。
本领域技术人员将领会，还可以使用与上述拼贴配置不同的拼贴配置来对改变后的子片块进行编码。
可见，在图5至7所示的第二至第四拼贴配置中，已经将初步片块（404a至404d）中的至少两个成组在一起，以形成更大的片块。第二至第四拼贴配置（图5至7所示）中的每一个中的片块中的至少一个包括未改变的子片块。在片块中对片块内的所有子片块进行编码，不论这些子片块是否已改变。
图4至7提供了可以用于对改变后的子片块进行编码的片块的不同配置。这些不同配置中的每一个可以在不同方面有利。例如，图4所示的拼贴配置可以涉及对片块中的最小量的数据进行编码，这是由于不存在在片块中编码的未改变的子片块。从最小化实现对图像的更新所需的数据量的观点来看，这是有利的。然而，每个片块需要其自身的首部，并且是单独压缩的。因此，根据改变后的子片块的布置，图7中的使用仅一个片块对所有改变后的子片块进行编码的配置可以在减小带宽方面有益，这是由于可以减小首部开销。此外，压缩更大图像区域可以提高编码效率。例如，对于图像的具有相同像素值的部分（例如，完全蓝色区域），对一个片块中而不是多个更小片块中的部分进行编码可以更高效。
由此可见，在不同考虑时，片块的不同配置可以最适于对改变后的子片块进行编码。可以使用效率算法来确定用于对改变后的子片块进行编码的片块的最优配置是哪个。有利地，片块的配置是灵活的，使得在片块中编码的子片块的数目可以变化。换言之，对要使用哪些子片块来形成片块的选择是灵活的。这允许在适当时根据改变后的子片块的特定布置来适配片块的配置。
可以根据例如对片块进行编码的复杂度、编码后的片块中的数据量、编码后的片块的片块首部开销和/或对编码后的片块进行压缩的压缩效率来确定片块的配置。还可以根据除这里提及的对本领域技术人员来说将显而易见的那些因素外的因素来确定片块的配置。
每个片块包括邻接子片块的块。每个片块由整数数目的子片块构建。大多数图像压缩算法（例如，联合图像专家组（JPEG）压缩和便携式网络图形（PNG）压缩）在矩形图像上操作，由此以便避免提高对片块进行编码的复杂度，优选地，这些片块包括图像的矩形部分。这里的术语“矩形部分”用于意指具有四个直角的四边形部分。在这种意义上，“矩形部分”可以具有矩形的形式，矩形的各边不是均具有相同长度，并且，“矩形部分”还可以具有正方形的形式，正方形的各边均具有相同长度。片块可以具有任意大小，并且实际上，每个片块中的子片块的数目可以变化。例如，宽度（w）为1024个图像元素且高度（h）为768个图像元素的图像的两个片块可以具有以下属性：
tiles: [
{seq: 0, x: 0, y: 0, w: 1024, h: 700},
{seq:1, x:0, y:700, w:1024, h:68}
]
这里，“seq”指示片块号，并且“x”和“y”指示第一图像元素在片块中的图像元素位置。该示例突出显示了以下事实：具有作为图像的矩形部分的片块允许非常容易地对片块在图像中的位置进行编码。以上在示例中给出的属性可以用作子片块数据，从而标识片块中的每一个中所包括的子片块。将可以使用支持α层的图像格式，α层可能能够通过掩盖掉图像的一部分来获得更好的压缩效率，如本领域公知。
片块根据它们的所确定的片块配置来形成，从而包括改变后的子片块。
在步骤S206中，对片块进行编码。可以将编码后的片块从第一终端104传输至第二终端118。还可以将编码后的片块存储在第一终端104处的存储器110中。作为示例，可以将编码后的片块保存至文件。可以使用编码后的片块来促进在后续的时间点处重构改变后的图像。
作为对片块进行编码的一部分，可以使用图像压缩技术来压缩片块。例如，可以使用JPEG压缩或PNG压缩来压缩片块。如何使用JPEG压缩或PNG压缩来压缩片块对本领域技术人员来说将显而易见，因此，这里不提供这些压缩技术的细节。
当要压缩片块时，将图4所示的初步片块成组为更大片块（例如，在图5至7中）通常可以是有益的，这是由于图像压缩算法（例如，JPEG或PNG压缩）可以因更小首部开销以及因提高的压缩效率而更高效地操作。用于压缩片块的压缩类型可以实现对片块的配置的确定。
将已改变的邻接子片块成组为公共片块通常是有益的。通常，这可以在不显著增大片块中所包括的数据量的情况下改进编码效率，例如通过减小片块首部开销。出于相同原因，在阵列中极为接近的多个子片块已改变的情况下，在公共片块中将这些子片块一起成组可以是有益的。这里，术语“极为接近”意味着：将公共片块用于对改变后的子片块进行编码的益处（例如，更高编码效率）胜过由于提高片块中的数据量而将子片块包括在公共片块中的有害影响。
上述且图2所示的方法步骤可以以软件实现，该软件可以例如在第一终端处的CPU 108上执行。可替换地，可以在第一终端处的硬件块中实现这些方法步骤。
可以从第一终端104传输编码后的片块。例如，可以将编码后的片块直接从第一终端104传输至第二终端118（其可以或可以不经由网络114）。可替换地，可以将编码后的片块从第一终端104传输至服务器128。然后，服务器可以将编码后的片块传输至第二终端118。服务器可以将其从第一终端104接收到的所有编码后的片块传输至第二终端118。可替换地，服务器可以确定需要将哪些编码后的片块发送至第二终端118，并且然后仅将所需的编码后的片块传输至第二终端118。例如，在已进行对图像的一个部分的两次更新并且已经将两个对应的编码后的片块发送至服务器128以在第一个编码后的片块已被传输至第二终端118之前更新图像的相同部分的情况下，那么服务器128可以确定不需要将这两个编码后的片块中的第一个发送至第二终端118，这是由于其将被编码后的片块中的第二个更新。在这种情况下，仅将第二个编码后的片块传输至第二终端118。
将标准图像压缩算法用于压缩编码后的片块（例如，JPEG和PNG压缩）促进了在第二终端118处实现用于观看图像的非常简单的观看器。特别地，在一个实施例中，在第二终端118处执行观看客户端以观看图像。以JavaScript实现观看客户端并在最现代的web浏览器中运行该观看客户端。
上述处理图像的更新的方法非常好地适用于在屏幕共享过程中实现。可以将第一终端104处的图像的更新实时传输至第二终端118，在第二终端118处，可以在显示器120上相应地更新图像。对于要传输至第二终端的初始图像（即，“原始”图像），将整个图像编码为片块，或者编码为多个片块。与图像的后续版本相比，关于原始图像不存在特殊内容。覆盖整个图像的片块包括所有子片块，从而表示整个图像。在使用仅一个片块来覆盖整个图像的情况下，这可以被称为“全片块”。如上所述适配片块的配置以适合更新图像所需的改变后的子片块的布置。在不使用比网络100中所必需的带宽更多的带宽的情况下将编码后的片块中的图像数据传输至第二终端118，并可以快速对该图像数据进行解码，这是由于该图像数据是根据所确定的片块配置、以高效的方式编码的。
第二终端118对编码后的片块进行解码，并可以使用片块中的子片块数据来标识在每个编码后的片块中包括哪些子片块，以便在第二终端118处重新形成更新后的图像。该解码可以由CPU 118执行，或者由第二终端118处的专用硬件块执行。
在一些实施例中， 向改变后的子片块分配权重。还根据相邻子片块与改变后的子片块的距离（或接近度），向相邻子片块分配权重。然后，可以使用标准聚类技术（例如，k-均值）和降维技术来寻找用于对改变后的子片块进行编码的最优片块划分。这些技术还可以考虑其他因素，例如片块首部开销和压缩效率。以这种方式将权重用于子片块可以有助于更好地优化用于对改变后的子片块进行编码的片块配置。
在一些屏幕共享系统中，可以存在多个观看者终端，即，第二终端118。可以在这种屏幕共享系统中使用这里描述的方法，从而将编码后的片块发送至第二终端118中的每一个，使得第二终端118中的每一个可以更新在该终端处显示的图像。这允许向多个第二终端118显示第一终端104的显示器106上的图像。可以将编码后的片块直接从第一终端104发送至第二终端118中的每一个。可替换地，可以将编码后的片块从第一终端104发送至服务器128，并且然后，服务器可以将编码后的片块传输至多个第二终端118。该可替换实现方式可以是有益的，这是由于其在允许将图像的更新传输至多个第二终端118的同时允许第一终端104传输编码后的片块仅一次。
如对本领域技术人员来说将显而易见的是，可以将上述方法步骤编码成包括计算机可读指令的计算机程序产品，这些计算机可读指令用于被计算机处理装置执行以实施这些方法步骤。例如，CPU 108可以执行计算机可读指令，从而执行以上关于图2的流程图描述的方法。
本发明可以在需要更新图像的多个不同情况中有用。如对本领域技术人员来说将显而易见，上述屏幕共享的示例不是可以有用地实现本发明的唯一方式。此外，尽管参照优选实施例特别示出和描述了本发明，但是对本领域技术人员来说将理解，在不脱离如所附权利要求限定的本发明范围的前提下，可以进行形式和细节上的各种改变。

Claims (38)

1.一种处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述方法包括：
确定在所述第一终端处所述图像的多个子片块已改变；
选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及
对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，
其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。
2.根据权利要求1所述的方法，其中，所述形成片块包括：根据改变后的子片块在所述阵列中的布置，确定所述片块的配置。
3. 根据权利要求2所述的方法，其中，所述片块的配置是使用用于对在所述片块中对改变后的子片块的编码进行优化的算法来确定的。
4. 根据权利要求2或3所述的方法，其中，所述片块的配置是根据对所述片块进行编码的复杂度来确定的。
5. 根据权利要求2至4中任一项所述的方法，其中，所述片块的配置是根据编码后的片块中的总数据量来确定的。
6. 根据权利要求2至5中任一项所述的方法，其中，所述片块的配置是根据编码后的片块的片块首部开销来确定的。
7. 根据权利要求2至6中任一项所述的方法，其中，所述片块的配置是根据对所述片块进行压缩的压缩效率来确定的。
8. 根据前述任一权利要求所述的方法，其中，所述形成片块包括：
针对所述改变后的子片块的每个邻接区域创建初步片块；以及
将所述初步片块中的至少两个一起成组，以形成所述片块。
9.根据前述任一权利要求所述的方法，其中，所述形成片块包括：
向改变后的子片块分配相应权重；以及
在聚类技术和降维技术之一中使用所述权重来确定所述片块的配置。
10. 根据权利要求9所述的方法，还包括：根据未改变的子片块与所述改变后的子片块的接近度，向未改变的子片块分配权重。
11. 根据前述任一权利要求所述的方法，其中，所述至少一个邻接子片块不论是否已改变都在所述片块被编码。
12. 根据前述任一权利要求所述的方法，其中，所述对所述片块进行编码包括：对所述片块进行压缩。
13. 根据权利要求12所述的方法，其中，所述片块是使用JPEG压缩和PNG压缩之一来压缩的。
14. 根据前述任一权利要求所述的方法，其中，所述确定所述图像的多个子片块已改变的步骤包括：确定自上次针对所述图像形成了片块起子片块已改变。
15.根据权利要求1至13中任一项所述的方法，其中，所述确定所述图像的多个子片块已改变的步骤包括：确定自上次将片块传输至所述第二终端起子片块已改变。
16.根据前述任一权利要求所述的方法，还包括：将编码后的片块从所述第一终端直接传输至所述第二终端。
17. 根据权利要求1至15中任一项所述的方法，还包括：将编码后的片块从所述第一终端传输至服务器。
18.根据权利要求17所述的方法，其中，所述服务器将编码后的片块传输至所述第二终端。
19. 根据权利要求17所述的方法，其中，所述服务器确定是否将编码后的片块传输至所述第二终端。
20. 根据前述任一权利要求所述的方法，还包括：将编码后的片块存储在所述第一终端处。
21. 根据前述任一权利要求所述的方法，其中，存在多个第二终端。
22. 根据前述任一权利要求所述的方法，其中，所述片块包括所述图像的矩形部分。
23. 根据前述任一权利要求所述的方法，其中，每个子片块包括所述图像的32乘32图像元素的块。
24. 根据前述任一权利要求所述的方法，其中，在多个邻接子片块已改变的情况下，在公共片块中对所述多个邻接子片块进行编码。
25. 根据前述任一权利要求所述的方法，其中，在所述阵列中极为接近的多个子片块已改变的情况下，在公共片块中对所述多个子片块进行编码。
26.根据前述任一权利要求所述的方法，其中，形成多个片块并对所述多个片块进行编码，以传输至所述第二终端。
27. 一种终端，用于将图像的更新传输至另一终端以用在所述终端与所述另一终端之间的屏幕共享中，其中，在所述终端处的第一显示器上显示的图像的更新也被显示在所述另一终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述终端包括：
确定装置，用于确定所述图像的多个子片块已改变；
选择装置，用于选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及
编码装置，用于对所述片块进行编码以传输至第二终端，所述编码装置被配置为确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述另一终端处更新所述图像，
其中，所述片块的配置是灵活的，使得由所述编码装置在所述片块中编码的邻接子片块的数目能够变化。
28. 根据权利要求27所述的终端，其中，所述编码装置包括用于对所述片块进行压缩的压缩装置。
29.根据权利要求27或28所述的终端，还包括所述第一显示器，所述第一显示器用在所述终端与所述另一终端之间的屏幕共享中。
30. 根据权利要求27至29中任一项所述的终端，还包括用于从所述终端传输编码后的片块的传输装置。
31.根据权利要求27至30中任一项所述的终端，还包括用于存储编码后的片块的存储装置。
32.一种网络，包括：
根据权利要求27至31中任一项所述的终端；以及
另一终端，其中，所述另一终端包括：
用于接收编码后的片块的装置；以及
用于根据所述改变后的子片块的改变而在所述另一终端处更新图像的装置。
33.根据权利要求32所述的网络，其中，所述另一终端还包括用于对编码后的片块进行解码从而使用子片块数据确定在片块中包括哪些子片块的装置。
34. 根据权利要求32或33所述的网络，其中，所述另一终端被配置为在web浏览器中执行观看客户端，以在所述另一终端处显示所述图像。
35. 根据权利要求32至34中任一项所述的网络，还包括服务器，所述服务器被配置为从所述第一终端接收编码后的片块。
36. 根据权利要求35所述的网络，其中，所述服务器被配置为将接收到的编码后的片块传输至所述第二终端。
37.根据权利要求35所述的网络，其中，所述服务器被配置为确定是否将接收到的编码后的片块传输至所述第二终端。
38. 一种包括计算机可读指令的计算机程序产品，所述计算机可读指令被第一终端处的计算机处理装置执行以将图像的更新从所述第一终端传输至第二终端，以用在所述第一终端与所述第二终端之间的屏幕共享中，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述指令包括用于进行以下操作的指令：
确定在所述第一终端处所述图像的多个子片块已改变；
选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及
对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，
其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。
CN201180032941.8A 2010-06-30 2011-06-29 处理图像的更新以从第一终端传输至第二终端的方法、设备和系统 Active CN102959501B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1011002.1 2010-06-30
GB1011002.1A GB2481612A (en) 2010-06-30 2010-06-30 Updating image regions in a shared image system
PCT/EP2011/060896 WO2012001036A1 (en) 2010-06-30 2011-06-29 Processing updates of an image for transmission from a first terminal to a second terminal

Publications (2)

Publication Number Publication Date
CN102959501A true CN102959501A (zh) 2013-03-06
CN102959501B CN102959501B (zh) 2016-11-16

Family

ID=42668968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180032941.8A Active CN102959501B (zh) 2010-06-30 2011-06-29 处理图像的更新以从第一终端传输至第二终端的方法、设备和系统

Country Status (5)

Country Link
US (2) US8754827B2 (zh)
EP (1) EP2572268A1 (zh)
CN (1) CN102959501B (zh)
GB (1) GB2481612A (zh)
WO (1) WO2012001036A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686432A (zh) * 2013-11-15 2014-03-26 北京视联动力国际信息技术有限公司 一种基于视联网的屏幕共享方法和系统
CN105308672A (zh) * 2013-06-10 2016-02-03 夏普株式会社 电子设备和视频解码的方法
CN105472100A (zh) * 2014-08-15 2016-04-06 中兴通讯股份有限公司 桌面共享的方法及终端
CN108429917A (zh) * 2012-09-29 2018-08-21 华为技术有限公司 视频编码及解码方法、装置及系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2481612A (en) 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
GB2481870B (en) * 2010-12-14 2012-06-13 Realvnc Ltd Method and system for remote computing
US9026615B1 (en) * 2011-09-22 2015-05-05 Teradici Corporation Method and apparatus for caching image data transmitted over a lossy network
US10013474B2 (en) 2011-10-25 2018-07-03 The United States Of America, As Represented By The Secretary Of The Navy System and method for hierarchical synchronization of a dataset of image tiles
US8612491B2 (en) 2011-10-25 2013-12-17 The United States Of America, As Represented By The Secretary Of The Navy System and method for storing a dataset of image tiles
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9099031B2 (en) 2012-06-15 2015-08-04 Apple Inc. Layout synchronization
US9177009B2 (en) * 2012-06-28 2015-11-03 Microsoft Technology Licensing, Llc Generation based update system
US10452769B1 (en) * 2012-08-31 2019-10-22 United Services Automobile Association (Usaa) Concurrent display of application between devices
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
CN103677697B (zh) * 2012-09-10 2019-03-29 联想(北京)有限公司 一种信息处理方法以及一种电子设备
EP2908919A1 (en) 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
US10095663B2 (en) 2012-11-14 2018-10-09 Amazon Technologies, Inc. Delivery and display of page previews during page retrieval events
WO2014201876A1 (zh) * 2013-06-17 2014-12-24 华为技术有限公司 屏幕分享方法和相关设备及通信系统
CN105637472B (zh) * 2013-10-11 2019-03-19 华为技术有限公司 具有广义屏幕描述的屏幕内容共享系统的框架
JP2015210569A (ja) * 2014-04-24 2015-11-24 株式会社リコー 画像処理装置、情報共有装置、画像処理方法、及びプログラム
US11169666B1 (en) 2014-05-22 2021-11-09 Amazon Technologies, Inc. Distributed content browsing system using transferred hardware-independent graphics commands
US9785332B1 (en) 2014-12-05 2017-10-10 Amazon Technologies, Inc. Conserving processing resources by controlling updates to damaged tiles of a content page
US10546038B2 (en) * 2014-12-08 2020-01-28 Amazon Technologies, Inc. Intelligent browser-based display tiling
CN104519392B (zh) * 2014-12-26 2018-02-13 广东威创视讯科技股份有限公司 一种拼接墙的终端显示图像的切换方法及系统
US10082941B2 (en) 2015-05-20 2018-09-25 Vmware, Inc. Optimizing window move actions for remoted applications
JP5895092B1 (ja) * 2015-09-04 2016-03-30 諭 石那田 投稿情報提供装置および端末装置
US10564829B2 (en) * 2016-03-25 2020-02-18 Vmware, Inc. Optimizing window resize actions for remoted applications
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
US10580349B2 (en) * 2018-02-09 2020-03-03 Tectus Corporation Backplane for eye-mounted display
US10884593B1 (en) * 2019-11-26 2021-01-05 GE Precision Healthcare LLC Systems and methods for remote layout control of medical image viewers
CN114579068B (zh) * 2020-11-30 2024-06-25 华为技术有限公司 一种多屏协同的显示方法及电子设备
CN117036916B (zh) * 2023-08-02 2024-04-05 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471248A (en) * 1992-11-13 1995-11-28 National Semiconductor Corporation System for tile coding of moving images
GB2318956A (en) * 1996-10-31 1998-05-06 Fujitsu Ltd Display screen duplication system and method
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
CN101014127A (zh) * 2007-01-26 2007-08-08 华中科技大学 普适环境下的远程桌面同步方法
CN100375509C (zh) * 2005-04-13 2008-03-12 联发科技股份有限公司 缩放子画面数据呈现大小的方法、视讯处理电路以及数字激光视盘播放系统
EP2161716A1 (en) * 2008-09-09 2010-03-10 Sony Corporation Noise canceling apparatus and method

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072409A (en) * 1986-03-27 1991-12-10 Rockwell International Corporation Graphic display with right-protected areas
US5321750A (en) 1989-02-07 1994-06-14 Market Data Corporation Restricted information distribution system apparatus and methods
US5434872A (en) 1992-07-28 1995-07-18 3Com Corporation Apparatus for automatic initiation of data transmission
GB2299233A (en) 1995-03-21 1996-09-25 Ibm Video compression method involving conditional replenishment
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US6343313B1 (en) 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
US6809749B1 (en) 2000-05-02 2004-10-26 Oridus, Inc. Method and apparatus for conducting an interactive design conference over the internet
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
NO318686B1 (no) * 2002-09-27 2005-04-25 Gridmedia Technologies As Multimedia-filformat
FR2846181B1 (fr) 2002-10-16 2005-09-02 Canon Kk Procede et dispositif de selection de donnees dans un reseau de communication
US7212675B2 (en) 2003-01-14 2007-05-01 Comtrak Technologies, L.L.C. Method of finding orphan blocks in block based image compression schemes
US7403566B2 (en) 2003-06-03 2008-07-22 Hewlett-Packard Development Company, L.P. System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers
US20060010392A1 (en) 2004-06-08 2006-01-12 Noel Vicki E Desktop sharing method and system
JP3851319B2 (ja) * 2004-03-18 2006-11-29 株式会社ブイキューブ 画像データ送信生成システム
US20060031779A1 (en) 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
US8055616B2 (en) 2004-06-25 2011-11-08 International Business Machines Corporation Application sharing smoothness
US7672005B1 (en) 2004-06-30 2010-03-02 Teradici Corporation Methods and apparatus for scan block caching
JP2006039919A (ja) 2004-07-27 2006-02-09 Pioneer Electronic Corp 画像共有表示システム、画像共有機能付端末、及びコンピュータプログラム
US20060041848A1 (en) 2004-08-23 2006-02-23 Luigi Lira Overlaid display of messages in the user interface of instant messaging and other digital communication services
JP2006191159A (ja) 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
TWI295438B (en) 2005-05-11 2008-04-01 Newsoft Technology Corp Method, system and receiving apparatus for transmitting screen frame from one to many terminals
US7899864B2 (en) 2005-11-01 2011-03-01 Microsoft Corporation Multi-user terminal services accelerator
US8112513B2 (en) 2005-11-30 2012-02-07 Microsoft Corporation Multi-user display proxy server
EP1985104A2 (en) * 2006-02-14 2008-10-29 Casio Computer Co., Ltd. Server apparatuses, server control programs, and client apparatuses in a computer system
JP5046527B2 (ja) 2006-02-14 2012-10-10 カシオ計算機株式会社 コンピュータシステムのサーバ装置及びサーバ制御プログラム
US20080002894A1 (en) 2006-06-29 2008-01-03 Winbond Electronics Corporation Signature-based video redirection
US7933955B2 (en) 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
JP5326234B2 (ja) 2007-07-13 2013-10-30 ソニー株式会社 画像送信装置、画像送信方法および画像送信システム
JP4661907B2 (ja) 2008-05-30 2011-03-30 ソニー株式会社 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
EP2161713A1 (en) 2008-09-05 2010-03-10 Telefonaktiebolaget LM Ericsson (PUBL) Display system with partial updating
JP5161966B2 (ja) 2008-09-18 2013-03-13 パイオニア株式会社 画像共有制御装置、画像共有システム、画像共有制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
US9071843B2 (en) 2009-02-26 2015-06-30 Microsoft Technology Licensing, Llc RDP bitmap hash acceleration using SIMD instructions
JP2011151764A (ja) 2009-06-09 2011-08-04 Ricoh Co Ltd 描画画像共有装置
US20110010629A1 (en) 2009-07-09 2011-01-13 Ibm Corporation Selectively distributing updates of changing images to client devices
US9407724B2 (en) 2010-05-04 2016-08-02 Microsoft Technology Licensing, Llc Using double buffering for screen sharing
GB2481613A (en) 2010-06-30 2012-01-04 Skype Ltd Updating regions of shared images using a server that records image status
GB2481612A (en) 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
US8839112B2 (en) 2010-08-10 2014-09-16 Microsoft Corporation Cloning or extending a computer desktop on a wireless display surface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471248A (en) * 1992-11-13 1995-11-28 National Semiconductor Corporation System for tile coding of moving images
GB2318956A (en) * 1996-10-31 1998-05-06 Fujitsu Ltd Display screen duplication system and method
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
CN100375509C (zh) * 2005-04-13 2008-03-12 联发科技股份有限公司 缩放子画面数据呈现大小的方法、视讯处理电路以及数字激光视盘播放系统
CN101014127A (zh) * 2007-01-26 2007-08-08 华中科技大学 普适环境下的远程桌面同步方法
EP2161716A1 (en) * 2008-09-09 2010-03-10 Sony Corporation Noise canceling apparatus and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108429917A (zh) * 2012-09-29 2018-08-21 华为技术有限公司 视频编码及解码方法、装置及系统
US11089319B2 (en) 2012-09-29 2021-08-10 Huawei Technologies Co., Ltd. Video encoding and decoding method, apparatus and system
CN108429917B (zh) * 2012-09-29 2022-04-29 华为技术有限公司 视频编码及解码方法、装置及系统
US11533501B2 (en) 2012-09-29 2022-12-20 Huawei Technologies Co., Ltd. Video encoding and decoding method, apparatus and system
CN105308672A (zh) * 2013-06-10 2016-02-03 夏普株式会社 电子设备和视频解码的方法
CN103686432A (zh) * 2013-11-15 2014-03-26 北京视联动力国际信息技术有限公司 一种基于视联网的屏幕共享方法和系统
CN105472100A (zh) * 2014-08-15 2016-04-06 中兴通讯股份有限公司 桌面共享的方法及终端

Also Published As

Publication number Publication date
US8754827B2 (en) 2014-06-17
GB201011002D0 (en) 2010-08-18
US20140285401A1 (en) 2014-09-25
GB2481612A (en) 2012-01-04
US9436429B2 (en) 2016-09-06
CN102959501B (zh) 2016-11-16
EP2572268A1 (en) 2013-03-27
WO2012001036A1 (en) 2012-01-05
US20120001832A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CN102959501A (zh) 处理图像的更新以从第一终端传输至第二终端
CN107360443B (zh) 一种云桌面图像处理方法、云桌面服务器及客户端
EP3161827B1 (en) Efficient frame rendering
CN111163318B (zh) 一种基于反馈优化的人机视觉编码方法和装置
CN102571930A (zh) 利用动态清单的分布式流畅的流发送
CN102959955A (zh) 共享图像
GB2551199A (en) Video data processing system
EP3806462A1 (en) Image encoding and decoding method , related device and storage medium
JP2024518227A (ja) データ処理方法、装置、機器及びコンピュータプログラム
CN103049238A (zh) 影像数据传输方法及装置
CN107945101A (zh) 图像处理方法和装置
KR20170107667A (ko) 원격화면 전송 방법 및 원격화면 전송 시스템
CN103716318A (zh) 云计算环境中通过混合使用rfb和h.264编码提高虚拟桌面显示质量的方法
CN111836081B (zh) 一种视频传输的方法及装置
CN106658095A (zh) 一种直播视频传输的方法、服务器和用户设备
CN102984518B (zh) 一种vnc图像传输数据处理方法
CN108965858B (zh) 一种支持vr的多视点立体视频多用户接入控制方法及装置
CN112954438B (zh) 一种图像处理方法以及装置
CN101309259A (zh) 一种分布式图像显示方法
CN112114760A (zh) 图像处理方法及装置
CN112860436A (zh) 资源分配方法及系统
CN110278074B (zh) 一种用于图像加密的可视化秘密共享方法
JP2013021535A (ja) 映像伝送方法、映像伝送装置、及びプログラム
EP2485420A1 (en) Data transmitting apparatus, data generating program and data transmitting/receiving method
CN109788160A (zh) 图像传输方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200331

Address after: Redmond, Washington, USA

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Ai Erlandubailin

Patentee before: Skype

TR01 Transfer of patent right