CN104115187A - 远程桌面协议中的视频检测 - Google Patents

远程桌面协议中的视频检测 Download PDF

Info

Publication number
CN104115187A
CN104115187A CN201380009462.3A CN201380009462A CN104115187A CN 104115187 A CN104115187 A CN 104115187A CN 201380009462 A CN201380009462 A CN 201380009462A CN 104115187 A CN104115187 A CN 104115187A
Authority
CN
China
Prior art keywords
segment
data
thermal map
video data
schedule time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380009462.3A
Other languages
English (en)
Other versions
CN104115187B (zh
Inventor
N·阿布多
T·L·怀恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104115187A publication Critical patent/CN104115187A/zh
Application granted granted Critical
Publication of CN104115187B publication Critical patent/CN104115187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的实施例允许将其上呈现有数据的显示区域分成多个图块并确定每一图块的更新频率。然后确定每一个图块的更新频率是否超过阈值。对于更新频率超过阈值的每一图块，将该图块标记为候选图块。然后将每一个相邻候选图块相关联以形成热图。然后分析该热图以确定是否对与该热图相关联的所呈现的数据进行编码。

Description

远程桌面协议中的视频检测
背景
在各种远程桌面情形中，特定数据在被发送到远程客户机之前进行编码以减少用于传送数据的带宽需求。然而，难以断定哪些数据应在传送之前编码以及哪些数据不需要进行编码。本发明的各实施例正是对于这些和其它考虑事项而作出的。尽管讨论了相对具体的问题，但是应当理解，本文中公开的各实施例不应被限于解决本背景技术中所标识的具体问题。
简要概述
提供本概述来以简化形式介绍一些概念，这些概念将在以下详细描述部分中进一步描述。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本发明的实施例允许将其上呈现有数据的显示区域分成多个图块并确定每一图块的更新频率。然后确定每一个图块的更新频率是否超过阈值。对于更新频率超过阈值的每一图块，将该图块标记为候选图块。然后将每一个相邻候选图块相关联以形成热图。然后分析该热图以确定是否对与该热图相关联的所呈现的数据进行编码。
此处所公开的各实施例可被实现为计算机进程、计算系统、或者诸如计算机程序产品或计算机可读介质等制品。计算机程序产品可以是计算机系统可读的并编码了用于执行计算机进程的指令的计算机程序的计算机存储介质。计算机程序产品还可以是计算系统可读并编码了用于执行计算机过程的指令的计算机程序的载体上的传播信号。
附图简述
通过参考下述详细描述、所附权利要求书和附图将更好地理解进一步的特征、各方面和优点，其中元素不会缩放以便可以更加清楚地示出细节，其中，类似附图标记贯穿若干视图指代类似元素，并且其中：
图1示出了根据一个或多个实施例的用于检测视频内容的系统；
图2是示出根据一个或多个实施例的用于检测视频内容的操作流程的框图；
图3示出了根据一个或多个实施例的具有相关联的热图的示例性视频数据；
图4示出了执行本文所公开的一个或多个实施例的平板计算设备；
图5示出了适于实现本文所公开的一个或多个实施例的计算环境的框图；
图6A示出执行本文所公开的一个或多个实施例的移动计算设备的一个实施例；
图6B是适于实施本文所公开的一个或多个实施例的示例性移动计算设备的简化框图；以及
图7是适于实施本文所公开的一个或多个实施例的示例性分布式计算系统的简化框图。
详细描述
以下将参考形成本发明一部分并示出各具体示例性实施例的附图更详尽地描述各个实施例。然而，各实施例可以以许多不同的形式来实现，并且不应将其解释为限制此处所阐述的各实施例；相反地，提供这些实施例以使得本公开变得透彻和完整，并且将这些实施例的范围完全传达给本领域普通技术人员。各实施例可按照方法、系统或设备来实施。因此，这些实施例可采用硬件实现形式、全软件实现形式或者结合软件和硬件方面的实现形式。因此，以下详细描述并非是局限性的。
图1示出了根据一个或多个实施例的系统100的一个实施例，该系统包括用于检测视频内容的远程桌面主机102。如图1所示，系统100还包括经由网络连接110与远程桌面主机102进行通信的远程桌面客户机120。在特定实施例中，远程桌面主机102可以是服务器，而远程桌面客户机120可以是个人计算机、膝上型计算机、平板计算机、移动电话等。
在特定实施例中，远程桌面客户机120包括视频检测模块104、屏幕更新模块106和编码器108。尽管只示出了一个编码器108，但可构想远程桌面客户机120可使用多个编码器来在将视频数据发送到远程桌面客户机120之前对视频数据或其它数据进行编码。
在各实施例中，远程桌面主机102接收视频数据或其它可视数据作为输入。视频和可视数据可由远程桌面计算机的中央处理单元来进行处理。一旦接收到数据，远程桌面主机102的中央处理单元就可使得视频数据和可视数据被呈现在显示区域上。在特定实施例中，通信地与处理器耦合的屏幕更新模块106可使得视频数据和可视数据被呈现在远程桌面主机102的显示区域上。另外，视频检测模块104可被配置成所呈现的数据中的哪些部分是视频数据，所呈现的数据中的哪些部分是可视数据(例如，固定图像)。如将在下文中详细讨论的，一旦视频检测模块104确定所呈现的数据中的哪些部分是视频数据，就可使用编码器108来对视频数据进行编码。一旦数据被编码，经编码的数据就可经由网络连接110被传送到远程桌面客户机120。
在特定实施例中，编码器108使用H.264编码标准，但可使用其它编码标准。还构想编码器108或另一编码器(未示出)可用于使用单独的编码标准来对可视数据进行编码以便进一步减少在可视数据和视频数据被传送到远程桌面客户机120时的带宽需求。
在特定实施例中，视频数据可包括被本地地存储在远程桌面客户机120上的视频数据、被存储在诸如云存储服务等外部存储服务(未示出)上的视频数据或者从另一服务器(未示出)或客户机设备(未示出)下载或流传输的视频数据。虽然主要讨论视频数据，但本文所公开的方法可用于在至少预定义的时间段内维持恒定的变化率的任何形式的内容、视频或其它内容。
回头参考图1，在特定实施例中，屏幕更新模块106可被配置成将诸如文本、图形对象或固定图像等可视数据从远程桌面主机102转发至远程桌面客户机120。同样，编码器108可被配置成将经编码的视频数据传送到远程桌面客户机120。如上文所讨论的，可视数据还可使用特定编码标准来编码。然而，由于相比于视频数据而言可视数据可被较不频繁地更新，因此可视数据可能无需在被传送到远程桌面客户机120之前进行编码。在特定实施例中，通过不必对无需编码的数据进行编码来与视频数据不同地对待可视数据，可能不会过度消耗资源。同样，当与可视数据分开标识视频数据时，可以对视频数据使用被专门设计成对视频进行编码的高效编解码器以实现更好的压缩比和更低的比特率。
在各实施例中，视频检测模块104可被配置成基于各种准则来标识视频内容，诸如区域的更新频率、与视频数据相关联的像素或帧、视频数据的长宽比、其中正在呈现视频数据的窗口的类名、与视频数据相关联的屏幕更新的进程名称，等等。另外，视频检测模块104可被配置成检测视频是否已经停止播放或者视频数据是否已经从显示区域中的第一部分移至显示区域的第二部分。
如将在下文中更详细地讨论的，视频检测模块104被配置成检测所呈现的数据中的哪些部分是视频数据。在特定实施例中，视频检测模块被配置成将显示区域分成此处被称为图块的子部分的网格。本领域技术人员将会认识到图块是整个显示区域的预定部分。在特定实施例中，网格中的每一图块的尺寸可被设为预定尺寸。例如，网格中的每一图块都可以是32x32像素、64x64像素等。在使用例如屏幕更新模块106来更新显示区域时，视频检测模块接收与每一更新相关联的位图。在特定实施例中，位图包括关于位图中的哪些像素已被更新的指示。例如，位图可通过保存与每一更新相关联的经更新的三角形的列表来标识位图中的哪些像素已被更新。在特定实施例中，监视各组像素(即，区域)。在这些实施例中，视频检测模块104比较连续位图中的每一个区域以确定哪些区域已经改变。
如果一特定图块与位图中的一个已改变的区域相交，则视频检测模块104递增与该特定图块相关联的计数。在特定实施例中，视频检测模块104持续监视每一个区域(例如，按每帧监视区域)以确定每一个图块的总更新频率。如果总更新频率(例如，每秒更新次数)超过更新频率阈值，则将图块标记为潜在视频候选。
一旦已经标识所有潜在视频候选图块，就将相邻候选图块相关联以形成被认为能够呈现视频的图块的表示。这一表示此处被称为“热图”。热图可用于标识一个或多个潜在视频区域(例如，显示器上的正在活动地呈现视频数据的图块)。视频检测模块104然后在预定时间量(例如，20帧)内监视热图以确定热图中的图块是否保持为“热”(例如，热图中的每一图块是否被持续更新)。
当确定热图已经标识视频数据时，编码器108对视频数据进行编码并且经编码的视频数据被传送到远程桌面客户机120。在特定实施例中，经编码的视频数据与可视数据一起被传送到远程桌面客户机120。一旦接收到经编码的视频数据，远程桌面客户机120就可解码视频数据以便将视频数据与可视数据一起呈现在远程桌面客户机120的显示器上。
在特定实施例中，视频检测模块可以在每次接收到位图时跟踪热图的坐标。因此，视频检测模块104能够确定视频数据何时已被移至显示区域上的不同部分，并且作为结果，视频检测模块104将不再使得热图中的图块被编码器108编码。例如，视频检测模块104可被配置成在视频数据的连续帧上检查热图的坐标。如果一个或多个连续热图的坐标不匹配，则视频检测模块可确定视频数据已被移动。结果，停止对热图所表示的数据进行编码直到如上所述地检测到新热图。
图2示出了根据一个或多个实施例的用于检测视频内容的方法200。在特定实施例中，诸如系统100(图1)等系统的一个或多个组件可采用方法200来检测是否正在远程桌面主机的显示区域上呈现视频内容，以使得那些显示区域中所呈现的数据在将所呈现的数据传送到远程桌面客户机之前进行编码。
方法200开始于操作210，其中将正在呈现视频数据和/或可视数据的显示区域分成多个图块。在特定实施例中，视频数据和可视数据被呈现在与远程桌面主机、服务器或其它这样的计算设备相关联的显示区域上。构想视频数据和可视数据可被同时呈现在显示区域上。例如，可视数据可占据显示区域的第一部分，而视频数据可占据显示区域的第二部分。还构想在特定时刻，显示区域可以不包含任何视频数据。在这种情况下，显示区域仍然如上文所讨论的那样进行划分，以使得在呈现视频数据时的对视频数据的检测能够在有极少延迟或没有延迟的情况下开始。
参考图3，示出了被细分成多个图块310的显示区域300。显示区域可以是特定操作系统或由该操作系统执行的应用的桌面显示。如图3所示，显示区域300可包括所呈现的视频数据320(例如，飞机飞过天空)以及所呈现的可视数据330(例如，某些图标)。另外，构想每一个单独的图块都可包含可视数据320，而其它图块(例如，图块340)包含视频数据。尽管未被示出，但还构想一个或多个图块可包含可视数据和视频数据两者。
在特定实施例中，显示区域中的每一个图块都具有预定尺寸。例如，每一个图块可以是32x32像素、64x64像素等。尽管已给出特定尺寸，但构想每一个图块的尺寸可以是不同的。还构想第一图块可具有第一尺寸，而第二图块可具有不同的第二尺寸。例如，如果显示区域中的一个特定区域(由多个图块构成)在给定时间量内尚未在其上呈现视频数据，则该区域中的各个图块中的每一个图块可被组合以创建联合图块直到在该联合图块的至少一部分中检测到视频内容。一旦在该联合图块中检测到视频内容，该联合图块可被重新划分回到各个原始图块以使得能够检测哪些原始图块包含视频数据。一旦已经重新划分图块，该方法如下所述地继续。
回头参考图2，一旦显示区域已被分成多个图块，流程继续至操作220，其中检测每一个图块的更新频率。在特定实施例中，在每次(例如，每一帧)更新显示区域时接收位图。另外，每一位图包含关于位图中的哪些像素已被更新的信息。在另一实施例中，两个或更多连续位图可以相互比较以确定位图中的哪些像素已被更新。在还有一些其它实施例中，可监视各组像素(即，区域)以确定哪些区域已被更新。在特定实施例中，位图中的每一个像素或者位图中的每一个区域都与显示区域的特定图块相关联。如果位图中的一区域或像素已经改变，则递增与该图块相关联的更新计数。
在特定实施例中，在预定时间量内监视每一图块以确定与该图块相关联的更新频率是否超过更新频率阈值。例如，如果每秒更新次数(例如，更新计数每秒递增超过预定次数)超过阈值，则将特定图块标记230作为潜在视频候选。例如，回头参考图3，加阴影的图块340是具有高于阈值率的更新频率的那些图块。由此，加阴影的图块340被标记为其中可能正在呈现视频数据。
在特定实施例中，为了将图块标记为潜在视频候选，该图块的更新频率必须在预定时间量内超过更新频率阈值。预定时间量可等价于逝去时间段(例如，2秒)或基于帧数(例如，20帧)。如果图块的更新频率未在预定时间量内超过更新频率阈值(例如，在第一帧中图块为“热”，而在下一帧中图块不为“热”)，则该特定图块不是潜在视频候选。
尽管专门监视更新频率，但还构想特定图块可以在标识出与该图块相关联的像素或区域的改变时被标识为潜在视频候选。一旦被标记，该图块就可以与其它被标记的相邻图块相关联以形成诸如以下讨论的热图。在这些实施例中，然后如操作250中所阐述的那样分析作为整体的热图。
回头参考图2，流程然后继续至操作240，其中基于被标记为潜在视频候选的图块来创建热图。在特定实施例中，将每一帧中的相邻“热”图块(例如，被标识为潜在视频候选的那些图块)相关联以形成热图。例如，参考图3，将彼此相邻的加阴影的图块340相关联以形成热图350。尽管图3示出了单个热图350，但构想可以在显示区域上同时或基本上同时检测到两个或更多热图。在这些情况下，每一个热图都将被分析并在需要时进行编码，如将在下文中讨论的。
一旦已经生成热图，就在预定时间量内分析250热图以确定该热图作为整体是否表示应被编码的潜在视频数据。在特定实施例中，维护热图的历史以确定热图是否在预定时间量内保持为“热”。例如，如果热图在两秒或20个连续帧内保持为“热”，则与该热图相关联的数据被标识为视频数据并且随后进行编码260。
在特定实施例中，与热图相关联的数据可以被持续编码直到该热图在第二预定时间量(例如，1秒或5个连续帧)内不再为“热”。一旦确定热图不再为“热”，就停止对视频数据的编码。
如上所述，在视频数据已经在显示区域上移动(例如至不同坐标)的情况下，与视频数据相关联的特定热图将不再为“热”。由此，与热图相关联的数据将不再进行编码。然而，如果视频数据仍然被呈现在显示区域上(仅仅在不同的点)，则对新热图的检测将如上所述地进行。
在替代实施例中，所呈现的视频数据的每一帧可由图形处理单元(GPU)，而不是通用中央处理单元(CPU)来提供。在这些情况下，每一位图在与GPU相关联的视频存储器中生成。因此，为了如上所述地更新热图，仍然必须做出哪些图块已被更新的确定。
在一实施例中，GPU可被配置成确定位图的像素或区域在两个连续帧之间的差异。该区分使得GPU能够确定哪些图块将会是潜在视频候选。一旦确定，就可如上所述地生成和分析热图。在另一实施例中，GPU可被配置成基于一系列DIRECTX命令来生成包括视频数据和可视数据的整个显示区域。一旦已经生成显示区域，GPU就能够基于接收到的DIRECTX命令来确定位图中的哪些像素或区域已被更新(例如，哪些区域为“热”)。一旦已经检测到“热”区域，就可如上所述地生成热图。
尽管已在结合在计算机上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述了各实施例，但本领域的技术人员将认识到，此处公开的各实施例也可结合其他程序模块实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。
本文描述的实施例和功能可通过多种计算系统来操作，包括但不限于台式计算机系统、有线和无线计算系统、移动计算系统(如移动电话、上网本、图形输入板或平板型计算机、笔记本计算机、和膝上型计算机)、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、以及大型计算机。图4示出了执行视频检测模块104的实施例的示例性平板计算设备400。在另一实施例中，平板计算设备可以接收由视频检测模块104和编码器108生成的经编码的视频数据。此外，本文所述的实施例和功能可在分布式系统(如基于云的计算系统)上操作，其中应用功能、存储器、数据存储和检索、以及各种处理功能可在诸如因特网或内联网之类的分布式计算网络上彼此远程地操作。各种类型的用户界面和信息可经板载计算设备显示器或经与一个或多个计算设备相关联的远程显示单元被显示。例如，各种类型的用户界面和信息可在墙壁表面上被显示和交互，各种类型的用户界面和信息被投射在墙壁表面上。与可用于实施本发明的各实施例的许多计算系统的交互包括：键击输入、触摸屏输入、语音或其他音频输入、姿势输入(其中相关联的计算设备配备有用于捕捉和解释用于控制计算设备的功能的用户姿势的检测(如相机)功能)等。图5至7以及相关联的描述提供了其中可实施本发明的实施例的各种操作环境的讨论。然而，关于图5到7所示出和讨论的设备和系统是用于示例和说明的目的，而非对可被用于实施本文所述的本发明的各实施例的大量计算设备配置的限制。
图5是示出可用来实施本发明的各实施例的计算设备500的示例性物理组件(即硬件)的框图。下面描述的计算设备组件可适用于上述的计算设备。在基本配置中，计算设备500可包括至少一个处理单元502和系统存储器504。取决于计算设备的配置和类型，系统存储器504可包括，但不限于，易失性存储器(例如，随机存取存储器)、非易失性存储器(例如，只读存储器)、闪存、或这些存储器的任何组合。系统存储器504可包括操作系统505和适合于运行诸如视频检测模块104、更新检测模块106和编码器108之类的软件应用520的一个或多个程序模块506。操作系统505例如可适合于控制计算设备500的操作。此外，本发明的各实施例可以结合图形库、其他操作系统、或任何其他应用程序来实践，且不限于任何特定应用或系统。该基本配置在图5中由虚线508内的那些组件示出。计算设备500可具有附加特征或功能。例如，计算设备500还可包括附加数据存储设备(可移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。这些附加存储在图5中由可移动存储设备509和不可移动存储设备510示出。
如上所述，可在系统存储器504中存储多个程序模块和数据文件。尽管在处理单元502上执行，但是诸如视频检测模块104、更新检测模块106和编码器108之类的程序模块506可执行包括例如本文描述的各种方法的一个或多个阶段的各个过程。上述过程是一示例，且处理单元502可执行其他过程。根据本发明的实施例可使用的其他程序模块可包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。
此外，本发明的各实施例可在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或在包含电子元件或微处理器的单个芯片上实现。例如，可以通过片上系统(SOC)来实施本发明的各实施例，其中，可以将图5中示出的每个或许多组件集成到单个集成电路上。这样的SOC设备可包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元以及各种应用功能，所有这些都被集成(或“烧录”)到芯片基板上作为单个集成电路。当通过SOC操作时，在此所述的关于视频检测模块104、更新检测模块106和编码器108的功能可以通过在单个集成电路(芯片)上集成有计算设备500的其它组件的专用逻辑来操作。本发明的各实施例还可使用能够执行诸如例如，AND(与)、OR(或)和NOT(非)的逻辑运算的其他技术来实践，包括但不限于，机械、光学、流体和量子技术。另外，本发明的各实施例可以在通用计算机或任何其他电路或系统中实施。
计算设备500也可具有一个或多个输入设备512，如键盘、鼠标、笔、声音输入设备、触摸输入设备等等。也可包括输出设备514，如显示器、扬声器、打印机等等。上述设备是示例且可以使用其他设备。计算设备500可包括允许与其他计算设备518进行通信的一个或多个通信连接516。合适的通信连接516的示例包括但不限于RF发射机、接收机和/或收发机电路；通用串行总线(USB)、并行或串行端口、以及适用于与适用的计算机可读介质一起使用的其他连接。
例如，本发明的各实施例可被实现为计算机进程(方法)、计算系统或诸如计算机程序产品或计算机可读介质等制品。计算机程序产品可以是计算机系统可读并编码了用于执行计算机过程的指令的计算机程序的计算机存储介质。
如此处所使用的术语计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器504、可移动存储设备509和不可移动存储设备510都是计算机存储介质(即，存储器存储)的示例。计算机存储介质可以包括，但不限于，RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或可用于存储信息且可以由计算设备500访问的任何其它介质。任何这样的计算机存储介质都可以是计算设备500的一部分。
通信媒介可由诸如载波或其他传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块、或其他数据来体现，并且包括任何信息传递介质。术语“已调制数据信号”可以描述以对该信号中的信息进行编码的方式设定或者改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接等有线介质，以及诸如声学、射频(RF)、红外线和其他无线介质等无线介质。
图6A和6B示出可用来实施本发明的各实施例的移动计算设备600，例如移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图6A，示出了用于实现各实施例的示例性移动计算设备600。在一基本配置中，移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605以及允许用户将信息输入到移动计算设备600中的一个或多个输入按钮610。移动计算设备600的显示器605也可充当输入设备(如触摸屏显示器)。如果包括，则可任选的侧输入元件615允许进一步的用户输入。侧输入元件615可以是旋转开关、按钮、或任何其他类型的手动输入元件。在替代实施例中，移动计算设备600可结合更多或更少的输入元件。例如，在某些实施例中，显示器605可以不是触摸屏。在又一替代实施例中，移动计算设备600是诸如蜂窝电话之类的便携式电话系统。移动计算设备600还可包括可选的键区635。可选的键区635可以是物理键区或者在触摸屏显示器上生成的“软”键区。在各种实施例中，输出元件包括用于示出图形用户界面(GUI)的显示器605、可视指示器620(如发光二极管)、和/或音频换能器625(如扬声器)。在某些实施例中，移动计算设备600结合振动换能器来向用户提供触觉反馈。在又一实施例中，移动计算设备600结合诸如音频输入(如传声器插孔)、音频输出(如耳机插孔)、以及视频输出(如HDMI端口)之类的输入和/或输出端口，用于将信号发送到外部设备或从外部设备接收信号。
图6B是示出移动计算设备的一个实施例的架构的框图。即，移动计算设备600可结合系统(即架构)602以实现某些实施例。在一个实施例中，系统602被实现为能够运行一个或多个应用(如浏览器、电子邮件、日历、联系人管理器、消息收发客户机、游戏、以及媒体客户机/播放器)的“智能电话”。在某些实施例中，系统602被集成为计算设备，诸如集成的个人数字助理(PDA)和无线电话。
一个或多个应用程序666可被加载到存储器662中并在操作系统664上或与操作系统664相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息收发程序等等。系统602还包括存储器662内的非易失性存储区668。非易失性存储区668可被用于存储在系统602断电时不会丢失的持久信息。应用程序666可使用信息并将信息存储在非易失性存储区668中，如电子邮件应用使用的电子邮件或其他消息等。同步应用(未示出)也驻留于系统602上且被编程为与驻留在主机计算机上的对应的同步应用交互，以保持非易失性存储区668中存储的信息与主机计算机处存储的相应信息同步。如应理解的，其他应用可被加载到存储器662中并在移动计算设备600上运行，包括此处所述的视频检测模块104、更新检测模块106和编码器108。
系统602具有可被实现为一个或多个电池的电源670。电源670还可包括外部功率源，如补充电池或对电池充电的AC适配器或加电对接托架。
系统602还可包括执行发射和接收无线电频率通信的功能的无线电672。无线电672通过通信运营商或服务供应商方便了系统602与“外部世界”之间的无线连接。来往无线电672的传输是在操作系统664的控制下进行的。换言之，无线电672接收的通信可通过操作系统664传播到应用程序666，反之亦然。
无线电672允许系统602例如通过网络与其他计算设备通信。无线电672是通信介质的一个示例。通信介质通常由诸如载波或其他传输机制之类的已调制数据信号中的计算机可读指令、数据结构、程序模块、或其他数据来体现，并且包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。如此处所使用的术语计算机可读介质摂包括存储介质和通信介质两者。
系统602的该实施例使用可用于提供可视通知的可视指示器620和/或通过音频换能器625来产生音频通知的音频接口674来提供通知。在所示实施例中，可视指示器620是发光二极管(LED)，而音频换能器625是扬声器。这些设备可直接耦合到电源670，使得当被激活时，即使为了节省电池功率而可能关闭处理器660和其他组件，它们也在一段由通知机制指示的持续时间上保持通电。LED可被编程为无限地保持通电，直到用户采取动作指示该设备的通电状态。音频接口674用于向用户提供听觉信号并从用户接收听觉信号。例如，除了被耦合到音频换能器625之外，音频接口674还可被耦合到话筒来接收可听输入，例如便于电话通话。根据各本发明的各实施例，话筒也可充当音频传感器来便于对通知的控制，如下文将描述的。系统602可进一步包括允许板载相机630的操作来记录静止图像、视频流等的视频接口676。
实现系统602的移动计算设备600可具有附加特征或功能。例如，移动计算设备600还可包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。这种附加存储设备在图6B中用非易失性存储区668示出。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
移动计算设备600生成或捕捉的且经系统602存储的数据/信息可如上所述本地存储在移动计算设备600上，或数据可被存储在可由设备通过无线电672或通过移动计算设备600和与移动计算设备600相关联的一分开的计算设备之间的有线连接访问的任何数量的存储介质上，该分开的计算设备如例如因特网之类的分布式计算网络中的服务器计算机。如应理解的，此类数据/信息可经移动计算设备600、经无线电672或经分布式计算网络来被访问。类似地，这些数据/信息可根据已知的数据/信息传送和存储手段来容易地在计算设备之间传送以供存储和使用，这些手段包括电子邮件和协作数据/信息共享系统。
图7示出用于向一个或多个客户机设备提供如上所述的视频检测模块104、更新检测模块106和编码器108的系统的体系结构的一个实施例。与视频检测模块104、更新检测模块106和编码器108相关联地开发、交互或编辑的内容可被存储在不同的通信信道或其他存储类型中。例如，各种视频数据和其它内容可使用目录服务722、web门户724、邮箱服务726、即时消息收发存储728或社交网站730来存储。视频检测模块104、更新检测模块106和编码器108可使用这些类型的系统或类似系统中的任一个来启用本文描述的功能。服务器720可将视频检测模块104、更新检测模块106和编码器108提供给客户机。作为一个示例，服务器720可以是通过web提供视频检测模块104、更新检测模块106和编码器108的web服务器。服务器720可以在web上通过网络715将视频检测模块104、更新检测模块106和编码器108提供给客户机。作为示例，客户机计算设备718可被实现为计算设备700并被具体化在个人计算机718a、平板计算设备718b和/或移动计算设备718c(如智能电话)中。客户机计算设备718的这些实施例中的任一个可从存储716获得内容。在各种实施例中，用于在构成本发明的计算设备之间的通信的网络的类型包括但不限于互联网、内联网、广域网(WAN)、局域网(LAN)、以及虚拟专用网络(VPN)。在本申请中，网络包括企业网络和客户机计算设备通过其访问企业网络的网络(即客户机网络)。在一个实施例中，客户机网络是企业网络的一部分。在另一实施例中，客户机网络是通过外部可用的接入点(如网关、远程访问协议、或公共或专用互联网地址)来访问企业网络的一分开的网络。
然而，相关领域内技术人员可以理解各实施例可省去一个或多个特定细节而实现，或通过其它方法、资源、材料等实现。在其它实例中，公知的结构、资源或操作尚未被示出或详细说明，仅是为了避免对各实施例的某些方面产生混淆。
本申请中提供的一个或多个实施例的描述和说明不旨在以任何方式限制或约束权利要求书的范围。本申请中提供的实施例、示例和细节被认为是足以传达所有权，且使得他人能够制作并使用所要求保护的主题的最佳模式。所要求保护的主题不应被理解为限制于本申请中所提供的任何实施例、示例或细节。不管是以组合的方式还是分开的方式示出和描述，各种特征(结构上的和方法逻辑上的)旨在被选择性地包括或忽略，以产生具有特定的特征集的实施例。在被提供本申请的描述和说明的情况下，本领域的技术人员能够想象到落在本申请中具体化的一般发明概念的更宽泛方面的精神内的各种变体、修改和替代实施例，这些变体、修改和替代实施例并不背离权利要求书的更宽泛的范围。

Claims (15)

1.一种用于对所呈现的数据进行编码的方法，所述方法包括：
将其上呈现数据的显示区域分成多个图块；
确定所述多个图块中的每一个图块的所呈现的数据的更新频率；
对于更新频率超过阈值的每一个图块，将该图块标记为候选图块；
将被标记的相邻图块相关联以形成热图；以及
在第一预定时间量内分析所述热图以确定是否对与所述热图相关联的所呈现的数据进行编码。
2.如权利要求1所述的方法，其特征在于，还包括当所述热图中的每一个图块在所述第一预定时间量内保持为候选图块时将与所述热图相关联的所呈现的数据作为视频数据进行编码。
3.如权利要求2所述的方法，其特征在于，还包括当所述热图中的至少一个图块在第二预定时间量内未被标记为候选图块时停止将与所述热图相关联的所呈现的数据作为视频数据进行编码。
4.如权利要求3所述的方法，其特征在于，所呈现的数据是视频数据并且其中所述第二预定时间量等价于所述视频数据的多个连续帧。
5.如权利要求1所述的方法，其特征在于，所呈现的数据是视频数据。
6.如权利要求5所述的方法，其特征在于，所述第一预定时间量等价于所述视频数据的预定数量的连续帧。
7.如权利要求1所述的方法，其特征在于，在所述第一预定时间量内分析所述热图包括在所述第一预定时间量内确定所述热图的坐标。
8.如权利要求1所述的方法，其特征在于，确定所述多个图块中的每一个图块的所呈现的数据的更新频率包括：
接收针对每一次更新的位图；以及
基于所述位图来确定所述多个图块中的每一个图块中的每一个像素的更新频率。
9.一种编码了计算可执行指令的计算机可读存储介质，所述计算可执行指令在由至少一个处理器执行时，执行一种用于对所呈现的数据进行编码的方法，所述方法包括：
将其上呈现数据的显示区域分成多个图块；
确定所述多个图块中的每一个图块的所呈现的数据的更新频率；
对于更新频率超过阈值的每一个图块，将该图块标记为候选图块；
将被标记的相邻图块相关联以形成热图；以及
在第一预定时间量内分析所述热图以确定是否对与所述热图相关联的所呈现的数据进行编码。
10.如权利要求9所述的计算机可读存储介质，其特征在于，还包括用于以下操作的指令：当所述热图中的每一个图块在所述第一预定时间量内保持为候选图块时对与所述热图相关联的所呈现的数据进行编码。
11.如权利要求9所述的计算机可读存储介质，其特征在于，还包括用于以下操作的指令：当所述热图中的至少一个图块在第二预定时间量内未被标记为候选图块时停止对与所述热图相关联的所呈现的数据进行编码。
12.如权利要求11所述的计算机可读存储介质，其特征在于，所呈现的数据是视频数据并且其中所述第二预定时间量等价于所述视频数据的多个连续帧。
13.如权利要求9所述的计算机可读存储介质，其特征在于，所述多个图块中的每一个图块在显示区域上具有固定坐标。
14.一种计算机系统，包括：
一个或多个处理器；以及
耦合到所述一个或多个处理器的存储器，所述存储器用于存储指令，所述指令在被所述一个或多个处理器执行时使得所述一个或多个处理器执行一种用于对所呈现的数据进行编码的方法，所述方法包括：
将其上呈现数据的显示区域分成多个图块；
确定所述多个图块中的每一个图块的所呈现的数据的更新频率；
对于更新频率超过阈值的每一个图块，将该图块标记为候选图块；
将被标记的相邻图块相关联以形成热图；
在第一预定时间量内分析所述热图以确定是否对与所述热图相关联的所呈现的数据进行编码；以及
当所述热图中的每一个图块在所述第一预定时间量内保持为候选图块时对与所述热图相关联的所呈现的数据进行编码。
15.如权利要求14所述的计算机系统，其特征在于，所呈现的数据是视频数据并且其中所述第一预定时间量等价于所述视频数据的预定数量的连续帧。
CN201380009462.3A 2012-02-14 2013-02-05 远程桌面协议中的视频检测 Active CN104115187B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/396,398 2012-02-14
US13/396,398 US9110626B2 (en) 2012-02-14 2012-02-14 Video detection in remote desktop protocols
PCT/US2013/024688 WO2013122770A1 (en) 2012-02-14 2013-02-05 Video detection in remote desktop protocols

Publications (2)

Publication Number Publication Date
CN104115187A true CN104115187A (zh) 2014-10-22
CN104115187B CN104115187B (zh) 2017-06-13

Family

ID=48945520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009462.3A Active CN104115187B (zh) 2012-02-14 2013-02-05 远程桌面协议中的视频检测

Country Status (4)

Country Link
US (2) US9110626B2 (zh)
EP (1) EP2815379B1 (zh)
CN (1) CN104115187B (zh)
WO (1) WO2013122770A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618473A (zh) * 2015-01-26 2015-05-13 上海视聪网络信息技术有限公司 虚拟机桌面显示方法及装置
WO2016107216A1 (zh) * 2014-12-30 2016-07-07 华为技术有限公司 一种视频检测方法，及装置
CN109788313A (zh) * 2017-11-10 2019-05-21 中兴通讯股份有限公司 一种图像传输方法、装置及设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110626B2 (en) 2012-02-14 2015-08-18 Microsoft Technology Licensing, Llc Video detection in remote desktop protocols
US9619529B2 (en) * 2013-03-14 2017-04-11 Adobe Systems Incorporated Method and system of visualizing rendering data
CN106020756A (zh) * 2016-05-13 2016-10-12 江苏云途腾科技有限责任公司 一种更新虚拟桌面的方法和装置
CN106101830A (zh) * 2016-07-08 2016-11-09 中霆云计算科技（上海）有限公司 一种基于区域检测和应用检测相结合的视频流检测方法
WO2018105172A1 (ja) * 2016-12-08 2018-06-14 シャープ株式会社 表示装置
GB2591410A (en) * 2017-04-21 2021-07-28 Zenimax Media Inc Systems and methods for rendering & pre-encoded load estimation based encoder hinting
US11330030B2 (en) * 2019-07-25 2022-05-10 Dreamworks Animation Llc Network resource oriented data communication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899959A2 (en) * 1992-09-16 1999-03-03 Fujitsu Limited Image data coding and restoring method and apparatus for coding and restoring the same
CN101352029A (zh) * 2005-12-15 2009-01-21 模拟装置公司 用于场景变化检测的随机子采样分区表决算法
WO2009133365A2 (en) * 2008-04-29 2009-11-05 Imagination Technologies Limited Scene change detection
US20110141133A1 (en) * 2009-12-10 2011-06-16 Microsoft Corporation Real-Time Compression With GPU/CPU
US20110258339A1 (en) * 2010-01-07 2011-10-20 Fujitsu Limited Information processing apparatus, computer-readable non transitory storage medium storing image transmission program, and computer-readable storage medium storing image display program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769375B1 (ko) 2001-05-12 2007-10-22 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
WO2005017781A1 (en) 2003-07-25 2005-02-24 Sony Electronics Inc. Video content scene change determination
US7817157B2 (en) 2004-08-23 2010-10-19 Hewlett-Packard Company, L.P. Method and apparatus for capturing slices of video data
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US8606952B2 (en) 2008-01-15 2013-12-10 International Business Machines Corporation Method and system for optimizing bandwidth usage in remote visualization
US8737475B2 (en) 2009-02-02 2014-05-27 Freescale Semiconductor, Inc. Video scene change detection and encoding complexity reduction in a video encoder system having multiple processing devices
US9510048B2 (en) 2009-05-26 2016-11-29 Red Hat Israel, Ltd. Dynamically changing streaming video quality
US9854254B2 (en) 2009-08-04 2017-12-26 Avocent Corporation Method and system for remote viewing of static and video images
TWI401968B (zh) 2009-10-30 2013-07-11 Awind Inc 螢幕畫面之編碼方法及其應用之電子裝置
US8891939B2 (en) 2009-12-22 2014-11-18 Citrix Systems, Inc. Systems and methods for video-aware screen capture and compression
US8760453B2 (en) * 2010-09-01 2014-06-24 Microsoft Corporation Adaptive grid generation for improved caching and image classification
US9110626B2 (en) 2012-02-14 2015-08-18 Microsoft Technology Licensing, Llc Video detection in remote desktop protocols

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899959A2 (en) * 1992-09-16 1999-03-03 Fujitsu Limited Image data coding and restoring method and apparatus for coding and restoring the same
CN101352029A (zh) * 2005-12-15 2009-01-21 模拟装置公司 用于场景变化检测的随机子采样分区表决算法
WO2009133365A2 (en) * 2008-04-29 2009-11-05 Imagination Technologies Limited Scene change detection
US20110141133A1 (en) * 2009-12-10 2011-06-16 Microsoft Corporation Real-Time Compression With GPU/CPU
US20110258339A1 (en) * 2010-01-07 2011-10-20 Fujitsu Limited Information processing apparatus, computer-readable non transitory storage medium storing image transmission program, and computer-readable storage medium storing image display program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMOHARU IMAI等: ""An Adaptive Desktop Transfer Protocol for Mobile Thin Client"", 《IEEE GLOBECOM 2010 WORKSHOP ON MOBILE COMPUTING AND EMERGING COMMUNICATION NETWORKS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016107216A1 (zh) * 2014-12-30 2016-07-07 华为技术有限公司 一种视频检测方法，及装置
CN105809659A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种视频检测方法，及装置
CN105809659B (zh) * 2014-12-30 2019-05-03 华为技术有限公司 一种视频检测方法，及装置
CN104618473A (zh) * 2015-01-26 2015-05-13 上海视聪网络信息技术有限公司 虚拟机桌面显示方法及装置
CN104618473B (zh) * 2015-01-26 2019-04-16 上海视聪网络信息技术有限公司 虚拟机桌面显示方法及装置
CN109788313A (zh) * 2017-11-10 2019-05-21 中兴通讯股份有限公司 一种图像传输方法、装置及设备

Also Published As

Publication number Publication date
EP2815379A4 (en) 2016-04-13
EP2815379B1 (en) 2021-11-24
CN104115187B (zh) 2017-06-13
US20130208785A1 (en) 2013-08-15
EP2815379A1 (en) 2014-12-24
US9451261B2 (en) 2016-09-20
WO2013122770A1 (en) 2013-08-22
US20150319432A1 (en) 2015-11-05
US9110626B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
CN104115187A (zh) 远程桌面协议中的视频检测
CN105378624B (zh) 在交互出现于白板上时显示交互
CN105009062A (zh) 浏览被显示为瓦块的电子消息
CN105531694B (zh) 在电子表格中显示多个作者的在场
CN104081384A (zh) 用于为在线文档提供计算web服务的系统和方法
CN105144069A (zh) 对于显示内容的基于语义缩放的导航
CN105308615A (zh) 在应用空闲时间段期间保护所显示电子内容以防止未授权访问
CN105378817A (zh) 将外部动态内容合并到白板中
CN105074741A (zh) 建议相关项
CN104428749A (zh) 由用户动作触发的可视ui向导
US20130305163A1 (en) Screen and Associated File Sharing
CN104221011A (zh) 使用文档评论来跟踪共同创作冲突
CN105683896A (zh) 跨多个虚拟机共享虚拟硬盘
CN105408861A (zh) 电子笔记的预览
CN104781806A (zh) 基于网格的应用中的动态内容布局
CN105229632A (zh) 在提交文档中建议改变之前查看该改变的效果
US10552132B2 (en) Binary merging device, method, and computer program
CN105308943B (zh) 从电子内容储存库中自动隔离和选择截屏
CN105359135A (zh) 用墨水来创作演示
CN102999366B (zh) 基于推断的扩展激活
CN105474209A (zh) 管理对共享文档的改动
US20140201805A1 (en) Managing sensitive content
CN105431818A (zh) 用于电子墨水投影的方法和系统
CN104603752A (zh) 跨平台共享应用代码
CN104583909A (zh) 经由输入设备的反馈以及涂写识别

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant