CN116996503B - 一种桌面图像传输方法、系统、电子设备及介质 - Google Patents
一种桌面图像传输方法、系统、电子设备及介质 Download PDFInfo
- Publication number
- CN116996503B CN116996503B CN202310972603.7A CN202310972603A CN116996503B CN 116996503 B CN116996503 B CN 116996503B CN 202310972603 A CN202310972603 A CN 202310972603A CN 116996503 B CN116996503 B CN 116996503B
- Authority
- CN
- China
- Prior art keywords
- desktop image
- desktop
- image block
- user terminal
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 238000013461 design Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于计算机技术领域，其目的在于提供一种桌面图像传输方法、系统、电子设备及介质。本发明通过对桌面图像定时进行采集，并通过将桌面图像分割处理，得到与所述桌面图像对应的多个桌面图像块；再将多个桌面图像块与前一次桌面采集得到的多个缓存桌面图像块一一进行对比，以获取其中的变化桌面图像块；然后对变化桌面图像块进行编码，得到编码后桌面图像块；最后将前一次采集后得到的缓存桌面图像块中与待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，即可得到编码后桌面图像，基于此，本发明可大大减小桌面图像的传输量，避免桌面图像传输占用过大的网络带宽的问题，利于提高桌面图像的传输效率，具备推广应用价值。
Description
技术领域
本发明属于计算机技术领域，具体涉及一种桌面图像传输方法、系统、电子设备及介质。
背景技术
目前，如进行远程协助、桌面共享等操作时，通常需要实时采集指定用户终端的桌面图像，然后对采集的桌面图像进行编码处理，以便将编码后桌面图像发送至目标用户终端进行解码并进行显示。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
现有技术中，通常将采集得到的桌面图像统一进行编码处理，再将编码后桌面图像发送至目标用户终端，使得桌面图像传输过程中，服务器通常需要同时对从几十甚至上百个用户终端采集到的桌面图像进行编码，由此会耗费大量的图像数据处理资源，对桌面图像传输的网络带宽占用量较大，桌面图像的传输效率较低，影响服务器对其他任务的处理与响应效率。
发明内容
本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种桌面图像传输方法、系统、电子设备及介质。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种桌面图像传输方法，包括：
采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；
将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则进入下一步，如否，则在指定时长后重新采集所述第一用户终端的桌面图像；
获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块；
对所述更新后桌面图像块进行编码，得到编码后桌面图像块；
获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端。
本发明在桌面图像传输过程中的网络带宽占用量小，传输效率高。由于桌面图像在较短的时间间隔内往外只有局部发生变化，甚至不变化，本发明中，通过对桌面图像定时进行采集，并通过将桌面图像分割处理，得到与所述桌面图像对应的多个桌面图像块；再将多个桌面图像块与前一次桌面采集得到的多个缓存桌面图像块一一进行对比，以获取其中的变化桌面图像块；然后对变化桌面图像块进行编码，得到编码后桌面图像块；最后将前一次采集后得到的缓存桌面图像块中与待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，即可得到编码后桌面图像，基于此，本发明可大大减小桌面图像的传输量，避免桌面图像传输占用过大的网络带宽的问题，利于提高桌面图像的传输效率，具备推广应用价值。
在一个可能的设计中，对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块，包括：
采用网格化方法，将所述桌面图像分割为多个桌面图像块；其中，多个桌面图像块呈网格状分布。
在一个可能的设计中，将任一桌面图像块与前一次采集桌面图像得到的与该桌面图像块位置对应的缓存桌面图像块进行比较，包括：
分别对所述桌面图像块与所述缓存桌面图像块进行灰度化处理，得到灰度化处理后桌面图像块和灰度化处理后缓存桌面图像块；
分别对所述灰度化处理后桌面图像块和所述灰度化处理后缓存桌面图像块进行二值化处理，得到二值化处理后桌面图像块和二值化处理后缓存桌面图像块；
分别获取所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值，并对所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值进行归一化处理，得到所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值；
根据所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值，得到所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度，并将该相似度作为所述桌面图像块和所述缓存桌面图像块之间的相似度；
判断所述相似度是否大于预设的相似度阈值，如是，则判定当前所述桌面图像块未发生变化，如否，则判定当前所述桌面图像块发生变化。
在一个可能的设计中，所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度为：
；
式中，为所述二值化处理后桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后缓存桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块中像素点的总数。
在一个可能的设计中，采集第一用户终端的桌面图像前，所述方法还包括：
接收桌面图像传输任务；其中，所述桌面图像传输任务中包括待进行桌面图像传输的第一用户终端的标识信息，以及待接收桌面图像的第二用户终端的标识信息；
根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，分别获取所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率；
根据所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率对应的图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像。
在一个可能的设计中，接收桌面图像传输任务后，所述方法还包括：
根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，实时监视所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数；
根据所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数，得到所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率；
根据所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率，判断所述第一用户终端的图像分辨率和/或所述第二用户终端的图像分辨率是否发生变更，如是，则获取所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，并进入下一步；
根据所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率对应的变更后图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像。
在一个可能的设计中，得到编码后桌面图像后，所述方法还包括：
将所述编码后桌面图像进行打包操作，得到打包后桌面图像；
将所述打包后桌面图像发送至所述第二用户终端。
第二方面，本发明提供了一种桌面图像传输系统，用于实现如上述任一项所述的桌面图像传输方法；所述桌面图像传输系统包括：
桌面图像采集模块，用于采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；
桌面图像比较模块，与所述桌面图像采集模块通信连接，用于将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块；
图像块编码模块，与所述桌面图像比较模块通信连接，用于对所述更新后桌面图像块进行编码，得到编码后桌面图像块；
桌面图像输出模块，与所述图像块编码模块通信连接，用于获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端。
第三方面，本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的桌面图像传输方法的操作。
第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的桌面图像传输方法的操作。
附图说明
图1是实施例中一种桌面图像传输方法的流程图；
图2是实施例中一种桌面图像传输系统的模块框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
实施例1：
本实施例公开了一种桌面图像传输方法，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行。
如图1所示，一种桌面图像传输方法，可以但不限于包括有如下步骤：
S1.采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；应当理解的是，本实施例中，多个桌面图像块均携带有位置信息；需要说明的是，由于用户终端的桌面图像通常为非连续性地发生变化，为降低桌面图像传输过程中的计算量，同时避免影响桌面图像在第二用户终端的正常显示，本实施例中，采用每秒1-3帧的频率采集第一用户终端的桌面图像。
具体地，本实施例中，采集桌面图像时，可以但不仅限于通过应用DXGI（MicrosoftDirectX Graphics Infrastructure，微软图形设备基础架构）快速截屏技术或WGC（Windows Graphics Capture）桌面采集技术的图像采集接口实现，此处不予限制。
本实施例中，对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块，包括：
采用网格化方法，将所述桌面图像分割为多个桌面图像块；其中，多个桌面图像块呈网格状分布。
需要说明的是，采用网格化方法对桌面图像进行分割，可利于降低数据处理难度，由此进一步提升桌面图像的传输效率。
S2.将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则进入下一步，如否，则在指定时长后重新采集所述第一用户终端的桌面图像。
具体地，将任一桌面图像块与前一次采集桌面图像得到的与该桌面图像块位置对应的缓存桌面图像块进行比较，包括：
S201.分别对所述桌面图像块与所述缓存桌面图像块进行灰度化处理，得到灰度化处理后桌面图像块和灰度化处理后缓存桌面图像块；
S202.分别对所述灰度化处理后桌面图像块和所述灰度化处理后缓存桌面图像块进行二值化处理，得到二值化处理后桌面图像块和二值化处理后缓存桌面图像块；
S203.分别获取所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值，并对所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值进行归一化处理，得到所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值；
S204.根据所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值，得到所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度，并将该相似度作为所述桌面图像块和所述缓存桌面图像块之间的相似度；
具体地，本实施例中，所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度为：
；
式中，为所述二值化处理后桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后缓存桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块中像素点的总数。
S205.判断所述相似度是否大于预设的相似度阈值，如是，则判定当前所述桌面图像块未发生变化，如否，则判定当前所述桌面图像块发生变化。
本实施例中通过将所述桌面图像块与所述缓存桌面图像块依次进行灰度化处理和二值化处理，利于减小图像块比较过程中、通过对图像集进行分块处理，最后通过其对应的归一化亮度得到所述桌面图像块和所述缓存桌面图像块之间的相似度，由此实现对所有桌面图像块与对应的缓存桌面图像之间的比较，该比较过程中的数据计算复杂度较低，适用于算力不高的用户终端，使得本实施例的适用范围更广。此外，本实施例中，还可设定一数量阈值，以在桌面图像块发生变化的数量大于该数量阈值时，认定采集得到的桌面图像发生变化。
S3.获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块。
S4.对所述更新后桌面图像块进行编码，得到编码后桌面图像块。
本实施例中，对所述更新后桌面图像块进行编码，得到编码后桌面图像块，包括：
S401.对所述更新后桌面图像块进行色调图像分析，以便判断其为离散色调图像还是连续色调图像；
S402.如所述更新后桌面图像块包括连续色调图像，则使用纯色编码方法对其中的连续色调图像进行编码，如所述更新后桌面图像块包括离散色调图像，则使用JPEG（静止图像压缩）编码方法对其中的离散色调图像进行编码，得到编码后桌面图像块。需要说明的是，由此对更新后桌面图像块进行编码，可利于提升图像块的编码效率。
S5.获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端。也即，编码后桌面图像为所有未发生变化的缓存桌面图像块对应的编码后缓存桌面图像块与编码后桌面图像块的组合，采集的桌面图像块中未发生变化的桌面图像块无需进行后续的编码处理，由此减少了图像编码的计算量。
本实施例中，得到编码后桌面图像后，所述方法还包括：
将所述编码后桌面图像进行打包操作，得到打包后桌面图像；具体地，打包操作可基于RTP（Real-time Transport Protocol，实时传输协议）协议实现，以便实现对编码后桌面图像的准确传输，此处不予限制。
将所述打包后桌面图像发送至所述第二用户终端。需要说明的是，第二用户终端接收到打包后桌面图像后，可经过RTP解包操作还原出编码后桌面图像，然后对编码后桌面图像进行解码，以便得到解码后桌面图像，最后对解码后桌面图像进行渲染，得到渲染后桌面图像并对其进行可视化展示。其中，第二用户终端对编码后桌面图像进行解码的运算为本实施例中得到编码后桌面图像的逆运算，此处不予赘述。
本实施例中，采集第一用户终端的桌面图像前，所述方法还包括：
A1.接收桌面图像传输任务；其中，所述桌面图像传输任务中包括待进行桌面图像传输的第一用户终端的标识信息，以及待接收桌面图像的第二用户终端的标识信息；
A2.根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，分别获取所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率；
A3.根据所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率对应的图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像。
需要说明的是，本实施例中，得到对应的图像传输方案后，从第一用户终端采集待进行传输的桌面图像、对桌面图像进行编码及解码等流程均基于该图像传输方案执行，以便最终在第二用户终端显示的桌面图像的分辨率与第二用户终端的图像分辨率相匹配。具体地，本实施例通过获取第一用户终端和第二用户终端的图像分辨率，并根据二者的图像分辨率得到相应的图像传输方案，使得本实施例能够适用于各种不同应用场景下的图像采集，避免因第一用户终端和/或第二用户终端的桌面图像的分辨率发生改变，而对桌面图像传输造成如桌面图像传输过程中带宽资源浪费或不足等影响，可适用于不同的应用场景。
本实施例中，接收桌面图像传输任务后，所述方法还包括：
B1.根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，实时监视所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数；
B2.根据所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数，得到所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率；
B3.根据所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率，判断所述第一用户终端的图像分辨率和/或所述第二用户终端的图像分辨率是否发生变更，也即将所述第一用户终端的图像分辨率与第一用户终端的最新图像分辨率之间，以及所述第二用户终端的图像分辨率与所述第二用户终端的最新图像分辨率之间进行比较，如是，则获取所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，并进入下一步；
B4.根据所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率对应的变更后图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像。
需要说明的是，如用户配置参数发生变更，则对应的用户终端的图像分辨率也会发生变化，会使得原图像传输方案不适应第一用户终端和/或第二用户终端，基于此，本实施例通过实时监视所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数，以实现桌面图像传输方案的变更，进而重新进行桌面图像传输，以便动态地调整桌面图像传输要求。
还应当理解的是，如首次进行桌面图像采集，则需要对采集得到的桌面图像依次进行图像分割、编码等处理，得到待进行首次传输的编码后桌面图像，在后续每次进行桌面图像采集前，均对前一次采集的桌面图像对应的桌面图像块以及编码后桌面图像块进行缓存，并设为缓存桌面图像块及缓存编码后桌面图像块。
本实施例在桌面图像传输过程中的网络带宽占用量小，传输效率高。由于桌面图像在较短的时间间隔内往外只有局部发生变化，甚至不变化，本实施例中，通过对桌面图像定时进行采集，并通过将桌面图像分割处理，得到与所述桌面图像对应的多个桌面图像块；再将多个桌面图像块与前一次桌面采集得到的多个缓存桌面图像块一一进行对比，以获取其中的变化桌面图像块；然后对变化桌面图像块进行编码，得到编码后桌面图像块；最后将前一次采集后得到的缓存桌面图像块中与待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，即可得到编码后桌面图像，基于此，本实施例可大大减小桌面图像的传输量，避免桌面图像传输占用过大的网络带宽的问题，利于提高桌面图像的传输效率，具备推广应用价值。
实施例2：
本实施例公开了一种桌面图像传输系统，用于实现实施例1中桌面图像传输方法；如图２所示，所述桌面图像传输系统包括：
桌面图像采集模块，用于采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；
桌面图像比较模块，与所述桌面图像采集模块通信连接，用于将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块；
图像块编码模块，与所述桌面图像比较模块通信连接，用于对所述更新后桌面图像块进行编码，得到编码后桌面图像块；
桌面图像输出模块，与所述图像块编码模块通信连接，用于获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端。
实施例3：
在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，电子设备包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的桌面图像传输方法的操作。
实施例4：
在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的桌面图像传输方法的操作。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种桌面图像传输方法，其特征在于：包括：
采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；
将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则进入下一步，如否，则在指定时长后重新采集所述第一用户终端的桌面图像；
获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块；
对所述更新后桌面图像块进行编码，得到编码后桌面图像块；
获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端；
采集第一用户终端的桌面图像前，所述方法还包括：
接收桌面图像传输任务；其中，所述桌面图像传输任务中包括待进行桌面图像传输的第一用户终端的标识信息，以及待接收桌面图像的第二用户终端的标识信息；
根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，分别获取所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率；
根据所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率对应的图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像；
将任一桌面图像块与前一次采集桌面图像得到的与该桌面图像块位置对应的缓存桌面图像块进行比较，包括：
分别对所述桌面图像块与所述缓存桌面图像块进行灰度化处理，得到灰度化处理后桌面图像块和灰度化处理后缓存桌面图像块；
分别对所述灰度化处理后桌面图像块和所述灰度化处理后缓存桌面图像块进行二值化处理，得到二值化处理后桌面图像块和二值化处理后缓存桌面图像块；
分别获取所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值，并对所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值进行归一化处理，得到所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值；
根据所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值，得到所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度，并将该相似度作为所述桌面图像块和所述缓存桌面图像块之间的相似度；
判断所述相似度是否大于预设的相似度阈值，如是，则判定当前所述桌面图像块未发生变化，如否，则判定当前所述桌面图像块发生变化；
所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度为：
；
式中，为所述二值化处理后桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后缓存桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块中像素点的总数。
2.根据权利要求1所述的一种桌面图像传输方法，其特征在于：对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块，包括：
采用网格化方法，将所述桌面图像分割为多个桌面图像块；其中，多个桌面图像块呈网格状分布。
3.根据权利要求1所述的一种桌面图像传输方法，其特征在于：接收桌面图像传输任务后，所述方法还包括：
根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，实时监视所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数；
根据所述第一用户终端的用户配置参数和所述第二用户终端的用户配置参数，得到所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率；
根据所述第一用户终端的最新图像分辨率和所述第二用户终端的最新图像分辨率，判断所述第一用户终端的图像分辨率和/或所述第二用户终端的图像分辨率是否发生变更，如是，则获取所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，并进入下一步；
根据所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的变更后图像分辨率和/或所述第二用户终端的变更后图像分辨率对应的变更后图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像。
4.根据权利要求1所述的一种桌面图像传输方法，其特征在于：得到编码后桌面图像后，所述方法还包括：
将所述编码后桌面图像进行打包操作，得到打包后桌面图像；
将所述打包后桌面图像发送至所述第二用户终端。
5.一种桌面图像传输系统，其特征在于：用于实现如权利要求1至4中任一项所述的桌面图像传输方法；所述桌面图像传输系统包括：
桌面图像采集模块，用于采集第一用户终端的桌面图像，并对所述桌面图像进行分割处理，得到与所述桌面图像对应的多个桌面图像块；
桌面图像比较模块，与所述桌面图像采集模块通信连接，用于将多个桌面图像块与前一次采集桌面图像得到的与多个桌面图像块位置对应的多个缓存桌面图像块逐一进行比较，以便判断桌面图像是否发生变化，如是，则获取多个桌面图像块中相对缓存桌面图像块发生变化的桌面图像块，将该发生变化的桌面图像块作为更新后桌面图像块，并将多个缓存桌面图像块中与所述更新后桌面图像块位置对应的初始桌面图像块作为待更新桌面图像块；
图像块编码模块，与所述桌面图像比较模块通信连接，用于对所述更新后桌面图像块进行编码，得到编码后桌面图像块；
桌面图像输出模块，与所述图像块编码模块通信连接，用于获取多个缓存桌面图像块对应的多个编码后缓存桌面图像块，并将多个编码后缓存桌面图像块中与所述待更新桌面图像块对应的编码后缓存桌面图像块替换为编码后桌面图像块，得到编码后桌面图像，并将所述编码后桌面图像发送至第二用户终端；
所述桌面图像采集模块在采集第一用户终端的桌面图像前，还包括：
接收桌面图像传输任务；其中，所述桌面图像传输任务中包括待进行桌面图像传输的第一用户终端的标识信息，以及待接收桌面图像的第二用户终端的标识信息；
根据所述第一用户终端的标识信息以及所述第二用户终端的标识信息，分别获取所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率；
根据所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率，从预设的桌面图像传输方案集合中选取与所述第一用户终端的图像分辨率以及所述第二用户终端的图像分辨率对应的图像传输方案，以便根据所述图像传输方案和所述桌面图像传输任务，从所述第一用户终端采集待进行传输的桌面图像；
将任一桌面图像块与前一次采集桌面图像得到的与该桌面图像块位置对应的缓存桌面图像块进行比较，包括：
分别对所述桌面图像块与所述缓存桌面图像块进行灰度化处理，得到灰度化处理后桌面图像块和灰度化处理后缓存桌面图像块；
分别对所述灰度化处理后桌面图像块和所述灰度化处理后缓存桌面图像块进行二值化处理，得到二值化处理后桌面图像块和二值化处理后缓存桌面图像块；
分别获取所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值，并对所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块的灰度值进行归一化处理，得到所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值；
根据所述二值化处理后桌面图像块的归一化灰度值和所述二值化处理后缓存桌面图像块的归一化灰度值，得到所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度，并将该相似度作为所述桌面图像块和所述缓存桌面图像块之间的相似度；
判断所述相似度是否大于预设的相似度阈值，如是，则判定当前所述桌面图像块未发生变化，如否，则判定当前所述桌面图像块发生变化；
所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块之间的相似度为：
；
式中，为所述二值化处理后桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后缓存桌面图像块中第i个像素点对应的归一化灰度值，/>为所述二值化处理后桌面图像块和所述二值化处理后缓存桌面图像块中像素点的总数。
6.一种电子设备，其特征在于：包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如权利要求1至4中任一项所述的桌面图像传输方法的操作。
7.一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，其特征在于：所述计算机程序指令被配置为运行时执行如权利要求1至4中任一项所述的桌面图像传输方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310972603.7A CN116996503B (zh) | 2023-08-03 | 2023-08-03 | 一种桌面图像传输方法、系统、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310972603.7A CN116996503B (zh) | 2023-08-03 | 2023-08-03 | 一种桌面图像传输方法、系统、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116996503A CN116996503A (zh) | 2023-11-03 |
| CN116996503B true CN116996503B (zh) | 2024-05-07 |
Family
ID=88529698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310972603.7A Active CN116996503B (zh) | 2023-08-03 | 2023-08-03 | 一种桌面图像传输方法、系统、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116996503B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN103870828A (zh) * | 2012-12-17 | 2014-06-18 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN107801216A (zh) * | 2016-09-06 | 2018-03-13 | 上海诺基亚贝尔股份有限公司 | 用于无线通信的方法和设备 |
| CN108109108A (zh) * | 2016-11-25 | 2018-06-01 | 北京视联动力国际信息技术有限公司 | 一种基于余弦相似性自适应算法的图像拼接方法和装置 |
| CN114422807A (zh) * | 2022-03-28 | 2022-04-29 | 麒麟软件有限公司 | 一种基于Spice协议的传输优化方法 |
| CN115767092A (zh) * | 2022-11-02 | 2023-03-07 | 阿里巴巴（中国）有限公司 | 图像传输方法、云桌面及图像传输系统、设备及产品 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3941067A4 (en) * | 2019-03-15 | 2022-04-27 | Sony Group Corporation | MOVING PICTURE DISTRIBUTION SYSTEM, MOVING PICTURE DISTRIBUTION METHOD, AND DISPLAY TERMINAL |
-
2023
- 2023-08-03 CN CN202310972603.7A patent/CN116996503B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870828A (zh) * | 2012-12-17 | 2014-06-18 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN107801216A (zh) * | 2016-09-06 | 2018-03-13 | 上海诺基亚贝尔股份有限公司 | 用于无线通信的方法和设备 |
| CN108109108A (zh) * | 2016-11-25 | 2018-06-01 | 北京视联动力国际信息技术有限公司 | 一种基于余弦相似性自适应算法的图像拼接方法和装置 |
| CN114422807A (zh) * | 2022-03-28 | 2022-04-29 | 麒麟软件有限公司 | 一种基于Spice协议的传输优化方法 |
| CN115767092A (zh) * | 2022-11-02 | 2023-03-07 | 阿里巴巴（中国）有限公司 | 图像传输方法、云桌面及图像传输系统、设备及产品 |
Non-Patent Citations (1)
| Title |
|---|
| 气液两相流图像区域相似值序列的混沌特性研究;周云龙;李洪伟;杨悦;;中国电机工程学报;20110715(20);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116996503A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110413812B (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN108900843B (zh) | 单色图像压缩方法、装置、介质及电子设备 | |
| CN107292808B (zh) | 图像处理方法、装置及图像协处理器 | |
| CN111182303A (zh) | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 | |
| CN113343958B (zh) | 一种文本识别方法、装置、设备及介质 | |
| CN115103210A (zh) | 信息处理方法、装置、终端和存储介质 | |
| CN113038176B (zh) | 视频抽帧方法、装置和电子设备 | |
| CN114399814A (zh) | 一种基于深度学习的遮挡物移除和三维重建方法 | |
| CN116996503B (zh) | 一种桌面图像传输方法、系统、电子设备及介质 | |
| CN110650309B (zh) | 视频会议视频图像传输方法、终端及可读存储介质 | |
| CN110751251B (zh) | 生成、变换二维码图像矩阵的方法和装置 | |
| CN113409199A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN112261417A (zh) | 视频推送方法及系统、设备及可读存储介质 | |
| CN116912556A (zh) | 图片分类方法、装置、电子设备及存储介质 | |
| CN114724144B (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
| CN115205163A (zh) | 一种标识图像的处理方法、装置、设备及存储介质 | |
| CN112492333B (zh) | 图像生成方法及装置、封面更换方法、介质和设备 | |
| CN114972021A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN116366852A (zh) | 面向机器视觉任务的视频编解码方法、装置、设备及介质 | |
| CN112073731B (zh) | 图像解码方法、装置、计算机可读存储介质和电子设备 | |
| CN115118989B (zh) | 一种图像压缩方法及装置 | |
| CN117615137B (zh) | 一种视频处理方法、装置、设备以及存储介质 | |
| CN114004852B (zh) | 一种指纹生成方法、装置、电子设备及存储介质 | |
| CN118674600A (zh) | 图像形态学处理方法及装置、计算机可读介质和电子设备 | |
| CN116668701A (zh) | 应用于交互式屏幕共享的传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |