CN113012033A - 图像显示处理的方法、装置和系统 - Google Patents
图像显示处理的方法、装置和系统 Download PDFInfo
- Publication number
- CN113012033A CN113012033A CN202110246060.1A CN202110246060A CN113012033A CN 113012033 A CN113012033 A CN 113012033A CN 202110246060 A CN202110246060 A CN 202110246060A CN 113012033 A CN113012033 A CN 113012033A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- behavior
- zero terminal
- matched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 208000008918 voyeurism Diseases 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 244000144985 peep Species 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种图像显示处理的方法、装置和系统。其中,该系统包括:零终端和服务器,其中,零终端,用于通过图像采集设备获取用户图像,并将用户图像发送至服务器;服务器,与零终端连接,用于判断用户图像中的用户行为是否与预设行为匹配,若用户行为与预设行为匹配,则执行对零终端中显示图像的处理;若用户行为与预设行为不匹配,则监听零终端发送的用户图像。本发明解决了由于现有技术中在使用云桌面系统时会存在偷窥或偷拍的情况下,导致的信息泄密的技术问题。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种图像显示处理的方法、装置和系统。
背景技术
目前云桌面系统主要包括:零终端和Virtual Desktop server(虚拟桌面服务器);其中,零终端中包括:VGTP-R端(接收端),虚拟桌面服务器中包括:VM(Virtualmachines,虚拟机),以及VGTP-S端(发送端);VGTP-R端,用于接收来自云端服务器的虚拟桌面图像,同时将本地鼠标和键盘信息反向传输到云端服务器,进而注入Virtual Desktop中;VGTP-S端,运行在云端服务器的VM(虚拟机)中,S端包括图像采集模块和图像编码器,同时负责进行用户输入数据的注入功能。Virtual Desktop server,一般是基础设施即服务(Infrastructure as a Service,简称IAAS)架构,具有很强虚拟主机的服务器。
目前,这种云桌面系统由于其较高的安全性,在高涉密的特种行业有了比较广泛的应用。其较高的安全性体现在:用户本地无数据存储,所有数据源和视频图像来源于云端的图像,并且可在云端给图像加上使用者的水印,从而保证了数据不能轻易泄漏。
但是,如何基于云桌面系统实现防偷窥或偷拍,是尚待解决的问题。
针对上述由于现有技术中在使用云桌面系统时会存在偷窥或偷拍的情况下,导致的信息泄密的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像显示处理的方法、装置和系统,以至少解决由于现有技术中在使用云桌面系统时会存在偷窥或偷拍的情况下,导致的信息泄密的技术问题。
根据本发明实施例的一个方面,提供了一种图像显示处理的系统,包括:零终端和服务器,其中,零终端,用于通过图像采集设备获取用户图像,并将用户图像发送至服务器;服务器,与零终端连接,用于判断用户图像中的用户行为是否与预设行为匹配,若用户行为与预设行为匹配,则执行对零终端中显示图像的处理;若用户行为与预设行为不匹配,则监听零终端发送的用户图像。
可选的,图像采集设备包括:零终端外接设备或零终端的嵌入式设备。
根据本发明实施例的另一方面,还提供了一种图像显示处理的方法,包括:接收零终端发送的用户图像;判断用户图像中的用户行为是否与预设行为匹配;若用户行为与预设行为匹配,则对零终端的待显示图像进行处理;若用户行为与预设行为不匹配,则监听零终端发送的用户图像。
可选的,判断用户图像中的用户行为是否与预设行为匹配包括:通过人工智能算法对用户图像进行用户行为识别,判断用户图像中的用户行为是否与预设行为匹配;或,通过相似算法对用户图像进行用户行为识别与预设行为进行相似度计算,确定用户行为是否与预设行为匹配。
进一步地,可选的,对零终端的待显示图像进行处理包括:采集待显示图像;确定组成待显示图像的宏块的类型;依据宏块的类型匹配对应的处理流程;其中,宏块的类型包括:文字类型、视频类型或图片类型。
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为文字类型的情况下,判断预设的侦听应用列表中的应用是否正常运行;在判断结果为是的情况下,获取应用的窗口位置信息,并向文字编码器发送第一模糊指令,其中,第一模糊指令,用于指示文字编码器根据窗口位置信息,对待显示图像进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为视频类型的情况下,向视频编码器发送第二模糊指令,其中,第二模糊指令,用于指示视频编码器对待显示图像进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为图片类型的情况下,通过人工智能算法从待显示图像中确定目标对象的位置信息;向图片编码器发送第三模糊指令,其中,第三模糊指令,用于指示图片编码器依据位置信息,对待显示图像中的位置信息进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
根据本发明实施例的另一方面,还提供了一种图像显示处理的装置,包括:接收模块,用于接收零终端发送的用户图像;判断模块,用于判断用户图像中的用户行为是否与预设行为匹配;第一执行模块,用于若用户行为与预设行为匹配,则对零终端的待显示图像进行处理;第二执行模块,用于若用户行为与预设行为不匹配,则监听零终端发送的用户图像。
可选的,判断模块包括:第一判断单元,用于通过人工智能算法对用户图像进行用户行为识别,判断用户图像中的用户行为是否与预设行为匹配;或,第二判断单元,用于通过相似算法对用户图像进行用户行为识别与预设行为进行相似度计算,确定用户行为是否与预设行为匹配。
在本发明实施例中,通过零终端和服务器,其中,零终端,用于通过图像采集设备获取用户图像,并将用户图像发送至服务器;服务器,与零终端连接,用于判断用户图像中的用户行为是否与预设行为匹配,若用户行为与预设行为匹配,则执行对零终端中显示图像的处理;若用户行为与预设行为不匹配,则监听零终端发送的用户图像,达到了有效避免信息泄露的目的,从而实现了在出现疑似窥拍事件时,零终端的屏幕上显示的也是模糊图像,可以避免信息泄露的技术效果,进而解决了由于现有技术中在使用云桌面系统时会存在偷窥或偷拍的情况下,导致的信息泄密的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的图像显示处理的系统的示意图;
图2是根据本发明实施例的图像显示处理的方法的流程示意图;
图3是根据本发明实施例的图像显示处理的装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种图像显示处理的系统的实施例,图1是根据本发明实施例的图像显示处理的系统的示意图,如图1所示,该图像显示处理的系统包括:零终端12和服务器14,
其中,零终端12,用于通过图像采集设备获取用户图像,并将用户图像发送至服务器14;服务器14,与零终端12连接,用于判断用户图像中的用户行为是否与预设行为匹配,若用户行为与预设行为匹配,则执行对零终端12中显示图像的处理;若用户行为与预设行为不匹配,则监听零终端12发送的用户图像。
可选的,图像采集设备包括:零终端12外接设备或零终端12的嵌入式设备。
本申请实施例提供的图像显示处理的系统可以应用于云桌面系统,其中,零终端12包含接收端,通过广域网/局域网与服务器14连接,其中,本申请实施例中的服务器14可以为云服务器,在服务器14中包括虚拟桌面服务器和发送端。
在本申请实施例中以零终端12连接一个带摄像头的显示屏为例进行说明,在本申请实施例中,零终端连接一个带摄像头的显示屏,当云端服务器根据零终端获取到的图像,确定有人偷拍零终端的屏幕时,可以向该零终端对应的VM(Virtual machines,虚拟机)发送模糊指令,VM在接收到模糊指令之后,确定当前的虚拟桌面图像(即,本申请实施例中的零终端12中显示图像)中的主流宏块类型,进而根据主流宏块的类型,对当前的虚拟桌面图像进行模糊处理,使得零终端接收并解码得到的图像或图像中的关键信息是无法辨别的。其中,具体的模糊处理包括应用窗口范围内的马赛克处理,降低画面清晰度以及目标物的马赛克或替换图像处理。
综上,当零终端的屏幕被偷窥或偷拍时,被偷窥或投屏的零终端的屏幕上的图像或图像中的关键信息立刻变得模糊,防止信息泄露,提高云桌面系统的安全性。
具体的,本申请实施例提供的图像显示处理的系统中虚拟机的发送端(S端)采集虚拟机的虚拟桌面图像,将采集到的图像经编码后从远程虚拟机传输到本地的零终端,然后由零终端的接收端(R端)进行解码后发送至零终端连接的屏幕进行显示,通过上述用户能够通过零终端连接的屏幕看到VM的虚拟桌面图像,基于上述,当发生窥拍事件时,本申请实施例提供的图像显示处理的系统可以通过控制S端的编码来对图像进行模糊处理,从而保护信息不泄露。
其中,在零终端12通过图像采集设备采集到的图像上传至服务器14,由服务器14判断采集到的图像中用户行为存在偷窥或拍摄(即,本申请实施例中的预设行为)的情况下,服务器14控制VM的S端对待显示数据中的组成虚拟桌面图像分为多个宏块,通过识别各宏块的图像内容,确定各宏块的类型,其中,宏块的类型包括:文字块(Text Macro Block)、图片块(Picture Macro Block)和视频块(Video Macro Block);
依据不同宏块类型匹配对应的编码模式,进而达到在S端完成编码,确保在发生偷窥或偷拍的情况下R端接收到的待显示图像在解码后是无法被肉眼识别,或机器拍摄获取,在编码源头实现了数据保密。
在本发明实施例中,通过零终端和服务器,其中,零终端,用于通过图像采集设备获取用户图像,并将用户图像发送至服务器;服务器,与零终端连接,用于判断用户图像中的用户行为是否与预设行为匹配,若用户行为与预设行为匹配,则执行对零终端中显示图像的处理;若用户行为与预设行为不匹配,则监听零终端发送的用户图像,达到了有效避免信息泄露的目的,从而实现了在出现疑似窥拍事件时,零终端的屏幕上显示的也是模糊图像,可以避免信息泄露的技术效果,进而解决了由于现有技术中在使用云桌面系统时会存在偷窥或偷拍的情况下,导致的信息泄密的技术问题。
实施例2
根据本发明实施例,提供了一种图像显示处理的方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的图像显示处理的方法的流程示意图,如图2所示,在服务器端,本申请实施例提供的图像显示处理的方法包括如下步骤:
步骤S202,接收零终端发送的用户图像;
其中,本申请实施例提供的图像显示处理的方法中云桌面用户通过零终端登录VM,在零终端的屏幕上看到VM的虚拟桌面图像。
在本申请实施例中,VM中的S端对图像源设备采集到的虚拟桌面源图像进行编码,并将编码数据发送到R端,由R端将虚拟桌面图像显示在零终端的屏幕上。其中,R端内置在零终端中。
零终端的摄像头在用户的使用过程中,实时获取用户图像,并将拍摄到的用户图像上传至云端服务器(即,本申请实施例中的服务器端)。
需要说明的是,零终端的摄像头通常布设于零终端连接的显示屏的正面面板上,或者,可以使用单独的摄像头,通过调整摄像头位置使得摄像头能够对当前显示器前方一定范围内的画面进行拍摄。本申请实施例提供的图像显示处理的方法中,摄像头在工作过程中,所拍摄到的图像被称为用户图像。
服务器接收零终端发送的用户图像。
步骤S204,判断用户图像中的用户行为是否与预设行为匹配;
可选的,步骤S204中判断用户图像中的用户行为是否与预设行为匹配包括:通过人工智能算法对用户图像进行用户行为识别,判断用户图像中的用户行为是否与预设行为匹配;或,通过相似算法对用户图像进行用户行为识别与预设行为进行相似度计算,确定用户行为是否与预设行为匹配。
具体的,云端服务器端根据接收到的用户图像,判断当前是否出现疑似窥拍事件;若为是,则执行步骤S206,若为否,则执行重复执行步骤S204。
其中,从用户图像中识别疑似窥拍事件的方式很多,比如,可以通过AI算法识别,基本原理是:识别当前用户图像中除了当前零终端的合法使用者之外,是否还存在其他人,如果有,则依据其他人的动作、眼神、所处的位置等进行分析,判断其他人是否对屏幕进行偷窥,或者,根据动作判断,是否有人使用拍摄工具进行偷拍;从而确定是否出现窥拍事件。
需要说明的是,步骤S204可以是云端服务器中的处理模块执行的,也可以是各VM中的处理模块执行的。
还需要说明的是,在步骤S202-步骤S204的执行过程中,S端的图像采集模块持续采集VM的虚拟桌面图像,并将采集到的虚拟桌面图像经编码后发送给零终端进行显示。
步骤S206,若用户行为与预设行为匹配,则对零终端的待显示图像进行处理;
其中,在确定用户行为与预设行为(预设行为可以包括:当前用户图像中除了当前零终端的合法使用者之外,是否还存在其他人,其他人是否对屏幕进行偷窥,或者,根据动作判断,是否有人使用拍摄工具进行偷拍)匹配的情况下,对零终端的待显示图像进行模糊处理,具体实现如下:
进一步地,可选的,步骤S206中对零终端的待显示图像进行处理包括:采集待显示图像;确定组成待显示图像的宏块的类型;依据宏块的类型匹配对应的处理流程;其中,宏块的类型包括:文字类型、视频类型或图片类型。
具体的,VM的S端将采集到的虚拟桌面图像(本申请实施例中的待显示图像)分为多个宏宏块;通过识别各宏块的图像内容,确定各宏块的类型。
需要说明的是,本申请实施例使用vGTP图像编码方法,对采集到的虚拟桌面图像划分宏块后进行编码。vGTP包括两部分:图像编码过程和相对应的解码过程。S端采集虚拟桌面图像并对虚拟桌面图像进行宏块划分,进而对虚拟桌面图像中的各宏块进行图像内容识别,将宏块中的图像内容(文字、图片、视频)定位出来,进而根据识别出的图像内容,确定各宏块的类型,进而使用该类型的编码器对宏块进行编码。
具体的,可以按照图像内容,将宏块分为三类:文字块(Text Macro Block)、图片块(Picture Macro Block)、视频块(Video Macro Block)。当宏块确定为文字块时,由文字编码器进行编码;当宏块确定为图片块时,由图片编码器进行编码;当宏块识别为视频块时,由视频编码器进行编码。
举例说明,以文字块为例,可以基于如下图像特征进行识别:
1)颜色较少,如:多数场景仅有黑白两色。
2)线条锐利,含有大量高频信息(高频信息:颜色剧烈变化的部分)。
具有上述特征的宏块,可以确定为文字块,该宏块由文字编码器进行编码。
可选的,由于一个图像帧中可能包括多个类型的宏块,为了提高编码效率,简化处理流程,可以使用占比最高的宏块类型对应的编码器,对整个图像帧进行编码。
综上,S端计算采集到的当前的虚拟桌面图像的宏块中,占比最大的宏块的类型;若占比最大的宏块的类型为文字类型,由文字编码器进行编码;若占比最大的宏块的类型为视频类型,由视频编码器进行编码;若占比最大的宏块的类型为图片类型,由图片编码器进行编码;
比如,图像帧被划分为70个宏块,其中,文字类型的宏块为10个,视频类型的宏块为40个,视频类型的宏块为20个;那么,文字类型的宏块的占比为10/70=14.3%,视频类型的宏块的占比为40/70=57.1%,视频类型的宏块的占比为20/70=28.6%,这样,占比最大的宏块的类型为视频类型。
基于上述,本申请实施例依据三种宏块类型匹配对应的处理流程如下:
流程一:在宏块类型为文字块的情况下,使用文字编码器进行编码
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为文字类型的情况下,判断预设的侦听应用列表中的应用是否正常运行;在判断结果为是的情况下,获取应用的窗口位置信息,并向文字编码器发送第一模糊指令,其中,第一模糊指令,用于指示文字编码器根据窗口位置信息,对待显示图像进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
具体的,S端判断预设的侦听应用列表中的应用是否正在运行;若为是,则获取应用的窗口位置信息,向文字编码器发送模糊指令1(即,本申请实施例中的第一模糊指令),模糊指令1携带窗口位置信息,执行文字编码器在接收到模糊指令1之后,根据窗口位置信息,对当前的虚拟桌面图像中的应用窗口范围内的图像进行模糊处理;对模糊处理后的当前的虚拟桌面图像进行编码,生成编码数据。
需要说明的是,可以预先在S端设置侦听应用列表,可以将用户指定的应用(比如,包含敏感信息的应用)添加至该列表。
具体的,预设的侦听应用列表中可以包括word,excel,ppt等。
在本步骤中,S端的图像采集模块在采集虚拟桌面图像的同时,对侦听应用列表中的应用进行侦听。图像采集模块在确定预设的侦听应用列表中的应用正在运行之后,可以实时的获取该应用的窗口位置信息,并将携带获取到的窗口位置信息的模糊指令1,连同采集到的画面数据一起送入S端的文字编码器。
其中,虚化处理可以包括马赛克处理,马赛克处理包括将目标物所在区域的色阶细节劣化并造成色块打乱。
文字编辑器在接收到模糊指令1之后,由于模糊指令中携带窗口位置信息;文字编辑器能够在虚拟桌面图像中确定应用的窗口位置,进而将虚拟桌面图像中,应用窗口范围内的图像进行模糊处理,具体的,可以将应用窗口范围内的图像进行马赛克处理。
基于上述VM的R端在接收到编码数据并解码之后,显示出来的虚拟桌面图像中,应用窗口范围内的图像就是模糊不清的。
需要说明的是,通常在办公环境下,虚拟桌面图像中的文字类型的宏块较多,而办公环境中,重要的信息通常在各种应用窗口中,比如word窗口,excel窗口,ppt窗口等。因此,对于文字类型的宏块为主的虚拟桌面图像,可以对应用窗口范围内的图像进行模糊处理,以避免信息泄露。
流程二:在宏块类型为视频块的情况下,使用视频编码器进行编码
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为视频类型的情况下,向视频编码器发送第二模糊指令,其中,第二模糊指令,用于指示视频编码器对待显示图像进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
具体的,S端向视频编码器发送模糊指令2(即,本申请实施例中的第二模糊指令);视频编码器在接收到模糊指令2之后,可以对当前的虚拟桌面图像进行模糊处理,以及对模糊处理后的虚拟桌面图像进行编码,生成编码数据;
其中,模糊处理的具体方法可以包括在编码时使用低QP值,以生成低清晰度的虚拟桌面图像的编码数据,还可以包括当编码方式为渐进式编码时,在编码中丢弃部分图层,还可以是强制切I帧。具体可以使用上述模糊处理方法中的至少一种。
需要说明的是,强制切I帧是指文字编码器在码流受限的情况下,需要以增大QP参数数值来降低画面的质量以便减小编码的大小,以保证I帧可以正常传输到VM的R端。这样,在R端收到后解码的图像质量较差。其中,QP是一个编码时的量化参数反映了细节压缩的情况,QP参数的数值越大,图像压缩比越大,图像细节就会丢失,从而导致图像失真加强和图像质量下降。
流程三:在宏块类型为图像块的情况下,使用图像编码器进行编码
可选的,依据宏块的类型匹配对应的处理流程包括:在宏块的类型为图片类型的情况下,通过人工智能算法从待显示图像中确定目标对象的位置信息;向图片编码器发送第三模糊指令,其中,第三模糊指令,用于指示图片编码器依据位置信息,对待显示图像中的位置信息进行模糊处理,并对模糊处理后的待显示图像进行编码,得到编码数据,以及,将编码数据返回至零终端。
具体的,S端通过AI识别模块,从当前的虚拟桌面图像中确定目标物的位置信息;向图片编码器发送模糊指令3(即,本申请实施例中的第三模糊指令),模糊指令3携带目标物的位置信息,执行图片编码器根据目标物的位置信息,对虚拟桌面图像进中的目标物进行模糊处理;对模糊处理后的虚拟桌面图像进行编码,生成编码数据;。
其中,S端可以通知AI识别模块,对当前的虚拟桌面图像进行目标物的识别,确定目标物的位置信息;再向图片编码器发送模糊指令3,模糊指令3携带目标物的位置信息,以使图片编码器基于目标物的位置信息,对虚拟桌面图像中的目标物进行模糊处理。
其中,目标物包括人脸、建筑和交通工具。
模糊处理可以包括对目标物进行马赛克处理,或者将目标物替换为其他图像。
其中,图片编码器可以根据确定的目标物在虚拟桌面图像中的位置信息,对目标物进行模糊处理,进而对模糊处理后的虚拟桌面图像进行编码,生成编码数据。
步骤S208,若用户行为与预设行为不匹配,则监听零终端发送的用户图像。
具体的,当不存在偷拍或除当前用户外的其他人偷窥的情况下,则继续执行步骤S204进行持续监听,以使得在发生偷窥或偷拍事件发生时,云服务器能够实时对VM的S端进行控制,在编码源头就对待显示图像进行保密处理。
综上,VM的R端接收到的编码数据,均为经模糊处理后的虚拟桌面图像对应的编码数据,在R端连接的显示器中显示的虚拟桌面图像也是模糊的。在出现疑似窥拍事件时,零终端的屏幕上显示的也是模糊图像,可以避免信息泄露。
实施例3
根据本发明实施例的另一方面,还提供了一种图像显示处理的装置,图3是根据本发明实施例的图像显示处理的装置的示意图,在服务器侧,包括:接收模块32,用于接收零终端发送的用户图像;判断模块34,用于判断用户图像中的用户行为是否与预设行为匹配;第一执行模块36,用于若用户行为与预设行为匹配,则对零终端的待显示图像进行处理;第二执行模块38,用于若用户行为与预设行为不匹配,则监听零终端发送的用户图像。
可选的,判断模块34包括:第一判断单元,用于通过人工智能算法对用户图像进行用户行为识别,判断用户图像中的用户行为是否与预设行为匹配;或,第二判断单元,用于通过相似算法对用户图像进行用户行为识别与预设行为进行相似度计算,确定用户行为是否与预设行为匹配。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种图像显示处理的系统,其特征在于,包括:
零终端和服务器,其中,
所述零终端,用于通过图像采集设备获取用户图像,并将所述用户图像发送至所述服务器;
所述服务器,与所述零终端连接,用于判断所述用户图像中的用户行为是否与预设行为匹配,若所述用户行为与所述预设行为匹配,则执行对所述零终端中显示图像的处理;若所述用户行为与所述预设行为不匹配,则监听所述零终端发送的所述用户图像。
2.根据权利要求1所述的系统,其特征在于,所述图像采集设备包括:所述零终端外接设备或所述零终端的嵌入式设备。
3.一种图像显示处理的方法,其特征在于,包括:
接收零终端发送的用户图像;
判断所述用户图像中的用户行为是否与预设行为匹配;
若所述用户行为与所述预设行为匹配,则对所述零终端的待显示图像进行处理;
若所述用户行为与所述预设行为不匹配,则监听所述零终端发送的所述用户图像。
4.根据权利要求3所述的方法,其特征在于,所述判断所述用户图像中的用户行为是否与预设行为匹配包括:
通过人工智能算法对所述用户图像进行用户行为识别,判断所述用户图像中的用户行为是否与所述预设行为匹配;或,
通过相似算法对所述用户图像进行用户行为识别与所述预设行为进行相似度计算,确定所述用户行为是否与所述预设行为匹配。
5.根据权利要求3或4所述的方法,其特征在于,所述对所述零终端的待显示图像进行处理包括:
采集所述待显示图像;
确定组成所述待显示图像的宏块的类型;
依据所述宏块的类型匹配对应的处理流程;其中,所述宏块的类型包括:文字类型、视频类型或图片类型。
6.根据权利要求5所述的方法,其特征在于,所述依据所述宏块的类型匹配对应的处理流程包括:
在所述宏块的类型为文字类型的情况下,判断预设的侦听应用列表中的应用是否正常运行;
在判断结果为是的情况下,获取应用的窗口位置信息,并向文字编码器发送第一模糊指令,其中,所述第一模糊指令,用于指示所述文字编码器根据所述窗口位置信息,对所述待显示图像进行模糊处理,并对模糊处理后的所述待显示图像进行编码,得到编码数据,以及,将所述编码数据返回至所述零终端。
7.根据权利要求5所述的方法,其特征在于,所述依据所述宏块的类型匹配对应的处理流程包括:
在所述宏块的类型为视频类型的情况下,向视频编码器发送第二模糊指令,其中,所述第二模糊指令,用于指示所述视频编码器对所述待显示图像进行模糊处理,并对模糊处理后的所述待显示图像进行编码,得到编码数据,以及,将所述编码数据返回至所述零终端。
8.根据权利要求5所述的方法,其特征在于,所述依据所述宏块的类型匹配对应的处理流程包括:
在所述宏块的类型为图片类型的情况下,通过人工智能算法从所述待显示图像中确定目标对象的位置信息;
向图片编码器发送第三模糊指令,其中,所述第三模糊指令,用于指示所述图片编码器依据所述位置信息,对所述待显示图像中的所述位置信息进行模糊处理,并对模糊处理后的所述待显示图像进行编码,得到编码数据,以及,将所述编码数据返回至所述零终端。
9.一种图像显示处理的装置,其特征在于,包括:
接收模块,用于接收零终端发送的用户图像;
判断模块,用于判断所述用户图像中的用户行为是否与预设行为匹配;
第一执行模块,用于若所述用户行为与所述预设行为匹配,则对所述零终端的待显示图像进行处理;
第二执行模块,用于若所述用户行为与所述预设行为不匹配,则监听所述零终端发送的所述用户图像。
10.根据权利要求9所述的装置,其特征在于,所述判断模块包括:
第一判断单元,用于通过人工智能算法对所述用户图像进行用户行为识别,判断所述用户图像中的用户行为是否与所述预设行为匹配;或,
第二判断单元,用于通过相似算法对所述用户图像进行用户行为识别与所述预设行为进行相似度计算,确定所述用户行为是否与所述预设行为匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246060.1A CN113012033A (zh) | 2021-03-05 | 2021-03-05 | 图像显示处理的方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246060.1A CN113012033A (zh) | 2021-03-05 | 2021-03-05 | 图像显示处理的方法、装置和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113012033A true CN113012033A (zh) | 2021-06-22 |
Family
ID=76407032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110246060.1A Pending CN113012033A (zh) | 2021-03-05 | 2021-03-05 | 图像显示处理的方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012033A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021883A1 (zh) * | 2022-07-25 | 2024-02-01 | 中兴通讯股份有限公司 | 防信息泄露方法及其装置、存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794409A (zh) * | 2015-04-28 | 2015-07-22 | 宇龙计算机通信科技(深圳)有限公司 | 数据信息处理方法、数据信息处理装置和终端 |
CN108668129A (zh) * | 2018-03-14 | 2018-10-16 | 西安万像电子科技有限公司 | 一种编码方法及装置 |
CN111711794A (zh) * | 2020-06-22 | 2020-09-25 | 上海辰珅科技有限公司 | 防偷拍图像处理方法、装置、终端及存储介质 |
CN112087625A (zh) * | 2020-08-27 | 2020-12-15 | 西安万像电子科技有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN112188282A (zh) * | 2020-09-15 | 2021-01-05 | 西安万像电子科技有限公司 | 图像数据的显示方法及装置,图像数据显示系统 |
-
2021
- 2021-03-05 CN CN202110246060.1A patent/CN113012033A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794409A (zh) * | 2015-04-28 | 2015-07-22 | 宇龙计算机通信科技(深圳)有限公司 | 数据信息处理方法、数据信息处理装置和终端 |
CN108668129A (zh) * | 2018-03-14 | 2018-10-16 | 西安万像电子科技有限公司 | 一种编码方法及装置 |
CN111711794A (zh) * | 2020-06-22 | 2020-09-25 | 上海辰珅科技有限公司 | 防偷拍图像处理方法、装置、终端及存储介质 |
CN112087625A (zh) * | 2020-08-27 | 2020-12-15 | 西安万像电子科技有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN112188282A (zh) * | 2020-09-15 | 2021-01-05 | 西安万像电子科技有限公司 | 图像数据的显示方法及装置,图像数据显示系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021883A1 (zh) * | 2022-07-25 | 2024-02-01 | 中兴通讯股份有限公司 | 防信息泄露方法及其装置、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884641A (zh) | 图像显示处理的方法、装置和系统 | |
CN111711794A (zh) | 防偷拍图像处理方法、装置、终端及存储介质 | |
EP3668104B1 (en) | Video scrambling method and device with adaptive mode selection, network camera and readable storage medium | |
CN113012034A (zh) | 图像显示处理的方法、装置和系统 | |
CN112087625B (zh) | 图像处理方法、装置、服务器及存储介质 | |
CN111931145A (zh) | 人脸加密方法、识别方法、装置、电子设备及存储介质 | |
CN111950042B (zh) | 图像数据的处理方法、系统以及装置 | |
CN112257123B (zh) | 图像的处理方法及系统 | |
CN113111823A (zh) | 一种建筑施工地的异常行为检测方法和相关装置 | |
Amanipour et al. | Video-tampering detection and content reconstruction via self-embedding | |
US20080025553A1 (en) | Apparatus, method, and article of manufacture used to encode information into an image and to decode information from a captured image | |
CN113012033A (zh) | 图像显示处理的方法、装置和系统 | |
CN111464811A (zh) | 图像的处理方法、装置和系统 | |
US10536726B2 (en) | Pixel patch collection for prediction in video coding system | |
CN112351275A (zh) | 一种基于原始图像的特征区域隐私保护的方法及装置 | |
CN111432242B (zh) | 加密视频通话方法、装置、设备和存储介质 | |
Luo et al. | Security of MVD-based 3D video in 3D-HEVC using data hiding and encryption | |
CN113012035A (zh) | 图像显示处理的方法、装置和系统 | |
Ruchaud et al. | JPEG‐based scalable privacy protection and image data utility preservation | |
CN113795861B (zh) | 发送端和接收端的隐私保护方法、电子设备、以及计算机可读存储介质 | |
CN112351282A (zh) | 图像数据的传输方法及装置、非易失性存储介质及处理器 | |
Tasdemir et al. | Spatio-temporal rich model for motion vector steganalysis | |
CN112822511A (zh) | 视频处理方法、系统、智能终端及计算机可读存储介质 | |
CN117119197A (zh) | 图像传输方法和装置 | |
CN112822156B (zh) | 一种机密信息监管系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |