CN110378145A - 一种分享内容的方法和电子设备 - Google Patents

一种分享内容的方法和电子设备 Download PDF

Info

Publication number
CN110378145A
CN110378145A CN201910498149.XA CN201910498149A CN110378145A CN 110378145 A CN110378145 A CN 110378145A CN 201910498149 A CN201910498149 A CN 201910498149A CN 110378145 A CN110378145 A CN 110378145A
Authority
CN
China
Prior art keywords
electronic equipment
content
data
image data
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910498149.XA
Other languages
English (en)
Other versions
CN110378145B (zh
Inventor
邱泽令
黄卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910498149.XA priority Critical patent/CN110378145B/zh
Publication of CN110378145A publication Critical patent/CN110378145A/zh
Priority to PCT/CN2020/095022 priority patent/WO2020248955A1/zh
Application granted granted Critical
Publication of CN110378145B publication Critical patent/CN110378145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种分享内容的方法和电子设备。该方法包括:第一电子设备在向第二电子设备分享屏幕的场景中,获取待绘制的第一内容的绘制数据,基于第一内容的绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第一内容的图像数据;识别第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,并对敏感数据进行脱敏处理得到处理后绘制数据;基于处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第二内容的图像数据;根据第一内容的图像数据显示第一内容,并向第二电子设备发送第二内容的图像数据。该方法中从控件层、应用层、以及系统层三个层次可以更彻底的识别敏感数据,并脱敏处理,可以提高分享内容的安全性。

Description

一种分享内容的方法和电子设备
技术领域
本申请涉及安全技术领域,尤其涉及一种分享内容的方法和电子设备。
背景技术
随着电子设备的功能越来越丰富,越来越多的用户通过电子设备向其他用户进行分享内容,比如电子设备A的用户通过镜像屏幕分享方式实现向电子设备B分享屏幕上的内容,这种镜像屏幕分享方式会将电子设备A上的所有显示内容都显示在电子设备B上,这样不可避免的出现电子设备A的用户不希望分享到电子设备B的隐私内容也显示在电子设备B上,造成电子设备A的用户敏感数据泄露。而目前的屏幕分享方案,电子设备A向电子设备B分享内容之前,识别敏感应用并对敏感应用的隐私信息进行处理,还有一些方案中,在分享过程中控制涉及敏感数据的弹框不在电子设备A上显示,然后将经过处理后的图像文件分享给电子设备B,现有的方案中识别敏感数据不够彻底,所以分享内容的安全性有待提高。
发明内容
本申请实施例提供一种分享内容的方法和电子设备,用以实现在屏幕分享的场景中,提高分享内容的安全性。
第一方面提供一种分享内容的方法,可以应用于一具有显示屏的第一电子设备,第一电子设备检测到用于向第二电子设备分享屏幕的第一操作,响应于第一操作,建立与第二电子设备之间的通信连接。然后,第一电子设备获取待绘制的第一内容的绘制数据,其中,绘制数据包括控件层、应用层、系统层对应的视图的位置、尺寸、显示内容、显示属性,第一电子设备基于第一内容的绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第一内容的图像数据。第一电子设备识别第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,并对敏感数据进行脱敏处理得到处理后绘制数据,之后,第一电子设备基于处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第二内容的图像数据。第一电子设备根据第一内容的图像数据在显示屏上显示第一内容,并向第二电子设备发送第二内容的图像数据。
通过该方案,一方面,第一电子设备在绘制用于分享给第二电子设备的内容之前,从控件层、应用层、以及系统层等三个层次识别敏感数据,相较于现有技术中单独从应用层去识别敏感数据的方案,本申请可以更彻底的识别出敏感数据,从而可以提高在屏幕分享场景中分享内容的安全性。另一方面,本申请在绘制图像数据之前先识别待绘制的第一内容对于的绘制数据中的敏感数据,并进行脱敏处理,相较于现有技术中的对绘制后得到的图像数据识别敏感数据的方案,本申请在提高在屏幕分享场景中屏幕内容分享的安全性的同时,可节省分享内容过程的处理时间。
其中,脱敏处理可以但不限于包括以下任一项或多项:抠除处理;遮挡处理;隐藏处理;替换内容处理;虚化处理或马赛克处理。
在一种可能的实现方式中,第一电子设备可以对第二内容的图像数据进行图像处理,得到处理后图像数据,然后,向第二电子设备发送处理后图像数据。其中,图像处理可以具体包括识别第一区域,并抠除第一区域的数据,第一区域的数据对应的内容的字符格式与预设隐私信息的字符格式匹配。
通过该方案,第一电子设备可以在得到第二内容的图像数据之后,还可以进一步对第二内容的图像数据进行图像处理得到处理后图像数据,从而可以精确识别敏感数据,可以进一步提高在屏幕分享场景中分享内容的安全性。而且,通过识别字符串格式来识别一个区域的敏感数据,相较于识别该区域的具体内容而言,处理速度更快。
在一种可能的实现方式中,第一电子设备识别第一区域的具体方式可以为:采用人工智能AI安全模型识别第二内容的图像数据中的第一区域,其中,AI安全模型为根据具有隐私信息标签的图片和具有正常标签的图片进行训练得到的。
在一种可能的实现方式中,上述图像处理还可以包括:已抠除数据的第一区域进行渲染处理。
通过该方案,对第一区域进行渲染处理,可使得根据处理后图像数据显示时,显示有渲染后的内容,避免由于抠除处理导致的第一区域呈现黑屏的情况,从而可以提升用户体验。
在一种可能的实现方式中,以下提供一种第一电子设备识别第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据的具体实现方式:识别第一内容的绘制数据中的安全敏感应用,安全敏感应用为应用名称与预设安全敏感应用的名称匹配的应用;识别第一内容的绘制数据中的安全敏感控件,安全敏感控件为安全属性信息的值为预设值的控件,或者,安全敏感控件为与预设安全敏感控件的名称匹配的控件;识别第一内容的绘制数据中的系统敏感行为;系统敏感行为与预设敏感行为匹配。然后,对第一内容的绘制数据中的安全敏感应用对应的数据、安全敏感控件对应的数据以及系统敏感行为对应的数据进行脱敏处理,得到处理后绘制数据。
通过该方案,可以精确的识别出应用层、控件层、系统层中的敏感数据。
第二方面提供一种分享内容的方法,可以应用于一具有显示屏的第二电子设备。在接收到来自所述第一电子设备的分享屏幕的请求时,第二电子设备建立与所述第一电子设备之间的通信连接,然后,第二电子设备可以接收来自第一电子设备的处理后图像数据,处理后图像数据包括已抠除数据的第一区域,之后,对处理后图像数据中的第一区域进行渲染处理,并根据经过渲染处理后的图像数据在显示屏上显示第二内容。
通过该方案,第一电子设备发送的处理后图像数据包括已抠除数据的第一区域,第一电子设备不对第一区域进行渲染,而是由第二电子设备来进行渲染处理,相较于第一电子设备向第二电子设备发送经过渲染处理后的图像数据,该方案可以减小第一电子设备向第二电子设备发送数据的数据量。
第三方面提供一种电子设备上的图形用户界面GUI,该电子设备具有显示屏、存储器、一个或多个处理器,所述一个或多个处理器用于执行存储在该存储器中的一个或多个计算机程序,该图形用户界面可以包括:该电子设备执行上述第一方面以及第一方面任一可能的实现方式中的方法,或执行如上述第二方面提供的方法时显示的图形用户界面。
第四方面提供一种电子设备,包括处理器和存储器;存储器存储有一个或多个计算机程序;当存储器存储的一个或多个计算机程序被处理器执行时,使得电子设备能够执行如上述第一方面以及第一方面任一可能的实现方式中的方法,或执行如上述第二方面提供的方法。
需要说明的是,该存储器可以集成于处理器中,也可以是独立于处理器之外。
第五方面提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行如上述第一方面以及第一方面任一可能的实现方式中的方法,或执行如上述第二方面提供的方法。
第六方面提供一种包含指令的计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如上述第一方面以及第一方面任一可能的实现方式中的方法,或执行如上述第二方面提供的方法。
另外,第二方面至第六方面任一种可能的实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的电子设备的显示屏上一图形用户界面的示意图;
图3A为本申请实施例提供的一种软件程序的结构示意图;
图3B为本申请实施例提供的另一种软件程序的结构示意图;
图4为本申请实施例提供的一种分享内容过程示意图;
图5A为本申请实施例提供的一种的触发屏幕分享的图形用户界面示意图;
图5B为本申请实施例提供的另一种触发屏幕分享的图形用户界面示意图;
图6为本申请实施例提供的显示系统分层示意图;
图7A为本申请实施例提供的一图形用户界面的示意图;
图7B为本申请实施例提供的另一图形用户界面的示意图;
图7C为本申请实施例提供的另一图形用户界面的示意图;
图7D为本申请实施例提供的另一图形用户界面的示意图;
图7E为本申请实施例提供的另一图形用户界面的示意图;
图7F为本申请实施例提供的另一图形用户界面的示意图;
图8为本申请实施例提供的AI模型的学习和建立、以及使用的流程示意图;
图9为本申请实施例提供的一种分享内容的方法流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。其中,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
需要说明的是,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。且在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
以下介绍电子设备、用于这样的电子设备的图形用户界面(graphical userinterface,GUI)、和用于使用这样的电子设备的实施例。在本申请一些实施例中,电子设备可以是手机、平板电脑、笔记本计算机或具备无线通讯功能的可穿戴设备(如智能手表或智能眼镜等)等。该电子设备包含能够运行绘制图像数据能力的器件(比如处理器,或,应用处理器,或,图像处理器,或,其他处理器),以及能够显示图像数据的器件(比如显示屏)。该电子设备的示例性实施例包括但不限于搭载或者其它操作系统的设备。上述电子设备也可以是其它便携式设备,只要该便携式设备可以实现识别待绘制的内容中的敏感数据、对敏感数据进行脱敏处理、以及绘制图像数据,并向其它设备分享图像数据即可。还应当理解的是,在本申请其他一些实施例中,上述电子设备也可以不是便携式设备,而是可以实现识别待绘制的内容中的敏感数据、对敏感数据进行脱敏处理、以及绘制图像数据,并向其它设备分享图像数据的台式计算机。
本申请涉及的第一内容以及第二内容可以是图片、视频或文字等形式的内容,后文不在赘述。
当然,在本申请的另一些实施例中,电子设备也可以无需具有识别待绘制的内容中的敏感数据、对敏感数据进行脱敏处理、以及绘制图像数据的能力,只需要具有显示图像数据的能力即可。比如电子设备可以接收其它设备发送的图像数据,然后显示该图像数据。在下文中,本申请以第一电子设备为具有识别待绘制的内容中的敏感数据、对敏感数据进行脱敏处理、以及绘制图像数据功能,而且具有向其它设备分享图像数据功能为例进行说明,第二电子设备以至少具有显示图像数据的功能为例进行说明。
需要说明的是,本申请实施例中以第一电子设备向第二电子设备分享内容为例进行说明,应理解,本申请实施例提供的方案也适用于第一电子设备向多个其它电子设备同时分享内容的场景,比如第一电子设备同时向第二电子设备、第三电子设备以及第四电子设备分享屏幕,第一电子设备向每个其它电子设备分享内容的方案可以参考第一电子设备向第二电子设备分享内容的方案。
下面结合附图,进一步说明上述电子设备的结构。
电子设备100的硬件结构示意图可以参见图1所示,图1仅示出了本申请实施例提供的一种电子设备的硬件结构示意图,在图1所示的基础上,还可以有其他变型结构方式存在。如图1所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块151,无线通信模块152,音频模块191(包括扬声器,受话器,麦克风,耳机接口等在图1中未示出),传感器模块180,按键190,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,距离传感器180F,接近光传感器180G,指纹传感器180H,触摸传感器180K等(电子设备100还可包括其他传感器比如温度传感器、环境光传感器、陀螺仪传感器等,在图1中未示出)。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图1中所示出的更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图1所示的部件可以以硬件、软件、或软件和硬件的组合实现。
下面对图1示出的电子设备100具有的部件进行详细介绍。
处理器110可以包括一个或多个处理单元,例如,处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用,从而可避免重复存取,可减少处理器110的等待时间,因而可提高系统的效率。
下面结合本申请涉及的屏幕分享场景,示例性的对电子设备100中的处理器110可执行的功能进行介绍。
在电子设备100向电子设备200分享屏幕的场景中,即电子设备100为分享设备,电子设备200为接收设备。电子设备100即对应下文中的第一电子设备,电子设备200即对应下文中的第二电子设备。
电子设备100正在显示如图2中2a所示的主界面,主界面可包括状态栏210、可隐藏的导航栏220、时间和天气小组件(widget)230、以及各种应用的图标240,例如图库241、电子邮件图标、短消息图标、浏览器图标、微信图标、设置图标等。状态栏210中包括运营商名称(例如中国移动)、移动网络(例如4G)、时间和剩余电量等。导航栏220中可包括后退(back)键图标、主屏幕(home)键图标和前进键图标。此时,电子设备200也显示如图2中2a所示的主界面。
当电子设备100接收到微信消息时,参见图2中2b,电子设备100的显示屏194显示通知弹框250,该通知弹框250中显示Jacky发送的微信消息“周末一起看电影”,对于电子设备100的用户来说该微信消息是隐私信息,电子设备100的用户并不希望电子设备200的用户看到该隐私信息(即通知弹框250中的微信消息),所以电子设备100的处理器110可以绘制两份不同的图像数据,其中一份图像数据(称为第一内容的图像数据)用于在电子设备100上显示如图2中2b中所有的内容,另一份图像数据(称为第二内容的图像数据)用于在电子设备200显示图2中2b中除通知弹框250之外的内容,这样电子设备200的用户就不会看到该通知弹框250的内容,从而可以避免电子设备100的隐私信息的泄露。
下面介绍处理器110绘制第一内容的图像数据的过程。
处理器110可以获取待绘制的第一内容的绘制数据,并根据第一内容的绘制数据绘制第一内容的图像数据,然后可以根据第一内容的图像数据显示第一内容。其中,第一内容的绘制数据可以包括各层对应的视图的位置、尺寸、显示内容、显示属性等,其中,显示内容可以为视图中的文字、图片、背景等,显示属性可以包括布局方式、对齐方式、显示方式(比如隐藏、可见),显示效果(比如显示字体、字体大小、图片透明度等)、应用信息、安全控件属性等。
示例性的,第一内容为如图2中2b所示的界面上的所有内容,第一内容的绘制数据包括控件层、应用层、系统层等各层次对应的视图的位置、尺寸、显示内容、以及显示属性。
如图2中2b所示,控件层对应的视图包括各种应用的图标240,以及时间和天气小组件(widget)230。应用层对应的视图包括主界面上的背景。系统层对应的视图包括状态栏210、可隐藏的导航栏220、以及通知弹框250。处理器110可以分别绘制控件层、应用层、系统层对应的内容,此处不限制绘制顺序,也就是说,可以按照控件层、应用层、系统层的顺序依次绘制,也可以按照其它的顺序绘制。然后,处理器110将绘制得到的控件层、应用层、系统层对应的内容进行合成,得到第一内容的图像数据。其中,第一内容图像数据为如图2中2b所示的内容对应的所有像素点的RGB值。
处理器110还可以控制显示屏根据第一内容的图像数据显示第一内容。
下面介绍处理器110绘制第二内容的图像数据的过程。
处理器110还可以识别第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,具体的识别方式可以参见下文中的介绍,此处不再赘述。
示例性的,如图2中2b所示的内容,识别出敏感数据为通知弹框250,那么处理器110还可以对第一内容中的绘制数据中的敏感数据进行脱敏处理,得到处理后绘制数据,其中,脱敏处理可以为对敏感数据进行抠除、替换、遮挡、隐藏、虚化、马赛克等任一或任多项处理。示例性的,可对通知弹框250中的内容进行脱敏处理,然后,处理器110可以基于处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,此处不限制绘制顺序,也就是说,可以按照控件层、应用层、系统层的顺序依次绘制,也可以按照其它的顺序绘制。然后,处理器110将绘制得到的控件层、应用层、系统层对应的内容进行合成,得到第二内容的图像数据。其中,第二内容的图像数据为如图2中2b所示的内容中除通知弹框250之外内容对应的所有像素点的RGB值。
处理器110还可以控制无线通信模块152向电子设备200发送第二内容的图像数据。
相应的,电子设备200接收到电子设备100发送的第二内容的图像数据之后,根据第二内容的图像数据显示第二内容。
可选的,为进一步在屏幕分享场景中提高分享内容的安全性,处理器110还可以在绘制得到第二内容的图像数据之后,对第二内容的图像数据中的安全敏感内容进行图像处理,得到处理后图像数据。在第二内容的图像数据中包括各个控件所在区域的数据,其中,图像处理具体为:识别第二内容的图像数据中的第一区域,第一区域的图像数据对应的显示内容的字符格式与预设隐私信息的字符格式匹配,示例性的,可以遍历第二内容的图像数据中各个控件所在区域的数据,每个控件所在区域的数据可以包括该区域的显示内容,识别出字符格式与预设隐私信息的字符格式匹配的显示内容的区域,即为第一区域,然后抠除第二内容的图像数据中的第一区域的数据。
处理器110还可以对处理后图像数据进行编码、加密等处理,之后再发送给电子设备200。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行或执行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本、网络页面、图像数据等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他非易失性固态存储器件等。内部存储器121还可以存储各种操作系统,例如苹果公司所开发的操作系统、谷歌公司所开发的操作系统等。
内部存储器121还可以用于存储本申请实施例提供的分享内容算法的程序代码。当处理器110访问并运行分享内容算法的程序代码时,可以实现在电子设备100的显示屏194上显示第一内容,向第二电子设备分享第二内容,即第二内容为第一内容中不包括敏感数据的内容。其中,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
下面介绍传感器模块180的功能。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194的下方,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
比如,显示屏194显示一个图像时,触摸传感器180K检测到在所述图像上的触摸操作(比如点击操作)后,将该触摸操作发送给处理器110,处理器110确定该触摸操作对应的位置坐标(比如触摸屏是电容式触摸屏时,处理器110基于电容变化确定该触摸操作对应的坐标位置),即用户点击显示屏上的位置坐标,该位置坐标对应的物体即用户点击的所述图像上的物体(或者,触摸传感器180K自身能够确定触摸操作对应的坐标位置,将该触摸操作和该坐标位置发生给处理器110,处理器110无需再确定触摸操作对应的坐标位置)。
显示屏194可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面,例如,可以显示照片、视频、网页、或者文件等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
另外,电子设备100可以通过音频模块191(扬声器,受话器,麦克风,耳机接口),以及处理器110等实现音频功能。例如音乐播放,录音等。其中,音频模块191可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,麦克风将收集的声音信号转换为电信号,由音频模块接收后转换为音频数据,再将音频数据输出至无线通信模块152以发送给比如一个终端,或者将音频数据输出至内部存储器121以便进一步处理。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块151,无线通信模块152,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块151可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块151可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块151可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块151还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块151的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块151的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块152,可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块152可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块152经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块152还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100还可以包括外设接口,用于为外部的输入/输出设备(例如键盘、鼠标、外接显示器、外部存储器、用户识别模块卡等)提供各种接口。例如通过通用串行总线(USB)接口130与鼠标连接,通过用户识别模块卡卡槽上的金属触点与运营商提供的SIM卡连接。外设接口可以被用来将上述外部的输入/输出外围设备耦接到处理器110和内部存储器121。
电子设备100还可以包括给各个部件供电的充电管理模块140(比如电池142和电源管理模块141),电池141可以通过电源管理模块141与处理器110逻辑相连,从而通过充电管理模块140实现管理充电、放电、以及功耗管理等功能。
电子设备100可以接收按键190输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。电子设备100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
尽管图1中未示出,电子设备100还可以包括摄像头,例如前置摄像头、后置摄像头;还可以包括马达,用于产生振动提示(比如来电振动提示);还可以包括指示器比如指示灯,用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。电子设备100还可以包括蓝牙装置、定位装置、闪光灯、微型投影装置、近场通信(near fieldcommunication,NFC)装置等,在此不予赘述。
以下实施例均可以在具有上述结构的电子设备100中实现。
在电子设备100向电子设备200分享屏幕的场景中,基于图1所示的电子设备100的结构示意图,参见图3A,在内部存储器121中存储有第一软件程序310,当电子设备100向电子设备200(即接收设备)分享屏幕时,处理器110可以调用内部存储器121中存储的第一软件程序310并运行,其中,第一软件程序310可以包括多个功能模块,分别为发现连接管理模块311、流媒体安全管理模块312、多媒体模块313、数据处理模块314和数据传输模块315,各个模块的功能如下:
发现连接管理模块311,用于实现对电子设备200的发现、协议的协商以及与接收设备之间的通信通道的连接等功能。
流媒体安全管理模块312,用于实现识别待绘制的第一内容的绘制数据中的敏感数据,主要从控件层、应用层、以及系统层等三个层次进行识别,其中,敏感数据可以包括安全敏感控件、安全敏感应用以及系统行为相关安全敏感行为(也称为系统敏感行为),之后对敏感数据进行脱敏处理,得到处理后绘制数据。
在一些实施例中,对识别出的敏感数据进行脱敏处理有多种实现方式,比如抠除每个层次的敏感数据,并对已抠除敏感数据的区域做标记,该标记用于在数据被送至编码器进行编码时,对已抠除敏感数据的区域进行填补或其它处理。再比如,针对敏感数据所在区域进行遮挡或隐藏处理,或者对敏感数据对应的区域进行填补其它内容。然后,基于处理后绘制数据,绘制控件层、应用层、系统层对应的内容,然后将绘制得到的控件层、应用层、系统层对应的内容进行合成,得到第二内容的图像数据。
多媒体模块313,用于实现抓取第二内容的图像数据,并将第二内容的图像数据发送给数据处理模块314。
数据处理模块314,用于实现对第二内容的图像数据进行图像处理,得到处理后图像数据。其中,图像处理具体可以为识别第二内容的图像数据中的第一区域,第一区域的图像数据对应的显示内容的字符格式与预设隐私信息的字符格式匹配,然后,抠除第二内容的图像数据中的第一区域的数据。在一些实施例中,可以由电子设备100抠除第二内容的图像数据中的第一区域的数据,并在第一区域填补其它内容,之后发送给电子设备200。在另一些实施例中,电子设备100也可以将处理后图像数据直接发送给电子设备200,由电子设备200对已抠除数据的第一区域进行填补其它内容,这样可以减少在电子设备100与电子设备200之间传输的数据量。
数据处理模块314,还可以对处理后图像数据进行编码、加密、封装等处理,得到已封装的处理后图像数据,并将已封装的处理后图像数据发送给数据传输模块315。
数据传输模块315,用于实现向接收设备发送已封装的处理后图像数据。
在电子设备100向电子设备200分享屏幕的场景中,电子设备200作为接收设备,电子设备200的结构也可以参考图1中所示的硬件结构图。参见图3B,在电子设备200的内部存储器中存储有第二软件程序320,当电子设备200可以在接收其它设备的分享的内容时,电子设备200的处理器调用内部存储器中存储的第二软件程序320并运行,其中,第二软件程序320可以包括多个功能模块,分别为发现连接管理模块321、多媒体模块322、数据处理模块323和数据传输模块324,各个模块的功能如下:
发现连接管理模块321,用于实现电子设备100(即分享设备)的发现、协议的协商以及通道的连接等功能。
数据传输模块324,用于实现接收电子设备100发送的已封装的处理后图像数据。
数据处理模块323,用于实现对接收到的已封装的图像数据进行解封装、解密、解码等处理,得到处理后图像数据,然后,将处理后图像数据发送给多媒体模块322。可选的,当接收到的处理后图像数据存在已抠除数据的区域,数据处理模块323还可以对已抠除数据的区域进行填补其它内容,再发送给多媒体模块322,以避免已抠除数据的区域在显示时呈黑屏而影响用户体验。
多媒体模块322,用于实现对处理后图像数据进行渲染播放。
结合上述实施例及附图,本申请实施例提供一种分享内容的方法,该方法可以在具有图1所示的硬件结构的电子设备100中实现。
下面以第一电子设备作为分享设备,第二电子设备作为接收设备为例,其中第一电子设备和第二电子设备都可以具有图1所示的电子设备100的硬件结构,下面对本申请实施例提供的分享内容的方法进行介绍。
如前述内容所述,在第一电子设备向第二电子设备分享屏幕的过程中,可能会出现隐私信息泄露的情况,示例性的,以图7A中第一电子设备显示的用户界面701为例,其中用户界面701上包括夕阳图片,用户界面701上弹出用于提示“有人给您发送文件”的弹框702,此时第一电子设备向第二电子设备分享屏幕,那么弹框702也会显示在第二电子设备上,第一电子设备的用户可能并不希望第二电子设备的用户看到弹框702中的内容,这样就会造成敏感数据泄露。再例如,以图7B中的第一电子设备正在显示登录电子银行的用户界面711为例,用户在输入框控件712中输入银行卡账号以及密码,此时第一电子设备向第二电子设备分享屏幕,那么银行卡账号以及密码也会显示在第二电子设备中,从而造成银行卡银行账号以及密码的泄露。
为了在屏幕分享的场景中,提高分享内容的安全性,本申请实施例提供一种分享内容的方法,第一电子设备在显示待绘制的第一内容对应的用户界面之前,需要绘制出第一内容的图像数据,然后送到显示系统中显示,本申请实施例在绘制用于在第二电子设备中显示的内容的图像数据之前,先识别出待绘制的第一内容的绘制数据中存在的敏感数据,具体的,识别第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,并对敏感数据进行脱敏处理得到处理后绘制数据,基于处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第二内容的图像数据,也就是说,本申请实施例中从控件层、应用层、以及系统层等三个层次识别敏感数据,相较于现有技术中单独从应用层去识别敏感数据的方案,本申请可以更彻底的识别出敏感数据,从而可以提高在屏幕分享场景中分享内容的安全性。
而且,本申请在绘制图像数据之前先识别待绘制的第一内容对于的绘制数据中的敏感数据,并进行脱敏处理,相较于现有技术中的对图像数据识别敏感数据的方案,本申请在提高在屏幕分享场景中屏幕内容分享的安全性的同时,可节省分享内容过程的处理时间。
进一步,在得到第二内容的图像数据之后,还可以再对第二内容的图像数据进行图像处理得到处理后图像数据,从而可以进一步精确识别敏感数据,可以进一步提高在屏幕分享场景中分享内容的安全性。
参见图4,为申请实施例提供的一种分享内容的过程示意图。
如图4所示,第一电子设备获取待绘制的第一内容的绘制数据,然后根据第一内容绘制数据绘制两份图像数据,其中一份为:根据第一内容的绘制数据,按照控件层、应用层、以及系统层绘制得到的第一内容的图像数据,该第一内容的图像数据用于在第一电子设备上显示;另一份为:第一电子设备根据第一内容的绘制数据,识别其中的控件层、应用层、以及系统层对应的敏感数据,并对所述敏感数据进行脱敏处理得到处理后绘制数据,然后根据处理后绘制数据,按照控件层、应用层、以及系统层绘制得到第二内容的图像数据,并对第二图像数据进行编码得到编码后图像数据,之后将编码后图像数据发送至第二电子设备。第二电子设备接收第一电子设备发送的编码后图像数据,并对接收到的该编码后图像数据进行解码,得到处理后图像数据,在第二电子设备的显示屏显示该处理后图像数据对应的第二内容。
其中,第一内容的图像数据和第二内容的图像数据可能相同,也可能不相同。如果第一电子设备上的待绘制的第一内容中不包括敏感数据,那么绘制得到的第一内容的图像数据和第二内容的图像数据相同。如果第一电子设备上的待绘制的第一内容中包括敏感数据,那么绘制得到的第一内容的图像数据和第二内容的图像数据不相同,其中第一内容的图像数据包括敏感数据,第二内容的图像数据中不包括敏感数据。
需要理解的是,上述图4中仅以第一电子设备向第二电子设备分享内容为例来说明的,即第一电子设备为分享设备,第二电子设备为接收设备。当然,第二电子设备也可以向第一电子设备分享内容,即这种场景下第二电子设备为分享设备,第一电子设备为接收设备。
下面针对第一电子设备向第二电子设备分享屏幕为例,对触发屏幕分享的方式进行详细介绍。
为了便于理解,本申请以下实施例将以第一电子设备为图1所示结构的电子设备100为例,结合附图对本申请实施例提供的触发分享过程进行具体阐述。
方式一,应用内分享屏幕方式,即第一电子设备可通过应用中的屏幕分享功能按钮将屏幕上的内容分享给第二电子设备,下面以微信应用为例介绍如何实现触发屏幕分享功能。
如图5A中(a)示出了电子设备100的图形用户界面GUI,该GUI为电子设备100的主界面210。以微信应用为例,当电子设备100检测到作用在主界面210上的微信应用的图标501的操作(如点击),响应于该操作启动微信应用,显示如图5A中的(b)所示的另一GUI,该GUI中包括账号控件、密码控件、以及登录控件502。当电子设备100检测到用户触发登录控件502的操作,响应于该操作显示如图5A中的(c)所示的又一GUI,该GUI包括联系人、搜索控件、以及设置控件503等。当电子设备100检测到触发设置控件503的操作,响应于该操作显示多个控件,比如用于添加朋友的控件、用于扫一扫的控件,用于收付款的控件、以及用于分享给其他设备的控件504。当电子设备100检测到触发该用于分享给其他设备的控件504的操作时,响应于该操作显示如图5A中的(d)所示的GUI505,该GUI505包括多个可用设备的名称对应的控件,比如设备A、设备B、设备C以及设备D。当电子设备100检测到作用于该GUI505上的某个可用设备的名称对应的控件的点击操作,比如点击设备C对应的控件,响应于该点击操作显示如图5A中的(e)所示的又一GUI,该GUI为包括提示对话框的GUI506,该提示对话框中包括是否将屏幕共享给设备C的提示信息、以及“是”和“否”两个控件。其中,如果电子设备100检测到点击GUI507中的“是”控件,电子设备100将待分享数据发送给设备C,从而设备C就可以显示待分享数据,同时电子设备100的显示屏194上可以显示一个用于指示正在向设备C分享屏幕的提示栏(图5A中未示出)。如果检测到点击GUI507中的“否”控件,电子设备100显示如图5A中的(d)中的GUI505,用户可以在GUI 505选择其他设备进行屏幕分享。
上述方式一的触发方式适用于具有屏幕分享功能按钮的应用,如果应用中不具有屏幕分享功能按钮,那么可以通过下述方式二即全局屏幕分享方式实现触发屏幕分享过程,当然具有屏幕分享功能按钮的应用的场景下也可以采用如下方式二触发屏幕分享过程。
方式二,全局屏幕分享方式,可通过状态栏中的多屏互动图标实现屏幕分享。
如图5B中的(a)示出了电子设备100的图形用户界面GUI,该GUI为电子设备100的主界面210。当电子设备100检测到作用于状态栏201上的向下滑动操作,响应于该向下滑动操作显示如图5B中的(b)所示的另一GUI,该GUI中可包括多个图标,比如无线网络图标、蓝牙图标、移动数据图标、振动图标、自动旋转图标、华为分享(Huawei share)图标、飞行模式图标、手电筒图标、位置信息图标、截屏图标、护眼模式图标、热点图标、以及悬浮导航图标、超级省电图标、屏幕录制图标、免打扰图标、NFC图标以及多屏互动图标511等,应理解,图5B中的(b)显示的这些图标可以更多或更少,这些图标的名称也不作限制。以多屏互动图标为例,电子设备100检测到点击该多屏互动图标511的操作后,可以实现向其它设备分享屏幕的功能,需要说明的是,此处仅以“多屏互动”这一名称为例进行说明,但本申请可实现触发分享屏幕功能的图标名称不限于此,比如还可以称为“屏幕共享”、“无线分享”等。
当电子设备100检测到作用于该多屏互动图标511的点击操作后,响应于该点击操作显示如图5B中的(c)所示的又一GUI,该GUI为包括正在搜索可用设备的GUI512,当电子设备100搜索到可用设备之后,显示如图5B中的(d)所示的又一GUI,该GUI为包括可用设备的名称的GUI 513。当电子设备100检测到点击该GUI513上的某个可用设备的名称,响应于该点击操作显示如图5B中的(e)所示的又一GUI,该GUI为包括提示对话框的GUI514,该提示对话框中包括是否将屏幕共享给设备C的提示信息、以及“是”和“否”两个控件。其中,当电子设备100检测到点击GUI514中的“是”控件,电子设备100将待分享数据发送给设备C,从而设备C就可以显示待分享数据,同时电子设备100的显示屏194上可以显示一个用于指示正在向设备C分享屏幕的提示栏。当电子设备100检测到点击GUI514中的“否”控件的操作时,电子设备100响应于该操作显示如图5B中的(d)中的GUI 513,用户可以在GUI 513选择其他设备进行屏幕分享。
上述两种触发方式中的任一种都可以实现触发电子设备100向其它设备进行屏幕分享的过程,在触发分享内容的过程之后,电子设备100的处理器110从显示系统中获取待绘制的第一内容的绘制数据,并执行包括绘制第一内容的图像数据和第二内容的图像数据等过程,最终得到用于在电子设备100上显示的第一内容的图像数据和在第二电子设备上显示的第二内容图像数据。
下面对电子设备100绘制图像数据的过程进行详细描述。
电子设备100的显示系统可以分层和分片显示,参见图6,显示系统中分层可分为控件层、应用层以及系统层等三层,其中控件层中的控件是应用显示界面的组成单位,每个控件都有自己的属性设置,比如位置、尺寸、显示层次等,所以显示系统可以根据控件的属性设置完成应用显示界面的合成。应用可包括一个或多个应用显示界面,应用显示界面可包括一个或多个控件、以及其它内容,同时应用显示界面也是各个控件的显示载体。而系统用户界面UI可包括应用显示界面以及一些系统行为的界面,其中系统行为的界面可以包括状态栏、控制栏以及其它一些控制区域(比如弹框)等。
其中,对于控件层的绘制主要是对应用内的控件对应的子区域进行绘制,对于应用层的绘制主要是对应用内的应用显示界面进行绘制,对于系统层的绘制主要是对状态栏、控制栏或其它系统控制区域进行绘制。所以,电子设备100在绘制系统界面(即第一内容)之前,需要按照控件层、应用层、系统层依次计算各层的元素的位置、尺寸、显示内容、显示属性等信息(即获取第一内容的绘制数据),然后根据控件层、应用层、系统层等三层计算得到的信息,分别绘制控件层、应用层、系统层对应的内容,合成得到系统界面的图像数据,该图像数据在显示屏上显示为系统界面。
本申请实施例中,在绘制用于在接收设备上显示的第二内容的图像数据之前,可根据第一内容的绘制数据,即控件层、应用层、系统层等各层对应的视图的位置、尺寸、显示内容、显示属性等信息,识别控件层、应用层、系统层对应的敏感数据,并对敏感数据进行控制(比如脱敏处理)得到处理后绘制数据,然后基于所述处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第二内容的图像数据,并将第二内容的图像数据发送给第二电子设备,以使第二电子设备可以根据第二内容的图像数据显示第二内容,从而实现提高向接收设备分享内容的安全性。
下面针对识别第一内容的绘制数据中的控件层、应用层、系统层等三层的敏感数据的过程进行详细描述。
在第一电子设备中可能安装有多个应用,一个应用在运行过程中可能会产生多个应用显示界面,以其中一个应用显示界面(比如应用显示界面A)为例,该应用显示界面A可能包括多个控件,在这个应用界面A上有些控件是安全敏感控件,比如图7C所示的第一电子设备的显示屏上显示的电子银行的登录界面711包括的输入框控件712,再比如图7D所示的第一电子设备的显示屏上显示的社交软件的登录界面721包括的输入框控件722,又比如图7E所示的第一电子设备的显示屏上显示的支付软件的余额界面731包括的收益控件732,又比如图7F所示的第一电子设备的显示屏上显示的电子银行软件的交易提醒界面741包括的交易提醒控件742和交易提醒控件743,在向第二电子设备分享屏幕之前需要对这些安全敏感控件进行脱敏处理,而有些控件不是安全敏感控件,比如图7C中的安全登录控件717,再比如图7D中的登录控件725,这些控件不需要进行脱敏处理。本申请涉及的安全敏感控件是指控件中内容涉及到敏感数据、隐私信息等的控件,后文不在赘述。
下面针对如何识别控件层次的敏感数据进行详细介绍。
在一些实施例中,第一电子设备可以根据预设安全敏感控件的名称,从第一内容的绘制数据中,识别出与预设安全敏感控件的名称匹配的控件,作为安全敏感控件,其中第一内容的绘制数据中包括显示属性,显示属性中包括控件的名称,可从显示属性中获取到待识别的控件的名称,并与预设安全敏感控件的名称进行比较,识别出安全敏感控件,然后对安全敏感控件进行脱敏处理。
在另一些实施例中,可以在开发应用时为控件设置安全属性,在第一电子设备获取第一内容的绘制数据时,可以从其中的显示属性信息中获取到安全属性,这样在用户使用第一电子设备分享屏幕的场景中,第一电子设备可根据该控件的安全属性,识别控件是否为安全敏感控件,是否可以在接收设备中显示,以及当需要在接收设备显示时可选的显示效果,然后对涉及到敏感数据的控件进行脱敏处理。其中安全属性可以包括但不限于以下几种:
属性一,是否是安全敏感控件的属性,这个属性可以用于表示控件中的内容是否涉及敏感数据,其中安全敏感控件是指控件中的内容涉及到敏感数据,比如密码框控件、键盘控件等。
示例性的,属性一的值可用“是(True)”或者“否(False)”表示,也可以用其它方式来表示,此处不作限制。以控件A为例,其中控件A对应的属性一的值为“是”表示控件A是安全敏感控件,控件A对应的属性一的值为“否”表示控件A不是安全敏感控件。另外,可以在控件A不是安全敏感控件时,设置控件A的属性一的值为“否”,也可以不为控件A设置属性一。
在具体实施中,可以确定该属性一的值,当值为“是”,对该控件A进行脱敏处理,当值为“否”或者没有查找到控件A的属性一的值,可认为该控件A不涉及敏感数据,后续可绘制该控件A。
属性二,是否在接收设备显示的属性,这个属性可以用于表示控件是否需要在接收设备显示。
示例性的,属性二的值可用“是(True)”或者“否(False)”,也可以用其它方式来表示,此处不作限制。以控件A为例,例如,控件A对应的属性二的值为“是”表示控件A需要在远端显示,控件A对应的属性二的值为“否”表示控件A不需要在接收设备显示,此时可以不会只控件A或者对控件A进行隐藏处理、遮盖处理等。
在绘制控件A之前,可以先确定该属性二的值,当属性二的值为“是”,绘制该控件A,当属性二的值为“否”,对该控件A进行脱敏处理。
本申请实施例中,可以分别根据上述属性一和属性二识别控件是否为安全敏感控件,也就是说选择其中一种来识别控件,也可以根据上述属性一和属性二识别控件A是否为安全敏感控件。
此外,也可以结合上述属性一和属性二来识别控件A,当控件A对应的属性一的值为“是”时,再检查控件A对应的属性二的值,若控件A对应的属性二的值为“是”,则在接收设备上按照属性三进行效果显示;若控件A对应的属性二的值为“否”,则在接收设备上不显示该控件A。
属性三,效果显示的属性。
示例性的,效果显示可以为纯色填充,或者图片填充,或者其它效果,如马赛克效果、“*”等特殊符号显示等。
在现有安卓(Android)提供的屏幕分享的机制中,只有主动设置安全标识的活动(Activity)窗口才会识别出来,如图7B所示,其中第一电子设备显示的用户界面711中有两个Activity窗口,一个Activity窗口为登录电子银行的界面所在的Activity界面713,其中包括输入框控件712,另一个Activity窗口为键盘控件所在的窗口714,其中Activity界面713层叠在Activity界面714之上。Android提供的安全标识的策略,采用抓取设置了安全标识的Activity界面713,这样图7B中第二电子设备的用户界面715上显示成如虚线框716所标识出的黑屏,用户体验差。
采用本申请的方案,参见图7C,第一电子设备显示的用户界面711包括输入框控件712,输入框控件712中包括用户输入的银行卡账号,在第二电子设备显示的用户界面719包括的输入框控件718中显示为如“*”特殊符号,这样第二电子设备的用户就看不到第一电子设备的用户输入的银行卡账号,避免银行卡账号的泄露的同时,可以避免出现如图7B中的黑屏。
在另一个示例中,如图7D所示的第一电子设备的显示屏上显示的社交软件的登录界面721包括的输入框控件722,其中输入框控件722输入有账号和密码,采用本申请的方案,分享到第二电子设备时,第二电子设备显示的登录界面723包括的输入框控件724中显示如“*”特殊符号,这样可保护第一电子设备上显示的账号和密码在分享屏幕场景中,不会显示在第二电子设备的显示屏上。
在又一个示例中,如图7E所示,第一电子设备的显示屏上显示的支付软件的余额界面731包括的收益控件732,其中包括余额以及累计收益等信息,采用本申请的方案,分享到第二电子设备时,第二电子设备显示的余额界面733包括的收益控件734中显示如“*”特殊符号,这样可保护第一电子设备上显示的余额以及累计收益等信息在分享屏幕场景中,不会显示在第二电子设备的显示屏上。
在又一个示例中,如图7F所示的第一电子设备的显示屏上显示的电子银行软件的交易提醒界面741包括的交易提醒控件742和交易提醒控件743,其中包括金额、账号、以及余额等信息,采用本申请的方案,分享到第二电子设备时,第二电子设备显示的交易提醒界面744包括的交易提醒控件745和交易提醒控件746,均显示遮挡图片,这样可保护第一电子设备上显示的金额、账号、以及余额等信息在分享屏幕场景中,不会显示在第二电子设备。
在本申请的上述实施例中,一方面可以针对控件粒度进行脱敏处理,比如根据控件的属性二的值识别安全敏感控件,可以根据属性三的值确定是否显示在第二电子设备上,另一方面可以采用属性三的值来设置在第二电子设备的效果显示,这样可以使得显示在第二电子设备中的安全敏感控件区域不会是黑屏,从而可以提升用户体验。
下面针对如何识别应用层次的敏感数据进行详细介绍。
在第一电子设备中可能安装有多个应用,以其中的一个应用(应用A)为例,应用A在运行过程中可能会产生多个应用显示界面。在一些示例中,应用A的所有应用显示界面均需要进行脱敏处理,比如应用A为银行客户端应用,由于银行客户端应用的所有应用显示界面均有可能涉及到敏感数据,因此所有应用显示界面都需要进行脱敏处理。在另一些示例中,应用A的某些应用显示界面需要脱敏处理,有些应用显示界面不需要脱敏处理,比如应用A为微信,由于微博的登录显示界面有可能涉及到敏感数据,因此登录界面需要进行脱敏处理,而微博的博文显示界面则可以不进行脱敏处理。
一种可能的实现方式中,可以通过设置黑白名单的方式识别应用是否为安全敏感应用,比如,黑名单中包括一个或多个预设的安全敏感应用的标识,白名单中包括一个或多个预设的非安全敏感应用的标识。具体实施中,第一电子设备可以通过从第一内容的绘制数据包括的显示属性中获取应用的标识,识别应用A是否属于黑名单中包括的应用,若是,则确定该应用A为预设的安全敏感应用,那么对该应用A的显示界面进行脱敏处理,后续绘制过程对脱敏处理后的应用A的显示界面进行绘制;若否,则确定该应用A不是预设的安全敏感应用,后续绘制过程对该应用A的应用显示界面进行正常绘制。第一电子设备也可以通过识别应用A是否属于白名单中包括的应用,若是,则确定该应用A为预设的非安全敏感应用,后续绘制过程可对该应用A的应用显示界面进行绘制;若否,则确定该应用A不是预设的非安全敏感应用,后续绘制过程对该应用A的应用显示界面进行正常绘制。
通过对应用进行是否为安全敏感应用的识别,可以使一些安全敏感应用,比如银行类应用或者支付类应用的用户界面,不会被自动分享给其它设备。
在另一种可能的方式中,应用可以可能包括多个应用显示界面,有些应用中并不是所有的应用显示界面都涉及敏感数据,所以可以对应用中涉及到敏感数据的应用显示界面设置为安全敏感界面,可以对安全敏感界面进行脱敏处理,后续绘制过程中对脱敏处理后的安全敏感界面进行绘制。应用中不涉及敏感数据的应用显示界面即为非安全敏感界面,后续绘制过程中对非安全敏感界面直接进行绘制。
以微信应用为例,在有些分享场景下,用户认为微信为安全敏感应用,在另一些分享场景下用户可能认为微信为安全敏感应用,为了让用户可以自行选择适合特定场景的分享方式,可以在绘制系统UI之前,向用户提示是否分享微信应用,比如,第一电子设备正在向第二电子设备分享屏幕,第一电子设备响应于用户的点击微信应用的操作,启动微信并显示提示框,其中提示框用于提示用户选择是否将微信应用设置为安全敏感应用。再比如,第一终端正在显示微信应用的聊天界面,此时如果用户触发屏幕分享操作,第一电子设备响应于屏幕分享操作,触发屏幕分享过程,并在显示屏上显示提示框,其中提示框用于提示用户选择是否将微信应用设置为安全敏感应用。提示框可以包括两个选项:是和否,第一电子设备可响应于点击选项是的操作,将微信应用设置为安全敏感应用,或者,第一电子设备可响应于点击选项否的操作,将微信应用设置为非安全敏感应用。
应理解,应用中可能有安全敏感界面,也可能有非安全敏感界面,在分享屏幕的场景中,也可以在需要显示每个应用显示界面,提示用户选择是否将该应用显示界面设置为安全敏感界面。应用显示界面的提示方式可参见针对应用的提示方式,此处不再赘述。
下面针对如何识别系统层次的敏感数据进行详细介绍。
针对系统层次,在很多分享屏幕的场景下,弹框、状态栏、飞播字幕等系统行为可能会涉及到敏感数据,将涉及到敏感数据的系统行为成为系统敏感行为。
一种可能的实现方式中,系统正常绘制在本地(即分享设备)显示的系统UI,在绘制用于在接收设备上显示的系统UI时,识别第一内容的绘制数据中的系统敏感行为,比如将与预设敏感行为匹配的系统行为识别为系统敏感行为,并对系统敏感行为进行脱敏处理得到处理后绘制数据,然后根据处理后绘制数据绘制得到第二内容的图像数据。在一些示例中,可以不绘制涉及敏感数据的系统弹框、或者状态栏提示内容等系统敏感行为,在另一些示例中,也可以对系统敏感行为进行透明化、或模糊化、或遮挡、或替换、或隐藏等处理。
参见图7A,第一电子设备正在向第二电子设备分享夕阳图片,此时第一电子设备收到其他用户发送的文件,在下一刻,在第一电子设备上显示的包括夕阳图片的用户界面701弹出用于提示“有人给您发送文件”的弹框702,采用本申请的方案,可以实现在第二电子设备上显示用户界面703,用户界面703不包括弹框702。
需要说明的是,上述三个层次的识别方式可以单独使用,也可以结合使用,此处不再赘述。比如,仅对第一内容的绘制数据中的控件层进行识别安全敏感控件的操作,对应用和系统两个层次不进行识别安全敏感应用的操作,那么在识别安全敏感控件后对控件层中的安全敏感控件进行脱敏处理,得到处理后绘制数据。之后,基于处理后绘制数据绘制控件层、应用层、系统层的内容,合成得到系统UI的图像数据,即得到第二内容的图像数据。再比如,对上述控件层、应用层、系统层三个层次都进行识别敏感数据的操作,那么在识别出控件层、应用层、系统层分别对应的敏感数据并进行脱敏处理,然后分别绘制控件层、应用层、系统层的内容,合成得到系统UI的图像数据,得到第二内容的图像数据,这样可以更彻底的识别出敏感数据,并进行脱敏处理。
通过上述过程,可以绘制得到不包括敏感数据的第二内容的图像数据。为了进一步保证分享内容的安全性,在绘制得到第二内容的图像数据之后,还可以对第二内容的图像数据进行图像处理,得到处理后图像数据,其中图像处理是从安全敏感内容层次进行敏感数据的识别,并对敏感数据进行抠除,得到处理后图像数据,其中安全敏感内容可为控件内的显示信息、文本控件等,比如识别控件的内容中涉及的敏感数据。然后将处理后图像数据发送给第二电子设备,相应的,第二电子设备接收到处理后图像数据之后,根据处理后图像数据显示第二内容。
其中,图像处理是为了从内容层次识别敏感数据,这里的内容层次可以是控件内显示的信息,比如文本控件中的内容,文本控件中会显示文本信息,也可能是图形控件中的内容,图形控件显示的是图像信息,也可能是其它形式的控件。以下以识别第二内容的图像数据中的控件内容为例进行说明。
为了可以在屏幕分享的场景中实现识别控件内容,以下提供几种可能的实现方式。
在一种可能的实现方式中,可采用文本抽取等方式识别图像中的字符串,再与数据库中的字符串进行比对,这种方式需要匹配的数据库中的数据量大,运行速度慢。
在另一种可能的实现方式中,第一电子设备可以从第二内容的图像数据中识别出第一区域,并抠除第一区域的数据,其中第一区域的数据对应的内容的字符格式与预设隐私信息的字符格式匹配,得到处理后图像数据。
在一些示例中,可以采用人工智能(artificial intelligence,AI)安全模型,识别第二内容的图像数据中涉及用户隐私信息的内容区域(也可以称为敏感数据区域,即上述第一区域),比如识别身份证号、银行账号等。
其中,常见的个人隐私信息是一个有限集合,主要内容可包含:姓名(名和姓)、详细通信地址、国家、省/市、邮政编码、年龄、性别、国籍、出生日期、出生地、婚姻状况、教育程度、家庭成员(关系、姓名等)、电话号码、传真号码、邮箱地址、通信录、短消息、即时通信内容(微信等社交软件)、通话记录、照片、视频、录音、国际移动设备识别码(internationalmobile equipment identity,IMEI)、国际移动用户识别码(international mobilesubscriber identification number,IMSI)、生物特征标识(指纹、虹膜等)、一般位置数据、精确位置信息、最终用户电子设备的配置数据、账号ID(如华为账号)、互联网协议(internet protocol,IP)地址、媒体访问控制(media access control address,MAC)地址、银行账号、权威社会识别号(身份证号、护照号、驾照号、社会保障号等)、信用卡交易信息、财务信息、健康信息、口令、面部特征标识、脱氧核糖核酸(deoxyribonucleic acid,DNA)序列和抽样、用户喜好和行为习惯、浏览记录、种族血统、政治观点、宗教或哲学信仰、性生活、犯罪记录(刑事、民事犯罪和诉讼记录)、工会记录、儿童信息、车牌号等。
上述这些个人隐私信息的在电子设备上面的具体表示形式,实际也会有固定的格式,是可以通过机器学习提取相关模型的,比如账号ID(如华为账号)、口令、IP地址、MAC地址、银行账号、权威社会识别号(身份证号、护照号、驾照号、社会保障号等)、IMEI、IMSI等都有固定格式数据字符来表示,其显示长度、格式及内容等都可以作为其显示的特征加以提取;再比如姓名(名和姓)、婚姻状况、教育程度、家庭成员(关系、姓名等)、健康信息种族血统、政治观点、宗教或哲学信仰等,也都有特定描述格式或者术语文字,也是可以通过学习抽取特征的。
由于个人隐私信息是可控的有限信息集合,用户隐私信息种类和涉及范围有限,而且其在终端上面的表现形式相对统一,因此提取的数据模型相对简单,而且在采用优化的数据模型同时,整体识别包含隐私信息的图像区域,而不需要识别具体图像内容,可以达到减少计算量的效果,而且目前很多电子设备都具有GPU加速技术,可以达到快速识别安全敏感内容,同时不影响内容分享的效果。
在具体实施中,采用AI安全模型识别敏感数据之前,需要通过训练数据集来实现AI安全模型的学习和建立,当然,训练过程可以是在第一电子设备上进行,也可以是在其它设备(如服务器、其它电子设备)使用大量数据集完成AI安全模型的建立过程,再将训练得到的AI安全模型预先存储在第一电子设备中,此处不做限制。
下面以第一电子设备训练得到AI安全模型为例,对使用该AI安全模型识别敏感数据的过程进行描述,并不对本申请实施例造成限制。
参见图8,本申请实施例提供的AI模型的学习和建立、以及使用的流程示意图。
如图8所示,首先介绍AI模型的学习和建立过程。
AI模型的建立需要通过学习训练数据集来实现,可以在建立AI模型之前,选用大量图片组成图片集合,其中包括含隐私信息的图片和正常图片,用户可自行对图片集合中的图片加标签,也可以采用机器方法对图片加标签,每个图片的标签可以为“含隐私信息”标签或“正常”标签。然后,将带有“含隐私信息”标签的图片作为正训练数据集,带有“正常”标签的图片作为反训练数据集,输入到AI初始模型中进行训练,比如进行敏感数据特征检测与提取,进而生成隐私保护模型,也可以称为AI安全模型。在生成AI安全模型之后,进一步可以使用测试集评估AI安全模型识别安全敏感内容的准确率,并可以实现对AI安全模型进行调整。
下面进一步介绍使用AI安全模型的过程。
基于上述内容,在得到第二内容的图像数据之后,可将第二内容的图像数据输入至AI安全模型中,以实现识别第二内容的图像数据中的敏感数据。再根据AI模型的输出结果判断第二内容的图像数据中是否存在敏感数据,若AI安全模型输出的结果表示第二内容的图像数据中存在敏感数据,那么第一电子设备对敏感数据区域进行脱敏处理,得到处理后图像数据。再对处理后图像数据进行编码、加密等处理;若AI安全模型输出的结果表示第二内容的图像数据中不存在敏感数据,那么对第二内容的图像数据进行编码、加密等处理。
本申请实施例中,可以在绘制系统UI之前,对第一内容的绘制数据中的控件、应用以及系统三个层次识别敏感数据并进行脱敏处理,然后根据经过脱敏处理后的三个层次的数据进行绘制得到第二内容的图像数据,之后,可再针对安全敏感内容层次,采用AI安全模型对第二内容的图像数据进行敏感数据识别,并对敏感数据区域进一步进行脱敏处理,得到处理后图像数据,这样可以进一步保证向第二电子设备分享内容的安全性。
本申请实施例中,在第一设备对所述第二内容的图像数据进行图像处理,得到处理后图像数据之后,由于处理后图像数据中包括已抠除数据的第一区域,这样在显示时第一区域会出现黑屏,为了提升用户体验,一种可能的实现方式中,第一电子设备对该第一区域进行渲染处理,使得该第一区域上渲染其它内容,比如不包含敏感数据的内容,然后再将渲染图像数据发送给第二电子设备,使得第二电子设备根据接收到的图像数据显示第二内容时,第一区域不是黑屏,从而可以提升用户体验。
在另一种实现方式中,第一电子设备可以将处理后图像数据发送给第二电子设备,其中处理后图像数据包括已抠除数据的第一区域,第二电子设备接收来自第一电子设备的处理后图像数据,并对所述处理后图像数据中的第一区域进行渲染处理,然后根据经过渲染处理后的图像数据在所述显示屏上显示第二内容。相较于前一种实现方式,该实现方式可以减小第一电子设备向第二电子设备发送数据的数据量。
下面结合图9,以四个层次的识别处理方式(即安全敏感应用处理、安全敏感控件处理、系统敏感行为处理以及安全敏感内容处理)结合使用为例,详细介绍可实现上述分享内容方法的一种可能的方式。如图9所示,该分享内容方法应用于第一电子设备中,该方法包括如下步骤:
步骤901,获取待分享应用的标识。
步骤902,判断待分享应用的标识是否为黑名单中包括的预设应用标识;若是,则执行步骤903,若否,则执行步骤904;
上述步骤901-步骤902为安全敏感应用处理过程。
步骤903,确定待分享应用为安全敏感应用,提示用户处理或者采用其它安全保护行为。
在步骤903之后,直接进行系统敏感行为处理以及安全敏感内容处理过程,即步骤903之后,直接进行步骤908,不执行步骤904-步骤907。
步骤904,遍历待分享应用的当前界面内的控件,之后,继续步骤905。
步骤905,判断控件是否为安全敏感控件;若是,则执行步骤906,若否,则执行步骤907;
步骤906,根据安全敏感控件的效果显示属性,遮盖安全敏感控件显示区域。
此处,仅以遮盖效果为例进行说明,但不限于这种效果,效果显示属性可以参见上述属性三的相关内容。
步骤907,系统合成应用层次的界面。
上述步骤903-步骤907为安全敏感控件处理过程。
步骤908,判断是否存在系统敏感行为;若是,则执行步骤909,若否,则执行步骤910。
其中,系统敏感行为可以包括涉及到敏感数据的状态栏内容、控制栏内容、系统弹框、应用类弹框等。
步骤909,过滤系统敏感行为。
示例性的,如图7A所示,系统敏感行为第一电子设备显示的用户界面701中的“有人给您发送文件”弹框702,过滤该弹框702,即可以绘制该弹框702,在第二电子设备显示的用户界面703中不包括该弹框702。
上述步骤908-步骤909为系统敏感行为处理过程。
结合图3A来说明,上述步骤901-909可以由流媒体安全管理模块312实现。
步骤910,根据应用层次的界面与系统行为的界面,合成一帧图像数据。
示例性的,可将待绘制的内容中的控件组成应用显示界面,将应用显示界面以及系统UI一起合成用户界面(上文中称为系统界面),即一帧图像数据。
结合图3A来说明,上述步骤910可由多媒体模块313实现。
步骤911,识别该一帧图像数据是否存在安全敏感内容;若是,则执行步骤912,若否,则执行步骤913;
步骤912,将安全敏感内容的显示区域进行遮盖处理,得到处理后图像数据。
当然,此处也可以采用抠除、替换、隐藏等方式对安全敏感内容的显示区域进行处理,步骤912中仅以遮盖处理为例说明。
上述步骤911-步骤912为安全敏感内容处理过程,结合图3A来说明,上述步骤910可由数据处理模块314实现。
步骤913,对处理后图像数据进行编码。之后,向第二电子设备发送编码后的图像数据。
通过图9所示的实施例,可以实现第一电子设备的显示屏上显示的内容有选择性的显示在第二电子设备中,即将涉及到敏感数据的内容进行处理之后,使得识别出的敏感数据不会显示在第二电子设备中,从而可以保护第一电子设备的隐私安全。
在通过上述实施例得到处理后图像数据之后,为了进一步提高数据传输的安全性,可以对处理后图像数据进行编码,可选的,还可以对编码后数据进行加密得到加密后图像数据,然后将加密后图像数据发送给第二电子设备,这样如果其他设备接收到该加密后图像数据,也无法得到真实的处理后图像数据。相应的,第二电子设备在接收到该加密后图像数据之后,进行解密、解码得到处理后图像数据,并在显示屏上显示处理后图像数据。
上述本申请提供的实施例中,从第一电子设备(电子设备100)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,移动设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
本申请实施例还提供一种电子设备上的图形用户界面GUI,该电子设备具有显示屏、存储器、一个或多个处理器,所述一个或多个处理器用于执行存储在该存储器中的一个或多个计算机程序,该图形用户界面可以包括:该电子设备执行上述第一电子设备执行的方法,或执行上述第二电子设备执行的方法时显示的图形用户界面。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以程序产品的形式实现。所述程序产品包括一个或多个计算机指令。在计算机上加载和执行所述程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
为了解释的目的,前面的描述是通过参考具体实施例来进行描述的。然而,上面的示例性的讨论并非意图是详尽的,也并非意图要将本申请限制到所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施例是为了充分阐明本申请的原理及其实际应用,以由此使得本领域的其他技术人员能够充分利用具有适合于所构想的特定用途的各种修改的本申请以及各种实施例。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种分享内容的方法,应用于一具有显示屏的第一电子设备,其特征在于,所述方法包括:
检测到用于向第二电子设备分享屏幕的第一操作;
响应于所述第一操作,建立与所述第二电子设备之间的通信连接;
获取待绘制的第一内容的绘制数据;所述绘制数据包括控件层、应用层、系统层对应的视图的位置、尺寸、显示内容、显示属性;
基于所述第一内容的绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到所述第一内容的图像数据;
识别所述第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,并对所述敏感数据进行脱敏处理得到处理后绘制数据;
基于所述处理后绘制数据,分别绘制控件层、应用层、系统层对应的内容,合成得到第二内容的图像数据;
根据所述第一内容的图像数据在所述显示屏上显示所述第一内容,并向所述第二电子设备发送所述第二内容的图像数据。
2.如权利要求1所述的方法,其特征在于,所述向所述第二电子设备发送所述第二内容的图像数据,包括:
对所述第二内容的图像数据进行图像处理,得到处理后图像数据;所述图像处理包括识别第一区域,并抠除所述第一区域的数据,其中,第一区域的数据对应的内容的字符格式与预设隐私信息的字符格式匹配;
向所述第二电子设备发送所述处理后图像数据。
3.如权利要求2所述的方法,其特征在于,所述识别第一区域,包括:
采用人工智能AI安全模型识别所述第二内容的图像数据中的所述第一区域;其中,所述AI安全模型为根据具有隐私信息标签的图片和具有正常标签的图片进行训练得到的。
4.如权利要求2或3所述的方法,其特征在于,所述图像处理还包括:
对已抠除数据的所述第一区域进行渲染处理。
5.如权利要求1-3任一项所述的方法,其特征在于,所述识别所述第一内容的绘制数据中的控件层、应用层、以及系统层对应的敏感数据,并对所述敏感数据进行脱敏处理得到处理后绘制数据,包括:
识别所述第一内容的绘制数据中的安全敏感应用,所述安全敏感应用为应用名称与预设安全敏感应用的名称匹配的应用;
识别所述第一内容的绘制数据中的安全敏感控件,所述安全敏感控件为安全属性信息的值为预设值的控件,或者,所述安全敏感控件为与预设安全敏感控件的名称匹配的控件;
识别所述第一内容的绘制数据中的系统敏感行为;所述系统敏感行为与预设敏感行为匹配;
对所述第一内容的绘制数据中的所述安全敏感应用对应的数据、所述安全敏感控件对应的数据以及所述系统敏感行为对应的数据进行脱敏处理,得到处理后绘制数据。
6.一种分享内容的方法,应用于一具有显示屏的第二电子设备,其特征在于,所述方法包括:
在接收到来自所述第一电子设备的分享屏幕的请求时,第二电子设备建立与所述第一电子设备之间的通信连接;
接收来自第一电子设备的处理后图像数据;所述处理后图像数据包括已抠除数据的第一区域;
对所述处理后图像数据中的第一区域进行渲染处理,并根据经过渲染处理后的图像数据在所述显示屏上显示第二内容。
7.一种电子设备上的图形用户界面,其特征在于,所述电子设备具有显示屏、摄像头、存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其特征在于,所述图形用户界面包括所述电子设备执行如权利要求1至6中任意一项所述的方法时显示的图形用户界面。
8.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器存储有一个或多个计算机程序;
当所述存储器存储的一个或多个计算机程序被所述处理器执行时,使得所述电子设备能够执行如权利要求1至5任一所述的方法,或者,执行如权利要求6所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至5任一所述的方法,或者,执行如权利要求6所述的方法。
10.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1至5任一所述的方法,或者,执行如权利要求6所述的方法。
CN201910498149.XA 2019-06-10 2019-06-10 一种分享内容的方法和电子设备 Active CN110378145B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910498149.XA CN110378145B (zh) 2019-06-10 2019-06-10 一种分享内容的方法和电子设备
PCT/CN2020/095022 WO2020248955A1 (zh) 2019-06-10 2020-06-09 一种分享内容的方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498149.XA CN110378145B (zh) 2019-06-10 2019-06-10 一种分享内容的方法和电子设备

Publications (2)

Publication Number Publication Date
CN110378145A true CN110378145A (zh) 2019-10-25
CN110378145B CN110378145B (zh) 2022-04-22

Family

ID=68250026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498149.XA Active CN110378145B (zh) 2019-06-10 2019-06-10 一种分享内容的方法和电子设备

Country Status (2)

Country Link
CN (1) CN110378145B (zh)
WO (1) WO2020248955A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865654A (zh) * 2019-12-06 2020-03-06 河南送变电建设有限公司 一种电网无人机巡检缺陷处理方法
CN110989950A (zh) * 2019-11-15 2020-04-10 维沃移动通信有限公司 一种共享控制方法及电子设备
CN111131882A (zh) * 2019-12-30 2020-05-08 联想(北京)有限公司 录制屏幕的方法和装置、及电子设备
CN111143880A (zh) * 2019-12-27 2020-05-12 中电长城网际系统应用有限公司 数据处理方法和装置、电子设备、可读介质
CN111177694A (zh) * 2019-12-16 2020-05-19 华为技术有限公司 一种处理数据的方法及装置
CN111198954A (zh) * 2019-11-28 2020-05-26 深圳市跨越新科技有限公司 一种下单地址结构化解析方法和系统
CN111290722A (zh) * 2020-01-20 2020-06-16 北京大米未来科技有限公司 屏幕分享方法、装置、系统、电子设备和存储介质
CN111290721A (zh) * 2020-01-20 2020-06-16 北京大米未来科技有限公司 在线交互控制方法、系统、电子设备和存储介质
CN111309938A (zh) * 2020-01-22 2020-06-19 恒大新能源汽车科技(广东)有限公司 一种多媒体文件处理方法及装置
CN111338721A (zh) * 2020-01-20 2020-06-26 北京大米未来科技有限公司 在线交互方法、系统、电子设备和存储介质
CN111488190A (zh) * 2020-03-31 2020-08-04 腾讯科技(深圳)有限公司 屏幕分享方法、装置、计算机设备和存储介质
WO2020248955A1 (zh) * 2019-06-10 2020-12-17 华为技术有限公司 一种分享内容的方法和电子设备
CN112511601A (zh) * 2020-11-16 2021-03-16 北京仁光科技有限公司 多屏幕数据交互系统和多屏幕数据交互方法
CN113050900A (zh) * 2021-03-17 2021-06-29 平安普惠企业管理有限公司 屏幕分享方法、装置、设备及存储介质
US11082374B1 (en) 2020-08-29 2021-08-03 Citrix Systems, Inc. Identity leak prevention
CN113222809A (zh) * 2021-05-21 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的图片处理方法及装置
US11165755B1 (en) 2020-08-27 2021-11-02 Citrix Systems, Inc. Privacy protection during video conferencing screen share
CN113704824A (zh) * 2021-08-31 2021-11-26 平安普惠企业管理有限公司 页面引导标记的同步生成方法、装置、设备及存储介质
CN113778360A (zh) * 2021-08-20 2021-12-10 荣耀终端有限公司 投屏方法和电子设备
CN113791713A (zh) * 2021-09-01 2021-12-14 远峰科技股份有限公司 车载多屏幕显示窗口分享方法及装置
US11201889B2 (en) 2019-03-29 2021-12-14 Citrix Systems, Inc. Security device selection based on secure content detection
CN114553844A (zh) * 2022-03-09 2022-05-27 润芯微科技(江苏)有限公司 一种视频时屏幕共享的方法
US11361113B2 (en) 2020-03-26 2022-06-14 Citrix Systems, Inc. System for prevention of image capture of sensitive information and related techniques
CN114860178A (zh) * 2021-01-18 2022-08-05 华为技术有限公司 一种投屏的方法和电子设备
US11450069B2 (en) 2018-11-09 2022-09-20 Citrix Systems, Inc. Systems and methods for a SaaS lens to view obfuscated content
US11539709B2 (en) 2019-12-23 2022-12-27 Citrix Systems, Inc. Restricted access to sensitive content
US11544415B2 (en) 2019-12-17 2023-01-03 Citrix Systems, Inc. Context-aware obfuscation and unobfuscation of sensitive content
US11582266B2 (en) 2020-02-03 2023-02-14 Citrix Systems, Inc. Method and system for protecting privacy of users in session recordings
WO2024045764A1 (zh) * 2022-08-31 2024-03-07 中兴通讯股份有限公司 显示方法、装置、终端、电子设备和存储介质
WO2024051634A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 一种投屏显示的方法、系统以及电子设备
US11977932B2 (en) 2020-08-27 2024-05-07 Honor Device Co., Ltd. Information sharing method and apparatus, terminal device, and storage medium
WO2024109509A1 (zh) * 2022-11-25 2024-05-30 华为技术有限公司 内容获取方法、可读存储介质、程序产品和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647350B (zh) * 2020-12-18 2024-07-30 华为技术有限公司 应用共享方法、电子设备和存储介质
CN112989408A (zh) * 2021-03-03 2021-06-18 Oppo广东移动通信有限公司 截图的处理方法、处理装置、电子设备及存储介质
CN114692202B (zh) * 2022-03-31 2024-07-30 马上消费金融股份有限公司 图像处理方法、装置、电子设备及存储介质
CN116049867B (zh) * 2022-07-21 2024-04-02 荣耀终端有限公司 反诈方法、图形界面和相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100907A (zh) * 2014-04-28 2015-11-25 宇龙计算机通信科技(深圳)有限公司 选择性投屏的方法及其装置
CN106603667A (zh) * 2016-12-16 2017-04-26 北京小米移动软件有限公司 屏幕信息共享方法及装置
CN107333118A (zh) * 2017-07-17 2017-11-07 上海青橙实业有限公司 投影内容的控制方法和装置
CN107580105A (zh) * 2017-07-26 2018-01-12 努比亚技术有限公司 一种屏幕分享方法、终端及计算机可读存储介质
US20180121663A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Sharing Protection for a Screen Sharing Experience
CN108038396A (zh) * 2017-12-05 2018-05-15 广东欧珀移动通信有限公司 录屏方法、装置及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053003A1 (en) * 2016-08-18 2018-02-22 Qualcomm Incorporated Selectively obfuscating a portion of a stream of visual media that is streamed to at least one sink during a screen-sharing session
CN108197495A (zh) * 2018-01-16 2018-06-22 挖财网络技术有限公司 应用程序中敏感信息的保护方法及装置
CN110378145B (zh) * 2019-06-10 2022-04-22 华为技术有限公司 一种分享内容的方法和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100907A (zh) * 2014-04-28 2015-11-25 宇龙计算机通信科技(深圳)有限公司 选择性投屏的方法及其装置
US20180121663A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Sharing Protection for a Screen Sharing Experience
CN106603667A (zh) * 2016-12-16 2017-04-26 北京小米移动软件有限公司 屏幕信息共享方法及装置
CN107333118A (zh) * 2017-07-17 2017-11-07 上海青橙实业有限公司 投影内容的控制方法和装置
CN107580105A (zh) * 2017-07-26 2018-01-12 努比亚技术有限公司 一种屏幕分享方法、终端及计算机可读存储介质
CN108038396A (zh) * 2017-12-05 2018-05-15 广东欧珀移动通信有限公司 录屏方法、装置及终端

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450069B2 (en) 2018-11-09 2022-09-20 Citrix Systems, Inc. Systems and methods for a SaaS lens to view obfuscated content
US11201889B2 (en) 2019-03-29 2021-12-14 Citrix Systems, Inc. Security device selection based on secure content detection
WO2020248955A1 (zh) * 2019-06-10 2020-12-17 华为技术有限公司 一种分享内容的方法和电子设备
CN110989950A (zh) * 2019-11-15 2020-04-10 维沃移动通信有限公司 一种共享控制方法及电子设备
CN111198954B (zh) * 2019-11-28 2023-08-22 深圳市跨越新科技有限公司 一种下单地址结构化解析方法和系统
CN111198954A (zh) * 2019-11-28 2020-05-26 深圳市跨越新科技有限公司 一种下单地址结构化解析方法和系统
CN110865654A (zh) * 2019-12-06 2020-03-06 河南送变电建设有限公司 一种电网无人机巡检缺陷处理方法
CN111177694A (zh) * 2019-12-16 2020-05-19 华为技术有限公司 一种处理数据的方法及装置
US11544415B2 (en) 2019-12-17 2023-01-03 Citrix Systems, Inc. Context-aware obfuscation and unobfuscation of sensitive content
US11539709B2 (en) 2019-12-23 2022-12-27 Citrix Systems, Inc. Restricted access to sensitive content
CN111143880A (zh) * 2019-12-27 2020-05-12 中电长城网际系统应用有限公司 数据处理方法和装置、电子设备、可读介质
CN111143880B (zh) * 2019-12-27 2022-06-07 中电长城网际系统应用有限公司 数据处理方法和装置、电子设备、可读介质
CN111131882A (zh) * 2019-12-30 2020-05-08 联想(北京)有限公司 录制屏幕的方法和装置、及电子设备
CN111338721A (zh) * 2020-01-20 2020-06-26 北京大米未来科技有限公司 在线交互方法、系统、电子设备和存储介质
CN111290721A (zh) * 2020-01-20 2020-06-16 北京大米未来科技有限公司 在线交互控制方法、系统、电子设备和存储介质
CN111290722A (zh) * 2020-01-20 2020-06-16 北京大米未来科技有限公司 屏幕分享方法、装置、系统、电子设备和存储介质
CN111309938A (zh) * 2020-01-22 2020-06-19 恒大新能源汽车科技(广东)有限公司 一种多媒体文件处理方法及装置
US11582266B2 (en) 2020-02-03 2023-02-14 Citrix Systems, Inc. Method and system for protecting privacy of users in session recordings
US11361113B2 (en) 2020-03-26 2022-06-14 Citrix Systems, Inc. System for prevention of image capture of sensitive information and related techniques
CN111488190A (zh) * 2020-03-31 2020-08-04 腾讯科技(深圳)有限公司 屏幕分享方法、装置、计算机设备和存储介质
CN111488190B (zh) * 2020-03-31 2021-10-15 腾讯科技(深圳)有限公司 屏幕分享方法、装置、计算机设备和存储介质
US11165755B1 (en) 2020-08-27 2021-11-02 Citrix Systems, Inc. Privacy protection during video conferencing screen share
US11977932B2 (en) 2020-08-27 2024-05-07 Honor Device Co., Ltd. Information sharing method and apparatus, terminal device, and storage medium
WO2022041058A1 (en) * 2020-08-27 2022-03-03 Citrix Systems, Inc. Privacy protection during video conferencing screen share
US11627102B2 (en) 2020-08-29 2023-04-11 Citrix Systems, Inc. Identity leak prevention
US11082374B1 (en) 2020-08-29 2021-08-03 Citrix Systems, Inc. Identity leak prevention
CN112511601A (zh) * 2020-11-16 2021-03-16 北京仁光科技有限公司 多屏幕数据交互系统和多屏幕数据交互方法
CN112511601B (zh) * 2020-11-16 2021-12-07 北京仁光科技有限公司 多屏幕数据交互系统和多屏幕数据交互方法
CN114860178A (zh) * 2021-01-18 2022-08-05 华为技术有限公司 一种投屏的方法和电子设备
CN113050900B (zh) * 2021-03-17 2024-01-23 平安普惠企业管理有限公司 屏幕分享方法、装置、设备及存储介质
CN113050900A (zh) * 2021-03-17 2021-06-29 平安普惠企业管理有限公司 屏幕分享方法、装置、设备及存储介质
CN113222809A (zh) * 2021-05-21 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的图片处理方法及装置
CN113778360A (zh) * 2021-08-20 2021-12-10 荣耀终端有限公司 投屏方法和电子设备
CN113778360B (zh) * 2021-08-20 2022-07-22 荣耀终端有限公司 投屏方法和电子设备
CN113704824A (zh) * 2021-08-31 2021-11-26 平安普惠企业管理有限公司 页面引导标记的同步生成方法、装置、设备及存储介质
CN113791713A (zh) * 2021-09-01 2021-12-14 远峰科技股份有限公司 车载多屏幕显示窗口分享方法及装置
CN114553844A (zh) * 2022-03-09 2022-05-27 润芯微科技(江苏)有限公司 一种视频时屏幕共享的方法
CN114553844B (zh) * 2022-03-09 2022-09-06 润芯微科技(江苏)有限公司 一种视频时屏幕共享的方法
WO2024045764A1 (zh) * 2022-08-31 2024-03-07 中兴通讯股份有限公司 显示方法、装置、终端、电子设备和存储介质
WO2024051634A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 一种投屏显示的方法、系统以及电子设备
CN117714759A (zh) * 2022-09-06 2024-03-15 华为技术有限公司 一种投屏显示的方法、系统以及电子设备
WO2024109509A1 (zh) * 2022-11-25 2024-05-30 华为技术有限公司 内容获取方法、可读存储介质、程序产品和电子设备

Also Published As

Publication number Publication date
WO2020248955A1 (zh) 2020-12-17
CN110378145B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN110378145A (zh) 一种分享内容的方法和电子设备
WO2018095279A1 (zh) 一种安全问题的生成以及身份验证的方法及装置
WO2021018169A1 (zh) 一种电子设备的隐私保护方法及电子设备
CN107924288A (zh) 电子设备及其使用语音识别来执行功能的方法
CN111767554B (zh) 屏幕分享方法、装置、存储介质及电子设备
CN106462713B (zh) 终端的界面显示方法和终端
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
WO2016165557A1 (zh) 验证码的实现方法及装置
US9075431B2 (en) Display apparatus and control method thereof
CN107657045A (zh) 信息收藏方法、移动终端及计算机可读存储介质
WO2015055095A1 (en) Identity authentication method and device and storage medium
CN113852714B (zh) 一种用于电子设备的交互方法和电子设备
CN110457935A (zh) 一种权限配置方法及终端设备
CN107590770A (zh) 图像模糊加密方法、移动终端及存储介质
JP2022552862A (ja) 表示方法及び電子機器
CN104967637B (zh) 操作处理方法、装置及终端
WO2021218452A1 (zh) 一种输入方法, 输入装置及移动终端
CN106874718A (zh) 隐私处理方法、装置及终端
CN108845732A (zh) 一种信息显示方法及终端设备
US20160162568A1 (en) Method and device for forming group using communication history information
US20230216684A1 (en) Integrating and detecting visual data security token in displayed data via graphics processing circuitry using a frame buffer
CN115526772B (zh) 视频处理方法、装置、设备和存储介质
CN112181556B (zh) 终端控件的处理方法、装置、电子设备及存储介质
WO2022242343A1 (zh) 一种跨设备的文本接续的方法和电子设备
CN110191106A (zh) 一种数据发送方法、终端及通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant