CN112181255A - 控件的识别方法、装置、终端设备和存储介质 - Google Patents

控件的识别方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN112181255A
CN112181255A CN202011083194.8A CN202011083194A CN112181255A CN 112181255 A CN112181255 A CN 112181255A CN 202011083194 A CN202011083194 A CN 202011083194A CN 112181255 A CN112181255 A CN 112181255A
Authority
CN
China
Prior art keywords
pixel
interface
link control
sampling
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011083194.8A
Other languages
English (en)
Other versions
CN112181255B (zh
Inventor
江俊杰
王正飞
刘洲和
覃明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Shenzhen Huantai Technology Co Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Shenzhen Huantai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd, Shenzhen Huantai Technology Co Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011083194.8A priority Critical patent/CN112181255B/zh
Publication of CN112181255A publication Critical patent/CN112181255A/zh
Application granted granted Critical
Publication of CN112181255B publication Critical patent/CN112181255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种控件的识别方法、装置、终端设备和存储介质，终端设备对当前待识别界面进行截图操作，获取包括链接控件和干扰文本信息的抽样图像；然后，根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；最后，根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置；其中，上述候选像素坐标集中每个像素点的像素值满足预设像素值范围。采用上述方法可以实现自动识别链接控件，并实现自动提取链接控件关联的文本，提升文本提取的批量化和自动化程度，降低文本提取的工作量。

Description

控件的识别方法、装置、终端设备和存储介质
技术领域
本申请涉及终端技术领域，特别是涉及一种控件的识别方法、装置、终端设备和存储介质。
背景技术
随着互联网的发展，终端设备中应用程序(Application，简称APP)的种类越来越多。APP在为用户提供各种便捷操作的同时，也可能非法侵犯用户的权益。一般情况下，APP在下载后使用之前，会向用户展示隐私协议以获得用户的授权。上述隐私协议中，可能涉及手机用户个人信息的内容。因此，有必要提取各APP的隐私协议的文本内容，以便对各APP的隐私协议进行分析。
常见的隐私协议界面中，包括隐私协议的部分内容、链接控件以及授权操作控件，上述链接控件被点击后可以跳转至完整的隐私协议文本。传统方法中，终端设备可以在APP首次启动时，通过运行脚本以实现自动化点击链接控件，上述脚本中包含了链接控件的预设位置；当链接控件被点击后，终端设备可以自动跳转至该APP的隐私协议界面，然后在该界面上提取隐私协议文本。
但是，不同的APP对应的链接控件位置不同。在对不同的APP进行隐私协议文本提取时，需要调整脚本中携带的链接控件的预设位置坐标以适配不同的APP，导致脚本适配工作量大。
发明内容
本申请实施例提供了一种控件的识别方法、装置、终端设备和存储介质。
一种控件的识别方法，上述包括：
对当前待识别界面进行截图操作，获取抽样图像；其中，抽样图像包括链接控件和干扰文本信息；
根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；其中，候选像素坐标集中每个像素点的像素值满足预设像素值范围；
根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置。
在其中一个实施例中，上述第一像素点为彩色像素点；第二像素点为非彩色像素点；根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集，包括：
根据预设间隔对抽样图像进行采样，获得各采样点的像素值；
对各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标；
根据彩色像素值对应的彩色像素点的坐标，确定包含彩色像素点的候选像素坐标集。
在其中一个实施例中，上述对各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标，包括：
针对每个采样点，计算采样点的像素值对应的两两颜色通道值之间的差值；
若差值大于预设阈值，则确定采样点的像素值为彩色像素值，并获取彩色像素值对应的彩色像素点的坐标。
在其中一个实施例中，上述根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置，包括：
在候选像素坐标集对应的像素值中，确定出现频次最多的目标像素值；
根据目标像素值对应的目标像素点的第一坐标，确定链接控件在待识别界面中的位置。
在其中一个实施例中，上述若目标像素点的第一坐标为图像坐标系下的坐标，根据目标像素值对应的目标像素点的第一坐标，确定链接控件在待识别界面中的位置，包括：
将第一坐标与待识别界面进行位置匹配，确定目标像素点在待识别界面上的第二坐标；
根据目标像素点在待识别界面上的第二坐标，确定链接控件在待识别界面中的位置。
在其中一个实施例中，上述对各采样点的像素值进行过滤之后，方法还包括：
若各采样点的像素值中不包括彩色像素值，则将待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行对当前待识别界面进行截图操作，获取抽样图像的步骤，直至新的抽样图像对应的各采样点的像素值中包括彩色像素值。
在其中一个实施例中，上述方法还包括：
根据链接控件在待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作；
响应于触发操作，显示与链接控件关联的目标界面；
对目标界面进行文本提取操作，获得待提取文本。
在其中一个实施例中，上述根据链接控件在待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作，包括：
从待识别界面中的位置对应的坐标中，选择多个坐标作为触发坐标；
分别对各触发坐标执行触发操作。
在其中一个实施例中，上述对当前待识别界面进行截图操作之前，方法还包括：
根据预设下载规则向服务器发送APP下载请求；其中，APP下载请求中携带待提取应用程序APP的标识；
接收服务器发送的待提取APP的标识对应的APP软件包，并启动APP软件包。
在其中一个实施例中，上述待识别界面为待提取APP的隐私协议界面，待提取文本为隐私协议文本，隐私协议界面中的链接控件与隐私协议文本关联。
在其中一个实施例中，上述启动APP软件包之后，还包括：
在终端设备的屏幕上显示待提取APP的隐私协议界面。
在其中一个实施例中，上述隐私协议界面中还包括授权操作控件，链接控件与授权操作控件的控件类型不同；对当前待识别界面进行截图操作，获取抽样图像，包括：
根据隐私协议界面中的控件类型，筛选包含链接控件、且不包括授权操作控件的抽样区域；
对抽样区域进行截图操作，获取抽样图像。
在其中一个实施例中，上述获得待提取文本之后，还包括：
保存待提取文本，并执行卸载APP软件包的操作。
一种控件的识别装置，上述包括：
截图模块，用于对当前待识别界面进行截图操作，获取抽样图像；其中，抽样图像包括链接控件和干扰文本信息；
过滤模块，用于根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；其中，候选像素坐标集中每个像素点的像素值满足预设像素值范围；
识别模块，用于根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置。
一种终端设备，包括存储器及处理器，上述存储器中储存有计算机程序，计算机程序被处理器执行时实现上述控件的识别方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述控件的识别方法的步骤。
上述控件的识别方法、装置、终端设备和存储介质，终端设备对当前待识别界面进行截图操作，获取包括链接控件和干扰文本信息的抽样图像；然后，根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；最后，根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置；其中，上述候选像素坐标集中每个像素点的像素值满足预设像素值范围。由于终端设备对当前待识别界面进行截图操作，从而可以获得包含了链接控件的抽样图像；进一步地，终端设备在抽样图像中过滤掉干扰文本信息对应的第二像素点，获得候选像素坐标集，使得终端设备可以在候选像素坐标集中自动识别链接控件在待识别界面中的位置，以实现对该链接控件的自动触发操作。由于终端设备可以自动触发各待识别界面中的链接控件，从而可以批量提取多个链接控件关联的文本信息，提升了文本提取的批量化和自动化程度，降低文本提取的工作量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中控件的识别方法的应用环境图；
图2为一个实施例中控件的识别方法的流程图；
图3为另一个实施例中控件的识别方法的流程图；
图4为另一个实施例中控件的识别方法的流程图；
图5为另一个实施例中控件的识别方法的流程图；
图6为另一个实施例中控件的识别方法的流程图；
图7为另一个实施例中控件的识别方法的流程图；
图8为一个实施例中控件的识别装置的结构框图；
图9为另一个实施例中控件的识别装置的结构框图；
图10为另一个实施例中控件的识别装置的结构框图；
图11为另一个实施例中控件的识别装置的结构框图；
图12为另一个实施例中控件的识别装置的结构框图；
图13为另一个实施例中控件的识别装置的结构框图；
图14为另一个实施例中控件的识别装置的结构框图；
图15为一个实施例中终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中控件的识别方法的应用环境示意图。如图1所示，该方法应用于终端设备100，可以用于提取终端设备100的待识别界面上的控件，上述待识别界面可以是隐私协议界面、授权界面、支付界面等携带链接控件的界面；上述终端设备100可以但不限于是各种手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑、穿戴式设备等。
图2为一个实施例中控件的识别方法的流程图。本实施例中的控件的识别方法，以运行于图1中的终端设备为例进行描述。如图2所示，控件的识别方法包括：
S101、对当前待识别界面进行截图操作，获取抽样图像；其中，抽样图像包括链接控件和干扰文本信息。
其中，上述待识别界面中可以包括链接控件，还可以包括界面上的文本信息以及其他类型的操作控件。上述链接控件可以与目标界面关联，用户在点击上述链接控件之后，终端设备可以显示该链接控件关联的目标界面。上述待识别界面可以是隐私协议界面，也可以是支付界面，还可以是操作授权界面等类型，在此不作限定。可选地，上述待识别界面可以为隐私协议界面；上述隐私协议界面可以是终端设备上的APP向用户展示隐私协议的界面，例如，APP在终端设备上首次启动时，可以自动向用户展示隐私协议界面，以使用户了解该APP的隐私协议内容并获得用户的授权。上述隐私协议界面上可以包括隐私协议的部分内容，还可以包括链接控件，上述链接控件可以与完整的隐私协议内容的目标界面关联。
上述链接控件可以显示为一段特定格式的文字，使得用户可以通过识别文字进行点击操作，例如上述链接控件在当前待识别界面上显示为蓝色字体的“隐私策略”。
上述链接控件的位置可以在当前待识别界面的顶部，也可以在当前待识别界面的底部，在此不作限定。
为了自动识别当前待识别界面上链接控件的位置，终端可以对上述待识别界面进行截图操作，获得抽样图像。终端设备可以先预设一个截图范围，将截图范围内显示的信息截取为抽样图像；或者，终端设备还可以对终端设备显示的所有内容进行截图，获得抽样图像，在此不作限定。
终端设备获得的抽样图像中，除了包含链接控件的显示信息，还包括其它文本的显示信息，即干扰文本信息。
S102、根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；其中，候选像素坐标集中每个像素点的像素值满足预设像素值范围。
为了使用户能够识别链接控件的位置，一般情况下待识别界面中链接控件的显示颜色与其它文本的显示颜色不同；因此，在获得的抽样图像中，链接控件对应的第一像素点和干扰文本信息对应的第二像素点存在颜色差异。上述颜色差异可以是指第一像素点和第二像素点的颜色为对比色，例如第一像素点的颜色为红色，第二像素点的颜色为绿色；上述颜色差异还可以是渐变差异，例如，第一像素点为黄绿色，第二像素点为蓝绿色；对于上述颜色差异的具体形式在此不作限定。
基于上述颜色差异，终端设备可以在抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集。其中，上述候选像素坐标集中，每个像素点的像素值满足预设像素值范围。上述预设像素范围可以是像素值中，各个颜色通道值对应的取值范围；也可以是基于像素值各个颜色通道值计算获得的参数所满足的范围，在此不做限定；例如上述像素值范围为各颜色通道值的差值对应的范围。
终端设备可以计算抽样图像中各个像素值之间的欧式距离，并根据欧式距离确定各个像素点的像素值的相似程度；然后，进一步地根据各个像素值的相似程度过滤掉第二像素点。或者，终端设备也可以根据预设的像素值范围对各个像素值进行筛选，将满足预设像素值范围的像素值对应的像素点确定为第一像素点，而对于落在预设像素值范围之外的其余像素值对应的像素点确定为第二像素点。
在抽样图像中过滤掉第二像素点之后，终端设备可以获得包含第一像素点的候选像素坐标集。上述候选像素坐标集中包含的像素点的坐标，可以是抽样图像所在坐标系下的坐标，也可以是待识别界面所在坐标系下的坐标，对于上述坐标的形式在此不作限定。
S103、根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置。
终端设备获得的候选像素坐标集中，各个像素点对应的像素值可以不同。为了更准确地识别链接控件的位置，终端设备可以在候选像素坐标集对应的各个像素点中，统计各个像素值的出现频次，然后根据像素值的出现频次确定链接控件的位置。
终端设备可以对各像素值进行聚类分析，根据聚类结果确定各像素值对应的像素区域，并根据像素区域的大小来确定像素值的出现频次；或者，终端设备可以对各个像素值进行排序，然后按照顺序确定每个像素值对应的像素点的数量，然后根据个像素值对应的数量确定各像素值的出现频次；对于上述出现频次的确定方式在此不做限定。
在获得各个像素值的出现频次之后，终端设备可以根据出现频次的排列顺序，选择链接控件对应的目标像素点；或者，终端设备还可以根据出现频次的排列顺序，结合各个像素值在候选像素坐标集中的分散程度，确定链接控件对应的目标像素点。可选地，终端设备可以在候选像素坐标集对应的像素值中，确定出现频次最多的目标像素值；然后，根据目标像素值对应的目标像素点的第一坐标，确定链接控件在待识别界面中的位置。进一步地，目标像素点的第一坐标为图像坐标系下的坐标的情况下，终端设备可以将第一坐标与待识别界面进行位置匹配，确定目标像素点在待识别界面上的第二坐标，然后根据目标像素点在待识别界面上的第二坐标，确定链接控件在待识别界面中的位置。
终端设备确定了链接控件对应的目标像素点之后，可以将所有目标像素点的坐标确定为该链接控件在待识别界面中的位置；还可以将其中一个目标像素点的坐标确定为该链接控件在待识别界面中的位置，在此不作限定。
上述控件的识别方法，终端设备对当前待识别界面进行截图操作，获取包括链接控件和干扰文本信息的抽样图像；然后，根据链接控件对应的第一像素点与干扰文本信息对应的第二像素点之间的颜色差异，从抽样图像中过滤掉第二像素点，得到包含第一像素点的候选像素坐标集；最后，根据候选像素坐标集中各个像素点的像素值的出现频次，确定链接控件在待识别界面中的位置；其中，上述候选像素坐标集中每个像素点的像素值满足预设像素值范围。由于终端设备对当前待识别界面进行截图操作，从而可以获得包含了链接控件的抽样图像；进一步地，终端设备在抽样图像中过滤掉干扰文本信息对应的第二像素点，获得候选像素坐标集，使得终端设备可以在候选像素坐标集中自动识别链接控件在待识别界面中的位置，以实现对该链接控件的自动触发操作。由于终端设备可以自动触发各待识别界面中的链接控件，从而可以批量提取多个链接控件关联的文本信息，提升了文本提取的批量化和自动化程度，降低文本提取的工作量。
图3为另一个实施例中控件的识别方法的流程图，本实施例涉及终端设备获取候选像素坐标集的一种方式，在上述实施例的基础上，第一像素点为彩色像素点；第二像素点为非彩色像素点，如图3所示，上述S102包括：
S201、根据预设间隔对抽样图像进行采样，获得各采样点的像素值。
为了减少计算数据量，终端设备可以根据预设间隔对抽样图像进行采样，获得各个采样点的像素值。上述采样间隔可以为像素点数量，例如间隔5像素点采样一次；上述采样间隔也可以是间隔长度，例如，终端设备可以在上述抽样图像中，间隔1毫米采样一次。
上述抽样图像中各个像素点可以以X轴和Y轴进行排列。上述预设间隔可以包括X轴的采样间隔以及Y轴的采样间隔。上述X轴的采样间隔与Y轴的采样间隔可以相同也可以不同。例如，X轴与Y轴的采样间隔均为5个像素点。
S202、对各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标。
在一种应用场景中，第一像素点为彩色像素点；第二像素点为非彩色像素点。采样结束后，终端设备可以对各采样点的像素值进行过滤，过滤掉各采样点中的非彩色像素点。
其中，上述非彩色像素点包括白色像素点、黑色像素点以及灰色像素点。终端设备可以将像素值中各颜色通道值相同的像素值，确定为非彩色像素值，非彩色像素值对应的像素点为非彩色像素点。例如，像素值为(255，255，255)对应白色像素点，像素值为(0，0，0)对应黑色像素点，像素值为(128，128，128)对应灰色像素点。另外，终端设备还可以根据像素值中各颜色通道值的差值，区分彩色像素值和非彩色像素值。可选地，终端设备可以针对每个采样点，计算采样点的像素值对应的两两颜色通道值之间的差值；然后将上述差值与预设阈值进行比较，若差值大于预设阈值，则确定采样点的像素值为彩色像素值，并获取彩色像素值对应的彩色像素点的坐标。
例如，终端设备可以计算采样点的像素值对应的两两颜色通道值之间的差值，例如颜色通道值为R、G、B，采样点的颜色通道值之间的差值包括：|R-G|,|B-G|以及|R-B|。终端设备可以设定预设阈值为10，当上述三个差值均小于预设阈值时，终端设备可以认为该采样点的像素值为非彩色像素值；当上述三个差值中至少有一个差值大于预设阈值时，终端设备可以认为该采样点的像素值为彩色像素值。通过对各个采样点的像素值进行计算，终端设备可以确定哪些像素点为彩色像素点，哪些像素点为非彩色像素点；进一步地，终端设备可以过滤非彩色像素点，获得彩色像素点的坐标。
S203、根据彩色像素值对应的彩色像素点的坐标，确定包含彩色像素点的候选像素坐标集。
在上述步骤的基础上，终端设备可以将彩色像素点的坐标确定为候选像素坐标集。
上述控件的识别方法，终端设备在抽样图像中进行抽样，获得采样点的像素值，可以降低控件识别过程中的计算数据量，提升控件的识别效率；进一步地，终端设备通过对各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标，并根据彩色像素点的坐标确定候选像素坐标集，使得待识别界面中链接控件为彩色、干扰文本为非彩色的情况下，终端设备可以锁定链接控件的位置范围，提升了控件识别的准确度。终端设备将颜色通道值之间的差值与预设阈值进行比较，可以更快速直接地对非彩色像素点进行过滤，进一步提升控件识别的准确度和效率。
在一个实施例中，在上述实施例的基础上，终端设备在对各采样点的像素值进行过滤之后，若各采样点的像素值中不包括彩色像素值，则将待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行对当前待识别界面进行截图操作，获取抽样图像的步骤，直至新的抽样图像对应的各采样点的像素值中包括彩色像素值。
当各采样点的像素值中不包括彩色像素值时，终端设备可以认为该抽样图像中没有链接控件，可以对待识别界面进行进一步操作，使得链接控件显示在待识别界面上，以进一步识别链接控件的位置。
上述链接控件在当前待识别界面上处于隐藏状态时，可以处于待识别界面中文字信息的底部位置，终端设备可以对待识别界面进行上划操作，使得链接控件呈现显示状态；例如，终端设备可以执行基于UI自动化框架编写的自动上划操作指令，对待识别界面进行上划操作。另外，上述链接控件还可能隐藏在与待识别界面并列的其它界面中，终端设备可以对待识别界面进行向右或者向左滑动的操作，使得链接控件呈现显示状态。
终端设备可以根据预设步进对待识别界面执行上划、右滑等操作，并对新呈现的待识别界面执行截图操作获得新的抽样图像，并在新的抽样图像中进行采样、对各采样点的像素值进行过滤操作的步骤，若新的抽样图像中获得彩色像素值，则进一步执行确定候选像素坐标集以及确定链接控件的位置的步骤；若新的抽样图像中仍然没有彩色像素值，则可以根据预设步进进一步对待识别界面执行上划、右滑等操作，直至新的抽样图像中可以获得彩色像素值。
上述控件的识别方法，终端设备在各采样点的像素值中不包括彩色像素值的情况下，将待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行对当前待识别界面进行截图操作获取抽样图像，使得终端设备可以对链接控件位置不同的更多类型的待识别界面进行控件识别，提升了控件的识别方法的可靠性。
图4为另一个实施例中控件的识别方法的流程图，本实施例涉及终端设备获得待提取文本的一种方式，在上述实施例的基础上，如图4所示，上述方法还包括：
S301、根据链接控件在待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作。
终端设备在确定了待识别界面中的链接控件的位置之后，可以对上述链接控制执行触发操作，使得当前待识别界面可以跳转至该链接地址关联的目标界面。
上述触发操作是点击操作、滑动操作或者长按操作等类型。例如，终端设备可以基于UI自动化框架下的自动点击操作，对上述链接控件执行点击操作。
上述链接控件在待识别界面中的位置包含多个坐标时，终端设备可以在上述多个坐标中选择一个坐标执行触发操作；可选，终端设备可以选择多个坐标作为触发坐标，然后分别对各触发坐标执行触发操作，以提升对链接控件的触发成功率。
其中，在选择多个触发坐标时，终端设备可以在链接控件对应的多个坐标中进行随机选择；另外，链接控件对应的坐标可以形成一个触发区域，终端设备可以根据预设规则在上述触发区域中选择多个触发坐标，例如在上述触发区域的起始位置、中间位置、终点位置处分别选择一个触发坐标。
S302、响应于触发操作，显示与链接控件关联的目标界面。
终端设备可以响应于上述触发操作，在屏幕上显示链接控件关联的目标界面。上述待识别界面为待提取APP的隐私协议界面时，上述目标界面可以是包含隐私协议文本内容的界面。
S303、对目标界面进行文本提取操作，获得待提取文本。
进一步地，终端设备可以在上述目标界面上进行文本提取，获得待提取文本；上述待提取文本可以是隐私协议文本。
上述隐私协议文本中可以包含待提取APP需要获取的用户的隐私信息的类型，还可以包含待提取APP对用户的隐私信息的使用方式等，因此终端设备可以对各个APP的隐私协议文本进行提取，以便对隐私协议文本进行分析，为用户的隐私信息提供安全保障。
上述控件的识别方法，终端设备在自动识别待提取界面上的链接控件之后，可以自动触发各待识别界面中的链接控件，从而可以批量提取多个链接控件关联的文本信息，提升了文本提取的批量化和自动化程度，降低文本提取的工作量。
图5为另一个实施例中控件的识别方法的流程图，在上述实施例的基础上，如图5所示，上述S101之前，还包括：
S401、根据预设下载规则向服务器发送APP下载请求；其中，APP下载请求中携带待提取应用程序APP的标识。
为了识别各个待提取APP中的链接控件，终端设备可以先将上述待提取APP下载至本地。终端设备可以根据待提取APP的标识生成APP下载请求，然后向服务器发送APP下载请求。
终端设备可以在APP数据库中随机选择APP作为待提取APP；或者，上述预设下载规则中可以包括APP的下载列表，终端设备也可以按照下载列表向APP发送下载请求，在此不作限定。另外，上述下载规则中还可以是根据APP数据库中APP的类型进行下载，例如终端设备可以将APP数据库中每个类别排名靠前的多个APP作为待提取APP。
终端设备向服务器发送的APP下载请求中，可以同时下载一个待提取APP，也可以同时下载多个待提取APP，在此不作限定。
S402、接收服务器发送的待提取APP的标识对应的APP软件包，并启动APP软件包。
服务器接收到上述APP下载请求之后，可以获取该APP下载请求中携带的待提取APP的标识，然后将待提取APP的标识对应的APP软件包发送给终端设备。终端设备接收到上述APP软件包之后，可以依次启动APP软件包。
进一步地，终端设备启动APP软件包之后，可以在屏幕上显示待提取APP的隐私协议界面。终端设备可以识别隐私协议界面上的链接控件，以提取链接控件关联的隐私协议文本。
终端设备获得待提取APP的待提取文本之后，可以将待提取文本进行保存，然后对该待提取APP执行卸载操作，以释放终端设备的存储控件。
上述控件的识别方法，终端设备向服务器发送APP下载请求，可以自动执行待提取APP的下载以及启动等操作，从而可以批量地对多个待提取APP中的链接控件进行识别以提取该链接控件关联的待提取文本，提升了文本提取的提取效率。
图6为另一个实施例中控件的识别方法的流程图，本实施例涉及终端设备获取抽样图像的一种方式，在上述实施例的基础上，隐私协议界面中还包括授权操作控件，链接控件与授权操作控件的控件类型不同，如图6所示，上述S101包括：
S501、根据隐私协议界面中的控件类型，筛选包含链接控件、且不包括授权操作控件的抽样区域。
其中，上述隐私协议界面中除了链接控件以及文本信息外，还可以包括授权操作控件，例如显示为“同意”的授权操作控件。上述授权操作控件可以显示为一个控件按钮，使得用户可以通过触发该控件按钮进行隐私信息的使用授权。
上述授权操作控件上显示的标识可能是彩色标识，如果抽样图像中包含了该授权操作控件，则无法根据颜色差异准确区分哪一个是链接控件，以及哪一个是授权操作控件。因此，终端设备可以确定一个抽样区域，使得该抽样区域中包含链接控件、且不包括授权操作控件。
隐私协议界面的生成过程中，链接控件与操作授权控件对应的控件类型不同。另外，隐私协议界面的每个控件类型具有对应的区域范围，终端设备可以根据链接控件以及授权操作界面携带的控件类型标识，对不同类型的控件进行区分，然后提取包含链接控件、且不包括授权操作控件的抽样区域。
S502、对抽样区域进行截图操作，获取抽样图像。
在确定了抽样区域之后，终端设备可以对抽样区域进行截图操作，获得抽样图像。
上述控件的识别方法，终端设备筛选包含链接控件、且不包括授权操作控件的抽样区域，在抽样区域中进行截图操作获取抽样图像，使得终端设备可以根据颜色差异准确地识别链接控件，避免操作授权控件对控件识别造成干扰，提升了控件的识别方法的准确性和可靠性。
在一个实施例中，在上述实施例的基础上，如图7所示，控件的识别方法包括：
S601、根据预设下载规则向服务器发送APP下载请求。
S602、接收服务器发送的待提取APP的标识对应的APP软件包，并启动APP软件包。
S603、在终端设备的屏幕上显示待提取APP的隐私协议界面。
S604、根据隐私协议界面中的控件类型，筛选包含链接控件、且不包括授权操作控件的抽样区域。
S605、对抽样区域进行截图操作，获取抽样图像。
S606、根据预设间隔对抽样图像进行采样，获得各采样点的像素值。
S607、针对每个采样点，计算采样点的像素值对应的两两颜色通道值之间的差值。
S608、若差值大于预设阈值，则确定采样点的像素值为彩色像素值，并获取彩色像素值对应的彩色像素点的坐标。
S609、确定各采样点的像素值中是否包括彩色像素值，若是则执行S611，若否，则执行S610。
S610、将待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行S605。
S611、根据彩色像素值对应的彩色像素点的坐标，确定包含彩色像素点的候选像素坐标集。
S612、在候选像素坐标集对应的像素值中，确定出现频次最多的目标像素值。
S613、根据目标像素值对应的目标像素点的第一坐标，确定链接控件在待识别界面中的位置。
S614、从待识别界面中的位置对应的坐标中，选择多个坐标作为触发坐标。
S615、分别对各触发坐标执行触发操作。
S616、响应于触发操作，显示与链接控件关联的目标界面。
S617、对目标界面进行文本提取操作，获得待提取文本。
S618、保存待提取文本，并执行卸载APP软件包的操作。
上述提供的控件的识别方法，其实现原理和技术效果与上述实施例类似，在此不再赘述。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的控件的识别装置的结构框图。如图8所示，控件的识别装置包括：
截图模块10，用于对当前待识别界面进行截图操作，获取抽样图像；其中，所述抽样图像包括链接控件和干扰文本信息；
过滤模块20，用于根据所述链接控件对应的第一像素点与所述干扰文本信息对应的第二像素点之间的颜色差异，从所述抽样图像中过滤掉所述第二像素点，得到包含所述第一像素点的候选像素坐标集；其中，所述候选像素坐标集中每个像素点的像素值满足预设像素值范围；
识别模块30，用于根据所述候选像素坐标集中各个像素点的像素值的出现频次，确定所述链接控件在所述待识别界面中的位置。
上述提供的控件的识别装置，可以执行上述控件的识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，在上述实施例的基础上，第一像素点为彩色像素点；第二像素点为非彩色像素点；如图9所示，上述过滤模块20包括：
采样单元201，用于根据预设间隔对抽样图像进行采样，获得各采样点的像素值；
过滤单元202，用于对各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标；
确定单元203，用于根据彩色像素值对应的彩色像素点的坐标，确定包含彩色像素点的候选像素坐标集。
在其中一个实施例中，在上述实施例的基础上，上述过滤单元202具体用于：针对每个采样点，计算采样点的像素值对应的两两颜色通道值之间的差值；在差值大于预设阈值的情况下，确定采样点的像素值为彩色像素值，并获取彩色像素值对应的彩色像素点的坐标。
在其中一个实施例中，在上述实施例的基础上，上述识别模块30具体用于：在候选像素坐标集对应的像素值中，确定出现频次最多的目标像素值；根据目标像素值对应的目标像素点的第一坐标，确定链接控件在待识别界面中的位置。
在其中一个实施例中，在上述实施例的基础上，若目标像素点的第一坐标为图像坐标系下的坐标，如图10所示，上述识别模块30包括：
匹配单元301，用于将第一坐标与待识别界面进行位置匹配，确定目标像素点在待识别界面上的第二坐标；
识别单元302，用于根据目标像素点在待识别界面上的第二坐标，确定链接控件在待识别界面中的位置。
在其中一个实施例中，在上述实施例的基础上，上述过滤模块20还用于：各采样点的像素值中不包括彩色像素值，则将待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行对当前待识别界面进行截图操作，获取抽样图像的步骤，直至新的抽样图像对应的各采样点的像素值中包括彩色像素值。
在其中一个实施例中，在上述实施例的基础上，如图11所示，上述装置还包括提取模块40，提取模块40包括：
触发单元401，用于根据链接控件在待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作；
响应单元402，用于响应于触发操作，显示与链接控件关联的目标界面；
提取单元403，用于对目标界面进行文本提取操作，获得待提取文本。
在其中一个实施例中，在上述实施例的基础上，上述触发单元401具体用于：从待识别界面中的位置对应的坐标中，选择多个坐标作为触发坐标；分别对各触发坐标执行触发操作。
在其中一个实施例中，在上述实施例的基础上，如图12所示，上述装置还包括启动模块50，启动模块50包括：
下载单元501，用于根据预设下载规则向服务器发送APP下载请求；其中，APP下载请求中携带待提取应用程序APP的标识；
启动单元502，用于接收服务器发送的待提取APP的标识对应的APP软件包，并启动APP软件包。
在其中一个实施例中，在上述实施例的基础上，待识别界面为待提取APP的隐私协议界面，待提取文本为隐私协议文本，隐私协议界面中的链接控件与隐私协议文本关联。
在其中一个实施例中，在上述实施例的基础上，上述启动单元502还用于：终端设备的屏幕上显示待提取APP的隐私协议界面。
在其中一个实施例中，在上述实施例的基础上，隐私协议界面中还包括授权操作控件，链接控件与授权操作控件的控件类型不同；如图13所示，上述截图模块10包括：
筛选单元101，用于根据隐私协议界面中的控件类型，筛选包含链接控件、且不包括授权操作控件的抽样区域；
截图单元102，用于对抽样区域进行截图操作，获取抽样图像。
在其中一个实施例中，在上述实施例的基础上，如图14所示，上述装置还包括保存模块60，用于保存待提取文本，并执行卸载APP软件包的操作。
上述提供的控件的识别装置，可以执行上述控件的识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
上述控件的识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将控件的识别装置按照需要划分为不同的模块，以完成上述控件的识别装置的全部或部分功能。
关于控件的识别装置的具体限定可以参见上文中对于控件的识别方法的限定，在此不再赘述。上述控件的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图15为一个实施例中终端设备的内部结构示意图。如图15所示，该终端设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个终端设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种控件的识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该终端设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的控件的识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行控件的识别方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行控件的识别方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种控件的识别方法，其特征在于，包括：
对当前待识别界面进行截图操作，获取抽样图像；其中，所述抽样图像包括链接控件和干扰文本信息；
根据所述链接控件对应的第一像素点与所述干扰文本信息对应的第二像素点之间的颜色差异，从所述抽样图像中过滤掉所述第二像素点，得到包含所述第一像素点的候选像素坐标集；其中，所述候选像素坐标集中每个像素点的像素值满足预设像素值范围；
根据所述候选像素坐标集中各个像素点的像素值的出现频次，确定所述链接控件在所述待识别界面中的位置。
2.根据权利要求1所述的方法，其特征在于，所述第一像素点为彩色像素点；所述第二像素点为非彩色像素点；所述根据所述链接控件对应的第一像素点与所述干扰文本信息对应的第二像素点之间的颜色差异，从所述抽样图像中过滤掉所述第二像素点，得到包含所述第一像素点的候选像素坐标集，包括：
根据预设间隔对所述抽样图像进行采样，获得各采样点的像素值；
对所述各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标；
根据所述彩色像素值对应的彩色像素点的坐标，确定包含所述彩色像素点的候选像素坐标集。
3.根据权利要求2所述的方法，其特征在于，所述对所述各采样点的像素值进行过滤，获得彩色像素值对应的彩色像素点的坐标，包括：
针对每个采样点，计算所述采样点的像素值对应的两两颜色通道值之间的差值；
若所述差值大于预设阈值，则确定所述采样点的像素值为彩色像素值，并获取所述彩色像素值对应的彩色像素点的坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述候选像素坐标集中各个像素点的像素值的出现频次，确定所述链接控件在所述待识别界面中的位置，包括：
在所述候选像素坐标集对应的像素值中，确定出现频次最多的目标像素值；
根据所述目标像素值对应的目标像素点的第一坐标，确定所述链接控件在所述待识别界面中的位置。
5.根据权利要求4所述的方法，其特征在于，若所述目标像素点的第一坐标为图像坐标系下的坐标，所述根据所述目标像素值对应的目标像素点的第一坐标，确定所述链接控件在所述待识别界面中的位置，包括：
将所述第一坐标与所述待识别界面进行位置匹配，确定所述目标像素点在所述待识别界面上的第二坐标；
根据所述目标像素点在所述待识别界面上的第二坐标，确定所述链接控件在所述待识别界面中的位置。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述对所述各采样点的像素值进行过滤之后，所述方法还包括：
若所述各采样点的像素值中不包括彩色像素值，则将所述待识别界面中处于隐藏态的界面内容调整至显示状态，返回执行对当前待识别界面进行截图操作，获取抽样图像的步骤，直至新的抽样图像对应的各采样点的像素值中包括彩色像素值。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
根据所述链接控件在所述待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作；
响应于所述触发操作，显示与所述链接控件关联的目标界面；
对所述目标界面进行文本提取操作，获得待提取文本。
8.根据权利要求7所述的方法，其特征在于，所述根据所述链接控件在所述待识别界面中的位置，对当前显示的待识别界面上的链接控件执行触发操作，包括：
从所述待识别界面中的位置对应的坐标中，选择多个坐标作为触发坐标；
分别对各所述触发坐标执行触发操作。
9.根据权利要求7所述的方法，其特征在于，所述对当前待识别界面进行截图操作之前，所述方法还包括：
根据预设下载规则向服务器发送APP下载请求；其中，所述APP下载请求中携带待提取应用程序APP的标识；
接收所述服务器发送的所述待提取APP的标识对应的APP软件包，并启动所述APP软件包。
10.根据权利要求9所述的方法，其特征在于，所述待识别界面为待提取APP的隐私协议界面，所述待提取文本为隐私协议文本，所述隐私协议界面中的链接控件与所述隐私协议文本关联。
11.根据权利要求10所述的方法，其特征在于，所述启动所述APP软件包之后，还包括：
在终端设备的屏幕上显示所述待提取APP的隐私协议界面。
12.根据权利要求11所述的方法，其特征在于，所述隐私协议界面中还包括授权操作控件，所述链接控件与所述授权操作控件的控件类型不同；所述对当前待识别界面进行截图操作，获取抽样图像，包括：
根据所述隐私协议界面中的控件类型，筛选包含所述链接控件、且不包括所述授权操作控件的抽样区域；
对所述抽样区域进行截图操作，获取所述抽样图像。
13.根据权利要求9所述的方法，其特征在于，所述获得待提取文本之后，还包括：
保存所述待提取文本，并执行卸载所述APP软件包的操作。
14.一种控件的识别装置，其特征在于，包括：
截图模块，用于对当前待识别界面进行截图操作，获取抽样图像；其中，所述抽样图像包括链接控件和干扰文本信息；
过滤模块，用于根据所述链接控件对应的第一像素点与所述干扰文本信息对应的第二像素点之间的颜色差异，从所述抽样图像中过滤掉所述第二像素点，得到包含所述第一像素点的候选像素坐标集；其中，所述候选像素坐标集中每个像素点的像素值满足预设像素值范围；
识别模块，用于根据所述候选像素坐标集中各个像素点的像素值的出现频次，确定所述链接控件在所述待识别界面中的位置。
15.一种终端设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的方法的步骤。
CN202011083194.8A 2020-10-12 2020-10-12 控件的识别方法、装置、终端设备和存储介质 Active CN112181255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011083194.8A CN112181255B (zh) 2020-10-12 2020-10-12 控件的识别方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011083194.8A CN112181255B (zh) 2020-10-12 2020-10-12 控件的识别方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN112181255A true CN112181255A (zh) 2021-01-05
CN112181255B CN112181255B (zh) 2024-08-02

Family

ID=73947569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011083194.8A Active CN112181255B (zh) 2020-10-12 2020-10-12 控件的识别方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN112181255B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114417396A (zh) * 2021-12-13 2022-04-29 奇安盘古(上海)信息技术有限公司 隐私政策文本数据提取方法、装置、电子设备及存储介质
CN115150390A (zh) * 2022-06-27 2022-10-04 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质
WO2022252239A1 (zh) * 2021-05-31 2022-12-08 浙江大学 基于计算机视觉的移动端应用控件识别方法
CN116051868A (zh) * 2023-03-31 2023-05-02 山东大学 一种面向windows系统的界面元素识别方法
CN117573508A (zh) * 2023-10-16 2024-02-20 中移互联网有限公司 拨测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117849A1 (en) * 2014-03-28 2016-04-28 Huawei Device Co., Ltd. Method, apparatus, and terminal device for determining color of interface control
CN105843494A (zh) * 2015-01-15 2016-08-10 中兴通讯股份有限公司 一种实现区域屏幕截图的方法、装置和终端
CN109739416A (zh) * 2018-04-19 2019-05-10 北京字节跳动网络技术有限公司 一种文本提取方法和装置
CN110503682A (zh) * 2019-08-08 2019-11-26 深圳市优讯通信息技术有限公司 矩形控件识别方法、装置、终端及存储介质
CN111275051A (zh) * 2020-02-28 2020-06-12 上海眼控科技股份有限公司 字符识别方法、装置、计算机设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117849A1 (en) * 2014-03-28 2016-04-28 Huawei Device Co., Ltd. Method, apparatus, and terminal device for determining color of interface control
CN105843494A (zh) * 2015-01-15 2016-08-10 中兴通讯股份有限公司 一种实现区域屏幕截图的方法、装置和终端
CN109739416A (zh) * 2018-04-19 2019-05-10 北京字节跳动网络技术有限公司 一种文本提取方法和装置
CN110503682A (zh) * 2019-08-08 2019-11-26 深圳市优讯通信息技术有限公司 矩形控件识别方法、装置、终端及存储介质
CN111275051A (zh) * 2020-02-28 2020-06-12 上海眼控科技股份有限公司 字符识别方法、装置、计算机设备和计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252239A1 (zh) * 2021-05-31 2022-12-08 浙江大学 基于计算机视觉的移动端应用控件识别方法
CN114417396A (zh) * 2021-12-13 2022-04-29 奇安盘古(上海)信息技术有限公司 隐私政策文本数据提取方法、装置、电子设备及存储介质
CN115150390A (zh) * 2022-06-27 2022-10-04 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质
CN115150390B (zh) * 2022-06-27 2024-04-09 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质
CN116051868A (zh) * 2023-03-31 2023-05-02 山东大学 一种面向windows系统的界面元素识别方法
CN117573508A (zh) * 2023-10-16 2024-02-20 中移互联网有限公司 拨测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112181255B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN112181255B (zh) 控件的识别方法、装置、终端设备和存储介质
CN110489312B (zh) 用于控件触发数据采集的数据关联方法和装置
CN106790262B (zh) 一种鉴权方法及装置
WO2021017272A1 (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN110851299A (zh) 自动化流程的异常排除方法、装置、设备及存储介质
CN107291446B (zh) 一种桌面管理方法及装置
CN104571866A (zh) 一种截屏方法
US10496696B2 (en) Search method and apparatus
CN108958576B (zh) 内容识别方法、装置及移动终端
CN111666941B (zh) 一种文本检测方法、装置及电子设备
EP3828696A1 (en) Method invoke chain tracing method, electronic apparatus, and computer-readable storage medium
US20140146179A1 (en) Controller for imaging terminal
CN112507087A (zh) 终端设备识别方法、设备、存储介质及装置
EP2790103A1 (en) Electronic apparatus and copy control program
CN113836360B (zh) 数据检测方法及装置
WO2018107422A1 (zh) 电子装置及信息读取控制方法
CN107231624B (zh) 一种保留数据信息的方法、存储设备及移动终端
KR101764998B1 (ko) 이미지 필터링 방법 및 시스템
CN111598128A (zh) 用户界面的控件状态识别、控制方法、装置、设备及介质
CN114666634B (zh) 画质检测结果显示方法、装置、设备及存储介质
CN105631318B (zh) 一种注册表键值的获取方法及装置
CN114125139A (zh) 信息处理方法和电子设备
CN106470258B (zh) 自动拨号或发送短信的方法和装置
US9986409B2 (en) Method and system for discovering and connecting device for streaming connection with a computerized communication device
CN108363525B (zh) 一种响应网页中用户手势操作的方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant