CN116009751A - 界面元素回显方法和电子设备 - Google Patents

Abstract

本申请提供了一种界面元素回显方法和电子设备，其中，该方法包括：从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同，其所包含的元素的尺寸相同或不同；根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。

Description

界面元素回显方法和电子设备

技术领域

本申请涉及他图像处理技术领域，具体而言，涉及一种界面元素回显方法和电子设备。

背景技术

机器人流程自动化(Robotic Process Automation，简称RPA)技术中，对应用中的元素进行捕获和回显，是完成流程自动化的关键技术。

当前对应用中的元素回显的方法，一般利用操作系统的底层应用程序接口(Application Program Interface，简称API)或者编程语言的特点进行界面元素或者界面结构文档对象化模型树(Document Object Model Tree，简称：DOM Tree)解析，并保存离散的传统特征或DOM Tree，在下次回显时候对元素特征进行匹配就能找到对应元素。此方法中元素特征描述简单，但是在界面结构发生改变的情况下匹配会存在明显误差。

发明内容

本申请的目的在于提供一种界面元素回显方法和电子设备，能够改善当前技术中元素回显中匹配存在误差的情况。

第一方面，本申请提供一种界面元素回显方法，包括：从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同；根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。

在上述实现方式中，通过对界面中的图像元素的捕获，可以获得显示界面中更直观的图像元素，相较于传统特征或DOM Tree能够更好更直观地表达该界面中的各个元素；另外基于图像元素的匹配确定出回显元素，也可以更直观地确定出需要回显的元素，也能够降低元素回显过程中元素匹配的误差，提高回显的准确性。

在可选的实施方式中，所述第一显示界面的各个元素内容与该第二显示界面的各个元素内容的相对位置相同；所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域，包括：从所述第一图像元素集中确定出参考元素；根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域；根据所述参考区域，确定出所述目标图像元素的待选区域；将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。

在上述实施方式中，通过纳入参考元素的限定，可以实现更准确地为目标元素在第二显示界面中进行定位，也能够实现更准确地元素回显。

在可选的实施方式中，所述从所述第一图像元素集中确定出参考元素，包括：根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。

在上述实施方式中，通过基于目标图像元素在第一显示界面中的位置，选出能够对该目标图像元素的位置存在关联的参考元素，从而可以更好地基于参考元素对目标元素进行定位。

在可选的实施方式中，所述根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素，包括：将所述第一图像元素集中的各项图像元素与所述第二图像元素集中的各项图像元素中的各项图像元素进行相似度对比，以确定出所述第一图像元素集中的第一匹配元素集，其中，所述第一匹配元素集中对应所述第二图像元素集中的第二匹配元素集，其中，所述第一匹配元素集的任意一个第一匹配元素与所述第二匹配元素集中的唯一一个第二匹配元素的相似度大于设定阈值；根据所述目标图像元素在第一显示界面中的位置，从所述第一匹配元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。

在上述实施方式中，可以先将第一图像元素集与第二图像元素集进行匹配，从能够与第二图像元素集中图像元素一对一匹配成功的元素中选出参考元素，可以实现参考元素更准确地在第二显示界面，也就能够更准确地实现目标图像元素在第二显示界面的定位。

在可选的实施方式中，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例；根据所述目标缩放比例，调整所述目标图像元素的尺寸，得到调整元素；将所述调整元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。

在可选的实施方式中，所述根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例，包括：从所述第一匹配元素集中随机选出第i样本元素集，其中，i的取值为大于一，小于或等于N的正整数，N为大于一的正整数；根据所述第i样本元素集与所述第i样本元素集在所述第二匹配元素中对应的元素集，构建所述第一显示界面与所述第二显示界面的尺寸关系函数；根据所述目标图像元素与所述尺寸关系函数，确定出所述目标图像元素对应的第i缩放比例；重复上述步骤，得到N项缩放比例，根据第一缩放比例至第N缩放比例，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例。

在上述实施方式中，可以考虑两个阶段的显示界面可能存在尺寸差，例如，一个显示界面使全屏，另一个显示界面是缩小的界面等情况，还可以根据尺寸差先调整尺寸，再进行图像的匹配，可以满足更多场景的回显需求，也能够提高界面元素回显方法的适用性，也能够使用匹配结果也更加的准确。

在可选的实施方式中，所述根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域，包括：确定出所述参考元素在所述第二图像元素中对应的图像元素；根据所述参考元素在所述第二图像元素中对应的图像元素在所述第二显示界面的位置，确定出所述参考元素在所述第二显示界面中的参考区域。

在可选的实施方式中，所述根据所述参考区域，确定出所述目标图像元素的待选区域，包括：根据所述目标图像元素在所述第一显示界面的位置，与所述参考元素在所述第一显示界面中的位置，确定出所述目标图像元素与所述参考元素的相对位置关系；根据所述相对位置关系和所述参考区域，从所述第二显示界面中选出所述目标图像元素的待选区域。

在可选的实施方式中，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：将所述目标图像元素在所述待选区域中各个子区域按照图像匹配方式进行匹配，确定出所述目标图像元素与所述待选区域中各个子区域的图像相似度；将与所述目标图像元素图像相似度最高的子区域作为所述目标区域。

在上述实施方式中，可以在选定待选区域后，通过图像匹配的方式对比目标图像元素与待选区域中各个子区域的图像相似度，从而可以选出该目标图像元素在第二显示界面中的具体区域，从而可以实现更准确性元素回显。

在可选的实施方式中，所述从所述第一图像元素集中确定出参考元素之前，所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域还包括：计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度；若所述第二图像元素集中仅存在一个图像元素与所述目标图像元素的相似度大于设定阈值，则确定所述第二图像元素集中与所述目标图像元素的相似度大于所述设定阈值的图像元素为所述目标图像元素的匹配元素；根据所述匹配元素，在所述第二显示界面中的目标区域。

在上述实施方式中，在使用上述相对复杂的基于参考元素进行回显流程之前，可以先将该目标图像元素与第二图像元素集中的各个图像元素进行相似度的计算，如果能够直接得到唯一匹配的元素，则可以相对更快速地实现元素的回显。如果不能够得到唯一匹配的元素，也能够通过借助参考元素实现目标图像元素的回显，通过两种方式的结合可以在实现效率上的提高的同时也能够实现回显成功率的提高。

在可选的实施方式中，所述计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度，包括：提取所述目标图像元素的目标图像特征；提取所述第二图像元素集中的各个图像元素的图像特征；根据所述目标图像特征，以及所述第二图像元素集中的各个图像元素的图像特征，计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度。

在可选的实施方式中，所述目标图像特征包括：第一目标特征和第二目标特征；或，所述目标图像特征包括第一目标特征；或，所述目标图像特征包括第二目标特征；所述提取所述目标图像元素的目标图像特征，包括：通过神经网络算法，对所述目标图像元素进行特征提取，以得到所述第一目标特征；和/或，通过图像识别的方式识别出所述目标图像元素中携带的第二目标特征。

在上述实施方式中，可以结合多类图像特征的组合，可以更全面地表达该目标图像元素的信息，从而可以使特征相似度的确定也能够更加地准确，从而也就能够使用回显的准确率更高。

第二方面，本申请提供一种界面元素回显装置，包括：第一确定模块，用于从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；捕获模块，用于在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同，其所包含的元素的尺寸相同或不同；第二确定模块，用于根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。

第三方面，本申请提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任意一项所述的方法的步骤。

第四方面，本申请提供本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述界面元素回显方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需5要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实

施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的方框示意图；

图2为本申请实施例提供的界面元素回显方法的流程图；

图3示出了一个实例中的显示界面示意图；

图4为本申请实施例提供的界面元素回显方法的步骤230的可选流程图；

图5a至图5c为本申请实施例提供的一个实例中的显示界面示意图；

图6为本申请实施例提供的界面元素回显方法的步骤236的可选流程图；

图7为本申请实施例提供的界面元素回显装置的功能模块示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦

某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

经发明人研究了解到，传统元素捕获回显方式，是操作系统的底层API5或者编程语言的特点进行界面元素或者界面结构DOM Tree解析，并保存离散的传统特征或DOMTree。例如，对界面中的元素回显可以通过解析超文本标记语言html中的内容，以提取节点信息，如Xpath等，将该节点信息作为特征，在需要回显时，对将从html中提取到的元素特征进行匹配，以找到需要回显的元素。

上述方式方法中的元素特征的描述相对比较简单，但是在显示界面的结构、显示界面的分辨率或者每英寸点数(Dots Per Inch，简称DPI)发生了改变的情况下，对元素的匹配成功率则会降低。而且这种特征提取的方式对应用系统存在一定的攻击性。在另一些情况下，例如，操作系统、或者应用软件升级，就无法使用原来提取的特征进行匹配，需要重新升级后的新环境下重新通过解析html中的内容以得到显示界面中的元素特征。再例如，显示界面在开发编程时用了一些自定的框架或者编程手法特殊，也是无法解析html获得界面元素，也就无法回显元素。

基于发明人对现状的研究，本申请提供的一种界面元素回显方法和电子设备，本申请中的方法只需要当前显示界面中的图像元素，用图像识别的方法完成屏幕元素匹配，可以更直观地确定出需要回显的元素，也能够降低元素回显过程中元素匹配的误差，提高回显的准确性。

在介绍本申请的界面元素回显方法和电子设备之前，先对本申请的界面元素回显方法会涉及到的名词进行介绍：

RPA设计器：模拟用户操作行为，完成应用操作、数据抓取、信息传递等的工作流程设计。RPA设计器通过低代码编写、智能捕获元素、用户界面(User Interface，简称：UI)自动化插件，多开发语言支持、内置光学字符识别(Optical Character Recognition，简称OCR)/计算机视觉(Computer Vision，简称CV)/自然语言处理(Natural LanguageProcessing,简称NLP)等技术，帮助完成业务流程设计；RPA执行器：支持本地或远程部署，替代繁琐的人工操作，在中控平台的调度和控制下，执行自动化工作流程；元素捕获：RPA设计器或者RPA执行器中将显示界面所有元素全部捕获出来；元素回显：RPA设计器中捕获到的一个界面元素在执行器中把该元素找到；高还原场景：RPA设计器阶段和RPA执行器阶段界面呈现的环境相同即为高还原场景，其中，主要是指显示界面的分辨率、DPI、最大最小状态等呈现的环境相同即为高还原场景。

示例性地，本申请的界面元素回显方法可以用在RPA技术中，实现在机器流程自动化过程中实现对界面元素的回显。其中，RPA技术可以模拟员工在日常工作中通过键盘、鼠标对计算机的操作，可以代替人类执行登录系统、操作软件、读写数据、下载文件、读取邮件等操作。以自动化机器人作为企业的虚拟劳动力，可以将员工从重复、低价值的工作中解放出来，将精力投入到高附加值的工作上，从而可以使企业在数字化智能化转型的同时又做到降低成本、增加效益。

RPA是一种使用软件机器人取代业务流程中的人工任务，并且像人一样与计算机的前端系统进行交互，因此RPA可以看作是一种运行在个人PC机或服务器中的软件型程序机器人，通过模仿用户在电脑上进行的操作来替代人类自动重复这些操作，例如检索邮件、下载附件、登录系统、数据加工分析等活动，快速、准确、可靠。虽然和传统的物理机器人一样都是通过设定的具体规则来解决人类工作中速度和准确度的问题，但是传统的物理机器人是软硬件结合的机器人，需要在特定的硬件支持下配合软件才能执行工作；而RPA机器人是纯软件层面的，只要安装了相应的软件，就可以部署到任意一台PC机和服务器中来完成规定的工作。

也就是说，RPA是一种利用“数字员工”代替人进行业务操作的一种方式及其相关的技术。本质上RPA是通过软件自动化技术，模拟人实现计算机上系统、软件、网页和文档等对象的无人化操作，获取业务信息、执行业务动作，最终实现流程自动化处理、人力成本节约和处理效率提升。从描述可知，RPA的核心技术之一就是进行界面元素的捕获与回显，即在获取界面元素的位置和类别后，将获取的界面中的元素在当前显示界面中找到，从而可以模拟人对相应位置的界面元素进行与其类别对应的操作。

为便于对本实施例进行理解，首先对执行本申请实施例所公开的界面元素回显方法的电子设备进行介绍。

如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。

其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。

上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。

上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

本实施例中，该显示单元116可以用来显示需要回显的显示界面，该显示界面中可以包括多个图像元素。

本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述界面元素回显方法的实现过程。

下面结合附图2对本申请实施例提供的界面元素回显方法进行介绍。请参阅图2，是本申请实施例提供的界面元素回显方法的流程图。下面将对图2所示的具体流程进行阐述。

步骤210，从第一图像元素集中确定出目标图像元素。

其中，该第一图像元素集为从第一显示界面中得到的元素集。该第一显示界面可以是一款应用程序中的一个界面。

可选地，可以通过图像识别的方式，识别出第一显示界面中所包含的各个图像元素。示例性地，该图像元素除了包括元素内容，还可以包括图像所在位置，以及各个图像元素之间的相对位置关系。该元素内容可以表示该图像的形状、色彩分布等。该相对位置关系可以用来表征，该图像元素左侧的元素、该图像元素右侧的元素、图像元素上侧的元素、图像元素下侧的元素等。

本实施例中，上述的第一图像元素集的确定可以是在执行步骤210至步骤230之前预先捕获到的第一显示界面中的图像元素。在确定出图像元素集后，后续只要显示界面中的内容不改变，均可以使用该第一图像元素集用于以后的回显。在一个实例中，该第一显示界面可以是RPA设计器中显示的界面，该RPA设计器可以在第一显示界面所包含的第一图像元素集中确定出目标图像元素。

示例性地，该第一图像元素集中各图像元素的类别可以根据该界面实际情况设置为多个类别。例如，显示界面可以包括：文本、图标、图像、滚动条、表格、下拉列表、按钮、日历控件八种元素类别。

如图3所示，图3示出了一个实例中的显示界面示意图。图中示出了文本类别Te1、图标类别Ic1。

步骤220，在第二显示界面中，捕获其包含的第二图像元素集。

其中，该第一显示界面与该第二显示界面中所包含的元素内容相同，其所包含的元素的尺寸可能相同，也可能不同。例如，该第一显示界面可以是全屏显示，该第二显示界面缩小的显示界面，则该第一显示界面中的图像元素相较于第二显示界面中的图像元素更大。

可选地，可以通过图像识别的方式捕获第二显示界面中包含的第二图像元素集。

本实施例中，第二图像元素集中的图像元素与第一图像元素集中的图像元素为一一对应。例如，第一图像元素集中的各个元素可以表示为：F1、F2、F3、…、FM；第二图像元素集中的各个元素可以表示为：S1、S2、S3、…、SM；第一图像元素集中的图像元素Fj与第二图像元素集中的图像元素Sj对应，其中，j为大于或等于一，且小于或等于M的正整数，M为第一图像元素集中所包含的图像元素总数。

第一图像元素集中的图像元素Fj与第二图像元素集中的图像元素Sj对应，表示图像元素Fj与图像元素Sj的内容相同，图像元素Fj与图像元素Sj的尺寸可能相同，也可能不同。以一个文本元素为例，若第一图像元素集中文本元素的字符串为“abc”，则该文本元素在第二图像元素集中对应的元素的字符串也为“abc”，可能不同的是该字符串“abc”显示在第一显示界面与第二显示界面的尺寸。

在一个实例中，该第二显示界面可以是RPA执行器中显示的界面，该RPA执行器可以在第二显示界面找到需要回显的目标图像元素。

步骤230，根据该目标图像元素与该第二图像元素集的匹配关系，以确定出该目标图像元素在该第二显示界面中的目标区域。

目标图像元素的类别不同，匹配的情况可能存在不同，因此不同类别的图像元素可以采用不同的回显方式。

例如，若一图像元素的类别为图标类别，则在第二图像元素集中可能存在多个图标相同而位置不同的图像元素。再例如，若一图像元素的类别为按钮类别，则在第二图像元素集中也可能存在多个按钮形状相同而位置不同的图像元素。例如，若一图像元素的类别为日历控件类别，则在第二图像元素集中可能仅存在一个日历控件的图像元素。

因此，为了满足不同类别的图像元素的回显，可以通过以下步骤231和步骤232实现匹配元素的确定；也可以通过以下步骤233至步骤236实现匹配元素的确定；还可以先通过步骤231和步骤232实现匹配元素的确定，若通过步骤231和步骤232不能够实现匹配元素的确定，再通过步骤233至步骤236实现匹配元素的确定。

示例性地，若选中的目标图像元素的类别为日历控件类别，由于第二图像元素集中可能仅存在一个日历控件的图像元素，则通过步骤231和步骤232与第二图像元素集进行相似度对比时，能够在第二图像元素集确定出能够唯一匹配成功的图像元素，则可以通过步骤231和步骤232的步骤实现匹配元素的确定。当然选中的目标图像元素的类别是与日历控件类别类似，在一个显示界面中仅存在一个与众不同的元素时，则可以通过步骤231和步骤232的步骤实现匹配元素的确定。

示例性地，若选中的目标图像元素的类别为图标类别或按钮类别，由于第二图像元素集中可能仅存在多个类似的图像元素，则通过步骤231和步骤232与第二图像元素集进行相似度对比时，不能够在第二图像元素集确定出能够唯一匹配成功的图像元素，则通过步骤231和步骤232的步骤难以实现匹配元素的确定，则可以通过步骤233至步骤236的方式实现匹配元素的确定。当然选中的目标图像元素的类别是与图标类别类似，在一个显示界面中存在多个相似的元素时，则可以通过步骤233至步骤236的步骤实现匹配元素的确定。

本实施例中，如图4所示，步骤230可以包括步骤231和步骤232。

步骤231，计算该目标图像元素与该第二图像元素集中的各个图像元素的相似度。

若该第二图像元素集中仅存在一个图像元素与该目标图像元素的相似度大于设定阈值，则执行步骤232。

步骤232，确定该第二图像元素集中与该目标图像元素的相似度大于该设定阈值的图像元素为该目标图像元素的匹配元素，并根据该匹配元素，在该第二显示界面中的目标区域。

若该第二图像元素集中不存在图像元素与该目标图像元素的相似度大于设定阈值，或者，该第二图像元素集中存在超过一个图像元素与该目标图像元素的相似度大于设定阈值，则可以执行步骤233。

在一实施方式中，步骤231可以包括：提取该目标图像元素的目标图像特征；提取该第二图像元素集中的各个图像元素的图像特征；根据该目标图像特征，以及该第二图像元素集中的各个图像元素的图像特征，计算该目标图像元素与该第二图像元素集中的各个图像元素的相似度。

示例性地，该目标图像特征可以以图像向量呈现，相似度可以表示两个图像向量的距离。例如，该距离可以是欧氏距离、马氏距离、cosine距离等。

为了适应不同的图像元素的表达需求，对图像元素提取的图像特征可以包括两类图像特征，也可以仅包括其中一类图像特征。

其中，两类图像特征可以分别为：通过神经网络算法提取的第一类图像特征，通过其它方式提取的第二类图像特征。

可选地，不同类别的图像元素该第二类图像特征的内容可以不同，例如，图像元素的类别是图标、图像、滚动条、按钮等图形类别时，则该第二类图像特征可以包括方向梯度直方图(Histogram of Oriented Gradient,HOG)特征、颜色直方图特征等。再例如，图像元素的类别是文本、表格、下拉列表、日历控件等具有字符串的类别时，则该第二类图像特征可以包括使用光学字符识别(Optical Character Recognition，OCR)的识别到的字符特征。

可选地，不同类别的图像元素该第二类图像特征的内容相同，例如，该HOG特征、颜色直方图特征、使用光学字符识别(Optical Character Recognition，OCR)技术的识别到的字符特征。例如，图像元素的类别是图标、图像、滚动条、按钮等图形类别时，则该第二类图像特征可以包括方向梯度直方图(Histogram of Oriented Gradient,HOG)、颜色直方图特征，由于图像元素的类别为图形类别，则其不存在字符串，则该图形类别的字符特征可以用零替代。再例如，图像元素的类别是文本、表格、下拉列表、日历控件等具有字符串的类别时，则该第二类图像特征可以包括HOG特征、颜色直方图特征、使用光学字符识别(OpticalCharacter Recognition，OCR)技术的识别到的字符特征。

该目标图像特征可以包括：第一目标特征和第二目标特征；该目标图像特征也包括仅第一目标特征；该目标图像特征仅包括第二目标特征。

本实施例中，当该目标图像特征包括第一目标特征和第二目标特征时，则提取的该第二图像元素集中的各个图像元素的图像特征也包括两类图像特征；当该目标图像特征仅包括第一目标特征时，则提取的该第二图像元素集中的各个图像元素的图像特征也仅包括第一类图像特征；当该目标图像特征仅包括第二目标特征时，则提取的该第二图像元素集中的各个图像元素的图像特征也仅包括第二类图像特征。

其中，第一目标特征属于第一类图像特征，该第二目标特征属于第二类图像特征。

其中，目标图像元素的第一目标特征通过神经网络算法，对该目标图像元素进行特征提取，以得到该第一目标特征。

上述的神经网络算法可以是基于卷积神经网络(Convolutional NeuralNetworks,CNN)的分类网络算法。

该分类网络算法可以用损失函数控制类间距离和类内距离学习，可以将该分类网络算法使用分类层的前一层的输出结果当作第一目标特征。

上述的第二目标特征可以通过图像识别的方式识别出该目标图像元素中携带的第二目标特征。

例如，该图像识别方式可以是OCR技术。

其中，提取第二图像元素集中的各个图像元素的图像特征所使用的方法与提取目标图像元素所使用的方法相同。

本实施例中，第一显示界面的各个元素内容与该第二显示界面的各个元素内容的相对位置相同。例如，第一图像元素集中的各个图像元素可以表示为：F1、F2、F3、…、FM；第二图像元素集中的各个图像元素可以表示为：S1、S2、S3、…、SM。以图像元素F3和S3为例，图像元素F3在第一显示界面中，该图像元素F3左侧相邻的图像元素为F5，该图像元素F3右侧相邻的图像元素为F2，该图像元素F3上侧相邻的图像元素为F1，该图像元素F3下侧相邻的图像元素为F9；由于第一显示界面的图像元素F3与该第二显示界面的图像元素S3对应，且第一显示界面的图像元素F3与该第二显示界面的图像元素S3的相对位置相同，则图像元素S3在第二显示界面中，该图像元素S3左侧相邻的图像元素为S5，该图像元素S3右侧相邻的图像元素为S2，该图像元素S3上侧相邻的图像元素为S1，该图像元素S3下侧相邻的图像元素为S9。

可再次参阅图4所示，步骤230还可以包括：步骤233至步骤236。

步骤233，从第一图像元素集中确定出参考元素。

示例性地，该参考元素可以是在第一显示界面中位于该目标元素周边的元素。

在一实施方式中，上述的步骤233可以包括：根据该目标图像元素在第一显示界面中的位置，从该第一图像元素集中，确定出在该目标图像元素限定范围内的图像元素作为参考元素。

示例性地，限定范围可以是根据图像元素的尺寸确定出的限定范围。例如，该限定范围可以在第一显示界面中与该目标图像元素的距离不大于两个图像元素之间的距离的范围内。示例性地，限定范围可以是根据具体数值确定出的限定范围。例如，该限定范围可以是第一显示界面中与该目标图像元素的距离不大于设定长度的范围内，该设定长度可以是1cm、3cm等长度。

如图5a至图5c所示，示出了在一个实例中的显示界面示意图。图5a所示的实例可以为第一显示界面的示意图。图5a、图5b和图5c所示的实例可以为第二显示界面的示意图。图5a所示的实例中，示出了多个图标元素(图中示出了四种不同的图标元素)、多个文本元素(图中示出了A1文件、…、A14文件、B1文本、…、B4文本、C1文本、C2文本、D1文档)、一个滚动条元素等。以目标图像元素为“A12文件”的图标元素为例，而该“A12文件”的图标元素周边的元素包括：“A12文件”的文本元素、A5文件”的图标元素、“A5文件”的文本元素、“A11文件”的文本元素、“A11文件”的图标元素等。可以从该“A12文件”的图标元素周边的元素确定出目标图像元素的参考元素。

在另一实施方式中，上述的步骤233可以包括步骤2331和步骤2332。

2331，将该第一图像元素集中的各项图像元素与该第二图像元素集中的各项图像元素中的各项图像元素进行相似度对比，以确定出该第一图像元素集中的第一匹配元素集。

其中，该第一匹配元素集中对应该第二图像元素集中的第二匹配元素集，其中，该第一匹配元素集的任意一个第一匹配元素与该第二匹配元素集中的唯一一个第二匹配元素的相似度大于设定阈值。

其中，该第一匹配元素集中的元素数量小于第一图像元素集中的元素数量。第一匹配元素集中的元素数量与第二匹配元素集中的元素数量相同。

示例性地，可以提取第一图像元素集中的各项图像元素的图像特征，以及提取第二图像元素集中的各项图像元素的图像特征。其中，该图像特征提取方式可以与上述步骤231所涉及的图像特征提取的方式相同，具体可以参阅步骤231中的描述，在此不再赘述。

当然也可以在计算相似度之前，先提取第一图像元素集中的各项图像元素和第二图像元素集中的各项图像元素的图像特征。在需要计算两个图像元素的相似度时，在获取各图像元素的图像特征。

从图像特征上来看，在图5a所示的实例中，由于各个文件图标的图形均相同，各个压缩包的图标也都相同，因此，第一图像元素集中的文件图标元素可能与第二图像元素集多个图像元素的相似度均大于设定阈值。因此，这类图像元素则在步骤2331中不能够被选作第一匹配元素集。

2332，根据该目标图像元素在第一显示界面中的位置，从该第一匹配元素集中，确定出在该目标图像元素限定范围内的图像元素作为参考元素。

在图5a所示的实例中，虽然“A12文件”的图标元素周边的元素包括：“A12文件”的文本元素、“A5文件”的图标元素、“A5文件”的文本元素、“A11文件”的文本元素、“A11文件”的图标元素、“A13文件”的文本元素、“A13文件”的图标元素等。但是由于“A5文件”的图标元素、“A11文件”的图标元素以及“A13文件”的图标元素均为相同的图形，在步骤2331中并不能被选作第一匹配元素集，而“A12文件”的文本元素、“A5文件”的文本元素、“A11文件”的文本元素、“A13文件”的文本元素都具有唯一性，因此，能够被选作第一匹配元素集。在图5a所示的实例中，目标图像元素的参考元素可以被确定为：“A12文件”的图标元素周边的“A12文件”的文本元素、“A5文件”的文本元素、“A11文件”的文本元素、“A13文件”的文本元素等。

步骤234，根据该参考元素确定出该参考元素在该第二显示界面中的参考区域。

其中，该参考区域可以是参考元素对应的第二图像元素集的图像元素在第二显示界面中的区域。

示例性地，可以先确定出该参考元素在该第二图像元素中对应的图像元素；根据该参考元素在该第二图像元素中对应的图像元素在该第二显示界面的位置，确定出该参考元素在该第二显示界面中的参考区域。

示例性地，若该参考元素可以表示为Fp，则参考元素对应的第二图像元素集的图像元素则为Sp。参考元素在该第二显示界面中的参考区域，则可以表示图像元素Sp在第二显示界面的区域。

在图5b所示的实例可以为第二显示界面的示意图，选定的目标图像元素的参考元素为：“A12文件”的图标元素周边的“A12文件”的文本元素、“A5文件”的文本元素、“A11文件”的文本元素、“A13文件”的文本元素时，则各个参考元素在第二显示界面中的参考区域Re1可以为实线框所示区域。

步骤235，根据该参考区域，确定出该目标图像元素的待选区域。

可选地，步骤235可以包括：根据该目标图像元素在该第一显示界面的位置，与该参考元素在该第一显示界面中的位置，确定出该目标图像元素与该参考元素的相对位置关系；根据该相对位置关系和该参考区域，从该第二显示界面中选出该目标图像元素的待选区域。

如图5a所示，目标图像元素为“A12文件”的图标元素，而“A12文件”的图标元素位于“A5文件”的文本元素与“A12文件”的文本元素之间。则可以确定目标图像元素与该参考元素的相对位置关系为，目标图像元素位于其中两个参考元素之间，可以确定两个参考元素的参考区域之间的区域为待选区域。

如图5b所示的实例，由于“A12文件”的图标元素位于“A5文件”的文本元素与“A12文件”的文本元素之间，则可以确定“A5文件”的文本元素的区域与“A12文件”的文本元素的区域之间的区域为待选区域Se1。

步骤236，将该目标图像元素与该待选区域进行匹配，以确定该目标图像元素在该第二显示界面中的目标区域。

从图5b所示的实例中可以了解到，实际选出的待选区域比目标图像元素在该第二显示界面中的目标区域更大。

因此，可以将该目标图像元素的图形在待选区域进行匹配，以确定与该目标图像元素的图形相似度最高的局部区域为目标区域。

如图5c所示，确定出的目标区域Te1为待选区域Se1中的一部分区域。

可选地，上述的步骤236可以包括：将该目标图像元素在该待选区域中各个子区域按照图像匹配方式进行匹配，确定出该目标图像元素与该待选区域中各个子区域的图像相似度；将与该目标图像元素图像相似度最高的子区域作为该目标区域。

示例性地，若第一显示界面与第二显示界面的尺寸相同，则可以目标图像元素的图形与待选区域中各个子区域进行图像比对。确定出该目标图像元素与该待选区域中各个子区域的图像相似度；将与该目标图像元素图像相似度大于图像相似度的图像阈值的子区域确定为目标区域。

示例性地，该图像阈值可以是0.8、0.85、0.9等值。

示例性地，如图6所示，步骤236，可以包括步骤2361至步骤2363。

步骤2361，根据第一图像元素集与第二图像元素集，确定出该目标图像元素在该第二显示界面匹配的目标缩放比例。

由于若显示界面放大或缩小，其显示界面中的各个图像元素也是等比例放大或缩小。因此，目标图像元素在该第二显示界面匹配的目标缩放比例，可以根据第一图像元素中的其它元素在第二显示界面的缩放比例，确定出目标图像元素在该第二显示界面匹配的目标缩放比例。

在一实施方式中，可以从第一匹配元素集中随机出一个图像元素，然后再找到该图像元素在第二匹配元素集中对应的图像元素，计算两个图像元素的缩放比例，从而将该缩放比例确定为目标图像元素在该第二显示界面匹配的目标缩放比例。

在一实施方式中，也可以多次筛选，基于多次筛选出的图像元素在在第二显示界面的缩放比例，确定出目标图像元素在该第二显示界面匹配的目标缩放比例。

示例性地，步骤2361可以包括：从该第一匹配元素集中随机选出第i样本元素集；根据该第i样本元素集与该第i样本元素集在该第二匹配元素中对应的元素集，构建该第一显示界面与该第二显示界面的尺寸关系函数；根据该目标图像元素与该尺寸关系函数，确定出该目标图像元素对应的第i缩放比例。其中，i的取值为大于一，小于或等于N的正整数，N为大于一的正整数。

重复上述步骤，得到N项缩放比例，根据第一缩放比例至第N缩放比例，确定出该目标图像元素在该第二显示界面匹配的目标缩放比例。

示例性地，可以通过最小二乘法构建尺寸关系函数。其中，该尺寸关系函数的自变量可以为第i样本元素集中的各个样本的尺寸参数，该尺寸关系函数的因变量可以为与该第i样本元素集在该第二匹配元素中对应的元素集中各个元素的尺寸参数。

可选地，可以使用ransac方法从第一匹配元素集中随机选出第i样本元素集。

示例性地，步骤2361可以包括：从该第一匹配元素集中随机选出多个样本元素；根据多个样本元素在该第二匹配元素中对应的元素，计算每个样本元素在第二显示界面的缩放比例；根据每个样本元素在第二显示界面的缩放比例，确定出该目标图像元素在第二显示界面的缩放比例。

例如，可以选出多个样本元素中的缩放比例存在频率最高的，作为目标图像元素在第二显示界面的缩放比例。再例如，可以基于多个样本元素中的缩放比例计算平均缩放比例，作为目标图像元素在第二显示界面的缩放比例。

步骤2362，根据该目标缩放比例，调整该目标图像元素的尺寸，得到调整元素。

步骤2363，将该调整元素与该待选区域进行匹配，以确定该目标图像元素在该第二显示界面中的目标区域。

示例性地，可以将该调整元素的图形从待选区域左到右依次进行比对，以确定出目标图像元素在该第二显示界面中的目标区域。当然，也可以将该调整元素的图形从待选区域右到左依次进行比对，以确定出目标图像元素在该第二显示界面中的目标区域。

其中，调整元素的图形每次与待选区域的一个子区域比对完成后，逐步向当前比对的子区域的右边移动，直到能够与待选区域的一个子区域比对成功。其中，调整元素的图形与待选区域的一个子区域的图像相似度大于图像阈值，则可以确定成功与待选区域的一个子区域比对成功。

示例性地，调整元素的图形每次移动的距离可以按需设置，该移动的距离小于调整元素的图形的宽度。例如，调整元素的图形每次移动的距离可以为调整元素的图形的宽度的十分之一、二十分之一等。

考虑到不同阶段的显示界面可能会由于DPI发生了变化，导致目标元素大小发生了缩放，或者界面中自带滚动条，对显示界面中的图像元素进行了缩放；再或者需要回显的元素在显示界面中存在多个外观相同的元素，例如，图5a所示的文件图标，导致元素的回显存在难度。但是通过上述步骤231至步骤236可以在不能通过简单的图像向量直接计算出第二图像元素集中与目标图像元素唯一对应的元素时，还可以基于参考元素的辅助，实现目标图像元素的定位；从而可以兼顾图像元素的定位的效率以及成功率。

基于同一申请构思，本申请实施例中还提供了与界面元素回显方法对应的界面元素回显装置，由于本申请实施例中的装置解决问题的原理与前述的界面元素回显方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。

请参阅图7，是本申请实施例提供的界面元素回显装置的功能模块示意图。本实施例中的界面元素回显装置中的各个模块用于执行上述方法实施例中的各个步骤。界面元素回显装置包括：第一确定模块310、捕获模块320以及第二确定模块330；其中各模块的内容如下所示：

第一确定模块310，用于从第一图像元素集中确定出目标图像元素，其中，该第一图像元素集为从第一显示界面中捕获得到的元素集；

捕获模块320，用于在第二显示界面中，捕获其包含的第二图像元素集，其中，该第一显示界面与该第二显示界面中所包含的元素内容相同；

第二确定模块330，用于根据该目标图像元素与该第二图像元素集的匹配关系，以确定出该目标图像元素在该第二显示界面中的目标区域。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的界面元素回显方法的步骤。

本申请实施例所提供的界面元素回显方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的界面元素回显方法的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，

也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例5如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行

指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也0可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

5另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使

用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请0的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前

述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、5随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种

可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种界面元素回显方法，其特征在于，包括：

从第一图像元素集中确定出目标图像元素，其中，所述第一图像元素集为从第一显示界面中捕获得到的元素集；

在第二显示界面中，捕获其包含的第二图像元素集，其中，所述第一显示界面与所述第二显示界面中所包含的元素内容相同；

根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域。

2.根据权利要求1所述的方法，其特征在于，所述第一显示界面的各个元素内容与该第二显示界面的各个元素内容的相对位置相同；

所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域，包括：

从所述第一图像元素集中确定出参考元素；

根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域；

根据所述参考区域，确定出所述目标图像元素的待选区域；

将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。

3.根据权利要求2所述的方法，其特征在于，所述从所述第一图像元素集中确定出参考元素，包括：

根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标图像元素在第一显示界面中的位置，从所述第一图像元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素，包括：

将所述第一图像元素集中的各项图像元素与所述第二图像元素集中的各项图像元素中的各项图像元素进行相似度对比，以确定出所述第一图像元素集中的第一匹配元素集，其中，所述第一匹配元素集中对应所述第二图像元素集中的第二匹配元素集，所述第一匹配元素集的任意一个第一匹配元素与所述第二匹配元素集中的唯一一个第二匹配元素的相似度大于设定阈值；

根据所述目标图像元素在第一显示界面中的位置，从所述第一匹配元素集中，确定出在所述目标图像元素限定范围内的图像元素作为参考元素。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：

根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例；

根据所述目标缩放比例，调整所述目标图像元素的尺寸，得到调整元素；

将所述调整元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像元素集与所述第二图像元素集，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例，包括：

从所述第一匹配元素集中随机选出第i样本元素集，其中，i的取值为大于一，小于或等于N的正整数，N为大于一的正整数；

根据所述第i样本元素集与所述第i样本元素集在所述第二匹配元素中对应的元素集，构建所述第一显示界面与所述第二显示界面的尺寸关系函数；

根据所述目标图像元素与所述尺寸关系函数，确定出所述目标图像元素对应的第i缩放比例；

重复上述步骤，得到N项缩放比例，根据第一缩放比例至第N缩放比例，确定出所述目标图像元素在所述第二显示界面匹配的目标缩放比例。

7.根据权利要求2所述的方法，其特征在于，所述根据所述参考元素确定出所述参考元素在所述第二显示界面中的参考区域，包括：

确定出所述参考元素在所述第二图像元素中对应的图像元素；

根据所述参考元素在所述第二图像元素中对应的图像元素在所述第二显示界面的位置，确定出所述参考元素在所述第二显示界面中的参考区域。

8.根据权利要求2所述的方法，其特征在于，所述根据所述参考区域，确定出所述目标图像元素的待选区域，包括：

根据所述目标图像元素在所述第一显示界面的位置，与所述参考元素在所述第一显示界面中的位置，确定出所述目标图像元素与所述参考元素的相对位置关系；

根据所述相对位置关系和所述参考区域，从所述第二显示界面中选出所述目标图像元素的待选区域。

9.根据权利要求2所述的方法，其特征在于，所述将所述目标图像元素与所述待选区域进行匹配，以确定所述目标图像元素在所述第二显示界面中的目标区域，包括：

将所述目标图像元素在所述待选区域中各个子区域按照图像匹配方式进行匹配，确定出所述目标图像元素与所述待选区域中各个子区域的图像相似度；

将与所述目标图像元素图像相似度最高的子区域作为所述目标区域。

10.根据权利要求2所述的方法，其特征在于，所述从所述第一图像元素集中确定出参考元素之前，所述根据所述目标图像元素与所述第二图像元素集的匹配关系，以确定出所述目标图像元素在所述第二显示界面中的目标区域，还包括：

计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度；

若所述第二图像元素集中仅存在一个图像元素与所述目标图像元素的相似度大于设定阈值，则确定所述第二图像元素集中与所述目标图像元素的相似度大于所述设定阈值的图像元素为所述目标图像元素的匹配元素；

根据所述匹配元素，在所述第二显示界面中的目标区域。

11.根据权利要求10所述的方法，其特征在于，所述计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度，包括：

提取所述目标图像元素的目标图像特征；

提取所述第二图像元素集中的各个图像元素的图像特征；

根据所述目标图像特征，以及所述第二图像元素集中的各个图像元素的图像特征，计算所述目标图像元素与所述第二图像元素集中的各个图像元素的相似度。

12.根据权利要求11所述的方法，其特征在于，所述目标图像特征包括：第一目标特征和第二目标特征；或，所述目标图像特征包括第一目标特征；或，所述目标图像特征包括第二目标特征；

所述提取所述目标图像元素的目标图像特征，包括：

通过神经网络算法，对所述目标图像元素进行特征提取，以得到所述第一目标特征；和/或，

通过图像识别的方式识别出所述目标图像元素中携带的第二目标特征。

13.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至12任意一项所述的方法的步骤。

Images