CN115291992A - 图形用户界面图片辅助标注方法、电子设备及储存介质 - Google Patents

图形用户界面图片辅助标注方法、电子设备及储存介质 Download PDF

Info

Publication number
CN115291992A
CN115291992A CN202210971356.4A CN202210971356A CN115291992A CN 115291992 A CN115291992 A CN 115291992A CN 202210971356 A CN202210971356 A CN 202210971356A CN 115291992 A CN115291992 A CN 115291992A
Authority
CN
China
Prior art keywords
picture
area
user interface
target picture
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210971356.4A
Other languages
English (en)
Other versions
CN115291992B (zh
Inventor
黄博
周俊焘
张泉
周元剑
周健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hongji Information Technology Co Ltd
Original Assignee
Shanghai Hongji Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hongji Information Technology Co Ltd filed Critical Shanghai Hongji Information Technology Co Ltd
Priority to CN202210971356.4A priority Critical patent/CN115291992B/zh
Publication of CN115291992A publication Critical patent/CN115291992A/zh
Application granted granted Critical
Publication of CN115291992B publication Critical patent/CN115291992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种图形用户界面图片辅助标注方法、电子设备及储存介质，通过图形用户界面匹配计算前处理方法和后处理方法，根据模板图片，计算目标图片中与模板完全相同的部分，将相同的地方抹去，无需标注，并将模板中的标注复制到目标图片中去，以此对图形用户界面中完全相同的部分减少重复标注，大大降低标注工作量，减小图形用户界面的元素标注成本，提高图形用户界面的解析效率。

Description

图形用户界面图片辅助标注方法、电子设备及储存介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图形用户界面匹配计算前处理方法、图形用户界面匹配计算后处理方法、图形用户界面图片辅助标注方法、电子设备及计算机储存介质。
背景技术
图形用户界面(Graphical User Interface，简称GUI)，是指采用图形方式显示的计算机操作用户界面。图形用户界面结合了计算机科学、美学、心理学、行为学，及各商业领域需求分析的人机系统工程，强调人—机—环境三者作为一个系统进行总体设计。
在对图形用户界面进行用户界面设计和界面学习的过程中，往往需要对图形用户界面的图片进行解析，以此获得图形用户界面的图片元素如图片属性等信息。其中，在进行图形用户界面的解析时，首先需要对底层元素进行解析。目前流行的方法是深度学习，但深度学习需要依赖于大量的图片标注。
而对于同一个应用的图形用户界面截图，其中有大量的部分是完全一样的。若是对图形用户界面中完全相同的部分进行重复标注，这会带来较大的标注工作量，增加图形用户界面的元素标注成本，降低图形用户界面的解析效率。
发明内容
为了解决上述问题，本申请提出一种图形用户界面匹配计算前处理方法、图形用户界面匹配计算后处理方法、图形用户界面图片辅助标注方法、电子设备及计算机储存介质。
本申请一方面，提出一种图形用户界面匹配计算前处理方法，包括如下步骤：
获取目标图片和模板图片；
根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域；
从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理；
根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图。
作为本申请的一种可选实施方案，可选地，所述获取目标图片和模板图片，包括：
获取若干图形用户界面图片；
根据预设分类原则，从所述图形用户界面图片中，选择出一张所述图形用户界面图片，作为所述模板图片；
将剩余的所述图形用户界面图片，作为与所述模板图片相对应的所述目标图片。
作为本申请的一种可选实施方案，可选地，根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域，包括：
将所述模板图片与每一张所述目标图片，依次进行重叠放置；
对所述模板图片和所述目标图片上的重叠区域，对比判断两者的重叠区域的像素是否相匹配；
获取像素相匹配的重叠区域，作为所述模板图片和所述目标图片之间的匹配区域；
基于上述步骤，获取每种重叠放置方法中的匹配区域。
作为本申请的一种可选实施方案，可选地，从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理，包括：
计算每种重叠放置方法中的匹配区域的区域面积；
获取面积最大的匹配区域及其对应的重叠放置方法，将面积最大的匹配区域作为所述最优匹配区域；
根据预设缩放比例，对所述最优匹配区域进行缩减处理，得到缩放处理后的所述最优匹配区域。
作为本申请的一种可选实施方案，可选地，根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图，包括：
根据缩放处理后的所述最优匹配区域，在所述目标图片中找到与所述最优匹配区域相对应的位置区域；
对所述目标图片中的位置区域进行标记处理，得到位于所述目标图片中的标记区域；
将所述目标图片中的未标记区域，确定为所述目标图片中的待标注剩余图。
本申请另一方面，提出一种图形用户界面匹配计算后处理方法，包括如下步骤：
输入模板图片和目标图片；
基于所述的图形用户界面匹配计算前处理方法，获得最优匹配区域；
基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注。
作为本申请的一种可选实施方案，可选地，基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注，包括：
根据所述最优匹配区域的区域位置，获取所述模板图片中与所述最优匹配区域相对应的区域位置内的标注；
根据所述最优匹配区域，获取所述目标图片中的待标注剩余图的标注；
将所述模板图片中的与所述最优匹配区域相对应的区域位置内的标注，粘贴到所述目标图片中的与所述最优匹配区域相对应的区域位置中，并结合所述目标图片中的待标注剩余图的标注，共同生成所述目标图片的标注。
本申请另一方面，还提出一种图形用户界面图片辅助标注方法，包括如下步骤：
输入若干图形用户界面图片；
基于所述的图形用户界面匹配计算前处理方法，从图形用户界面图片中确定出模板图片和目标图片，并计算得到所述目标图片中的待标注剩余图；
将所述模板图片和所述待标注剩余图，分别进行标注；
基于所述的图形用户界面匹配计算前处理方法，将模板图片中的与所述最优匹配区域相对应的区域位置内的标注，与所述待标注剩余图中的标注相结合，共同生成所述目标图片的标注；
基于上述步骤，确定出每张所述目标图片的标注。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的方法。
本申请另一方面，还提出一种计算机储存介质，所述计算机储存介质上存储有计算机程序，所述程序被处理器执行时实现所述的方法。
本申请另一方面，还提出一种图形用户界面匹配计算前处理装置，包括：
第一获取模块，用于获取目标图片和模板图片；
重叠放置模块，用于根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域；
缩放处理模块，用于从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理；
标记模块，用于根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图。
本申请另一方面，还提出一种图形用户界面匹配计算后处理装置，包括：
第二获取模块，用于输入模板图片和目标图片；
最优匹配模块，用于基于所述的图形用户界面匹配计算前处理方法，获得最优匹配区域；
标注生成模块，用于基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注。
本申请另一方面，还提出一种图形用户界面图片辅助标注装置，包括：
图片输入模块，用于输入若干图形用户界面图片；
计算模块，用于基于所述的图形用户界面匹配计算前处理方法，从图形用户界面图片中确定出模板图片和目标图片，并计算得到所述目标图片中的待标注剩余图；
标注模块，用于将所述模板图片和所述待标注剩余图，分别进行标注；
目标生成模块，用于基于所述的图形用户界面匹配计算前处理方法，将模板图片中的与所述最优匹配区域相对应的区域位置内的标注，与所述待标注剩余图中的标注相结合，共同生成所述目标图片的标注；以及，基于上述步骤，确定出每张所述目标图片的标注。本申请通过图形用户界面匹配计算前处理方法和后处理方法，根据模板图片，计算目标图片中与模板完全相同的部分，将相同的地方抹去(无需标注)，并将模板中的标注复制到目标图片中去，以此对图形用户界面中完全相同的部分减少重复标注，大大降低标注工作量，减小图形用户界面的元素标注成本，提高图形用户界面的解析效率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明图形用户界面匹配计算前处理方法的实施流程示意图；
图2示出为本发明通过前处理得到的模板图片；
图3示出为本发明通过前处理得到的目标图片；
图4示出为本发明被抹黑标记的目标图片；
图5示出为本发明电子设备的应用组成示意图；
图6示出为本发明图形用户界面匹配计算前处理装置的应用组成示意图；
图7示出为本发明图形用户界面匹配计算后处理装置的应用组成示意图；
图8示出为本发明图形用户界面图片辅助标注装置的应用组成示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
本申请通过图形用户界面匹配计算前处理方法和后处理方法，根据模板图片，计算目标图片中与模板完全相同的部分，将相同的地方抹去(无需标注)，并将模板中的标注复制到目标图片中去，以此对图形用户界面中完全相同的部分减少重复标注。
下述本实施例中，图形用户界面应用系统/软件等，本实施例不做具体限定。
如图1所示，本申请一方面，提出一种图形用户界面匹配计算前处理方法，包括如下步骤：
S1、获取目标图片和模板图片；
目标图片和模板图片，是在根据输入的图形用户界面图片进行筛分确定的，在每一次尝试中，尝试的对象就是模板图片，其他所有图片就是目标图片。
作为本申请的一种可选实施方案，可选地，所述获取目标图片和模板图片，包括：
获取若干图形用户界面图片；
图形用户界面图片可以是预先储存在数据库的图片，也可以是现场截取的图形用户界面图片。若干图形用户界面图片，可以由用户直接输入大量同应用但不同图形用户界面状态的图片，其具体应用界面，不做要求。
根据预设分类原则，从所述图形用户界面图片中，选择出一张所述图形用户界面图片，作为所述模板图片；
在图形用户界面图片中，尝试将每一张图片作为模板，在每一次尝试中，尝试的对象就是模板图片，其他所有图片就是目标图片。其中，预设分类原则由用户具体设定，本实施例，不进行限定。比如用户可以根据项目经验选择作为模板图片的选定规则。
将剩余的所述图形用户界面图片，作为与所述模板图片相对应的所述目标图片。
初次选定好模板图片后，将模板图片和作为目标图片的剩余图片中的每一张图片进行尝试、对比，进行下一步的处理工作。
S2、根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域；
因为在图形用户界面变化时，如缩放、拉伸或者点击图形用户界面时)，会存在如下情况：
(1)缩放、拉伸或者点击图形用户界面时，图形用户界面的整体是不变的，若是仅有新的窗口生成，则部分窗口的消失部分会受影响；
(2)拉伸或者缩放时，图形元素的分辨率可能变化、也可能不变；但在仅考虑元素分辨率不变的情况(大多数情况)，变化后的元素一定和变化前的元素会保持一定的对齐关系：左/中/右对齐。
因此，本处根据模板图片，计算目标图片中与模板完全相同的部分。本实施例，需要设定不同的重叠放置方法，将每一张目标图片和模板图片进行重叠放置，获取重叠的匹配区域。不同的重叠放置方法，可以根据用户的习惯或者预设规则进行设定，以此求得重叠区域的最优匹配方法以及对应的最优匹配区域。
本实施例，设置有如下集中重叠放置方法：
(1)水平上：左/中/右三种对齐方式；
(2)竖直上：上/中/下三种对齐方式；
通过组合，可以得到9种放置方法，左上对齐、左中对齐、左下对齐；中上对齐、中中对齐、中下对齐；右上对齐、右中对齐、右下对齐。放置后，为了便于计算重叠区域面积(像素点)，只考虑两张图片都有像素的地方(只要图片大小不等，就会部分重叠)。
作为本申请的一种可选实施方案，可选地，根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域，包括：
将所述模板图片与每一张所述目标图片，依次进行重叠放置；
按照上述的重叠放置方法，分别将所述模板图片与每一张所述目标图片，依次进行重叠放置，重叠后，两个图片上都有像素的地方(重叠区域可以通过比如光影技术进行对比发现)，会出现重叠区域，只不过不同的重叠放置方法，模板图片与目标图片的重叠区域的面积是不同的。
对所述模板图片和所述目标图片上的重叠区域，对比判断两者的重叠区域的像素是否相匹配；
重叠区域的具体体现，在于两个图片上的像素点的对比，对重叠区域(都有像素的地方)，逐个像素进行对比，如果完全相同，则认为该像素匹配。图片是若干像素点构成的，因此得到所有匹配的像素，则可以构成所述重叠区域。对比判断两者的重叠区域的像素是否相匹配的方式，可以在计算机上直接对比判断，或者用户进行人为判断处理。
获取像素相匹配的重叠区域，作为所述模板图片和所述目标图片之间的匹配区域；
通过上述像素对比判断的方式，获得模板图片和每一张所述目标图片之间的重叠区域的匹配区域，并基于上述步骤，计算并获取每种重叠放置方法中的匹配区域。
即在不同的重叠放置方法中，分别获取模板图片和每一张所述目标图片之间的重叠区域的匹配区域。优选采用计算机计算，节省前处理时间。
S3、从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理；
本实施例，需要选择出最优模板图片，进行标注和与目标图片的对比计算。
因此，本实施例需要通过前处理方法，从所有的重叠区域的匹配区域中，得到最优匹配区域。最优匹配区域，即在不同的重叠放置方法中，重叠区域面积最大(重叠像素的数量最多)的匹配区域。以此将最优匹配区域所对应的重叠放置方法，作为最佳的图片重叠方式，且以最优匹配区域所对应的模板图片，作为所选择的最优模板图片。
作为本申请的一种可选实施方案，可选地，从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理，包括：
计算每种重叠放置方法中的匹配区域的区域面积；
在不同的重叠放置方法中，计算每种方法下的匹配区域的区域面积，比如第一种、第二种......第n种，分别表示为：s1，s2......sn。面积计算的方式优选计算机计算，具体计算方式不做限制。
获取面积最大的匹配区域及其对应的重叠放置方法，将面积最大的匹配区域作为所述最优匹配区域；
从得到的每种方法下的匹配区域的区域面积s1、s2......sn中，计算其中的最大值如Max{s1，s2......sn}，得到重叠区域面积最大的匹配区域，以及对应的重叠放置方法。该方法对应获得的去陪区域即作为最优匹配区域，用于确定出最优模板图片。
根据预设缩放比例，对所述最优匹配区域进行缩减处理，得到缩放处理后的所述最优匹配区域。
最优匹配区域，实际上是由若干像素点组成的，在实际应用中，可能存在如下缺陷：
(1)离散像素的匹配很有可能是巧合：比如两个字，就算不是同一个字，也会有一些像素的相同的，但这些像素肯定是离散的，也就是不会一大块(整个字)像素完全相同。因此需要把离散像素的匹配给去掉。
(2)最紧像素有些突兀：因为不匹配区域肯定是最紧的，比如两个字不匹配，除了两个字外，周边的东西都是匹配的，所有不匹配区域就是这两个字的位置，但太紧了，不利于标注。因此需要把不匹配区域边缘扩展(膨胀操作)一点，使像素的边界更加明显。
用户根据像素情况，自行设定预设缩放比例，决定对所述最优匹配区域进行缩减处理。本实施例，优选将对匹配区域缩减、对不匹配区域扩展。其中，不匹配区域指重叠区域中除了匹配区域以外的区域：对不匹配区域进行膨胀操作(比如核11，11)，以此得到缩放处理后的所述最优匹配区域。
S4、根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图。
根据缩放处理后的所述最优匹配区域，对应处理模板图片和目标图片的位置区域的像素。
在前处理阶段中，因此本实施例需要将相同的地方抹去(无需标注)，并将模板图片中的标注复制到目标图片中去。所以根据缩放处理后的所述最优匹配区域，对所述目标图片中的相对应位置区域，进行标记处理，未标记区域即作为所述目标图片的待标注剩余图，等待将模板图片上对应区域的标注粘贴在待标注剩余图中，实现目标图片的批量标准，提高批注效率。
作为本申请的一种可选实施方案，可选地，根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图，包括：
根据缩放处理后的所述最优匹配区域，在所述目标图片中找到与所述最优匹配区域相对应的位置区域；
对所述目标图片中的位置区域进行标记处理，得到位于所述目标图片中的标记区域；
将所述目标图片中的未标记区域，确定为所述目标图片中的待标注剩余图。
上述实施步骤中，缩放处理后的所述最优匹配区域的位置已经确定，可以根据确定的区域位置，从目标图片中找到与所述最优匹配区域相对应的位置区域，然后进行标记处理，本实施例，优选采用抹黑的方式，将该位置区域进行标记。目标图片中没有被抹黑的区域确定为目标图片的待标注剩余图。
经过图形用户界面匹配计算前处理方式，得到了最优匹配区域，可以确定最优模板图片，以及目标图片的待标注剩余图。
本实施例，还可以按照上述图形用户界面匹配计算前处理方法，设计并生成对应的图形用户界面匹配计算前处理模型，便于用户调用。模型设计构建，根据上述技术原理进行设计，本处不再赘述。
上述前处理方式准备完毕，经过下述图形用户界面匹配计算后处理方法，可以开始进行图像界面图片标注处理。
本申请另一方面，提出一种图形用户界面匹配计算后处理方法，包括如下步骤：
输入模板图片和目标图片；输入的模板图片和目标图片，是具有模板图片标注和待标注剩余图(目标图片)标注的图片。具体标注的节点，可以是在确定最优模板图片时，对最优模板图片和目标图片中的待标注剩余图，进行人工标注(比如类别与位置框)。
基于所述的图形用户界面匹配计算前处理方法，获得最优匹配区域；输入后，根据图形用户界面匹配计算前处理模型，得到最优匹配区域。此时可以确定最优匹配区域所对应的最优模板图片中的标注，以及最优匹配区域所对应的目标图片中的待标注区域位置(抹黑区域，因为未抹黑为已经标注的待标注剩余图)。
基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注。在模板图片中，将模板图片中与目标图片匹配区域的标注，粘贴到目标图片对应的位置中，这样待标注剩余图的标注+目标图片匹配区域的标注，就可以得到目标图片的标注。
作为本申请的一种可选实施方案，可选地，基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注，包括：
根据所述最优匹配区域的区域位置，获取所述模板图片中与所述最优匹配区域相对应的区域位置内的标注；
根据所述最优匹配区域，获取所述目标图片中的待标注剩余图的标注；
将所述模板图片中的与所述最优匹配区域相对应的区域位置内的标注，粘贴到所述目标图片中的与所述最优匹配区域相对应的区域位置中，并结合所述目标图片中的待标注剩余图的标注，共同生成所述目标图片的标注。
上述实施方式，简单说，即根据所述最优匹配区域的区域位置，将与所述最优匹配区域的区域位置相对应的模板图片中的标注，粘贴复制在与所述最优匹配区域的区域位置相对应的目标图片(抹黑区域)上，实现抹黑区域(待标注图，与待标注剩余图相对应)的批注处理，以此实现批量的批注处理操作。大量减少图形用户界面的元素标注成本(可以降低至2/3)，可以快速地处理大量的图片。
同理，为了便于用户调用，本处的图形用户界面匹配计算后处理方法，还可以按照上述图形用户界面匹配计算前处理模型的设计方式，按照上述图形用户界面匹配计算后处理方法，设计并生成对应的图形用户界面匹配计算后处理模型，便于用户调用。模型设计构建，根据上述技术原理进行设计，本处不再赘述。
基于上述图形用户界面匹配计算前处理模型和图形用户界面匹配计算后处理模型，可以便于用户进行图形用户界面图片辅助标注。
本申请另一方面，还提出一种图形用户界面图片辅助标注方法，包括如下步骤：
输入若干图形用户界面图片；输入大量同应用不同图形用户界面状态的图片，作为初始待标注的图片。
基于所述的图形用户界面匹配计算前处理方法，从图形用户界面图片中确定出模板图片和目标图片，并计算得到所述目标图片中的待标注剩余图；本发明选择最优模板图片：尝试将每一张图片作为模板，计算它对于所有图片的最优匹配面积和，最优匹配的面积采用上述图形用户界面匹配计算前处理方式得到，在每一次尝试中，尝试的对象就是模板图片，其他所有图片就是目标图片。取最优匹配区域和最大的图片作为最优模板图片，剩余图片作为目标图片，为每张剩余图片(除了上述选出的模板图片以外的图片，即非模板图片，也即目标图片)计算相对于最优模板图片的待标注剩余图，将所述模板图片和所述待标注剩余图，分别进行标注(抹黑处理)。其中，根据图形用户界面匹配计算前处理方法，就选择出的最优模板图片，和对应的目标图片，获得目标图片的待标注剩余图，对于每个可能的模板图片在上述步骤中已经执行了图形用户界面匹配计算前处理方式，因此，在本步骤中无需再对最优模板图片执行。选择最优模板图片和待标注剩余图的方式具体参见上述图形用户界面匹配计算前处理方法。
基于所述的图形用户界面匹配计算前处理方法，将模板图片中的与所述最优匹配区域相对应的区域位置内的标注，与所述待标注剩余图中的标注相结合，共同生成所述目标图片的标注；
根据最优模板图片，待标注剩余图，进行人工标注(类别与位置框)。标注后，执行图形用户界面匹配计算后处理方法，根据最优模板图片的标注，待标注剩余图的标注，得到目标图片的标注。具体参见图形用户界面匹配计算后处理方法。
针对于一个目标图片来说，根据图形用户界面匹配计算后处理，就可以得到这个目标图片的标注。由于在得到最优模板图片的过程中，已经执行了图形用户界面匹配计算后处理中的最优模板图片获取过程了，因此，此处不需要重复执行了。
基于上述步骤，确定出每张所述目标图片的标注。
如图2所示，用户输入一批待标注的同应用不同图形用户界面状态的图片，执行前处理，得到模板图片。如图3所示，为相对应的目标图片。
如图4所示，为被抹黑的目标图片。通过本方式处理图片，返回所有待标注剩余图片，其中无需标注的部分被抹黑了。
用户标注待标注剩余图片里的元素，将标注再次输入给本系统，执行后处理，经过计算，输出所有原始图片的标注。
通过上述步骤的实施原理，对每张目标进行批量标注处理，实现批量元素标注、高效处理，节省成本，减少工作量。
需要说明的是，尽管以几种重叠布置方法作为示例介绍了如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定重叠放置方式，只要可以按照上述技术方法实现本申请的技术功能即可。
显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述图形用户界面弹窗处理方法的实施例的流程。上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例2
如图5所示，本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的方法。
本公开实施例来电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面实施例1中所述的图形用户界面匹配计算前处理方法、图形用户界面匹配计算后处理方法或图形用户界面图片辅助标注方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的电子设备中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种图形用户界面图片辅助标注方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
实施例3
本申请另一方面，还提出一种计算机储存介质，所述计算机储存介质上存储有计算机程序，所述程序被处理器执行时实现实施例1所述的各种方法。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种图形用户界面匹配计算前处理方法或者图形用户界面匹配计算后处理方法或者图形用户界面图片辅助标注方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
实施例4
本实施例，基于实施例1的实施例原理，本实施例对应提供对应的实施装置。
如图6所示，本申请另一方面，还提出一种图形用户界面匹配计算前处理装置，包括：
第一获取模块，用于获取目标图片和模板图片；
重叠放置模块，用于根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域；
缩放处理模块，用于从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理；
标记模块，用于根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图。
上述第一获取模块、重叠放置模块、缩放处理模块和标记模块的具体功能、应用方法和原理，具体参见实施例1的描述，本实施例不作赘述。
如图7所示，本申请另一方面，还提出一种图形用户界面匹配计算后处理装置，包括：
第二获取模块，用于输入模板图片和目标图片；
最优匹配模块，用于基于所述的图形用户界面匹配计算前处理方法，获得最优匹配区域；
标注生成模块，用于基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注。
上述第二获取模块、最优匹配模块和标注生成模块的具体功能、应用方法和原理，具体参见实施例1的描述，本实施例不作赘述。
如图8所示，本申请另一方面，对应还提出一种图形用户界面图片辅助标注装置，包括：
图片输入模块，用于输入若干图形用户界面图片；
计算模块，用于基于所述的图形用户界面匹配计算前处理方法，从图形用户界面图片中确定出模板图片和目标图片，并计算得到所述目标图片中的待标注剩余图；
标注模块，用于将所述模板图片和所述待标注剩余图，分别进行标注；
目标生成模块，用于基于所述的图形用户界面匹配计算前处理方法，将模板图片中的与所述最优匹配区域相对应的区域位置内的标注，与所述待标注剩余图中的标注相结合，共同生成所述目标图片的标注；以及，基于上述步骤，确定出每张所述目标图片的标注。
上述图片输入模块、计算模块、标注模块和目标生成模块的功能原理和技术实施原理，具体参见实施例1的描述，本来不再赘述。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种图形用户界面匹配计算前处理方法，其特征在于，包括如下步骤：
获取目标图片和模板图片；
根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域；
从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理；
根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图。
2.根据权利要求1所述的图形用户界面匹配计算前处理方法，其特征在于，所述获取目标图片和模板图片，包括：
获取若干图形用户界面图片；
根据预设分类原则，从所述图形用户界面图片中，选择出一张所述图形用户界面图片，作为所述模板图片；
将剩余的所述图形用户界面图片，作为与所述模板图片相对应的所述目标图片。
3.根据权利要求1所述的图形用户界面匹配计算前处理方法，其特征在于，根据不同的重叠放置方法，将所述目标图片和所述模板图片进行重叠放置，获得每种重叠放置方法中的匹配区域，包括：
将所述模板图片与每一张所述目标图片，依次进行重叠放置；
对所述模板图片和所述目标图片上的重叠区域，对比判断两者的重叠区域的像素是否相匹配；
获取像素相匹配的重叠区域，作为所述模板图片和所述目标图片之间的匹配区域；
基于上述步骤，获取每种重叠放置方法中的匹配区域。
4.根据权利要求1所述的图形用户界面匹配计算前处理方法，其特征在于，从所有的匹配区域中，获取最优匹配区域，并对所述最优匹配区域进行缩放处理，包括：
计算每种重叠放置方法中的匹配区域的区域面积；
获取面积最大的匹配区域及其对应的重叠放置方法，将面积最大的匹配区域作为所述最优匹配区域；
根据预设缩放比例，对所述最优匹配区域进行缩减处理，得到缩放处理后的所述最优匹配区域。
5.根据权利要求1所述的图形用户界面匹配计算前处理方法，其特征在于，根据缩放处理后的所述最优匹配区域，对所述目标图片中相对应的位置区域进行标记处理，并将未标记的位置区域作为所述目标图片的待标注剩余图，包括：
根据缩放处理后的所述最优匹配区域，在所述目标图片中找到与所述最优匹配区域相对应的位置区域；
对所述目标图片中的位置区域进行标记处理，得到位于所述目标图片中的标记区域；
将所述目标图片中的未标记区域，确定为所述目标图片中的待标注剩余图。
6.一种图形用户界面匹配计算后处理方法，其特征在于，包括如下步骤：
输入模板图片和目标图片；
基于权利要求1-5中任一项所述的图形用户界面匹配计算前处理方法，获得最优匹配区域；
基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注。
7.根据权利要求6所述的图形用户界面匹配计算后处理方法，其特征在于，基于所述最优匹配区域，将所述模板图片中的标注与所述目标图片中的标注相结合，共同生成所述目标图片的标注，包括：
根据所述最优匹配区域的区域位置，获取所述模板图片中与所述最优匹配区域相对应的区域位置内的标注；
根据所述最优匹配区域，获取所述目标图片中的待标注剩余图的标注；
将所述模板图片中的与所述最优匹配区域相对应的区域位置内的标注，粘贴到所述目标图片中的与所述最优匹配区域相对应的区域位置中，并结合所述目标图片中的待标注剩余图的标注，共同生成所述目标图片的标注。
8.一种图形用户界面图片辅助标注方法，其特征在于，包括如下步骤：
输入若干图形用户界面图片；
基于权利要求1-5中任一项所述的图形用户界面匹配计算前处理方法，从图形用户界面图片中确定出模板图片和目标图片，并计算得到所述目标图片中的待标注剩余图；
将所述模板图片和所述待标注剩余图，分别进行标注；
基于权利要求6-7中任一项所述的图形用户界面匹配计算前处理方法，将模板图片中的与所述最优匹配区域相对应的区域位置内的标注，与所述待标注剩余图中的标注相结合，共同生成所述目标图片的标注；
基于上述步骤，确定出每张所述目标图片的标注。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1-8中任一项所述的方法。
10.一种计算机储存介质，其特征在于，所述计算机储存介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-8中任一项所述的方法。
CN202210971356.4A 2022-07-28 2022-07-28 图形用户界面图片辅助标注方法、电子设备及储存介质 Active CN115291992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210971356.4A CN115291992B (zh) 2022-07-28 2022-07-28 图形用户界面图片辅助标注方法、电子设备及储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971356.4A CN115291992B (zh) 2022-07-28 2022-07-28 图形用户界面图片辅助标注方法、电子设备及储存介质

Publications (2)

Publication Number Publication Date
CN115291992A true CN115291992A (zh) 2022-11-04
CN115291992B CN115291992B (zh) 2023-12-05

Family

ID=83830550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971356.4A Active CN115291992B (zh) 2022-07-28 2022-07-28 图形用户界面图片辅助标注方法、电子设备及储存介质

Country Status (1)

Country Link
CN (1) CN115291992B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN110737785A (zh) * 2019-09-10 2020-01-31 华为技术有限公司 一种图片标注的方法及装置
CN111598128A (zh) * 2020-04-09 2020-08-28 腾讯科技（上海）有限公司 用户界面的控件状态识别、控制方法、装置、设备及介质
CN113342236A (zh) * 2020-02-18 2021-09-03 北京四维图新科技股份有限公司 一种数据处理方法和装置、电子设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN110737785A (zh) * 2019-09-10 2020-01-31 华为技术有限公司 一种图片标注的方法及装置
CN113342236A (zh) * 2020-02-18 2021-09-03 北京四维图新科技股份有限公司 一种数据处理方法和装置、电子设备、存储介质
CN111598128A (zh) * 2020-04-09 2020-08-28 腾讯科技（上海）有限公司 用户界面的控件状态识别、控制方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115291992B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
JP4782105B2 (ja) 画像処理装置及び画像処理方法
CN114820398B (zh) 基于扩散模型的图片字体替换方法、系统、设备和介质
CN109377445A (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN109035370B (zh) 一种图片标注方法与系统
CN108762740B (zh) 页面数据的生成方法、装置及电子设备
CN109785256A (zh) 一种图像处理方法、终端设备及计算机可读介质
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN113486785A (zh) 基于深度学习的视频换脸方法、装置、设备及存储介质
CN115812221A (zh) 图像生成及着色方法及装置
WO2019011342A1 (zh) 布料识别的方法、设备、电子设备及储存介质
CN111553923A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
US8405681B2 (en) Image comparison by asymmetric dynamic warping
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112801911A (zh) 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN115291992B (zh) 图形用户界面图片辅助标注方法、电子设备及储存介质
CN116823700A (zh) 一种图像质量的确定方法和装置
CN116304163B (zh) 一种图像检索方法、装置、计算机设备及介质
CN112785683B (zh) 一种人脸图像调整方法及装置
CN118314058A (zh) 基于图像分割和图像修复的图像擦除方法、装置及设备
CN114119392A (zh) 图像处理方法、装置和电子设备
CN117934339A (zh) 一种图像修复方法、装置、电子设备和存储介质
JP2000076268A (ja) 画像検索装置及びその方法、コンピュータ可読メモリ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant