CN118097644A - 检测人机界面中元素的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施方式公开了检测人机界面(HMI)中元素的方法、装置、电子设备及存储介质。方法包括：获取人机界面的屏幕截图，所述屏幕截图包含所述人机界面中的元素；以机器视觉检测方式识别所述屏幕截图中的所述元素，其中识别结果包括所述元素的位置和所述元素的类别；确定识别出的元素之间的关联关系；生成包含所述识别结果和所述关联关系的检测结果。本发明实施方式还可以提供元素之间的关联关系，提高了检测效率。当出现新的图标时，无需重新训练目标检测模型，降低了训练难度，还可以提供元素的细粒度信息。

Description

检测人机界面中元素的方法、装置、电子设备及存储介质

技术领域

本发明涉及人机界面(Human Machine Interaction，HMI)技术领域，特别是检测HMI中元素的方法、装置、电子设备及存储介质。

背景技术

HMI又称用户界面或使用者界面，是人与计算机之间交换信息的媒介和对话接口，还是计算机系统的重要组成部分以及系统和用户之间进行交互和信息交换的媒介。HMI实现信息的内部形式与人类可接受形式之间的转换。

HMI视觉理解是软件开发中验证HMI设计和HMI系统测试的关键部分。通常，HMI视觉理解需要人类目视检查HMI中的元素，解析它们的关系并给出语义含义。然而，人工过程花费大量的时间并且容易出错。

发明内容

本发明实施方式提出检测HMI中元素的方法、装置、电子设备及存储介质。

一种检测HMI中元素的方法，包括：

获取HMI的屏幕截图，所述屏幕截图包含所述HMI中的元素；

以机器视觉检测方式识别所述屏幕截图中的所述元素，其中识别结果包括所述元素的位置和所述元素的类别；

确定识别出的元素之间的关联关系；

生成包含所述识别结果和所述关联关系的检测结果。

可见，本发明实施方式以机器视觉检测方式识别HMI中的元素，而且还可以提供元素之间的关联关系，提高了检测效率。

在示范性实施方式中，所述元素包括图标；

所述以机器视觉检测方式识别所述屏幕截图中的所述元素包括：

基于已训练的目标检测模型，从所述屏幕截图中检测出所述图标；

确定所述图标的特征向量；

确定所述特征向量与图标库中的每个已有图标的特征向量之间的距离，其中所述已有图标关联于已注册类别；

将所述距离最小的已有图标关联的已注册类别，确定为所述图标的类别。

因此，以特征匹配机制来确定图标的类别，当出现新的图标时，无需再重新训练目标检测模型，从而降低了训练难度。

在示范性实施方式中，所述图标的类别包括表盘图标；

所述方法还包括：

将所述表盘图标转换为正视视角；

基于最大连通量区域检测从所述正视视角的表盘图标中确定指针区域，基于所述指针区域拟合出指针直线；

在所述正视视角的表盘图标中去除所述指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于所述多个刻度值区域拟合出刻度盘圆弧；

基于所述指针直线与所述刻度盘圆弧的交点，确定所述表盘图标的读数。

因此，实现了自动化读取表盘图标的读数，提高了检测效率。

在示范性实施方式中，所述确定识别出的元素之间的关联关系包括：

确定所述表盘图标的读数与所述表盘图标之间的第一关联关系；

基于已训练的字符检测模型，从所述表盘图标中识别出所述表盘图标的类型字符；

确定所述类型字符与所述表盘图标之间的第二关联关系。

因此，表盘图标的关联关系可以具有多种实施方式，能够提供各种细颗粒度的识别信息，便于后续的具体应用(比如HMI测试)。

在示范性实施方式中，所述图标的类别包括非表盘图标；所述确定识别出的元素之间的关联关系包括：

基于已训练的字符检测模型，从所述非表盘图标的周边预定区域内中识别出所述非表盘图标的类型字符；

确定所述类型字符与所述非表盘图标之间的第三关联关系。

因此，关联关系可以包含非表盘图标与其类型字符之间的关联关系。

在示范性实施方式中，还包括：

接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；

基于所述位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；

针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；

从所述图标样本集中随机选择图标样本；

从所述背景样本集中随机选择背景样本；

将所述随机选择的图标样本添加到所述随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中所述训练样本的标签为所述随机位置；

基于所述训练样本集训练所述目标检测模型。

可见，本发明实施方式不直接使用屏幕截图样本中的标签对目标检测模型进行训练，而是分别构建作为前景的图标样本以及遮盖图标样本所形成的背景样本。在目标检测模型的训练过程中，随机选择多个带有扰动的前景，并将它们分散在随机选择的背景样本上，从而形成对目标检测模型进行训练的训练样本集。因此，每个训练批次都不包含重复样本，显著提高了目标检测模型的通用性。

一种检测HMI中元素的装置，包括：

获取模块，被配置为获取HMI的屏幕截图，所述屏幕截图包含所述HMI的元素；

识别模块，被配置为以机器视觉检测方式识别所述屏幕截图中的所述元素，其中识别结果包括所述元素的位置和所述元素的类别；

确定模块，被配置为确定识别出的元素之间的关联关系；

生成模块，被配置为生成包含所述识别结果和所述关联关系的检测结果。

可见，本发明实施方式以机器视觉检测方式识别HMI中的元素，而且还可以提供元素之间的关联关系，提高了检测效率。

在示范性实施方式中，所述元素包括图标；

所述识别模块，被配置为基于已训练的目标检测模型，从所述屏幕截图中检测出所述图标；确定所述图标的特征向量；确定所述特征向量与图标库中的每个已有图标的特征向量之间的距离，其中所述已有图标关联于已注册类别；将所述距离最小的已有图标关联的已注册类别，确定为所述图标的类别。

因此，以特征匹配机制来确定图标的类别，当出现新的图标时，无需再重新训练目标检测模型，从而降低了训练难度。

在示范性实施方式中，所述图标的类别包括表盘图标；

所述识别模块，被配置为将所述表盘图标转换为正视视角；基于最大连通量区域检测从所述正视视角的表盘图标中确定指针区域，基于所述指针区域拟合出指针直线；在所述正视视角的表盘图标中去除所述指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于所述多个刻度值区域拟合出刻度盘圆弧；基于所述指针直线与所述刻度盘圆弧的交点，确定所述表盘图标的读数。

因此，实现了自动化读取表盘图标的读数，提高了检测效率。

在示范性实施方式中，所述确定模块，被配置为确定所述表盘图标的读数与所述表盘图标之间的第一关联关系；基于已训练的字符检测模型，从所述表盘图标中识别出所述表盘图标的类型字符；确定所述类型字符与所述表盘图标之间的第二关联关系。

因此，表盘图标的关联关系可以具有多种实施方式，能够提供各种细颗粒度的识别信息，便于后续的具体应用(比如HMI测试)。

在示范性实施方式中，所述图标的类别包括非表盘图标；

所述确定模块，被配置为基于已训练的字符检测模型，从所述非表盘图标的周边预定区域内中识别出所述非表盘图标的类型字符；确定所述类型字符与所述非表盘图标之间的第三关联关系。

因此，关联关系可以包含非表盘图标与其类型字符之间的关联关系。

在示范性实施方式中，还包括：

训练模块，被配置为接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；基于所述位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；从所述图标样本集中随机选择图标样本；从所述背景样本集中随机选择背景样本；将所述随机选择的图标样本添加到所述随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中所述训练样本的标签为所述随机位置；基于所述训练样本集训练所述目标检测模型。

可见，本发明实施方式不直接使用屏幕截图样本中的标签对目标检测模型进行训练，而是分别构建作为前景的图标样本以及遮盖图标样本所形成的背景样本。在目标检测模型的训练过程中，随机选择多个带有扰动的前景，并将它们分散在随机选择的背景样本上，从而形成对目标检测模型进行训练的训练样本集。因此，每个训练批次都不包含重复样本，显著提高了目标检测模型的通用性。

一种电子设备，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实施如上任一项所述的检测HMI中元素的方法。

一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实施如上任一项所述的检测HMI中元素的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实施如上任一项所述的检测HMI中元素的方法。

附图说明

下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1是根据本发明实施方式检测HMI中元素的方法的流程图。

图2是根据本发明实施方式的检测HMI中元素的示范性示意图。

图3是根据本发明实施方式生成训练样本集的示范性示意图。

图4为根据本发明实施方式确定图标类型的示范性示意图。

图5是根据本发明实施方式确定表盘图标的读数的示范性示意图。

图6是根据本发明实施方式检测HMI中元素的装置的结构图。

图7是根据本发明实施方式的电子设备的结构图。

其中，附图标记如下：

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。

为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

为自动化HMI视觉理解过程，软件工程师通常使用源代码解析或手动执行黑盒测试脚本。然而，代码解析需要软件源的可访问性，而黑盒测试需要额外的手动工作负载，无论哪种方式都会耗费大量人力资源。HMI通常包括视觉元素(如图标和文本等)。在理想情况下，如果视觉元素及其关系可以通过计算机视觉和机器学习方法自动识别，则可以建立基于视觉的自动测试系统，从而节省软件测试资源的成本。

图1是根据本发明实施方式检测HMI中元素的方法的流程图。如图1所示，该方法包括：

步骤101：获取HMI的屏幕截图，屏幕截图包含人机界面中的元素。

在这里，元素可以包括图标或文字。图标可以包含表盘图标或非表盘图标，非表盘图标可以包含设备图标、按钮或图片，等等。比如，HMI可以实施为工业应用中的HMI，如工控机的HMI。

步骤102：以机器视觉检测方式识别屏幕截图中的元素，其中识别结果包括元素的位置和元素的类别。

比如，元素的位置实施为元素在屏幕截图中的坐标。元素的类别可以用于表征元素的属性类型，比如属性类型包括图标和文字，等等。而且，元素的类别还可以用于表征元素在属性类型中的子属性类型。比如，当元素为图标时，元素的类别还可以表征元素为表盘图标或非表盘图标，等等。

在一个实施方式中，元素包括图标；步骤102中以机器视觉检测方式识别屏幕截图中的元素包括：基于已训练的目标检测模型，从屏幕截图中检测出图标；确定图标的特征向量；确定特征向量与图标库中的每个已有图标的特征向量之间的距离，其中已有图标关联于已注册类别；将距离最小的已有图标关联的已注册类别，确定为图标的类别。比如，目标检测模型可以实施为YOLO、区域卷积神经网络(RCNN)、fast RCNN或fasterRCNN等网络架构。

在一个实施方式中，该方法还包括：接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；基于位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；从图标样本集中随机选择图标样本；从背景样本集中随机选择背景样本；将随机选择的图标样本添加到随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中训练样本的标签为随机位置；基于训练样本集训练目标检测模型。

可见，本发明实施方式不直接使用屏幕截图样本中的标签对目标检测模型进行训练，而是分别构建作为前景的图标样本以及遮盖图标样本所形成的背景样本。在目标检测模型的训练过程中，随机选择多个带有扰动的前景，并将它们分散在随机选择的背景样本上，从而形成对目标检测模型进行训练的训练样本集。因此，对于每个训练批次，都不包含重复样本，显著提高了目标检测模型的通用性。

在一个实施方式中，图标的类别包括表盘图标；方法还包括：将表盘图标转换为正视视角；基于最大连通量区域检测从正视视角的表盘图标中确定指针区域，基于指针区域拟合出指针直线；在正视视角的表盘图标中去除指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于多个刻度值区域拟合出刻度盘圆弧；基于指针直线与刻度盘圆弧的交点，确定表盘图标的读数。

比如：将表盘图标转换为正视视角具体包括：对表盘图标执行边缘检测以确定所述表盘图标的边缘；基于包围所述边缘的四边形的顶点坐标和正视视角的表盘图标的顶点坐标确定单应矩阵；基于单应矩阵将表盘图标转换为正视视角的表盘图标。

在一个实施方式中，基于像素值分布计算确定多个刻度值区域，具体包括：将剩余区域转换为二值化图像；利用扫描窗口对二值化图像进行扫描，并计算每个扫描区域的像素值分布；将像素值为255的像素点超过预定阈值的扫描区域，加入到刻度值候选区域集合；基于表盘的预定读数范围，对刻度值候选区域集合进行筛选；应用非最大值抑制算法从筛选后的刻度值候选区域集合中去除重叠区域。

步骤103：确定识别出的元素之间的关联关系。

在一个实施方式中，确定识别出的元素之间的关联关系包括：确定表盘图标的读数与表盘图标之间的第一关联关系；基于已训练的字符检测模型，从表盘图标中识别出表盘图标的类型字符；确定类型字符与表盘图标之间的第二关联关系。因此，表盘图标的关联关系可以具有多种实施方式，能够提供各种细颗粒度的识别信息，便于后续的具体应用(比如HMI测试)。

在一个实施方式中，图标的类别包括非表盘图标；确定识别出的元素之间的关联关系包括：基于已训练的字符检测模型，从非表盘图标的周边预定区域内中识别出非表盘图标的类型字符；确定类型字符与非表盘图标之间的第三关联关系。因此，关联关系可以包含非表盘图标与其类型字符之间的关联关系。

步骤104：生成包含识别结果和关联关系的检测结果。

比如，可以将识别结果和关联关系组合为具有结构化数据格式的检测结果，并输出该检测结果。后续，可以利用该检测结果与基于传感器所获取的HMI真实数据进行比较，从而验证HMI设计是否正确和HMI系统是否正常工作。

图2是根据本发明实施方式的检测HMI中元素的示范性示意图。

如图2所示，将HMI的屏幕截图20输入元素检测处理21，然后元素检测处理21输出检测结果22。具体地，元素检测处理21包括目标检测模块23、字符检测模块26、关联模块28和页面识别模块29。

页面识别模块29用于识别屏幕截图20的具体类型，比如具体为主控页面或其它类型的页面。页面识别模块29提取出屏幕截图20的整体特征向量，再将屏幕截图20的整体特征向量与预定的页面库中的各个已有页面的特征向量进行比较，以确定出最接近的已有页面，将该最接近的已有页面的页面类型确定为屏幕截图20的具体类型。

目标检测模块23用于检测出屏幕截图20中的图标位置。目标检测模块23输出包含检测到的图标的框。图标包括表盘图标和非表盘图标。目标检测模块23还可以包含表盘图标识别模块24和非表盘图标识别模块25。表盘图标识别模块24用于确定表盘图标的读数以及表盘图标中的类型字符(比如，类型转字符可以为“电压”、“电流”，等等)；非表盘图标识别模块25，用于确定非表盘图标的类别(比如,图标类别为显示器、控制单元或存储器，等等)。

字符检测模块26用于检测屏幕截图20中的字符位置。字符检测模块26输出包含检测到的字符的框。字符检测模块26还包含字符识别模块27。字符识别模块27用于识别出框中的具体字符内容以及非表盘图标的周边预定区域内的类型字符。

关联模块28，用于将表盘图标的读数与表盘图标相关联以生成第一关联关系、表盘图标的类型字符与表盘图标相关联以生成第二关联关系、非表盘图标的类型字符与非表盘图标相关联以生成第三关联关系。

元素检测处理21输出的检测结果22优选实施为结构化数据，该结构化数据包含屏幕截图20的具体类型、非表盘图标的位置、非表盘图标的类别、字符的位置、字符的内容、表盘图标的位置、表盘图标的读数、表盘图标的读数与表盘图标之间的第一关联关系、表盘图标的类型字符与表盘图标的第二关联关系以及非表盘图标的类型字符与非表盘图标之间的第三关联关系，等等。

图3是根据本发明实施方式生成训练样本集的示范性示意图。

如图3所示，屏幕截图样本集30包含多个屏幕截图样本，每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签。

将屏幕截图样本集30输入训练样本集生成处理31中，以由训练样本集生成处理31生成训练样本集313。具体地，在训练样本集生成处理31中，基于每个屏幕截图样本中的每个图标样本的位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集311。针对每个屏幕截图样本，遮盖其自包含的图标样本以生成背景样本集312。从图标样本集311中随机选择图标样本，从背景样本集312中随机选择背景样本。将随机选择的图标样本添加到随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中训练样本的标签(Labels)为随机位置。也就是，训练样本集313中的每个训练样本，都包含有其所包含的图标样本在该训练样本中的位置(即随机位置)作为标签。然后，可以基于训练样本集313训练目标检测模型。

图4为根据本发明实施方式确定图标类型的示范性示意图。

在图4中，基于利用图3所示的训练样本集训练好的目标检测模型，从HMI屏幕截图40中检测出第一图标401、第二图标402和第三图标403。

图标库42中保存有大量的已有图标，其中每个已有图标关联于各自的关联于已注册类别。

利用特征提取器41提取出第一图标401的特征向量，利用特征提取器41提取出图标库42中每个已有图标的特征向量。确定第一图标401的特征向量与图标库42中每个已有图标的特征向量之间的向量距离，将向量距离最小的已有图标所关联的已注册类别，确定为第一图标401的类别。比如，第一图标401的类别为显示器。

利用特征提取器41提取出第二图标402的特征向量，利用特征提取器41提取出图标库42中每个已有图标的特征向量。确定第二图标402的特征向量与图标库42中每个已有图标的特征向量之间的向量距离，将向量距离最小的已有图标所关联的已注册类别，确定为第二图标402的类别。比如，第二图标401的类别为控制单元。

利用特征提取器41提取出第三图标403的特征向量，利用特征提取器41提取出图标库42中每个已有图标的特征向量。确定第三图标403的特征向量与图标库42中每个已有图标的特征向量之间的向量距离，将向量距离最小的已有图标所关联的已注册类别，确定为第三图标403的类别。比如，第三图标401的类别为按钮。

当出现新的图标时，无需重新训练目标检测模型，将该新的图标添加到图标库中即可。可见，本发明实施方式使用特征匹配机制来处理的大型可扩展图标带来的挑战，而不是使用传统的分类算法。采用通用的预训练分类模型作为特征抽取器。通过预注册机制，可以方便地添加或修改视觉元素的类别，而无需重新训练模型。

图5是根据本发明实施方式确定表盘图标的读数的示范性示意图。

首先，基于已训练的目标检测模型，从屏幕截图中检测出表盘图标51。然后，针对表盘图标51与表盘的模板图像50(不含指针)，执行像素灰度减法的绝对值运算，以得到减法图52。可见，减法图52中包含指针521。确定指针521的外接矩形531以及由外接矩形531所限定的刻度值区域，以形成扫描图53。在扫描图53中，基于外接矩形531的顶点，从表盘的中心引出第一角度线532和第二角度线533，其中第一角度线532和第二角度线533限定的扇形区域包含外接矩形531。接着，确定出第一角度线532和第二角度线533之间的中线534(经过表盘的中心)以形成结果图54，并基于中线534所指向的刻度确定出表盘图标的读数。

图6是根据本发明实施方式检测HMI中元素的装置的结构图。如图6所示，检测人机界面中元素的装置600包括：

获取模块601，被配置为获取HMI的屏幕截图，屏幕截图包含HMI的元素；

识别模块602，被配置为以机器视觉检测方式识别屏幕截图中的元素，其中识别结果包括元素的位置和元素的类别；

确定模块603，被配置为确定识别出的元素之间的关联关系；

生成模块604，被配置为生成包含识别结果和关联关系的检测结果。

在一个实施方式中，元素包括图标；识别模块602，被配置为基于已训练的目标检测模型，从屏幕截图中检测出图标；确定图标的特征向量；确定特征向量与图标库中的每个已有图标的特征向量之间的距离，其中已有图标关联于已注册类别；将距离最小的已有图标关联的已注册类别，确定为图标的类别。

在一个实施方式中，图标的类别包括表盘图标；识别模块602，被配置为将表盘图标转换为正视视角；基于最大连通量区域检测从正视视角的表盘图标中确定指针区域，基于指针区域拟合出指针直线；在正视视角的表盘图标中去除指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于多个刻度值区域拟合出刻度盘圆弧；基于指针直线与刻度盘圆弧的交点，确定表盘图标的读数。

在一个实施方式中，确定模块603，被配置为确定表盘图标的读数与表盘图标之间的第一关联关系；基于已训练的字符检测模型，从表盘图标中识别出表盘图标的类型字符；确定类型字符与表盘图标之间的第二关联关系。

在一个实施方式中，图标的类别包括非表盘图标；确定模块603，被配置为基于已训练的字符检测模型，从非表盘图标的周边预定区域内中识别出非表盘图标的类型字符；确定类型字符与非表盘图标之间的第三关联关系。

因此，采用了基于图标和字符的空间位置的距离匹配算法来连接元素之间的关联性。因此，后续的自动测试系统可以处理HMI设计中不同类型视觉元素之间的对应关系，然后将其用于后续测试脚本。

在一个实施方式中，还包括训练模块605，被配置为接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；基于所述位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；从所述图标样本集中随机选择图标样本；从所述背景样本集中随机选择背景样本；将所述随机选择的图标样本添加到所述随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中所述训练样本的标签为所述随机位置；基于所述训练样本集训练所述目标检测模型。

综上，本发明实施方式采用了一组基于视觉的算法模块，如目标检测、识别、字符检测、识别和注册等，以及上下文关联算法，从HMI元素中提取语义信息。通过本发明实施方式，可以对HMI进行完整、准确的结构建模，可用于后续自动测试或其他任务。

本发明实施方式还提出了一种具有处理器-存储器架构的电子设备。图7是根据本发明实施方式的电子设备的结构图。

如图7所示，电子设备700包括处理器701、存储器702及存储在存储器702上并可在处理器701上运行的计算机程序，计算机程序被处理器801执行时实现如上任一种的检测HMI中元素的方法。其中，存储器702具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器701可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU或DSP，等等。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。

以上所述，仅为本发明的较佳实施方式而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种检测人机界面中元素的方法，其特征在于，包括：

获取人机界面的屏幕截图，所述屏幕截图包含所述人机界面中的元素(101)；

以机器视觉检测方式识别所述屏幕截图中的所述元素，其中识别结果包括所述元素的位置和所述元素的类别(102)；

确定识别出的元素之间的关联关系(103)；

生成包含所述识别结果和所述关联关系的检测结果(104)。

2.根据权利要求1所述的方法，其特征在于，所述元素包括图标；

所述以机器视觉检测方式识别所述屏幕截图中的所述元素(102)包括：

基于已训练的目标检测模型，从所述屏幕截图中检测出所述图标；

确定所述图标的特征向量；

确定所述特征向量与图标库中的每个已有图标的特征向量之间的距离，其中所述已有图标关联于已注册类别；

将所述距离最小的已有图标关联的已注册类别，确定为所述图标的类别。

3.根据权利要求2所述的方法，其特征在于，所述图标的类别包括表盘图标；所述方法还包括：

将所述表盘图标转换为正视视角；

基于最大连通量区域检测从所述正视视角的表盘图标中确定指针区域，基于所述指针区域拟合出指针直线；

在所述正视视角的表盘图标中去除所述指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于所述多个刻度值区域拟合出刻度盘圆弧；

基于所述指针直线与所述刻度盘圆弧的交点，确定所述表盘图标的读数。

4.根据权利要求3所述的方法，其特征在于，所述确定识别出的元素之间的关联关系(103)包括：

确定所述表盘图标的读数与所述表盘图标之间的第一关联关系；

基于已训练的字符检测模型，从所述表盘图标中识别出所述表盘图标的类型字符；

确定所述类型字符与所述表盘图标之间的第二关联关系。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述图标的类别包括非表盘图标；所述确定识别出的元素之间的关联关系(103)包括：

基于已训练的字符检测模型，从所述非表盘图标的周边预定区域内中识别出所述非表盘图标的类型字符；

确定所述类型字符与所述非表盘图标之间的第三关联关系。

6.根据权利要求2所述的方法，其特征在于，还包括：

接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；

基于所述位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；

针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；

从所述图标样本集中随机选择图标样本；

从所述背景样本集中随机选择背景样本；

将所述随机选择的图标样本添加到所述随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中所述训练样本的标签为所述随机位置；

基于所述训练样本集训练所述目标检测模型。

7.一种检测人机界面中元素的装置，其特征在于，包括：

获取模块(601)，被配置为获取人机界面的屏幕截图，所述屏幕截图包含所述人机界面的元素；

识别模块(602)，被配置为以机器视觉检测方式识别所述屏幕截图中的所述元素，其中识别结果包括所述元素的位置和所述元素的类别；

确定模块(603)，被配置为确定识别出的元素之间的关联关系；

生成模块(604)，被配置为生成包含所述识别结果和所述关联关系的检测结果。

8.根据权利要求7所述的装置，其特征在于，所述元素包括图标；

所述识别模块(602)，被配置为基于已训练的目标检测模型，从所述屏幕截图中检测出所述图标；确定所述图标的特征向量；确定所述特征向量与图标库中的每个已有图标的特征向量之间的距离，其中所述已有图标关联于已注册类别；将所述距离最小的已有图标关联的已注册类别，确定为所述图标的类别。

9.根据权利要求8所述的装置，其特征在于，所述图标的类别包括表盘图标；

所述识别模块(602)，被配置为将所述表盘图标转换为正视视角；基于最大连通量区域检测从所述正视视角的表盘图标中确定指针区域，基于所述指针区域拟合出指针直线；在所述正视视角的表盘图标中去除所述指针区域后的剩余区域中，基于像素值分布计算确定多个刻度值区域，基于所述多个刻度值区域拟合出刻度盘圆弧；基于所述指针直线与所述刻度盘圆弧的交点，确定所述表盘图标的读数。

10.根据权利要求9所述的装置，其特征在于，

所述确定模块(603)，被配置为确定所述表盘图标的读数与所述表盘图标之间的第一关联关系；基于已训练的字符检测模型，从所述表盘图标中识别出所述表盘图标的类型字符；确定所述类型字符与所述表盘图标之间的第二关联关系。

11.根据权利要求8-10中任一项所述的装置，其特征在于，所述图标的类别包括非表盘图标；

所述确定模块(603)，被配置为基于已训练的字符检测模型，从所述非表盘图标的周边预定区域内中识别出所述非表盘图标的类型字符；确定所述类型字符与所述非表盘图标之间的第三关联关系。

12.根据权利要求8所述的装置，其特征在于，还包括：

训练模块(605)，被配置为接收包含多个屏幕截图样本的屏幕截图样本集，其中每个屏幕截图样本被标注有该屏幕截图样本所包含的图标样本的位置标签；基于所述位置标签，从每个屏幕截图样本中提取各自所包含的图标样本，将提取的图标样本组合为图标样本集；针对每个屏幕截图样本，遮盖各自包含的图标样本以生成背景样本集；从所述图标样本集中随机选择图标样本；从所述背景样本集中随机选择背景样本；将所述随机选择的图标样本添加到所述随机选择的背景样本中的随机位置处，以形成训练样本集中的每一个训练样本，其中所述训练样本的标签为所述随机位置；基于所述训练样本集训练所述目标检测模型。

13.一种电子设备，其特征在于，包括：

处理器(701)；

存储器(702)，用于存储所述处理器(701)的可执行指令；

所述处理器(701)，用于从所述存储器(702)中读取所述可执行指令，并执行所述可执行指令以实施权利要求1-6中任一项所述的检测人机界面中元素的方法。

14.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实施权利要求1-6中任一项所述的检测人机界面中元素的方法。

15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实施权利要求1-6中任一项所述的检测人机界面中元素的方法。