CN116645550A - 一种基于测试用例的机载显示系统通用化图像识别方法 - Google Patents
一种基于测试用例的机载显示系统通用化图像识别方法 Download PDFInfo
- Publication number
- CN116645550A CN116645550A CN202310567722.4A CN202310567722A CN116645550A CN 116645550 A CN116645550 A CN 116645550A CN 202310567722 A CN202310567722 A CN 202310567722A CN 116645550 A CN116645550 A CN 116645550A
- Authority
- CN
- China
- Prior art keywords
- test
- image
- image recognition
- information
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000002360 preparation method Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012015 optical character recognition Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000006978 adaptation Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002790 cross-validation Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于测试用例的机载显示系统通用化图像识别方法，包含：接收测试用例；测试用例包含测试操作步骤、识别区域、预期结果，指定识别区域中各信息的图像识别模型，与图像识别模型部署相关的关键信息；根据测试用例中的执行步骤控制待测机载显示系统执行相应的操作；根据识别区域截取机载显示系统图形界面；根据指定的图像识别模型和图像识别模型的部署信息，调用图像识别模型对截取到的实时图像信息进行识别；将图像识别模型的输出结果与预期结果进行比对，得到该项测试是否通过。本发明基于用户编辑的测试用例，实现对不同机载显示系统界面信息的自动适配、图像识别、目标检测模型自动训练，极大地提升了测试效率。
Description
技术领域
本发明属于航空电子技术领域，涉及一套通过测试用例驱动的针对机载显示系统的通用化图像识别方法，该方法实现针对机载显示系统的自动化测试。
背景技术
现有的基于图像的通用化测试技术，包含有：
a).机器视觉(Machine Vision)
视觉是人类最强大的感知方式，通过将视觉感知赋予机器，使机器具有和生物视觉系统类似的场景感知能力，使得机器可以完成以下主要任务：通过分析图像，对图像中所涉及到的场景或物体生成一组描述信息。一般来说，机器视觉系统的输入是图像(或者图像序列)，输出是对这些图像的感知描述。这组描述与这些图像中的物体或场景息息相关，并且这些描述可以帮助机器来完成特定的后续任务。基于机器视觉的图像识别技术，通常需要对不同机载显示系统以硬编码的方式来对不同的图形界面和图标含义进行适配，这样就导致自动化测试系统的开发工作量增大，且需要随着机载显示系统的迭代，测试系统也需要系统开发人员持续地参与并进行修改和适配，增加了时间和人力成本；
b).深度学习(Deep Learning)
深度学习是机器学习(Machine Learning)的一个分支，是一种以人工神经网络(Artificial Neural Network)为架构，对数据进行特征学习的算法。相较于传统的机器学习，深度学习没有复杂的人工特征提取过程，特征提取过程可以通过深度神经网络自动完成。但与此同时，深度学习也需要大量的训练数据集，通过反向传播与梯度下降算法来调整人工神经网络中的权重(Weight)与偏置(Bias)参数。目前深度学习技术已广泛应用在图像识别领域中，并在图像分类、文本识别等多个细分子领域和公开数据集上取得了超越传统图像识别方法的效果。随着深度学习技术在图像识别领域的推广，其在机载显示系统测试中的应用虽然可以规避传统方法的硬编码工作，但仍然需要提前手动针对不同的机载显示系统进行打标和适配(即创建对应不同机载显示系统的数据集)，这就需要深度学习模型开发人员的深度参与，对需要识别的机载显示系统图标、状态等图像信息进行数据集构建、模型选型以及离线训练，最后再部署到实际测试环境中。
c).测试用例驱动的自动化测试
在常规的自动化测试过程中，编写测试用例是测试前的必要准备工作。常规的机载显示系统测试用例往往只包含了测试的操作步骤、测试需要识别的图像坐标以及识别内容的预期结果。一般来说这些内容独立于具体的图像识别过程，仅在验证测试结果时，作为图像识别结果的参照物。本发明通过将测试用例与图像识别算法本身进行结合，特别地，在测试用例编写过程中加入深度学习模型需要的图片切片(用于图形识别)、识别框坐标与内容(用于图形目标检测)，在有监督学习范式下驱动模型的自动训练，并在完成训练后将模型自动集成到自动化测试流程中。
发明内容
针对以往机载显示系统存在的问题，本发明的发明目的在于提供一种基于测试用例的机载显示系统通用化图像识别方法，使得测试系统能够适应不同的机载显示系统，且不需要软件开发人员的持续介入，测试人员只需要按照常规流程编写测试用例，并按照软件提示操作，即可实现基于测试用例的机载显示系统内容识别。
本发明的发明目的通过以下技术方案实现：
一种基于测试用例的机载显示系统通用化图像识别方法，包含自动化测试前的准备工作和自动化测试阶段；
自动化测试前的准备工作包含：
101：根据机载显示系统的测试需求和预期结果手动编写测试用例，测试用例包含测试操作步骤、识别区域、预期结果，还包含识别区域中各图形信息、颜色信息、文本信息的图像识别模型，图像、颜色、文本在输入图像识别模型前需要进行的数据预处理操作，与图像识别模型训练和部署相关的关键信息；
在自动化测试阶段，包含：
301：接收测试用例；
302：根据测试用例中的执行步骤控制待测机载显示系统执行相应的操作；
303：根据测试用例中的识别区域通过视频采集卡的方式截取执行测试操作后的机载显示系统图形界面；
304：根据测试用例中的指定的图像识别模型和图像识别模型的部署信息，调用本地存储的已训练好的图像识别模型，并结合采集到的实时图像信息，对待检测信息进行识别；
305：将图像识别模型的输出结果与测试用例中的预期结果进行比对，得到该项测试是否通过；
306：输出测试结果。
进一步，自动化测试前的准备工作还包含：
102：针对需要识别的图形信息和颜色类信息进行手动标注，随后调用数据增强算法进行数据集的自动生成；
103：创建用于机器视觉的深度学习模型作为图像识别模型，对已生成的数据集进行学习，得到神经网络各层的权重和偏置参数；
104：对于同一类待识别对象，通过自动调整超参数的数值从而创建不同架构的图像识别模型，再使用生成数据集进行训练后，对不同架构的图像识别模型的效果进行交叉验证，从而得到最优的图像识别模型。
进一步，数据增强算法的具体操作过程为：
201：用户对机载显示系统待识别的图像信息进行手动标注；
202：针对手动标注的图像信息，通过随机选取需要改变的图片方位，并随机选定需要改变的比例，从而确定数据增强的图像范围；
203：对在202步骤中选定好的图像区域，随机确定采用拷贝或预定义的扰动方式，对该区域中的张量数据进行变换，并生成新的图片；
204：随机从用户手动标注的数据和已生成的数据中抽样，并对抽样得到的图片重复步骤202、203，直至生成预定义规模的图片集。
进一步，在步骤103中，针对机载显示系统不同的控件类别的图形信息分别创建对应的图像识别模型，使用端到端的深度学习范式，在图像特征抽取部分使用基于卷积神经网络架构的主干网络，针对不同控件类别的图形信息替换不同主干网络。
进一步，自动化测试前的准备工作还包含对于文本信息，在通用光学字符识别模型上增加预期的数值或文字信息生成图像识别模型。
本发明的有益效果在于：
通过使用本发明的方法，使得测试系统能够适应不同的机载显示系统，且不需要软件开发人员的持续介入，测试人员只需要按照常规流程编写测试用例，并按照软件提示操作，即可实现基于测试用例的机载显示系统内容识别。具体地：
a).能够对输入的机载显示系统界面包含的图像信息进行处理，抽取出用户关注的关键信息，例如页面名称、控件名称和控件坐标等；
b).基于用户编辑的测试用例，实现对不同机载显示系统界面信息的自动适配、图像识别、目标检测模型自动训练，极大地提升了测试效率。特别地，在图形识别和检测部分，由于采用了通用化的设计，让该部分使用的深度学习模型可以随时进行替换、更新和迭代升级；
c).提供深度学习模型的创建、编辑和管理，训练数据集的自动生成，以及最优模型的自动训练和筛选，并最终部署在实际测试系统中。
附图说明
图1为基于测试用例的机载显示系统通用化图像识别方法中测试前的准备步骤示意图。
图2机载显示系统的界面样例。
图3数据增强方法示意图。
图4端到端深度神经网络模型对图形信息识别过程的示意图。
图5面向机载显示系统的图像识别模型的UML设计图。
图6针对机载显示系统的图像识别自动化测试流程示意图。
图7基于测试用例驱动的机载显示系统图像识别方法实施方案示意图。
图8图像识别模型对机载显示系统图像的文本检测、识别结果。
图9用户标注图形类信息示例。
图10数据增强后的数据集。
图11完成训练后的模型配置信息示例。
图12图形类信息识别结果样例。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
本实施例所示的一种基于测试用例的机载显示系统通用化图像识别方法，由两个部分组成，第一部分为进行机载显示系统自动化测试前的准备工作，参见图1所示，包含了构建测试用例的编写、创建数据集、图像识别模型训练和交叉验证，并将最终的图像识别模型部署在可以获得机载显示系统图形界面的计算机上。具体过程如下。
101：构建测试用例：根据机载显示系统的测试需求和预期结果手动编写测试用例，测试用例的内容除了包含传统的测试操作步骤、识别区域、预期结果等信息外，结合基于机器视觉在识别图形、颜色、文本时的特点，在测试用例中加入识别区域中各图形信息、颜色信息、文本信息的图像识别模型，图像、颜色、文本在输入图像识别模型前需要进行的数据预处理操作类型等，与图像识别模型训练和部署相关的关键信息。
图像识别模型的部署信息用于在测试时调用到匹配的图像识别模型。
数据预处理是对输入图像识别模型的原始图像进行变换、剪裁，以符合图像识别模型对输入图像规格的要求。
参见图2所示，机载显示系统的界面一般包含图形信息、颜色信息和文本信息。
对于图形信息(即图形控件所表示的状态)需要额外训练图像识别模型。
对于颜色类信息(即图形不发生改变，通过颜色来表示某种状态)可以在图像识别模型中使用传统的RGB阈值进行判别，但前提是颜色信息比较准确和单一、颜色没有太多的区域间变化，当传统方法判别效果不佳时可以选择额外训练图像识别模型，根据特征提取来完成相对准确的颜色识别。
对于文本信息(主要是各类传感器数值和告警信息)，由于文本信息的图像识别模型比较固定，通常只需要对原始的通用光学字符识别模型OCR增加预期的数值或文字信息即可，不需要额外训练图像识别模型。
102：创建训练集：针对需要识别的图形信息和颜色类信息进行手动标注，随后调用数据增强算法进行数据集的自动生成。
由于机载显示系统的图形信息、颜色信息都可能包含特定的含义，传统的数据增强方法，如对整个图形进行旋转、裁切以及灰度调整等，可能存在不适用的情况。同时，由于标注大量数据所需要的人工和时间成本会非常高，因此，本实施例通过设计一套自研的数据增强(Data Augmentation)算法来实现生成可以适应深度学习所需要规模的数据集，对待识别的图像进行随机的尺寸调整(Resizing)，并对尺寸调整的扩充部分进行数据增强操作，在不影响核心区域图像信息的前提下，将数据集规模扩充到能够满足深度学习技术的需求，不仅能大幅度缩减上述成本，还能够实现深度学习流程的自动化。参见图3所示，数据增强部分的具体操作过程为：
201：用户标注图标：用户通过图形化界面对机载显示系统待识别的图像信息进行手动标注。
202：随机选定图像增强区域和比例：针对手动标注的图像信息，通过随机选取需要改变的图片方位(如图片左侧)，并随机选定需要改变的比例(例如，在5％至30％范围内使用均匀分布进行抽样)，从而确定数据增强的图像范围。
203：随机生成数据增强内容：对在202步骤中选定好的图像区域，随机确定采用拷贝或预定义的扰动方式(例如叠加高斯噪声)，对该区域中的张量数据(对应RGB三个通道)进行变换，并生成新的图片。
204：生成足够规模的数据集：随机从用户手动标注的数据和已生成的数据中抽样，并对抽样得到的图片重复步骤202、203，直至生成预定义规模的图片集。
103：模型训练：创建用于机器视觉的深度学习模型，对已生成的数据集进行学习，得到神经网络各层的权重和偏置参数。
在本实施例中，主要采用深度学习模型作为图像识别模型来实现文本信息、图形信息以及颜色信息的识别。以图形类信息的识别为例，本实施例使用端到端的深度学习范式，在图像特征抽取部分使用基于卷积神经网络(Convolutional Neural Network)架构的主干网络(Backbone Network)，实现对特定类别图形所表示的状态信息的识别。端到端的识别过程如图4所示。
特别地，在本实施例，针对机载显示系统不同的控件类别(比如舱门、阀门、电源等，每种类型的控件会有若干种可被识别的状态)的图形信息分别创建对应的图像识别模型，而不是通过单个图像识别模型对所有控件类别和状态进行识别，这样可以大幅度降低模型的复杂度，从而提高识别速率；同时，用于图像识别的主干网络也支持自由替换。
具体的UML建模设计如图5所示。
104：交叉验证：对于同一类待识别对象，通过自动调整超参数(Hyperparameter)的数值从而创建不同架构的图像识别模型，再使用生成数据集进行训练后，对不同架构的图像识别模型的效果进行交叉验证(Cross Validation)，从而得到最优的图像识别模型。
基于本实施提出的方法构建测试用例后，区别于以往基于机器视觉和深度学习技术的自动化测试系统需要开发人员进行固定编码或提供训练好的模型，可以藉由测试用例中的期望结果，配合绑定的图像识别模型类型来对模型参数进行自动学习与部署。这就意味着在适配不同机载显示系统时，不需要额外的具备机器视觉和深度学习领域知识的开发人员参与开发，仅需要测试人员按照测试用例的构建方法和需要测试的内容编写测试用例，即可自动实现对于当前机载显示系统中包含的图形信息进行适配。
第二部分为针对机载显示系统进行自动化测试，测试系统通过网络通信，接收需要待测试的测试步骤(测试用例)，并通过远程控制机载显示系统所在的计算机，执行相应的操作，最后再通过捕捉机载显示系统的图像并调用图像识别模型对被测对象进行识别，完成信息比对和检测，参见图6所示，具体过程如下：
301：接收测试用例：自动化测试时，以微服务架构的方式实现数据的传输，而预先编制好的测试用例则是整个自动化测试流程的起点。
302：执行测试操作：根据测试用例中的执行步骤，自动化测试系统通过远程控制待测机载显示系统，执行相应的操作(例如点击鼠标查看机载传感器信息)。
303：获取界面内容：根据测试用例中的识别区域通过视频采集卡的方式截取执行测试操作后的机载显示系统图形界面，并以网络的方式传回自动化测试系统。
304：调用指定模型：根据测试用例中的指定的图像识别模型和图像识别模型的部署信息，自动化测试系统调用本地存储的已训练好的图像识别模型，并结合采集到的实时图像信息，对待检测信息进行识别。
305：比对待测内容：结合模型的输出结果(图形、颜色信息以及文本信息)，与测试用例中的预期结果进行比对，可以得到该项测试是否通过。
306：输出测试结果，通过自动化测试系统的全面测试，将各项测试用例进行结构化存储，并形成用户定制的检测报告，完成机载显示系统的测试流程。
根据上述的一种基于测试用例的机载显示系统通用化图像识别方法，在系统硬件上，如图7所示，可以分为被测软件系统(即机载显示系统)和测试系统。其中，测试系统包含两个主要的服务，即机器视觉与图像识别服务和测试用例管理与自动化测试服务，由机器视觉与图像识别服务实施第一部分，测试用例管理与自动化测试服务实施第二部分。
尽管被测软件系统和测试系统可以部署在同一台计算机上，但为了发挥本实施例设计的微服务架构优势，通用化的最优实施方式应采用多台计算机进行并行化测试，具体实施方法如下：
(1)按测试用例规模，将待测项目和步骤划分为N个部分；
(2)将待测试的机载显示系统分别部署在N台计算机上并运行在N个进程中(或者使用n台计算机，但保证连接有N台显示设备，其中n≤N)；
(3)使用m台计算机部署测试系统的机器视觉与图像识别服务并运行在N个进程中，通过视频采集卡等方式与被测系统连接，从而能够捕捉到待测试的N个机载显示系统的图像信息(其中m≤N)；
(4)使用p台计算机部署测试系统的测试用例管理与自动化测试服务并运行在N个进程中。在加载N个部分的测试用例并与步骤(3)中的N个图像识别服务以及N(或n)台运行有待测机载显示系统计算机建立连接后，分别执行测试用例中包含的所有测试操作(其中p≤N)。
图8所示为图像识别模型对机载显示系统图像的文本检测、识别结果，主要包含了识别到的文本内容和检测到相应文本的图像区域(四个坐标点的参数)。
对于图形类信息的识别，图9展示了用户标注图形类信息的示例，包含了机舱门对应的三类图形状态，即失效状态(invalid)、不安全状态(nsafe)和安全状态(safe)。
使用本实施例提供的数据增强方法对图9的图片进行数据增强，自动生成大量的训练数据集(如图10所示)用于图像识别模型的训练和交叉验证。
机器视觉与图像识别服务可以提供独立于测试功能之外的图像识别模型训练和推理功能(本实施示例中基于开源深度学习框架PaddlePaddle实现)，并在完成模型训练后自动生成相应的配置文件以方便后续的查找、管理和调用。图11中展示了该配置信息的主要内容，包含模型名称(以待识别内容或控件命名)、模型ID编号、输入图像尺寸(示例为48x48像素)、预处理方法、训练环境版本以及待识别的标签信息(示例为inval-id、nsafe和safe)。
在测试过程中，当机器视觉与图像识别服务拿到待识别的图片后，将按照测试用例中规定的模型信息和本地存储的模型配置信息，调用正确的模型对输入图片进行识别并返回识别结果，图12为本实施示例中对机舱门状态识别的结果。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (5)
1.一种基于测试用例的机载显示系统通用化图像识别方法，包含自动化测试前的准备工作和自动化测试阶段，其特征在于：
自动化测试前的准备工作包含：
101：根据机载显示系统的测试需求和预期结果手动编写测试用例，测试用例包含测试操作步骤、识别区域、预期结果，还包含识别区域中各图形信息、颜色信息、文本信息的图像识别模型，图像、颜色、文本在输入图像识别模型前需要进行的数据预处理操作，与图像识别模型训练和部署相关的关键信息；
在自动化测试阶段，包含：
301：接收测试用例；
302：根据测试用例中的执行步骤控制待测机载显示系统执行相应的操作；
303：根据测试用例中的识别区域通过视频采集卡的方式截取执行测试操作后的机载显示系统图形界面；
304：根据测试用例中的指定的图像识别模型和图像识别模型的部署信息，调用本地存储的已训练好的图像识别模型，并结合采集到的实时图像信息，对待检测信息进行识别；
305：将图像识别模型的输出结果与测试用例中的预期结果进行比对，得到该项测试是否通过；
306：输出测试结果。
2.根据权利要求1所述的一种基于测试用例的机载显示系统通用化图像识别方法，其特征在于自动化测试前的准备工作还包含：
102：针对需要识别的图形信息和颜色类信息进行手动标注，随后调用数据增强算法进行数据集的自动生成；
103：创建用于机器视觉的深度学习模型作为图像识别模型，对已生成的数据集进行学习，得到神经网络各层的权重和偏置参数；
104：对于同一类待识别对象，通过自动调整超参数的数值从而创建不同架构的图像识别模型，再使用生成数据集进行训练后，对不同架构的图像识别模型的效果进行交叉验证，从而得到最优的图像识别模型。
3.根据权利要求2所述的一种基于测试用例的机载显示系统通用化图像识别方法，其特征在于数据增强算法的具体操作过程为：
201：用户对机载显示系统待识别的图像信息进行手动标注；
202：针对手动标注的图像信息，通过随机选取需要改变的图片方位，并随机选定需要改变的比例，从而确定数据增强的图像范围；
203：对在202步骤中选定好的图像区域，随机确定采用拷贝或预定义的扰动方式，对该区域中的张量数据进行变换，并生成新的图片；
204：随机从用户手动标注的数据和已生成的数据中抽样，并对抽样得到的图片重复步骤202、203，直至生成预定义规模的图片集。
4.根据权利要求2所述的一种基于测试用例的机载显示系统通用化图像识别方法，其特征在于在步骤103中，针对机载显示系统不同的控件类别的图形信息分别创建对应的图像识别模型，使用端到端的深度学习范式，在图像特征抽取部分使用基于卷积神经网络架构的主干网络，针对不同控件类别的图形信息替换不同主干网络。
5.根据权利要求1所述的一种基于测试用例的机载显示系统通用化图像识别方法，其特征在于自动化测试前的准备工作还包含对于文本信息，在通用光学字符识别模型上增加预期的数值或文字信息生成图像识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310567722.4A CN116645550A (zh) | 2023-05-19 | 2023-05-19 | 一种基于测试用例的机载显示系统通用化图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310567722.4A CN116645550A (zh) | 2023-05-19 | 2023-05-19 | 一种基于测试用例的机载显示系统通用化图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645550A true CN116645550A (zh) | 2023-08-25 |
Family
ID=87618129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310567722.4A Pending CN116645550A (zh) | 2023-05-19 | 2023-05-19 | 一种基于测试用例的机载显示系统通用化图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645550A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117007897A (zh) * | 2023-10-07 | 2023-11-07 | 山西省安装集团股份有限公司 | 一种应用于电仪实验室的电气设备测试系统 |
-
2023
- 2023-05-19 CN CN202310567722.4A patent/CN116645550A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117007897A (zh) * | 2023-10-07 | 2023-11-07 | 山西省安装集团股份有限公司 | 一种应用于电仪实验室的电气设备测试系统 |
| CN117007897B (zh) * | 2023-10-07 | 2023-12-08 | 山西省安装集团股份有限公司 | 一种应用于电仪实验室的电气设备测试系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
| Clouard et al. | Borg: A knowledge-based system for automatic generation of image processing programs | |
| CN111310934A (zh) | 一种模型生成方法、装置、电子设备和存储介质 | |
| US7519917B2 (en) | Method and apparatus for graphically displaying compatible workflow steps | |
| CN111861020A (zh) | 模型部署方法、装置、设备及存储介质 | |
| CN101387958B (zh) | 一种图像数据的处理方法及装置 | |
| US11748065B2 (en) | Learning and using programming styles | |
| KR102275763B1 (ko) | 딥러닝 모델로부터 딥러닝 어플리케이션을 자동으로 생성하는 방법 및 시스템 | |
| CN116645550A (zh) | 一种基于测试用例的机载显示系统通用化图像识别方法 | |
| CN117132890A (zh) | 一种基于Kubernetes边缘计算集群的遥感图像目标检测方法和系统 | |
| CN116719911B (zh) | 自动化流程生成方法、装置、设备及存储介质 | |
| CN112527676A (zh) | 模型自动化测试方法、装置及存储介质 | |
| Jaganeshwari et al. | an Automated Testing Tool Based on Graphical User Interface With Exploratory Behavioural Analysis | |
| WO2021226296A1 (en) | Semi-automated image annotation for machine learning | |
| CN116594733B (zh) | 流程可视化建模方法、计算机设备及计算机可读存储介质 | |
| CN110928761B (zh) | 需求链及其应用的系统和方法 | |
| CN117235527A (zh) | 端到端容器化的大数据模型构建方法、装置、设备及介质 | |
| CN108021353B (zh) | 软件产品的说明文档的生成装置、方法、设备及存储介质 | |
| CN116227905A (zh) | 一种针对非自由选择结构的流程模型结构性评估方法 | |
| CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 | |
| Levner et al. | Machine learning for adaptive image interpretation | |
| Fichtner et al. | How LIME Explanation Models Can Be Used to Extend Business Process Models by Relevant Process Details. | |
| Ferayorni et al. | Domain driven simulation modeling for software design | |
| Komarov et al. | Neural network training for automated defect detection in additive production | |
| Ryabinin et al. | Ontology-driven data mining platform for fuzzy classification of mental maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |