CN115994087A - 基于arinc818的机载显示系统自动化测试方法 - Google Patents

Abstract

本发明公开了一种基于ARINC818的机载显示系统自动化测试方法，从ARINC818标准图像上1：1提取被测试对象图形区域坐标位置，确定被测试对象是采用图像识别方式还是文字识别方式；将被测试对象图形区域的坐标位置数据与测试用例的期望结果关联；建立图像标准库与OCR语法库，保存测试用例的期望结果的标准图像与字符；执行自动化测试，通过图像对比和OCR识别校验测试结果。本发明具有良好的通用性和可移植性，只需要在新的显示配置项中标注对象区域和测试用例中引用该对象区域，即可完成对本发明的配置和应用。

Description

基于ARINC818的机载显示系统自动化测试方法

技术领域

本发明涉及航电系统和显示系统验证领域，具体是一种基于ARINC818的机载显示系统自动化测试方法。

背景技术

随着现代航空飞行器功能以及相关电子设备数量的不断增加，座舱显示系统(Cockpit Display System,CDS)的显示和交互的逻辑也变得日益复杂。因此在整个CDS的开发过程中如何能更全面和高效的实施对CDS的测试成为了一个亟待解决的问题。

在日常的CDS测试过程中，通常采用测试脚本以及人工观察(画面变化)相结合的方式进行。然而随着测试脚本数量的增长，以及被测试软件的迭代更新速度加快，该方式的效率以及准确性也将逐渐受到较大的影响。随着近年机器视觉技术的兴起，图像处理技术的准确率以及速度的均有了极大的提升，另外机载显示系统中引入ARINC818高清视频传输总线，给图像识别的测试提供清晰低噪声稳定的原始数据，因此在CDS的测试过程中引入该技术，替代人工观察作为测试结果的判定手段，以进一步提高测试的效率和准确性以及减少成本。

发明内容

针对目前机载显示系统研制等级较高、需要高可靠性和高效率验证的问题，本发明目的在于提供一种基于ARINC818的机载显示系统自动化测试方法,针对机载显示系统不同配置项的显示需求，通过ARINC818图像综合处理模块获取原始配置项的图像，通过标注软件在该图像的坐标系上标注测试对象的坐标区域位置并保存位置数据，再由测试用例的期望结果引用测试对象的位置数据；对于图像对比的测试用例，首次运行测试用例，并通过ARINC818图像综合处理模块获取对应区域位置的截图，人工确认建立标准图像库，对于OCR识别的测试用例，建立字符语法标准库库；最后运行测试用例，自动调用标准图像库图像对比和OCR算法完成测试结果的自动校验。本发明基于ARINC818原始高清图像，不受外界环境因素干扰，图像噪声极低，稳定性和可靠性极高，为机载显示系统的验证提供一种通用、灵活、方便、低成本的途径。

本发明的发明目的通过以下技术方案实现：

一种基于ARINC818的机载显示系统自动化测试方法，包含以下步骤：

步骤1)、从ARINC818标准图像上1：1提取被测试对象图形区域坐标位置，确定被测试对象是采用图像识别方式还是文字识别方式；

步骤2)、将被测试对象图形区域的坐标位置数据与测试用例的期望结果关联；

步骤3)、建立图像标准库与OCR语法库，保存测试用例的期望结果的标准图像与字符；

步骤4)、执行自动化测试；其中：

对于图像识别的区域，由自动化测试平台自动运行测试用例，然后自动读取测试用例对象区域的位置信息，实时监控被测试对象输出的该位置的图像，将该图像与图像标准库中测试用例的期望结果的标准图像进行对比，从而验证该测试用例是否满足期望结果；

对于OCR识别的区域，由通过自动化测试平台自动运行测试用例，自动读取测试用例对象的区域位置信息，通过OCR算法识别区域的字符，并通过字符边缘计算提取算法识别字体的颜色，再经过OCR语法库的校正处理，然后与测试用例的期望结果中的字符对比，从而验证该测试用例是否满足期望结果。

较佳地，步骤1具体包括：

从ARINC818标准图像中截取待测试配置项原始的完整显示页面，保证标注图像的像素位置坐标信息与实时显示图像的像素位置坐标信息是一致；针对配置项不同的测试对象图形区域，分别利用像素标注提取工具，对该测试对象区域的边界位置坐标进行标注，并导出到图形坐标位置数据文件中。

较佳地，步骤2具体包括：

通过在测试用例的期望结果中，引用已保存的被测试对象区域的坐标位置数据，两者之间建立对应关系。

较佳地，步骤3具体包括：

建立图像标准库：通过运行测试用例，由ARINC818图像综合处理模块，根据用例中包含的期望对象位置区域信息，由ROI算法裁剪原始图像，自动获取测试用例的期望结果图像，通过人工核实结果的准确性再存入图像标准库；

建立OCR语法库：收集机载显示系统的所有字符，建立OCR语法库。

本发明的有益效果在于：

本发明创新性的采用ARINC818信号作为图片源，与传统的摄像画面捕捉技术相比，具备高可靠性，避免了自然环境光源噪声以及抖动的干扰，因此算法程序可直接采用ARINC818信号采集的原始图像进行图像识别对比，置信度更高，且更加稳定，符合机载系统验证严格要求；全天候的自动测试极大地提高了测试效率，大大减少了人力成本和时间成本，同时环境部署简单，并且具有极好的通用性，可以极大的节约成本。

附图说明

图1原始图像测试区域标注图；

图2标注区域位置信息导出结果展示图；

图3标注区域映射关系图；

图4用例与标注区域映射过程图；

图5标准库标注信息整体图；

图6标准库标注目标裁剪图；

图7建库软件处理过程示意图；

图8标准字符库文件图；

图9自动化测试运行流程图；

图10一种基于ARINC818的机载显示系统自动化测试方法的总体流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

本实施例涉及一种基于ARINC818的机载显示系统自动化测试方法，主要由ARINC818图像综合处理模块实现，功能包含在线采集图片、解析信息文件、获取目标区域、进行图像比对或语义识别，返回测试结果等功能，具体实施步骤如下：

1.从ARINC818标准图像上1：1提取被测试对象图形区域坐标位置

由ARINC818图像综合处理模块采集ARNIC818标准图像，截取待测试配置项原始的完整显示页面，保证标注图像的像素位置坐标信息与实时显示图像的像素位置坐标信息是一致；针对配置项不同的测试对象图形区域，分别利用像素标注提取工具，对该测试对象区域的边界位置坐标进行标注，图1所示，并导出为xml格式图形坐标位置数据文件，方便脚本查找对应测试对象的ROI像素边界区域，如图2所示。基于待测试的需求，提取测试对象信息列表，包含如下属性列：配置项所属页面、唯一编号、测试对象元素、识别方法等，并生成xlsx格式的映射文件，如图3所示，通过此映射文件，对被测试对像的位置区域进行识别方法分类，确认是图像识别方法还是文字识别方法。

通过ARINC818图像综合处理模块获取的原始显示图像更加清晰，并且没有畸变和其他外界噪声干扰，从而保证标注的坐标系和实时显示的坐标系完全一致，满足机载验证环境的严格要求，无需增加额外过滤算法或者模型识别而导致的性能损失和误判，更加稳定可靠。

像素级别的测试对象位置区域标注，可以将同一配置项中所有测试对象，按照像素位置分别精准定位；测试对象标注颗粒度精细化，可以有效防止图像识别过程中，因其他测试对象不稳定而造成的背景干扰。

2.将被测试对象图形区域坐标位置与测试用例的期望结果关联

标注信息耦合用例对象。xml格式的图形坐标位置数据文件中的对象区域坐标位置信息的唯一标识与测试对象在用例中的引用标识需要耦合关联，测试用例中的引用标识具有实际的对象名称意义。测试用例的期望结果，应引用已经保存的被测试对象区域的坐标位置数据，两者之间建立对应关系。

在测试用例的期望结果中引用被测试对象的位置数据，通过映射文件将被测试对象投射到显示页面的具体坐标位置，例如用例期望结果：Displayed as Pump is ON[Fuel_L2_AC_Pump_Sym,status,Pump is ON]，映射过程路径如图4所示，通过该方法建立测试用例与被测试对象图形位置的关联，实现自动化测试时可以自动识别测试目标区域功能。

3.建立图像标准库和OCR(Optical Character Recognition，光学字符识别)语法库

对于图像识别的区域，需要建立该区域不同状态下的标准图像。建立图像标准库的过程为：通过运行测试用例，自动化测试软件获取期望结果中的用例信息element，根据映射关系表查找element对应的位置序号以及识别方法，再通过位置序号在xml文件中查找出该图像的区域位置坐标信息。根据获取的区域位置坐标信息，通过ARINC818图像综合处理模块实时捕获该区域的1：1截图图像并截图保存和附加图像状态信息如图5和图6所示，软件处理流程如图7，由人工第一次确认裁剪的图像是否符合期望结果，如果符合则存入标准库，提高可靠性。

对于文字识别的区域，由于机载显示系统的字符是一个有限的组合集或库，相对开源的OCR无限字符集算法，应进行字符识别语法的校正，以适配机载显示的字符集；应对当前机载显示字符库的提取保存作为OCR语法校正的OCR语法库。

4.执行自动化测试

自动化测试的总体过程如图9，通过自动测试软件发送激励数据给ARINC818机载显示设备，同时将激励的期望结果信息同步发送给ARINC818图像综合处理模块，ARINC818图像综合处理模块收到期望结果信息后会将该信息的时间戳与采集到的ARINC818机载显示设备输出的图像的时间戳对比，如果采集的图像时间戳在收到期望结果信息之后，则进行期望结果信息的解析，提取目标区域的坐标位置和识别模式信息；根据目标区域的坐标位置信息，通过ROI像素裁剪从采集的实时图像中提取目标图像，由解析的识别模式信息，对提取的目标图像进行图像对比或OCR文字识别。

对于图像对比的区域，目标图像与标准库图像进行对比，主要分为以下几个步骤：

(1)对目标图像进行灰度处理。

为了便于图像数据处理需要将目标图像的色彩由彩色转为灰度，转化公式如下：

Gray＝R*0.299+G*0.587+B*0.114    (公式1)

(2)灰度图像阈值分割点求解。

图像分割算法采用OTSU算法(最大类间方差阈值分割算法)，将图像分成背景和前景两部分；首先假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。因此就有：

p1*m1+p2*m2＝mG                    (公式2)

p1+p2＝1                        (公式3)

根据方差的概念，类间方差表达式为：

最终可以得出：

σ²＝p1*p2*(m1-m2)²      (公式5)

其中：

求解使得公式4的平方差最大的灰度级k，既是灰度图像的阈值分割点thresh。

(3)使用阈值分割点将灰度处理过的目标图像二值化。

将上一步计算得出的阈值分割点带入如下公式，maxval取值255；灰度图像经过二值化处理之后变为黑和白区域图像。

(4)对二值化后的目标图像进行开运算。

二值化后的目标图像可能存在一些噪点，所以先通过腐蚀处理公式10，再经过膨胀公式11处理，可以消除目标图像的噪点输出X′。

               (公式10)

            (公式11)

X为目标图像，S为结构元素。

(5)对开运算之后的目标图像进行掩膜运算，提取出有对比意义的区域。

经过开运算之后的目标图像保留了原有图像的特征细节区域，这些区域成为掩膜，通过与原色彩图像的像素与运算就可以提取原图像有对比意义的区域。

X_masked＝X_orgin∩X′     (公式12)

(6)在有对比意义的区域中提取特征角点的位置。

针对提取出的有对比意义的区域进行特征角点的计算，本过程采用Harris角点检测法，数学定义如下公式13：

通过泰勒公式简化之后如下公式14：

最终得到海森矩阵M，如下：

通过对海森矩阵的特征值计算及其响应函数的定义如下公式16，可以进一步鉴定图像的角点、边缘和平滑区域，k值根据经验取0.02～0.04左右。

R＝det M-k(traceM)²     (公式16)

其中：

det M＝λ₁λ₂＝AC-B

traceM＝λ₁+λ₂＝A+C

R值很大代表是角点，R<0代表边缘，|R|很小代表平滑区域；通过以上滑窗计算可以得出图像的特征角点的位置。

(6)在特征角点上对目标图像和标准库图像进行相似度判定。

位移旋转变化：根据标准库图像的特征角点位置与采集图像的角点位置的不同，评判采集图像相对标准库图像的特征角点位置是发生了偏移还是旋转，实际工程实践中针对不同的区域对象应当设置偏移与旋转的容忍度，成熟度较高的软件版本应当设置很低或者为0的容忍度。

颜色变化：将标准库图像角点区域的像素与实际采样得到的图像角点区域像素进行对比，在发生旋转和偏移且允许的情况下或者没有发送以上偏差情况，两者一致则认为通过。

(7)将验证的结果自动写入自动化测试的结果中，生成图像对比测试报告结果。

对于OCR识别的区域，自动识别过程有以下几个步骤：

(1)开源OCR字符识别。

OCR识别技术在机器学习领域已经属于成熟的技术，本过程采用已经开源训练好的模型进行字符识别，缺点是已有的模型对于一些特殊的字体或符号会有识别错误的情况；但机载显示的字符是有限的字符组合集，所以可以通过有限集合对其进行校正。

(2)OCR语法矫正。

OCR语法矫正是通过机载显示字符组合集对开源OCR模型识别的字符纠正的过程，通过本地保存的机载字符库文件与识别的字符进行语法匹配，目标相似度最高的字符串将成为最终识别的字符组合，从而保证识别的字符文字都存在于机载显示系统规定的字符组合集中。

(3)字体颜色识别。

MSER(Maximally Stable Extremal Regions，最大稳定极值区域)极大值稳定区域识别，MSER的公式如下，通过MSER算法可以得到目标图像中文本的区域。

R(i)表示阈值为i时的某一联通区域，△为灰度阈值的微小增加量，q(i)为阈值是i时的区域R(i)的变化率，|R(i)|表示区域R(i)的面积。当q(i)为局部极小值时，说明R(i)区域的变化非常小，则R(i)为可以被认为是最大稳定极值区域。再对所有的MSER区域进行外接矩形框截取作为目标识别区域。

由于MSER区域比较多，所以需要通过非极大值抑制NMS算法公式如下，计算MSER外接矩形多重区域的重合度，去除重复的区域，抑制不是极大值的元素。

IoU＝(A∩B)/(A∪B) (公式0)

将NMS抑制之后的区域作为掩膜，与采集的图像进行掩膜运算公式12获取文字的颜色区域，再通过对区域的像素RGB读取得出字体的颜色。

(4)字符对比。

把OCR语法校正获得的字符与期望结果解析的字符比较，如果一致则字符对比成功；再将文字区域读取的颜色信息与期望结果解析的颜色要求比较，如果一致则字符颜色对比成功。

(5)将验证的结果自动写入自动化测试的结果中，生成OCR识别测试报告结果。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (4)

1.一种基于ARINC818的机载显示系统自动化测试方法，包含以下步骤：

步骤1)、从ARINC818标准图像上1：1提取被测试对象图形区域坐标位置，确定被测试对象是采用图像识别方式还是文字识别方式；

步骤2)、将被测试对象图形区域的坐标位置数据与测试用例的期望结果关联；

步骤3)、建立图像标准库与OCR语法库，保存测试用例的期望结果的标准图像与字符；

步骤4)、执行自动化测试；其中：

对于图像识别的区域，由自动化测试平台自动运行测试用例，然后自动读取测试用例对象区域的位置信息，实时监控被测试对象输出的该位置的图像，将该图像与图像标准库中测试用例的期望结果的标准图像进行对比，从而验证该测试用例是否满足期望结果；

对于OCR识别的区域，由通过自动化测试平台自动运行测试用例，自动读取测试用例对象的区域位置信息，通过OCR算法识别区域的字符，并通过字符边缘计算提取算法识别字体的颜色，再经过OCR语法库的校正处理，然后与测试用例的期望结果中的字符对比，从而验证该测试用例是否满足期望结果。

2.根据权利要求1所述的一种基于ARINC818的机载显示系统自动化测试方法，其特征在于，所述步骤1具体包括：

从ARINC818机载显示系统输出的ARINC818标准图像中截取待测试配置项原始的完整显示页面，保证标注图像的像素位置坐标信息与实时显示图像的像素位置坐标信息是一致；针对配置项不同的测试对象图形区域，分别利用像素标注提取工具，对该测试对象区域的边界位置坐标进行标注，并导出到图形坐标位置数据文件中。

3.根据权利要求1所述的一种基于ARINC818的机载显示系统自动化测试方法，其特征在于，所述步骤2具体包括：

通过在测试用例的期望结果中，引用已保存的被测试对象区域的坐标位置数据，两者之间建立对应关系。

4.根据权利要求1所述的一种基于ARINC818的机载显示系统自动化测试方法，其特征在于，所述步骤3具体包括：

建立图像标准库：运行测试用例，根据测试用例中包含的期望对象位置区域信息，由ROI算法裁剪原始图像，自动获取测试用例的期望结果图像，通过人工核实结果的准确性再存入图像标准库；

建立OCR语法库：收集机载显示系统的所有字符，建立OCR语法库。

Images