CN118072133B - 一种基于仿真推演的自动测试方法和装置 - Google Patents

Abstract

本发明属于仿真技术领域，提供一种基于仿真推演的自动测试方法和装置，该方法包括：选择与仿真场景相对应的识别算法；确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件或者构建新的想定文件，编辑相关参数以生成样本数据；调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果。本发明有效实现了基于可见光图像的自动化测试，通过测试结果判断识别算法的优劣能够有效衡量识别算法对于对抗任务和能力需求的有效性。

Description

一种基于仿真推演的自动测试方法和装置

技术领域

本发明涉及仿真技术领域，尤其涉及一种基于仿真推演的自动测试方法和装置。

背景技术

目前已有很多自动化测试相关的技术，但关于识别算法的评估尚无有效的解决方案，现有技术能够通过设置不同实验因子生成测试用例大样本文件，并对大样本进行自动化测试，获得不同实验条件下的仿真结果，从而分析各种实验因子对对抗结果的影响程度。

现有技术存在以下问题：一、不满足业务需求，不能在自动化测试过程中接入识别算法；二、目前装备自带识别功能，不能直接接入外部识别算法；三、仿真过程中无法接收反馈信息，也无法指导下一步行动的决策。

现有技术旨在仿真推演用例的自动化测试问题，仅能对当前的仿真推演用例进行测试，无法自动化分析不同实验因子对仿真结果产生的影响。此外，现有方法不适用于对装备接入识别算法后进行验证测试过程。

因此，有必要提供一种改进了的基于仿真推演的自动测试方法，以解决如上问题。

发明内容

本发明旨在提供一种基于仿真推演的自动测试方法和装置，以解决现有方法仅能对当前的仿真推演用例进行测试，无法自动化分析不同实验因子对仿真结果产生的影响、不适用于装备接入识别算法后的验证测试过程等的技术问题，本发明要解决的技术问题通过以下技术方案来实现。

本发明第一方面提出一种基于仿真推演的自动测试方法，包括：选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法；确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据；调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果。

根据可选实施方式，所述调用最适配的历史想定文件，编辑相关参数以生成样本数据，包括：基于天气因子、装备类型、每个单独装备的速度变量，生成样本数据。

根据可选实施方式，所述调整生成轮数，确定仿真推演用例的数量，包括：根据对实验数据准确程度的要求调整生成轮数；根据所调整的生成轮数，计算仿真推演用例的数量，具体表现为所计算的仿真推演用例的数量为通过调整实验因子所生成的样本数与生成轮数的乘积，自动化测试过程会根据生成轮数重复执行生成的样本数据。

根据可选实施方式，采用所生成的仿真推演用例，自动执行仿真推演过程，包括：在确定仿真推演用例的数量的情况下，按所确定的仿真推演用例的数量自动执行仿真推演过程；在仿真推演过程中，可通过切换到仿真推演系统查看天气因子、不同装备类型的速度变量、对抗双方的实时对抗情况，以进一步调整各实验因子。

根据可选实施方式，所述将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，包括：所述仿真推演过程会生成可见光图像和指定类型文件，每张可见光图像对应有一个指定类型文件，所述可见光图像为搭载识别算法设备的视角查看到的可见光图像，所述指定类型文件包含仿真推演系统所提供的标注信息数据和识别算法所识别的装备类型、装备位置、装备数量；将仿真推演系统所提供的标注信息数据与识别算法所识别的装备类型、装备位置、装备数量进行比对，生成测试结果。

根据可选实施方式，调整每秒生成可见光图像的帧数，以获得相应帧数的可见光图像；根据仿真推演用例中设备搭载识别算法的有效时长调整仿真推演的时长。

根据可选实施方式，在测试工具的设置界面，调整用例时长的数值，以使得仿真推演系统自动调用用例时长数据进行仿真推演过程，并在用例时长结束后自动关闭当前用例并执行下一用例。

根据可选实施方式，根据对可见光图像所识别的区域内的目标装备、目标装备的数量和坐标位置信息，指导以下的下一行为操作：执行打击任务、执行上报侦察目标、执行跟踪目标装备。

本发明第二方面提供一种基于仿真推演的自动测试装置，用于执行本发明第一方面所述的基于仿真推演的自动测试方法，包括：选择处理模块，选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法；确定处理模块，确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据；调用执行模块，调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；测试处理模块，将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果。

本发明第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面所述的方法。

本发明第四方面提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面所述的方法。

本发明的有益效果：

与现有技术相比，本发明通过选择与仿真场景相对应的识别算法，确定是否使用历史想定文件，以编辑相关参数以生成样本数据；通过调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果，能够有效实现基于可见光图像的自动化测试，通过测试结果判断识别算法的优劣能够有效衡量识别算法对于分析评估结果的有效性。

此外，本发明根据可见光识别图像实现目标装备的型号和位置的识别，优化装备在仿真推演过程中的识别能力、对现实场景识别能力的仿真程度。在仿真推演过程中不仅能够发送可见光图像，同时也能够回传目标装备的实际型号和位置信息等识别结果作为评估识别算法查准率和查全率的依据。

此外，本发明支持对测试用例时长进行调整，提高了自动化测试的应用场景。自动测试工具支持测试过程中对图像生成频率进行调整，以根据实验需求达到最佳测试结果。

此外，通过增加用例生成轮数，减少仿真推演过程中对目标的击中概率的随机性，在样本测试的基础上多次重复测试，增加实验结果的可信度，能够支持对不同的识别算法进行新增、编辑等管理操作，算法管理具有可扩展性。

附图说明

图1是本发明的基于仿真推演的自动测试方法的一示例的步骤流程图；

图2是应用本发明的基于仿真推演的自动测试方法的一应用示例的示意图；

图3是本发明的基于仿真推演的自动测试方法的一具体实施方式的流程图；

图4是本发明的基于仿真推演的自动测试装置的一示例的结构示意图；

图5是根据本发明的电子设备实施例的结构示意图；

图6是根据本发明的计算机可读介质实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

鉴于上述问题，本发明提供一种基于仿真推演的自动测试方法，该方法通过选择与仿真场景相对应的识别算法，确定是否使用历史想定文件，以编辑相关参数以生成样本数据；通过调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果，能够有效实现基于可见光图像的自动化测试，通过测试结果判断识别算法的优劣（通过大样本仿真的方式对所识别算法的查准率、查全率等指标进行有效评估，对识别算法的能力有更加客观和科学的评估、优化）能够有效衡量识别算法对于分析评估结果的有效性。

需要说明的是，在本发明中，仿真推演指的是通过UE虚幻引擎手段构建面向实战的三维仿真推演场景等。仿真推演场景包括但不限于地形、天气、装备、对抗双方等内容。

实施例1

下面参照图1、图2和图3，将对本发明的仿真训练场景生成方法进行详细说明。

图1是本发明的基于仿真推演的自动测试方法的一示例的步骤流程图。

如图1所示，本公开提供了一种基于仿真推演的自动测试方法，具体包括以下步骤。

首先，在步骤S101中，选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法。

图2是应用本发明的基于仿真推演的自动测试方法的一应用示例的示意图。

在图2的示例中，具体包括仿真推演系统和与仿真推演系统可交互的自动测试工具。其中，各种识别算法可应用于仿真推演系统内的不同的搭载设备。所述仿真推演系统在仿真推演过程中将生成的可见光图像等数据发送给自动测试工具，自动测试工具对各种识别算法自动测试后向仿真推演系统反馈识别结果，并指导下一行为操作。因此，能够有效执行后续基于可见光图像的自动化测试，能够有效衡量识别算法对于分析评估结果的有效性。

具体地，选择与仿真场景相对应的识别算法，所述仿真场景包括巡航仿真场景、团体对抗仿真场景、侦察仿真场景等任务。

在一具体实施方式中，仿真推演系统提供多种识别算法以供自动测试工具调用，具体包含可见光识别算法、跟踪识别算法等多种算法。可见光识别算法能够基于仿真场景的可见光图像识别某区域内的目标装备和目标设备的坐标位置信息；跟踪识别算法能够支持对目标装备的类型（例如型号、大小）、位置进行识别及跟踪。

可选地，仿真推演系统还支持增加识别算法，实现识别算法库的扩展。

具体地，选择团体对抗仿真场景，并对应选择可见光识别算法、跟踪识别算法。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S102中，确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据。

在本示例中，可进行想定编辑，具体提供构建新的想定文件或者调用历史想定文件两种方式，通过选择仿真场景，设置想定文件名称、装备库、行为库以设置想定文件的基本信息。

具体地，确定是否使用历史想定文件（对应图3所示的“是否使用历史想定文件”。

在一具体实施方式中，在确定使用历史想定文件的情况下（对应图3所示的“是”），调用最适配的历史想定文件，编辑相关参数以生成样本数据。

具体地，调用与当前仿真场景最适配的历史想定文件，具体调用该历史想定文件，并获取相关实验因子，编辑历史想定文件中实验因子和样本生成方式，生成样本数据。

例如，所述实验因子包含天气因子、装备数据等。

在另一具体实施方式中，在确定不使用历史想定文件的情况下（对应图3所示的“否”），构建新的想定文件（即对应图3中的“构建新的想定文件”），编辑相关参数以生成样本数据。

例如，构建的新的想定文件包括地区区域想定场景、对抗双方、所部署的设备（四辆坦克、两架飞机）、天气因子（例如为晴天）。

基于天气因子、装备类型、每个单独装备的速度变量，生成样本数据，即编辑或调整天气因子、装备类型、不同装备类型的速度变量，以生成样本数据。

需要说明的是，在其他实施方式中，还包括基于区域参数、装备尺寸等其他参数，生成样本数据，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

在一可选实施方式中，还包括进行仿真场景管理，所述仿真场景管理包括确定想定文件、装备库管理、行为库管理。

对于确定想定文件，可提供新建想定或者调用历史想定文件两种方式，通过选择仿真场景，通过设置想定名称、装备库、行为库来设置想定文件的基本信息。例如在加载想定文件后设置对抗双方的兵力部署、对抗任务以及环境信息等内容，为测试工作提供数据支撑。

对于装备库管理，提供多种类型装备应用于仿真场景，例如通过拖拽的方式进行对抗双方的团队人员部署，能够支持在装备中加载识别算法。

对于行为库管理，提供多种类型行为模型应用于仿真场景，装备模型可在仿真推演过程中完成巡航仿真场景、团队对抗仿真场景、侦察仿真场景等任务，能够支持接收识别算法的目标识别信息，并基于识别结果对后续将要执行的行为进行指导措施。

所述编辑相关参数以生成样本数据还包括生成大样本数据，所述大样本数据属于样本数据，并且大样本数据是指为了突出样本数据的数量大的样本数据。

具体地，所述大样本数据的生成影响因素包含天气因子、装备状态（例如AB方装备状态）、交叉方法。天气因子包括晴天、阴天、雨天、雪天等，仿真推演系统可根据天气因子改变仿真推演过程中的天气状态，通过天气状态改变推演过程中装备的摩擦阻力、侦察视野的可见度等参数值，如雨雪天气的摩擦阻力会根据实际情况减小，雾霾天气会降低侦察的可视范围，从而实现天气因子对于仿真推演结果的影响；对抗状态根据调用仿真推演用例的不同而改变，仿真推演系统调用当前仿真推演用例中所部署的装备数据，可对全部或部分装备的速度变量进行调整，其中，装备根据类型的不同速度范围有所不同，例如支持0km/h或60km/h两种最小速度，通过改变装备的速度从而影响仿真推演过程中的命中率、战损比等结果。交叉方法包括均匀、正交两种方式，均匀分布支持对所有已选的天气参数和已设置的装备参数实验因子进行无偏差的测试，可在不确定最大影响因素的情况下生成比较全面的实验样本；正交分布支持均衡搭配已选的天气参数和已设置的装备参数实验因子生成样本数据，支持减少实验样本数量的情况获取最优仿真推演结果。通过调整天气因子、装备状态（例如装备方对抗状态）、交叉方法等因素，生成大样本数据，并且一个大样本数据对应有一个仿真推演用例。

需要说明的是，在本发明中，样本数据和仿真推演用例都属于想定文件，样本数据具体指通过编辑相关参数生成的想定文件，仿真推演用例具体指在仿真推演系统运行的想定文件。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S103中，调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程。

具体地，通过多次重复仿真推演能够减少实验过程中的不确定性，从而获取更稳定的实验结果，因此，鉴于仿真推演过程中对目标的击中概率存在随机性，可根据对实验数据准确程度的要求增加生成轮数。

根据所调整的生成轮数，计算仿真推演用例的数量，具体表现为所计算的仿真推演用例的数量为通过调整实验因子所生成的样本数与生成轮数的乘积，自动化测试过程会根据生成轮数重复执行生成的样本数据。

在一具体实施方式中，当前实验因子参数包括天气因子、装备类型、装备速度，天气因子选择晴天、雨天两种天气；对抗双方各字具有四辆坦克，两架直升机，其中，对抗双方各一辆坦克的最小速度为60km/h，最大速度为67km/h，此用交叉方法选择平均值，即可生成128个仿真推演用例。具体采用以下计算公式计算得到仿真推演用例的数量：

；

其中，M表示采用交叉法计算得到的仿真推演用例的数量；y表示已选择天气因子的数量， V_i1表示第i个装备的最小速度，V_i2表示第i个装备的最大速度，i为正整数，具体为1、2、...、n。

通过对已修改参数的装备速度进行计算并累乘，然后乘以天气因子数量，得到仿真推演用例的总数量。

通过多轮仿真推演过程，实现支持实验过程中无关因素相互抵消的能力，因此，在本次实验将生成轮数调整为3次。根据所调整的生成轮数，计算仿真推演用例的数量，具体将通过调整实验因子所生成的样本数（即仿真推演样本数）与所调整的生成轮数的乘积作为仿真推演用例的数量。例如128*3=384次，即计算得到的仿真推演用例的数量为384次。

在确定仿真推演用例的数量的情况下，按所确定的仿真推演用例的数量自动执行仿真推演过程。

例如点击仿真推演系统的开始按钮，即可自动执行384次仿真推演过程。在仿真推演过程中，可通过切换到仿真推演系统查看不同天气因子、不同装备类型的速度变量（装备速度）条件下对抗双方的实时对抗情况，以进一步调整各实验因子。

需要说明的是，由于识别算法的效果会受实验因子改变的影响，如雾霾天气会降低识别算法对于目标装备型号、位置等信息识别的准确率，并可能因此降低对抗过程中对所对抗的一方装备的打击次数，导致对抗双方的装备损伤情况产生变化，所以需要查看仿真推演过程中的实时对抗情况，获取实验过程中的识别情况以及所采取的打击或上报信息等行为指令，查看识别算法在对抗过程中的应用情况。

例如，在仿真推演过程中，可通过切换到仿真推演系统查看天气因子、不同装备类型的速度变量、对抗双方的实时对抗情况。

根据仿真推演用例中设备搭载识别算法（搭载识别算法设备所搭载的识别算法）的有效时长调整仿真推演的时长。仿真推演用例根据对抗任务、对抗规模的不同而发生变化，有效时长即为完成对抗任务或系统判定一方全部死亡的时间。例如单架直升机执行巡航飞行任务需要3分钟，一方团队执行协同打击任务可能需要10分钟，因此，需要在自动化测试前根据仿真推演用例调整时长，并结合仿真推演系统关于AB双方的损伤情况的数据对识别算法影响对抗结果程度进行全面分析。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S104中，将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果。

具体地，仿真推演过程会生成可见光图像和指定类型文件，每张可见光图像对应有一个指定类型文件，所述可见光图像为搭载识别算法设备的视角查看到的可见光图像，所述指定类型文件包含仿真推演系统所提供的标注信息数据和识别算法所识别的装备类型、装备位置。例如，所述指定类型文件为.xml文件。

将仿真推演系统所提供的标注信息数据与识别算法所识别的装备类型、装备位置进行比对，生成测试结果，测试结果包含查准率和查全率。

实验设计可采用对比方式，通过对测试结果中的查准率和查全率进行对比，判断算法的优劣，其中，数值高代表查准率和查全率的效果较好。

所述测试结果具体包括以下内容：根据仿真推演系统提供的准确装备型号及坐标数据，分析各识别算法对于装备型号及坐标的识别情况。其中，查准率=正确识别的装备数量/识别出来的装备数量×100%，即识别出来的装备中有多少是正确的；查全率=正确识别的装备数量/标记的装备数量×100%，即样本中正确识别出多少装备。例如仿真场景中巡航路线中有20个装备，识别出来了15个，其中正确的是10个，则查准率为0.67，查全率为0.50。

在一可选实施方式中，还包括对图像生成频率管理，具体调整每秒生成可见光图像的帧数，以获得相应帧数的可见光图像。根据仿真推演用例中设备搭载识别算法的有效时长调整仿真推演的时长。

仿真推演用例根据对抗任务、对抗规模的不同而发生变化，有效时长即为完成对抗任务或系统判定一方全部死亡的时间。例如单架直升机执行巡航飞行任务需要3分钟，小队执行协同打击任务需要10分钟，因此需要在自动化测试前根据仿真推演用例调整时长，并结合仿真推演系统关于对抗双方（例如AB双方）的损伤情况的数据对识别算法影响对抗结果程度进行全面分析。

在测试工具的设置界面，调整用例时长的数值，以使得仿真推演系统自动调用用例时长数据进行仿真推演过程，并在用例时长结束后自动关闭当前用例（即当前仿真推演用例）并执行下一用例（即下一仿真推演用例）。

在一优选实施方式中，根据对可见光图像所识别的区域内的目标装备、目标装备的坐标位置信息，指导以下的下一行为操作：执行打击任务、执行上报侦察目标、执行跟踪目标设备。

例如，搭载算法的设备获取可见光图像并进行算法识别并向仿真推演反馈识别结果，识别算法对目标装备型号及位置的识别结果（作为反馈数据）回传给仿真推演系统，搭载算法的设备接收到识别结果（即反馈数据）并根据行为模型判断下一步行为操作，可对不同装备设置具体的行为模型，例如发现目标即打击或发现目标上报给指挥员等，由指挥员进行决策，上述操作完成即可在仿真推演过程生效。

优选地，选取以下测试参数中一者或多者对各种识别算法进行测试：准确率、召回率、F1值、边界值。

在一具体实施方式中，可实时查看测试结果，并且支持对仿真推演用例的实时测试，可查看整体测试结果和不同天气边界的测试结果，具体包含识别算法的查准率、查全率，通过测试结果判断识别算法的优劣，从而对识别算法的优化提供改进依据。

对于单个识别算法，可通过对比查准率、查全率两项进行识别算法优劣的初步判断。如果查准率偏低而查全率很高，则表示有很多不是装备的物体被识别为装备，但识别的装备数量较多；如果查准率偏高而查全率偏低，则表示识别出来的装备不是很多，但都识别正确。

根据两个或多个识别算法的测试结果对比情况，能够有效判断出效果更优异的识别算法。如果查准率、查全率都不高，则表示识别出来的装备不是很多，低于样本装备数量，且识别正确的装备较少；如果查准率较高而查全率较低，表示识别出来的装备较少但识别正确的装备较多；如果查准率较低而查全率较高，则表示识别出来的装备较多，且识别正确的装备较多。

需要说明的是，对于这里的查准率和查全率的物理含义跟上述查准率和查全率的物理含义相同，因此，省略了对该相同部分的说明。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

与现有技术相比，本发明通过选择与仿真场景相对应的识别算法，编辑相关参数以生成样本数据；通过调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果，能够有效实现基于可见光图像的自动化测试，通过测试结果判断识别算法的优劣能够有效衡量识别算法对于分析评估结果的有效性。

此外，本发明根据可见光识别图像实现目标装备的型号和位置的识别，优化装备在仿真推演过程中的识别能力、对现实场景识别能力的仿真程度。在仿真推演过程中不仅能够发送可见光图像，同时也能够回传目标装备的实际型号和位置信息等识别结果作为评估识别算法查准率和查全率的依据。

此外，本发明支持对测试用例时长进行调整，提高了自动化测试的应用场景。自动测试工具支持测试过程中对图像生成频率进行调整，以根据实验需求达到最佳测试结果。

此外，通过增加用例生成轮数，减少仿真过程中对目标的击中概率的随机性，在样本测试的基础上多次重复测试，增加实验结果的可信度，能够支持对不同的识别算法进行新增、编辑等管理操作，算法管理具有可扩展性。

实施例2

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图4是根据本发明的基于仿真推演的自动测试装置的一示例的结构示意图。下面将参照图4，对所述基于仿真推演的自动测试装置进行说明。所述基于仿真推演的自动测试装置用于执行本发明第一方面所述的基于仿真推演的自动测试方法。

如图4所示，自动测试装置400包括选择处理模块410、确定处理模块420、调用执行模块430和测试处理模块440。

在一具体实施方式中，选择处理模块410选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法。确定处理模块420确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据。调用执行模块430调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程。测试处理模块440将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果。

根据可选实施方式，所述调用最适配的历史想定文件，编辑相关参数以生成样本数据，包括：基于天气因子、装备类型、每个单独装备的速度变量，生成样本数据。

根据可选实施方式，所述调整生成轮数，确定仿真推演用例的数量，包括：根据对实验数据准确程度的要求调整生成轮数；根据所调整的生成轮数，计算仿真推演用例的数量，具体表现为所计算的仿真推演用例的数量为通过调整实验因子所生成的样本数与生成轮数的乘积，自动化测试过程会根据生成轮数重复执行生成的样本。

根据可选实施方式，采用所生成的仿真推演用例，自动执行仿真推演过程，包括：在确定仿真推演用例的数量的情况下，按所确定的仿真推演用例的数量自动执行仿真推演过程；在仿真推演过程中，可通过切换到仿真推演系统查看天气因子、不同装备类型的速度变量、对抗双方的实时对抗情况，以进一步调整各实验因子。

根据可选实施方式，所述将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，包括：所述仿真推演过程会生成可见光图像和指定类型文件，每张可见光图像对应有一个指定类型文件，所述可见光图像为搭载识别算法设备的视角查看到的可见光图像，所述指定类型文件包含仿真推演系统所提供的标注信息数据和识别算法所识别的装备类型、装备位置、装备数量；将仿真推演系统所提供的标注信息数据与识别算法所识别的装备类型、装备位置、装备数量进行比对，生成测试结果。

根据可选实施方式，调整每秒生成可见光图像的帧数，以获得相应帧数的可见光图像；根据仿真推演用例中设备搭载识别算法的有效时长调整仿真推演的时长。

根据可选实施方式，测试工具的设置界面，调整用例时长的数值，以使得仿真推演系统自动调用用例时长数据进行仿真推演过程，并在用例时长结束后自动关闭当前用例并执行下一用例。

根据可选实施方式，根据对可见光图像所识别的区域内的目标装备、目标装备的数量和坐标位置信息，指导以下的下一行为操作：执行打击任务、执行上报侦察目标、执行跟踪目标装备。

需要说明的是，由于图4的基于仿真推演的自动测试装置所执行的自动测试方法与图1的示例中的基于仿真推演的自动测试方法大致相同，因此，省略了相同部分的说明。

与现有技术相比，本发明通过选择与仿真场景相对应的识别算法，确定是否使用历史想定文件，以编辑相关参数以生成样本数据；通过调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，生成测试结果，能够有效实现基于可见光图像的自动化测试，通过测试结果判断识别算法的优劣能够有效衡量识别算法对于分析评估结果的有效性。

此外，本发明根据可见光识别图像实现目标装备的型号和位置的识别，优化装备在仿真推演过程中的识别能力、对现实场景识别能力的仿真程度。在仿真推演过程中不仅能够发送可见光图像，同时也能够回传目标装备的实际型号和位置信息等识别结果作为评估识别算法查准率和查全率的依据。

此外，本发明支持对测试用例时长进行调整，提高了自动化测试的应用场景。自动测试工具支持测试过程中对图像生成频率进行调整，以根据实验需求达到最佳测试结果。

此外，通过增加用例生成轮数，减少仿真过程中对目标的击中概率的随机性，在样本测试的基础上多次重复测试，增加实验结果的可信度，能够支持对不同的识别算法进行新增、编辑等管理操作，算法管理具有可扩展性。

图5是根据本发明的电子设备实施例的结构示意图。

如图5所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元（RAM）和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元（ROM）。

可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图5显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按钮、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图6所示，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现本公开的数据交互方法。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本发明实施例的方法。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于仿真推演的自动测试方法，其特征在于，包括：

选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法；

确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据；

调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；所述仿真推演过程会生成可见光图像和指定类型文件，每张可见光图像对应有一个指定类型文件，所述可见光图像为搭载识别算法设备的视角查看到的可见光图像，所述指定类型文件包含仿真推演系统所提供的标注信息数据和识别算法所识别的装备类型、装备位置、装备数量；

将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，具体将仿真推演系统所提供的标注信息数据与识别算法所识别的装备类型、装备位置、装备数量进行比对，生成测试结果，所述测试结果包含查准率和查全率。

2.根据权利要求1所述的基于仿真推演的自动测试方法，其特征在于，所述调用最适配的历史想定文件，编辑相关参数以生成样本数据，包括：

基于天气因子、装备类型、每个单独装备的速度变量，生成样本数据。

3.根据权利要求1所述的基于仿真推演的自动测试方法，其特征在于，所述调整生成轮数，确定仿真推演用例的数量，包括：

根据对实验数据准确程度的要求调整生成轮数；

根据所调整的生成轮数，计算仿真推演用例的数量，具体表现为所计算的仿真推演用例的数量为通过调整实验因子所生成的样本数与生成轮数的乘积，自动化测试过程会根据生成轮数重复执行生成的样本数据。

4.根据权利要求3所述的基于仿真推演的自动测试方法，其特征在于，所述采用所生成的仿真推演用例，自动执行仿真推演过程，包括：

在确定仿真推演用例的数量的情况下，按所确定的仿真推演用例的数量自动执行仿真推演过程；

在仿真推演过程中，可通过切换到仿真推演系统查看天气因子、不同装备类型的速度变量、对抗双方的实时对抗情况，以进一步调整各实验因子。

5.根据权利要求1所述的基于仿真推演的自动测试方法，其特征在于，

调整每秒生成可见光图像的帧数，以获得相应帧数的可见光图像；

根据仿真推演用例中设备搭载识别算法的有效时长调整仿真推演的时长。

6.根据权利要求1所述的基于仿真推演的自动测试方法，其特征在于，

在测试工具的设置界面，调整用例时长的数值，以使得仿真推演系统自动调用用例时长数据进行仿真推演过程，并在用例时长结束后自动关闭当前用例并执行下一用例。

7.根据权利要求1所述的基于仿真推演的自动测试方法，其特征在于，

根据对可见光图像所识别的区域内的目标装备、目标装备的数量和坐标位置信息，指导以下的下一行为操作：执行打击任务、执行上报侦察目标、执行跟踪目标装备。

8.一种基于仿真推演的自动测试装置，用于执行权利要求1至7中任一项所述的基于仿真推演的自动测试方法，其特征在于，包括：

选择处理模块，选择与仿真场景相对应的识别算法，所述识别算法包括可见光识别算法、跟踪识别算法；

确定处理模块，确定是否使用历史想定文件，在确定使用历史想定文件的情况下，调用最适配的历史想定文件，编辑相关参数以生成样本数据；在确定不使用历史想定文件的情况下，构建新的想定文件，编辑相关参数以生成样本数据；

调用执行模块，调整生成轮数，确定仿真推演用例的数量，采用所生成的仿真推演用例，自动执行仿真推演过程；所述仿真推演过程会生成可见光图像和指定类型文件，每张可见光图像对应有一个指定类型文件，所述可见光图像为搭载识别算法设备的视角查看到的可见光图像，所述指定类型文件包含仿真推演系统所提供的标注信息数据和识别算法所识别的装备类型、装备位置、装备数量；

测试处理模块，将仿真推演过程生成的可见光图像发送给自动测试工具，将可见光图像的算法识别结果与仿真推演数据进行比对，对各识别算法的测试参数进行测试，具体将仿真推演系统所提供的标注信息数据与识别算法所识别的装备类型、装备位置、装备数量进行比对，生成测试结果，所述测试结果包含查准率和查全率。

9.根据权利要求8所述的基于仿真推演的自动测试装置，其特征在于，进一步包括：

根据对实验数据准确程度的要求，调整生成轮数；

根据所调整的生成轮数，计算仿真推演用例的数量，具体表现为所计算的仿真推演用例的数量为通过调整实验因子所生成的样本数与生成轮数的乘积，自动化测试过程会根据生成轮数重复执行生成的样本数据。