CN111581105A - 基于数据的测试评价系统 - Google Patents

Abstract

本发明涉及测试系统的技术领域，且公开了基于数据的测试评价系统，导调端软件模块包括有统计评分设计，统计评分设计包括有目标探测、有效性评测、正确率评测、目标位置评测与任务分评测等子模块，通过设置统计评分设置，评判主要有两种评判依据、目标探测和环境建模，相对应的，系统对每一个待测软件有两个科目的评价，目标探测和环境建模，两个科目的考题数据是不同的，而且不能通用，自动评测模块相对考试过程是一个独立的模块，待测软件将答案返回给服务器，之后评测模块就可以独立运行，不需要再和服务器做交互，只有当评测模块计算出得分之后，调用服务器的持久化相关接口将得分保存到数据库，从而保证了数据在传递流动时的完整性。

Description

基于数据的测试评价系统

技术领域

本发明涉及测试系统的技术领域，具体为基于数据的测试评价系统。

背景技术

现有对数据的测评需要通过数据测试评价系统来进行实现，数据的测评系统主要实现对基于数据的测评活动提供测试试题以及测试结果数据的管理，具体功能包括测试数据管理、被测单元信息管理、测试流程控制、统计评分以及系统管理等功能，现有多数数据测评系统在进行测评时，由于不同考题的数据是不同的因此在进行数据传输的过程中，不同的数据信息可能会产生冲突，进而可能导致数据的丢失。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于数据的测试评价系统，具备保证了数据在传递流动时的完整性等优点，解决了现有多数数据测评系统在进行测评时，由于不同考题的数据是不同的因此在进行数据传输的过程中，不同的数据信息可能会产生冲突，进而可能导致数据的丢失的问题。

(二)技术方案

为实现上述保证了数据在传递流动时的完整性目的，本发明提供如下技术方案：基于数据的测试评价系统，包括有服务端软件模块、客户端软件模块、投影显示模块、导调端软件模块和数据存储库，客户端软件模块、导调端软件模块和数据存储库均和服务端软件模块进行双向的信号连接，导调端软件模块包括有测试设置、测试准备、过程控制、席位控制、统计评分设计与环境建模这些子模块，其中统计评分设计包括有目标探测、有效性评测、正确率评测、目标位置评测与任务分评测等子模块。

优选的，所述服务端软件模块的架构包括有导调端容器、客户端容器、通讯指令集、题库解析器、基础数据管理、测试结果与评判数据存储库。

优选的，所述测试设置包括有考题设置、参赛单位设置与人员角色设置。

优选的，所述测试准备主要包括题库数据准备，人员信息准备，参赛单位信息准备以及参赛单位数据通讯接口准备，题库准备中每一套题库对应服务器指定目录下一套完整的文件夹。

优选的，所述过程控制主要包括以下几个过程，下发考题、考试准备、开始考试、考试完成以及考试成绩。

优选的，所述席位控制包括有观摩席、专家席与导调席。

(三)有益效果

与现有技术相比，本发明提供了基于数据的测试评价系统，具备以下有益效果：

1、该基于数据的测试评价系统，通过设置统计评分设置，将各个参赛单位的待测软件推送过来的答案与考题的真值数据比较，从而自动的计算出待测软件的目标识别功能、目标定位功能和环境建模能力，评判主要有两种评判依据、目标探测和环境建模，相对应的，系统对每一个待测软件有两个科目的评价，目标探测和环境建模，两个科目的考题数据是不同的，而且不能通用，自动评测模块相对考试过程是一个独立的模块，待测软件将答案返回给服务器，服务器接收答案之后，需要将答案发送一份给自动评测模块，之后评测模块就可以独立运行，不需要再和服务器做交互，只有当评测模块计算出得分之后，调用服务器的持久化相关接口将得分保存到数据库，从而保证了数据在传递流动时的完整性。

2、该基于数据的测试评价系统，通过设置客户端软件模块，客户端接收服务器发过来的指令，然后转发给待测软件，待测软件将答案直接发给客户端，客户端再将答案转发给服务器，客户端唯一的业务模块就是客户端控制了令牌数据的发送节奏，待测软件接收的令牌数据就是客户端发送过来的，发送的消息主要有两种情况，即时发送和持续发送，向指令这类数据，即时发送就可以了，发送完指令，马上就关闭连接，向答案和令牌数据，这要求持续的发送，这就要求连接之后，不能断开连接，只有等数据全部发送完成，通过设置客户端软件模块可以防止数据在传输过程中连接断开造成的数据丢失问题，从而有效的提高了数据运输时的稳定性。

3、该基于数据的测试评价系统，通过设置评判模块，评判模块收到一条答案之后，将会马上计算得分，首先比对真值和答案，判断该答案是识别到的哪一个目标，这个判断首先根据答案中的目标类型和真值的目标类型进行匹配，将不匹配的排除，然后根据答案中目标出现的时间和真值中的时间匹配，考虑到同一时间可能有多个目标出现，最后一再根据答案中包围框和真值包围框计算交并比，只有交并比大于某一个阈值，该答案才算作有效，从有效提高了评判成绩的准确性。

4、该基于数据的测试评价系统，通过设置测试评价方法，并通过服务器的评判模块，服务器会收集所有待测软件的答案，并根据答案计算得分，考虑到如果评分系统失灵，考试也能正常继续下去，所以计算得分又是一个独立的系统，导调端就是可视化的人为控制考试流程，和展示考试的结果，使可以实时的看到考试的数据。

5、该基于数据的测试评价系统，通过将各个参赛单位的待测软件推送过来的答案与考题的真值数据比较，从而自动的计算出待测软件的目标识别功能，目标定位功能，环境建模能力，评判主要有两种评判依据，目标探测和环境建模，相对应的，系统对每一个待测软件有两个科目的评价，目标探测和环境建模，两个科目的考题数据是不同的，而且不能通用，下面对这两个科目的自动评测进行说明，自动评测模块相对考试过程是一个独立的模块，待测软件将答案返回给服务器，服务器接收答案之后，需要将答案发送一份给自动评测模块，之后评测模块就可以独立运行，不需要再和服务器做交互，只有当评测模块计算出得分之后，调用服务器的持久化相关接口将得分保存到数据库。

附图说明

图1为本发明的系统框图；

图2为本发明图1中服务端软件模块的系统框图；

图3为本发明图1中导调端软件模块的系统框图；

图4为本发明的流程示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明，其中相同的零部件用相同的附图标记表示,需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”、“底面”和“顶面”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供技术方案：基于数据的测试评价系统，包括有服务端软件模块、客户端软件模块、投影显示模块、导调端软件模块和数据存储库，客户端软件模块、导调端软件模块和数据存储库均和服务端软件模块进行双向的信号连接，服务端软件模块的架构包括有导调端容器、客户端容器、通讯指令集、题库解析器、基础数据管理、测试结果与评判数据存储库，导调端容器用来管理所有与服务器连接的导调端，客户端容器管理所有与服务器连接的客户端，服务器与导调和客户端通讯，都通过通讯指令集完成他们之间的数据通讯，基础数据管理解决评测系统相关的人员信息，参赛单位信息，题库信息，同时依附该模块的题库解析器主要是给题库数据加密和解密，测试结果用来解决各个参赛单位的考试答案，如果保存答案，则根据答案评判待测软件性能，并将答案推给导调，使导调可以正常的展示和回放，评判数据存储库为mysql数据库，需要持久化的数据通过mysql数据库保存起来。

客户端软件模块是比较简单的一个应用程序，因为考虑到客户端的平台无关性，因此使用java编写，客户端的主要功能就是消息转发这样的模块，客户端接收服务器发过来的指令，然后转发给待测软件，待测软件将答案直接发给客户端，客户端再将答案转发给服务器，客户端唯一的业务模块就是客户端控制了令牌数据的发送节奏，待测软件接收的令牌数据就是客户端发送过来的，发送的消息主要有两种情况，即时发送和持续发送，向指令这类数据，即时发送就可以了，发送完指令，马上就关闭连接，向答案和令牌数据，这要求持续的发送，这就要求连接之后，不能断开连接，只有等数据全部发送完成，通过设置客户端软件模块可以防止数据在传输过程中连接断开造成的数据丢失问题，从而有效的提高了数据运输时的稳定性。

导调端软件模块包括有测试设置、测试准备、过程控制、席位控制、统计评分设计与环境建模这些子模块，测试设置包括有考题设置、参赛单位设置与人员角色设置，考题设置可为每套考题设置考题编号、考试时长、考题是否有效以及采集该考题的基本信息，例如天气、采集位置和车辆等，测试准备可为每个参赛单位设置编号、名称、待测软件计算机的IP地址以及参赛单位的软硬件环境信息，例如操作系统版本、硬件设备清单及相关参数，人员角色设置中人员的基本信息包括账号、密码、姓名和用户类型等信息，系统将登陆人员分为三种类型，其中包括导调员、专家与观摩人，其中导调员可以管理参赛单位、题库信息、人员信息、设置考试以及发放考题，专家可以通过实时或者回放考试信息为参赛单位的考试进行打分(清晰度)，观摩人可以实时观看或回放考试过程。

测试准备主要包括题库数据准备，人员信息准备，参赛单位信息准备以及参赛单位数据通讯接口准备，题库准备中每一套题库对应服务器指定目录下一套完整的文件夹。

过程控制主要包括以下几个过程：

下发考题：由导调员选取考题、参赛单位、考试阶段和考试类型均选择完成后，点击“下发考题”，开始向各个参赛单位的主机下发本次考试的考题。下发考题大约需要五分钟左右的时间，然后进入“考试准备”阶段。

考试准备：点击“考试准备”按钮，通知各个参赛单位准备开始考试，准备考试阶段是有时间限制，可根据竞赛规则配置，如果参赛单位在准备阶段还没有准备完成，则该参赛单位取消继续参赛资格，参赛单位在准备的时间范围内准备就绪，则进入下一阶段：开始考试阶段。

开始考试：各个参赛单位均准备完成后，开始考试按钮亮起，表明可以开始考试，点击开始考试，下发开始考试命令，点击处于考试中的任一参赛单位，即可进入实时播放界面，考试过程中，观摩人可以实时的可视化的展示参赛单位返回的答案。

考试完成：当令牌数据推送完成后，会向各参赛单位的待测软件发送令牌发送完成指令，参赛单位收到该指令后会依据具体业务规则为评价系统发送考试完成指令，当所有参赛单位都发送了考试完成指令，整个考试结束，如果三十分钟内某参赛单位未发送考试完成指令，评价系统将该参赛的此次考试视为弃权。

考试成绩：考试成绩分为两部分，专家打分和考题规则计算，专家可以在考试过程中或结束后对参赛单独的清晰度进行打分。

席位控制包括有观摩席、专家席与导调席，观摩席位根据参赛单位实时返回的考试答案，系统可以形象具体的展现出参赛单位无人系统在当前时间考试的答案数据和专家打分情况,同时系统支持对参赛单位历史答题情况的再次回放，专家席实现了对地面无人系统自主能力的高低进行分析测评，根据参赛单位实时返回的考试答案，系统会形象具体的展现出参赛单位无人系统在当前时间考试的答案数据,为专家打分提供更形象直观、易于理解的打分依据,同时系统支持对历史答题情况的再次回放，导调席是针对地面无人系统自主能力进行分析评测的系统，通过对地面无人系统获取的数据与真实场景情况进行分析对比，对地面无人系统自主能力的各个维度的优良程度进行打分，得到客观、有代表性的分析结果，评定无人系统自主能力的高低，同时对整个考试流程进行可视化控制，统一发放考题，同时给待测软件发送指令，收集、汇总相关参赛单位考试结果以及用户管理，参赛单位管理，考题管理，考试实时展示，回放以及排行榜等功能，通过设置不同的席位，不同人员登录系统会对应不同的席位，而不同席位对系统的功能点及操作页面则完全不同，这就要求系统对不同席位的用户要做整体控制，从而实现不同人员性质对系统页面操作的差异性。

统计评分设计包括有目标探测、有效性评测、正确率评测、目标位置评测与任务分评测等子模块，目标探测科目的考试，待测软件返回的答案只有一种格式，那就是目标探测的答案，目标探测的真值格式参考相关文档，该科目的评测目的就是考察待测软件对题库里图像里的目标识别的能力，这包括对单一目标的有效性评测，正确率评测，时间分评测和图像清晰度评测，目标位置评测以及整个考题中所涉及到的目标的正确识别，评判模块收到一条答案之后，将会马上计算得分，首先比对真值和答案，判断该答案是识别到的哪一个目标，这个判断首先根据答案中的目标类型和真值的目标类型进行匹配，将不匹配的排除，然后根据答案中目标出现的时间和真值中的时间匹配，考虑到同一时间可能有多个目标出现，最后一再根据答案中包围框和真值包围框计算交并比，只有交并比大于某一个阈值，该答案才算作有效，从有效提高了评判成绩的准确性，在计算有效性的同时，答案命中了某个目标的类型时间，则认为该答案是针对这个目标的，每命中一次该目标，则该目标的答案加一，如果该答案有效性大于某一个阈值，该目标的有效答案加一，当服务器接收考试结束，评测模块就计算每个目标的真确率，如果一个目标的第一次有效的答案，该答案中表示该目标出现的时间和该目标第一次在真值中出现的时间，计算他们之间的差值，如果差值越多，表示待测软件更慢的识别到目标。如果一个目标没有任何一个有效答案，则该目标没有被识别，时间分将为零。

环境建模，环境建模的答案包括三种类型，定位结果，局部地图和全局地图，同时还有一个任务文件，待测软件根据任务文件，在指定的时间绘制局部地图，评测模块根据答案和真值，从而计算场景理解分。

基于数据测试评价的方法，包括以下步骤；

一：准备考试，考试之前，准备好参赛单位，考题，人员信息，硬件信息等通过导调录入系统；

二：下载考题，通过导调控制，下发考题指令发送给服务器，服务器转发给客户端，客户端根据收到的数据从服务器下载考题到各个待测软件的计算机上；

三：下载完成，客户端下载完成后通知服务器下载完成，下载完成后服务器通知导调，下载完成；

四：导调通知服务器开始考试，服务器通知客户端开始考试，客户端发送令牌给待测软件；

五：读取考题数据，待测软件开始从本地计算机读取考题数据；

六：待测软件将考题答案发送给客户端，客户端再转给服务器，服务器根据情况，转给导调，同时将答案发给评判模块；

七：如果需要专家打分，服务器会把答案数据发给专家席；专家打分完成，将打分结果推给服务器，服务器发给评判模块；

八：测试结果展示，实时展示考试过程，待测软件将答案全部发送完成后，通知客户端考试完成，客户端转发给服务器。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.基于数据的测试评价系统，包括有服务端软件模块、客户端软件模块、投影显示模块、导调端软件模块和数据存储库，客户端软件模块、导调端软件模块和数据存储库均和服务端软件模块进行双向的信号连接，其特征在于：所述导调端软件模块按照职能划分为观摩席，专家席和导调席，按评测点分为环境建模和目标探测，其中采用的手段包括实时采集的视频，GPS定位数据，惯导数据，点云数据，从而实现参赛单位识别系统的目标定位能力，目标识别能力，环境建模能力的综合评测，导调端软件模块包括有测试设置、测试准备、过程控制、席位控制、统计评分设计与环境建模，其中统计评分设计包括有目标探测、有效性评测、正确率评测、目标位置评测与任务分评测。

2.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述服务端软件模块的架构包括有导调端容器、客户端容器、通讯指令集、题库解析器、基础数据管理、测试结果与评判数据存储库。

3.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述测试设置包括有考题设置、参赛单位设置与人员角色设置。

4.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述测试准备主要包括题库数据准备，人员信息准备，参赛单位信息准备以及参赛单位数据通讯接口准备，题库准备中每一套题库对应服务器指定目录下一套完整的文件夹。

5.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述过程控制主要包括以下几个过程，下发考题、考试准备、开始考试、考试完成以及考试成绩。

6.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述席位控制包括有观摩席、专家席与导调席。

7.根据权利要求1所述的基于数据的测试评价系统，其特征在于：所述客户端软件模块是比较简单的一个应用程序，因为考虑到客户端的平台无关性，因此使用java编写，客户端的主要功能就是消息转发这样的模块，客户端接收服务器发过来的指令，然后转发给待测软件，待测软件将答案直接发给客户端，客户端再将答案转发给服务器，客户端唯一的业务模块就是客户端控制了令牌数据的发送节奏，待测软件接收的令牌数据就是客户端发送过来的，发送的消息主要有两种情况，即时发送和持续发送，向指令这类数据，即时发送就可以了，发送完指令，马上就关闭连接，向答案和令牌数据，这要求持续的发送，这就要求连接之后，不能断开连接，只有等数据全部发送完成。

Images