CN115373981A - 一种用于整车在产线环境下进行ota自动化测试系统和方法 - Google Patents

Abstract

用于整车在产线环境下进行OTA自动化测试系统和方法，属于车辆OTA测试技术领域，解决没有整车在产线环境下进行OTA自动化测试系统以及测试过程复杂时效性低的问题。本发明的系统包括：客户端、边缘设备、OBD无线转接设备、OTA测试服务器和产线OTA服务器；边缘设备用于调度测试任务，将用于产线OTA服务器的测试任务发送给产线OTA服务器；将用于测试车端的测试任务发送给OBD无线转接设备；OBD无线转接设备用于将用于测试车端的测试任务发送给测试车辆；还用于接收测试车辆反馈的测试结果，并将测试车辆反馈的测试结果发送给边缘设备，边缘设备再将测试车辆反馈的测试结果发送给OTA测试服务器。本发明适用于整车在产线环境下进行OTA自动化测试。

Description

一种用于整车在产线环境下进行OTA自动化测试系统和方法

技术领域

本申请涉及车辆OTA测试技术领域，尤其涉及整车在产线环境下进行OTA自动化测试系统和方法。

背景技术

在随着汽车行业向标准化、智能化、软件化方向的发展，汽车于互联网的结合已成为当下主流趋势，汽车OTA技术也在各个整车制造商普及使用。为保证OTA功能的稳定性与安全性，亟需对产线环境下OTA升级的整车进行自动化测试。

目前，在汽车OTA测试行业中，已存在对OTA测试的工具，通常这些工具都是以定制化的形式实现，这些工具在不同程度上能够对特定车型的某些功能进行OTA测试。

现有技术存在的最大弊端是：当下技术主要是围绕在试验范围集中在OTA研发阶段，汽车实验室场景下完成对台架部件进行测试，实验室场景下测试环境较为理想且完备。但在总装配完成后，车辆为下线整车，在车辆OTA升级完成后需要对升级结果进行测试，现有技术则有一定的局限性。

现有技术中存在的缺点问题：

1.只能完成部件测试，无法在产线环境下整车测试；

2.只能在实验室台架环境下进行测试，需独立部署大型机柜和服务器，场地局限性强；

3.测试流程所用仪器尺寸大且数量多达十余种，比如：控制单元、交换机、程控电源、总线监控设备、蜂窝通信测试仪、LTE测试仪、信道仿真仪和ECU抽屉面板等，不便于携带；

4.测试软件过度依赖国外技术，比如德国Vector公司DiVa等工具，缺乏自主创新性。

发明内容

本发明目的是为了解决现有技术中没有整车在产线环境下进行OTA自动化测试系统以及测试过程复杂时效性低的问题，提供了用于整车在产线环境下进行OTA自动化测试系统和方法。

本发明是通过以下技术方案实现的，本发明一方面，提供一种用于整车在产线环境下进行OTA自动化测试系统，所述系统包括：客户端、边缘设备、OBD无线转接设备、OTA测试服务器和产线OTA服务器；

所述客户端用于访问所述OTA测试服务器上的OTA测试平台软件和查看测试报告；

所述OTA测试服务器用于创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务，并将所述测试任务通过所述OTA测试服务器发送给边缘设备；还用于根据所述测试车辆反馈的测试结果和所述所述产线OTA服务器的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

所述边缘设备用于调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

所述产线OTA服务器用于将所述用于产线OTA服务器的测试任务中测试用例的升级信息发送给测试车辆；还用于将产线OTA服务器的测试结果发送给所述边缘设备，所述边缘设备再将所述产线OTA服务器的测试结果发送给所述OTA测试服务器；

所述OBD无线转接设备用于将所述用于测试车端的测试任务发送给测试车辆；还用于接收测试车辆反馈的测试结果，并将所述测试车辆反馈的测试结果发送给所述边缘设备，所述边缘设备再将所述测试车辆反馈的测试结果发送给所述OTA测试服务器。

进一步地，所述根据所述DBC文件编辑测试任务，具体包括：根据所述DBC文件，配置测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号；

根据所述测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号，编辑测试用例；

根据所述测试用例，编辑测试任务。

进一步地，所述测试用例包括API接口指令、CAN脚本和UDS诊断报文。

进一步地，所述用于产线OTA服务器的测试任务包括API接口指令，所述用于测试车端的测试任务包括CAN脚本和UDS诊断报文。

进一步地，所述测试产线OTA服务器的测试脚本包括服务器负载测试、故障注入测试、服务器压力测试、服务器网络安全测试；

所述测试车端的测试脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试。

另一方面，本发明提供一种用于整车在产线环境下进行OTA自动化测试方法，所述方法包括：

步骤1、配置边缘设备，所述边缘设备具有数据通信、本地计算和AI推断、云端配置同步的功能；

步骤2、配置OBD无线转接设备，所述OBD无线转接设备可以实现测量车辆与所述边缘设备的通信功能；

步骤3、利用OTA测试服务器上的OTA测试平台软件创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务；

步骤4、所述OTA测试服务器将所述测试任务发送给边缘设备；

步骤5、所述边缘设备调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

步骤6、所述产线OTA服务器将所述用于产线OTA服务器的测试任务中的升级信息发送给测试车辆；

所述OBD无线转接设备将所述用于测试车端的测试任务发送给测试车辆；

步骤7、测试车辆根据所述升级信息和所述用于测试车端的测试任务，执行OTA测试，获取产线OTA服务器的测试结果和车辆反馈的测试结果；

步骤8、所述产线OTA服务器将所述产线OTA服务器的测试结果发送给所述边缘设备；

所述测试车辆将所述车辆反馈的测试结果发送给所述OBD无线转接设备，所述OBD无线转接设备再将所述车辆反馈的测试结果发送给所述边缘设备；

步骤9、所述边缘设备将所述产线OTA服务器的测试结果和所述车辆反馈的测试结果发送给所述OTA测试服务器，所述OTA测试服务器根据所述产线OTA服务器的测试结果和所述车辆反馈的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

进一步地，所述根据所述DBC文件编辑测试任务，具体包括：根据所述DBC文件，配置测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号；

根据所述测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号，编辑测试用例；

根据所述测试用例，编辑测试任务。

进一步地，所述测试用例包括API接口指令、CAN脚本和UDS诊断报文。

进一步地，所述用于产线OTA服务器的测试任务包括API接口指令，所述用于测试车端的测试任务包括CAN脚本和UDS诊断报文。

进一步地，所述测试产线OTA服务器的测试脚本包括服务器负载测试、故障注入测试、服务器压力测试、服务器网络安全测试；

所述测试车端的测试脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试。

本发明的有益效果：

本发明提供一种用于整车在产线环境下进行OTA自动化测试系统和方法，可以通过登录Web平台后预先配置OBD无线转接设备，配置OBD设备的目的是让平台与OBD设备之间建立关联配对关系，新建配置并选择要测试的车型，测试主要媒介为测试用例，选择测试用例并为其指定规则策略生成任务，将任务从测试服务器下发到边缘设备，边缘设备对不同的测试用例调度分发。

本发明专利就整车在产线环境下进行OTA自动化测试的方法和系统相比已公开的专利文献具有完整性高、便携性优、时效性强的优势；因测试的目的是以最少的时间和人力找出系统中存在的错误，测试结果数据为系统可靠性分析提供了重要依据。

本发明首先是实现了针对汽车的OTA测试；其次是能够满足主机厂对汽车总装完成下线的整车进行OTA测试，而不仅仅是停留在部件或测试台架这种研发条件下的部分部件测试成果，解决了车辆OTA从研发到下线过程中人为或机械导致的缺陷因素，覆盖的测试用例除对车端OTA功能测试评价外，同时会对产线OTA云平台API接口进行测试评价，使产线环境下OTA自动化测试范围更具完整性；再次是测试硬件采用了边缘设备和OBD无线转接设备，与其他测试方案需要动辄十几种测试设备相比，具有优秀的便携性特点；最后是该发明可以在产线环境OTA升级过程中同步进行OTA测试，实现方式是OTA云平台在执行升级过程中将不断调用其系统API接口，OTA测试平台软件将记录OTA云平台的API日志，同时OTA测试平台软件通过获取车端UDS诊断报文，将能够判断出OTA云平台在升级过程中对哪些ECU零件做了升级，OTA测试流程与OTA升级流程的工作完全重合，无需专门为了测试而测试，具备时效性高特点；通过本发明既保证OTA系统的OTA云平台端和整车端的稳定性与安全性，又大幅的提高了测试速度，有效节省了人力物力，填补了整车在产线环境下OTA自动化测试技术空白。

本发明的边缘设备和OBD无线转接设备能够以最便携的方式即可实现在产线环境下快速OTA自动化测试，通过对测试方向和测试内容做出改进，从而不需要用到过多的仪器。

本发明中的OTA测试环境是以总装完成汽车的整车为测试条件，测试设备采用边缘设备和OBD无线转接设备为系统设备组成，测试任务的数据流向是从测试服务器到边缘设备，由边缘设备调度测试任务分发给产线OTA服务器和OBD无线转接设备，进而解决OTA测试周期很长，整体测试效率不高的问题

本发明适用于整车在产线环境下进行OTA自动化测试。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于本发明系统的测试流程架构图；

图2为本发明方法的流程图；

图3为本发明的边缘设备原理图1；

图4为本发明的边缘设备原理图2；

图5为本发明的OBD无线转接设备原理图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

实施方式一、一种用于整车在产线环境下进行OTA自动化测试系统，所述系统包括：客户端、边缘设备、OBD无线转接设备、OTA测试服务器和产线OTA服务器；

所述客户端用于访问所述OTA测试服务器上的OTA测试平台软件和查看测试报告；

所述OTA测试服务器用于创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务，并将所述测试任务通过所述OTA测试服务器发送给边缘设备；还用于根据所述测试车辆反馈的测试结果和所述所述产线OTA服务器的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

所述边缘设备用于调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

所述产线OTA服务器用于将所述用于产线OTA服务器的测试任务中测试用例的升级信息发送给测试车辆；还用于将产线OTA服务器的测试结果发送给所述边缘设备，所述边缘设备再将所述产线OTA服务器的测试结果发送给所述OTA测试服务器；

所述OBD无线转接设备用于将所述用于测试车端的测试任务发送给测试车辆；还用于接收测试车辆反馈的测试结果，并将所述测试车辆反馈的测试结果发送给所述边缘设备，所述边缘设备再将所述测试车辆反馈的测试结果发送给所述OTA测试服务器。

本实施方式中，提供一种用于整车在产线环境下进行OTA自动化测试系统，如图1所示，可以通过登录Web平台后预先配置OBD无线转接设备，配置OBD设备的目的是让平台与OBD设备之间建立关联配对关系，新建配置并选择要测试的车型，测试主要媒介为测试用例，选择测试用例并为其指定规则策略生成任务，将任务从测试服务器下发到边缘设备，边缘设备对不同的测试用例调度分发。

一方面是对OTA产线服务器的API接口指令进行测试，主要测试产线OTA服务器给车辆下发的API指令，检查OTA云平台下发的API指令是不是根据在产线OTA测试平台软件中输入的API请求参数和期望响应参数返回的结果，响应参数结果包括API的状态码和响应代码；验证API是否未返回结果或者返回异常结果，不返回结果是根据响应状态码为500判断，返回异常结果是根据响应状态码为除200外其他的状态码判断，其他状态码如403、404、405、502等；验证API是不是正确触发其他事件或者正确调了其他API；验证API是不是正确更新了数据，将这些测试结果日志返回给测试系统进行分析统计，测试产线OTA云平台API接口指令的重要意义在于能够检查出产线OTA云平台的系统中可能出现的不稳定性和功能不正确性，故测试的目的是能够发现系统API接口可能出现的故障。

需要说明的是，API指令是OTA测试平台软件对部署在产线OTA服务器上的OTA云平台系统实施，最后API响应结果代码由OTA云平台返回给OTA测试平台软件，OTA测试平台软件将响应代码参数和期望响应代码参数比较一致性，如一致则达到测试通过目的，反之则不通过；该指令的实施是属于部署在产线的OTA云平台和OTA测试平台软件二者之间的数据交互。

另一方面是对实车进行测试。OBD无线转接设备插入车辆的OBD接口，通过CAN协议与整车的TBOX通信，TBOX将测试用例以CAN信号的形式经过CGW下发给被测试的ECU和IVI，测试的脚本程序在被测试的ECU和IVI上运行后得到的测试日志经CGW和TBOX返回到OBD无线转接设备中并存储，当OBD无线转接设备执行完所有测试用例，将结构化数据的测试结果日志经过边缘设备返回给测试服务器，最终操作者可以在OTA测试平台软件中查看到测试结果和分析报告。

本实施方式能够实现整车在产线环境下进行OTA自动化测试，相比传统技术方案具有方便、快速、高效的优势，即保证OTA功能的稳定性与安全性，同时也有效节省了人力物力，填补了整车在产线环境下OTA自动化测试技术空白。

本实施方式的目的是在针对现有技术中存在的障碍和问题提供一种用于整车在产线环境下进行OTA自动化测试系统，该系统能实现用户操作系统平台访问服务器，服务器将数据通过OBD设备连接并与车辆进行传输，包括编辑测试用例、下发测试任务、测试结果看板、测试缺陷分析、测试报告输出等功能，从而实现整车在产线环境下的OTA升级测试。

需要说明的是，1.本实施方式的OTA测试环境是以总装完成汽车的整车为测试条件，即测量车辆为产线下线整车，其中整车部分应包含OBD接口、TBOX、CGW、ECU、IVI；

2.边缘设备连接24V电源，同时接入与OTA测试服务器、产线OTA服务器同局域网网段的网络；

3.OBD无线转接设备依赖实车OBD接口引脚供电，同时通过WIFI与边缘设备组网连接；

4.OBD无线转接设备通过CAN通道指令与实车ECU通信；

5.因OTA技术是对车辆各ECU存储于Flash中的程序更新以实现升级，且OTA测试平台软件下发的UDS诊断报文最终也是到ECU，由ECU给出响应，故被测单元为ECU；

6.本实施方式的系统具备车型管理、OBD设备管理、测试用例管理、测试任务管理、测试结果看板、测试缺陷分析、测试报告输出功能。

实施方式二，本实施方式是对实施方式一所述的一种用于整车在产线环境下进行OTA自动化测试系统的进一步限定，本实施方式中，对所述根据所述DBC文件编辑测试任务，做了进一步限定，具体包括：

根据所述DBC文件，配置测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号；

根据所述测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号，编辑测试用例；

根据所述测试用例，编辑测试任务。

本实施方式给出了测试任务的编辑方法，从而可以将测试任务分为测试产线OTA服务器的测试任务和测试车端的测试任务，进而解决OTA测试周期很长，整体测试效率不高的问题。

实施方式三，本实施方式是对实施方式二所述的一种用于整车在产线环境下进行OTA自动化测试系统的进一步限定，本实施方式中，对所述测试用例，做了进一步限定，具体包括：

所述测试用例包括API接口指令、CAN脚本和UDS诊断报文。

需要说明的是，API接口指令是要发送给产线OTA服务器的，CAN脚本和UDS诊断报文是要发送给OBD无线转接设备，进而发送给测量车辆的，解决OTA测试周期很长，整体测试效率不高的问题。

需要说明的是，OBD无线转接设备能够接收到实车OBD接口返回的UDS诊断报文和结构化OBD测试日志，边缘设备能够接收到OBD无线转接设备回传的UDS诊断报文和结构化OBD测试日志，同时能够接收到产线OTA服务器回传的API测试日志，OTA测试服务器能够接收到边缘设备回传的UDS诊断报文、结构化OBD测试日志和API测试日志。基于上述设计方案，通过上述的产线OTA服务器、OTA测试服务器、边缘设备、OBD无线转接设备上下游层级通信消息流转可以实现对OTA测试用例任务下发、分配、执行和测试响应结果回传。

实施方式四，本实施方式是对实施方式一所述的一种用于整车在产线环境下进行OTA自动化测试系统的进一步限定，本实施方式中，对所述用于产线OTA服务器的测试任务和所述用于测试车端的测试任务，做了进一步限定，具体包括：

所述用于产线OTA服务器的测试任务包括API接口指令，所述用于测试车端的测试任务包括CAN脚本和UDS诊断报文。

实施方式五，本实施方式是对实施方式二所述的一种用于整车在产线环境下进行OTA自动化测试系统的进一步限定，本实施方式中，对所述测试产线OTA服务器的测试脚本和所述测试车端的测试脚本，做了进一步限定，具体包括：

所述测试产线OTA服务器的测试脚本包括服务器负载测试、故障注入测试、服务器压力测试、服务器网络安全测试；

所述测试车端的测试脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试。

需要说明的是，服务器压力测试(如7×24小时持续升级)；服务器网络安全测试包括渗透测试、攻击测试；测试产线OTA服务器的测试脚本采用Web(HTTP/HTML)协议；在OTA测试平台软件中依次按步骤录制要测试的脚本和API接口(消息推送、日志接收保存、车型版本收集、升级包生成策略)指令保存。

测试车端的测试脚本CANBUS协议，在OTA平台软件中编辑要测试的各功能的步骤和脚本内容。

实施方式六，一种用于整车在产线环境下进行OTA自动化测试方法，所述方法包括：

步骤1、配置边缘设备，所述边缘设备具有数据通信、本地计算和AI推断、云端配置同步的功能；

步骤2、配置OBD无线转接设备，所述OBD无线转接设备可以实现测量车辆与所述边缘设备的通信功能；

步骤3、利用OTA测试服务器上的OTA测试平台软件创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务；

步骤4、所述OTA测试服务器将所述测试任务发送给边缘设备；

步骤5、所述边缘设备调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

步骤6、所述产线OTA服务器将所述用于产线OTA服务器的测试任务中的升级信息发送给测试车辆；

所述OBD无线转接设备将所述用于测试车端的测试任务发送给测试车辆；

步骤7、测试车辆根据所述升级信息和所述用于测试车端的测试任务，执行OTA测试，获取产线OTA服务器的测试结果和车辆反馈的测试结果；

需要说明的是，在测量车辆执行OTA测试时，会将生成的消息记录通过边缘设备上传到OTA测试服务器，反馈到OTA测试平台软件的测试任务界面。

步骤8、所述产线OTA服务器将所述产线OTA服务器的测试结果发送给所述边缘设备；

所述测试车辆将所述车辆反馈的测试结果发送给所述OBD无线转接设备，所述OBD无线转接设备再将所述车辆反馈的测试结果发送给所述边缘设备；

步骤9、所述边缘设备将所述产线OTA服务器的测试结果和所述车辆反馈的测试结果发送给所述OTA测试服务器，所述OTA测试服务器根据所述产线OTA服务器的测试结果和所述车辆反馈的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

实施方式七，本实施方式是基于一种用于整车在产线环境下进行OTA自动化测试方法的具体实施例，具体为：

如图2所示，步骤1：

配置边缘设备(即工业智能边缘设备)，其具有数据通信、本地计算和AI推断、云端配置同步等能力；平台云端管理套件，提供海量边缘管理能力，并且对接不同应用生产生态，提供强大的应用集成、测试、管理和分发的能力。

在本实施方式中的作用：其一是和产线OTA云服务器、OTA测试服务器、OBD无线转接设备组网通信；其二是能够对测试用例任务产生的数据进行接收和发送；。

设备具有超高效、高性能、接口丰富等优势。内部集成CAN、USB、以太网口、4G、WIFI、HDMI、音频功能接口和模块，以满足不同场合的需求。工业边缘设备设备原理示意图如图3、图4所示。

步骤2：

配置OBD无线转接设备，将OBD无线转接设备与车辆的OBD接口连接，可以对车辆ECU数据通过CAN信号和UDS诊断报文进行数据采集，并将ECU数据通过无线网络回传给边缘设备，边缘设备再通过无线网络上传至OTA测试软件平台；OBD无线转接设备内置的加密芯片可以通过OBD口及内置协议通信SDK及安全认证SDK进行批量认证授权功能；具有UDS诊断协议；设备信息示意图如图5所示。

步骤3：

步骤1中边缘设备与步骤2中OBD无线转接设备在配置完成后，二者之间通过WIFI连接配对，确保认证成功并实现通信，能够上传数据和下载数据，在执行测试任务前，应将OBD无线转接设备插入到实车的OBD接口上，与车辆建立通信连接，其通信连接的流程为：实车与OBD无线转接设备内置证书通过TCP握手身份认证，将车辆状态从用户模式切换为工厂模式，停止OTA Session(即停止车辆与研发OTA服务器通信)，此时实车将在工厂模式下与产线OTA服务器TCP握手身份认证。

步骤4：

预先核实并确认产线OTA服务器能够通过4G网络与步骤3中的实车TBOX(车联网系统中的智能车载终端)建立通信；

检查OTA测试系统通信链路，登录OTA测试平台软件，在软件中检查OBD无线转接设备为在线状态，可判断步骤3中OBD无线转接设备经由边缘设备与OTA测试服务器已建立起通信连接；

检查边缘设备与产线OTA服务器之间通信，因二者均在同一局域网网段内，边缘设备在服务启动后会给产线OTA服务器发送PING包，验证通信状态；

步骤5：

在OTA测试平台软件创建测试车型，并在创建测试车型页面的附件模块一项上传该车型的DBC文件，DBC数据库文件是用来描述CAN网络节点间数据通信的文件，包含了CAN总线协议中协议数据及其代表的具体意义，OTA测试平台软件能够对DBC文件自动解析。OTA测试平台软件将自动解析上传的DBC文件，识别DBC文件中定义的CANID、网络节点、消息报文、信号和环境变量，用于在步骤7配置CAN信号中对CANID分配给对应ECU系统模块，配置完成CAN信号后在步骤8测试用例中配置编辑并生成对应测试前置条件和步骤描述的测试脚本。

步骤6：

配置测试脚本，需配置测试产线OTA服务器的测试脚本和OTA车端的脚本，其中

产线OTA服务器测试脚本主要为服务器负载测试、故障注入测试、服务器压力测试(如7×24小时持续升级)、服务器网络安全测试(渗透测试、攻击测试)；测试脚本采用Web(HTTP/HTML)协议，在OTA测试平台软件中依次按步骤把每一步要测试的脚本和API接口(消息推送、日志接收保存、车型版本收集、升级包生成策略)指令保存。

需要说明的是，预设测试顺序，第一步测试调用的指令，第二步测试调用的指令…配置完成后，OTA测试平台软件将按照预设的测试脚本顺序一步一步执行测试。

车端的脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试；测试脚本采用CANBUS协议，在OTA平台软件中编辑要测试的各功能的步骤和脚本内容。

步骤7：

配置CAN信号，根据步骤5中DBC文件解析出的CANID，在OTA测试平台软件中选择CANID功能中按DBC文件解析出的CANID枚举类，选择指定CANID后，系统将自动识别该CANID的CAN信号、最大值、最小值等关键信息添加到车型下各ECU系统模块，最终各ECU模块的CAN信号由OBD无线转接设备的第6和14引脚通过CAN总线协议连接到汽车各ECU。

步骤8：

编辑测试用例，在用例中编辑用例对应的前置条件、步骤描述并在对应条件和步骤中在OTA测试平台用例管理功能模块中依次按顺序插入步骤6中脚本和步骤7中CANID，用以生成测试用例。

步骤9：

编辑测试任务，在OTA测试平台软件的测试任务模块中选择步骤8中配置完成的用例，任务中可包含多条用例，用例中包含了API接口指令、CAN脚本和UDS诊断报文，并对测试任务配置策略，策略包含测试任务的优先级、测试用例执行次数，在配置完成后需确认前置条件OBD无线转接设备已插入到实车OBD接口上，即可执行该任务，此时OTA测试平台软件中显示该任务执行进度及各步骤状态结果。

OTA测试服务器的作用包括用于运行OTA测试平台软件的服务程序和建立与边缘设备的网络连接；

OTA测试平台软件的作用在于其部署在OTA测试服务器上，所有可视化功能交互均在该软件上编辑、配置和查看，能够反映整个产线OTA自动化测试系统的活动。

步骤10：

OTA测试服务器执行下发测试任务消息，在步骤9中OTA测试平台软件从OTA测试服务器将测试任务消息通过以太网下发给边缘设备。

步骤11：

边缘设备收发调度测试任务消息，边缘设备从步骤10中OTA测试服务器接收消息，其负责对消息的分配与调度，把属于部署在产线OTA服务器上的产线OTA云平台后端的测试任务(API接口指令)分配给产线OTA服务器，把属于车端的测试任务(CAN脚本和UDS诊断报文)分配给OBD无线转接设备。

步骤12：

产线OTA服务器收发测试任务消息，产线OTA服务器接收到步骤11中边缘设备分配的任务后即检查任务中包含的测试用例信息与服务器数据库中信息做条件匹配对应，API接口指令测试用例信息包括测试车辆的VIN码、发动机型号、变速箱型号、车型、生产日期、停产日期、TBOX序列号、ECU信息、ECU上次更新状态、ECU上次升级时间和升级包(全量包、差分包)；如对应成功则由产线OTA服务器通过蜂窝网络给条件中对应的车辆TBOX下发升级包版本信息。

步骤13：

OBD无线转接设备收发测试任务消息，由步骤3中OBD无线转接设备通过WIFI通信接收到步骤11中边缘设备分配的任务后，将属于车端测试任务的测试用例任务(CAN、UDS)消息通过步骤7中各ECU模块的CAN信号由OBD无线转接设备的第6和14引脚通过CAN总线协议连接到汽车各ECU。

CAN信号的作用是ECU接到某个指令后,会将指令转为CAN总线信号,然后通过CAN总线进行传输，CAN总线将信号传送给特定的传感器。

步骤14：

实车执行OTA测试任务，在实车在步骤3中的工厂模式下与产线OTA服务器建立起通信连接，由步骤12中的产线OTA服务器向被测实车TBOX发送OTA升级包版本信息，车端在工厂模式下开始更新流程：

产线OTA服务器向TBOX发送OTA升级消息，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；需要说明的是，该反馈是为了记录OTA执行过程的每一步，OTA测试(API、CAN、UDS)用例任务也是包含在每一步中，故需OBD无线转接设备和产线OTA服务器将消息日志给边缘设备反馈到OTA测试平台软件。

TBOX向产线OTA服务器发送同意升级消息，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

产线OTA服务器向TBOX发送更新的ECU信息，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

实车TBOX识别并确认ECU信息和内部存储空间检查结果，OTA测试服务器接收到OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

ECU将当前版本信息和内部存储空间返回给TBOX，OTA测试服务器接收到OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

TBOX把ECU当前版本信息返回给产线OTA服务器，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

产线OTA服务器进行版本信息验证，OTA测试服务器接收到产线OTA服务器对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

产线OTA服务器向被测实车TBOX发送升级包(全量包或差分包)，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

TBOX接收到产线OTA服务器发送的升级包，在下载过程中将按照步骤6中配置的测试脚本按步骤执行故障注入：TBOX短时断网和长时断网、电瓶电量过低脚本，以测试OTA下载策略和更新下载过程中断点续传能力，OTA测试服务器接收到OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

TBOX中的OTAManager对升级包进行完整性验证和解密验签，OTA测试服务器接收到OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

TBOX中的OTAManager对升级包进行重构并由Boot Loader引导通过CGW下发给各ECU进行并行升级，同时ECU的备用Flash进行升级包的镜像制作，OTA测试服务器接收到OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

升级过程中将按照步骤6中配置的测试脚本按步骤执行故障注入：功能交互测试(电源模式切换测试、四门两盖开闭交互测试、防盗报警状态切换交互测试、动力模式切换交互测试以及驱动单元切换交互测试)和异常工况测试(OTA主控供电异常、OTA被升级ECU供电异常、电瓶电量异常、车速异常、发动机转速异常、电压异常、剩余电量异常、驻车制动切换、挡位切换、启动系统运行状态切换、充电状态切换、电机运转状态切换)，以上测试内容均以脚本形式下发给车辆，造成干扰信号，以测试OTA升级策略。

上述流程完成后，TBOX与ECU对升级信息进行一致性检查，如检查通过，则完成该升级流程生成日志，由TBOX发送给产线OTA服务器，如检查未通过，则在ECU的备用Flash中制作的镜像文件进行回滚到上一个版本版本，生成日志，由TBOX发送给产线OTA服务器，OTA测试服务器接收到产线OTA服务器和OBD无线转接设备对测试消息收发的日志，生成一条消息记录通过边缘设备上传到OTA测试服务器反馈到OTA测试平台软件的测试任务界面；

步骤15：

OTA测试平台软件的测试报告模块生成OTA测试报告，测试报告是由执行完成以上步骤1到步骤14后得到OTA云平台的API响应和车端的CAN、UDS响应消息日志，将上述测试用例包含的每个前置条件和步骤在OTA测试平台软件中设置的预期响应结果进行比对，判断是否一致，如一致则判断为通过，反之则不通过，汇总结果生成测试报告。在OTA测试平台软件中可选择测试任务查看任务报告(用例测试通过率、用例测试结果统计、任务信息)、缺陷报告(缺陷所属模块、缺陷状态、缺陷数量、缺陷级别、缺陷优先级、缺陷处理人)图表和报告，报告可下载到本地。

步骤16：

检查测试缺陷，执行完成以上步骤1到步骤154后，在OTA测试平台软件中可创建测试任务并创建测试任务中结果为未通过的测试缺陷，可根据选择的测试任务填写测试缺陷的名称、优先级、级别、创建人、处理人、状态、创建时间，并可对单条测试缺陷修改其处理状态和留言备注，用于对缺陷的跟踪和多人协同处理。

步骤17

测试看板缺陷调整，执行完成以上步骤1到步骤14后，在OTA测试平台软件中可选择测试任务查看测试看板，在测试看板中能够查看我的测试缺陷和最近更新的测试缺陷，测试缺陷共6种状态，分别为：待办缺陷、修复中缺陷、测试中缺陷、已关闭缺陷、已拒绝缺陷、延时处理缺陷；

测试缺陷以卡片形式展示在6种状态下泳道种，不同缺陷对应不同修改状态规则，待办缺陷泳道卡片可移动到修复中缺陷泳道，修复中缺陷泳道卡片可移动到测试中缺陷泳道，测试中缺陷泳道卡片可移动到已关闭缺陷、已拒绝缺陷、延时处理缺陷泳道，已关闭缺陷、已拒绝缺陷、延时处理缺陷泳道卡片可移动到待办缺陷中。

为了有助于理解本发明技术，提供表1：名词说明。

表1：名词说明

本发明公开了一种用于整车在产线环境下进行OTA自动化测试的方法和系统。其原理是：用户预先配置好边缘设备和OBD无线转接设备，并检查部署在OTA测试服务器上的OTA测试平台软件和部署在产线OTA服务器上的产线OTA云平台之间能够正常通信，在OTA测试平台软件中将测试用例(包含API接口指令、CAN脚本和UDS诊断报文)下发到边缘设备，由边缘设备对测试用例做数据分发，测试API接口指令的用例分发给产线OTA云平台，测试CAN脚本和UDS诊断报文的用例下发给OBD无线转接设备，OBD无线转接设备与被测车辆OBD接口连接，执行OTA测试流程，测试结果从产线OTA云平台服务器和OBD无线转接设备将数据经边缘设备回传给OTA测试平台软件，在测试看板、测试缺陷、测试报告模块中查看测试结果并进行分析，从而实现整车在产线环境下的OTA升级测试。

本发明能够实现整车在产线环境下进行OTA自动化测试，相比传统技术方案具有方便、快速、高效的优势，即保证OTA功能的稳定性与安全性，同时也有效节省了人力物力，填补了整车在产线环境下OTA自动化测试技术空白。

Claims (10)

1.一种用于整车在产线环境下进行OTA自动化测试系统，其特征在于，所述系统包括：客户端、边缘设备、OBD无线转接设备、OTA测试服务器和产线OTA服务器；

所述客户端用于访问所述OTA测试服务器上的OTA测试平台软件和查看测试报告；

所述OTA测试服务器用于创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务，并将所述测试任务通过所述OTA测试服务器发送给边缘设备；还用于根据所述测试车辆反馈的测试结果和所述所述产线OTA服务器的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

所述边缘设备用于调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

所述产线OTA服务器用于将所述用于产线OTA服务器的测试任务中测试用例的升级信息发送给测试车辆；还用于将产线OTA服务器的测试结果发送给所述边缘设备，所述边缘设备再将所述产线OTA服务器的测试结果发送给所述OTA测试服务器；

所述OBD无线转接设备用于将所述用于测试车端的测试任务发送给测试车辆；还用于接收测试车辆反馈的测试结果，并将所述测试车辆反馈的测试结果发送给所述边缘设备，所述边缘设备再将所述测试车辆反馈的测试结果发送给所述OTA测试服务器。

2.根据权利要求1所述的一种用于整车在产线环境下进行OTA自动化测试系统，其特征在于，所述根据所述DBC文件编辑测试任务，具体包括：根据所述DBC文件，配置测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号；

根据所述测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号，编辑测试用例；

根据所述测试用例，编辑测试任务。

3.根据权利要求2所述的一种用于整车在产线环境下进行OTA自动化测试系统，其特征在于，所述测试用例包括API接口指令、CAN脚本和UDS诊断报文。

4.根据权利要求1所述的一种用于整车在产线环境下进行OTA自动化测试系统，其特征在于，所述用于产线OTA服务器的测试任务包括API接口指令，所述用于测试车端的测试任务包括CAN脚本和UDS诊断报文。

5.根据权利要求2所述的一种用于整车在产线环境下进行OTA自动化测试系统，其特征在于，所述测试产线OTA服务器的测试脚本包括服务器负载测试、故障注入测试、服务器压力测试、服务器网络安全测试；

所述测试车端的测试脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试。

6.一种用于整车在产线环境下进行OTA自动化测试方法，其特征在于，所述方法包括：

步骤1、配置边缘设备，所述边缘设备具有数据通信、本地计算和AI推断、云端配置同步的功能；

步骤2、配置OBD无线转接设备，所述OBD无线转接设备可以实现测量车辆与所述边缘设备的通信功能；

步骤3、利用OTA测试服务器上的OTA测试平台软件创建测试车型，并解析所述测试车型的DBC文件，根据所述DBC文件编辑测试任务，所述测试任务包括用于产线OTA服务器的测试任务和用于测试车端的测试任务；

步骤4、所述OTA测试服务器将所述测试任务发送给边缘设备；

步骤5、所述边缘设备调度所述测试任务，具体包括：

将所述用于产线OTA服务器的测试任务发送给产线OTA服务器；将所述用于测试车端的测试任务发送给所述OBD无线转接设备；

步骤6、所述产线OTA服务器将所述用于产线OTA服务器的测试任务中的升级信息发送给测试车辆；

所述OBD无线转接设备将所述用于测试车端的测试任务发送给测试车辆；

步骤7、测试车辆根据所述升级信息和所述用于测试车端的测试任务，执行OTA测试，获取产线OTA服务器的测试结果和车辆反馈的测试结果；

步骤8、所述产线OTA服务器将所述产线OTA服务器的测试结果发送给所述边缘设备；

所述测试车辆将所述车辆反馈的测试结果发送给所述OBD无线转接设备，所述OBD无线转接设备再将所述车辆反馈的测试结果发送给所述边缘设备；

步骤9、所述边缘设备将所述产线OTA服务器的测试结果和所述车辆反馈的测试结果发送给所述OTA测试服务器，所述OTA测试服务器根据所述产线OTA服务器的测试结果和所述车辆反馈的测试结果生成测试报告，并将所述测试报告发送给所述客户端。

7.根据权利要求6所述的一种用于整车在产线环境下进行OTA自动化测试方法，其特征在于，所述根据所述DBC文件编辑测试任务，具体包括：根据所述DBC文件，配置测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号；

根据所述测试产线OTA服务器的测试脚本、测试车端的测试脚本和CAN信号，编辑测试用例；

根据所述测试用例，编辑测试任务。

8.根据权利要求7所述的一种用于整车在产线环境下进行OTA自动化测试方法，其特征在于，所述测试用例包括API接口指令、CAN脚本和UDS诊断报文。

9.根据权利要求6所述的一种用于整车在产线环境下进行OTA自动化测试方法，其特征在于，所述用于产线OTA服务器的测试任务包括API接口指令，所述用于测试车端的测试任务包括CAN脚本和UDS诊断报文。

10.根据权利要求7所述的一种用于整车在产线环境下进行OTA自动化测试方法，其特征在于，所述测试产线OTA服务器的测试脚本包括服务器负载测试、故障注入测试、服务器压力测试、服务器网络安全测试；

所述测试车端的测试脚本包括对升级策略机制、安全防盗机制、并行升级机制、升级保障机制的测试。

Images