CN113239609A - 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 - Google Patents
一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 Download PDFInfo
- Publication number
- CN113239609A CN113239609A CN202011547676.4A CN202011547676A CN113239609A CN 113239609 A CN113239609 A CN 113239609A CN 202011547676 A CN202011547676 A CN 202011547676A CN 113239609 A CN113239609 A CN 113239609A
- Authority
- CN
- China
- Prior art keywords
- subsystem
- monocular camera
- identification
- standard
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000004088 simulation Methods 0.000 claims abstract description 55
- 238000002474 experimental method Methods 0.000 claims abstract description 52
- 238000013095 identification testing Methods 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000007726 management method Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 6
- 238000010998 test method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种智能车单目摄像头目标识别监测试验系统及检测方法，包括主体实验平台、视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统、主控机实验管理子系统、目标识别测试子系统、识别信息采集子系统，所述主体实验平台均连接有单目摄像头三自由度运动平台、视景生成仿真子系统和雨雾天气环境生成子系统，所述单目摄像头三自由度运动平台连接有识别信息采集系统，所述识别信息采集系统连接有主控机试验管理子系统。有益效果：通过对比标准数据，融合精确率、召回率与实时性指标开发识别评价子系统，并设计测试方法流程用于综合评价目标识别效果，以解决人工评价随意性及客观性不强的缺点。
Description
技术领域
本发明涉及智能车领域，具体来说，涉及一种智能车单目摄像头目标识别监测试验系统及检测方法。
背景技术
由于交通事故是一个小概率事件，交通事故中发生一起人员死亡的事故概率约为1.5×10-9/km，因此从统计学的角度直观地证明智能车的安全性需要超高的工作量。在95％的置信度水平下，约需要80亿公里的实际道路测试才能证明智能车导致的交通事故死亡率比人为驾驶低。即，假设100辆车组成的测试车队以平均40km/h的速度全年365天、每天24小时不间断的测试，跑完这个里程也需要225年。同时，在智能车的测试过程中也暴露了智能车与传统车辆在混合交通流环境下，智能车对环境感知及决策控制技术的不足。基于单目摄像头的智能车目标识别，其准确性和安全性是未来智能车发展需要考虑的重要问题之一，也是保障智能车安全行驶的必要条件。面对当前智能车快速迭代的需求，有必要开发和研究高效的测试设备及方法，以实现加速测试和评价。现有的测试方法主要分为仿真测试、驾驶模拟器测试、受控场地测试和实证测试四大类。仿真测试中，驾驶员、车辆和交通环境都采用虚拟的数学模型代替，使用类似于PreScan等软件中的场景库和模型库，构建复杂的交通环境，主要分为模型在环(MIL)、软件在环(SIL)以及硬件在环(HIL)三种。驾驶模拟器测试中，驾驶员处于驾驶模拟舱中，模拟舱通过虚拟的车辆特性和真实的驾驶舱营造出沉浸式的驾驶环境，并能实现车辆的姿态运动仿真。受控场地测试中，真实的驾驶员驾驶真实的车辆在模拟的交通环境中进行，车辆的人造动力学环境由真实的车辆代替。实证测试方法，是真实的驾驶员在真实的交通环境中与真实的车辆发生交互，需要在实车上安装测试传感器及数据采集设备，通过实验组和对比组的数据对比分析被测设备的性能。
但是，目前大多数现有的仿真测试，使用抽象的概念模型建模测试，只能提供是否满足功能需求和性能指标的技术有效性测试结果，无法评价用户的主观接受度、可用性、可控性等与用户相关层面的性能，驾驶模拟器测试。通过人为模拟的车辆动力学特性与真实的车辆运动存在差异，驾驶员所体会到的运动感不够真实，而且为了获得具有统计显著性的结果，针对一个性能指标的测试需要多名驾驶员，造成能够分析的测试场景有限，受控场地测试。需要在专用受控场地中复现典型的交通危险场景，涉及不同的道路形态、不同的车道线形、不同的交通标志、不同的交通参与者(如车辆、行人、骑车人)等，复杂度高、专门性强、场地运行管理成本高、测试损耗高，实证测试，由于车辆行驶过程中危险工况出现的概率非常小，需要大量的车辆测试才能获得具有统计意义的结果，造成测试的数据量非常大，而且每一次的实证测试都需要投入大量的人力、物力和资金，同时会有发生真实交通事故造成人员伤亡的可能。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种用于智能车单目摄像头目标识别监测的试验系统及检测方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种智能车单目摄像头目标识别监测试验系统。
该试验系统包括主体实验平台、视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统、主控机实验管理子系统、目标识别测试子系统、识别信息采集子系统，所述主体实验平台均连接有单目摄像头三自由度运动平台、视景生成仿真子系统和雨雾天气环境生成子系统，所述单目摄像头三自由度运动平台连接有识别信息采集系统，所述识别信息采集系统连接有主控机试验管理子系统，所述主控机试验管理子系统均连接有识别信息采集系统、景生成仿真子系统和单目摄像头三自由度运动平台，所述主控机试验管理子系统连接有目标识别测试子系统，所述视景生成仿真子系统包括显示屏支撑架、显示屏和滚轮架，所述显示屏支撑架设置在所述滚轮架上，所述显示屏安装在所述显示屏支撑架上。
进一步的，所述主体实验平台包括所述视景生成仿真子系统、所述单目摄像头三自由度运动平台、所述雨雾天气环境生成子系统的安装支撑平台，实验台主体以及连接于主体后方安装的支撑导轨，所述单目摄像头三自由度运动平台包括单目摄像头安装支架和运动部件，所述雨雾天气环境生成子系统包括雨量生成及模拟部件、雾天空气生成和模拟部件，所述雨雾天气环境生成子系统安装在所述视景生成仿真子系统前方，且受所述主控机实验管理子系统的控制，所述单目摄像头三自由度运动平台与所述主控机试验管理子系统连接，所述识别信息采集系统包括单目摄像头和所述主控机实验管理子系统中的软件模块，所述目标识别测试子系统与所述主控机试验管理子系统连接。
根据本发明的另一方面，提供了一种智能车单目摄像头目标识别监测的试验系统及检测方法。
该试验系统及检测的使用，包括以下步骤：
通过不同光照、雨雪天气、雾霾天气传递给预测识别结果，通过预测识别结果得出识别结果数据；
以及通过标准识别结果对基于标准空间样本深度学习检测，以及通过检测结果无误，“否”将返回基于标准空间样本深度学习，“是”将得出目标识别标准数据；
识别结果数据和目标识别标准数据均通过数据归类到标准标签数量统计、真是标签数量统计和算法运行速度统计，算法运行速度统计通过实时性分析得出目标识别测试报告输出；
标准标签数量统计和真是标签数量统计均通过混淆矩阵到精确率和召回率，以及精确率和召回率通过Precision-Recall曲线得出平均精度均值，平均精度均值在通过结果分析得出目标识别测试报告输出。
进一步的，基于深度学习的目标识别测试基准数据获取流程包括训练集和测试集，训练集通过图像预处理到训练学习，训练学习通过满足需求，“否”将返回训练学习，“是”将通过深度学习模型到识别，以及通过识别到最后的标准检测结果，测试集通过图像预处理到识别，以及通过识别到最后的标准检测结果。
进一步的，通过主控机实验管理子系统的控制，添加不同光照条件、雨雾天气等环境信息，由识别信息采集子系统获取待测试单目摄像头的目标识别数据，然后，采用目标识别测试子系统对采集的视频图像进行目标识别，收集在一段视频中出现的同一交通标志的所有视频帧，生成所有视频帧的目标识别结果，进行待测试单目摄像头的目标识别结果数据与目标识别测试基准数据的归类，统计标准标签数量和真实标签数量，对标准标签数量和真实标签数量的统计结果生成模型预测结果的情形分析表，以矩阵形式将统计的标准标签数量和真实标签数量进行汇总，生成混淆矩阵。通过混淆矩阵比较分类结果和实际预测结果，如图13所示的直角线上数字越大，代表模型检测的效果越好。
进一步的，产生的混淆矩阵分别计算精确率(Precision)和召回率 (Recall)。在统计的真实标签数量中，将目标物被正确识别数量记为TP (True Positive)、目标物错误检测为其他物体的数量记为FN(False Negative)、其他物体检测为目标物体数量记为FP(False Positive)，通过式(1)计算精确度和召回率，
进一步的，使用计算得到的精确率和召回率绘制Precision-Recall曲线 (PR曲线)，其中纵坐标表示精确率，横坐标为召回率，通过各个分类绘制对应的PR曲线，由公式(2)计算计算单个类别Recall从0到1的平均准确性AP(Average Precision)，即PR曲线下的面积。对于目标检测中标准样本有N个类的情况，针对每个类产生对应的AP数据，整合多类别AP 数据计算平均值生成mAP(mean Average Precision)，
进一步的，交互式设置程序运行断点，实时分析评估目标识别测试算法分步运行的实时性，并对多种情况下的运行状态做出对比，统计测试结果与标准结果生成的平均精度均值数据和实时性分析数据，整合并输出显示目标识别测试报告，从精确率、召回率与实时性指标客观评价智能车单目摄像头目标识别的效果。
与现有技术相比，本发明具有以下有益效果：智能车能够正常行驶的重要基础是其所配备的环境感知系统能够准确而且及时的收集、识别交通环境中其它参与者等目标的位置以及运动状态，这也是保障行驶过程中安全性的首要条件，单目摄像头，作为智能车环境感知系统的重要组成部分，在车道线检测、行人识别、车辆识别等目标识别过程中一直发挥着重要而且不可替代的作用。但是，目标识别算法的开发测试绝大多数依赖于实车在测试场地中进行，测试过程中的突发情况不具备可重复性，而且容易受道路环境及实验条件限制，存在安全隐患高等诸多的弊端，本发明提出一种用于智能车单目摄像头目标识别测试的实验系统及测试方法，设计并开发一套新颖而且功能完备的实验系统，采用通过仿真子系统生成的虚拟动态交通场景，或预先拍摄的真实交通场景作为系统的输入场景信息，兼顾了虚拟测试的可重复性、可拓展性以及道路实车测试的真实性，同时，通过对比标准数据，融合精确率、召回率与实时性指标开发识别评价子系统，并设计测试方法流程用于综合评价目标识别效果，以解决人工评价随意性及客观性不强的缺点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是智能车单目摄像头目标识别测试实验系统架构图；
图2是智能车单目摄像头目标识别测试实验系统的后视图；
图3是智能车单目摄像头目标识别测试实验系统的前视图；
图4是视景生成仿真子系统中滚轮架的结构示意图；
图5是视景生成仿真子系统中显示屏支撑架的结构示意图；
图6是视景生成仿真子系统的整体结构示意图；
图7是单目摄像头三自由度运动平台的斜视图；
图8是单目摄像头三自由度运动平台的正视图；
图9是单目摄像头三自由度运动平台的侧视图；
图10是测试方法的流程图；
图11是基于深度学习的目标识别测试基准数据获取流程图；
图12是视频图像的每帧预测结果进行统计；
图13是部分交通标志检测混淆矩阵(数字的单位为数量)；
图14是PR曲线图；
图15是多类别PR曲线。
附图标记：
1、滚轮架；2、显示屏支撑架。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种试验系统。
实施例一：
请参阅图1-15该试验系统包括主体实验平台、视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统、主控机实验管理子系统、目标识别测试子系统、识别信息采集子系统，所述主体实验平台均连接有单目摄像头三自由度运动平台、视景生成仿真子系统和雨雾天气环境生成子系统，所述单目摄像头三自由度运动平台连接有识别信息采集系统，所述识别信息采集系统连接有主控机试验管理子系统，所述主控机试验管理子系统均连接有识别信息采集系统、景生成仿真子系统和单目摄像头三自由度运动平台，所述主控机试验管理子系统连接有目标识别测试子系统，所述视景生成仿真子系统包括显示屏支撑架2、显示屏和滚轮架1，所述显示屏支撑架2设置在所述滚轮架1上，所述显示屏安装在所述显示屏支撑架2上。
通过本发明的上述方案，智能车能够正常行驶的重要基础是其所配备的环境感知系统能够准确而且及时的收集、识别交通环境中其它参与者等目标的位置以及运动状态，这也是保障行驶过程中安全性的首要条件。单目摄像头，作为智能车环境感知系统的重要组成部分，在车道线检测、行人识别、车辆识别等目标识别过程中一直发挥着重要而且不可替代的作用。但是，目标识别算法的开发测试绝大多数依赖于实车在测试场地中进行，测试过程中的突发情况不具备可重复性，而且容易受道路环境及实验条件限制，存在安全隐患高等诸多的弊端。本发明提出一种用于智能车单目摄像头目标识别测试的实验系统及测试方法，设计并开发一套新颖而且功能完备的实验系统，采用通过仿真子系统生成的虚拟动态交通场景，或预先拍摄的真实交通场景作为系统的输入场景信息，兼顾了虚拟测试的可重复性、可拓展性以及道路实车测试的真实性。同时，通过对比标准数据，融合精确率、召回率与实时性指标开发识别评价子系统，并设计测试方法流程用于综合评价目标识别效果，以解决人工评价随意性及客观性不强的缺点。
实施例二：
请参阅图1-15，对于主体实验平台来说，所述主体实验平台包括所述视景生成仿真子系统、所述单目摄像头三自由度运动平台、所述雨雾天气环境生成子系统的安装支撑平台，实验台主体以及连接于主体后方安装的支撑导轨，所述单目摄像头三自由度运动平台包括单目摄像头安装支架和运动部件，所述雨雾天气环境生成子系统包括雨量生成及模拟部件、雾天空气生成和模拟部件，所述雨雾天气环境生成子系统安装在所述视景生成仿真子系统前方，且受所述主控机实验管理子系统的控制，其特征在于所述单目摄像头三自由度运动平台与所述主控机试验管理子系统连接，所述识别信息采集系统包括单目摄像头和所述主控机实验管理子系统中的软件模块，所述目标识别测试子系统与所述主控机试验管理子系统连接。
通过本发明的上述方案，视景生成仿真子系统用于生成汽车运动时虚拟的交通场景或交互式实时播放预先拍摄的真实交通场景，并由安装于支架上的显示屏显示，由滚轮架、显示屏支撑架等部件构成，该子系统受主控机实验管理子系统的控制，接收其传递过来的交互控制信息，显示屏支撑架可在滚轮架上前后移动，单目摄像头三自由度运动平台用于安装被测试的单目摄像头，并且可以在主控机实验管理子系统的控制下实现单目摄像头的俯仰、旋转、上下阶跃运动，模拟车辆在真实道路环境中运行时单目摄像头所受到的颠簸、抖动等运动干扰，由单目摄像头安装支架和运动部件构成，雨雾天气环境生成子系统用于产生智能车行驶过程中所遇到的雨雾天气等真实环境信息，测试单目摄像头在复杂天气环境条件下的目标识别有效性及准确性，由雨量生成及模拟部件、雾天空气生成及模拟部件组成，安装在视景生成仿真子系统前方，受主控机实验管理子系统的控制，主控机实验管理子系统用于运行管理软件及配置系统的参数，并可进行在线实时调整参数和测试数据的实时记录，实现视景生成仿真的开始、暂停、结束、重置等操作和单目摄像头的位姿调整、运动模式控制等，以及实现自动化的测试功能，是视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统的主控制部，识别信息采集子系统用于实时采集由视景生成仿真子系统、单目摄像头三自由度运动平台和雨雾天气环境生成子系统共同作用下的单目摄像头目标识别测试数据信息，由单目摄像头及运行于主控机实验管理子系统中的软件模块组成，目标识别测试子系统，融合准确性、稳定性、通用性和实时性指标，用于对采集到的识别信息进行单目摄像头的识别测试，综合评价目标识别的效果，是运行于主控机实验管理子系统中的软件模块。
请参阅图10，该试验系统及检测方法的使用，包括以下步骤：
步骤S101，通过不同光照、雨雪天气、雾霾天气传递给预测识别结果，通过预测识别结果得出识别结果数据；
步骤S103，以及通过标准识别结果对基于标准空间样本深度学习检测，以及通过检测结果无误，“否”将返回基于标准空间样本深度学习，“是”将得出目标识别标准数据；
步骤S105，识别结果数据和目标识别标准数据均通过数据归类到标准标签数量统计、真是标签数量统计和算法运行速度统计，算法运行速度统计通过实时性分析得出目标识别测试报告输出；
步骤S107，标准标签数量统计和真是标签数量统计均通过混淆矩阵到精确率和召回率，以及精确率和召回率通过Precision-Recall曲线得出平均精度均值，平均精度均值在通过结果分析得出目标识别测试报告输出。
在进一步的实施例中，基于深度学习的目标识别测试基准数据获取流程包括训练集和测试集，训练集通过图像预处理到训练学习，训练学习通过满足需求，“否”将返回训练学习，“是”将通过深度学习模型到识别，以及通过识别到最后的标准检测结果，测试集通过图像预处理到识别，以及通过识别到最后的标准检测结果。
在进一步的实施例中，通过主控机实验管理子系统的控制，添加不同光照条件、雨雾天气等环境信息，由识别信息采集子系统获取待测试单目摄像头的目标识别数据，然后，采用目标识别测试子系统对采集的视频图像进行目标识别，收集在一段视频中出现的同一交通标志的所有视频帧，生成所有视频帧的目标识别结果，进行待测试单目摄像头的目标识别结果数据与目标识别测试基准数据的归类，统计标准标签数量和真实标签数量，对标准标签数量和真实标签数量的统计结果生成模型预测结果的情形分析表，以矩阵形式将统计的标准标签数量和真实标签数量进行汇总，生成混淆矩阵。通过混淆矩阵比较分类结果和实际预测结果，如图13所示的直角线上数字越大，代表模型检测的效果越好。
在进一步的实施例中，产生的混淆矩阵分别计算精确率(Precision) 和召回率(Recall)。在统计的真实标签数量中，将目标物被正确识别数量记为TP(True Positive)、目标物错误检测为其他物体的数量记为FN(False Negative)、其他物体检测为目标物体数量记为FP(False Positive)，通过式(1)计算精确度和召回率，
在进一步的实施例中，使用计算得到的精确率和召回率绘制 Precision-Recall曲线(PR曲线)，其中纵坐标表示精确率，横坐标为召回率，通过各个分类绘制对应的PR曲线，由公式(2)计算计算单个类别Recall 从0到1的平均准确性AP(Average Precision)，即PR曲线下的面积。对于目标检测中标准样本有N个类的情况，针对每个类产生对应的AP数据，整合多类别AP数据计算平均值生成mAP(mean Average Precision)。
在进一步的实施例中，交互式设置程序运行断点，实时分析评估目标识别测试算法分步运行的实时性，并对多种情况下的运行状态做出对比，统计测试结果与标准结果生成的平均精度均值数据和实时性分析数据，整合并输出显示目标识别测试报告，从精确率、召回率与实时性指标客观评价智能车单目摄像头目标识别的效果。
与现有技术相比，本发明具有以下有益效果：视景生成仿真子系统用于生成汽车运动时虚拟的交通场景或交互式实时播放预先拍摄的真实交通场景，并由安装于支架上的显示屏显示，由滚轮架、显示屏支撑架等部件构成，该子系统受主控机实验管理子系统的控制，接收其传递过来的交互控制信息，显示屏支撑架可在滚轮架上前后移动，单目摄像头三自由度运动平台用于安装被测试的单目摄像头，并且可以在主控机实验管理子系统的控制下实现单目摄像头的俯仰、旋转、上下阶跃运动，模拟车辆在真实道路环境中运行时单目摄像头所受到的颠簸、抖动等运动干扰，由单目摄像头安装支架和运动部件构成，雨雾天气环境生成子系统用于产生智能车行驶过程中所遇到的雨雾天气等真实环境信息，测试单目摄像头在复杂天气环境条件下的目标识别有效性及准确性，由雨量生成及模拟部件、雾天空气生成及模拟部件组成，安装在视景生成仿真子系统前方，受主控机实验管理子系统的控制，主控机实验管理子系统用于运行管理软件及配置系统的参数，并可进行在线实时调整参数和测试数据的实时记录，实现视景生成仿真的开始、暂停、结束、重置等操作和单目摄像头的位姿调整、运动模式控制等，以及实现自动化的测试功能，是视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统的主控制部，识别信息采集子系统用于实时采集由视景生成仿真子系统、单目摄像头三自由度运动平台和雨雾天气环境生成子系统共同作用下的单目摄像头目标识别测试数据信息，由单目摄像头及运行于主控机实验管理子系统中的软件模块组成，目标识别测试子系统，融合准确性、稳定性、通用性和实时性指标，用于对采集到的识别信息进行单目摄像头的识别测试，综合评价目标识别的效果，是运行于主控机实验管理子系统中的软件模块，智能车能够正常行驶的重要基础是其所配备的环境感知系统能够准确而且及时的收集、识别交通环境中其它参与者等目标的位置以及运动状态，这也是保障行驶过程中安全性的首要条件，单目摄像头，作为智能车环境感知系统的重要组成部分，在车道线检测、行人识别、车辆识别等目标识别过程中一直发挥着重要而且不可替代的作用，但是，目标识别算法的开发测试绝大多数依赖于实车在测试场地中进行，测试过程中的突发情况不具备可重复性，而且容易受道路环境及实验条件限制，存在安全隐患高等诸多的弊端，本发明提出一种用于智能车单目摄像头目标识别测试的实验系统及测试方法，设计并开发一套新颖而且功能完备的实验系统，采用通过仿真子系统生成的虚拟动态交通场景，或预先拍摄的真实交通场景作为系统的输入场景信息，兼顾了虚拟测试的可重复性、可拓展性以及道路实车测试的真实性，同时，通过对比标准数据，融合精确率、召回率与实时性指标开发识别评价子系统，并设计测试方法流程用于综合评价目标识别效果，以解决人工评价随意性及客观性不强的缺点。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种智能车单目摄像头目标识别监测试验系统，其特征在于，包括主体实验平台、视景生成仿真子系统、单目摄像头三自由度运动平台、雨雾天气环境生成子系统、主控机实验管理子系统、目标识别测试子系统和识别信息采集子系统，所述主体实验平台均连接有单目摄像头三自由度运动平台、视景生成仿真子系统和雨雾天气环境生成子系统，所述单目摄像头三自由度运动平台连接有识别信息采集系统，所述识别信息采集系统连接有主控机试验管理子系统，所述主控机试验管理子系统均连接有识别信息采集系统、景生成仿真子系统和单目摄像头三自由度运动平台，所述主控机试验管理子系统连接有目标识别测试子系统，所述视景生成仿真子系统包括显示屏支撑架(2)、显示屏和滚轮架(1)，所述显示屏支撑架(2)设置在所述滚轮架(1)上，所述显示屏安装在所述显示屏支撑架(2)上。
2.根据权利要求1所述的一种智能车单目摄像头目标识别监测试验系统，其特征在于，所述主体实验平台包括所述视景生成仿真子系统、所述单目摄像头三自由度运动平台、所述雨雾天气环境生成子系统的安装支撑平台，实验台主体以及连接于主体后方安装的支撑导轨，所述单目摄像头三自由度运动平台包括单目摄像头安装支架和运动部件，所述雨雾天气环境生成子系统包括雨量生成及模拟部件、雾天空气生成和模拟部件，所述雨雾天气环境生成子系统安装在所述视景生成仿真子系统前方，且受所述主控机实验管理子系统的控制，所述单目摄像头三自由度运动平台与所述主控机试验管理子系统连接，所述识别信息采集系统包括单目摄像头和所述主控机实验管理子系统中的软件模块，所述目标识别测试子系统与所述主控机试验管理子系统连接。
3.一种智能车单目摄像头目标识别监测检测方法，其特征在于，用于权利要求1所述的一种用于智能车单目摄像头目标识别监测的试验系统的使用方法，包括以下步骤：
通过不同光照、雨雪天气、雾霾天气传递给预测识别结果，通过预测识别结果得出识别结果数据；
以及通过标准识别结果对基于标准空间样本深度学习检测，以及通过检测结果无误，“否”将返回基于标准空间样本深度学习，“是”将得出目标识别标准数据；
识别结果数据和目标识别标准数据均通过数据归类到标准标签数量统计、真是标签数量统计和算法运行速度统计，算法运行速度统计通过实时性分析得出目标识别测试报告输出；
标准标签数量统计和真是标签数量统计均通过混淆矩阵到精确率和召回率，以及精确率和召回率通过Precision-Recall曲线得出平均精度均值，平均精度均值在通过结果分析得出目标识别测试报告输出。
4.根据权利要求3所述的一种智能车单目摄像头目标识别监测检测方法，其特征在于，基于深度学习的目标识别测试基准数据获取流程包括训练集和测试集，训练集通过图像预处理到训练学习，训练学习通过满足需求，“否”将返回训练学习，“是”将通过深度学习模型到识别，以及通过识别到最后的标准检测结果，测试集通过图像预处理到识别，以及通过识别到最后的标准检测结果。
5.根据权利要求3所述的一种智能车单目摄像头目标识别监测检测方法，其特征在于，通过主控机实验管理子系统的控制，添加不同光照条件、雨雾天气等环境信息，由识别信息采集子系统获取待测试单目摄像头的目标识别数据，然后，采用目标识别测试子系统对采集的视频图像进行目标识别，收集在一段视频中出现的同一交通标志的所有视频帧，生成所有视频帧的目标识别结果，进行待测试单目摄像头的目标识别结果数据与目标识别测试基准数据的归类，统计标准标签数量和真实标签数量，对标准标签数量和真实标签数量的统计结果生成模型预测结果的情形分析表，以矩阵形式将统计的标准标签数量和真实标签数量进行汇总，生成混淆矩阵。
6.根据权利要求3所述的一种智能车单目摄像头目标识别监测检测方法，其特征在于，产生的混淆矩阵分别计算精确率(Precision)和召回率(Recall)，在统计的真实标签数量中，将目标物被正确识别数量记为TP(True Positive)、目标物错误检测为其他物体的数量记为FN(False Negative)、其他物体检测为目标物体数量记为FP(False Positive)，通过式(1)计算精确度和召回率，
7.根据权利要求3所述的一种智能车单目摄像头目标识别监测检测方法，其特征在于，使用计算得到的精确率和召回率绘制Precision-Recall曲线(PR曲线)，其中纵坐标表示精确率，横坐标为召回率，通过各个分类绘制对应的PR曲线，由公式(2)计算计算单个类别Recall从0到1的平均准确性AP(Average Precision)，即PR曲线下的面积。对于目标检测中标准样本有N个类的情况，针对每个类产生对应的AP数据，整合多类别AP数据计算平均值生成mAP(mean Average Precision)。
8.根据权利要求3所述的一种智能车单目摄像头目标识别监测检测方法，其特征在于，交互式设置程序运行断点，实时分析评估目标识别测试算法分步运行的实时性，并对多种情况下的运行状态做出对比，统计测试结果与标准结果生成的平均精度均值数据和实时性分析数据，整合并输出显示目标识别测试报告，从精确率、召回率与实时性指标客观评价智能车单目摄像头目标识别的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547676.4A CN113239609A (zh) | 2020-12-24 | 2020-12-24 | 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547676.4A CN113239609A (zh) | 2020-12-24 | 2020-12-24 | 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113239609A true CN113239609A (zh) | 2021-08-10 |
Family
ID=77129932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011547676.4A Pending CN113239609A (zh) | 2020-12-24 | 2020-12-24 | 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239609A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494439A (zh) * | 2022-01-25 | 2022-05-13 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN115147796A (zh) * | 2022-07-14 | 2022-10-04 | 小米汽车科技有限公司 | 评测目标识别算法的方法、装置、存储介质及车辆 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4233755A (en) * | 1978-02-14 | 1980-11-18 | The Singer Company | Vehicle simulator optical pick-up head |
| CN101634602A (zh) * | 2008-07-25 | 2010-01-27 | 深圳市同洲电子股份有限公司 | 模拟汽车行驶的测试系统及方法 |
| CN105388021A (zh) * | 2015-10-21 | 2016-03-09 | 重庆交通大学 | Adas虚拟开发与测试系统 |
| CN106092177A (zh) * | 2016-08-02 | 2016-11-09 | 吉林大学 | 环境传感配置及测试用智能电动车试验台 |
| US20180211118A1 (en) * | 2017-01-23 | 2018-07-26 | Magna Electronics Inc. | Vehicle vision system with object detection failsafe |
| CN109446371A (zh) * | 2018-11-09 | 2019-03-08 | 苏州清研精准汽车科技有限公司 | 一种智能汽车仿真测试场景库生成方法及测试系统和方法 |
| CN109556832A (zh) * | 2018-11-30 | 2019-04-02 | 吉林大学 | 一种具有天气模拟功能的相机在环测试试验台 |
| CN110070139A (zh) * | 2019-04-28 | 2019-07-30 | 吉林大学 | 面向自动驾驶环境感知的小样本在环学习系统和方法 |
| CN110389041A (zh) * | 2019-07-03 | 2019-10-29 | 华人运通(上海)自动驾驶科技有限公司 | 车辆的环视与超声波的集成系统的测试系统及方法 |
-
2020
- 2020-12-24 CN CN202011547676.4A patent/CN113239609A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4233755A (en) * | 1978-02-14 | 1980-11-18 | The Singer Company | Vehicle simulator optical pick-up head |
| CN101634602A (zh) * | 2008-07-25 | 2010-01-27 | 深圳市同洲电子股份有限公司 | 模拟汽车行驶的测试系统及方法 |
| CN105388021A (zh) * | 2015-10-21 | 2016-03-09 | 重庆交通大学 | Adas虚拟开发与测试系统 |
| CN106092177A (zh) * | 2016-08-02 | 2016-11-09 | 吉林大学 | 环境传感配置及测试用智能电动车试验台 |
| US20180211118A1 (en) * | 2017-01-23 | 2018-07-26 | Magna Electronics Inc. | Vehicle vision system with object detection failsafe |
| CN109446371A (zh) * | 2018-11-09 | 2019-03-08 | 苏州清研精准汽车科技有限公司 | 一种智能汽车仿真测试场景库生成方法及测试系统和方法 |
| CN109556832A (zh) * | 2018-11-30 | 2019-04-02 | 吉林大学 | 一种具有天气模拟功能的相机在环测试试验台 |
| CN110070139A (zh) * | 2019-04-28 | 2019-07-30 | 吉林大学 | 面向自动驾驶环境感知的小样本在环学习系统和方法 |
| CN110389041A (zh) * | 2019-07-03 | 2019-10-29 | 华人运通(上海)自动驾驶科技有限公司 | 车辆的环视与超声波的集成系统的测试系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李斌杰等: "崎岖地面环境下气动多自由度机械手位置控制仿真研究", 《机电一体化》 * |
| 聂旎: "基于图像视频的行车环境交通对象检测与识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ级》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494439A (zh) * | 2022-01-25 | 2022-05-13 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN114494439B (zh) * | 2022-01-25 | 2023-08-15 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN115147796A (zh) * | 2022-07-14 | 2022-10-04 | 小米汽车科技有限公司 | 评测目标识别算法的方法、装置、存储介质及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153363B (zh) | 无人驾驶汽车的仿真测试方法及装置、设备与可读介质 | |
| CN111179585B (zh) | 自动驾驶车辆的场地测试方法及装置 | |
| CN108216252B (zh) | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 | |
| CN107195024B (zh) | 通用型车辆行驶数据记录系统和处理方法 | |
| CN106680281B (zh) | 一种基于深度残差学习网络的柴油车尾气烟度检测方法 | |
| CN109446371A (zh) | 一种智能汽车仿真测试场景库生成方法及测试系统和方法 | |
| CN105844257A (zh) | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 | |
| CN112767644B (zh) | 一种基于视频识别的公路隧道内火灾预警方法及装置 | |
| CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
| CN109190488B (zh) | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 | |
| CN113239609A (zh) | 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 | |
| CN110928620B (zh) | 汽车hmi设计引起驾驶注意力分散评价方法及系统 | |
| CN114428998A (zh) | 一种自动驾驶系统一体化仿真测试与评价方法及系统 | |
| CN110599853A (zh) | 驾校智能教学系统及方法 | |
| CN111914738A (zh) | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 | |
| CN111964763A (zh) | 一种动态平板秤称重区域汽车断续行驶行为检测方法 | |
| Gibbons et al. | Development of visual model for exploring relationship between nighttime driving behavior and roadway visibility features | |
| CN113066182A (zh) | 一种信息展示方法、装置、电子设备及存储介质 | |
| CN114495421B (zh) | 智能化开放式道路施工作业监测预警方法及系统 | |
| CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| CN116580271A (zh) | 一种感知融合算法的测评方法、装置、设备及存储介质 | |
| CN114820504B (zh) | 图像融合偏差的检测方法、装置、电子设备及存储介质 | |
| CN115202479A (zh) | 人在回路的人机共驾仿真系统及其应用 | |
| CN115114786A (zh) | 一种用于交通流仿真模型的评估方法、系统和存储介质 | |
| Ismail et al. | Automated pedestrian safety analysis using video data in the context of scramble phase intersections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |