CN114898319A - 基于多传感器决策级信息融合的车型识别方法及系统 - Google Patents

基于多传感器决策级信息融合的车型识别方法及系统 Download PDF

Info

Publication number
CN114898319A
CN114898319A CN202210576849.8A CN202210576849A CN114898319A CN 114898319 A CN114898319 A CN 114898319A CN 202210576849 A CN202210576849 A CN 202210576849A CN 114898319 A CN114898319 A CN 114898319A
Authority
CN
China
Prior art keywords
vehicle
vehicle type
front wall
identification
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210576849.8A
Other languages
English (en)
Other versions
CN114898319B (zh
Inventor
马昕
程金龙
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210576849.8A priority Critical patent/CN114898319B/zh
Publication of CN114898319A publication Critical patent/CN114898319A/zh
Application granted granted Critical
Publication of CN114898319B publication Critical patent/CN114898319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车型识别技术领域，提供了基于多传感器决策级信息融合的车型识别方法及系统，通过视觉图像处理的方法，对输入车辆图像进行车辆前围检测和车辆前围识别，通过设置检测识别区域和多阶段注意力机制的知识蒸馏的方法，克服了车型类内差异性大和类间差异性小的问题，得到了基于图像的车型识别输出结果。另外提出了车型外观尺寸的车型识别方法，通过激光雷达传感器得到的信息数据，经过数据解算模型得到基于尺寸的车型输出结果。最后对每一个传感器预测得到的车型进行综合决策，得到最终的预测车型。该融合方法解决了车辆视觉特征相似，但大小尺寸不同的识别难题，有效提高了喷涂车间车型识别的有效性和可靠性。

Description

基于多传感器决策级信息融合的车型识别方法及系统
技术领域
本发明属于车型识别技术领域，尤其涉及基于多传感器决策级信息融合的车型识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
为实现喷涂车间多种车型的并线自动喷涂，要求对车辆的车型进行识别，然后将识别结果传到喷涂系统，喷涂系统选择合适的车型喷涂模式进行自动喷涂作业。
目前常用的喷涂车间车型识别方案有：条形码识别方案、RFID方法、视觉图像识别、车体尺寸测量识别、光电开关方案等。
但是，条形码识别需要获取车辆固定位置上的条形码信息，每次喷涂结束后，喷涂码被喷漆覆盖，不利于重复使用。RFID车型识别方法需要在识别车体和喷涂车间安装RFID电子标签和RFID天线，通过RFID天线接收读取安装在车体上的RFID电子标签，每辆车型在喷涂前都需要安装，且在车辆出厂后拆除，无疑增加了成本和工作量。基于光电开关对射形式的识别，是当前喷涂车间车型识别应用最多的识别方案，但该方案在车型改款或者新添车型时，需要增加开关数量，且光电开关脏污以及晃动等原因，会导致无法识别现象。
发明人发现，喷涂车间车型识别主要的问题和技术难点有：(1)受场地空间环境影响，无法获取全局图像。(2)待喷涂车型只有整车的框架结构，细节纹理相对缺乏，整体呈灰色，造成不同类别间的车型外观相似。(3)相同车型因相机位置固定，受视角远近和图像质量影响，造成相同车型差异性较大。(4)设计的车型识别方法适用于边缘设备运行环境。
针对以上存在的问题和技术难点，开展了轻量级喷涂车间车型识别算法研究，提出了一种基于多阶段注意力机制的知识蒸馏车型识别方法，采用知识蒸馏的方法，通过引入一个泛化能力强的教师网络(复杂、但推理能力强)，指导学生网络(精简、低复杂度)进行推理训练，从而使学生网络具备很强的泛化能力，同时因其网络精简、复杂性不高，使识别网络变得更加轻量化，更加适合边缘设备的运行环境。减轻边缘设备有限的算力，同时还能保证算法模型的高准确率。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于多传感器决策级信息融合的车型识别方法及系统，其采用知识蒸馏的方法，通过引入一个泛化能力强的教师网络，指导学生网络进行推理训练，从而使学生网络具备很强的泛化能力，同时因其网络精简、复杂性不高，使识别网络变得更加轻量化，更加适合边缘设备的运行环境。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供基于多传感器决策级信息融合的车型识别方法，基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在识别区域内时，对当前前围检测图像按坐标进行截取，根据前围图像和多阶段注意力机制的知识蒸馏车型识别模型中，利用教师网络蒸馏训练学生网络，基于学生网络进行细粒度识别，得到当前车辆视觉识别结果；
根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断，得到最终车型识别结果。
本发明的第二个方面提供基于多传感器决策级信息融合的车型识别系统，包括：
车辆前围图像获取模块，用于基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
车辆视觉识别模块，用于将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在识别区域内时，对当前前围检测图像按坐标进行截取，根据前围图像和多阶段注意力机制的知识蒸馏车型识别模型中，利用教师网络蒸馏训练学生网络，基于学生网络进行细粒度识别，得到当前车辆视觉识别结果；
车体尺寸识别模块，用于根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
车型识别模块，用于结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断，得到最终车型识别结果。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于视觉传感器采集的图像和激光雷达传感器采集的数据信息，通过深度学习车型识别模型和数据解算处理模型分别进行车型分类预测，得到单一传感器信号特征到具体车型的映射，进而对两个传感器信号特征预测得到的车型进行综合决策，得到最终识别车型。该系统和方法能够有效解决车型种类繁多造成识别困难的问题，例如车辆外观相同但车型尺寸不同、车辆外观不同但车型尺寸不同，有效提高了车型识别的可靠性和识别的精准度。该系统及方法的主要优势在于无需附加任何条码、电子标签、光电感应传感器等装置，只需安装一个视频采集摄像头和车体长、宽、高测量传感器即可，且成本优势明显，可广泛应用于各种形状不同的物体识别场合。
本发明开展了轻量级喷涂车间车型识别算法研究，提出了一种基于多阶段注意力机制的知识蒸馏车型识别方法，采用知识蒸馏的方法，通过引入一个泛化能力强的教师网络(复杂、但推理能力强)，指导学生网络(精简、低复杂度)进行推理训练，从而使学生网络具备很强的泛化能力，同时因其网络精简、复杂性不高，使识别网络变得更加轻量化，更加适合边缘设备的运行环境。减轻边缘设备有限的算力，同时还能保证算法模型的高准确率。
本发明鉴于客车车型尺寸差异大、外形构造相似的特点，提出了基于车型尺寸的车型识别方法，通过在喷涂车间侧墙中部位置、车间顶部中央、车间侧后方墙面布设激光测距雷达，通过对雷达传感器获取数据的解算和处理，得到车型的长、宽、高尺寸和俯仰、横滚角度，在通过数据库存储的车型信息进行比对，得到当前车型。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明车辆车型识别方法流程；
图2是本发明车型识别设备安装示意图；
图3是本发明Yolov5网络结构图；
图4是本发明多阶段注意力机制的知识蒸馏车型识别结构图；
图5是本发明教师网络结构图；
图6是本发明激光雷达平台工作流程图；
图7是本发明自优化最小二乘直线拟合算法；
图8是本发明多传感器决策级信息融合车型识别网络结构；
图9是本发明车型识别图形用户界面结构图；
图10是本发明车型识别图形用户界面示意图.
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供面向喷涂的传感器决策级信息融合的车型识别方法，包括如下步骤：
步骤1：基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
步骤2：将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在划定识别区域内时，对当前前围检测图像按坐标进行截取，将前围图像输入到车辆细粒度识别模型中进行细粒度识别，得到当前车辆视觉识别结果；
步骤3：根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
步骤4：结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合判断，得到最终车型识别结果。
作为一种或多种实施例，步骤1中，所述车辆前围检测模型的构建过程包括：
(1)获取车辆前围检测数据集；
对采集视频数据图像进行预处理，获取不同款车型的多张图像，使用Labelling工具对获取的图像绘制标注框，每张图像对应生成相应的标注文件，将标注的图像和标注文件按照训练集和测试集进行划分，得到车辆前围检测数据集。
其中，视频数据图像的获取过程为：自定义车脸检测数据集，通过安装在喷涂车间的防爆摄像头采集的车辆视频数据，采集视频数据时，摄像机固定角度不动，当车辆进入喷涂车间时开始采集，到车辆驶入车间终点时停止，采集视频图像包含车辆整个前围部分为有效视频数据。
(2)车辆检测模型采用yolov5网络结构，所述yolov5模块网络结构图如图3所示，将车辆前围检测数据集输入至到yolov5网络的输入层，经过多层的卷积网络的特征提取和多尺度的输出层输出，得到最终的输出。
(3)在采集图像中预定义检测识别区域，待喷涂车辆进入车间时，通过检测模型预测的车辆前围边界框与预定义区域范围进行比较，当车辆前围预测边界框在预定域区域内时，显示当前车辆前围预测框图像。
作为一种或多种实施例，步骤2中，所述车辆细粒度识别模型的构建过程包括：
(1)获取车辆前围识别数据集；
所述车辆前围识别数据集，通过安装在喷涂车间的防爆摄像头采集的车辆视频数据，将采集的视频数据输入到训练好的车辆前围检测模型中，对包含车辆整个前围图像进行检测，当检测车辆前围图像在预定义检测识别区域时，将车辆前围图像进行截取保存，通过该方式采集到不同车型的前脸图像，将前脸图像划分为训练集和测试集，得到车辆前围识别数据集。
(2)基于车辆前围识别数据集和基于多阶段注意力机制的知识蒸馏模型进行识别，所述基于多阶段注意力机制的知识蒸馏模型的构建过程为：
如图4所示，引入教师网络和学生网络，利用教师模型蒸馏训练学生网络模型，基于学生网络进行识别。
喷涂车间车型识别针对的是车型的子类别识别，属于细粒度识别范畴。通过固定角度采集的同类别的车辆图像会因为车辆进入视角的远近不同、光照影响，造成类内差异性大。不同车型外观相似、纹理缺乏等因素造成类间差异更加细微。
为有效解决类内差异性大的问题，设置了检测识别区域，只针对进入检测识别区域内的车辆图像进行检测识别，有效解决了因为视角远近造成的类内差异大的问题。
针对不同车型外观相似、纹理缺乏的特点，同时能够在边缘设备上有效运行，提出了基于多阶段注意力机制的知识蒸馏车型识别方法。
通过引入复杂、预测精度优越、泛化能力强的教师网络模型和精简、低复杂度、更加适合推理部署的学生网络，通过利用教师模型蒸馏训练学生网络模型，让学生网络可以学习到教师网络的泛化能力，在测试推理阶段，我们用简单的学生网络模型就能实现高准确性识别和边缘设备运行。
其中，所述教师网络结构如图5所示,以骨干网络为ResNet50的多阶段注意力机制的细粒度车型识别网络，分别提取Conv3_x、Conv4_x、Conv5_x三个阶段的特征图，额外添加注意力机制层、校准层和分类层。注意力机制层采用通道注意力机制的方法，通过学习全局空间信息有选择性的增强信息量大的特征，并对无用的特征进行抑制。
校准层是通过卷积操作将不同通道和不同尺寸的特征映射到指定通道和尺寸，便于对三个阶段的输出特征进行融合，分类器是由全连接层构成，目的是将特征图映射成输出类别向量。
将车辆数据集中训练集中的样本传入到教师网络中，获取教师网络的特征映射函数和网络参数，利用交叉熵损失函数训练教师模型，对数据集样本数据进行分类。
车辆训练集中的样本通过多阶段特征提取特征的方法，提取各阶段的区别性特征，将不同阶段的特征进行聚合，能够有效提升网络对多样特征的表示能力。
交叉熵损失函数训练负责教师模型网络，表达式如(1)所示：
Figure BDA0003662485870000091
其中，yi∈{1,2，…，N}为车型分类标签，pi为教师模型输出归一化类别概率值。
骨干网络为MobinetV3网络作为学生网络，为了保持与教师模型结构的一致性，对MobinetV3网络进行了分阶段预定义设计，分别提取Bneck6、Bneck11、Bneck15三个阶段的输出特征图，额外添加注意力层、校准层和分类层。注意力机制层采用通道注意力机制的方法，通过学习全局空间信息有选择性的增强信息量大的特征，并对无用的特征进行抑制。信息量大的特征指的是对卷积提取的特征进一步通过注意力机制的方法进行处理，进一步得到具有目标物体表示能力的特征，达到更好的实现输出分类的效果。
校准层将不同通道和不同尺寸的特征映射到指定通道和尺寸，便于对三个阶段的输出特征进行融合，分类器是由全连接层构成，目的是将特征图映射成输出类别向量。将车辆数据集中训练样本传入到学生网络中，利用学生网络的特征映射函数和网络参数，得到学生网络每个阶段的输出类别向量，即有多少类别数量输出多少维数的向量。
知识蒸馏结构在教师网络和学生网络的不同阶段进行，经过教师网络不同阶段输出值和学生网络输出值作蒸馏损失函数，最小化学生网络与教师网络输出值，从而使学生网络性能能够与教师网络相当或者超过。
其中，构建知识蒸馏损失函数表表达式为：
Figure BDA0003662485870000101
Figure BDA0003662485870000102
其中，p(xi)为学生网络输出类别概率值(Si为学生网络输出类别向量)，q(xi)为教师网络输出类别概率值(Zi为教师网络输出类别向量)，T为温度。
整体损失函数由蒸馏损失函数和交叉熵损失函数构成，整体损失函数表达式如(3)所示：
Loss＝(1-α)Lce+α*Kdloss (3)
其中，Loss为训练学生网络模型整体损失函数，其为交叉熵损失函数Lce和蒸馏损失函数Kdloss的和，α表示权重参数。
作为一种或多种实施例，步骤3中，所述激光雷达平台工作流程如图6所示，判断激光雷达是否正常工作，若是，获取点云数据，将点云数据进行数据格式处理，剔除低质量、超范围的数据点，将点云数据转换到二维空间，剔除不在二维空间工作范围的数据点。
通过自优化最小二乘直线拟合算法对预处理过的激光雷达点云数据进行直线拟合，得到车体各侧的旋转角以及定位，然后根据已知的喷涂室地形与导轨尺寸、已知的车辆尺寸，解算出车体位姿与车体尺寸。
最小二乘直线拟合算法能将单线激光雷达扫描车体一侧的数据点拟合成一条直线，然而，实际喷涂场景中，扫描得到的一部分数据点是错误的数据点，比如：扫描车辆侧面时，侧面镂空的部位，如车轮处扫描得到的点。
因此，如图7所示，提出了自优化最小二乘直线拟合算法，使之能自动去除异常点的影响，具体包括：
进行最小二乘拟合，计算当前损失，将当前损失和上次迭代损失进行比较，或者将当前迭代次数和最大迭代次数进行比较，若当前损失大于上次迭代损失或者当前迭代次数大于最大迭代次数，输出迭代过程中当前损失的最小值，得到直线斜率与截距B,否则剔除最大离群点。
作为一种或多种实施例，步骤4中，图8是多传感器决策级信息融合车型识别网络结构，主要包含数据输入层、模型层、子决策层和综合决策层。
数据输入层包括视觉传感器和激光雷达传感器采集的数据。
视觉图像模型层包括车辆前围检测模型和车辆前围识别模型，数据集解算处理模型是将激光传感器数据经过算法解算处理，得到车体的长宽高尺寸信息。
在子决策层中，车辆前围识别模型对视觉输入检测后的图像进行类别预测，数据解算处理模型通过解算车体尺寸数据与数据库中的车型尺寸数据进行对比，得到车辆的预测类别，综合决策层对子决策层中输出的车型类别进行综合决策，最终得到车型的识别结果。
综合决策将当前车辆视觉识别结果和当前车体的尺寸识别结果的值进行求和，当前车辆视觉识别结果为多次识别结果的平均值，求和得到综合输出的类别的得分值，取得分最大值对应的类别为最终识别结果。
综合决策公式表示如(4)所示：
Figure BDA0003662485870000121
其中，
Figure BDA0003662485870000122
为视觉车型识别输出结果，c为车型的种类，m为识别网络进行车型识别的次数。
Figure BDA0003662485870000123
为尺寸车型识别输出结果，根据数据库车型种类和尺寸识别得到的识别结果，将识别结果转化为one-hot类型，c为车型的种类。
可以理解的是，本实施的车辆可以根据本领域实际需求进行选取，例如针对客车的车型进行识别。
上述方案的优点在于，通过视觉图像处理的方法，对输入车辆图像进行车辆前围检测和车辆前围识别，通过设置检测识别区域和多阶段注意力机制的知识蒸馏的方法，克服了车型类内差异性大和类间差异性小的问题，得到了基于图像的车型识别输出结果。
另外提出了车型外观尺寸的车型识别方法，通过激光雷达传感器得到的信息数据，经过数据解算模型得到基于尺寸的车型输出结果。最后对每一个传感器预测得到的车型进行综合决策，得到最终的预测车型。该融合方法解决了车辆视觉特征相似，但大小尺寸不同的识别难题，有效提高了喷涂车间车型识别的有效性和可靠性。
实施例二
如图2所示，本系统主要由防爆枪型高清摄像头、激光测距雷达、高性能图像处理设备、车型识别软件系统软件构成，其系统架构如图2所示。一台防爆高清摄像机1布置在喷涂车间车辆前上方，用于采集车辆前围图像，通过不同车型的前围特征对车型进行判别。
在喷涂车间侧墙中部位置2、车间顶部中央3、车间侧后方墙面3布设激光测距雷达，采集车辆车长、车高、车宽信息，通过对采集数据的解算和处理，进而得到车辆俯仰和横滚的角度。
该车型识别系统由一台图像采集摄像机及3组激光雷达测距传感器构成，相对于其他车型识别手段，设备安装简单，无需在识别车体上安装任何条码、电子标签、光电感应传感器等装置，使用操作方便。而后续车型改款或新导入车型只需要重新训练识别分类器即可，能扩改造容易。
本实施提供的基于多传感器决策级信息融合的车型识别系统，包括：
车辆前围图像获取模块，用于基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
车辆视觉识别模块，用于将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在识别区域内时，对当前前围检测图像按坐标进行截取，根据前围图像和多阶段注意力机制的知识蒸馏车型识别模型中，利用教师网络蒸馏训练学生网络，基于学生网络进行细粒度识别，得到当前车辆视觉识别结果；
车体尺寸识别模块，用于根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
车型识别模块，用于结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断，得到最终车型识别结果。
可以理解的是，本实施的车辆可以根据本领域实际需求进行选取，例如针对客车的车型进行识别。
本实施例还包括车型识别图像用户界面，包括车型数据库的显示与更新、车型识别分类器的训练与选择、识别模式的选择、实时图像和识别结果的实时显示，车型识别图形用户界面结构图如图9所示。
车型数据库存储车辆名称、类别、长、宽、高尺寸等信息，能够修改和更新当前存储车辆信息；
车型识别分类器训练是对新增车型时的识别分类器的训练，生成新的车型识别器模型，通过更新迭代新的识别分类器模型，实现识别修改后或新增车型的识别；识别模式可选择视觉识别、外观尺寸识别和视觉及外观尺寸融合识别3种模式，根据不同的模式调用不同的模块。该界面能够实时显示视频流数据，显示视频流数据划定的检测识别区域，对识别结果进行显示等功能。如图10所示为车型识别图像用户界面示意图。
上述优势在于，通过视觉图像处理的方法，对输入车辆图像进行车辆前围检测和车辆前围识别，通过设置检测识别区域和多阶段注意力机制的知识蒸馏的方法，克服了车型类内差异性大和类间差异性小的问题，得到了基于图像的车型识别输出结果。另外提出了车型外观尺寸的车型识别方法，通过激光雷达传感器得到的信息数据，经过数据解算模型得到基于尺寸的车型输出结果。最后对每一个传感器预测得到的车型进行综合决策，得到最终的预测车型。该融合方法解决了车辆视觉特征相似，但大小尺寸不同的识别难题，有效提高了喷涂车间车型识别的有效性和可靠性。
该车型识别系统由一台图像采集摄像机及3组激光雷达测距传感器构成，相对于其他车型识别手段，设备安装简单，无需在识别车体上安装任何条码、电子标签、光电感应传感器等装置，使用操作方便。而后续车型改款或新导入车型只需要重新训练识别分类器即可，能扩改造容易。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多传感器决策级信息融合的车型识别方法，其特征在于，包括：
基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在识别区域内时，对当前前围检测图像按坐标进行截取，根据前围图像和多阶段注意力机制的知识蒸馏车型识别模型中，利用教师网络蒸馏训练学生网络，基于学生网络进行细粒度识别，得到当前车辆视觉识别结果；
根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断，得到最终车型识别结果。
2.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述车辆前围检测模型采用yolov5网络结构。
3.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述教师网络结构以骨干网络为ResNet50的多阶段注意力机制的细粒度车型识别网络，分别提取Conv3_x、Conv4_x、Conv5_x三个阶段的特征图，额外添加注意力机制层、校准层和分类层，校准层通过卷积操作将不同通道和不同尺寸的特征映射到指定通道和尺寸，对三个阶段的输出特征进行融合，分类器由全连接层构成，将特征图映射成输出类别向量。
4.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述学生网络以骨干网络为MobinetV3网络，对MobinetV3网络进行了分阶段预定义设计，通过学生网络的特征映射函数和网络参数，得到学生网络每个阶段的输出值。
5.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述将点云数据经过解算处理得到当前车体的尺寸识别结果，包括：
通过自优化最小二乘直线拟合算法对预处理过的点云数据进行直线拟合，得到车体各侧的旋转角以及定位，然后根据已知的喷涂室地形与导轨尺寸、已知的车辆尺寸，解算出车体位姿与车体尺寸。
6.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述车辆前围图像的获取过程为：
自定义车脸检测数据集，通过安装在喷涂车间的防爆摄像头采集的车辆视频数据，采集视频数据时，摄像机固定角度不动，当车辆进入喷涂车间时开始采集，到车辆驶入车间终点时停止，采集视频图像包含车辆整个前围部分为有效视频数据。
7.如权利要求1所述的基于多传感器决策级信息融合的车型识别方法，其特征在于，所述结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断包括：
将当前车辆视觉识别结果和车体的尺寸识别结果的值进行求和，当前车辆视觉识别结果为多次识别结果的平均值，求和得到综合输出的类别的得分值，取得分最大值对应的类别为最终识别结果。
8.基于多传感器决策级信息融合的车型识别系统，其特征在于，包括：
车辆前围图像获取模块，用于基于视觉图像传感器和车辆前围检测模型进行检测，得到车辆前围图像；
车辆视觉识别模块，用于将检测得到的车辆前围图像的坐标点与识别区域进行比较，若当前围坐标点在识别区域内时，对当前前围检测图像按坐标进行截取，根据前围图像和多阶段注意力机制的知识蒸馏车型识别模型中，利用教师网络蒸馏训练学生网络，基于学生网络进行细粒度识别，得到当前车辆视觉识别结果；
车体尺寸识别模块，用于根据获取的限位开关检测信号，判断车辆是否到达指定位置，若是，触发激光雷达传感器获取点云数据，将点云数据经过解算处理得到当前车体的尺寸识别结果；
车型识别模块，用于结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断，得到最终车型识别结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多传感器决策级信息融合的车型识别方法中的步骤。
CN202210576849.8A 2022-05-25 2022-05-25 基于多传感器决策级信息融合的车型识别方法及系统 Active CN114898319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210576849.8A CN114898319B (zh) 2022-05-25 2022-05-25 基于多传感器决策级信息融合的车型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210576849.8A CN114898319B (zh) 2022-05-25 2022-05-25 基于多传感器决策级信息融合的车型识别方法及系统

Publications (2)

Publication Number Publication Date
CN114898319A true CN114898319A (zh) 2022-08-12
CN114898319B CN114898319B (zh) 2024-04-02

Family

ID=82726730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576849.8A Active CN114898319B (zh) 2022-05-25 2022-05-25 基于多传感器决策级信息融合的车型识别方法及系统

Country Status (1)

Country Link
CN (1) CN114898319B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630286A (zh) * 2023-05-31 2023-08-22 博衍科技(珠海)有限公司 一种图像异常检测与定位的方法、装置、设备及存储介质
CN117437208A (zh) * 2023-11-10 2024-01-23 北京交通大学 使用多传感器融合的轨道异常检测方法及系统
CN117574314A (zh) * 2023-11-28 2024-02-20 东风柳州汽车有限公司 传感器的信息融合方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108846384A (zh) * 2018-07-09 2018-11-20 北京邮电大学 融合视频感知的多任务协同识别方法及系统
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN112101128A (zh) * 2020-08-21 2020-12-18 东南大学 一种基于多传感器信息融合的无人方程式赛车感知规划方法
CN113888754A (zh) * 2021-08-20 2022-01-04 北京工业大学 一种基于雷达视觉融合的车辆多属性识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108846384A (zh) * 2018-07-09 2018-11-20 北京邮电大学 融合视频感知的多任务协同识别方法及系统
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN112101128A (zh) * 2020-08-21 2020-12-18 东南大学 一种基于多传感器信息融合的无人方程式赛车感知规划方法
CN113888754A (zh) * 2021-08-20 2022-01-04 北京工业大学 一种基于雷达视觉融合的车辆多属性识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630286A (zh) * 2023-05-31 2023-08-22 博衍科技(珠海)有限公司 一种图像异常检测与定位的方法、装置、设备及存储介质
CN116630286B (zh) * 2023-05-31 2024-02-13 博衍科技(珠海)有限公司 一种图像异常检测与定位的方法、装置、设备及存储介质
CN117437208A (zh) * 2023-11-10 2024-01-23 北京交通大学 使用多传感器融合的轨道异常检测方法及系统
CN117574314A (zh) * 2023-11-28 2024-02-20 东风柳州汽车有限公司 传感器的信息融合方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114898319B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN114898319B (zh) 基于多传感器决策级信息融合的车型识别方法及系统
US7804980B2 (en) Environment recognition device
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
CN101587622B (zh) 基于视频图像智能分析的森林烟火检测与识别方法及设备
CN105892471A (zh) 汽车自动驾驶方法和装置
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN110533695A (zh) 一种基于ds证据理论的轨迹预测装置及方法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
US20150343948A1 (en) Vehicle periphery monitoring device
CN102073846A (zh) 基于航拍图像的交通信息获取方法
CN110674674A (zh) 一种基于yolo v3的旋转目标检测方法
CN102073852A (zh) 基于最优阈值和随机标号法的多车辆分割方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN110796360A (zh) 一种固定型交通检测源多尺度数据融合方法
CN114299456A (zh) 一种基于实时轨迹检测的交叉口行人过街风险评估方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN114155720B (zh) 一种路侧激光雷达的车辆检测和轨迹预测方法
CN114693909A (zh) 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN114842660B (zh) 一种无人车道路轨迹预测方法、装置和电子设备
CN116206286A (zh) 高速路况下的障碍物检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant