CN115205813A - 一种基于卷积神经网络的多视角道路车辆匹配系统及方法 - Google Patents

一种基于卷积神经网络的多视角道路车辆匹配系统及方法 Download PDF

Info

Publication number
CN115205813A
CN115205813A CN202210705508.6A CN202210705508A CN115205813A CN 115205813 A CN115205813 A CN 115205813A CN 202210705508 A CN202210705508 A CN 202210705508A CN 115205813 A CN115205813 A CN 115205813A
Authority
CN
China
Prior art keywords
vehicle
matching
neural network
convolutional neural
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210705508.6A
Other languages
English (en)
Inventor
季思文
朱晓东
郑伟
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202210705508.6A priority Critical patent/CN115205813A/zh
Publication of CN115205813A publication Critical patent/CN115205813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了驾驶辅助系统技术领域的一种基于卷积神经网络的多视角道路车辆匹配系统及方法，包括：获取车身上多个视角摄像头的图像数据后，进行图像拼接；对拼接后的图像进行检测，得到图像中的车辆位置信息；根据车辆位置信息抠取相应的目标车辆图像块；将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。本发明通过对多个视角的道路车辆进行信息融合匹配，进而为后续的智能驾驶决策判断提供准确高效的信息。

Description

一种基于卷积神经网络的多视角道路车辆匹配系统及方法
技术领域
本发明涉及一种基于卷积神经网络的多视角道路车辆匹配系统及方法，属于驾驶辅助系统技术领域。
背景技术
随着城市交通的发展以及科技水平的进步，汽车的智能水平也越来越高，随着智能驾驶的级别不断提高，早年的单目摄象头的解决方案渐渐的无法满足汽车高度只能话的需求。众所周知，汽车感知到的信息越多，越有利于汽车的智能驾驶决策，因此，随着智能驾驶的演变，汽车安装的摄像头越来越多，当一辆车出现在多个视角的摄像头里，需要对目标车辆进行匹配。这样可以对多个视角的信息进行准确高效的利用，从而提升智能驾驶的决策能力。
现有技术中，驾驶辅助系统一般不能对多个视角的道路车辆进行信息融合匹配，进而无法为后续的智能驾驶决策判断提供准确高效的信息。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于卷积神经网络的多视角道路车辆匹配系统及方法，通过对多个视角的道路车辆进行信息融合匹配，进而为后续的智能驾驶决策判断提供准确高效的信息。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于卷积神经网络的多视角道路车辆匹配方法，包括：
获取车身上多个视角摄像头的图像数据后，进行图像拼接；
对拼接后的图像进行检测，得到图像中的车辆位置信息；
根据车辆位置信息抠取相应的目标车辆图像块；
将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
进一步的，所述图像中每个车辆的位置信息由拼接后的图像通过yolov5的检测框架进行检测后得到。
进一步的，所述多重车辆属性数据包括车型信息、姿态信息、车牌信息和特征匹配矩阵。
进一步的，所述车型信息包括大巴车、小轿车、面包车、斗式卡车、箱式卡车、依维柯、罐车、平板拖车和异形车，所述姿态信息包括同向车、对向车和横向车，所述车牌信息蓝牌、绿牌和黄牌，所述特征匹配矩阵由图像块进行特征提取后，再与可学习的权重参数矩阵归一化并相乘得到。
进一步的，依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配，包括：
S1、依据车型信息剔除掉所有非车辆的背景框；
S2、依据车辆位置信息对所有有效的车辆进行归类，把车辆按照摄像头进行分组；
S3、对不同摄像头的车辆之间进行表观特征匹配，两两之间计算余弦距离作为得分，并且按照得分由高到低进行排序，同时剔除得分低于阈值的分组；
S4、对得分最高的车辆对进行二次判断，响应于两个车辆之间的车型、姿态、车牌信息完全对等的信号，表示匹配完成，否则匹配失败同时剔除掉该得分；
S5、响应于一个目标匹配成功的信号，剔除掉得分矩阵中有关该车辆的所有信息，并转至S4，直到完成所有车辆的匹配。
进一步的，所述车辆表观特征匹配的阈值为0.27。
第二方面，本发明提供了一种基于卷积神经网络的多视角道路车辆匹配系统，包括：
数据获取及拼接模块：用于获取车身上多个视角摄像头的图像数据后，进行图像拼接；
检测模块：用于对拼接后的图像进行检测，得到图像中的车辆位置信息；
目标车辆获取模块：用于根据车辆位置信息抠取相应的目标车辆图像块；
分类模块：用于将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
表观匹配模块：用于依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
第三方面，本发明提供了一种基于卷积神经网络的多视角道路车辆匹配装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提出的基于卷积神经网络的多视角道路车辆匹配系统及方法，通过车型、姿态、车牌、特征匹配矩阵等多重信息，对不同视角中的相同车辆进行目标匹配，从而完成不同视角图像的信息融合，为后续只能驾驶的决策提供详细高效的信息。
附图说明
图1是本发明实施例一提供的一种基于卷积神经网络的多视角道路车辆匹配方法流程图；
图2是本发明实施例一提供的拼接后的图像示意图；
图3是本发明实施例一提供的处理后的图像块拼接示意图；
图4是本发明实施例一提供的具体车辆属性获取网络结构示意图；
图5是本发明实施例一提供的车型分类示意图；
图6是本发明实施例一提供的车辆表观匹配属性提取网络示意图；
图7是本发明实施例一提供的车辆表观匹配效果示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
请参阅图1，本实施例公开了一种基于卷积神经网络的多视角道路车辆匹配方法，该方法通过对多个摄像头视角监测到的道路上行驶车辆进行匹配，对多个摄像头提供的车辆信息进行融合，以供后续的模块进行精确的测距、预警。该方法主要分为三个部分：道路图像获取，道路车辆检测，车辆姿态分类。第一步，我们通过车载摄像头实时获取多个视角摄像头的图像数据，同时完成图像的拼接，第二步，对拼接后的图像中的车辆进行检测，获取图像中每个车辆的位置信息，第三步，根据车辆位置信息及分类图像预处理方法抠取相应的目标车辆图像块，第四步，将目标图像块送入车辆属性网络，获取车辆的车型信息、姿态信息、车牌信息、特征矩阵。第五步，依据车型信息、姿态信息、车牌信息、特征匹配矩阵对不同视角中的所有车辆进行匹配。
(1)图像获取
把多个视角的摄像头安装在车身之上，采集车辆行驶过程中各个视角的场景信息，并完成图像拼接，以前视广角和窄角的摄像头为例，拼接后的图像如图2所示。
(2)车辆检测
使用yolov5的检测框架，对拼接后的图像进行检测，从而获取图像中每个车辆的位置信息。
(3)车辆图像块获取
根据检测获取的图像中车辆的位置信息，抠取相对应的目标图像块。
(4)车辆属性获取
1、车型分类
车型分类为背景、大巴车、小轿车、面包车、斗式卡车、箱式卡车、依维柯、罐车、平板拖车、异形车这十个类型。利用模型的第一个分支获得车辆的车型信息。
2、姿态分类
车辆姿态分类为同向车、对向车、横向车这三个类型。利用模型的第二个分支获得车辆的姿态信息。
3、车牌信息获取
车牌分为蓝牌、绿牌、黄牌这三个类型。利用模型的第三个分支获得车辆的车牌信息。
4、特征匹配矩阵获取
通过对现实场景的车辆进行详细的收集，依据车的款式、颜色等信息建立一个车辆id数据库，然后通过数据库中1500多种车辆进行分类训练。神经网络通过对图像块的特征进行提取，获得一个128维的特征向量，然后利用这个128维的特征向量进行车辆分类训练。测试的时候，舍弃后面的车辆分类模块，保存每一个图像块的特征向量，用作后续的表观匹配。
(5)车辆表观匹配
依据车辆属性获取的所有图像块的属性进行车辆表观匹配。
六、算法设计
(1)车辆检测
本系统利用yolov5检测框架，对拼接后的多视角图像进行检测，获取图像中所有可能的车辆位置信息。网络的主干采用RepVGG，RepVGG网络在训练的时候可以同时利用3*3卷积、1*1卷积、以及残差模块。推理的时候可以把这三个部分融合成一个3*3的卷积层，在增加网络复杂性的同时有效的提升网络的推理速度。
(2)车辆属性获取
1、车辆Patch处理
假设检测到目标车辆的中心点为(cx,cy)，宽和高为(w,h)，我们将按照中心点(cx,cy)，宽和高为(1.1*w,1.1*h)裁剪出想要的图像块。由于图像中各车辆的尺寸不一，我们将图像缩放到长96，宽96。由于神经网络越大在在嵌入式平台处理效率越高，我们选择对处理后的图像块进行拼接。如图3所示，把9张长96宽96的图像块拼接成一张288*288的图像。
2、车辆属性获取网络
车辆属性获取网络主要使用RepVGG为主干的自主设计的网络结构，最终的输出拆分为4个分支，第一个分支学习车辆的类型，第二个分支学习车辆的姿态，第三个分支学习车牌的类型，第四个分支学习车辆的款式，具体网络结构如图4所示。
小网络模型在硬件平台上存在两个问题，一个是多次调用模型的时间开销，另一个是小模型本身前传效率低。为了解决上述问题，本文提出的车辆属性获取网络输入是由多种图像块拼接成的。以9张96*96尺寸的图片为例，我们把9张图像拼接成一张288*288的大图，然后输入到网络中。网络的任务，共享一个主干网络，下采样32倍，提取一个9*9*256维度的特征，然后再分4个分支来处理4个不同的任务。网络的前3个分支分别输出9*9*10、9*9*3、9*9*3分别用来处理车型分类、姿态分类、车牌分类。以车型分类为例，如图5所示，9*9代表模型输出特征的尺寸，10代表车型的10个类别。可以知道的是每个图像块最多只有一个车辆目标，因此采用检测的方式，把9*9的特征分成9个3*3的特征块，每个特征块的中心点当成可能的目标位置，然后取出中心点的特征1*1*10进行分类损失计算。
对于第4个任务车辆表观特征的提取，我们采取的方式是训练一个车辆款式分类器，我们通过对车辆款式进行精细化分类，依据车型、轮廓、颜色等信息建立车辆款式数据库，并且收集了1500多款不同款式的车辆。通过网络提取一个3*3*128维度的特征F，然后对特征进行归一化。然后设计一个可学习的权重参数矩阵W，其维度是128*n，其中n为待学习车辆的款式数量。我们分别对F和W进行normalize归一化，然后相乘得到一个3*3*n的特征进行后续的分类损失计算。
(3)车辆表观匹配
本文提出的车辆属性获取网络训练的时候采用固定数量的图像拼接，测试的时候可以不限于输入图片的拼接数量，可以一次处理所有的待处理的图像块。匹配的属性提取网络如图6所示：
我们依据第一个分支获取车型分类的特征、第二个分支获取车辆姿态的特征、第三个分支获取车牌分类的特征、第四个分支获取表观匹配的特征。其中a和b分别是测试的时候图像横向纵向拼接的数据。
表观匹配的具体步骤如下：
Step1：依据车型信息剔除掉所有非车辆的背景框。
Step2：依据车辆位置信息对所有有效的车辆进行归类，把车辆按照摄像头进行分组。
Step3：对不同摄像头的车辆之间进行特征匹配，两两之间计算余弦距离作为得分，并且按照得分由高到低进行排序，同时剔除得分低于阈值的分组，本系统中车辆表观特征匹配的阈值为0.27。
Step4：对得分最高的车辆对进行二次判断，当两个车辆之间的车型、姿态、车牌信息完全对等时候，表示这两辆车匹配完成，反之匹配失败，然后剔除掉该得分。
Step5：由于可能出现一辆车和多辆车的匹配满足阈值要求，当一个目标匹配成功时，剔除掉得分矩阵中有关该车的所有信息，并转Step4，直到完成所有车辆的匹配，匹配效果如图7所示。
本文提出的基于卷积神经网络的多视角道路车辆匹配方法的优势在于通过车型、姿态、车牌、特征匹配矩阵等多重信息，对不同视角中的相同车辆进行目标匹配，从而完成不同视角图像的信息融合，为后续只能驾驶的决策提供详细高效的信息。
实施例二：
一种基于卷积神经网络的多视角道路车辆匹配系统，可实现实施例一所述的一种基于卷积神经网络的多视角道路车辆匹配方法，包括：
数据获取及拼接模块：用于获取车身上多个视角摄像头的图像数据后，进行图像拼接；
检测模块：用于对拼接后的图像进行检测，得到图像中的车辆位置信息；
目标车辆获取模块：用于根据车辆位置信息抠取相应的目标车辆图像块；
分类模块：用于将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
表观匹配模块：用于依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
实施例三：
本发明实施例还提供了一种基于卷积神经网络的多视角道路车辆匹配装置，可实现实施例一所述的一种基于卷积神经网络的多视角道路车辆匹配方法，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取车身上多个视角摄像头的图像数据后，进行图像拼接；
对拼接后的图像进行检测，得到图像中的车辆位置信息；
根据车辆位置信息抠取相应的目标车辆图像块；
将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的一种基于卷积神经网络的多视角道路车辆匹配方法，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
获取车身上多个视角摄像头的图像数据后，进行图像拼接；
对拼接后的图像进行检测，得到图像中的车辆位置信息；
根据车辆位置信息抠取相应的目标车辆图像块；
将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于卷积神经网络的多视角道路车辆匹配方法，其特征是，包括：
获取车身上多个视角摄像头的图像数据后，进行图像拼接；
对拼接后的图像进行检测，得到图像中的车辆位置信息；
根据车辆位置信息抠取相应的目标车辆图像块；
将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
2.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法，其特征是，所述图像中每个车辆的位置信息由拼接后的图像通过yolov5的检测框架进行检测后得到。
3.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法，其特征是，所述多重车辆属性数据包括车型信息、姿态信息、车牌信息和特征匹配矩阵。
4.根据权利要求3所述的基于卷积神经网络的多视角道路车辆匹配方法，其特征是，所述车型信息包括大巴车、小轿车、面包车、斗式卡车、箱式卡车、依维柯、罐车、平板拖车和异形车，所述姿态信息包括同向车、对向车和横向车，所述车牌信息蓝牌、绿牌和黄牌，所述特征匹配矩阵由图像块进行特征提取后，再与可学习的权重参数矩阵归一化并相乘得到。
5.根据权利要求1所述的基于卷积神经网络的多视角道路车辆匹配方法，其特征是，依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配，包括：
S1、依据车型信息剔除掉所有非车辆的背景框；
S2、依据车辆位置信息对所有有效的车辆进行归类，把车辆按照摄像头进行分组；
S3、对不同摄像头的车辆之间进行表观特征匹配，两两之间计算余弦距离作为得分，并且按照得分由高到低进行排序，同时剔除得分低于阈值的分组；
S4、对得分最高的车辆对进行二次判断，响应于两个车辆之间的车型、姿态、车牌信息完全对等的信号，表示匹配完成，否则匹配失败同时剔除掉该得分；
S5、响应于一个目标匹配成功的信号，剔除掉得分矩阵中有关该车辆的所有信息，并转至S4，直到完成所有车辆的匹配。
6.根据权利要求5所述的基于卷积神经网络的多视角道路车辆匹配方法，其特征是，所述车辆表观特征匹配的阈值为0.27。
7.一种基于卷积神经网络的多视角道路车辆匹配系统，其特征是，包括：
数据获取及拼接模块：用于获取车身上多个视角摄像头的图像数据后，进行图像拼接；
检测模块：用于对拼接后的图像进行检测，得到图像中的车辆位置信息；
目标车辆获取模块：用于根据车辆位置信息抠取相应的目标车辆图像块；
分类模块：用于将目标车辆图像块输入卷积神经网络进行分类，得到车辆的多重车辆属性数据；
表观匹配模块：用于依据车辆的多重车辆属性数据对图像数据进行车辆表观匹配。
8.一种基于卷积神经网络的多视角道路车辆匹配装置，其特征是，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～6任一项所述方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1～6任一项所述方法的步骤。
CN202210705508.6A 2022-06-21 2022-06-21 一种基于卷积神经网络的多视角道路车辆匹配系统及方法 Pending CN115205813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210705508.6A CN115205813A (zh) 2022-06-21 2022-06-21 一种基于卷积神经网络的多视角道路车辆匹配系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210705508.6A CN115205813A (zh) 2022-06-21 2022-06-21 一种基于卷积神经网络的多视角道路车辆匹配系统及方法

Publications (1)

Publication Number Publication Date
CN115205813A true CN115205813A (zh) 2022-10-18

Family

ID=83575390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210705508.6A Pending CN115205813A (zh) 2022-06-21 2022-06-21 一种基于卷积神经网络的多视角道路车辆匹配系统及方法

Country Status (1)

Country Link
CN (1) CN115205813A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641559A (zh) * 2022-12-23 2023-01-24 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质
CN116824213A (zh) * 2023-05-17 2023-09-29 杭州新中大科技股份有限公司 一种基于多视角特征融合的渣土车带泥检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641559A (zh) * 2022-12-23 2023-01-24 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质
CN115641559B (zh) * 2022-12-23 2023-06-02 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质
CN116824213A (zh) * 2023-05-17 2023-09-29 杭州新中大科技股份有限公司 一种基于多视角特征融合的渣土车带泥检测方法及装置

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN115205813A (zh) 一种基于卷积神经网络的多视角道路车辆匹配系统及方法
CN110942000A (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
Ohgushi et al. Road obstacle detection method based on an autoencoder with semantic segmentation
Ming et al. Vehicle detection using tail light segmentation
CN105069415A (zh) 车道线检测方法和装置
CN104463241A (zh) 一种智能交通监控系统中的车辆类型识别方法
CN106897677B (zh) 一种车辆特征分类检索系统和方法
CN104537360A (zh) 车辆未让行违章检测方法及其检测系统
CN107808392A (zh) 开放场景的安检车辆自动跟踪定位方法及系统
CN103679205A (zh) 基于阴影假设和分层hog对称特征验证的前车检测方法
CN115049700A (zh) 一种目标检测方法及装置
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN108108703A (zh) 减速带缺失检测方法、装置及电子设备
Jiang et al. Dfnet: Semantic segmentation on panoramic images with dynamic loss weights and residual fusion block
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN111428735B (zh) 一种基于迁移学习深层网络融合模型的货车品牌分类方法
US20070223785A1 (en) Image processor and method
Chen et al. Investigating low level features in CNN for traffic sign detection and recognition
Hamdi et al. Road signs classification by ANN for real-time implementation
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN112766353A (zh) 一种加强局部注意的双分支车辆再识别方法
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN107591026B (zh) 一种行人检测及预警的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination