CN117011674A - 一种基于多视角特征融合的复杂车辆识别方法 - Google Patents

一种基于多视角特征融合的复杂车辆识别方法 Download PDF

Info

Publication number
CN117011674A
CN117011674A CN202311079488.7A CN202311079488A CN117011674A CN 117011674 A CN117011674 A CN 117011674A CN 202311079488 A CN202311079488 A CN 202311079488A CN 117011674 A CN117011674 A CN 117011674A
Authority
CN
China
Prior art keywords
feature
vehicle
images
feature fusion
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311079488.7A
Other languages
English (en)
Inventor
付强
祁凌云
吴疆
牛犇
陈明秀
毛喜旺
艾百运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhiyuan Research Institute Co ltd
Original Assignee
Hangzhou Zhiyuan Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhiyuan Research Institute Co ltd filed Critical Hangzhou Zhiyuan Research Institute Co ltd
Priority to CN202311079488.7A priority Critical patent/CN117011674A/zh
Publication of CN117011674A publication Critical patent/CN117011674A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多视角特征融合的复杂车辆识别方法，包括采集复杂车辆的各个视角的图像数据并细分类别；进行目标分割和预处理操作；根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；用所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；多个特征图经过特征融合网络模型，得到车辆图像的识别结果。本发明的有益效果是：本发明通过多视角综合提取特征并加以融合，有效提高识别的精度。

Description

一种基于多视角特征融合的复杂车辆识别方法
技术领域
本发明涉及图像处理领域，更确切地说，它涉及一种基于多视角特征融合的复杂车辆识别方法。
背景技术
随着人工智能的发展，卷积神经网络在许多图像处理领域(识别、检测、分割等)都得到了很好的应用。车辆识别技术在信息化交通管理领域，具有非常广阔的应用空间，作为先进交通管理的重要技术之一，在解决交通问题的同时，还能加快和稳固城市建设和治安管理。
现有的技术中，能够成熟地将人工智能结合到车辆识别技术中去，对于单一视角下的车辆大致类型识别已经取得了不错的效果，但是对于复杂的车辆具体类型的识别，可能因为特征相似或角度限制会出现识别不细致、不准确的情况，单一视角下的复杂车辆识别能力是有限的。
发明内容
本发明的目的是针对现有技术的不足，提出了一种基于多视角特征融合的复杂车辆识别方法。
第一方面，提供了一种基于多视角特征融合的复杂车辆识别方法，包括：
S1、采集复杂车辆的各个视角的图像数据并细分类别；
S2、针对待分类复杂车辆的车辆图像进行目标分割操作；
S3、针对分割后的车辆图像进行预处理操作；
S4、根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；
S5、用所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；
S6、执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；
S7、多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
作为优选，S2中，通过裁剪方法，得到目标完整的最小矩形框。
作为优选，S3中，所述预处理操作包括：使用中值滤波器来处理图像，随机长宽比裁剪，随机小角度旋转，统一图片大小，归一化，随机水平翻转，随机增加水平和垂直偏移。
作为优选，S4中，多次随机抽取同目标多视角的图像进行组合作为输入，每组输入由4张同目标不同视角的图片组成，输出为该目标的类别。
作为优选，S5中，特征提取网络模型包括：输入图片192×192×3；32通道卷积层；32通道卷积层；最大池化层；64通道卷积层；64通道卷积层；最大池化层；128通道卷积层；128通道卷积层；最大池化层；
特征融合网络模型包括：256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；1024节点全连接层；8节点全连接层。
作为优选，S5中，卷积层的卷积核大小均为3×3，激活函数为ReLU，最大池化层的池化区域均为2×2，1024节点全连接层的激活函数为ReLU，8节点全连接层的激活函数为Softmax。
作为优选，S5中，在训练过程采用交叉熵损失函数和自适应学习率的梯度下降法训练，全连接层的随即丢失率为0.5。
作为优选，S7中，将多张特征图进行拼接，相同位置的特征点取平均得到新的特征点，成为1张特征图，再经过特征融合网络推理，输出类别结果。
第二方面，提供了一种基于多视角特征融合的复杂车辆识别系统，用于执行第一方面任一所述的基于多视角特征融合的复杂车辆识别方法，包括：
采集模块，用于采集复杂车辆的各个视角的图像数据并细分类别；
分割模块，用于针对待分类复杂车辆的车辆图像进行目标分割操作；
预处理模块，用于针对分割后的车辆图像进行预处理操作；
组合模块，用于根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；
训练模块，用于通过所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；
提取模块，用于将执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；
融合模块，用于将多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
第三方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的基于多视角特征融合的复杂车辆识别方法。
本发明的有益效果是：本发明主要应用于复杂车辆的多视角特征融合识别，通过多视角综合提取特征并加以融合，有效提高识别的精度。也可以通过迁移学习进行其他目标的多视角特征融合识别，有利于解决单一视角的局限性。
附图说明
图1为一种基于多视角特征融合的复杂车辆识别方法的流程图；
图2为特征提取网络和特征融合网络的结构示意图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1：
卷积神经网络的车辆类型识别效果有一定的成效，但单一图像视角下的复杂车辆类型识别能力有限，不能够对复杂车辆进行细分，难以达到细致化的管理。本发明提出了基于多视角特征提取再融合的方法，对复杂车辆识别具有更好的效果。
对此，本发明提供了一种基于多视角特征融合的复杂车辆识别方法，主要应用于复杂车辆的多视角特征融合识别，通过多视角综合提取特征并加以融合，有效提高识别的精度，也可以通过迁移学习进行其他目标的多视角特征融合识别，有利于解决单一视角的局限性。
具体的，如图1所示，本发明提供的方法包括：
S1、采集复杂车辆的各个视角的图像数据并细分类别。
具体的，用摄像头采集复杂车辆的多个视角的图像数据，并根据车辆目标进行分类管理，标注车辆的具体类别信息。
S2、针对待分类复杂车辆的车辆图像进行目标分割操作。
S2中，所采集的车辆图像可能包括许多背景信息，通过裁剪方法，得到目标完整的最小矩形框。
S3、针对分割后的车辆图像进行预处理操作。
具体的，预处理操作包括：使用3×3中值滤波器来处理图像，随机长宽比裁剪，随机小角度旋转，统一图片大小为192×192，归一化到0～1之间，随机水平翻转，随机增加水平和垂直偏移。
S4、根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集。
具体的，多次随机抽取同目标多视角的图像进行组合作为输入，每组输入由4张同目标不同视角的图片组成，输出为该目标的类别。训练集和测试集比例为8：2，训练时随机打乱训练集输入顺序。
S5、用所述训练数据集训练预设的特征提取网络模型和特征融合网络模型。
S6、执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图。
S7、多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
通过输入同一车辆的不同视角图像，用经过训练的特征提取网络模型对图像进行特征提取，得到多张特征信息图，用经过训练的特征融合网络模型对多张特征图进行融合，能够全面综合车辆的各方面信息，最终输出车辆的准确类别。该方法创新地融合多视角地图像，提高了识别精度。
实施例2：
在实施例1的基础上，本申请实施例2提供了更具体的基于多视角特征融合的复杂车辆识别方法，包括：
S1、采集复杂车辆的各个视角的图像数据并细分类别。
S2、针对待分类复杂车辆的车辆图像进行目标分割操作。
S3、针对分割后的车辆图像进行预处理操作。
S4、根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集。
S5、用所述训练数据集训练预设的特征提取网络模型和特征融合网络模型。
S5中，特征提取网络模型包括：输入图片192×192×3；32通道卷积层；32通道卷积层；最大池化层；64通道卷积层；64通道卷积层；最大池化层；128通道卷积层；128通道卷积层；最大池化层；
特征融合网络模型包括：256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；1024节点全连接层；8节点全连接层。
网络结构参数如下：卷积层的卷积核大小均为3×3，激活函数为ReLU，最大池化层的池化区域均为2×2，1024节点全连接层的激活函数为ReLU，8节点全连接层的激活函数为Softmax。
在训练过程采用交叉熵损失函数和自适应学习率的梯度下降法训练，全连接层的随即丢失率为0.5。
S6、执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图。
具体的，将4张同一车辆的多视角图片，经过预处理后拼接输入网络，经由特征提取网络分别提取特征，得到4张24×24×128的特征图。
S7、多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
S7中，将多张特征图进行拼接，相同位置的特征点取平均得到新的特征点，成为1张特征图，再经过特征融合网络推理，输出类别结果。
此外，现有技术的多特征一般是对同一输入不同尺度的特征进行融合，而本申请的多特征指的是对多个输入进行相同的特征提取再融合。
需要说明的，本实施例中与实施例1相同或相似的部分可相互参考，在本申请中不再赘述。
实施例3：
在实施例1、2的基础上，本申请实施例3提供了一种基于多视角特征融合的复杂车辆识别系统，包括：
采集模块，用于采集复杂车辆的各个视角的图像数据并细分类别；
分割模块，用于针对待分类复杂车辆的车辆图像进行目标分割操作；
预处理模块，用于针对分割后的车辆图像进行预处理操作；
组合模块，用于根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；
训练模块，用于通过所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；
提取模块，用于将执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；
融合模块，用于将多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
具体的，本实施例所提供的系统为实施例1提供的方法对应的系统，因此，在本实施例中与实施例1相同或相似的部分，可相互参考，在本申请中不再赘述。

Claims (10)

1.一种基于多视角特征融合的复杂车辆识别方法，其特征在于，包括：
S1、采集复杂车辆的各个视角的图像数据并细分类别；
S2、针对待分类复杂车辆的车辆图像进行目标分割操作；
S3、针对分割后的车辆图像进行预处理操作；
S4、根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；
S5、用所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；
S6、执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；
S7、多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
2.根据权利要求1所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S2中，通过裁剪方法，得到目标完整的最小矩形框。
3.根据权利要求2所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S3中，所述预处理操作包括：使用中值滤波器来处理图像，随机长宽比裁剪，随机小角度旋转，统一图片大小，归一化，随机水平翻转，随机增加水平和垂直偏移。
4.根据权利要求3所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S4中，多次随机抽取同目标多视角的图像进行组合作为输入，每组输入由4张同目标不同视角的图片组成，输出为该目标的类别。
5.根据权利要求4所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S5中，特征提取网络模型包括：输入图片192×192×3；32通道卷积层；32通道卷积层；最大池化层；64通道卷积层；64通道卷积层；最大池化层；128通道卷积层；128通道卷积层；最大池化层；
特征融合网络模型包括：256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；256通道卷积层；256通道卷积层；256通道卷积层；最大池化层；1024节点全连接层；8节点全连接层。
6.根据权利要求5所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S5中，卷积层的卷积核大小均为3×3，激活函数为ReLU，最大池化层的池化区域均为2×2，1024节点全连接层的激活函数为ReLU，8节点全连接层的激活函数为Softmax。
7.根据权利要求6所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S5中，在训练过程采用交叉熵损失函数和自适应学习率的梯度下降法训练，全连接层的随即丢失率为0.5。
8.根据权利要求7所述的基于多视角特征融合的复杂车辆识别方法，其特征在于，S7中，将多张特征图进行拼接，相同位置的特征点取平均得到新的特征点，成为1张特征图，再经过特征融合网络推理，输出类别结果。
9.一种基于多视角特征融合的复杂车辆识别系统，其特征在于，用于执行权利要求1至8任一所述的基于多视角特征融合的复杂车辆识别方法，包括：
采集模块，用于采集复杂车辆的各个视角的图像数据并细分类别；
分割模块，用于针对待分类复杂车辆的车辆图像进行目标分割操作；
预处理模块，用于针对分割后的车辆图像进行预处理操作；
组合模块，用于根据同一目标的车辆图像进行随机组合，将获取的多视角图像作为数据集，进而生成训练数据集和测试数据集；
训练模块，用于通过所述训练数据集训练预设的特征提取网络模型和特征融合网络模型；
提取模块，用于将执行目标分割操作和预处理操作后的多张车辆图像经过特征提取网络模型，得到多个特征图；
融合模块，用于将多个特征图经过特征融合网络模型，得到车辆图像的识别结果。
10.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求1至8任一所述的基于多视角特征融合的复杂车辆识别方法。
CN202311079488.7A 2023-08-25 2023-08-25 一种基于多视角特征融合的复杂车辆识别方法 Pending CN117011674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311079488.7A CN117011674A (zh) 2023-08-25 2023-08-25 一种基于多视角特征融合的复杂车辆识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311079488.7A CN117011674A (zh) 2023-08-25 2023-08-25 一种基于多视角特征融合的复杂车辆识别方法

Publications (1)

Publication Number Publication Date
CN117011674A true CN117011674A (zh) 2023-11-07

Family

ID=88570993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311079488.7A Pending CN117011674A (zh) 2023-08-25 2023-08-25 一种基于多视角特征融合的复杂车辆识别方法

Country Status (1)

Country Link
CN (1) CN117011674A (zh)

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111612008B (zh) 基于卷积网络的图像分割方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN111160356A (zh) 一种图像分割分类方法和装置
CN115861799A (zh) 基于注意力梯度的轻量化空对地目标检测方法
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
Wen et al. Identifying poultry farms from satellite images with residual dense u-net
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN115761552B (zh) 面向无人机机载平台的目标检测方法、设备及介质
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN115512302A (zh) 基于改进YOLOX-s模型的车辆检测方法及系统
CN117011674A (zh) 一种基于多视角特征融合的复杂车辆识别方法
CN116246158A (zh) 一种适用于遥感目标检测任务的自监督预训练方法
CN112348823A (zh) 一种面向对象的高分辨率遥感影像分割算法
Babu et al. Development and performance evaluation of enhanced image dehazing method using deep learning networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination