CN111461170A - 车辆图像检测方法、装置、计算机设备及存储介质 - Google Patents

车辆图像检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111461170A
CN111461170A CN202010142987.6A CN202010142987A CN111461170A CN 111461170 A CN111461170 A CN 111461170A CN 202010142987 A CN202010142987 A CN 202010142987A CN 111461170 A CN111461170 A CN 111461170A
Authority
CN
China
Prior art keywords
image
network
pooling layer
vehicle image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010142987.6A
Other languages
English (en)
Inventor
丁晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010142987.6A priority Critical patent/CN111461170A/zh
Publication of CN111461170A publication Critical patent/CN111461170A/zh
Priority to PCT/CN2021/070733 priority patent/WO2021175006A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆图像检测方法、装置、计算机设备及存储介质；通过对卷积神经网络的卷积核和池化层进行改进，将卷积神经网络扩充至能够支持3D图像进行卷积。构造框网络，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，使得在检测过程中，能够输出各个部件的位置信息，并通过在分类网络中的进一步卷积和池化操作，能够判断所述各个部件的位置信息是否为损伤部位的位置信息，在保证识别各个部件的效率的前提下，还能够更精确的定位到损伤部位的位置信息。

Description

车辆图像检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种车辆图像检测方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的发展，车辆在人们的日常生活中占据了越来越重要的位置。在车辆由于碰撞或者其他情况出现损伤时需要对车辆进行定损，目前存在通过图像识别算法来对车辆图像中的损伤部位进行检测和识别的技术，然而，目前在对车辆部件采用的车辆图像识别和检测技术的识别准确率和检测精度都比较低，从而不能够准确判断车辆部件的损伤程度。
发明内容
本发明实施例提供一种车辆图像检测方法、装置、计算机设备及存储介质，以解决车辆图像检测定位精度低的问题。
一种车辆图像检测方法，包括：
获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的；
获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络；
将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层；
将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
一种车辆图像检测装置，包括：
第一获取模块，用于获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的；
第二获取模块，用于获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络；
第一输入模块，用于将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层；
第二输入模块，用于将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车辆图像检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆图像检测方法的步骤。
上述车辆图像检测方法、装置、计算机设备及存储介质，通过对卷积神经网络的卷积核和池化层进行改进，将卷积神经网络扩充至能够支持3D图像进行卷积。构造框网络，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，使得在检测过程中，能够输出各个部件的位置信息，并通过在分类网络中的进一步卷积和池化操作，能够判断所述各个部件的位置信息是否为损伤部位的位置信息，在保证识别各个部件的效率的前提下，还能够更精确的定位到损伤部位的位置信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中车辆图像检测方法的一应用环境示意图；
图2是本发明一实施例中车辆图像检测方法的一流程图；
图3是本发明一实施例中车辆图像检测方法的另一流程图；
图4是本发明一实施例中车辆图像检测方法的另一流程图；
图5是本发明一实施例中车辆图像检测方法的另一流程图；
图6是本发明一实施例中车辆图像检测方法的另一流程图；
图7是本发明一实施例中车牌校验装置的一原理框图；
图8是本发明一实施例中车牌校验装置的另一原理框图；
图9是本发明一实施例中车牌校验装置的另一原理框图；
图10是本发明一实施例中车牌校验装置的另一原理框图；
图11是本发明一实施例中车牌校验装置的另一原理框图；
图12是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种车辆图像检测方法，该图像检测方法可应用如图1所示的应用环境中。具体地，该图像检测方法应用在图像检测系统中，该图像检测系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决车辆图像检测定位精度低的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种车辆图像检测方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S11：获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的。
其中，待识别图像为需要进行识别的车辆图像，待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的。具体地，所述通过三维图像采集设备采集的车辆图像的数据结构可以为：1*H*W*D，所述1代表所述车辆图像为单通道图像，H为所述车辆图像的长度的数据，W为所述车辆图像的宽度的数据，D为所述车辆图像的景深的数据。示例性地，将所述景深的数据设置为512，所述H和W的具体数据取决于所述三维图像采集设备的像素情况。可选地，所述三维图像采集设备可以为tof3d摄像头、双目摄像头或者其他可以采集景深通道的图像采集设备。
所述图像处理步骤可以包括图像增强、归一化等处理过程。优选地，所述图像处理过程还可以包括：对所述待识别图像的数据结构中的H和W进行数据重构(resize)，以将H和W的值分别设定为512。可选地，数据重构可以包括以下几种参数控制方法实现：最近邻插值法，双线性插值法和双立方插值法。优选地，对H和W两个方向进行数据重构，因此，可采用双线性插值法对H和W两个方向进行数据重构。
示例性地，对车辆图像数据结构中的H和W进行数据重构，得到H和W的数据都为512，而D的初始设定为512。因此在进行数据重构后，所述车辆图像数据结构为：1*512*512*512。
S12：获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络。
其中，所述车辆图像识别模型是采用卷积神经网络和框网络训练得到的，用于对所述待识别图像进行识别。
具体地，所述卷积神经网络包含五大层，第一层为输入层，第二层到第四层为中间层，第二层到第四层中，每一层包含三小层，其中一个小层包含一个池化层，第五层为输出层，仅包含一个池化层。
所述框网络是结合所述卷积神经网络第二层到第五层的池化层构造的，所述卷积神经网络的第二层到第五层的池化层的结果作为所述框网络的输入，所述框网络的实质是一个带滑动窗口的神经网络分类器，即在第二层到第五层上，使用3d的立体框进行滑动，每个立体框接分类器，分辨框中是否存在物体，以及物体的类型，以此来确定是否为目标种类的位置信息。
S13：将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层。
其中，所述池化层输出特征是指所述卷积神经网络的第二层到第五层所有的池化层的结果。具体地，将所述待识别图像输入至所述卷积神经网络中，所述待识别图像从输入层到卷积层进行卷积操作，通过卷积操作可得到所述待识别图像的卷积层输出特征，将所述卷积层输出特征输入池化层，从卷积层到池化层进行池化操作，得到池化层输出特征。从卷积层到池化层进行池化操作的目的在于减少上一层得到的卷积层输出特征的数量，进一步缩小输出特征的范围。
可选地，所述3D卷积核的大小为：3*3*3，所述3D池化层的尺寸为：2*2*2。
S14：将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
其中，所述三维滑动框是指，在所述每一池化层上滑动的三维立体框，所述三维滑动框在不同层级的池化层中使用的三维立体框的大小是不同的。所述待识别图像的识别信息指的是，当三维滑动框对3D池化层中每一池化层输出特征进行识别，得到的各个汽车部件的位置信息。
将所述池化层输出特征输入至框网络中，作为框网络的输入，控制每一池化层的三维滑动框在对应的池化层的起点开始滑动识别，并以两个像素为间隔进行滑动，随着每一层的三维滑动框在对应池化层上滑动，对所述池化层输出特征进行识别，能够识别出所述待识别图像的识别信息，即各个汽车部件的位置信息。进一步地，将框网络中识别到所述待识别图像的识别信息的三维滑动框的大小输入至分类网络，所述分类网络中间层为多层卷积网络，对输入层中三维滑动框的大小进行卷积和池化操作，在输出层进行全连接后，进行softmax分类，以此确定所述待识别图像的识别信息是否为损伤部位的位置信息。
在本实施例中，通过对卷积神经网络的卷积核和池化层进行改进，将卷积神经网络扩充至能够支持3D图像进行卷积。构造框网络，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，使得在检测过程中，能够输出各个部件的位置信息，并通过在分类网络中的进一步卷积和池化操作，能够判断所述各个部件的位置信息是否为损伤部位的位置信息，在保证识别各个部件的效率的前提下，还能够更精确的定位到损伤部位的位置信息。
在一个实施例中，所述车辆图像识别模型还包括热点网络，在所述得到所述车辆图像的识别信息之后，所述车辆图像检测方法还包括：
S15：若所述待识别图像的识别信息为第一类型信息，则将所述池化层输出特征输入至热点网络中，所述第一类型信息为指示所述待识别图像中存在损伤部位。
具体地，在采用三维滑动框对3D池化层中每一池化层输出特征进行识别之后，可以得到待识别图像中各个汽车部件的位置信息，而且在经过所述分类网络进行分类后，能识别所述待识别图像中是否存在损伤部位。若所述待识别图像中存在损伤部位，则所述待识别图像的识别信息为第一类型信息。进一步地，若所述待识别图像的识别信息为第一类型信息，则将激活热点网络，并将所述池化层输出特征输入至热点网络中。
在另一具体实施例中，若所述待识别图像的识别信息不为第一类型信息，即所述待识别图像中不存在损伤部位时，则所述热点网络不会被激活，即所述池化层输出特征不会输入至热点网络中。
S16：在所述热点网络中，对所述池化层输出特征进行卷积分类识别，得到热点区域信息。
具体地，在所述热点网络被激活后，将所述池化层输出特征输入至热点网络，在所述热点网络的输入层和输出层之间衔接一个卷积分类网络，采用卷积分类网络对所述池化层输出特征进行卷积分类识别，对所述第一类型信息的关键部位的关键点进行标识，提取所述关键点的点阵值数量最集中的区域信息作为热点区域信息，所述热点网络的输出层输出的是一个三维的one-hot点阵图。
其中，所述关键部位为损伤部位的位置信息。由于在第三层到第五层的每一池化层中，会存在多个类似于关键部位的关键点，因此对所有类似于关键部位的关键点的点阵值数量进行比较，选出关键点的点阵值数量最集中的区域信息作为热点区域信息。由于所述待识别图像的识别信息经过分类网络识别后，会得到多个第一类型信息，从而经过热点网络中卷积分类网络识别得到的关键部位也会有多个，因此所述热点区域信息也会有多个。
S17：对所述热点区域信息进行中值滤波，得到滤波后的热点区域信息。
具体地，对热点区域信息进行中值滤波是指通过将热点区域信息中的每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值的过程。由于对所述池化层输出特征进行卷积分类过程中会对边缘造成一定的损失，为了保护图像的边缘信号，采用中值滤波能够有效做到保护边缘信号。
其中，所述中值滤波的滤波核的大小为所述热点网络输入大小的1/8，并向上取整。由于所述热点网络输入大小是所述池化层输出特征决定的，因此在不同层级的池化层上的滤波核的大小也是不同的。示例性地，若第二层池化层大小为256*256*256，则第二层上使用的滤波核大小为：32*32*32。
S18：对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息。
由于所述热点区域信息会有多个，从而所述滤波后的热点区域信息是有多个的，因此不能确定哪一个为关键部位的关键点三维坐标，即关键位置信息，需要对所有滤波后的热点区域信息点阵图的点阵值进行比较，并将滤波后的热点区域信息点阵图的点阵值为最大值的区域作为所述待识别图像的关键位置信息的区域。
其中，所述待识别图像的关键位置信息指的是：所述关键部位的关键点的三维坐标。
在本实施例中，若框网络在所述池化层输出特征中识别出汽车损伤部位，则激活热点网络，热点网络能够提取框网络中识别出来的关键部位的关键位置，并输出所述关键位置的三维坐标，在保证能够准确识别到损伤部位的前提下，输出了损伤部位的三维坐标，提高了识别精度和准确性。
在一实施例中，对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息，包括：
S181：获取所有滤波后的热点区域信息点阵图的点阵值。
其中，由于所述待识别图像的识别信息经过分类网络识别后，会得到多个第一类型信息，从而经过热点网络中卷积分类网络识别得到的关键部位也会有多个，因此所述热点区域信息也会有多个，进而滤波后的热点区域信息也会有多个，对所有滤波后的热点区域信息点阵图的点阵值进行提取。
S182：比较所有滤波后的热点区域信息点阵图的点阵值，提取所述滤波后的热点区域信息的最大值。
其中，在获取所有滤波后的热点区域信息点阵图的点阵值之后，对所有滤波后的热点区域信息点阵图的点阵值进行比较，将滤波后的热点区域信息点阵图的点阵值为最大值的区域作为所述待识别图像的关键位置信息的区域，提取所述滤波后的热点区域信息点阵图的点阵值为最大值的区域中的最大值，作为所述待识别图像的关键位置信息，即所述待识别图像的损伤部位的三维坐标。
在本实施例中，由于识别出包含损伤部位的关键部位可以有很多个，为了进一步确定损伤部位的关键位置，对所有滤波后的热点区域信息点阵图的点阵值进行比较，提取区域最大值，并且能够输出损伤部位的关键位置的三维坐标，提高了损伤部位的识别率和定位的准确率。
在一个实施例中，所述采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息，包括：
S141：根据每一池化层的大小，确定每一池化层上三维滑动框的大小和个数。
其中，由于在卷积神经网络内，每经过一个池化层，所述卷积神经网络的维度就要降低2*2*2，所以每一池化层上的三维滑动框的大小和个数是不同的，所述卷积神经网络第一层，即输入层的大小为512*512*512。
具体地，每一层池化层的三维滑动框的大小和个数确定方式如下：
第二层：经过第二层的池化层，维度降低为256*256*256，对第二层进行16等分，得到第二层的每一个三维滑动框大小为16*16*16。
第三层：经过第三层的池化层，维度降低为128*128*128，对第三层进行8等分，得到第三层的每一个三维滑动框等同的大小为16*16*16，但是从视野上看，第三层的每一个三维滑动框的大小为32*32*32。
第四层：经过第四层的池化层，维度降低为64*64*64，对第四层进行8等分，得到第四层的每一个三维滑动框等同的大小为16*16*16，但是从视野上看，第四层的每一个三维滑动框的大小为64*64*64。
第五层：经过第五层的池化层，维度降低为32*32*32，对第五层进行8等分，得到第五层的每一个三维滑动框等同的大小为16*16*16，但是从视野上看，第五层的每一个三维滑动框的大小为128*128*128。
S142：控制所述三维滑动框在每一池化层上滑动，对所述池化层输出特征进行识别，得到识别信息。
其中，所述识别信息指的是：所述三维滑动框在每一池化层上滑动过程中识别到的框选信息。具体地，将所述池化层输出特征输入至框网络中，作为框网络的输入，控制每一池化层的三维滑动框在对应的池化层的起点开始滑动识别，并以两个像素为间隔进行滑动，随着每一层的三维滑动框在对应池化层上滑动，对所述池化层输出特征进行识别，能够识别出所述识别信息。
S143：若所述识别信息为目标种类的位置信息，则将所述三维滑动框的框选大小输入至分类网络进行卷积分类。
其中，所述目标种类的位置信息为所述三维滑动框在所述池化层输出特征中识别出来的各个部件的位置信息。所述三维滑动框在所述池化层输出特征的识别过程中，会判断识别信息是否为检测部件的位置信息，如果是检测部件的位置信息，则还会判断检测部件的类型。若识别信息中包含了各个部件的位置信息，则将所述三维滑动框的框选大小输入至分类网络，对卷积神经网络和框网络进行训练，进一步确定目标种类的位置信息是否为损伤部位的位置信息。
具体地，所述分类网络的结构包括：
输入层，即为所述三维滑动框的框选大小；
中间层，所述中间层为多层卷积网络，每一个卷积网络层有一个池化层，每一个池化层的步长为2，最后一层卷积后的大小为2*2*2；
输出层，在输出层上进行全连接，在全连接之后进行softmax分类。
在本实施例中，通过框网络在池化层上使用三维滑动框，能够在识别所述池化层输出特征过程中，判断识别是否为检测物体，并判断检测物体的类型，在识别出检测物体和检测物体的类型后，将三维滑动框的框选大小输入至分类网络，对其进行卷积分类，提高了识别的准确率。
在一个实施例中，在所述获取车辆图像识别模型之前，所述车辆图像检测方法还包括：
S19：获取训练样本集，所述训练样本集包括车辆样本图像和对应的标注数据，所述车辆样本图像为三维图像采集设备采集的图像经过图像处理之后得到的。
其中，所述车辆样本图像是需要进行训练的车辆样本图像，所述标注数据用于对所述车辆样本图像进行分类，并用数字标记所述车辆样本图像分类的名称。具体地，所述通过三维图像采集设备采集的车辆样本图像的数据结构可以为：1*H*W*D，所述1代表所述车辆图像为单通道图像，H为所述车辆图像的长度的数据，W为所述车辆图像的宽度的数据，D为所述车辆图像的景深的数据。示例性地，将所述景深的数据设置为512，所述H和W的具体数据取决于所述三维图像采集设备的像素情况。可选地，所述三维图像采集设备可以为tof3d摄像头、双目摄像头或者其他可以采集景深通道的图像采集设备。
其中，所述图像处理步骤可以包括图像增强、归一化等处理过程。优选地，所述包括：在每个景深通道采取resize方法，可选地，所述resize方法可以包括以下几种参数控制方法：最近邻插值法，双线性插值法和双立方插值法。优选地，本发明采用的是双线性插值法。
对车辆图像数据结构中的H和W进行数据重构，得到H和W的数据都为512，而D的初始设定为512。因此在进行数据重构后，所述车辆图像数据结构为：1*512*512*512。
S20：获取预设的神经网络模型，所述预设的神经网络模型包括卷积神经网络、框网络和热点网络。
其中，所述预设的神经网络模型是采用卷积神经网络、框网络和热点网络组成，用于对所述训练样本集进行识别训练。
其中，所述卷积神经网络的结构共有5层，第一层为输入层，所述输入层的数据结构为：512*512*512，卷积核大小为：3*3*3，第一层共有64个卷积核；
第二到第四层为中间层，所述中间层的卷积核大小为：3*3*3，纵向维度每经过一个大层，所述卷积核的个数翻倍，所述中间层中有三小层，其中一层包含一个池化层，所述池化层的步长为2，即每经过一个池化层，数据结构的维度降低2*2*2；
第五层为输出层，所述输出层仅包含一个池化层，所述池化层的步长为2。
所述框网络是结合所述卷积神经网络第二层到第五层的池化层构造的，所述卷积神经网络的第二层到第五层的池化层的结果作为所述框网络的输入，所述框网络的实质是一个带滑动窗口的神经网络分类器，即在第二层到第五层上，使用3d的立体框进行滑动，每个立体框接分类器，分辨框中是否存在物体，以及物体的类型，以此来确定是否为目标种类的位置信息。
所述热点网络是结合所述卷积神经网络第三层到第五层的池化层，在第三层到第五层的框网络的等同位置构造的，所述卷积神经网络的第二层到第五层的池化层的结果作为所述热点网络的输入，所述热点网络的输出是一个3维的one-hot点阵图，所述one-hot点阵图是一个与输入保持一致的0，x点阵图，其中，x表示为关键部位，0表示为非关键部位。所述热点网络的输入层和输出层之间连接卷积分类网络。
S21：采用所述训练样本集对所述预设的神经网络模型进行训练，得到车辆图像识别模型。
其中，车辆图像识别模型是以预设的神经网络模型为基础，根据所述训练样本集进行训练后得到的模型。车辆图像识别模型建立的过程包括：将所述训练样本集输入到所述预设的神经网络模型中，定义所述预设的神经网络模型中的卷积神经网络，框网络和热点网络的网络结构，并初始化网络权重，定义前向传播过程，利用定义好的前向传播过程对预设的神经网络模型进行迭代训练，得到训练好的模型，并对训练好的模型进行测试和验证，得到车辆图像识别模型。
在本实施例中，通过三维图像采集设备采集到车辆样本图像，并将车辆样本图像的数据结构重新调整，将长和宽的像素与所设置的景深方向的像素相同，避免了不同三维图像采集设备采集到的车辆样本图像的像素不同的问题；通过训练样本集对预设的神经网络模型，得到的车辆图像识别模型，能够更加准确，快速对后续需要识别的车辆图像进行识别和判定。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种车辆图像检测装置，该车辆图像检测装置与上述实施例中车辆图像检测方法一一对应。如图7所示，该车辆图像检测装置包括第一获取模块11、第二获取模块12、第一输入模块13和第二输入模块14。各功能模块详细说明如下：
第一获取模块11，用于获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的；
第二获取模块12，用于获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络；
第一输入模块13，用于将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层；
第二输入模块14，用于将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
优选地，如图8所示，所述车辆图像检测装置还包括：
第三输入模块15，用于在所述待识别图像的识别信息为第一类型信息时，将所述池化层输出特征输入至热点网络中，所述第一类型信息为指示所述待识别图像中存在损伤部位；
第一识别模块16，用于在所述热点网络中，对所述池化层输出特征进行卷积分类识别，得到热点区域信息；
中值滤波模块17，用于对所述热点区域信息进行中值滤波，得到滤波后的热点区域信息；
信息提取模块18，用于对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息。
优选地，如图9所示，所述信息提取模块18还包括：
第三获取模块181，用于获取所述滤波后的热点区域信息点阵图的点阵值；
第一比较模块182，用于比较所述滤波后的热点区域信息点阵图的点阵值，提取所述滤波后的热点区域信息的最大值。
优选地，如图10所示，所述第二输入模块14还包括：
第一计算模块141，用于根据每一池化层的大小，确定每一池化层上三维滑动框的大小和个数；
第二识别模块142，用于控制所述三维滑动框在每一池化层上滑动，对所述池化层输出特征进行识别，得到识别信息；
第四输入模块143，用于在所述识别信息为目标种类的位置信息时，将所述三维滑动框的框选大小输入至分类网络进行卷积分类。
优选地，如图11所示，所述车辆图像检测装置还包括：
第三获取模块19，用于获取训练样本集，所述训练样本集包括车辆样本图像和对应的标注数据，所述车辆样本图像为三维图像采集设备采集的图像经过图像处理之后得到的；
第四获取模块20，用于获取预设的神经网络模型，所述预设的神经网络模型包括卷积神经网络、框网络和热点网络；
第一训练模块21，用于采用所述训练样本集对所述预设的神经网络模型进行训练，得到车辆图像识别模型。
关于车辆图像检测装置的具体限定可以参见上文中对于车辆图像检测方法的限定，在此不再赘述。上述车辆图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述车辆图像检测方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆图像检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中车辆图像检测方法的步骤
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中车辆图像检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆图像检测方法，其特征在于，所述车辆图像检测方法包括：
获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的；
获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络；
将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层；
将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
2.如权利要求1所述的车辆图像检测方法，其特征在于，所述车辆图像识别模型还包括热点网络，在所述得到所述车辆图像的识别信息之后，所述车辆图像检测方法，还包括：
若所述待识别图像的识别信息为第一类型信息，则将所述池化层输出特征输入至热点网络中，所述第一类型信息为指示所述待识别图像中存在损伤部位；
在所述热点网络中，对所述池化层输出特征进行卷积分类识别，得到热点区域信息；
对所述热点区域信息进行中值滤波，得到滤波后的热点区域信息；
对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息。
3.如权利要求2所述的车辆图像检测方法，其特征在于，所述对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息，包括：
获取所述滤波后的热点区域信息点阵图的点阵值；
比较所述滤波后的热点区域信息点阵图的点阵值，提取所述滤波后的热点区域信息的最大值。
4.如权利要求1所述的车辆图像检测方法，其特征在于，所述采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息，包括：
根据每一池化层的大小，确定每一池化层上三维滑动框的大小和个数；
控制所述三维滑动框在每一池化层上滑动，对所述池化层输出特征进行识别，得到识别信息；
若所述识别信息为目标种类的位置信息，则将所述三维滑动框的框选大小输入至分类网络进行卷积分类。
5.如权利要求1所述的车辆图像检测方法，其特征在于，在所述获取车辆图像识别模型之前，所述车辆图像检测方法还包括：
获取训练样本集，所述训练样本集包括车辆样本图像和对应的标注数据，所述车辆样本图像为三维图像采集设备采集的图像经过图像处理之后得到的；
获取预设的神经网络模型，所述预设的神经网络模型包括卷积神经网络、框网络和热点网络；
采用所述训练样本集对所述预设的神经网络模型进行训练，得到车辆图像识别模型。
6.一种车辆图像检测装置，其特征在于，包括：
第一获取模块，用于获取待识别图像，所述待识别图像为通过三维图像采集设备采集的车辆图像经过图像处理之后得到的；
第二获取模块，用于获取车辆图像识别模型，所述车辆图像识别模型包括卷积神经网络和框网络；
第一输入模块，用于将所述待识别图像输入至所述卷积神经网络中，得到所述卷积神经网络的池化层输出特征，所述卷积神经网络的卷积层采用3D卷积核，池化层采用3D池化层；
第二输入模块，用于将所述池化层输出特征输入至框网络中，采用三维滑动框对3D池化层中每一池化层输出特征进行识别，得到所述待识别图像的识别信息。
7.如权利要求6所述的车辆图像检测装置，其特征在于，所述车辆图像检测装置还包括：
第三输入模块，用于在所述待识别图像的识别信息为第一类型信息时，将所述池化层输出特征输入至热点网络中，所述第一类型信息为指示所述待识别图像中存在损伤部位；
第一识别模块，用于在所述热点网络中，对所述池化层输出特征进行卷积分类识别，得到热点区域信息；
中值滤波模块，用于对所述热点区域信息进行中值滤波，得到滤波后的热点区域信息；
信息提取模块，用于对滤波后的热点区域信息进行区域最大值提取，得到所述待识别图像的关键位置信息。
8.如权利要求6所述的车辆图像检测装置，其特征在于，所述信息提取模块还包括：
第三获取模块，用于获取所述滤波后的热点区域信息点阵图的点阵值；
第一比较模块，用于比较所述滤波后的热点区域信息点阵图的点阵值，提取所述滤波后的热点区域信息的最大值。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述车辆图像检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述车辆图像检测方法的步骤。
CN202010142987.6A 2020-03-04 2020-03-04 车辆图像检测方法、装置、计算机设备及存储介质 Pending CN111461170A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010142987.6A CN111461170A (zh) 2020-03-04 2020-03-04 车辆图像检测方法、装置、计算机设备及存储介质
PCT/CN2021/070733 WO2021175006A1 (zh) 2020-03-04 2021-01-08 车辆图像检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142987.6A CN111461170A (zh) 2020-03-04 2020-03-04 车辆图像检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111461170A true CN111461170A (zh) 2020-07-28

Family

ID=71680889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142987.6A Pending CN111461170A (zh) 2020-03-04 2020-03-04 车辆图像检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111461170A (zh)
WO (1) WO2021175006A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216640A (zh) * 2020-10-19 2021-01-12 惠州高视科技有限公司 一种半导体芯片定位方法和装置
WO2021175006A1 (zh) * 2020-03-04 2021-09-10 深圳壹账通智能科技有限公司 车辆图像检测方法、装置、计算机设备及存储介质
CN114648678A (zh) * 2022-03-29 2022-06-21 清华大学 对抗样本检测方法、装置、计算机设备和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067282B (zh) * 2021-11-04 2024-05-07 北京智芯原动科技有限公司 一种端到端的车辆位姿检测方法及装置
CN113780480B (zh) * 2021-11-11 2022-02-22 深圳佑驾创新科技有限公司 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN114973055A (zh) * 2022-03-25 2022-08-30 成都臻识科技发展有限公司 车辆运动状态检测方法、装置、设备及存储介质
CN115375997B (zh) * 2022-08-23 2023-10-31 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
CN115684172A (zh) * 2022-10-09 2023-02-03 迁安市福运机动车检测有限公司 一种汽车外观检测系统及其使用方法
CN116629289A (zh) * 2023-05-23 2023-08-22 深圳市牛加技术有限公司 基于卷积神经网络的光学点阵二维坐标识别方法及设备
CN116935229A (zh) * 2023-09-12 2023-10-24 山东博昂信息科技有限公司 一种钢包挂钩入钩状态识别方法及系统
CN117315357B (zh) * 2023-09-27 2024-04-30 广东省新黄埔中医药联合创新研究院 基于中医虚实辨证分类的图像识别方法以及相关装置
CN117496274B (zh) * 2023-12-29 2024-06-11 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质
CN117994988A (zh) * 2024-02-01 2024-05-07 广州风调雨顺科技有限公司 高速交通环境套牌检测系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN106295502B (zh) * 2016-07-25 2019-07-12 厦门中控智慧信息技术有限公司 一种人脸检测方法及装置
CN108875648A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
CN109948498A (zh) * 2019-03-13 2019-06-28 中南大学 一种基于3d卷积神经网络算法的动态手势识别方法
CN111461170A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 车辆图像检测方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021175006A1 (zh) * 2020-03-04 2021-09-10 深圳壹账通智能科技有限公司 车辆图像检测方法、装置、计算机设备及存储介质
CN112216640A (zh) * 2020-10-19 2021-01-12 惠州高视科技有限公司 一种半导体芯片定位方法和装置
CN114648678A (zh) * 2022-03-29 2022-06-21 清华大学 对抗样本检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021175006A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111461170A (zh) 车辆图像检测方法、装置、计算机设备及存储介质
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
US11354797B2 (en) Method, device, and system for testing an image
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111444917A (zh) 车牌字符识别方法、装置、电子设备和存储介质
CN114037637B (zh) 一种图像数据增强方法、装置、计算机设备和存储介质
CN109492642B (zh) 车牌识别方法、装置、计算机设备及存储介质
WO2021051547A1 (zh) 暴力行为检测方法及系统
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN111191568A (zh) 翻拍图像识别方法、装置、设备及介质
CN110879982A (zh) 一种人群计数系统及方法
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112132812B (zh) 证件校验方法、装置、电子设备及介质
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、系统及介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN105678333B (zh) 一种拥挤区域的确定方法和装置
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN111291716B (zh) 精子细胞识别方法、装置、计算机设备和存储介质
CN111582057A (zh) 一种基于局部感受野的人脸验证方法
CN116091781A (zh) 一种用于图像识别的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination