CN108491827A - 一种车辆检测方法、装置及存储介质 - Google Patents

一种车辆检测方法、装置及存储介质 Download PDF

Info

Publication number
CN108491827A
CN108491827A CN201810336903.5A CN201810336903A CN108491827A CN 108491827 A CN108491827 A CN 108491827A CN 201810336903 A CN201810336903 A CN 201810336903A CN 108491827 A CN108491827 A CN 108491827A
Authority
CN
China
Prior art keywords
vehicle
preset
neural network
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810336903.5A
Other languages
English (en)
Other versions
CN108491827B (zh
Inventor
张睿欣
曾雨
郭晓威
孙星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810336903.5A priority Critical patent/CN108491827B/zh
Publication of CN108491827A publication Critical patent/CN108491827A/zh
Application granted granted Critical
Publication of CN108491827B publication Critical patent/CN108491827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种车辆检测方法、装置及存储介质,本发明实施例采集多张车辆样本图像;获取所述多张车辆样本图像中车辆的预设部位的位置信息;根据预设神经网络模型计算所述预设部位的位置预测值;根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型;根据所述训练后神经网络模型对待检测图像进行车辆检测。由于该方案可以通过建立模型来检测车辆,因此,相对于现有只能人眼或简单匹配的方案而言,可以提高对车辆进行检测效率和准确率。

Description

一种车辆检测方法、装置及存储介质
技术领域
本发明涉及通信技术领域,具体涉及一种车辆检测方法、装置及存储介质。
背景技术
随着经济的发展,车辆已成为人们日常生活中出行常用的交通工具,车辆数量也随之急剧增长。而随着车辆数量的大幅增长及社会安全意识的提高,监控摄像机已经覆盖道路和小区等各种场所,而监控所得的录像在安防方面往往起着重大作用。
在现有技术中,相关部门从这些监控录像中获得所需线索时,往往需要对海量录像数据进行人工搜索,例如,交通管理部门若需要查找某车牌号或某车系的车辆时,则需要观看各大街道和马路上的监控录像,并利用已有车辆的照片,通过人眼或者简单图像匹配的方式识别出该车辆所在的画面,从而可以对该车辆进行研判,等等。
在对现有技术的研究和实践过程中,本发明的发明人发现,随着监控录像的数据量越来越大,现有这种车辆检测方式效率过低,而且识别准确率也不高。
发明内容
本发明实施例提供一种车辆检测方法、装置及存储介质,旨在提高对车辆进行检测的效率及准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
一种车辆检测方法,包括:
采集多张车辆样本图像;
获取所述多张车辆样本图像中车辆的预设部位的位置信息;
根据预设神经网络模型计算所述预设部位的位置预测值;
根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型;
根据所述训练后神经网络模型对待检测图像进行车辆检测。
一种车辆检测装置,包括:采集单元,用于采集多张车辆样本图像;
获取单元,用于获取所述多张车辆样本图像中车辆的预设部位的位置信息;
计算单元,用于根据预设神经网络模型计算所述预设部位的位置预测值;
训练单元,用于根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型;
检测单元,用于根据所述训练后神经网络模型对待检测图像进行车辆检测。
一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种车辆检测方法中的步骤。
本发明实施例可以采集多张车辆样本图像,并获取该多张车辆样本图像中车辆的预设部位的位置信息,然后根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;此后,在需要进行车辆检测时,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如从海量图片中检测出某一车系的车辆,或者从海量图片中检测出某个车牌号的车辆,等等。由于该方案可以通过建立模型来检测车辆,因此,相对于现有只能人眼或简单匹配的方案而言,可以提高对车辆进行检测的效率和准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车辆检测方法的场景示意图;
图2是本发明实施例提供的车辆检测方法的流程示意图;
图3是本发明实施例提供的多张车辆样本图像分组的示意图;
图4是本发明实施例提供的对预设神经网络模型进行训练的示意图;
图5是本发明实施例提供的车辆检测方法的另一流程示意图;
图6是本发明实施例提供的车辆检测装置的结构示意图;
图7是本发明实施例提供的车辆检测装置的另一结构示意图;
图8是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种车辆检测方法、装置及存储介质。
请参阅图1,图1为本发明实施例所提供的车辆检测方法的场景示意图,其中,该车辆检测装置具体可以集成在网络设备如终端或服务器等设备中,例如,网络设备可以采集多张车辆样本图像,并获取该多张车辆样本图像中车辆的预设部位的位置信息,然后根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型。此后,在需要进行车辆检测时,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如,可以获取目标车辆的参照图像(例如由用户提供包含目标车辆的参照图像),以及至少一张待检测车辆的待检测图像(例如可以从监控设备中获取至少一张包含待检测车辆的待检测图像等),根据该训练后神经网络模型计算该参照图像中预设部位和待检测图像中预设部位的相似度,将相似度满足预设条件的待检测图像所对应的待检测车辆确定为该目标车辆,进而达到以图搜车的目的。或者是,可以根据训练后神经网络模型计算待检测车辆图像中车辆的目标预设部位的位置信息,以达到以快速定位车辆目标预设部位的目的;等等。
需要说明的是,图1所示的车辆检测方法的场景示意图仅仅是一个示例,本发明实施例描述的场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着车辆检测方法的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从车辆检测装置的角度进行描述,该车辆检测装置具体可以集成在网络设备如终端或服务器等设备中。
一种车辆检测方法,包括:采集多张车辆样本图像;获取多张车辆样本图像中车辆的预设部位的位置信息;根据预设神经网络模型计算预设部位的位置预测值;根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;根据训练后神经网络模型对待检测图像进行车辆检测。
请参阅图2,图2是本发明一实施例提供的车辆检测方法的流程示意图。该车辆检测方法可以包括:
在步骤S101中,采集多张车辆样本图像。
其中,该多张车辆样本图像可以包括多张不同车辆的图像,也可以包括同一车辆的不同图像,例如,在不同地点、不同时间或不同角度拍摄到同一车辆的图像,同一张车辆样本图像可以包括一个车辆或者多个车辆等;该车辆样本图像中可以包括车辆的整体图像,也可以仅包括车辆局部区域的图像等;该车辆样本图像中包括车辆的拍摄角度可以是正面、侧面或俯视等角度。
需说明的是,该多张车辆样本图像中包括车辆的拍摄角度、车辆的区域、车辆的类型、车辆的数量、及图像的数量等可以根据实际需要进行灵活设置,具体内容在此处不作限定。
多张车辆样本图像的采集方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的车辆的图像、以及拍摄同一车辆的多张图像等途径来采集多张车辆样本图像。方式二,可以通过在互联网上搜索或者从车辆图片数据库中来获取多张车辆样本图像等,当然,多张车辆样本图像的采集方式还可以时其他的采集方式,具体方式在此处不作限定。
在步骤S102中,获取多张车辆样本图像中车辆的预设部位的位置信息。
在得到多张车辆样本图像后,可以获取多张车辆样本图像中车辆的预设部位的位置信息,其中,预设部位可以包括车辆的车窗、车顶、车轮、车牌、车标、车灯及车镜等,该车灯可以包括远光灯、近光灯、前转向灯、前位灯、雾灯、后位灯、倒车灯、制动灯、及后转向灯等,车轮可以包括左前轮、右前轮、左后轮及右后轮等,该预设部位还可以包括车辆的其他部位。该位置信息可以是预设部位在车辆样本图像中的坐标位置,该坐标位置可以是预设部位的中点坐标,该坐标位置可以是笛卡尔坐标位置,或者是像素坐标位置等。可以理解的是,预设部位及位置信息可以根据实际需要进行灵活设置,具体内容在此处不作限定。
在某些实施方式中,获取多张车辆样本图像中车辆的预设部位的位置信息的步骤可以包括:
(1)将多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集;
(2)计算每组车辆样本图像对应的预设部位集的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
具体地,可以对多张车辆样本图像进行分组,得到多组车辆样本图像,其分组方式可以随机分组或根据车辆样本图像的采集方式进行分组等,其中,每组车辆样本图像可以包括多张不同车辆的图像,也可以包括同一车辆的不同图像等。然后,可以为每组车辆样本图像中车辆的分别设置不同预设部位集,其中,预设部位集中可以包括车辆的车窗、车顶、车轮、车牌、车标、车灯及车镜等中的一个或多个部位。不同预设部位集中可以存在相同的部位,例如,预设部位集A中可以包括车辆的车轮、车牌、车标及车镜等,预设部位集B中可以包括车辆的车窗、车轮、车牌、车标、车灯及车镜等,该预设部位集A和预设部位集B存在相同的部位为车轮、车牌、车标及车镜等。
例如,如图3所示,可以将多张车辆样本图像划分为A组车辆样本图像、B 组车辆样本图像、及C组车辆样本图像等,A组车辆样本图像中车辆的预设部位集可以包括部位A1至部位An,B组车辆样本图像中车辆的预设部位集可以包括部位B1至部位Bn,C组车辆样本图像中车辆的预设部位集可以包括部位C1 至部位Cn,其中,每组车辆样本图像对应的n的取值可以根据实际需要进行灵活设置,每组车辆样本图像对应的n取值可以一致,也可以不一致,部位A1至部位An、部位B1至部位Bn、及部位C1至部位Cn中可以存在相同的部位。例如, A组车辆样本图像对应的部位集A中可以包括10个部位,B组车辆样本图像对应的部位集B中可以包括20个部位,B组车辆样本图像对应的部位集B中可以包括 30个部位。
可选地,计算每组车辆样本图像对应的预设部位集的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息的步骤可以包括:
接收标注指令,根据标注指令在每组车辆样本图像中每张车辆样本图像上设置标注信息;根据标注信息计算预设部位集在每张车辆样本图像上的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
具体地,可以接收用户输入的标注指令,该标注指令可以用于指示在预设部位所在的位置设置标注信息,该标注信息可以是点、圆圈或多边形等。基于该标注指令在一张车辆样本图像上设置一个或多个标注信息,例如,在车辆样本图像中车辆的车灯所在位置设置标注信息。然后可以根据每个标注信息确定每个预设部位在车辆样本图像中的位置,进而根据每个预设部位在车辆样本图像中的位置计算每个预设部位在该张车辆样本图像上的位置信息,以此类推,可以基于该标注指令在另一张车辆样本图像上设置一个或多个标注信息,然后可以根据每个标注信息计算每个预设部位在另一张车辆样本图像上的位置信息,直至多张车辆样本图像中的车辆样本图像均计算完毕,得到多张车辆样本图像中车辆的预设部位的位置信息。
由于在获取多张车辆样本图像中车辆的预设部位的位置信息的过程中,每张车辆样本图像中车辆的预设部位的数量及类型等可以不同,因此可以增加用于训练预设神经网络模型的预设部位的位置信息等数据的多样性。
在步骤S103中,根据预设神经网络模型计算预设部位的位置预测值。
其中,预设神经网络模型可以根据实际应用的需求进行设定,例如,该预设神经网络模型可以是卷积神经网络(Convolutional Neural Network,CNN) 或深度神经网络(Deep Neural Network,DNN)等,为了描述方便,在本发明实施例中,将均以卷积神经网络为例进行说明。
该卷积神经网络结构可以包括四个卷积层(Convolution)和一个全连接层(FullyConnected Layers,FC),具体可以如下:
卷积层:主要用于对输入的图像(例如,车辆样本图像或需要检测的车辆图像等)进行特征提取(即将原始数据映射到隐层特征空间,例如对车辆的预设部位进行提取),其中,卷积核大小可以根据实际应用而定,比如,从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7,7),(5,5),(3,3),(3, 3);可选的,为了降低计算的复杂度,提高计算效率,这四层卷积层的卷积核大小也可以都设置为(3,3);可选的,为了提高模型的表达能力,还可以通过加入激活函数来加入非线性因素,在本发明实施例中,该激活函数均为“relu(线性整流函数,Rectified Linear Unit)”,而填充(padding,指属性定义元素边框与元素内容之间的空间)方式均为“same”,“same”填充方式可以简单理解为以0填充边缘,左边(上边)补0的个数和右边(下边)补0的个数一样或少一个;可选的,为了进一步减少计算量,还可以在第二至第四层卷积层中的所有层或任意1~2层进行下采样(pooling)操作,该下采样操作与卷积的操作基本相同,只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(average pooling)等,为了描述方便,在本发明实施例中,将均以在第二层卷积层和第三次卷积层中进行下采样操作,且该下采样操作具体为 maxpooling为例进行说明。
需说明的是,为了描述方便,在本发明实施例中,将激活函数所在层和下采样层(也称为池化层)均归入卷积层中,应当理解的是,也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层,当然,还可包括用于输入数据的输入层和用于输出数据的输出层,在此不作赘述。
全连接层:可以将学到的“分布式特征表示”映射到样本标记空间,其在整个卷积神经网络中主要起到“分类器”的作用,全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连,其中,全连接层的一个结点即称为全连接层中的一个神经元,全连接层中神经元的数量可以根据实际应用的需求而定,比如,在该卷积神经网络模型中,全连接层的神经元数量可以均设置为512个,或者,也可以均设置为128个,等等。与卷积层类似,可选的,在全连接层中,也可以通过加入激活函数来加入非线性因素,比如,可以加入激活函数sigmoid(S型函数)。该卷积神经网络可以输出多个向量,且向量的数量与神经元的数量一致,比如,若全连接层的神经元数量均设置为512个,则可以输出512个向量;又比如,若全连接层的神经元数量均设置为128个,则可以输出128个向量,等等。
基于上述卷积神经网络模型的结构,可以计算每张车辆样本图像中预设部位的位置预测值,该位置预测值可以是预设部位的预测位置信息。在某些实施方式中,根据预设神经网络模型计算预设部位的位置预测值的步骤可以包括:
S1、从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像;
S2、从当前车辆样本图像中查找预设部位;
S3、若在当前车辆样本图像中查找到预设部位,则根据预设神经网络模型计算当前车辆样本图像中预设部位的位置预测值;
S4、返回执行从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的步骤,直至多张车辆样本图像中的车辆样本图像均计算完毕。
具体地,当前车辆样本图像即为一张车辆样本图像,可以从当前车辆样本图像中查找预设部位,例如,从当前车辆样本图像中查找等车辆的车轮、车牌、车标、车灯及车镜等,若在当前车辆样本图像中查找不到某个预设部位,则不需要计算该预设部位的位置预测值;若在当前车辆样本图像中查找到预设部位,则可以根据预设神经网络模型计算当前车辆样本图像中预设部位的位置预测值。然后返回执行从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的步骤,直至多张车辆样本图像中的车辆样本图像均计算完毕。
在步骤S104中,根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型。
在得到每张车辆样本图像中预设部位的位置信息及位置预测值后,可以根据位置信息及位置预测值对预设神经网络模型进行训练。
在某些实施方式中,根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型的步骤可以包括:采用预设损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
其中,该预设损失函数可以根据实际应用需求进行灵活设置,例如,预设损失函数可以选为交叉熵等,通过降低位置信息及位置预测值之间的误差,对预设神经网络模型进行不断训练,以调整预设神经网络模型的参数或权重等至合适数值,便可得到训练后神经网络模型。
例如,如图4所示,可以将车辆样本图像及预设部位的位置信息(例如,当预设部位的个数为N时,输入的位置信息(x,y)可以是N×2个浮点数)输入预设神经网络模型,以使得预设神经网络模型计算车辆样本图像中车辆预设部位的位置预测值(例如,预设神经网络模型可以输出N×4个浮点数,其中, 2×N个数表示回归的N个预设部位的位置预测值,另外2×N个数表示这N个预设部位的可见、不可见或未定义等状态信息),并根据位置信息及位置预测值之间的误差调整预设神经网络模型的参数或权重至合适数值,得到训练后神经网络模型。
在某些实施方式中,预设损失函数包括第一损失函数和第二损失函数,采用预设损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型的步骤可以包括:
(1)获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,并根据预设部位的状态信息构造第一损失函数;
(2)根据预设部位的位置信息及位置预测值构造第二损失函数;
(3)根据第一损失函数和第二损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
具体地,可以获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,该状态信息可以包括可见、不可见或未定义等状态信息,其中,可见表示可以在车辆样本图像查找到,不可见表示在车辆样本图像查找不到,未定义表示某个部位不是需要查找的预设部位。然后,可以根据预设部位的状态信息构造第一损失函数,其中,第一损失函数可以包括如下公式(1)和公式(2):
cls_loss=-log(ai)(2)
其中,i表示第i张车辆样本图像,j表示一张车辆样本图像中的预设部位的个数,z表示符号,cls_loss表示第一损失函数,n的取值可以根据实际需要进行灵活设置。
以及,可以根据预设部位的位置信息及位置预测值构造第二损失函数,该第二损失函数可以如下公式(3):
其中,表示预设部位中第i个部位的位置信息,表示预设部位中第i个部位的位置预测值,reg_loss表示第二损失函数,N的取值可以根据实际需要进行灵活设置。
在得到第一损失函数和第二损失函数后,可以根据第一损失函数和第二损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
在步骤S105中,根据训练后神经网络模型对待检测图像进行车辆检测。
在得到训练后神经网络模型后,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如,可以对待检测车辆图像中车辆的预设部位进行检测,从而可以帮助交通管理部门或者感兴趣用户快速检测出车辆的预设部位,增加对车辆进行追踪、车牌识别、车辆违章管理或车系识别等的可靠性。
在某些实施方式中,根据训练后神经网络模型对待检测图像进行车辆检测的步骤可以包括:获取待检测车辆图像;根据训练后神经网络模型计算待检测车辆图像中车辆的目标预设部位的状态信息及位置信息。
具体地,可以基于获取待检测车辆图像,该待检测车辆图像可以是包括车辆的局部区域或全部区域的图像,例如,可以通过对车辆进行拍摄,或从其他图库进行提取等途径来获取该待检测车辆图像,或从监控录像中截取包括车辆的图像等途径来获取待检测车辆图像。然后可以根据训练后神经网络模型计算待检测车辆图像中车辆的目标预设部位的状态信息及位置信息,该目标预设部位可以包括车窗、车顶、车轮、车牌、车标、车灯及车镜等,例如,可以定位车牌以进行精准识别等;该状态信息可以包括存在于图像中(即可见)、不存在于图像中(即不可见)及不需要计算部位(即未定义)的等状态,该位置信息可以是目标预设部位在待检测车辆图像中的坐标位置。
在某些实施方式中,根据训练后神经网络模型对待检测图像进行车辆检测的步骤可以包括:
(1)获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像;
(2)根据训练后神经网络模型计算参照图像中预设部位和待检测图像中预设部位的相似度;
(3)将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
其中,该目标车辆主要指已确认车主身份的车辆,例如车牌显示正常的车辆,该待检测车辆主要指需要与该目标车辆进行比对的车辆,例如,可以是未确认车主身份的车辆,或者是无车牌或车牌显示不正常的车辆等。标车辆的参照图像指的是目标车辆的局部区域或全部区域的图像,而待检测车辆的待检测图像指的是待检测车辆的局部区域域或全部区域的图像。
具体地,可以通过对目标车辆进行拍摄或从其他图库进行提取等途径来获取该目标车辆的参照图像。同理,可以直接通过对待检测车辆进行拍摄,或从监控录像中截取多张待检测车辆的图像等途径来获取待检测图像。然后,可以基于训练后神经网络模型计算参照图像中预设部位在目标车辆上的第一位置信息,以及基于训练后神经网络模型计算待检测图像中预设部位在待检测车辆上的第二位置信息,根据第一位置信息和第二位置信息可以确定目标车辆与待检测车辆之间的相似度,并将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
其中,该预设条件可以根据实际应用的需求进行设置,例如,可以直接将相似度大于指定值(可以根据实际应用的需求而定)的待检测图像所对应的待检测车辆确定为该目标车辆;或者,也可以结合目标车辆和待检测车辆全局比较后的结果,综合考虑后来确定目标车辆等,从而可以快速且准确查找出目标车辆。
由上可知,本发明实施例可以采集多张车辆样本图像,并获取该多张车辆样本图像中车辆的预设部位的位置信息,然后根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;此后,在需要进行车辆检测时,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如从海量图片中检测出某一车系的车辆,或者从海量图片中检测出某个车牌号的车辆,等等。由于该方案可以通过建立模型来检测车辆,因此,相对于现有只能人眼或简单匹配的方案而言,可以提高对车辆进行检测的效率和准确率。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中将以该车辆识别装置具体集成在网络设备中为例进行说明。
请参阅图5,图5为本发明实施例提供的车辆检测方法的流程示意图。该方法流程可以包括:
201、网络设备采集多张车辆样本图像,将多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集。
首先,网络设备需进行模型训练,即对预设神经网络模型进行训练,例如,网络设备可以通过手机、照相机或摄像头等拍摄,或在互联网上搜索或者从车辆图片数据库中获取等多个途径采集大量的车辆样本图像,该多张车辆样本图像可以包括多张不同车辆的图像,也包括同一车辆的不同图像,例如,在不同地点、不同时间或不同角度拍摄到同一车辆的图像,该车辆样本图像可以是车辆的整体图像,也可以是车辆局部区域的图像。
然后,可以将多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集,例如,可以随机分组、根据车辆信息或根据车辆样本图像的采集方式进行分组等,其中,预设部位集中可以包括车辆的远光灯、近光灯、前转向灯、前位灯、雾灯、后位灯、倒车灯、制动灯、及后转向灯、左车窗、右车窗、车顶、左前轮、右前轮、左后轮、右后轮、车牌、车标、车灯、左车镜及右车镜等中的一个或多个部位。
例如,可以将多张车辆样本图像划分为A组车辆样本图像、B组车辆样本图像、C组车辆样本图像、D组车辆样本图像、及E组车辆样本图像等,A组车辆样本图像中车辆的预设部位集可以包括10个部位,B组车辆样本图像中车辆的预设部位集可以包括20个部位,C组车辆样本图像中车辆的预设部位集可以包括30个部位,D组车辆样本图像中车辆的预设部位集可以包括10个部位40,E组车辆样本图像中车辆的预设部位集可以包括50个部位等,其中,每组车辆样本图像对应的预设部位集可以存在相同的部位。
202、网络设备计算每组车辆样本图像对应的预设部位集的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
网络设备可以计算每组车辆样本图像对应的预设部位集的位置信息,该位置信息可以是预设部位的中心在车辆样本图像中的坐标位置,该坐标位置可以是笛卡尔坐标位置,或者是像素坐标位置等。例如,可以根据接收到的用户输入的标注指令在每组车辆样本图像中每张车辆样本图像上设置标注信息,并根据标注信息计算预设部位集在每张车辆样本图像上的位置信息。在多张车辆样本图像中的车辆样本图像均计算完毕后,可以得到多张车辆样本图像中车辆的预设部位的位置信息。
203、网络设备根据预设神经网络模型计算预设部位的位置预测值。
其次,网络设备可以根据多张车辆样本图像,及多张车辆样本图像中车辆的预设部位的位置信息对预设神经网络模型进行训练。
网络设备可以根据预设神经网络模型计算预设部位的位置预测值,例如,该预设神经网络模型可以是卷积神经网络,该卷积神经网络可以包括四个卷积层和一个全连接层等,该卷积神经网络的结构与上述提及的卷积神经网络的结构类似,在此不作赘述。
具体地,网络设备可以从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像,并从当前车辆样本图像中查找预设部位,若在当前车辆样本图像中查找到预设部位,则根据预设神经网络模型计算当前车辆样本图像中预设部位的位置预测值,然后返回执行从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的步骤,直至多张车辆样本图像中的车辆样本图像均计算完毕。
204、网络设备获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,并根据预设部位的状态信息构造第一损失函数,以及根据预设部位的位置信息及位置预测值构造第二损失函数。
网络设备可以获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,,该状态信息可以包括可见、不可见或未定义等状态信息,其中,可见表示可以在车辆样本图像查找到,不可见表示在车辆样本图像查找不到,未定义表示某个部位不是需要查找的预设部位。
然后,网络设备可以根据预设部位的状态信息构造第一损失函数,该第一损失函数可以如上述公式(1)和公式(2)所示;以及,可以根据预设部位的位置信息及位置预测值构造第二损失函数,该第二损失函数可以如上述公式 (3)所示。
205、网络设备根据第一损失函数和第二损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
例如,网络设备可以将车辆样本图像上预设部位的状态信息中的可见状态设置为1,将不可见状态设置为-1,将未定义状态设置为-2,可以有效的将不同车辆样本图像中设置的不同预设部位一起对预设神经网络模型进行训练,例如,如下表所示:
预设部位 车标 车顶 车牌 左前轮 ......
状态信息 1 -2 1 -1 ......
在处理未定义状态-2时,可以将该预设部位对应的第二损失函数的损失设置为0,不进行回传,从而可以在训练的过程中有效的进行第二损失函数的反向传播与预设神经网络模型中参数的迭代更新。
预设神经网络模型中卷积层在训练过程中可以使用随机梯度下降的方式,例如,可以设置基础学习率为1e-2且每迭代5000次进行0.9倍的下降,其最大迭代次数为100000次,训练的批量处理batch大小可以设置为32等,当然,训练过程中迭代方式可以根据实际需要进行灵活设置,具体取值在此处不作限定。
对预设神经网络模型进行训练的过程,其训练参数的取值可以如下表所示:
其中,conv表示卷积层,pool表示池化层,fc表示全连接层(full-connect), conv包括conv0、conv1_1、conv1_2、conv2_1、conv2_2、conv3_1及conv3_2 等,pool包括pool0、pool1及pool2等,fc包括fc_1_reg、fc_1_cls、fc_2_reg、 fc_2_cls、fc_3_reg*及fc_3_cls*等;channel表示通道(即神经元数量),ks表示卷积核大小(kernal size),stride表示卷积操作的步长,reg表示关于位置信息的回归损失,cls表示关于状态信息回归损失,除星号标记的conv和fc层都默认紧接非线性激活层,最后可以对预设神经网络模型的loss_reg和loss_cls这两个参数进行梯度回传,以对预设神经网络模型进行训练,得到训练后神经网络模型。
206、网络设备获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像。
最后,可以基于训练后神经网络模型对车辆进行检测,其中,该目标车辆主要指已确认车主身份的车辆,例如车牌显示正常的车辆,该待检测车辆主要指需要与该目标车辆进行比对的车辆,例如,可以是未确认车主身份的车辆,或者是无车牌或车牌显示不正常的车辆等。标车辆的参照图像指的是包括目标车辆的局部区域或全部区域的图像,而待检测车辆的待检测图像指的是包括待检测车辆的局部区域域或全部区域的图像。
网络设备可以通过对目标车辆进行拍摄或从其他图库进行提取等途径来获取该目标车辆的参照图像。同理,可以直接通过对待检测车辆进行拍摄,或从监控录像中截取多张待检测车辆的图像等途径来获取待检测图像。
207、网络设备根据训练后神经网络模型计算参照图像中预设部位和待检测图像中预设部位的相似度。
例如,网络设备可以基于训练后神经网络模型计算参照图像中预设部位在目标车辆上的第一位置信息,以及基于训练后神经网络模型计算待检测图像中预设部位在待检测车辆上的第二位置信息,根据第一位置信息和第二位置信息可以确定目标车辆与待检测车辆之间的相似度。
208、网络设备将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
网络设备可以将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。其中,该预设条件可以根据实际应用的需求进行设置,例如,可以直接将相似度大于指定值(可以根据实际应用的需求而定)的待检测图像所对应的待检测车辆确定为该目标车辆;或者,也可以结合目标车辆和待检测车辆全局比较后的结果,综合考虑后来确定目标车辆等,从而可以快速且准确查找出目标车辆。
本发明实施例可以获取采集到的多张车辆样本图像中车辆的预设部位的位置信息,然后根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;此后,在需要进行车辆检测时,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如或者从海量图片中检测出某个车牌号的车辆,等等;从而可以通过建立模型来检测车辆,可以实现以图搜车的目的,减少人工成本,可以提高对车辆进行检测的效率和准确率,可以有效的辅助如车系识别、车牌识别、车辆违章管理等任务的完成。
为便于更好的实施本发明实施例提供的车辆检测方法,本发明实施例还提供一种基于上述车辆检测方法的装置。其中名词的含义与上述车辆检测方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图6,图6为本发明实施例提供的车辆检测装置的结构示意图,其中该车辆检测装置可以包括采集单元301、获取单元302、计算单元303、训练单元304及检测单元305等。
其中,采集单元301,用于采集多张车辆样本图像。
该多张车辆样本图像可以包括多张不同车辆的图像,也可以包括同一车辆的不同图像,例如,在不同地点、不同时间或不同角度拍摄到同一车辆的图像,同一张车辆样本图像可以包括一个车辆或者多个车辆等;该车辆样本图像中可以包括车辆的整体图像,也可以仅包括车辆局部区域的图像等;该车辆样本图像中包括车辆的拍摄角度可以是正面、侧面或俯视等角度。
需说明的是,该多张车辆样本图像中包括车辆的拍摄角度、车辆的区域、车辆的类型、车辆的数量、及图像的数量等可以根据实际需要进行灵活设置,具体内容在此处不作限定。
采集单元301采集多张车辆样本图像的采集方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的车辆的图像、以及拍摄同一车辆的多张图像等途径来采集多张车辆样本图像。方式二,可以通过在互联网上搜索或者从车辆图片数据库中来获取多张车辆样本图像等,当然,多张车辆样本图像的采集方式还可以时其他的采集方式,具体方式在此处不作限定。
获取单元302,用于获取多张车辆样本图像中车辆的预设部位的位置信息。
在得到多张车辆样本图像后,获取单元302可以获取多张车辆样本图像中车辆的预设部位的位置信息,其中,预设部位可以包括车辆的车窗、车顶、车轮、车牌、车标、车灯及车镜等,该车灯可以包括远光灯、近光灯、前转向灯、前位灯、雾灯、后位灯、倒车灯、制动灯、及后转向灯等,车轮可以包括左前轮、右前轮、左后轮及右后轮等,该预设部位还可以包括车辆的其他部位。该位置信息可以是预设部位在车辆样本图像中的坐标位置,该坐标位置可以是预设部位的中点坐标,该坐标位置可以是笛卡尔坐标位置,或者是像素坐标位置等。可以理解的是,预设部位及位置信息可以根据实际需要进行灵活设置,具体内容在此处不作限定。
在某些实施方式中,如图7所示,获取单元302可以包括设置子单元3021 及计算子单元3022等,具体可以如下:
设置子单元3021,用于将多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集;
计算子单元3022,用于计算每组车辆样本图像对应的预设部位集的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
具体地,设置子单元3021可以对多张车辆样本图像进行分组,得到多组车辆样本图像,其分组方式可以随机分组或根据车辆样本图像的采集方式进行分组等,其中,每组车辆样本图像可以包括多张不同车辆的图像,也可以包括同一车辆的不同图像等。然后,设置子单元3021可以为每组车辆样本图像中车辆的分别设置不同预设部位集,其中,预设部位集中可以包括车辆的车窗、车顶、车轮、车牌、车标、车灯及车镜等中的一个或多个部位。不同预设部位集中可以存在相同的部位,例如,预设部位集A中可以包括车辆的车轮、车牌、车标及车镜等,预设部位集B中可以包括车辆的车窗、车轮、车牌、车标、车灯及车镜等,该预设部位集A和预设部位集B存在相同的部位为车轮、车牌、车标及车镜等。
例如,如图3所示,可以将多张车辆样本图像划分为A组车辆样本图像、B 组车辆样本图像、及C组车辆样本图像等,A组车辆样本图像中车辆的预设部位集可以包括部位A1至部位An,B组车辆样本图像中车辆的预设部位集可以包括部位B1至部位Bn,C组车辆样本图像中车辆的预设部位集可以包括部位C1 至部位Cn,其中,每组车辆样本图像对应的n的取值可以根据实际需要进行灵活设置,每组车辆样本图像对应的n取值可以一致,也可以不一致,部位A1至部位An、部位B1至部位Bn、及部位C1至部位Cn中可以存在相同的部位。例如, A组车辆样本图像对应的部位集A中可以包括10个部位,B组车辆样本图像对应的部位集B中可以包括20个部位,B组车辆样本图像对应的部位集B中可以包括 30个部位。
可选地,计算子单元3022具体可以用于:接收标注指令,根据标注指令在每组车辆样本图像中每张车辆样本图像上设置标注信息;根据标注信息计算预设部位集在每张车辆样本图像上的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
具体地,计算子单元3022可以接收用户输入的标注指令,该标注指令可以用于指示在预设部位所在的位置设置标注信息,该标注信息可以是点、圆圈或多边形等。基于该标注指令在一张车辆样本图像上设置一个或多个标注信息,例如,在车辆样本图像中车辆的车灯所在位置设置标注信息。然后计算子单元 3022可以根据每个标注信息确定每个预设部位在车辆样本图像中的位置,进而根据每个预设部位在车辆样本图像中的位置计算每个预设部位在该张车辆样本图像上的位置信息,以此类推,计算子单元3022可以基于该标注指令在另一张车辆样本图像上设置一个或多个标注信息,然后可以根据每个标注信息计算每个预设部位在另一张车辆样本图像上的位置信息,直至多张车辆样本图像中的车辆样本图像均计算完毕,得到多张车辆样本图像中车辆的预设部位的位置信息。
由于在获取多张车辆样本图像中车辆的预设部位的位置信息的过程中,每张车辆样本图像中车辆的预设部位的数量及类型等可以不同,因此可以增加用于训练预设神经网络模型的预设部位的位置信息等数据的多样性。
计算单元303,用于根据预设神经网络模型计算预设部位的位置预测值。
其中,预设神经网络模型可以根据实际应用的需求进行设定,例如,该预设神经网络模型可以是卷积神经网络或深度神经网络等,为了描述方便,在本发明实施例中,将均以卷积神经网络为例进行说明。
该卷积神经网络可以包括四个卷积层和一个全连接层,该卷积神经网络的结构具体可参见前面的方法实施例,在此不再赘述。基于上述卷积神经网络模型的结构,计算单元303可以计算每张车辆样本图像中预设部位的位置预测值,该位置预测值可以是预设部位的预测位置信息。
在某些实施方式中,计算单元303具体可以用于:从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像;
从当前车辆样本图像中查找预设部位;
若在当前车辆样本图像中查找到预设部位,则根据预设神经网络模型计算当前车辆样本图像中预设部位的位置预测值;
返回执行从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的操作,直至多张车辆样本图像中的车辆样本图像均计算完毕。
具体地,当前车辆样本图像即为一张车辆样本图像,计算单元303可以从当前车辆样本图像中查找预设部位,例如,从当前车辆样本图像中查找等车辆的车轮、车牌、车标、车灯及车镜等,若在当前车辆样本图像中查找不到某个预设部位,则不需要计算该预设部位的位置预测值;若在当前车辆样本图像中查找到预设部位,则可以根据预设神经网络模型计算当前车辆样本图像中预设部位的位置预测值。然后返回执行从多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的操作,直至多张车辆样本图像中的车辆样本图像均计算完毕。
训练单元304,用于根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型。
在得到每张车辆样本图像中预设部位的位置信息及位置预测值后,训练单元304可以根据位置信息及位置预测值对预设神经网络模型进行训练。
在某些实施方式中,训练单元304可以包括:训练子单元,用于采用预设损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
其中,该预设损失函数可以根据实际应用需求进行灵活设置,例如,预设损失函数可以选为交叉熵等,训练单元304可以通过降低位置信息及位置预测值之间的误差,对预设神经网络模型进行不断训练,以调整预设神经网络模型的参数或权重等至合适数值,便可得到训练后神经网络模型。
例如,如图4所示,可以将车辆样本图像及预设部位的位置信息(例如,当预设部位的个数为N时,输入的位置信息(x,y)可以是N×2个浮点数)输入预设神经网络模型,以使得预设神经网络模型计算车辆样本图像中车辆预设部位的位置预测值(例如,预设神经网络模型可以输出N×4个浮点数,其中, 2×N个数表示回归的N个预设部位的位置预测值,另外2×N个数表示这N个预设部位的可见、不可见或未定义等状态信息),并根据位置信息及位置预测值之间的误差调整预设神经网络模型的参数或权重至合适数值,得到训练后神经网络模型。
在某些实施方式中,预设损失函数包括第一损失函数和第二损失函数,训练子单元具体可以用于:
获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,并根据预设部位的状态信息构造第一损失函数;
根据预设部位的位置信息及位置预测值构造第二损失函数;
根据第一损失函数和第二损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
具体地,可以获取多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,该状态信息可以包括可见、不可见或未定义等状态信息,其中,可见表示可以在车辆样本图像查找到,不可见表示在车辆样本图像查找不到,未定义表示某个部位不是需要查找的预设部位。然后,可以根据预设部位的状态信息构造第一损失函数,其中,第一损失函数具体可以参见前面的方法实施例中的公式(1)和公式(2),在此不再赘述。以及,可以根据预设部位的位置信息及位置预测值构造第二损失函数,该第二损失函数具体可以参见前面的方法实施例中的公式(3),在此不再赘述。
在得到第一损失函数和第二损失函数后,可以根据第一损失函数和第二损失函数对位置信息及位置预测值进行收敛,以对预设神经网络模型进行训练,得到训练后神经网络模型。
检测单元305,用于根据训练后神经网络模型对待检测图像进行车辆检测。
在得到训练后神经网络模型后,检测单元305可以根据训练后神经网络模型对待检测图像进行车辆检测,例如,可以对待检测车辆图像中车辆的预设部位进行检测,从而可以帮助交通管理部门或者感兴趣用户快速检测出车辆的预设部位,增加对车辆进行追踪、车牌识别、车辆违章管理或车系识别等的可靠性。
在某些实施方式中,检测单元305具体可以用于:获取待检测车辆图像;根据训练后神经网络模型计算待检测车辆图像中车辆的目标预设部位的状态信息及位置信息。
具体地,检测单元305可以基于获取待检测车辆图像,该待检测车辆图像可以是包括车辆的局部区域或全部区域的图像,例如,可以通过对车辆进行拍摄,或从其他图库进行提取等途径来获取该待检测车辆图像,或从监控录像中截取包括车辆的图像等途径来获取待检测车辆图像。然后检测单元305可以根据训练后神经网络模型计算待检测车辆图像中车辆的目标预设部位的状态信息及位置信息,该目标预设部位可以包括车窗、车顶、车轮、车牌、车标、车灯及车镜等,例如,可以定位车牌以进行精准识别等;该状态信息可以包括存在于图像中(即可见)、不存在于图像中(即不可见)及不需要计算部位(即未定义)的等状态,该位置信息可以是目标预设部位在待检测车辆图像中的坐标位置。
在某些实施方式中,检测单元305具体可以用于:
获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像;
根据训练后神经网络模型计算参照图像中预设部位和待检测图像中预设部位的相似度;
将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
其中,该目标车辆主要指已确认车主身份的车辆,例如车牌显示正常的车辆,该待检测车辆主要指需要与该目标车辆进行比对的车辆,例如,可以是未确认车主身份的车辆,或者是无车牌或车牌显示不正常的车辆等。标车辆的参照图像指的是目标车辆的局部区域或全部区域的图像,而待检测车辆的待检测图像指的是待检测车辆的局部区域域或全部区域的图像。
具体地,检测单元305可以通过对目标车辆进行拍摄或从其他图库进行提取等途径来获取该目标车辆的参照图像。同理,检测单元305可以直接通过对待检测车辆进行拍摄,或从监控录像中截取多张待检测车辆的图像等途径来获取待检测图像。然后,检测单元305可以基于训练后神经网络模型计算参照图像中预设部位在目标车辆上的第一位置信息,以及基于训练后神经网络模型计算待检测图像中预设部位在待检测车辆上的第二位置信息,根据第一位置信息和第二位置信息可以确定目标车辆与待检测车辆之间的相似度,并将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
其中,该预设条件可以根据实际应用的需求进行设置,例如,可以直接将相似度大于指定值(可以根据实际应用的需求而定)的待检测图像所对应的待检测车辆确定为该目标车辆;或者,也可以结合目标车辆和待检测车辆全局比较后的结果,综合考虑后来确定目标车辆等,从而可以快速且准确查找出目标车辆。
由上可知,本发明实施例采集单元301可以采集多张车辆样本图像,并由获取单元302获取该多张车辆样本图像中车辆的预设部位的位置信息,然后计算单元303根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并由训练单元304根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;此后,在需要进行车辆检测时,检测单元305 可以根据训练后神经网络模型对待检测图像进行车辆检测,例如从海量图片中检测出某一车系的车辆,或者从海量图片中检测出某个车牌号的车辆,等等。由于该方案可以通过建立模型来检测车辆,因此,相对于现有只能人眼或简单匹配的方案而言,可以提高对车辆进行检测的效率和准确率。
本发明实施例还提供一种网络设备,该网络设备可以为服务器或终端等设备。如图8所示,其示出了本发明实施例所涉及的网络设备的结构示意图,具体来讲:
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图8中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
采集多张车辆样本图像;获取多张车辆样本图像中车辆的预设部位的位置信息;根据预设神经网络模型计算预设部位的位置预测值;根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;根据训练后神经网络模型对待检测图像进行车辆检测。
可选地,获取多张车辆样本图像中车辆的预设部位的位置信息的步骤可以包括:将多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集;计算每组车辆样本图像对应的预设部位集的位置信息,得到多张车辆样本图像中车辆的预设部位的位置信息。
可选地,根据训练后神经网络模型对待检测图像进行车辆检测的步骤可以包括:获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像;根据训练后神经网络模型计算参照图像中预设部位和待检测图像中预设部位的相似度;将相似度满足预设条件的待检测图像所对应的待检测车辆确定为目标车辆。
由上可知,本发明实施例可以采集多张车辆样本图像,并获取该多张车辆样本图像中车辆的预设部位的位置信息,然后根据预设神经网络模型计算多张车辆样本图像中预设部位的位置预测值,并根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;此后,在需要进行车辆检测时,可以根据训练后神经网络模型对待检测图像进行车辆检测,例如从海量图片中检测出某一车系的车辆,或者从海量图片中检测出某个车牌号的车辆,等等。由于该方案可以通过建立模型来检测车辆,因此,相对于现有只能人眼或简单匹配的方案而言,可以提高对车辆进行检测的效率和准确率。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对车辆检测方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种车辆检测方法中的步骤。例如,该指令可以执行如下步骤:
采集多张车辆样本图像;获取多张车辆样本图像中车辆的预设部位的位置信息;根据预设神经网络模型计算预设部位的位置预测值;根据位置信息及位置预测值对预设神经网络模型进行训练,得到训练后神经网络模型;根据训练后神经网络模型对待检测图像进行车辆检测。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种车辆检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种车辆检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种车辆检测方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种车辆检测方法,其特征在于,包括:
采集多张车辆样本图像;
获取所述多张车辆样本图像中车辆的预设部位的位置信息;
根据预设神经网络模型计算所述预设部位的位置预测值;
根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型;
根据所述训练后神经网络模型对待检测图像进行车辆检测。
2.根据权利要求1所述的车辆检测方法,其特征在于,所述获取所述多张车辆样本图像中车辆的预设部位的位置信息的步骤包括:
将所述多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集;
计算每组车辆样本图像对应的预设部位集的位置信息,得到所述多张车辆样本图像中车辆的预设部位的位置信息。
3.根据权利要求2所述的车辆检测方法,其特征在于,所述计算每组车辆样本图像对应的预设部位集的位置信息,得到所述多张车辆样本图像中车辆的预设部位的位置信息的步骤包括:
接收标注指令,根据所述标注指令在所述每组车辆样本图像中每张车辆样本图像上设置标注信息;
根据所述标注信息计算预设部位集在所述每张车辆样本图像上的位置信息,得到所述多张车辆样本图像中车辆的预设部位的位置信息。
4.根据权利要求1所述的车辆检测方法,其特征在于,所述根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型的步骤包括:
采用预设损失函数对所述位置信息及所述位置预测值进行收敛,以对所述预设神经网络模型进行训练,得到训练后神经网络模型。
5.根据权利要求4所述的车辆检测方法,其特征在于,所述预设损失函数包括第一损失函数和第二损失函数,所述采用预设损失函数对所述位置信息及所述位置预测值进行收敛,以对所述预设神经网络模型进行训练,得到训练后神经网络模型的步骤包括:
获取所述多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,并根据所述预设部位的状态信息构造第一损失函数;
根据所述预设部位的位置信息及位置预测值构造第二损失函数;
根据所述第一损失函数和第二损失函数对所述位置信息及所述位置预测值进行收敛,以对所述预设神经网络模型进行训练,得到训练后神经网络模型。
6.根据权利要求1至5任一项所述的车辆检测方法,其特征在于,所述根据预设神经网络模型计算所述预设部位的位置预测值的步骤包括:
从所述多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像;
从所述当前车辆样本图像中查找所述预设部位;
若在所述当前车辆样本图像中查找到所述预设部位,则根据预设神经网络模型计算所述当前车辆样本图像中所述预设部位的位置预测值;
返回执行从所述多张车辆样本图像中选择一张车辆样本图像,作为当前车辆样本图像的步骤,直至所述多张车辆样本图像中的车辆样本图像均计算完毕。
7.根据权利要求1至5任一项所述的车辆检测方法,其特征在于,所述根据所述训练后神经网络模型对待检测图像进行车辆检测的步骤包括:
获取待检测车辆图像;
根据所述训练后神经网络模型计算所述待检测车辆图像中车辆的目标预设部位的状态信息及位置信息。
8.根据权利要求1至5任一项所述的车辆检测方法,其特征在于,所述根据所述训练后神经网络模型对待检测图像进行车辆检测的步骤包括:
获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像;
根据所述训练后神经网络模型计算所述参照图像中预设部位和待检测图像中预设部位的相似度;
将所述相似度满足预设条件的待检测图像所对应的待检测车辆确定为所述目标车辆。
9.一种车辆检测装置,其特征在于,包括:
采集单元,用于采集多张车辆样本图像;
获取单元,用于获取所述多张车辆样本图像中车辆的预设部位的位置信息;
计算单元,用于根据预设神经网络模型计算所述预设部位的位置预测值;
训练单元,用于根据所述位置信息及所述位置预测值对所述预设神经网络模型进行训练,得到训练后神经网络模型;
检测单元,用于根据所述训练后神经网络模型对待检测图像进行车辆检测。
10.根据权利要求9所述的车辆检测装置,其特征在于,所述获取单元包括:
设置子单元,用于将所述多张车辆样本图像划分为多组车辆样本图像,并为每组车辆样本图像中车辆的分别设置不同预设部位集;
计算子单元,用于计算每组车辆样本图像对应的预设部位集的位置信息,得到所述多张车辆样本图像中车辆的预设部位的位置信息。
11.根据权利要求10所述的车辆检测装置,其特征在于,所述计算子单元具体用于:
接收标注指令,根据所述标注指令在所述每组车辆样本图像中每张车辆样本图像上设置标注信息;
根据所述标注信息计算预设部位集在所述每张车辆样本图像上的位置信息,得到所述多张车辆样本图像中车辆的预设部位的位置信息。
12.根据权利要求9所述的车辆检测装置,其特征在于,所述训练单元包括:
训练子单元,用于采用预设损失函数对所述位置信息及所述位置预测值进行收敛,以对所述预设神经网络模型进行训练,得到训练后神经网络模型。
13.根据权利要求12所述的车辆检测装置,其特征在于,所述预设损失函数包括第一损失函数和第二损失函数,所述训练子单元具体用于:
获取所述多张车辆样本图像中每张车辆样本图像上预设部位的状态信息,并根据所述预设部位的状态信息构造第一损失函数;
根据所述预设部位的位置信息及位置预测值构造第二损失函数;
根据所述第一损失函数和第二损失函数对所述位置信息及所述位置预测值进行收敛,以对所述预设神经网络模型进行训练,得到训练后神经网络模型。
14.根据权利要求9至12任一项所述的车辆检测装置,其特征在于,所述检测单元具体用于:
获取目标车辆的参照图像,以及至少一张待检测车辆的待检测图像;
根据所述训练后神经网络模型计算所述参照图像中预设部位和待检测图像中预设部位的相似度;
将所述相似度满足预设条件的待检测图像所对应的待检测车辆确定为所述目标车辆。
15.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的车辆检测方法中的步骤。
CN201810336903.5A 2018-04-13 2018-04-13 一种车辆检测方法、装置及存储介质 Active CN108491827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810336903.5A CN108491827B (zh) 2018-04-13 2018-04-13 一种车辆检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810336903.5A CN108491827B (zh) 2018-04-13 2018-04-13 一种车辆检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108491827A true CN108491827A (zh) 2018-09-04
CN108491827B CN108491827B (zh) 2020-04-10

Family

ID=63316337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810336903.5A Active CN108491827B (zh) 2018-04-13 2018-04-13 一种车辆检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108491827B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559519A (zh) * 2018-12-18 2019-04-02 广东中安金狮科创有限公司 监控设备及其违章停车检测方法、装置、可读存储介质
CN109657689A (zh) * 2018-12-07 2019-04-19 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN109829400A (zh) * 2019-01-18 2019-05-31 青岛大学 一种快速车辆检测方法
CN109934119A (zh) * 2019-02-19 2019-06-25 平安科技(深圳)有限公司 调整车辆行驶方向方法、装置、计算机设备及存储介质
CN111507160A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
CN111666898A (zh) * 2020-06-09 2020-09-15 北京字节跳动网络技术有限公司 用于识别车辆所属类别的方法和装置
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
CN112291184A (zh) * 2019-07-24 2021-01-29 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN112288003A (zh) * 2020-10-28 2021-01-29 北京奇艺世纪科技有限公司 一种神经网络训练、及目标检测方法和装置
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215254A1 (en) * 2009-02-25 2010-08-26 Toyota Motor Engineering & Manufacturing North America Self-Learning Object Detection and Classification Systems and Methods
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN106295526A (zh) * 2016-07-28 2017-01-04 浙江宇视科技有限公司 车辆图像匹配的方法及装置
CN106446150A (zh) * 2016-09-21 2017-02-22 北京数字智通科技有限公司 一种车辆精确检索的方法及装置
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107016390A (zh) * 2017-04-11 2017-08-04 华中科技大学 一种基于相对位置的车辆部件检测方法和系统
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215254A1 (en) * 2009-02-25 2010-08-26 Toyota Motor Engineering & Manufacturing North America Self-Learning Object Detection and Classification Systems and Methods
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN106295526A (zh) * 2016-07-28 2017-01-04 浙江宇视科技有限公司 车辆图像匹配的方法及装置
CN106446150A (zh) * 2016-09-21 2017-02-22 北京数字智通科技有限公司 一种车辆精确检索的方法及装置
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107016390A (zh) * 2017-04-11 2017-08-04 华中科技大学 一种基于相对位置的车辆部件检测方法和系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657689A (zh) * 2018-12-07 2019-04-19 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN109559519A (zh) * 2018-12-18 2019-04-02 广东中安金狮科创有限公司 监控设备及其违章停车检测方法、装置、可读存储介质
CN109829400B (zh) * 2019-01-18 2023-06-30 青岛大学 一种快速车辆检测方法
CN109829400A (zh) * 2019-01-18 2019-05-31 青岛大学 一种快速车辆检测方法
CN111507160A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
CN111507160B (zh) * 2019-01-31 2023-11-14 斯特拉德视觉公司 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
CN109934119A (zh) * 2019-02-19 2019-06-25 平安科技(深圳)有限公司 调整车辆行驶方向方法、装置、计算机设备及存储介质
CN109934119B (zh) * 2019-02-19 2023-10-31 平安科技(深圳)有限公司 调整车辆行驶方向方法、装置、计算机设备及存储介质
CN112291184A (zh) * 2019-07-24 2021-01-29 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN112291184B (zh) * 2019-07-24 2024-03-01 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN111666898A (zh) * 2020-06-09 2020-09-15 北京字节跳动网络技术有限公司 用于识别车辆所属类别的方法和装置
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
CN112288003A (zh) * 2020-10-28 2021-01-29 北京奇艺世纪科技有限公司 一种神经网络训练、及目标检测方法和装置
CN112509384B (zh) * 2021-02-03 2021-07-30 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯

Also Published As

Publication number Publication date
CN108491827B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN108491827B (zh) 一种车辆检测方法、装置及存储介质
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
US20170213080A1 (en) Methods and systems for automatically and accurately detecting human bodies in videos and/or images
CN111291809B (zh) 一种处理装置、方法及存储介质
CN112419368A (zh) 运动目标的轨迹跟踪方法、装置、设备及存储介质
CN111797983A (zh) 一种神经网络构建方法以及装置
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN110222718B (zh) 图像处理的方法及装置
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
CN113191241A (zh) 一种模型训练方法及相关设备
CN117157679A (zh) 感知网络、感知网络的训练方法、物体识别方法及装置
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
CN110472092B (zh) 一种街景图片的地理定位方法及系统
EP3352112A1 (en) Architecture adapted for recognising a category of an element from at least one image of said element
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113065637B (zh) 一种感知网络及数据处理方法
CN114168768A (zh) 图像检索方法及相关设备
CN117710874A (zh) 目标区域的火灾识别方法、装置、设备及存储介质
CN112884804A (zh) 行动对象追踪方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant