CN110659545B - 车辆识别模型的训练方法、车辆识别方法、装置和车辆 - Google Patents

车辆识别模型的训练方法、车辆识别方法、装置和车辆 Download PDF

Info

Publication number
CN110659545B
CN110659545B CN201810712964.7A CN201810712964A CN110659545B CN 110659545 B CN110659545 B CN 110659545B CN 201810712964 A CN201810712964 A CN 201810712964A CN 110659545 B CN110659545 B CN 110659545B
Authority
CN
China
Prior art keywords
vehicle
image
current
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810712964.7A
Other languages
English (en)
Other versions
CN110659545A (zh
Inventor
李杨
刘效飞
万超
白军明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201810712964.7A priority Critical patent/CN110659545B/zh
Publication of CN110659545A publication Critical patent/CN110659545A/zh
Application granted granted Critical
Publication of CN110659545B publication Critical patent/CN110659545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明公开了一种车辆识别模型的训练方法、车辆识别方法和装置。其中,该训练方法包括:获取正样本数据,其中,正样本数据包括正样本图像和第一标注数据,正样本图像用于指示目标车辆的图像,第一标注数据用于指示所述目标车辆相对本车的朝向;获取每条固定道路在无目标车辆环境下的负样本图像,并根据负样本图像生成用于训练每条固定道路上的车辆识别模型的负样本数据;根据正样本数据和负样本数据对预设的深度学习网络模型进行训练,得到针对每条固定道路的车辆识别模型。该方法在解决现阶段车载硬件能实现道路上的车辆需求的同时,可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。

Description

车辆识别模型的训练方法、车辆识别方法、装置和车辆
技术领域
本发明涉及车辆识别技术领域,尤其涉及一种车辆识别模型的训练方法、车辆识别方法、装置、车辆和计算机可读存储介质。
背景技术
相关技术中,基于开放道路的车辆识别方法通常采用以下两种方式:一种方式是使用传统机器学习的方法,例如,通过支持向量机SVM方法建立识别模型,并基于该模型实现道路上目标车辆的识别;另一种方式是使用一个相对较为复杂的深度学习建立识别模型,例如,通过GoogleNet、FasterRCNN等深度学习建立识别模型,并基于该模型实现路上目标车辆的识别。
但是,目前存在的问题是:对于传统的机器学习方法,由于其算法方面的先天不足,其识别率比较低;对于现阶段的深度学习方法,所使用的数据集是针对通用道路的,这对数据集的依赖十分巨大,需要面面俱到,而这就导致了训练得到的定位模型比较庞大复杂。而且由于模型复杂,对硬件的要求极大。对于车载硬件实现道路上的车辆功能来说,一方面需要保证较高的识别率,另一方面由于考虑能耗与实时性方面的问题而无法使用太大的模型,于是与现有的技术产生了极大的矛盾。
因此,如何既可以解决现阶段车载硬件能实现道路上的车辆需求,又可以保证道路上目标车辆的识别准确率,已经成为亟待解决的问题。
发明内容
本发明目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种车辆识别模型的训练方法。该方法在解决现阶段车载硬件能实现道路上的车辆需求的同时,可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。
本发明的第二个目的在于提出一种车辆识别方法。
本发明的第三个目的在于提出一种车辆识别模型的训练装置。
本发明的第四个目的在于提出一种车辆识别方法。
本发明的第五个目的在于提出一种车辆。
本发明的第六个目的在于提出一种计算机可读存储介质。
本发明的第七个目的在于提出另一种车辆。
本发明的第八个目的在于提出另一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出的车辆识别模型的训练方法,所述车辆识别模型用于定位本车以外的其他车辆,所述方法包括:获取正样本数据,其中,所述正样本数据包括正样本图像和第一标注数据,所述正样本图像用于指示目标车辆的图像,所述第一标注数据用于指示所述目标车辆相对本车的朝向;针对每条固定道路,获取所述每条固定道路在无目标车辆环境下的负样本图像,并根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据;根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型。
根据本发明实施例的车辆识别模型的训练方法,针对固定道路的情况进行针对性采集,对不同的道路分别采集不同的数据集,使得采集数据集分为多个不同的子数据集,以使在模型训练上,使用不同的子数据集分别采用深度学习网络进行训练,可获得不同的模型参数。这样,对于某条固定道路,针对性的使用该道路的数据集训练获得的模型参数进行图像识别。由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终在解决现阶段车载硬件能实现道路上的车辆需求的同时,可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。
为达到上述目的,本发明第二方面实施例提出的车辆识别方法,包括:获取当前本车摄像头拍摄的图像;获取所述当前本车摄像头拍摄图像时本车所在的当前道路信息;根据所述本车所在的当前道路信息,获取针对当前道路的车辆识别模型,其中,所述车辆识别模型是使用本发明第一方面实施例所述的训练方法得到的;根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,以识别出所述图像中是否有车辆,以及在所述图像中有车辆时所述车辆相对于本车的朝向。
根据本发明实施例的车辆识别方法,通过采用当前道路的车辆识别模型,对当前道路的采集图像进行车辆的识别,由于该模型的复杂度低,所以可以大大提升识别过程的运行速度,且通过采集针对性的模型对其相应的道路上的图像进行识别,可以进一步提高识别率。
为达到上述目的,本发明第三方面实施例提出的车辆识别模型的训练装置,所述车辆识别模型用于定位本车以外的其他车辆,所述装置包括:正样本数据获取模块,用于获取正样本数据,其中,所述正样本数据包括正样本图像和第一标注数据,所述正样本图像用于指示目标车辆的图像,所述第一标注数据用于指示所述目标车辆相对本车的朝向;负样本图像获取模块,用于针对每条固定道路,获取所述每条固定道路在无目标车辆环境下的负样本图像;负样本数据生成模块,用于根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据;模型训练模块,用于根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型。
根据本发明实施例的车辆识别模型的训练装置,针对固定道路的情况进行针对性采集,对不同的道路分别采集不同的数据集,使得采集数据集分为多个不同的子数据集,以使在模型训练上,使用不同的子数据集分别采用深度学习网络进行训练,可获得不同的模型参数。这样,对于某条固定道路,针对性的使用该道路的数据集训练获得的模型参数进行图像识别。由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终在解决现阶段车载硬件能实现道路上的车辆需求的同时,可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。
为达到上述目的,本发明第四方面实施例提出的车辆识别装置,包括:图像获取模块,用于获取当前本车摄像头拍摄的图像;道路信息获取模块,用于获取所述当前本车摄像头拍摄图像时本车所在的当前道路信息;模型获取模块,用于根据所述本车所在的当前道路信息,获取针对当前道路的车辆识别模型,其中,所述车辆识别模型是使用本发明第三方面实施例所述的训练装置得到的;车辆识别模块,用于根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,以识别出所述图像中是否有车辆,以及在所述图像中有车辆时所述车辆相对于本车的朝向。
根据本发明实施例的车辆识别装置,通过采用当前道路的车辆识别模型,对当前道路的采集图像进行车辆的识别,由于该模型的复杂度低,所以可以大大提升识别过程的运行速度,且通过采集针对性的模型对其相应的道路上的图像进行识别,可以进一步提高识别率。
为达到上述目的,本发明第五方面实施例提出的车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明第一方面实施例所述的车辆识别模型的训练方法。
为达到上述目的,本发明第六方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明第一方面实施例所述的车辆识别模型的训练方法。
为达到上述目的,本发明第七方面实施例提出的车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明第二方面实施例所述的车辆识别方法。
为达到上述目的,本发明第八方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明第二方面实施例所述的车辆识别方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的车辆识别模型的训练方法的流程图;
图2是根据本发明实施例的目标车辆与本车的朝向的示意图;
图3是根据本发明实施例的车辆识别模型的训练方法的流程图;
图4是根据本发明实施例的样本窗口的示意图;
图5是根据本发明实施例的扫描窗口的示意图;
图6是根据本发明实施例的样本窗口纵向标定的示意图;
图7是根据本发明实施例的深度学习网络模型的架构示意图;
图8是根据本发明实施例的多个摄像头的安装位置的示意图;
图9是根据本发明实施例的将数据集分为多个不同的子数据集的示例图;
图10是根据本发明一个实施例的车辆识别模型的训练装置的结构示意图;
图11是根据本发明一个具体实施例的车辆识别模型的训练装置的结构示意图;
图12是根据本发明一个实施例的车辆识别方法的流程图;
图13是根据本发明一个实施例的车辆识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的车辆识别模型的训练方法、车辆识别方法、装置、车辆和计算机可读存储介质。
图1是根据本发明一个实施例的车辆识别模型的训练方法的流程图。需要说明的是,本发明实施例的车辆识别模型的训练方法可应用于本发明实施例的车辆识别模型的训练装置,该训练装置可被配置于车辆上。其中,该车辆识别模型可用于对道路上本车以外的其他车辆进行识别定位。
如图1所示,该车辆识别模型的训练方法可以包括:
S110,获取正样本数据,其中,正样本数据包括正样本图像和第一标注数据,正样本图像用于指示目标车辆的图像,第一标注数据用于指示目标车辆相对本车的朝向。
可选地,本发明实施例的车辆识别模型的训练方法可以是针对每一条固定道路进行样本数据的采集,并基于采集到的样本数据训练出针对所述每一条固定道路的车辆识别模型。也就是说,本发明实施例是对于不同道路使用不同的数据集进行网络训练,以得到针对不同道路的车辆识别模型,这样,在车辆识别过程中,可采集当前道路的车辆识别模型对该当前道路上的车辆进行识别定位。
需要说明的是,在本发明的实施例中,所述正样本图像的获取是不区分道路的,也就是说,所有道路可使用相同的正样本图像。可选地,在车辆识别模型的训练过程中,首先,可在某个固定道路,获取正样本数据,其中,该正样本数据可作为用于训练任意固定道路的车辆识别模型的正样本数据。例如,以某条固定道路为例,可在该固定道路上采集足够多的车辆类型,并需要对每种车辆均采集与本车不同朝向的图片数据,并将这些图片作为用于训练任意固定道路的车辆识别模型的正样本图像。作为一种示例,在对每种车辆采集与本车不同朝向的图片时,如图2所示,针对每种目标车辆,可获取8个与本车不同朝向的车辆图像,例如,针对某种车辆,在采集到该车辆相对于本车的朝向为同向(该车辆与本车的角度为0°度)的图像时,可生成7个图像,其中,该7个图像分别为该车辆相对于本车的不同朝向,如该车辆与本车的角度为40°度的图像、该车辆与本车的角度为90°度的图像、该车辆与本车的角度为140°度的图像、该车辆与本车的角度为180°度的图像、该车辆与本车的角度为220°度的图像、该车辆与本车的角度为270°度的图像、该车辆与本车的角度为320°度的图像。
在本步骤中,在得到正样本图像之后,可对这些正样本图像进行标注,即标注出图像中的车辆相对于本车的朝向,这样,将标注数据与对应的正样本图像作为用于模型训练的正样本数据。
S120,针对每条固定道路,获取每条固定道路在无目标车辆环境下的负样本图像,并根据负样本图像生成用于训练每条固定道路上的车辆识别模型的负样本数据。
可选地,对于每条固定道路,可使用本车上的车载摄像头采集本车在所述每条固定道路上无目标车辆环境下的图片数据,比如,可采集在不同光照环境下的情况(如:晴天、阴天、清晨、傍晚、小雨等),当前固定道路上无目标车辆的图像,并将这样图像作为负样本图像,并对这些负样本图像进行标定,以得到所述用于训练每条固定道路上的车辆识别模型的负样本数据。
作为一种可能的实现方式,在获得无目标车辆环境的图片并不直接用作负样本数据集,需要对图片进行区域划分,以得到更多更加精准的负样本数据。例如,如图3所示,所述根据负样本图像生成用于训练每条固定道路上的车辆识别模型的负样本数据的具体实现方式可包括如下步骤:
S310,选取N个样本窗口,其中,N为正整数,所述N个样本窗口的尺寸各不同;
例如,假设通过车载摄像头采集到的负样本图像的分辨率为1280x720,如图4所示,可选取7个尺度的正方形方框作为样本窗口,分别为S1至S7。其分辨率大小取值:S1为720x720、S2为486x486、S3为324x324、S4为216x216、S5为144x144、S6为96x96、S7为64x64。
S320,利用所述N个样本窗口在所述负样本图像中进行横向扫描,并利用需要识别的目标车辆在本车摄像头图像中的尺寸,从所述负样本图像中截取所述利用所述N个样本窗口进行横向扫描时的窗口对应的图像区域,以产生新的图片样本;
可选地,针对每个样本窗口,确定与所述每个样本窗口对应的横向扫描数量,并利用所述每个样本窗口,按照所述对应的横向扫描数量在所述负样本图像中进行横向均匀扫描。
也就是说,对于每个样本窗口需要在负样本图像的原图中进行横向均匀扫描截取,产生新的图片样本。例如,如图5所示,为S3样本窗口横向均匀扫描的示意图,比如,对于每个样本窗口可设定如下横向扫描数量以保证较小的窗口扫描更多的数量:样本窗口S1的横向扫描数量N1为10次、样本窗口S2的横向扫描数量N2为17次、样本窗口S3的横向扫描数量N3为30次、样本窗口S4的横向扫描数量N4为50次、样本窗口S5的横向扫描数量N5为75次、样本窗口S6的横向扫描数量N6为120次、样本窗口S7的横向扫描数量N7为200次。
可选地,在利用每个样本窗口在所述负样本图像中进行横向扫描时,可调整所述需要识别的目标车辆相对于本车摄像头的远近位置,以使所述需要识别的目标车辆在当前负样本图像中的横向宽度与当前扫描窗口的横向宽度相同,所述需要识别的目标车辆在所述当前负样本图像中的底部边界位置与所述当前扫描窗口的底部边界位置相同,并从调整所述需要识别的目标车辆相对于本车摄像头的远近位置之后得到的负样本图像中,截取出所述当前扫描窗口对应的图像区域,并将截取到的图像区域作为所述图片样本。
例如,如图6所示,为了减少样本的数量,在本发明的实施例中,不对负样本图像进行纵向扫描。仅需要针对每个样本窗口(S1……S7,共7个)的大小,使用需要识别的目标车辆对负样本图像进行标定以得到所述图像样本:在水平的地面,调整目标车辆相对于摄像头的远近位置,使得目标车辆在摄像头图像中的横向宽度与当前扫描窗口(如S3)的横向宽度相同,此时车辆在图像中的底部边界位置,即为当前扫描窗口(如S3)的底部边界的位置,此时可以记录下目标车辆与摄像头的对应距离L(如扫描窗口图片S3对应距离为L3)。这样就可以分别完成S1……S7的纵向位置的标定,并且可以获得每个窗口中目标车辆相对于摄像头的对应距离L1……L7。
S330,对所述图片样本进行标注,得到第二标注数据,其中,所述第二标注数据用于指示所述图片样本中无目标车辆;
S340,将所述图片样本和对应的第二标注数据作为所述用于训练所述每条固定道路上的车辆识别模型的负样本数据。
由此,通过采用不同窗口角度对负样本图像进行横向均匀扫描以获得多个窗口图像作为图片样本,这样,可以得到更多更加精准的负样本数据。需要说明的是,在本发明的实施例中,针对每条固定道路上,可每隔一定距离采集一次图片。
S130,根据正样本数据和负样本数据对预设的深度学习网络模型进行训练,得到针对每条固定道路的车辆识别模型。
需要说明的是,在本发明的一个实施例中,可将正样本数据和负样本数据进行随机穿插排序,以得到样本集合,并通过该样本集合对预设的深度学习网络模型进行训练,得到针对每条固定道路的车辆识别模型。由此,通过将正样本和负样本随机穿插起来,可以保证样本的随机性,使得训练得到的车辆识别模型具有良好的实用性。
可选地,将正样本图像和所述每条固定道路的负样本数据中的图片样本输入所述预设的深度学习网络模型,以得到所述深度学习网络模型输出的针对各种识别情况的评估概率,其中,所述深度学习网络模型包括用于进行特征提取的输入层,以及用于输出针对各种识别情况的评估概率的输出层,之后,可根据所述针对各种识别情况的评估概率、所述正样本数据中的第一标注数据和所述每条固定道路的负样本数据中的第二标注数据确定损失函数的取值,并根据所述损失函数的取值,采用反向梯度算法对所述深度学习网络模型进行模型参数调整,当所述损失函数取值最小时,所述深度学习网络模型训练完成,并将训练完成后得到的模型作为所述针对所述每条固定道路的车辆识别模型。
作为一种示例,可使用一种简化的深度学习网络模型进行车辆识别模型的训练。例如,如图7所示,该深度学习网络模型可包括输入层、3个卷积层、两个全链接层和一个输出层。其中,输入层可以是节点为M1xM1x1,对应数据集分辨率M1xM1的灰度图。在第一个卷积层可以使用N1xN1xC1的卷积核,将通道数扩充为C1,可以充分提取初步特征信息。第一个卷积层之后可设置一个池化层,可使用Max池化,然后再使用RELU为激活函数进行激活,这里先池化后激活,可以节省部分运算,提升网络层次的效率。后续第二个卷积核同样使用N2xN2xC2的卷积核,但是由于池化层使用Ave池化,无法将交换激活层顺序,所以按正常的顺序进行:先激活后池化。后续第三个卷积核使用N3xN3xC3的卷积核,由于此处输入节点分辨率已经下降,可以将卷积核变小(例如,使用一个较小的N3),但是提升了通道数量C3以保证网络的性能。后续设置两个全链接层,分别使用F1(用于检测出输入图像是否有待识别的车辆)个节点和F2(F2=5)个节点,这里的5个节点对应车辆的5种识别情况:无目标、目标同向、目标逆向、目标左向、目标右向。最后一层使用Softmax作为输出层,可以获得模型对5种情况的评估概率。
这样,可将所述正样本数据和所述每条固定道路的负样本数据作为训练数据,对预先设定的深度学习网络模型进行训练,得到针对每条固定道路的车辆识别模型。这样,在模型应用过程中,在使用车辆识别模型对输入图像进行车辆识别定位时,可获得该图像中是否存在车辆,并在存在车辆时,可获得该车辆与本车的相对位置和朝向。
根据本发明实施例的车辆识别模型的训练方法,针对固定道路的情况进行针对性采集,对不同的道路分别采集不同的数据集,使得采集数据集分为多个不同的子数据集,以使在模型训练上,使用不同的子数据集分别采用深度学习网络进行训练,可获得不同的模型参数。这样,对于某条固定道路,针对性的使用该道路的数据集训练获得的模型参数进行图像识别。由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终在解决现阶段车载硬件能实现道路上的车辆需求的同时,可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。
为了进一步减小训练数据集的复杂程度,进一步简化模型,可选地,在本发明的一个实施例中,针对任意一条固定道路,可按照本车上的不同安装位置的采集摄像头,对训练数据集进行再次划分,即可获取针对每个摄像头对应的样本数据,针对每个摄像头对应的样本数据实现针对该摄像头在当前固定道路进行拍摄情况下的车辆识别模型的训练。
作为一种示例,所述本车摄像头可具有多个,每个本车摄像头设置在本车的不同位置。其中,在本发明的实施例中,所述获取每条固定道路在无目标车辆环境下的负样本图像,并根据负样本图像生成用于训练每条固定道路上的车辆识别模型的负样本数据的具体实现过程可如下:针对每条固定道路,通过所述每个本车摄像头获取当前固定道路在无目标车辆环境下的负样本图像,并根据所述当前固定道路在无目标车辆环境下的负样本图像,生成用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据。
其中,在本发明的实施例中,所述根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型的具体实现过程可如下:根据所述正样本数据和所述用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据,对所述深度学习网络模型进行训练以得到对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型。
举例而言,如图8所示,本车摄像头的个数可为7个,其安装位置可为:对于本车来说,7个摄像头可覆盖360°全方面区域。其中本车的前方为重点区域,为了实现对不同识别距离目标的覆盖,选取3个不同视场角的摄像头。
例如,本车的正前方使用长焦摄像头覆盖前方水平视场角为28°以内、距离300米以内区域的目标;本车的正前方使用中距摄像头覆盖前方水平视场角为52°以内、距离150米以内区域的目标;本车的正前方使用广角摄像头覆盖前方水平视场角为150°以内、距离20米以内区域的目标;本车的左右侧方均使用广角摄像头覆盖前方水平视场角为90°以内、距离70米以内区域的目标;本车的左右后侧方均使用广角摄像头覆盖前方水平视场角为90°以内、距离70米以内区域的目标。
需要说明的是,在本发明的实施例中,在模型训练过程中,每个摄像头可使用相同的正样本,但是负样本则使用每个摄像头自身采集样本进行区别训练,这样,针对同一固定道路,可训练出多个车辆识别模型,每个车辆识别模型对应一个摄像头,可以使得每个摄像头在识别上有自己的针对性。也就是说,在模型应用中,针对同一固定道路,可以针对不同摄像头采集到的图像作为待识别图像时,可通过不同摄像头对应的车辆识别模型进行车辆识别定位。由此,可以在减少模型的复杂度的同时,可以保证车辆识别的准确率。
综上所述,本发明实施例的车辆识别模型的训练方法,首先对样本的采集方面,针对固定道路的情况进行针对性采集,即:对不同的道路分别采集不同的数据集。然后,对某条固定道路的车载摄像头采集图像中,按照不同安装位置的采集摄像头,对数据集进行再次划分。对于某条固定道路、某个安装位置的采集摄像头,还要根据图像内不同角度、大小的区域,对数据集进行进一步划分。最终将采集数据集分为多个不同的子数据集。例如,以选取的样本窗口的个数为7个为例,如图9所示,为将数据集分为多个不同的子数据集的示例图。在模型训练上,使用不同的子数据集分别采用深度学习网络进行训练,可获得不同的模型参数。这样,对于某条固定道路、某个安装位置的采集摄像头、某个区域窗口,针对性的使用该窗口的数据集训练获得的参数进行图像识别。由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终实现减少深度模型复杂度、提升运行速度的同时,提高识别率的目的。
与上述几种实施例提供的车辆识别模型的训练方法相对应,本发明的一种实施例还提供一种车辆识别模型的训练装置,由于本发明实施例提供的车辆识别模型的训练装置与上述几种实施例提供的车辆识别模型的训练方法相对应,因此在前述车辆识别模型的训练方法的实施方式也适用于本实施例提供的车辆识别模型的训练装置,在本实施例中不再详细描述。图10是根据本发明一个实施例的车辆识别模型的训练装置的结构示意图。需要说明的是,本发明实施例的车辆识别模型的训练装置可被配置于车辆上。其中,该车辆识别模型可用于对道路上本车以外的其他车辆进行识别定位。如图10所示,该车辆识别模型的训练装置1000可以包括:正样本数据获取模块1010、负样本图像获取模块1020、负样本数据生成模块1030和模型训练模块1040。
具体地,正样本数据获取模块1010用于获取正样本数据,其中,所述正样本数据包括正样本图像和第一标注数据,所述正样本图像用于指示目标车辆的图像,所述第一标注数据用于指示所述目标车辆相对本车的朝向。
负样本图像获取模块1020用于针对每条固定道路,获取每条固定道路在无目标车辆环境下的负样本图像。
负样本数据生成模块1030用于根据负样本图像生成用于训练每条固定道路上的车辆识别模型的负样本数据。作为一种示例,如图11所示,该负样本数据生成模块1030可以包括:窗口选取单元1031、窗口扫描单元1032、标注单元1033和负样本数据生成单元1034。其中,窗口选取单元1031用于选取N个样本窗口,其中,N为正整数,N个样本窗口的尺寸各不同;窗口扫描单元1032用于利用N个样本窗口在负样本图像中进行横向扫描,并利用需要识别的目标车辆在本车摄像头图像中的尺寸,从负样本图像中截取利用N个样本窗口进行横向扫描时的窗口对应的图像区域,以产生新的图片样本;标注单元1033用于对所述图片样本进行标注,得到第二标注数据,其中,所述第二标注数据用于指示所述图片样本中无目标车辆;负样本数据生成单元1034用于将所述图片样本和对应的第二标注数据作为所述用于训练所述每条固定道路上的车辆识别模型的负样本数据。
在本发明的一个实施例中,窗口扫描单元1032可具体用于:针对每个样本窗口,确定与所述每个样本窗口对应的横向扫描数量;利用所述每个样本窗口,按照所述对应的横向扫描数量在所述负样本图像中进行横向均匀扫描。
在本发明的一个实施例中,窗口扫描单元1032具体用于:调整所述需要识别的目标车辆相对于本车摄像头的远近位置,以使所述需要识别的目标车辆在当前负样本图像中的横向宽度与当前扫描窗口的横向宽度相同,所述需要识别的目标车辆在所述当前负样本图像中的底部边界位置与所述当前扫描窗口的底部边界位置相同;从调整所述需要识别的目标车辆相对于本车摄像头的远近位置之后得到的负样本图像中,截取出所述当前扫描窗口对应的图像区域;将截取到的图像区域作为所述图片样本。
模型训练模块1040用于根据正样本数据和负样本数据对预设的深度学习网络模型进行训练,得到针对每条固定道路的车辆识别模型。作为一种示例,模型训练模块1040具体用于:将所述正样本图像和所述每条固定道路的负样本数据中的图片样本输入所述预设的深度学习网络模型,以得到所述深度学习网络模型输出的针对各种识别情况的评估概率,其中,所述深度学习网络模型包括用于进行特征提取的输入层,以及用于输出针对各种识别情况的评估概率的输出层;根据所述针对各种识别情况的评估概率、所述正样本数据中的第一标注数据和所述每条固定道路的负样本数据中的第二标注数据确定损失函数的取值;根据所述损失函数的取值,采用反向梯度算法对所述深度学习网络模型进行模型参数调整;当所述损失函数取值最小时,所述深度学习网络模型训练完成,并将训练完成后得到的模型作为所述针对所述每条固定道路的车辆识别模型。
为了进一步减小训练数据集的复杂程度,进一步简化模型,可选地,在本发明的一个实施例中,针对任意一条固定道路,可按照本车上的不同安装位置的采集摄像头,对训练数据集进行再次划分,即可获取针对每个摄像头对应的样本数据,针对每个摄像头对应的样本数据实现针对该摄像头在当前固定道路进行拍摄情况下的车辆识别模型的训练。
根据本发明实施例的车辆识别模型的训练装置,针对固定道路的情况进行针对性采集,对不同的道路分别采集不同的数据集,使得采集数据集分为多个不同的子数据集,以使在模型训练上,使用不同的子数据集分别采用深度学习网络进行训练,可获得不同的模型参数。这样,对于某条固定道路,针对性的使用该道路的数据集训练获得的模型参数进行图像识别。由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终可以实现减少深度模型复杂度、提升车辆识别过程的运行速度的同时,还可以达到提高车辆识别率的目的。
作为一种示例,本车摄像头具有多个,每个本车摄像头设置在本车的不同位置。其中,在本发明的实施例中,负样本图像获取模块1020可具体用于:针对每条固定道路,通过所述每个本车摄像头获取当前固定道路在无目标车辆环境下的负样本图像。负样本数据生成模块1030可具体用于:根据所述当前固定道路在无目标车辆环境下的负样本图像,生成用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据。模型训练模块1040可具体用于:针对所述每条固定道路,根据所述正样本数据和所述用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据,对所述深度学习网络模型进行训练以得到对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型。由此,由于数据集被细分为多子数据集,每子数据集的特征与原数据集相比,特征大大减小,可以极大程度减少对模型复杂度要求,最终实现减少深度模型复杂度、提升运行速度的同时,提高识别率的目的。
在实际应用中,可通过训练得到的车辆识别模型对道路上的车辆进行识别。为此,本发明提出了一种车辆识别方法。其中,本发明实施例的车辆识别方法可利用通过本发明实施例的车辆识别模型的训练方法得到的车辆识别模型实现车辆的定位识别。图12是根据本发明一个实施例的车辆识别方法的流程图。如图12所示,该车辆识别方法可以包括:
S1210,获取当前本车摄像头拍摄的图像。
可选地,本车可通过自身的摄像头对外界进行图像采集,以得到当前本车摄像头拍摄的图像。
S1220,获取当前本车摄像头拍摄图像时本车所在的当前道路信息。
可选地,假设本车上具有定位模块,在获得当前本车摄像头拍摄的图像时,可通过该定位模块获得本车的当前地理位置信息,并根据该当前地理位置信息获得本车所在的当前道路信息。
S1230,根据本车所在的当前道路信息,获取针对当前道路的车辆识别模型;其中,车辆识别模型是使用本发明上述图1所示实施例所述的训练方法得到的。
可以理解,通过本发明实施例所述的训练方法可以获得针对不同固定道路的车辆识别模型,这样,在模型实际应用中,可根据本车所在的当前道路信息,从预先建立的针对不同固定道路的车辆识别模型中,选取针对所述当前道路的车辆识别模型。
S1240,根据针对当前道路的车辆识别模型对图像进行车辆识别,以识别出图像中是否有车辆,以及在图像中有车辆时车辆相对于本车的朝向。
也就是说,可采用针对当前道路的车辆识别模型对在当前道路上采集到的图像进行预测,以判断该采集到的图像中是否存在车辆,即判断本车摄像头所覆盖的拍摄范围内是否存在车辆,若存在,则确定出该车辆与本车的相对位置和朝向。
作为一种可能的实现方式,在得到针对当前道路的车辆识别模型之后,可先利用N个窗口在当前本车摄像头拍摄的图像中进行横向扫描,并从所述当前本车摄像头拍摄的图像中截取所述利用所述N个窗口进行横向扫描时的窗口对应的图像区域,以得到针对每个窗口的多个窗口图像,其中,N为正整数;之后,将所述针对每个窗口的多个窗口图像分别代入所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型中,以根据所述车辆识别模型中的输入层对各个窗口图像进行特征提取,并根据所述车辆识别模型中的输出层基于提取到的针对所述各个窗口图像的特征,计算针对各种识别情况的评估概率,最后,根据所述针对各种识别情况的评估概率,对所述图像进行车辆识别。
也就是说,在模型应过程中,首先根据当前所在道路,调取针对当前道路的车辆识别模型。然后,对每张采集的图像分别应用多个窗口(如窗口S1、S2、S3、S4、S5、S6、和S7)进行横向扫描,得到对应的窗口图像,并将这些窗口图像分别代入所述针对当前道路的车辆识别模型中进行识别,若有识别输出,则表明该窗口对应位置出现目标车辆,并且可以根据该窗口对应的L值,估算出目标车辆相对于本车的位置。可选地,对应相邻窗口同时发现目标的情况,还可以根据其位置进行平面投影,使用聚类算法,将车辆精确定位。
需要说明的是,在识别过程中,可选取最高的评估概率对应的类型作为识别结果,为了降低误识别的情况,可设置限制条件,例如,评估概率大于一定阈值时可认为识别有效。
为了进一步提高识别准确率,可选地,在本发明的一个实施例中,针对当前固定道路,针对不同安装位置的摄像头所采集到的图像,可利用其对应的车辆识别模型对当前摄像头采集到的图像进行识别。也就是说,每个摄像头对应其自身的车辆识别模型,这样,在模型应用中,可根据当前摄像头对应的车辆识别模型,对该当前摄像头所采集的图像进行车辆的定位识别。作为一种可能的实现方式,所述根据本车所在的当前道路信息,获取针对当前道路的车辆识别模型的具体实现过程可如下:根据所述当前本车摄像头和所述本车所在的当前道路信息,获取针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型,其中,所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型是使用本发明实施例所述的训练方法得到的。
作为一种示例,所述根据所述针对当前道路的车辆识别模型对所述图像进行预测,得到所述图像中车辆的目标位置,包括:利用N个窗口在所述当前本车摄像头拍摄的图像中进行横向扫描,并从所述当前本车摄像头拍摄的图像中截取所述利用所述N个窗口进行横向扫描时的窗口对应的图像区域,以得到针对每个窗口的多个窗口图像,其中,N为正整数;将所述针对每个窗口的多个窗口图像分别代入所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型中,以根据所述车辆识别模型中的输入层对各个窗口图像进行特征提取,并根据所述车辆识别模型中的输出层基于提取到的针对所述各个窗口图像的特征,计算针对各种识别情况的评估概率;根据所述针对各种识别情况的评估概率,对所述图像进行车辆识别。
需要说明的是,在本发明的一个实施例中,在识别出当前图像中有车辆时,可根据识别出所述图像中的车辆所对应的扫描窗口,以及预先标定的扫描窗口与车辆的对应距离,获取所述图像中的车辆相对于当前本体摄像头的对应距离,以实现道路上车辆的定位。
根据本发明实施例的车辆识别方法,通过采用当前道路的车辆识别模型,对当前道路的采集图像进行车辆的识别,由于该模型的复杂度低,所以可以大大提升识别过程的运行速度,且通过采集针对性的模型对其相应的道路上的图像进行识别,可以进一步提高识别率。
与上述几种实施例提供的车辆识别方法相对应,本发明的一种实施例还提供一种车辆识别装置,由于本发明实施例提供的车辆识别装置与上述几种实施例提供的车辆识别方法相对应,因此在前述车辆识别方法的实施方式也适用于本实施例提供的车辆识别装置,在本实施例中不再详细描述。图13是根据本发明一个实施例的车辆识别装置的结构示意图。如图13所示,该车辆识别装置1300可以包括:图像获取模块1310、道路信息获取模块1320、模型获取模块1330和车辆识别模块1340。
具体地,图像获取模块1310用于获取当前本车摄像头拍摄的图像。
道路信息获取模块1320用于获取当前本车摄像头拍摄图像时本车所在的当前道路信息。
模型获取模块1330用于根据本车所在的当前道路信息,获取针对当前道路的车辆识别模型,其中,所述车辆识别模型是使用图10所示的实施例所述的训练装置得到的。
车辆识别模块1340用于根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,以识别出所述图像中是否有车辆,以及在所述图像中有车辆时所述车辆相对于本车的朝向。
为了进一步提高识别准确率,可选地,在本发明的一个实施例中,针对当前固定道路,针对不同安装位置的摄像头所采集到的图像,可利用其对应的车辆识别模型对当前摄像头采集到的图像进行识别。也就是说,每个摄像头对应其自身的车辆识别模型,这样,在模型应用中,可根据当前摄像头对应的车辆识别模型,对该当前摄像头所采集的图像进行车辆的识别。作为一种可能的实现方式,模型获取模块1330可根据所述当前本车摄像头和所述本车所在的当前道路信息,获取针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型。其中,在本发明的实施例中,所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型是使用本发明实施例所述的训练装置得到的。
作为一种示例,车辆识别模块1340可具体用于:利用N个窗口在所述当前本车摄像头拍摄的图像中进行横向扫描,并从所述当前本车摄像头拍摄的图像中截取所述利用所述N个窗口进行横向扫描时的窗口对应的图像区域,以得到针对每个窗口的多个窗口图像,其中,N为正整数;将所述针对每个窗口的多个窗口图像分别代入所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型中,以根据所述车辆识别模型中的输入层对各个窗口图像进行特征提取,并根据所述车辆识别模型中的输出层基于提取到的针对所述各个窗口图像的特征,计算针对各种识别情况的评估概率;根据所述针对各种识别情况的评估概率,对所述图像进行车辆识别。
根据本发明实施例的车辆识别装置,通过采用当前道路的车辆识别模型,对当前道路的采集图像进行车辆的识别,由于该模型的复杂度低,所以可以大大提升识别过程的运行速度,且通过采集针对性的模型对其相应的道路上的图像进行识别,可以进一步提高识别率。
为了实现上述实施例,本发明还提出了一种车辆。在本发明的实施例中,该车辆可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明上述任一个实施例所述的车辆识别模型的训练方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明上述任一个实施例所述的车辆识别模型的训练方法。
为了实现上述实施例,本发明还提出了另一种车辆。在本发明的实施例中,该车辆可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明上述任一个实施例所述的车辆识别方法。
为了实现上述实施例,本发明还提出了另一种非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明上述任一个实施例所述的车辆识别方法。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种车辆识别模型的训练方法,其特征在于,所述车辆识别模型用于定位本车以外的其他车辆,所述方法包括以下步骤:
获取正样本数据,其中,所述正样本数据包括正样本图像和第一标注数据,所述正样本图像用于指示目标车辆的图像,所述第一标注数据用于指示所述目标车辆相对本车的朝向;
针对每条固定道路,获取所述每条固定道路在无目标车辆环境下的负样本图像,并根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据,形成数据集,对数据集进行划分,形成多个不同的子数据集;
根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型,包括:根据子数据集分别对预设的深度学习网络模型进行训练,获得不同的模型参数。
2.如权利要求1所述的方法,其特征在于,所述根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据,包括:
选取N个样本窗口,其中,N为正整数,所述N个样本窗口的尺寸各不同;
利用所述N个样本窗口在所述负样本图像中进行横向扫描,并利用需要识别的目标车辆在本车摄像头图像中的尺寸,从所述负样本图像中截取所述利用所述N个样本窗口进行横向扫描时的窗口对应的图像区域,以产生新的图片样本;
对所述图片样本进行标注,得到第二标注数据,其中,所述第二标注数据用于指示所述图片样本中无目标车辆;
将所述图片样本和对应的第二标注数据作为所述用于训练所述每条固定道路上的车辆识别模型的负样本数据。
3.如权利要求2所述的方法,其特征在于,所述利用所述N个样本窗口在所述负样本图像中进行横向扫描,包括:
针对每个样本窗口,确定与所述每个样本窗口对应的横向扫描数量;
利用所述每个样本窗口,按照所述对应的横向扫描数量在所述负样本图像中进行横向均匀扫描。
4.如权利要求2所述的方法,其特征在于,所述利用需要识别的目标车辆在本车摄像头图像中的尺寸,从所述负样本图像中截取所述利用所述N个样本窗口进行横向扫描时的窗口对应的图像区域,以产生新的图片样本,包括:
调整所述需要识别的目标车辆相对于本车摄像头的远近位置,以使所述需要识别的目标车辆在当前负样本图像中的横向宽度与当前扫描窗口的横向宽度相同,所述需要识别的目标车辆在所述当前负样本图像中的底部边界位置与所述当前扫描窗口的底部边界位置相同;
从调整所述需要识别的目标车辆相对于本车摄像头的远近位置之后得到的负样本图像中,截取出所述当前扫描窗口对应的图像区域;
将截取到的图像区域作为所述图片样本。
5.如权利要求1所述的方法,其特征在于,所述根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型,包括:
将所述正样本图像和所述每条固定道路的负样本数据中的图片样本输入所述预设的深度学习网络模型,以得到所述深度学习网络模型输出的针对各种识别情况的评估概率,其中,所述深度学习网络模型包括用于进行特征提取的输入层,以及用于输出针对各种识别情况的评估概率的输出层;
根据所述针对各种识别情况的评估概率、所述正样本数据中的第一标注数据和所述每条固定道路的负样本数据中的第二标注数据确定损失函数的取值;
根据所述损失函数的取值,采用反向梯度算法对所述深度学习网络模型进行模型参数调整;
当所述损失函数取值最小时,所述深度学习网络模型训练完成,并将训练完成后得到的模型作为所述针对所述每条固定道路的车辆识别模型。
6.如权利要求1至5中任一项所述的方法,其特征在于,所述本车摄像头具有多个,每个本车摄像头设置在本车的不同位置,所述获取所述每条固定道路在无目标车辆环境下的负样本图像,并根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据,包括:
针对每条固定道路,通过所述每个本车摄像头获取当前固定道路在无目标车辆环境下的负样本图像;
根据所述当前固定道路在无目标车辆环境下的负样本图像,生成用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据;
其中,根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型,包括:
针对所述每条固定道路,根据所述正样本数据和所述用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据,对所述深度学习网络模型进行训练以得到对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型。
7.一种车辆识别方法,其特征在于,包括:
获取当前本车摄像头拍摄的图像;
获取所述当前本车摄像头拍摄图像时本车所在的当前道路信息;
根据所述本车所在的当前道路信息,获取针对当前道路的车辆识别模型,其中,所述车辆识别模型是使用如权利要求1至5中任一项所述的训练方法得到的;
根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,以识别出所述图像中是否有车辆,以及在所述图像中有车辆时所述车辆相对于本车的朝向。
8.如权利要求7所述的方法,其特征在于,所述根据所述本车所在的当前道路信息,获取针对当前道路的车辆识别模型,包括:
根据所述当前本车摄像头和所述本车所在的当前道路信息,获取针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型,其中,所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型是使用如权利要求6所述的训练方法得到的。
9.如权利要求8所述的方法,其特征在于,所述根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,包括:
利用N个窗口在所述当前本车摄像头拍摄的图像中进行横向扫描,并从所述当前本车摄像头拍摄的图像中截取所述利用所述N个窗口进行横向扫描时的窗口对应的图像区域,以得到针对每个窗口的多个窗口图像,其中,N为正整数;
将所述针对每个窗口的多个窗口图像分别代入所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型中,以根据所述车辆识别模型中的输入层对各个窗口图像进行特征提取,并根据所述车辆识别模型中的输出层基于提取到的针对所述各个窗口图像的特征,计算针对各种识别情况的评估概率;
根据所述针对各种识别情况的评估概率,对所述图像进行车辆识别。
10.一种车辆识别模型的训练装置,其特征在于,所述车辆识别模型用于定位本车以外的其他车辆,所述装置包括:
正样本数据获取模块,用于获取正样本数据,其中,所述正样本数据包括正样本图像和第一标注数据,所述正样本图像用于指示目标车辆的图像,所述第一标注数据用于指示所述目标车辆相对本车的朝向;
负样本图像获取模块,用于针对每条固定道路,获取所述每条固定道路在无目标车辆环境下的负样本图像;
负样本数据生成模块,用于根据所述负样本图像生成用于训练所述每条固定道路上的车辆识别模型的负样本数据,形成数据集,对数据集进行划分,形成多个不同的子数据集;
模型训练模块,用于根据所述正样本数据和所述负样本数据对预设的深度学习网络模型进行训练,得到针对所述每条固定道路的车辆识别模型,包括:根据子数据集分别对预设的深度学习网络模型进行训练,获得不同的模型参数。
11.如权利要求10所述的装置,其特征在于,所述负样本数据生成模块包括:
窗口选取单元,用于选取N个样本窗口,其中,N为正整数,所述N个样本窗口的尺寸各不同;
窗口扫描单元,用于利用所述N个样本窗口在所述负样本图像中进行横向扫描,并利用需要识别的目标车辆在本车摄像头图像中的尺寸,从所述负样本图像中截取所述利用所述N个样本窗口进行横向扫描时的窗口对应的图像区域,以产生新的图片样本;
标注单元,用于对所述图片样本进行标注,得到第二标注数据,其中,所述第二标注数据用于指示所述图片样本中无目标车辆;
负样本数据生成单元,用于将所述图片样本和对应的第二标注数据作为所述用于训练所述每条固定道路上的车辆识别模型的负样本数据。
12.如权利要求11所述的装置,其特征在于,所述窗口扫描单元具体用于:
调整所述需要识别的目标车辆相对于本车摄像头的远近位置,以使所述需要识别的目标车辆在当前负样本图像中的横向宽度与当前扫描窗口的横向宽度相同,所述需要识别的目标车辆在所述当前负样本图像中的底部边界位置与所述当前扫描窗口的底部边界位置相同;
从调整所述需要识别的目标车辆相对于本车摄像头的远近位置之后得到的负样本图像中,截取出所述当前扫描窗口对应的图像区域;
将截取到的图像区域作为所述图片样本。
13.如权利要求10至12中任一项所述的装置,其特征在于,所述本车摄像头具有多个,每个本车摄像头设置在本车的不同位置;
其中,所述负样本图像获取模块具体用于:
针对每条固定道路,通过所述每个本车摄像头获取当前固定道路在无目标车辆环境下的负样本图像;
所述负样本数据生成模块具体用于:
根据所述当前固定道路在无目标车辆环境下的负样本图像,生成用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据;
所述模型训练模块具体用于:
针对所述每条固定道路,根据所述正样本数据和所述用于训练对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型的负样本数据,对所述深度学习网络模型进行训练以得到对于所述每个本车摄像头在所述当前固定道路进行拍摄情况下的车辆识别模型。
14.一种车辆识别装置,其特征在于,包括:
图像获取模块,用于获取当前本车摄像头拍摄的图像;
道路信息获取模块,用于获取所述当前本车摄像头拍摄图像时本车所在的当前道路信息;
模型获取模块,用于根据所述本车所在的当前道路信息,获取针对当前道路的车辆识别模型,其中,所述车辆识别模型是使用如权利要求10至13中任一项所述的训练装置得到的;
车辆识别模块,用于根据所述针对当前道路的车辆识别模型对所述图像进行车辆识别,以识别出所述图像中是否有车辆,以及在所述图像中有车辆时所述车辆相对于本车的朝向。
15.如权利要求14所述的装置,其特征在于,所述模型获取模块具体用于:
根据所述当前本车摄像头和所述本车所在的当前道路信息,获取针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型,其中,所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型是使用如权利要求13所述的训练装置得到的。
16.如权利要求15所述的装置,其特征在于,所述车辆识别模块具体用于:
利用N个窗口在所述当前本车摄像头拍摄的图像中进行横向扫描,并从所述当前本车摄像头拍摄的图像中截取所述利用所述N个窗口进行横向扫描时的窗口对应的图像区域,以得到针对每个窗口的多个窗口图像,其中,N为正整数;
将所述针对每个窗口的多个窗口图像分别代入所述针对当前本车摄像头在所述当前道路进行拍摄情况下的车辆识别模型中,以根据所述车辆识别模型中的输入层对各个窗口图像进行特征提取,并根据所述车辆识别模型中的输出层基于提取到的针对所述各个窗口图像的特征,计算针对各种识别情况的评估概率;
根据所述针对各种识别情况的评估概率,对所述图像进行车辆识别。
17.一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1至6中任一项所述的车辆识别模型的训练方法。
18.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至6中任一项所述的车辆识别模型的训练方法。
19.一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求7至9中任一项所述的车辆识别方法。
20.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求7至9中任一项所述的车辆识别方法。
CN201810712964.7A 2018-06-29 2018-06-29 车辆识别模型的训练方法、车辆识别方法、装置和车辆 Active CN110659545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712964.7A CN110659545B (zh) 2018-06-29 2018-06-29 车辆识别模型的训练方法、车辆识别方法、装置和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712964.7A CN110659545B (zh) 2018-06-29 2018-06-29 车辆识别模型的训练方法、车辆识别方法、装置和车辆

Publications (2)

Publication Number Publication Date
CN110659545A CN110659545A (zh) 2020-01-07
CN110659545B true CN110659545B (zh) 2023-11-14

Family

ID=69027038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712964.7A Active CN110659545B (zh) 2018-06-29 2018-06-29 车辆识别模型的训练方法、车辆识别方法、装置和车辆

Country Status (1)

Country Link
CN (1) CN110659545B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310660A (zh) * 2020-02-14 2020-06-19 开易(北京)科技有限公司 用于adas场景的目标检测虚警抑制方法及装置
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
CN111582221A (zh) * 2020-05-19 2020-08-25 北京汽车股份有限公司 车道线识别方法、装置和设备
CN113095266A (zh) * 2021-04-19 2021-07-09 北京经纬恒润科技股份有限公司 一种角度识别方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438334A (zh) * 2006-03-03 2009-05-20 因瑞克斯有限公司 未来交通状况的动态时序预测
CN102110365A (zh) * 2009-12-28 2011-06-29 日电(中国)有限公司 基于时空关系的路况预测方法和系统
WO2014125802A1 (en) * 2013-02-12 2014-08-21 Zenrin Co., Ltd. New road detection logic
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院(吴江) 基于深度学习和单目视觉的距离空间重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438334A (zh) * 2006-03-03 2009-05-20 因瑞克斯有限公司 未来交通状况的动态时序预测
CN102110365A (zh) * 2009-12-28 2011-06-29 日电(中国)有限公司 基于时空关系的路况预测方法和系统
WO2014125802A1 (en) * 2013-02-12 2014-08-21 Zenrin Co., Ltd. New road detection logic
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院(吴江) 基于深度学习和单目视觉的距离空间重建方法

Also Published As

Publication number Publication date
CN110659545A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110659545B (zh) 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN104035439B (zh) 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN109977776A (zh) 一种车道线检测方法、装置及车载设备
WO2012086821A1 (ja) 測位装置、測位方法
Hinz Detection and counting of cars in aerial images
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
Mahmood et al. Detection of vehicle with Infrared images in Road Traffic using YOLO computational mechanism
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
WO2011065399A1 (ja) 走路認識装置、車両、走路認識方法及び走路認識プログラム
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN116433715A (zh) 基于多传感器前融合结果的时序追踪方法、装置及介质
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator
CN117218613B (zh) 一种车辆抓拍识别系统及方法
CN114882469B (zh) 一种基于dl-ssd模型的交通标志检测方法及系统
WO2023178525A1 (en) Apparatus and method for tracking of extended objects
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant