CN108241822A - 一种车辆类型的识别方法及装置 - Google Patents

一种车辆类型的识别方法及装置 Download PDF

Info

Publication number
CN108241822A
CN108241822A CN201611205173.2A CN201611205173A CN108241822A CN 108241822 A CN108241822 A CN 108241822A CN 201611205173 A CN201611205173 A CN 201611205173A CN 108241822 A CN108241822 A CN 108241822A
Authority
CN
China
Prior art keywords
vehicle
information
image
identified
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611205173.2A
Other languages
English (en)
Other versions
CN108241822B (zh
Inventor
杜磊
罗兵华
丛建亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201611205173.2A priority Critical patent/CN108241822B/zh
Publication of CN108241822A publication Critical patent/CN108241822A/zh
Application granted granted Critical
Publication of CN108241822B publication Critical patent/CN108241822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种车辆类型的识别方法及装置,该方法包括:获得包含待识别车辆的第一图像;从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息;利用预设的目标检测模型以及第一位置信息对应的车顶区域的图像,确定待识别车辆的类型。可见,通过检测待识别车辆的车顶区域的图像,自动识别出该待识别车辆的类型。进一步的,为公共交通部门对车辆的管理提供了便利。

Description

一种车辆类型的识别方法及装置
技术领域
本发明涉及智能交通技术领域,特别是涉及一种车辆类型的识别方法及装置。
背景技术
在公共交通中,不同类型的车辆扮演着不同的角色,例如:用于执法的警车、用于救护病人的救护车和用于服务民众的出租车等等,上述具有公共用途的车辆在公共交通中扮演着重要的角色,并对广大人们的生活有着重要作用。因此,对上述具有公共用途的车辆的检测,是公共交通等有关部门的重点关注对象。
现有的对车辆识别的方法中,例如对车辆车牌的识别、对车辆车窗的识别以及对车辆车头的识别,均不能准确的识别出上述具有公共用途的车辆的类型,无法对上述具有公共用途的车辆的类型进行很好的管理。那么如何识别出上述具有公共用途的车辆的类型成为亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种车辆类型的识别方法及装置,以实现对车辆的类型的识别。具体技术方案如下:
一方面,本发明实施例提供了一种车辆类型的识别方法,所述方法包括:
获得包含待识别车辆的第一图像;
从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
根据所述车牌位置信息、所述车头位置信息以及所述车窗位置信息中的至少一个,确定所述待识别车辆的车顶区域的第一位置信息;
利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型。
可选的,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所获得的车牌位置信息,确定所述待识别车辆的车顶区域的第一位置子信息;
根据所获得的车头位置信息,确定所述待识别车辆的车顶区域的第二位置子信息;
根据所获得的车窗位置信息,确定所述待识别车辆的车顶区域的第三位置子信息;
根据所述第一位置子信息、所述第二位置子信息和所述第三位置子信息,确定所述待识别车辆的车顶区域的第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
获得所述车窗位置信息的第一状态信息,判断所述车窗位置信息是否有效;
当判断所述车窗位置信息为有效时,根据所述车窗位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车窗位置信息为无效时,获得所述车头位置信息的第二状态信息,判断所述车头位置信息是否有效;
当判断所述车头位置信息为有效时,根据所述车头位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车头位置信息为无效时,获得所述车牌位置信息的第三状态信息,判断所述车牌位置信息是否有效;
当判断所述车牌位置信息为有效时,根据所述车牌位置信息,确定所述待识别车辆的车顶区域的第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆的车牌位置信息时,所述车牌位置信息包含所述待识别车辆的车牌区域的第一矩形框;
所述方法还包括:从所述第一图像中,获得所述第一矩形框的上边框或下边框的第一长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车牌位置信息,确定所述第一矩形框的第一中心点;
根据所述第一中心点,在所述第一图像中确定所述第一矩形框的上边框或下边框的第一垂直平分线;
将所述第一垂直平分线上与所述第一中心点相距第一距离的点,确定为所述车顶区域的第二中心点,其中,所述第一距离为所述第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定所述待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆的车头位置信息时,所述车头位置信息包含所述待识别车辆的车头区域的第三矩形框;
所述方法还包括:获得所述第三矩形框的上边框的第二长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车头位置信息,确定所述第三矩形框的上边框的第三中心点;
根据所述第三中心点,在所述第一图像中确定所述第三矩形框的上边框的第二垂直平分线;
将所述第二垂直平分线上与所述第三中心点相距第二距离的点,确定为所述车顶区域的第四矩形框的下边框的第四中心点,其中,所述第二距离为所述第二长度信息与第二预设值的乘积;
利用所述第四中心点以及所述第二长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第四矩形框。
可选的,在从所述第一图像中获得所述待识别车辆的车窗位置信息时,所述车窗位置信息包含所述待识别车辆的车窗区域的梯形框;
所述方法还包括:
获得所述梯形框的上边框的第三长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车窗位置信息,确定所述梯形框的上边框的第五中心点;
根据所述第五中心点,在所述第一图像中确定所述梯形框的上边框的第三垂直平分线;
将所述第三垂直平分线上与所述第五中心点相距第三距离的点,确定为所述车顶区域的第五矩形框的下边框的第六中心点,其中,所述第三距离为所述第三长度信息与第三预设值的乘积;
根据所述第六中心点以及所述第三长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第五矩形框。
可选的,所述预设的目标检测模型为Faster RCNN目标检测模型;
所述方法还包括建立目标检测模型的过程,所述过程包括:
获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,所述正样本车辆至少包括警车、出租车和救护车,所述负样本车辆包括除所述正样本车辆外的其他机动车辆;
获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,所述分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;
获得分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像的标定结果;
根据所述标定结果,分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,所述Faster RCNN目标检测模型中包含所述第一子车顶图像对应的第一警车类型卷积核、所述第二子车顶图像对应的第一出租车类型卷积核、所述第三子车顶图像对应的第一救护车类型卷积核中以及所述第四子车顶图像对应的第一其他机动车辆类型卷积核。
可选的,所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤,包括:
将所述第一图像输入所述Faster RCNN目标检测模型中,所述Faster RCNN目标检测模型根据训练所得的所述第一警车类型卷积核、所述第一出租车类型卷积核、所述第一救护车类型卷积核以及所述第一其他机动车辆类型卷积核,确定所述第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定所述顶灯的类型;输出所述顶灯的类型;
获得所输出的所述顶灯的类型;
根据所述顶灯的类型,确定所述待识别车辆的类型。
可选的,所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,所述方法还包括:
当确定所述待识别车辆的类型为警车类型时,将所述第一图像输入已设置的卷积神经网络CNN警车分类模型中,所述CNN警车分类模型根据所包含的第二警车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当所述第一验证结果为是时,验证确定所述待识别车辆的类型为警车类型;
当确定所述待识别车辆的类型为出租车类型时,将所述第一图像输入已设置的CNN出租车分类模型中,所述CNN出租车分类模型根据所包含的第二出租车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当所述第二验证结果为是时,验证确定所述待识别车辆的类型为出租车类型;
当确定所述待识别车辆的类型为救护类型时,将所述第一图像输入已设置的CNN救护车分类模型中,所述CNN救护车分类模型根据所包含的第二救护车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当所述第三验证结果为是时,验证确定所述待识别车辆的类型为救护车类型。
另一方面,本发明实施例还提供了一种车辆类型的识别装置,所述装置包括:
第一获得模块,用于获得包含待识别车辆的第一图像;
第二获得模块,用于从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
信息确定模块,用于根据所述车牌位置信息、所述车头位置信息以及所述车窗位置信息中的至少一个,确定所述待识别车辆的车顶区域的第一位置信息;
检测确定模块,用于利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型。
可选的,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块包括第一确定单元、第二确定单元、第三确定单元和第四确定单元;
所述第一确定单元,用于根据所获得的车牌位置信息,确定所述待识别车辆的车顶区域的第一位置子信息;
所述第二确定单元,用于根据所获得的车头位置信息,确定所述待识别车辆的车顶区域的第二位置子信息;
所述第三确定单元,用于根据所获得的车窗位置信息,确定所述待识别车辆的车顶区域的第三位置子信息;
所述第四确定单元,用于根据所述第一位置子信息、所述第二位置子信息和所述第三位置子信息,确定所述待识别车辆的车顶区域的第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块,具体用于获得所述车窗位置信息的第一状态信息,判断所述车窗位置信息是否有效;
当判断所述车窗位置信息为有效时,根据所述车窗位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车窗位置信息为无效时,获得所述车头位置信息的第二状态信息,判断所述车头位置信息是否有效;
当判断所述车头位置信息为有效时,根据所述车头位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车头位置信息为无效时,获得所述车牌位置信息的第三状态信息,判断所述车牌位置信息是否有效;
当判断所述车牌位置信息为有效时,根据所述车牌位置信息,确定所述待识别车辆的车顶区域的第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆的车牌位置信息时,所述车牌位置信息包含所述待识别车辆的车牌区域的第一矩形框;
所述装置还包括第三获得模块;
所述第三获得模块,用于从所述第一图像中,获得所述第一矩形框的上边框或下边框的第一长度信息;
所述信息确定模块,具体用于根据所述车牌位置信息,确定所述第一矩形框的第一中心点;
根据所述第一中心点,在所述第一图像中确定所述第一矩形框的上边框或下边框的第一垂直平分线;
将所述第一垂直平分线上与所述第一中心点相距第一距离的点,确定为所述车顶区域的第二中心点,其中,所述第一距离为所述第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定所述待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
可选的,在从所述第一图像中获得所述待识别车辆的车头位置信息时,所述车头位置信息包含所述待识别车辆的车头区域的第三矩形框;
所述装置还包括第四获得模块;
所述第四获得模块,用于获得所述第三矩形框的上边框的第二长度信息;
所述信息确定模块,用于根据所述车头位置信息,确定所述第三矩形框的上边框的第三中心点;
根据所述第三中心点,在所述第一图像中确定所述第三矩形框的上边框的第二垂直平分线;
将所述第二垂直平分线上与所述第三中心点相距第二距离的点,确定为所述车顶区域的第四矩形框的下边框的第四中心点,其中,所述第二距离为所述第二长度信息与第二预设值的乘积;
利用所述第四中心点以及所述第二长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第四矩形框。
可选的,在从所述第一图像中获得所述待识别车辆的车窗位置信息时,所述车窗位置信息包含所述待识别车辆的车窗区域的梯形框;
所述装置还包括第五获得模块;
所述第五获得模块,用于获得所述梯形框的上边框的第三长度信息;
所述信息确定模块,用于根据所述车窗位置信息,确定所述梯形框的上边框的第五中心点;
根据所述第五中心点,在所述第一图像中确定所述梯形框的上边框的第三垂直平分线;
将所述第三垂直平分线上与所述第五中心点相距第三距离的点,确定为所述车顶区域的第五矩形框的下边框的第六中心点,其中,所述第三距离为所述第三长度信息与第三预设值的乘积;
根据所述第六中心点以及所述第三长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第五矩形框。
可选的,所述预设的目标检测模型为Faster RCNN目标检测模型;
所述装置还包括建立目标检测模型的模型建立模块,所述模型建立模块包括第一获得单元、第二获得单元、第五确定单元、第三获得单元、第四获得单元和训练单元;
所述第一获得单元,用于获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,所述正样本车辆至少包括警车、出租车和救护车,所述负样本车辆包括除所述正样本车辆外的其他机动车辆;
所述第二获得单元,用于获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
所述第五确定单元,用于根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
所述第三获得单元,用于获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,所述分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;
所述第四获得单元,用于获得分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像的标定结果;
所述训练单元,用于根据所述标定结果,分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,所述Faster RCNN目标检测模型中包含所述第一子车顶图像对应的第一警车类型卷积核、所述第二子车顶图像对应的第一出租车类型卷积核、所述第三子车顶图像对应的第一救护车类型卷积核中以及所述第四子车顶图像对应的第一其他机动车辆类型卷积核。
可选的,所述检测确定模块,具体用于将所述第一图像输入所述Faster RCNN目标检测模型中,所述Faster RCNN目标检测模型根据训练所得的所述第一警车类型卷积核、所述第一出租车类型卷积核、所述第一救护车类型卷积核以及所述第一其他机动车辆类型卷积核,确定所述第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定所述顶灯的类型;输出所述顶灯的类型;
获得所输出的所述顶灯的类型;
根据所述顶灯的类型,确定所述待识别车辆的类型。
可选的,所述装置还包括第一验证确定模块、第二验证确定模块、第三验证确定模块;
所述第一验证确定模块,用于所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,当确定所述待识别车辆的类型为警车类型时,将所述第一图像输入已设置的卷积神经网络CNN警车分类模型中,所述CNN警车分类模型根据所包含的第二警车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当所述第一验证结果为是时,验证确定所述待识别车辆的类型为警车类型;
所述第二验证确定模块,用于当确定所述待识别车辆的类型为出租车类型时,将所述第一图像输入已设置的CNN出租车分类模型中,所述CNN出租车分类模型根据所包含的第二出租车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当所述第二验证结果为是时,验证确定所述待识别车辆的类型为出租车类型;
所述第三验证确定模块,用于当确定所述待识别车辆的类型为救护类型时,将所述第一图像输入已设置的CNN救护车分类模型中,所述CNN救护车分类模型根据所包含的第二救护车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当所述第三验证结果为是时,验证确定所述待识别车辆的类型为救护车类型。
本发明实施例中,获得包含待识别车辆的第一图像;从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息;利用预设的目标检测模型以及第一位置信息对应的车顶区域的图像,确定待识别车辆的类型。可见,通过检测待识别车辆的车顶区域的图像,可以自动识别出该待识别车辆的类型。进一步的,为公共交通部门对车辆的管理提供了便利。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车辆类型的识别方法的流程示意图;
图2A为确定车顶区域的一种示意图;
图2B为确定车顶区域的另一种示意图;
图2C为确定车顶区域的另一种示意图;
图2D为目标检测模型的确定过程的一种流程示意图;
图3为本发明实施例提供的一种车辆类型的识别装置的结构示意图;
图4为模型建立模块的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种车辆类型的识别方法及装置,以实现对车辆的类型的识别。
下面首先对本发明实施例所提供的一种车辆类型的识别方法进行介绍。
如图1所示,本发明实施例提供了一种车辆类型的识别方法,可以包括步骤:
S101:获得包含待识别车辆的第一图像;
可以理解的是,本发明实施例所提供的车辆类型的识别方法可以应用于任一电子设备中。利用现有技术获得包含待识别车辆的第一图像。获得该第一图像后,为了便于后续的对第一图像中所包含的待识别车辆的识别,可以先利用现有技术对该第一图像进行预处理,例如:降噪处理、二值化处理等等。
S102:从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
当第一图像中仅包含待识别车辆的车牌时,利用现有技术,从第一图像中识别出待识别车辆的车牌所在区域,即车牌区域,获得该车牌所在区域在该第一图像中的车牌位置信息;
当第一图像中仅包含待识别车辆的车头时,利用现有技术,从第一图像中识别出待识别车辆的车头所在区域,即车头区域,获得该车头所在区域在该第一图像中的车头位置信息;
当第一图像中仅包含待识别车辆的车窗时,利用现有技术,从第一图像中识别出待识别车辆的车窗所在区域,即车窗区域,获得该车窗所在区域在该第一图像中的车窗位置信息。
当第一图像中包含待识别车辆的车牌、车头和车窗时,可以任意获得上述三者中的其中一个所在区域的位置信息,或者,可以分别获得上述三者中的其中两个所在区域的位置信息,或者,可以分别获得上述三者的所在区域的位置信息,这都是可以的。
S103:根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息;
当获得上述三者中的一个时,仅能根据所获得的信息,确定待识别车辆的车顶区域的第一位置信息。当获得上述三者中的两个时,可以根据所获得的两个信息,共同确定待识别车辆的车顶区域的第一位置信息,或者根据所获得的两个信息中的任意一个信息,确定待识别车辆的车顶区域的第一位置信息。当获得上述三者中的三个时,可以利用三者共同确定待识别车辆的车顶区域的第一位置信息,也可以利用其中的任意两者共同确定待识别车辆的车顶区域的第一位置信息,也可以利用其中的一者确定待识别车辆的车顶区域的第一位置信息,这都是可以的。
其中,利用上述三者共同确定待识别车辆的车顶区域的第一位置信息时,所确定的第一位置信息会更加准确。在一种实现方式中,在从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;所述确定待识别车辆的车顶区域的第一位置信息的步骤,可以包括:
根据所获得的车牌位置信息,确定待识别车辆的车顶区域的第一位置子信息;
根据所获得的车头位置信息,确定待识别车辆的车顶区域的第二位置子信息;
根据所获得的车窗位置信息,确定待识别车辆的车顶区域的第三位置子信息;
根据第一位置子信息、第二位置子信息和第三位置子信息,确定待识别车辆的车顶区域的第一位置信息。
可以理解的是,在利用车牌位置信息、车头位置信息以及车窗位置信息三者共同确定第一位置信息时,可以取上述三者所确定的位置子信息(包括第一位置子信息、第二位置子信息和第三位置子信息)的交集,也可以取上述三者所确定的位置子信息的并集,这都是可以的。
另外的,在确定车牌位置信息、车头位置信息以及车窗位置信息时,可能会出现相应的识别算法出现错误的情况,即可能出现所确定出的车牌位置信息、车头位置信息以及车窗位置信息为无效的情况,此时,在确定待识别车辆的车顶区域的第一位置信息之前,需要判断所获得的车牌位置信息是否有效、所获得的车头位置信息是否有效、所获得的车窗位置信息是否有效,进而,仅利用有效的信息确定第一位置信息。在一种实现方式中,在从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息的步骤,可以包括:
获得车窗位置信息的第一状态信息,判断车窗位置信息是否有效;
当判断车窗位置信息为有效时,根据车窗位置信息,确定待识别车辆的车顶区域的第一位置信息;
当判断车窗位置信息为无效时,获得车头位置信息的第二状态信息,判断车头位置信息是否有效;
当判断车头位置信息为有效时,根据车头位置信息,确定待识别车辆的车顶区域的第一位置信息;
当判断车头位置信息为无效时,获得车牌位置信息的第三状态信息,判断车牌位置信息是否有效;
当判断车牌位置信息为有效时,根据车牌位置信息,确定待识别车辆的车顶区域的第一位置信息。
其中,上述的第一状态信息、第二状态信息和第三状态信息均可以利用现有技术获得,在此不做赘述。在根据车窗位置信息、车头位置信息以及车牌位置信息中的至少一个,确定第一位置信息时,可以使用一定的策略,较优的,当车窗位置信息为有效时,可以优先根据车窗位置信息,确定第一位置信息,此时,可以不再获得车头位置信息以及车牌位置信息;当车窗位置信息无效时,根据车头位置信息,确定第一位置信息,此时,可以不再获得车牌位置信息;当车窗位置信息与车头位置信息都无效时,根据车牌位置信息,确定第一位置信息。其中,本发明实施例并不限定判断车窗位置信息、车头位置信息以及车牌位置信息是否有效的顺序。
需要强调的是,在判断车窗位置信息为有效时,可以先不根据车窗信息确定第一位置信息,继续获得车头位置信息的第二状态信息,判断车头位置信息是否有效;当车头位置信息为有效时,继续获得车牌位置信息的第三状态信息,判断车牌位置信息是否有效;当车牌位置信息为有效时,根据车窗位置信息、车头位置信息以及车牌位置信息,共同确定第一位置信息,这也是可以的。
在一种实现方式中,在从第一图像中获得待识别车辆的车牌位置信息时,车牌位置信息包含待识别车辆的车牌区域的第一矩形框,
所述方法还可以包括:
从第一图像中,获得待识别车辆的第一矩形框的上边框或下边框的第一长度信息;
所述确定待识别车辆的车顶区域的第一位置信息的步骤,可以包括:
根据车牌位置信息,确定第一矩形框的第一中心点;
根据第一中心点,在第一图像中确定第一矩形框的上边框或下边框的第一垂直平分线;
将第一垂直平分线上与第一中心点相距第一距离的点,确定为车顶区域的第二中心点,其中,第一距离为第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
如图2A所示,在第一图像中,车牌区域的第一矩形框为A1B1C1D1,获得第一矩形框的上边框或下边框的第一长度信息,即图2A中的A1B1或C1D1的长度,用width1标识,根据车牌位置信息(即第一矩形框A1B1C1D1),确定车牌区域的第一矩形框的第一中心点O1,通过第一中心点O1,作与第一矩形框的上边框或下边框垂直的直线,该直线为第一垂直平分线,如图2A中的虚线;
在第一垂直平分线上,确定与车牌的第一中心点O1相距第一距离D1长度的点O2,如图2A所示,该点O2即为车顶区域的第二中心点;
其中,第一距离D1=a1*width1,系数a1为第一预设值,系数a1由用户在所收集的包含车辆的图像中测量统计得到,a1的取值范围可以为3.8~5.8,较优的,a1可以为4.8;
确定车顶区域的第二中心点O2后,利用第二中心点O2以及第一长度信息width1,确定第一位置信息,具体为,通过公式:dist_h1=b1*width1,dist_w1=c1*width1,分别计算出第二中心点O2距离车顶区域对应的第二矩形框的上下边框的距离和左右边框的距离;其中,dist_h1为第二中心点O2距离车顶区域对应的第二矩形框的上下边框的长度,dist_w1为车顶区域的第二中心点O2距离车顶区域对应的第二矩形框的左右边框的长度;其中,系数b1、c1均为预定的数值,由用户在所收集的包含车辆的图像中测量统计得到,b1的取值范围可以为0.8~2.8,较优的,b1可以为1.8;c1的取值范围可以为0.8~2.8,较优的,c1可以为1.8;
结合车顶区域的第二中心点O2、第二中心点O2距离车顶区域对应的第二矩形框上下边框的长度dist_h1、第二中心点O2距离车顶区域对应的第二矩形框的左右边框的长度dist_w1,确定出车顶区域对应的第二矩形框E1F1N1M1,将第二矩形框E1F1N1M1对应的位置信息,确定为待识别车辆的车顶区域的第一位置信息。
在一种实现方式中,在从第一图像中获得待识别车辆的车头位置信息时,其中,车头位置信息包含待识别车辆的车头区域的第三矩形框;
所述方法还可以包括:
获得第三矩形框的上边框的第二长度信息;
所述确定待识别车辆的车顶区域的第一位置信息的步骤,可以包括:
根据车头位置信息,确定第三矩形框的上边框的第三中心点;
根据所述第三中心点,在第一图像中确定第三矩形框的上边框的第二垂直平分线;
将第二垂直平分线上与第三中心点相距第二距离的点,确定为车顶区域的第四矩形框的下边框的第四中心点,其中,第二距离为第二长度信息与第二预设值的乘积;
利用第四中心点以及第二长度信息,确定待识别车辆的车顶区域的第一位置信息,其中,第一位置信息对应第四矩形框。
如图2B所示,在第一图像中,获得待识别车辆的车头区域的第三矩形框A2B2C2D2的上边框A2B2的第二长度信息width2;确定该上边框A2B2的第三中心点O3,根据第三中心点O3,在第一图像上作第三矩形框的上边框A2B2的第二垂直平分线,如图2B中的虚线;
确定第二垂直平分线上距离第三中心点O3第二距离D2的点,为车顶区域的第四矩形框的下边框的第四中心点O4,如图2B所示;
其中,第二距离D2=a2*width2,a2为第二预设值,由用户在所收集的包含车辆的图像中测量统计得到,a2的取值范围可以为0.2~0.3,较优的,a2可以为0.25;
确定第四中心点O4后,利用第四中心点以及第三矩形框A2B2C2D2的上边框A2B2的长度信息,确定待识别车辆的车顶区域的第一位置信息,具体的,通过公式:dist_h2=b2*width2,dist_w2=c2*width2,分别计算出第四中心点O4距离车顶区域的第四矩形框上边框和左右边框的距离,其中,dist_h2为第四中心点O4距离车顶区域的第四矩形框的上边框的长度,dist_w2为第四中心点O4距离车顶区域的第四矩形框的左右边框的长度,系数b2、c2为预定的数值,由用户在所收集的包含车辆的图像中测量统计得到,b2的取值范围可以为0.6~0.7,较优的,b2可以为0.67;c2的取值范围可以为0.3~0.4,较优的,c2可以为0.33;
结合第四中心点O4、第四中心点O4距离车顶区域的第四矩形框的上边框的长度dist_h2、第四中心点O4距离车顶区域的第四矩形框的左右边框的长度dist_w2,确定出车顶区域的第四矩形框的位置信息,将第四矩形框的位置信息确定为车顶区域的第一位置信息,即图2B中的第四矩形框E2F2N2M2。
其中,在根据车头信息确定车顶区域的第一位置信息时,还可以利用第三矩形框的下边框C2D2的长度信息,并根据第三矩形框的下边框确定车顶区域的第一位置信息。
在一种实现方式中,在从第一图像中获得待识别车辆的车窗位置信息时,车窗位置信息包含待识别车辆的车窗区域的梯形框;
所述方法还可以包括:
获得梯形框的上边框的第三长度信息;
所述确定待识别车辆的车顶区域的第一位置信息的步骤,可以包括:
根据车窗位置信息,确定梯形框的上边框的第五中心点;
根据第五中心点,在第一图像中确定梯形框的上边框的第三垂直平分线;
将第三垂直平分线上与第五中心点相距第三距离的点,确定为车顶区域的第五矩形框的下边框的第六中心点,其中,第三距离为第三长度信息与第三预设值的乘积;
根据第六中心点以及第三长度信息,确定待识别车辆的车顶区域的第一位置信息,其中,第一位置信息对应第五矩形框。
如图2C所示,梯形框A3B3C3D3为车窗位置信息对应的车窗区域,在第一图像中,获得梯形框的上边框A3D3的第三长度信息width3,根据车窗位置信息,确定梯形框的上边框的第五中心点O5,如图2C所示;
根据第五中心点O5,在第一图像中作梯形框的上边框的第三垂直平分线,即图2C中的虚线;
确定该第三垂直平分线上与第五中心点距离第三距离D3的点,为车顶区域的第五矩形框的下边框的第六中心点O6;
其中,第三距离D3=a3*width3,系数a3为第三预设值,由用户在所收集的包含车辆的图像中测量统计得到,a3的取值范围可以为0.15~0.25,较优的,a2可以为0.2;
确定获取车顶区域的第五矩形框的下边框的第六中心点O6后,利用第六中心点以及第三长度信息,确定车顶区域的第一位置信息,具体的,通过公式:dist_h3=b3*width3,dist_w3=c 3*width3,分别计算出第六中心点O6距离车顶区域的第五矩形框的上边框和左右边框的距离,其中,dist_h3为第六中心点O6距离车顶区域的第五矩形框的上边框的长度,dist_w3为第六中心点O6距离车顶区域的第五矩形框的左右边框的长度,其中,系数b3、c3预定的数值,由用户在所收集的包含车辆的图像中测量统计得到,b3的取值范围可以为0.8~0.9,较优的,b3可以为0.83;c3的取值范围可以为0.8~0.9,较优的,c3可以为0.83;
根据第六中心点O6、第六中心点O6距离车顶区域的第五矩形框的上边框的长度dist_h3、第六中心点O6距离车顶区域的第五矩形框的左右边框的长度dist_w3,确定出车顶区域的第五矩形框的位置信息,将第五矩形框的位置信息确定为车顶区域的第一位置信息,如图2C所示的E3F3N3M3。
其中,还可以根据梯形框的下边框B3C3的长度信息以及中心点,确定车顶区域的第一位置信息,这也是可以的。
S104:利用预设的目标检测模型以及第一位置信息对应的车顶区域的图像,确定待识别车辆的类型。
利用预设的目标检测模型,检测待识别车辆的车顶区域的图像,根据车顶区域的图像,确定待识别车辆的类型。例如:当检测到待识别车辆的车顶区域包含顶灯时,利用预设的目标检测模型可以确定所包含顶灯的类型,进一步的,根据顶灯的类型,确定待识别车辆的类型。其中,可以是利用目标检测模型中所包含的卷积核,与车顶区域所提取出的特征信息进行匹配,根据匹配结果,确定顶灯的类型,进一步的根据顶灯的类型,确定待识别车辆的类型,其中,该卷积核根据各类型的顶灯的特征信息生成。
应用本发明实施例,获得包含待识别车辆的第一图像;从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息;利用预设的目标检测模型以及第一位置信息对应的车顶区域的图像,确定待识别车辆的类型。可见,通过检测待识别车辆的车顶区域的图像,可以自动识别出该待识别车辆的类型。进一步的,为公共交通部门对车辆的管理提供了便利。
在一种实现方式中,如图2D所示,预设的目标检测模型可以为Faster RCNN(FasterRegion Convolutional Neural Network)目标检测模型;
所述方法还可以包括建立目标检测模型过程,该过程可以为:
S201:获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,正样本车辆至少包括警车、出租车和救护车,负样本车辆包括除正样本车辆外的其他机动车辆;
S202:获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
S203:根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
S204:获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除正样本车辆外的其他机动车辆类型的第四子车顶图像;
S205:获得分别对第一子车顶图像、第二子车顶图像、第三子车顶图像以及第四子车顶图像的标定结果;
S206:根据标定结果,分别对第一子车顶图像、第二子车顶图像、第三子车顶图像以及第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,Faster RCNN目标检测模型中包含第一子车顶图像对应的第一警车类型卷积核、第二子车顶图像对应的第一出租车类型卷积核、第三子车顶图像对应的第一救护车类型卷积核中以及第四子车顶图像对应的第一其他机动车辆类型卷积核。
可以利用现有技术获得包含正样本车辆的第二图像,以及包含负样本车辆的第三图像。在一种实现方式中,可能会出现某些图像中除包含正样本车辆外,还可能包含负样本车辆,此时,该类图像既可以作为第二图像,又可以作为第三图像。其中,由于包含正样本车辆的第二图像不易获得,该第二图像的数量达到一定数量即可,但需保证包含各类型的正样本车辆,例如:警车、出租车和救护车,并且,从所获得的第二图像中所确定出的警车、出租车和救护车的数量大致相等。另外的,正样本车辆还可以包含消防车等等,本发明实施例并不对正样本车辆的类型进行限定。
利用上述确定车顶区域的第一位置信息的方式,确定每一第二图像中所包含的正样本车辆的车顶区域的第二位置信息,以及确定每一第三图像中所包含的负样本车辆的车顶区域的第三位置信息;并根据每一第二位置信息,从对应的第二图像中截取仅包含车顶区域的第一车顶图像;根据每一第三位置信息,从对应的第三图像中截取仅包含车顶区域的第二车顶图像;在实际中,一张图像中可能包含两辆车辆,截取获得仅包含车顶区域的车顶图像(包含第一车顶图像和第二车顶图像),可以防止两辆车辆的车顶区域的相互影响。
获得第一车顶图像和第二车顶图像后,可以由用户对第一车顶图像和第二车顶图像进行人工分类,分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;并对各类结果包含的图像进行人工标定,其中,标定过程为:对于包含正样本车辆的第一子车顶图像、第二子车顶图像以及第三子车顶图像,对应标定出包含完整的顶灯的矩形区域;对于包含负样本车辆的第四子车顶图像,仅需标出包含车顶区域的中心位置的矩形区域即可。另外,对于包含负样本车辆的第四子车顶图像可通过程序自动标定完成。
将标定后的第一子车顶图像、第二子车顶图像、第三子车顶图像以及第四子车顶图像进行Faster RCNN目标检测训练,在训练过程中,仅训练车顶图像中所标定的矩形区域中的图像,例如:仅提取矩形区域中的图像的特征信息,并根据所提取的特征信息训练得到包含第一子车顶图像对应的第一警车类型卷积核、第二子车顶图像对应的第一出租车类型卷积核、第三子车顶图像对应的第一救护车类型卷积核中以及第四子车顶图像对应的第一其他机动车辆类型卷积核Faster RCNN目标检测模型。
后续的,可以根据训练所得的模型,对待识别车辆的车顶区域进行检测识别,在一种实现方式中,所述利用预设的目标检测模型以及所述第一位置信息,确定所述待识别车辆的类型的步骤,可以包括:
将第一图像输入Faster RCNN目标检测模型中,Faster RCNN目标检测模型根据训练所得的第一警车类型卷积核、第一出租车类型卷积核、第一救护车类型卷积核以及第一其他机动车辆类型卷积核,确定第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定顶灯的类型;输出顶灯的类型;
获得所输出的顶灯的类型;
根据顶灯的类型,确定待识别车辆的类型。
将第一图像输入Faster RCNN目标检测模型中后,该Faster RCNN目标检测模型根据第一位置信息,提取车顶区域的图像的特征信息,并将该特征信息与Faster RCNN目标检测模型所包含的第一警车类型卷积核、第一出租车类型卷积核、第一救护车类型卷积核以及第一其他机动车辆类型卷积核进行匹配,进而确定第一图像的车顶区域中是否存在顶灯,并且确定顶灯的类型,进行下一步,确定待识别车辆的类型,并输出。其中,Faster RCNN目标检测模型是基于深度学习RCNN系列目标检测的模型,是一个CNN网络实现端到端目标检测的框架。其中的R对应于Region,即区域。
由于实际应用中对车辆类型的识别精度要求较高,而单独用Faster RCNN目标检测模型进行识别可能存在误识别的情况。因此,本发明实施例引入CNN(ConvolutionalNeural Network,卷积神经网络)分类模型与Faster RCNN目标检测模型联合使用的策略,两者联合使用,以提高车辆类型的检测识别精度。在一种实现方式中,所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,所述方法还可以包括:
当确定待识别车辆的类型为警车类型时,将第一图像输入已设置的CNN警车分类模型中,CNN警车分类模型根据所包含的第二警车类型卷积核以及第一位置信息,对待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当第一验证结果为是时,验证确定待识别车辆的类型为警车类型;
当确定待识别车辆的类型为出租车类型时,将第一图像输入已设置的CNN出租车分类模型中,CNN出租车分类模型根据所包含的第二出租车类型卷积核以及第一位置信息,对待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当第二验证结果为是时,验证确定待识别车辆的类型为出租车类型;
当确定待识别车辆的类型为救护类型时,将第一图像输入已设置的CNN救护车分类模型中,CNN救护车分类模型根据所包含的第二救护车类型卷积核以及第一位置信息,对待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当第三验证结果为是时,验证确定待识别车辆的类型为救护车类型。
利用现有的CNN模型,可以很好提取出各子车顶图像(包括第一子车顶图像、第二子车顶图像和第三子车顶图像)中标定的矩形区域对应的图像的特征信息,并根据所提取的特征信息确定相应的卷积核,进行保存。后续的,在获得包含未知类型的待识别车辆的车顶区域的图像时,可以直接提取车顶区域的图像的特征信息并与相应的卷积核进行匹配,从而验证车顶区域的图像中的顶灯的类型,进一步验证待识别车辆的类型。通过双层检测识别,可以提高车辆类型识别的精度。
可以利用卷积神经网络CNN模型,分别训练上述标定好的包含正样本车辆的第一子车顶图像、第二子车顶图像以及第三子车顶图像,得到上述的分类模型;例如:利用卷积神经网络CNN模型,对所获得的警车类型的第一子车顶图像进行训练,确定包含第二警车类型卷积核的CNN警车分类模型;利用CNN模型,对所获得的出租车类型的第二子车顶图像进行训练,确定包含第二出租车类型卷积核的CNN出租车分类模型;利用CNN模型,对所获得的救护车类型的第三车顶图像进行训练,确定包含第二救护车类型卷积核的CNN救护车分类模型。
本发明实施例可以自动根据车顶区域的图像,确定车辆的类型,减少了人工成本、提升了工作效率,对促进交通管理、维护交通安全等方面起到了很大的推进作用。
相应于上述方法实施例,本发明实施例提供了一种车辆类型的识别装置,如图3所示,所述装置可以包括:
第一获得模块310,用于获得包含待识别车辆的第一图像;
第二获得模块320,用于从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
信息确定模块330,用于根据所述车牌位置信息、所述车头位置信息以及所述车窗位置信息中的至少一个,确定所述待识别车辆的车顶区域的第一位置信息;
检测确定模块340,用于利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型。
应用本发明实施例,获得包含待识别车辆的第一图像;从第一图像中获得待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;根据车牌位置信息、车头位置信息以及车窗位置信息中的至少一个,确定待识别车辆的车顶区域的第一位置信息;利用预设的目标检测模型以及第一位置信息对应的车顶区域的图像,确定待识别车辆的类型。可见,通过检测待识别车辆的车顶区域的图像,可以自动识别出该待识别车辆的类型。进一步的,为公共交通部门对车辆的管理提供了便利。
在一种实现方式中,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块330包括第一确定单元、第二确定单元、第三确定单元和第四确定单元;
所述第一确定单元,用于根据所获得的车牌位置信息,确定所述待识别车辆的车顶区域的第一位置子信息;
所述第二确定单元,用于根据所获得的车头位置信息,确定所述待识别车辆的车顶区域的第二位置子信息;
所述第三确定单元,用于根据所获得的车窗位置信息,确定所述待识别车辆的车顶区域的第三位置子信息;
所述第四确定单元,用于根据所述第一位置子信息、所述第二位置子信息和所述第三位置子信息,确定所述待识别车辆的车顶区域的第一位置信息。
在一种实现方式中,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块330,具体用于获得所述车窗位置信息的第一状态信息,判断所述车窗位置信息是否有效;
当判断所述车窗位置信息为有效时,根据所述车窗位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车窗位置信息为无效时,获得所述车头位置信息的第二状态信息,判断所述车头位置信息是否有效;
当判断所述车头位置信息为有效时,根据所述车头位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车头位置信息为无效时,获得所述车牌位置信息的第三状态信息,判断所述车牌位置信息是否有效;
当判断所述车牌位置信息为有效时,根据所述车牌位置信息,确定所述待识别车辆的车顶区域的第一位置信息。
在一种实现方式中,在从所述第一图像中获得所述待识别车辆的车牌位置信息时,所述车牌位置信息包含所述待识别车辆的车牌区域的第一矩形框;
所述装置还包括可以第三获得模块;
所述第三获得模块,用于从所述第一图像中,获得所述第一矩形框的上边框或下边框的第一长度信息;
所述信息确定模块330,具体用于根据所述车牌位置信息,确定所述第一矩形框的第一中心点;
根据所述第一中心点,在所述第一图像中确定所述第一矩形框的上边框或下边框的第一垂直平分线;
将所述第一垂直平分线上与所述第一中心点相距第一距离的点,确定为所述车顶区域的第二中心点,其中,所述第一距离为所述第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定所述待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
在一种实现方式中,在从所述第一图像中获得所述待识别车辆的车头位置信息时,所述车头位置信息包含所述待识别车辆的车头区域的第三矩形框;
所述装置还可以包括第四获得模块;
所述第四获得模块,用于获得所述第三矩形框的上边框的第二长度信息;
所述信息确定模块330,用于根据所述车头位置信息,确定所述第三矩形框的上边框的第三中心点;
根据所述第三中心点,在所述第一图像中确定所述第三矩形框的上边框的第二垂直平分线;
将所述第二垂直平分线上与所述第三中心点相距第二距离的点,确定为所述车顶区域的第四矩形框的下边框的第四中心点,其中,所述第二距离为所述第二长度信息与第二预设值的乘积;
利用所述第四中心点以及所述第二长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第四矩形框。
在一种实现方式中,在从所述第一图像中获得所述待识别车辆的车窗位置信息时,所述车窗位置信息包含所述待识别车辆的车窗区域的梯形框;
所述装置还包括第五获得模块;
所述第五获得模块,用于获得所述梯形框的上边框的第三长度信息;
所述信息确定模块330,用于根据所述车窗位置信息,确定所述梯形框的上边框的第五中心点;
根据所述第五中心点,在所述第一图像中确定所述梯形框的上边框的第三垂直平分线;
将所述第三垂直平分线上与所述第五中心点相距第三距离的点,确定为所述车顶区域的第五矩形框的下边框的第六中心点,其中,所述第三距离为所述第三长度信息与第三预设值的乘积;
根据所述第六中心点以及所述第三长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第五矩形框。
在一种实现方式中,如图4所示,所述预设的目标检测模型为Faster RCNN目标检测模型;
所述装置还可以包括建立目标检测模型的模型建立模块400,所述模型建立模块400包括第一获得单元410、第二获得单元420、第五确定单元430、第三获得单元440、第四获得单元450和训练单元460;
所述第一获得单元410,用于获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,所述正样本车辆至少包括警车、出租车和救护车,所述负样本车辆包括除所述正样本车辆外的其他机动车辆;
所述第二获得单元420,用于获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
所述第五确定单元430,用于根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
所述第三获得单元440,用于获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,所述分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;
所述第四获得单元450,用于获得分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像的标定结果;
所述训练单元460,用于根据所述标定结果,分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,所述Faster RCNN目标检测模型中包含所述第一子车顶图像对应的第一警车类型卷积核、所述第二子车顶图像对应的第一出租车类型卷积核、所述第三子车顶图像对应的第一救护车类型卷积核中以及所述第四子车顶图像对应的第一其他机动车辆类型卷积核。
在一种实现方式中,所述检测确定模块340,具体用于将所述第一图像输入所述Faster RCNN目标检测模型中,所述Faster RCNN目标检测模型根据训练所得的所述第一警车类型卷积核、所述第一出租车类型卷积核、所述第一救护车类型卷积核以及所述第一其他机动车辆类型卷积核,确定所述第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定所述顶灯的类型;输出所述顶灯的类型;
获得所输出的所述顶灯的类型;
根据所述顶灯的类型,确定所述待识别车辆的类型。
在一种实现方式中,所述装置还可以包括第一验证确定模块、第二验证确定模块、第三验证确定模块;
所述第一验证确定模块,用于所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,当确定所述待识别车辆的类型为警车类型时,将所述第一图像输入已设置的卷积神经网络CNN警车分类模型中,所述CNN警车分类模型根据所包含的第二警车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当所述第一验证结果为是时,验证确定所述待识别车辆的类型为警车类型;
所述第二验证确定模块,用于当确定所述待识别车辆的类型为出租车类型时,将所述第一图像输入已设置的CNN出租车分类模型中,所述CNN出租车分类模型根据所包含的第二出租车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当所述第二验证结果为是时,验证确定所述待识别车辆的类型为出租车类型;
所述第三验证确定模块,用于当确定所述待识别车辆的类型为救护类型时,将所述第一图像输入已设置的CNN救护车分类模型中,所述CNN救护车分类模型根据所包含的第二救护车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当所述第三验证结果为是时,验证确定所述待识别车辆的类型为救护车类型。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (18)

1.一种车辆类型的识别方法,其特征在于,所述方法包括:
获得包含待识别车辆的第一图像;
从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
根据所述车牌位置信息、所述车头位置信息以及所述车窗位置信息中的至少一个,确定所述待识别车辆的车顶区域的第一位置信息;
利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型。
2.根据权利要求1所述的方法,其特征在于,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所获得的车牌位置信息,确定所述待识别车辆的车顶区域的第一位置子信息;
根据所获得的车头位置信息,确定所述待识别车辆的车顶区域的第二位置子信息;
根据所获得的车窗位置信息,确定所述待识别车辆的车顶区域的第三位置子信息;
根据所述第一位置子信息、所述第二位置子信息和所述第三位置子信息,确定所述待识别车辆的车顶区域的第一位置信息。
3.根据权利要求1所述的方法,其特征在于,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
获得所述车窗位置信息的第一状态信息,判断所述车窗位置信息是否有效;
当判断所述车窗位置信息为有效时,根据所述车窗位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车窗位置信息为无效时,获得所述车头位置信息的第二状态信息,判断所述车头位置信息是否有效;
当判断所述车头位置信息为有效时,根据所述车头位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车头位置信息为无效时,获得所述车牌位置信息的第三状态信息,判断所述车牌位置信息是否有效;
当判断所述车牌位置信息为有效时,根据所述车牌位置信息,确定所述待识别车辆的车顶区域的第一位置信息。
4.根据权利要求1所述的方法,其特征在于,
在从所述第一图像中获得所述待识别车辆的车牌位置信息时,所述车牌位置信息包含所述待识别车辆的车牌区域的第一矩形框;
所述方法还包括:从所述第一图像中,获得所述第一矩形框的上边框或下边框的第一长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车牌位置信息,确定所述第一矩形框的第一中心点;
根据所述第一中心点,在所述第一图像中确定所述第一矩形框的上边框或下边框的第一垂直平分线;
将所述第一垂直平分线上与所述第一中心点相距第一距离的点,确定为所述车顶区域的第二中心点,其中,所述第一距离为所述第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定所述待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
5.根据权利要求1所述的方法,其特征在于,
在从所述第一图像中获得所述待识别车辆的车头位置信息时,所述车头位置信息包含所述待识别车辆的车头区域的第三矩形框;
所述方法还包括:获得所述第三矩形框的上边框的第二长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车头位置信息,确定所述第三矩形框的上边框的第三中心点;
根据所述第三中心点,在所述第一图像中确定所述第三矩形框的上边框的第二垂直平分线;
将所述第二垂直平分线上与所述第三中心点相距第二距离的点,确定为所述车顶区域的第四矩形框的下边框的第四中心点,其中,所述第二距离为所述第二长度信息与第二预设值的乘积;
利用所述第四中心点以及所述第二长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第四矩形框。
6.根据权利要求1所述的方法,其特征在于,
在从所述第一图像中获得所述待识别车辆的车窗位置信息时,所述车窗位置信息包含所述待识别车辆的车窗区域的梯形框;
所述方法还包括:
获得所述梯形框的上边框的第三长度信息;
所述确定所述待识别车辆的车顶区域的第一位置信息的步骤,包括:
根据所述车窗位置信息,确定所述梯形框的上边框的第五中心点;
根据所述第五中心点,在所述第一图像中确定所述梯形框的上边框的第三垂直平分线;
将所述第三垂直平分线上与所述第五中心点相距第三距离的点,确定为所述车顶区域的第五矩形框的下边框的第六中心点,其中,所述第三距离为所述第三长度信息与第三预设值的乘积;
根据所述第六中心点以及所述第三长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第五矩形框。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述预设的目标检测模型为Faster RCNN目标检测模型;
所述方法还包括建立目标检测模型的过程,所述过程包括:
获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,所述正样本车辆至少包括警车、出租车和救护车,所述负样本车辆包括除所述正样本车辆外的其他机动车辆;
获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,所述分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;
获得分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像的标定结果;
根据所述标定结果,分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,所述Faster RCNN目标检测模型中包含所述第一子车顶图像对应的第一警车类型卷积核、所述第二子车顶图像对应的第一出租车类型卷积核、所述第三子车顶图像对应的第一救护车类型卷积核中以及所述第四子车顶图像对应的第一其他机动车辆类型卷积核。
8.根据权利要求7所述的方法,其特征在于,所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤,包括:
将所述第一图像输入所述Faster RCNN目标检测模型中,所述Faster RCNN目标检测模型根据训练所得的所述第一警车类型卷积核、所述第一出租车类型卷积核、所述第一救护车类型卷积核以及所述第一其他机动车辆类型卷积核,确定所述第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定所述顶灯的类型;输出所述顶灯的类型;
获得所输出的所述顶灯的类型;
根据所述顶灯的类型,确定所述待识别车辆的类型。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,所述方法还包括:
当确定所述待识别车辆的类型为警车类型时,将所述第一图像输入已设置的卷积神经网络CNN警车分类模型中,所述CNN警车分类模型根据所包含的第二警车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当所述第一验证结果为是时,验证确定所述待识别车辆的类型为警车类型;
当确定所述待识别车辆的类型为出租车类型时,将所述第一图像输入已设置的CNN出租车分类模型中,所述CNN出租车分类模型根据所包含的第二出租车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当所述第二验证结果为是时,验证确定所述待识别车辆的类型为出租车类型;
当确定所述待识别车辆的类型为救护类型时,将所述第一图像输入已设置的CNN救护车分类模型中,所述CNN救护车分类模型根据所包含的第二救护车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当所述第三验证结果为是时,验证确定所述待识别车辆的类型为救护车类型。
10.一种车辆类型的识别装置,其特征在于,所述装置包括:
第一获得模块,用于获得包含待识别车辆的第一图像;
第二获得模块,用于从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息和车窗位置信息中的至少一个;
信息确定模块,用于根据所述车牌位置信息、所述车头位置信息以及所述车窗位置信息中的至少一个,确定所述待识别车辆的车顶区域的第一位置信息;
检测确定模块,用于利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型。
11.根据权利要求10所述的装置,其特征在于,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块包括第一确定单元、第二确定单元、第三确定单元和第四确定单元;
所述第一确定单元,用于根据所获得的车牌位置信息,确定所述待识别车辆的车顶区域的第一位置子信息;
所述第二确定单元,用于根据所获得的车头位置信息,确定所述待识别车辆的车顶区域的第二位置子信息;
所述第三确定单元,用于根据所获得的车窗位置信息,确定所述待识别车辆的车顶区域的第三位置子信息;
所述第四确定单元,用于根据所述第一位置子信息、所述第二位置子信息和所述第三位置子信息,确定所述待识别车辆的车顶区域的第一位置信息。
12.根据权利要求10所述的装置,其特征在于,在从所述第一图像中获得所述待识别车辆对应的车牌位置信息、车头位置信息以及车窗位置信息时;
所述信息确定模块,具体用于获得所述车窗位置信息的第一状态信息,判断所述车窗位置信息是否有效;
当判断所述车窗位置信息为有效时,根据所述车窗位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车窗位置信息为无效时,获得所述车头位置信息的第二状态信息,判断所述车头位置信息是否有效;
当判断所述车头位置信息为有效时,根据所述车头位置信息,确定所述待识别车辆的车顶区域的第一位置信息;
当判断所述车头位置信息为无效时,获得所述车牌位置信息的第三状态信息,判断所述车牌位置信息是否有效;
当判断所述车牌位置信息为有效时,根据所述车牌位置信息,确定所述待识别车辆的车顶区域的第一位置信息。
13.根据权利要求10所述的装置,其特征在于,在从所述第一图像中获得所述待识别车辆的车牌位置信息时,所述车牌位置信息包含所述待识别车辆的车牌区域的第一矩形框;
所述装置还包括第三获得模块;
所述第三获得模块,用于从所述第一图像中,获得所述第一矩形框的上边框或下边框的第一长度信息;
所述信息确定模块,具体用于根据所述车牌位置信息,确定所述第一矩形框的第一中心点;
根据所述第一中心点,在所述第一图像中确定所述第一矩形框的上边框或下边框的第一垂直平分线;
将所述第一垂直平分线上与所述第一中心点相距第一距离的点,确定为所述车顶区域的第二中心点,其中,所述第一距离为所述第一长度信息与第一预设值的乘积;
利用所确定的第二中心点以及所获得的第一长度信息,确定所述待识别车辆的车顶区域的第二矩形框,将所述第二矩形框对应的位置信息确定为第一位置信息。
14.根据权利要求10所述的装置,其特征在于,在从所述第一图像中获得所述待识别车辆的车头位置信息时,所述车头位置信息包含所述待识别车辆的车头区域的第三矩形框;
所述装置还包括第四获得模块;
所述第四获得模块,用于获得所述第三矩形框的上边框的第二长度信息;
所述信息确定模块,用于根据所述车头位置信息,确定所述第三矩形框的上边框的第三中心点;
根据所述第三中心点,在所述第一图像中确定所述第三矩形框的上边框的第二垂直平分线;
将所述第二垂直平分线上与所述第三中心点相距第二距离的点,确定为所述车顶区域的第四矩形框的下边框的第四中心点,其中,所述第二距离为所述第二长度信息与第二预设值的乘积;
利用所述第四中心点以及所述第二长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第四矩形框。
15.根据权利要求10所述的装置,其特征在于,在从所述第一图像中获得所述待识别车辆的车窗位置信息时,所述车窗位置信息包含所述待识别车辆的车窗区域的梯形框;
所述装置还包括第五获得模块;
所述第五获得模块,用于获得所述梯形框的上边框的第三长度信息;
所述信息确定模块,用于根据所述车窗位置信息,确定所述梯形框的上边框的第五中心点;
根据所述第五中心点,在所述第一图像中确定所述梯形框的上边框的第三垂直平分线;
将所述第三垂直平分线上与所述第五中心点相距第三距离的点,确定为所述车顶区域的第五矩形框的下边框的第六中心点,其中,所述第三距离为所述第三长度信息与第三预设值的乘积;
根据所述第六中心点以及所述第三长度信息,确定所述待识别车辆的车顶区域的第一位置信息,其中,所述第一位置信息对应所述第五矩形框。
16.根据权利要求10-15任一项所述的装置,其特征在于,所述预设的目标检测模型为Faster RCNN目标检测模型;
所述装置还包括建立目标检测模型的模型建立模块,所述模型建立模块包括第一获得单元、第二获得单元、第五确定单元、第三获得单元、第四获得单元和训练单元;
所述第一获得单元,用于获得多张包含正样本车辆的第二图像,并获得多张包含负样本车辆的第三图像,其中,所述正样本车辆至少包括警车、出租车和救护车,所述负样本车辆包括除所述正样本车辆外的其他机动车辆;
所述第二获得单元,用于获得每一第二图像中所包含正样本车辆的车顶区域的第二位置信息,并获得每一第三图像中所包含负样本车辆的车顶区域的第三位置信息;
所述第五确定单元,用于根据每一第二位置信息,确定每一第一车顶图像,并根据每一第三位置信息,确定每一第二车顶图像;
所述第三获得单元,用于获得针对所有的第一车顶图像以及所有的第二车顶图像的分类结果,其中,所述分类结果至少包括:警车类型的第一子车顶图像、出租车类型的第二子车顶图像、救护车类型的第三子车顶图像以及除所述正样本车辆外的其他机动车辆类型的第四子车顶图像;
所述第四获得单元,用于获得分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像的标定结果;
所述训练单元,用于根据所述标定结果,分别对所述第一子车顶图像、所述第二子车顶图像、所述第三子车顶图像以及所述第四子车顶图像进行Faster RCNN目标检测训练,得到Faster RCNN目标检测模型,其中,所述Faster RCNN目标检测模型中包含所述第一子车顶图像对应的第一警车类型卷积核、所述第二子车顶图像对应的第一出租车类型卷积核、所述第三子车顶图像对应的第一救护车类型卷积核中以及所述第四子车顶图像对应的第一其他机动车辆类型卷积核。
17.根据权利要求16所述的装置,其特征在于,所述检测确定模块,具体用于将所述第一图像输入所述Faster RCNN目标检测模型中,所述Faster RCNN目标检测模型根据训练所得的所述第一警车类型卷积核、所述第一出租车类型卷积核、所述第一救护车类型卷积核以及所述第一其他机动车辆类型卷积核,确定所述第一位置信息对应的车顶区域的图像中是否存在顶灯,并在确定存在顶灯时,确定所述顶灯的类型;输出所述顶灯的类型;
获得所输出的所述顶灯的类型;
根据所述顶灯的类型,确定所述待识别车辆的类型。
18.根据权利要求10-15任一项所述的装置,其特征在于,所述装置还包括第一验证确定模块、第二验证确定模块、第三验证确定模块;
所述第一验证确定模块,用于所述利用预设的目标检测模型以及所述第一位置信息对应的车顶区域的图像,确定所述待识别车辆的类型的步骤之后,当确定所述待识别车辆的类型为警车类型时,将所述第一图像输入已设置的卷积神经网络CNN警车分类模型中,所述CNN警车分类模型根据所包含的第二警车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第一验证结果;当所述第一验证结果为是时,验证确定所述待识别车辆的类型为警车类型;
所述第二验证确定模块,用于当确定所述待识别车辆的类型为出租车类型时,将所述第一图像输入已设置的CNN出租车分类模型中,所述CNN出租车分类模型根据所包含的第二出租车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第二验证结果;当所述第二验证结果为是时,验证确定所述待识别车辆的类型为出租车类型;
所述第三验证确定模块,用于当确定所述待识别车辆的类型为救护类型时,将所述第一图像输入已设置的CNN救护车分类模型中,所述CNN救护车分类模型根据所包含的第二救护车类型卷积核以及所述第一位置信息,对所述待识别车辆的车顶区域的顶灯进行验证;输出第三验证结果;当所述第三验证结果为是时,验证确定所述待识别车辆的类型为救护车类型。
CN201611205173.2A 2016-12-23 2016-12-23 一种车辆类型的识别方法及装置 Active CN108241822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611205173.2A CN108241822B (zh) 2016-12-23 2016-12-23 一种车辆类型的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611205173.2A CN108241822B (zh) 2016-12-23 2016-12-23 一种车辆类型的识别方法及装置

Publications (2)

Publication Number Publication Date
CN108241822A true CN108241822A (zh) 2018-07-03
CN108241822B CN108241822B (zh) 2020-11-27

Family

ID=62704146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611205173.2A Active CN108241822B (zh) 2016-12-23 2016-12-23 一种车辆类型的识别方法及装置

Country Status (1)

Country Link
CN (1) CN108241822B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840474A (zh) * 2018-12-28 2019-06-04 广州粤建三和软件股份有限公司 一种车辆出入规范识别方法、系统及存储介质
CN110532113A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 信息处理方法、装置、计算机可读存储介质及电子设备
WO2020062856A1 (zh) * 2018-09-27 2020-04-02 东软睿驰汽车技术(沈阳)有限公司 一种车辆特征获取方法及装置
CN111353444A (zh) * 2020-03-04 2020-06-30 上海眼控科技股份有限公司 标志灯具监测方法、装置、计算机设备和存储介质
JP2020126634A (ja) * 2019-01-31 2020-08-20 株式会社ストラドビジョンStradvision,Inc. 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
CN111738272A (zh) * 2019-03-25 2020-10-02 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及电子设备
CN112131935A (zh) * 2020-08-13 2020-12-25 浙江大华技术股份有限公司 一种机动车车厢载人识别方法、装置和计算机设备
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
CN113516104A (zh) * 2021-08-09 2021-10-19 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN115359650A (zh) * 2022-07-06 2022-11-18 浙江大华技术股份有限公司 停车泊位检测方法、装置、计算机设备和存储介质
US12002269B2 (en) 2018-09-27 2024-06-04 Neusoft Reach Automotive Technology (Shenyang) Company Vehicle feature acquisition method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783076A (zh) * 2010-02-04 2010-07-21 西安理工大学 一种视频监控模式下的快速车型识别方法
CN103646241A (zh) * 2013-12-30 2014-03-19 中国科学院自动化研究所 一种基于嵌入式系统的实时出租车识别方法
CN103971086A (zh) * 2013-02-05 2014-08-06 浙江大华技术股份有限公司 一种车头定位方法及装置
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783076A (zh) * 2010-02-04 2010-07-21 西安理工大学 一种视频监控模式下的快速车型识别方法
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
CN103971086A (zh) * 2013-02-05 2014-08-06 浙江大华技术股份有限公司 一种车头定位方法及装置
CN103646241A (zh) * 2013-12-30 2014-03-19 中国科学院自动化研究所 一种基于嵌入式系统的实时出租车识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN-YAN HSU,KUN-LUNG KU,TONG-KAI JHANG,CHIH-JUNG YEH: "Implementation of phase lead controller for lane following system based on identified vehicle lateral model", 《2017 INTERNATIONAL AUTOMATIC CONTROL CONFERENCE (CACS)》 *
闫巧云: "基于单目视觉与多特征的前方车辆检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190583B2 (ja) 2018-09-27 2022-12-15 東軟睿馳汽車技術(瀋陽)有限公司 車両特徴の取得方法及び装置
WO2020062856A1 (zh) * 2018-09-27 2020-04-02 东软睿驰汽车技术(沈阳)有限公司 一种车辆特征获取方法及装置
US12002269B2 (en) 2018-09-27 2024-06-04 Neusoft Reach Automotive Technology (Shenyang) Company Vehicle feature acquisition method and device
JP2022501756A (ja) * 2018-09-27 2022-01-06 東軟睿馳汽車技術(瀋陽)有限公司Neusoft Reach Automotive Technology (Shenyang) Company 車両特徴の取得方法及び装置
CN109840474A (zh) * 2018-12-28 2019-06-04 广州粤建三和软件股份有限公司 一种车辆出入规范识别方法、系统及存储介质
JP2020126634A (ja) * 2019-01-31 2020-08-20 株式会社ストラドビジョンStradvision,Inc. 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
JP7194130B2 (ja) 2019-01-31 2022-12-21 株式会社ストラドビジョン 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
CN111738272A (zh) * 2019-03-25 2020-10-02 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及电子设备
CN110532113A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 信息处理方法、装置、计算机可读存储介质及电子设备
CN111353444A (zh) * 2020-03-04 2020-06-30 上海眼控科技股份有限公司 标志灯具监测方法、装置、计算机设备和存储介质
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
CN112131935A (zh) * 2020-08-13 2020-12-25 浙江大华技术股份有限公司 一种机动车车厢载人识别方法、装置和计算机设备
CN113516104A (zh) * 2021-08-09 2021-10-19 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质
CN113516104B (zh) * 2021-08-09 2023-08-29 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质
CN113723408B (zh) * 2021-11-02 2022-02-25 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN115359650A (zh) * 2022-07-06 2022-11-18 浙江大华技术股份有限公司 停车泊位检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108241822B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN108241822A (zh) 一种车辆类型的识别方法及装置
WO2018058958A1 (zh) 一种道路车辆交通告警系统及其方法
CN110493816B (zh) 一种用于轨交地铁车站客流量的实时预测方法
WO2020052436A1 (zh) 车辆超载报警方法、装置、电子设备及存储介质
CN109716358B (zh) 一种使用wi-fi探针检测行人流量的方法
CN107161104B (zh) 一种车辆驾驶辅助系统
CN104282169B (zh) 嵌入式一体化车位检测器及其检测方法
CN106940931B (zh) 基于定位数据的卡口设备数据质量检验方法
CN109598257A (zh) 一种均衡地铁车厢载客量的引导方法及系统
CN109559519A (zh) 监控设备及其违章停车检测方法、装置、可读存储介质
WO2020048173A1 (zh) 智能卡口通道系统以及采集在通道内通过的车辆的信息的方法
CN111695472A (zh) 一种辅助进行信息快速录入的方法、电子设备及存储介质
CN107977596A (zh) 一种车牌状态识别方法及装置
CN112215234A (zh) 一种道路卡口车辆人员信息核查方法
CN114445943A (zh) 一种健康信息自动查验方法及系统、智慧汽车门岗
CN112488042A (zh) 一种基于视频分析的行人通行瓶颈判别方法及系统
CN110222637A (zh) 一种基于3d图像人头识别的客流统计方法及其系统
CN114169851A (zh) 一种高速路口快速检测通行系统
CN111402469B (zh) 一种车辆检查的方法和系统
CN113763613A (zh) 小区出入人员信息管理方法及系统
CN110070724A (zh) 一种视频监控方法、装置、摄像机及图像信息监管系统
CN108460863A (zh) 一种隧道中人员和车辆的监控方法、装置和系统
CN109308813B (zh) 一种交通技术监控设备功能性能检测装置及方法
CN106228631A (zh) 一种基于路况信息的考勤系统及方法
CN116229624A (zh) 一种人脸识别智慧门禁疫情防控管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant