CN112668497B - 一种车辆精准定位与识别方法及系统 - Google Patents

一种车辆精准定位与识别方法及系统 Download PDF

Info

Publication number
CN112668497B
CN112668497B CN202011621325.3A CN202011621325A CN112668497B CN 112668497 B CN112668497 B CN 112668497B CN 202011621325 A CN202011621325 A CN 202011621325A CN 112668497 B CN112668497 B CN 112668497B
Authority
CN
China
Prior art keywords
point
vehicle
ground
target vehicle
outer side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011621325.3A
Other languages
English (en)
Other versions
CN112668497A (zh
Inventor
季思文
刘国清
朱晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202011621325.3A priority Critical patent/CN112668497B/zh
Publication of CN112668497A publication Critical patent/CN112668497A/zh
Application granted granted Critical
Publication of CN112668497B publication Critical patent/CN112668497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆精准定位与识别方法及系统,包括:获取实时视频信息;根据获取的视频信息实时检测目标车辆;对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息。优点:本发明拥有高的车辆召回、精细的车型分类,精准的车辆定位;同时控制每个步骤或者模块的计算复杂度,满足应用需求;完成对车载ADAS场景中车辆的精准定位与识别。

Description

一种车辆精准定位与识别方法及系统
技术领域
本发明涉及一种车辆精准定位与识别方法及系统,属于车辆精准定位和识别技术领域。
背景技术
车辆的识别与定位是车辆辅助驾驶系统中重要的组成部分,并且依旧存在车辆漏检、车型分类和车辆回归不够细致这几点问题。如何有效提升车辆的检测率,同时精细化车型的分类和特征点定位,是车辆辅助驾驶系统的重要研究方向。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种车辆精准定位与识别方法及系统。
为解决上述技术问题,本发明提供一种车辆精准定位与识别方法,包括:
获取实时视频信息;
根据获取的视频信息实时检测目标车辆;
对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;
通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息。
进一步的,所述根据获取的视频信息实时检测目标车辆的过程包括:
采用DenseBox框架,将获取的视频信息的图像进行裁剪缩放后输入网络得到目标车辆的特征信息,所述目标车辆的特征信息包括浅层和深层车辆特征,利用BiFPN对浅层和深层车辆特征进行融合,并且使用融合后的特征对图像中的车辆位置进行检测。
进一步的,所述对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆的过程包括:
对上一帧检测到的目标车辆的位置进行处理,裁剪出包含目标车辆的图像块输入到跟踪网络的target输入端,同时裁剪出当前帧图像中的对应位置,作为目标车辆的搜索区域,输入到跟踪网络的image输入端,跟踪网络的输出是目标车辆在当前帧中的坐标信息,确定目标车辆。
进一步的,所述通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息的过程包括:
对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆的模糊位置坐标进行处理,裁剪出包含目标车辆的图像块,然后调整到80×80输入到卷积神经网络当中,卷积神经网络的输出有outcls,outreg6p,outreg4p这3个分支,其中outcls输出车辆的类别信息,判断该目标车辆属于哪一种车型,outreg6p输出常见车型的6个特征点的坐标信息,outreg4p输出特殊车型的4个特征点的坐标信息。
进一步的,所述车型的类别设有13类,其中第1~9类为常规车型,第10~13类为特殊车型;
所述常规车型包括:
类别1:大巴车、公交车;类别2:小轿车、SUV;类别3:面包车;类别4:斗卡、渣土车;类别5:箱卡;类别6:依维柯;类别7:油罐车、晒水车;类别8:水泥罐车;类别9:皮卡;
所述特殊车型包括:
类别10:平板拖车;类别11:市政车;类别12:垃圾车;类别13:工程车。
一种车辆精准定位与识别系统,包括:
图像获取模块,用于获取实时视频信息;
车辆检测模块,用于根据获取的视频信息实时检测目标车辆;
车辆跟踪模块,用于对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;
车型识别与定位模块,用于通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息。
进一步的,所述车辆检测模块包括:
第一裁剪模块,用于采用DenseBox框架将获取的视频信息的图像进行裁剪缩放后输入网络得到目标车辆的特征信息,所述目标车辆的特征信息包括浅层和深层车辆特征;
融合模块,用于利用BiFPN对浅层和深层车辆特征进行融合,并且使用融合后的特征对图像中的车辆位置进行检测。
进一步的,所述车辆跟踪模块包括:
输入模块,对上一帧检测到的目标车辆的位置进行处理,裁剪出包含目标车辆的图像块输入到跟踪网络的target输入端,同时裁剪出当前帧图像中的对应位置,作为目标车辆的搜索区域,输入到跟踪网络的image输入端;
输出模块,跟踪网络的输出是目标车辆在当前帧中的坐标信息,确定目标车辆。
进一步的,所述车型识别与定位模块包括:
第一处理模块,用于对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆的模糊位置坐标进行处理;
第二裁剪模块,用于裁剪出包含目标车辆的图像块,然后调整到80×80输入到卷积神经网络当中;
第三处理模块,用于通过卷积神经网络的outcls,outreg6p,outreg4p 3个分支输出相应信息,其中outcls输出车辆的类别信息,判断该目标车辆属于哪一种车型,outreg6p输出常见车型的6个特征点的坐标信息,outreg4p输出特殊车型的4个特征点的坐标信息。
进一步的,所述第二处理模块包括车型确定模块,用于将车型的类别设为13类,其中第1~9类为常规车型,第10~13类为特殊车型;
所述常规车型包括:
类别1:大巴车、公交车;类别2:小轿车、SUV;类别3:面包车;类别4:斗卡、渣土车;类别5:箱卡;类别6:依维柯;类别7:油罐车、晒水车;类别8:水泥罐车;类别9:皮卡;
所述特殊车型包括:
类别10:平板拖车;类别11:市政车;类别12:垃圾车;类别13:工程车。
本发明所达到的有益效果:
本发明拥有高的车辆召回、精细的车型分类,精准的车辆定位;同时控制每个步骤或者模块的计算复杂度,满足应用需求;完成对车载ADAS场景中车辆的精准定位于识别。
附图说明
图1是本发明的系统框图;
图2是本发明的系统总的流程图;
图3是车辆检测的网络结构示意图;
图4是车辆跟踪的网络结构示意图;
图5是车型精细分类与定位的网络结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1-2所示,一种车辆精准定位与识别方法,其特征在于,包括:
获取实时视频信息;
根据获取的视频信息实时检测目标车辆;
对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;
通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息。
所述根据获取的视频信息实时检测目标车辆的过程包括:
采用DenseBox框架(密集点检测网络框架),将获取的视频信息的图像进行裁剪缩放后输入网络得到目标车辆的特征信息,利用BiFPN(加权双向图像特征金字塔)对目标车辆的特征信息的浅层和深层车辆特征进行融合,并且使用融合后的特征对图像中的车辆位置进行检测。
所述对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆的过程包括:
对上一帧检测到的目标车辆的位置进行处理,裁剪出包含目标车辆的图像块输入到跟踪网络的target输入端,同时裁剪出当前帧图像中的对应位置,作为目标车辆的搜索区域,输入到跟踪网络的image输入端,跟踪网络的输出是目标车辆在当前帧中的坐标信息,确定目标车辆。
所述通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息的过程包括:
对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆的模糊位置坐标进行处理,裁剪出包含目标车辆的图像块,然后调整到80×80输入到卷积神经网络当中,卷积神经网络的输出有outcls,outreg6p,outreg4p这3个分支,其中outcls输出车辆的类别信息,判断该目标车辆属于哪一种车型,outreg6p输出常见车型的6个特征点的坐标信息,outreg4p输出特殊车型的4个特征点的坐标信息。
所述车型的类别设有13类,其中第1~9类为常规车型,第10~13类为特殊车型;
所述常规车型包括:
类别1:大巴车、公交车;类别2:小轿车、SUV;类别3:面包车;类别4:斗卡、渣土车;类别5:箱卡;类别6:依维柯;类别7:油罐车、晒水车;类别8:水泥罐车;类别9:皮卡;
所述特殊车型包括:
类别10:平板拖车;类别11:市政车;类别12:垃圾车;类别13:工程车。
如图1-2所示,一种车辆精准定位与识别系统,包括:图像获取模块、车辆检测模块、车辆跟踪模块、车型识别与定位模块;确定车辆的具体类别,我们可以获取较为精准的真实车宽。利用车辆的特征点换算出目标车辆在图像中的车宽。再依据相机的焦距,我们可以计算出目标车辆在现实场景中与本车的距离。这样就能够对两车之间的相对运动状态进行决策判断。
图像获取模块中,把车载单目摄像头安装在车窗玻璃上,采集车辆行驶过程中本车正前方的车况信息,采集图片的输入尺寸为1280*720P。
车辆检测模块使用的是anchor-free的端到端的检测网络框架,采用的是DenseBox框架,在特征融合上采用的是BiFPN(加权双向图像特征金字塔)连接方式,有效利用主干网络提取的特征,从而尽可能的提升车辆检测的召回率。
如图3所示,测试时按照roi将图像裁剪并调整到w×h尺寸大小,将图片送进网络经过4倍下采样后变成大小为w×h×5的特征图。特征图的每一个像素点44
(xi,yi)都代表一个可能的目标车辆,包含该像素点的置信度confidence以及该点到BBox四条边的距离(xt,xb,xl,xr)。最后对带有边框及类别分数的框进行NMS处理,从而得到我们想要检测到的目标车辆。
车辆跟踪模块中,车辆行驶的场景是复杂多变的,当遇到类似于雨天、雾天等复杂场景时候,单凭检测模块来检测目标车辆,很容易造成一些车辆的漏检。该模块通过对视频连续帧场景中检测到的车辆进行处理,当目标车辆漏检时,可以弥补漏检的目标车辆。
如图4所示,车辆跟踪模块通过对视频连续帧场景中检测到的车辆进行处理,当目标车辆漏检时,可以弥补漏检的目标车辆。跟踪模块的输入分为target和image两支,其中target输入的是上一帧检测到的目标车辆,image输入的是当前帧的搜索区域,网络的输出是目标车辆在当前帧中的坐标信息。
车型精细分类与定位模块通过对车辆检测模块与跟踪模块获取的目标车辆进行处理,利用卷积神经网络同步获取目标车辆的精细类别和车辆的特征点位置信息。本文把车型分类成13个类别,同时设计了每种车型的特征点位置(以下对应的位置是以车辆的尾端面进行设置,比如左上顶角指的就是车辆的尾端面的左上顶角)。
类别1:大巴车、公交车,6个特征点的位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角。
类别2:小轿车、SUV,6个特征点的位置为:车窗左上角点;车窗右上角点;保险杠最右边角点;右轮与地面交线的右端点;左轮与地面交线的左端点;6、保险杠最左边边角点
类别3:面包车,6个特征点的位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角。
类别4:斗卡、渣土车,6个特征点的位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点。
类别5:箱卡,6个特征点的位置为:卡箱左上顶角点;卡箱右上顶角点;卡箱右下顶角点;右轮与地面交线的右端点;左轮与地面交线的左端点;卡箱左下顶角点。
类别6:依维柯,6个特征点的位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角。
类别7:油罐车、晒水车,6个特征点的位置为:油罐水平直径左侧点(如果是半圆型的,取左侧直边与半圆弧交界点);油罐水平直径右侧点(如果是半圆型的,取右侧直边与半圆弧交界点);油罐底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;油罐底座左外侧点。
类别8:水泥罐车,6个特征点的位置为:中间倒梯形上边沿对应的左侧爬梯外侧点;中间倒梯形上边沿对应的右侧爬梯外侧点;水泥罐车底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;水泥罐车底座左外侧点。
类别9:皮卡,6个特征点的位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点。
类别10:平板拖车,4个特征点的位置为:平板下边左侧点;平板下边右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
类别11:市政车,4个特征点的位置为:箱体左下侧点;箱体右下侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
类别12:垃圾车,4个特征点的位置为:垃圾车底盘左侧点;垃圾车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
类别13:工程车,工程车底盘左侧点;工程车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
通过对驾驶场景中的车辆进行精细化分类,并且对每种车型设计特定的特征点的位置。根据目标车辆的车型选择合适的车宽,并且通过特征点计算出目标车辆在图像中的宽度,从而计算出当前车辆与本车的相对位置信息,以便ADAS系统进行驾驶决策判断。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种车辆精准定位与识别方法,其特征在于,包括:
获取实时视频信息;
根据获取的视频信息实时检测目标车辆;
对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;
通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息,包括:
对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆的模糊位置坐标进行处理,裁剪出包含目标车辆的图像块,然后调整到输入到卷积神经网络当中,卷积神经网络的输出有outcls,outreg6p,outreg4p这3个分支,其中outcls输出车辆的类别信息,判断该目标车辆属于哪一种车型,outreg6p输出常见车型的6个特征点的坐标信息,outreg4p输出特殊车型的4个特征点的坐标信息;
所述车型的类别设有13类,其中第1~9类为常规车型,第10~13类为特殊车型;
所述常规车型包括:
类别1:大巴车、公交车,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别2:小轿车、SUV,包括6个特征点,位置为:车窗左上角点;车窗右上角点;保险杠最右边角点;右轮与地面交线的右端点;左轮与地面交线的左端点;保险杠最左边边角点;
类别3:面包车,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别4:斗卡、渣土车,包括6个特征点,位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点;
类别5:箱卡,包括6个特征点,位置为:卡箱左上顶角点;卡箱右上顶角点;卡箱右下顶角点;右轮与地面交线的右端点;左轮与地面交线的左端点;卡箱左下顶角点;
类别6:依维柯,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别7:油罐车、晒水车,包括6个特征点,位置为:油罐水平直径左侧点,如果是半圆型的,取左侧直边与半圆弧交界点;油罐水平直径右侧点,如果是半圆型的,取右侧直边与半圆弧交界点;油罐底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;油罐底座左外侧点;
类别8:水泥罐车,包括6个特征点,位置为:中间倒梯形上边沿对应的左侧爬梯外侧点;中间倒梯形上边沿对应的右侧爬梯外侧点;水泥罐车底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;水泥罐车底座左外侧点;
类别9:皮卡,包括6个特征点,位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点;
所述特殊车型包括:
类别10:平板拖车,包括4个特征点,位置为:平板下边左侧点;平板下边右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别11:市政车,包括4个特征点,位置为:箱体左下侧点;箱体右下侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别12:垃圾车,包括4个特征点,位置为:垃圾车底盘左侧点;垃圾车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别13:工程车,包括4个特征点,位置为:工程车底盘左侧点;工程车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
2.根据权利要求1所述的车辆精准定位与识别方法,其特征在于,所述根据获取的视频信息实时检测目标车辆的过程包括:
采用DenseBox框架,将获取的视频信息的图像进行裁剪缩放后输入网络得到目标车辆的特征信息,所述目标车辆的特征信息包括浅层和深层车辆特征,利用BiFPN对浅层和深层车辆特征进行融合,并且使用融合后的特征对图像中的车辆位置进行检测。
3.根据权利要求1所述的车辆精准定位与识别方法,其特征在于,所述对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆的过程包括:
对上一帧检测到的目标车辆的位置进行处理,裁剪出包含目标车辆的图像块输入到跟踪网络的target输入端,同时裁剪出当前帧图像中的对应位置,作为目标车辆的搜索区域,输入到跟踪网络的image输入端,跟踪网络的输出是目标车辆在当前帧中的坐标信息,确定目标车辆。
4.一种车辆精准定位与识别系统,其特征在于,包括:
图像获取模块,用于获取实时视频信息;
车辆检测模块,用于根据获取的视频信息实时检测目标车辆;
车辆跟踪模块,用于对视频信息的连续帧场景中检测到的车辆进行处理,在目标车辆漏检时,获取目标车辆;
车型识别与定位模块,用于通过对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆利用卷积神经网络确定目标车辆的精细类别和车辆的特征点位置信息;
所述车型识别与定位模块包括:
第一处理模块,用于对实时检测的目标车辆与在目标车辆漏检时获取的目标车辆的模糊位置坐标进行处理;
第二裁剪模块,用于裁剪出包含目标车辆的图像块,然后调整到 80x80输入到卷积神经网络当中;
第三处理模块,用于通过卷积神经网络的outcls,outreg6p,outreg4p3个分支输出相应信息,其中outcls输出车辆的类别信息,判断该目标车辆属于哪一种车型,outreg6p输出常见车型的6个特征点的坐标信息,outreg4p输出特殊车型的4个特征点的坐标信息;
第二处理模块包括车型确定模块,用于将车型的类别设为13类,其中第1~9类为常规车型,第10~13类为特殊车型;
类别1:大巴车、公交车,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别2:小轿车、SUV,包括6个特征点,位置为:车窗左上角点;车窗右上角点;保险杠最右边角点;右轮与地面交线的右端点;左轮与地面交线的左端点;保险杠最左边边角点;
类别3:面包车,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别4:斗卡、渣土车,包括6个特征点,位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点;
类别5:箱卡,包括6个特征点,位置为:卡箱左上顶角点;卡箱右上顶角点;卡箱右下顶角点;右轮与地面交线的右端点;左轮与地面交线的左端点;卡箱左下顶角点;
类别6:依维柯,包括6个特征点,位置为:左上顶角;右上顶角;右下顶角;右轮与地面交线的右端点;左轮与地面交线的左端点;左下顶角;
类别7:油罐车、晒水车,包括6个特征点,位置为:油罐水平直径左侧点,如果是半圆型的,取左侧直边与半圆弧交界点;油罐水平直径右侧点,如果是半圆型的,取右侧直边与半圆弧交界点;油罐底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;油罐底座左外侧点;
类别8:水泥罐车,包括6个特征点,位置为:中间倒梯形上边沿对应的左侧爬梯外侧点;中间倒梯形上边沿对应的右侧爬梯外侧点;水泥罐车底座右外侧点;右轮胎外侧与地面交点;左轮胎外侧与地面交点;水泥罐车底座左外侧点;
类别9:皮卡,包括6个特征点,位置为:车斗左上角点;车斗右上角点;车斗右下角点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;车斗左下角点;
所述特殊车型包括:
类别10:平板拖车,包括4个特征点,位置为:平板下边左侧点;平板下边右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别11:市政车,包括4个特征点,位置为:箱体左下侧点;箱体右下侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别12:垃圾车,包括4个特征点,位置为:垃圾车底盘左侧点;垃圾车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点;
类别13:工程车,包括4个特征点,位置为:工程车底盘左侧点;工程车底盘右侧点;右轮胎外侧与地面交点;左侧轮胎外侧与地面交点。
5.根据权利要求4所述的车辆精准定位与识别系统,其特征在于,所述车辆检测模块包括:
第一裁剪模块,用于采用DenseBox框架将获取的视频信息的图像进行裁剪缩放后输入网络得到目标车辆的特征信息,所述目标车辆的特征信息包括浅层和深层车辆特征;
融合模块,用于利用BiFPN对浅层和深层车辆特征进行融合,并且使用融合后的特征对图像中的车辆位置进行检测。
6.根据权利要求4所述的车辆精准定位与识别系统,其特征在于,所述车辆跟踪模块包括:
输入模块,对上一帧检测到的目标车辆的位置进行处理,裁剪出包含目标车辆的图像块输入到跟踪网络的target输入端,同时裁剪出当前帧图像中的对应位置,作为目标车辆的搜索区域,输入到跟踪网络的image输入端;
输出模块,跟踪网络的输出是目标车辆在当前帧中的坐标信息,确定目标车辆。
CN202011621325.3A 2020-12-30 2020-12-30 一种车辆精准定位与识别方法及系统 Active CN112668497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011621325.3A CN112668497B (zh) 2020-12-30 2020-12-30 一种车辆精准定位与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011621325.3A CN112668497B (zh) 2020-12-30 2020-12-30 一种车辆精准定位与识别方法及系统

Publications (2)

Publication Number Publication Date
CN112668497A CN112668497A (zh) 2021-04-16
CN112668497B true CN112668497B (zh) 2022-05-20

Family

ID=75412095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011621325.3A Active CN112668497B (zh) 2020-12-30 2020-12-30 一种车辆精准定位与识别方法及系统

Country Status (1)

Country Link
CN (1) CN112668497B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437336B (zh) * 2016-05-27 2019-12-10 武汉万集信息技术有限公司 车型识别装置和方法
CN107066953B (zh) * 2017-03-22 2019-06-07 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN109190444B (zh) * 2018-07-02 2021-05-18 南京大学 一种基于视频的收费车道车辆特征识别系统的实现方法
CN109376572B (zh) * 2018-08-09 2022-05-03 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN109300114A (zh) * 2018-08-30 2019-02-01 西南交通大学 高铁接触网支撑装置极小目标零部件顶紧缺失检测方法
CN109740662A (zh) * 2018-12-28 2019-05-10 成都思晗科技股份有限公司 基于yolo框架的图像目标检测方法
CN110084829A (zh) * 2019-03-12 2019-08-02 上海阅面网络科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN111104965A (zh) * 2019-11-25 2020-05-05 河北科技大学 车辆目标识别的方法及装置
CN111563494B (zh) * 2020-07-16 2020-10-27 平安国际智慧城市科技股份有限公司 基于目标检测的行为识别方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112668497A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
Broggi et al. Multi-resolution vehicle detection using artificial vision
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
Nieto et al. Road environment modeling using robust perspective analysis and recursive Bayesian segmentation
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN107845101B (zh) 车载环视图像的特征点标定方法、装置和可读存储介质
CN102865824B (zh) 一种计算车辆间相对距离的方法和装置
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN110780287A (zh) 基于单目相机的测距方法及测距系统
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN113762004A (zh) 车道线检测方法及装置
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN114937255A (zh) 一种激光雷达与相机融合的检测方法及装置
CN111914671B (zh) 一种安全带检测方法、装置、电子设备及存储介质
CN112668497B (zh) 一种车辆精准定位与识别方法及系统
Jung et al. Intelligent Hybrid Fusion Algorithm with Vision Patterns for Generation of Precise Digital Road Maps in Self-driving Vehicles.
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
CN111553181A (zh) 车载相机语义识别方法、系统及装置
JPH0757200A (ja) 走路認識装置および走路認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant