CN111191485B - 一种车位检测方法及其系统、汽车 - Google Patents

一种车位检测方法及其系统、汽车 Download PDF

Info

Publication number
CN111191485B
CN111191485B CN201811352110.9A CN201811352110A CN111191485B CN 111191485 B CN111191485 B CN 111191485B CN 201811352110 A CN201811352110 A CN 201811352110A CN 111191485 B CN111191485 B CN 111191485B
Authority
CN
China
Prior art keywords
parking space
corner
corner points
frame
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811352110.9A
Other languages
English (en)
Other versions
CN111191485A (zh
Inventor
何俏君
李彦琳
毛茜
王薏
尹超凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201811352110.9A priority Critical patent/CN111191485B/zh
Publication of CN111191485A publication Critical patent/CN111191485A/zh
Application granted granted Critical
Publication of CN111191485B publication Critical patent/CN111191485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车位检测方法及其系统、汽车,所述方法包括:获取车辆不同角度方向的图像;根据所述车辆不同角度方向的图像得到车辆环视图像;检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框;根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框,所述角点方框中心为车位角点。所述系统用于实现所述方法,所述汽车包括所述系统。本发明克服了基于超声波雷达探测车位和基于环视图检测车位的缺陷。

Description

一种车位检测方法及其系统、汽车
技术领域
本发明涉及智能驾驶技术领域,具体涉及一种车位检测方法及其系统、汽车。
背景技术
车位检测是实现自动泊车的一个关键所在。当前的车位检测领域,主要分为两种模式,分别是基于超声波雷达探测和基于环视图检测。其中,所述基于超声波雷达探测方式探测车位需要依赖于空闲车位周边的障碍物或者标志物,以此构建车位;而所述基于环视图检测方法则都大多通过专家知识进行车位框提取,进而对别出车位线,过程复杂,漏检率高。
发明内容
本发明所要解决的技术问题在于,提供一种车位检测方法及其系统、汽车,以克服基于超声波雷达探测车位和基于环视图检测车位的缺陷。
为了解决上述技术问题,本发明实施例提供一种车位检测方法,所述方法包括如下步骤:
获取车辆不同角度方向的图像;
根据所述车辆不同角度方向的图像得到车辆环视图像;
检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;其中,所述角点方框中心为车位角点,每一车位方框内具有多个角点方框;
根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框;
根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。
其中,所述根据所述车辆不同角度方向的图像得到车辆环视图像包括:对所述车辆不同角度方向的图像进行矫正、透视变换及拼接得到车辆环视图像。
其中,所述基于Faster RCNN算法检测所述车辆环视图像得到相应的角点方框和车位方框包括:
提取所述车辆环视图像的图像特征;
根据所述图像特征生成相应角点方框和车位方框;
根据车位方框和角点方框的分类规则确定生成的相应角点方框和车位方框的类别和位置信息。
其中,所述车位方框的类别包括垂直车位、平行车位和斜列车位;
所述角点方框的类别包括L形角点方框、T形角点方框和不完整角点方框;
所述角点方框的位置信息为(x1,y1,w1,h1),其中,x1,y1分别为角点方框中心在所述图像中的坐标,w,h分别为角点方框的宽和高;
所述车位方框的位置信息为(x2,y2,w2,h2),其中,x2,y2分别为车位方框中心在所述图像中的坐标,w2,h2分别为角点方框的宽和高。
其中,所述根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框包括:
根据每一车位方框的位置信息(x2,y2,w2,h2)确定对应车位方框的方框范围大小为w2×h2,方框中心坐标为(x2,y2);
根据每一角点方框的位置信息(x1,y1,w1,h1)确定对应角点方框的方框范围大小为w1×h1,方框中心坐标为(x2,y2);
判断角点方框的方框范围是否落入车位方框的方框范围中,若落入,则表示该角点方框为相应车位方框中一个角点方框。
其中,所述根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框包括:
对于位于同一个车位方框内的角点方框,经过非极大值抑制和重叠率阈值筛选后,在各类角点方框中按置信度大小对同一类角点方框进行降序排序,至多选取前4个角点方框,并根据选取的角点方框数量及类别确定对应的车位线框。
其中,所述根据选取的角点方框数量及类别确定对应的车位线框包括:
根据选取的角点方框数量及类别确定对应的角点数量及类别;
其中,若确定的L形角点或T形角点的角点数为4、或L形角点与T形角点的角点总数为4,则分别计算确定的4个角点两两之间的距离,距离最大的两个角点为对角角点,据此依次连接4个角点形成相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为3、或L形角点与T形角点的角点总数为3,则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为1,则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为车位线框;若确定的不完整角点的角点数为0,则无法确定相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为0,则判断确定的两个角点互为对角角点或相邻角点;如果确定的两个角点互为对角角点,则无法确定相应的车位线框;如果确定的两个角点互为相邻角点,则过选取的两个角点分别作垂线相交于其相对边线,得到2个交点作为补充角点,从而得到4个角点,并且根据相应4个角点确定相应的车位线框。
本发明实施例还提供一种用于实现所述车位检测方法的车位检测系统,包括:
设置于车辆车体上的多个摄像头,用于获取车辆不同角度方向的图像;
图像预处理模块,用于根据所述车辆不同角度方向的图像得到车辆环视图像;
车位特征检测模块,用于检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;其中,所述角点方框中心为车位角点,每一车位方框内具有多个角点方框;
车位角点确定模块,用于根据所述车位方框和角点方框的类别和位置信息确定每一车位方框内所对应的角点方框;
车位线构建模块,用于根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。
其中,所述摄像头为鱼眼摄像头,所述图像预处理模块具体用于对所述车辆不同角度方向的鱼眼图像进行矫正、透视变换及拼接得到车辆环视图像。
本发明实施例还提供一种汽车,包括所述车位检测系统。
本发明实施例的有益效果在于:利用深度网络将车位检测问题分解为车位角点检测和车位方框检测,得到相应的车位角点和车位方框,再以专家知识对深度网络输出的结果进行后处理,根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框,准确率高,鲁棒性强,不需要人为选取特征,处理方式简单明了,其中,深度网络依靠数据驱动网络学习,不需要人工知识即可完成对车位角点检测和车位角点聚类的工作,由于是自学习,避免了人选特征局限性;又以简单专家知识根据车位角点进行车位刻画,完成较为简易的任务。深度网络解决高维非线性问题,专家知识解决确定性倾向强、推理简单的问题,充分利用深度网络和专家知识两种方法的优点,使得检测准确率高,鲁棒性强,克服完全人工专家知识算法在光影变换较大场景下车位漏检率高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一中一种车位检测方法流程图。
图2为本发明实施例二中一种车位检测系统框架图。
具体实施方式
以下各实施例的说明是参考附图,用以示例本发明可以用以实施的特定实施例。
如图1所示,本发明实施例一公开了一种车位检测方法,所述方法包括如下步骤:
S100获取车辆不同角度方向的图像;
本实施例中,当驾驶员驾驶车辆在室内停车场或室外停车场行驶时,通过设置于车体上不同位置处的四个摄像头采集车辆周围环境的信息,并依据时间戳对4个摄像头的图像进行同步,得到车体不同角度方向的图像。其中,四个摄像头具体包括环视前视摄像头、左摄像头、右摄像头和环视后视摄像头,所述环视前视摄像头布置于前中网格栅内,位于车身中轴面上;所述左摄像头和右摄像头分别布置于左右两侧的外后视镜内;所述环视后视摄像头安装于后背门钣金、后保险杠、牌照灯饰条或抠手盒内。
S200根据所述车辆不同角度方向的图像得到车辆环视图像;
本实施例中,由于四个摄像头采集到的图像是不同方向的,因此需要对四个摄像头的图像进行整合得到一个车辆环视图像。需要说明的是,本实施例对于设置摄像头的数量不做限制,只要能够获取到车体不同角度方向的图像,并便于整合得到一个车辆环视图像即可。
S300检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;其中,所述角点方框中心为车位角点,每一车位方框内具有多个角点方框;
本实施例中,具体是基于Faster RCNN算法检测所述车辆环视图像得到相应的角点方框和车位方框,所述Faster RCNN算法为一种基于深度学习的目标检测算法,其基于Faster RCNN模型实现,所述Faster RCNN模型包括特征提取网络、区域生成网络和检测网络,由于所述特征提取网络具有一定的通用性,因此本实施例使用已在Imagenet数据集上训练过的Resnet 34网络的卷积层进行迁移学习。所述区域生成网络则是在特征提取网络的最后一层通过3×3和两路1×1的卷积层获取目标的初步区域,初步区域通过检测网络则是将区域生成网络生成的目标的初步区域经过一个ROI_Pooling层、两个全连接层以及并行的两路分类和边界回归层,最终完成对所需检测目标的类别分类和位置定位。其中,所述两路分类分别输出分类和位置定位,所述边界回归层的作用是进一步定位输出位置信息,具体而言,本实施例中通过对环视图像建立一平面直角坐标系,相应的位置信息即为对应目标区域在该平面坐标系中的坐标信息。
其中,对于车位角点(即车位线与车位线的交点),本实施例方法用一个角点方框包围角点周边的图像,再间接以该角点方框的中心位置表示角点的位置;对于车位方框,由于每一车位应包括四个角点,因此,在使用车位方框进行检测时,当图像中某个区域的出现多个角点,则可能存在车位,本实施例方法用一个车位方框包围图像中某个区域的多个角点,表示该车位方框的内可能存在一个停车位,具体是否真的存在停车位,则需结合该车位方框内的角点及角点连接关系来进一步确定,相关内容在本文后续部分介绍。
S400根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框;
本实施例中,根据步骤S300输出的车位方框和角点方框及相应的位置信息,可以根据位置关系来判断相应的角点方框是否落入某一车位方框的方框内。
S500根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。
本实施例中,当确定了一个车位方框内的角点方框后,由于一个车位方框实际上对应一个可能存在的停车位,每一个角点方框的中心则对应一个车位角点,据此,步骤S400的结果已经给出了一个疑似车位内的若干车位角点,当然,一个车位内的角点最多为4个,那么根据以上步骤检测得到的这若干个车位角点,可以绘制出对应的车位线框。
本实施例方法利用深度网络将车位检测问题分解为通过角点方框和车位方框两种检测方框去检测车位角点和车位框线,得到多个候选车位角点和车位框,然后再进行车位角点和车位框的匹配,确定哪些车位角点为同一车位框的车位角点,最后以专家知识对深度网络输出的结果进行后处理,根据同一车位框内的车位角点进行对应车位线框的绘制,得到最终的车位,所述专家知识指的是根据预先设置的一些如何根据车位角点绘制车位线框的策略。
在一实施例中,所述步骤S200根据所述车辆不同角度方向的图像得到车辆环视图像包括:对所述车辆不同角度方向的图像进行矫正、透视变换及拼接得到车辆环视图像。
具体而言,实际车位检测过程中,车位与车辆比较接近,故与摄像头的距离也较近,因此本实施例使用短焦距大视角的鱼眼摄像头获取近距离大角度的信息。鱼眼摄像头存在严重的畸变,物体与摄像头光轴的夹角越大,畸变程度越大,因此需要预先进行矫正,矫正后的4幅图像进行透视变换,然后再全景拼接,使得车辆周边环境信息在一幅图像上呈现。
在一实施例中,所述步骤S300中,根据车位线的情况,可以将车位方框的类别包括垂直车位、平行车位和斜列车位,分别用0、1和2表示相应车位方框类别;
因为角点有L形角点、T形角点和不完整角点,因此所述角点方框的类别包括L形角点方框、T形角点方框和不完整角点方框,分别用3、4和5表示相应角点方框类别;其中,所述不完整角点指的是车位线与图像边缘的交点或车位线与其它车位线没有交点时的端点。
所述角点方框的位置信息用(x1,y1,w1,h1)来表示,其中,x1,y1分别为角点方框中心在所述图像中的坐标,w,h分别为角点方框的宽和高;
所述车位方框的位置信息用(x2,y2,w2,h2)来表示,其中,x2,y2分别为车位方框中心在所述图像中的坐标,w2,h2分别为车位方框的宽和高。
因此,在本实施例车位检测方法中,对图像内的目标进行上述的6分类,所有的6类目标都用方框进行形体标注,数字标量0-5进行类别标注。通常的物体检测中,物体的位置形体标注使用的是矩形框的左上角和右下角坐标,而本实施例中需要对角点位置进行较为准确的定位,因此,矩形框的中心位置一定要与角点位置非常接近,因此本实施例的标注是通过一个中心点和宽及高进而确定方框左上角和右下角的坐标。
通过以上分类和位置信息的定义,可以确定步骤S300输出的车位方框和角点方框具有位置和方框大小,为后面步骤中对车位方框和角点方框的匹配做准备。
在一实施例中,所述步骤S300中,所述基于Faster RCNN算法检测所述车辆环视图像得到相应的角点方框和车位方框包括:
S301提取所述车辆环视图像的图像特征;其中,步骤S301对应前面所述的特征提取网络;
S302根据所述图像特征生成相应角点方框和车位方框;其中,步骤S301对应前面所述的区域生成网络;
S303根据车位方框和角点方框的分类规则确定生成的相应角点方框和车位方框的类别和位置信息。其中,步骤S303对应前面所述的检测网络。
其中,对于深度网络训练,为了降低对数据量的依赖,因此在特征提取网络使用了迁移学习,因此将特征提取网络的学习率从底层往高层递增,在一些特别低的层级,直接设置学习率为0,而在区域生成网络和检测网络中,本实施例中将分布式特征表达映射至向量空间,因此需要从头开始训练,每层的学习率设置也稍微大些(相对于特征提取网络)。在生成框的尺度设计上,本实施例借鉴YOLOV2算法,对边界框的尺度使用了6类的均值聚类,提高网络对自身数据集的适应性以及简化网络。在训练过程中,学习率随着训练的步数增加而呈阶梯状衰减,由于深度网络的特性,低层网络用于浅层特征提取,高层网络用于抽象特征提取,对于不同的数据集,浅层特征信息提取有高共通性,因此本实施例迁移从别的数据集上预训练好的网络,并在利用此任务中的数据集继续训练的时候在低层设置较低的学习率,对于高层抽象特征设定较高的学习率使网络适应数据集。随步数衰减是时间上的一个调整,开始训练时网络学习率较大,随着训练逐渐进行,网络拟合程度变好,学习率减少。
所述生成框是指深度网络中为了检测大小不同的物体而生成的一系列大小不同的框,也就是前面所述的车位方框和角点方框,对图像的每个位置,分别检测各种尺度下是否存在物体,此时需要设计生成框的尺度。其中,关于角点和车位的检测尺度是有一定的数据集特定大小规律的,因此,此处的均值聚类利用已标注好的数据集中角点方框以及车位方框的尺度信息,通过聚类生成6类目标的尺度信息,对应前面0,1,2,3,4,5的六种类别的检测目标,作为深度网络中生成框的尺度信息。
在一实施例中,所述步骤S400根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框包括:
S401根据每一车位方框的位置信息(x2,y2,w2,h2)确定对应车位方框的方框范围大小为w2×h2,方框中心坐标为(x2,y2);
S402根据每一角点方框的位置信息(x1,y1,w1,h1)确定对应角点方框的方框范围大小为w1×h1,方框中心坐标为(x2,y2);
S403判断角点方框的方框范围是否落入车位方框的方框范围中,若落入,则表示该角点方框为相应车位方框中一个角点方框。
通过以上步骤,可以确定哪些角点是属于同一车位的。
其中,所述步骤S500根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框包括:
S501对于位于同一个车位方框内的角点方框,经过非极大值抑制(Non-MaximumSuppression, NMS)和重叠率(IOU)阈值筛选后,在各类角点方框中按置信度大小对同一类角点方框进行降序排序,由于一个车位只有四个角点,因此对于降序排序的角点方框,本步骤至多选取前4个角点方框。
其中,非极大值抑制也就是局域内求最大值,保留最大值角点方框;而重叠率阈值的筛选指的是同一个车位方框内可能有很多个角点方框,例如角点方框A,B,C,如果角点方框A,B,C的方框重叠率达到预设阈值,那么就可以将其中两个角点方框B,C去掉,只保留其中一个角点方框A。
S502根据选取的角点方框数量及类别确定对应的车位线框;其中,基于前面关于角点方框类别的分类,根据选取的角点方框可以确定相应的角点为L形角点、T形角点还是不完整点角点。其中,角点方框中心为车位角点,每一车位方框内具有多个角点方框。
具体而言,根据专家知识确定对应的车位线框过程如下:
根据选取的角点方框数量及类别确定对应的角点数量及类别;
基于确定的角点数量及类别,按以下预设策略进行车位线框的确定:
(1)若确定的L形角点或T形角点的角点数为4,或L形角点与T形角点的角点总数为4,此种情况下,需要确定4个点的连接顺序,则分别计算确定的4个角点两两之间的距离,距离最大的两个角点为对角角点,其余两点穿插进对角点即为合理连接顺序,据此依次连接确定的4个角点形成相应的车位线框;
(2)若确定的L形角点或T形角点的角点数为3、或L形角点与T形角点的角点总数为3,此种情况下,需要确定第4个角点的坐标以及四点连接顺序,则以确定的3个角点为平行四边形的三个顶点可以组合得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为相应的车位;
需说明的是,所述L形角点或T形角点的角点数为3指的是L形角点角点数为3且没有出现T形角点,或者T形角点角点数为3且没有出现L形角点。
(3)若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为1,此种情况下,需要确定第4个角点的坐标以及四点连接顺序,则以确定的3个角点为平行四边形的三个顶点可以组合得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为相应的车位;
需说明的是,所述L形角点或T形角点的角点数为2指的是L形角点角点数为2且没有出现T形角点,或者T形角点角点数为2且没有出现L形角点。
(4)若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为0,则判断确定的两个L形角点与T形角点的角点互为对角角点还是相邻角点;
(4.1)如果确定的两个角点互为对角角点,则无法确定相应的车位线框;
(4.2)如果确定的两个角点互为相邻角点,则需要确定车位的摆向,默认车位角为直角情况下,考虑车位方框为矩形,则首先寻找离确定的2个角点最近的车位方框边线,以及与之平行的相对边线,过2个角点分别作垂线相交于其相对边线,得到2个交点作为补充角点,从而可以得到4个角点,并且以这4个角点确定相应的车位线框。
需说明的是,所述L形角点或T形角点的角点数为2指的是L形角点角点数为2且没有出现T形角点,或者T形角点角点数为2且没有出现L形角点。
需说明的是,以上根据选取的角点方框数量及类别确定对应的车位线框的绘线方法仅是本申请的一种示例,本申请并不限于此。
如图2所示,本发明实施例二还提供一种用于实现实施例一所述车位检测方法的车位检测系统,该系统包括:
设置于车辆车体上的多个摄像头1,用于获取车辆不同角度方向的图像;其中,所述多个摄像头1具体包括环视前视摄像头、左摄像头、右摄像头和环视后视摄像头,所述环视前视摄像头布置于前中网格栅内,位于车身中轴面上;所述左摄像头和右摄像头分别布置于左右两侧的外后视镜内;所述环视后视摄像头安装于后背门钣金、后保险杠、牌照灯饰条或抠手盒内。
图像预处理模块2,用于根据所述车辆不同角度方向的图像得到车辆环视图像。
车位特征检测模块3,用于检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息。
车位角点确定模块4,用于根据所述车位方框和角点方框的类别和位置信息确定每一车位方框内所对应的角点方框。
车位线构建模块5,用于根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。
其中,所述摄像头1选用鱼眼摄像头,所述图像预处理模块具体用于对所述车辆不同角度方向的鱼眼图像进行矫正、透视变换及拼接得到车辆环视图像。
对于实施例二公开的系统而言,由于其与实施例一公开的方法相对应,相关之处参见实施例一的说明即可。
本发明实施例三还提供一种汽车,包括实施例二所述车位检测系统。
本发明实施例中未展开的部分,可参考以上实施例的对应部分,在此不再赘述。
通过上述说明可知,本发明实施例的有益效果在于:利用深度网络将车位检测问题分解为车位角点检测和车位方框检测,得到相应的车位角点和车位方框,再以专家知识对深度网络输出的结果进行后处理,根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框,准确率高,鲁棒性强,不需要人为选取特征,处理方式简单明了,其中,深度网络依靠数据驱动网络学习,不需要人工知识即可完成对车位角点检测和车位角点聚类的工作,由于是自学习,避免了人选特征局限性;又以简单专家知识根据车位角点进行车位刻画,完成较为简易的任务。深度网络解决高维非线性问题,专家知识解决确定性倾向强、推理简单的问题,充分利用深度网络和专家知识两种方法的优点,使得检测准确率高,鲁棒性强,克服完全人工专家知识算法在光影变换较大场景下车位漏检率高的问题。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (9)

1.一种车位检测方法,其特征在于,所述方法包括如下步骤:
获取车辆不同角度方向的图像;
根据所述车辆不同角度方向的图像得到车辆环视图像;
检测所述车辆环视图像,得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;其中,所述角点方框中心为车位角点,每一车位方框内具有多个角点方框;
根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框;
根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框;
其中,所述根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框包括:对于位于同一个车位方框内的角点方框,经过非极大值抑制和重叠率阈值筛选后,在各类角点方框中按置信度大小对同一类角点方框进行降序排序,至多选取前4个角点方框,并根据选取的角点方框数量及类别确定对应的车位线框。
2.根据权利要求1所述的车位检测方法,其特征在于,所述根据所述车辆不同角度方向的图像得到车辆环视图像包括:对所述车辆不同角度方向的图像进行矫正、透视变换及拼接得到车辆环视图像。
3.根据权利要求1所述的车位检测方法,其特征在于,所述检测所述车辆环视图像得到相应的角点方框和车位方框包括:
提取所述车辆环视图像的图像特征;
根据所述图像特征生成相应角点方框和车位方框;
根据车位方框和角点方框的分类规则确定生成的相应角点方框和车位方框的类别和位置信息。
4.根据权利要求3所述的车位检测方法,其特征在于,所述车位方框的类别包括垂直车位、平行车位和斜列车位;
所述角点方框的类别包括L形角点方框、T形角点方框和不完整角点方框;
所述角点方框的位置信息为(x1,y1,w1,h1),其中,x1、y1分别为角点方框中心在所述图像中的横坐标和纵坐标,w1、h1分别为角点方框的宽和高;
所述车位方框的位置信息为(x2,y2,w2,h2),其中,x2、y2分别为车位方框中心在所述图像中的横坐标和纵坐标,w2、h2分别为车位方框的宽和高。
5.根据权利要求4所述的车位检测方法,其特征在于,所述根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框包括:
根据每一车位方框的位置信息(x2,y2,w2,h2)确定对应车位方框的方框范围大小为w2×h2,车位方框的方框中心坐标为(x2,y2);
根据每一角点方框的位置信息(x1,y1,w1,h1)确定对应角点方框的方框范围大小为w1×h1,角点方框的方框中心坐标为(x1,y1);
判断角点方框的方框范围是否落入车位方框的方框范围中,若落入,则表示该角点方框为相应车位方框中一个角点方框。
6.根据权利要求1所述的车位检测方法,其特征在于,所述根据选取的角点方框数量及类别确定对应的车位线框包括:
根据选取的角点方框数量及类别确定对应的角点数量及类别;
其中,若确定的L形角点或T形角点的角点数为4、或L形角点与T形角点的角点总数为4,则分别计算确定的4个角点两两之间的距离,距离最大的两个角点为对角角点,据此依次连接4个角点形成相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为3、或L形角点与T形角点的角点总数为3,则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为1,则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形,分别计算这3个平行四边形与包围其的车位方框的共有面积,取共有面积最大的平行四边形为车位线框;若确定的不完整角点的角点数为0,则无法确定相应的车位线框;
其中,若确定的L形角点或T形角点的角点数为2、或L形角点与T形角点的角点总数为2,并且不完整角点的角点数为0,则判断确定的两个角点互为对角角点或相邻角点;如果确定的两个角点互为对角角点,则无法确定相应的车位线框;如果确定的两个角点互为相邻角点,则过选取的两个角点分别作垂线相交于其相对边线,得到2个交点作为补充角点,从而得到4个角点,并且根据相应4个角点确定相应的车位线框。
7.一种车位检测系统,其特征在于,包括:
设置于车辆车体上的多个摄像头,用于获取车辆不同角度方向的图像;
图像预处理模块,用于根据所述车辆不同角度方向的图像得到车辆环视图像;
车位特征检测模块,用于检测所述车辆环视图像得到相应的角点方框和车位方框,并确定每一角点方框和车位方框的相应类别及位置信息;其中,所述角点方框中心为车位角点,每一车位方框内具有多个角点方框;
车位角点确定模块,用于根据所述车位方框和角点方框的类别和位置信息确定每一车位方框内所对应的角点方框;
车位线构建模块,用于根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框,对于位于同一个车位方框内的角点方框,经过非极大值抑制和重叠率阈值筛选后,在各类角点方框中按置信度大小对同一类角点方框进行降序排序,至多选取前4个角点方框,并根据选取的角点方框数量及类别确定对应的车位线框。
8.根据权利要求7所述的车位检测系统,其特征在于,所述摄像头为鱼眼摄像头,所述图像预处理模块具体用于对所述车辆不同角度方向的鱼眼图像进行矫正、透视变换及拼接得到车辆环视图像。
9.一种汽车,其特征在于,包括如权利要求7或8所述的车位检测系统。
CN201811352110.9A 2018-11-14 2018-11-14 一种车位检测方法及其系统、汽车 Active CN111191485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811352110.9A CN111191485B (zh) 2018-11-14 2018-11-14 一种车位检测方法及其系统、汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811352110.9A CN111191485B (zh) 2018-11-14 2018-11-14 一种车位检测方法及其系统、汽车

Publications (2)

Publication Number Publication Date
CN111191485A CN111191485A (zh) 2020-05-22
CN111191485B true CN111191485B (zh) 2023-08-08

Family

ID=70708930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811352110.9A Active CN111191485B (zh) 2018-11-14 2018-11-14 一种车位检测方法及其系统、汽车

Country Status (1)

Country Link
CN (1) CN111191485B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836964B (zh) * 2020-06-08 2023-11-10 北京图森未来科技有限公司 车道线角点检测方法及装置
CN111746521B (zh) * 2020-06-29 2022-09-20 芜湖雄狮汽车科技有限公司 泊车路线的规划方法、装置、设备及存储介质
CN112124303A (zh) * 2020-09-27 2020-12-25 广州汽车集团股份有限公司 一种车位融合方法及系统
CN112983085A (zh) * 2021-04-30 2021-06-18 的卢技术有限公司 一种基于视觉的车位线识别方法
CN113408514B (zh) * 2021-06-16 2024-06-28 超级视线科技有限公司 一种基于深度学习检测路侧停车场泊位的方法及装置
WO2022266854A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种车位检测方法及装置
CN113627276A (zh) * 2021-07-20 2021-11-09 的卢技术有限公司 一种检测车位的方法和装置
CN114255584B (zh) * 2021-12-20 2023-04-07 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114943954B (zh) * 2022-07-21 2022-12-20 苏州魔视智能科技有限公司 一种车位检测方法、装置和系统
CN116189137B (zh) * 2022-12-07 2023-08-04 深圳市速腾聚创科技有限公司 车位检测方法、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744132B2 (en) * 2012-04-06 2014-06-03 Orhan BULAN Video-based method for detecting parking boundary violations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法

Also Published As

Publication number Publication date
CN111191485A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111191485B (zh) 一种车位检测方法及其系统、汽车
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
US11183067B2 (en) Image generating apparatus, image generating method, and recording medium
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN110765922B (zh) 一种agv用双目视觉物体检测障碍物系统
Suhr et al. Sensor fusion-based vacant parking slot detection and tracking
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
EP2924653A1 (en) Image processing apparatus and image processing method
CN102682292A (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN110852313B (zh) 一种车位检测方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN109740584B (zh) 基于深度学习的自动泊车停车位检测方法
Chen et al. A visual method tor the detection of available parking slots
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112233136A (zh) 基于双目识别的集卡对位方法、系统、设备及存储介质
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
JP2010055340A (ja) 走行路推定装置及びプログラム
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
CN111895931B (zh) 一种基于计算机视觉的煤矿作业区标定方法
CN114550485A (zh) 一种车位检测方法及装置
Lee et al. Calibration of VLP-16 Lidar Sensor and Vision Cameras Using the Center Coordinates of a Spherical Object
CN109934169A (zh) 一种车道线识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant