CN104933409B - 一种基于全景图像点线特征的车位识别方法 - Google Patents

一种基于全景图像点线特征的车位识别方法 Download PDF

Info

Publication number
CN104933409B
CN104933409B CN201510321356.XA CN201510321356A CN104933409B CN 104933409 B CN104933409 B CN 104933409B CN 201510321356 A CN201510321356 A CN 201510321356A CN 104933409 B CN104933409 B CN 104933409B
Authority
CN
China
Prior art keywords
point
parking stall
line segment
line
wire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510321356.XA
Other languages
English (en)
Other versions
CN104933409A (zh
Inventor
付梦印
李星河
李�浩
郭翔
屈新
朱昊
杨毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201510321356.XA priority Critical patent/CN104933409B/zh
Publication of CN104933409A publication Critical patent/CN104933409A/zh
Application granted granted Critical
Publication of CN104933409B publication Critical patent/CN104933409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于全景图像点线特征的车位识别方法，具体过程为：一、获得车辆周围地面的全景俯视图像，对所述全景俯视图像做滤波和二值化处理，获得二值化图像；二、组织二值化图像中的点生成点集合WhitePointR和WhitePointC；三、逐个遍历点集WhitePointR中的点，构建图像中的横向线段，获得横向线段集合WhiteLineR；逐个遍历点集WhitePointC中的点，构建图像中的纵向线段，获得纵向线段集合WhiteLineC；四，从横向线段集合WhiteLineR和纵向线段集合WhiteLineC中寻找满足构成车位要求的线段；五，在车位线集合中添加限制，剔除重复车位，得到检测结果。利用本发明的检测结果能够给出所有全景视野中的所有潜在车位，尤其是城市场景中的连续车位情况。

Description

一种基于全景图像点线特征的车位识别方法
技术领域
本发明涉及一种基于全景图像点线特征的车位识别方法，属于智能车辆的辅助泊车技术领域。
背景技术
泊车是在日常驾驶中经常遇到的情况，手动驾驶将车泊入车位需要一定的驾驶技巧，对于新手而言往往比较难于应对，尤其在车位比较狭小的情况下，泊车过程也是剐蹭、碰撞等事故的多发区。
随着近年来车辆技术的发展，智能化的电子控制技术和环境感知技术的日益强大，对驾驶者驾驶技能的要求有所降低。泊车辅助技术也是各大汽车设计厂商和车辆工程研究人员的热点研究领域。
实际应用中，泊车辅助技术历经了逐步智能化的过程。在最初阶段，驾驶员通过反光镜目测判断距离；随后更多的电子传感器被装备于车辆，例如车前后保险杠的超声波雷达，车尾安装的倒车影像系统，能够将车后方图像信息直接显示在中控屏幕上，补充驾驶员视觉盲区，探测车前后的距离，但是该方法探测范围有限。目前在某些中高级轿车上已经装备了更先进的泊车辅助系统，其中包括全景摄像头：能够帮助驾驶员俯瞰周围环境，更有配备车侧超声波雷达全自动泊车入位：能够完全自主探测车位，并将车泊入驾驶员指定方向的车位。
要实现全自动泊车入位，车位检测是首先要解决的问题，目前检测车位有以下几类方法：基于设施的方法，基于空闲车位的方法，基于车位线的方法。
(1)基于设施的方法要求车位附近有配套安装的辅助设施用于确定车辆对于车位的相对位置，车辆通过识别辅助设施间接确定车位，然而对于室内停车场这样的设施相对容易安装，一般城市室外街道等环境大都没有条件安装这样的辅助设施，并且没有形成统一标准，限制了这一方法的普遍应用。
(2)基于空闲车位的方法是目前商品车普遍应用的方法，其原理是利用安装于车身侧面的一排超声波雷达检测左侧或者右侧的障碍物深度，在车辆沿道路边缘驶过时，向侧面探测深度变化，找出符合车辆泊入条件空位，这种方法原理决定其依赖停车区域中的已停车辆构成的空位，而在仅有车位线的区域会失效。这种方法工作需要人员辅助完成，即在需要泊车时预先将车在车位旁边停好，并向车辆交互系统制定需检测车位的相对于车辆的方位，如果没有人员辅助，将会误识别车辆周围所有符合尺寸大小的空缺，适应性和智能型较低，优点在于在应用于有人驾驶的车辆在驾驶员的辅助下稳定性较好。
(3)基于车位线识别的方法依赖停车区域地面所划的车位线。该方法需要车辆装备摄像头，利用摄像头采集的图像信息做图像处理识别的划线特征，得到车位相对于车的位置。该类方法，不依赖于停车区域外部设施，也不依赖于车位周围车辆停靠情况，但是会受到车位扭曲、残破、尺寸大小不一等因素影响，高效稳定的检测方法能够减少此类因素的影响；但是一般的基于图像识别的检测方法容易受到多方面影响，包括：室外白天夜间光照强度差别，地面反光和阴影，地面其它白色标志标线干扰，车位线扭曲，线条残破等情况。
发明内容
有鉴于此，本发明旨在现有商品车硬件配置的基础上，利用图像点线特征的方法解决图像识别检测方法中存在的问题，提供了一种基于全景图像点线特征的车位识别方法。
实现本发明的技术方案如下：
一种基于全景图像点线特征的车位识别方法，具体过程为：
一、获得车辆周围地面的全景俯视图像，对所述全景俯视图像做滤波和二值化处理，获得二值化图像；
二、组织二值化图像中的点生成点集合；具体过程为：
以行坐标为第一优先级，列坐标为第二优先级的规则，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至点集WhitePointR中；以列坐标为第一优先级，行坐标为第二优先级的规则，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至点集WhitePointC中；同时存储各白色像素点的线段归属属性Invalid为假；
三、逐个遍历点集WhitePointR中的点，构建图像中的横向线段，获得横向线段集合WhiteLineR；逐个遍历点集WhitePointC中的点，构建图像中的纵向线段，获得纵向线段集合WhiteLineC；
纵向线段的构建过程为：
101，遍历到点集WhitePointC中的某点P，判断其线段归属属性Valid是否为假，若是，则在纵向线段集合WhiteLineC中新建一个对象Linei，并将点P作为该对象Linei的起始点Pf，否则，进入步骤103；
102，在图像上点P的下方，递归搜索对象Linei的终止点Pe，其中递归过程应满足如下规则：
①搜索点未达到图像边缘；
②如果当前搜索点为白色点，则将该点的线段归属属性Valid置为真，单次断点计数清零，并以该点为起始点继续向下寻找白色点；
③如果当前搜索点为黑色点，该点左或右邻点为白色点，则将左或右的白色点的线段归属属性Valid置为真，单次断点计数清零，并以左或右的白色点为起始点继续向下寻找白色点；
④如果当前搜索点为黑色点，该点左和右邻点均为黑色点，则将单次断点计数BreaksOnce加1，总断点次数Breaks加1，并以当前搜索点为起始点继续向下寻找白色点；
⑤若单次断点计数BreaksOnce超过断点最大长度阈值COLABSENT，则递归结束，返回上一次找到的白色点作为对象Linei的终止点Pe，该线段检测结束；
103，判断点集WhitePointC中的点是否都已经被遍历，若是，进入步骤104，否则，返回步骤101；
104，对集合WhiteLineC中的线段进行筛选，保留满足下列约束条件的线段：
1)线段长度LineLength小于预设的最大线段长度；
2)线段长度LineLength大于预设的最小线段长度；
3)线段倾斜角小于预设的最大倾斜角度；
4)线段的完整度LineIntegrity大于最小预设完整度，
LineIntegrity＝(LineLength-Breaks)/LineLength*100％
横向线段的构建过程为：
201，遍历到点集WhitePointR中的某点Q，判断其线段归属属性Valid是否为假，若是，则在横向线段集合WhiteLineR中新建一个对象Linej，并将点Q作为该对象Linej的起始点Pf，否则，进入步骤203；
202，在图像上点Q的右方，递归搜索对象Linej的终止点Pe，其中递归过程应满足如下规则：
①搜索点未达到图像边缘；
②如果当前搜索点为白色点，则将该点的线段归属属性Valid置为真，单次断点计数清零，并以该点为起始点继续向右寻找白色点；
③如果当前搜索点为黑色点，该点上或下邻点为白色点，则将上或下的白色点的线段归属属性Valid置为真，单次断点计数清零，并以上或下的白色点为起始点继续向右寻找白色点；
④如果当前搜索点为黑色点，该点上和下邻点均为黑色点，则将单次断点计数BreaksOnce加1，总断点次数Breaks加1，并以当前搜索点为起始点继续向右寻找白色点；
⑤若单次断点计数BreaksOnce超过断点最大长度阈值COLABSENT，则递归结束，返回上一次找到的白色点作为对象Linej的终止点Pe，该线段检测结束；
203，判断点集WhitePointR中的点是否都已经被遍历，若是，进入步骤204，否则，返回步骤201；
204，对集合WhiteLineC中的线段进行筛选，保留满足下列约束条件的线段：
1)线段长度LineLength小于预设的最大线段长度；
2)线段长度LineLength大于预设的最小线段长度；
3)线段倾斜角小于预设的最大倾斜角度；
4)线段的完整度LineIntegrity大于最小预设完整度，
LineIntegrity＝(LineLength-Breaks)/LineLength*100％
四，从横向线段集合WhiteLineR和纵向线段集合WhiteLineC中寻找满足构成车位要求的线段，并将其存储到车位线集合中；所述构成车位要求为：
针对全封闭车位线：
1.四条线段长度满足待检测车位线条的长度、完整度、角度要求；
2.各线段相对位置关系满足构成车位的要求；
3.构成的车位满足长度、宽度、完整度，长宽比要求；
针对C型车位线：
1.除开口方向外的三条线段长度满足待检测车位线条的长度、完整度、角度要求；
2.各线段相对位置关系满足构成车位的要求；
3.构成的车位满足长度、宽度、完整度，长宽比要求；
所述全景图像为利用车载鱼眼摄像头采集，该步骤的具体过程为：
(1)将WhiteLineC中的线条以横向坐标为参考进行重新排序，将WhiteLineR中的线条以纵向坐标为参考进行重新排序，并将两个集合中的线条的车位归属属性InValid设为假；
(2)当车辆沿道路驶过右侧车位时，在纵向线条集合WhiteLineC中沿横向坐标由小至大遍历线条，当车辆沿道路驶过左侧车位时，在纵向线条集合WhiteLineC中沿横向坐标由大至小遍历线条；
(3)遍历到一个线条LCi后，若其InValid为假，若车位为右侧车位，将该纵向线条作为潜在车位线PARKk的左边框线Lleft，若车位为左侧车位，将该纵向线条作为潜在车位线PARKk的右侧边框线Lright；
(4)若寻找的车位为全封闭车位线，在此线条之后的纵向线条库WhiteLineC中开始依次遍历，寻找一条满足以下要求的纵向线条LCj，所述要求为：LCi和LCj之间满足：a.小于最大间距限制；b.大于最小间距限制；c.大于最小正对长度；若车位为右侧车位，将满足以上条件的LCj作为PARKk的右框线Lright，若车位为左侧车位，将满足以上条件的LCj作为PARKk的左侧边框线Lleft；
若寻找的车位为C型车位线，针对右侧车位，在Lleft右侧平行恰当(取最大间距与最小间距的平均值)位置，虚拟一条右框线LCj，该框线与Lleft平行且长度相等；针对左侧车位，在Lright左侧平行恰当位置，虚拟一条左框线LCj，该框线与Lright平行且长度相等；
(5)在横向线条库WhiteLineR中进行第一次遍历，寻找满足条件a-c的一条横向线条LRp，条件：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度与LCi和LCj之间距离之比满足比例下限；将LRp作为PARKk的上框线Lforward；
(6)在横向线条库WhiteLineR中进行第二次遍历，寻找一条满足条件a-e且车位归属属性InValid为假的横向线条LRq，条件：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度满足LCi和LCj之间距离的比例下限；d.LRq与LRp之间距离大于车位框线最小长度；e.LRq与LRp之间距离小于车位框线最大长度；将LRq作为PARKk的下框线Lback；
(7)由上述步骤得到的PARKk中的LCi，LCj，LRq与LRp分别计算车位线的4个交点坐标，计算得到车位每条框线中线条完整度，若有任意一条框线不能满足完整度Integrity下限要求，则放弃该车位；若满足要求，则存储该车位添加入集合PARKSET并将LCi，LCj线段车位归属属性InValid置为真，寻找下一车位。
五，在车位线集合中添加限制，剔除重复车位，得到检测结果。
有益效果
第一，本发明的检测结果能够给出所有全景视野中的所有潜在车位，尤其是城市场景中的连续车位情况。
第二，本发明提出的逐个遍历点集构建横、纵向线段，能够限定敏感线段长度，位置，完整度，间断程度，相对位置等属性，有效排除地面上其他标线干扰，提取出地面车位线。
第三，本发明采用点线特征进行车位提取，能够检测矩形，畸变的矩形和平行四边形车位，并且应对车位残破，磨损，部分遮挡，处于斜面等情况。
第四，本发明采用了鱼眼摄像头全景环视检测方法能够利用现有商品车辆硬件配置基础上实现停车位地面框线的检测。
附图说明
图1是本发明方法的流程示意图；
图2是逐点遍历纵向线段提取方法算法工作流程示意图；
图3是点线特征车位提取方法算法工作流程示意图；
图4是线条检测过程示意图；
图5是车位线条组成示意图
图6是全景俯视拼接的灰度化图像；
图7是图像经差分高斯滤波并二值化后的图像；
图8是线条检测的结果示意图；
图9是车位检测结果示意图。
具体实施方式
下面结合附图举例说明本发明的具体实施方式。
本发明提供一种基于全景图像点线特征的车位识别方法，解决全自动泊车中的车位识别问题；本方法的应用平台是一般商品车，其上需配备有全景系统，由车前方、车后方、左右后视镜下方四个鱼眼摄像机采集图像拼接而成，还需配备车载计算机或者嵌入式处理器作为图像处理单元。
本发明基于以上平台，通过多个鱼眼摄像头采集原始图像，变换拼接得到全景图像，再利用基于点线特征的图像识别算法找出车位线，典型的工作过程如图1所示，为：
一、获得车辆周围地面的全景俯视图像；对所述全景俯视图像做滤波和二值化处理，获得二值化图像；
二、组织二值化图像中的点生成点集合；
三、在逐点遍历点集合，按照线段提取方法生成线段集合，如图2所示
四、点线特征车位提取方法生成车位线集合，如图3所示
五、在车位线集合中添加限制，剔除重复车位，得到检测结果。
下面具体介绍每个环节具体内容：
一、利用车载鱼眼摄像头，处理后获得车辆周围地面的全景俯视图像。
鱼眼摄像头焦距极短，视角超宽，一般能够达到180度甚至更广。建立车体后轴中点为原点的坐标系，典型的配置方式为：车前方、左后视镜下、后方、右后视镜下各安置一枚鱼眼摄像头，位置分别为P0(X0Y0)，P1(X1Y1)，P2(X2Y2)，P3(X3Y3)，相对于车体坐标系，航向朝向分别为：正前，正左，正后，正右。安装俯仰角度分别为α0，α1，α2，α3。
安装位置固定后，由于四个摄像头相对位置和姿态将不再发生变化，以车体坐标系为参照，通过标定板的方法可以获得鱼眼镜头内外参数，利用各摄像头的安装位置姿态矩阵，通过逆投影变换(Inverse Perspective Transform，IPM)可以得到每个摄像头的地面俯瞰图，再拼接成完整的全景俯视图像，如图6所示。
对所述全景俯视图像做滤波和二值化处理。
由于车位线是刷在地面上的白色或黄色线段，与地面的颜色具有较大的反差，本步骤中首先对输入的IPM(即每一只鱼眼摄像头分别做逆投影变换(IPM)然后拼接成总体IPM作为输入)图像分解成R，G，B三个通道的分量，各通道按照一定比例再混合叠加成灰度图像。后利用OpenCV的滤波函数分别进行横向和纵向的差分高斯滤波，分别提取横向和纵向的图像边缘然后叠加，经处理的图像突出了其中的白色边缘，并且排除了大片高光区域的不良影响。混合后的图像包含原始图像中的所有边缘线段，其中包含有车位线信息。最后将处理后的图像进行二值化处理，得到黑白边缘图像，如图7所示。
二、组织二值化图像中的点生成点集合。
经过上一步骤处理后的二值化图像中包含黑色和白色像素点，白色像素点包含未经处理的边缘信息。以行坐标为第一优先级，列坐标为第二优先级的规则(即先从上到下，再从左往右的规则)，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至实例化的点类WhitePointR。以列坐标为第一优先级，行坐标为第二优先级的规则(即先从左往右先，再从上到下的规则)，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至实例化点类WhitePointC。同时被存储的还有白色像素点的行列坐标值和线段归属性Invalid。
三、逐点遍历点集合，按照线段提取方法生成线段集合。
本步骤中通过遍历WhitePointC中的白色点构建纵向线段；通过同样的方法遍历WhitePointR中的白色点构建横向线段。
以构建纵向线段的情况为例介绍具体执行过程，如图2所示，首先遍历WhitePointC，遍历到某一点P时，如果其线段归属Valid属性为假(即其不属于任意已存在的纵向线段)，则在线段集合中新建一个对象Linei，其起始点为Pf＝P，由于WhitePointC中的点是以列坐标由小到大排序，因此对于任意一条图像中存在横向线段，其上端点将优先被遍历过程读取到。递归寻找其终止点，在图像寻找位于其下方的白色点，直到找不到满足条件为止，该递归过程满足以下规则：
1.搜索点未达到图像边缘。
2.如果当前搜素点为白色点，则将搜索的线段归属属性Valid置为真，单次断点计数清零，并以该点为起始点继续向下寻找白色点。
3.如果当前搜索点为黑色点，该点左或右邻点为白色点，则将左或右白色点的线条归属属性Valid置为真，单次断点计数清零，并以左或右白色点为起始点继续向下寻找白色点。
4.如果当前搜索点为黑色点，该点左和右邻点均为黑色点，则将单次断点计数BreaksOnce加1，总断点次数Breaks加1，并以当前搜索点为起始点继续向下寻找白色点。
5.若单次断点计数超过断点最大长度阈值COLABSENT，则递归结束，返回上一次找到的白色点作为该纵向线段Linei的末端点Pe，该线段检测结束。
上述方法检测出的线段以属性集合存储为线段集合WhiteLineC。遍历该集合找出具有相同末端点且方向相似的线段以去除重复线段。
上述线段还需要经过以下约束条件筛选：
线段长度LineLength＝||Pe-Pf||小于长度上限LINELENGTHMAX；
线段长度LineLength＝||Pe-Pf||大于长度下限LINELENGTHMIN；
线段倾斜角LineAngletan-1((Yf-Ye)/(Xf-Xe))小于最大倾斜角度LINEANGLEMAX；其中(Xe，Ye)为点Pe的坐标，(Xf，Yf)为点Pf的坐标。
线条完整度LineIntegrity＝(LineLength-Breaks)/LineLength*100％大于最小完整度LINEINTEGRITYMIN。
经过以上条件筛选的线段按照横向坐标从小至大排序存储，属性集合内容包括：线段起点坐标Pf＝(Xf，Yf)；线段终点坐标Pe＝(Xe，Ye)；线段重心坐标Pg＝(Xg，Yg)；线段总断点数Breaks；线段完整度LineIntegrity；车位归属属性InValid。
将WhiteLineC中的线条以横向坐标为参考进行重新排序，存回WhiteLineC中。
横向线段检测方法与上述方法相，同理得到WhiteLineR。图4示例了一次横向线条的搜索过程。搜索出的线条如图8所示。
四、点线特征车位提取方法生成车位线集合
本发明中所述的车位为标准平行四边形框或矩形框车位，包括垂直全封闭车位，垂直路边C型车位，侧方全封闭车位，侧方路边C型车位。
规定车辆停入车位(垂直车位为倒入)后，车头、车位所对的车位边线分别为前、后边线，车辆左、右弦对应的分别为车位左、右边线，每种类型车位均包含有如下约束条件：
上述距离均指线段重心的距离。
每次执行本步骤只能规定寻找某一种特定类型车位，还需规定其出现的位置(右侧或左侧)，如果结果需要提供多种类型车位，则多次调用下述循环将结果叠加完成，对于检测上述任意一类车位，遵循以下分步骤，
1.当车辆沿道路驶过右侧(左侧)车位时，在纵向线条集合WhiteLineC中沿横向坐标由小至大(左侧情况：由大至小)遍历线条。
2.遍历到一个线条LCi后，若其InValid为假，即其不属于任何一个车位，则以此纵向线条作为潜在车位线PARKk的左边框线Lleft(左侧情况：右侧边框线Lright)。
3.若寻找全封闭车位线，在此线条之后的纵向线条库WhiteLineC中开始依次遍历。找到一个纵向线条LCj，如果LCi和LCj之间满足：a.小于最大间距限制；b.大于最小间距限制；c.大于最小正对长度。不同时满足以上条件，遍历下一个纵向线条；若满足以上条件则将LCj作为PARKk的右框线Lright(左侧情况：左侧边框线Lleft)。
若寻找C型车位线，在Lleft右侧(左侧情况：Lright左侧)平行恰当(取最大间距与最小间距的平均值)位置，虚拟一条右框线(左侧情况：左框线)，该框线与Lleft(左侧情况：Lright)平行且长度相等，该线定义LCj为作为PARKk的右边框线Lright(左侧情况：左侧边框线Lleft)。
4.在横向线条库WhiteLineR中进行第一次遍历，若存在一条横向线条LRp，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度与LCi和LCj之间距离之比满足比例下限。若不同时满足条件a-c，则再次执行该步骤继续寻找，若满足以上条件则将LRp作为PARKk的上框线Lforward。
5.在横向线条库WhiteLineR中进行第二次遍历，若存在一条车位归属属性InValid为假的横向线条LRq，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度满足LCi和LCj之间距离的比例下限；d.LRq与LRp之间距离大于车位框线最小长度；d.LRq与LRp之间距离小于车位框线最大长度。若不满足则再次执行步骤5继续寻找，若满足以上条件则将LRq作为PARKk的下框线Lback。
6.由上述步骤得到的PARKk中的LCi，LCj，LRq与LRp分别计算车位线的4个交点坐标，计算得到车位每条框线中线条完整度，若有任意一条框线不能满足完整度Integrity下限要求，则放弃该车位，重新返回步骤1。若满足要求，则存储该车位添加入集合PARKSET并将LCi，LCj线段车位归属属性InValid置为真。返回1，寻找下一车位。
本实施例以侧方全封闭车位和侧方路边C型车位进行进一步详细说明：
侧方全封闭车位：
1.当车辆沿道路驶过车位时，经过之前步骤，在纵向线条集合WhiteLineC中沿横向坐标由小至大遍历线条。
2.遍历到一个线条LCi后，若其InValid为假，即其不属于任何一个车位，则以此纵向线条作为潜在车位线PARKk的左边框线Lleft，在此线条之后的纵向线条库WhiteLineC中开始次一级遍历。
3.在次一级遍历中，找到一个纵向线条LCj，如果LCi和LCj之间满足：a.小于最大间距限制；b.大于最小间距限制；c.大于最小正对长度。不满足以上任何返回步骤1，遍历下一个纵向线条；若满足以上条件则将LCj作为PARKk的右框线Lright。
4.在横向线条库WhiteLineR中进行第一次遍历，若存在一条车位归属属性InValid为假的横向线条LRp，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度与LCi和LCj之间距离之比满足比例下限。若不满足返回步骤4.若满足，若满足以上条件则将LRp作为PARKk的上框线Lforwa rd。
5.在横向线条库WhiteLineR中进行第二次遍历，若存在一条车位归属属性InValid为假的横向线条LRq，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度满足LCi和LCj之间距离的比例下限；d.LRq与LRp之间距离大于车位框线最小长度；d.LRq与LRp之间距离小于车位框线最大长度。若不满足则返回步骤5，若满足以上条件则将LRq作为PARKk的下框线Lback，车位线条组成相对关系如图5所示。
6.由上述步骤得到的PARKk中的LCi，LCj，LRq与LRp分别计算车位线的4个交点坐标，计算得到车位每条框线中线条完整度，若有任意一条框线不能满足完整度Integrity下限要求，则放弃该车位，重新返回步骤1。若满足要求，则存储该车位添加入集合PARKSET并将LCi，LCj线段车位归属属性InValid置为真。返回1，寻找下一车位。
侧方路边C型车位：
1.当车辆沿道路驶过车位时，经过之前步骤，在纵向线条集合WhiteLineC中延横向坐标由小至大遍历线条。
2.遍历到一个线条LCi后，若其InValid为假，即其不属于任何一个车位，则以此纵向线条作为潜在车位线PARKk的左边框线Lleft。
3.在Lleft右侧平行恰当(最大间距与最小间距的平均值)位置，虚拟一条右框线，该框线与Lleft平行且长度相等，该线定义LCj为作为PARKk的右边框线Lright。
4.在横向线条库WhiteLineR中进行第一次遍历，若存在一条车位归属属性InValid为假的横向线条LRp，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度满足LCi和LCj之间距离的比例下限。若不满足返回4.若满足，若满足以上条件则将LRp作为PARKk的上框线Lforward。
5.在横向线条库WhiteLineR中进行第二次遍历，若存在一条车位归属属性InValid为假的横向线条LRq，满足：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线条长度满足LCi和LCj之间距离的比例下限；d.LRq与LRp之间距离大于车位框线最小长度；d.LRq与LRp之间距离小于车位框线最大长度。若不满足则返回步骤5，若满足以上条件则将LRq作为PARKk的下框线Lback。
6.由上述步骤得到的PARKk中的LCi，LCj，LRq与LRp分别计算车位线的4个交点坐标，计算得到车位每条框线中线条完整度，若有任意一条框线不能满足完整度下限要求，则放弃该车位，重新返回步骤1。若满足要求，则存储该车位添加入集合PARKSET，统计记录该车位的以下属性：车位四角坐标，车位框宽度Width，车位框长度Length，车位框线类别Type，并将LCi线段车位归属属性InValid置为真。返回步骤1，寻找下一车位。
垂直方位的全封闭车位和C型车位检测方法与上述方法相类似，只需要选定相应的长宽数值即可。
六、在车位线集合中添加限制，剔除重复车位，得到检测结果。上一步中检测出车位框线集合PARKSET，在本步骤中，做进一步限定和筛选。
首先遍历车位框线集合PARKSET，对其中车位框线做以下筛选：a、车位长度上限；b.车位长度下限；c.车位宽度上限；c.车位宽度下限；d.车位长宽比上限；e.车位长宽比下限；f.车位完整度下限；g车位位置。对不满足限制条件的车位框线直接删除。
其次，对于尺寸相近的，重叠面积区域百分比大于阈值的两个车位框线，去完整度较高者保留。
最后车位框线集合中所保留的及未检测结果，图9所示，输出车位框线检测结果列表。
最后车位框线集合中所保留的及未检测结果，输出车位框线检测结果列表。
以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制了本发明的范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于全景图像点线特征的车位识别方法，其特征在于，具体过程为：
一、获得车辆周围地面的全景俯视图像，对所述全景俯视图像做滤波和二值化处理，获得二值化图像；
二、组织二值化图像中的点生成点集合；具体过程为：
以行坐标为第一优先级，列坐标为第二优先级的规则，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至点集WhitePointR中；以列坐标为第一优先级，行坐标为第二优先级的规则，逐个遍历二值化图像中的每一像素点，逐个存储白色像素点至点集WhitePointC中；
三、逐个遍历点集WhitePointR中的点，构建图像中的横向线段，获得横向线段集合WhiteLineR；逐个遍历点集WhitePointC中的点，构建图像中的纵向线段，获得纵向线段集合WhiteLineC；
四，从横向线段集合WhiteLineR和纵向线段集合WhiteLineC中寻找满足构成车位要求的线段，并将其存储到车位线集合中；
五，在车位线集合中剔除重复车位，得到检测结果；
存储各白色像素点的线段归属属性valid为假；
纵向线段的构建过程为：
101，遍历到点集WhitePointC中的某点P，判断其线段归属属性Valid是否为假，若是，则在纵向线段集合WhiteLineC中新建一个对象Linei，并将点P作为该对象Linei的起始点Pf，否则，进入步骤103；
102，在图像上点P的下方，递归搜索对象Linei的终止点Pe，其中递归过程应满足如下规则：
①搜索点未达到图像边缘；
②如果当前搜索点为白色点，则将该点的线段归属属性Valid置为真，单次断点计数清零，并以该点为起始点继续向下寻找白色点；
③如果当前搜索点为黑色点，该点左或右邻点为白色点，则将左或右的白色点的线段归属属性Valid置为真，单次断点计数清零，并以左或右的白色点为起始点继续向下寻找白色点；
④如果当前搜索点为黑色点，该点左和右邻点均为黑色点，则将单次断点计数BreaksOnce加1，总断点次数Breaks加1，并以当前搜索点为起始点继续向下寻找白色点；
⑤若单次断点计数BreaksOnce超过断点最大长度阈值COLABSENT，则递归结束，返回上一次找到的白色点作为对象Linei的终止点Pe，该线段检测结束；
103，判断点集WhitePointC中的点是否都已经被遍历，若是，进入步骤104，否则，返回步骤101；
104，对集合WhiteLineC中的线段进行筛选，保留满足下列约束条件的线段：
1)线段长度LineLength小于预设的最大线段长度；
2)线段长度LineLength大于预设的最小线段长度；
3)线段倾斜角小于预设的最大倾斜角度；
4)线段的完整度LineIntegrity大于最小预设完整度，
LineIntegrity＝(LineLength-Breaks)/LineLength*100％
横向线段的构建过程为：
201，遍历到点集WhitePointR中的某点Q，判断其线段归属属性Valid是否为假，若是，则在横向线段集合WhiteLineR中新建一个对象Linej，并将点Q作为该对象Linej的起始点Pf，否则，进入步骤203；
202，在图像上点Q的右方，递归搜索对象Linej的终止点Pe，其中递归过程应满足如下规则：
①搜索点未达到图像边缘；
②如果当前搜索点为白色点，则将该点的线段归属属性Valid置为真，单次断点计数清零，并以该点为起始点继续向右寻找白色点；
③如果当前搜索点为黑色点，该点上或下邻点为白色点，则将上或下的白色点的线段归属属性Valid置为真，单次断点计数清零，并以上或下的白色点为起始点继续向右寻找白色点；
④如果当前搜索点为黑色点，该点上和下邻点均为黑色点，则将单次断点计数BreaksOnce加1，总断点次数Breaks加1，并以当前搜索点为起始点继续向右寻找白色点；
⑤若单次断点计数BreaksOnce超过断点最大长度阈值COLABSENT，则递归结束，返回上一次找到的白色点作为对象Linej的终止点Pe，该线段检测结束；
203，判断点集WhitePointR中的点是否都已经被遍历，若是，进入步骤204，否则，返回步骤201；
204，对集合WhiteLineC中的线段进行筛选，保留满足下列约束条件的线段：
1)线段长度LineLength小于预设的最大线段长度；
2)线段长度LineLength大于预设的最小线段长度；
3)线段倾斜角小于预设的最大倾斜角度；
4)线段的完整度LineIntegrity大于最小预设完整度，
LineIntegrity＝(LineLength-Breaks)/LineLength*100％。
2.根据权利要求1所述基于全景图像点线特征的车位识别方法，其特征在于，所述构成车位要求为：
针对全封闭车位线：
1） .四条线段长度满足待检测车位线段的长度、完整度、角度要求；
2） .各线段相对位置关系满足构成车位的要求；
3） .构成的车位满足长度、宽度、完整度，长宽比要求；
针对C型车位线：
1） .除开口方向外的三条线段长度满足待检测车位线段的长度、完整度、角度要求；
2） .各线段相对位置关系满足构成车位的要求；
3） .构成的车位满足长度、宽度、完整度，长宽比要求。
3.根据权利要求1所述基于全景图像点线特征的车位识别方法，其特征在于，所述全景图像为利用车载鱼眼摄像头采集，该步骤的具体过程为：
(1)将WhiteLineC中的线段以横向坐标为参考进行重新排序，将WhiteLineR中的线段以纵向坐标为参考进行重新排序，并将两个集合中的线段的车位归属属性InValid设为假；
(2)当车辆沿道路驶过右侧车位时，在纵向线段集合WhiteLineC中沿横向坐标由小至大遍历线段，当车辆沿道路驶过左侧车位时，在纵向线段集合WhiteLineC中沿横向坐标由大至小遍历线段；
(3)遍历到一个线段LCi后，若其InValid为假，若车位为右侧车位，将该纵向线段作为潜在车位线PARKk的左边框线Lleft，若车位为左侧车位，将该纵向线段作为潜在车位线PARKk的右侧边框线Lright；
(4)若寻找的车位为全封闭车位线，在此线段之后的纵向线段库WhiteLineC中开始依次遍历，寻找一条满足以下要求的纵向线段LCj，所述要求为：LCi和LCj之间满足：a.小于最大间距限制；b.大于最小间距限制；c.大于最小正对长度；若车位为右侧车位，将满足以上条件的LCj作为PARKk的右框线Lright，若车位为左侧车位，将满足以上条件的LCj作为PARKk的左侧边框线Lleft；
若寻找的车位为C型车位线，针对右侧车位，在Lleft右侧平行恰当位置，虚拟一条右框线LCj，该框线与Lleft平行且长度相等；针对左侧车位，在Lright左侧平行恰当位置，虚拟一条左框线LCj，该框线与Lright平行且长度相等；
(5)在横向线段库WhiteLineR中进行第一次遍历，寻找满足条件a-c的一条横向线段LRp，条件：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线段长度与LCi和LCj之间距离之比满足比例下限；将LRp作为PARKk的上框线Lforward；
(6)在横向线段库WhiteLineR中进行第二次遍历，寻找一条满足条件a-e且车位归属属性InValid为假的横向线段LRq，条件：a.左端点处于相对于左框线的位置区间；b.右端点处于相对右框线的位置区间；c.线段长度满足LCi和LCj之间距离的比例下限；d.LRq与LRp之间距离大于车位框线最小长度；e.LRq与LRp之间距离小于车位框线最大长度；将LRq作为PARKk的下框线Lback；
(7)由上述步骤得到的PARKk中的LCi，LCj，LRq与LRp分别计算车位线的4个交点坐标，计算得到车位每条框线中线段完整度，若有任意一条框线不能满足完整度Integrity下限要求，则放弃该车位；若满足要求，则存储该车位添加入集合PARKSET并将LCi，LCj线段车位归属属性InValid置为真，寻找下一车位。
CN201510321356.XA 2015-06-12 2015-06-12 一种基于全景图像点线特征的车位识别方法 Active CN104933409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510321356.XA CN104933409B (zh) 2015-06-12 2015-06-12 一种基于全景图像点线特征的车位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510321356.XA CN104933409B (zh) 2015-06-12 2015-06-12 一种基于全景图像点线特征的车位识别方法

Publications (2)

Publication Number Publication Date
CN104933409A CN104933409A (zh) 2015-09-23
CN104933409B true CN104933409B (zh) 2018-04-03

Family

ID=54120569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510321356.XA Active CN104933409B (zh) 2015-06-12 2015-06-12 一种基于全景图像点线特征的车位识别方法

Country Status (1)

Country Link
CN (1) CN104933409B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN105957393B (zh) * 2016-04-29 2019-11-12 百度在线网络技术（北京）有限公司 一种停车位的识别方法及装置
KR101876032B1 (ko) * 2016-06-27 2018-08-02 현대자동차주식회사 주차구획 표시 장치 및 그 방법
CN106772389A (zh) * 2016-11-07 2017-05-31 纵目科技（上海）股份有限公司 一种库位检测方法、系统、及移动设备
CN109389012B (zh) * 2017-08-10 2023-04-07 纵目科技（上海）股份有限公司 基于响应点及车位线的车位扩展方法和存储介质
CN109389013B (zh) * 2017-08-10 2024-02-09 纵目科技（上海）股份有限公司 基于车位主方向及模板响应点的车位组合算法和介质
CN109389643B (zh) * 2017-08-10 2024-02-06 纵目科技（上海）股份有限公司 车位主方向判断方法、系统以及存储介质
CN109753840B (zh) * 2017-11-06 2023-09-01 纵目科技（上海）股份有限公司 一种基于响应值确定车位线角点的方法、系统和存储介质
CN108090455B (zh) * 2017-12-27 2023-08-22 北京纵目安驰智能科技有限公司 基于级联机制的车位线顶点定位方法、系统、终端及介质
CN109299686A (zh) * 2018-09-14 2019-02-01 深圳市灵动飞扬科技有限公司 一种车位识别方法、装置、设备及介质
CN109435942B (zh) * 2018-10-31 2024-04-09 合肥工业大学 一种基于信息融合的车位线车位识别方法及装置
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置
CN109741241B (zh) * 2018-12-26 2023-09-05 斑马网络技术有限公司 鱼眼图像的处理方法、装置、设备和存储介质
CN109649384B (zh) * 2019-02-15 2020-08-14 华域汽车系统股份有限公司 一种泊车辅助方法
CN110472580B (zh) * 2019-08-16 2022-04-05 北京茵沃汽车科技有限公司 基于全景影像的检测车位的方法、装置、存储介质
CN110415555B (zh) * 2019-08-30 2020-09-29 的卢技术有限公司 一种基于深度学习的有效划线车位识别方法和系统
CN110956847B (zh) * 2019-12-20 2021-11-30 奇瑞汽车股份有限公司 车位的识别方法、装置及存储介质
CN113129634B (zh) * 2019-12-31 2022-05-20 中移物联网有限公司 一种停车位的获取方法、系统及通信设备
CN111159811B (zh) * 2020-01-02 2023-06-09 广东博智林机器人有限公司 地下车库布局方法、装置、设备和存储介质
CN111160326B (zh) * 2020-04-02 2020-07-28 南京安科医疗科技有限公司 Ct扫描全景实时监测方法和系统
CN112614375B (zh) * 2020-12-18 2021-10-08 中标慧安信息技术股份有限公司 基于车辆行驶状态的停车引导方法和系统
CN113627277A (zh) * 2021-07-20 2021-11-09 的卢技术有限公司 一种识别车位的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103358993A (zh) * 2012-04-10 2013-10-23 现代自动车株式会社 用于识别车辆停车位线标记的系统和方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103358993A (zh) * 2012-04-10 2013-10-23 现代自动车株式会社 用于识别车辆停车位线标记的系统和方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于环视的自动泊车方法研究与系统设计;王旭东;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20130715;第C035-80页 *
泊车辅助系统中的车位线自动检测与识别;陆桂明等;《电子科技》;20141231;第27卷(第4期);第146-150页 *
结构化道路中车道线的单目视觉检测方法;沈峘等;《仪器仪表学报》;20100228;第31卷(第2期);第397-402页 *

Also Published As

Publication number Publication date
CN104933409A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104933409B (zh) 一种基于全景图像点线特征的车位识别方法
EP2924653B1 (en) Image processing apparatus and image processing method
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN105825185B (zh) 车辆防碰撞预警方法及装置
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
CN103600707B (zh) 一种智能泊车系统的泊车位检测装置及方法
KR100201739B1 (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN106324618B (zh) 实现基于激光雷达检测车道线系统的方法
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
US20090052742A1 (en) Image processing apparatus and method thereof
CN107229906A (zh) 一种基于可变部件模型算法的汽车超车预警方法
CN109522847A (zh) 一种基于深度图的轨道和道路障碍物检测方法
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN112389419B (zh) 识别停车位的方法和停车辅助系统
Huang et al. Robust lane marking detection under different road conditions
CN107767687A (zh) 基于双目立体视觉的空闲停车位检测方法及系统
Wu et al. Adjacent lane detection and lateral vehicle distance measurement using vision-based neuro-fuzzy approaches
JP4296287B2 (ja) 車両認識装置
CN109186624A (zh) 一种基于交规约束的无人车行驶路权规划方法
CN104574993A (zh) 一种道路监控的方法及装置
KR20140148171A (ko) 지능형 차량의 차선 검출방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant