CN109598972B - 一种基于视觉的自动泊车停车位检测与测距系统 - Google Patents

一种基于视觉的自动泊车停车位检测与测距系统 Download PDF

Info

Publication number
CN109598972B
CN109598972B CN201811410299.2A CN201811410299A CN109598972B CN 109598972 B CN109598972 B CN 109598972B CN 201811410299 A CN201811410299 A CN 201811410299A CN 109598972 B CN109598972 B CN 109598972B
Authority
CN
China
Prior art keywords
parking space
vehicle
parking
module
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811410299.2A
Other languages
English (en)
Other versions
CN109598972A (zh
Inventor
华一丁
龚进峰
戎辉
王文扬
何佳
郭蓬
张玉峰
汪春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Technology and Research Center Co Ltd
CATARC Tianjin Automotive Engineering Research Institute Co Ltd
Original Assignee
China Automotive Technology and Research Center Co Ltd
CATARC Tianjin Automotive Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology and Research Center Co Ltd, CATARC Tianjin Automotive Engineering Research Institute Co Ltd filed Critical China Automotive Technology and Research Center Co Ltd
Priority to CN201811410299.2A priority Critical patent/CN109598972B/zh
Publication of CN109598972A publication Critical patent/CN109598972A/zh
Application granted granted Critical
Publication of CN109598972B publication Critical patent/CN109598972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于视觉的自动泊车停车位检测与测距系统,包括拍摄单元,拍摄单元将图像信息传给停车位视觉识别模块和测距模块;停车位视觉识别模块据图像信息识别停车位标识线和停车位并判断停车位类型,将结果传给显示模块和信息处理反馈模块;测距模块利用识别出的车辆信息结合图像信息测量车辆侧身边缘线与其靠近的停车位之间的距离,将结果传输给显示模块和信息处理反馈模块;信息处理反馈模块将接收到的车辆信息进行处理向指令执行模块发送指令;直至泊车成功。本发明所述的基于视觉的自动泊车停车位检测与测距系统,通过视觉检测与定位的方法准确识别出停车位,排除停驻车辆的停放位置对自动泊车带来的不利影响,使自动泊车顺利进行。

Description

一种基于视觉的自动泊车停车位检测与测距系统
技术领域
本发明属于计算机图像处理技术领域,尤其是涉及一种基于视觉的自动 泊车停车位检测与测距系统。
背景技术
随着科技的进步,汽车工业得以飞速发展,并朝着智能化的方向不断进 步。在汽车保有量不断上升的今天,自动泊车逐渐成为汽车本身不可或缺的 一项技术。自主泊车技术可尽量减少由于人为泊车带来的刮蹭、碰撞等事故, 同时使车辆准确入位,使得泊车更加安全准确。传统的自动泊车系统采用超 声波雷达等传感器对周围的障碍物及车辆进行探测。当某一车位的前后或左 右两个车位有车停驻时,通过超声波雷达等传感器可探测到周围驻车的存在, 并可测得本车与相邻停车位驻车的距离以及相邻驻车之间的距离。根据所测 得的上述信息,规划泊车路径,进而完成自动泊车操作。
通过超声波雷达等传感器来探测环境进行自动泊车的方法存在其局限 性。第一,该方法仅适用于目标停车位前后或左右相邻车位都存在停驻车辆 的情况。如果目标停车位只有一侧存在停驻车辆或者目标停车位相邻的两侧 都不存在停驻车辆,那么通过超声波等传感器则无法获取环境、距离等参考 信息,进而无法进行自动泊车。
第二,理想情况下,车辆在停车位中的停放位置位于停车位中央且车辆 纵轴线与停车位纵向标识线平行。而实际情况下,车辆在停车位中的停驻位 置是无规则的且车身纵向轴线不一定与停车位纵向标识线平行,超声波雷达 等传感器在测量目标停车位相邻停车位上的车辆之间的距离时将产生误差, 导致自动泊车时泊车位置偏向停车位的某一侧甚至超出停车位以致泊车失 败。
发明内容
有鉴于此,本发明旨在提出一种基于视觉的自动泊车停车位检测与测距 系统,以解决目标停车位相邻停车位上无驻车时法探测目标停车位,以及由 于目标停车位相邻停车位上的车辆停驻位置不规则导致自动泊车停放的位 置不准确甚至泊车失败的问题。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于视觉的自动泊车停车位检测与测距系统,包括停车位视觉识别 模块、拍摄单元、测距模块、显示模块、信息处理反馈模块和指令执行模块, 拍摄单元实时采集车辆周边的停车位图像,将采集到的图像信息传递给所述 停车位视觉识别模块和所述测距模块;所述停车位视觉识别模块根据传递过 来的图像信息识别出停车位标识线和停车位的四个角点并判断所识别停车 位的类型,并将识别结果实时传输给显示模块和信息处理反馈模块;所述测 距模块利用停车位视觉识别模块识别出的停车位标识线、停车位的四个角点 结合图像信息测量车辆侧身边缘线与靠近车辆侧身边缘线的停车位标识线 之间的距离,将测量得到的距离信息实时传输给显示模块和信息处理反馈模 块;所述显示模块实时显示停车位视觉识别模块的识别结果和测距模块的测 量结果;所述信息处理反馈模块将接收到的停车位标识线信息、停车位类型 信息、车辆侧身边缘线与靠近车辆侧身边缘线的停车位标识线之间的距离信 息进行处理、分析,然后向所述指令执行模块发送指令;车辆的指令执行模 块根据指令调整自身的停放位置直至泊车成功。
进一步的,所述拍摄单元包括两台广角摄像机,两台所述摄像机分别安 装在车辆两侧的车身边缘线的中点处,调整摄像机的俯角,使得摄像头视角 的下侧视线垂直于地面,则摄像机所拍摄的图片的下边框即为车辆侧身边缘 线。
进一步的,所述停车位视觉识别模块识别停车位标识线和四个角点的具 体步骤为:所述停车位视觉识别模块接受到摄像机采集到包含停车位标识线 的图像后,对图像进行预处理,并根据内部设定白、黄、蓝三色的HSV颜色 空间的取值范围,通过颜色匹配只将不同颜色的停车位标识线识别出来,过 滤掉图像背景中大部分干扰信息;将提取出的停车位标识线绘制在一张空白 背景的图片中,然后对其进行边缘检测和概率Hough变换提取直线段;
将提取出的直线段进行分类、聚类,接近共线的直线段合并成一条直线 段并保留;鉴于停车位标识线具有一定的宽度,根据亮度这一特征在每条直 线段的垂直方向进行扫描,亮度值变化表现为在一定范围内先增大后减小的 规律的判断其为停车位标识线,将其保留,反之则舍弃;最后绘制出停车位 的边框,求出停车位的四个角点。
进一步的,所述测距模块的测距实现步骤为:当摄像机拍摄的图片的下 边框即车辆侧身边缘线与图片中的停车位标识线平行且图片下边缘中点与 图片中的停车位标识线的中点对齐时,先求该停车位标识线中点的像素坐标, 则该点到图片下边框的像素距离即为图片中停车位标识线与车辆侧身边缘 线的像素距离,通过图像坐标系、摄像头坐标系、世界坐标系的变换,求得 停车位标识线与车辆侧身边缘线的实际距离;当车辆沿着停车位排列前进一 段距离到达自动泊车路径的起点后,图片下边框中点与图片中停车位标识线中点不再对齐,二者在图片中沿停车位标识线方向的像素距离即为车辆沿着 停车位标识线前进到达自动泊车路径起点在图片中的像素距离,通过图像坐 标系、摄像头坐标系、世界坐标系的变换,求得车辆沿着停车位标识线前进 到达自动泊车路径的起点的实际距离。
进一步的,所述车辆的指令执行模块根据指令调整自身的停放位置包括: 车辆根据指令调整自身的停放位置,以适应不同的停车位类型,同时使车辆 侧身边缘线和靠近车辆侧身边缘线的停车位标识线之间的距离达到自动泊 车的要求;当车辆沿停车位排列方向前进一段距离到达自动泊车路径的起点 后,所述测距模块将前进的距离实时测量出来并传递给信息处理反馈模块, 当前进的距离达到预先设定的阈值时,信息处理反馈模块向指令执行模块发 送停止前进的指令,车辆停止;之后自动泊车操作开始执行,直至泊车成功。
进一步的,所述停车位视觉识别模块对停车位进行识别的方法主要包括: 将车辆沿着停车位排列的方向停放,车辆侧身边缘线与停车位排列方向平行, 停车位视觉识别模块可检测出靠近车辆侧身边缘线的停车位标识线与车辆 侧身边缘线的夹角,当靠近车辆侧身边缘线的停车位标识线与车辆侧身边缘 线的夹角在一定范围内接近零时,判断对应的停车位为水平停车位或者垂直 停车位,反之则为斜线停车位;并通过测距模块测量靠近车辆侧身边缘线的 停车位标识线的长度判断该停车位是水平停车位还是垂直停车位。
相对于现有技术,本发明所述的基于视觉的自动泊车停车位检测与测距 系统具有以下优势:
(1)本发明所述的基于视觉的自动泊车停车位检测与测距系统,通过 视觉检测与定位的方法可以准确识别出停车位,排除左右停驻车辆的停放位 置对自动泊车带来的不利影响,使自动泊车顺利进行。
(2)本发明所述的基于视觉的自动泊车停车位检测与测距系统,在自 动泊车之前,面对不同类型的停车位(垂直停车位、水平停车位、斜线停车 位)车辆的起始停放位置不同,扔能识别出不同的停车位类型,使车辆在自 动泊车之前能按照规定的要求停放,进而顺利的实现自动泊车。
(3)本发明所述的基于视觉的自动泊车停车位检测与测距系统,通过 显示模块将停车位视觉识别模块与测距模块得到的图像与数据实时显示出 来,使得自动泊车过程更加直观,驾驶员可以实时的观察车辆周围环境,减 少车辆与周围障碍物发生碰撞的风险。
(4)本发明所述的基于视觉的自动泊车停车位检测与测距系统,所采 用的摄像头与传统自动泊车系统所采用的超声波雷达等传感器相比,成本较 低,操作简单,具有较高的推广使用价值。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的 示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在 附图中:
图1为本发明实施例所述的基于视觉的自动泊车停车位检测与测距系统 的工作原理图;
图2为本发明实施例所述的摄像头的安装位置的俯视图;
图3为本发明实施例所述的摄像头的安装位置的正视图;
图4为本发明实施例所述的停车位视觉识别模块识别停车位标识线和四 个角点的流程图
图5为本发明实施例所述的停车位视觉识别模块识别斜线停车位的过程 示意图;
图6为本发明实施例所述的停车位视觉识别模块识别水平停车位的过程 示意图;
图7为本发明实施例所述的停车位视觉识别模块识别垂直停车位的过程 示意图;
图8为本发明实施例所述的测距模块利用摄像机进行测距的原理示意图;
图9为本发明实施例所述的测距模块测量车辆侧身边缘线与停车位标识 线的距离以及车辆沿停车位标识线前进到达自动泊车路径起点的距离的示 意图一;
图10为本发明实施例所述的测距模块测量车辆侧身边缘线与停车位标 识线的距离以及车辆沿停车位标识线前进到达自动泊车路径起点的距离的 示意图二。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特 征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、 “上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、 “顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示 的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此 不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述 目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征 的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包 括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的 含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语 “安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也 可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可 以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。 对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明 中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
一种基于视觉的自动泊车停车位检测与测距系统,如图1至图10所示, 包括停车位视觉识别模块、拍摄单元、测距模块、显示模块、信息处理反馈 模块和指令执行模块,所述拍摄单元包括两台广角摄像机,在车辆的两侧中 间位置安装摄像机,摄像机实时采集车辆周边的停车位图像,将采集到的图 像信息传递给所述停车位视觉识别模块和所述测距模块;所述停车位视觉识 别模块根据传递过来的图像信息识别出停车位标识线和停车位的四个角点 并判断所识别停车位的类型,并将识别结果实时传输给显示模块和信息处理反馈模块;所述测距模块利用停车位视觉识别模块识别出的停车位标识线、 停车位的四个角点结合图像信息测量车辆侧身边缘线与靠近车辆侧身边缘 线的停车位标识线之间的距离,将测量得到的距离信息实时传输给显示模块 和信息处理反馈模块;所述显示模块实时显示停车位视觉识别模块的识别结 果和测距模块的测量结果;所述信息处理反馈模块将接收到的停车位标识线 信息、停车位类型信息、车辆侧身边缘线与靠近车辆侧身边缘线的停车位标 识线之间的距离信息进行处理、分析,然后向所述指令执行模块发送指令车 辆根据指令调整自身的停放位置,以适应不同的停车位类型,同时使车辆侧 身边缘线和靠近车辆侧身边缘线的停车位标识线之间的距离达到自动泊车 的要求。之后车辆沿停车位排列方向前进一段距离到达自动泊车路径的起点, 测距模块将前进的距离实时测量出来并传递给信息处理反馈模块,当前进的 距离达到预先设定的阈值时,信息处理反馈模块向指令执行模块发送停止前 进的指令,车辆停止。之后自动泊车操作开始执行,直至泊车成功。
所述拍摄单元包括两台广角摄像机,两台所述摄像机安装在车辆两侧的 车身边缘线的中点处,调整摄像头的俯角,使得摄像头视角的下侧视线垂直 于地面,则摄像机所拍摄的图片的下边框即为车辆侧身边缘线。
图2和图3示出了停车位视觉识别模块的摄像头的安装位置及镜头视角 调整位置。图2从俯视的角度示出了摄像头1和摄像头2的安装位置,虚线 边框HIJK表示车辆的车身边缘线,摄像头1和摄像头2分别安装在车辆左 侧的车身边缘线的中点L1处和车辆右侧的车身边缘线的中点L2处。
图3从正视的角度示出了摄像头1和摄像头2的安装位置,摄像头1安 装在了车辆左侧车顶的边缘处,摄像头2安装在了车辆右侧车顶的边缘处。 摄像头1和摄像头2安装好之后,对两个摄像头的拍摄角度进行调整。以摄 像头1为例进行说明,调整摄像头1拍摄角度,使得摄像头1的视角φ的左 侧视角线PQ垂直于地面MN,则摄像头1拍摄的图片的下边框与车辆侧身边 缘线JK重合。
图4示出了停车位视觉识别模块识别停车位标识线和四个角点的流程图。 所述停车位视觉识别模块识别停车位标识线和四个角点的具体步骤为:摄像 机采集到包含停车位标识线的图像后,对图像进行预处理,并根据内部设定 白、黄、蓝三色的HSV颜色空间的取值范围,通过颜色匹配只将不同颜色的 停车位标识线识别出来,过滤掉图像背景中大部分干扰信息;停车位视觉识 别模块负责对停车位标识线进行识别提取。停车位标识线的颜色包括白色、 黄色、蓝色,分别表示收费停车位、专用停车位、免费停车位。为了使停车 位标识线的识别更具普遍性,要具备将不同颜色停车位标识线都识别出来的 能力。鉴于白色、黄色、蓝色的HSV(色调、饱和度、亮度)颜色空间的取值 范围不同,可根据这一特征来区别不同颜色的停车位标识线。可设定白、黄、 蓝三色的HSV颜色空间取值的范围,然后对视频图像中的停车位标志线的颜 色进行匹配,保证对不同颜色的停车位,停车位视觉识别模块都能将其成功 识别。该方法能尽可能的只识别视频图像中的停车位标识线,而将其他干扰 因素排除。
将停车位标识线的轮廓识别出来之后,将停车位标识线部分绘制在一张 空白背景的图片中,然后对其进行边缘线检测并进行概率Hough变换,进行 直线段的提取,并将检测出的直线段进行分类、聚类。
鉴于停车位标识线具有一定的宽度,可根据亮度这一特征在每条直线段 的垂直方向进行扫描,亮度值变化表现为在一定范围内先增大后减小的规律 的判断其为停车位标识线,将其保留,反之则舍弃;最后,求停车位标识线 框的四个角点,并将停车位框绘制出来。
测距模块负责测量车辆紧靠停车位标识线的一侧车身边缘线和停车位 标识线之间的距离,以及之后车辆沿停车位标识线前进到达自动泊车路径起 点的距离。将停车位视觉识别模块的摄像头安装在车辆两侧的车身边缘线的 中点处,调整摄像头的俯角,使得摄像头视角的下侧视线垂直于地面,则摄 像机所拍摄的图片的下边框即为车辆侧身边缘线。
所述测距模块的测距实现步骤为:当摄像头拍摄的图片的下边框即车辆 侧身边缘线与图片中的停车位标识线平行且图片下边缘中点与图片中的停 车位标识线的中点对齐时,先求该停车位标识线中点的像素坐标,则该点到 图片下边框的像素距离即为图片中停车位标识线与车辆侧身边缘线的像素 距离,通过图像坐标系、摄像头坐标系、世界坐标系的变换,求得停车位标 识线与车辆侧身边缘线的实际距离;当车辆沿着停车位排列前进一段距离到 达自动泊车路径的起点后,图片下边框中点与图片中停车位标识线中点不再对齐,二者在图片中沿停车位标识线方向的像素距离即为车辆沿着停车位标 识线前进到达自动泊车路径起点在图片中的像素距离,通过图像坐标系、摄 像头坐标系、世界坐标系的变换,求得车辆沿着停车位标识线前进到达自动 泊车路径的起点的实际距离。
所述车辆的指令执行模块根据指令调整自身的停放位置包括:车辆根据 指令调整自身的停放位置,以适应不同的停车位类型,同时使车辆侧身边缘 线和靠近车辆侧身边缘线的停车位标识线之间的距离达到自动泊车的要求; 当车辆沿停车位排列方向前进一段距离到达自动泊车路径的起点后,所述测 距模块将前进的距离实时测量出来并传递给信息处理反馈模块,当前进的距 离达到预先设定的阈值时,信息处理反馈模块向指令执行模块发送停止前进 的指令,车辆停止;之后自动泊车操作开始执行,直至泊车成功。
图4至图7示出了停车位识别模块如何识别斜线停车位、水平停车位、 垂直停车位。停车位分为垂直停车位、水平停车位和斜线停车位,车辆进行 自动泊车时,面对不同类型的停车位,其自动泊车前的停发位置是不同的。 所述停车位视觉识别模块对停车位进行识别的方法主要包括:
图5示出了停车位视觉识别模块识别斜线停车位的过程,车辆沿着停车 位排列的方向停放,车辆的右侧车身边缘线OA和停车位排列方向平行,停 车位视觉识别模块识别出的停车位CDEF的靠近车辆右侧车身边缘线的边框 EF与车辆右侧车身边缘线OA形成夹角θ,夹角θ显然大于零度,据此判断该 停车位是斜线停车位。
图6和图7中,车辆沿着停车位排列方向停放,停车位视觉识别模块识 别出的停车位CDEF的靠近车辆右侧车身边缘线的边框EF与车辆右侧车身边 缘线OA平行,据此可推断出该停车位是水平停车位或者垂直停车位,然后 测距模块测量靠近车辆右侧车身边缘线的边框EF的长度,当该长度大于预 先设定的长度阈值时,判断该停车位是水平停车位,反之为垂直停车位。
停车位视觉识别模块识别出停车位标识线和停车位的四个角点坐标以 及停车位的类型之后,信息处理反馈模块向指令执行模块发送指令,使车辆 沿着靠近车辆右侧车身边缘线的停车位边框EF的方向停放,即车辆的停放 位置满足车辆右侧车身边缘线OA与靠近车辆右侧车身边缘线的停车位边框 EF平行,为接下来的测距工作做准备。
图8示出了测距模块进行单目测距的原理。图中UO1V表示图像坐标系, τ表示摄像机镜头平面,O2表示摄像机坐标系的原点,XO3Y表示世界坐标系。 已知摄像机高度H,图像坐标中心O1对应的世界坐标点M与摄像头在Y轴上 的距离O3M,镜头中心点的像素坐标(ucenter,vcenter),测量像素点的 图像坐标P1(0,v),与P1纵坐标相同的测量像素点Q1,其图像坐标为(u, v),像素的实际长度upix,像素的实际宽度vpix,摄像头的焦距f,即O1和 O2之间的距离。测距的中心思想是小孔成像原理,先求图像坐标系中两点之 间的像素距离,然后经过转换计算,即可求得这两点在世界坐标系中的实际 距离。以图5为例,求图像坐标系中O1P1在世界坐标系中的实际距离MP(纵 向测距)和图像坐标系中P1Q1在世界坐标系中的实际距离PQ(横向测距), 具体的推导过程如下:
Figure BDA0001878322520000111
Figure BDA0001878322520000112
β=δ-γ
Figure BDA0001878322520000113
MP=O3P-O3M
由此得到图像坐标系中O1P1在世界坐标系中的实际距离MP。
对于图像坐标系中P1Q1在世界坐标系中的实际距离PQ的求解过程如下:
Figure BDA0001878322520000114
Figure BDA0001878322520000115
Figure BDA0001878322520000116
Figure BDA0001878322520000117
由此求得图像坐标系中P1Q1在世界坐标系中的实际距离PQ。
根据图8所述的测距原理可知,如果要通过测距模块测量世界坐标系中 某两点之间的距离,只要求得该两点在图像坐标系中的像素距离,然后带入 上述计算公式,便可解算出所求两点之间的实际距离。
图9至图10示出了测距模块测量车辆右侧车身边缘线HI与停车位标识 线K1J1的距离d1以及车辆沿停车位标识线前进到达自动泊车路径起点的距离 d2
图9中,车辆沿着停车位排列的方向停放,车辆右侧车身边缘线HI与 停车位标识线K1J1平行,调整车辆的停放位置,使得车辆右侧车身边缘线HI 的中点O2与停车位标识线K1J1中点O1对齐,即O2O1垂直于HI和K1J1,车辆右 侧车身边缘线HI与停车位标识线K1J1的实际距离d1即为O1O2的长度。根据 图5中所描述的测距原理,要测量O1O2的长度,应该先测量图像坐标系中O1和O2两点的像素距离。根据图2和图3描述的摄像头的安装位置,可知摄像 头拍摄的图片下边框与车辆右侧车身边缘线重合,图片的下边缘框的中点即 为车辆右侧车身边缘线HI的中点O2,测量O1和O2两点的像素距离即为测量 图片中O1到图片下边框中点的距离。求得O1和O2两点的像素距离后,将其 带入图5中所述的纵向测距公式,即可解算出车辆右侧车身边缘线HI与停 车位标识线K1J1的距离d1。求得d1后,车辆沿着停车位标识线K1J1前进一段 距离d2到达自动泊车的路径起点,
如图10所示。d2的像素长度等于图片中停车位右侧边缘线HI的中点O2和停车位标识线K1J1的中点O1的横坐标之差,即图片下边框中点与图片中停 车位标识线K1J1的中点O1的横坐标之差。将d2的像素长度带入图8中所述的 横向测距公式,即可解算出车辆沿着停车位标识线K1J1前进的实际距离d2。 根据测得的d1与d2,车辆不断调整自身的停放位置,准确的停放在自动泊车 路径的起点。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本 发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在 本发明的保护范围之内。

Claims (5)

1.一种基于视觉的自动泊车停车位检测与测距系统,其特征在于:包括停车位视觉识别模块、拍摄单元、测距模块、显示模块、信息处理反馈模块和指令执行模块,
拍摄单元实时采集车辆周边的停车位图像,将采集到的图像信息传递给所述停车位视觉识别模块和所述测距模块;
所述停车位视觉识别模块根据传递过来的图像信息识别出停车位标识线和停车位的四个角点并判断所识别停车位的类型,并将识别结果实时传输给显示模块和信息处理反馈模块;
所述测距模块利用停车位视觉识别模块识别出的停车位标识线、停车位的四个角点结合图像信息测量车辆侧身边缘线与靠近车辆侧身边缘线的停车位标识线之间的距离,将测量得到的距离信息实时传输给显示模块和信息处理反馈模块;
测距模块同时进行单目测距,即先求图像坐标系中两点之间的像素距离,然后经过转换计算,即可求得这两点在世界坐标系中的实际距离,具体过程为:UO1V表示图像坐标系,τ表示摄像机镜头平面,O2表示摄像机坐标系的原点,XO3Y表示世界坐标系, 已知摄像机高度H,图像坐标中心O1对应的世界坐标点M与摄像头在Y轴上的距离O3M,镜头中心点的像素坐标,测量像素点的图像坐标P1(0,v),与P1纵坐标相同的测量像素点Q1,其图像坐标为(u,v),像素的实际长度upix,像素的实际宽度vpix,摄像头的焦距f,即O1和O2之间的距离;
所述显示模块实时显示停车位视觉识别模块的识别结果和测距模块的测量结果;
所述信息处理反馈模块将接收到的停车位标识线信息、停车位类型信息、车辆侧身边缘线与靠近车辆侧身边缘线的停车位标识线之间的距离信息进行处理、分析,然后向所述指令执行模块发送指令;
车辆的指令执行模块根据指令调整自身的停放位置直至泊车成功,
所述测距模块的测距实现步骤为:
当摄像机拍摄的图片的下边框即车辆侧身边缘线与图片中的停车位标识线平行且图片下边缘中点与图片中的停车位标识线的中点对齐时,先求该停车位标识线中点的像素坐标,则该点到图片下边框的像素距离即为图片中停车位标识线与车辆侧身边缘线的像素距离,通过图像坐标系、摄像头坐标系、世界坐标系的变换,求得停车位标识线与车辆侧身边缘线的实际距离;
当车辆沿着停车位排列前进一段距离到达自动泊车路径的起点后,图片下边框中点与图片中停车位标识线中点不再对齐,二者在图片中沿停车位标识线方向的像素距离即为车辆沿着停车位标识线前进到达自动泊车路径起点在图片中的像素距离,通过图像坐标系、摄像头坐标系、世界坐标系的变换,求得车辆沿着停车位标识线前进到达自动泊车路径的起点的实际距离。
2.根据权利要求1所述的一种基于视觉的自动泊车停车位检测与测距系统,其特征在于:所述拍摄单元包括两台广角摄像机,两台所述摄像机分别安装在车辆两侧的车身边缘线的中点处,调整摄像机的俯角,使得摄像头视角的下侧视线垂直于地面,则摄像机所拍摄的图片的下边框即为车辆侧身边缘线。
3.根据权利要求1所述的一种基于视觉的自动泊车停车位检测与测距系统,其特征在于:所述停车位视觉识别模块识别停车位标识线和四个角点的具体步骤为:
所述停车位视觉识别模块接受到摄像机采集到包含停车位标识线的图像后,对图像进行预处理,并根据内部设定白、黄、蓝三色的HSV颜色空间的取值范围,通过颜色匹配只将不同颜色的停车位标识线识别出来,过滤掉图像背景中大部分干扰信息;
将提取出的停车位标识线绘制在一张空白背景的图片中,然后对其进行边缘检测和概率Hough变换提取直线段;
将提取出的直线段进行分类、聚类,接近共线的直线段合并成一条直线段并保留;
鉴于停车位标识线具有一定的宽度,根据亮度这一特征在每条直线段的垂直方向进行扫描,亮度值变化表现为在一定范围内先增大后减小的规律的判断其为停车位标识线,将其保留,反之则舍弃;
最后绘制出停车位的边框,求出停车位的四个角点。
4.根据权利要求1所述的一种基于视觉的自动泊车停车位检测与测距系统,其特征在于:所述车辆的指令执行模块根据指令调整自身的停放位置包括:车辆根据指令调整自身的停放位置,以适应不同的停车位类型,同时使车辆侧身边缘线和靠近车辆侧身边缘线的停车位标识线之间的距离达到自动泊车的要求;
当车辆沿停车位排列方向前进一段距离到达自动泊车路径的起点后,所述测距模块将前进的距离实时测量出来并传递给信息处理反馈模块,当前进的距离达到预先设定的阈值时,信息处理反馈模块向指令执行模块发送停止前进的指令,车辆停止;
之后自动泊车操作开始执行,直至泊车成功。
5.根据权利要求1所述的一种基于视觉的自动泊车停车位检测与测距系统,其特征在于:所述停车位视觉识别模块对停车位进行识别的方法主要包括:将车辆沿着停车位排列的方向停放,车辆侧身边缘线与停车位排列方向平行,停车位视觉识别模块可检测出靠近车辆侧身边缘线的停车位标识线与车辆侧身边缘线的夹角,当靠近车辆侧身边缘线的停车位标识线与车辆侧身边缘线的夹角在一定范围内接近零时,判断对应的停车位为水平停车位或者垂直停车位,反之则为斜线停车位;
并通过测距模块测量靠近车辆侧身边缘线的停车位标识线的长度判断该停车位是水平停车位还是垂直停车位。
CN201811410299.2A 2018-11-23 2018-11-23 一种基于视觉的自动泊车停车位检测与测距系统 Active CN109598972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811410299.2A CN109598972B (zh) 2018-11-23 2018-11-23 一种基于视觉的自动泊车停车位检测与测距系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811410299.2A CN109598972B (zh) 2018-11-23 2018-11-23 一种基于视觉的自动泊车停车位检测与测距系统

Publications (2)

Publication Number Publication Date
CN109598972A CN109598972A (zh) 2019-04-09
CN109598972B true CN109598972B (zh) 2021-11-19

Family

ID=65958802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811410299.2A Active CN109598972B (zh) 2018-11-23 2018-11-23 一种基于视觉的自动泊车停车位检测与测距系统

Country Status (1)

Country Link
CN (1) CN109598972B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7288793B2 (ja) 2019-04-25 2023-06-08 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111976601B (zh) * 2019-05-24 2022-02-01 北京四维图新科技股份有限公司 自动泊车方法、装置、设备和存储介质
CN110070752A (zh) * 2019-05-29 2019-07-30 北京百度网讯科技有限公司 一种泊车评估方法、装置、电子设备及存储介质
CN110293964B (zh) * 2019-06-25 2020-11-03 重庆长安汽车股份有限公司 自动泊车融合车位判断方法、系统、计算机可读存储介质及车辆
CN110334625A (zh) * 2019-06-25 2019-10-15 河北工业大学 一种面向自动泊车的停车位视觉识别系统及其识别方法
CN110414355A (zh) * 2019-06-27 2019-11-05 沈阳工业大学 基于视觉的右方位空停车位与泊车过程中车位线检测方法
CN110390306B (zh) * 2019-07-25 2021-08-10 湖州宏威新能源汽车有限公司 直角车位的检测方法、车辆和计算机可读存储介质
CN110852278B (zh) * 2019-11-12 2022-08-30 深圳创维数字技术有限公司 地面标识线识别方法、设备及计算机可读存储介质
CN110789529B (zh) * 2019-11-12 2020-12-08 深圳创维数字技术有限公司 车辆的控制方法、装置及计算机可读存储介质
CN110909705B (zh) * 2019-11-30 2023-12-05 的卢技术有限公司 一种基于车载摄像头的路侧停车位感知方法及系统
CN111311925B (zh) * 2020-01-21 2022-02-11 阿波罗智能技术(北京)有限公司 车位的检测方法和装置、电子设备、车辆、存储介质
CN111591283A (zh) * 2020-04-13 2020-08-28 长城汽车股份有限公司 一种监控车辆运动轨迹的方法、装置及系统
CN111739043B (zh) * 2020-04-13 2023-08-08 北京京东叁佰陆拾度电子商务有限公司 一种停车位绘制方法、装置、设备和存储介质
CN112863234B (zh) * 2021-01-05 2022-07-01 广州小鹏自动驾驶科技有限公司 一种车位显示方法、装置、电子设备及存储介质
CN112693450B (zh) * 2021-01-11 2022-05-13 广州小鹏自动驾驶科技有限公司 一种优化自动泊车的分析方法、装置、电子设备和介质
CN112991813B (zh) * 2021-03-03 2022-08-16 广州小鹏自动驾驶科技有限公司 一种停车位对齐方法、装置、设备和计算机可读存储介质
CN113012441B (zh) * 2021-03-25 2023-01-13 北京百度网讯科技有限公司 车辆停车检测方法、系统、电子设备以及存储介质
CN113032272B (zh) * 2021-03-31 2024-02-02 东风柳州汽车有限公司 自动泊车系统试验评价方法、装置、设备及存储介质
CN115273523A (zh) * 2021-04-29 2022-11-01 欧特明电子股份有限公司 识别停车位的方法及系统
CN113291295A (zh) * 2021-05-14 2021-08-24 天津经纬恒润科技有限公司 一种自动驾驶港口车的停车定位方法
CN116625707A (zh) * 2023-05-18 2023-08-22 襄阳达安汽车检测中心有限公司 Apa测试的测试方法、存储介质、电子设备及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102216732A (zh) * 2008-11-14 2011-10-12 罗伯特·博世有限公司 用于机动车的控制装置和用于泊车支持的方法
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN107235077A (zh) * 2016-03-29 2017-10-10 长城汽车股份有限公司 车辆的泊车辅助方法、系统及车辆
CN107776570A (zh) * 2017-09-19 2018-03-09 广州汽车集团股份有限公司 全自动泊车方法及全自动泊车系统
CN108025746A (zh) * 2015-09-30 2018-05-11 日立汽车系统株式会社 泊车辅助装置
CN108140319A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助方法及停车辅助装置
CN108140313A (zh) * 2015-10-30 2018-06-08 三菱电机株式会社 停车辅助装置及停车辅助方法
CN108275147A (zh) * 2018-01-25 2018-07-13 浙江吉利汽车研究院有限公司 一种用于车辆泊车的控制方法及其控制系统
CN108297861A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 车辆在垂直停车位中的自主泊车

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102216732A (zh) * 2008-11-14 2011-10-12 罗伯特·博世有限公司 用于机动车的控制装置和用于泊车支持的方法
CN108025746A (zh) * 2015-09-30 2018-05-11 日立汽车系统株式会社 泊车辅助装置
CN108140319A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助方法及停车辅助装置
CN108140313A (zh) * 2015-10-30 2018-06-08 三菱电机株式会社 停车辅助装置及停车辅助方法
CN107235077A (zh) * 2016-03-29 2017-10-10 长城汽车股份有限公司 车辆的泊车辅助方法、系统及车辆
CN108297861A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 车辆在垂直停车位中的自主泊车
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN107776570A (zh) * 2017-09-19 2018-03-09 广州汽车集团股份有限公司 全自动泊车方法及全自动泊车系统
CN108275147A (zh) * 2018-01-25 2018-07-13 浙江吉利汽车研究院有限公司 一种用于车辆泊车的控制方法及其控制系统

Also Published As

Publication number Publication date
CN109598972A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598972B (zh) 一种基于视觉的自动泊车停车位检测与测距系统
US9386302B2 (en) Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
WO2022078074A1 (zh) 车辆与车道线的位置关系检测方法、系统和存储介质
JP4930046B2 (ja) 路面判別方法および路面判別装置
EP3057063B1 (en) Object detection device and vehicle using same
AU2015306477B2 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
CN111060904A (zh) 一种基于毫米波与视觉融合感知的盲区监测方法
CN109900254A (zh) 一种单目视觉的路面坡度计算方法及其计算装置
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
WO2020062856A1 (zh) 一种车辆特征获取方法及装置
US9953227B2 (en) In-vehicle image processing device
US11367349B2 (en) Method of detecting speed using difference of distance between object and monitoring camera
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN112364707B (zh) 一种智能车对复杂路况进行超视距感知的系统及方法
CN112634269B (zh) 一种轨道车辆车体检测方法
EP3435328B1 (en) Object recognition device
CN111968132A (zh) 一种基于全景视觉的无线充电对位的相对位姿解算方法
CN114295099B (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
JP2005157731A (ja) 車線認識装置および車線認識方法
CN110084171B (zh) 一种地铁车顶异物检测装置及检测方法
CN114926820A (zh) 基于深度学习和图像帧优化的斜车位识别方法及系统
US11420855B2 (en) Object detection device, vehicle, and object detection process
CN111881878B (zh) 一种环视复用的车道线识别方法
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant