CN110909705B - 一种基于车载摄像头的路侧停车位感知方法及系统 - Google Patents

一种基于车载摄像头的路侧停车位感知方法及系统 Download PDF

Info

Publication number
CN110909705B
CN110909705B CN201911208693.2A CN201911208693A CN110909705B CN 110909705 B CN110909705 B CN 110909705B CN 201911208693 A CN201911208693 A CN 201911208693A CN 110909705 B CN110909705 B CN 110909705B
Authority
CN
China
Prior art keywords
vehicle
module
parking space
coordinates
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911208693.2A
Other languages
English (en)
Other versions
CN110909705A (zh
Inventor
马科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201911208693.2A priority Critical patent/CN110909705B/zh
Publication of CN110909705A publication Critical patent/CN110909705A/zh
Application granted granted Critical
Publication of CN110909705B publication Critical patent/CN110909705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于车载摄像头的路侧停车位感知方法及系统，包括以下步骤，采集模块采集后车图像并输入识别模块，所述识别模块基于深度学习的方法对后车图像进行识别，输出车轮的像素坐标并传输给计算机视觉模块；所述计算机视觉模块将所述像素坐标转换成世界坐标，并画出参考线和参考车框；将所述参考车框输入至检测模块，通过粗检和细检判断是否能够停车以及标出停车位框。本发明的有益效果：基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位，能够精确检测空闲车位中的障碍物，特别是低矮或较小的障碍物，增加了安全性。

Description

一种基于车载摄像头的路侧停车位感知方法及系统
技术领域
本发明涉及图像识别处理的技术领域，尤其涉及一种基于车载摄像头的路侧停车位感知方法及系统。
背景技术
近年来，越来越多的设备和技术被应用到车辆驾驶中来增加驾驶的舒适性和安全性，而停车(泊车)是汽车驾驶相关的技术领域中的重要一环，准确的识别路边是否有可供停车的停车位是实现安全停车的基础。
在停车位的识别中，最重要的部分就是识别出是否有障碍物影响停车，目前在停车位的检测中，主要采用超声波雷达方案，超声波雷达通过声波进行定位，来测量前方障碍物的距离，从而进一步判断车位空间是否可停车。但这种方案存在很多问题，例如传统的超声波雷达一般在安装在车辆尾部，需要车辆行驶过停车位才能进行识别，且传统的超声波雷达无法检测停车位中低矮、横截面积较小的物体，如路崖、电线杆等，造成障碍物的判断失误，导致停车问题。因此需要在感知停车位时，既能提前发现路侧停车位，又能精确识别侧方停车位内的是否存在障碍物。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：提供了一种基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位和前后车辆的方法，能够有效避免泊车时车辆被低矮、狭窄障碍物摩擦和碰撞的风险。
为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头的路侧停车位感知方法，包括以下步骤，采集模块采集后车图像并输入识别模块，所述识别模块基于深度学习的方法对后车图像进行识别，输出车轮的像素坐标并传输给计算机视觉模块；所述计算机视觉模块将所述像素坐标转换成世界坐标，并画出参考线和参考车框；将所述参考车框输入至检测模块，通过粗检和细检判断是否能够停车以及标出停车位框。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述识别模块部署于车载计算终端内，还包括以下步骤，采集模块采集图像作为训练样本；基于所述训练样本对识别模块进行训练；利用训练后的识别模块识别后车图像并输出车轮的像素坐标。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述训练还包括以下步骤，所述样本图像的采集在不同环境下进行，并对采集到的图像进行分割，保留含有汽车车轮的图像作为训练样本；使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像；所述识别模块对采集模块采集的后车图像进行识别，识别出车轮四个角点位置，并计算出前、后车轮边框下边框中心点坐标。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述计算还包括以下步骤，根据识别模块得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标；分别检测前、后两个车轮的下边框中心点的像素坐标，两个中心点相连接后能够画出一条直线。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述将像素坐标转换成世界坐标是利用相机标定原理进行的坐标转换。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述画出参考线和参考框包括以下步骤，以前、后两个车轮的中心点相连接画出的直线作为参考线，根据所述参考线画出一个长为5m、宽为2.5m的汽车参考框；随着车辆的移动不停地画参考框，且画框的频率为每秒20帧。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述粗检还包括以下步骤，将所述参考框输入检测模块的深度学习网络模型中，检测图像中是否存在障碍物；若所述输入的参考框中没有障碍物，则判断可以停车并进行进一步的细检，反之则判断不可停并终止自动泊车。
作为本发明所述的基于车载摄像头的路侧停车位感知方法的一种优选方案，其中：所述细检还包括以下步骤，在所述参考框的基础上以5cm为单位继续前后画细参考框，共画出40个细参考框并输入检测模块的深度学习网络模型；所述深度学习网络模型检测所述细参考框中是否存在障碍物，若存在则终止自动泊车；若不存在障碍物，则计算所有可停车框中心点的平均值，再根据该中心点坐标计算车框四角的物理坐标，最终画出可停车位。
本发明解决的另一个技术问题是：提供了一种基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位和前后车辆的系统，上述基于车载摄像头的路侧停车位感知方法能够依托于本系统实现。
为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头的路侧停车位感知系统，其特征在于：包括，采集模块，所述采集模块用于采集车辆周围环境数据；识别模块，所述识别模块能够识别所述采集模块采集的车辆周围环境数据；计算机视觉模块，所述计算机视觉模块用于像素坐标和世界坐标的转换和参考车框的画出；检测模块，所述检测模块用于进行停车位的粗检和细检，判断是否能够进行停车。
作为本发明所述的基于车载摄像头的路侧停车位感知系统的一种优选方案，其中：还包括，车载计算终端，所述车载计算终端与所述采集模块连接并能够接收其采集的车辆周围环境数据，所述识别模块、所述计算机视觉模块和所述检测模块均部署于所述车载计算终端内。
本发明的有益效果：基于车载摄像头，采用深度学习和计算机视觉识别路侧停车位和前后车辆，能够精确检测空闲车位中的所有障碍物和确定靠路崖距离，有效避免泊车时车辆被低矮、狭窄障碍物摩擦和碰撞的风险。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法的整体流程示意图；
图2为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中坐标转换的坐标系关系示意图；
图3为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中点P和点p的坐标关系示意图；
图4为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中采集并识别后车图像的示意图；
图5为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中画出参考车框的示意图；
图6为本发明第一种实施例所述基于车载摄像头的路侧停车位感知方法中画框并进行细检的示意图；
图7为传统基于超声波雷达定位的车位检测方法的检测示意图；
图8为本发明第二种实施例所述基于车载摄像头的路侧停车位感知系统的整体结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
实施例1
停车作为车辆驾驶中重要的一环，对于驾驶员、特别是新手驾驶员来说是一个较为复杂的环节，而驾驶员坐在汽车内很难直接仔细的观察停车位的情况，因此需要有辅助设备帮助对停车位的情况进行检测并判断是否能够停车。现有使用超声波雷达进行检测的方法具有无法检测横截面积较小障碍物、无法判断低矮的路崖位置的缺陷，因此需要提供一种可以精确检测空闲车位中的所有障碍物的方法用于停车位的检测。
参照图1～6所示，本实施例提供了一种基于车载摄像头的路侧停车位感知方法，具体的，包括以下步骤，
采集模块100采集后车图像并输入识别模块200，识别模块200基于深度学习的方法对后车图像进行识别，输出车轮的像素坐标并传输给计算机视觉模块300；计算机视觉模块300将像素坐标转换成世界坐标，并画出参考线和参考车框；将参考车框输入检测模块400，通过粗检和细检判断是否能够停车以及标出停车位框。
其中，识别模块200部署于车载计算终端500内，识别模块200采用基于深度学习的神经网络模型对采集模块100采集的后车图像进行识别，识别模块200投入实际识别前需要先对识别模块200的神经网络模型进行充分训练，具体还包括以下步骤，
采集模块100采集图像作为训练样本。其中，采集模块100可以为能够采集图像的摄像头，通常安装于汽车前方，参照图4，能够采集包含汽车以及车轮的图像作为训练样本以及在实际使用时采集停车位的侧方位后车的前后轮图像。
采集完训练样本后，基于训练样本对识别模块200的神经网络模型进行训练，确认识别模块200的神经网络模型得到充分训练后投入实际使用。
利用训练后的识别模块200识别后车图像包含的元素。识别过程包括通过采集模块100采集停车位的侧方位后车图像，并将图像输入识别模块200中，识别模块200的神经网络模型识别车轮四个角点位置,并返回车轮边框下边框中心点位置，输出车轮的像素坐标。
具体的，对于识别模块200的训练还包括以下步骤，
采集模块100采集样本图像在不同环境下进行，并对采集到的图像进行分割，保留包含车轮的图像作为训练样本。其中，为了使训练更加充分、识别模块200能够适应不同的使用场景，采集训练样本的过程需要在不同环境下进行，包括白天、雨天、阴天、上午、下午等各种光照和阴影环境，训练样本由采集模块100从路边和各种场地内进行采集，并对采集到的图像进行分割，保留包含汽车车轮的图像作为训练样本。
得到训练样本的图片后，使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像。其中，本实施例中的打标工具可以使用labelme软件，labelme软件能够对目标进行详细的标绘，将目标物体用方框标注出来，并返回目标物体在图像中的相对位置，并用xml文件格式的形式保存下来，得到标注图像。
识别模块200的基于训练样本进行训练。其中，本实施例中识别模块200可以采用神经网络模型yolo3_darknet用于识别，本领域技术人员可以理解的是，该模型是一种能够用于物体识别的模型，且检测准确率高、对于小物体也有较好的检测效果。将训练样本输入识别模块200的神经网络模型中，由神经网络模型对车轮的四个角点位置进行识别并标出，并将得到的结果与标注图像对比，根据对比结果计算通过反向传播的方式更新主干网络的参数，使输出的检测结果更接近标注图像显示的位置，当训练至无法得到更好的结果时，认为神经网络模型已经得到充分训练，可以投入实际使用。
训练后的识别模块200投入使用，此时利用识别模块200识别后车图像并输出车轮的像素坐标，通过对采集模块100采集的后车图像进行识别，识别出车轮四个角点位置，并计算出前、后车轮边框下边框中心点坐标。具体的，计算还包括以下步骤，
根据识别模块200得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标。
根据公式，分别检测前、后两个车轮的下边框中心点的像素坐标，此时前、后两个车轮的中心点相连接后能够画出一条直线。
参照图5，识别模块200识别并计算出的像素坐标输入计算机视觉模块300中，由计算机视觉模块300将像素坐标转换成世界坐标，并画出参考线和参考车框。
具体的，坐标转换是利用相机标定原理进行的，包括以下步骤，
确定世界坐标系，世界坐标系也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。将世界坐标系转换为相机坐标系：
其中，R为3*3的旋转矩阵，t为3*1的平移矢量，等号左侧公式为相机坐标系的齐次坐标，右侧公式为世界坐标系的齐次坐标。
由于像素坐标系不利于坐标变换，原点是相机光轴与相面的交点，称为主点，即图像的中心点。故两个坐标系实际是平移关系，即可以通过平移就可得到图像坐标系转换为像素坐标系，参照图2所示：
其中，(u0,v0)为主点的坐标。
参照图3示意为空间任意一点P与其图像点p之间的关系，P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。该过程为透视投影，如下矩阵表示：
其中，s为比例因子且s不为0，f为有效焦距，即光心到图像平面的距离，右式是空间点P在相机坐标系中的齐次坐标，左式是像点p在图像坐标系中的齐次坐标。因此将世界坐标系转换为像素坐标系参考如下公式：
根据该过程的逆变换即为从像素坐标到世界坐标的转换。
具体的，画出参考线和参考框包括以下步骤，
以前、后两个车轮的中心点相连接画出的直线作为参考线，根据参考线画出一个长为5m、宽为2.5m的汽车参考框；随着车辆的移动不停地画参考框，且画框的频率为每秒20帧。具体的，采集模块100随着车辆的移动每100ms采集一张图片，并根据采集到的图片画参考框。
将画出的参考车框输入检测模块400，并且在画参考框的过程中，一直对参考框进行粗检。粗检还包括以下步骤，
将参考框输入检测模块400的深度学习网络模型中，检测图像中是否存在障碍物。具体的，检测模块400采用resent18网络，本领域技术人员可以理解的是，resent18网络在传统卷积神经网络中加入残差学习，从而确保网络的精度和速度。检测模块400的resent18网络模型对输入的参考框进行检测，判断参考框中是否存在障碍物。
若检测到参考框中没有障碍物，则判断可以停车并进行进一步的细检，反之则判断不可停并终止自动泊车。
通过粗检的参考框还需要进行进一步的细检，具体的，细检还包括以下步骤，
参照图6，在通过粗检的参考框的基础上以5cm为单位继续前后画细参考框，共画出40个细参考框并输入检测模块400的深度学习网络模型。其中，用于细检的深度学习网络模型也为resent18网络模型，检测参考框前后各1m的距离是否安全，从而判断能否进行停车。
深度学习网络模型resent18检测所述考框中是否存在障碍物，若存在则终止自动泊车；若细参考框不存在障碍物，则计算所有可停车框中心点的平均值，再根据该中心点坐标计算车框四角的物理坐标，最终画出可停车位。
其中，可停车框中心点为车框矩形的对角线，已知车框矩形的长宽，其长、宽的二分之一即为中心点坐标，并根据中心点坐标计算车框四角的物理坐标，此时能够得到可停车位的坐标。
场景一：
为了验证本发明的实际应用效果，以马路边的侧方位停车的场地作为测试区域，并设置多种工况场景，本次包括路侧内有积水、路面不平、井盖、大石头等场景，基于本发明提供的车位检测方法和传统的检测方法对停车位进行真实检测，并观察检测结果。
其中，传统的停车位检测方法最常用的是基于超声波雷达定位的车位检测方法，即当车主手动开过路侧的侧方位后，利用车尾部的超声波雷达检测路侧空停车位的距离，从而进一步判断车位大小，该方案如图7所示，该方案缺陷明显，仅依靠雷达感知距离无法有效分辨出车位中的障碍物，并且市面上的雷达普遍探测距离较近，以tesla model s使用的法雷奥雷达为例，UPA和DPA的探测最远距离仅为2m，而车辆所需的车位一般5m以上，所以成功率较低。
分别基于传统检测方法和本发明提供的方法，在设置的不同场景下进行停车位检测，得到的检测结果如下表1所示，
表1：
根据检测结果可以看出，在面对存在障碍物的停车位时，传统方法存在较高的误检率，不能够准确判断出车位是否可停，但本发明提供的检测方法则能够根据实际情况得出准确结果。
实施例2
参照图8的示意，本实施例中提出一种基于车载摄像头的路侧停车位感知系统，上述基于车载摄像头的路侧停车位感知方法能够依托于本系统实现。该系统包括采集模块100、识别模块200、计算机视觉模块300、检测模块400和车载计算终端500，其中，采集模块100用于采集车辆周围环境数据，识别模块200能够对采集模块100采集的车辆周围环境数据进行识别处理，计算机视觉模块300用于像素坐标和世界坐标的转换和画出参考车框，检测模块400则能够进行停车位的粗检和细检，并判断是否能够进行停车。
具体的，采集模块100为车载摄像头，安装于汽车上并能够对汽车周围的环境进行图像采集；识别模块200包括能够进行图像识别的神经网络模型yolo3_darknet，以及用于对训练样本进行标注的标注工具labelme软件；计算机视觉模块300能够利用相机标定原理进行坐标转换；检测模块400包括用于停车位检测的resent18网络模型，并且最终输出是否能够停车的信息；识别模块200、计算机视觉模块300和检测模块400均部署于车载计算终端500内，且采集模块100与车载计算终端500相连，采集模块100采集的车辆周围环境数据能够传输至车载计算终端500，供其内部的识别模块200、计算机视觉模块300和检测模块400处理。
实际停车过程中，采集模块100先对停车位附近的后车图像进行采集，通过识别模块200识别出后车车辆的前、后轮像素坐标，并输入至计算机视觉模块300，计算机视觉模块300将像素坐标转换为世界坐标，并画出参考线和参考车框后输入给检测模块400进行粗检和细检，最终判断出能否有停车位进行停车，若有则标出停车框作为停车参考，本方案减少了基于超声波雷达方案或人工判断的失误率，提供了一种方便、可靠的停车辅助方法和系统。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于车载摄像头的路侧停车位感知方法，其特征在于：包括以下步骤，
采集模块(100)采集后车图像并输入识别模块(200)，所述识别模块(200)基于深度学习的方法对后车图像进行识别，输出后车车轮的像素坐标并传输给计算机视觉模块(300)；
所述计算机视觉模块(300)将所述像素坐标转换成世界坐标，并画出参考线和参考车框；
所述画出参考线和参考框包括，以前、后两个车轮的中心点相连接画出的直线作为参考线，根据所述参考线画出一个长为5m、宽为2.5m的汽车参考框；随着车辆的移动不停地画参考框，且画框的频率为每秒20帧；
将所述参考车框输入至检测模块(400)，通过粗检和细检判断是否能够停车以及标出停车位框。
2.如权利要求1所述的基于车载摄像头感知路侧停车位的方法，其特征在于：所述识别模块(200)部署于车载计算终端(500)内，还包括以下步骤，
采集模块(100)采集图像作为训练样本；
基于所述训练样本对识别模块(200)进行训练；
利用训练后的识别模块(200)识别后车图像并输出车轮的像素坐标。
3.如权利要求2所述的基于车载摄像头感知路侧停车位的方法，其特征在于：所述训练还包括以下步骤，
样本图像的采集在不同环境下进行，并对采集到的图像进行分割，保留含有汽车车轮的图像作为训练样本；
使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像；
所述识别模块(200)对采集模块(100)采集的后车图像进行识别，识别出车轮四个角点位置，并计算出前、后车轮边框下边框中心点坐标。
4.如权利要求3所述的基于车载摄像头感知路侧停车位的方法，其特征在于：计算还包括以下步骤，
根据识别模块(200)得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标；
分别检测前、后两个车轮的下边框中心点的像素坐标，两个中心点相连接后画出一条直线。
5.如权利要求4所述的基于车载摄像头感知路侧停车位的方法，其特征在于：所述将像素坐标转换成世界坐标是利用相机标定原理进行的坐标转换。
6.如权利要求5所述的基于车载摄像头感知路侧停车位的方法，其特征在于：所述粗检还包括以下步骤，
将所述参考框输入检测模块(400)的深度学习网络模型中，检测图像中是否存在障碍物；
若所述输入的参考框中没有障碍物，则判断可以停车并进行进一步的细检，反之则判断不可停并终止自动泊车。
7.如权利要求6所述的基于车载摄像头感知路侧停车位的方法，其特征在于：所述细检还包括以下步骤，
在所述参考框的基础上以5cm为单位继续前后画细参考框，共画出40个细参考框并输入检测模块(400)的深度学习网络模型；
所述深度学习网络模型检测所述细参考框中是否存在障碍物，若存在则终止自动泊车；
若不存在障碍物，则计算所有可停车框中心点的平均值，再根据该中心点坐标计算车框四角的物理坐标，最终画出可停车位。
8.一种用于实现权利要求1～7任一所述的基于车载摄像头的路侧停车位感知方法的系统，其特征在于：包括，
采集模块(100)，所述采集模块(100)用于采集车辆周围环境数据；
识别模块(200)，所述识别模块(200)能够识别所述采集模块(100)采集的车辆周围环境数据；
计算机视觉模块(300)，所述计算机视觉模块(300)用于像素坐标和世界坐标的转换和参考车框的画出；
检测模块(400)，所述检测模块(400)用于进行停车位的粗检和细检，判断是否能够进行停车。
9.如权利要求8所述的基于车载摄像头的路侧停车位感知系统，其特征在于：还包括，
车载计算终端(500)，所述车载计算终端(500)与所述采集模块(100)连接并能够接收其采集的车辆周围环境数据，所述识别模块(200)、所述计算机视觉模块(300)和所述检测模块(400)均部署于所述车载计算终端(500)内。
CN201911208693.2A 2019-11-30 2019-11-30 一种基于车载摄像头的路侧停车位感知方法及系统 Active CN110909705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911208693.2A CN110909705B (zh) 2019-11-30 2019-11-30 一种基于车载摄像头的路侧停车位感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911208693.2A CN110909705B (zh) 2019-11-30 2019-11-30 一种基于车载摄像头的路侧停车位感知方法及系统

Publications (2)

Publication Number Publication Date
CN110909705A CN110909705A (zh) 2020-03-24
CN110909705B true CN110909705B (zh) 2023-12-05

Family

ID=69821343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911208693.2A Active CN110909705B (zh) 2019-11-30 2019-11-30 一种基于车载摄像头的路侧停车位感知方法及系统

Country Status (1)

Country Link
CN (1) CN110909705B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583690B (zh) * 2020-04-15 2021-08-20 北京踏歌智行科技有限公司 一种基于5g的矿区无人运输系统的弯道协同感知方法
CN112183206B (zh) * 2020-08-27 2024-04-05 广州中国科学院软件应用技术研究所 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN112193240B (zh) * 2020-09-28 2022-02-01 惠州华阳通用电子有限公司 一种基于积水信息的泊车方法
CN112172798B (zh) * 2020-09-28 2022-02-01 惠州华阳通用电子有限公司 一种基于积水环境的泊车方法及存储介质
CN112326285B (zh) * 2020-10-21 2021-10-26 南京大学 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法
CN112669615B (zh) * 2020-12-09 2023-04-25 上汽大众汽车有限公司 一种基于摄像头的停车位检测方法和系统
CN112598753B (zh) * 2020-12-25 2023-09-12 南京市德赛西威汽车电子有限公司 一种基于路侧单元rsu信息的车载摄像头标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104916163A (zh) * 2015-06-29 2015-09-16 惠州华阳通用电子有限公司 泊车位检测方法
CN109598972A (zh) * 2018-11-23 2019-04-09 中汽研（天津）汽车工程研究院有限公司 一种基于视觉的自动泊车停车位检测与测距系统
CN110415555A (zh) * 2019-08-30 2019-11-05 的卢技术有限公司 一种基于深度学习的有效划线车位识别方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104916163A (zh) * 2015-06-29 2015-09-16 惠州华阳通用电子有限公司 泊车位检测方法
CN109598972A (zh) * 2018-11-23 2019-04-09 中汽研（天津）汽车工程研究院有限公司 一种基于视觉的自动泊车停车位检测与测距系统
CN110415555A (zh) * 2019-08-30 2019-11-05 的卢技术有限公司 一种基于深度学习的有效划线车位识别方法和系统

Also Published As

Publication number Publication date
CN110909705A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及系统
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN102059978B (zh) 驾驶辅助方法与系统
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
CN109094669A (zh) 用于评估铰接角度的方法和设备
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
JP2006184276A (ja) 視覚検知による全天候障害物衝突防止装置とその方法
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
CN106295459A (zh) 基于机器视觉和级联分类器的车辆检测和预警方法
CN112014845A (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN111856417B (zh) 车载毫米波雷达的性能分析方法、装置、终端及存储介质
CN110341621B (zh) 一种障碍物检测方法及装置
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN114037972A (zh) 目标检测方法、装置、设备及可读存储介质
CN114119955A (zh) 一种潜在危险目标检测方法及装置
JP4813304B2 (ja) 車両周辺監視装置
CN114659489A (zh) 一种基于凸透镜成像原理的前车距离检测方法和装置
CN108394416B (zh) 一种车位显示辅助方法及系统
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN110648360B (zh) 一种基于车载摄像头避让他方车辆的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000

Applicant after: DILU TECHNOLOGY Co.,Ltd.

Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province

Applicant before: DILU TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant