CN110415555B - 一种基于深度学习的有效划线车位识别方法和系统 - Google Patents

一种基于深度学习的有效划线车位识别方法和系统 Download PDF

Info

Publication number
CN110415555B
CN110415555B CN201910814501.6A CN201910814501A CN110415555B CN 110415555 B CN110415555 B CN 110415555B CN 201910814501 A CN201910814501 A CN 201910814501A CN 110415555 B CN110415555 B CN 110415555B
Authority
CN
China
Prior art keywords
parking
vehicle
parking space
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910814501.6A
Other languages
English (en)
Other versions
CN110415555A (zh
Inventor
戚鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201910814501.6A priority Critical patent/CN110415555B/zh
Publication of CN110415555A publication Critical patent/CN110415555A/zh
Application granted granted Critical
Publication of CN110415555B publication Critical patent/CN110415555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的有效划线车位识别方法和系统，包括以下步骤，车载摄像模块采集周围环境图像；将路边地面采集的周围环境传输至车载计算终端；图像识别处理模块采用深度学习方法和利用图像识别分割模型对传入环境图像进行判别，计算出空余停车位的数量和位置，并在车载中控屏上显示出空余停车位与本车的相对位置；所述图像识别处理模块在检测出车位同时判别停车位内是否存在禁停标志或地锁，若有则忽略当前车位继续下一处车位检测，直至完成符合的停车位的检测。本发明的有益效果：无需部署车位传感器，降低停车场智能化改造成本提高停车场的利用率，使用户能够快速查询到空余车位。

Description

一种基于深度学习的有效划线车位识别方法和系统
技术领域
本发明涉及自然环境下图像识别领域的技术领域，尤其涉及一种基于深度学习的有效划线车位识别方法和系统。
背景技术
近年来自动泊车是汽车自动驾驶技术领域中的重要一环，如何能够识别路边有效的停车位是自动泊车的基础，在识别出划线车位的同时，还要能够识别出车位内有没有禁停标志或地锁等障碍物，从而给出有效车位；与此同时，还要能够给出划线车位四个点的坐标，为自动驾驶提供实时车辆与车位的相对位置信息。深度学习是近年来在计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大的成功。现有的深度学习模型属于神经网络，用较为复杂的模型降低模型偏差，可以通过大量的图像训练不断优化图像识别效果。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种无需部署车位传感器，从而降低停车场智能化改造成本，同时提高停车场的利用率，使用户能够快速查询到空余车位的基于图像深度学习的停车位识别及分割方法。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的有效划线车位识别方法，包括以下步骤，车载摄像模块采集周围环境图像；将路边地面采集的周围环境传输至车载计算终端；图像识别处理模块采用深度学习方法和利用图像识别分割模型对传入环境图像进行判别，计算出空余停车位的数量和位置，并在车载中控屏上显示出空余停车位与本车的相对位置；所述图像识别处理模块在检测出车位同时判别停车位内是否存在禁停标志或地锁，若有则忽略当前车位继续下一处车位检测，直至完成符合的停车位的检测。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：图像识别处理模块部署于车载计算终端内，还包括以下识别步骤，收集路边车位和停车场图像作为样本；预测图像包含的元素；所述样本进行深度学习训练及图像识别。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：还包括以下步骤，样本图像包含划线车位、禁停标志、地锁障碍物，将图像中的元素分割为空余车位和障碍物，得到图像训练集；识别训练模型利用所述训练集进行训练；训练好的图像识别训练模型对采集的图形进行识别，识别结果包含，识别出划线车位四个角点位置；识别出禁停标志和地锁等障碍物及其坐标；汇总各区域图像识别结果，若障碍物的底部坐标落在划线车位四个角点构成的连通区域里，则忽略当前划线车位；否则当前车位作为有效车位返回位置坐标。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：所述车载摄像模块为图像采集摄像头，以车辆右侧大灯下方近焦摄像头为主，经过预先标定，拍摄视角为水平向下45度，在车辆时速低于10km/h时自动启动。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：图像识别步骤包括基于MxNet或TensorFlow框架构建卷积神经网络，构建步骤如下，构建3层卷积层，2x2的Max-pooling和ReLU修正线性单元，其输入包括图像编号、通道、Y坐标和X坐标的4维张量，输出是另一个经处理得到的4维张量；构建2层全连接层，其输入包括图像编号、输入编号的2维张量，输出是检测目标的类别概率和bbox坐标；合并层链接卷积层和全连接层，使用Softmax Layer标准化输出；交叉熵作为成本计量函数，取其均值并调整参数不断优化训练结果。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：还包括用户请求查询空余车位的步骤，应用车位查询服务，向图像识别服务的图像识别训练模型发送请求获取停车场状态；图像识别训练模型向图像采集服务获取最新停车场图像；使用图像识别训练模型对图像识别预测；停车场应用服务绘制出车位平面图，标注出空余车位，用户根据图像位置及标志找到空余车位位置。
作为本发明所述的基于深度学习的有效划线车位识别方法的一种优选方案，其中：还包括车位查询服务，提供网页和APP供用户查询停车场空余车位，提供网页供停车场管理人员统计停车场使用情况。
本发明解决的另一个技术问题是：提供一种无需部署车位传感器，从而降低停车场智能化改造成本，同时提高停车场的利用率，使用户能够快速查询到空余车位的基于图像深度学习的停车位识别系统，上述方法能够依托于本系统实现。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的有效划线车位识别系统，包括车载摄像模块、车载计算终端、图像识别处理模块、车位查询服务和服务器；所述车载摄像模块用于采集车辆周围环境数据；所述车载计算终端与所述车载摄像模块连接接收器传输的环境数据；所述图像识别处理模块部署于所述车载计算终端内，用于识别所述环境数据；所述服务器与所述车载计算终端网络通信进行数据的存储，用于所述车位查询服务的查询服务。
本发明的有益效果：无需部署车位传感器，降低停车场智能化改造成本提高停车场的利用率，使用户能够快速查询到空余车位。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于深度学习的有效划线车位识别方法的整体流程结构示意图；
图2为本发明第二种实施例所述基于深度学习的有效划线车位识别系统的整体原理结构示意图；
图3为本发明第二种实施例所述基于深度学习的有效划线车位识别系统的网络拓扑结构示意图；
图4为本发明所述基于深度学习的有效划线车位识别和传统车位识别的实际成功率的对比示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1的示意，示意为本实施例提出的一种基于深度学习的有效划线车位识别方法的整体流程结构示意图，通过图像采集服务采集停车场图像，将采集的图像传送至服务器存储：图像识别服务采用深度学习算法，收集服务器中存储的图像作为样本，建立图像识别训练模型，利用图像识别训练模型对新采集的图像进行识别预测，评估出空余的车位数量、空余车位在图像中的相对位置的数据集，将数据集存储在服务器数据库中：用户请求查询空余车位时，停车场应用服务查询数据库中最新图像识别结果数据集，根据空余车位的相对位置绘制出车位平面图，标注出空余车位，用户根据图像位置及标志找到空余车位位置。
本实施例提供一种无需部署车位传感器，从而降低停车场智能化改造成本，同时提高停车场的利用率，使用户能够快速查询到空余车位的基于图像深度学习的停车位识别及分割方法，本方法通过车载摄像头采集周围环境图像，将路边地面图像传输至车载计算终端，计算终端图像识别处理器采用深度学习方法，利用图像识别分割模型对传入图像进行判别，经过逻辑运算，计算出空余停车位的数量和位置，并在中控屏上显示出空余停车位与本车的相对位置。识别模型在检测出车位同时判别停车位内是否存在禁停标志或地锁，两者存在其一则掠过当前车位，继续下一处车位检测。
具体的，包括如下步骤，
车载摄像模块100采集周围环境图像；
将路边地面采集的周围环境传输至车载计算终端200；
图像识别处理模块300采用深度学习方法和利用图像识别分割模型对传入环境图像进行判别，计算出空余停车位的数量和位置，并在车载中控屏上显示出空余停车位与本车的相对位置；
图像识别处理模块300在检测出车位同时判别停车位内是否存在禁停标志或地锁，若有则忽略当前车位继续下一处车位检测，直至完成符合的停车位的检测。
进一步的，图像识别处理模块300部署于车载计算终端200内，还包括以下识别步骤，
收集路边车位和停车场图像作为样本；
预测图像包含的元素；
样本进行深度学习训练及图像识别：
样本图像包含划线车位、禁停标志、地锁障碍物，将图像中的元素分割为空余车位和障碍物，得到图像训练集；
识别训练模型利用训练集进行训练；
训练好的图像识别训练模型对采集的图形进行识别，识别结果包含，
识别出划线车位四个角点位置；
识别出禁停标志和地锁等障碍物及其坐标；
汇总各区域图像识别结果，若障碍物的底部坐标落在划线车位四个角点构成的连通区域里，则忽略当前划线车位；否则当前车位作为有效车位返回位置坐标。
其中车载摄像模块100为图像采集摄像头，以车辆右侧大灯下方近焦摄像头为主，经过预先标定，拍摄视角为水平向下45度，在车辆时速低于10km/h时自动启动。
本实施例中图像识别处理模块300包括如下图像识别步骤：
基于MxNet或TensorFlow框架构建卷积神经网络，构建步骤如下，
构建3层卷积层，2x2的Max-pooling和ReLU修正线性单元，其输入包括图像编号、通道、Y坐标和X坐标的4维张量，输出是另一个经处理得到的4维张量；
构建2层全连接层，其输入包括图像编号、输入编号的2维张量，输出是检测目标的类别概率和bbox坐标；
合并层链接卷积层和全连接层，使用Softmax Layer标准化输出；
交叉熵作为成本计量函数，取其均值并调整参数不断优化训练结果。
本实施例还包括车位查询服务400，提供网页和APP供用户查询停车场空余车位，提供网页供停车场管理人员统计停车场使用情况，用户请求查询空余车位的步骤，
应用车位查询服务，向图像识别服务的图像识别训练模型发送请求获取停车场状态；
图像识别训练模型向图像采集服务获取最新停车场图像；
使用图像识别训练模型对图像识别预测；
停车场应用服务绘制出车位平面图，标注出空余车位，用户根据图像位置及标志找到空余车位位置。
场景一：
本实施例中为了验证本方法相比于传统方法识别车位更加准确，本实施例将部署本方法的测试车辆和传统自动车位识别方法进行对比测试实验。
选择实际位于园区内的停车场，并在该停车场内选择位于不同位置分布有5/10/20目标车位的三个场景，并对上述选择不同场景的车位进行占用和空闲控制，每个场景控制不同的车位占用和车位空闲，进行3组车位检测试验，并在每次车位检测实验中进行10次，记录每次场景下不同空闲车位10次中成功的次数，本方法和传统识别方法成功找到空闲车位的次数，本实施例测试实验中本方法基于深度神经网络进行有效车位识别，而传统方法采用基于C4.5算法的车位识别方法，将车辆至于上述停车场内按规划路径进行空闲车位的识别，其测试结果如图4的示意。
由图4的实际测得的数据表明，在车位较多时，车辆基于深度神经网络和基于C4.5算法的两种车位识别方法，成功找到车位的次数差距并不是十分明显，但当随着空闲车位的减少，基于C4.5算法的车位识别方法明显较本方法更为吃力，无论在5/10/20目标车位的三个场景下，当空闲车位为1时，基于C4.5算法的成功率仅为10％，但本实施例中仍旧可以准确找到车位，始终保持100％的成功率，因此本方法较传统方法具有较高的准确率，尤其在空闲车位越小时，差距越明显。
实施例2
参照图2～3的示意，示意为本实施例提出的一种基于深度学习的有效划线车位识别系统，包括车载摄像模块100、车载计算终端200、图像识别处理模块300、车位查询服务400和服务器500；车载摄像模块100用于采集车辆周围环境数据；车载计算终端200与车载摄像模块100连接接收器传输的环境数据；图像识别处理模块300部署于车载计算终端200内，用于识别环境数据；服务器500与车载计算终端200网络通信进行数据的存储，用于车位查询服务400的查询服务。
需要说明的是，车载摄像模块100为已经标定过的摄像机或摄像头，其标定步骤，如下：
设P＝X,Y,Z为场景中的一点，将P从世界坐标系使用相机的外参数通过刚体变换到相机坐标系；
相机坐标系通过透视投影变换到相机的成像平面上的像点p＝x,y；
将像点p从成像坐标系，通过缩放和平移变换到像素坐标系上点p＝μ,ν。相机将场景中的三维点变换为图像中的二维点，也就是各个坐标系变换的组合，可将上面的变换过程整理为矩阵相乘的形式：
Figure BDA0002185971450000081
将下式矩阵K称为相机的内参数：
Figure BDA0002185971450000082
其中α、β表示图像上单位距离上像素的个数。
通过棋盘格定义：p＝K[R|t]P，
其中p是像点坐标，P是标定的棋盘坐标。得到下面的等式：H＝K[R|t]
H表示的是成像平面和标定棋盘平面之间的单应矩阵。通过对应的点对解得H后，则可以通过上面的等式得到相机的内参数K，以及外参旋转矩阵R和平移向量t。
将一个平面映射到另一个平面，将棋盘格所在的平面映射到相机的成像平面，则有：pHP,p为棋盘格所成像的像点坐标，P棋盘格角点在世界坐标系的坐标，设棋盘格所在的平面为世界坐标系中Z＝0的平面，棋盘格的任一角点P的世界坐标为(X,Y,0)，根据小孔相机模型
Figure BDA0002185971450000083
根据平面间的单应性，有：
Figure BDA0002185971450000084
将上面两个等式进行整合，则可以得到单应矩阵H和相机矩阵(包含内参和外参)的相等，如下：H＝λK[r1 r2 t]，从而可以使用棋盘平面和成像平面间的单应矩阵来约束相机的内参和外参。单应矩阵H可以通过棋盘平和成像平面上对应的点计算出来。
S3：检测模块200检测标定结果，包括检测模块200利用重投影法检测标定结果的步骤，
定义任意点Xj在相机Pi拍摄到的图像归一化坐标系上的坐标为：
Figure BDA0002185971450000085
经过重投影后的图像归一化坐标系下坐标为：
Figure BDA0002185971450000091
其中
Figure BDA0002185971450000092
是为了计算时能不受相机内参影响，K和K’是将齐次坐标转换为非齐次坐标的常数项，因此得到重投影误差为：
eij＝||uij-υij
重投影误差越小，则说明书标定的越精准；
S3：读取车身摄像头拍摄的若干图片并输入畸变校正模块300，畸变校正模块300加载标定结果数据进行畸变矫正。
为了取得好的成像效果，通常要在相机的镜头前添加透镜。在相机成像的过程中，透镜会对光线的传播产生影响，从而影响相机的成像效果，产生畸变。镜自身的形状对才光线的传播产生影响，形成的畸变称为径向畸变。在小孔模型中，一条指向在成像平面上的像仍然是直线。但是在实际拍摄的过程中，由于透镜的存在，往往将一条直线投影成了曲线，越靠近图像的边缘，这种现象越明显。透镜往往是中心对称的，使得这种不规则的畸变通常是径向对称的。主要有两大类：桶形畸变和枕形畸变。由于在相机组装的过程中，透镜不能和成像平面严格平行，会引入切向畸变。
畸变校正模块300包括以下步骤，
设μ,ν是理想的无畸变的像素坐标、
Figure BDA0002185971450000093
是畸变后的像素坐标、μ0,ν0是相机的主点；
(x，y)和
Figure BDA0002185971450000094
理想的无畸变的归一化的图像坐标和畸变后的归一化图像坐标，使用下式表示径向畸变：
Figure BDA0002185971450000095
Figure BDA0002185971450000096
k1、k2表示径向畸变的系数，径向畸变的中心和相机的主心是在相同的位置。
假设γ＝0，则有：
Figure BDA0002185971450000097
将上述式子改写为矩阵的形式：
Figure BDA0002185971450000098
设有n幅图像，每幅图像上有m个点，则将得到的所有等式组合起来，可以得到2mn个等式，将其记着矩阵形式：Dk＝d，则可得到：
k＝[k1 k2]T＝(DTD)-1DTd
利用最大似然估计取得最优解，估计使得下面式子是最小值的参数值：
Figure BDA0002185971450000101
得到畸变参数k1、k2后，将图像进行去畸变处理，然后用去畸变后的图像坐标估计相机的内参数。
本实施例中车载计算终端200为车载电脑，车载电脑是专门针对汽车特殊运行环境及电器电路特点开发的具有抗高温、抗尘、抗震功能并能与汽车电子电路相融合的专用汽车信息化产品，一种高度集成化的车用多媒体娱乐信息中心。能实现所有家用电脑功能，支持车内上网、影音娱乐、卫星定位、语音导航、游戏、电话等功能，同时也能实现可视倒车，故障检测等特定功能。其主要功能包括车载全能多媒体娱乐，GPS卫星导航，对汽车信息和故障专业诊断，移动性的办公与行业应用。目前仅仅在国外的宝马、奥迪等顶级车型才配备了类似的智能车载系统。
图像识别处理模块300为部署于车载计算终端200内，且植入上述识别算法，如MxNet或TensorFlow框架构建卷积神经网络的算法芯片，与车载计算终端200集成为硬件设备，设置于车辆的车载计算终端200，并将识别结果显示于中控屏。
车位查询服务400为服务器500提供的一种网页查询服务或APP查询服务，服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。在网络环境下，根据服务器提供的服务类型不同，分为文件服务器、数据库服务器、应用程序服务器、WEB服务器等。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于深度学习的有效划线车位识别方法，其特征在于：包括以下步骤，
车载摄像模块（100）采集周围环境图像，所述车载摄像模块（100）拍摄视角为水平向下45度，在车辆时速低于10km/h时自动启动，所述车载摄像模块（100）为无需部署在停车位上的车位传感器；
将采集的路边地面的周围环境传输至车载计算终端（200）；
图像识别处理模块（300）采用深度学习方法和利用图像识别分割模型对传入环境图像进行判别，计算出空余停车位的数量和位置，并在车载中控屏上显示出空余停车位与本车的相对位置；
所述深度学习方法收集路边空余车位和停车场图像作为样本，样本图像包含划线车位、禁停标志、地锁障碍物，并将图像中的元素分割为空余车位和障碍物，得到图像训练集；
所述深度学习方法构建2层全连接层，其输入包括图像编号、输入编号的2维张量，输出是检测目标的类别概率和bbox坐标；
所述图像识别分割模型的识别结果包含识别出划线车位四个角点位置和识别出禁停标志和地锁障碍物及其坐标；
所述图像识别处理模块（300）在检测出车位同时判别停车位内是否存在禁停标志或地锁，若有则忽略当前车位继续下一处车位检测，直至完成符合的停车位的检测。
2.如权利要求1所述的基于深度学习的有效划线车位识别方法，其特征在于：图像识别处理模块（300）部署于车载计算终端（200）内，还包括以下识别步骤，
收集路边车位和停车场图像作为样本；
预测图像包含的元素；
所述样本进行深度学习训练及图像识别。
3.如权利要求1或2所述的基于深度学习的有效划线车位识别方法，其特征在于：还包括以下步骤，
样本图像包含划线车位、禁停标志、地锁障碍物，将图像中的元素分割为空余车位和障碍物，得到图像训练集；
识别训练模型利用所述训练集进行训练；
训练好的图像识别训练模型对采集的图形进行识别，识别结果包含识别出划线车位四个角点位置；
识别出禁停标志和地锁障碍物及其坐标；
汇总各区域图像识别结果，若障碍物的底部坐标落在划线车位四个角点构成的连通区域里，则忽略当前划线车位；否则当前车位作为有效车位返回位置坐标。
4.如权利要求3所述的基于深度学习的有效划线车位识别方法，其特征在于：所述车载摄像模块（100）为图像采集摄像头，将车辆右侧大灯下方的近焦摄像头，经过预先标定，拍摄视角为水平向下45度，在车辆时速低于10km/h时自动启动。
5.如权利要求4所述的基于深度学习的有效划线车位识别方法，其特征在于：图像识别步骤包括基于MxNet或TensorFlow框架构建卷积神经网络，构建步骤如下，
构建3层卷积层，2x2的Max-pooling和ReLU修正线性单元，其输入包括图像编号、通道、Y坐标和X坐标的4维张量，输出是另一个经处理得到的4维张量；
构建2层全连接层，其输入包括图像编号、输入编号的2维张量，输出是检测目标的类别概率和bbox坐标；
合并层链接卷积层和全连接层，使用Softmax Layer标准化输出；
交叉熵作为成本计量函数，取其均值并调整参数不断优化训练结果。
6.如权利要求4或5所述的基于深度学习的有效划线车位识别方法，其特征在于：还包括用户请求查询空余车位的步骤，
应用车位查询服务，向图像识别服务的图像识别训练模型发送请求获取停车场状态；
图像识别训练模型向图像采集服务获取最新停车场图像；
使用图像识别训练模型对图像识别预测；
停车场应用服务绘制出车位平面图，标注出空余车位，用户根据图像位置及标志找到空余车位位置。
7.如权利要求6所述的基于深度学习的有效划线车位识别方法，其特征在于：还包括车位查询服务（400），提供网页和APP供用户查询停车场空余车位，提供网页供停车场管理人员统计停车场使用情况。
8.一种基于深度学习的有效划线车位识别系统，其特征在于：包括如权利要求1~7任一项所述的基于深度学习的有效划线车位识别方法，还包括车载摄像模块（100）、车载计算终端（200）、图像识别处理模块（300）、车位查询服务（400）和服务器（500）；
所述车载摄像模块（100）用于采集车辆周围环境数据；
所述车载计算终端（200）与所述车载摄像模块（100）连接，接收传输的环境数据；
所述图像识别处理模块（300）部署于所述车载计算终端（200）内，用于识别所述环境数据；
所述服务器（500）与所述车载计算终端（200）网络通信进行数据的存储，用于所述车位查询服务（400）的查询服务。
CN201910814501.6A 2019-08-30 2019-08-30 一种基于深度学习的有效划线车位识别方法和系统 Active CN110415555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814501.6A CN110415555B (zh) 2019-08-30 2019-08-30 一种基于深度学习的有效划线车位识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910814501.6A CN110415555B (zh) 2019-08-30 2019-08-30 一种基于深度学习的有效划线车位识别方法和系统

Publications (2)

Publication Number Publication Date
CN110415555A CN110415555A (zh) 2019-11-05
CN110415555B true CN110415555B (zh) 2020-09-29

Family

ID=68369516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910814501.6A Active CN110415555B (zh) 2019-08-30 2019-08-30 一种基于深度学习的有效划线车位识别方法和系统

Country Status (1)

Country Link
CN (1) CN110415555B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835350A (zh) * 2019-11-22 2021-05-25 杭州海康威视数字技术股份有限公司 一种自动停车方法、装置及系统
CN110929661A (zh) * 2019-11-28 2020-03-27 的卢技术有限公司 一种基于卷积神经网络的可停靠车位检测方法及系统
CN110909705B (zh) * 2019-11-30 2023-12-05 的卢技术有限公司 一种基于车载摄像头的路侧停车位感知方法及系统
CN111062285B (zh) * 2019-12-06 2023-04-11 合肥学院 一种基于深度学习算法的停车场智能监控识别系统
CN111241923B (zh) * 2019-12-29 2024-04-09 的卢技术有限公司 一种实时检测立体车库的方法和系统
CN111159811B (zh) * 2020-01-02 2023-06-09 广东博智林机器人有限公司 地下车库布局方法、装置、设备和存储介质
CN112289070B (zh) * 2020-10-20 2021-12-07 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
CN112906663B (zh) * 2021-04-05 2022-05-31 吉林大学 利用车载行车记录仪动态监测路边停车位的方法
US20220351622A1 (en) * 2021-04-28 2022-11-03 GM Global Technology Operations LLC Intelligent park assist system to reduce parking violations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933409A (zh) * 2015-06-12 2015-09-23 北京理工大学 一种基于全景图像点线特征的车位识别方法
KR101756849B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 노상 무인정산 주차관제 시스템
CN107738612A (zh) * 2017-09-22 2018-02-27 西安电子科技大学 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN108275147A (zh) * 2018-01-25 2018-07-13 浙江吉利汽车研究院有限公司 一种用于车辆泊车的控制方法及其控制系统
CN108550277A (zh) * 2018-06-04 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于图像深度学习的停车位识别及查询方法
CN109212497A (zh) * 2018-10-30 2019-01-15 哈尔滨工业大学 一种空间六自由度车载雷达天线位姿偏差测量及对接方法
CN109817018A (zh) * 2019-02-20 2019-05-28 东软睿驰汽车技术（沈阳）有限公司 一种自动泊车方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933409A (zh) * 2015-06-12 2015-09-23 北京理工大学 一种基于全景图像点线特征的车位识别方法
KR101756849B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 노상 무인정산 주차관제 시스템
CN107738612A (zh) * 2017-09-22 2018-02-27 西安电子科技大学 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN108275147A (zh) * 2018-01-25 2018-07-13 浙江吉利汽车研究院有限公司 一种用于车辆泊车的控制方法及其控制系统
CN108550277A (zh) * 2018-06-04 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于图像深度学习的停车位识别及查询方法
CN109212497A (zh) * 2018-10-30 2019-01-15 哈尔滨工业大学 一种空间六自由度车载雷达天线位姿偏差测量及对接方法
CN109817018A (zh) * 2019-02-20 2019-05-28 东软睿驰汽车技术（沈阳）有限公司 一种自动泊车方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的三维模型重建方法研究;韩慧妍;《CNKI博士学位论文全文库》;20140815;第34-50页 *

Also Published As

Publication number Publication date
CN110415555A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110415555B (zh) 一种基于深度学习的有效划线车位识别方法和系统
Grassi et al. Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN102901489B (zh) 路面积水积冰检测方法及装置
KR20200094075A (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
CN113034586B (zh) 道路倾角检测方法和检测系统
CN112449152A (zh) 多路视频同步的方法、系统及设备
CN113408454A (zh) 一种交通目标检测方法、装置、电子设备及检测系统
CN114969221A (zh) 一种更新地图的方法及相关设备
CN116912517B (zh) 相机视野边界的检测方法及装置
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN113011445A (zh) 标定方法、识别方法、装置及设备
CN107230373A (zh) 信息推荐方法、装置、计算机可读存储介质和移动终端
CN115471574B (zh) 外参的确定方法、装置、存储介质及电子装置
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
CN115719442A (zh) 一种基于单应性变换矩阵的交叉路口目标融合方法及系统
Rachman et al. Camera Self-Calibration: Deep Learning from Driving Scenes
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN114299433A (zh) 异常驾驶行为检测方法、训练方法、装置及存储介质
CN113147746A (zh) 坡道车位的探测方法及装置
CN116758150B (zh) 位置信息确定方法及装置
CN116007637B (zh) 定位装置、方法、车载设备、车辆、及计算机程序产品
WO2024083010A1 (zh) 一种视觉定位方法及相关装置
WO2021036275A1 (zh) 多路视频同步的方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 210046 building A1, Huizhi Science Park, 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province

Patentee after: DILU TECHNOLOGY Co.,Ltd.

Address before: Building C4, No.55 Liyuan South Road, moling street, Jiangning District, Nanjing City, Jiangsu Province

Patentee before: DILU TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for effective marking parking space recognition based on deep learning

Effective date of registration: 20220811

Granted publication date: 20200929

Pledgee: Nanjing Zidong sub branch of Bank of Nanjing Co.,Ltd.

Pledgor: DILU TECHNOLOGY Co.,Ltd.

Registration number: Y2022980012461

PE01 Entry into force of the registration of the contract for pledge of patent right