CN108090435A - 一种可停车区域识别方法、系统及介质 - Google Patents
一种可停车区域识别方法、系统及介质 Download PDFInfo
- Publication number
- CN108090435A CN108090435A CN201711328262.0A CN201711328262A CN108090435A CN 108090435 A CN108090435 A CN 108090435A CN 201711328262 A CN201711328262 A CN 201711328262A CN 108090435 A CN108090435 A CN 108090435A
- Authority
- CN
- China
- Prior art keywords
- parking area
- characteristic point
- point
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000004888 barrier function Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 15
- 238000000205 computational method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 8
- 238000011084 recovery Methods 0.000 abstract description 7
- 238000000151 deposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种可停车区域识别装置及识别方法、系统及介质，采用特征点模块、位姿计算模块、畸变矫正模块、绝对尺度恢复模块、空间点重建模块、可停车区域寻找模块的结构和特征点模块完成摄像头拍摄图片的特征点提取与检测，位姿计算模块计算两帧图片的拍摄时刻相机的位姿关系，畸变矫正模块对提取的鱼眼特征点进行畸变矫正，绝对尺度恢复模块利用真实的相机高度恢复出真实尺度，空间点重建模块利用相机位姿和绝对尺度恢复重建点云的值，可停车区域寻找模块根据重建得到的空间点云找寻可以停车的区域的结构和方法，可解决超声波雷达失灵和基于停车线检测方法无法获得实际尺度的弊端，高效而又准确的为机动车检测到了满足停车要求的可停车区域。
Description
技术领域
本发明涉及汽车技术领域，具体而言，涉及一种可停车区域识别方法、系统及介质。
背景技术
随着科技的进步和社会的发展，人们的生活水平逐渐提高，机动车的数量也迅速增加，但停车这一技术难题一直困扰着大部分人，因此，机动车的自动泊车功能变得越为重要，而自动泊车中非常重要的一个环节就是可停车区域的检测。
目前，可停车区域检测的方法有很多，有地埋感应线圈、超声波雷达、地磁检测等基于物理特征检测的方法，也有基于停车线检测的视觉方法。但前者施工麻烦，难以维护，后者无法给出精确的现实场景尺度，这些方法都存在一定的缺陷的不足。
因此，如何快速而又可靠获取精确的可停车区域在自动泊车技术领域变得尤为重要。
发明内容
本发明提供一种可停车区域识别方法，采用特征点模块、位姿计算模块、畸变矫正模块、绝对尺度恢复模块、空间点重建模块、可停车区域寻找模块，特征点模块完成摄像头拍摄图片的特征点提取与检测，位姿计算模块计算两帧图片的拍摄时刻相机的位姿关系，畸变矫正模块对提取的鱼眼特征点进行畸变矫正，绝对尺度恢复模块利用真实的相机高度恢复出真实尺度，空间点重建模块利用相机位姿和绝对尺度恢复重建点云的值，可停车区域寻找模块根据重建得到的空间点云找寻可以停车的区域的方法，可以成功解决超声波雷达失灵和基于停车线检测方法无法获得实际尺度的弊端。
本发明为解决上述技术问题而提供的这种可停车区域识别方法包括特征点模块、位姿计算模块、畸变矫正模块、绝对尺度恢复模块、空间点重建模块、可停车区域寻找模块，所述位姿计算模块还包括本质矩阵计算模块、本质矩阵分解模块、Pnp算法模块，所述本质矩阵计算模块根据匹配矫正之后的特征点对计算不同时刻位置的本质矩阵，所述本质矩阵分解模块对求得的本质矩阵进行分解判断得到摄像机位姿的旋转和平移矩阵，所述Pnp算法模块使用Epnp算法根据已知的空间点及图像特征点，求得当前帧的图像位姿信息，所述绝对尺度恢复模块还包括应用特征点模块、直方图统计模块，所述应用特征点模块对采集的下半部分图像进行特征点提取与匹配，所述直方图统计模块对重建的空间点云的纵向参数进行统计，找到地面点的坐标，利用实际的地面高度以恢复绝对空间尺度，所述可停车区域寻找模块还包括聚类模块、可停车区域判断模块，所述聚类模块对得到的空间三维点进行聚类，所述可停车区域判断模块对检测得到的空区域进行判断，是否满足停车要求。
一种可停车区域识别方法，该方法包括以下步骤：
A. 摄像头不断拍摄获得图像序列，图像序列进入云端处理系统,按照顺序选取两帧图像，提取和匹配特征点，获得匹配特征点对;
B. 由匹配特征点对基于两帧图像的相机姿态估计，获取第二帧图像相对于第一帧图像的位姿, 由前两帧图像的特征点对及相对位姿，通过三维重建获取匹配特征点对的三维点云;
C. 对三维点云按照地面方向做直方图统计，根据地面实际高度以及三维点云中地面的相对高度比例，获取三维点云的真实尺度;
D. 对三维点云使用dbscan方法，选择合适的阈值聚类，以获取实际的障碍物位置及其区域;
E. 根据障碍物的位置及区域确定停车区域, 判断停车区域是否满足可停车区域,不满足，重新开始步骤A, 满足，则进行步骤H；
姿态计算步骤. 进行基于两帧图像的相机姿态估计，输入新的图片提取特征点与上一帧图像获得三维点云的点匹配得到三维点与二维点的匹配对, 根据匹配矫正之后的特征点对对计算不同时刻位置的本质矩阵，本质矩阵进行分解判断得到摄像机位姿的旋转和平移矩阵，然后使用Epnp方法计算新一帧图像的相机姿态，然后执行车位获取步骤;
车位获取步骤. 重复所述步骤E和所述姿态计算步骤，直到机动车停止，此时获得的相机姿态为机动车相对于可停车区域的位姿信息，从而获得了此时可停车区域相对于机动车的位置信息。
所述步骤D中聚类dbscan算法为根据空间点云，动态的确定类的个数，建立高斯模型，根据聚类中心和聚类点，求得每个类的边缘点。
所述步骤A中所述提取特征点还包括以下分步骤：
A1.计算图像水平方向(x方向)的梯度,方法为:
A2.计算图像竖直方向(y方向)的梯度，方法为:
A3.计算特征点处的协方差矩阵，其计算方法为:
A4.计算此特征点协方差矩阵M的最小特征值λ，其计算方法为:
A5.选择其中大于某个阈值的点作为最终的最优特征点，
所述步骤A中所述匹配特征点还包括以下分步骤：
A11.分别获取两帧图像的金字塔图像；
A12.以零为初值计算各个特征点的在金字塔图像最顶层的光流值；
A13.分别以金字塔图像上一层的光流值作为初值计算本层金字塔的光流值，最终获得金字 塔图像最底层的光流值；
A14.以金字塔图像最底层的光流值作为终值，得到特征点的匹配关系，
所述光流的计算包括分别计算特征点区域的图像水平方向梯度，竖直方向梯度和时间方向梯 度，
其中，时间方向梯度计算方法为:Gt(x,y)＝It+1(x,y)-It(x,y)；
获取光流线性方程组:
解线性方程组得到光流值。
所述步骤B中所述基于两帧图像的相机姿态估计还包括以下分步骤：
B1. 通过约束方程 ，求解基础矩阵;
其中分别为两帧图像的匹配特征点，为基础矩阵，且,为相机内参矩阵;
B2. 由相机位姿满足等值获得相机位姿;
B3. 其中表示叉乘运算，表示相机姿态的旋转，表示相机姿态的平移方向矢量。
所述步骤C中所述，三维点云重建还包括以下分步骤：
C1. 获取特征点于两帧图像的线性组合系数，其由以下线性方程组约束:
;
C2. 获取三维点云的坐标，其计算方法为:
。
所述姿态计算步骤中基于两帧图像的相机姿态估计还包括以下分步骤：
姿态计算步骤1. 获取前两帧图像的匹配特征点以及三维点云；
姿态计算步骤2. 获取第二帧和第三帧图像的匹配特征点已得到三维点云与第三帧图像特征点的匹配关系;
姿态计算步骤3. 通过Epnp方法计算得到第三帧图像相对第一帧图像的相机姿态。
所述本质矩形的定义为
其中E为本质矩阵，为平移向量t的反对称矩阵，R为旋转矩阵，
所述本质矩阵通过匹配的特征点对计算，其满足公式：
其中E为本质矩阵，分别为特征点。
所述步骤D中所述聚类还包括以下分步骤：
D1. 初始点云集合，聚类邻域半径和聚类密度阈值;
D2. 建立聚类集合，分别以每个对象为考察对象判断其是否为核心对象，如果是核心对象则建立聚类集合;
D3. 根据密度相连的原则合并聚类集合;
D4. 输出整理合并达到密度阈值要求的集合即为障碍物。
所述步骤E中所述基于障碍物的可停车区域检测还包括以下分步骤：
E1. 检测距离车身垂直最近的障碍物获得其距离;
E2. 检测从距离车身垂直最近距离到增加一个车身距离范围内的障碍物，将其分为左侧障碍物和右侧障碍物;
E3. 获得左侧障碍物的最右侧障碍物和右侧障碍物的最左侧障碍物而获得可停车区域的左右阈值;
E4. 获取左右可停车区域范围内的垂直方向的最近障碍物而获得可停车区域的垂直方向最大值;
E5.判断检测到的可停车区域是否满足真正的停车要求。
一种可停车区域识别系统，所述可停车区域识别系统包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。
本发明所具有的有益效果：采用本技术方案，可以成功解决超声波雷达失灵和基于停车线检测方法无法获得实际尺度的弊端，高效而又准确的为机动车检测到了满足停车要求的可停车区域，为自动泊车提供了可靠的车位信息。
附图说明
图1是本发明所述可停车区域识别装置的组成图。
图2是本发明所述可停车区域检测方法流程图。
具体实施方式
结合上述附图说明本发明的具体实施例。
由图1可知，本发明提供的这种可停车区域识别方法包括特征点模块、位姿计算模块、畸变矫正模块、绝对尺度恢复模块、空间点重建模块、可停车区域寻找模块，所述位姿计算模块还包括本质矩阵计算模块、本质矩阵分解模块、Pnp算法模块，所述本质矩阵计算模块根据匹配矫正之后的特征点对计算不同时刻位置的本质矩阵，所述本质矩阵分解模块对求得的本质矩阵进行分解判断得到摄像机位姿的旋转和平移矩阵，所述Pnp算法模块使用Epnp算法根据已知的空间点及图像特征点，求得当前帧的图像位姿信息，所述绝对尺度恢复模块还包括应用特征点模块、直方图统计模块，所述应用特征点模块对采集的下半部分图像进行特征点提取与匹配，所述直方图统计模块对重建的空间点云的纵向参数进行统计，找到地面点的坐标，利用实际的地面高度以恢复绝对空间尺度，所述可停车区域寻找模块还包括聚类模块、可停车区域判断模块，所述聚类模块对得到的空间三维点进行聚类，所述可停车区域判断模块对检测得到的空区域进行判断，是否满足停车要求。
由图2可知，一种可停车区域识别方法，该方法包括以下步骤：
A. 摄像头不断拍摄获得图像序列，图像序列进入云端处理系统,按照顺序选取两帧图像，提取和匹配特征点，获得匹配特征点对;
B. 由匹配特征点对基于两帧图像的相机姿态估计，获取第二帧图像相对于第一帧图像的位姿, 由前两帧图像的特征点对及相对位姿，通过三维重建获取匹配特征点对的三维点云;
C. 对三维点云按照地面方向做直方图统计，根据地面实际高度以及三维点云中地面的相对高度比例，获取三维点云的真实尺度;
D. 对三维点云使用dbscan方法，选择合适的阈值聚类，以获取实际的障碍物位置及其区域;
E. 根据障碍物的位置及区域确定停车区域, 判断可停车区域是否满足条件,不满足，重新开始步骤A, 满足，则进行姿态计算步骤。
姿态计算步骤. 进行基于两帧图像的相机姿态估计，输入新的图片提取特征点与上一帧图像获得三维点云的点匹配得到三维点与二维点的匹配对, 根据匹配矫正之后的特征点对对计算不同时刻位置的本质矩阵，本质矩阵进行分解判断得到摄像机位姿的旋转和平移矩阵，然后使用Epnp方法计算新一帧图像的相机姿态，然后执行车位获取步骤;
车位获取步骤. 重复所述步骤E和所述姿态计算步骤，直到机动车停止，此时获得的相机姿态为机动车相对于可停车区域的位姿信息，从而获得了此时可停车区域相对于机动车的位置信息。
所述步骤D中聚类dbscan算法为根据空间点云，动态的确定类的个数，建立高斯模型，根据聚类中心和聚类点，求得每个类的边缘点。
所述步骤A中所述提取特征点还包括以下分步骤：
A1.计算图像水平方向(x方向)的梯度,方法为:
A2.计算图像竖直方向(y方向)的梯度，方法为:
A3.计算特征点处的协方差矩阵，其计算方法为:
A4.计算此特征点协方差矩阵M的最小特征值λ，其计算方法为:
A5.选择其中大于某个阈值的点作为最终的最优特征点，
所述步骤A中所述匹配特征点还包括以下分步骤：
A11.分别获取两帧图像的金字塔图像；
A12.以零为初值计算各个特征点的在金字塔图像最顶层的光流值；
A13.分别以金字塔图像上一层的光流值作为初值计算本层金字塔的光流值，最终获得金字 塔图像最底层的光流值；
A14.以金字塔图像最底层的光流值作为终值，得到特征点的匹配关系，
所述光流的计算包括分别计算特征点区域的图像水平方向梯度，竖直方向梯度和时间方向梯 度，
其中，时间方向梯度计算方法为:Gt(x,y)＝It+1(x,y)-It(x,y)；
获取光流线性方程组:
解线性方程组得到光流值。
所述步骤B中所述基于两帧图像的相机姿态估计还包括以下分步骤：
B1. 通过约束方程 ，求解基础矩阵;
其中分别为两帧图像的匹配特征点，为基础矩阵，且,为相机内参矩阵;
B2. 由相机位姿满足等值获得相机位姿;
B3. 其中表示叉乘运算，表示相机姿态的旋转，表示相机姿态的平移方向矢量。
所述步骤C中所述，三维点云重建还包括以下分步骤：
C1. 获取特征点于两帧图像的线性组合系数，其由以下线性方程组约束:
;
C2. 获取三维点云的坐标，其计算方法为:
。
所述姿态计算步骤中基于两帧图像的相机姿态估计还包括以下分步骤：
姿态计算步骤1. 获取前两帧图像的匹配特征点以及三维点云；
姿态计算步骤2. 获取第二帧和第三帧图像的匹配特征点已得到三维点云与第三帧图像特征点的匹配关系;
姿态计算步骤3. 通过Epnp方法计算得到第三帧图像相对第一帧图像的相机姿态；
所述本质矩形的定义为
其中E为本质矩阵，为平移向量t的反对称矩阵，R为旋转矩阵，
所述本质矩阵通过匹配的特征点对计算，其满足公式：
其中E为本质矩阵，分别为特征点。
所述步骤D中所述聚类还包括以下分步骤：
D1. 初始点云集合，聚类邻域半径和聚类密度阈值;
D2. 建立聚类集合，分别以每个对象为考察对象判断其是否为核心对象，如果是核心对象则建立聚类集合;
D3. 根据密度相连的原则合并聚类集合;
D4. 输出整理合并达到密度阈值要求的集合即为障碍物。
所述步骤E中所述基于障碍物的可停车区域检测还包括以下分步骤：
E1. 检测距离车身垂直最近的障碍物获得其距离;
E2. 检测从距离车身垂直最近距离到增加一个车身距离范围内的障碍物，将其分为左侧障碍物和右侧障碍物;
E3. 获得左侧障碍物的最右侧障碍物和右侧障碍物的最左侧障碍物而获得可停车区域的左右阈值;
E4. 获取左右可停车区域范围内的垂直方向的最近障碍物而获得可停车区域的垂直方向最大值;
E5.判断检测到的可停车区域是否满足真正的停车要求。
一种可停车区域识别系统，所述可停车区域识别系统包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。
以上内容是结合具体的优选实施方式对发明所作的进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于发明的保护范围。
Claims (10)
1.一种可停车区域识别装置的识别方法，其特征在于：该方法包括以下步骤：
A. 摄像头不断拍摄获得图像序列，按照图像顺序选取两帧图像提取和匹配特征点，获得匹配特征点对;
B. 由匹配特征点对基于两帧图像的相机姿态估计，获取第二帧图像相对于第一帧图像的位姿, 由前两帧图像的特征点对及相对位姿，通过三维重建获取匹配特征点对的三维点云;
C. 对三维点云按照地面方向做直方图统计，根据地面实际高度以及三维点云中地面的相对高度比例，获取三维点云的真实尺度;
D. 对三维点云使用dbscan方法，选择合适的阈值聚类，以获取实际的障碍物位置及其区域;
E. 根据障碍物的位置及区域确定停车区域, 判断停车区域是否满足可停车区域,不满足，重新开始步骤A, 满足，则进行姿态计算步骤；
姿态计算步骤. 进行基于两帧图像的相机姿态估计，输入新的图片提取特征点与上一帧图像获得三维点云的点匹配得到三维点与二维点的匹配对, 根据匹配矫正之后的特征点对对计算不同时刻位置的本质矩阵，本质矩阵进行分解判断得到摄像机位姿的旋转和平移矩阵，然后使用Epnp方法计算新一帧图像的相机姿态，然后执行车位获取步骤;
车位获取步骤.重复所述步骤E和所述姿态计算步骤，直到机动车停止，此时获得的相机姿态为机动车相对于可停车区域的位姿信息，从而获得了此时可停车区域相对于机动车的位置信息。
2.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤D中聚类dbscan算法为根据空间点云，动态的确定类的个数，建立高斯模型，根据聚类中心和聚类点，求得每个类的边缘点。
3.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤A中所述提取特征点还包括以下分步骤：
A1.计算图像水平方向(x方向)的梯度,方法为:
A2.计算图像竖直方向(y方向)的梯度，方法为:
A3.计算特征点处的协方差矩阵，其计算方法为:
A4.计算此特征点协方差矩阵M的最小特征值λ，其计算方法为:
A5.选择其中大于某个阈值的点作为最终的最优特征点；
所述匹配特征点还包括以下分步骤：
A11.分别获取两帧图像的金字塔图像；
A12.以零为初值计算各个特征点的在金字塔图像最顶层的光流值；
A13.分别以金字塔图像图像上一层的光流值作为初值计算本层金字塔的光流值，最终获得金字塔图像最底层的光流值；
A14.以金字塔图像最底层的光流值作为终值得到特征点的匹配关系，
所述光流的计算包括分别计算特征点区域的图像水平方向梯度，竖直方向梯度和时间方向梯度，
其中，时间方向梯度计算方法为:Gt(x,y)＝It+1(x,y)-It(x,y)；
获取光流线性方程组:
解线性方程组得到光流值。
4.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤B中所述基于两帧图像的相机姿态估计还包括以下分步骤：
B1. 通过约束方程 ，求解基础矩阵，
其中分别为两帧图像的匹配特征点，为基础矩阵，且,为相机内参矩阵;
B2. 由相机位姿满足等值获得相机位姿;
B3. 其中表示叉乘运算，表示相机姿态的旋转，表示相机姿态的平移方向矢量。
5.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤C中所述，三维点云重建还包括以下分步骤：
C1. 获取特征点于两帧图像的线性组合系数，其由以下线性方程组约束:
;
C2. 获取三维点云的坐标，其计算方法为:
。
6.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述姿态计算步骤中基于两帧图像的相机姿态估计还包括以下分步骤：
姿态计算步骤1.获取前两帧图像的匹配特征点以及三维点云；
姿态计算步骤2.获取第二帧和第三帧图像的匹配特征点已得到三维点云与第三帧图像特征点的匹配关系；
姿态计算步骤3.通过Epnp方法计算得到第三帧图像相对第一帧图像的相机姿态，
所述本质矩形的定义为
E＝[t]×R
其中E为本质矩阵，[t]×为平移向量t的反对称矩阵，R为旋转矩阵，
所述本质矩阵通过匹配的特征点对计算，其满足公式：
p2 TEp1＝0
其中E为本质矩阵，p1p2分别为特征点。
7.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤D中所述聚类还包括以下分步骤：
D1. 初始点云集合，聚类邻域半径和聚类密度阈值;
D2. 建立聚类集合，分别以每个对象为考察对象判断其是否为核心对象，如果是核心对象则建立聚类集合;
D3. 根据密度相连的原则合并聚类集合;
D4. 输出整理合并达到密度阈值要求的集合即为障碍物。
8.根据权利要求1所述的可停车区域识别装置的识别方法，其特征在于：所述步骤E中所述基于障碍物的可停车区域检测还包括以下分步骤：
E1. 检测距离车身垂直最近的障碍物获得其距离;
E2. 检测从距离车身垂直最近距离到增加一个车身距离范围内的障碍物，将其分为左侧障碍物和右侧障碍物;
E3. 获得左侧障碍物的最右侧障碍物和右侧障碍物的最左侧障碍物而获得可停车区域的左右阈值;
E4. 获取左右可停车区域范围内的垂直方向的最近障碍物而获得可停车区域的垂直方向最大值;
E5.判断检测到的可停车区域是否满足真正的停车要求。
9.一种可停车区域识别系统，其特征在于:所述可停车区域识别系统包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于:所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711328262.0A CN108090435B (zh) | 2017-12-13 | 2017-12-13 | 一种可停车区域识别方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711328262.0A CN108090435B (zh) | 2017-12-13 | 2017-12-13 | 一种可停车区域识别方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090435A true CN108090435A (zh) | 2018-05-29 |
| CN108090435B CN108090435B (zh) | 2022-01-25 |
Family
ID=62174968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711328262.0A Active CN108090435B (zh) | 2017-12-13 | 2017-12-13 | 一种可停车区域识别方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090435B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765927A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种共享自行车智能化停放管理方法 |
| CN108985171A (zh) * | 2018-06-15 | 2018-12-11 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
| CN109532821A (zh) * | 2018-11-09 | 2019-03-29 | 重庆长安汽车股份有限公司 | 融合泊车系统 |
| CN109613553A (zh) * | 2018-12-18 | 2019-04-12 | 歌尔股份有限公司 | 基于激光雷达确定场景中物体数量的方法、装置及系统 |
| WO2020038386A1 (zh) * | 2018-08-22 | 2020-02-27 | 杭州萤石软件有限公司 | 确定单目视觉重建中的尺度因子 |
| CN110942660A (zh) * | 2019-11-13 | 2020-03-31 | 江苏创能智能科技有限公司 | 电力作业绝缘斗臂车辅助停车系统及其停车位置搜索方法 |
| CN111047901A (zh) * | 2019-11-05 | 2020-04-21 | 珠海格力电器股份有限公司 | 停车管理方法、装置、存储介质、计算机设备 |
| CN111222385A (zh) * | 2018-11-27 | 2020-06-02 | 千寻位置网络有限公司 | 单车违停的检测方法及装置、共享单车及检测系统 |
| CN112348817A (zh) * | 2021-01-08 | 2021-02-09 | 深圳佑驾创新科技有限公司 | 车位识别方法、装置、车载终端和存储介质 |
| CN113264037A (zh) * | 2021-06-18 | 2021-08-17 | 安徽江淮汽车集团股份有限公司 | 应用于自动泊车的障碍物识别方法 |
| WO2021170129A1 (zh) * | 2020-02-27 | 2021-09-02 | 华为技术有限公司 | 一种位姿确定方法以及相关设备 |
| CN113673288A (zh) * | 2020-05-15 | 2021-11-19 | 深圳市航盛电子股份有限公司 | 空闲车位检测方法、装置、计算机设备及存储介质 |
| CN113763560A (zh) * | 2021-08-02 | 2021-12-07 | 纵目科技（上海）股份有限公司 | 点云数据的生成方法、系统、设备及计算机可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298000A2 (en) * | 2001-09-27 | 2003-04-02 | Aisin Seiki Kabushiki Kaisha | Vehicle monitoring system |
| US20080136673A1 (en) * | 2006-09-14 | 2008-06-12 | Mando Corporation | Method and apparatus for recognizing parking slot by using bird's eye view and parking assist system using the same |
| US20090207045A1 (en) * | 2008-02-14 | 2009-08-20 | Mando Corporation | Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same |
| US20130021171A1 (en) * | 2011-07-22 | 2013-01-24 | Automotive Research & Test Center | Parking space detection device and method thereof |
| CN103171552A (zh) * | 2011-12-23 | 2013-06-26 | 现代自动车株式会社 | 基于avm俯视图的停车辅助系统 |
| CN104508727A (zh) * | 2012-07-27 | 2015-04-08 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
| CN106781688A (zh) * | 2017-03-28 | 2017-05-31 | 重庆大学 | 无人驾驶汽车停车场入口引导系统及方法 |
| CN107024218A (zh) * | 2015-12-01 | 2017-08-08 | 伟摩有限责任公司 | 用于自主车辆的接载区和放下区 |
| US20170262724A1 (en) * | 2016-03-10 | 2017-09-14 | Conduent Business Services, Llc | High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database |
| CN107403454A (zh) * | 2017-08-03 | 2017-11-28 | 武汉纺织大学 | 一种立体停车场车辆位置参数和尺寸参数测量系统及方法 |
| CN109740584A (zh) * | 2019-04-02 | 2019-05-10 | 纽劢科技(上海)有限公司 | 基于深度学习的自动泊车停车位检测方法 |
| CN111137279A (zh) * | 2020-01-02 | 2020-05-12 | 广州赛特智能科技有限公司 | 港口无人集卡站点停车方法及系统 |
-
2017
- 2017-12-13 CN CN201711328262.0A patent/CN108090435B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298000A2 (en) * | 2001-09-27 | 2003-04-02 | Aisin Seiki Kabushiki Kaisha | Vehicle monitoring system |
| US20080136673A1 (en) * | 2006-09-14 | 2008-06-12 | Mando Corporation | Method and apparatus for recognizing parking slot by using bird's eye view and parking assist system using the same |
| US20090207045A1 (en) * | 2008-02-14 | 2009-08-20 | Mando Corporation | Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same |
| US20130021171A1 (en) * | 2011-07-22 | 2013-01-24 | Automotive Research & Test Center | Parking space detection device and method thereof |
| CN103171552A (zh) * | 2011-12-23 | 2013-06-26 | 现代自动车株式会社 | 基于avm俯视图的停车辅助系统 |
| CN104508727A (zh) * | 2012-07-27 | 2015-04-08 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
| CN107024218A (zh) * | 2015-12-01 | 2017-08-08 | 伟摩有限责任公司 | 用于自主车辆的接载区和放下区 |
| US20170262724A1 (en) * | 2016-03-10 | 2017-09-14 | Conduent Business Services, Llc | High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database |
| CN106781688A (zh) * | 2017-03-28 | 2017-05-31 | 重庆大学 | 无人驾驶汽车停车场入口引导系统及方法 |
| CN107403454A (zh) * | 2017-08-03 | 2017-11-28 | 武汉纺织大学 | 一种立体停车场车辆位置参数和尺寸参数测量系统及方法 |
| CN109740584A (zh) * | 2019-04-02 | 2019-05-10 | 纽劢科技(上海)有限公司 | 基于深度学习的自动泊车停车位检测方法 |
| CN111137279A (zh) * | 2020-01-02 | 2020-05-12 | 广州赛特智能科技有限公司 | 港口无人集卡站点停车方法及系统 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765927A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种共享自行车智能化停放管理方法 |
| CN108985171A (zh) * | 2018-06-15 | 2018-12-11 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
| CN108985171B (zh) * | 2018-06-15 | 2023-04-07 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
| WO2020038386A1 (zh) * | 2018-08-22 | 2020-02-27 | 杭州萤石软件有限公司 | 确定单目视觉重建中的尺度因子 |
| CN109532821A (zh) * | 2018-11-09 | 2019-03-29 | 重庆长安汽车股份有限公司 | 融合泊车系统 |
| CN111222385B (zh) * | 2018-11-27 | 2023-10-27 | 千寻位置网络有限公司 | 单车违停的检测方法及装置、共享单车及检测系统 |
| CN111222385A (zh) * | 2018-11-27 | 2020-06-02 | 千寻位置网络有限公司 | 单车违停的检测方法及装置、共享单车及检测系统 |
| CN109613553A (zh) * | 2018-12-18 | 2019-04-12 | 歌尔股份有限公司 | 基于激光雷达确定场景中物体数量的方法、装置及系统 |
| CN111047901A (zh) * | 2019-11-05 | 2020-04-21 | 珠海格力电器股份有限公司 | 停车管理方法、装置、存储介质、计算机设备 |
| CN110942660A (zh) * | 2019-11-13 | 2020-03-31 | 江苏创能智能科技有限公司 | 电力作业绝缘斗臂车辅助停车系统及其停车位置搜索方法 |
| WO2021170129A1 (zh) * | 2020-02-27 | 2021-09-02 | 华为技术有限公司 | 一种位姿确定方法以及相关设备 |
| CN113673288B (zh) * | 2020-05-15 | 2024-01-23 | 深圳市航盛电子股份有限公司 | 空闲车位检测方法、装置、计算机设备及存储介质 |
| CN113673288A (zh) * | 2020-05-15 | 2021-11-19 | 深圳市航盛电子股份有限公司 | 空闲车位检测方法、装置、计算机设备及存储介质 |
| CN112348817A (zh) * | 2021-01-08 | 2021-02-09 | 深圳佑驾创新科技有限公司 | 车位识别方法、装置、车载终端和存储介质 |
| CN113264037A (zh) * | 2021-06-18 | 2021-08-17 | 安徽江淮汽车集团股份有限公司 | 应用于自动泊车的障碍物识别方法 |
| CN113763560A (zh) * | 2021-08-02 | 2021-12-07 | 纵目科技（上海）股份有限公司 | 点云数据的生成方法、系统、设备及计算机可读存储介质 |
| CN113763560B (zh) * | 2021-08-02 | 2024-02-09 | 纵目科技（上海）股份有限公司 | 点云数据的生成方法、系统、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090435B (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090435A (zh) | 一种可停车区域识别方法、系统及介质 | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| US9430874B2 (en) | Estimation of object properties in 3D world | |
| CN111160214B (zh) | 一种基于数据融合的3d目标检测方法 | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| CN104867126B (zh) | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 | |
| CN105279484B (zh) | 对象检测方法和对象检测装置 | |
| CN104809689B (zh) | 一种基于轮廓的建筑物点云模型底图配准方法 | |
| CN102982341B (zh) | 一种可跨摄像机的自适应人群密度估计方法 | |
| CN105404888B (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
| CN105513119B (zh) | 一种基于无人机的路桥三维重建方法及装置 | |
| CN109544677A (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| WO2015161776A1 (en) | Hand motion identification method and apparatus | |
| CN105139379B (zh) | 基于分类分层的机载Lidar点云建筑物顶面渐进提取方法 | |
| CN107368790B (zh) | 行人检测方法、系统、计算机可读存储介质及电子设备 | |
| CN107481279A (zh) | 一种单目视频深度图计算方法 | |
| CN109741293A (zh) | 显著性检测方法及装置 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| Sui et al. | A novel 3D building damage detection method using multiple overlapping UAV images | |
| CN108182695A (zh) | 目标跟踪模型训练方法及装置、电子设备和存储介质 | |
| CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
| CN107743201A (zh) | 一种电力线廊道消费级数码相机快速拼图方法及装置 | |
| CN109671109A (zh) | 密集点云生成方法及系统 | |
| CN106886754B (zh) | 一种基于三角面片的三维场景下的物体识别方法及系统 | |
| CN107610224A (zh) | 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A parking area recognition method, system and medium Effective date of registration: 20220705 Granted publication date: 20220125 Pledgee: Shenzhen small and medium sized small loan Co.,Ltd. Pledgor: SHENZHEN HANGSHENG ELECTRONICS Co.,Ltd. Registration number: Y2022440020125 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20220125 Pledgee: Shenzhen small and medium sized small loan Co.,Ltd. Pledgor: SHENZHEN HANGSHENG ELECTRONICS Co.,Ltd. Registration number: Y2022440020125 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |