CN112800890A - 一种基于表面法向量的道路障碍检测方法 - Google Patents

一种基于表面法向量的道路障碍检测方法 Download PDF

Info

Publication number
CN112800890A
CN112800890A CN202110060347.5A CN202110060347A CN112800890A CN 112800890 A CN112800890 A CN 112800890A CN 202110060347 A CN202110060347 A CN 202110060347A CN 112800890 A CN112800890 A CN 112800890A
Authority
CN
China
Prior art keywords
normal vector
point
depth image
surface normal
road obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110060347.5A
Other languages
English (en)
Other versions
CN112800890B (zh
Inventor
冯永慧
吴帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110060347.5A priority Critical patent/CN112800890B/zh
Publication of CN112800890A publication Critical patent/CN112800890A/zh
Application granted granted Critical
Publication of CN112800890B publication Critical patent/CN112800890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于表面法向量的道路障碍检测方法，着眼于改进现有的道路障碍检测方法受环境影响大、精度低、速度慢的问题，能够实时精确检测道路障碍。本发明检测方法通过对3D摄像机获取的深度图像进行反深度变换后提取三维空间中的法向量，根据法向量的分布判断是否为障碍物，再通过Canny算法将检测出的障碍物标定出来，为道路障碍检测提供了一种全新的方法。本发明方法采用的是卷积和滤波处理估计表面法向量，相比于传统的表面法向量提取办法，其具有速度快精度高的优势，保障了道路障碍检测的实时性要求。

Description

一种基于表面法向量的道路障碍检测方法
技术领域
本发明涉及一种道路障碍检测方法，尤其涉及一种基于表面法向量的道路检测方法，属于道路检测领域
背景技术
近年来，无人驾驶汽车的热潮引发了一系列的技术革新。道路障碍检测是自动驾驶领域内的一个重要领域。目前对于道路障碍的检测方法主要分为基于图像处理的和基于激光雷达探测的。前者通过摄像机实时获取图像，通过图像处理算法对道路上的障碍进行划分，主要缺点在于现有的算法提取精度不高，检测结果受光照影响大等。后者基于激光雷达的探测功能，通过激光雷达的返回信息对道路障碍进行检测，主要缺点在于其探测障碍物具有延时性，处理速度慢而无法满足在一些领域例如自动驾驶上的要求。因此，如何改善道路检测方法，使其既兼顾鲁棒性、快速性和准确性成为了目前需要解决的问题。
发明内容
为此，本发明要解决的技术问题在于现有技术不能快速准确进行道路障碍检测，从而提出一种基于表面法向量的道路障碍检测方法。
为解决上述技术问题，本发明采用以下技术方案，包括如下步骤：
一种基于表面法向量的道路障碍检测方法，其特征在于：
步骤(1):使用3D摄像机实时拍摄道路路况，获取RGB图像和深度图像Z；
步骤(2):对获取的深度图像Z进行反深度变换得到反深度图像1/Z；
步骤(3):将反深度图像1/Z与BG算子进行卷积提取图像中每一点的法向量nx和ny，其中nx和ny分别代表水平方向和垂直方向的法向量；
步骤(4):对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk],其中k代表所取领域内像素点的个数；
步骤(5):计算点P到k领域内的任意一点的距离Qi-P＝[ΔXi，ΔYi，ΔZi],结合步骤(3)中的卷积结果初步估计得到三维空间中P点的z方向法向量nzi,下标i代表该点的编号，其中i∈[1，k]；
步骤(6):对步骤(5)得到的所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz；
步骤(7):对深度图像Z以从左向右，从上至下的顺序逐行对每个像素点执行步骤(4)-(6)提取z方向法向量；
步骤(8):记路面的表面法向量为NR，以平均角误差作为衡量标准，将每一点的表面法向量与NR计算平均角误差，在深度图像上将误差值大于5％的点将其灰度值设置为255，误差值小于5％的点将其灰度值设置为0并在RGB图像上以绿色标出；
步骤(9):对步骤(8)得到的深度图像进行轮廓提取，将提取出的轮廓在RGB图像中以红色标出，红色的轮廓圈出的物体即为道路障碍物。
优选地，所述3D摄像机型号为Basler blaze，安装在车辆顶部，基线1.5米±0.01米，以10FPS/秒的速度捕捉图像。
优选地，所述对深度图像Z进行反深度变换的公式为：
Figure BDA0002902281920000021
式(1)中，b为视差，u为深度图像中点的横坐标，v为深度图像中点的纵坐标，u0、v0为深度图像的中心点坐标。fx和fy分别为3D相机在x方向和y方向上的焦距。
优选地，所述与反深度图像进行x方向卷积和y方向卷积提取nx和ny的BG算子分别为：
Figure BDA0002902281920000022
优选地，所述对图像中每一点进行卷积地顺序为：从左至右，从上到下逐行进行卷积。
优选地，所述通过卷积得到x方向法向量nx和y方向法向量ny的公式为：
Figure BDA0002902281920000023
优选地，所述“对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk]”中k取值为8，且相应的当k邻域内的点灰度值无变化时默认法向量垂直于该平面。
优选地，所述初步估计得到三维空间中P点的z方向法向量nzi的公式为：
Figure BDA0002902281920000024
优选地，所述精确估计得到三维空间中P点的z方向法向量nz的公式为：
Figure BDA0002902281920000025
式(5)中
Figure BDA0002902281920000031
为中值滤波或者均值滤波，具体方式选择根据速度和精度的要求来决定。精度要求高速度要求低时选择均值滤波方式，精度要求低速度要求高时选择中值滤波方式。
优选地，所述计算平均角误差的公式为：
Figure BDA0002902281920000032
式(6)中m的值为8，
Figure BDA0002902281920000033
为法向量在球坐标下的形式，其表达式为：
Figure BDA0002902281920000034
其中θ∈[0，π]表示倾角，
Figure BDA0002902281920000035
表示方位角。
优选地，所述“误差值小于5％的点将其灰度值设置为0并在RGB图像上以绿色标出”的方法为：将矩阵[0,255,0]赋予该像素点。
优选地，所述“将提取出的轮廓在RGB图像中以红色标出”的方法为：将矩阵[255,0,0]赋予该像素点。
优选地，所述对深度图像进行轮廓提取采用的算法为Canny算法。
本发明的一种基于表面法向量的道路障碍检测方法的有益效果为：
1.本发明的一种基于表面法向量的道路障碍检测方法，由于使用3D摄像机实时拍摄道路路况，获取RGB图像和深度图像Z；对获取的深度图像Z进行反深度变换得到反深度图像1/Z。该方法所处理的图像为深度图像，深度图像对于光照的敏感度要远远低于RGB彩色图像，这样可以减少外界环境尤其是光照对于测量结果的影响，大大增加检测方法的鲁棒性。
2.本发明的一种基于表面法向量的道路障碍检测方法，将反深度图像1/Z与BG算子进行卷积提取图像中每一点的x方向法向量nx和y方向法向量ny；对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk],其中k代表所取领域内像素点的个数；计算点P到k领域内的任意一点的距离Qi-P＝[ΔXi，ΔYi，ΔZi],初步估计得到三维空间中P点的z方向法向量nzi,下标i代表该点的编号，其中i∈[1，k]；对得到的所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz。本方法采用的是卷积和滤波处理估计表面法向量，相比于传统的表面法向量提取办法，其具有速度快精度高的优势，保障了道路障碍检测的实时性要求。
3.本发明的一种基于表面法向量的道路障碍检测方法，与反深度图像进行x方向卷积和y方向卷积提取nx和ny的算子为BG算子，该算子是通过暴力搜索法遍历得到的锐化算子，相比传统的梯度提取算子例如Sobel、Prewitt具有更小的维度，提取梯度的效果更好。
4.本发明的一种基于表面法向量的道路障碍检测方法，由于对所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz，使用中值和均值滤波进行估计，提供了两种选择方案。当对精度要求更高时选择中值滤波，当对速度要求更高时选择均值滤波。
5.本发明的一种基于表面法向量的道路障碍检测方法，对于轮廓提取采用的是Canny算法，Canny算法是一种成熟的轮廓提取算法，具有速度快精度高的优点。对于处理后的深度图像由于其轮廓分明，因此使用Canny算法能够达到很好的效果。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明实施例的一种基于表面法向量的道路障碍检测方法的示意图。
具体实施方式
实施例1
在本实施例中，一种基于表面法向量的道路障碍检测方法，操作步骤如下：
步骤(1)：使用3D摄像机实时拍摄道路路况，获取RGB图像和深度图像Z；
步骤(2)：对获取的深度图像Z进行反深度变换得到反深度图像1/Z；
步骤(3)：将反深度图像1/Z与BG算子进行卷积提取图像中每一点的法向量nx和ny，其中nx和ny分别代表水平方向和垂直方向的法向量
步骤(4)：对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk]，其中k代表所取领域内像素点的个数；
步骤(5)：计算点P到k领域内的任意一点的距离Qi-P＝[ΔXi，ΔYi，ΔZi]，结合步骤(3)中的卷积结果初步估计得到三维空间中P点的z方向法向量nzi，下标i代表该点的编号，其中i∈[1，k]；
步骤(6)：对步骤(5)得到的所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz；
步骤(7)：对深度图像Z以从左向右，从上至下的顺序对每个像素点执行步骤(4)-(6)提取z方向法向量；
步骤(8)：记路面的表面法向量为NR，以平均角误差作为衡量标准，将每一点的表面法向量与NR计算平均角误差，在深度图像上将误差值大于5％的点将其灰度值设置为255，误差值小于5％的点将其灰度值设置为0，并在RGB图像上以绿色标出；
步骤(9)：对步骤(8)得到的深度图像进行轮廓提取，将提取出的轮廓在RGB图像中以红色标出，红色的轮廓圈出的物体即为道路障碍物。
本实施例基于表面法向量的道路障碍检测方法，着眼于改进现有的道路障碍检测方法受环境影响大、精度低、速度慢的问题，能够实时精确检测道路障碍。
实施例2
本实施例与实施例1基本相同，特别之处在于：
在本实施例中，所述的步骤(1)中使用的3D相机型号为Basler blaze。
所述的步骤(1)中的3D相机安装在车辆顶部，基线1.5米±0.1米，以10FPS/秒的速度捕捉图像。
所述的步骤(2)中进行反深度变换的公式为：
Figure BDA0002902281920000051
式(1)中，b为视差，u为深度图像中点的横坐标，v为深度图像中点的纵坐标，u0、v0为深度图像的中心点坐标；fx和fy分别为3D相机在x方向和y方向上的焦距。
所述的步骤(3)中对图像中的点进行卷积的顺序为：从左到右，从上到下逐行卷积。
所述的步骤(3)中与反深度图像1/Z进行x方向卷积和y方向卷积的BG算子分别为：
Figure BDA0002902281920000052
所述的步骤(3)中通过卷积得到x方向法向量和y方向法向量的公式为：
Figure BDA0002902281920000053
所述的步骤(4)中k的值取8，且相应的当k邻域内的点灰度值无变化时默认法向量垂直于该平面。
所述的步骤(5)中初步估计z方向法向量nzi的公式为：
Figure BDA0002902281920000054
所述的步骤(6)中精确估计z方向法向量nz的公式为：
Figure BDA0002902281920000055
式(5)中
Figure BDA0002902281920000056
为中值滤波或者均值滤波，具体方式选择根据速度和精度的要求来决定；精度要求高速度要求低时选择均值滤波方式，精度要求低速度要求高时选择中值滤波方式。
所述的步骤(8)中计算平均角误差的公式为：
Figure BDA0002902281920000061
式(6)中m的值为8，
Figure BDA0002902281920000062
为法向量在球坐标下的形式，其表达式为：
Figure BDA0002902281920000063
其中θ∈[0，π]表示倾角，
Figure BDA0002902281920000064
表示方位角。
所述的步骤(8)中将RGB图像中标记绿色的方法为将矩阵[0,255,0]赋予该像素点。
所述的步骤(9)中将RGB图像中标记红色的方法为将矩阵[255,0,0]赋予该像素点。
所述的步骤(9)中提取深度图像轮廓采用的是Canny算法。
本实施例基于表面法向量的道路障碍检测方法，对于轮廓提取采用的是Canny算法，Canny算法是一种成熟的轮廓提取算法，具有速度快精度高的优点。对于处理后的深度图像由于其轮廓分明，因此使用Canny算法能够达到很好的效果。
实施例3
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，图1示出了本实施例的一种应用于网络视频监控系统中的视频图像质量巡检方法，包括以下步骤：
步骤S10：使用3D摄像机实时拍摄道路路况，获取RGB图像和深度图像Z；
所述3D摄像机型号为Basler blaze，安装在车辆顶部(基线1.5米)，以10FPS/秒的速度捕捉图像
步骤S20：对获取的深度图像Z进行反深度变换得到反深度图像1/Z；
所述对深度图像Z进行反深度变换的公式为：
Figure BDA0002902281920000065
式(1)中，b为视差，u为深度图像中点的横坐标，v为深度图像中点的纵坐标，u0、v0为深度图像的中心点坐标；fx和fy分别为3D相机在x方向和y方向上的焦距；
步骤S30：将反深度图像1/Z与BG算子进行卷积提取图像中每一点的x方向法向量nx和y方向法向量ny；
所述与反深度图像进行x方向卷积和y方向卷积提取nx和ny的BG算子分别为：
Figure BDA0002902281920000066
所述对图像中每一点进行卷积地顺序为：从左至右，从上到下逐行进行卷积；
所述通过卷积得到x方向法向量nx和y方向法向量ny的公式为：
Figure BDA0002902281920000071
步骤S40：对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk]，其中k代表所取领域内像素点的个数；
所述“取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk]”中k取值为8，且相应的当k邻域内的点灰度值无变化时默认法向量垂直于该平面；
步骤S50：计算点P到k领域内的任意一点的距离Qi-P＝[ΔXi，ΔYi，ΔZi],结合步骤(3)中的卷积结果初步估计得到三维空间中P点的z方向法向量nzi，下标i代表该点的编号，其中i∈[1，k]；
所述初步估计得到三维空间中P点的z方向法向量nzi的公式为：
Figure BDA0002902281920000072
步骤S60：对步骤S50得到的所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz。
所述精确估计得到三维空间中P点的z方向法向量nz的公式为：
Figure BDA0002902281920000073
式(5)中
Figure BDA0002902281920000074
为中值滤波或者均值滤波，具体方式选择根据速度和精度的要求来决定；精度要求高时选择均值滤波方式，速度要求高时选择中值滤波方式；
步骤S70：对深度图像Z以从左向右，从上至下的顺序逐行对每个像素点执行步骤S40-S60提取z方向法向量；
步骤S80：记路面的表面法向量为NR，以平均角误差作为衡量标准，将每一点的表面法向量与NR计算平均角误差，在深度图像上将误差值大于5％的点将其灰度值设置为255，误差值小于5％的点将其灰度值设置为0并在RGB图像上以绿色标出；
所述计算平均角误差的公式为：
Figure BDA0002902281920000075
式(6)中m的值为8，
Figure BDA0002902281920000076
为法向量在球坐标下的形式，其表达式为：
Figure BDA0002902281920000081
其中θ∈[0，π]表示倾角，
Figure BDA0002902281920000082
表示方位角；
所述“误差值小于5％的点将其灰度值设置为0并在RGB图像上以绿色标出”的方法为：将矩阵[0,255,0]赋予该像素点；
步骤S90：对步骤S80得到的深度图像进行轮廓提取，将提取出的轮廓在RGB图像中以红色标出，红色的轮廓圈出的物体即为道路障碍物。
所述“将提取出的轮廓在RGB图像中以红色标出”的方法为：将矩阵[255,0,0]赋予该像素点，对深度图像进行轮廓提取采用的算法为Canny算法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (14)

1.一种基于表面法向量的道路障碍检测方法，其特征在于，操作步骤如下：
步骤(1)：使用3D摄像机实时拍摄道路路况，获取RGB图像和深度图像Z；
步骤(2)：对获取的深度图像Z进行反深度变换得到反深度图像1/Z；
步骤(3)：将反深度图像1/Z与BG算子进行卷积提取图像中每一点的法向量nx和ny，其中nx和ny分别代表水平方向和垂直方向的法向量；
步骤(4)：对于反深度图像中的任意一点P，取该点k领域内的所有点组成一个点集Np＝[Q1，……，Qk]，其中k代表所取领域内像素点的个数；
步骤(5)：计算点P到k领域内的任意一点的Qi距离Qi-P＝[ΔXi，ΔYi，ΔZi]，结合步骤(3)中的卷积结果初步估计得到三维空间中P点的z方向法向量nzi，下标i代表该点的编号，其中i∈[1，k]；
步骤(6)：对步骤(5)得到的所有nzi进行中值或者均值滤波得到精确估计的z方向法向量nz；
步骤(7)：对深度图像Z以从左向右，从上至下的顺序对每个像素点执行步骤(4)-(6)提取z方向法向量；
步骤(8)：记路面的表面法向量为NR，以平均角误差作为衡量标准，将每一点的表面法向量与NR计算平均角误差，在深度图像上将误差值大于5％的点将其灰度值设置为255，误差值小于5％的点将其灰度值设置为0，并在RGB图像上以绿色标出；
步骤(9)：对步骤(8)得到的深度图像进行轮廓提取，将提取出的轮廓在RGB图像中以红色标出，红色的轮廓圈出的物体即为道路障碍物。
2.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(1)中使用的3D相机型号为Basler blaze。
3.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(1)中的3D相机安装在车辆顶部，基线1.5米±0.1米，以10FPS/秒的速度捕捉图像。
4.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(2)中进行反深度变换的公式为：
Figure FDA0002902281910000011
式(1)中，b为视差，u为深度图像中点的横坐标，v为深度图像中点的纵坐标，u0、v0为深度图像的中心点坐标；fx和fy分别为3D相机在x方向和y方向上的焦距。
5.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(3)中对图像中的点进行卷积的顺序为：从左到右，从上到下逐行卷积。
6.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(3)中与反深度图像1/Z进行x方向卷积和y方向卷积的BG算子分别为：
Figure FDA0002902281910000021
7.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(3)中通过卷积得到x方向法向量和y方向法向量的公式为：
Figure FDA0002902281910000022
8.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(4)中k的值取8，且相应的当k邻域内的点灰度值无变化时默认法向量垂直于该平面。
9.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(5)中初步估计z方向法向量nzi的公式为：
Figure FDA0002902281910000023
10.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(6)中精确估计z方向法向量nz的公式为：
Figure FDA0002902281910000024
式(5)中
Figure FDA0002902281910000025
为中值滤波或者均值滤波，具体方式选择根据速度和精度的要求来决定；精度要求高速度要求低时选择均值滤波方式，精度要求低速度要求高时选择中值滤波方式。
11.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(8)中计算平均角误差的公式为：
Figure FDA0002902281910000026
式(6)中m的值为8，
Figure FDA0002902281910000027
为法向量在球坐标下的形式，其表达式为：
Figure FDA0002902281910000028
其中θ∈[0，π]表示倾角，
Figure FDA0002902281910000029
表示方位角。
12.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(8)中将RGB图像中标记绿色的方法为将矩阵[0，255，0]赋予该像素点。
13.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(9)中将RGB图像中标记红色的方法为将矩阵[255，0，0]赋予该像素点。
14.根据权利要求1所述的一种基于表面法向量的道路障碍检测方法，其特征在于：所述的步骤(9)中提取深度图像轮廓采用的是Canny算法。
CN202110060347.5A 2021-01-18 2021-01-18 一种基于表面法向量的道路障碍检测方法 Active CN112800890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060347.5A CN112800890B (zh) 2021-01-18 2021-01-18 一种基于表面法向量的道路障碍检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060347.5A CN112800890B (zh) 2021-01-18 2021-01-18 一种基于表面法向量的道路障碍检测方法

Publications (2)

Publication Number Publication Date
CN112800890A true CN112800890A (zh) 2021-05-14
CN112800890B CN112800890B (zh) 2022-10-11

Family

ID=75809924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060347.5A Active CN112800890B (zh) 2021-01-18 2021-01-18 一种基于表面法向量的道路障碍检测方法

Country Status (1)

Country Link
CN (1) CN112800890B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822260A (zh) * 2021-11-24 2021-12-21 杭州蓝芯科技有限公司 基于深度图像的障碍物检测方法及装置、电子设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463933A (zh) * 2017-07-24 2017-12-12 宗晖（上海）机器人有限公司 一种图像目标检测方法
CN109522847A (zh) * 2018-11-20 2019-03-26 中车株洲电力机车有限公司 一种基于深度图的轨道和道路障碍物检测方法
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN110956603A (zh) * 2018-09-25 2020-04-03 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN111325138A (zh) * 2020-02-18 2020-06-23 中国科学院合肥物质科学研究院 一种基于点云局部凹凸特征的道路边界实时检测方法
CN112149493A (zh) * 2020-07-31 2020-12-29 上海大学 基于双目立体视觉的道路高程测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463933A (zh) * 2017-07-24 2017-12-12 宗晖（上海）机器人有限公司 一种图像目标检测方法
CN110956603A (zh) * 2018-09-25 2020-04-03 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN109522847A (zh) * 2018-11-20 2019-03-26 中车株洲电力机车有限公司 一种基于深度图的轨道和道路障碍物检测方法
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN111325138A (zh) * 2020-02-18 2020-06-23 中国科学院合肥物质科学研究院 一种基于点云局部凹凸特征的道路边界实时检测方法
CN112149493A (zh) * 2020-07-31 2020-12-29 上海大学 基于双目立体视觉的道路高程测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEONGHYUN SEO ET AL.: "Segment-based free space estimation using plane", 《2015 INTERNATIONAL CONFERENCE ON CONNECTED VEHICLES AND》 *
刘宏等: "面向盲人避障的场景自适应分割及障碍物检测", 《计算机辅助设计与图形学学报》 *
王新竹等: "基于三维激光雷达和深度图像的", 《吉 林 大 学 学 报 （工 学 版 ）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822260A (zh) * 2021-11-24 2021-12-21 杭州蓝芯科技有限公司 基于深度图像的障碍物检测方法及装置、电子设备、介质

Also Published As

Publication number Publication date
CN112800890B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN104834889A (zh) 标志线检测系统和标志线检测方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN110008893A (zh) 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN113223050B (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN111553878A (zh) 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法
CN112800890B (zh) 一种基于表面法向量的道路障碍检测方法
CN115830018A (zh) 基于深度学习与双目视觉的碳素块检测方法及系统
CN110197104B (zh) 基于车辆的测距方法及装置
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
Wang et al. Lane-line detection algorithm for complex road based on OpenCV
CN111178210B (zh) 一种十字标记的图像识别及对准方法
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN112102347B (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法
CN114136274A (zh) 基于计算机视觉的站台限界测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant