CN113140002B - 基于双目立体相机的道路状况检测方法、系统和智能终端 - Google Patents

基于双目立体相机的道路状况检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113140002B
CN113140002B CN202110300665.4A CN202110300665A CN113140002B CN 113140002 B CN113140002 B CN 113140002B CN 202110300665 A CN202110300665 A CN 202110300665A CN 113140002 B CN113140002 B CN 113140002B
Authority
CN
China
Prior art keywords
points
ground
height
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110300665.4A
Other languages
English (en)
Other versions
CN113140002A (zh
Inventor
郭晓丽
王欣亮
孙钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110300665.4A priority Critical patent/CN113140002B/zh
Publication of CN113140002A publication Critical patent/CN113140002A/zh
Application granted granted Critical
Publication of CN113140002B publication Critical patent/CN113140002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于双目立体相机的道路状况检测方法、系统和存储介质，该方法包括：检测目标车辆的可行驶区域，在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度‑距离坐标；对所述基础点进行筛选，以获得多个目标点，计算高度‑距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。从而解决了现有技术中由于行驶路面建模不准确，而导致的道路状况检测结构不准确的技术问题。

Description

基于双目立体相机的道路状况检测方法、系统和智能终端
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于双目立体相机的道路状况检测方法、系统和智能终端。
背景技术
自动驾驶背景下的安全问题是制约其快速发展的重要因素。在行驶过程中对前方障碍物进行有效快速准确的检测响应是必要条件。现有的检测方法一般会利用rgbd深度相机作为视觉传感器，对图像中的地面进行平面建模，再利用地面的检测结果进行地面上障碍物的检测。但是，由于实际路面不是理想的水平平面，尤其起伏路面会容易导致路面建模失效；处于同一水平线上的地面也不一定是平整的，有一定的容差范围，且障碍物与地面接触的边缘无法做精确分割，这些原因都导致现有方法难以实现对地面的准确建模，使得道路状况检测结果不准确。
发明内容
为此，本发明实施例提供一种基于双目立体相机的道路状况检测方法、系统和智能终端，以至少部分解决现有技术中由于行驶路面建模不准确，而导致的道路状况检测结构不准确的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目立体相机的道路状况检测方法，所述方法包括：
检测目标车辆的可行驶区域；
在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；
对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；
利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；
在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。
进一步地，所述在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标，具体包括：
在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
进一步地，所述对所述基础点进行筛选，以获得多个目标点，具体包括：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择
min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
进一步地，所述方法还包括：
通过地面高度模型对所述目标点与地面交界部分的像素进行二次判断，以分割障碍物与地面交界部分。
进一步地，所述方法还包括：
基于地面上障碍物的聚类结果，得到路况起伏信息；
根据所述路况起伏信息输出相应的制动策略。
本发明还提供一种基于双目立体相机的道路状况检测系统，用于实施如上所述的方法，所述系统包括：
区域检测单元，用于检测目标车辆的可行驶区域；
坐标获取单元，用于在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；
目标点筛选单元，用于对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；
建模单元，用于利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；
结果输出单元，用于在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。
进一步地，所述坐标获取单元，具体用于：
在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
进一步地，所述目标点筛选单元，具体用于：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的一种基于双目立体相机的道路状况检测方法，通过检测目标车辆的可行驶区域，在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。从而利用坐标曲线以及高度表进行路面高低度的检测，实现准确建模和道路状况获取，解决了现有技术中由于行驶路面建模不准确，而导致的道路状况检测结构不准确的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目立体相机的道路状况检测方法一种具体实施方式的流程图；
图2为本发明所提供的基于双目立体相机的道路状况检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的方法依据深度学习进行可行驶区间的检测，得到地面建模所需的准确位置点，再利用所选点进行基于B样条曲线的地面建模，得到精确的地面高度模型，建立高度表，通过在深度图上依据此表对所有图像点进行判断，最终得到地面上障碍物的聚类结果，从而提高了建模准确性，进而提高了道路情况检测的准确性。
在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体相机的道路状况检测方法包括以下步骤：
S1：检测目标车辆的可行驶区域。在实际使用场景中，基于深度学习利用caffe框架进行可行驶区域的检测，在检测过程中，无需限制使用的模型，输入双目立体相机的与深度点云图对应的一路校准图像，即可输出图像中可行驶区域。
S2：在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标。具体地，在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
S3：对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度。
其中，所述对所述基础点进行筛选，以获得多个目标点，具体包括：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
也就是说，可行驶区域为当前图像中目标车辆的可行驶范围，可以视作路面点的基础检测，以可行驶区域内的所有图像点为基础点，结合基础点对应的立体相机深度点云值，计算其对应的像极坐标系的Y-Z(高度-距离)。以图像每行为基础，进行基础点的筛选。例如，设定第j行的基础点为sumj个，在假设相机没有翻滚角的前提时，图像中道路的每一行，我们假设为近似直线。根据z方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点。整张图的代表点进行B样条曲线建模，其中，B样条为现有技术，属于贝塞尔曲线的一种，其由多个控制点、节点和系数组成。基于经验建模时，在实际使用场景中，例如可以使用3次B样条曲线，可以达到现有路面建模要求，按照现有的最复杂路面计算，假设前方有起伏数量3个，为此设置控制点数为8，得到的(Y-Z)曲线为不同深度z时地面对应的高度。
S4：利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表。对于B样条曲线，可以更好的根据输入点的稀疏程度建立符合深度图像距离分辨率的表格。在深度图像中，深度值越大处，深度的分辨率更小；相反，较近的地方，深度的分辨率更大。由此，需要对近处的地面高度进行高分辨率的建表。根据B样条曲线的特性，按照插值法，进行输入点的细分，得到曲线上不同位置的高度值。
S5：在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。
进一步地，所述方法还包括：通过地面高度模型对所述目标点与地面交界部分的像素进行二次判断，以分割障碍物与地面交界部分。具体地，将每个目标点带入所拟合的B样条模型中，会得到理论的地面高度，如果与实际地面高度差距较大，则判定当前目标点属于障碍物，否则，当前目标点属于地面。在实际使用场景中，障碍物提取可以视作非地面点检测判断的过程。首先必须认识到，单独依赖上述步骤S1和步骤S3是不能完好的将障碍物提取出来的。其中，步骤S1通过深度学习的检测结果，完全依赖单目图像，地面和障碍物的纹理特征如果一致时，此时失效。而步骤S3，虽然b样条曲线已经可以精确的表达地面，但默认的假设是同一行地面的理论高度值一致，这与实际还是有差别。故将二者结合，在利用步骤S1时，剩下的点都是障碍物的被选点，将障碍物点与地面的交界部分像素通过步骤S3进行第二次检测判断，以此精确分割障碍物和地面接触部分，得到障碍物的精准检测。
更进一步地，所述方法还包括：基于地面上障碍物的聚类结果，得到路况起伏信息；根据所述路况起伏信息输出相应的制动策略。也就是说，车辆控制中心依据所得的障碍物和路面信息，对同样的障碍物，依据路况起伏做不同的制动策略。例如，当地面平坦无障碍物时，无需采取制动策略。当地面起伏较大，有上坡或者下坡时，应当采取减速策略。
在上述具体实施方式中，本发明所提供的一种基于双目立体相机的道路状况检测方法，通过检测目标车辆的可行驶区域，在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。从而利用坐标曲线以及高度表进行路面高低度的检测，实现准确建模和道路状况获取，解决了现有技术中由于行驶路面建模不准确，而导致的道路状况检测结构不准确的技术问题。
除了上述方法，本发明还提供一种基于双目立体相机的道路状况检测系统，用于实施如上所述的方法，如图2所示，在一种具体实施方式中，所述系统包括：
区域检测单元100，用于检测目标车辆的可行驶区域；在实际使用场景中，基于深度学习利用caffe框架进行可行驶区域的检测，在检测过程中，无需限制使用的模型，输入双目立体相机的与深度点云图对应的一路校准图像，即可输出图像中可行驶区域。
坐标获取单元200，用于在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；具体地，在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
目标点筛选单元300，用于对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；其中，所述对所述基础点进行筛选，以获得多个目标点，具体包括：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
也就是说，可行驶区域为当前图像中目标车辆的可行驶范围，可以视作路面点的基础检测，以可行驶区域内的所有图像点为基础点，结合基础点对应的立体相机深度点云值，计算其对应的像极坐标系的Y-Z(高度-距离)。以图像每行为基础，进行基础点的筛选。例如，设定第j行的基础点为sumj个，在假设相机没有翻滚角的前提时，图像中道路的每一行，我们假设为近似直线。根据z方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点。整张图的代表点进行B样条曲线建模，其中，B样条为现有技术，属于贝塞尔曲线的一种，其由多个控制点、节点和系数组成。基于经验建模时，在实际使用场景中，例如可以使用3次B样条曲线，可以达到现有路面建模要求，按照现有的最复杂路面计算，假设前方有起伏数量3个，为此设置控制点数为8，得到的(Y-Z)曲线为不同深度z时地面对应的高度。
建模单元400，用于利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；对于B样条曲线，可以更好的根据输入点的稀疏程度建立符合深度图像距离分辨率的表格。在深度图像中，深度值越大处，深度的分辨率更小；相反，较近的地方，深度的分辨率更大。由此，需要对近处的地面高度进行高分辨率的建表。根据B样条曲线的特性，按照插值法，进行输入点的细分，得到曲线上不同位置的高度值。
结果输出单元500，用于在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。
进一步地，所述坐标获取单元，具体用于：
在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
进一步地，所述目标点筛选单元，具体用于：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
在上述具体实施方式中，本发明所提供的一种基于双目立体相机的道路状况检测系统，通过检测目标车辆的可行驶区域，在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。从而利用坐标曲线以及高度表进行路面高低度的检测，实现准确建模和道路状况获取，解决了现有技术中由于行驶路面建模不准确，而导致的道路状况检测结构不准确的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于双目立体相机的道路状况检测方法，其特征在于，所述方法包括：
检测目标车辆的可行驶区域；
在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；
对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；
利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；
在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果；
基于地面上障碍物的聚类结果，得到路况起伏信息；
根据所述路况起伏信息输出相应的制动策略；
所述方法还包括：通过地面高度模型对所述目标点与地面交界部分的像素进行二次判断，以分割障碍物与地面交界部分；将每个目标点带入所拟合的B样条模型中，会得到理论的地面高度，如果与实际地面高度差距达到设定值，则判定当前目标点属于障碍物，否则，当前目标点属于地面。
2.根据权利要求1所述的道路状况检测方法，其特征在于，所述在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标，具体包括：
在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
3.根据权利要求2所述的道路状况检测方法，其特征在于，所述对所述基础点进行筛选，以获得多个目标点，具体包括：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
4.根据权利要求3所述的道路状况检测方法，其特征在于，所述方法还包括：
通过地面高度模型对所述目标点与地面交界部分的像素进行二次判断，以分割障碍物与地面交界部分。
5.一种基于双目立体相机的道路状况检测系统，用于实施如权利要求1-4任一项所述的方法，其特征在于，所述系统包括：
区域检测单元，用于检测目标车辆的可行驶区域；
坐标获取单元，用于在所述可行驶区域内，以所有图像点作为基础点，得到像极坐标系中的高度-距离坐标；
目标点筛选单元，用于对所述基础点进行筛选，以获得多个目标点，计算高度-距离坐标所生成的曲线中，各所述目标点的深度值所对应的地面高度；
建模单元，用于利用各所述目标点进行基于B样条曲线的地面建模，得到地面高度模型，并建立高度表；
结果输出单元，用于在所述双目相机的深度图上依据所述高度表对所有图像点进行判断，以得到地面上障碍物的聚类结果。
6.根据权利要求5所述的道路状况检测系统，其特征在于，所述坐标获取单元，具体用于：
在所述可行驶区域内，以所有图像点作为基础点，并结合基础点对应的立体相机深度点云值，计算各所述基础点所对应的像极坐标系，以得到所述像极坐标系中的高度-距离坐标。
7.根据权利要求6所述的道路状况检测系统，其特征在于，所述目标点筛选单元，具体用于：
以可行驶区域中图像每行作为基础；
设定第j行的基础点为sumj个，根据高度方向进行基础点的排序，选择min(sumj*10％，10)个基础点作为该行地面的代表点，各所述代表点则为所述目标点。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读 存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的方法。
CN202110300665.4A 2021-03-22 2021-03-22 基于双目立体相机的道路状况检测方法、系统和智能终端 Active CN113140002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300665.4A CN113140002B (zh) 2021-03-22 2021-03-22 基于双目立体相机的道路状况检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300665.4A CN113140002B (zh) 2021-03-22 2021-03-22 基于双目立体相机的道路状况检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113140002A CN113140002A (zh) 2021-07-20
CN113140002B true CN113140002B (zh) 2022-12-13

Family

ID=76809975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300665.4A Active CN113140002B (zh) 2021-03-22 2021-03-22 基于双目立体相机的道路状况检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113140002B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205809B (zh) * 2022-09-15 2023-03-24 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统
CN116052122B (zh) * 2023-01-28 2023-06-27 广汽埃安新能源汽车股份有限公司 一种可行驶空间的检测方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006765A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110781827B (zh) * 2019-10-25 2021-05-11 中山大学 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN111046776B (zh) * 2019-12-06 2023-06-09 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN112465831B (zh) * 2020-11-16 2023-10-20 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006765A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UAV Flight at Low Altitude Based on Binocular Vision;Feng Wang;《2017 International Conference on Network and Information Systems for Computers》;20190919;全文 *
基于成像模型的车道线检测与跟踪方法;陈龙等;《中国公路学报》;20111115(第06期);全文 *
基于立体视觉与纹理特征相结合的障碍物探测;赵申;《软件导刊》;20180515(第05期);全文 *

Also Published As

Publication number Publication date
CN113140002A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN112906449A (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
CN105335955A (zh) 对象检测方法和对象检测装置
CN113343745B (zh) 基于双目相机的远距离目标检测方法、系统和智能终端
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN111678518B (zh) 一种用于修正自动泊车路径的视觉定位方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN114509045A (zh) 车轮区域高程检测方法和系统
CN110850394A (zh) 一种自动驾驶激光雷达强度标定方法
CN114926521A (zh) 基于双目相机的立体匹配方法和系统
Wang et al. Lane boundary detection based on parabola model
CN113781543B (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN115327524A (zh) 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
CN110197104B (zh) 基于车辆的测距方法及装置
CN112529011A (zh) 目标检测方法及相关装置
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端
US20230147557A1 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant