CN112364693A - 基于双目视觉的障碍识别方法、装置、设备及存储介质 - Google Patents

基于双目视觉的障碍识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112364693A
CN112364693A CN202011087422.9A CN202011087422A CN112364693A CN 112364693 A CN112364693 A CN 112364693A CN 202011087422 A CN202011087422 A CN 202011087422A CN 112364693 A CN112364693 A CN 112364693A
Authority
CN
China
Prior art keywords
result
image
obstacle
map
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011087422.9A
Other languages
English (en)
Other versions
CN112364693B (zh
Inventor
孙向明
肖乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spark Technology Shenzhen Co ltd
Original Assignee
Spark Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spark Technology Shenzhen Co ltd filed Critical Spark Technology Shenzhen Co ltd
Priority to CN202011087422.9A priority Critical patent/CN112364693B/zh
Publication of CN112364693A publication Critical patent/CN112364693A/zh
Application granted granted Critical
Publication of CN112364693B publication Critical patent/CN112364693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于双目视觉的障碍识别方法、装置、设备及存储介质，所述方法包括：通过双目视觉相机获取当前路面的RGB图像，并根据RGB图像获得对应的深度图；对深度图进行预设网格填充处理，获得与深度图对应的高度图；对RGB图像进行图像分割处理，获得图像分割结果；根据高度图和图像分割结果获得障碍物识别结果。通过双目视觉摄像机获取当前路面的RGB图像，然后基于RGB图像生成高度图和图像分割结果，实现了对基于双目视觉摄像机获得的RGB图像的充分利用，降低了障碍识别成本，也简化了障碍识别流程，提高了障碍识别效率，通过综合高度图和图像分割结果获得障碍物识别结果以提高障碍识别精度。

Description

基于双目视觉的障碍识别方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于双目视觉的障碍识别方法、装置、设备及存储介质。
背景技术
对于无人驾驶车辆而言，环境感知是无人驾驶车辆实现决策和控制的基础，为保障无人驾驶车辆的行车安全，降低发生紧急制动的概率，需要对无人驾驶车辆行驶的前方区域进行障碍识别，并根据障碍物的远近调整车辆的行进加速度。障碍识别作为实现自动驾驶的一项核心技术，直接影响着整车系统的可靠性、灵活性和健壮性。现有的障碍识别方案通常由复杂的距离测量传感器系统和摄像头组成，依赖于距离传感器的灵敏度和准确度，成本较高，并且需要融合多个传感器的数据，控制系统复杂，不利于设备的小型化和简易化，且现有的障碍识别方案对摄像头所采集的视频信息利用并不充分，难以结合最新的人工智能算法对视频信息进行学习；在算法层面，现有的障碍识别方案大多以传统算法为核心，使用了多重的条件规则判断，使得算法的阈值选择和标定变得十分繁琐。因此，如何提高障碍识别效率，降低障碍识别成本，成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种基于双目视觉的障碍识别方法、装置、设备及存储介质，旨在解决如何提高障碍识别效率和障碍识别精度，降低障碍识别成本的技术问题。
为实现上述目的，本发明提供了一种基于双目视觉的障碍识别方法，所述方法包括以下步骤：
通过双目视觉相机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
对所述RGB图像进行图像分割处理，获得图像分割结果；
根据所述高度图和所述图像分割结果获得障碍物识别结果。
优选地，所述根据所述RGB图像获得对应的深度图的步骤，具体包括：
对所述RGB图像进行立体视觉匹配，获得与所述RGB图像对应的视差图；
获取所述双目视觉相机的标定参数；
根据所述标定参数对所述视差图进行深度恢复，获得与所述视差图对应的深度图。
优选地，所述对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图的步骤，具体包括：
获取所述深度图中各像素点的三维坐标，并根据所述三维坐标获得各像素点对应的第一高度值；
对所述深度图进行网格坐标转换，获得网格深度图，并获取所述网格深度图中各像素点对应的第二高度值；
根据所述第一高度值和所述第二高度值生成目标高度值，并根据所述目标高度值和所述深度图获得对应的高度图。
优选地，所述对所述RGB图像进行图像分割处理，获得图像分割结果的步骤，具体包括：
对所述RGB图像进行图像校正处理，获得图像校正结果；
对所述图像校正结果进行图像滤波处理，获得图像滤波结果；
对所述图像滤波结果进行图像分割处理，获得图像分割结果。
优选地，所述根据所述高度图和所述图像分割结果获得障碍物识别结果的步骤，具体包括：
对所述图像分割结果进行特征识别，获得特征像素和路面像素；
计算所述特征像素和所述路面像素的像素比值；
将所述像素比值与预设像素比值进行比较，获得像素比较结果；
根据所述像素判断结果和所述高度图获得障碍物识别结果。
优选地，所述根据所述高度图和所述图像分割结果获得障碍物识别结果的步骤，具体包括：
将所述目标高度值与预设高度值进行比较，获得高度比较结果；
根据所述高度比较结果和所述图像分割结果获得障碍物识别结果。
优选地，所述根据所述高度图和所述路面分割结果获得障碍物识别结果的步骤，具体包括：
根据图像分割结果判断当前路面是否存在障碍物，以获得第一判断结果；
根据所述高度图判断当前路面是否存在所述障碍物，以获得第二判断结果；
根据所述第一判断结果和所述第二判断结果获得障碍物识别结果。
此外，为实现上述目的，本发明还提出一种基于双目视觉的障碍识别装置，所述装置包括：
深度图获取模块，用于通过双目视觉相机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
高度图获取模块，用于对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
图像分割模块，用于对所述RGB图像进行图像分割处理，获得图像分割结果；
障碍识别模块，用于根据所述高度图和所述图像分割结果获得障碍物识别结果。
此外，为实现上述目的，本发明还提出一种基于双目视觉的障碍识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于双目视觉的障碍识别程序，所述基于双目视觉的障碍识别程序配置为实现如上文所述的基于双目视觉的障碍识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于双目视觉的障碍识别程序，所述基于双目视觉的障碍识别程序被处理器执行时实现如上文所述的基于双目视觉的障碍识别方法的步骤。
本发明通过双目视觉摄像机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图，对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图，对所述RGB图像进行图像分割处理，获得图像分割结果，根据所述高度图和所述图像分割结果获得障碍物识别结果。有别于现有技术使用多重的条件规则进行判断，使得算法的阈值选择和标定变得十分繁琐，本发明通过双目视觉摄像机获取当前路面的RGB图像，然后基于所述RGB图像生成高度图和图像分割结果，实现了对基于所述双目视觉摄像机获得的当前路面的RGB图像的充分利用，避免了现有技术中融合多个传感器来采集路面信息而带来的成本浪费，也简化了障碍识别流程，提高了障碍识别效率，进一步地，再综合所述高度图和所述图像分割结果获得障碍物识别结果以提高障碍识别精度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于双目视觉的障碍识别设备的结构示意图；
图2为本发明基于双目视觉的障碍识别方法第一实施例的流程示意图；
图3为本发明基于双目视觉的障碍识别方法所涉及的笛卡尔坐标系中的网格深度图；
图4为本发明基于双目视觉的障碍识别方法所涉及的极坐标系中的网格深度图；
图5为本发明基于双目视觉的障碍识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于双目视觉的障碍识别设备结构示意图。
如图1所示，该基于双目视觉的障碍识别设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于双目视觉的障碍识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于双目视觉的障碍识别程序。
在图1所示的基于双目视觉的障碍识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于双目视觉的障碍识别设备中的处理器1001、存储器1005可以设置在基于双目视觉的障碍识别设备中，所述基于双目视觉的障碍识别设备通过处理器1001调用存储器1005中存储的基于双目视觉的障碍识别程序，并执行本发明实施例提供的基于双目视觉的障碍识别方法。
本发明实施例提供了一种基于双目视觉的障碍识别方法，参照图2，图2为本发明基于双目视觉的障碍识别方法第一实施例的流程示意图。
本实施例中，所述基于双目视觉的障碍识别方法包括以下步骤：
步骤S10：通过双目视觉相机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
需要说明的是，本实施例的执行主体可为上述处理器1001，所述处理器1001通过连接的双目视觉相机获取当前路面的RGB图像，所述RGB图像可理解为三通道彩色图像，包括当前路面的左视图和右视图，然后对所述左视图和所述右视图进行立体视觉匹配，获得对应的视差图，所述立体视觉匹配的过程可理解为将物体上的一个投影点在左右两相机中同一时刻所拍摄的两幅图像上进行匹配，也就是将一幅图像上的目标像素点与另一幅图像上的目标像素点对应匹配起来，在具体实现中，可采用快速双目视觉立体匹配算法，经过该匹配算法处理后，可以将左右两摄像机图像中的目标点写成像素点对形式，以便后续计算，进一步地，也有助于提高障碍物识别效率。在具体实现中，为了提高立体视觉匹配的匹配精度，在进行立体视觉匹配之前，可先对RGB图像进行去畸变处理，所述去畸变处理可理解为消除双目视觉相机的镜头对图像产生的畸变，在具体实现中，可先获取双目视觉相机的标定参数，然后根据基于所述标定参数建立的相机模型来消除镜头畸变，再将所述左视图和所述右视图进行极线约束，以使所述左视图和所述右视图所对应的匹配点处于同一条直线上，可理解为使所述左视图和所述右视图共面并且行对齐，再对所述左视图和所述右视图进行重投影。以获得所述视差图。
在具体实现中，所述立体视觉匹配的过程还可为先获取所述左视图和所述右视图的视差数据，然后将视差数据以图像像素矩阵形式表示，并用不同颜色代表视差数据中的不同视差值，实现将数字化的视差数据以图像形式进行可视化显示，即得到视差数据相应的视差图。
在具体实现中，还可获取所述双目视觉相机的标定参数，并根据所述标定参数对所述视差图进行深度恢复，获得与所述视差图对应的深度图。所述深度恢复的过程可基于半全局块匹配(Semi Global Block Matching，SGBM)算法实现，所述深度图像中还可包括当前路面中待测物体的距离信息，所述距离信息包括但不限于当前路面中待测物体与双目视觉相机之间的距离、待测物体的大小。由于深度图不受待测物体表面反射特性的影响，而且不存在阴影，能够更准确地表达待测物体的距离以及大小信息，进一步地，也提高了障碍识别的准确度。
步骤S20：对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
易于理解的是，在获得所述深度图后，还可获取所述深度图中各像素点的三维坐标，并根据所述三维坐标获得各像素点对应的第一高度值，所述第一高度值可为世界坐标系中的所述三维坐标中z轴坐标对应的数值，然后对所述深度图进行网格坐标转换，获得网格深度图，并获取所述网格深度图中各像素点对应的第二高度值，接着根据所述第一高度值和所述第二高度值生成目标高度值，并根据所述目标高度值和所述深度图获得对应的高度图。所述高度图，可理解为从与自动驾驶车辆所在的当前路面垂直的方向上，向下看所述自动驾驶车辆时得到的鸟瞰图，在具体实现中，所述网格坐标转换，可理解为将处于世界坐标系的深度图中的各像素点由世界坐标系转换至笛卡尔坐标系或极坐标系中的矩形空间网格中，在转换至笛卡尔坐标系中时，所获得的矩形空间网格如图3所示，参考图3，图3为本发明基于双目视觉的障碍识别方法所涉及的笛卡尔坐标系中的网格深度图，所分布的均为等间隔的网格；在转换至极坐标系中时，所获得的矩形空间网格如图4所示，参考图4，图4为本发明基于双目视觉的障碍识别方法所涉及的极坐标系中的网格深度图，所分布的均为等间隔的网格。进一步地，还可获取所述网格深度图中各像素点对应的第二高度值，所述第二高度值可为各像素点在网格深度图中的高度值，即坐标转换后各像素点的高度值，然后比较第一高度值和第二高度值的大小，若第一高度值大于第二高度值，则将第一高度值作为目标高度值，并将各像素点在网格深度图中的高度值更新为所述第一高度值；若第一高度值小于等于第二高度值，则将第二高度值作为目标高度值，即各像素点在网格深度图中的高度值为所述第二高度值，由此，在所有像素点遍历完成后，则可获得对应的高度图。
步骤S30：对所述RGB图像进行图像分割处理，获得图像分割结果；
易于理解的是，本实施中，为了提高障碍识别精度，还可对所述RGB图像进行图像校正处理，获得图像校正结果，然后，对所述图像校正结果进行图像滤波处理，获得图像滤波结果，接着，对所述图像滤波结果进行图像分割处理，获得图像分割结果。在具体实现中，可先对RGB图像进行去畸变处理，所述去畸变处理可理解为消除双目视觉相机的镜头对图像产生的畸变，可先获取双目视觉相机的镜头畸变参数，然后根据镜头畸变参数进行去畸变处理，获得图像校正结果；在实际拍摄过程中，由于受设备和环境等因素的影响，图像信号在记录以及传输过程中，经常会受到各种噪声的影响，使得图像质量下降，目标特征不突出，进一步地，也对后续的图像分割、特征点提取等过程产生影响，所以必须对RGB图像进行降噪处理，即对RGB图像进行滤波，其中，中值滤波属于非线性滤波，它对输入信号的响应是非线性的，因此会使某一点的噪声近似映射为零，而只保留信号的主要特征，因此，本实施例中，所采用的是非线性滤波技术中的中值滤波；所述图像分割处理可理解为把图像细分为构成它的子区域或者对象，而进行分割的目的就是将所关注的图像目标从背景中提取出来，以便进一步分析和处理，本实施例中，可采用Otsu阈值分割法，根据周围环境光照强度的不同，使类间方差最大，从而能够自动确定阈值，大于阈值的像素用白色表示，其它阈值的像素就用黑色表示，这样就将原图像转化为黑白的二值图像，由此，获得图像分割结果。
步骤S40：根据所述高度图和所述图像分割结果获得障碍物识别结果。
需要说明的是，在根据图像分割结果判断当前路面是否存在障碍物时，由于分割后的二值图像仍有一定噪声，对特征点提取不利，所以可先进行形态学腐蚀或者膨胀处理，再对经过前述处理后的二值图像进行特征识别，获得特征像素和路面像素，所述特征像素包括但不限于上述二值图像中的黑白分界、图像边界的像素点，在具体实现中，还可符合预设障碍物成像规则的像素点，所述预设障碍物成像规则可理解为双目视觉系统中预设的障碍物在二值图像中的像素分布规则，在具体实现中，也可根据实际需求修改所述像素分布规则，以实现对障碍物的二值图像识别为准，本实施对此不予限制。所述路面像素可为所述二值图像的像素区域内识别出符合路面特征的像素点，可理解为符合预设平面成像规则的像素点，所述预设平面成像规则可理解为双目视觉系统中预设的路面在二值图像中的像素分布规则，在具体实现中，也可根据实际需求修改所述像素分布规则，以实现对路面的二值图像识别为准，本实施对此不予限制。然后，计算所述特征像素和所述路面像素的像素比值(分子为特征像素，分母为路面像素)，将所述像素比值与预设像素比值进行比较，获得像素比较结果；在具体实现中，所述像素比较结果可理解为，在所述像素比值大于等于所述预设像素比值时，自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物；在所述像素比值小于所述预设像素比值时，自动驾驶车辆所在的当前路面的前方暂未发现影响所述自动驾驶车辆行驶的障碍物，所述预设像素比值可根据实际需求而定，本实施例对此不加以限制，进一步地，基于所述像素比较结果可获得下文所述的第一判断结果。
易于理解的是，本实施例中，还可将所述目标高度值与预设高度值进行比较，获得高度比较结果，然后根据所述高度比较结果和所述图像分割结果获得障碍物识别结果。在具体实现中，可在高度图上按距离的远近选取若干个矩形空间网格，然后为每个矩形空间网格设置对应的预设高度值，并统计矩形空间网格的目标高度值大于预设高度值的数量，然后计算所述数量占所述矩形空间网格总数的比例，所述高度比较结果可理解为，如果所述比例大于等于预设网格比例，可判定自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，如果所述比例小于所述预设网格比例，可判定自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的障碍物，所述预设高度值和所述预设网格比例可根据实际需求而定，本实施例对此不加以限制。进一步地，基于所述高度比较结果可获得下文所述的第二判断结果。
进一步地，可根据图像分割结果判断当前路面是否存在障碍物，以获得第一判断结果，根据所述高度图判断当前路面是否存在所述障碍物，以获得第二判断结果，根据所述第一判断结果和所述第二判断结果获得障碍物识别结果。在具体实现中，可基于所述第一判断结果和所述第二判断结果，采用顺序的方式获得障碍物识别结果：若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，然后，紧接着第二判断结果也为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，则输出障碍物识别结果为存在所述障碍物，需获取所述障碍物离所述自动驾驶车辆或所述双目视觉相机的距离，然后基于所述距离进行对应的避障措施；若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，然后，紧接着第二判断结果为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，则输出障碍物识别结果为不存在所述障碍物，可保持当前状态继续行驶；若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，然后，紧接着第二判断结果为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，则输出障碍物识别结果为存在所述障碍物，需获取所述障碍物离所述自动驾驶车辆或所述双目视觉相机的距离，然后基于所述距离进行对应的避障措施；若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，然后，紧接着第二判断结果也为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，则输出障碍物识别结果为不存在所述障碍物，可保持当前状态继续行驶。
在另一种实现方式中，可基于所述第一判断结果和所述第二判断结果，采用分时并行的方式获得障碍物识别结果，可理解为虽是基于所述第一判断结果和所述第二判断结果生成障碍物识别结果，但所述第一判断结果和所述第二结果之间是相互独立地进行判断，然后分别生成对应的障碍物识别结果：若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，则输出障碍物识别结果为存在所述障碍物，需获取所述障碍物离所述自动驾驶车辆或所述双目视觉相机的距离，然后基于所述距离进行对应的避障措施；若获取第二判断结果为自动驾驶车辆所在的当前路面的前方存在影响行驶的障碍物，则输出障碍物识别结果为存在所述障碍物，需获取所述障碍物离所述自动驾驶车辆或所述双目视觉相机的距离，然后基于所述距离进行对应的避障措施；若获取到第一判断结果为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，则输出障碍物识别结果为不存在所述障碍物，可保持当前状态继续行驶；若获取到第二判断结果为自动驾驶车辆所在的当前路面的前方暂未发现影响行驶的所述障碍物，则输出障碍物识别结果为不存在所述障碍物，可保持当前状态继续行驶。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施中，通过双目视觉摄像机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图，对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图，对所述RGB图像进行图像分割处理，获得图像分割结果，根据所述高度图和所述图像分割结果获得障碍物识别结果。有别于现有技术使用多重的条件规则进行判断，使得算法的阈值选择和标定变得十分繁琐，本实施例通过双目视觉摄像机获取当前路面的RGB图像，然后基于所述RGB图像生成高度图和图像分割结果，实现了对基于所述双目视觉摄像机获得的当前路面的RGB图像的充分利用，避免了现有技术中融合多个传感器来采集路面信息而带来的成本浪费，也简化了障碍识别流程，提高了障碍识别效率，进一步地，再综合所述高度图和所述图像分割结果获得障碍物识别结果以提高障碍识别精度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于双目视觉的障碍识别程序，所述基于双目视觉的障碍识别程序被处理器执行时实现如上文所述的基于双目视觉的障碍识别方法的步骤。
参照图5，图5为本发明基于双目视觉的障碍识别装置第一实施例的结构框图。
如图5所示，本发明实施例提出的基于双目视觉的障碍识别装置包括：
深度图获取模块10，用于通过双目视觉摄像机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
高度图获取模块20，用于对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
图像分割模块30，用于对所述RGB图像进行图像分割处理，获得图像分割结果；
障碍识别模块40，用于根据所述高度图和所述图像分割结果获得障碍物识别结果。
本实施中，通过双目视觉摄像机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图，对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图，对所述RGB图像进行图像分割处理，获得图像分割结果，根据所述高度图和所述图像分割结果获得障碍物识别结果。有别于现有技术使用多重的条件规则进行判断，使得算法的阈值选择和标定变得十分繁琐，本实施例通过双目视觉摄像机获取当前路面的RGB图像，然后基于所述RGB图像生成高度图和图像分割结果，实现了对基于所述双目视觉摄像机获得的当前路面的RGB图像的充分利用，避免了现有技术中融合多个传感器来采集路面信息而带来的成本浪费，也简化了障碍识别流程，提高了障碍识别效率，进一步地，再综合所述高度图和所述图像分割结果获得障碍物识别结果以提高障碍识别精度。
基于本发明上述基于双目视觉的障碍识别装置第一实施例，提出本发明基于双目视觉的障碍识别装置的第二实施例。
在本实施例中，所述深度图获取模块10，还用于对所述RGB图像进行立体视觉匹配，获得与所述RGB图像对应的视差图；
所述深度图获取模块10，还用于获取所述双目视觉摄像机的标定参数；
所述深度图获取模块10，还用于根据所述标定参数对所述视差图进行深度恢复，获得与所述视差图对应的深度图。
所述高度图获取模块20，还用于获取所述深度图中各像素点的三维坐标，并根据所述三维坐标获得各像素点对应的第一高度值；
所述高度图获取模块20，还用于对所述深度图进行网格坐标转换，获得网格深度图，并获取所述网格深度图中各像素点对应的第二高度值；
所述高度图获取模块20，还用于根据所述第一高度值和所述第二高度值生成目标高度值，并根据所述目标高度值和所述深度图获得对应的高度图。
所述图像分割模块30，还用于对所述RGB图像进行图像校正处理，获得图像校正结果；
所述图像分割模块30，还用于对所述图像校正结果进行图像滤波处理，获得图像滤波结果；
所述图像分割模块30，还用于对所述图像滤波结果进行图像分割处理，获得图像分割结果。
所述障碍识别模块40，还用于对所述图像分割结果进行特征识别，获得特征像素和路面像素；
所述障碍识别模块40，还用于计算所述特征像素和所述路面像素的像素比值；
所述障碍识别模块40，还用于将所述像素比值与预设像素比值进行比较，获得像素比较结果；
所述障碍识别模块40，还用于根据所述像素判断结果和所述高度图获得障碍物识别结果。
所述障碍识别模块40，还用于将所述目标高度值与预设高度值进行比较，获得高度比较结果；
所述障碍识别模块40，还用于根据所述高度比较结果和所述图像分割结果获得障碍物识别结果。
所述障碍识别模块40，还用于根据图像分割结果判断当前路面是否存在障碍物，以获得第一判断结果；
所述障碍识别模块40，还用于根据所述高度图判断当前路面是否存在所述障碍物，以获得第二判断结果；
所述障碍识别模块40，还用于根据所述第一判断结果和所述第二判断结果获得障碍物识别结果。
本发明基于双目视觉的障碍识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于双目视觉的障碍识别方法，其特征在于，所述方法包括以下步骤：
通过双目视觉相机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
对所述RGB图像进行图像分割处理，获得图像分割结果；
根据所述高度图和所述图像分割结果获得障碍物识别结果。
2.如权利要求1所述的方法，其特征在于，所述根据所述RGB图像获得对应的深度图的步骤，具体包括：
对所述RGB图像进行立体视觉匹配，获得与所述RGB图像对应的视差图；
获取所述双目视觉相机的标定参数；
根据所述标定参数对所述视差图进行深度恢复，获得与所述视差图对应的深度图。
3.如权利要求1所述的方法，其特征在于，所述对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图的步骤，具体包括：
获取所述深度图中各像素点的三维坐标，并根据所述三维坐标获得各像素点对应的第一高度值；
对所述深度图进行网格坐标转换，获得网格深度图，并获取所述网格深度图中各像素点对应的第二高度值；
根据所述第一高度值和所述第二高度值生成目标高度值，并根据所述目标高度值和所述深度图获得对应的高度图。
4.如权利要求1所述的方法，其特征在于，所述对所述RGB图像进行图像分割处理，获得图像分割结果的步骤，具体包括：
对所述RGB图像进行图像校正处理，获得图像校正结果；
对所述图像校正结果进行图像滤波处理，获得图像滤波结果；
对所述图像滤波结果进行图像分割处理，获得图像分割结果。
5.如权利要求1所述的方法，其特征在于，所述根据所述高度图和所述图像分割结果获得障碍物识别结果的步骤，具体包括：
对所述图像分割结果进行特征识别，获得特征像素和路面像素；
计算所述特征像素和所述路面像素的像素比值；
将所述像素比值与预设像素比值进行比较，获得像素比较结果；
根据所述像素判断结果和所述高度图获得障碍物识别结果。
6.如权利要求3所述的方法，其特征在于，所述根据所述高度图和所述图像分割结果获得障碍物识别结果的步骤，具体包括：
将所述目标高度值与预设高度值进行比较，获得高度比较结果；
根据所述高度比较结果和所述图像分割结果获得障碍物识别结果。
7.如权利要求1所述的方法，其特征在于，所述根据所述高度图和所述路面分割结果获得障碍物识别结果的步骤，具体包括：
根据图像分割结果判断当前路面是否存在障碍物，以获得第一判断结果；
根据所述高度图判断当前路面是否存在所述障碍物，以获得第二判断结果；
根据所述第一判断结果和所述第二判断结果获得障碍物识别结果。
8.一种基于双目视觉的障碍识别装置，其特征在于，所述装置包括：
深度图获取模块，用于通过双目视觉相机获取当前路面的RGB图像，并根据所述RGB图像获得对应的深度图；
高度图获取模块，用于对所述深度图进行预设网格填充处理，获得与所述深度图对应的高度图；
图像分割模块，用于对所述RGB图像进行图像分割处理，获得图像分割结果；
障碍识别模块，用于根据所述高度图和所述图像分割结果获得障碍物识别结果。
9.一种基于双目视觉的障碍识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于双目视觉的障碍识别程序，所述基于双目视觉的障碍识别程序配置为实现如权利要求1至7中任一项所述的基于双目视觉的障碍识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于双目视觉的障碍识别程序，所述基于双目视觉的障碍识别程序被处理器执行时实现如权利要求1至7中任一项所述的基于双目视觉的障碍识别方法的步骤。
CN202011087422.9A 2020-10-12 2020-10-12 基于双目视觉的障碍识别方法、装置、设备及存储介质 Active CN112364693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011087422.9A CN112364693B (zh) 2020-10-12 2020-10-12 基于双目视觉的障碍识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011087422.9A CN112364693B (zh) 2020-10-12 2020-10-12 基于双目视觉的障碍识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112364693A true CN112364693A (zh) 2021-02-12
CN112364693B CN112364693B (zh) 2024-04-16

Family

ID=74507117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011087422.9A Active CN112364693B (zh) 2020-10-12 2020-10-12 基于双目视觉的障碍识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364693B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963163A (zh) * 2021-12-21 2022-01-21 北京中科慧眼科技有限公司 一种基于图像分割的障碍物提取方法、系统和智能终端

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
US20140267279A1 (en) * 2013-03-15 2014-09-18 Janne Kontkanen System and method for overlaying two-dimensional map data on a three-dimensional scene
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
US20190114914A1 (en) * 2017-10-17 2019-04-18 Traffic Control Technology Co., Ltd Vehicle on-board controller centered train control system
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN110399807A (zh) * 2019-07-04 2019-11-01 深圳前海达闼云端智能科技有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN110494895A (zh) * 2016-08-19 2019-11-22 莫维迪厄斯有限公司 使用稀疏体积数据的渲染操作
CN110826512A (zh) * 2019-11-12 2020-02-21 深圳创维数字技术有限公司 地面障碍物检测方法、设备及计算机可读存储介质
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法
US20200279170A1 (en) * 2018-06-06 2020-09-03 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying grids of geographical region in map

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
US20140267279A1 (en) * 2013-03-15 2014-09-18 Janne Kontkanen System and method for overlaying two-dimensional map data on a three-dimensional scene
CN110494895A (zh) * 2016-08-19 2019-11-22 莫维迪厄斯有限公司 使用稀疏体积数据的渲染操作
US20190114914A1 (en) * 2017-10-17 2019-04-18 Traffic Control Technology Co., Ltd Vehicle on-board controller centered train control system
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
US20200279170A1 (en) * 2018-06-06 2020-09-03 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying grids of geographical region in map
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN110399807A (zh) * 2019-07-04 2019-11-01 深圳前海达闼云端智能科技有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN110826512A (zh) * 2019-11-12 2020-02-21 深圳创维数字技术有限公司 地面障碍物检测方法、设备及计算机可读存储介质
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963163A (zh) * 2021-12-21 2022-01-21 北京中科慧眼科技有限公司 一种基于图像分割的障碍物提取方法、系统和智能终端

Also Published As

Publication number Publication date
CN112364693B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US10429193B2 (en) Method and apparatus for generating high precision map
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
CN108520536B (zh) 一种视差图的生成方法、装置及终端
US6658150B2 (en) Image recognition system
US11379963B2 (en) Information processing method and device, cloud-based processing device, and computer program product
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
JP2008158958A (ja) 路面判別方法および路面判別装置。
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN112950725A (zh) 一种监控相机参数标定方法及装置
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN115496923A (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN112529011A (zh) 目标检测方法及相关装置
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
CN117830392B (zh) 一种环境物体识别方法和成像系统
CN114724118B (zh) 一种斑马线检测方法、装置、设备及存储介质
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
CN115984945A (zh) 一种人脸关键点真值的获取方法、装置、车辆及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant