CN113963163A - 一种基于图像分割的障碍物提取方法、系统和智能终端 - Google Patents

Abstract

本发明公开了一种基于图像分割的障碍物提取方法、系统和智能终端，方法包括：获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；根据所述深度分布图提取障碍物。这样，迭代合并时，在深度图的基础上增加图像维度，提高了障碍物提取的成功率，解决了现有技术中由于深度图获取不理想，而导致的障碍物检测准确性较差的技术问题。

Description

一种基于图像分割的障碍物提取方法、系统和智能终端

技术领域

本发明涉及障碍物检测技术领域，具体涉及一种基于图像分割的障碍物提取方法、系统和智能终端。

背景技术

随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。尤其是在辅助驾驶领域中，无人驾驶的障碍物感知方向时，需要识别不同障碍物的类别属性，为后期的功能策略提供基础数据依据。

通常基于双目深度图的障碍物提取，是在深度图中依据物体的空间信息对图像进行无差别类型的分割。此过程中非常依赖前端深度图的效果。将双目技术应用到ADAS(高级辅助驾驶系统）中，车辆行驶在不同路面时和相机处在不同环境温度时对相机结构变化的影响不同。不同环境光照环境对两个摄像头的成像影响也不同。要得到理想的双目深度图，不仅要算法稳定，还要考虑传感器周边环境影响和视觉传感器本身的特性。综合影响下，双目生成的深度图无法满足理想状态。

因此，在双目深度图不完全理想的条件下，如何利用现有的深度图提取有效障碍物，从而提高障碍物提取的准确性，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于图像分割的障碍物提取方法、系统和智能终端，以解决现有技术中由于深度图获取不理想，而导致的障碍物检测准确性较差的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于图像分割的障碍物提取方法，所述方法包括：

获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；

基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；

获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；

根据所述深度分布图提取障碍物。

进一步地，所述获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域，具体包括：

获取单目镜头输出的单目图像；

利用像素点的四邻域的关系将所述单目图像映射成图论平面；

根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点设定为一个区域，以得到多个所述初始分割区域。

进一步地，在迭代过程中根据区域中像素点的数量和边的最大权重更新所述阈值。

进一步地，所述阈值根据以下公式得到：

其中，n表示分割区域中点的数量，E为四邻域边界权重，四邻域如下图所示：

其中，I为图像像素点强度，

为四邻域的图像像素点强度。

进一步地，所述预设合并策略包括颜色直方图、梯度方向直方图、区域大小和外接矩阵中的至少一者；

其中，

所述颜色直方图用来评判两个区域颜色分布是否一致；

所述梯度直方图用来评判两个区域的纹理属性是否一致；

所述区域大小用来评判优先合并的区域；

所述外接矩阵用来评判两个区域的叠加或包含状态。

进一步地，所述根据所述深度分布图提取障碍物，具体包括：

计算所述深度分布图对应的V-D图，所述V-D图的横坐标为图像行坐标，所述V-D图的纵坐标为视差值，各点强度值为图像对应深度分布图在各行的视差直方图分布投影值；

所述V-D图中的水平线对应的为可提取的障碍物，所述V-D图中的斜线为地面，从而将分割后的区域划分为路面和障碍物。

进一步地，所述V-D图中的异常值对应天空或距离大于距离阈值的物体。

本发明还提供一种基于图像分割的障碍物提取系统，用于实施如上所述的方法，所述系统包括：

初始分割单元，用于获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；

分割合并单元，用于基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；

深度分度单元，用于获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；

障碍物提取单元，用于根据所述深度分布图提取障碍物。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于图像分割的障碍物提取方法，通过获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；根据所述深度分布图提取障碍物。这样，迭代合并时，在深度图的基础上增加图像维度，提高了障碍物提取的成功率，解决了现有技术中由于深度图获取不理想，而导致的障碍物检测准确性较差的技术问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于图像分割的障碍物提取方法一种具体实施方式的流程图；

图2为本发明所提供的基于图像分割的障碍物提取系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一种具体实施方式中，如图1所示，本发明所提供的基于图像分割的障碍物提取方法包括以下步骤：

S1：获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域。

从原理上来讲，单目镜头输出的图像中，理论上强度相似且紧邻的像素在同一物体的表面上。基于这一假设将图像像素做为图论中的顶点，相邻像素之间的强度差值看做是图论的边。即将图像的像素和其与相邻像素的关系映射成无向图，且边的权重代表两顶点的关系，权重越小表示两个像素是同一平面的概率越大。

基于上述原理，步骤S1具体包括：

获取单目镜头输出的单目图像；

利用像素点的四邻域的关系将所述单目图像映射成图论平面；

根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点设定为一个区域，以得到多个所述初始分割区域。

其中，在迭代过程中根据区域中像素点的数量和边的最大权重更新所述阈值，所述阈值根据以下公式得到：

其中，n表示分割区域中点的数量，E为四邻域边界权重，四邻域如下图所示：

其中，I为图像像素点强度，

为四邻域的图像像素点强度。

也就是说，利用像素点的四邻域的关系将图像映射成图论平面，根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点看做是一个区域。在迭代过程中根据区域中像素点的数量和边的最大权重更新合并阈值

。

由于图论分割在本发明中用作一个初始分割，允许同一个物体分割为多部分，需要尽量减少误分割，基于这个要求，上述阈值设置要求偏严格。

S2：基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果。

上述预设合并策略包括颜色直方图、梯度方向直方图、区域大小和外接矩阵中的至少一者。其中，所述颜色直方图用来评判两个区域颜色分布是否一致；所述梯度直方图用来评判两个区域的纹理属性是否一致；所述区域大小用来评判优先合并的区域；所述外接矩阵用来评判两个区域的叠加或包含状态。

也就是说，初始分割是针对相同图像强度的分割，分割的结果是一个个区域。接下来工作是合并不同强度但是属于同一平面的区域，即需要设计区域合并的准则。利用颜色直方图、梯度方向直方图、区域大小和外接矩阵四个准则评判区域是否应该合并。其中颜色直方图用来评判两个区域颜色分布是否一致；梯度直方图评判两个区域的纹理属性是否一致；区域大小主要考虑优先合并小区域；外接矩阵用来评判两个区域的叠加或包含状态。综合考虑四个准则对初始分割结果进行循环迭代合并，经过初始分割和合并后，单目图像的分割基本完成。

S3：获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图。

S4：根据所述深度分布图提取障碍物。

具体地，计算所述深度分布图对应的V-D图，所述V-D图的横坐标为图像行坐标，所述V-D图的纵坐标为视差值，各点强度值为图像对应深度分布图在各行的视差直方图分布投影值；所述V-D图中的水平线对应的为可提取的障碍物，所述V-D图中的斜线为地面，从而将分割后的区域划分为路面和障碍物；所述V-D图中的异常值对应天空或距离大于距离阈值的物体。

单目图分割结果结合深度图即可以计算每个区域的深度分布，深度信息可以用来评判相邻区域的空间信息。计算深度图对应的V-D图（图1，横坐标为图像行坐标，纵坐标视差值，各点强度值为图像对应深度图在各行的视差直方图分布投影值）观察到障碍物分布呈现为一条近似的水平线，而地面呈现为一条斜线。同理此现象也应适应每个分割后的区域，即可以将分割后的区域简单分为路面和障碍物两类。障碍物在深度上近似一致，路面在深度上随图像的V不同而不同，而天空等距离比较远的物体深度为异常值。

因此，利用深度评测区域是否一致的准则为直线方程为：

。即如果两个区域中深度D和图像纵向坐标V拟合的直线中斜率a和截距b近似一致，则认为两个区域是同一个物体的不同的平面，可以进行区域合并。直接拟合是利用的最小二乘法，好处是允许深度图中的视差是波动的。

结合单目图像和深度图分割后的结果，可以区分路面、障碍物和其他等属性，为后续障碍物提取提供了有效前提条件。

在上述具体实施方式中，本发明所提供的基于图像分割的障碍物提取方法中，在单目图像分割的基础上利用深度信息进行进一步区域合并，且合并后的区域初分为障碍物、路面和其他等属性。在具体实现过程中深度信息结合了强度信息、纹理信息、图像尺寸和外接矩形框等信息，比使用单一信息具有更强的抗噪声能力和鲁棒性。迭代合并时，在深度图的基础上增加图像维度，提高了障碍物提取的成功率，解决了现有技术中由于深度图获取不理想，而导致的障碍物检测准确性较差的技术问题。

除了上述方法，本发明还提供一种基于图像分割的障碍物提取系统，用于实施如上所述的方法，在一种具体实施方式中，如图2所示，所述系统包括：

初始分割单元100，用于获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域。

从原理上来讲，单目镜头输出的图像中，理论上强度相似且紧邻的像素在同一物体的表面上。基于这一假设将图像像素做为图论中的顶点，相邻像素之间的强度差值看做是图论的边。即将图像的像素和其与相邻像素的关系映射成无向图，且边的权重代表两顶点的关系，权重越小表示两个像素是同一平面的概率越大。

基于上述原理，初始分割单元100具体用于：

获取单目镜头输出的单目图像；

利用像素点的四邻域的关系将所述单目图像映射成图论平面；

根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点设定为一个区域，以得到多个所述初始分割区域。

其中，在迭代过程中根据区域中像素点的数量和边的最大权重更新所述阈值，所述阈值根据以下公式得到：

其中，n表示分割区域中点的数量，E为四邻域边界权重，四邻域如下图所示：

其中，I为图像像素点强度，

为四邻域的图像像素点强度。

也就是说，利用像素点的四邻域的关系将图像映射成图论平面，根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点看做是一个区域。在迭代过程中根据区域中像素点的数量和边的最大权重更新合并阈值

。

由于图论分割在本发明中用作一个初始分割，允许同一个物体分割为多部分，需要尽量减少误分割，基于这个要求，上述阈值设置要求偏严格。

分割合并单元200，用于基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果。

上述预设合并策略包括颜色直方图、梯度方向直方图、区域大小和外接矩阵中的至少一者。其中，所述颜色直方图用来评判两个区域颜色分布是否一致；所述梯度直方图用来评判两个区域的纹理属性是否一致；所述区域大小用来评判优先合并的区域；所述外接矩阵用来评判两个区域的叠加或包含状态。

也就是说，初始分割是针对相同图像强度的分割，分割的结果是一个个区域。接下来工作是合并不同强度但是属于同一平面的区域，即需要设计区域合并的准则。利用颜色直方图、梯度方向直方图、区域大小和外接矩阵四个准则评判区域是否应该合并。其中颜色直方图用来评判两个区域颜色分布是否一致；梯度直方图评判两个区域的纹理属性是否一致；区域大小主要考虑优先合并小区域；外接矩阵用来评判两个区域的叠加或包含状态。综合考虑四个准则对初始分割结果进行循环迭代合并，经过初始分割和合并后，单目图像的分割基本完成。

深度分度单元300，用于获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；

障碍物提取单元400，用于根据所述深度分布图提取障碍物。

在上述具体实施方式中，本发明所提供的基于图像分割的障碍物提取系统，通过获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；根据所述深度分布图提取障碍物。这样，迭代合并时，在深度图的基础上增加图像维度，提高了障碍物提取的成功率，解决了现有技术中由于深度图获取不理想，而导致的障碍物检测准确性较差的技术问题。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。

易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于图像分割的障碍物提取方法，其特征在于，所述方法包括：

获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；

基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；

获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；

根据所述深度分布图提取障碍物。

2.根据权利要求1所述的障碍物提取方法，其特征在于，所述获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域，具体包括：

获取单目镜头输出的单目图像；

利用像素点的四邻域的关系将所述单目图像映射成图论平面；

根据不同的阈值不断循环迭代合并视为同一个平面的像素顶点，将同一平面上的点设定为一个区域，以得到多个所述初始分割区域。

3.根据权利要求2所述的障碍物提取方法，其特征在于，在迭代过程中根据区域中像素点的数量和边的最大权重更新所述阈值。

4.根据权利要求3所述的障碍物提取方法，其特征在于，所述阈值根据以下公式得到：

其中，n表示分割区域中点的数量，E为四邻域边界权重，四邻域如下图所示：

其中，

为图像像素点强度，

为四邻域的图像像素点强度。

5.根据权利要求1所述的障碍物提取方法，其特征在于，所述预设合并策略包括颜色直方图、梯度方向直方图、区域大小和外接矩阵中的至少一者；

其中，

所述颜色直方图用来评判两个区域颜色分布是否一致；

所述梯度直方图用来评判两个区域的纹理属性是否一致；

所述区域大小用来评判优先合并的区域；

所述外接矩阵用来评判两个区域的叠加或包含状态。

6.根据权利要求1所述的障碍物提取方法，其特征在于，所述根据所述深度分布图提取障碍物，具体包括：

计算所述深度分布图对应的V-D图，所述V-D图的横坐标为图像行坐标，所述V-D图的纵坐标为视差值，各点强度值为图像对应深度分布图在各行的视差直方图分布投影值；

所述V-D图中的水平线对应的为可提取的障碍物，所述V-D图中的斜线为地面，从而将分割后的区域划分为路面和障碍物。

7.根据权利要求6所述的障碍物提取方法，其特征在于，所述V-D图中的异常值对应天空或距离大于距离阈值的物体。

8.一种基于图像分割的障碍物提取系统，用于实施如权利要求1-7任一项所述的方法，其特征在于，所述系统包括：

初始分割单元，用于获取单目镜头输出的单目图像，并根据相同图像强度对所述单目图像进行初始分割，以得到多个初始分割区域；

分割合并单元，用于基于预设合并策略对各所述初始分割区域进行循环迭代合并，以得到单目图像分割结果；

深度分度单元，用于获取双目相机的深度图，并基于所述单目图像分割结果和所述深度图计算各所述初始分割区域的深度分布图；

障碍物提取单元，用于根据所述深度分布图提取障碍物。

9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。

Images