CN108596923B - 三维数据的获取方法、装置以及电子设备 - Google Patents

Abstract

本发明提供了一种三维数据的获取方法、装置以及电子设备，涉及图像处理技术领域，三维数据的获取方法包括：根据图像通过区域阈值法提取目标物体的区域图像；通过线性迭代聚类SLIC法对所述区域图像进行超像素分割，得到目标物体的超像素图像；根据所述超像素图像通过立体视觉法得到目标物体的三维数据，解决了现有技术中存在的图像处理速度较慢影响到图像处理效率的技术问题。

Description

三维数据的获取方法、装置以及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种三维数据的获取方法、装置以及电子设备。

背景技术

图像分割技术已广泛应用于灰色、彩色的自然图像、医疗图像、矿物图和交通图像等各种图像中。传统的图像分割方法主要包括阈值法、边界检测法、区域法等。

基于超像素的图像分割方法指依据某种相似性判据，将图像相似的部分整合起来，从而将数字图像细分成多个连贯、易于分析的图像区域的过程，这些分割区域大多保留了后续进行图像分割的有效信息，且一般情况下不会破坏原始图像中物体边界等图像原有信息。

目前，对于在图像中获取目标物品相关数据，其通常做法的图像处理速度较慢，从而影响到图像处理的效率。

发明内容

有鉴于此，本发明的目的在于提供一种三维数据的获取方法、装置以及电子设备，以解决现有技术中存在的图像处理速度较慢影响到图像处理效率的技术问题。

第一方面，本发明实施例提供了一种三维数据的获取方法，包括：

根据图像通过区域阈值法提取目标物体的区域图像；

通过线性迭代聚类(simple linear iterative cluster，简称SLIC)法对所述区域图像进行超像素分割，得到目标物体的超像素图像；

根据所述超像素图像通过立体视觉法得到目标物体的三维数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据图像通过区域阈值法提取目标物体的区域图像，具体包括：

通过采集获取彩色图像；

根据颜色模型与深度模型基于区域通过动态调整分割阈值对所述彩色图像进行分割，提取目标物体的区域图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据颜色模型与深度模型基于区域通过动态调整分割阈值对所述彩色图像进行分割，提取目标物体的区域图像，具体包括：

根据深度模型对所述彩色图像的深度图进行阈值数据筛选，得到目标轮廓；

根据所述目标轮廓通过绘制得到目标物体的轮廓矩；

根据所述轮廓矩得到目标物体的ROI区域；

将所述ROI区域的RGB图像转换为HSV图像；

计算所述HSV图像中H通道的第一平均值以及S通道的第一平均值；

对所述H通道与所述S通道的分割阈值进行动态更新，得到所述H通道的第二平均值以及所述S通道的第二平均值；

根据所述H通道的第一平均值与所述H通道的第二平均值、所述S通道的第一平均值与所述S通道的第二平均值进行比较，得到比较差异值；

判断所述比较差异值是否大于预设差异值；

如果是，则重新进行彩色图像的采集；

如果否，则将更新后的分割阈值设置为当前区域阈值；

根据所述当前区域阈值对所述H通道与所述S通道进行阈值分割，得到目标H通道与目标S通道；

根据颜色模型对所述目标H通道与所述目标S通道进行合并，得到目标HSV图像；

根据所述目标HSV图像得到目标物体的区域图像。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述通过线性迭代聚类SLIC法对所述区域图像进行超像素分割，得到目标物体的超像素图像，具体包括：

在进行更新聚类时，根据所述区域图像中符合预设限制条件的像素点更新聚类中心，得到目标聚类中心；

通过融入梯度信息得到惩罚函数计算公式，并根据所述目标聚类中心通过所述惩罚函数计算公式进行线性迭代聚类，得到超像素与若干个孤立点；

根据预设条件公式基于所述超像素利用两集群间亮度的相似性对所述孤立点进行合并，得到目标物体的超像素图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述在进行更新聚类时，根据所述区域图像中符合预设限制条件的像素点更新聚类中心，得到目标聚类中心，具体包括：

在进行更新聚类时，根据所述区域图像中像素的矢量值与中心像素的矢量，通过滤波器筛选所述矢量值与所述矢量在预设范围内的像素与中心像素，得到目标像素点，并根据所述目标像素点更新聚类中心，得到目标聚类中心。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述根据所述超像素图像通过立体视觉法得到目标物体的三维数据，具体包括：

根据所述超像素图像通过立体视觉法进行计算，得到所述超像素图像在坐标系中的三维位置点；

根据所述三维位置点得到目标物体的三维数据。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述超像素图像通过立体视觉法得到目标物体的三维数据，之后还包括：

根据所述三维位置数据得到目标物体的三维轮廓信息；

根据所述三维轮廓信息建立目标物体的轮廓模型。

第二方面，本发明实施例还提供一种三维数据的获取装置，包括：

提取模块，用于根据图像通过区域阈值法提取目标物体的区域图像；

分割模块，用于通过线性迭代聚类SLIC法对所述区域图像进行超像素分割，得到目标物体的超像素图像；

获取模块，用于根据所述超像素图像通过立体视觉法得到目标物体的三维数据。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述如第一方面所述的方法的步骤。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如第一方面所述的方法。

本发明实施例提供的技术方案带来了以下有益效果：本发明实施例提供的三维数据的获取方法、装置以及电子设备中，三维数据的获取方法包括：首先，根据图像通过区域阈值法提取目标物体的区域图像，然后，通过线性迭代聚类SLIC法对区域图像进行超像素分割从而得到目标物体的超像素图像，之后，根据超像素图像通过立体视觉法得到目标物体的三维数据，通过先根据图像通过区域阈值法提取目标物体的区域图像，从而提取出目标区域图像，再通过线性迭代聚类SLIC法对该目标区域图像进行超像素分割得到目标物体的超像素图像，以便之后通过立体视觉法得到目标物体的三维数据，因此先通过预处理能够筛除没有意义的非目标区域图像，再对提取出的目标区域图像进行超像素分割，避免了因直接对整个图像进行超像素分割使其中包括了没有意义的图像而导致图像处理速度减慢的情况，从而使图像处理的速度提高，进而实现了图像处理效率的提高，从而解决了现有技术中存在的图像处理速度较慢影响到图像处理效率的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例一所提供的三维数据的获取方法的流程图；

图2示出了本发明实施例二所提供的三维数据的获取方法的流程图；

图3示出了本发明实施例二所提供的三维数据的获取方法的另一流程图；

图4示出了本发明实施例二所提供的双目校正原理的流程图；

图5示出了本发明实施例二所提供的不同摄像头中同一个像素对应的位置图；

图6示出了本发明实施例二所提供的物体轮廓建模方法的流程图；

图7示出了本发明实施例三所提供的三维数据的获取装置的结构示意图；

图8示出了本发明实施例四所提供的一种电子设备的结构示意图。

图标：3-三维数据的获取装置；31-提取模块；32-分割模块；33-获取模块；4-电子设备；41-存储器；42-处理器；43-总线；44-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于在图像中获取目标物品相关数据，其通常做法的图像处理速度较慢，从而影响到图像处理的效率，基于此，本发明实施例提供的一种三维数据的获取方法、装置以及电子设备，可以解决现有技术中存在的图像处理速度较慢影响到图像处理效率的技术问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维数据的获取方法、装置以及电子设备进行详细介绍。

实施例一：

本发明实施例提供的一种三维数据的获取方法，可以用于对环境中的物体进行轮廓建模，如图1所示，包括：

S11：根据图像通过区域阈值法提取目标物体的区域图像。

具体的，通过适用多种环境的改进的区域阈值法提取出目标物体图像，即采用改进的区域阈值法对实时图像中需要轮廓建模的物体进行提取。

作为一个优选方案，读取双目摄像机的左实时图像，对立体视觉获得的深度图阈值化后，获得目标的ROI区域，采用HSV模型的区域阈值法提取出目标。

S12：通过线性迭代聚类SLIC法对区域图像进行超像素分割，得到目标物体的超像素图像。

进一步，使用改进的线性迭代聚类SLIC方法对提取出的物体图像进行超像素分割。具体的，首先在更新聚类时添加限制条件，其次采用融合梯度信息的相似度计算，最后增加条件，合并孤立点。

S13：根据超像素图像通过立体视觉法得到目标物体的三维数据。

作为本实施例的优选实施方式，利用立体视觉的方法计算获取超像素点的三维位置。

对于现有技术而言，从实时图像出分割出物体，并进行超像素分割是一项困难和重要的技术，也是后续进行更加快速、精确的分割和建模的关键，可以大大减少数据建模量。目前，在图像中获取三维数据的通常做法是直接对整个图像进行超像素分割，因此其中也会包括没有意义的图像，因此会使图像处理速度减慢从而影响到图像处理的效率。

通过先根据图像通过区域阈值法提取目标物体的区域图像，从而提取出目标区域图像，再通过线性迭代聚类SLIC法对该目标区域图像进行超像素分割得到目标物体的超像素图像，以便之后通过立体视觉法得到目标物体的三维数据，因此通过先进行预处理，能够筛除没有意义的非目标区域图像，再对提取出的目标区域图像进行超像素分割，避免了因直接对整个图像进行超像素分割使其中包括了没有意义的图像而导致图像处理速度减慢的情况，从而使图像处理的速度提高，进而实现了图像处理效率的提高。

实施例二：

本发明实施例提供的一种三维数据的获取方法，也可以为一种自适应物体轮廓建模方法，用于对环境中的物体进行轮廓建模，如图2所示，包括：

S21：通过采集获取彩色图像。

S22：根据颜色模型与深度模型基于区域通过动态调整分割阈值对彩色图像进行分割，提取目标物体的区域图像。

在实际应用中，步骤S22具体包括：

S221：根据深度模型对彩色图像的深度图进行阈值数据筛选，得到目标轮廓。

对实时图形获得深度图，通过立体视觉中标定、校正、匹配方法可获得实时图像的视差图、也可根据三维投影原理得到深度映射，获得深度图。其中，对于深度图阈值化，是消除大于100cm的数据，获得目标的大概轮廓。

具体的，对获得的视差图进行阈值分割，消除大于100cm的数据；通过移动摄像头，将左图像的中间矩形移动到目标物体上，可选定目标，然后绘制该目标的轮廓矩，即可获得目标的大概轮廓。即获得疑似目标轮廓。

S222：根据目标轮廓通过绘制得到目标物体的轮廓矩。

S223：根据轮廓矩得到目标物体的ROI区域。

对于获得目标的ROI区域的过程：对绘制出的轮廓矩四周添加一个膨胀值δ，膨胀值可以默认值为10，得到新的轮廓矩，两次轮廓矩之间的区域为ROI区域。·

S224：将ROI区域的RGB图像转换为HSV图像。

S225：计算HSV图像中H通道的第一平均值以及S通道的第一平均值。

作为本实施例的另一种实施方式，计算HSV图像中的ROI区域的H、S通道平均值、最大值。

S226：对H通道与S通道的分割阈值进行动态更新，得到H通道的第二平均值以及S通道的第二平均值。

需要说明的是，实时更新H、S通道的平均值与最大值。

S227：根据H通道的第一平均值与H通道的第二平均值、S通道的第一平均值与S通道的第二平均值进行比较，得到比较差异值。

S228：判断比较差异值是否大于预设差异值。如果是，则进行步骤S2281；如果否，则进行步骤2282。

S2281：则重新进行彩色图像的采集。

S2282：将更新后的分割阈值设置为当前区域阈值。

因此，更新H、S通道的方法为：比较前后两次的ROI区域H、S平均值的差异，当变化大的时候，直接进行下一次实时图像的采集。变化较小的时候，作为当前区域的阈值。更新为上一次的ROI区域的H、S通道平均值、最大值。

S2283：根据当前区域阈值对H通道与S通道进行阈值分割，得到目标H通道与目标S通道。

本步骤中，获取当前区域的阈值，此时依据当前的区域H、S阈值分割根据获得的大致轮廓的H、S颜色模型，即获得目标对象的H、S通道。

S2284：根据颜色模型对目标H通道与目标S通道进行合并，得到目标HSV图像。

作为本实施例的优选实施方式，将通道合并为HSV图像。

通过适应多种环境的自适应分割方法分割出目标物体图像。其中H_M和S_M为当前ROI区域的色调和饱和度的最大值，H_M′和S_M′为上一次ROI区域的色调和饱和度的最大值，分割阈值H_t和S_t分别按照H_M/H_M′和S_M/S_M′的比例缩放。

S2285：根据目标HSV图像得到目标物体的区域图像。

本步骤中，进行形态学开运算去除散点，采用canny边缘检测获得目标的边缘，使用形态学的闭运算，增强连通域，筛选为连通域，绘制轮廓，依据轮廓mask原图像，获得分割出的物体图像。

因此，通过适用多种环境的改进的区域阈值法提取出目标物体图像，从而获得目标物体图像。

S23：在进行更新聚类时，根据区域图像中符合预设限制条件的像素点更新聚类中心，得到目标聚类中心。

具体包括：在进行更新聚类时，根据区域图像中像素的矢量值与中心像素的矢量，通过滤波器筛选矢量值与矢量在预设范围内的像素与中心像素，得到目标像素点，并根据目标像素点更新聚类中心，得到目标聚类中心。

优选的，更新聚类时的限制条件，只将满足如下条件的像素点将更新聚类中心，表达式如下：

其中，δ表示在V_j内所有样本像素彩色的标准偏差；α为常数。

具体的，在更新聚类时添加限制条件：针对SLIC方法存在的问题，利用Sigma滤波器来避免过多的错误迭代。传统Sigma滤波器是建立在假设窗口内像素灰度值与其中心像素的灰度值比较接近的基础上的，将滑动窗口中与中心像素偏差小于2δ的所有像素取平均，并设置平均像素的限制条件以滤除孤立的噪声点。因此，在第一次迭代后，设定条件假设窗口内像素的矢量值与其中心像素的矢量在αδ范围内，满足这个条件方能更新聚类中心模型，若不符合相似条件，则不能合并，需要寻找另一个与之亮度值相似的聚类中心，方能完成聚类。

例如，取G_j范围内所有像素点的彩色矢量为C₁,C₂,...,C_N，首先计算它们的均值：

设定两矢量相似度距离公式为:

Ω(i,j)＝||X_i-X_j||^1-p(A(X_i,X_j))^p

其中，||X_i-X_j||表示两矢量模的距离；p表示权衡矢量模的距离和夹角距离

取值范围是0～1；A(X_i,X_j)表示两矢量夹角距离，表示如下:

类似的，考虑样本C₁,C₂,...,C_N的标准偏差如下:

因此，满足如下条件的像素点将更新聚类中心，表达式如下:

其中,δ表示在G_j内所有样本像素彩色的标准偏差；α为常数；

为更新后的聚类中心，通过此方法的迭代更新，改变了原来聚类时出现的错误，增加限定条件使得后期迭代更新、聚类过程更准确。

S24：通过融入梯度信息得到惩罚函数计算公式，并根据目标聚类中心通过惩罚函数计算公式进行线性迭代聚类，得到超像素与若干个孤立点。

对于融合梯度信息的相似度计算：通过融入梯度信息给出一种新的惩罚函数计算方法：

其中λ为梯度权重系数；d_t()为像素点的梯度值；

为X_i的八邻域像素，

的选取需要根据X_i与聚类中心C₁的位置关系确定。

将像素X_i与聚类中心的位置关系映射为8个分区t₁～t₈，每个分区包含八邻域中的一个方向，像素点

即为分区所包含方向上位于X_i与聚类中心C₁的之间的八邻域像素点。

通常，图像中前背景颜色存在一定的差异，此时SLIC算法能够将具有相似特征的像素点聚为一类，得到的超像素较好地保留了前景的边界信息。但当目标和背景颜色相近时，很难得到理想的分割结果。

设X_i为区域A，B的边界附近像素点X_i与聚类中心C_i的空间距离满足关系：d_s(X_i，C₁)＜d_s(X_i，C₂)。

由于区域A，B的颜色较接近，颜色差异性惩罚d_c(X_i，C₁)与d_c(X_i，C₂)相差不大，使得d(X_i，C₁)＜d(X_i，C₂)分割结果将像素X_i聚类到C₁中，导致误分割，丢失重要的边界信息。

为了提高SLIC算法在边缘的分割精度，本实施例对其做了改进。通常图像梯度能够很好地反映图像边缘像素灰度的变化，一般在图像边缘处有较大的梯度值.在区域内部梯度值很小。为此，通过融入梯度信息给出一种新的惩罚函数计算方法：

其中λ为梯度权重系数；d_t()为像素点的梯度值；

为X_i的八邻域像素，

的选取需要根据X_i与聚类中心C₁的位置关系确定。将像素X_i与聚类中心的位置关系映射为8个分区t₁～t₈，每个分区包含八邻域中的一个方向，像素点

即为X_i与聚类中心C₁的之间的八邻域像素点。

因此，通过融合图像梯度信息使得每个超像素的边缘更易停留在图像边界上，相比原算法中单纯依靠颜色和距离进行聚类，改进后的SLIC算法具有更高的精度。

S25：根据预设条件公式基于超像素利用两集群间亮度的相似性对孤立点进行合并，得到目标物体的超像素图像。

通过步骤S24等对迭代前可能出现的错误进行了修正，但是对于最后一步迭代后孤立的点，由于过度考虑超像素大小必须一致，SLIC将它们的标签归为与之最近的聚类中心上，这种做法没有充分考虑当前孤立点与它最近邻最大集群间的相似性，结果将导致生成的超像素不能有较好的图像边界。考虑增加条件利用两集群间亮度的相似性衡量合并标准来代替相邻集群间的尺寸关系,条件如下:

D_m＝(μ-μ_m)²

其中，D_m表示最小的集群G和它最近邻最大集群G_m亮度距离，m＝1,2,...,M；μ和μ_m分别表示最小集群平均亮度值和它最近邻集群的平均亮度值；D_n表示D_m最小值min(D_m),n∈[1,M]，当D_n<T时，最小集群D_n合并到它在s处的邻域G_n内；否则，这个最小集群继续寻找最相近的区域进行合并。

S26：根据超像素图像通过立体视觉法进行计算，得到超像素图像在坐标系中的三维位置点。

在实际应用中，获取超像素在摄像头坐标系下的三维位置点。

S27：根据三维位置点得到目标物体的三维数据。

S28：根据三维位置数据得到目标物体的三维轮廓信息。

S29：根据三维轮廓信息建立目标物体的轮廓模型。

进一步的是，在空间中建立轮廓模型。

因此，本实施例结合双目视觉的自适应物体轮廓建模方法，首先采集实时彩色图像，采用改进的区域阈值法进行待建模物体的初始分割，获得物体的大致区域；然后利用改进的线性迭代聚类方法即SLIC算法对初始分割区域进行超像素分割；最后通过立体视觉的方法获得超像素的三维位置，即可获得目标物体的3D轮廓。其中初始分割采用颜色模型和深度模型相互配合实现分割，避免了单一模型的不足，大大提高了分割的成功率和准确度。又考虑到基于区域的阈值分割算法实时性好，可以较好的把握全局特征；改进SLIC算法耗时小、分割所得的区域形状规则、区域边界效果好、只需要较少的调节参数、局部细节表现优秀等优点，两种方法结合使用可以大大减小物体轮廓建模所需的时间。

现有的常用的物体建模方法是针对整个物体的，目前常见的单一的分割不能有效的分割出物体，而对于实时性要求高的移动设备图像建模时，需要更快的方法，此时提出的方法可以有效解决实时性问题。

本实施例中，采用基于适用多种深度特征和颜色特征结合，动态调整分割阈值，达到预分割的目的。在针对不同应用的环境中，对SLIC算法进行，有益的改进，提高超像素分割的效果。再者，对图像进行必要的预处理可以减少后续超像素分割的范围和数据量。并且传统的SLIC方法，分割后的图像会形成较多的、小的孤立点，此时若将孤立点迭代归并到它所在位置的最大领域内，不能获得准确的分割结果。另一方面，大量的资料所涉及的方法进行物体超像素分割的实时性较差，准确度也不高，其原因也有对无效的图形也进行超像素分割，因此提取详细的分割结果，再进行超像素，可大量的较少分割时间。从实时图像出分割出物体，并进行超像素分割是后续进行更加快速、精确的分割和建模的关键，可以大大减少数据建模量。

因此，本实施例提供的方法针对现有的单特征区域阈值的分割方法的不足。利用多种特征进行融合获得物体，并且在后续超像素分割剔除了大多数无缺陷的图像，大大提高分割的速度和精确性。超像素分割方法也在原始方法的基础上进行了改进。可以获得更加紧凑规则的超像素。

作为本实施例的另一种实施方式，如图3所示，三维数据的获取方法即3D位姿获取的详细过程可以为：第一步，抓取多摄像头图像，通过OPENCV开源视觉库驱动双摄像头来实时采集目标物体的RGB彩色图像。第二步，双目摄像头标定，立体标定依赖于查找两台摄像机之间的旋转矩阵R和平移向量T，在立体视觉系统中一般需要用两个相机，因此与单相机定标的差别是需要通过定标，测量双相机之间的相对位置。第三步，双目摄像头校正，当两个像平面是完全的行对准时，计算立体视差是简单的。但一般情况下两台摄像机几乎不太可能有准确的共面和行对准的成像平面，便需要对双目进行校正，如图4所示，为本实施例采用的双目校正原理的流程图，其中，双目校正是根据摄像头定标后获得的单目内参数据和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得两摄像头光轴平行、左右成像平面共面、对极线行对齐。其中，单目内参数据包括焦距、成像原点、畸变系数；双目相对位置关系包括旋转矩阵和平移向量。第四步，进行立体匹配获得视差映射，立体匹配即匹配两个不同摄像头视图的3D点，为了模拟人眼对立体场景的捕捉和对不同景物远近的识别能力，立体匹配算法要求采用两个摄像头代替人眼，通过获取两幅非常接近的图片以获取景深即视差，从而计算出不同景物与摄像头的距离，得到景深图。本实施例使用BM算法实现立体匹配。如图5所示，显示出不同摄像头中同一个像素对应的位置。

第五步，进行三维重投影获得深度映射，要获取目标3D位置，需要真正的深度映射，借助重投影矩阵Q，如果给定视差d和2D点(x，y)，可以根据下式计算3D深度：

其中的三维坐标就是

如图6所示，对于自适应物体轮廓建模方法，首先读取双目摄像机的左实时图像，对立体视觉获得的深度图阈值化后，获得目标的ROI区域，采用HSV模型的区域阈值法提取出目标。其中，对于深度图阈值化：消除大于100cm的数据，获得目标的大概轮廓，绘制轮廓矩。对于获得目标的ROI区域：对获得的轮廓矩四周添加一个膨胀值δ，得到新的轮廓矩，两次轮廓矩之间的区域为ROI区域。之后，计算HSV图像中得到的ROI区域的H、S通道平均值、最大值，实时更新H、S通道的平均值与最大值。其中，对于更新H、S通道的方法：比较前后两次的ROI区域H、S平均值的差异，当变化大的时候，直接进行下一次实时图像的采集。变化较小的时候，作为当前区域的阈值。更新为上一次的ROI区域的H、S通道平均值、最大值。对于获取当前区域的阈值，此时依据当前的区域H、S阈值分割大致轮廓的H、S颜色模型，获得目标对象的H、S通道。然后，将通道合并为HSV图像，获得目标物体的HSV图像，对此进行形态学开运算去除散点，采用canny边缘检测获得目标的边缘，使用形态学的闭运算，增强连通域，筛选为连通域，绘制轮廓，依据轮廓mask原图像，获得分割出的物体图像。

作为一个优选方案，粗绘制疑似目标轮廓，通过立体视觉的一些方法获得视差图，对视差图进行阈值分割，消除大于100cm的数据，可以获得目标的大概轮廓。获得非目标区域。对目标轮廓进行边缘检测，绘制出目标的轮廓。也可知桌面非目标区域的大概轮廓。

之后，计算参考桌面的平均色度和饱和值，选择桌面非目标区域的正方形区域(20×20)，计算区域内的平均色调H与饱和度S值。此区域H、S平均值是动态变化的，比较前后两次值，如果变化较大，忽略当前值，重新进行采样。

然后，根据当前参考值的色度值调整分割闭值。搜索当前参考桌面中色调和饱和值的最大值H_m和S_m,与上一次参考面的最大色调H′_m和饱和度S′_m值比较，使设定的阈值H_t和S_t分别按照H_m/H′_m和S_m/S′_m的比例缩放。

之后进行实时分割，选择图像每个像素点(i，j)四个领域φ，计算其平均色调值P_h和饱和度P_s：

其中H_t和S_t分别为φ领域内某点(u，v)的色调和饱和度值，N为邻域内点的个数。衡量任一像素点(i，j)是否为桌面应满足两点要求：

|P_h(i，j)-H|＜H_t

|P_s(i，j)-H|＜S_t

如果条件成立，则划为桌面，将此像素点的颜色用白色表示、其余区域为疑似目标区域。

最后，提取分割后的目标。在实时分割后的图像上，绘制目标精细轮廓，抠出原图像。

因此，本实施例提供的三维数据的获取方法，与传统的建模方法相比具有快速、准确建模能力、结构简单、高效精准等优势，另外如果进行防水工艺优化，或者对夹持器进行优化或者器件改装，可以适用于水下勘探作业或者其他特种作业，例如空间站使用、医疗等，因此应用范围很广阔。

本实施例中，适用于多种环境的超像素分割方法利用双目摄像头获得实时图像，建立图像的深度模型和可根据周围环境自动更新的颜色模型，采用区域阈值法从实时图像中分割出目标物体，避免了单一模型的不足，大大提高了分割的成功率和准确度。然后结合改进的SLIC算法对目标物体进行超像素分割，可得到表征物体细节特征的超像素。考虑到区域阈值法实时性好，可以较好的把握全局特征；并且SLIC算法耗时小、只需要较少的调节参数、分割所得的区域形状规则、边界效果好、可以较好表现局部细节表等优点。

实施例三：

本发明实施例提供的一种三维数据的获取装置，如图7所示，三维数据的获取装置3包括：提取模块31、分割模块32、获取模块33。

需要说明的是，提取模块31用于根据图像通过区域阈值法提取目标物体的区域图像。分割模块32用于通过线性迭代聚类SLIC法对区域图像进行超像素分割，得到目标物体的超像素图像。获取模块33用于根据超像素图像通过立体视觉法得到目标物体的三维数据。

实施例四：

本发明实施例提供的一种电子设备，如图8所示，电子设备4包括存储器41、处理器42，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一或实施例二提供的方法的步骤。

参见图8，电子设备还包括：总线43和通信接口44，处理器42、通信接口44和存储器41通过总线43连接；处理器42用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口44(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线43可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器42在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器42中，或者由处理器42实现。

处理器42可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器42中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器42可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器42读取存储器41中的信息，结合其硬件完成上述方法的步骤。

实施例五：

本发明实施例提供的一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述实施例一或实施例二提提供的方法。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例提供的具有处理器可执行的非易失的程序代码的计算机可读介质，与上述实施例提供的三维数据的获取方法、装置以及电子设备具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例所提供的进行三维数据的获取方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种三维数据的获取方法，其特征在于，包括：

根据图像通过区域阈值法提取目标物体的区域图像；

通过线性迭代聚类SLIC法对所述区域图像进行超像素分割，得到目标物体的超像素图像；

根据所述超像素图像通过立体视觉法得到目标物体的三维数据；

所述根据图像通过区域阈值法提取目标物体的区域图像，具体包括：

通过采集获取彩色图像；

根据颜色模型与深度模型基于区域通过动态调整分割阈值对所述彩色图像进行分割，提取目标物体的区域图像；

所述根据颜色模型与深度模型基于区域通过动态调整分割阈值对所述彩色图像进行分割，提取目标物体的区域图像，具体包括：

根据深度模型对所述彩色图像的深度图进行阈值数据筛选，得到目标轮廓；

根据所述目标轮廓通过绘制得到目标物体的轮廓矩；

根据所述轮廓矩得到目标物体的ROI区域；

将所述ROI区域的RGB图像转换为HSV图像；

计算所述HSV图像中H通道的第一平均值以及S通道的第一平均值；

对所述H通道与所述S通道的分割阈值进行动态更新，得到所述H通道的第二平均值以及所述S通道的第二平均值；

根据所述H通道的第一平均值与所述H通道的第二平均值、所述S通道的第一平均值与所述S通道的第二平均值进行比较，得到比较差异值；

判断所述比较差异值是否大于预设差异值；

如果是，则重新进行彩色图像的采集；

如果否，则将更新后的分割阈值设置为当前区域阈值；

根据所述当前区域阈值对所述H通道与所述S通道进行阈值分割，得到目标H通道与目标S通道；

根据颜色模型对所述目标H通道与所述目标S通道进行合并，得到目标HSV图像；

根据所述目标HSV图像得到目标物体的区域图像。

2.根据权利要求1所述的三维数据的获取方法，其特征在于，所述通过线性迭代聚类SLIC法对所述区域图像进行超像素分割，得到目标物体的超像素图像，具体包括：

在进行更新聚类时，根据所述区域图像中符合预设限制条件的像素点更新聚类中心，得到目标聚类中心；

通过融入梯度信息得到惩罚函数计算公式，并根据所述目标聚类中心通过所述惩罚函数计算公式进行线性迭代聚类，得到超像素与若干个孤立点；

根据预设条件公式基于所述超像素利用两集群间亮度的相似性对所述孤立点进行合并，得到目标物体的超像素图像。

3.根据权利要求2所述的三维数据的获取方法，其特征在于，所述在进行更新聚类时，根据所述区域图像中符合预设限制条件的像素点更新聚类中心，得到目标聚类中心，具体包括：

在进行更新聚类时，根据所述区域图像中像素的矢量值与中心像素的矢量，通过滤波器筛选所述矢量值与所述矢量在预设范围内的像素与中心像素，得到目标像素点，并根据所述目标像素点更新聚类中心，得到目标聚类中心。

4.根据权利要求1所述的三维数据的获取方法，其特征在于，所述根据所述超像素图像通过立体视觉法得到目标物体的三维数据，具体包括：

根据所述超像素图像通过立体视觉法进行计算，得到所述超像素图像在坐标系中的三维位置点；

根据所述三维位置点得到目标物体的三维数据。

5.根据权利要求4所述的三维数据的获取方法，其特征在于，所述根据所述超像素图像通过立体视觉法得到目标物体的三维数据，之后还包括：

根据所述三维数据得到目标物体的三维轮廓信息；

根据所述三维轮廓信息建立目标物体的轮廓模型。

6.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。

7.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至5任一所述方法。

Images