CN110458177A - 图像深度信息的获取方法、图像处理装置以及存储介质 - Google Patents

Abstract

本申请公开了一种图像深度信息的获取方法、图像处理装置以及存储介质，该图像深度信息的获取方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。通过上述方式，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。

Description

图像深度信息的获取方法、图像处理装置以及存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种图像深度信息的获取方法、图像处理装置以及存储介质。

背景技术

在计算机视觉领域中，深度信息为人机交互、三维场景重建、3D打印等各类计算机视觉应用提供了更多的可能性。深度图像类似于灰度图像，它的每个像素值都表明了场景中物体表面距离传感器的距离大小。

在人机合作的情况下，采用深度强化学习(Deep reinforcement learning，DRL)训练机器人完成任务。为了通过DRL实验室方法培养机器人避开障碍物的能力，必须准备大量的样本。在这种情况下，可以通过重构执行任务的人类工人的3D图像来实现。利用人手臂的重建序列作为移动障碍物，训练机器人在虚拟环境中的避障能力。完成这类操作常见的先决条件是人类或机器人的准确姿态信息。然而，当一个物体被投影到相机平面上时，它沿着光轴的深度信息就会丢失，这可能会使两个相距很远的物体看起来很接近。这导致在没有正确深度信息的情况下，对姿态的估计是错误的。

发明内容

为解决上述问题，本申请提供了一种图像深度信息的获取方法、图像处理装置以及存储介质，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。

本申请采用的一个技术方案是：提供一种图像深度信息的获取方法，该方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。

其中，该方法还包括：获取基于目标对象的多帧图像；其中，多帧图像是由一个相机围绕目标对象采集得到的；基于多帧图像建立目标对象的点云；从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上；对点云进行拓扑分割，以得到多个拓扑部分。

其中，从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上，包括：从多帧图像中提取关键点；计算每个关键点邻域的梯度，得到对应关键点的描述符向量；采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量；将描述符向量添加至点云中的对应点上。

其中，对点云进行拓扑分割，以得到多个拓扑部分，包括：提取点云的骨架；基于骨架的曲率和/或扭转特征将骨架进行分割，以得到多个子骨架；对每个子骨架进行扩张，以得到多个拓扑部分。

其中，将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息，包括：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分；基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息；对多个拓扑部分进行重组。

其中，将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分，包括：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配；基于待处理图像中的特征点与目标对象的点云中的特征点的匹配关系，建立二元组；基于二元组，确定待处理图像的拓扑基础和点云的拓扑基础。

其中，基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息，包括：基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，计算拓扑部分的坐标；基于拓扑部分的坐标，确定拓扑部分的三维旋转矩阵和三维平移矩阵；基于拓扑部分的三维旋转矩阵和三维平移矩阵，对多个拓扑部分进行重组。

其中，采集待处理图像，包括：采用彩色相机采集待处理图像；从待处理图像中提取特征点，包括：采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量。

本申请采用的另一个技术方案是：提供一种图像处理装置，该图像处理装置包括处理器以及与处理器连接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述的方法。

本申请采用的另一个技术方案是：提供一种计算机存储介质，该计算机存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上述的方法。

本申请提供的图像深度信息的获取方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。通过上述方式，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请实施例提供的图像深度信息的获取方法的流程示意图；

图2是本申请实施例提供的静态三维重建的流程示意图；

图3是本申请实施例提供的拓扑分割的流程示意图；

图4是本申请实施例提供的动态三维重建的流程示意图；

图5是本申请实施例提供的图像处理装置的结构示意图；

图6是本申请实施例提供的计算机存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1是本申请实施例提供的图像深度信息的获取方法的流程示意图，该方法包括：

步骤11：采集待处理图像。

本实施例中采用一个彩色相机进行图像的采集，例如RGB相机。其中，该待处理图像中至少包括目标对象。

步骤12：从待处理图像中提取特征点。

可选地，在一实施例中，步骤12可以具体为：采用SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量。SIFT算法是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述。

SIFT算法具有如下一些特点：

1、SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

2、区分性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

3、多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；

4、高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；

5、可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT特征点提取提取主要包括以下4个基本步骤：

1、尺度空间极值检测。搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

2、关键点定位。在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。

3、方向确定。基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

4、关键点描述。在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

步骤13：将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。

其中，参阅图2，图2是本申请实施例提供的静态三维重建的流程示意图，其中，该点云的获取主要应用于步骤11之前，该方法包括：

步骤21：获取基于目标对象的多帧图像；其中，多帧图像是由一个相机围绕目标对象采集得到的。

其中，给定一个静态目标对象，使用一个相机(其内在参数为f)围绕该目标对象旋转，重建一个点云。为了重建对象，相机捕捉一系列图像，总数是N。此外，对象的表面点的总数是M。

步骤22：基于多帧图像建立目标对象的点云。

其中，在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。结合激光测量和摄影测量原理得到点云，包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。

下面通过一个例子介绍点云的建立过程。

首先定义：

1、在第i个时刻，对应世界坐标系的相机的方向和位置可以分别表示为一个矩阵Ri和一个向量ti；

2、目标对象表面第j个点的世界坐标表示为：P_j＝(X_j，Y_j，Z_j)^T；

3、在第i个时刻，第j个点对应的相机坐标表示为：

4、第j个点在第i个时刻的图像坐标表示为：

5、为了表示简化，P_j在第i个时刻被摄像机观测遮挡们定义

那么，可以得出以下公式：

定义：

将进行3D重建的结果表示为：

步骤23：从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上。

可选地，步骤23可以具体包括：从多帧图像中提取关键点；计算每个关键点邻域的梯度，得到对应关键点的描述符向量；采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量；将描述符向量添加至点云中的对应点上。

在一可选的实施例中，若给定二维图像I(x，y)，SIFT算法能够通过LoG算子提取有效的关键点。通过计算各关键点邻域的梯度，得到相应的描述符向量来区分关键点。然后，利用SIFT算法对第i时刻采集的图像进行处理，找到一组特征点(记为)及其对应的描述符向量(记为)，可得到一个二元集合(记为{(m_s，l_s)}_s＝1...S)。

对所有图像执行相同的操作，最终得到：其中，Sⁱ表示第i时刻采集的图像使用SIFT算法得到的特征点总数。

将描述符向量附加到重构点云表面对应的三维点上，由式(1)和式(2)可得：

通过上式，可以确定在重构点云上与特征点对应的三维点。从而得到一个二元组集合：

为了简化表示，我们定义在第i时刻从摄像机视角中被遮挡的任何Pj，或其对应的不是一个关键点，则描述符向量因此，在第N个时刻之后：

标记后的三维重构结果如下：

其中：表示与第N个采样时刻中的三维点P_j有关的所有非零描述符向量的平均向量。

步骤24：对点云进行拓扑分割，以得到多个拓扑部分。

可选地，如图3所示，图3是本申请实施例提供的拓扑分割的流程示意图，步骤24可以具体包括：

步骤241：提取点云的骨架。

图像骨架提取实际上就是提取目标在图像上的中心像素轮廓，也就是以目标中心为准，对目标进行细化，一般细化后的目标都是单层像素宽度。

例如，从点云中提取骨架可以具体包括：求取点云模型的走向趋势；计算人体点云模型的最小包围盒；初始骨架点的计算。

步骤242：基于骨架的曲率和/或扭转特征将骨架进行分割，以得到多个子骨架。

步骤243：对每个子骨架进行扩张，以得到多个拓扑部分。

重建后的点云提供鲁棒的拓扑分割，从而处理非刚性目标对象的情况，使从拓扑分割得到的每个子点云都是刚性的。

参阅图4，图4是本申请实施例提供的动态三维重建的流程示意图，步骤13可以具体包括：

步骤131：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分。

可选地，将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配；基于待处理图像中的特征点与目标对象的点云中的特征点的匹配关系，建立二元组；基于二元组，确定待处理图像的拓扑基础和点云的拓扑基础。

步骤132：基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息。

其中，基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，计算拓扑部分的坐标；基于拓扑部分的坐标，确定拓扑部分的三维旋转矩阵和三维平移矩阵；基于拓扑部分的三维旋转矩阵和三维平移矩阵，对多个拓扑部分进行重组。

步骤133：对多个拓扑部分进行重组。

下面通过一个具体的例子进行说明：

第i时刻(i＞N)采集到的图像表示为使用SIFT算法提取特征点及其对应的描述向量。重构标记的三维点云，并将描述符向量附加到该点云上。然后使用来自捕获图像和来自点云的描述符来找到它们的对应关系，可以将它们表示为一个二元组：

在该集合中，和分别表示来自图像和点云的特征点，其描述符向量类似。另外，产生了一个双射映射：

假设：T＝{[p]：p∈Ω}＝{{q∈Ω：q～p}：p∈Ω}作为空间拓扑的基础。可以得到子集的拓扑(表示为Ti)的基础：

进一步获得集合的拓扑(表示为T_mi)的基础：

根据我们的设计，T中的每一个元素都是Ω的刚性分量，因此当表示为Ω的物体随机运动时，T_c∈T中的元素具有相同的刚性变换，即，当物体随机运动时，T_c∈T中的元素具有相同的刚性变换，即，

其中为三维旋转矩阵和三维平移向量的组合，其中p以列向量的形式表示。定义为：

定义根据上式的变换矩阵可以得到Ti的实际坐标：

然后可以得到表达式：

其中m_i(p)(根据式(2))为第i时刻将三维点转换为与摄像机的二维坐标的算子，定义为：

因此，通过求解以下优化问题可以得到变换矩阵：

最后给出在i时刻基于进行三维重建的结果为：

区别于现有技术，本实施例提供的图像深度信息的获取方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。通过上述方式，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。另外，可以在目标可变形的情况下，获取其深度信息。

参阅图5，图5是本申请实施例提供的图像处理装置的结构示意图，该图像处理装置50包括处理器51以及与处理器51连接的存储器52，存储器52用于存储程序数据，处理器51用于执行程序数据以实现如下的方法：

采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。

可选地，处理器51用于执行程序数据还用以实现如下的方法：获取基于目标对象的多帧图像；其中，多帧图像是由一个相机围绕目标对象采集得到的；基于多帧图像建立目标对象的点云；从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上；对点云进行拓扑分割，以得到多个拓扑部分。

可选地，处理器51用于执行程序数据还用以实现如下的方法：从多帧图像中提取关键点；计算每个关键点邻域的梯度，得到对应关键点的描述符向量；采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量；将描述符向量添加至点云中的对应点上。

可选地，处理器51用于执行程序数据还用以实现如下的方法：提取点云的骨架；基于骨架的曲率和/或扭转特征将骨架进行分割，以得到多个子骨架；对每个子骨架进行扩张，以得到多个拓扑部分。

可选地，处理器51用于执行程序数据还用以实现如下的方法：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分；基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息；对多个拓扑部分进行重组。

可选地，处理器51用于执行程序数据还用以实现如下的方法：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配；基于待处理图像中的特征点与目标对象的点云中的特征点的匹配关系，建立二元组；基于二元组，确定待处理图像的拓扑基础和点云的拓扑基础。

可选地，处理器51用于执行程序数据还用以实现如下的方法：基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，计算拓扑部分的坐标；基于拓扑部分的坐标，确定拓扑部分的三维旋转矩阵和三维平移矩阵；基于拓扑部分的三维旋转矩阵和三维平移矩阵，对多个拓扑部分进行重组。

可选地，处理器51用于执行程序数据还用以实现如下的方法：采用彩色相机采集待处理图像；从待处理图像中提取特征点，包括：采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量。

参阅图6，图6是本申请实施例提供的计算机存储介质的结构示意图，该计算机存储介质60中存储有程序数据61，程序数据61在被处理器执行时，用以实现如下方法：

采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像深度信息的获取方法，其特征在于，所述方法包括：

采集待处理图像；

从所述待处理图像中提取特征点；

将所述待处理图像中的特征点与预先获取的所述目标对象的点云中的特征点进行特征匹配，以基于所述点云确定所述待处理图像的深度信息。

2.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

获取基于所述目标对象的多帧图像；其中，所述多帧图像是由一个相机围绕所述目标对象采集得到的；

基于所述多帧图像建立所述目标对象的点云；

从所述多帧图像中提取所述目标对象的SIFT特征，并将特征描述符添加至所述点云中的对应点上；

对所述点云进行拓扑分割，以得到多个拓扑部分。

3.根据权利要求2所述的方法，其特征在于，

所述从所述多帧图像中提取所述目标对象的SIFT特征，并将特征描述符添加至所述点云中的对应点上，包括：

从所述多帧图像中提取关键点；

计算每个所述关键点邻域的梯度，得到对应所述关键点的描述符向量；

采用SIFT算法对所述多帧图像进行处理，以得到一组特征点和对应的描述符向量；

将所述描述符向量添加至所述点云中的对应点上。

4.根据权利要求2所述的方法，其特征在于，

所述对所述点云进行拓扑分割，以得到多个拓扑部分，包括：

提取所述点云的骨架；

基于所述骨架的曲率和/或扭转特征将所述骨架进行分割，以得到多个子骨架；

对每个所述子骨架进行扩张，以得到多个拓扑部分。

5.根据权利要求2所述的方法，其特征在于，

所述将所述待处理图像中的特征点与预先获取的所述目标对象的点云中的特征点进行特征匹配，以基于所述点云确定所述待处理图像的深度信息，包括：

将所述待处理图像中的特征点与所述目标对象的点云中的特征点进行特征匹配，以确定所述待处理图像中的特征点所对应的拓扑部分；

基于所述拓扑部分中的特征点与所述待处理图像中的特征点的对应关系，估算所述拓扑部分的深度信息；

对多个所述拓扑部分进行重组。

6.根据权利要求5所述的方法，其特征在于，

所述将所述待处理图像中的特征点与所述目标对象的点云中的特征点进行特征匹配，以确定所述待处理图像中的特征点所对应的拓扑部分，包括：

将所述待处理图像中的特征点与所述目标对象的点云中的特征点进行特征匹配；

基于所述待处理图像中的特征点与所述目标对象的点云中的特征点的匹配关系，建立二元组；

基于所述二元组，确定所述待处理图像的拓扑基础和所述点云的拓扑基础。

7.根据权利要求5所述的方法，其特征在于，

所述基于所述拓扑部分中的特征点与所述待处理图像中的特征点的对应关系，估算所述拓扑部分的深度信息，包括：

基于所述拓扑部分中的特征点与所述待处理图像中的特征点的对应关系，计算所述拓扑部分的坐标；

基于所述拓扑部分的坐标，确定所述拓扑部分的三维旋转矩阵和三维平移矩阵；

基于所述拓扑部分的三维旋转矩阵和三维平移矩阵，对所述多个所述拓扑部分进行重组。

8.根据权利要求1所述的方法，其特征在于，

所述采集待处理图像，包括：

采用彩色相机采集待处理图像；

所述从所述待处理图像中提取特征点，包括：

采用SIFT算法对所述多帧图像进行处理，以得到一组特征点和对应的描述符向量。

9.一种图像处理装置，其特征在于，所述图像处理装置包括处理器以及与所述处理器连接的存储器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有程序数据，所述程序数据在被所述处理器执行时，用以实现如权利要求1-8任一项所述的方法。