CN112614173A - 一种基于深度图像的实时平面检测及提取方法 - Google Patents
一种基于深度图像的实时平面检测及提取方法 Download PDFInfo
- Publication number
- CN112614173A CN112614173A CN202011563133.1A CN202011563133A CN112614173A CN 112614173 A CN112614173 A CN 112614173A CN 202011563133 A CN202011563133 A CN 202011563133A CN 112614173 A CN112614173 A CN 112614173A
- Authority
- CN
- China
- Prior art keywords
- plane
- normal vector
- block
- depth image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000000605 extraction Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000013507 mapping Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度图像的实时平面检测及提取方法首先对深度图像进行预处理，并提取深度图像的区块信息，然后对区块的法向量分布做降维统计；再对估计的各个法向量分别检测平行平面，得到各个方向上的各平面到原点的距离；最后以区块为聚类单位、各平面的参数为聚类种子点进行聚类，进行平面参数优化和平面区域的提取，记第i个平面参数为Pi，平面参数包含平面的法向量以及平面与原点的距离；本发明方法根据深度图像的成像原理及平面结构的空间特性，能够对深度图提取场景中所有平面的几何信息，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。
Description
技术领域
本发明涉及机器人定位、三维重建领域，尤其涉及深度图像的平面结构检测及提取方法。
背景技术
最早在2010年，微软(Microsoft)公司研发出一种低成本的结构光深度相机，该相机能够在室内小范围的场景中获取精确的深度图像，从而能够重建出室内的场景。在2011年的SIGGRAPH(Special Interest Group on Graphics and Interactive Techniques，是图形学及互交技术特殊爱好者集团的简称)会议上微软展示了KinectFusion实时重建算法，Newcombe是该算法项目的主要负责人，该算法是首个实现实时稠密场景重建的算法。Izadi在此基础上完成了场景与人的动态交互。
2016年，Whelan提出一种利用彩色图像特征检测地图回环的方法，该方法同时还能够检测单个点光源在空间中的位置。该文章也是面元表达模型(SurfelRepresentation)的代表。
在离线(非实时)稠密重建领域的技术方法，对实时稠密重建也有非常深远的影响，Zhou Q Y团队在该领域做出巨大的贡献，在2012年该团队提出一种基于兴趣点的稠密重建方法。
然而直到现在，由于室内无法接收GPS信号，仍然没有一种适合于真实场景的无漂移室内定位、重建算法，该领域最近几年关于无漂移的室内定位重建算法研究中，核心都在于检测、分割深度相机所拍摄到的平面作为基准点，以提高定位的精度。至今为止，能够实时地对深度图提取平面的方法仅基于曼哈顿平面假设的前提下，即假设空间中所有平面均相互正交，没有涉及存在非正交平面的情况。Feng等人在2014年所提出的“Fast PlaneExtraction in Organized Point Clouds Using Agglomerative HierarchicalClustering”方法[1]能使用30毫秒对640×480分辨率的图像进行平面检测及提取，然而30毫秒对于实时重建系统而言也是相当长的计算时间，例如知名三维重建工作InfiniTAM-V3重建一帧数据的时间为大约5毫秒，这说明目前的平面检测和提取方法还不够高效。
发明内容
针对现有技术中存在的不足，本发明提供一种基于深度图像的实时平面检测及提取方法。
本发明提出一种实时的、可并行的基于深度图像的平面检测及分割方法。该方法可以准确高效地从深度图像中提取平面结构信息。
本发明根据深度图像的成像原理及平面结构的空间特性，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。
传统的对深度图提取平面的方法仅基于曼哈顿平面假设的前提下，即假设空间中所有平面均相互正交，没有涉及存在非正交平面的情况。平面相互正交的条件对深度图平面提取方法的影响主要在实时性和准确性上。本发明是提出一种实时的、可并行的、高效的深度图平面检测及提取方法，且多个平面可以是非正交的几何关系。
传统的对深度图提取平面的方法，需要提取主平面信息，即先提取出深度图中最大的平面，再通过空间中所有平面均相互正交的先验条件提取剩余的平面。而在现实中，空间中的平面可以是非相互正交的。为此，利用本发明能够对深度图提取场景中所有平面的几何信息，方法结果更加准确全面。
一种基于深度图像的实时平面检测及提取方法，步骤如下：
步骤1：对深度图像进行预处理，并提取深度图像的区块信息，具体步骤如下：
1)使用双边滤波算法对深度图像做滤波处理；
2)将深度图像划分为16×16像素的等大小的矩形区块，(取值16是为了契合计算机中图像处理器线程对齐、内存对齐的需要)；
3)将区块中的像素反投影到三维空间中得到三维点云，提取区块的切平面信息，包括区块的空间坐标、切平面的法向量、切平面与原点的距离、区块置信度。记第(u，v)区块为patch(u，v)。
步骤2：对区块的法向量分布做降维统计；
1)将各个区块的法向量进行球极映射从三维空间nx-ny-nz映射到二维空间Px-Py上；
2)再对映射到Px-Py空间上的法向量点做栅格划分，并以高斯加权的方式对Px-Py空间中的点做直方图统计，得到Px-Py坐标系下的直方图；
3)对Px-Py直方图查找8-领域极大值(8-neighbor)，并将对应点在Px-Py空间中的坐标进行球极逆映射，得到估计的平面法向量，即各个平面的方向。
步骤3：对估计的各个法向量分别检测平行平面，得到各个方向上的各平面到原点的距离；
1)将所有区块的空间坐标与估计的法向量作内积，即将区块的三维空间坐标向法向量方向所处的一维射线上做投影(3维到1维的投影就是坐标与单位向量的内积)；
2)对区块三维坐标投影到一维坐标的分布做直方图统计，并查找极大值，即得到该法向量所对应的各个平行平面与原点的距离；
3)重复1)、2)操作直至所有估计的法向量都检测完成。
步骤4：以区块为聚类单位、各平面的参数为聚类种子点进行聚类，进行平面参数优化和平面区域的提取，记第i个平面参数为Pi，平面参数包含平面的法向量以及平面与原点的距离；
1)使用MeanShift优化Pi，消除直方图统计的栅格误差，单次迭代过程为：查找在均值半径内的所有区块并计算其均值，得到新的Pi。
2)使用K-means对每个区块查询最接近的平面参数，并通过查询结果优化Pi。
本发明有益效果如下：
本发明方法根据深度图像的成像原理及平面结构的空间特性，能够对深度图提取场景中所有平面的几何信息，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。
Feng等人在2014年所提出的平面分割及提取方法需要30毫秒的时间对单帧640×480分辨率的图像进行处理，而本发明方法使用同样的数据在Titan X(Pascal)GPU上的运行时间为1.90毫秒，达到了非常高的运算效率。同时本发明方法也保证了所检测平面参数的高精度以及提取平面区域的正确性。
附图说明
图1是本发明平面法向量检测流程图；
图2是本发明实施例区块划分及区块信息图；
图3是本发明实施例球极映射图；
图4是本发明实施例二维统计直方图；
图5是本发明实施例平行平面查询流程图；
图6是本发明实施例平面分割结果渲染图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。
图1是平面法向量检测流程图，图2到图4是图1的可视化过程图。此部分是本方法检测平面法向量的部分，主要描述了如何从输入的深度图像检测出场景中平面的法向量。以下为图1到图4的详细描述：
第一步，如图2所示，对输入的深度图像做预处理，使用双边滤波初步滤除传感器的噪声，并将深度图像分割为若干个等大小的区块，这里以16×16的区块为例。每个区块包含法向量(nx，ny，nz)、位置(x，y，z)、有效点数量c即置信度三个主要信息，通过将每个区块的所有像素反投影到三维空间中形成点云，可以计算区块中所有点的平均位置(x，y，z)，对区块中所有点拟合平面可以计算得到区块的切平面法向量(nx，ny，nz)，并且可以得到区块中符合切平面分布的顶点数量，即有效点数量c，等价于区块的平面性质置信度。
第二步，如图3所示，对每个区块的法向量做球极映射，映射关系为：
其中px、py为单位球面上的法向量映射到二维空间Px-Py上的坐标。图中的球面为单位球面，其球面上的点为各个区块的法向量在单位球面上的分布，法向量通过上式映射为Px-Py二维空间中的点。
第三步，如图4所示，对第二步中映射到Px-Py的结果做栅格化分割，并以高斯加权的方式做直方图统计，得到图4中的二维直方图分布，通过8-领域查找二维直方图中的极大值及其在Px-Py坐标系下的坐标，得到深度图像场景中平面的法向量映射到Px-Py坐标系下的坐标(px，py)。通过计算该坐标的球极逆映射，即可计算得到平面的法向量(nx，ny，nz)。
如图5所示由前三步计算可以得到平面的法向量，将各个区块依次投影到法向量所在的方向，得到在法向量方向上区块到原点的距离，通过离散化各个区块到原点的距离并作高斯加权的直方图统计，得到各个区块在各个法向量方向的直方图分布，查找直方图的极大值得到某个法向量方向上的各个平行平面与原点的距离。
通过以上步骤，已经得到了深度图像所对应实际场景中各个平面的参数Pi，使用MeanShift算法对Pi在区块的数据上做优化，消除栅格化对平面参数造成的误差。再使用带阈值的K-means算法以Pi为初始种子点，在对各个区块标记对应平面参数的同时对Pi做优化。
平面分割结果如图6所示，右图是灰度相机拍摄的场景，左图为本方法对深度图的实时分割点云渲染结果，黑色区域表示非平面区域，其他不同灰度区域为检测、分割出的不同平面。
本方法在CUDA 3.5算力架构的并行标准下，在Titan X(Pascal)GPU上的运行时间为1.90毫秒，达到了非常高的运算效率。
Claims (4)
1.一种基于深度图像的实时平面检测及提取方法，其特征在于，步骤如下：
步骤1：对深度图像进行预处理，并提取深度图像的区块信息；
步骤2：对区块的法向量分布做降维统计；
步骤3：对估计的各个法向量分别检测平行平面，得到各个方向上的各平面到原点的距离；
步骤4：以区块为聚类单位、各平面的参数为聚类种子点进行聚类，进行平面参数优化和平面区域的提取，记第i个平面参数为Pi，平面参数包含平面的法向量以及平面与原点的距离；
1)使用MeanShift优化Pi，消除直方图统计的栅格误差，单次迭代过程为：查找在均值半径内的所有区块并计算其均值，得到新的Pi；
2)使用K-means对每个区块查询最接近的平面参数，并通过查询结果优化Pi。
2.根据权利要求1所述的一种基于深度图像的实时平面检测及提取方法，其特征在于，步骤1具体方法如下：
1)使用双边滤波算法对深度图像做滤波处理；
2)将深度图像划分为16×16像素的等大小的矩形区块，(取值16是为了契合计算机中图像处理器线程对齐、内存对齐的需要)；
3)将区块中的像素反投影到三维空间中得到三维点云，提取区块的切平面信息，包括区块的空间坐标、切平面的法向量、切平面与原点的距离、区块置信度；记第(u，v)区块为patch(u，v)。
3.根据权利要求2所述的一种基于深度图像的实时平面检测及提取方法，其特征在于，步骤2具体方法如下：
1)将各个区块的法向量进行球极映射从三维空间nx-ny-nz映射到二维空间Px-Py上；
2)再对映射到Px-Py空间上的法向量点做栅格划分，并以高斯加权的方式对Px-Py空间中的点做直方图统计，得到Px-Py坐标系下的直方图；
3)对Px-Py直方图查找8-领域极大值(8-neighbor)，并将对应点在Px-Py空间中的坐标进行球极逆映射，得到估计的平面法向量，即各个平面的方向。
4.根据权利要求3所述的一种基于深度图像的实时平面检测及提取方法，其特征在于，步骤3具体方法如下：
1)将所有区块的空间坐标与估计的法向量作内积，即将区块的三维空间坐标向法向量方向所处的一维射线上做投影；
2)对区块三维坐标投影到一维坐标的分布做直方图统计，并查找极大值，即得到该法向量所对应的各个平行平面与原点的距离；
3)重复1)、2)操作直至所有估计的法向量都检测完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011563133.1A CN112614173A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度图像的实时平面检测及提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011563133.1A CN112614173A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度图像的实时平面检测及提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614173A true CN112614173A (zh) | 2021-04-06 |
Family
ID=75247900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011563133.1A Withdrawn CN112614173A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度图像的实时平面检测及提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614173A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114281285A (zh) * | 2021-07-14 | 2022-04-05 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
| CN115840507A (zh) * | 2022-12-20 | 2023-03-24 | 北京帮威客科技有限公司 | 一种基于3d图像控制的大屏设备交互方法 |
-
2020
- 2020-12-25 CN CN202011563133.1A patent/CN112614173A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114281285A (zh) * | 2021-07-14 | 2022-04-05 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
| CN114281285B (zh) * | 2021-07-14 | 2024-05-28 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
| CN115840507A (zh) * | 2022-12-20 | 2023-03-24 | 北京帮威客科技有限公司 | 一种基于3d图像控制的大屏设备交互方法 |
| CN115840507B (zh) * | 2022-12-20 | 2024-05-24 | 北京帮威客科技有限公司 | 一种基于3d图像控制的大屏设备交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977818B2 (en) | Machine learning based model localization system | |
| US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| US10311589B2 (en) | Model-based three-dimensional head pose estimation | |
| CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、系统及存储介质 | |
| CN104573614A (zh) | 用于跟踪人脸的设备和方法 | |
| CN112614173A (zh) | 一种基于深度图像的实时平面检测及提取方法 | |
| Tombari et al. | Evaluation of stereo algorithms for 3d object recognition | |
| Xu et al. | Survey of 3D modeling using depth cameras | |
| CN115035260A (zh) | 一种室内移动机器人三维语义地图构建方法 | |
| Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
| Macedo et al. | KinectFusion for faces: real-time 3D face tracking and modeling using a Kinect camera for a markerless AR system | |
| Li et al. | Polarmesh: A star-convex 3d shape approximation for object pose estimation | |
| CN110675360B (zh) | 一种基于深度图像的实时平面检测及提取的方法 | |
| CN107274477B (zh) | 一种基于三维空间表层的背景建模方法 | |
| Lee et al. | Estimation of illuminants for plausible lighting in augmented reality | |
| Hou et al. | Octree-based approach for real-time 3d indoor mapping using rgb-d video data | |
| Villa-Uriol et al. | Automatic creation of three-dimensional avatars | |
| Dong et al. | Learning stratified 3D reconstruction | |
| US11361477B2 (en) | Method for improved handling of texture data for texturing and other image processing tasks | |
| Kunert et al. | Efficient point cloud rasterization for real time volumetric integration in mixed reality applications | |
| Zhang et al. | A multiple camera system with real-time volume reconstruction for articulated skeleton pose tracking | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210406 |
|
| WW01 | Invention patent application withdrawn after publication |