CN112912921B - 从深度图中提取平面的系统和方法 - Google Patents
从深度图中提取平面的系统和方法 Download PDFInfo
- Publication number
- CN112912921B CN112912921B CN201980066709.2A CN201980066709A CN112912921B CN 112912921 B CN112912921 B CN 112912921B CN 201980066709 A CN201980066709 A CN 201980066709A CN 112912921 B CN112912921 B CN 112912921B
- Authority
- CN
- China
- Prior art keywords
- plane
- region
- ast
- depth
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 240000002044 Rhizophora apiculata Species 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种从深度图中提取多个平面的成像处理方法包括:依据平滑度阈值,从深度图中计算深度变化指示图(801)。该成像处理方法还包括:递归式地从所述深度图中提取多个平面区域,其中,每一平面区域的大小均根据所述深度变化指示图动态调节(802)。该成像处理方法还包括:依据距离函数,将所提取的平面区域聚成多个群组(803);和通过每一群组的生长,同时生成逐像素分割结果以及内点统计结果(804)。
Description
相关申请的交叉引用
本申请要求申请号为PCT/CN2018/109795,申请日为2018年10月11日,名称为“从深度图中提取平面的系统和方法”的国际专利申请的优先权,并将该申请的全文援引于此。
技术领域
本发明涉及计算机视觉,尤其涉及一种从深度图中提取平面的系统和方法。
背景技术
基于三维深度传感器的可靠且实时的平面提取为移动机器人等计算机视觉应用的重要一环。一旦成功检测此类平面,便可以实现高精度的快速映射和定位,这是因为所跟踪的平面不但能够减小映射图的大小,而且有助于去除环境中非所需的几何形状。然而,举例而言,当必须对小的平面结构进行感知时,或者当移动机器人部署于照明欠佳或缺少纹理的条件等恶劣环境中时,平面的实时提取仍然难以实现。
发明内容
为了解决现有技术中的问题,本公开内容的实施方式提供一种从深度图中提取平面的系统和方法。
在一个方面中,一种从深度图中提取多个平面的成像处理方法包括:依据平滑度阈值,从深度图中计算深度变化指示图(DCI)。该成像处理方法还包括:递归式地从所述深度图中提取多个平面区域,其中,每一平面区域的大小均根据所述DCI动态调节。该成像处理方法还包括:依据距离函数,将所提取的平面区域聚成多个群组;以及通过每一群组的生长,同时生成逐像素分割结果以及内点统计结果。在一些实施方式中,群组数最小,多个群组内的像素总数最大,而且平面拟合误差小于预设阈值。
在一些实施方式中,所述成像处理方法还包括:通过对DCI使用积分面积表(SAT),测量每一平面区域的平滑度,其中,每一平面区域的均方误差(MSE)小于MSE阈值(TMSE),每一平面区域的曲率小于曲率阈值(Tcuv)。
在一些实施方式中,所述成像处理方法还包括:通过所设计的自动平衡查找树(AST),将所提取的平面区域聚成多个群组。
附图说明
为了更好地说明本公开内容实施方式的技术特征,以下将结合附图简要描述本发明的各种实施方式。
图1以图形方式示出了根据本公开内容各实施方式从深度图中提取平面。
图2以图形方式示出了根据本公开内容各实施方式从深度图中提取平面的例示。
图3以图形方式示出了根据本公开内容各实施方式的例示自动平衡查找树(AST)算法。
图4以图形方式示出了根据本公开内容各实施方式的例示自动平衡查找树(AST)算法。
图5以图形方式示出了根据本公开内容各实施方式的计算时间比较。
图6以图形方式示出了根据本公开内容各实施方式的例示动态场景。
图7以图形方式示出了根据本公开内容各实施方式的楼梯序列图像数据集的帧的例示。
图8为根据本公开内容各实施方式从深度图中提取平面的例示方法流程图。
具体实施方式
实时平面提取仍然是一项难题。一方面,需要将误检率和过度检测率保持在最低水平。另一方面,为了对平面参数进行准确估计,还必须获得足够的内点。图1所示为对图像进行平面提取的典型一例。其中,该场景由具有不同尺寸的平面组成。(a)为该场景的RGB图像;(b)为(a)的对应深度图;(c)为人为标注的平面区域,其中,每种颜色代表三维空间内的物理平面;(d)为本算法生成的平面检测结果。图中楼梯由多个被部分遮挡的平面构成,对于现有技术而言,极其具有难度。现有技术或者易于遗漏尺寸较小的平面,或者无法正确地将较大的平面分成多个更小的平面。
本公开内容中公开了从深度图中提取一个或多个平面的系统和方法。在一些实施方式中,通过一种实时算法实时提取多种尺寸的平面。该算法首先将深度图动态划分为矩形区域,其中,每一区域内的点均处于同一平面上。随后,该算法根据所述区域的平面参数,将其聚类为一些独有的群组,从而生成平面图元。最后,通过每一独有群组的生长而实现逐像素分割结果。本公开内容系统和方法的优点包括:(1)由于采用动态的区域大小调节算法,因此减少需聚类的区域数,并提高平面拟合精度;(2)由于采用区域聚类算法,因此确保最坏情况下的时间复杂度仍为对数线性;(3)本公开内容算法在质量和速度方面优于现有技术方法(本公开内容算法的速度比现有技术方法高一个数量级)。
在本公开内容中,平面提取问题可表达为:对于给定的深度图D,目标在于检测平面集合{Gi},i∈{1,2,...k},其中,D的每一像素可归类至{Gi}或非平面集合B内,以使得:
(1)集合{Gi}的大小最小;
(2)分配至{Gi}内的像素总数最大;以及
(3)对于分配至Gi内每一像素,平面拟合误差应小于预设阈值。
与深度图相关的现有技术可分类为直接聚类、RANSAC(随机抽样一致)以及区域生长这三类。在直接聚类法中,将每一输入点根据按照其表面法线估计值进行聚类。在遮挡较为严重的情况下,极其难以根据各点的位置可靠地估计其表面法线:法线估计中选用的区域(周围区域)大小对最终结果的影响极大。除此之外,该现有方法还往往要求在法线空间中使用网格离散化。其中,所需的精度越高,网格的离散越为细致,同时速度越慢。因此,该现有方法还存在速度较慢的问题。虽然经典的RANSAC算法能够进行平面拟合,但是其所需的计算成本不成比例地高,而且对于具有多个平面的场景尤其如此。
基于区域生长的算法的核心思想在于,只要拟合误差不超出特定阈值,便可一直扩大种子区域。目前,已经提出了用于处理三维体素、二维矩形区域等不同类型区域的各种现有技术。举例而言,此类现有技术包括一种在非组织化的点云中检测平面的有效算法。该方法首先将整个三维空间划分为大量的小的体素,然而通过将种子体素与其最近的26个体素合并而进行聚类。凝聚式层次聚类法(Agglomerative Hierarchical Clustering,AHC)为一种二维区域生长方法,其首先将整幅图像均匀划分为小网格,然后通过创建用于跟踪最佳种子区域的优先级队列而实现平面拟合误差的最小化。一旦成功获得种子区域,随后便开始对其四个相邻网格进行搜索,以判断是否有任何区域能够与种子区域合并。合并后的网格重新插入优先级队列,并再次尝试获取新的最佳种子区域,如此往复,直至所述队列为空。
AHC法存在如下两项主要限制:难以选得合适的网格大小;无法处理遮挡较为严重的情形。前一项限制直接影响其提取台阶等较小或非均一平面的能力:其中,虽然可通过将网格大小设置为极小的值(如4×4)而提高稳健性,但与此同时,计算成本也会急剧增大(相关细节见以下实验部分)。后一项限制的本质原因在于存在多种尺寸的平面区域。具体而言,该方法无法对断开区域进行聚类。从理论上说,虽然可通过RANSAC法解决该聚类问题,但与此同时,计算成本将急剧增大。
为了至少减轻现有技术在平面提取方面的上述劣势,在本公开内容中,公开一种新的区域生长技术,用于极其快速且可靠地进行平面检测(见图2)。与现有技术相比,本公开内容包括如下优点:
(1)本公开内容的系统和方法通过动态调节区域大小(相关细节见以下算法1)减少需聚类的区域数,并提高平面拟合精度。与使用大小均一的区域的方法相比,本公开内容算法不会丢失任何有用的信息,而且不会对时间复杂度造成负面影响。
(2)本公开内容的系统和方法通过将所提取的所有种子区域聚类为若干独有群组(见以下算法2),克服了平面分割问题(往往源于遮挡)。通过使用所设计的自动平衡查找树,该聚类算法的复杂度在最坏情况下仍为对数线性。
(3)本公开内容系统和方法的多项综合实验的结果表明,本公开内容算法在质量和速度方面的表现优于现有方法(本公开内容算法的速度比现有技术方法高一个数量级)。
图2以图形方式示出了根据本公开内容各实施方式从深度图中提取平面的例示方法:处理流程以及每一步骤的中间结果。(a)为输入深度图;(b)为根据(a)生成的DCI(距离变化指示)图,其中,黑色像素代表非平滑区域;(c)为算法1的平面区域提取结果,其中,每一区域的大小根据DCI动态调节。利用该技术,可以显著减少(d)中的需聚类平面区域数。(d)为平面区域聚类步骤(算法2)结果。(e)为基于(d)的逐像素分割结果。本公开内容算法用于从深度图中快速检测平面,其总体流程如图2所示。在一些实施方式中,提出一种递归式区域提取算法,用于将深度图划分为平面区域(见图2中(c))。随后,这些区域通过所设计的自动平衡查找树聚成独有群组(见图2中(d))。最后,通过区域生长法对整个图像的建议平面进行验证,以实现逐像素分割(见图2中(e))。
递归式平面区域提取
在一些实施方式中,本公开内容算法中的平面区域定义为深度图内的矩形区域,其中,每一点均位于三维空间内的同一平面上。本公开内容算法通过提取此类区域而对平面法线和距离进行估计,而此两类参数为离散平面分块组合中最为固有的参数。
一种现有方法先将整幅图像分割为许多小的非重叠网格,然后针对每一小网格进行平面拟合。其中,最难的一环是如何确定网格大小。当网格较小时,难以实现准确的平面参数估计,而且运行时间将大幅延长。与此相对,当网格较大时,该算法又难以感知到台阶等小的平面。
为了克服现有技术的此类难题,公开一种递归式平面区域提取算法(如以下算法1所述)。在一些实施方式中,利用深度变化指示图(DCI)对所提取的区域进行约束,并针对深度变化较为平滑的区域进行平面拟合。当平面拟合的MSE(均方误差)和曲率足够小时,该区域即视为平面区域。算法1的优点在于,该递归式策略能够动态地适应DCI,也就是说,每一区域的大小能够动态确定。由于该算法始终尝试保留有助于减少区域数且增大平面拟合精度的较大区域,因此可以提高效率和精度。这一步骤的中间结果示于图2中(c)。
在一些实施方式中,DCI定义如下:
其中,F={(u-1,v),(u+1,v),(u,v-1),(u,v+1)},f(·)为平滑度阈值函数,D(u,v)表示像素位置(u,v)处的深度值。DCI可通过常见方法计算。
在一些实施方式中,可通过执行以下步骤而对递归式平面区域提取的效果进行分析。根据算法1,每次递归调用的主要计算任务在于,验证当前区域是否平滑,并估计其平面参数。在形式上,平滑区域R为满足下式的矩形DCI区域:
|R|=∑(u,v)∈RDCI(u,v) (2)
其中,|R|表示区域R的大小。
根据式(2),只要将积分面积表(SAT)应用于DCI,即可在O(1)时间内完成区域平滑度的检验。对于平面参数的估计,SAT还可用于提高协方差矩阵C的计算速度。其中,平面法线n为与C的最小特征值对应的特征向量。区域MSE和曲率定义如下:
其中,λ0,λ1,λ2为协方差矩阵C(阶数递增)的特征值,且C·n=λ0·n。
当以T(n)表示对含n个点的平面区域进行递归式提取时的最坏情况下运行时间时,可以获得经验证,T(n)=O(n)。如果输入深度图的分辨率为W×H,由于DCI和SAT的计算成本均为O(W×H),则算法1的总体最坏情况下时间复杂度为O(W×H)。
依据自动平衡查找树将被提取区域聚类
在一些实施方式中,将前一步骤中生成的平面区域视作当前深度图的建议平面。然而,由于多个区域对应于同一三维平面,因此如对每一平面区域进行检验,则将导致大量不必要的运算。为了减少建议平面的数量并提高估算精度,聚类算法必不可少。参数空间的距离函数定义如下:
其中,{n1,d1}和{n2,d2}为分别与平面区域群组G1和G2对应的平面参数。
聚类算法的目标在于将所有平面区域分至若干群组:
{G1,G2,…,Gk}
χ(Gi,Gj)=0 (6)
为了方便起见,这些群组集合可称为独有集合。在一些实施方式中,公开一种基于所设计的自动平衡查找树(Auto-balanced Search Tree,AST)的快速聚类算法。该算法总体示为算法2。本公开内容聚类算法可生成独有集合。图2中(d)所示为这一步骤的例示输出。
在一些实施方式中,对于AST而言,重要的一点是,在增删后保持平衡。任何平面区域均可表示为n·p(u,v)+d=0,其中,n为表示平面法线的三维单位向量,d为表示原点至平面距离的非负数。为了依据区域的n和d对区域进行有效查找,AST构造为四株红黑树的层叠(其中,三株针对法线n,一株针对距离d,见图3AST结构图,其中,每一分支由红黑树构成)。在AST中增添一项的伪代码示为算法3。由于红黑树的优异特性,AST可在每一运算后保持平衡,而且查找、插入及删除的最坏情况下时间复杂度为O(log(|AST|))。此类运算的伪代码见算法6、算法7及算法4。
在一些实施方式中,当算法2完成时,断定为了证明这一断定成立,需要证明,在通过调用算法3增添一项后,AST仍保有其独有特性。如果该引理为真,则以上判定为真。
其中,可以通过归纳推理法证明上述引理的成立。基础条件的成立不言自明,即归纳推理的假设在于,一个大小为k-1的AST的独有特性在调用算法3后保持不变。归纳推理的步骤在于,当通过插入一项而形成大小为k的AST时,其独有特性是否仍保持不变。归纳推理步骤通过以下两条件检验:第一条件为新增项Cnew无法与AST中的最近邻Gnearest合并;第二条件与第一条件相反。在第一种情形中,算法3将在AST中直接插入Gnew,而且AST仍然保持独有特性。在第二种情形中,算法3将先从AST中删除Gnearest(该删除操作不会影响AST的特性),而且AST的大小减至k-1。根据上述归纳推理的假设,在当前AST中增添Gnew后,AST仍保持其独有特性。从以上两种情形可知,归纳推理的步骤为真,也就是说,上述引理为真。
在一些实施方式中,算法3的最坏情况下运行时间为O(log(|AST|))。如上所述,当在AST中增添新项时,会存在两种不同的情形。第一情形需要在O(log(|AST|))进行查找和插入操作。第二情形的运行时间高度依赖平面合并函数。根据算法3,合并后的参数必须满足:
根据式(7),由于每一查找分支内最近节点的距离均大于阈值(例如,见图4在Nx分支中增添新项的示例。实心点表示AST内的当前项。根据独有特性,每对实心点的距离均大于Tnorm。虚线圆圈表示待增添的项。当新增项破坏独有特性时,算法3将删除其最近项,然后递进式地添加合并项,直至恢复独有特性),因此当在AST中增添Gnew时,每一查找分支最多进行三次合并操作。总之,算法3的递归深度为常数,也就是说,其复杂度为O(log(|AST|))。因此,算法2的总运行时间为O(|R|log(|R|))。
在聚类步骤之后,即获得基于独有区域群组的建议平面。在该步骤中,可通过区域生长法,对所述建议平面进行验证。这一步骤完成后,即可同时实现逐像素分割和内点统计。该算法最终输出获得大量内点支持的建议平面。该步骤的详情见算法5。
实验评价
在一些实施方式中,可在有效性和效率两个方面对本公开内容算法进行评价。在有效性评价中,使用FARO激光扫描仪数据。该激光扫描仪可在室内和户外两种环境下生成360度彩色点云。为了与AHC进行比较,原始的扫描输出图像记录为512×512深度图。在效率评价中,以C++语言运行本公开内容算法,C++开放源代码库如PCL和Eigen。所有实验均可通过配置3.0GHz的Intel Core i7-6950X CPU和128GB的DDR4RAM的台式个人计算机进行。其中,可不使用OpenMP、OpenCL及CUDA等并行技术。所有实验的参数均示于下表1。
表1:本申请所用参数表(深度图单位为mm(毫米))
PRM | 值 | PRM | 值 | PRM | 值 |
Tsmooth | 0.015 | Tcuv | 0.01 | Tnorm. | Sin5π/180 |
TminSize | 3像素 | Tσ | 1.6×10-8 | Tdist | 30 |
TMSE | (Tσ×z2+Tε)2 | Tε | 0.1 | Tinlier | 20 |
在一些实施方式中,有效性评价分为稳健性和准确性两个方面。在本公开内容算法的稳健性评价中,以楼梯、走廊、房间及校园等高度动态的场景,构建含1112幅512×512深度图的数据集。定性比较结果如图6所示动态场景数据集的例示场景。第一行为RGB图像。第二行为本方法生成的平面检测结果。第三行为AHC结果,其中,初始图块大小为4×4。最后一行也为AHC的结果,其中,初始图块大小为10×10。
在准确性评价中,对一系列深度图(226帧)进行依次标记。检测对象平面依照相同的术语分为如下5类:正确检测;过度分割;分割不足;遗漏;噪声。定量评价结果总结于下表2。
表2:楼梯序列图像数据集的定量评价结果(重叠阈值为80%)
方法 | GT区域 | 正常检测 | 过渡分割 | 分割不足 | 遗漏 | 噪声 |
ICRA’14(4×4) | 19.60 | 3.40(17.29%) | 0.39 | 0.28 | 16.04 | 2.20 |
ICRA’14(10×10) | 19.60 | 3.29(16.77%) | 0.03 | 0.54 | 16.31 | 1.12 |
本申请 | 19.60 | 12.17(62.08%) | 0.12 | 0.90 | 7.38 | 4.69 |
根据图6、图2及表2结果,本公开内容算法能够有效检测多种尺寸的平面。如图7所示本发明楼梯序列图像数据集的例示帧。第一行为人为标注的本底真图分割结果。第二行为本算法处理结果。第三行为AHC结果,其中,初始图块大小为4×4。最后一行也为AHC的结果,其中,初始图块大小为10×10。本公开内容系统和方法所得结果的质量远优于现有技术。
在一些实施方式中,针对上述数据集,对本公开内容方法和当前最快的现有技术方法进行运行时间比较。其中,初始图块大小调节至4×4。此外,作为参考,还获取10×10大小下的结果。详细结果示于图5计算时间比较。每一色条的值表示平均处理时间,黑色线段表示最小和最大时间。如图5所示,本公开内容方法的最坏情况下运行时间类似于AHC(图块大小:10×10)。然而,考虑到所使用的最小区域大小为3×3这一事实,在类似的详细程度条件下(图块大小:4×4),本公开内容算法的运行速度比AHC快一个数量级。
图8为根据本公开内容各实施方式从深度图中提取平面的例示方法800流程图。例示方法800可由一种从深度图中提取平面的系统的一个或多个部件执行。该系统可包括与非暂时性计算机可读存储介质(如存储器)连接的处理器。所述存储器可存有指令,这些指令在由所述处理器处理时,使得该处理器执行本文所述的各种步骤和方法(如各种算法)。例示方法800可由与例示系统800类似的多种系统执行。方法800的下述操作旨在说明目的。根据具体执行情况,例示方法800所含的步骤可以增减或者以其他步骤代替,而且这些步骤可按照各种顺序执行,或者并行执行。
在方框801中,依据平滑度阈值,从深度图中计算深度变化指示图(DCI)。该步骤可对应于上述图2中(b)。在方框802中,递归式地从深度图中提取多个平面区域,其中,每一平面区域的大小根据DCI进行动态调节。该步骤可对应于上述图2中(c)。在方框803中,根据距离函数,将所提取的平面区域聚成多个群组。该步骤可对应于上述图2中(d)。在方框804中,通过每一群组的生长,同时产生逐像素分割结果以及内点统计结果。该步骤可对应于上述图2中(e)。
结论
如上所述,公开一种用于快速稳健地进行平面检测的新方法,以实时检测到尽可能多的平面。其中,首先公开一种新的递归式平面区域提取算法。该算法能够通过区域大小的动态调节,显著地减少需提取的平面区域数,而且与此同时不丢失任何有用的信息,并且不对时间复杂度造成负面影响。除此之外,还公开一种能够克服遮挡引起的平面分割问题的新的聚类算法。为了降低聚类复杂度,本公开内容设计了一种能够将聚类算法加速成对数线性时间的自动平衡查找树。最后,通过聚类所得的每一平面区域群组的生长,实现逐像素分割结果。另外,还通过理论分析和综合实验,对本公开内容算法进行了评价。在理论方面,针对所公开的每种算法,均进行了正确性和时间复杂度的详细分析。在实践方面,对高度动态场景的数据集(1112帧)以及带有人为标注本底真图(Ground Truth)的楼梯场景序列图像数据集(226帧)进行了综合实验。实验表明,本公开内容算法能够针对512×512深度图,在25Hz下进行有效的平面检测。
上述各种模块、单元和元器件可实施为:专用集成电路(ASIC);电子电路;组合逻辑电路;现场可编程门阵列(FPGA);执行代码的处理器(共享、专用或成组);或者提供上述功能的其他合适硬件部件。所述处理器可以为Intel公司的微处理器,或者为IBM公司的大型计算机。
需要注意的是,上述功能当中的一项或多项可由软件或固件实施,该软件或固件存储于存储器内并由处理器执行,或者存储于程序存储器内并由处理器执行。此外,该软件或固件可存储和/或传输于任何计算机可读介质之内,以供指令执行系统、装置或设备使用或与其结合使用,该指令执行系统、装置或设备例如为基于计算机的系统、含处理器的系统或者其他可从所述指令执行系统、装置或设备中获取指令并对其加以执行的系统。在本文语境中,“计算机可读介质”可以为任何可含有或存储供所述指令执行系统、装置或设备使用或用于与其结合使用的程序的介质。该计算机可读介质可包括,但不限于,电子、磁性、光学、电磁、红外或半导体系统、装置或设备,便携式计算机磁盘(磁性),随机存取存储器(RAM)(磁性),只读存储器(ROM)(磁性),可擦除可编程只读存储器(EPROM)(磁性),CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW等便携式光盘,或袖珍闪存卡、安全数字卡、USB存储装置、记忆棒等闪存。
上述各种本发明实施方式仅为优选实施方式,并不旨在限制本发明的范围,而且本发明范围涵盖不脱离本发明精神和原则的任何修饰方案、等同方案及改进方案。
Claims (10)
1.一种成像处理方法,用于从深度图中提取多个平面,其特征在于,所述方法包括:
1)依据平滑度阈值,计算深度图的深度变化指示图;
2)递归式地从所述深度图中提取多个平面区域,其中,每一平面区域的大小均根据所述深度变化指示图动态调节;
具体方法:利用深度变化指示图DCI对所提取的区域进行约束,并针对深度变化平滑的区域进行平面拟合,当平面拟合的均方误差MS和曲率达到设定的足够小时,该区域即视为平面区域;
DCI定义如下:
其中,F={(u-1,v),(u+1,v),(u,v-1),(u,v+1)},f(·)为平滑度阈值函数,D(u,v)表示像素位置(u,v)处的深度值;
每次递归调用的计算任务在于:验证当前区域是否平滑,并估计其平面参数,在形式上,平滑区域R为满足下式的矩形DCI区域:
|R|=∑(u,v)∈RDCI(u,v) (2)
其中,|R|表示区域R的大小;
根据式(2),只要将积分面积表SAT应用于DCI,即可在O(1)时间内完成区域平滑度的检验;对于平面参数的估计,SAT还可用于提高协方差矩阵C的计算速度;其中,平面法线n为与C的最小特征值对应的特征向量;区域MSE和曲率定义如下:
其中,λ0,λ1,λ2为协方差矩阵C的特征值,且C·n=λ0·n;
3)依据距离函数,将所提取的所述平面区域聚成多个群组;
参数空间的距离函数定义如下:
其中,{n1,d1}和{n2,d2}为分别与平面区域群组G1和G2对应的平面参数;
聚类算法的目标在于将所有平面区域分至若干群组:
{G1,G2,…,Gk}
χ(Gi,Gj)=0 (6);
采用自动平衡查找树进行快速聚类,具体聚类方法如下:
任何平面区域均可表示为n·p(u,v)+d=0,其中,n为表示平面法线的三维单位向量,d为表示原点至平面距离的非负数;AST构造为四株红黑树的层叠,其中,三株针对法线n,一株针对距离d,依据区域的n和d对区域进行有效查找;查找过程中增删后保持平衡:当通过插入一项而形成大小为k的AST时,通过以下两条件检验其独有特性是否仍保持不变,第一条件为新增项Gnew无法与AST中的最近邻Gnearest合并;第二条件与第一条件相反,在第一种情形中,将在AST中直接插入Gnew,而且AST仍然保持独有特性,在第二种情形中,将先从AST中删除Gnearest,而且AST的大小减至k-1,根据上述归纳推理的假设,在当前AST中增添Gnew后,AST仍保持其独有特性;断定验证聚类为真;
4)对每一群组进行生长,以同时生成逐像素分割结果以及内点统计结果。
2.如权利要求1所述的方法,其特征在于,所述每一平面区域包括所述深度图内的矩形区域。
3.如权利要求1所述的方法,其特征在于,还包括:计算所述每一平面区域的平面法线和平面距离。
4.如权利要求1所述的方法,其特征在于,还包括:通过将积分面积表应用于所述深度变化指示图,测量所述每一平面区域的平滑度,其中,所述每一平面区域的均方误差小于均方误差阈值,所述每一平面区域的曲率小于曲率阈值。
5.如权利要求1所述的方法,其特征在于,所述距离函数包括法线阈值和距离阈值。
6.如权利要求1所述的方法,其特征在于,所述多个群组包括独有集合。
7.如权利要求1所述的方法,其特征在于,所述自动平衡查找树包括由红黑树构成的多个分支。
8.如权利要求1所述的方法,其特征在于,群组数为最小,所述多个群组内的像素总数为最大,而且平面拟合误差小于预设阈值。
9.如权利要求1所述的方法,其特征在于,所述深度图由三维深度传感器获得,而且该方法实时执行。
10.一种成像处理系统,用于从深度图中提取多个平面,其特征在于,所述系统包括:
一个或多个处理器;和存有指令的存储器,所述指令在由所述一个或多个处理器执行时,使得该系统执行权利要求1至9中任意一项所述成像处理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2018/109795 | 2018-10-11 | ||
CNPCT/CN2018/109795 | 2018-10-11 | ||
PCT/CN2019/110546 WO2020073982A1 (en) | 2018-10-11 | 2019-10-11 | System and method for extracting planar surface from depth image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112912921A CN112912921A (zh) | 2021-06-04 |
CN112912921B true CN112912921B (zh) | 2024-04-30 |
Family
ID=70163619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980066709.2A Active CN112912921B (zh) | 2018-10-11 | 2019-10-11 | 从深度图中提取平面的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11861840B2 (zh) |
CN (1) | CN112912921B (zh) |
WO (1) | WO2020073982A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982560A (zh) * | 2011-11-02 | 2013-03-20 | 微软公司 | 根据rgb和深度图像的表面分割 |
CN104463948A (zh) * | 2014-09-22 | 2015-03-25 | 北京大学 | 三维虚拟现实系统与地理信息系统的无缝可视化方法 |
CN107862735A (zh) * | 2017-09-22 | 2018-03-30 | 北京航空航天大学青岛研究院 | 一种基于结构信息的rgbd三维场景重建方法 |
CN108335267A (zh) * | 2017-12-29 | 2018-07-27 | 上海玮舟微电子科技有限公司 | 一种深度图像的处理方法、装置、设备和存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US8717417B2 (en) * | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
CN101969564B (zh) * | 2010-10-29 | 2012-01-11 | 清华大学 | 一种用于三维立体电视的深度视频压缩的上采样方法 |
WO2014130019A1 (en) * | 2013-02-20 | 2014-08-28 | Intel Corporation | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video |
US20140363073A1 (en) * | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
CN104463856B (zh) * | 2014-11-25 | 2017-06-27 | 大连理工大学 | 基于法向量球的室外场景三维点云数据的地面提取方法 |
US20160198097A1 (en) * | 2015-01-05 | 2016-07-07 | GenMe, Inc. | System and method for inserting objects into an image or sequence of images |
US10948302B2 (en) * | 2015-08-03 | 2021-03-16 | Tomtom Global Content B.V. | Methods and systems for generating and using localization reference data |
US9858683B2 (en) * | 2015-08-05 | 2018-01-02 | Intel Corporation | Method and system of planar surface detection objects in 3d space generated from captured images for image processing |
US9864901B2 (en) * | 2015-09-15 | 2018-01-09 | Google Llc | Feature detection and masking in images based on color distributions |
CN105825499A (zh) * | 2016-03-09 | 2016-08-03 | 京东方科技集团股份有限公司 | 基准平面的确定方法和确定系统 |
US10462445B2 (en) * | 2016-07-19 | 2019-10-29 | Fotonation Limited | Systems and methods for estimating and refining depth maps |
CN106981068B (zh) * | 2017-04-05 | 2019-11-12 | 重庆理工大学 | 一种联合像素与超像素的交互式图像分割方法 |
US10832487B1 (en) * | 2018-09-27 | 2020-11-10 | Apple Inc. | Depth map generation |
US11195283B2 (en) * | 2019-07-15 | 2021-12-07 | Google Llc | Video background substraction using depth |
-
2019
- 2019-10-11 CN CN201980066709.2A patent/CN112912921B/zh active Active
- 2019-10-11 WO PCT/CN2019/110546 patent/WO2020073982A1/en active Application Filing
-
2021
- 2021-03-31 US US17/219,555 patent/US11861840B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982560A (zh) * | 2011-11-02 | 2013-03-20 | 微软公司 | 根据rgb和深度图像的表面分割 |
CN104463948A (zh) * | 2014-09-22 | 2015-03-25 | 北京大学 | 三维虚拟现实系统与地理信息系统的无缝可视化方法 |
CN107862735A (zh) * | 2017-09-22 | 2018-03-30 | 北京航空航天大学青岛研究院 | 一种基于结构信息的rgbd三维场景重建方法 |
CN108335267A (zh) * | 2017-12-29 | 2018-07-27 | 上海玮舟微电子科技有限公司 | 一种深度图像的处理方法、装置、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
基于Kohonen神经网络的深度图像分割方法;邹宁, 李庆, 柳健;红外与激光工程(第01期);全文 * |
基于深度学习的红外遥感信息自动提取;陈睿敏;孙胜利;;红外(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020073982A1 (en) | 2020-04-16 |
US11861840B2 (en) | 2024-01-02 |
CN112912921A (zh) | 2021-06-04 |
US20210241462A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10192107B2 (en) | Object detection method and object detection apparatus | |
US20180189610A1 (en) | Active machine learning for training an event classification | |
US9367766B2 (en) | Text line detection in images | |
US8180154B2 (en) | Method and apparatus for region-based segmentation image processing using region mapping | |
CN113781402A (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
US9959466B2 (en) | Object tracking apparatus and method and camera | |
CN108510499B (zh) | 一种基于模糊集和Otsu的图像阈值分割方法及装置 | |
KR101618996B1 (ko) | 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 | |
JP6468580B2 (ja) | スーパーピクセルライフサイクル管理のための方法 | |
JP6393230B2 (ja) | オブジェクト検出方法及び画像検索システム | |
TWI701608B (zh) | 用於圖片匹配定位的神經網路系統、方法及裝置 | |
US20170178341A1 (en) | Single Parameter Segmentation of Images | |
CN109345536B (zh) | 一种图像超像素分割方法及其装置 | |
Koyuncu et al. | Object‐oriented segmentation of cell nuclei in fluorescence microscopy images | |
Chen et al. | Image segmentation based on mathematical morphological operator | |
CN112912921B (zh) | 从深度图中提取平面的系统和方法 | |
Krylov et al. | Stochastic extraction of elongated curvilinear structures with applications | |
Tian et al. | Point-cut: Fixation point-based image segmentation using random walk model | |
CN108038864B (zh) | 一种动物目标图像的提取方法及系统 | |
KR20100009451A (ko) | 영상의 그라운드 라인 결정 방법 | |
US11455372B2 (en) | Parameter estimation apparatus, parameter estimation method, and computer-readable recording medium | |
CN111932515A (zh) | 产品残留类缺陷的短路检测方法及系统及缺陷分类系统 | |
Pankaj et al. | Theoretical concepts and technical aspects on image segmentation | |
Tsai | A new approach for image thresholding under uneven lighting conditions | |
CN113139975B (zh) | 一种基于道路特征的路面分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |