CN111931584A - 用于分割点云的方法、装置、设备及计算机可读存储介质 - Google Patents
用于分割点云的方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111931584A CN111931584A CN202010675862.XA CN202010675862A CN111931584A CN 111931584 A CN111931584 A CN 111931584A CN 202010675862 A CN202010675862 A CN 202010675862A CN 111931584 A CN111931584 A CN 111931584A
- Authority
- CN
- China
- Prior art keywords
- constraint
- point clouds
- point cloud
- target
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 103
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims description 82
- 238000005457 optimization Methods 0.000 claims description 62
- 230000015654 memory Effects 0.000 claims description 19
- 239000000203 mixture Substances 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 238000009499 grossing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Generation (AREA)
Abstract
本申请实施例公开了用于分割点云的方法、装置、电子设备及计算机可读存储介质，涉及点云处理技术领域。该方法的一具体实施方式包括：从已标注点云中获取前景和/或背景的初始标注信息；在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。应用该实施例提供的方案，可无需用户为每套点云均提供标注信息，在减少了交互操作量的同时，也将点云分割技术拓展至可在非连续时空下、存在较大偏差的多套点云中完成相同感兴趣物体分割。
Description
技术领域
本申请实施例涉及数据处理技术领域，尤其涉及点云处理技术领域。
背景技术
对于三维场景或虚拟场景下的物体，可通过点云的方式来描述。但在绝大多数实际场景中，往往只需要对完整点云数据中的感兴趣部分进行针对性处理和分析。
为实现完整点云中感兴趣部分的分割，现有技术需要将用户为每套点云中前景(即感兴趣部分)和背景(即非感兴趣部分)的标注信息作为基础来实现分割，即一套点云的标注信息只能用于分割该套点云中的感兴趣物体，即使拓展也仅能适用在连续时空下、相互偏差较小的多套点云中。
发明内容
本申请实施例提出了一种用于分割点云的方法、装置、电子设备及计算机可读存储介质。
第一方面，本申请实施例提出了一种用于分割点云的方法，包括：从已标注点云中获取前景和/或背景的初始标注信息；在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。
在一些实施例中，从已标注点云中获取前景和/或背景的初始标注信息，包括：从已标注点云中提取得到已标注超体素，并根据已标注超体素构建得到已标注图结构；从已标注图结构中获取前景和/或背景的初始标注信息；以及根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，包括：从包含已标注点云的至少两套目标点云中分别提取目标超体素，并根据从每套目标点云提取出的目标超体素分别构建目标图结构；根据从已标注图结构中获取的前景和/或背景的初始标注信息，对每个目标图结构均进行前景和/或背景的标注。
在一些实施例中，在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息，包括：基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数；将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解；利用最优解分别对每套目标点云进行前景和/或背景的标注。
在一些实施例中，基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数，包括：确定针对单套点云的局部外观约束的约束参数和对应的权值；确定针对单套点云的领域平滑约束的约束参数和对应的权值；确定针对多套点云的分割一致性约束的约束参数和对应的权值；利用与每个约束参数对应的权值对相应约束参数进行加权，并根据得到的加权结果构建三约束能量函数。
在一些实施例中，确定针对单套点云的局部外观约束的约束参数，包括：提取每套目标点云中点的特征；根据局部外观约束确定出同属于前景或背景的点之间的特征关系；根据特征关系确定针对单套点云的局部外观约束的约束参数。
在一些实施例中，提取每套目标点云中点的特征，包括：利用高斯混合模型提取每套目标点云中点的特征。
在一些实施例中，将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解，包括：将初始标注信息作为初始值，按照GraphCut优化策略或Beliefpropagation优化策略进行多次迭代优化，得到三约束能量函数的最优解。
在一些实施例中，将初始标注信息作为初始值，按照GraphCut或Beliefpropagation优化策略进行多次迭代优化，得到三约束能量函数的最优解，包括：将初始标注信息作为初始值，按GraphCut优化策略或Belief propagation优化策对三约束能量函数的解进行首次迭代，得到当前的迭代结果；将当前的迭代结果作为当前值，继续按GraphCut优化策略或Belief propagation优化策略对三约束能量函数的解进行下一次迭代，直至满足预设的迭代跳出条件时，将最终的迭代结果作为三约束能量函数的最优解。
第二方面，本申请实施例提出了一种用于分割点云的装置，包括：初始标注信息获取单元，被配置成从已标注点云中获取前景和/或背景的初始标注信息；三约束标注单元，被配置成在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；感兴趣部分分割单元，被配置成根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。
在一些实施例中，初始标注信息获取单元进一步被配置成：从已标注点云中提取已标注超体素，并根据已标注超体素构建已标注图结构；从已标注图结构中获取前景和/或背景的初始标注信息；以及三约束标注单元进一步被配置成：从包含已标注点云的至少两套目标点云中分别提取目标超体素，并根据从每套目标点云提取出的目标超体素分别构建目标图结构；根据从已标注图结构中获取的前景和/或背景的初始标注信息，对每个目标图结构均进行前景和/或背景的标注。
在一些实施例中，三约束标注单元包括：三约束能量函数构建子单元，被配置成基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数；最优解求取子单元，被配置成将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解；标注子单元，被配置成利用最优解分别对每套目标点云进行前景和/或背景的标注。
在一些实施例中，三约束能量函数构建子单元进一步被配置成：第一约束参数及其权值确定模块，被配置成确定针对单套点云的局部外观约束的约束参数和对应的权值；第二约束参数及其权值确定模块，被配置成确定针对单套点云的领域平滑约束的约束参数和对应的权值；第三约束参数及其权值确定模块，被配置成确定针对多套点云的分割一致性约束的约束参数和对应的权值。
在一些实施例中，第一约束参数及其权值确定模块包括：点特征提取子模块，被配置成提取每套目标点云中点的特征；特征关系确定子模块，被配置成根据局部外观约束确定出同属于前景或背景的点之间的特征关系；约束参数确定子模块，被配置成根据特征关系确定针对单套点云的局部外观约束的约束参数。
在一些实施例中，点特征提取子模块进一步被配置成：利用高斯混合模型提取每套目标点云中点的特征。
在一些实施例中，最优解求取子单元包括：优化迭代模块，被配置成将初始标注信息作为初始值，按照GraphCut优化策略或Belief propagation优化策略进行多次迭代优化，得到三约束能量函数的最优解。
在一些实施例中，优化迭代模块进一步被配置成：将初始标注信息作为初始值，按GraphCut优化策略或Belief propagation优化策对三约束能量函数的解进行首次迭代，得到当前的迭代结果；将当前的迭代结果作为当前值，继续按GraphCut优化策略或Beliefpropagation优化策略对三约束能量函数的解进行下次迭代，直至满足预设的迭代跳出条件时，将最终的迭代结果作为三约束能量函数的最优解。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于分割点云的方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于分割点云的方法。
本申请实施例提供的用于分割点云的方法、装置、电子设备及计算机可读存储介质，首先，从已标注点云中获取前景和/或背景的初始标注信息；接着，在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据该初始标注信息，对包含该已标注点云在内的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；最后，即可根据该目标标注信息，分割每套该目标点云中与该前景对应的感兴趣部分。区别于现有技术，通过新增对单套点云和多套点云的上述三约束考虑，在已标注点云的数量少于目标点云的数量时，可通过用户仅对少数套已标注点云提供的标注信息，实现对非连续时空下、偏差较大的多套点云中相同感兴趣部分的分割，拓展了点云分割技术的适用场景；在已标注点云的数量与目标点云的数量一致时，也能够对初始的标注信息的分割精度进行改善。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的用于分割点云的方法的一个实施例的流程图；
图3是根据本申请的用于分割点云的方法的另一个实施例的流程图；
图4是根据本申请的用于分割点云的方法的一个应用场景的流程图；
图5是根据本申请的用于分割点云的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的用于分割点云的方法的电子设备的框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于分割点云的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。网络102为终端设备101和服务器103之间进行数据交换的通信介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以控制服务器103与终端设备101通过网络102进行数据交互，以接收或发送消息。终端设备101和服务器103上可以安装有各种应用，例如数据传输应用、数据处理类应用等。
终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机以及各式点云扫描及采集设备等等。当终端设备101为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来存储已事先完成前景和/或背景标注的已标注点云)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器，以提供点云分割服务为例，服务器103可以通过网络102从终端设备101中获取已事先完成标注的已标注点云，并从这些已标注点云中获取前景和/或背景的初始标注信息，然后在预先设置的针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据该初始标注信息，对包含该已标注点云在内的至少两套目标点云均进行前景和/或背景的标注，从而得到目标标注信息，最终根据该目标标注信息，分割每套该目标点云中与该前景对应的感兴趣部分。
需要说明的是，本申请后续各实施例所提供的用于分割点云的方法一般由服务器103执行，相应地，用于分割点云的装置一般设置于服务器105中。
需要指出的是，已标注点云不仅可以存储在终端设备101，也可以直接存储在服务器103本地；包括已标注点云在内的至少两套目标点云不仅可以存储在终端设备101上，也可以直接存储在服务器103本地。当终端设备101为运行在服务器103上的虚拟机时，示例性系统架构100也可以不包括终端设备101和网络102。
还需要指出的是，在终端设备101具有满足要求的运算能力时，提供点云分割服务的应用也可以安装在终端设备101中，即终端设备101也可以从这些已标注点云中获取前景和/或背景的初始标注信息，然后在预先设置的针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据该初始标注信息，对包含该已标注点云的至少两套目标点云均进行前景和/或背景的标注，从而得到目标标注信息，最终根据该目标标注信息，分割每套该目标点云中与该前景对应的感兴趣部分。此时，用于分割点云的方法由终端设备101执行，相应地，用于分割点云的装置设置于终端设备101中。此时，示例性系统架构100也可以不包括服务器103和网络102。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供点云分割服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的存储设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的存储设备、网络和服务器。
继续参考图2，其示出了根据本申请的用于分割点云的方法的一个实施例的实现流程200，包括以下步骤：
步骤201，从已标注点云中获取前景和/或背景的初始标注信息。
在本实施例中，用于分割点云的方法的执行主体(例如图1所示的服务器103)可以从存储设备(例如图1所示的终端设备101)中获取已标注点云，并从已标注点云中获取前景和/或背景的初始标注信息。
其中，已标注点云指已经过技术人员或管理人员对点云中至少部分点的归属进行过标注的点云，归属是指该点云属于前景或属于背景或属于除前景和背景之外的其它部分，前景是相对于背景而言的，前景指被重点关注的部分、感兴趣部分，相对应的，背景则是不被重点关注的部分、非感兴趣部分。具体的，当初始的、未标注的点云可以仅被分为感兴趣部分和非感兴趣部分时，用户仅对前景或背景进行标注，剩余部分的点的归属基于排除法就可以快速确定出来；当初始的、未标注的点云除被分为感兴趣部分、非感兴趣部分之外，还存在其它部分时，为了准确的确认出属于前景和背景的点，就同时需要前景和背景的初始标注信息。
标注信息的作用为表征对应的点是否属于感兴趣部分，为实现这一目的，标注信息可通过多种方式实现，例如在所有点仅被二分为感兴趣点和非感兴趣点时，标注信息可具体通过非0即1的2进制数字来区别(例如0表示属于感兴趣点，1表示不属于感兴趣点)，也可以通过不同的颜色进行区别(例如用红色表示属于感兴趣点，绿色表示不属于感兴趣点)，还可以通过附加可识别的归属标识等方式来实现，可根据实际情况灵活选择，此处不做具体限定。
步骤202，在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息。
在步骤201的基础上，本步骤旨在由上述执行主体基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束这三个约束，将仅针对已标注点云给出的初始标注信息拓展至包含已标注点云在内的至少两套目标点云，即对每套目标点云均进行前景和/或背景的标注，以得到体现每套目标点云中点的归属信息的目标标注信息。
其中，已标注点云也属于目标点云，当目标点云的套数大于已标注点云的套数，本步骤相当于基于上述三个约束，将用户提供的针对少数套点云可完成对感兴趣部分分割的标注信息，拓展至更多套同样包含相同感兴趣部分的其它未标注点云，从而在完成对多套处于非连续时空下、偏差较大的点云分割相同感兴趣物体时，极大的降低对标注信息的需求量，也就是说仅需要用户对少数套点云进行标注，不再需要用户对每套点云都提供标注信息；当目标点云的套数与已标注点云的套数一致时，也能够尽可能的结合分别对不同套点云给出的标注信息，来优化对感兴趣部分的分割精准度。
其中，局部外观约束是指：感兴趣物体在局部外观上存在的约束，通常基于目标的局部外观轮廓的特点，依据该外观上的一些关键点可以抽象得到一个局部外观模型，通过该局部外观模型来预测实际点的归属，即通过判别实际点是否服从该局部外观模型对相应点的约束，即可在一定程度上帮助确定该实际点的归属；邻域平滑约束是指：在判别一个点是否归属于感兴趣物体时，基于实际情况下的邻域关联关系，可以通过与其相邻的点的归属来确定，就好像一个形状确定物体，在某个转折部位出现了呈90度的转向，基于该实际情况，对转折部分的相邻点的归属判断时就可以基于该邻域关系平滑的进行判断，因为即使呈90度转向，在实现过程中也是平滑的、柔和的；分割一致性约束则是指对每套目标点云进行相同感兴趣物体的分割时，由于是相同的感兴趣物体，即使从不同的角度扫描得到不同的目标点云，在分割时也应具有一致性，不可能存在较大的差异，可以理解为借鉴或参照，在实际情况下，也可以通过针对多套点云的局部外观约束来实现。
上述提及的局部外观约束的针对对象为每套目标点云，邻域平滑约束的针对对象也是每套目标点云，即主要在单套点云中通过上述约束来尽可能的准确的基于初始标注信息来确定当前套目标点云中相应点的归属，而分割一致性约束针对的则是所有套目标点云，旨在通过上位、总体的进行考虑，尽可能的综合多套目标点云中相同感兴趣部分的实际差异，从而进行优化处理，使得初始标注信息通过上述三约束的优化处理，得到一个能够将每套目标点云中点的归属确定出来的解。
进一步的，由于本步骤是在三个约束下实现的，不同的约束对解的准确度的影响通常也不完全一致，也会受到实际情况下场景、感兴趣物体类型的差异等影响，因此可以为其分别赋予合适的权值，通过加权的方式，可以为影响程度较大的约束赋予较大的权值，从而让影响程度较大的约束更好的发挥其作用。
为方便使用三个约束，可通过多种方式对其进行具象化处理，例如转换为由参数表现的约束模型、构建新的约束函数等方式。
步骤203，根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。
在步骤202的基础上，本步骤旨在由上述执行主体根据目标标注信息来分割每套目标点云中与前景对应的感兴趣部分。当然，根据实际需求，也可以分割每套目标点云中与背景对应的非感兴趣部分，在目标点云仅被二分为感兴趣部分和非感兴趣部分时，非感兴趣部分也可以通过确定出的感兴趣部分通过排除方式快速确定。
本申请实施例提供的用于分割点云的方法，从已标注点云中获取前景和/或背景的初始标注信息；在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据该初始标注信息，对包含该已标注点云在内的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；根据该目标标注信息，分割每套该目标点云中与该前景对应的感兴趣部分。区别于现有技术，本实施例通过新增对单套点云和多套点云的上述三约束考虑，在已标注点云的数量少于目标点云的数量时，可通过用户仅对少数套点云提供的标注信息，实现对非连续时空下、偏差较大的多套点云中相同感兴趣部分的分割，拓展了点云分割技术的适用场景；在已标注点云的数量与目标点云的数量一致时，也能够对初始的标注信息的分割精度进行改善。
在上述实施例的基础上，本申请还通过图3提供了另一种用于分割点云的方法的流程300，区别于流程200，对如何基于三约束得到目标标注信息给出了较为具体的实现方案，包括如下步骤：
步骤301，从已标注点云中获取前景和/或背景的初始标注信息。
步骤302，基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数。
区别于步骤202，为具象化三约束，便于后续基于具象化的三约束思想对初始标注信息的处理，本实施例通过步骤304将上述三个约束具体构建为一个三约束能量函数。
能量函数的基础原理为：将待聚类的事物看成一个系统，事物之间的相异程度看成系统元素间的能量，当能量达到一定程度时，事物就形成一个新的类，表示系统需要重新分类。聚类过程中要求每个事物属于一个类，每个簇中不存在能量大于阈值的系统，不同的簇中不存在能量小于阈值的系统。
也就是说，本申请通过基于能量函数的原理和特性，将本步骤实质上要实现的对点的归属确认问题，转换为最小能量函数的优化问题，基于上述对能量函数基础原理的描述可知，能量函数的阈值越小，不同系统的区分就越准确。因此，本实施例通过本步骤成功的将一个非常抽象的问题转换为一个能量函数的最优解求解问题，同时，经转换后也便于借助机器和设备来进行上述数学问题的运算。
考虑到要基于上述三个约束构建三约束能量函数，为尽可能使各个约束对最终结果的影响与实际情况一致，以下还基于加权思想给出了一种实现方案：
确定针对单套点云的局部外观约束的约束参数和对应的权值；
确定针对单套点云的领域平滑约束的约束参数和对应的权值；
确定针对多套点云的分割一致性约束的约束参数和对应的权值；
利用与每个约束参数对应的权值对相应约束参数进行加权，并根据得到的加权结果构建三约束能量函数。
即通常可将三个加权后的约束参数作为该三约束函数的三个子项，通过加和的方式得到三约束能量函数的结果。同时，在分别确定每种约束参数的权值时，可以通过预设的权重设定规则、本领域技术人员的经验或实际应用场景下存在的特殊要求确定出其中任意两种约束参数的实际权值，并基于三权值之和为单位1的原则快速推导出第三种约束参数的权值。
进一步的，以确定针对单套点云的局部外观约束的约束参数为例，此处还结合局部外观约束原理给出一种具体实现方式：
提取每套目标点云中点的特征；
根据局部外观约束确定出同属于前景或背景的点之间的特征关系；
根据特征关系确定针对单套点云的局部外观约束的约束参数。
其中，点云中点的特征根据所采用的点扫描和采集方式的不同，通常可得到包含颜色、位置、反射强度信息在内的至少一种特征，而上述方案则是通过点的上述特征来构建局部外观约束的约束参数，本例中基于同属于前景或背景的点之间的特征关系来确定约束参数。具体的，在提取点的特征时，可利用高斯混合模型来得到尽可能多、准确的点的特征。
步骤303，将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解。
在步骤302的基础上，本步骤旨在由上述执行主体将初始标注信息作为初始值，通过多次的迭代优化从而得到三约束能量的最优解。该最优解表现为对目标点云中每个点的归属的准确描述。
在多次迭代求取最优解时，可以通过GraphCut优化策略或Belief propagation优化策略来进行，一种具体的迭代优化过程可简单描述为：
将初始标注信息作为初始值，按GraphCut优化策略或Belief propagation优化策对三约束能量函数的解进行首次迭代，得到当前的迭代结果；
将当前的迭代结果作为当前值，继续按GraphCut优化策略或Belief propagation优化策略对三约束能量函数的解进行下一次迭代，直至满足预设的迭代跳出条件时，将最终的迭代结果作为三约束能量函数的最优解。
其中，迭代跳出条件可根据本领域技术人员的经验或应用场景的实际情况自行设定，例如设置最大迭代次数、相邻两次迭代结果的差值大小、迭代结果的大小等等。
进一步的，为了尽可能的提升迭代效果、最优解对点归属确定的准确度，还可以将每次的迭代结果作为指导来更新局部外观约束模型的约束参数，当然，也可以为其它约束参数进行更新，使得在每次迭代时也能够基于更新后参数的能量函数求出更优的解。
步骤304，利用最优解分别对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息。
即利用最优解来对每个目标图结构中每个结点的归属进行标注，以标识结点属于前景还是属于背景。
步骤305，根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。
区别于流程200提供的基础实施例方案，本实施例通过步骤302和步骤303将三约束从理论层面具象至一个较为容易理解和处理的实际应用层面，借助能量函数的原理和特性构建了服从三约束的三约束能量函数，并通过将初始标注信息作为初始值求解出三约束能量函数的最优解，具有较强的可实现性。
可选的，考虑到直接对点云中数量多至数万、甚至数十万的点一一进行归属标注所带来的庞大运算量，本申请还提供了一种基于体素化和构建图结构的方法来提升运算效率，并借助图结构中点和边的特性同时实现边缘细节的优化和邻域平滑约束使用效果的提升。
基于上述思想，步骤301在一些实施例中可具体表现为：
从已标注点云中提取已标注超体素，并根据已标注超体素构建已标注图结构；
从已标注图结构中获取前景和/或背景的初始标注信息。
其中，三维立体世界下的体素相当于二维平面世界下的像素，像素在二维平面世界下表现为一个个小的方格，而体素则在三维立体世界下表现为一个个小的立方体，超体素则是特殊的体素。之所以通过体素化可提升计算效率，是因为借助扫描方式采集得到的点云数据中往往均包含数万个、甚至数十万个的点，要对每一个点的归属一一进行标注，实属一个非常巨大、艰难的工程。因此，通过体素化，可将处于单位1的体积上的所有点抽象为一个体素，即通过聚合的方式可显著减少需要对其归属进行标识的数量，从而以减少需要运算的点的数量的方式来提升运算效率。同时，通过将超体素作为结点构建出的服从图论原理的图结构，可基于图结构中点和边的概念更明显体现出各结点的相邻关系，各结点也便于拟合出较准确的边，在有利于提升边缘细节的同时，也便于邻域平滑约束的实现。
即该实施例由上述执行主体对已标注点云进行超体素提取，得到已标注超体素，并根据已标注超体素来构建已标注图结构，即通过体素化对大量点的聚合作用，可显著降低后续运算时点的数量，从而提升计算效率。后续即可直接从基于较少数量的超体素构建出的图结构中完成获取初始标注信息的目的。具体的，可将已标注点云中每个提取出的已标注超体素均作为一个结点来构建出该已标注图结构，其获取的初始标注信息即为每个结点属于前景还是背景的归属信息。
对应的，为使可表现为结点归属信息的初始标注信息发挥作用，也需要对目标点云也进行同样的处理，例如从包含已标注点云的至少两套目标点云中分别提取目标超体素，并根据从每套目标点云中提取出的目标超体素分别构建目标图结构。即通过同样的处理便于根据同类型的已标注图结构下结点的初始标注信息完成对目标图结构中结点的归属标注。
同样的，在具体采用上述进行体素化和构建图结构的优选方案时，上述步骤302中针对的单套点云和多套点云也将对应变更为相应的单套图结构中的结点和多套图结构中的结点，上述步骤304也将具体为：利用最优解分别对每个目标图结构均进行前景和/或背景的标注，得到目标标注信息。
为加深理解，本申请还结合一个具体应用场景，给出了一种具体的实现方案，请参见如图4所示的流程400，流程400对应的下述方案是针对该具体情景设计的：
利用从90°角度对目标场景扫描得到的一套已标注点云(即提供了对场景中的感兴趣物体的标注信息的点云)作为输入数据，完成对相同场景分别在45°和135°角度的两套未标注点云中点的归属标注，并将三套点云各自依据标注节点完成的感兴趣部分的分割结果作为结果输出，可通过如下步骤实现：
步骤401，从一套已标注点云中提取已标注超体素，并将已标注超体素作为结点构建已标注图结构；
即该已标注点云为在90°角度下用扫描仪获取的点云数据，并基于用户操作完成了感兴趣物体的标注，通过体素化的聚合效果，提取出的超体素将通过聚合算法继承原始点的归属信息，进而得到已标注超体素。
步骤402，从已标注图结构的结点中获取前景或背景的初始标注信息；
步骤403，从两套未标注点云中分别提取未标注超体素，并将每套未标注超体素作为结点为对应套未标注点云构建未标注图结构；
可具体将从已标注点云和未标注点云分别提取出的超体素作为结点，来分别为对应的点云构建出图结构G＝＜Xp,Y＞，其中，Y为相邻超体素组成的边集合。
步骤404，基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数；
具体的，本步骤将在马尔可夫随机场下定义融合三约束的二阶马尔可夫能量函数为：
其中，Xp为结点集合，Yp为邻域结点对集合，φs(·)、φn(·)和
分别为局部外观约束项、多套点云分割一致性约束项和领域平滑约束项，λc和λy为权重项，三个约束的权重项之和为单位1，
和
分别为局部外观约束项和多套点云分割一致性约束项中的模型参数，li为结点标识，di为结点的观测值(例如强度属性或者彩色属性)，部分参数的释义还请参见后续的理论论证部分的内容。下面对这三个约束下定义的数据项和平滑项分别阐述：
1)局部外观约束
由于同类物体的外观特征具有一致性特点，例如树叶一般都是绿色的，基于局部外观特征来定义局部外观约束项。在本发明中的局部外观特征包括而不限于位置/强度/颜色特征。特征提取方式包括而不限于以下方式：首先，用K-Means聚类法对超体素内标识为前/背景的点云特征分别聚类出若干簇，然后用高斯混合模型统计定义其参数为
其中，μ表示均值，Σ表示协方差，w为高斯混合模型的固有参数，m＝1,...,M，k＝1,...,K。其中，M为高斯混合模型的簇数，K为物体数目(本实施例中的点云中仅分为前景和背景两类)。
需要说明的是，在真实世界采集中一般通过激光雷达采集点云点，获取的点云属性只有强度信息，如果配合摄像头进行场景采集可以对激光点云进行颜色赋值，进而得到点云点的强度/颜色属性。在虚拟场景抽稀获取的点云中，根据虚拟场景属性，同样可以得到点云点的强度/颜色属性。不失一般性，本实施例使用的点云点属性包括而不限于：位置、位置/强度、位置/颜色、位置/颜色/强度，以位置/颜色/强度属性进行说明，其局部外观模型下数据项可定义为：
其中，G(·)为正态分布，定义为：
G(d|μ,Σ)＝exp[-0.5(d-μ)Σ-1(d-μ)]。
2)邻域平滑约束
在本发明中将平滑项定义为：
其中，δ(·)为delta函数：
w(li,lj|di,dj)为边缘权重，定义为超体素的强度/颜色/位置等特征之差，定义方式包括而不限于：w(li,lj|di,dj)＝exp(-||di-dj||2/βw)，βw为固定参数。
3)分割一致性约束
如同局部外观约束一样，本实施例仍采用外观特征来定义多套点云分割一致性约束。不同在于，该约束针对的是所有套目标点云，用邻域前景和背景点来分别聚类出若干簇，进而提取其高斯混合模型θφn，该约束项定义为：
其中，G(·)为正态分布，即G(d|μ,Σ)＝exp[-0.5(d-μ)Σ-1(d-μ)]。
步骤405，将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解；
针对上述定义的二维马尔可夫能量函数，可以通过GraphCut或者Beliefpropagation优化策略进行优化，最终对每个结点标识其归属于与前景对应的感兴趣物体还是与背景对应的非感兴趣物体。
为了进一步提升分割结果，在每次优化后可以根据分割结果再次更新局部外观模型，基于新的局部外观模型又可更新分割结果，可将上述给出的EM迭代思路的迭代次数设定为固定值，例如5次，或者根据前后两次迭代更新的局部外观模型参数之差来判断迭代是否终止。具体的，E-步骤和M-步骤分别为：
E-步骤：用于更新单套点云中的局部颜色模型；
M-步骤：根据局部外观模型，对上述定义的马尔可夫能量优化得到分割结果。
步骤406，利用最优解分别为三个目标图结构中的结点均进行前景和/或背景的标注，得到三套目标标注信息；
通过三约束能量函数的优化，其最优解不仅能够完成对未标注图结构中结点的归属标注，还可以对已标注图结构中结点的归属进行更准确的标注。
步骤407，根据与三套点云分别对应的目标标注信息，分割相应套点云中与前景对应的感兴趣部分。
为加深理解本申请为什么可以将点归属的确定问题转换为能量函数的优化问题，经通过以下理论论证过程进行说明：
由于现实场景中的物体外观多种多样，如果在每个点云结点处对场景单独标识会产生一些空洞或者噪声。由于物体一般都是连通的实体，相邻结点存在着相互联系，利用这种邻域结点信息有助提高分割质量。二维马尔可夫随机场模型较好地处理了结点的邻域约束关系，因此可在二维马尔科夫随机场下进行感兴趣物体分割。
在马尔科夫随机场下给定结点集合{i|i＝1,...,K}，定义结点的观察值为D＝{di|i＝1,...,K}，结点的分割标注为X＝{xi|i＝1,...,K}，可将结点的归属标识问题描述为最大后验概率估计问题，即：X*＝argmaxXp(X|D)。20世纪80年代Hammersley证明了马尔科夫随机场下的后验概率P(X|D)服从Gibbs分布，即：
P(X|D)＝1/Z*exp(-∑c∈CEc(Xc))；
其中，Z为数据归一项，C＝{{i},{i,j},{i,j,k},......}为马尔科夫随机场下的聚类团，Ec(Xc)为聚类团的势函数。用能量函数形式重新处理上述公式，可得到：
E(X)＝-log(P(X|D))-log(Z)＝∑c∈CEc(Xc)；
因此，结点归属的最准确确认问题就等价于最小能量函数的优化问题，即X*＝argminXE(X)。根据聚类团内的结点数可将能量函数分为高阶的和二阶的，其中，仅包括单结点和相邻两结点聚类团的能量函数为二阶的，很多视觉问题都是建立在二阶马尔科夫随机场下，相应的能量函数定义为：
E(X)＝∑iE1(xi)+∑(i,j)∈NbE2(xi,xj)；
其中，E1(xi)为数据项，E1(xi)＝-log(p(xi|di))，Nb为所有相邻结点组成的集合，该项只跟结点的观察值相关。如果马尔科夫模型存在潜在参数θ，数据项的定义还受潜在参数的影响，此时，E1(xi)＝-log(p(xi|d,θ))。E2(xi,xj)为平滑项，用于约束相邻结点的标识。研究人员提出了各种平滑项的定义，Potts函数和凸截断函数是两个最常用的平滑项函数。Potts函数定义为：E2(xi,xj)＝Kδ(xi≠xj)，其中的K为常量，δ(·)为delta函数；凸截断函数定义为：E2(xi,xj)＝Kmin(f(xi,xj),T)，其中的K为常量，T为截断值，f(·,·)为凸函数。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于分割点云的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于分割点云的装置500可以包括：初始标注信息获取单元501、三约束标注单元502、感兴趣部分分割单元503。其中，初始标注信息获取单元501，被配置成从已标注点云中获取前景和/或背景的初始标注信息；三约束标注单元502，被配置成在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据初始标注信息，对包含已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；感兴趣部分分割单元503，被配置成根据目标标注信息，分割每套目标点云中与前景对应的感兴趣部分。
在本实施例中，用于分割点云的装置500中：初始标注信息获取单元501、三约束标注单元502、感兴趣部分分割单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，初始标注信息获取单元可以进一步被配置成：从已标注点云中提取已标注超体素，并根据已标注超体素构建已标注图结构；从已标注图结构中获取前景和/或背景的初始标注信息；以及三约束标注单元可以进一步被配置成：从包含已标注点云的至少两套目标点云中分别提取目标超体素，并根据从每套目标点云提取出的目标超体素分别构建目标图结构；根据从已标注图结构中获取的前景和/或背景的初始标注信息，对每个目标图结构均进行前景和/或背景的标注。
在本实施例的一些可选的实现方式中，三约束标注单元502可以包括：三约束能量函数构建子单元，被配置成基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数；最优解求取子单元，被配置成将初始标注信息作为初始值，通过多次迭代优化得到三约束能量函数的最优解；标注子单元，被配置成利用最优解分别对每套目标点云进行前景和/或背景的标注。
在本实施例的一些可选的实现方式中，该三约束能量函数构建子单元可以进一步被配置成：第一约束参数及其权值确定模块，被配置成确定针对单套点云的局部外观约束的约束参数和对应的权值；第二约束参数及其权值确定模块，被配置成确定针对单套点云的领域平滑约束的约束参数和对应的权值；第三约束参数及其权值确定模块，被配置成确定针对多套点云的分割一致性约束的约束参数和对应的权值；加权处理模块，被配置成利用与每个约束参数对应的权值对相应约束参数进行加权，并根据得到的加权结果构建三约束能量函数。
在本实施例的一些可选的实现方式中，该第一约束参数及其权值确定模块可以包括：点特征提取子模块，被配置成提取每套目标点云中点的特征；特征关系确定子模块，被配置成根据局部外观约束确定出同属于前景和/或背景的点之间的特征关系；约束参数确定子模块，被配置成根据特征关系确定针对单套点云的局部外观约束的约束参数。
在本实施例的一些可选的实现方式中，该点特征提取子模块可以进一步被配置成：利用高斯混合模型提取每套目标点云中点的特征。
在本实施例的一些可选的实现方式中，该最优解求取子单元可以包括：优化迭代模块，被配置成将初始标注信息作为初始值，按照GraphCut优化策略或Beliefpropagation优化策略进行多次迭代优化，得到三约束能量函数的最优解。
在本实施例的一些可选的实现方式中，该优化迭代模块进一步被配置成：将初始标注信息作为初始值，按GraphCut优化策略或Belief propagation优化策对三约束能量函数的解进行首次迭代，得到当前的迭代结果；将当前的迭代结果作为当前值，继续按GraphCut优化策略或Belief propagation优化策略对三约束能量函数的解进行下次迭代，直至满足预设的迭代跳出条件时，将最终的迭代结果作为三约束能量函数的最优解。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的用于分割点云的装置通过新增对单套点云和多套点云的上述三约束考虑，在已标注点云的数量少于目标点云的数量时，可通过用户仅对少数套点云提供的标注信息，实现对非连续时空下、偏差较大的多套点云中相同感兴趣部分的分割，拓展了点云分割技术的适用场景；在已标注点云的数量与目标点云的数量一致时，也能够对初始的标注信息的分割精度进行改善。
根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。
如图6所示，是根据本申请实施例的用于分割点云的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于分割点云的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于分割点云的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于分割点云的方法对应的程序指令/模块(例如，附图5所示的初始标注信息获取单元501、三约束标注单元502、感兴趣部分分割单元503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于分割点云的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用于分割点云的电子设备在使用时所创建的各类数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于分割点云的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于分割点云的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生用于分割点云的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过新增对单套点云和多套点云的上述三约束考虑，在已标注点云的数量少于目标点云的数量时，可通过用户仅对少数套点云提供的标注信息，实现对非连续时空下、偏差较大的多套点云中相同感兴趣部分的分割，拓展了点云分割技术的适用场景；在已标注点云的数量与目标点云的数量一致时，也能够对初始的标注信息的分割精度进行改善。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (11)
1.一种用于分割点云的方法，包括：
从已标注点云中获取前景和/或背景的初始标注信息；
在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据所述初始标注信息，对包含所述已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；
根据所述目标标注信息，分割每套所述目标点云中与所述前景对应的感兴趣部分。
2.根据权利要求1所述的方法，其中，所述从已标注点云中获取前景和/或背景的初始标注信息，包括：
从所述已标注点云中提取已标注超体素，并根据所述已标注超体素构建已标注图结构；
从所述已标注图结构中获取前景和/或背景的初始标注信息；以及
所述根据所述初始标注信息，对包含所述已标注点云的至少两套目标点云均进行前景和/或背景的标注，包括：
从包含所述已标注点云的至少两套目标点云中分别提取目标超体素，并根据从每套所述目标点云提取出的目标超体素分别构建目标图结构；
根据从所述已标注图结构中获取的前景和/或背景的初始标注信息，对每个所述目标图结构均进行前景和/或背景的标注。
3.根据权利要求1或2所述的方法，其中，所述在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据所述初始标注信息，对包含所述已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息，包括：
基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数；
将所述初始标注信息作为初始值，通过多次迭代优化得到所述三约束能量函数的最优解；
利用所述最优解分别对每套所述目标点云进行前景和/或背景的标注。
4.根据权利要求3所述的方法，其中，所述基于针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，构建三约束能量函数，包括：
确定针对单套点云的局部外观约束的约束参数和对应的权值；
确定针对单套点云的领域平滑约束的约束参数和对应的权值；
确定针对多套点云的分割一致性约束的约束参数和对应的权值；
利用与每个约束参数对应的权值对相应约束参数进行加权，并根据得到的加权结果构建所述三约束能量函数。
5.根据权利要求4所述的方法，其中，所述确定所述针对单套点云的局部外观约束的约束参数，包括：
提取每套所述目标点云中点的特征；
根据局部外观约束确定出同属于前景或背景的点之间的特征关系；
根据所述特征关系确定所述针对单套点云的局部外观约束的约束参数。
6.根据权利要求5所述的方法，其中，所述提取每套所述目标点云中点的特征，包括：
利用高斯混合模型提取每套所述目标点云中点的特征。
7.根据权利要求3所述的方法，其中，所述将所述初始标注信息作为初始值，通过多次迭代优化得到所述三约束能量函数的最优解，包括：
将所述初始标注信息作为初始值，按照GraphCut优化策略或Belief propagation优化策略进行多次迭代优化，得到所述三约束能量函数的最优解。
8.根据权利要求7所述的方法，其中，所述将所述初始标注信息作为初始值，按照GraphCut或Belief propagation优化策略进行多次迭代优化，得到所述三约束能量函数的最优解，包括：
将所述初始标注信息作为初始值，按所述GraphCut优化策略或所述Beliefpropagation优化策对所述三约束能量函数的解进行首次迭代，得到当前的迭代结果；
将所述当前的迭代结果作为当前值，继续按所述GraphCut优化策略或所述Beliefpropagation优化策略对所述三约束能量函数的解进行下一次迭代，直至满足预设的迭代跳出条件时，将最终的迭代结果作为所述三约束能量函数的最优解。
9.一种用于分割点云的装置，包括
初始标注信息获取单元，被配置成从已标注点云中获取前景和/或背景的初始标注信息；
三约束标注单元，被配置成在针对单套点云的局部外观约束、针对单套点云的领域平滑约束和针对多套点云的分割一致性约束下，根据所述初始标注信息，对包含所述已标注点云的至少两套目标点云均进行前景和/或背景的标注，得到目标标注信息；
感兴趣部分分割单元，被配置成根据所述目标标注信息，分割每套所述目标点云中与所述前景对应的感兴趣部分。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的用于分割点云的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的用于分割点云的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010675862.XA CN111931584B (zh) | 2020-07-14 | 2020-07-14 | 用于分割点云的方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010675862.XA CN111931584B (zh) | 2020-07-14 | 2020-07-14 | 用于分割点云的方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931584A true CN111931584A (zh) | 2020-11-13 |
| CN111931584B CN111931584B (zh) | 2024-04-09 |
Family
ID=73312906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010675862.XA Active CN111931584B (zh) | 2020-07-14 | 2020-07-14 | 用于分割点云的方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931584B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102147812A (zh) * | 2011-03-31 | 2011-08-10 | 中国科学院自动化研究所 | 基于三维点云模型的地标建筑图像分类方法 |
| CN104766065A (zh) * | 2015-04-14 | 2015-07-08 | 中国科学院自动化研究所 | 基于多视角学习的鲁棒性前景检测方法 |
| US20180108146A1 (en) * | 2016-10-13 | 2018-04-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for annotating point cloud data |
| CN110120097A (zh) * | 2019-05-14 | 2019-08-13 | 南京林业大学 | 大场景机载点云语义建模方法 |
| CN110443899A (zh) * | 2018-05-02 | 2019-11-12 | 北京京东尚科信息技术有限公司 | 用于处理数据的方法和装置 |
| CN111402414A (zh) * | 2020-03-10 | 2020-07-10 | 北京京东叁佰陆拾度电子商务有限公司 | 一种点云地图构建方法、装置、设备和存储介质 |
-
2020
- 2020-07-14 CN CN202010675862.XA patent/CN111931584B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102147812A (zh) * | 2011-03-31 | 2011-08-10 | 中国科学院自动化研究所 | 基于三维点云模型的地标建筑图像分类方法 |
| CN104766065A (zh) * | 2015-04-14 | 2015-07-08 | 中国科学院自动化研究所 | 基于多视角学习的鲁棒性前景检测方法 |
| US20180108146A1 (en) * | 2016-10-13 | 2018-04-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for annotating point cloud data |
| CN110443899A (zh) * | 2018-05-02 | 2019-11-12 | 北京京东尚科信息技术有限公司 | 用于处理数据的方法和装置 |
| CN110120097A (zh) * | 2019-05-14 | 2019-08-13 | 南京林业大学 | 大场景机载点云语义建模方法 |
| CN111402414A (zh) * | 2020-03-10 | 2020-07-10 | 北京京东叁佰陆拾度电子商务有限公司 | 一种点云地图构建方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| HUAN LUO ET AL., IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING * |
| 刘继忠 等: "基于双边对称约束的复杂点云分割", 光电子激光 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931584B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7227292B2 (ja) | 仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
| CN111931591B (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
| US11972569B2 (en) | Segmenting objects in digital images utilizing a multi-object segmentation model framework | |
| CN111783646B (zh) | 行人再识别模型的训练方法、装置、设备和存储介质 | |
| JP7222040B2 (ja) | モデル訓練、画像処理方法及びデバイス、記憶媒体、プログラム製品 | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN111968203B (zh) | 动画驱动方法、装置、电子设备及存储介质 | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| CN112270711B (zh) | 模型训练以及姿态预测方法、装置、设备以及存储介质 | |
| Wang et al. | Substructure and boundary modeling for continuous action recognition | |
| CN111967297B (zh) | 图像的语义分割方法、装置、电子设备及介质 | |
| CN111815595A (zh) | 图像语义分割方法、装置、设备和可读存储介质 | |
| CN114677565B (zh) | 特征提取网络的训练方法和图像处理方法、装置 | |
| CN111553428A (zh) | 用于训练判别模型的方法、装置、设备及可读存储介质 | |
| KR102488517B1 (ko) | 헤어스타일 변환 방법, 장치, 기기 및 저장 매체 | |
| CN111291643A (zh) | 视频的多标签分类方法、装置、电子设备与存储介质 | |
| CN114386503A (zh) | 用于训练模型的方法和装置 | |
| CN111523467A (zh) | 人脸跟踪方法和装置 | |
| CN112016523B (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
| CN111832291B (zh) | 实体识别模型的生成方法、装置、电子设备及存储介质 | |
| Tu et al. | The complex action recognition via the correlated topic model | |
| CN112270760A (zh) | 一种定位方法、装置、电子设备及存储介质 | |
| CN111967481A (zh) | 视觉定位方法、装置、电子设备及存储介质 | |
| CN111784799A (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN111931584B (zh) | 用于分割点云的方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |