CN115272666A - 在线点云语义分割方法、装置、存储介质及电子设备 - Google Patents

在线点云语义分割方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115272666A
CN115272666A CN202210397489.5A CN202210397489A CN115272666A CN 115272666 A CN115272666 A CN 115272666A CN 202210397489 A CN202210397489 A CN 202210397489A CN 115272666 A CN115272666 A CN 115272666A
Authority
CN
China
Prior art keywords
point
point cloud
registration
semantic
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210397489.5A
Other languages
English (en)
Inventor
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202210397489.5A priority Critical patent/CN115272666A/zh
Publication of CN115272666A publication Critical patent/CN115272666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及人工智能领域，具体涉及一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备。该在线点云语义分割方法包括：实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。本公开的在线点云语义分割方法旨在在线地输出精确、稳定的点云语义分割结果。

Description

在线点云语义分割方法、装置、存储介质及电子设备
技术领域
本公开涉及人工智能领域，具体涉及一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备。
背景技术
近年来，人工智能(Artificial Intelligence，AI)技术的发展提升了计算机对三维数据的分析和理解能力，主流的研究工作选择从采集的大规模数据中学习模型来实现对三维场景的语义感知和理解，促进了自动驾驶和智能机器人的研究和应用。
即时的语义信息对机器人场景理解至关重要。目前，场景点云庞大的数据规模和复杂的几何结构分析过程导致传统点云分割算法难以在线化；而通过图像语义分割来逐帧处理视频流数据，无法有效建立多视角数据之间的联系，也无法获取空间几何特征，会导致重建点云的语义分割结果混乱；另外卷积神经网络在处理二维图像时经常出现结果不确定性，这就导致在线的语义分割容易在视角移动过程中产生大量歧义，出现语义分割不稳定的现象。因此，对于三维场景中在线的点云理解还有待研究。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备，旨在在线地输出精确、稳定的点云语义分割结果。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一方面，提供了在线点云语义分割方法，包括：实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
根据本公开的一些实施例，基于前述方案，所述基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集，包括：获取采集所述颜色深度图像的相机参数；针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。
根据本公开的一些实施例，基于前述方案，所述历史点云集包括已注册的历史注册点，所述通过点云注册将所述当前点云集与历史点云集进行顶点融合，包括：对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；判断是否存在待融合的当前注册点和历史注册点；在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
根据本公开的一些实施例，基于前述方案，所述判断是否存在待融合的当前注册点和历史注册点，包括：针对所述当前点云集一当前注册点，确定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。
根据本公开的一些实施例，基于前述方案，在所述对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点之后，所述方法还包括：获取所述当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息以用于所述顶点融合；其中，所述几何特征包括所述当前注册点相对于所述当前点云集的点云边界距离值、点云最低点距离值、法向量和曲率中的一种或多种。
根据本公开的一些实施例，基于前述方案，在存在待融合的当前注册点和历史注册点时，所述按照预设的融合规则将所述当前注册点和所述历史注册点进行融合，包括：在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时，将所述当前注册点的坐标数据和注册时间戳替换至所述历史注册点；在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时，将所述当前注册点的坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息替换至所述历史注册点。
根据本公开的一些实施例，基于前述方案，所述对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征，包括：采用第一方式对所述几何特征进行编码得到第一编码数据，以及采用第二方式对所述颜色数据进行编码得到第二编码数据；对所述第一编码数据和所述第二编码数据分别进行上采样得到融合结果；对所述融合结果进行解码得到所述语义特征。
根据本公开的一些实施例，基于前述方案，所述根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果，包括：针对一像素点，根据所述语义特征和该像素点对应当前注册点的时序语义状态利用循环神经网络中的卷积层提取时序特征；其中，所述循环神经网络包括两个长短期记忆网络；根据所述时序特征利用所述循环神经网络中的全连接层计算语义分数；基于所述语义分数进行预测得到该像素点的语义分割结果；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的语义分割结果。
根据本公开实施例的第二方面，提供了一种在线点云语义分割装置，包括：采集模块，用于实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；融合模块，用于通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；特征模块，用于对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；分割模块，用于根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
根据本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中的在线点云语义分割方法。
根据本公开实施例的第四方面，提供了一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中的在线点云语义分割方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一些实施例所提供的技术方案中，实时采集颜色深度图像，并通过点云转化和点云注册的方式将其和历史点云集进行顶点融合，从而根据顶点融合的结果得到图像中各像素点对应的几何特征和时序语义状态，之后对几何特征和颜色数据进行特征融合得到语义特征，进而根据语义特征和所述时序语义状态进行语义分割得到像素级的语义分割结果。基于本公开的在线点云语义分割方法，一方面能够实时采集颜色深度图像并进行点云集的顶点融合，以在线地输出各像素点的语义分割结果，适用于在线的场景语义理解情景中；另一方面，通通过顶点融合可以维护三维点云中每个顶点的时序语义特征，可以建立不同视角下帧间的链接关系来优化语义识别结果，提升语义分割的准确性和一致性，避免多帧图像之间视角孤立导致语义分割结果混乱的情况。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出本公开示例性实施例中一种在线点云语义分割方法的流程示意图；
图2示意性示出本公开示例性实施例中一种顶点融合方法的流程示意图；
图3示意性示出本公开示例性实施例中一种获取语义特征方法的流程示意图；
图4示意性示出本公开示例性实施例中一种多模态语义特征网络的结构示意图；
图5示意性示出本公开示例性实施例中一种在线点云语义分割装置的组成示意图；
图6示意性示出本公开示例性实施例中一种计算机可读存储介质的示意图；
图7示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
尽管图像域的深度学习研究已经非常成熟，图像内容理解仍受到各种的客观因素干扰，例如，相机视角下的形状缺失、物理空间的遮挡关系、物体距离过远、复杂的纹理细节以及变化的光照条件等。这些因素需要网络具备十分强大的参数学习能力并依赖于足够庞大的数据集构建，即便如此，也无法完全避免单帧语义分割不确定性，以及视角移动过程中频繁出现的语义波动，所以便需要将二维转向三维视角。
而现有技术中，点云的语义分割算法往往因为其自身复杂的几何处理和庞大的点云规模而需要消耗大量的计算资源，所以大多数面向三维点云的深度学习方法都是离线的，并且需要大量的预处理，也难以应用到在线情景中，但场景语义理解应用有大量的在线化需求。通过图像语义分割来逐帧处理视频流数据尽管可以获取即时语义信息，但是这种孤立看待各帧图像的方式无法有效建立多视角数据之间的联系，也无法获取空间几何特征，会导致重建点云的语义分割结果混乱。除此之外，卷积神经网络在处理二维图像时经常出现结果不确定性，这就导致在线的语义分割容易在视角移动过程中产生大量歧义，出现语义分割不稳定的现象。
因此，针对现有技术中存在的问题，本公开提供一种在线点云语义分割方法，本公开的语义预测伴随着三维点云重建同步进行，旨在输出精确、稳定的点云语义信息。
以下对本公开实施例的技术方案的实现细节进行详细阐述。
图1示意性示出本公开示例性实施例中一种在线点云语义分割方法的流程示意图。如图1所示，该在线点云语义分割方法包括步骤S101至步骤S104：
步骤S101，实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；
步骤S102，通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；
步骤S103，对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；
步骤S104，根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
在本公开的一些实施例所提供的技术方案中，实时采集颜色深度图像，并通过点云转化和点云注册的方式将其和历史点云集进行顶点融合，从而根据顶点融合的结果得到图像中各像素点对应的几何特征和时序语义状态，之后对几何特征和颜色数据进行特征融合得到语义特征，进而根据语义特征和所述时序语义状态进行语义分割得到像素级的语义分割结果。基于本公开的在线点云语义分割方法，一方面能够实时采集颜色深度图像并进行点云集的顶点融合，以在线地输出各像素点的语义分割结果，适用于在线的场景语义理解情景中；另一方面，通通过顶点融合可以维护三维点云中每个顶点的时序语义特征，可以建立不同视角下帧间的链接关系来优化语义识别结果，提升语义分割的准确性和一致性，避免多帧图像之间视角孤立导致语义分割结果混乱的情况。
下面，将结合附图及实施例对本示例实施方式中的在线点云语义分割方法的各个步骤进行更详细的说明。
在步骤S101中，实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集。
在本公开的一个实施例中，可以使用便携式传感器设备实时获取颜色深度图像，使得物体边界的界定不再局限于依赖颜色或光照条件。其中，颜色深度图像即RGB-D图像，其中包含了对齐的颜色信息通道C和深度信息通道D的一种数据形式。例如在物流配送领域，可以在AGV(Automated Guided Vehicle，自动导引运输车)正前方配备RGB-D深度相机，进而获取RGB-D图像。
利用可靠的深度信息来体现物体分布的空间位置关系，将二维图像转换成三维点云数据，以便于从几何形状的角度来进行语义预测。颜色深度图像中包括多个像素点，每一像素点都可以投影到三维空间中，因此，进一步地，需要将各帧颜色深度图像中各像素点进行点云转化以组成当前点云集。
进一步地，所述当前点云集包括所述颜色深度图像中各像素点对应的体素点，所述基于所述颜色深度图像中的深度数据进行点云转化得到当前点云集，包括：获取采集所述颜色深度图像的相机参数；针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。
具体而言，相机的内参矩阵
Figure BDA0003598000570000081
获取的颜色深度图像的图像域记为I，图像中像素点i的像素坐标为
Figure BDA0003598000570000082
颜色域信息(即颜色数据)为
Figure BDA0003598000570000083
深度域信息(即深度数据)为
Figure BDA0003598000570000084
通过内参矩阵和深度数据建立图像中二维像素坐标和三维相机坐标系下三维体素点的映射关系fK：
Figure BDA0003598000570000085
根据映射关系fK可以将当前帧颜色深度图像(记为当前帧)中该像素点i转化成体素点得到点云
Figure BDA0003598000570000086
具体的点云转化公式定义如公式(1)所示：
P(i)T＝fK(i)·(ui，vi，1)T (1)
式中，
Figure BDA0003598000570000087
fu和fv表示相机的焦距，(u0，v0)是相机主点的像素坐标。
在本公开的另一实施例，为了方便后续的信息读取，也可以根据映射关系fK将各像素点的颜色数据投影至各体素点中，进而得到彩色点云数据，即定义与像素点对应体素点
Figure BDA0003598000570000088
在步骤S102中，通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态。
在本公开的一个实施例中，由于本公开的方式运用于在线场景，所以会实时获取连续多帧的颜色深度图像，在处理多帧数据
Figure BDA0003598000570000089
时，可以采用步骤S101中的方法获取每帧图像对应的点云集合组成的
Figure BDA00035980005700000810
但每帧数据所处的空间互相独立，无法直接对点云集合
Figure BDA00035980005700000811
求并(即顶点融合)。这里可以利用SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)技术将多帧深度图像进行注册来估计相对位姿关系，以融合不同视角下的顶点，从而重建出大规模的场景点云用于语义分割。
进一步地，图2示意性示出本公开示例性实施例中一种顶点融合方法的流程示意图。如图2所示，该顶点融合方法包括步骤S201至步骤S203：
步骤S201，对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；
步骤S202，判断是否存在待融合的当前注册点和历史注册点；
步骤S203，在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
具体而言，在步骤S201中，对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点。
首先对当前颜色深度图像利用设备进行扫描以对其对应的体素点进行坐标转化完成注册，具体的转化关系如公式(2)所示：
Figure BDA0003598000570000091
式中，Tt为t时刻的全局位姿矩阵，
Figure BDA0003598000570000092
为体素点注册前的坐标，通过点云数据获得；xi，yi，zi为体素点注册后(即当前注册点)的坐标，为便于描述，当前注册点和历史注册点都可称之为顶点。
在本公开的一个实施例中，进行顶点融合还需要获取当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息。将设备扫描的注册时间戳记为tsp，几何特征记为feat，保存在点云上的时序语义状态记为status，记忆的点云语义信息记为label，因此，可以得到当前点云集经注册后的当前注册点
Figure BDA0003598000570000093
当前点云集便为
Figure BDA0003598000570000094
其中，为了避免单一视角对物体的形状描述不够全面、物体大小随距离变化、物体前后遮挡造成识别结果不稳定以及复杂的纹理和变化的环境光照导致颜色对形状的辨识度降低等问题，需要设计几何特征feat，几何特征具有与视角无关并且满足旋转不变性的几何特性，对语义分割至关重要。
在本公开中利用增量式点云注册来设计几何特征feat。几何特征包括当前注册点相对于当前点云集的点云边界的距离值、与点云最低点的距离值、法向量和曲率中的一种或多种。
具体地，对于注册后的当前点云集
Figure BDA0003598000570000101
每个当前注册点P(i)的几何特征可以定义为：feati＝(distancei，heighti，normal，curvature)。其中，distancei是指当前注册点相对于当前点云集的点云边界的距离值，即
Figure BDA0003598000570000102
例如与墙面的距离。heighti是指当前注册点相对于当前点云集的点云最低点的高度差，即heighti＝zi-min{z}，通常是距离地面的距离。normal和curvature指的是P(i)的法向和PCA曲率，这两者可以通过主成分分析进行估计。
需要注意的是，PCA曲率通常是采用K近邻点集(可以通过KD-树维护和高效检索)作为邻域来进行估计的。由于"KD-树”数据结构很难在线化，并且K近邻算法也很难在线，本方法对邻域进行动态维护，即每个点都会记录与其相邻的K个点，K是根据需求设定预设值，在点云注册过程中，根据图像的二维邻域结构来动态更新这K个点。本公开仅针对新注册的顶点或者邻域变化明显的顶点重新计算法向量和曲率，以节省计算量。
需要说明的是，这里注册后的点云数据不需要存储颜色信息，因为颜色作为图像域的输入特征已经凝练在status中。另外，顶点的颜色会由于视角不同或者光照条件不同而发现变化，并不是特别固定的数值。
另外，全局位姿矩阵可以通过SLAM(Simultaneous localization and mapping，同步定位与地图绘制)或重建算法求解，一般的数据集也会提供标准的位姿信息。三维重建过程中，相机位姿可以通过迭代最近点ICP(Iterative Closest Point)和闭环优化等方式求解。位姿求解算法可以采用现有技术实现，这里便不再赘述。
历史点云集的形成过程也是由连续多帧颜色深度图像增量式点云注册形成的，与上述过程相似。历史点云集包括了采集的历史颜色深度图像经注册和融合后的历史注册点，每一历史注册点同样包括坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息等点云数据。
随着三维重建的颜色深度图像帧数的增加，需要对点云进行顶点融合以减小点云规模，即需要根据历史注册点云集的点云数据和当前注册点的点云数据进行顶点融合。
在步骤S202中，判断是否存在待融合的当前注册点和历史注册点。
具体地，将t时刻之前的历史点云集记为
Figure BDA0003598000570000111
其中历史注册点
Figure BDA0003598000570000112
将当前帧注册后的当前点云集记为
Figure BDA0003598000570000113
其中当前注册点
Figure BDA0003598000570000114
定义好融合规则
Figure BDA0003598000570000115
如果以下条件成立，如公式(3)所示，则将顶点Va和顶点Vb进行融合。
Grid(xa，ya，za)＝Grid(xb，yb，zb) (3)
式中，
Figure BDA0003598000570000116
其中∈为体素单元大小，是一个预设值，Grid表示体素格点。
在本公开的一个实施例中，在点云融合时需要进行频繁的顶点访问来判断是否存在待融合的当前注册点和历史注册点。
已融合的点云集中每个顶点V对应的Grid(x，y，z)都是唯一的，因为当Grid(x，y，z)相同时就需要进行融合，所以可以将
Figure BDA0003598000570000117
作为顶点V的键值进行搜索。
通常情况下，点云相邻关系查询通常需要使用"KD-树”或者“八叉树”的数据结构，采用传统的哈希算法进行顶点访问。但这类数据结构一般不支持在线动态的构建，而本公开的应用环境是在线的，需要一种适应在线处理的快速访存结构。并且随着图像数据的增多，点云规模N可达数百万甚至千万，是一个非常大的数字，庞大的规模会导致高频的哈希碰撞，导致哈希算法性能下降，从而降低查询效率。因此需要设计合理的访问策略以减小时间复杂度。
以z轴为例，一般用来描述点所在场景中的高度(假设最大值为H)，访存用到的键值仅跟
Figure BDA0003598000570000118
有关，则键值具有如下关系，见公式(4)：
Figure BDA0003598000570000119
如果(h，∈)＝(5m，2cm)，那么
Figure BDA00035980005700001110
不会超过250种取值可能。针对这个特点，本公开从点云的三个维度各自独立出发，建立三重嵌套哈希结构进行访存。
进一步地，在本公开的一个实施例中，所述判断是否存在待融合的当前注册点和历史注册点，包括：针对所述当前点云集一当前注册点，定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。
举例来说，按照x轴、y轴到z轴的顺序进行搜索，各坐标轴的位置信息为
Figure BDA0003598000570000121
具体访存过程如下：
Search(Tree，(x，y，z))＝Search(SubTree(keyx)，(y，z))
Search(SubTree(keyx)，(y，z))＝Search(SubTree(keyx，keyy)，z)
Search(SubTree(keyx，keyy)，z)＝Node(keyx，keyy，keyz)
其中，每层查询都可以通过红黑树结构来维护，每次查询、修改、添加操作的时间复杂度上限为O(log H)。由于H＜＜N，嵌套二叉树可以大量减少哈希碰撞，提高算法效率，并且该结构可以支持并行操作，这对点云注册过程引起大量节点变化十分有利。
在步骤S203中，在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
在本公开的一个实施例中，在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时，将所述当前注册点的坐标数据和注册时间戳替换至所述历史注册点；在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时，将所述当前注册点的坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息替换至所述历史注册点。
具体地，当顶点Va和顶点Vb的时间戳满足(tspa＜tspb)∩(tspb-tspa＜10s)时，此时可以保留新的坐标数据和注册时间戳，而复用原来的几何特征、时序语义状态以及点云语义信息，即融合后的顶点为Vc＝(xb，yb，zb，tspb，feata，statusa，labela)用来代替Va；而不满足该条件时，将其视为全新的点来处理，即将坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息全部替换。这样不仅可以节省几何特征的计算。
至此，完成连续多帧颜色深度图像的顶点注册和融合，以构建图像与点云之间的映射关系和通信机制，即图像中的各像素点都可以映射至历史点云集中的注册点，能够对应地上传或下载相应的特征数据。
在步骤S103中，对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征。
在本公开的一个实施例中，需要将图像颜色域特征(视角相关)和从点云上下载的几何特征(视角无关)进行特征融合。
进一步地，图3示意性示出本公开示例性实施例中一种获取语义特征方法的流程示意图。如图3所示，该获取语义特征方法包括步骤S301至步骤S303：
步骤S301，采用第一方式对所述几何特征进行编码得到第一编码数据，以及采用第二方式对所述颜色数据进行编码得到第二编码数据；
步骤S302，对所述第一编码数据和所述第二编码数据分别进行上采样得到融合结果；
步骤S303，对所述融合结果进行解码得到所述语义特征。
具体来说，由于点云上的具有旋转不变性的几何特征，与颜色特征的数据分布规律也不一致，无法进行预先训练，所以本公开分别为颜色数据和几何特征设计两套不同的编码器。
在设计编码器时可以使用进行过参数训练的卷积神经网络模型，之后再进行适当的调优，进而可以节约训练时间可提高网络性能。举例而言，可以采用resnet101框架训练得到几何编码器，利用几何编码器对几何特征进行编码；以及采用预先训练好的resnet152进行微调训练得到颜色编码器，利用颜色编码器对颜色数据进行编码；接着对编码后的特征分别进行上采样，进行数据对齐和融合；最后共同解码生成该颜色深度图像对应图像域的语义特征，记为featimg。
需要注意的是，深度通道和颜色通道可以不是对齐的(分辨率不一致)，直接通过插值的方式对齐两种数据是可行的，但是无法最优化利用预先训练好的颜色特征编解码器。
在步骤S104中，根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
在本公开的一个实施例中，可以基于循环神经网络构建多模态语义特征网络来实现对语义的分割。进一步地，所述根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果，包括：针对一像素点，根据所述语义特征和该像素点对应当前注册点的时序语义状态利用循环神经网络中的卷积层提取时序特征；其中，所述循环神经网络包括两个长短期记忆网络；根据所述时序特征利用所述循环神经网络中的全连接层计算语义分数；基于所述语义分数进行预测得到该像素点的语义分割结果；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的语义分割结果。
具体地，对于采集的当前帧颜色深度图像的像素点为I(i)＝(ui，vi)，其对应的点云体素点注册后为V(i)，图像域的语义特征为featimg，时序状态值为statusi，那么语义特征的时序更新如下：
(featused，statusi)＝RNN(featimg，statusi)
Scorefused＝FC(featused)
labeli＝argmax{Scorefused}
其中，RNN为循环神经网络，FC为时序特征featused和语义分数Score间的全连接层，预测的labeli作为像素I(i)的语义分割结果。
图4示意性示出本公开示例性实施例中一种多模态语义特征网络的结构示意图。通过多模态语义特征网络，以连续的RGB-D图像和深度相机位姿作为输入，在线地输出像素级别的语义信息以及三维点云的语义分割结果。
如图4所示，该多模态语义特征网络中首先通过RGB-D图像获取深度数据和颜色数据，并利用深度数据进行注册和融合以构建三维点云来建立图像和点云之间的链接关系；然后通过链接关系将点云上的几何特征下载到当前二维图像中，联合图像颜色域特征(视角相关)和从点云上下载的几何特征(视角无关)进行多模态的语义特征学习，利用几何编码器40和颜色编码器41分别对几何特征和颜色数据进行编码并对编码特征上采样进行数据对齐和融合以共同解码生成语义特征；最后再次利用链接关系通过循环神经网络维护点云注册过程中的时序语义状态，并通过上传下载机制优化最终的点云语义。
其中，401、403、404、405、410、411、412、413、421、422、424、425方块为卷积层，由Conv+BN+ReLU级联的形式组成；402和423方块为池化层；406方块为空洞空间卷积池化金字塔层ASPP(Atrous Spatial Pyramid Pooling)；428方块为循环卷积神经网络RNN(Recurrent Neural Network)，其中循环神经网络由两个长短期记忆网络(Long Short-Term Memory，LSTM)构成；427和429方块用来记录的是点云时序语义状态该状态会随着顶点融合而发生变化；426和430为语义特征；431为语义分割结果。
基于上述方法，本公开为点云时域上的语义特征变化设计了循环神经网络来记忆时序状态特征，点云融合优化了几何特征提取的计算量，并且可以维护每个顶点在不同视角下的时序特征序列，以建立不同视角下帧间的链接关系来优化语义识别结果，提升语义分割的准确性和一致性。
图5示意性示出本公开示例性实施例中一种在线点云语义分割装置的组成示意图，如图5所示，该在线点云语义分割装置500可以包括采集模块501、融合模块502以及特征模块503。其中：
采集模块501，用于实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；
融合模块502，用于通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；
特征模块503，用于对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；
分割模块504，用于根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
根据本公开的示例性实施例，所述采集模块501还用于获取采集所述颜色深度图像的相机参数；针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。
根据本公开的示例性实施例，所述历史点云集包括已注册的历史注册点，所述融合模块502还包括注册单元、判断单元以及融合单元，所述注册单元用于对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；所述判断单元用于判断是否存在待融合的当前注册点和历史注册点；所述融合单元用于在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
根据本公开的示例性实施例，所述判断单元用于针对所述当前点云集一当前注册点，确定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。
根据本公开的示例性实施例，所述融合模块502还包括获取单元，用于获取所述当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息以用于所述顶点融合；其中，所述几何特征包括所述当前注册点相对于所述当前点云集的点云边界距离值、点云最低点距离值、法向量和曲率中的一种或多种。
根据本公开的示例性实施例，所述融合单元用于在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时，将所述当前注册点的坐标数据和注册时间戳替换至所述历史注册点；在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时，将所述当前注册点的坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息替换至所述历史注册点。
根据本公开的示例性实施例，所述特征模块503用于采用第一方式对所述几何特征进行编码得到第一编码数据，以及采用第二方式对所述颜色数据进行编码得到第二编码数据；对所述第一编码数据和所述第二编码数据分别进行上采样得到融合结果；对所述融合结果进行解码得到所述语义特征。
根据本公开的示例性实施例，所述分割模块504用于针对一像素点，根据所述语义特征和该像素点对应当前注册点的时序语义状态利用循环神经网络中的卷积层提取时序特征；其中，所述循环神经网络包括两个长短期记忆网络；根据所述时序特征利用所述循环神经网络中的全连接层计算语义分数；基于所述语义分数进行预测得到该像素点的语义分割结果；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的语义分割结果。
上述的在线点云语义分割装置500中各模块的具体细节已经在对应的在线点云语义分割方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的存储介质。图6示意性示出本公开示例性实施例中一种计算机可读存储介质的示意图，如图6所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如手机上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。图7示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。
需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(Central Processing Unit，CPU)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从存储部分708加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本公开的系统中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种在线点云语义分割方法，其特征在于，包括：
实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；
通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；
对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；
根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
2.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集，包括：
获取采集所述颜色深度图像的相机参数；
针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；
遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。
3.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述历史点云集包括已注册的历史注册点，所述通过点云注册将所述当前点云集与历史点云集进行顶点融合，包括：
对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；
判断是否存在待融合的当前注册点和历史注册点；
在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
4.根据权利要求3所述的在线点云语义分割方法，其特征在于，所述判断是否存在待融合的当前注册点和历史注册点，包括：
针对所述当前点云集一当前注册点，确定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；
从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；
在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；
在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。
5.根据权利要求3所述的在线点云语义分割方法，其特征在于，在所述对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点之后，所述方法还包括：
获取所述当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息以用于所述顶点融合；其中，所述几何特征包括所述当前注册点相对于所述当前点云集的点云边界距离值、点云最低点距离值、法向量和曲率中的一种或多种。
6.根据权利要求5所述的在线点云语义分割方法，其特征在于，在存在待融合的当前注册点和历史注册点时，所述按照预设的融合规则将所述当前注册点和所述历史注册点进行融合，包括：
在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时，将所述当前注册点的坐标数据和注册时间戳替换至所述历史注册点；
在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时，将所述当前注册点的坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息替换至所述历史注册点。
7.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征，包括：
采用第一方式对所述几何特征进行编码得到第一编码数据，以及采用第二方式对所述颜色数据进行编码得到第二编码数据；
对所述第一编码数据和所述第二编码数据分别进行上采样得到融合结果；
对所述融合结果进行解码得到所述语义特征。
8.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果，包括：
针对一像素点，根据所述语义特征和该像素点对应当前注册点的时序语义状态利用循环神经网络中的卷积层提取时序特征；其中，所述循环神经网络包括两个长短期记忆网络；
根据所述时序特征利用所述循环神经网络中的全连接层计算语义分数；
基于所述语义分数进行预测得到该像素点的语义分割结果；
遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的语义分割结果。
9.一种在线点云语义分割装置，其特征在于，包括：
采集模块，用于实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；
融合模块，用于通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；
特征模块，用于对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；
分割模块，用于根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
10.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至9任一项所述的在线点云语义分割方法。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9任一项所述的在线点云语义分割方法。
CN202210397489.5A 2022-04-15 2022-04-15 在线点云语义分割方法、装置、存储介质及电子设备 Pending CN115272666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397489.5A CN115272666A (zh) 2022-04-15 2022-04-15 在线点云语义分割方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397489.5A CN115272666A (zh) 2022-04-15 2022-04-15 在线点云语义分割方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115272666A true CN115272666A (zh) 2022-11-01

Family

ID=83758350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397489.5A Pending CN115272666A (zh) 2022-04-15 2022-04-15 在线点云语义分割方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115272666A (zh)

Similar Documents

Publication Publication Date Title
Wiesmann et al. Deep compression for dense point cloud maps
Wang et al. Multi-view stereo in the deep learning era: A comprehensive review
Gu et al. DenseLiDAR: A real-time pseudo dense depth guided depth completion network
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN113487664B (zh) 三维场景感知方法、装置、电子设备、机器人及介质
CN113378756B (zh) 一种三维人体语义分割方法、终端设备及存储介质
Rosu et al. Semi-supervised semantic mapping through label propagation with semantic texture meshes
CN114723583A (zh) 基于深度学习的非结构化电力大数据分析方法
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
Mihajlovic et al. Deepsurfels: Learning online appearance fusion
Wang et al. Depth estimation of supervised monocular images based on semantic segmentation
Fathy et al. A novel no-sensors 3D model reconstruction from monocular video frames for a dynamic environment
Jiang et al. Depth-neus: Neural implicit surfaces learning for multi-view reconstruction based on depth information optimization
CN115272666A (zh) 在线点云语义分割方法、装置、存储介质及电子设备
Šlapak et al. Neural radiance fields in the industrial and robotics domain: applications, research opportunities and use cases
KR20240012426A (ko) 비제약 이미지 안정화
CN114022602A (zh) 一种基于渲染的三维物体检测器训练方法
Chu et al. Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors
Salah et al. Summarizing large scale 3D mesh for urban navigation
CN117409209B (zh) 一种多任务感知的三维场景图要素分割与关系推理方法
Xie et al. Research on self-supervised depth estimation algorithm of driving scene based on monocular vision
Xu et al. Dynamic voxel grid optimization for high-fidelity rgb-d supervised surface reconstruction
CN117132744B (zh) 虚拟场景的构建方法、装置、介质及电子设备
CN117078982B (zh) 基于深度学习的大倾角立体像对准密集特征匹配方法
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination