CN113557528A - 生成点云补全网络及点云数据处理 - Google Patents

生成点云补全网络及点云数据处理 Download PDF

Info

Publication number
CN113557528A
CN113557528A CN202180001684.5A CN202180001684A CN113557528A CN 113557528 A CN113557528 A CN 113557528A CN 202180001684 A CN202180001684 A CN 202180001684A CN 113557528 A CN113557528 A CN 113557528A
Authority
CN
China
Prior art keywords
point cloud
cloud data
real
processed
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180001684.5A
Other languages
English (en)
Other versions
CN113557528B (zh
Inventor
张俊哲
陈心怡
蔡中昂
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SG10202103264XA external-priority patent/SG10202103264XA/en
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of CN113557528A publication Critical patent/CN113557528A/zh
Application granted granted Critical
Publication of CN113557528B publication Critical patent/CN113557528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例提供一种生成点云补全网络及点云数据处理方法、装置和系统。所述方法包括，将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；获取从物理空间采集的针对真实对象的真实点云数据；对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。

Description

生成点云补全网络及点云数据处理
相关申请的交叉引用
本申请要求2021年3月30日递交的、题为“生成点云补全网络及点云数据处理”、申请号为10202103264X的新加坡专利申请，其全部内容通过引用并入本文。
技术领域
本公开涉及计算机视觉技术领域，尤其涉及生成点云补全网络及点云数据处理方法、装置和系统。
背景技术
点云补全用于修补有所缺失的点云数据(即残缺点云数据)，从残缺点云数据出发估计完整点云数据。点云补全在自动驾驶、机器人导航等多个领域有着诸多应用。因此，有必要对点云补全网络的生成方式进行改进，以提高点云补全网络的准确性。
发明内容
本公开提供一种生成点云补全网络及点云数据处理方法、装置和系统。
根据本公开实施例的第一方面，提供一种生成点云补全网络的方法，所述方法包括：将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；获取从物理空间采集的针对真实对象的真实点云数据；对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
在一些实施例中，所述方法还包括：获取第三点云数据；采用所述第二点云补全网络对所述第三点云数据进行补全，得到第四点云数据。
在一些实施例中，所述方法还包括：获取点云采集装置从物理空间中采集的初始点云数据；对所述初始点云数据进行点云分割，以获取所述第三点云数据。
在一些实施例中，所述方法还包括：对多帧第四点云数据进行关联处理。
在一些实施例中，所述从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点，包括：从所述第一点云数据中选择与所述真实点距离最近的预设数量个点，作为所述真实点的邻近点。
在一些实施例中，所述基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据，包括：对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集，得到所述第二点云数据。
在一些实施例中，所述方法还包括：基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
在一些实施例中，所述方法还包括：获取所述第一点云数据中的多个点云块；分别确定各个点云块中点的分布特征；基于所述各个点云块中点的分布特征，建立损失函数；基于所述损失函数对经训练的所述第二点云补全网络进行优化处理。
在一些实施例中，所述方法还包括：基于以下方式获取所述隐空间向量：从隐空间中采样多个初始隐空间向量；分别获取所述第一点云补全网络基于各个初始隐空间向量生成的点云数据；针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；基于各个初始隐空间向量的目标函数，从各个初始隐空间向量中确定所述隐空间向量。
根据本公开实施例的第二方面，提供一种点云数据处理方法，所述方法包括：获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，执行以下至少任一操作：确定所述游戏参与者在所述游戏区域内放置的游戏积分卡；确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述点云补全网络包括第三点云补全网络和第四点云补全网络，所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
根据本公开实施例的第三方面，提供一种生成点云补全网络的装置，所述装置包括：输入模块，用于将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；第一获取模块，用于获取从物理空间采集的针对真实对象的真实点云数据；选择模块，用于对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；生成模块，用于基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；调整模块，用于根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
在一些实施例中，所述装置还包括：第三点云获取装置，用于获取第三点云数据；补全装置，用于采用所述第二点云补全网络对所述第三点云数据进行补全，得到第四点云数据。
在一些实施例中，所述装置还包括：初始点云获取装置，用于获取点云采集装置从物理空间中采集的初始点云数据；点云分割装置，用于对所述初始点云数据进行点云分割，以获取所述第三点云数据。
在一些实施例中，所述装置还包括：关联处理装置，用于对多帧第四点云数据进行关联处理。
在一些实施例中，所述选择模块用于：从所述第一点云数据中选择与所述真实点距离最近的预设数量个点，作为所述真实点的邻近点。
在一些实施例中，所述生成模块用于：对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集，得到所述第二点云数据。
在一些实施例中，所述装置还包括：预训练模块，用于基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
在一些实施例中，所述装置还包括：点云块获取模块，用于获取所述第一点云数据中的多个点云块；特征确定模块，用于分别确定各个点云块中点的分布特征；损失函数建立模块，用于基于所述各个点云块中点的分布特征，建立损失函数；优化处理模块，用于基于所述损失函数对经训练的所述第二点云补全网络进行优化处理。
在一些实施例中，所述装置还包括：采样模块，用于从隐空间中采样多个初始隐空间向量；第四获取模块，用于分别获取所述第一点云补全网络基于各个初始隐空间向量生成的点云数据；目标函数确定模块，用于针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；隐空间向量确定模块，用于基于各个初始隐空间向量的目标函数，从各个初始隐空间向量中确定所述隐空间向量。
根据本公开实施例的第四方面，提供一种点云数据处理装置，所述装置包括：第二获取模块，用于获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；第三获取模块，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；关联处理模块，用于对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述装置还包括：游戏积分卡确定模块，用于基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏积分卡。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述装置还包括：动作确定模块，用于确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述第二获取模块包括：初始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；点云分割单元，用于对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述点云补全网络包括第三点云补全网络和第四点云补全网络，所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
根据本公开实施例的第五方面，提供一种点云数据处理系统，所述系统包括：点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；以及处理单元，与所述点云采集装置通信连接，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据，并对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第七方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
根据本公开实施例的第八方面，提供一种计算机程序，包括计算机可读代码，当所述代码在电子设备中执行时，促使所述电子设备中的处理器执行所述程序时实现任一实施例所述的方法。
本公开实施例在训练得到第一点云补全网络之后，在第一点云补全网络基于隐空间向量获取的第一点云数据中，选取与真实点云数据中的真实点邻近的邻近点生成第二点云数据，由于生成第二点云数据的过程中依据的是第一点云数据中各个点与真实点云数据中的真实点的相对距离是否邻近，而不是第一点云数据中各个点与真实点云数据中的真实点的绝对距离，因此，能够提高生成第二点云数据的准确性，进而能够提高基于该第二点云数据调整得到的第二点云补全网络进行点云补全的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是一些实施例的残缺点云数据的示意图。
图2是本公开实施例的生成点云补全网络的方法的流程图。
图3是本公开实施例的退化处理过程的示意图。
图4是本公开实施例的点云补全网络的训练和优化过程的示意图。
图5是本公开实施例的点云数据中点的分布特征的示意图。
图6是点云补全网络输出的多种候选完整点云数据的示意图。
图7是本公开实施例的点云数据的处理方法的流程图。
图8是本公开实施例的生成点云补全网络的装置的框图。
图9是本公开实施例的点云数据的处理装置的框图。
图10是本公开实施例的点云数据的处理系统的示意图。
图11是本公开实施例的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
在实际应用中，往往需要采集点云数据，并对采集的点云数据进行一些处理。例如，在自动驾驶领域，会在自动行驶的车辆上安装激光雷达，利用激光雷达采集车辆周围的点云数据，并对点云数据进行分析，以确定车辆周围的障碍物的移动速度，从而有效地对车辆进行路径规划。又例如，在机器人导航领域，可以采集机器人周围环境的点云数据，并基于从点云数据中识别出的各种对象，对机器人进行定位。再例如，在一些游戏场景下，可以采集游戏区域内的点云数据，并对从点云数据中识别出的各种目标(例如，游戏参与者与游戏对象)进行关联处理。
然而，在真实场景中，由于遮挡等原因，采集到的三维点云往往并非完整点云数据，而是残缺点云数据。例如，对于一个三维物体，其背离点云采集装置的表面会被面对点云采集装置的表面所遮挡，导致背离点云采集装置的表面的点云无法采集到。即便是平面物体，由于场景中往往存在多个交叠的物体，因此，一个物体的表面可能被另一个物体的表面遮挡，导致采集到的点云数据不完整。除此之外，残缺点云产生的原因还有其他多种原因，采集到的残缺点云的形式也是多种多样的。如图1所示，是一些实施例的物理空间中采集的残缺点云及其对应的完整点云的示意图。
应当说明的是，本公开中的残缺点云数据是指不能代表对象的完整形状的点云数据，例如，在一个对象包括一个或多个表面(surface)的情况下，其中的部分表面或者一个表面的部分区域可能被遮挡，采集到的点云数据中不包括被遮挡的表面或区域的点，从而使得采集到的点云数据无法表示被遮挡的表面或区域对应的形状。其中，所述多个表面朝向不同方向，或者相互之间存在朝向突变。相应地，完整点云数据是指能够代表对象的完整形状的点云数据。例如，在一个对象包括一个或多个表面的情况下，点云数据中包括各个表面的点，从而点云数据能够完整地表示各个表面的形状。
基于残缺点云进行的各种操作往往难以达到预期的效果。因此，有必要对残缺点云数据进行点云补全，以获取残缺点云数据对应的完整点云数据。在相关技术中，基于样本数据集上的完整点云数据对点云补全网络进行训练，使得点云采集网络能够基于完整点云数据学习到较好的空间几何的先验信息，再由经过训练的点云补全网络基于隐空间向量输出完整点云数据，基于输出的完整点云数据退化处理得到的点云数据与从物理空间采集的针对真实对象的真实点云数据对经过训练的点云补全网络进行优化处理，从而实现通过无监督的方式获取点云补全网络。
其中，退化处理是指将经过训练的点云补全网络输出的完整点云数据转化为与真实点云数据对应的残缺点云数据，即，确定输出的完整点云数据中与真实点云数据中对应的点。由于点云数据具有无序性和无结构性，相关技术中的转化方法一般是将物理空间分为多个体素(voxel)，每个体素的大小预先设定。如果某个体素中包括真实点云数据中的点，则将完整点云数据在该体素内的所有点确定为与真实点云数据对应的残缺点云数据中的点。然而，这种转化方式对体素的大小比较敏感，在体素大小过大的情况下，转化得到的残缺点云数据中的点与真实点云数据中的点差异较大，即转化的准确度较低。目前暂未有较好的方式来准确地确定体素的大小。
基于此，本公开提供一种生成点云补全网络的方法，如图2所示，所述方法包括：
步骤201：将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；
步骤202：获取从物理空间采集的针对真实对象的真实点云数据；
步骤203：对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；
步骤204：基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；
步骤205：根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
本公开实施例在训练得到第一点云补全网络之后，在第一点云补全网络基于隐空间向量获取的第一点云数据中，选取与真实点云数据中的真实点邻近的邻近点生成第二点云数据。其中，真实点云数据可以是由点云采集装置对真实对象进行三维扫描获得的点云数据，由于遮挡、点云采集装置的点采样精度等中的至少一个因素的影响，真实点云数据通常是残缺的点云数据。由于生成第二点云数据的过程中依据的是第一点云数据中各个点与真实点云数据中的真实点的相对距离是否邻近，而不是第一点云数据中各个点与真实点云数据中的真实点的绝对距离，避免了采用体素来确定两个点云数据中的对应点时，难以准确设置体素尺寸的问题，因此，能够提高生成第二点云数据的准确性，进而能够提高基于该第二点云数据调整得到的第二点云补全网络进行点云补全的准确性。
在步骤201中，第二点云补全网络例如可以是tree-GAN或者r-GAN等任意种类的生成对抗网络(Generative Adversarial Networks，GAN)中的生成器。所述第一点云补全网络可以仅采用完整点云数据作为训练数据训练得到，而无需采集完整点云数据与残缺点云数据构成的点云对作为训练数据进行训练。由于在真实场景下往往难以采集到完整点云数据，因此，本公开所采用的作为训练数据的所述完整点云数据可以是人为生成的，例如，是ShapeNet等样本数据集上的完整点云数据。通过训练，使得第一点云补全网络能够基于完整点云数据学习到较好的空间几何的先验信息。
可以从多个初始隐空间向量中选取最优者作为所述隐空间向量(称为目标隐空间向量)。所述多个初始隐空间向量可以是从隐空间中采样得到的，采样方式可以是随机采样。在一些实施例中，隐空间可以是一个96维的空间，每次采样可以随机生成一个96维的向量，即初始隐空间向量。针对每个初始隐空间向量，可以获取第一点云补全网络基于所述初始隐空间向量生成的点云数据，基于所述初始隐空间向量对应的点云数据以及真实点云数据，确定所述初始隐空间向量的目标函数。然后，基于各个初始隐空间向量的目标函数，从所述各个初始隐空间向量中确定所述目标隐空间向量。通过上述方式，能够从多个初始隐空间向量中选取最优的目标隐空间向量用于点云补全网络的优化过程，能够加快点云补全网络的优化速度，提高优化效率。
可以采用所述初始隐空间向量对应的点云数据与所述真实点云数据之间的距离作为所述目标函数。在一些实施例中，可以确定所述初始隐空间向量对应的残缺点云与所述真实点云数据之间的chamfer距离(倒角距离)和特征距离，将所述chamfer距离和特征距离之和确定为所述目标函数。其中，chamfer距离和特征距离如下：
Figure GDA0003270370780000121
LFD＝||D(xp)-D(xin)||1；
式中，LCD和LFD分别表示chamfer距离和特征距离，xp表示初始隐空间向量对应的点云数据经退化后得到的点云数据，xin表示真实点云数据，p和q分别表示xp中的点与xin中的点，||·||1和||·||2分别表示1范数和2范数，D(xp)和D(xin)分别表示xp和xin的特征向量。以上仅为对目标函数的举例说明，除了上述目标函数之外，根据实际需要，也可以采用其他类型的目标函数，此处不再赘述。
在获取各个初始隐空间向量对应的目标函数之后，可以将目标函数最小的初始隐空间向量确定为所述目标隐空间向量。然后，获取目标隐空间向量对应的目标函数，并基于目标隐空间向量对应的目标函数对点云补全网络的网络参数进行优化处理。优化方式包括但不限于采用梯度下降法。在优化过程中，可以同时对目标隐空间向量以及第一点云补全网络的网络参数进行优化处理，以使目标隐空间向量对应的目标函数最小化，从而得到第二点云补全网络。
在步骤202中，可以通过设置在物理空间中的点云采集装置(例如，激光雷达、深度相机等)采集针对真实对象的真实点云数据。所述真实对象可以是任意类别的对象，例如，人物、动物、植物、桌子、椅子、交通工具、家具等。在一些实施例中，所述点云采集装置的数量可以是多个，通过对多个点云采集装置采集的点云数据进行融合，从而得到针对真实对象的真实点云数据。在另一些实施例中，点云采集装置采集的初始点云数据中可能包括多个真实对象的点云数据，因此，可以对所述初始点云数据进行点云分割，以获取所述真实点云数据。
在步骤203中，可以获取真实点云数据中的真实点在第一点云数据中的对应点。如图3所示，对于真实点云数据xin中的真实点P1，可以获取P1在第一点云数据xc中的邻近点，所述邻近点可以包括xc中与P1距离最近的k个点，即区域S1中所示的点。同理，可以获取真实点云数据xin中的真实点P2在第一点云数据xc中的邻近点，即区域S2中所示的点。同理，可以获取真实点云数据xin中其他的真实点在第一点云数据xc中的邻近点，所述真实点可以包括真实点云数据xin中的部分或全部点。可选地，真实点包括真实点云数据xin中的1/k个点，这样第一点云数据退化处理后点的数量不超过真实点云数据中的点的数量。其中k可以是大于或等于1的整数。当k大于1时，由于每次获取的邻近点的数量为多个，从而能够提高生成的第二点云数据的鲁棒性。
在步骤204中，由于各个真实点在所述第一点云数据中的邻近点可能存在部分重叠，因此，可以对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集，得到所述第二点云数据。
在步骤205中，可以同时对目标隐空间向量以及点云补全网络的网络参数进行优化处理，以使目标隐空间向量对应的目标函数最小化。上述点云补全网络的训练和优化过程如图4所示，采用生成对抗网络作为点云补全网络，所述生成对抗网络包括生成器G和判别器D，图中所示的两个D可以是同一个判别器。可以基于训练后的生成对抗网络中判别器D的中间层输出的特征计算上述特征距离。在预训练阶段，从隐空间Rd随机采样多个初始隐空间向量，输入到生成器G，得到各个初始隐空间向量对应的完整点云数据，即第一点云数据xc，xc经退化后得到残缺点云数据xp，即第二点云数据，针对每个第二点云数据xp，基于所述第二点云数据xp与物理空间中采样到的真实点云数据xin获取目标函数，从而得到最优的目标隐空间向量z，采用梯度下降法对目标隐空间向量z以及生成器的参数θ进行优化，使目标隐空间向量对应的目标函数最小，从而获取第二点云补全网络。通过上述方式获取的第二点云补全网络，在训练过程中无需采用残缺点云数据作为训练数据，能够适用于各种不同形式的残缺点云的补全，泛化性能较好。
在一些实施例中，点云数据中的点的分布是不均匀的，即，点云数据中的点在部分区域的分布比较密集，而在另一些区域的分布比较分散。如图5所示，是分布均匀的点云数据a与分布不均匀的点云数据b的对比图，可以看出，在点云数据b中，采集到的点大多分布在虚线框中所示的位置，而其他区域点的分布则比较分散。由于点云补全网络能够处理的点数相对固定，点云数据的不均匀意味着部分区域的点的数量可能不足以使点云补全网络获取到足够的信息来用于点云补全，从而导致点云补全结果不准确。因此，为了解决上述问题，在点云补全网络的训练和优化过程中，还可以对点云补全网络的网络参数进行优化，以使点云补全网络进行点云补全得到的点云数据中点的分布更加均匀。
在点云补全网络的训练和优化阶段，都可以获取点云补全网络基于隐向量输出的点云数据C，获取点云数据C中点的分布特征，基于点云数据C中点的分布特征建立损失函数，基于损失函数对点云补全网络进行优化。
可以从点云数据C中随机采样n个种子位置，采样方式例如可以采用最远距离采样(Farthest Point Sampling，FPS)，从而使得各个种子位置之间的距离最远。一个点云块中的点的分布特征可以基于该点云块中各个点与所述点云块中的某个位置(例如，可以是种子位置)的平均距离来确定。损失函数可记为：
Figure GDA0003270370780000151
式中，Lpatch为损失函数，Var表示方差，ρj为第j个点云块中点的平均距离，n为点云块的总数，k为点云块中点的总数，distij为第j个点云块中的第i个点与种子位置之间的距离。可以调整点云补全网络的网络参数，以使点云补全网络输出的点云数据C中各个点云块对应的平均距离的方差最小。通过这种方式，可以使各个点云块中不同点与种子点之间的距离比较接近，从而提高点云补全网络输出的点云数据中点的分布均匀性。
基于上述损失函数进行的网络优化过程可以与基于第二点云数据与真实点云数据对所述第一点云补全网络进行调整的过程同步进行，或者按照任意先后顺序进行，本公开对此不做限制。
在获取第二点云补全网络之后，可以获取第三点云数据，采用所述第二点云补全网络对所述第三点云数据进行补全，得到第四点云数据。针对输入的每个第三点云数据，第二点云补全网络可以输出一种或多种候选完整点云数据。如图6所示，是一些实施例的第三点云数据及其对应的候选完整点云数据的示意图，基于第三点云数据，第二点云补全网络一共输出了4种候选完整点云数据以供选择。进一步地，可以获取对各个候选完整点云数据的选择指令，响应于所述选择指令，从各个候选完整点云数据中选择一个作为所述第四点云数据。
本公开可用于配备有3D传感器(如深度相机或者激光雷达)的任意场景，整个场景的残缺点云数据可以由3D传感器扫描得到。场景中每一个对象的残缺点云数据通过第二点云补全网络生成完整点云数据，进而可以对整个场景进行3D重建。重建好的场景可以提供精确的空间信息，如探测人体与场景中的其他物体之间的距离，人与人之间的距离等。上述空间信息可以用于对人与物，人与人进行关联，进而提高关联准确度。
在一些实施例中，可以获取多帧第四点云数据，并对多帧第四点云数据进行关联处理。所述多帧第四点云数据可以是同一类别的对象的第四点云数据，例如，在游戏场景下，每帧第四点云数据可以是一个游戏参与者对应的点云数据。通过对多个游戏参与者对应的点云数据进行关联处理，可以确定同一游戏区域内参与同一游戏的各个游戏参与者。所述多帧第四点云数据也可以是不同类别的对象的第四点云数据，仍以游戏场景为例，所述多帧第四点云数据可以包括游戏参与者对应的点云数据以及游戏对象对应的点云数据。通过将游戏参与者对应的点云数据与游戏对象对应的点云数据进行关联处理，可以确定游戏参与者与游戏对象之间的关系，例如，属于游戏参与者的游戏积分卡、游戏棋牌、游戏币，游戏参与者所在的游戏区域，游戏参与者落座的座椅等。
游戏场景中游戏参与者、游戏对象的位置和状态可能发生实时的变化，游戏参与者之间的关系、游戏参与者与游戏对象之间的关系也可能发生实时的变化，而这些实时变化的信息对于游戏状态的分析、游戏进程的监控而言具有比较重要的意义，针对点云采集装置采集到的游戏参与者和/或游戏对象的残缺点云数据进行补全，有利于提升点云数据之间的关联结果的准确性，进而可以提升基于该关联结果的游戏状态分析、游戏进程监控等结果的可靠性。
在一些实施例中，在获取第四点云数据之后，还可以对第四点云数据中包括的对象进行识别，从而确定所述对象的类别。还可以基于识别结果对多帧第四点云数据进行关联处理。进一步，为了提高关联处理和/或对象识别的准确度，可以在进行关联处理和/或对象识别之前，对所述第四点云数据进行均匀化处理。
在一些实施例中，如图7所示，本公开实施例还提供一种点云数据的处理方法，所述方法包括：
步骤701：获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；
步骤702：获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；
步骤703：对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
所述游戏参与者可以包括但不限于游戏裁判、游戏玩家、游戏观众等中的至少一者。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏积分卡。每个游戏参与者可以拥有一定数量的游戏积分卡，用于进行游戏。通过对游戏参与者与游戏积分卡进行关联，可以确定游戏参与者在游戏过程中放置游戏积分卡的数额，游戏参与者在不同游戏阶段所拥有和放置过的游戏积分卡数额等信息，并判断游戏过程中的操作是否符合预先设置的游戏规则。
在一些实施例中，所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。所述动作可以包括落座、放置游戏积分卡、发牌等。
在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全。在这种情况下，可以采用多个类别的完整点云数据对点云补全网络进行训练，并在网络优化阶段采用针对多个类别的真实对象的真实点云数据对训练后的点云补全网络进行优化。
或者，所述点云补全网络包括第三点云补全网络和第四点云补全网络，所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。在这种情况下，可以分别用不同类别的完整点云数据训练不同的点云补全网络，训练好的每个点云补全网络再基于针对对应类别的真实对象的真实点云数据进行优化处理。
本公开实施例所采用的点云补全网络可基于前述生成点云补全网络的方法获取，具体细节参见前述生成点云补全网络的方法的实施例，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图8所示，本公开还提供一种生成点云补全网络的装置，所述装置包括：
输入模块801，用于将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；
第一获取模块802，用于获取从物理空间采集的针对真实对象的真实点云数据；
选择模块803，用于对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；
生成模块804，用于基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；
调整模块805，用于根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
在一些实施例中，所述装置还包括：第三点云获取装置，用于获取第三点云数据；补全装置，用于采用所述第二点云补全网络对所述第三点云数据进行补全，得到第四点云数据。
在一些实施例中，所述装置还包括：初始点云获取装置，用于获取点云采集装置从物理空间中采集的初始点云数据；点云分割装置，用于对所述初始点云数据进行点云分割，以获取所述第三点云数据。
在一些实施例中，所述装置还包括：关联处理装置，用于对多帧第四点云数据进行关联处理。
在一些实施例中，所述关联处理装置包括：获取单元，用于获取所述第四点云数据中的多个点云块；分别确定各个点云块中点的分布特征；调整单元，用于基于所述第四点云数据中的各个点云块中点的分布特征，对所述第四点云数据中的各个点云块中点的位置进行调整；关联单元，用于对调整后的多帧第四点云数据进行关联处理。
在一些实施例中，所述生成模块用于：对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集，得到所述第二点云数据。
在一些实施例中，所述装置还包括：预训练模块，用于基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
在一些实施例中，所述装置还包括：采样模块，用于从隐空间中采样多个初始隐空间向量；第四获取模块，用于分别获取所述第一点云补全网络基于各个初始隐空间向量生成的点云数据；目标函数确定模块，用于针对每个初始隐空间向量，基于所述初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；隐空间向量确定模块，用于基于各个初始隐空间向量的目标函数，从各个初始隐空间向量中确定所述隐空间向量。
如图9所示，本公开实施例还提供一种点云数据处理装置，所述装置包括：
第二获取模块901，用于获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；
第三获取模块902，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；
关联处理模块903，用于对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述装置还包括：游戏积分卡确定模块，用于基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内放置的游戏积分卡。
在一些实施例中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述装置还包括：动作确定模块，用于确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述第二获取模块包括：初始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；点云分割单元，用于对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
在一些实施例中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者所述点云补全网络包括第三点云补全网络和第四点云补全网络，所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
如图10所示，本公开实施例还提供一种点云数据的处理系统，所述系统包括点云采集装置1001，设置在游戏区域1003周围；以及处理单元1002，与所述点云采集装置1001通信连接。
所述点云采集装置1001可以采集所述游戏区域1003内的游戏参与者1004的第一待处理点云数据以及游戏对象1005对应的第二待处理点云数据，所述处理单元1002可以获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据，并对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理。
所述点云采集装置1001可以采集所述游戏区域内的目标对象的待处理点云数据；所述目标对象包括游戏参与者以及游戏对象中的至少一者。所述处理单元1002可以获取点云补全网络对所述待处理点云数据进行补全后得到的经处理点云数据，并对所述经处理点云数据进行识别。
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
本实施例的点云补全网络可以是采用前述生成点云补全网络的方法实施例中生成的第二点云补全网络，具体细节详见前述生成点云补全网络的方法实施例，此处不再赘述。
在一些实施例中，所述点云采集装置1001可以是激光雷达或者深度相机。可以在游戏区域周围设置一个或多个点云采集装置1001，不同的点云采集装置1001可以采集游戏区域内不同子区域的点云数据，且不同的点云采集装置1001采集的子区域之间可以存在重叠。
所述游戏区域内的游戏参与者的数量可以是一个或多个，每个游戏参与者可以对应一种或多种游戏对象，包括但不限于游戏积分卡、游戏币、座椅、棋牌、标志类道具、游戏桌等。通过对经处理点云数据进行识别，可以确定不同点云数据中包括的对象的类别，还可以确定各个类别的对象所处的空间信息。通过对第一经处理点云数据和第二经处理点云数据进行关联，可以获取各种游戏对象与游戏参与者之间的关系，还可以确定游戏参与者所执行的动作，进而可以判断游戏参与者执行的动作是否符合预先设置的游戏规则。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
图11示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1101、存储器1102、输入/输出接口1103、通信接口1104和总线1105。其中处理器1101、存储器1102、输入/输出接口1103和通信接口1104通过总线1105实现彼此之间在设备内部的通信连接。
处理器1101可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器1101还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器1102可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1102可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1102中，并由处理器1101来调用执行。
输入/输出接口1103用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1104用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1105包括一通路，在设备的各个组件(例如处理器1101、存储器1102、输入/输出接口1103和通信接口1104)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1101、存储器1102、输入/输出接口1103、通信接口1104以及总线1105，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
本公开实施例还提供了一种计算机程序，包括计算机可读代码，当所述代码在电子设备中执行时，促使所述电子设备中的处理器执行本说明书任一实施例的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

Claims (19)

1.一种生成点云补全网络的方法，包括：
将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；
获取从物理空间采集的针对真实对象的真实点云数据；
对所述真实点云数据中的每个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；
基于多个所述真实点的邻近点生成第二点云数据；
根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
2.根据权利要求1所述的方法，还包括：
获取第三点云数据；
采用所述第二点云补全网络对所述第三点云数据进行补全，得到第四点云数据。
3.根据权利要求2所述的方法，还包括：
获取点云采集装置从物理空间中采集的初始点云数据；
对所述初始点云数据进行点云分割，以获取所述第三点云数据。
4.根据权利要求2或3所述的方法，还包括：
对多帧所述第四点云数据进行关联处理。
5.根据权利要求1至4任意一项所述的方法，其中，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点，包括：
从所述第一点云数据中选择与所述真实点距离最近的预设数量个点，作为所述真实点的邻近点。
6.根据权利要求1至5任意一项所述的方法，其中，基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据，包括：
对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集，得到所述第二点云数据。
7.根据权利要求1至6任意一项所述的方法，还包括：
基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
8.根据权利要求7所述的方法，还包括：
获取所述第一点云数据中的多个点云块；
分别确定各个点云块中点的分布特征；
基于所述各个点云块中点的分布特征，建立损失函数；
基于所述损失函数对经训练的所述第二点云补全网络进行优化处理。
9.根据权利要求1至8任意一项所述的方法，其中，基于以下方式获取所述隐空间向量：
从隐空间中采样多个初始隐空间向量；
针对每个初始隐空间向量，
获取所述第一点云补全网络基于该初始隐空间向量生成的点云数据；
基于该初始隐空间向量对应的点云数据以及所述真实点云数据，确定所述初始隐空间向量的目标函数；
基于各个初始隐空间向量的目标函数，从各个初始隐空间向量中确定所述隐空间向量。
10.一种点云数据处理方法，包括：
获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；
获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；
对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由经过预训练的所述点云补全网络基于隐空间向量生成。
11.根据权利要求10所述的方法，其中，所述游戏对象包括所述游戏区域内放置的游戏积分卡；所述方法还包括：
基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，执行以下至少任一操作：
确定所述游戏参与者在所述游戏区域内放置的游戏积分卡；
确定所述游戏参与者针对所述游戏对象执行的动作。
12.根据权利要求10或11所述的方法，其中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据，包括：
获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据；
对所述初始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
13.根据权利要求10至12任意一项所述的方法，其中，所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全；或者
所述点云补全网络包括第三点云补全网络和第四点云补全网络，所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全，所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
14.一种生成点云补全网络的装置，所述装置包括：
输入模块，用于将隐空间向量输入经过预训练的第一点云补全网络，得到第一点云数据；
第一获取模块，用于获取从物理空间采集的针对真实对象的真实点云数据；
选择模块，用于对所述真实点云数据中的一个真实点，从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点；
生成模块，用于基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据；
调整模块，用于根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整，得到第二点云补全网络。
15.一种点云数据处理装置，所述装置包括：
第二获取模块，用于获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；
第三获取模块，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据；
关联处理模块，用于对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
16.一种点云数据处理系统，所述系统包括：
点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据；以及
处理单元，与所述点云采集装置通信连接，用于获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据，以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据，并对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理；
其中，所述点云补全网络在经过预训练之后，基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到，所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成，所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至13任意一项所述的方法。
18.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至13任意一项所述的方法。
19.一种计算机程序，包括计算机可读代码，当所述代码在电子设备中执行时，促使所述电子设备中的处理器执行权利要求1至13任一项所述的方法。
CN202180001684.5A 2021-03-30 2021-06-08 生成点云补全网络及点云数据处理方法、装置和系统 Active CN113557528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202103264X 2021-03-30
SG10202103264XA SG10202103264XA (en) 2021-03-30 2021-03-30 Generating point cloud completion network and processing point cloud data
PCT/IB2021/055011 WO2022208145A1 (en) 2021-03-30 2021-06-08 Generating point cloud completion network and processing point cloud data

Publications (2)

Publication Number Publication Date
CN113557528A true CN113557528A (zh) 2021-10-26
CN113557528B CN113557528B (zh) 2023-11-28

Family

ID=78106556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001684.5A Active CN113557528B (zh) 2021-03-30 2021-06-08 生成点云补全网络及点云数据处理方法、装置和系统

Country Status (4)

Country Link
US (1) US20220314113A1 (zh)
KR (1) KR102428740B1 (zh)
CN (1) CN113557528B (zh)
AU (1) AU2021204525B1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494849B (zh) * 2021-12-21 2024-04-09 重庆特斯联智慧科技股份有限公司 用于轮式机器人的路面状态识别方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974748A (zh) * 2022-10-24 2024-05-03 顺丰科技有限公司 包裹尺寸测量方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
CN110188687A (zh) * 2019-05-30 2019-08-30 爱驰汽车有限公司 汽车的地形识别方法、系统、设备及存储介质
CN111414953A (zh) * 2020-03-17 2020-07-14 集美大学 点云分类方法和装置
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN111612891A (zh) * 2020-05-22 2020-09-01 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255480B2 (en) * 2017-05-15 2019-04-09 The Boeing Company Monitoring object shape and deviation from design
CN109961504B (zh) * 2017-12-25 2023-07-21 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN109001748B (zh) * 2018-07-16 2021-03-23 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
CN110188687A (zh) * 2019-05-30 2019-08-30 爱驰汽车有限公司 汽车的地形识别方法、系统、设备及存储介质
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
CN111414953A (zh) * 2020-03-17 2020-07-14 集美大学 点云分类方法和装置
CN111612891A (zh) * 2020-05-22 2020-09-01 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缪永伟: "基于生成对抗网络的点云形状保结构补全", 《中国科学 : 信息科学 》, vol. 50, no. 5, pages 675 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494849B (zh) * 2021-12-21 2024-04-09 重庆特斯联智慧科技股份有限公司 用于轮式机器人的路面状态识别方法和系统

Also Published As

Publication number Publication date
AU2021204525B1 (en) 2022-07-14
KR102428740B1 (ko) 2022-08-02
US20220314113A1 (en) 2022-10-06
CN113557528B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN103456003B (zh) 对象跟踪装置及方法以及错误特征点剔除装置及方法
CN113557528B (zh) 生成点云补全网络及点云数据处理方法、装置和系统
JP2019145085A (ja) 点群データ収集軌跡を調整するための方法、装置、およびコンピュータ読み取り可能な媒体
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN105701839B (zh) 状态估计装置、状态估计方法以及集成电路
CN115240149A (zh) 三维点云检测识别方法、装置、电子设备及存储介质
EP3291532B1 (en) Image processing device and image processing method
CN113591823B (zh) 深度预测模型的训练及人脸深度图像的生成方法、装置
CN113077476A (zh) 一种高度测量方法、终端设备以及计算机存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112036072B (zh) 一种三维示踪粒子匹配方法及速度场测量装置
CN106033613B (zh) 目标跟踪方法及装置
CN114298997A (zh) 一种伪造图片检测方法、装置及存储介质
Kaczmarek Improving depth maps of plants by using a set of five cameras
CN107534730B (zh) 图像处理装置及图像处理方法
CN113424220B (zh) 生成点云补全网络及点云数据的处理
CN113906443A (zh) 点云数据的补全和点云数据的处理
WO2022208145A1 (en) Generating point cloud completion network and processing point cloud data
CN107534729B (zh) 图像处理装置和图像处理方法
WO2022208143A1 (en) Generating point cloud completion network and processing point cloud data
WO2022208142A1 (en) Completing point cloud data and processing point cloud data
CN114155524A (zh) 单阶段3d点云目标检测方法及装置、计算机设备、介质
Zhang et al. An algorithm for motion estimation based on the interframe difference detection function model
CN117593619B (zh) 图像处理方法、装置、电子设备及存储介质
CN112698394B (zh) 二维观测系统设计面元尺寸的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40097806

Country of ref document: HK