CN115428020A - 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质 - Google Patents

生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质 Download PDF

Info

Publication number
CN115428020A
CN115428020A CN202180001663.3A CN202180001663A CN115428020A CN 115428020 A CN115428020 A CN 115428020A CN 202180001663 A CN202180001663 A CN 202180001663A CN 115428020 A CN115428020 A CN 115428020A
Authority
CN
China
Prior art keywords
point cloud
cloud data
encoder
probability distribution
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180001663.3A
Other languages
English (en)
Inventor
蔡中昂
陈心怡
张俊哲
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SG10202103893TA external-priority patent/SG10202103893TA/en
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of CN115428020A publication Critical patent/CN115428020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

公开了一种生成点云编码器的方法和装置、生成点云数据的方法和装置、电子设备及计算机存储介质。生成点云编码器的方法包括：获取对象的第一点云数据和第二点云数据；基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布；基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布；基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重；根据所述第一编码器和所述目标权重生成点云编码器。

Description

生成点云编码器的方法和装置和生成点云数据的方法和装 置、电子设备及计算机介质
相关申请的交叉引用
本申请要求申请号为10202103893T、于2021年4月15日向新加坡专利局提交的题为“生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质”的新加坡专利申请的优先权，该新加坡专利申请的全部内容再此引用作为参考。
技术领域
本公开实施例涉及但不限于机器学习，尤其涉及一种生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质。
背景技术
通过在例如监控场景、拍摄场景的各种类型的场景中部署激光雷达或深度相机，可以采集点云数据，点云数据作为一种图像的补充数据，能够更真实的获取场景信息。
然而，采用激光雷达或深度相机采集到的点云数据通常比较稀疏和残缺，例如，在对象被某一遮挡物遮挡的情况下，将无法采集到对象的被遮挡区域的点云数据，而为了确定对象的被遮挡区域的点云数据，需要对采集到的点云进行补全，以得到确定对象的被遮挡区域的点云数据。
因此，如何生成点云编码器，以对采集的针对某一对象的点云数据进行补全，是技术人员亟需解决的问题。
发明内容
本公开实施例提供一种生成点云编码器和点云数据的方法、装置、设备及介质。
第一方面，提供一种生成点云编码器的方法，包括：获取对象的第一点云数据和第二点云数据，所述第二点云数据的完整程度大于所述第一点云数据的完整程度；基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布；基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布；所述第一编码器与所述第二编码器共享权重；基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重；根据所述第一编码器和所述目标权重生成点云编码器。
第二方面，提供一种生成点云数据的方法，包括：获取拍摄对象而得到的待处理点云数据；基于所述待处理点云数据和经过训练的第一编码器，确定所述待处理点云数据的全局特征的目标概率分布；基于所述目标概率分布对所述待处理点云数据进行点云补全，生成目标点云数据；所述目标点云数据的完整程度大于所述待处理点云数据的完整程度；其中，所述第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整所述第一编码器的权重得到的；所述第二点云数据的完整程度大于所述第一点云数据的完整程度。
第三方面，提供一种生成点云编码器的装置，包括：获取单元，用于获取对象的第一点云数据和第二点云数据，所述第二点云数据的完整程度大于所述第一点云数据的完整程度；第一确定单元，用于基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布；第二确定单元，用于基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布；所述第一编码器与所述第二编码器共享权重；调整单元，用于基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重；生成单元，用于根据所述第一编码器和所述目标权重生成点云编码器。
第四方面，提供一种生成点云数据的装置，包括：获取单元，用于获取拍摄对象而得到的待处理点云数据；第一确定单元，用于基于所述待处理点云数据和经过训练的第一编码器，确定所述待处理点云数据的全局特征的目标概率分布；第二确定单元，用于基于所述目标概率分布对所述待处理点云数据进行点云补全，生成目标点云数据；所述目标点云数据的完整程度大于所述待处理点云数据的完整程度；其中，所述第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整所述第一编码器的权重得到的；所述第二点云数据的完整程度大于所述第一点云数据的完整程度。
第五方面，提供一种电子设备，包括：存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面方法中的步骤或实现上述第二方面方法中的步骤。
第六方面，提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面方法中的步骤或实现上述第二方面方法中的步骤。
第七方面，提供一种计算机程序产品，其包括计算机可执行指令，当所述计算机可执行指令运行在设备的处理器中时，该处理器执行上述第一方面方法中的步骤或执行上述第二方面方法中的步骤。
本公开实施例中，由于第一编码器的权重，是基于第一点云数据的第一概率分布和第二点云数据的第二概率分布来调整的，从而训练得到的第一编码器的目标权重不仅能够适应于完整度较低的第一点云数据，还能够适应于完整度较高的第二点云数据，进而基于调整得到的第一编码器的目标权重所生成的点云编码器，能够引导完整度较低的点云数据的补全，以得到逼真且完整的点云数据，从而使得补全后的点云数据不仅更加完整，且能够对真实对象的表达更加精准。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种监测告警系统的结构示意图；
图2为本公开实施例提供的一种生成点云编码器的方法的实现流程示意图；
图3为本公开实施例提供的另一种生成点云编码器的方法的实现流程示意图；
图4为本公开实施例提供的又一种生成点云编码器的方法的实现流程示意图；
图5为本公开实施例提供的再一种生成点云编码器的方法的实现流程示意图；
图6为本公开实施例提供的一种生成点云数据的方法的实现流程示意图；
图7为本公开实施例提供的一种概率模型网络的架构示意图；
图8为本公开实施例提供的一种生成点云编码器的装置的组成结构示意图；
图9为本公开实施例提供的一种生成点云数据的装置的组成结构示意图；
图10为本公开实施例提供的一种电子设备的硬件实体示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是：在本公开实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述目标的顺序或先后次序。另外，本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
图1为本公开实施例提供的一种监测告警系统的结构示意图，如图1所示，该系统100可以包括点云采集组件101、检测设备102以及管理系统103。
点云采集组件101可以与检测设备102通信连接。检测设备102可以与服务器连接，从而使得服务器可以对检测设备102进行相应的控制，检测设备102也可以使用服务器提供的服务。在一些实施方式中，检测设备102可以仅对应一个点云采集组件101。在另一些实施方式中，检测设备102可以对应多个点云采集组件101。在一些实施方式中，检测设备102可以设置在游戏场所中。例如，检测设备102可以与游戏场所中的服务器连接。在另一些实施方式中，检测设备102可以设置在云端。
检测设备102可以基于点云采集组件101采集的实时点云对游戏场所中的游戏桌以及游戏桌旁边的游戏参与者进行分析，以确定游戏参与者的动作是否符合规定或者是否正当。
检测设备102可以与管理系统103通信连接。在检测设备102确定到游戏参与者的动作不正当的情况下，检测设备102可以向动作不正当的游戏参与者所对应的游戏桌上的管理系统103发送目标告警信息，以使得管理系统103能够发出与该目标告警信息对应的告警，从而以通过该游戏桌对游戏参与者进行告警。
在一些场景中，上述检测设备102还可以与布置于游戏场所的摄像头组件连接，融合点云和图像数据进行更精准的分析。相比于二维的图片或者视频，点云的数据格式不会损失物体距离传感器的距离信息，即可以获得物体在空间中的三维位置信息。二维的图片或者视频所带来的歧义(比如人体在三维空间中的位置不明)可以使用点云来规避。因此，为了更加准确的游戏参与者的动作或行为是否符合游戏规定，通过点云采集组件101获取到三维的点云数据。然而，采集到的点云数据通常比较稀疏和残缺，对采集到的残缺点云数据进行补全并生成较完整的形状，可以通过深度网络模型来实现，而如何确定模型的权重，以对采集的针对对象的点云数据进行补全，以得到完整度较高的点云数据，是技术人员亟需解决的问题。
用于点云补全的深度学习模型通常由两部分构成，包括生成粗略点云的网络结构以及在此基础上进行细节提升生成最终点云的网络结构。本公开实施例中主要关注的是生成粗略点云的网络结构中生成点云编码器的方法。
相关技术中，存在的生成的粗略点云的网络结构通常包括编码器和解码器，编码器的输入为残缺点云，输出为此点云的表征。表征作为解码器的输入，解码器再根据此表征生成粗略的完整点云。此方法的缺点在于生成的粗略点云往往与该点云所属类别的大致形状相似，但是忽略了输入的残缺点云中自带的细节。其中，点云的表征可以为点云的特征信息。
本公开实施例提供了一种复合式的生成粗略点云的网络结构，该网络结构包括两条平行路径，一条路径为点云重建路径，另一条路径为点云补全路径。其中，点云重建路径仅在训练中使用，因此不影响实际应用中点云补全的速度。点云补全路径将残缺点云作为输入后，运用编码器提取残缺点云的表征以及根据表征生成的完整点云的分布，解码器再基于完整点云的分布形成完整形状的粗略点云。
图2为本公开实施例提供的一种生成点云编码器的方法的实现流程示意图，如图2所示，该方法应用于生成点云编码器的装置，该方法包括：
S201、获取对象的第一点云数据和第二点云数据，第二点云数据的完整程度大于第一点云数据的完整程度。
生成点云编码器的装置可以是神经网络装置，神经网络可以是概率模型网络(Probabilistic Modeling Network，PMNet)。生成点云编码器的装置可以部署在芯片或处理器上等。芯片或处理器可以应用在以下至少之一的设备中：手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(VirtualReality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端以及车联网系统中的车、车载设备或车载模块等等。
第一点云数据可以是激光雷达或深度相机针对对象进行拍摄而得到的点云数据。在一些实施方式中，生成点云编码器的装置可以从激光雷达或深度相机针对某一对象进行拍摄的图像中来确定第一点云数据。在另一些实施方式中，生成点云编码器的装置可以从激光雷达或深度相机针对某一对象进行拍摄的视频中截取图像，来确定第一点云数据。对象可以是现实存在的任一事物，例如，在一些实施方式中，对象可以是游戏场所中的游戏桌，或者，游戏场所中的游戏桌以及游戏桌周围的游戏参与者。在另一些实施方式中，对象可以是游戏币或者游戏参与者的某些部位(例如手部和/或头部等)。在一些实施方式中，第一点云数据可以对应一张图像的点云数据。在另一些实施方式中，第一点云数据可以对应多张图像的点云数据。多张图像可以是确定目标权重所需要的所有图像。
第一点云数据可以是残缺点云数据。第一点云数据中可以包括大量的点，每一个点都具有初始特征。第一点云数据的初始特征可以包括：第一点云数据中每一点的初始特征。
S202、基于第一编码器，确定第一点云数据的全局特征的第一概率分布。
本公开实施例中的第一编码器和第二编码器可以均为变分自动编码器(Variational Auto-Encoder，VAE)。另外，下述的第一解码器和第二解码器可以均为变分自动解码器。
第一编码器可以接收第一点云数据的初始特征，基于第一编码器的初始权重信息对第一点云数据的初始特征进行计算，输出第一点云数据的全局特征的第一概率分布。第一概率分布可以是条件概率分布。第一概率分布可以为第一点云数据的初始特征固定时第一点云数据的全局特征的概率分布。在第一点云的初始特征为X，全局特征为zg，则第一概率分布为pΨ(zg|X)。第一编码器的权重可以是点云补全路径的编码器的初始权重。
S203、基于第二编码器，确定第二点云数据的全局特征的第二概率分布；第一编码器与第二编码器共享权重。
第二点云数据在其它实施例中也可以称为真实点云数据。
在本公开实施例中，第一点云数据或者第二点云数据的初始特征可以包括以下至少之一：三维坐标信息、回波次数、强度信息、类别、红绿蓝(RGB)、扫描角度、扫描方向等。
第二编码器可以接收第二点云数据的初始特征，基于第二编码器的权重信息对第二点云数据的初始特征进行计算，输出第二点云数据的全局特征的第二概率分布。第二概率分布可以是条件概率分布。第二概率分布可以为第二点云数据的初始特征固定时第二点云数据的全局特征的概率分布。在采样点云的初始特征为Y，全局特征为zg，则第二概率分布为qφ(zg|Y)。第二编码器的权重可以是点云重建路径的编码器的初始权重。
第一编码器和第二编码器共享权重的一种实施方式为：在训练之前、训练过程中以及训练过程后，第一编码器的权重和第二编码器的权重相同。
S204、基于第一概率分布和第二概率分布之间的第一差异，调整第一编码器的权重，得到第一编码器的目标权重。
在一些实施方式中，生成点云编码器的装置可以基于第一概率分布和第二概率分布对第一编码器的权重进行训练，以使第一概率分布和第二概率分布之间的第一差异小于预设值，得到第一编码器的目标权重。
在得到第一编码器的目标权重之后，生成点云编码器的装置可以基于目标权重确定第一点云数据的全局特征的概率分布，然后基于第一点云数据的全局特征的概率分布和第一解码器，生成完整点云数据。其中，完整点云数据可以是对应第一点云数据的粗略完整点云数据。
在另一些实施方式中，生成点云编码器的装置还可以对第一解码器进行训练，得到第一解码器的目标权重，然后基于第一点云数据的全局特征的概率分布和第一解码器的目标权重，生成粗略完整点云数据。
S205、根据第一编码器和目标权重生成点云编码器。
在一些实施例方式中，点云编码器中的结构与第一编码器的结构相同，而点云编码器中的权重为目标权重。
本公开实施例中，由于第一编码器的权重，是基于第一点云数据的第一概率分布和第二点云数据的第二概率分布来调整的，从而训练得到的第一编码器的目标权重不仅能够适应于完整度较低的第一点云数据，还能够适应于完整度较高的第二点云数据，进而基于调整得到的第一编码器的目标权重所生成的点云编码器，能够引导完整度较低的点云数据的补全，以得到逼真且完整的点云数据，从而使得补全后的点云数据不仅更加完整，且能够对真实对象的表达更加精准。
图3为本公开实施例提供的另一种生成点云编码器的方法的实现流程示意图，如图3所示，该方法应用于生成点云编码器的装置，该方法包括：
S301、获取对象的第一点云数据和第二点云数据，第二点云数据的完整程度大于第一点云数据的完整程度。
S302、基于第一编码器对第一点云数据进行特征提取，得到第一点云数据的全局特征。
第一编码器的权重可以包括：用于将提取出的特征的维度由第一维度增加至第二维度的第一子权重。第一点云数据的初始特征包括：第一点云数据中每一点的初始特征。
S302可以通过以下方式来实现：基于第一编码器的第一子权重，对第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第一特征；提取第一点云数据中每一点的第一特征在每一个特征维度上的最大值，得到第一点云数据的融合特征；将第一点云数据中每一点的第一特征和第一点云数据的融合特征进行级联，得到第一点云数据中每一点的第二特征；基于第一点云数据中每一点的第二特征，确定第一点云数据的全局特征。
第一编码器的第一子权重可以包括第一感知机中的权重和第二感知机中的权重。在一些实施方式中，基于第一编码器的第一子权重，对第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第一特征，可以包括：将第一点云数据中每一点的初始特征输入至第一感知机，第一感知机通过第一感知机的权重对第一点云数据中每一点的初始特征进行计算，得到并向第二感知机输出第一点云数据中每一点的第四特征；然后第二感知机通过第二感知机中的权重对第一点云数据中每一点的第四特征进行计算，得到并向第一最大池化(Maxpool)模块输出第一点云数据中每一点的第一特征，以使第一最大池化模块提取第一点云数据中每一点的第一特征在每一个特征维度上的最大值，得到第一点云数据的融合特征。
本公开实施例中的任一感知机(包括：第一至第八感知机中的任一个)可以为多层感知机(Multilayer Perceptron，MLP)。多层感知机可以是共享多层感知机(Shared MLP)。多层感知器是一种前馈的人工神经网络，映射一组输入向量到一组输出向量。任一感知机可以将输入的特征的维度变高、变低或者不变。在一些实施方式中，第一感知机用于将输入的特征转换为128维的特征，第二感知机用于将输入的特征转换为256维的特征。第一点云数据的融合特征的维度可以为256维。
第一点云数据中每一点的第一特征的维度可以与第一点云数据的融合特征的维度相同。例如，第一点云数据中每一点的第一特征的维度为M，第一点云数据的融合特征的维度为M，将第一点云数据中每一点的第一特征和第一点云数据的融合特征级联后得到的维度为2×M。在一些实施方式中，第一点云数据中每一点的第二特征的维度也为2×M。在另一些实施方式中，可以对得到的2×M进行维度压缩，使得到的第一点云数据中每一点的第二特征的维度为M。
这样，通过对第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，能够获取到第一点云数据中的更高维度的特征，从而能够挖掘到第一点云数据更深层次的特征，进而使得训练得到的第一编码器的目标权重，能够更好地补全出逼真且完整的点云数据；另外，由于第一点云数据的完整程度较低导致信息量较少，从而通过将第一点云数据中每一点的第一特征和第一点云数据的融合特征进行级联，得到第一点云数据中每一点的第二特征，进而使得到的第一点云数据的全局特征能够很好地表征第一点云数据的全局情况。
S303、基于第一点云数据的全局特征确定第一概率分布。
第一编码器的权重还可以包括：用于将提取出的特征的维度由第二维度增加至第三维度的第二子权重。
S303可以通过以下方式实现：基于第一编码器的第二子权重，对第一点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第三特征；提取第一点云数据中每一点的第三特征在每一个特征维度上的最大值，得到第一点云数据的全局特征。
第一编码器的第二子权重可以包括第三感知机中的权重和第四感知机中的权重。在一些实施方式中，基于第一编码器的第二子权重，对第一点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第三特征，可以包括：将第一点云数据中每一点的第二特征输入至第三感知机，第三感知机通过第三感知机的权重对第一点云数据中每一点的第二特征进行计算，得到并向第四感知机输出第一点云数据中每一点的第五特征；然后第四感知机通过第四感知机中的权重对第一点云数据中每一点的第五特征进行计算，得到并向第二最大池化模块输出第一点云数据中每一点的第三特征，以使第二最大池化层得到第一点云数据的全局特征。
第三感知机用于将输入的特征转换为512维的特征，第四感知机用于将输入的特征转换为1024维的特征。第一点云数据的全局特征同样也为1024维的特征。
这样，由于第一点云数据中每一点的第三特征是通过线性变换和/或非线性变换得到的，从而能够进一步获取到第一点云数据中每一点的相关特征，进而基于第一点云数据中每一点的第三特征得到的第一点云数据的全局特征，使得训练得到的第一编码器的目标权重，能够更好地补全出逼真且完整的点云数据。
S304、基于第二编码器对第二点云数据进行特征提取，得到第二点云数据的全局特征。
第二编码器的权重可以包括：用于将提取出的特征的维度由第一维度增加至第二维度的第三子权重；第二点云数据的初始特征可以包括：第二点云数据中每一点的初始特征。
S304可以通过以下方式实现：基于第二编码器的第三子权重，对第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第一特征；提取第二点云数据中每一点的第一特征在每一个特征维度上的最大值，得到第二点云数据的融合特征；对第二点云数据中每一点的第一特征和第二点云数据的融合特征进行逐元素相乘，得到第二点云数据中每一点的第二特征；基于第二点云数据中每一点的第二特征，确定第二点云数据的全局特征。
第二编码器的第三子权重可以包括第五感知机中的权重和第六感知机中的权重。在一些实施方式中，基于第二编码器的第三子权重，对第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第一特征，可以包括：将第二点云数据中每一点的初始特征输入至第五感知机，第五感知机通过第五感知机的权重对第二点云数据中每一点的初始特征进行计算，得到并向第六感知机输出第二点云数据中每一点的第四特征；然后第六感知机通过第六感知机中的权重对第二点云数据中每一点的第四特征进行计算，得到并向第三最大池化(Maxpool)模块输出第二点云数据中每一点的第一特征，以使第三最大池化模块确定第二点云数据的融合特征。
第二点云数据中每一点的第一特征的维度可以为M，第二点云数据的融合特征的维度可以为M，第二点云数据中每一点的第一特征与第二点云数据的融合特征之间，进行逐元素相乘后得到的维度可以为M。在一些实施方式中，第二点云数据中每一点的第二特征的即是进行逐元素相乘得到的M维特征，在另一些实施方式中，第二点云数据中每一点的第二特征可以是对进行逐元素相乘得到的M维特征进行维度扩展而得到的2×M维特征。本公开实施例中，第二点云数据中每一点的第二特征的维度，与第一点云数据中每一点的第二特征的维度相同。
这样，通过对第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，能够获取到第二点云数据中的更高维度的特征，从而能够挖掘到第二点云数据更深层次的特征，进而使得训练得到的第一编码器的目标权重，能够更好地补全出逼真且完整的点云数据；另外，由于第二点云数据的完整程度较高因此信息量较多，从而通过对第二点云数据中每一点的第一特征和第二点云数据的融合特征进行逐元素相乘，得到第二点云数据中每一点的第二特征，进而使得到的第二点云数据的全局特征能够很好地表征第二点云数据的全局情况。
S305、基于第二点云数据的全局特征确定第二概率分布。
第二编码器的权重还可以包括：用于将提取出的特征的维度由第二维度增加至第三维度的第四子权重。
S305可以通过以下方式实现：基于第二编码器的第四子权重，对第二点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第三特征；提取第二点云数据中每一点的第三特征在每一个特征维度上的最大值，得到第二点云数据的全局特征。
第二编码器的第四子权重可以包括第七感知机的权重和第八感知机的权重。在一些实施方式中，基于第二编码器的第四子权重，对第二点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第三特征，可以包括：将第二点云数据中每一点的第二特征输入至第七感知机，第七感知机通过第七感知机的权重对第二点云数据中每一点的第二特征进行计算，得到并向第八感知机输出第二点云数据中每一点的第五特征；然后第八感知机通过第八感知机中的权重对第二点云数据中每一点的第五特征进行计算，得到并向第四最大池化模块输出第二点云数据中每一点的第三特征，以使第四最大池化层得到第二点云数据的全局特征。
这样，由于第二点云数据中每一点的第三特征是通过线性变换和/或非线性变换得到的，从而能够进一步获取到第二点云数据中每一点的相关特征，进而基于第二点云数据中每一点的第三特征得到的第二点云数据的全局特征，使得训练得到的第一编码器的目标权重，能够更好地补全出逼真且完整的点云数据。
第五感知机、第六感知机、第七感知机、第八感知机中的权重，可以分别与第一感知机、第二感知机、第三感知机、第四个感知机中的权重相同或权重共享。
S306、基于第一概率分布和第二概率分布之间的第一差异，调整第一编码器的权重，得到第一编码器的目标权重。
S307、根据第一编码器和目标权重生成点云编码器。
在本公开实施例中，根据第一编码器和第二编码器分别对第一点云数据和第二点云数据进行特征提取，能够分别确定第一点云数据的全局特征和第二点云数据的全局特征，从而能够获取到第一点云数据和第二点云数据中更多的特征，进而在对第一编码器的权重进行训练的时候，能够基于第一点云数据和第二点云数据中了较多的特征进行训练，使得训练得到的第一编码器的目标权重，能够更好地补全出逼真且完整的点云数据。
图4为本公开实施例提供的又一种生成点云编码器的方法的实现流程示意图，如图4所示，该方法应用于生成点云编码器的装置，该方法包括：
S401、获取对象的第一点云数据和第二点云数据，第二点云数据的完整程度大于第一点云数据的完整程度。
S402、基于第一编码器，确定第一点云数据的全局特征的第一概率分布。
S403、基于第二编码器，确定第二点云数据的全局特征的第二概率分布；第一编码器与第二编码器共享权重。
S404、确定第二概率分布与指定概率分布之间的第二差异。
指定概率分布可以为高斯分布，例如，指定概率分布可以为标准高斯分布。第二差异可以用公式表示为：KL[qφ(zg|Y)||p(zg)]。其中，KL表示KL散度，p(zg)＝N(0,I)是预先定义为高斯分布的先验条件，qφ(zg|Y)为第二概率分布。
S405、基于第一概率分布和第二概率分布之间的第一差异和第二差异，调整第一编码器的权重，得到第一编码器的目标权重。
第一差异的可以用公式表示为：
Figure BDA0003137769530000151
其中，KL表示KL散度，
Figure BDA0003137769530000152
为第一概率分布。
在一些实施方式中，生成点云编码器的装置可以基于第二差异和第一差异，对第一编码器的权重进行训练，以使第二差异小于第一阈值，且第一差异小于第二阈值，得到第一编码器的目标权重。
S406、根据第一编码器和目标权重生成点云编码器。
在本公开实施例中，基于第二概率分布与指定概率分布之间的第二差异，和第一概率分布与第二概率分布之间的第一差异，调整第一编码器的权重，使得第一差异和第二差异都尽可能的小，进而使得第一概率分布和第二概率分布都能够尽可能的接近于指定概率分布，从而训练得到的第一编码器的目标权重，能够补全出逼真且完整的点云数据。
图5为本公开实施例提供的再一种生成点云编码器的方法的实现流程示意图，如图5所示，该方法应用于生成点云编码器的装置，该方法包括：
S501、获取对象的第一点云数据和第二点云数据，第二点云数据的完整程度大于第一点云数据的完整程度。
S502、基于第一编码器，确定第一点云数据的全局特征的第一概率分布。
S503、基于第二编码器，确定第二点云数据的全局特征的第二概率分布；第一编码器与第二编码器共享权重。
S504、确定第二概率分布与指定概率分布之间的第二差异。
S505、基于第一解码器对第一概率分布进行解码，得到对第一点云数据补全后的第三点云数据。
在一些实施方式中，可以将第一概率分布输入至第一解码器中，以使第一解码器基于第一解码器的权重对第一概率分布进行计算，得到与第一概率分布中的每一概率值对应的特征，进而得到第三点云数据。
S506、基于第二解码器对所述第二概率分布进行解码，得到对所述第二点云数据重建后第四点云数据。
在一些实施方式中，可以将第二概率分布输入至第二解码器中，以使第二解码器基于第二解码器的权重对第二概率分布进行计算，得到与第二概率分布中的每一概率值对应的特征，进而得到第四点云数据。
第一解码器和第二解码器用于将输入的概率分布转换为点云数据。在实施过程中，第一解码器和第二解码器可以包括全连接(Fully Connected，FC)层。
S507、基于第一概率分布和第二概率分布之间的第一差异、第二差异、第三点云数据以及第四点云数据，调整第一编码器的权重和第一解码器的权重，得到第一编码器的目标权重和第一解码器的目标权重。
在一些实施过程中，S507可以通过以下方式来实现：确定第三点云数据与第二点云数据之间的第三差异；确定第四点云数据与第二点云数据之间的第四差异；基于第一差异、第二差异、第三差异以及第四差异，调整第一编码器的权重和第一解码器的权重，得到第一编码器和的目标权重和第一解码器的目标权重。
第三差异可以用公式表示为：
Figure BDA0003137769530000171
其中，E表示对函数的期望，pdata(X)表示第一点云数据的真实基础分布；
Figure BDA0003137769530000172
为第一概率分布；
Figure BDA0003137769530000173
为全局特征的解码分布。
第四差异可以用公式表示为：
Figure BDA0003137769530000174
其中，pdata(Y)表示第二点云数据的真实基础分布；qφ(zg|Y)为第二概率分布；
Figure BDA0003137769530000175
为全局特征的解码分布。在实施过程中，φ，
Figure BDA0003137769530000176
和θ表示其相应函数的不同网络权重。
在实施过程中，生成点云编码器的装置可以基于第二差异、第一差异、第三差异以及第四差异，对第一编码器的权重和第一解码器的权重进行训练，以使第二差异小于第一阈值，且第一差异小于第二阈值，第三差异小于第三阈值，第四差异小于第四阈值，或者使第二差异与第四差异之和小于第五阈值，使第一差异与第三差异之和小于第六阈值，得到第一编码器和的目标权重和第一解码器的目标权重。第一阈值至第六阈值中任两个阈值可以相同，或者，至少两个阈值不同。
在一些实施方式中，点云重建路径所使用的用于训练第二编码器和第二解码器的损失函数可以用公式(1)表示：
Figure BDA0003137769530000177
(1)；
其中，λ是加权参数。
点云补全路径所使用的用于训练第一编码器和第一解码器的损失函数可以用公式(2)表示：
Figure BDA0003137769530000178
(2)；
这样，由于基于第二差异、第一差异、第三差异以及第四差异，对第一编码器的权重和第一解码器的权重进行训练，使得第一概率分布和第二概率分布都能够尽可能的接近于指定概率分布，且使得第三点云数据和第四点云数据都能够尽可能的接近于第二点云数据，从而训练得到的第一编码器的目标权重和第一解码器的目标权重，能够补全出逼真且完整的点云数据。
S508、根据第一编码器和第一编码器的目标权重生成点云编码器；根据第二编码器和第二编码器的目标权重生成点云解码器。
在本公开实施例中，由于第三点云数据是基于第一概率分布和第一解码器的权重确定的，第四点云数据是基于第二概率分布和第二解码器的权重确定的，从而基于第二差异、第一差异、第二点云数据以及第三点云数据，对第一编码器的权重和第一解码器的权重进行训练，使得训练得到的第一编码器的目标权重和第一解码器的目标权重，能够补全出逼真且完整的点云数据。
在一些实施方式中，由于第三点云数据是将第一点云数据，依次通过第一编码器和第一解码器，并基于第一编码器的权重和第一解码器的权重得到的；第四点云数据是将第二点云数据，依次通过第二编码器和第二解码器，并基于第二编码器和权重和第二解码器的权重得到的，可以采用第三点云数据对第一编码器的权重和第一解码器的权重进行训练，采用第四点云数据对第二编码器的权重和第二解码器的权重进行训练。
以下为本公开提供的一种生成点云编码器的方法的实现流程示意图，该方法应用于生成点云编码器的装置，该方法在确定到第一概率分布和第二概率分布之后，可以执行以下步骤：
基于第一概率分布和第一解码器的权重，确定包括与第一概率分布中的每一概率值对应的特征的第三点云数据。基于第二概率分布和第二解码器的权重，确定包括与第二概率分布中的每一概率值对应的特征的第四点云数据。其中，第一解码器和第二解码器共享权重。基于第三点云数据和第四点云数据，对第一编码器的权重和第一解码器的权重进行训练，得到第一编码器和的目标权重和第一解码器的目标权重。进一步，根据第一编码器和第一编码器的目标权重生成点云编码器；根据第二编码器和第二编码器的目标权重生成点云解码器。
在实施过程中，生成点云编码器的装置可以确定第三点云数据与第二点云数据之间的第三差异；确定第四点云数据与第二点云数据之间的第四差异；基于第三差异和第四差异，对第一编码器的权重和第一解码器的权重进行训练，以使第三差异小于第三阈值，第四差异小于第四阈值，从而得到第一编码器和的目标权重和第一解码器的目标权重。
在本公开实施中，由于基于第三点云数据和第四点云数据，对第一编码器的权重和第一解码器的权重进行训练，使得第三点云数据和第四点云数据都能够尽可能的接近于第二点云数据，从而简化了训练过程，且训练得到的第一编码器的目标权重和第一解码器的目标权重，能够重建出逼真且完整的点云数据。
在一些实施方式中，S505可以通过以下方式实现：对第一概率分布进行采样，得到第一采样数据；将第一概率分布与第一采样数据进行合并，得到第一合并概率分布；基于所述第一解码器对所述第一合并概率分布进行解码，得到对第一点云数据补全后的第三点云数据。
在另一些实施方式中，S505可以通过以下方式实现：对第一概率分布进行采样，得到第一采样数据；在第一采样数据的维度小于第一概率分布的维度相同的情况下，对第一采样数据进行维度扩展，得到维度与第一概率分布的维度相同的目标采样数据；将第一概率分布与目标采样数据进行逐元素相加，得到第二合并概率分布；基于第二合并概率分布和第一解码器的权重，确定第三点云数据。例如，在第一概率分布中具有1024个概率值的情况下，对第一概率分布进行采样，得到的第一采样数据可以为1024个概率值、512个概率值、256个概率值等等。
在一些实施方式中，S506可以通过以下方式实现：对第二概率分布进行采样，得到第二采样数据；将第一概率分布与第二采样数据进行合并，得到第二合并概率分布；基于所述第二解码器对所述第二合并概率分布进行解码，得到对所述第二点云数据重建后的第四点云数据。
在一些实施方式中，在第二采样数据的维度与第一概率分布的维度相同的情况下，将第一概率分布与第二采样数据进行逐元素相加，得到第二合并概率分布。在第二采样数据的维度小于第一概率分布的维度的情况下，对第二采样数据进行维度扩展，得到维度与第一概率分布的维度相同的指定采样数据；将第一概率分布与指定采样数据进行逐元素相加，得到第二合并概率分布。
这样，通过将第一概率分布和对第一概率分布进行采样的第一采样数据进行合并，得到第一合并概率分布，第一合并概率分布是对第一概率分布的增强，从而基于第一合并概率分布得到的第三点云数据，能够准确地反映与第一点云数据对应的粗略完整点云数据；另外，通过将第一概率分布和对第二概率分布进行采样得到的第二采样数据进行合并，得到第二合并概率分布，从而基于第二合并概率分布和第二解码器的权重，确定的第四点云数据，不仅包括了第一点云数据的特征，还包括了第二点云数据的特征，从而在基于第四点云数据进行训练时，能够结合第一点云数据的特征和第二点云数据的特征，进而使训练得到的第一编码器的权重和第一解码器的权重，能够补全出逼真且完整的点云数据。
在本公开实施例中，使用深度相机或者激光雷达用以获得点云，通过预测和学习完整点云形状的概率分布模型，来引导残缺点云的重建和复原，进而重建出更逼真的点云形状的，从而在一定程度上解决了生成的点云粗略形状缺乏输入的点云细节的问题。
本公开实施例提出的网络结构为平行的两道路径组成。训练网络时，将一组数据中残缺点云作为点云补全路径的输入，而将残缺点云相对应的完整点云作为点云重建路径的输入。
点云重建路径在模型训练中，变分自动编码器将残缺点云所对应的完整点云作为输入，并从中学习当输入点云为固定值时生成的表征的条件概率分布。接下来，变分自动编码器将会根据此点云表征来重建点云，并同时学习了当输入表征为固定值时生成的点云的条件概率分布。为了使输入点云为固定值时生成的表征的条件概率分布靠近高斯分布，在训练该网络时引入了K-L散度(描述了两个分布的相似度)作为损失函数的一部分。同时，为了训练网络重建点云的能力，比较生成的完整点云和输入的真实完整点云相似度，并也将此相似度作为损失函数的一部分。
点云补全路径在模型训练中，变分自动编码器的编码器和解码器的参数是和点云重建路径中的参数是一致的，仅分布推理层的参数不同。点云补全路径将残缺点云作为输入，并从中学习当输入点云为固定值时生成的表征的条件概率分布，为了点云补全路径学习到的表征条件概率分布和对应的点云重建路径学习到的表征条件概率分布相似，将这两个分布的K-L散度加入训练的损失函数；为了点云补全路径生成的粗略完整点云和输入残缺点云所对应的真实完整点云相似，在训练的损失函数中也加入了生成点云和真实点云的相似度。
在本公开实施例中，采用变分自动编码器和解码器来生成粗略点云，并采用两条平行路径进行网络训练，一条为点云补全路径，一条为点云重建路径。从而通过运用两条平行路径，使得网络可以根据输入的残缺点云来生成粗略的完整点云。这可以大幅保留输入的残缺点云中自带的细节，避免了相关技术中在生成粗略点云的阶段仅能生成一个类别的通用模版，忽视了输入的残缺点云中自带的信息与细节的问题。
以下说明本公开实施例提供的一种基于上述任一实施例训练得到的第一编码器的目标权重，来确定待处理的点云数据的方法，即点云编码器的应用方法。
图6为本公开实施例提供的一种生成点云数据的方法的实现流程示意图，如图6所示，该方法应用于生成点云数据的装置，在一些实施方式中，生成点云数据的装置可以与生成点云编码器的装置是同一装置或不同的装置，该方法包括：
S601、获取拍摄对象而得到的待处理点云数据。
S602、基于待处理点云数据和经过训练的第一编码器，确定待处理点云数据的全局特征的目标概率分布。
其中，第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整第一编码器的权重得到的；第二点云数据的完整程度大于第一点云数据的完整程度。
S603、基于目标概率分布对待处理点云数据进行点云补全，生成目标点云数据；目标点云数据的完整程度大于待处理点云数据的完整程度。
在一些实施方式中，S603可以通过以下方式实现：基于目标概率分布和第一解码器的目标权重，确定目标点云数据。
其中，第一编码器的目标权重和第一解码器的目标权重，是基于第一概率分布、第二概率分布、基于第一概率分布和第一解码器的权重确定的第三点云数据，以及基于第二概率分布和第二解码器的权重确定的第四点云数据，对第一编码器的权重和第一解码器的权重进行训练得到；第一解码器与第二解码器共享权重。
第一编码器的目标权重和第一解码器的目标权重的得到方式，可以参照上述任一涉及到的实施例中的描述，此处不再赘述。
图7为本公开实施例提供的一种概率模型网络的架构示意图，如图7所示，概率模型网络的架构包括两个并行的管线，残缺点云所对应的完整点云Y的上部重构路径和残缺点云X的下部补全路径。
在上部重构路径中：将残缺点云(对应上述实施例中的第一点云数据)所对应的完整点云Y(对应上述实施例中的第二点云数据)作为输入，以便于从中学习当输入点云为固定值时点云的特征的条件概率分布(对应上述的第二概率分布)。例如，将完整点云Y输入到变分自动编码器701中，变分自动编码器将会根据完整点云Y的特征来重建点云，并同时学习了当输入表征为固定值时生成的点云的条件概率分布；为了使输入点云为固定值时生成的表征的条件概率分布靠近高斯分布，在训练该网络时引入了K-L散度(描述了两个分布的相似度)作为损失函数的一部分。
完整点云Y输入至变分自动编码器701中，依次通过两次的MLP(分别为SharedMLP128和Shared MLP256)计算之后，进行最大池化(Maxpool)，之后将最大池化的结果与两次MLP计算之后的结果，进行逐元素相乘之后得到的结果依次进行两次的MLP(分别为Shared MLP512和Shared MLP1024)计算之后，进行最大池化(Maxpool)，得到完整点云数据的全局特征。然后基于完整点云数据的全局特征和完整点云数据的初始特征，进行先验推断，得到第二概率分布。
在下部补全路径中：将残缺点云X作为输入，以便于从中学习当输入点云为固定值时生成的点云特征的条件概率分布。为使得点云补全路径学习到的特征条件概率分布和对应的点云重建路径学习到的特征条件概率分布相似，将这两个分布的K-L散度加入训练的损失函数。
将残缺点云X输入到变分自动编码器702中(这里，变分自动编码器702与变分自动编码器701的编码器和解码器的参数一致)，并依次通过两次的MLP(分别为Shared MLP128和Shared MLP256)计算之后，进行最大池化(Maxpool)，之后将最大池化的结果与两次MLP计算之后的结果进行级联之后得到的结果，依次进行两次的MLP(分别为Shared MLP512和Shared MLP1024)计算之后进行最大池化(Maxpool)，得到残缺点云数据X的全局特征。然后基于残缺点云数据X的全局特征和残缺点云数据X的初始特征，进行后验推断，得到第一概率分布。
在上部重构路径中，可以对第二概率分布进行采样，并将采样结果与第一概率分布进行逐元素相加，将逐元素相加的结果输入至全连接层703，从而通过全连接层703输出重建点云(对应上述的第四点云数据)。
在下部补全路径中，可以对第一概率分布进行采样，并将采样结果与第一概率分布进行逐元素相加，将逐元素相加的结果输入至全连接层704，从而通过全连接层704输出粗略完整点云(对应上述的第三点云数据)。
在得到重建点云和粗略完整点云之后，需要对PMNet网络中的参数进行训练，例如对Shared MLP中的参数(对应第一编码器的权重)和全连接层的参数(对应第一解码器的权重)进行训练，由于第一编码器与第二编码器共享权重，第一解码器和第二解码器共享权重，从而通过对第一编码器的权重和第二编码器的权重进行训练，在训练过程中，得到的粗略完整点云也越来越靠近完整点云Y，从而能够得到对残缺点云X进行粗略补全的粗略完整点云。在得到粗略完整点云之后，可以基于粗略完整点云确定精细完整点云。
在一些实施方式中，可以将残缺点云X和最终得到的粗略完整点云进行级联，将接连后点云数据输入至关系提升网络(Relational Enhancement Network，RENet)，从而得到精细完整点云。RENet可以通过使用保留边缘的池化(Edge-preserved Pooling，EP)和保留边缘的非池化(Edge-preserved Unpooling，EU)模块来实现分层编码器-解码器体系结构。将粗略完整点云和残缺点云作为分层编码器的输入，在分层编码器中，依次通过残差点选择核心模块(Selective Kernel module，R-PSK)64、R-PSK128、R-PSK256和R-PSK512将输入的点云数据的特征进行编码，最终得到点云特征维度为512的点云特征数据；对R-PSK的输出结果通过多层EP处理，来实现分层编码；对于编码器的输出结果，输入全连接层，将全连接层的输出结果与R-PSK512的输出结果相融合，以对特征维度进行扩展。对于融合结果采用分层解码器进行解码，在分层解码器采用多层EU进行处理，来实现分层解码，从而得到R-PSK64的输出结果；最后，采用共享MLPs对R-PSK64的输出结果进行处理，得到最终的精细点云结构。
如此，通过使用边缘感知特征扩展模块来扩展点特征，能够生成具有预测的精细局部细节的高分辨率完整点云。因此，能够利用多尺度结构关系来生成精细的细节。其中，残差点选择核心模块用于对输入至关系提升网络的点云数据中每一点的初始特征进行进一步的特征提取，输出每一点的目标特征。
基于前述的实施例，本公开实施例提供一种生成点云编码器的装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现。
图8为本公开实施例提供的一种生成点云编码器的装置的组成结构示意图，如图8所示，生成点云编码器的装置800包括：获取单元801，用于获取对象的第一点云数据和第二点云数据，第二点云数据的完整程度大于第一点云数据的完整程度；第一确定单元802，用于基于第一编码器，确定第一点云数据的全局特征的第一概率分布；第二确定单元803，用于基于第二编码器，确定第二点云数据的全局特征的第二概率分布；第一编码器与第二编码器共享权重；调整单元804，用于基于第一概率分布和第二概率分布之间的第一差异，调整第一编码器的权重，得到第一编码器的目标权重；生成单元805，用于根据第一编码器和目标权重生成点云编码器。
在一些实施例中，第一确定单元802，还用于基于第一编码器对第一点云数据进行特征提取，得到第一点云数据的全局特征；基于第一点云数据的全局特征确定第一概率分布；第二确定单元，还用于基于第二编码器对第二点云数据进行特征提取，得到第二点云数据的全局特征；基于第二点云数据的全局特征确定第二概率分布。
在一些实施例中，第一编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第一子权重；第一确定单元802，还用于基于第一编码器的第一子权重，对第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第一特征；提取第一点云数据中每一点的第一特征在每一个特征维度上的最大值，得到第一点云数据的融合特征；将第一点云数据中每一点的第一特征和第一点云数据的融合特征进行级联，得到第一点云数据中每一点的第二特征；基于第一点云数据中每一点的第二特征，确定第一点云数据的全局特征。
在一些实施例中，第一编码器的权重还包括：用于将提取出的特征的维度由第二维度增加至第三维度的第二子权重；第一确定单元802，还用于基于第一编码器的第二子权重，对第一点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第一点云数据中每一点的第三特征；提取第一点云数据中每一点的第三特征在每一个特征维度上的最大值，得到第一点云数据的全局特征。
在一些实施例中，第二编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第三子权重；第二确定单元803，还用于基于第二编码器的第三子权重，对第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第一特征；提取第二点云数据中每一点的第一特征在每一个特征维度上的最大值，得到第二点云数据的融合特征；对第二点云数据中每一点的第一特征和第二点云数据的融合特征进行逐元素相乘，得到第二点云数据中每一点的第二特征；基于第二点云数据中每一点的第二特征，确定第二点云数据的全局特征。
在一些实施例中，第二编码器的权重还包括：用于将提取出的特征的维度由第二维度增加至第三维度的第四子权重；第二确定单元803，还用于基于第二编码器的第四子权重，对第二点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到第二点云数据中每一点的第三特征；提取第二点云数据中每一点的第三特征在每一个特征维度上的最大值，得到第二点云数据的全局特征。
在一些实施例中，调整单元804，还用于确定第二概率分布与指定概率分布之间的第二差异；基于第一差异和第二差异，调整第一编码器的权重，得到第一编码器的目标权重。
在一些实施例中，调整单元804，还用于基于第一解码器对所述第一概率分布进行解码，得到对所述第一点云数据补全后的第三点云数据；基于第二解码器对所述第二概率分布进行解码，得到对所述第二点云数据重建后第四点云数据；基于第一差异、第二差异、第三点云数据以及第四点云数据，调整第一编码器的权重和第一解码器的权重，得到第一编码器的目标权重和第一解码器的目标权重。
在一些实施例中，调整单元804，还用于确定第三点云数据与第二点云数据之间的第三差异；确定第四点云数据与第二点云数据之间的第四差异；基于第一差异、第二差异、第三差异以及第四差异，调整第一编码器的权重和第一解码器的权重，得到第一编码器和的目标权重和第一解码器的目标权重。
在一些实施例中，调整单元804，还用于对第一概率分布进行采样，得到第一采样数据；将第一概率分布与第一采样数据进行合并，得到第一合并概率分布；基于所述第一解码器对所述第一合并概率分布进行解码，得到对第一点云数据补全后的第三点云数据；对第二概率分布进行采样，得到第二采样数据；将第一概率分布与第二采样数据进行合并，得到第二合并概率分布；基于所述第二解码器对所述第二合并概率分布进行解码，得到对所述第二点云数据重建后的第四点云数据。
基于前述的实施例，本公开实施例提供一种生成点云数据的装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现。
图9为本公开实施例提供的一种生成点云数据的装置的组成结构示意图，如图9所示，生成点云数据的装置900包括：
获取单元901，用于获取拍摄对象而得到的待处理点云数据；
第一确定单元902，用于基于待处理点云数据和经过训练的第一编码器，确定待处理点云数据的全局特征的目标概率分布；
第二确定单元903，用于基于目标概率分布对待处理点云数据进行点云补全，生成目标点云数据；目标点云数据的完整程度大于待处理点云数据的完整程度；
其中，第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整第一编码器的权重得到的；第二点云数据的完整程度大于第一点云数据的完整程度。
在一些实施例中，第二确定单元903，还用于基于目标概率分布和第一解码器的目标权重，确定目标点云数据。其中，第一编码器的目标权重和第一解码器的目标权重，是基于第一概率分布、第二概率分布、基于第一概率分布和第一解码器的权重确定的第三点云数据，以及基于第二概率分布和第二解码器的权重确定的第四点云数据，对第一编码器的权重和第一解码器的权重进行训练得到；第一解码器与第二解码器共享权重。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的生成点云编码器的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备执行本公开各个实施例方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。
图10为本公开实施例提供的一种电子设备的硬件实体示意图，如图10所示，该电子设备1000的硬件实体包括：处理器1001和存储器1002，其中，存储器1002存储有可在处理器1001上运行的计算机程序，处理器1001执行程序时实现上述任一实施例的方法中的步骤。
存储器1002存储有可在处理器上运行的计算机程序，存储器1002配置为存储由处理器1001可执行的指令和应用，还可以缓存待处理器1001以及电子设备1000中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
处理器1001执行程序时实现上述任一项的生成点云编码器的方法或生成点云数据的方法的步骤。处理器1001通常控制电子设备1000的总体操作。
本公开实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的生成点云编码器的方法或生成点云数据的方法的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
本公开实施例的处理器或生成点云编码器的装置或生成点云数据的装置可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)、控制器、微控制器、微处理器中的至少一种。处理器或生成点云编码器的装置或生成点云数据的装置可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本公开实施例中的存储器或计算机存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本公开实施例提供了一种计算机程序产品，该计算机程序产品包括计算机可执行指令，当所述计算机可执行指令运行在设备的处理器中时，该处理器执行所述生成点云编码器的方法或执行生成点云数据的方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开实施例中，不同实施例中相同步骤和相同内容的说明，可以互相参照。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
需要说明的是，本公开所涉及的各个实施例中，可以执行全部的步骤或者可以执行部分的步骤，只要能够形成一个完整的技术方案即可。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (25)

1.一种生成点云编码器的方法，包括：
获取对象的第一点云数据和第二点云数据，所述第二点云数据的完整程度大于所述第一点云数据的完整程度；
基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布；
基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布；所述第一编码器与所述第二编码器共享权重；
基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重；
根据所述第一编码器和所述目标权重生成点云编码器。
2.根据权利要求1所述的方法，其中，所述基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布，包括：
基于所述第一编码器对所述第一点云数据进行特征提取，得到所述第一点云数据的全局特征；
基于所述第一点云数据的全局特征确定所述第一概率分布；
所述基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布，包括：
基于所述第二编码器对所述第二点云数据进行特征提取，得到所述第二点云数据的全局特征；
基于所述第二点云数据的全局特征确定所述第二概率分布。
3.根据权利要求2所述的方法，其中，所述第一编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第一子权重；
所述基于所述第一编码器对所述第一点云数据进行特征提取，得到所述第一点云数据的全局特征，包括：
基于所述第一编码器的第一子权重，对所述第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到所述第一点云数据中每一点的第一特征；
提取所述第一点云数据中每一点的第一特征在每一个特征维度上的最大值，得到所述第一点云数据的融合特征；
将所述第一点云数据中每一点的第一特征和所述第一点云数据的融合特征进行级联，得到所述第一点云数据中每一点的第二特征；
基于所述第一点云数据中每一点的第二特征，确定所述第一点云数据的全局特征。
4.根据权利要求3所述的方法，其中，所述第一编码器的权重还包括：用于将提取出的特征的维度由所述第二维度增加至第三维度的第二子权重；所述基于所述第一点云数据中每一点的第二特征，确定所述第一点云数据的全局特征，包括：
基于所述第一编码器的第二子权重，对所述第一点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到所述第一点云数据中每一点的第三特征；
提取所述第一点云数据中每一点的第三特征在每一个特征维度上的最大值，得到所述第一点云数据的全局特征。
5.根据权利要求2至4任一项所述的方法，其中，所述第二编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第三子权重；
所述基于所述第二编码器对所述第二点云数据进行特征提取，得到所述第二点云数据的全局特征，包括：
基于所述第二编码器的第三子权重，对所述第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到所述第二点云数据中每一点的第一特征；
提取所述第二点云数据中每一点的第一特征在每一个特征维度上的最大值，得到所述第二点云数据的融合特征；
对所述第二点云数据中每一点的第一特征和所述第二点云数据的融合特征进行逐元素相乘，得到所述第二点云数据中每一点的第二特征；
基于所述第二点云数据中每一点的第二特征，确定所述第二点云数据的全局特征。
6.根据权利要求5所述的方法，其中，所述第二编码器的权重还包括：用于将提取出的特征的维度由所述第二维度增加至第三维度的第四子权重；所述基于所述第二点云数据中每一点的第二特征，确定所述第二点云数据的全局特征，包括：
基于所述第二编码器的第四子权重，对所述第二点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到所述第二点云数据中每一点的第三特征；
提取所述第二点云数据中每一点的第三特征在每一个特征维度上的最大值，得到所述第二点云数据的全局特征。
7.根据权利要求1至6任一项所述的方法，其中，所述基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重，包括：
确定所述第二概率分布与指定概率分布之间的第二差异；
基于所述第一差异和所述第二差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重。
8.根据权利要求7所述的方法，其中，所述基于所述第一差异和所述第二差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重，包括：
基于第一解码器对所述第一概率分布进行解码，得到对所述第一点云数据补全后的第三点云数据；
基于第二解码器对所述第二概率分布进行解码，得到对所述第二点云数据重建后第四点云数据；
基于所述第一差异、所述第二差异、所述第三点云数据以及所述第四点云数据，调整所述第一编码器的权重和所述第一解码器的权重，得到所述第一编码器的目标权重和所述第一解码器的目标权重。
9.根据权利要求8所述的方法，其中，所述基于所述第一差异、所述第二差异、所述第三点云数据以及所述第四点云数据，调整所述第一编码器的权重和所述第一解码器的权重，得到所述第一编码器的目标权重和所述第一解码器的目标权重，包括：
确定所述第三点云数据与所述第二点云数据之间的第三差异；
确定所述第四点云数据与所述第二点云数据之间的第四差异；
基于所述第一差异、所述第二差异、所述第三差异以及所述第四差异，调整所述第一编码器的权重和所述第一解码器的权重，得到所述第一编码器和的目标权重和所述第一解码器的目标权重。
10.根据权利要求8或9所述的方法，其中，所述基于第一解码器对所述第一概率分布进行解码，得到对所述第一点云数据补全后的第三点云数据，包括：
对所述第一概率分布进行采样，得到第一采样数据；
将所述第一概率分布与所述第一采样数据进行合并，得到第一合并概率分布；
基于所述第一解码器对所述第一合并概率分布进行解码，得到对第一点云数据补全后的第三点云数据；
所述基于第二解码器对所述第二概率分布进行解码，得到对所述第二点云数据重建后第四点云数据，包括：
对所述第二概率分布进行采样，得到第二采样数据；
将所述第一概率分布与所述第二采样数据进行合并，得到第二合并概率分布；
基于所述第二解码器对所述第二合并概率分布进行解码，得到对所述第二点云数据重建后的第四点云数据。
11.一种生成点云数据的方法，包括：
获取拍摄对象而得到的待处理点云数据；
基于所述待处理点云数据和经过训练的第一编码器，确定所述待处理点云数据的全局特征的目标概率分布；
基于所述目标概率分布对所述待处理点云数据进行点云补全，生成目标点云数据；所述目标点云数据的完整程度大于所述待处理点云数据的完整程度；
其中，所述第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整所述第一编码器的权重得到的；所述第二点云数据的完整程度大于所述第一点云数据的完整程度。
12.一种生成点云编码器的装置，包括：
获取单元，用于获取对象的第一点云数据和第二点云数据，所述第二点云数据的完整程度大于所述第一点云数据的完整程度；
第一确定单元，用于基于第一编码器，确定所述第一点云数据的全局特征的第一概率分布；
第二确定单元，用于基于第二编码器，确定所述第二点云数据的全局特征的第二概率分布；所述第一编码器与所述第二编码器共享权重；
调整单元，用于基于所述第一概率分布和所述第二概率分布之间的第一差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重；
生成单元，用于根据所述第一编码器和所述目标权重生成点云编码器。
13.根据权利要求12所述的装置，其中，所述第一确定单元进一步配置为：
基于所述第一编码器对所述第一点云数据进行特征提取，得到所述第一点云数据的全局特征；
基于所述第一点云数据的全局特征确定所述第一概率分布；
所述第二确定单元进一步配置为：
基于所述第二编码器对所述第二点云数据进行特征提取，得到所述第二点云数据的全局特征；
基于所述第二点云数据的全局特征确定所述第二概率分布。
14.根据权利要求13所述的装置，其中，所述第一编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第一子权重；
所述第一确定单元进一步配置为：
基于所述第一编码器的第一子权重，对所述第一点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到所述第一点云数据中每一点的第一特征；
提取所述第一点云数据中每一点的第一特征在每一个特征维度上的最大值，得到所述第一点云数据的融合特征；
将所述第一点云数据中每一点的第一特征和所述第一点云数据的融合特征进行级联，得到所述第一点云数据中每一点的第二特征；
基于所述第一点云数据中每一点的第二特征，确定所述第一点云数据的全局特征。
15.根据权利要求14所述的装置，其中，所述第一编码器的权重还包括：用于将提取出的特征的维度由所述第二维度增加至第三维度的第二子权重；所述第一确定单元进一步配置为：
基于所述第一编码器的第二子权重，对所述第一点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到所述第一点云数据中每一点的第三特征；
提取所述第一点云数据中每一点的第三特征在每一个特征维度上的最大值，得到所述第一点云数据的全局特征。
16.根据权利要求13至15任一项所述的装置，其中，所述第二编码器的权重包括：用于将提取出的特征的维度由第一维度增加至第二维度的第三子权重；
所述第二确定单元进一步配置为：
基于所述第二编码器的第三子权重，对所述第二点云数据中每一点的初始特征进行线性变换和/或非线性变换，得到所述第二点云数据中每一点的第一特征；
提取所述第二点云数据中每一点的第一特征在每一个特征维度上的最大值，得到所述第二点云数据的融合特征；
对所述第二点云数据中每一点的第一特征和所述第二点云数据的融合特征进行逐元素相乘，得到所述第二点云数据中每一点的第二特征；
基于所述第二点云数据中每一点的第二特征，确定所述第二点云数据的全局特征。
17.根据权利要求16所述的装置，其中，所述第二编码器的权重还包括：用于将提取出的特征的维度由所述第二维度增加至第三维度的第四子权重；所述第二确定单元进一步配置为：
基于所述第二编码器的第四子权重，对所述第二点云数据中每一点的第二特征进行线性变换和/或非线性变换，得到所述第二点云数据中每一点的第三特征；
提取所述第二点云数据中每一点的第三特征在每一个特征维度上的最大值，得到所述第二点云数据的全局特征。
18.根据权利要求12至17任一项所述的装置，其中，所述调整单元进一步配置为：
确定所述第二概率分布与指定概率分布之间的第二差异；
基于所述第一差异和所述第二差异，调整所述第一编码器的权重，得到所述第一编码器的目标权重。
19.根据权利要求18所述的装置，其中，所述调整单元进一步配置为：
基于第一解码器对所述第一概率分布进行解码，得到对所述第一点云数据补全后的第三点云数据；
基于第二解码器对所述第二概率分布进行解码，得到对所述第二点云数据重建后第四点云数据；
基于所述第一差异、所述第二差异、所述第三点云数据以及所述第四点云数据，调整所述第一编码器的权重和所述第一解码器的权重，得到所述第一编码器的目标权重和所述第一解码器的目标权重。
20.根据权利要求19所述的装置，其中，所述调整单元进一步配置为：
确定所述第三点云数据与所述第二点云数据之间的第三差异；
确定所述第四点云数据与所述第二点云数据之间的第四差异；
基于所述第一差异、所述第二差异、所述第三差异以及所述第四差异，调整所述第一编码器的权重和所述第一解码器的权重，得到所述第一编码器和的目标权重和所述第一解码器的目标权重。
21.根据权利要求19或20所述的装置，其中，所述调整单元进一步配置为：
对所述第一概率分布进行采样，得到第一采样数据；
将所述第一概率分布与所述第一采样数据进行合并，得到第一合并概率分布；
基于所述第一解码器对所述第一合并概率分布进行解码，得到对第一点云数据补全后的第三点云数据；
对所述第二概率分布进行采样，得到第二采样数据；
将所述第一概率分布与所述第二采样数据进行合并，得到第二合并概率分布；
基于所述第二解码器对所述第二合并概率分布进行解码，得到对所述第二点云数据重建后的第四点云数据。
22.一种生成点云数据的装置，包括：
获取单元，用于获取拍摄对象而得到的待处理点云数据；
第一确定单元，用于基于所述待处理点云数据和经过训练的第一编码器，确定所述待处理点云数据的全局特征的目标概率分布；
第二确定单元，用于基于所述目标概率分布对所述待处理点云数据进行点云补全，生成目标点云数据；所述目标点云数据的完整程度大于所述待处理点云数据的完整程度；
其中，所述第一编码器的目标权重，至少是基于第一编码器确定的第一点云数据的全局特征的第一概率分布，和第二编码器确定的第二点云数据的全局特征的第二概率分布之间的第一差异，调整所述第一编码器的权重得到的；所述第二点云数据的完整程度大于所述第一点云数据的完整程度。
23.一种电子设备，包括：存储器和处理器，
所述存储器存储有可在所述处理器上运行的计算机程序，
所述处理器执行所述计算机程序时实现权利要求1至10任一项所述方法中的步骤；或者，
所述处理器执行所述计算机程序时实现权利要求11所述方法中的步骤。
24.一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至10任一项所述方法中的步骤；或者，
所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求11所述方法中的步骤。
25.一种计算机程序产品，包括计算机可读指令，其中当所述计算机可读指令在设备的处理中运行时，所述处理器执行权利要求1至10中任一项所述的方法；或者，
所述处理器执行权利要求11所述的方法。
CN202180001663.3A 2021-04-15 2021-05-31 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质 Pending CN115428020A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202103893T 2021-04-15
SG10202103893TA SG10202103893TA (en) 2021-04-15 2021-04-15 Method and apparatus for generating point cloud encoder, method and apparatus for generating point cloud data, electronic device and computer storage medium
PCT/IB2021/054758 WO2022219384A1 (en) 2021-04-15 2021-05-31 Method and apparatus for generating point cloud encoder,method and apparatus for generating point cloud data, electronic device and computer storage medium

Publications (1)

Publication Number Publication Date
CN115428020A true CN115428020A (zh) 2022-12-02

Family

ID=83601599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001663.3A Pending CN115428020A (zh) 2021-04-15 2021-05-31 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质

Country Status (4)

Country Link
US (1) US20220335654A1 (zh)
KR (1) KR20220143550A (zh)
CN (1) CN115428020A (zh)
AU (1) AU2021204622A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3595181B1 (en) * 2018-07-11 2023-09-06 BlackBerry Limited Predictor-copy coding mode for coding of point clouds
EP3633857B1 (en) * 2018-10-03 2022-01-26 BlackBerry Limited Methods and devices for on-the-fly coder mapping updates in point cloud coding
KR102609776B1 (ko) * 2019-05-30 2023-12-05 엘지전자 주식회사 포인트 클라우드 데이터 처리 방법 및 장치
JP7451576B2 (ja) * 2019-07-02 2024-03-18 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ処理方法及び装置
KR102352826B1 (ko) * 2019-09-20 2022-01-17 아주대학교 산학협력단 이웃 연결성 합성곱 신경망을 이용한 포인트 클라우드 분류 장치 및 방법
CN113111627A (zh) * 2020-01-13 2021-07-13 北京京东乾石科技有限公司 一种文本合成点云的方法和装置
CN111462197B (zh) * 2020-03-06 2023-05-26 深圳大学 外观模型获取方法、装置、计算机设备和存储介质
EP4325852A1 (en) * 2021-04-15 2024-02-21 LG Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device

Also Published As

Publication number Publication date
AU2021204622A1 (en) 2022-11-03
US20220335654A1 (en) 2022-10-20
KR20220143550A (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
US11232286B2 (en) Method and apparatus for generating face rotation image
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
Nazir et al. Semattnet: Toward attention-based semantic aware guided depth completion
CN110084193B (zh) 用于面部图像生成的数据处理方法、设备和介质
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
TWI643137B (zh) 物件辨識方法及物件辨識系統
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
WO2022205755A1 (zh) 纹理生成方法、装置、设备及存储介质
US20220335685A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
Chen et al. Salbinet360: Saliency prediction on 360 images with local-global bifurcated deep network
CN113781164B (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
US20220335666A1 (en) Method and apparatus for point cloud data processing, electronic device and computer storage medium
CN114494543A (zh) 动作生成方法及相关装置、电子设备和存储介质
CN113689527B (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
KR20220149717A (ko) 단안 카메라로부터 전체 골격 3d 포즈 복구
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
WO2022219384A1 (en) Method and apparatus for generating point cloud encoder,method and apparatus for generating point cloud data, electronic device and computer storage medium
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN115428020A (zh) 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质
CN112541972A (zh) 一种视点图像处理方法及相关设备
JP7446903B2 (ja) 画像処理装置、画像処理方法及び画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination