CN116168180A - 点云处理方法、装置、设备及存储介质 - Google Patents
点云处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116168180A CN116168180A CN202310208654.2A CN202310208654A CN116168180A CN 116168180 A CN116168180 A CN 116168180A CN 202310208654 A CN202310208654 A CN 202310208654A CN 116168180 A CN116168180 A CN 116168180A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- dimensional
- weight
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 54
- 239000012535 impurity Substances 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 28
- 238000012217 deletion Methods 0.000 claims description 17
- 230000037430 deletion Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 17
- 238000004590 computer program Methods 0.000 description 10
- 210000000214 mouth Anatomy 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004195 gingiva Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种点云处理方法、装置、设备及存储介质。所述方法包括：获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带有权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点；降低所述目标三维点的权重；若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。实现准确删除杂点。
Description
技术领域
本申请涉及点云技术领域，尤其涉及一种点云处理方法、装置、电子设备及计算机可读存储介质。
背景技术
三维扫描主要用于对物体空间外形和结构及色彩进行扫描，以获得物体表面的空间坐标，比如点云数据。它的重要意义在于能够将物体的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。但是在三维扫描过程中，可能会将目标物体之外的无效的杂物也扫描进去，形成杂数据(或者在点云中的杂点)，这些无效的杂数据可能会对后续的处理过程造成影响，因此需要将扫描到的杂数据删除。
发明内容
有鉴于此，本申请提供一种点云处理方法、装置、电子设备及计算机可读存储介质。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种点云处理方法，包括：
获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带权重，所述权重表征该三维点为杂点或目标物体的可能性；
在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点；
降低所述目标三维点的权重；
若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
可选的，还包括：确定所述当前帧点云中的三维点的初始权重；
在将所述当前帧点云投影到全局模型中之后，还包括：
利用所述当前帧点云中的三维点的初始权重，更新所述当前帧点云在所述全局模型的投影区域内的三维点的权重。
可选的，在所述当前帧点云中，所述确定所述当前帧点云中的三维点的初始权重，包括：
针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
利用所述第一调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第一调整系数与所述初始权重呈正相关关系。
可选的，各个所述三维点的采集信息包括以下至少一种：三维点与点云采集装置的最佳景深之间的距离、三维点与点云采集装置的视场的中心之间的距离、三维点与点云采集装置投射的光线中插值该三维点的光线之间的距离、或者三维点的法向信息与其相邻三维点的法向信息之间的差异；
其中，所述三维点的第一调整系数与所述三维点的采集信息呈负相关关系。
可选的，所述确定所述当前帧点云中的三维点的初始权重，包括：
针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
以及，在对所述当前帧点云进行物体识别处理后，根据所述三维点对应的物体识别结果获取第二调整系数；
根据所述第一调整系数和所述第二调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第二调整系数与所述初始权重呈正相关关系、且物体识别结果为目标物体的三维点的第二调整系数大于物体识别结果为杂点的三维点的第二调整系数。
可选的，所述光线的起始点为第一位置和第二位置中的其中一者，以及所述光线的终止点为所述第一位置和所述第二位置中的另一者；
其中，所述第一位置包括以下其中一者：所述投影后的当前帧点云所在位置、或者所述投影后的当前帧点云所在位置结合预设误差距离后的结果；
所述第二位置包括以下其中一者：所述点云采集装置在采集所述当前帧点云时镜头所在位置、或者所述投影后的当前帧点云所在位置结合预设距离后的结果；所述预设距离根据所述点云采集装置在采集所述当前帧点云时的景深确定。
可选的，所述若干条光线分别与所述当前帧点云中的若干三维点一一对应；
所述降低所述目标三维点的权重，包括：
确定穿过所述目标三维点的光线对应的所述当前帧点云中的三维点，并利用该三维点在所述全局模型中的权重降低所述目标三维点的权重。
可选的，所述全局模型所在空间被划分为若干个体素；
所述确定更新后的全局模型中被所述光线穿过的目标三维点，包括：
检测被所述光线穿过的目标体素，并确定所述目标体素中与所述光线相交的目标三维点。
可选的，还包括：
若点云采集装置后续采集的至少一帧点云包含已删除的目标三维点，基于所述已删除的目标三维点在各帧点云中的初始权重进行权重累计；
在所述已删除的目标三维点的累计后的权重满足预设重建条件的情况下，在所述全局模型中重建该目标三维点。
可选的，所述全局模型中的三维点按照权重从大到小或者从小到大的顺序，以颜色渐变的方式进行显示；不同权重指示的三维点的显示颜色不同。
可选的，所述杂点删除条件指示目标三维点的降低后的权重小于权重阈值；
所述方法还包括：
获取用户在交互界面中输入的权重阈值；或者
响应于用户输入的扫描场景指令，根据所述扫描场景指令指示的扫描场景从预存数据中获取权重阈值的多个推荐值；其中，所述预存数据包括不同扫描场景下的权重阈值的多个推荐值；
将权重阈值的多个推荐值展示在交互界面中；
响应于用户的选中操作，从权重阈值的多个推荐值确定选中值。
根据本申请实施例的第二方面，提供一种点云处理方法，包括：
获取点云采集装置采集的全局模型；其中，所述全局模型中的任一三维点携带权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；
若所述全局模型中存在权重满足杂点删除条件的目标三维点，删除所述目标三维点。
根据本申请实施例的第三方面，提供一种点云处理装置，包括：
获取模块，用于获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带有权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；
目标三维点确定模块，用于在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点；
权重降低模块，用于降低所述目标三维点的权重；
目标三维点删除模块，用于若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
根据本申请实施例的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行指令；
其中，所述处理器执行所述可执行指令时实现如第一方面任意一项所述方法中的步骤。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任意一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，可以假设采集的当前帧点云全部为有效数据，而在当前帧点云和点云采集装置之间不存在其他点云数据，换句话说，即点云采集装置和被测物体(即当前帧点云)之间理论上不存在其他物体，基于该假设，可以利用当前帧点云来删除全局模型中在历史时刻采集的当前帧点云和点云采集装置之间的杂数据；可以将所述当前帧点云投影到所述全局模型中，然后在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点，目标三维点可能是在历史时刻误采集到的当前帧点云和点云采集装置之间的杂点，并且为了避免误删除情况，本实施例实现降低所述目标三维点的权重，可以基于目标三维点多次被光线穿过的情况来多次降低权重直到目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点，从而可以在多次核实的情况下准确删除杂点数据，提高删除结果的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1A是本申请一示例性实施例示出的点云采集装置在T时刻采集的一帧点云在全局模型上的投影结果示意图。
图1B是本申请一示例性实施例示出的点云采集装置在T时刻在口腔内的扫描范围。
图2A是本申请一示例性实施例示出的点云采集装置在T+n时刻采集的一帧点云在全局模型上的投影结果示意图。
图2B是本申请一示例性实施例示出的点云采集装置在T+n时刻在口腔内的扫描范围。
图3是本申请一示例性实施例示出的一种点云处理方法的流程示意图。
图4是本申请一示例性实施例示出的电子设备的示例性示意图。
图5是本申请一示例性实施例示出的一种点云处理装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
三维扫描主要用于对物体空间外形和结构及色彩进行扫描，以获得物体表面的空间坐标，比如点云数据。它的重要意义在于能够将物体的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。但是在三维扫描过程中，可能会将目标物体之外的无效的杂物也扫描进去，形成杂数据(或者在点云数据中的杂点)，这些无效的杂数据可能会对后续的处理过程造成影响，因此早进行后续处理之前需要将扫描到的杂数据删除。
比如在口扫领域，能够利用三维扫描仪对用户的牙齿进行扫描，从而构建牙齿三维模型，牙齿三维模型可以用于咬合检测、倒凹处理等。而在利用三维扫描仪扫描用户牙齿的过程中，除了扫描到牙齿牙龈等有效数据之外，还可能扫描到舌侧、唇侧、颊侧以及口内医疗器械等无效的杂数据，而这些无效的杂数据可能会影响到后续的牙齿处理过程，因此，需要删除掉这些无效的杂数据。
针对于相关技术中的问题，本申请实施例提供了一种点云处理方法，可以获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性，换句话说，所述权重表征该三维点的置信度；权重越高，则置信度越高，该三维点为目标物的可能性越大；权重越低，则置信度越低，该三维点为杂点的可能性越大。
在点云采集装置采集当前帧点云时，可以假设采集的当前帧点云全部为有效数据，而在当前帧点云和点云采集装置之间不存在其他点云数据，换句话说，即点云采集装置和被测物体(即当前帧点云)理论上不存在其他物体，基于该假设，可以利用当前帧点云来删除全局模型中的杂数据；可以将所述当前帧点云投影到所述全局模型中，然后在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点，目标三维点可能是在历史时刻误采集到的当前帧点云和点云采集装置之间的杂点，为了避免误删除情况，本实施例实现降低所述目标三维点的权重，进而如果目标三维点的降低后的权重满足杂点删除条件，则删除所述目标三维点，而如果所述目标三维点的降低后的权重不满足杂点删除条件，则不删除所述目标三维点，由点云采集装置采集下一帧点云并继续上述处理过程，从而可以在多次核实的情况下准确删除杂点数据，提高删除结果的准确性。
本申请实施例提供的点云处理方法可以由电子设备来执行，所述电子设备包括但不限于智能电话/手机、平板计算机、个人数字助理(PDA)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、遥控器、或者任何其他具备计算能力的装置。
示例性的，所述电子设备包括有处理器和存储器，存储器存储有可在处理器上运行的可执行指令，所述处理器执行所述可执行指令时实现本申请实施例提供的点云处理方法。示例性的，所述电子设备集成一计算机程序产品，该电子设备执行该计算机程序产品时实现本申请实施例提供的点云处理方法。
示例性的，所述电子设备可以设置有点云采集装置；或者所述电子设备与点云采集装置相互独立、且两者通信连接。
其中，点云采集装置包括但不限于激光雷达、毫米波雷达、双目视觉传感器或者结构光深度相机等。
激光雷达用于向目标场景发射激光脉冲序列，然后接收从目标反射回来的激光脉冲序列，并根据反射回来的激光脉冲序列生成三维点云。在一个例子中，所述激光雷达可以确定反射回来的激光脉冲序列的接收时间，例如，通过探测电信号脉冲的上升沿时间和/或下降沿时间确定激光脉冲序列的接收时间。如此，所述激光雷达可以利用激光脉冲序列的接收时间信息和发射时间计算TOF(Time of flight，飞行时间)，从而确定探测物到所述激光雷达的距离。所述激光雷达属于自主发光的传感器，不依赖于光源光照，受环境光干扰比较小，即使在无光封闭环境内也可以正常工作，以便后续生成高精度的三维模型，具有广泛的适用性。毫米波雷达的点云采集原理与激光雷达类似，此处不再赘述。
双目视觉传感器是基于视差原理从不同的位置获取目标场景的两幅图像，通过计算两幅图像对应点间的位置偏差，来获取三维几何信息，以此生成三维点云。双目视觉传感器对于硬件要求低，相应的，也可以降低成本，只需是普通的CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)相机即可，只要光线合适，室内环境和室外环境均可使用，因此也具有一定的适用性。
结构光深度相机是将具有一定结构特征的光线投射到目标场景中再进行采集，这种具备一定结构的光线，会因被摄物体的不同深度区域而采集不同的图像相位信息，然后将其换算成深度信息，以此来获得三维点云。结构光深度相机也是属于自主发光的传感器，不依赖于光源光照，受环境光干扰比较小，即使在无光封闭环境内也可以正常工作，以便后续生成高精度的三维模型，具有广泛的适用性。
在一示例性的应用场景中，比如在口扫领域，点云采集装置可以在用户的口腔内进行扫描，以采集与用户的牙齿有关的数据，从而建立牙齿三维模型；如图1A和图1B所示，图1A示出了T时刻点云采集装置采集到的一帧点云在全局模型中的投影结果，为方便理解，该帧点云在图1A中以图像方式呈现，该图像可以是携带有深度信息的二维图像或者是深度图像，本实施例对此不做任何限制；图1B示出了点云采集装置在T时刻在口腔内的扫描范围。从图1A和图1B可以看到，T时刻点云采集装置扫描到了手指，因此采集到的一帧点云包含了与手指有关的杂点，在将T时刻点云采集装置采集到的一帧点云投影到全局模型之后，全局模型的投影区域(图1A中的方框)内出现手指等杂数据。
点云采集装置在用户的口腔内继续扫描，并且可以在扫描过程中应用本申请实施例提供的点云处理方法，以便实时删除杂数据；比如在T+N时刻，点云采集装置又扫描到与T时刻有交集的位置；请参阅图2A和图2B，如图2A示出了T+N时刻点云采集装置采集到的一帧点云在全局模型中的投影结果，该帧点云在图2B中以图像方式呈现；图2B示出了点云采集装置在T+n时刻在口腔内的扫描范围。从图2A和图2B可以看到，T+n时刻点云采集装置没有扫描到了手指，n为大于0的整数。基于点云采集装置和被测物体(即当前帧点云)理论上不存在其他物体的假设，在应用本申请实施例提供的点云处理方法之后，可以降低全局模型中在T时刻采集到的与手指有关的杂点的权重；可以在多次扫描到同一位置的情况下多次降低与手指有关的杂点的权重，最终在降低后的权重满足杂点删除条件的情况下，将全局模型中在历史时刻采集到的与手指有关的杂点删除；实现多次核实以便准确删除杂点。
接下来对本申请实施例提供的点云处理方法进行示例性说明：
需要说明的是，本申请实施例中的点云采集装置需要对探测场景中的同一位置进行多次扫描，这样才可以基于当前时刻的扫描结果将历史时刻在相同位置上扫描到的杂数据筛选出来删除掉。请参阅图3，图3示出了一种点云处理方法的流程示意图。所述方法可以由电子设备来执行，所述方法包括：
在S101中，获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带有权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性。
在S102中，在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点。
在S103中，降低所述目标三维点的权重。
在S104中，若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
本实施例中，可以假设采集的当前帧点云全部为有效数据，而在当前帧点云和点云采集装置之间不存在其他点云数据，换句话说，即点云采集装置和被测物体(即当前帧点云)之间理论上不存在其他物体，基于该假设，可以利用当前帧点云来删除全局模型中在历史时刻采集的当前帧点云和点云采集装置之间的杂数据；可以将所述当前帧点云投影到所述全局模型中，然后在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点，目标三维点可能是在历史时刻误采集到的当前帧点云和点云采集装置之间的杂点，并且为了避免误删除情况，本实施例实现降低所述目标三维点的权重，可以基于目标三维点多次被光线穿过的情况来多次降低权重直到目标三维点的降低后的权重满足杂点删除条件，则删除所述目标三维点，从而可以在多次核实的情况下准确删除杂点数据，提高删除结果的准确性。
示例性的，所述杂点删除条件指示三维点的权重小于预设阈值，该预设阈值可依据实际应用场景进行具体设置。
示例性的，所述全局模型基于所述点云采集装置采集的历史帧点云融合得到。在一个例子中，所述全局模型包括若干三维点。在另一个例子中，所述全局模型除了包括若干三维点之后，还可以包括三维连接构成的三角形信息；即全局模型可以是网格模型。
在一些实施例中，在获取点云采集装置采集的当前帧点云之后，电子设备还需进一步确定所述当前帧点云中的三维点的初始权重。
在一种可能的实现方式中，可以假设点云采集装置采集的当前帧点云中的三维点均为有效数据，即可以为当前帧点云中的三维点赋予预设的初始权重，当前帧点云中的所有三维点的初始权重均相同。
在另一种可能的实现方式中，可以基于当前帧点云中的三维点的深度信息的可靠程度来确定三维点的初始权重，可靠程度越大，则初始权重越大。其中，三维点的深度信息的可靠程度可以通过三维点的采集信息来反映。示例性的，针对于所述当前帧点云中的每个三维点，电子设备可以根据所述三维点的采集信息获取第一调整系数，然后利用所述第一调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第一调整系数与所述初始权重呈正相关关系，即第一调整系数越大，初始权重越大，反之亦然。在一个例子中，所述三维点的初始权重等于所述第一调整系数和基准权重的乘积。在另一个例子中，所述三维点的初始权重等于所述第一调整系数和基准权重之和。本实施例利用所述第一调整系数调整基准权重的具体调整方式不做任何限制，可依据实际应用场景进行具体设置。
示例性的，各个所述三维点的采集信息包括以下至少一种：三维点与点云采集装置的最佳景深之间的距离、三维点与点云采集装置的视场的中心之间的距离、三维点与点云采集装置投射的光线中插值该三维点的光线之间的距离、或者三维点的法向信息与其相邻三维点的法向信息之间的差异；但不限于此。在一个例子，如果点云采集装置为结构光相机，则投射的光线为结构光；如果点云采集装置是激光雷达，则投射的光线为激光线。
基于实践论证可以确定：(1)在点云采集装置的景深内采集到的三维点的深度更可靠，因此三维点与最佳景深之间的距离越小，则第一调整系数越大，反之亦然；(2)在点云采集装置的视场中心采集到的三维点的深度更可靠，因此三维点与所述视场的中心之间的距离越小，则第一调整系数越大，反之亦然；(3)三维点越靠近点云采集装置投射的光线中插值该三维点的光线，则该三维点的深度更可靠，因此三维点与与点云采集装置投射的光线中插值该三维点的光线之间的距离越小，则第一调整系数越大，反之亦然；(4)深度跳变程度越小的三维点的深度更可靠，因此三维点的法向信息与其相邻三维点的法向信息之间的差异越小，则第一调整系数越大，反之亦然。
即是说，所述三维点的第一调整系数与以下任意一者呈负相关关系：三维点与所述景深之间的距离、三维点与所述视场的中心之间的距离、三维点与光线投射位置之间的距离、以及三维点的法向信息与其相邻三维点的法向信息之间的差异。
在又一种可能的实现方式中，除了考虑当前帧点云中的三维点的深度信息的可靠程度之外，还可以进一步考虑三维点的重要程度，三维点的重要程度越高，则初始权重越高。其中，三维点的重要程度可以通过该三维点的物体识别结果来反映，如果该三维点被识别为目标物体，比如牙齿、牙龈等，则表示该三维点较为重要；如果该三维点被识别为杂点，则表示该三维点是不重要的。
示例性的，针对于所述当前帧点云中的每个三维点，电子设备可以根据所述三维点的采集信息获取第一调整系数；以及，在对所述当前帧点云进行物体识别处理后，根据所述三维点对应的物体识别结果获取第二调整系数；接着根据所述第一调整系数和所述第二调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第二调整系数与所述初始权重呈正相关关系、且物体识别结果为目标物体的三维点的第二调整系数大于物体识别结果为杂点的三维点的第二调整系数。
在一个例子中，所述三维点的初始权重可以是所述第一调整系数、所述第二调整系数和所述基准权重三者的乘积。在另一个例子中，所述三维点的初始权重也可以是所述第一调整系数、所述第二调整系数和所述基准权重三者之和。本实施例利用所述第一调整系数和第二调整系数调整基准权重的具体调整方式不做任何限制，可依据实际应用场景进行具体设置。
其中，目标物体可以包含一种或多于一种，指示不同种目标物体的三维点的第二调整系数可以相同也可以不同，可依据实际应用场景进行具体设置。在一个例子中，假设在牙齿扫描领域，目标物体包括牙齿和牙龈，可以设置物体识别结果为牙齿的三维点的第二调整系数大于物体识别结果为牙龈的三维点的第二调整系数。
在一个例子中，以所述三维点的初始权重可以是所述第一调整系数、所述第二调整系数和所述基准权重三者的乘积为例，初始权重的取值在0-1之间，基准权重的值为1，第一调整系数和第二调整系数的取值在0～1之间；假设在牙齿扫描领域，目标物体包括牙齿和牙龈，其中，三维点为牙齿的第二调整系数可以设置为1，三维点为牙龈的第二调整系数可以设置为0.5，三维点为杂点的第二调整系数可以设置为0；当然，也可以是其他的取值，本实施例对此不做任何限制。
其中，在对当前帧点云进行物体识别处理时，可以利用预先训练好的物体识别模型对当前帧点云进行处理，从而得到当前帧点云中的三维点对应的物体识别结果。示例性的，所述物体识别模型可以基于若干帧点云及其物体标签进行有监督训练得到。
在一些实施例中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到，即是说，点云采集装置每采集一帧点云，即可将该帧点云融合到全局模型中。其中，所述当前帧点云的采集位置和所述历史帧点云的采集位置存在重合部分，即当前帧点云和全局模型中存在点云采集装置从相同位置采集到的三维点，这样才可以基于当前帧点云来筛选出全局模型中的杂点。
所述全局模型中的任一三维点携带有权重。在一个例子中，全局模型中的三维点的权重越大，则表示该三维点为目标物体的可能性越大以及该三维点越可靠，权重越小，则表示该三维点为杂点的可能性越大以及该三维点不可靠。
在将所述当前帧点云投影到所述全局模型中之后，电子设备可以利用所述当前帧点云中的三维点的初始权重，更新所述当前帧点云在所述全局模型的投影区域内的三维点的权重。示例性的，在将所述当前帧点云的某一三维点投影到所述全局模型中的某一投影位置后，若该投影位置处无三维点，则可以将所述当前帧点云中的该三维点的初始权重作为该投影位置处的三维点的权重；若该投影位置处已有三维点，则可以将所述当前帧点云中的该三维点的初始权重与该投影位置处的三维点的权重进行累计，将累计后的权重作为该投影位置处的三维点在更新后的权重。
在将所述当前帧点云投影到所述全局模型中之后，电子设备可以在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点。其中，电子设备可以在投影后的当前帧点云和所述点云采集装置之间投射若干条光线；也可以在投影后的当前帧点云对应的投影区域和所述点云采集装置之间投射若干条光线；本实施例对此不做任何限制。
示例性的，所述光线的起始点为第一位置和第二位置中的其中一者，以及所述光线的终止点为所述第一位置和所述第二位置中的另一者。其中，所述第一位置可以是所述投影后的当前帧点云所在位置，或者为了避免所述投影后的当前帧点云被误处理的情况，所述第一位置可以是所述投影后的当前帧点云所在位置结合预设误差距离后的结果。所述预设误差距离的具体数值可依据实际应用场景进行具体设置，本实施例对此不做任何限制。
所述第二位置可以是所述点云采集装置在采集所述当前帧点云时镜头所在位置；或者为了提高光线投射效率，所述第二位置可以是所述投影后的当前帧点云所在位置结合预设距离后的结果，所述预设距离根据所述点云采集装置在采集所述当前帧点云时的景深确定，从而避免或减少将光线投射到没有采集到三维点的区域，提高光线投射效率。
在一个例子中，所述光线以所述投影后的当前帧点云的三维点为起始点，并朝向所述点云采集装置所在位置的方向延伸。在另一个例子中，所述光线的初始点可以是所述投影后的当前帧点云的三维点的坐标加上预设误差距离后的结果，然后朝向所述点云采集装置所在位置的方向延伸。
在一些实施例中，在投影后的当前帧点云和所述点云采集装置之间投射出若干条光线之后，电子设备可以确定出所述全局模型中被所述光线穿过的目标三维点。基于点云采集装置和被测物体(即当前帧点云)之间理论上不存在其他物体的假设，则全局模型中被光线穿过的目标三维点可能是在历史时刻误采集到的当前帧点云和点云采集装置之间的杂点。
在一些可能的实施方式中，电子设备可以以穷举的方式，检测所述全局模型中各个三维点与所述若干条光线中的任一条光线是否存在相交情况，从而确定所述全局模型中被所述光线穿过的目标三维点。
在另一种可能的实施方式中，所述全局模型所在空间可被划分为若干个体素。体素可以理解为是数字数据于三维空间分割上的最小单位，概念上类似二维空间的最小单位--像素，像素用在二维计算机图像的影像数据上。体素用恒定的标量或者向量表示一个立体的区域。为了降低运算复杂度，提高运算效率，电子设备在确定目标三维点的过程中，电子设备可以首先检测所述若干个体素中被所述光线穿过的目标体素，然后进一步确定所述目标体素中与所述光线相交的目标三维点；由于单个体素所表示的区域大于单个三维点，则先确定目标体素再确定目标三维点的方式相对于上述的穷举方式，可以显著地降低运算量，提高运算效率。
在一些实施例中，在确定出所述全局模型中被所述光线穿过的目标三维点之后，电子设备可以降低所述目标三维点的权重，进而在所述目标三维点的降低后的权重满足杂点删除条件的情况下，删除所述目标三维点；为了避免误删除情况，本实施例对于杂点的检测是一个持续的过程，如果某个三维点为杂点，则可以通过多次的扫描过程，多次降低该三维点的权重直到该三维点的修改后的权重满足杂点删除条件，实现在多次核实的情况下准确删除杂点，提高删除结果的准确性。示例性的，所述杂点删除条件指示三维点的权重小于预设阈值。
在一种可能的实施方式中，在权重越小则表示三维点为杂点的可能性越大的情况下，电子设备可以将所述目标三维点的权重减去预设值；进一步地，如果所述目标三维点的降低后的权重小于权重阈值，电子设备可以删除所述目标三维点。
示例性的，所述权重阈值和预设值(即降低比例)中的至少一个可以由用户根据实际需要进行设置，可以由用户根据自身经验输入具体的数值，也可以是根据实际应用场景给出一些推荐值供用户选择。
在一个例子中，电子设备提供有输入装置(如交互界面、键盘、鼠标等)，电子设备可以接收用户在输入装置中输入的权重阈值和预设值。
在另一个例子中，电子设备响应于用户输入的扫描场景指令，根据所述扫描场景指令指示的扫描场景从预存数据中获取权重阈值的多个推荐值和/或预设值的多个推荐值；其中，预存数据包括不同扫描场景下的权重阈值的多个推荐值和/或预设值的多个推荐值；然后电子设备将权重阈值的多个推荐值和/或预设值的多个推荐值展示在交互界面中，以供用户调整；进而可以响应于用户的选中操作，从权重阈值的多个推荐值确定选中值，和/或，从预设值的多个侯选值确定选中值。
其中，权重阈值和预设值的数值高低会影响杂点清除效率和杂点清除准确性。
在一个例子中，比如权重阈值设置得较高而预设值设置得较低，则杂点的权重因预设值较小一次无法降低至小于权重阈值，就需要多次比对才能删除该杂点，例如，若预设值为0.3，权重阈值为0.1，杂点的权重为1，则每次在确定杂点穿过光线的情况下，杂点的权重每次减少0.3，就需要至少减少3次后才能删除该杂点，多次比对删除的过程有利于提高杂点删除的准确性，但在一定程度上降低了杂点删除效率。
在另一个例子中，比如权重阈值设置得较低而预设值设置得较高，则杂点的权重可能因预设值较大可以经过一次或者较少次数降低至小于权重阈值，就可以通过单次或者较少次数的比对过程直接删除该杂点，提高了杂点删除效率。
因此，用户可以根据自身对杂点清除效率和杂点清除准确性的需要，设置满足自身需求的权重阈值和预设值。
在另一种可能的实施方式中，所述光线的起始点或终止点可以是所述当前帧点云中的三维点，即是说，上述投射的若干条光线分别与所述当前帧点云中的若干三维点一一对应；则为了进一步精确修改目标三维点的权重，电子设备可以确定穿过所述目标三维点的光线对应的所述当前帧点云中的三维点，并利用该三维点在所述全局模型中的权重降低所述目标三维点的权重。本实施例根据光线对应的当前帧点云中的三维点的权重适应性地降低目标三维点的权重，实现精确地修改被不同光线穿过的目标三维点的权重。
在一个例子中，在权重越大则表示三维点为目标物体的可能性越大，权重越小则表示三维点为杂点的可能性越大的情况下，电子设备在确定穿过所述目标三维点的光线对应的所述当前帧点云中的三维点之后，可以利用该三维点在所述全局模型中的权重降低所述目标三维点的权重。该三维点的权重越大，则目标三维点的权重降低得越多；比如可以在目标三维点的权重基础上减去该三维点在所述全局模型中的权重；又比如可以在目标三维点的权重基础上减去该三维点在所述全局模型中的权重对应的数值，该数值与该三维点的权重成正相关关系。进一步地，在所述目标三维点的降低后的权重小于权重阈值的情况下，电子设备可以删除所述目标三维点。其中，所述权重阈值可以由用户根据实际需要进行设置，可以由用户根据自身经验输入具体的数值，也可以是根据实际应用场景给出一些推荐值供用户选择。
换句话说，穿过目标三维点的光线对应的所述当前帧点云中的三维点的权重越大，表示该三维点为目标物体的可能性越大，则该目标三维点的权重的降低量越多；反之，穿过目标三维点的光线对应的所述当前帧点云中的三维点的权重越小，表示该三维点为目标物体的可能性越小，则目标三维点的权重的降低量越少。
在一些实施例中，所述全局模型中不同三维点的权重不同，则所述不同三维点的显示颜色也不同，以便让用户可以实时了解不同三维点为目标物体或杂点的可能性大小。示例性的，所述全局模型中的三维点可以按照权重从大到小或者从小到大的顺序，以颜色渐变的方式进行显示；不同权重指示的三维点的显示颜色不同。
在一些实施例中，用户可以根据实际需要在全局模型中选定锁定区域，所述锁定区域指示处于该锁定区域内的任意一个三维点为用户希望得到的有效数据，无需修改权重也无需删除。在将所述当前帧点云投影到所述全局模型中之后，若投影后的当前帧点云处于所述锁定区域内，则无需进行后续操作。
在一些实施例中，考虑到可能存在删除的目标三维点不是杂点但被误判断为杂点，导致误删除的情况发生，因此，若点云采集装置后续采集的至少一帧点云包含已删除的目标三维点，电子设备可以基于所述已删除的目标三维点在各帧点云中的初始权重进行权重累计；然后在所述已删除的目标三维点的累计后的权重满足预设重建条件的情况下，在所述全局模型中重建该目标三维点。换句话说，在点云采集装置采集扫描均包含有该已删除的目标三维点的情况下，表示该已删除的目标三维点被误删的可能性很大，则可以通过权重累计的方式来实现恢复该已删除的目标三维点。
在一个例子中，电子设备可以在已删除的目标三维点的累计后的权重大于权重阈值的情况下，在所述全局模型中重建该目标三维点。通过初始权重累计的方式，实现通过多次核实在全局模型中恢复已删除的目标三维点。
其中，不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以进行组合，本公开实施例中不一一例举。
在一些实施例中，一种点云处理方法，包括：获取点云采集装置采集的全局模型；其中，所述全局模型中的任一三维点携带权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；若所述全局模型中存在权重满足杂点删除条件的目标三维点，删除所述目标三维点。
其中，上述权重，可以根据上述实施例进行调整，也可以根据Ai智能系统进行调整(如在识别到三维点为非目标物体的情况下，降低三维点的权重)，还可以根据患者历史病例数据调整，还可以根据扫描场景，如是扫牙模还是扫描患者口腔进行调整，也可以根据用户设定规则进行调整。
图4是一示例性实施例提供的一种设备的示意结构图。请参考图4，在硬件层面，该设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
请参考图5，点云处理装置可以应用于如图4所示的设备中，以实现本说明书的技术方案。其中，该点云处理装置可以包括：
获取模块501，用于获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带有权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性。
目标三维点确定模块502，用于在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点。
权重降低模块503，用于降低所述目标三维点的权重。
目标三维点删除模块504，用于若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
在一些实施例中，在所述获取模块501之后，还包括权重确定模块，用于确定所述当前帧点云中的三维点的初始权重。所述权重确定模块还用于在将所述当前帧点云投影到全局模型中之后，利用所述当前帧点云中的三维点的初始权重，更新所述当前帧点云在所述全局模型的投影区域内的三维点的权重。
在一些实施例中，所述权重确定模块具体用于针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
利用所述第一调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第一调整系数与所述初始权重呈正相关关系。
各个所述三维点的采集信息包括以下至少一种：三维点与点云采集装置的最佳景深之间的距离、三维点与点云采集装置的视场的中心之间的距离、三维点与点云采集装置投射的光线中插值该三维点的光线之间的距离、或者三维点的法向信息与其相邻三维点的法向信息之间的差异；
其中，所述三维点的第一调整系数与所述三维点的采集信息呈负相关关系。
在一些实施例中，所述权重确定模块具体用于：针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
以及，在对所述当前帧点云进行物体识别处理后，根据所述三维点对应的物体识别结果获取第二调整系数；
根据所述第一调整系数和所述第二调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第二调整系数与所述初始权重呈正相关关系、且物体识别结果为目标物体的三维点的第二调整系数大于物体识别结果为杂点的三维点的第二调整系数。
在一些实施例中，所述光线的起始点为第一位置和第二位置中的其中一者，以及所述光线的终止点为所述第一位置和所述第二位置中的另一者；
其中，所述第一位置包括以下其中一者：所述投影后的当前帧点云所在位置、或者所述投影后的当前帧点云所在位置结合预设误差距离后的结果；
所述第二位置包括以下其中一者：所述点云采集装置在采集所述当前帧点云时镜头所在位置、或者所述投影后的当前帧点云所在位置结合预设距离后的结果；所述预设距离根据所述点云采集装置在采集所述当前帧点云时的景深确定。
在一些实施例中，所述若干条光线分别与所述当前帧点云中的若干三维点一一对应；所述权重降低模块503具体用于：确定穿过所述目标三维点的光线对应的所述当前帧点云中的三维点，并利用该三维点在所述全局模型中的权重降低所述目标三维点的权重。
在一些实施例中，所述全局模型所在空间被划分为若干个体素；所述目标三维点确定模块502具体用于检测被所述光线穿过的目标体素，并确定所述目标体素中与所述光线相交的目标三维点。
在一些实施例中，还包括重建模块，用于若点云采集装置后续采集的至少一帧点云包含已删除的目标三维点，基于所述已删除的目标三维点在各帧点云中的初始权重进行权重累计；在所述已删除的目标三维点的累计后的权重满足预设重建条件的情况下，在所述全局模型中重建该目标三维点。
在一些实施例中，所述全局模型中的三维点按照权重从大到小或者从小到大的顺序，以颜色渐变的方式进行显示；不同权重指示的三维点的显示颜色不同。
在一些实施例中，所述杂点删除条件指示目标三维点的降低后的权重小于权重阈值。所述装置还包括：交互模块，用于获取用户在交互界面中输入的权重阈值；或者响应于用户输入的扫描场景指令，根据所述扫描场景指令指示的扫描场景从预存数据中获取权重阈值的多个推荐值；其中，所述预存数据包括不同扫描场景下的权重阈值的多个推荐值；将权重阈值的多个推荐值展示在交互界面中；响应于用户的选中操作，从权重阈值的多个推荐值确定选中值。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
相应的，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行指令；
其中，所述处理器执行所述可执行指令时实现上述方法中的步骤。
示例性的，所述处理器包括但不限于中央处理单元(Central Processing Unit，CPU)、图形处理器(graphics processing unit，GPU)、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)或者现成可编程门阵列(Field-Programmable Gate Array，FPGA)等。
示例性的，所述存储器可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。
相应的，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时用于实现上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (15)
1.一种点云处理方法，其特征在于，包括：
获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；
在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点；
降低所述目标三维点的权重；
若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述当前帧点云中的三维点的初始权重；
在将所述当前帧点云投影到全局模型中之后，还包括：
利用所述当前帧点云中的三维点的初始权重，更新所述当前帧点云在所述全局模型的投影区域内的三维点的权重。
3.根据权利要求2所述的方法，其特征在于，在所述当前帧点云中，所述确定所述当前帧点云中的三维点的初始权重，包括：
针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
利用所述第一调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第一调整系数与所述初始权重呈正相关关系。
4.根据权利要求3所述的方法，其特征在于，各个所述三维点的采集信息包括以下至少一种：三维点与点云采集装置的最佳景深之间的距离、三维点与点云采集装置的视场的中心之间的距离、三维点与点云采集装置投射的光线中插值该三维点的光线之间的距离、或者三维点的法向信息与其相邻三维点的法向信息之间的差异；
其中，所述三维点的第一调整系数与所述三维点的采集信息呈负相关关系。
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前帧点云中的三维点的初始权重，包括：
针对于所述当前帧点云中的每个三维点，根据所述三维点的采集信息获取第一调整系数；
以及，在对所述当前帧点云进行物体识别处理后，根据所述三维点对应的物体识别结果获取第二调整系数；
根据所述第一调整系数和所述第二调整系数调整基准权重，得到所述三维点的初始权重；其中，所述第二调整系数与所述初始权重呈正相关关系、且物体识别结果为目标物体的三维点的第二调整系数大于物体识别结果为杂点的三维点的第二调整系数。
6.根据权利要求1所述的方法，其特征在于，所述光线的起始点为第一位置和第二位置中的其中一者，以及所述光线的终止点为所述第一位置和所述第二位置中的另一者；
其中，所述第一位置包括以下其中一者：所述投影后的当前帧点云所在位置、或者所述投影后的当前帧点云所在位置结合预设误差距离后的结果；
所述第二位置包括以下其中一者：所述点云采集装置在采集所述当前帧点云时镜头所在位置、或者所述投影后的当前帧点云所在位置结合预设距离后的结果；所述预设距离根据所述点云采集装置在采集所述当前帧点云时的景深确定。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述若干条光线分别与所述当前帧点云中的若干三维点一一对应；
所述降低所述目标三维点的权重，包括：
确定穿过所述目标三维点的光线对应的所述当前帧点云中的三维点，并利用该三维点在所述全局模型中的权重降低所述目标三维点的权重。
8.根据权利要求1至6任意一项所述的方法，其特征在于，所述全局模型所在空间被划分为若干个体素；
所述确定更新后的全局模型中被所述光线穿过的目标三维点，包括：
检测被所述光线穿过的目标体素，并确定所述目标体素中与所述光线相交的目标三维点。
9.根据权利要求1至6任意一项所述的方法，其特征在于，还包括：
若点云采集装置后续采集的至少一帧点云包含已删除的目标三维点，基于所述已删除的目标三维点在各帧点云中的初始权重进行权重累计；
在所述已删除的目标三维点的累计后的权重满足预设重建条件的情况下，在所述全局模型中重建该目标三维点。
10.根据权利要求1至6任意一项所述的方法，其特征在于，所述全局模型中的三维点按照权重从大到小或者从小到大的顺序，以颜色渐变的方式进行显示；不同权重指示的三维点的显示颜色不同。
11.根据权利要求1至6任意一项所述的方法，其特征在于，所述杂点删除条件指示目标三维点的降低后的权重小于权重阈值；
所述方法还包括：
获取用户在交互界面中输入的权重阈值；或者
响应于用户输入的扫描场景指令，根据所述扫描场景指令指示的扫描场景从预存数据中获取权重阈值的多个推荐值；其中，所述预存数据包括不同扫描场景下的权重阈值的多个推荐值；
将权重阈值的多个推荐值展示在交互界面中；
响应于用户的选中操作，从权重阈值的多个推荐值确定选中值。
12.一种点云处理方法，其特征在于，包括：
获取点云采集装置采集的全局模型；其中，所述全局模型中的任一三维点携带权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；
若所述全局模型中存在权重满足杂点删除条件的目标三维点，删除所述目标三维点。
13.一种点云处理装置，其特征在于，包括：
获取模块，用于获取点云采集装置采集的当前帧点云以及全局模型；其中，所述全局模型根据所述点云采集装置采集的历史帧点云融合得到；所述全局模型中的任一三维点携带有权重，任一三维点的权重表征该三维点为杂点或目标物体的可能性；
目标三维点确定模块，用于在将所述当前帧点云投影到所述全局模型中之后，在投影后的当前帧点云和所述点云采集装置之间投射若干条光线，以确定所述全局模型中被所述光线穿过的目标三维点；
权重降低模块，用于降低所述目标三维点的权重；
目标三维点删除模块，用于若所述目标三维点的降低后的权重满足杂点删除条件，删除所述目标三维点。
14.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行指令；
其中，所述处理器执行所述可执行指令时实现如权利要求1至12任意一项所述方法中的步骤。
15.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208654.2A CN116168180A (zh) | 2023-02-28 | 2023-02-28 | 点云处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208654.2A CN116168180A (zh) | 2023-02-28 | 2023-02-28 | 点云处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116168180A true CN116168180A (zh) | 2023-05-26 |
Family
ID=86420007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310208654.2A Pending CN116168180A (zh) | 2023-02-28 | 2023-02-28 | 点云处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116168180A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071941A (zh) * | 2024-04-24 | 2024-05-24 | 先临三维科技股份有限公司 | 三维扫描方法、装置、设备及存储介质 |
-
2023
- 2023-02-28 CN CN202310208654.2A patent/CN116168180A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071941A (zh) * | 2024-04-24 | 2024-05-24 | 先临三维科技股份有限公司 | 三维扫描方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790482B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
| US11734876B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
| US20230072289A1 (en) | Target detection method and apparatus | |
| US20180211398A1 (en) | System for 3d image filtering | |
| US20210041945A1 (en) | Machine learning based gaze estimation with confidence | |
| US20140176591A1 (en) | Low-latency fusing of color image data | |
| CN109040591B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
| CN108885342B (zh) | 虚拟图像生成系统及其操作方法 | |
| US11158046B2 (en) | Estimating measurements of craniofacial structures in dental radiographs | |
| US20120155744A1 (en) | Image generation method | |
| CN108495113B (zh) | 用于双目视觉系统的控制方法和装置 | |
| US11257237B2 (en) | Optimized exposure control for improved depth mapping | |
| CN116168180A (zh) | 点云处理方法、装置、设备及存储介质 | |
| GB2562037A (en) | Three-dimensional scene reconstruction | |
| CN110969706B (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 | |
| JP3732757B2 (ja) | 画像認識方法および画像認識装置 | |
| CN111896015A (zh) | 导航方法、装置、存储介质及电子设备 | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JP2010164440A (ja) | 距離画像処理装置および撮影装置 | |
| Ogawa et al. | Occlusion handling in outdoor augmented reality using a combination of map data and instance segmentation | |
| CN107527381B (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
| CN111123625B (zh) | 投影仪及投影方法 | |
| CN112114659A (zh) | 用于确定用户的精细的注视点的方法和系统 | |
| CN116402947A (zh) | 点云处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |