CN110349091A - 基于图信号处理的点云修复方法、装置及终端 - Google Patents
基于图信号处理的点云修复方法、装置及终端 Download PDFInfo
- Publication number
- CN110349091A CN110349091A CN201810306574.XA CN201810306574A CN110349091A CN 110349091 A CN110349091 A CN 110349091A CN 201810306574 A CN201810306574 A CN 201810306574A CN 110349091 A CN110349091 A CN 110349091A
- Authority
- CN
- China
- Prior art keywords
- block
- object block
- candidate blocks
- anisotropy
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 230000008439 repair process Effects 0.000 claims abstract description 38
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于图信号处理的点云修复方法、装置及终端，其中，方法包括：将预先获取的点云划分为互相有重叠部分的多个立方块；确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。本发明通过将点云划分为多个立方块；并确定立方块中的目标块和与所述目标块相对应的目标源块，进一步根据所述目标源块对所述目标块中进行修复，获得修复结果块；最后利用所述修复结果块替换所述点云中的目标块，获得修复后的点云，有效地保证了点云的修复效果。
Description
技术领域
本发明涉及图信号处理技术领域，尤其涉及一种基于图信号处理的点云修复方法、装置及终端。
背景技术
在进行图像数据采集时，使用三维扫描仪和深度感测采集到的点云数据会不可避免地产生数据误差：对于一些扫描不到的区域，在扫描结果中会以缺失数据的孔洞的形式呈现。缺失数据的原因包括：扫描角度的不完全、激光扫描仪本身的局限性、以及物体几何结构过于复杂繁复等等。
基于存在数据误差的情况，需要进行点云修复处理，而在点云修复方面，目前有两类主流算法：基于搜索线上数据库的方法和基于孔洞周围局域信息的方法。
其中，基于搜索线上数据库的方法主要通过寻找外界资源中相似的数据来填充缺失区域。具体的，可以先尝试通过参考缺失区域周围的几何信息，从已有的点云库中寻找相似数据进行填充；后又提出另一种将点云投影到深度图上的方法，使用字典学习从在线的深度图数据库中搜索相似的深度图，将未知部分对应的信息粘贴到空缺区域，最后将补好的深度图投影回点云。此类方法对被搜索的数据库要求较高，需要足够的与待修补点云相似的序列，且直接填充难免在衔接处产生几何结构的不对齐，这是在最后平滑处理时难以解决的问题。此外，在深度图方法中的两次投影过程将不可避免地产生几何结构的损失。
而基于孔洞周围局域信息的方法主要参照当前点云本身的数据，通过对缺失区域周围的点的分析来预测缺失区域内部的几何结构。具体的，通过提取孔洞周围的边界点来计算其几何特征，并由此拟合出缺失部分的曲面，通过采样插值得到填充的点；而后将孔洞分解为几个子洞后，分别利用张量投票方法提取其几何特征单独填充；参考孔洞周围点云的信息列出修复孔洞的优化方程，通过偏微分方法求解来进行修补；进一步主要针对人体数据中趋于平面的条状孔洞，采用中值算子和平滑收敛算法将边界趋势进行延伸来填补。这类方法完全依靠孔洞周围的局部信息进行修补，由于参考信息比较单一，所以其修补结果比实际内容要更趋于平面，容易失真，且几何结构复杂时，修补的边界容易产生伪影。
发明内容
本发明实施例提供一种基于图信号处理的点云修复方法、装置及终端，用以解决现有技术中存在的几何结构不对齐、在深度图方法中的两次投影过程将不可避免地产生几何结构的损失、容易失真、且几何结构复杂时，修补的边界容易产生伪影的问题。
本发明实施例第一方面提供了一种基于图信号处理的点云修复方法，包括：
将预先获取的点云划分为互相有重叠部分的多个立方块；
确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
如上所述的方法，确定所述多个立方块中的与所述目标块相对应的目标源块，包括：
将所述多个立方块中除去所述目标块的其他立方块确定为候选块；
获取所有候选块和所述目标块之间的相似度；
根据所述相似度确定与所述目标块相对应的源块；
根据所述目标块和源块确定所述目标源块。
如上所述的方法，所述获取所有候选块和所述目标块之间的相似度，包括：
获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；
根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
如上所述的方法，获取所有候选块与所述目标块的直流分量差距，包括：
计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；
根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)>|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
如上所述的方法，获取所有候选块与所述目标块的各向异性图全变分差距，包括：
在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；
计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；
根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
如上所述的方法，根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度，包括：
根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
如上所述的方法，根据所述相似度确定与所述目标块相对应的源块，包括：
将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
如上所述的方法，根据所述目标块和源块确定所述目标源块，包括：
获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；
根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
本发明实施例第二方面提供了一种基于图信号处理的点云修复装置，包括：
划分模块，用于将预先获取的点云划分为互相有重叠部分的多个立方块；
确定模块，用于确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
修复模块，用于根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
替换模块，用于利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
如上所述的装置，所述确定模块，用于：
将所述多个立方块中除去所述目标块的其他立方块确定为候选块；
获取所有候选块和所述目标块之间的相似度；
根据所述相似度确定与所述目标块相对应的源块；
根据所述目标块和源块确定所述目标源块。
如上所述的装置，所述确定模块，用于：
获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；
根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
如上所述的装置，所述确定模块，用于：
计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；
根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)>|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
如上所述的装置，所述确定模块，用于：
在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；
计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；
根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
如上所述的装置，所述确定模块，用于：
根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
如上所述的装置，所述确定模块，用于：
将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
如上所述的装置，所述确定模块，用于：
获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；
根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
本发明实施例第三方面提供了一种基于图信号处理的点云修复终端，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的一种基于图信号处理的点云修复方法。
本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序；
所述计算机程序被处理器执行以实现上述第一方面所述的一种基于图信号处理的点云修复方法。
本发明实施例提供的基于图信号处理的点云修复方法、装置及终端，通过将点云划分为多个立方块；并确定立方块中的目标块和与所述目标块相对应的目标源块，进一步根据所述目标源块对所述目标块中进行修复，获得修复结果块；最后利用所述修复结果块替换所述点云中的目标块，获得修复后的点云，有效地保证了点云的修复效果，克服了现有技术中存在的图像容易失真的情况，提高了该修复方法使用的稳定可靠性，有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图信号处理的点云修复方法的流程示意图；
图2为本发明实施例提供的确定所述多个立方块中的与所述目标块相对应的目标源块的流程示意图；
图3为本发明实施例提供的获取所有候选块和所述目标块之间的相似度的流程示意图；
图4为本发明实施例提供的根据所述目标块和源块确定所述目标源块的流程示意图；
图5a为本发明应用实施例提供的原始点云的效果示意图；
图5b为本发明应用实施例提供的使用Meshfix方法针对真实存在的点云缺失区域的点云修复的效果示意图；
图5c为本发明应用实施例提供的使用RameshCleaner方法针对真实存在的点云缺失区域的点云修复的效果示意图；
图5d为本发明应用实施例提供的使用Meshlab方法针对真实存在的点云缺失区域的点云修复的效果示意图；
图5e为本发明应用实施例提供的使用本发明中的技术方法针对真实存在的点云缺失区域的点云修复的效果示意图；
图6a为本发明应用实施例提供的人工合成缺失区域的点云的效果示意图；
图6b为本发明应用实施例提供的使用Meshfix方法针对人工合成缺失区域的点云修复的效果示意图；
图6c为本发明应用实施例提供的使用RameshCleaner方法针对人工合成缺失区域的点云修复的效果示意图；
图6d为本发明应用实施例提供的使用Meshlab方法针对人工合成缺失区域的点云修复的效果示意图；
图6e为本发明应用实施例提供的使用本发明中的技术方法针对人工合成缺失区域的点云修复的效果示意图；
图6f为本发明应用实施例提供的未人工合成缺失区域前的点云的效果示意图；
图7为本发明实施例提供的一种基于图信号处理的点云修复装置的结构示意图；
图8为本发明实施例提供的一种基于图信号处理的点云修复终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤的过程或结构的装置不必限于清楚地列出的那些结构或步骤而是可包括没有清楚地列出的或对于这些过程或装置固有的其它步骤或结构。
在介绍本实施例提供的技术方案所包括的主要步骤之前，首先介绍一下谱图理论，谱图理论将是应用于本发明所提供的技术方案中，具体的，谱图理论包括以下几个内容：
图和图拉普拉斯算子：
定义一个无向图，G＝{V,E,W}。V为图上顶点的集合，|V|＝N；E为边的集合；W为带权邻接矩阵。其中W是一个N×N的实对称矩阵，wi,j是连接顶点i与顶点j的边的权重，通常使用非负值作为权重。
图拉普拉斯算子通常被定义为L＝D-W，其中D为对角矩阵，
图信号和图信号平滑理论：
图信号是指驻留在图的顶点上的数据，例如社交网络，交通网络，传感器网络和神经元网络。例如，如果我们在点云上构造一个K-NN图，那么每个点的坐标可以被看作是在K-NN图上定义的图信号。
对于在图G上定义的信号x，如果满足下述条件，那么称信号z相对于G的拓扑结构是平滑的：
其中，ε是一个参数，i～j表示图中相连的两个顶点。为了满足上述公式，xi和xj相对于权重较大的边时必须相似，对于权重较小的边时xi和xj可能完全不同。因此，上述公式强制z适应G的拓扑结构，从而创造了图信号的平滑性。
由于xTLx＝∑i～jwi,j(xi-xj)2，上述公式还可以写为xTLx<∈。
图1是本发明实施例提供的一种基于图信号处理的点云修复方法的流程示意图；参考附图1所示，本实施例提供了一种基于图信号处理的点云修复方法，该方法的执行主体可以为点云修复装置，具体的，该方法包括：
S1：将预先获取的点云划分为互相有重叠部分的多个立方块；
其中，预先获取的点云可以为用户预先采集的点云或者是用户预先输入的点云；另外，对于点云划分的立方块的具体个数和重叠部分的大小不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够使得多个立方块之间互相有重叠区域即可，被划分成的多个立方块可以作为衡量点云的几何信息的单位。
S2：确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
由于预先获取的点云存在缺失数据，因此，在将点云划分为多个立方块之后，会存在包括缺失数据的立方块，即为目标块，该目标块可以为一块或者多块，而每个目标块均对应一个目标源块，该目标源块用于对目标块进行修复。
S3：根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
在获取到目标块和与目标块相对应的目标源块之后，可以获取到目标源块上的信息，并利用目标源块中的信息对目标块中的缺失区域进行修复获取到修复结果块。
S4：利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
在获取到修复结果块之后，可以利用修复结果块替换相对应的目标块，从而使得点云中的缺失数据得以修复，获取到修复后的点云。
本实施例提供的基于图信号处理的点云修复方法，通过将点云划分为多个立方块；并确定立方块中的目标块和与所述目标块相对应的目标源块，进一步根据所述目标源块对所述目标块中进行修复，获得修复结果块；最后利用所述修复结果块替换所述点云中的目标块，获得修复后的点云，有效地保证了点云的修复效果，克服了现有技术中存在的图像容易失真的情况，提高了该修复方法使用的稳定可靠性，有利于市场的推广与应用。
图2为本发明实施例提供的确定所述多个立方块中的与所述目标块相对应的目标源块的流程示意图；图3为本发明实施例提供的获取所有候选块和所述目标块之间的相似度的流程示意图；图4为本发明实施例提供的根据所述目标块和源块确定所述目标源块的流程示意图；在上述实施例的基础上，继续参考附图2-4可知，本实施例对于目标源块的具体确定方式不做限定，本领域技术人员可以根据其实现的功能作用选择相应的确定方式来获取目标源块，较为优选的，本实施例中的确定所述多个立方块中的与所述目标块相对应的目标源块可以包括：
S21：将所述多个立方块中除去所述目标块的其他立方块确定为候选块；
S22：获取所有候选块和所述目标块之间的相似度；
具体的，所述获取所有候选块和所述目标块之间的相似度可以包括：
S221：获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；
其中，获取所有候选块与所述目标块的直流分量差距可以包括：
S2211：计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；
S2212：根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)〉|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
另外，获取所有候选块与所述目标块的各向异性图全变分差距可以包括：
S2213：在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；
S2214：计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；
S2215：根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
S222：根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
具体的，根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度可以包括：
S2221：根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
S23：根据所述相似度确定与所述目标块相对应的源块；
具体的，根据所述相似度确定与所述目标块相对应的源块可以包括：
S231：将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
S24：根据所述目标块和源块确定所述目标源块。
具体的，根据所述目标块和源块确定所述目标源块可以包括：
S241：获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；
S242：根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
通过上述过程获取到目标块和源块，并根据目标块和源块确定目标源块，有效地保证了目标源块获取的准确性，进一步提高了该修复方法使用的稳定可靠性。
本应用实施例提供了一种基于图信号处理的点云修复方法，该点云修复方法可以包括三个主要步骤，具体如下：
一、点云的预处理：
(1)将输入的点云分割成互相有重叠部分的立方块{c1,c2,…,cn}作为衡量点云的几何信息的单位。
(2)选择包含缺失数据的立方块作为目标块ct。
(3)其他具有足够点数的块作为候选块cc，我们将从中寻找与目标块最相似的块。
二、搜索相似区域：
(1)计算目标块和所有候选块的法向量的直流分量(Direct Component,DC)。
具体的，计算目标块的法向量的DC值d(ct)和所有候选块的法向量的DC值d(cc)。一个立方块ci包含一组点{ci,1,ci,2,…,ci,m}(m是块内点的数量)，每一个点都对应一个法向量表示为{ni,1,ni,2,…,ni,m}。计算一个立方块ci的DC值d(ci)如下：
由上述公式可知，目标块的法向量的DC值为而候选块的法向量的DC值
(2)在目标块和所有候选块上应用K-NN算法对块中的点建立图。
具体的，在目标块和所有候选块上应用K-NN算法对块中的点建立图。以点的坐标为图信号，基于两点间的距离远近建立谱图理论中提到的K-NN图，并将其建立为无权图，即
(3)计算目标块和所有候选块的法向量的各向异性图全变分(Anisotropic GraphTotal Variation,AGTV)。
(4)计算所有候选块与目标块的DC差距和AGTV差距，得到所有候选块与目标块间的相似度。
具体的，计算目标块的法向量的AGTV值v(ct)和所有候选块的法向量的AGTV值v(cc)。计算一个立方块ci的AGTV值v(ci)如下：
计算所有候选块与目标块的DC差距δD(ct,cc)和AGTV差距δV(ct,cc)如下：
δD(ct,cc)＝|<d(ct),d(cc)>|,
δV(ct,cc)＝|v(ct)-v(cc)|,
由此可以计算出所有候选块与目标块间的相似度如下：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}。
(5)选取相似度最高的候选块作为源块cs。
(6)计算源块中的几何结构与目标块中几何结构的在块中的相对距离，对源块中的点进行块内平移，得到最终的目标源块c′s用于最后的修复操作。
具体的，计算源块中的几何结构与目标块中几何结构的在块中的相对距离h＝(hx,hy,hz)如下：
其中表示块内缺失区域的边界。hy和hz同理可得： 根据上述所获取的相对距离对源块中的点用h进行块内平移，得到最终的目标源块c′s用于最后的修复步骤。
三、修复缺失区域：
(1)利用最终的目标源块c′s中的信息修复目标块中的缺失区域，将这个修复工作转变为一个正则项为图平滑算子的优化问题，列出优化方程。
(2)通过对优化方程求最优解得到最终的修复结果块cr，用结果块在点云中替换目标块，得到最终的修复后的点云。
具体的，利用最终的目标源块c′s中的信息修复目标块中的缺失区域，将这个修复工作转变为一个正则项为图平滑算子的优化问题，列出优化方程如下：
其中，cr是想要得到的结果块。Ω表示ct和c′s内的缺失区域，表示块内的已知区域。α和β是两个权重参数。是c′s上的图的拉普拉斯矩阵，其中，图是与搜索步骤中的(2)中的图相同的K-NN图。
对优化方程进行cr求导后得到最优解如下：
由此得到最终的修复结果块cr，用结果块在点云中替换目标块，得到最终的修复后的点云。
利用上述的修复方法对原始点云进行修复后，有效地保证了点云的输出效果，具体可参考附图5a和附图5e、附图6a、附图6f和附图6e的对比效果，并且，由上述附图可知，利用本实施例提供的修复方法无论是对真是存在的点云进行修复操作还是对人工合成的点云进行修复操作，均可以保证点云的修复效果，相比于其他使用Meshfix方法、RameshCleaner方法或者Meshlab方法对真实存在的点云缺失区域的点云、人工合成缺失区域的点云进行修复操作的效果而言，本实施例提供的修复方法对点云的修复效果更佳、保证了图信息的完整真实程度，具体可参考附图5a-附图5e、附图6a-附图6f所示出的修复效果。
本实施例提供的基于图信号处理的点云修复方法，包括三个主要步骤：点云的预处理、搜索相似区域、修复缺失区域。在点云的预处理步骤中，将点云切割成固定大小的立方块作为后续操作的单位对象，并选择出包含缺失区域的立方块作为目标块。然后通过用直流分量和各向异性图全变分定义两个立方块几何结构的相似度，在所有分割出的立方块中搜索出与目标块的几何结构最相似的块作为源块。最后应用谱图理论，对利用源块信息修复目标块中缺失区域的优化方程进行优化，有效地解决了现有技术中存在的几何结构不对齐、在深度图方法中的两次投影过程将不可避免地产生几何结构的损失、容易失真、且几何结构复杂时，修补的边界容易产生伪影的问题，保证了点云的修复效果，进一步提高了该方法的实用性，有利于市场的推广与应用。
图7为本发明实施例提供的一种基于图信号处理的点云修复装置的结构示意图，参考附图7可知，本实施例提供了一种基于图信号处理的点云修复装置，该点云修复装置可以执行上述的点云修复方法，具体的，该装置包括：
划分模块1，用于将预先获取的点云划分为互相有重叠部分的多个立方块；
确定模块2，用于确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
修复模块3，用于根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
替换模块4，用于利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
本实施例对于划分模块1、确定模块2、修复模块3和替换模块4的具体形状结构不做限定，本领域技术人员可以根据其实现的功能作用对其进行任意设置，在此不再赘述；另外，本实施例中划分模块1、确定模块2、修复模块3和替换模块4所实现的操作步骤的具体实现过程以及实现效果与上述实施例中步骤S1-S4的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。
在上述实施例的基础上，继续参考附图7可知，本实施例对于确定模块2对目标源块的具体确定方式不做限定，本领域技术人员可以根据其实现的功能作用选择相应的确定方式来获取目标源块，较为优选的，本实施例中的确定模块2在确定所述多个立方块中的与所述目标块相对应的目标源块时，该确定模块2可以用于执行：
将所述多个立方块中除去所述目标块的其他立方块确定为候选块；获取所有候选块和所述目标块之间的相似度；根据所述相似度确定与所述目标块相对应的源块；根据所述目标块和源块确定所述目标源块。
其中，在确定模块2获取所有候选块和所述目标块之间的相似度时，该确定模块2可以用于执行：获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
进一步的，在确定模块2获取所有候选块与所述目标块的直流分量差距时，该确定模块2可以用于执行：计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)>|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
此外，在确定模块2获取所有候选块与所述目标块的各向异性图全变分差距时，该确定模块2可以用于执行：在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
进而，在确定模块2根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度时，该确定模块2可以用于执行：根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
进一步的，在确定模块2根据所述相似度确定与所述目标块相对应的源块时，该确定模块2可以用于执行：将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
进一步的，在确定模块2根据所述目标块和源块确定所述目标源块时，该确定模块2可以用于执行：获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
本实施例提供的基于图信号处理的点云修复装置能够用于执行图2-图4、图5a-图5e、图6a-图6f实施例的方法，其具体执行方式和有益效果类似，在这里不再赘述。
本实施例的另一方面还提供了一种基于图信号处理的点云修复终端，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述的一种基于图信号处理的点云修复方法。
具体的，图8为本发明实施例提供的基于图信号处理的点云修复终端的结构示意图。
如图8所示，点云修复终端800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。
处理组件802通常控制点云修复终端800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在点云修复终端800的操作。这些数据的示例包括用于在点云修复终端800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为点云修复终端800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为点云修复终端800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述点云修复终端800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当点云修复终端800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为点云修复终端800提供各个方面的状态评估。例如，传感器组件814可以检测到点云修复终端800的打开/关闭状态，组件的相对定位，例如所述组件为点云修复终端800的显示器和小键盘，传感器组件814还可以检测点云修复终端800或点云修复终端800一个组件的位置改变，用户与点云修复终端800接触的存在或不存在，点云修复终端800方位或加速/减速和点云修复终端800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括摄像头组件，摄像头可采用如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于点云修复终端800和其他设备之间有线或无线方式的通信。点云修复终端800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，点云修复终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
本发明实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现上述第一方面所述的基于图信号处理的点云修复方法。
最后需要说明的是，本领域普通技术人员可以理解上述实施例方法中的全部或者部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可以为磁盘、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
本发明实施例中的各个功能单元可以集成在一个处理模块中，也可以是各个单元单独的物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现，并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。上述提到的存储介质可以是只读存储器、磁盘或光盘等。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (17)
1.一种基于图信号处理的点云修复方法，其特征在于，包括：
将预先获取的点云划分为互相有重叠部分的多个立方块；
确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
2.根据权利要求1所述的方法，其特征在于，确定所述多个立方块中的与所述目标块相对应的目标源块，包括：
将所述多个立方块中除去所述目标块的其他立方块确定为候选块；
获取所有候选块和所述目标块之间的相似度；
根据所述相似度确定与所述目标块相对应的源块；
根据所述目标块和源块确定所述目标源块。
3.根据权利要求2所述的方法，其特征在于，所述获取所有候选块和所述目标块之间的相似度，包括：
获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；
根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
4.根据权利要求3所述的方法，其特征在于，获取所有候选块与所述目标块的直流分量差距，包括：
计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；
根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)〉|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
5.根据权利要求3所述的方法，其特征在于，获取所有候选块与所述目标块的各向异性图全变分差距，包括：
在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；
计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；
根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
6.根据权利要求3所述的方法，其特征在于，根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度，包括：
根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
7.根据权利要求2-6中任意一项所述的方法，其特征在于，根据所述相似度确定与所述目标块相对应的源块，包括：
将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
8.根据权利要求2-6中任意一项所述的方法，其特征在于，根据所述目标块和源块确定所述目标源块，包括：
获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；
根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
9.一种基于图信号处理的点云修复装置，其特征在于，包括：
划分模块，用于将预先获取的点云划分为互相有重叠部分的多个立方块；
确定模块，用于确定所述多个立方块中的目标块和与所述目标块相对应的目标源块，所述目标块包含缺失数据；
修复模块，用于根据所述目标源块中的信息对所述目标块中的缺失区域进行修复，获得修复结果块；
替换模块，用于利用所述修复结果块替换所述点云中的目标块，获得修复后的点云。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，用于：
将所述多个立方块中除去所述目标块的其他立方块确定为候选块；
获取所有候选块和所述目标块之间的相似度；
根据所述相似度确定与所述目标块相对应的源块；
根据所述目标块和源块确定所述目标源块。
11.根据权利要求10所述的装置，其特征在于，所述确定模块，用于：
获取所有候选块与所述目标块的直流分量差距和各向异性图全变分差距；
根据所述直流分量差距和各向异性图全变分差距确定所有候选块与目标块之间的相似度。
12.根据权利要求11所述的装置，其特征在于，所述确定模块，用于：
计算所述目标块的法向量的直流分量和所有候选块的法向量的直流分量；
根据所述目标块的法向量的直流分量和所有候选块的法向量的直流分量、并利用以下公式确定所述直流分量差距；
δD(ct,cc)＝|<d(ct),d(cc)>|；
其中，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，d(ct)为目标块的法向量的直流分量，d(cc)为所有候选块的法向量的直流分量，ct为目标块，cc为所有候选块。
13.根据权利要求11所述的装置，其特征在于，所述确定模块，用于：
在所述目标块和所有候选块上应用K-NN算法对块中的点建立K-NN图；
计算所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分；
根据所述目标块的法向量的各向异性图全变分和所有候选块的法向量的各向异性图全变分、并利用以下公式确定所述各向异性图全变分差距；
δV(ct,cc)＝|v(ct)-v(cc)|；
其中，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，v(ct)为目标块的法向量的各向异性图全变分，v(cc)为所有候选块的法向量的各向异性图全变分，ct为目标块，cc为所有候选块。
14.根据权利要求11所述的装置，其特征在于，所述确定模块，用于：
根据所述直流分量差距和各向异性图全变分差距、并利用以下公式确定所有候选块与目标块之间的相似度：
δ(ct,cc)＝exp{-[δD(ct,cc)+δV(ct,cc)]}；
其中，δ(ct,cc)为所有候选块与目标块之间的相似度，δD(ct,cc)为所有候选块与所述目标块的直流分量差距，δV(ct,cc)为所有候选块与所述目标块的各向异性图全变分差距，ct为目标块，cc为所有候选块。
15.根据权利要求10-14中任意一项所述的装置，其特征在于，所述确定模块，用于：
将所有候选块中与所述目标块相似度最高的候选块确定为所述源块。
16.根据权利要求10-14中任意一项所述的装置，其特征在于，所述确定模块，用于：
获取所述源块中的几何结构和所述目标块中的几何结构在立方块中的相对距离；
根据所述相对距离对所述源块中的点进行块内平移，获得所述目标源块。
17.一种基于图信号处理的点云修复终端，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任意一项所述的一种基于图信号处理的点云修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810306574.XA CN110349091B (zh) | 2018-04-08 | 2018-04-08 | 点云修复方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810306574.XA CN110349091B (zh) | 2018-04-08 | 2018-04-08 | 点云修复方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349091A true CN110349091A (zh) | 2019-10-18 |
| CN110349091B CN110349091B (zh) | 2021-07-02 |
Family
ID=68173224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810306574.XA Expired - Fee Related CN110349091B (zh) | 2018-04-08 | 2018-04-08 | 点云修复方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349091B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967325A (zh) * | 2021-02-08 | 2021-06-15 | 北京大学 | 一种信号修复增强方法及装置 |
| CN113066016A (zh) * | 2021-02-18 | 2021-07-02 | 北京大学 | 一种基于图信号处理的三维动态点云修复方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| CN101661613A (zh) * | 2009-08-27 | 2010-03-03 | 北京交通大学 | 一种基于图像分割的图像修复方法及系统 |
| CN102722907A (zh) * | 2012-05-22 | 2012-10-10 | 清华大学 | 基于管道工厂点云的几何建模方法 |
| CN104063702A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 |
| US20170219336A1 (en) * | 2016-02-02 | 2017-08-03 | The Boeing Company | Point Cloud Processing Apparatus and Method |
-
2018
- 2018-04-08 CN CN201810306574.XA patent/CN110349091B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| CN101661613A (zh) * | 2009-08-27 | 2010-03-03 | 北京交通大学 | 一种基于图像分割的图像修复方法及系统 |
| CN102722907A (zh) * | 2012-05-22 | 2012-10-10 | 清华大学 | 基于管道工厂点云的几何建模方法 |
| CN104063702A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 |
| US20170219336A1 (en) * | 2016-02-02 | 2017-08-03 | The Boeing Company | Point Cloud Processing Apparatus and Method |
Non-Patent Citations (1)
| Title |
|---|
| 王小超: "三维数字几何处理中特征提取与孔洞修补研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967325A (zh) * | 2021-02-08 | 2021-06-15 | 北京大学 | 一种信号修复增强方法及装置 |
| CN113066016A (zh) * | 2021-02-18 | 2021-07-02 | 北京大学 | 一种基于图信号处理的三维动态点云修复方法 |
| CN113066016B (zh) * | 2021-02-18 | 2022-08-05 | 北京大学 | 一种基于图信号处理的三维动态点云修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349091B (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914830B (zh) | 直线检测方法和装置 | |
| CN103984847A (zh) | 一种饮食推荐方法及相关装置 | |
| CN105427233A (zh) | 去除水印的方法及装置 | |
| CN103593153A (zh) | 移动终端及用于其的页面的跨设备同步控制方法 | |
| CN107209631A (zh) | 用于显示图像的用户终端及其图像显示方法 | |
| CN110175223A (zh) | 一种实现问题生成的方法及装置 | |
| CN110147318A (zh) | 一种生成测试数据的方法及装置、电子设备 | |
| CN109584375A (zh) | 一种物体信息显示方法及移动终端 | |
| CN104636134A (zh) | 状态提醒方法及装置 | |
| CN105279499A (zh) | 年龄识别方法及装置 | |
| CN107426088A (zh) | 图片信息处理方法及装置 | |
| CN104036240A (zh) | 人脸特征点的定位方法和装置 | |
| CN106203306A (zh) | 年龄的预测方法、装置及终端 | |
| CN107527024A (zh) | 人脸颜值评估方法及装置 | |
| CN104461348A (zh) | 信息选取方法及装置 | |
| CN110349091A (zh) | 基于图信号处理的点云修复方法、装置及终端 | |
| CN103886284A (zh) | 人物属性信息识别方法、装置及电子设备 | |
| CN105589801A (zh) | 手机集群测试方法和系统 | |
| WO2018129318A2 (en) | Virtual slide stage (vss) method for viewing whole slide images | |
| KR20210133945A (ko) | 컨텐츠 추천 시스템 및 이를 이용한 컨텐츠 추천 방법 | |
| CN112766406A (zh) | 物品图像的处理方法、装置、计算机设备及存储介质 | |
| CN104297542A (zh) | 一种基于用电量的提示方法及装置 | |
| CN115756165A (zh) | 一种用于虚拟场景的交互方法、系统及介质 | |
| CN105549892A (zh) | 一种增强现实信息的显示方法和装置 | |
| CN102385453B (zh) | 信息处理装置及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230615 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210702 |