CN110276290A - 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 - Google Patents
基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 Download PDFInfo
- Publication number
- CN110276290A CN110276290A CN201910524553.XA CN201910524553A CN110276290A CN 110276290 A CN110276290 A CN 110276290A CN 201910524553 A CN201910524553 A CN 201910524553A CN 110276290 A CN110276290 A CN 110276290A
- Authority
- CN
- China
- Prior art keywords
- face
- point cloud
- human face
- region
- face region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 230000008439 repair process Effects 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000007373 indentation Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 17
- 238000004590 computer program Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003667 anti-reflective effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置，其包括：通过TOF模组发射设定波长的激光信号，获取TOF模组当前视场内的点云；根据深度图判断视场内的是否存在人脸；如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。本申请能够通过TOF模组在前端采集数据免去了像传统结构光采集数据需要的大量前期运算，能够快速实现建模，并且修复人脸模型中的孔洞，修复效果良好，还能够轻易实现较远距离的人脸模型建立，大大增加了系统适用性。
Description
技术领域
本申请涉及图像领域，尤其涉及基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置。
背景技术
现有技术中，脸部建模是指利用现代的扫描技术对脸部扫描生成三维模型的过程，它在特效电影、虚拟现实、游戏、三维人脸识别等领域应用广泛。如图1所示，传统的人脸建模过程大多是利用结构光扫描仪对脸部进行扫描，然后再对采集到的数据进行后期处理生成模型。
如图2所示，市面上采集人脸模型的装置或方案一般是基于结构光相机/扫描仪的采集器在前端进行点云信息采集，再将点云信息移至后端的PC/处理机进行建模，这种方式通常对PC/处理机的配置要求比较高，这样无形中也就增加了三维人脸建模的硬件成本。
尽管传统基于结构光相机/扫描仪也可以实现人脸建模，但它存在以下几点不足：1、建模十分低效、昂贵且需要较多的计算资源；2、结构光人脸建模装置通常对环境要求较高，易受环境光或太阳光影响，室外建模效果差；3、眼睛或眉毛区域容易形成孔洞，给人不真实感；4、结构光人脸建模装置通常拍摄距离较近，如要求在0.3～0.6m之间，实现远距离的建模难度大，如需要大大提高结构光功率或改变固有结构。
发明内容
本申请提供一种基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置，能够在解决现在的人脸建模低效、对环境要求高、并且容易产生孔洞以及实现远距离建模难度大的问题。
根据本申请的第一方面，本申请提供一种基于TOF模组的快速人脸脸模采集方法，其包括：通过TOF模组发射设定波长的激光信号，获取TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图；根据深度图判断视场内的是否存在人脸；如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。
优选地，在获取TOF模组接收激光信号的反射信号后输出的深度信息和幅度信息的步骤之后还包括步骤：对点云进行数据预处理，其中，数据预处理包括：时域中值滤波、高斯滤波以及中值滤波中的至少一种。
优选地，在根据深度图判断视场内的是否存在人脸的步骤中，包括：预先训练好用于人脸识别的SVM模型，其中，SVM模型是基于包含人脸图像的深度信息中的HOG特征训练得到的；提取TOF模组当前获取到的深度图的HOG特征，通过SVM模型判断视场内是否存在人脸。
优选地，在通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云的步骤中，包括：通过dnn深度学习网络提取2D幅度图中脸部轮廓的关键点；根据脸部轮廓的关键点拟合得到ROI区域作为人脸区域；保留人脸区域中的点云。
优选地，在修复人脸区域内的孔洞的步骤中，包括：通过sobel算子提取深度图中的每个像素点在X方向和Y方向上的梯度值；遍历人脸区域的点云，当发现人脸区域某个位置的点云出现缺失时，则认为人脸区域的该位置存在孔洞；判断人脸区域的孔洞的当前像素点在X方向和Y方向上的梯度值大小，当像素点在X方向上的梯度值大于Y方向上的梯度值时，则选取当前像素点在X方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点，否则，当像素点在Y方向上的梯度值大于X方向上的梯度值时，则选取当前像素点在Y方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点。
优选地，在修复人脸区域内的孔洞的步骤之后，还包括：对人脸区域的点云进行过滤以去除人脸区域边缘部分的尖锐点和突出点。
优选地，在对人脸区域的点云进行过滤的步骤中包括：设置圆柱体区域，其中，以人脸区域中设定位置的点云拟合成直线作为圆柱体区域的轴线，以轴线上的设定点作为轴线的中点，以设定半径作为圆柱体区域的半径、以设定高度作为圆柱体区域的高度以形成圆柱体区域；以圆柱体区域对人脸区域的点云进行过滤，对被圆柱体区域所选中的点云进行保留，对超出圆柱体区域的点云进行过滤。
优选地，在将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型的步骤中，包括：遍历人脸区域中的点云，以当前点云作为参考，获取按照设定模板排布的当前点云和与当前点云邻接的其余点云以形成三角形；获取三角形中的点云在Z轴方向上的坐标；计算三角形中的点云之间在Z轴方向上的坐标之差的绝对值，判断绝对值是否超过预设阈值；如果没有超过预设阈值，则将当前三角形中的点云的坐标压入容器中进行保存，否则继续遍历人脸区域的点云信息。
优选地，设定模板包括第一设定模板和第二设定模板，其中，在第一设定模板中按照以第一点云为起点、第二点云连接在第一点云的下方、第三点云连接在第二点云左侧进行排布；在第二设定模板中按照以第一点云为起点、第二点云连接在第一点云的右侧、第三点云连接在第一点云的下方进行排布。
根据本申请的第二方面，本申请提供一种快速人脸脸模采集装置，其包括：TOF模组，用于发射设定波长的激光信号，获取TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图；人脸检测模块，用于判断根据深度图判断视场内的是否存在人脸；人脸区域确定模块，用于如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；孔洞修复模块，用于判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；点云三角化模块，用于将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。
根据本申请的第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的步骤。
根据本申请的第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述的步骤。
本申请的有益效果在于：通过TOF模组而非传统结构光设备对前端视场内的点云进行采集，通过深度图判断视场内是否出现人脸，再通过2D幅度图中确定视场内的人脸区域并保留人脸区域内的点云，修复人脸区域内的孔洞，将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型，本申请的技术方案具有如下好处：1、通过TOF模组在前端采集数据免去了像传统结构光采集数据需要的大量前期运算，减轻了系统的负荷，能够快速实现建模；2、能够直接在前端完成深度数据采集、预处理、脸部轮廓提取、孔洞修复、模型生成、输出等一系列操作，无须再将该部分工作后置于PC/处理器上，节省了成本和资源；3、能够修复人脸模型中的孔洞，并且修复效果良好；4、能够轻易实现较远距离的人脸模型建立，大大增加了系统适用性。
附图说明
图1是传统的脸部建模的应用示意图；
图2是市面上人脸建模采集装置的示意图；
图3是本申请的快速人脸建模装置示意图；
图4是本申请的快速人脸建模方法中的步骤S102判断是否存在人脸的流程图；
图5是本申请的快速人脸建模方法的步骤S103确定人脸区域的流程图；
图6是本申请的快速人脸建模方法的步骤S104修复人脸区域孔洞的流程图；
图7是本申请的脸颊关键点提取；
图8是实际2D幅度图拟合椭圆效果；
图9是本申请的快速人脸建模方法的步骤S104修复人脸区域孔洞的流程图；
图10是本申请的快速人脸建模方法的设置圆柱体区域；
图11是本申请的快速人脸建模方法的步骤S105点云三角化的流程图；
图12是步骤S105点云三角化中的第一设定模板和第二设定模板的示意图；
图13是未进行孔洞填充原始正脸和孔洞填充后正脸的第一效果对比图；
图14是未进行孔洞填充原始侧脸和孔洞填充后侧脸的第一效果对比图；
图15是未进行孔洞填充原始正脸和孔洞填充后正脸的第二效果对比图；
图16是未进行孔洞填充原始侧脸和孔洞填充后侧脸的第二效果对比图；以及
图17是本申请的快速人脸建模方法的原理图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步地描述，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
在介绍本申请发明实施例之前，先对本申请的构思进行简要说明：请参阅图3，本申请主要是TOF模组作为前置的3D模组进行深度数据的采集，再通过处理模块亦既是图中标记为Nano jetson的模块进行识别人脸、提取人脸区域、填充孔洞、人脸区域等一系列的操作来实现人脸快速建模。
实施例一：
请参阅图3至17，本申请提出基于TOF模组的快速人脸脸模采集方法，其包括：
步骤S101：通过TOF模组发射设定波长的激光信号，获取TOF模组视场内的点云，并且输出深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图。
本实施例中，TOF模组采用940nm波长的vcsel(Vertical Cavity SurfaceEmitting Laser，垂直腔面发射激光器)作为光源，并且配套940nm增透的镜头。因为环境光或太阳光里940nm波长的光占比小，所以采用940nm波长的vcsel光源和940nm增透的镜头，TOF模组输出的数据能较好的抵抗环境的干扰。
进一步地，在步骤S101之后还包括步骤：对点云进行数据预处理，其中，数据预处理包括：时域中值滤波、高斯滤波以及中值滤波中的至少一种。通过时域中值滤波、高斯滤波以及中值滤波等方式进行数据预处理能够减小点云的波动和去除点云的噪声。
步骤S102：判断TOF模组当前视场内的是否存在人脸，如果判断到当前视场内存在人脸，则跳到步骤S103，否则，跳回到步骤S101。
请参阅图5，在步骤S102中，包括：
步骤S1021：预先训练好用于人脸识别的SVM(Support Vector Machine，支持向量机)模型，其中，SVM模型是基于包含人脸图像的深度图训练得到。
具体是，采集大量包含人脸的深度图作为正样本以及大量非人脸的深度图作为负样本，然后提取它们的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征，并将所得到的多维HOG特征标准化(归一化)，最后将它们进行SVM模型训练。
步骤S1022：提取TOF模组当前获取到的深度图的HOG特征，通过SVM模型判断深度图内是否存在人脸。具体是，提取当前TOF模组获取到的深度图的HOG特征，并进行归一化处理，再通过SVM模型判断是否存在人脸。
步骤S103：如果判断到当前视场内存在人脸，则通过2D幅度图确定当前视场内的人脸区域，保留所述人脸区域中点云。
请参阅图6，步骤S103包括：
步骤S1031：通过dnn深度学习网络提取2D幅度图中脸部轮廓的关键点。本步骤中，dnn深度学习网络是预先通过大量的包含标注好脸部轮廓关键点的图像训练得到的。请参阅图7，通过dnn深度学习网络提取到的68对表示脸部轮廓的坐标的效果图。
步骤S1032：根据脸部轮廓的关键点拟合得到ROI区域作为人脸区域。本实施例中，通过opencv椭圆拟合接口对关键点进行拟合，可以选取该68对脸部轮廓的第0-15个坐标点拟合为椭圆形状的ROI区域为人脸区域，拟合效果如图8所示。
步骤S1033：保留人脸区域中的点云。本实施例中，将属于人脸区域的点云、深度信息以及幅度信息进行保留，将人脸区域外的点云、深度信息以及幅度信息舍弃掉。
通过用深度图先做一层人脸过滤能够更有效地防假、防用照片检测，而使用传统的2D识别技术进行人脸检测则很难防假。
步骤S104：判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞。
因为有些人的眉毛、眼睛等区域比较浓黑，容易吸光，这样就可能会造成点云的缺失，所以TOF模组输出的深度图便会形成孔洞，因此，我们需要对孔洞进行修复。
请参阅图9，本实施例中，采用二维梯度填充法对孔洞进行填充，具体包括如下步骤：
步骤S1041：通过sobel算子提取深度图中的每个像素点在X方向和Y方向上的梯度值。
步骤S1042：遍历人脸区域的点云，当发现人脸区域某个位置的点云出现缺失时，则认为人脸区域的该位置存在孔洞。
步骤S1043：判断人脸区域中的孔洞的当前像素点在X方向和Y方向上的梯度值大小，当像素点在X方向上的梯度值大于Y方向上的梯度值时，跳到步骤S1044，否则，当像素点在Y方向上的梯度值大于X方向上的梯度值时，跳到步骤S1045。
步骤S1044：选取当前像素点在X方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点，填充完成后跳到步骤S1046。
步骤S1045：选取当前像素点在Y方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点，填充完成后跳到步骤S1046。
步骤S1046：判断是否完成人脸区域的点云遍历，如果完成点云遍历，则表示孔洞填充完成，否则跳到步骤S1042继续进行填充。
进一步地，在步骤S104之后，还包括：对人脸区域的点云进行过滤以去除人脸区域边缘部分的尖锐点和突出点。
请参阅图10，在步骤S104中具体包括：
设置圆柱体区域，其中，以人脸区域中设定位置的点云拟合成直线作为圆柱体区域的轴线，以轴线上的设定点作为轴线的中点，以设定半径作为圆柱体区域的半径、以设定高度作为圆柱体区域的高度以形成圆柱体区域。
本实施例中，以人脸区域中的额头点、鼻尖、下巴拟合的直线作为圆柱体区域的轴线，以鼻尖上的点作为轴线的中点，以设定半径作为圆柱体区域的半径、以设定高度作为圆柱体区域的高度建立圆柱体区域。如图10所示，鼻尖点为C点，圆柱体区域高度h为30cm，圆柱体区域半径r为10cm，以圆柱体区域对人脸区域的点云进行过滤，其中，对在圆柱体区域内的点云进行保留，对超出该圆柱体区域其余点云进行过滤。
因为脸部区域的点云边缘部分可能会存在一些尖锐点和/或突出点，这些点会对后期的三角化建模造成影响，因此，我们采用的方法是：以额头点、鼻尖、下巴三点所拟合的直线作为圆柱体的轴线，建立一个圆柱体，在圆柱体内的点云保留，圆柱体外的点云过滤掉。以此圆柱体去过滤点云，此步骤称之为脸部区域的点云二次过滤，这样就能够消除尖锐点和/或突出点对建模的影响。
步骤S105：将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。
请参阅图11和图12，在步骤S105中，包括：
步骤S1051：遍历人脸区域中的点云，以当前点云作为参考，获取按照设定模板排布的当前点云和与当前点云邻接的其余点云以形成三角形。
请参阅图12，本实施例中，设定模板可以为第一设定模板和第二设定模板，第一设定模板和第二设定模板均包括第一点云、第二点云以及第三点云。其中，在第一设定模板中按照以第一点云为起点、第二点云连接在第一点云的下方、第三点云连接在第二点云左侧进行排布；在第二设定模板中按照以第一点云为起点、第二点云连接在第一点云的右侧、第三点云连接在第一点云的下方进行排布。在其它实施例中，可以通过其它模板作为设定模板。
本实施例中，使用第一设定模板获取与当前点云邻接的点云时，则以当前点云为参考，获取与当前点云的下方相邻的点云为第二点云，获取第二点云左侧相邻的点云为第三点云。
使用第二设定模板获取到与当前点云相邻的点云时，则以当前点云为参考，获取与当前点云的右侧相邻的点云为第二点云，获取与当前点云的右侧相邻的点云为第三点云。
步骤S1052：获取三角形中的点云在Z轴方向上的坐标。
步骤S1053：计算三角形中的点云之间在Z轴方向上的坐标之差的绝对值，判断绝对值是否超过预设阈值，如果绝对值没有超过预设阈值，则跳到步骤S1054，否则，跳回到步骤S1051。
本实施例中，分别将按照第一设定模板和第二设定模板获得的点云的Z坐标的坐标之差进行计算，假设第一点云Z轴方向上的坐标为Z1、第二点云Z轴方向上的坐标为Z2、第三点云Z轴方向上的坐标为Z3，则计算分别按第一设定模板和第二设定模板的获取到的点云Z1-Z2、Z1-Z3、Z2-Z3的绝对值，判断Z1-Z2、Z1-Z3、Z2-Z3的绝对值超过预设阈值。
步骤S1054：将当前三角形中的点云的坐标压入容器中进行保存，如果超过预设阈值，则继续遍历人脸区域的点云。
步骤S1055：判断是否完成整个人脸区域的点云的遍历，如果完成遍历，则结束点云的三角化过程，否则继续跳到步骤S1051。
本步骤对点云三角化的是点云mesh化过程，原理是利用如图12的两个模板作为核，将点云里相邻的三个点连成一个小三角形，当通过差值运算判断到小三角形内的点云之间空间关联性较强，则将它们对应的坐标作为一个面压入容器，当遍历完整个脸部点云后，则在容器里存储着许多小三角形，这些小三角形最终形成我们需要的人脸模型，采用这样的方法，可以较快速地完成点云mesh操作。本实施例中，容器是指顺序容器，比如说vector，可以容纳特定类型对象的集合。
步骤S106：将上述三角化后的点云按ply(Polygon File Format，多边形档案)标准的模型文件作为输出。
下面结合图3至图17来对本申请的工作原理进行说明。
通过TOF模组发射设定波长的激光信号，获取TOF模组视场内的点云，并且输出深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图。其中，TOF模组采用940nm波长的vcsel作为光源，并且配套940nm增透的镜头。进一步地，对获得的点云进行时域中值滤波、高斯滤波以及中值滤波等预处理以减小点云的波动和去除噪声。
通过深度图判断当前视场内是否存在人脸，具体是：预先训练好用于人脸识别的SVM模型，提取当前视场内的深度图中HOG特征来进行识别。
当判断到当前视场内存在人脸，则通过2D幅度图确定人脸区域，保留人脸区域中的点云，本申请可以通过提取2D幅度图中的脸部轮廓的关键点，然后通过opencv椭圆拟合接口拟合出人脸区域，保留人脸区域中的点云。
判断人脸区域是否存在孔洞，当检测到人脸区域的点云存在信息缺失的时候，则认为该位置存在孔洞。通过本申请的二维梯度填充法来对点云进行填充。
进一步地，完成填充后，再通过设置圆柱体区域来对人脸区域的点云进行二次过滤，具体是，以人脸区域中的额头点、鼻尖、下巴拟合的直线为圆柱体的轴线，以鼻尖为该圆柱体的轴线的中点，设置圆柱体区域的高度为30cm，半径为10cm，将在该圆柱体区域内的点云进行保留，其余点云进行过滤。将修复以及二次过滤后的人脸区域的点云按照设定模板进行三角化，具体是，设置第一设定模板和第二设定模板，寻找按照第一设定模板和第二设定模板排布的点云以形成小三角形。当第一设定模板或者第二设定模板中的点云之间的差值的绝对值没有超过设定阈值时，则将该三角形中的点云保存至容器内。
当完成点云的遍历后，结束点云的三角化过程，并将点云按照ply标准的模型文件进行输出。
下面对本申请的技术方案进行测试后的测试结果如下。
本技术方案是利用TOF进行深度数据采集的，传统结构光的方法则需要大量的前期运算，此外在后端建模方面，使这部分运算不需要后置于PC/处理器上就可以置直接在装置前端完成深度数据采集、预处理、脸部轮廓提取、孔洞修复、模型生成、输出等一系列操作。经实验测试，本技术方案人脸模型输出帧率高达15fps，即每秒可完成15次人脸建模，相对于使用传统的人脸建模方法的速度得到了大大的提升。
请参阅图13和14，图13和14左侧的图是未进行孔洞修复的正脸的效果图，可以看出眼睛及眉毛部分有明显点云缺失，并且缺失区域的点云十分杂乱，必然对后期建模造成影响。请继续参阅图13和图14，图13和图14右侧的图是采用本申请方案的对孔洞点云修复效后的效果图，可以看出缺失的部分已被填充，且效果良好。
请参阅表1，本申请方案技术的可建模距离与TOF灯板功耗的关系，可以看出本申请技术方案通过调整vcsel灯板功耗，就看与轻易实现较远距离的人脸模型建立，提升了建模的距离，大大增加了系统适用性。如图15和16所示，图15和图16左侧的图片分别是未进行孔洞填充的原始的正脸脸模和侧脸脸模的效果图，图15和图16右侧的图片分别是本申请技术方案在1m距离的正脸脸模和侧脸脸模的建模效果。可以看到，远距离建模的效果也非常良好。
| 最远可建模距离 | 灯板功耗 |
| 0.6m | 0.46w |
| 1.0m | 0.73w |
| 1.4m | 0.99w |
| 1.8m | 1.38w |
表1可建模距离与TOF灯板功耗关系
实施例二：
请参阅图17，本申请提出快速人脸脸模采集装置，其包括：
TOF模组，用于发射设定波长的激光信号，获取所述TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据所述深度信息形成深度图，根据所述幅度信息形成2D幅度图；
人脸检测模块，用于判断根据所述深度图判断所述视场内的是否存在人脸；
人脸区域确定模块，用于如果判断到所述视场内存在所述人脸，则通过所述2D幅度图确定所述视场内的人脸区域，保留所述人脸区域内的点云；
孔洞修复模块，用于判断所述人脸区域内是否存在孔洞，如果所述人脸区域内存在孔洞，则修复所述人脸区域内的孔洞；
点云三角化模块，用于将修复后的所述人脸区域内的点云按照设定模板进行三角化以形成所述人脸模型。
本实施例中的快速人脸脸模采集装置的各个模块的功能请参考上面实施例一所描述的快速人脸脸模采集方法，这样不再叙述。
实施例三：
本申请还提出一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的定位方法的步骤。
处理器执行所述计算机程序时实现上述各个方法实施例中的步骤，例如图4所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图17的功能模块。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频显示装置中的执行过程。例如，所述计算机程序可以被分割成如图17所示的功能模块，各模块具体功能如上面的说明。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，也可以TOF成像装置。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是视频显示装置的示例，并不构成对视频显示装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频显示装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述视频显示装置的控制中心，利用各种接口和线路连接整个视频显示装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述道路坡度估算装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例四：
本申请还提出一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述的快速人脸脸模采集方法的步骤。
所述定位装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本申请的有益效果在于：通过TOF模组而非传统结构光设备对前端视场内的点云进行采集，通过深度图判断视场内是否出现人脸，再通过2D幅度图中确定视场内的人脸区域并保留人脸区域内的点云，修复人脸区域内的孔洞，将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型，本申请的技术方案具有如下好处：1、通过TOF模组在前端采集数据免去了像传统结构光采集数据需要的大量前期运算，减轻了系统的负荷，能够快速实现建模；2、能够直接在前端完成深度数据采集、预处理、脸部轮廓提取、孔洞修复、模型生成、输出等一系列操作，无须再将该部分工作后置于PC/处理器上，节省了成本和资源；3、能够修复人脸模型中的孔洞，并且修复效果良好；4、能够轻易实现较远距离的人脸模型建立，大大增加了系统适用性。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。
Claims (10)
1.一种基于TOF模组的快速人脸脸模采集方法，其特征在于，其包括：
通过所述TOF模组发射设定波长的激光信号，获取所述TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据所述深度信息形成深度图，根据所述幅度信息形成2D幅度图；
根据所述深度图判断所述视场内的是否存在人脸；
如果判断到所述视场内存在所述人脸，则通过所述2D幅度图确定所述视场内的人脸区域，保留所述人脸区域内的点云；
判断所述人脸区域内是否存在孔洞，如果所述人脸区域内存在孔洞，则修复所述人脸区域内的孔洞；
将修复后的所述人脸区域内的点云按照设定模板进行三角化以形成所述人脸模型。
2.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述获取TOF模组接收激光信号的反射信号后输出的深度信息和幅度信息的步骤之后还包括步骤：对所述点云进行数据预处理，其中，所述数据预处理包括：时域中值滤波、高斯滤波以及中值滤波中的至少一种。
3.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述根据深度图判断视场内的是否存在人脸的步骤中，包括：
预先训练好用于人脸识别的SVM模型，其中，所述SVM模型是基于包含人脸图像的深度信息中的HOG特征训练得到的；
提取所述TOF模组当前获取到的深度图的HOG特征，通过所述SVM模型判断所述视场内是否存在人脸。
4.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云的步骤中，包括：
通过dnn深度学习网络提取所述2D幅度图中脸部轮廓的关键点；
根据所述脸部轮廓的关键点拟合得到ROI区域作为所述人脸区域；
保留所述人脸区域中的点云。
5.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述修复所述人脸区域内的孔洞的步骤中，包括：
通过sobel算子提取所述深度图中的每个像素点在X方向和Y方向上的梯度值；
遍历所述人脸区域的点云，当发现所述人脸区域某个位置的点云出现缺失时，则认为所述人脸区域的该位置存在孔洞；
判断所述人脸区域的孔洞的当前像素点在所述X方向和Y方向上的梯度值大小，当所述像素点在所述X方向上的梯度值大于所述Y方向上的梯度值时，则选取当前所述像素点在所述X方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前所述像素点，否则，当所述像素点在Y方向上的梯度值大于X方向上的梯度值时，则选取当前所述像素点在所述Y方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前所述像素点。
6.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述修复人脸区域内的孔洞的步骤之后，还包括：对所述人脸区域的点云进行过滤以去除所述人脸区域边缘部分的尖锐点和突出点。
7.如权利要求6所述的快速人脸脸模采集方法，其特征在于，在所述对人脸区域的点云进行过滤的步骤中包括：
设置圆柱体区域，其中，以所述人脸区域中设定位置的点云拟合成直线作为圆柱体区域的轴线，以所述轴线上的设定点作为所述轴线的中点，以设定半径作为所述圆柱体区域的半径、以设定高度作为所述圆柱体区域的高度以形成所述圆柱体区域；
以所述圆柱体区域对所述人脸区域的点云进行过滤，对被所述圆柱体区域所选中的点云进行保留，对超出所述圆柱体区域的点云进行过滤。
8.如权利要求1或7所述的快速人脸脸模采集方法，其特征在于，在所述将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型的步骤中，包括：
遍历所述人脸区域中的点云，以当前点云作为参考，获取按照所述设定模板排布的当前点云和与当前点云邻接的其余点云以形成三角形；
获取所述三角形中的点云在Z轴方向上的坐标；
计算所述三角形中的点云之间在Z轴方向上的坐标之差的绝对值，判断所述绝对值是否超过预设阈值；
如果没有超过所述预设阈值，则将当前三角形中的点云的坐标压入容器中进行保存，否则继续遍历所述人脸区域的点云信息。
9.如权利要求8所述的快速人脸脸模采集方法，其特征在于，所述设定模板包括第一设定模板和第二设定模板，其中，在所述第一设定模板中按照以所述第一点云为起点、所述第二点云连接在所述第一点云的下方、所述第三点云连接在所述第二点云左侧进行排布；在所述第二设定模板中按照以所述第一点云为起点、所述第二点云连接在所述第一点云的右侧、所述第三点云连接在所述第一点云的下方进行排布。
10.一种快速人脸脸模采集装置，其特征在于，其包括：
TOF模组，用于发射设定波长的激光信号，获取所述TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据所述深度信息形成深度图，根据所述幅度信息形成2D幅度图；
人脸检测模块，用于根据所述深度图判断所述视场内的是否存在人脸；
人脸区域确定模块，用于如果判断到所述视场内存在所述人脸，则通过所述2D幅度图确定所述视场内的人脸区域，保留所述人脸区域内的点云；
孔洞修复模块，用于判断所述人脸区域内是否存在孔洞，如果所述人脸区域内存在孔洞，则修复所述人脸区域内的孔洞；
点云三角化模块，用于将修复后的所述人脸区域内的点云按照设定模板进行三角化以形成所述人脸模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524553.XA CN110276290B (zh) | 2019-06-17 | 2019-06-17 | 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524553.XA CN110276290B (zh) | 2019-06-17 | 2019-06-17 | 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110276290A true CN110276290A (zh) | 2019-09-24 |
| CN110276290B CN110276290B (zh) | 2024-04-19 |
Family
ID=67960930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910524553.XA Active CN110276290B (zh) | 2019-06-17 | 2019-06-17 | 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276290B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554007A (zh) * | 2021-09-18 | 2021-10-26 | 上海齐感电子信息科技有限公司 | 人脸框的计算方法及计算系统 |
| CN115542903A (zh) * | 2022-09-26 | 2022-12-30 | 重庆长安汽车股份有限公司 | 无人驾驶决策路径的优化方法、装置、车辆及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335722A (zh) * | 2015-10-30 | 2016-02-17 | 商汤集团有限公司 | 一种基于深度图像信息的检测系统及方法 |
| CN106909911A (zh) * | 2017-03-09 | 2017-06-30 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置和电子装置 |
| CN109242794A (zh) * | 2018-08-29 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| WO2019080580A1 (zh) * | 2017-10-26 | 2019-05-02 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
-
2019
- 2019-06-17 CN CN201910524553.XA patent/CN110276290B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335722A (zh) * | 2015-10-30 | 2016-02-17 | 商汤集团有限公司 | 一种基于深度图像信息的检测系统及方法 |
| CN106909911A (zh) * | 2017-03-09 | 2017-06-30 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置和电子装置 |
| WO2019080580A1 (zh) * | 2017-10-26 | 2019-05-02 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
| CN109242794A (zh) * | 2018-08-29 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554007A (zh) * | 2021-09-18 | 2021-10-26 | 上海齐感电子信息科技有限公司 | 人脸框的计算方法及计算系统 |
| CN115542903A (zh) * | 2022-09-26 | 2022-12-30 | 重庆长安汽车股份有限公司 | 无人驾驶决策路径的优化方法、装置、车辆及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110276290B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103247045B (zh) | 一种从多视图中得到人造场景主方向及图像边缘的方法 | |
| CN104268539B (zh) | 一种高性能的人脸识别方法及系统 | |
| CN111028343B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| CN109766866B (zh) | 一种基于三维重建的人脸特征点实时检测方法和检测系统 | |
| CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN108604301A (zh) | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 | |
| CN107767453B (zh) | 一种基于规则约束的建筑物lidar点云重构优化方法 | |
| CN104077804A (zh) | 一种基于多帧视频图像构建三维人脸模型的方法 | |
| CN104299260A (zh) | 一种基于sift和lbp的点云配准的接触网三维重建方法 | |
| CN104376594A (zh) | 三维人脸建模方法和装置 | |
| CN109859305A (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN103606190A (zh) | 单张人脸正面照片自动转换为三维人脸模型的方法 | |
| CN108334802A (zh) | 道路特征物的定位方法及装置 | |
| WO2023024482A1 (zh) | 一种室内结构化重建方法、装置及计算机可读存储介质 | |
| CN107194985A (zh) | 一种面向大场景的三维可视化方法及装置 | |
| Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
| CN103443826A (zh) | 网格动画 | |
| CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| CN103247074A (zh) | 一种结合深度信息与人脸分析技术的3d照相方法 | |
| CN110276290A (zh) | 基于tof模组的快速人脸脸模采集方法以及快速人脸脸模采集装置 | |
| Liu et al. | A novel rock-mass point cloud registration method based on feature line extraction and feature point matching | |
| Özbay et al. | A voxelize structured refinement method for registration of point clouds from Kinect sensors | |
| CN113343840A (zh) | 基于三维点云的对象识别方法及装置 | |
| Hu et al. | Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization | |
| Wang et al. | Image-based building regularization using structural linear features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |