CN109035394A - 人脸三维模型重建方法、装置、设备、系统及移动终端 - Google Patents
人脸三维模型重建方法、装置、设备、系统及移动终端 Download PDFInfo
- Publication number
- CN109035394A CN109035394A CN201810961013.3A CN201810961013A CN109035394A CN 109035394 A CN109035394 A CN 109035394A CN 201810961013 A CN201810961013 A CN 201810961013A CN 109035394 A CN109035394 A CN 109035394A
- Authority
- CN
- China
- Prior art keywords
- face
- parameter
- dimensional model
- human face
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 10
- 239000007787 solid Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 208000001491 myopia Diseases 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000004919 topotaxy Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种人脸三维模型重建方法，包括：接收采集的人脸视频；其中，所述人脸视频包括目标人脸预设角度的微小移动视频；对所述人脸视频中的图像进行特征点检测，得到特征点坐标；基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计，得到估计参数；其中，所述估计参数包括：相机参数以及逆深度参数；根据所述估计参数对所述图像进行立体匹配，得到人脸深度图；根据所述人脸深度图建立人脸三维模型。该方法在相对较差的拍摄条件下可以实现高精度的人脸三维模型重建。本申请还公开了一种人脸三维模型重建装置、设备、系统及一种移动终端，具有上述有益效果。
Description
技术领域
本申请涉及计算机视觉领域，特别涉及一种三维重建方法、装置、设备、 系统及一种移动终端。
背景技术
随着科学技术的日新月异，计算机视觉的应用日益受到各行业的关注和 重视，三维重建是计算机视觉技术中最为热门的研究方向之一，三维人脸重 建的目标是根据某个人的一张或者多张二维人脸图像重建出其三维人脸模型 (此处的三维人脸模型一般仅指形状模型，定义为三维点云)。三维人脸模 型在医学治疗、数字影视制作、游戏开发以及安防监控等方面展现出了极强 的生命力和影响力，行业前景大好。
三维重建属于计算机视觉领域，专门针对人脸的三维重建对人脸的细节 方面有着更高的要求。在现有的三维重建技术中，有着一些硬件的方法实现 三维重建，比如多视图相机，三维扫描仪。这种方法能够获得精确的三维人 脸模型，但是这些设备的价格都十分的昂贵，并且庞大，难以应用在个体用 户上。在软件方法上的三维重建，是基于视频或者多角度图片进行三维重建 的，对人脸的多个方位进行拍照采样，对相机进行人为的相机标定来获得相 机的内外参数，然后通过人脸特征点检测，根据获得的特征点进行稠密匹配(或 稀疏匹配)获得视差图。根据视差图重建出空间中对应的人脸三维坐标，然后 通过一系列的滤波去除稠密点云中的误差值，最后使用稠密点云进行三维表 面的重建来获得人脸三维模型。
上述过程中对进行相机标定的过程需要通过专业的相机设备，对没有抖 动等干扰的情况下对多角度的大量高精度照片对图像进行特征点检测，然后 对多角度的图片之间的特征点进行匹配，估算出相机的相对姿态，最后得到 相机的内外参数。这种方法要求人为的拍照技术要非常好，排除人为抖动的 等因素干扰，而且要求相机的本身像素要比较好，最后才能够获得较为精确 的相机参数。另外，现有技术中对于一张图片中人脸的细节不能够很好的全 部获取，误差较大。
因此，如何在控制降低拍摄条件需求下进行高精度的人脸三维模型重建， 是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的是提供一种人脸三维模型重建方法，该方法在相对较差的 拍摄条件下可以实现高精度的人脸三维模型重建；本申请的另一目的是提供 人脸三维模型重建装置、设备、系统及一种移动终端，具有上述有益效果。
为解决上述技术问题，本申请提供一种人脸三维模型重建方法，包括：
接收采集的人脸视频；其中，所述人脸视频包括目标人脸预设角度的微 小移动视频；
对所述人脸视频中的图像进行特征点检测，得到特征点坐标；
基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计，得 到估计参数；其中，所述估计参数包括：相机参数以及逆深度参数；
根据所述估计参数对所述图像进行立体匹配，得到人脸深度图；
根据所述人脸深度图建立人脸三维模型。
可选地，根据所述估计参数所述图像进行立体匹配包括：
基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行 垂直方向以及水平方向修正后的立体匹配。
可选地，根据所述人脸深度图建立人脸三维模型前还包括：
根据所述估计参数对所述人脸深度图进行噪声剔除，得到精确人脸深度 图；
则所述根据所述人脸深度图建立人脸三维模型具体为：根据所述精确人 脸深度图建立人脸三维模型。
可选地，所述对所述人脸视频中图像进行特征点检测包括：
基于光流法对所述人脸视频中相邻图片进行特征点检测。
可选地，所述基于光流法对所述人脸视频中相邻图片进行特征点检测包 括：
基于光流法对所述人脸视频中相邻图片进行顺序特征点检测；
参照所述顺序特征点检测的结果进行反序特征点检测。
可选地，所述基于平面扫描算法通过建立光强剖面根据所述估计参数对 所述图像进行立体匹配前还包括：
根据所述估计参数中的畸变参数对所述人脸视频中图片帧进行畸变校 正，得到无畸变失真的图像；
则所述基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图 像进行立体匹配具体为：基于平面扫描算法通过建立光强剖面根据所述估计 参数对所述无畸变失真的图像进行立体匹配。
本申请公开一种人脸三维模型重建装置，包括：
视频接收单元，用于接收采集的人脸视频；其中，所述人脸视频包括目 标人脸预设角度的微小移动视频；
特征点检测单元，用于对所述人脸视频中的图像进行特征点检测，得到 特征点坐标；
参数估计单元，用于基于最小化重投影误差算法根据所述特征点坐标进 行相机参数估计，得到估计参数；其中，所述估计参数包括：相机参数以及 逆深度参数；
立体匹配单元，用于根据所述估计参数对所述图像进行立体匹配，得到 人脸深度图；
模型建立单元，用于根据所述人脸深度图建立人脸三维模型。
本申请公开一种人脸三维模型重建设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现所述人脸三维模型重建方法的步骤。
本申请公开一种人脸三维模型重建系统，包括：
摄像头，用于采集的人脸视频；其中，所述人脸视频包括对目标人脸的 预设角度采集的微小移动视频；
人脸三维模型重建设备，用于接收所述人脸视频；对所述人脸视频中图 像进行特征点检测，得到特征点坐标；根据所述特征点坐标估计相机参数， 得到相机的估计参数；基于平面扫描算法通过建立光强剖面根据所述估计参 数对所述图像进行立体匹配，得到人脸深度图；根据所述人脸深度图建立人 脸三维模型。
本申请公开一种移动终端，包括：人脸三维模型重建系统。
本申请所提供的人脸三维模型重建方法根据最小化重投影误差对采集的 微小移动短视频进行计算，最小化重投影误差可以对可能出现的人为抖动以 及像素较差等干扰因素进行最优补偿，通过最小化重投影误差进行参数的估 计可以实现从图片序列中获取精确的相机参数以及逆深度参数，这种情况下 对拍摄者的拍摄技能以及相机的像素都没有过多要求，有利于人脸三维模型 重建方法的普及；另外，通过最小化重投影误差计算得到高精度的逆深度参 数，根据这该逆深度参数值进行立体匹配可以大大提升深度图的准确性，从 而增加模型的可信度。
在本申请另一实施例中公开了通过平面扫描匹立体匹配算法进行立体匹 配，增加了代价函数的垂直方向和水平方向的补偿，可以提高所获得深度图 像边缘的精度，得到更加精确的深度图。
本申请还公开了一种人脸三维模型重建装置、设备、系统及一种移动终 端，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的人脸三维模型重建方法的流程图；
图2为本申请实施例提供的连续图片中对应特征点示意图；
图3为本申请实施例提供的人脸三维模型重建装置的结构框图；
图4为本申请实施例提供的人脸三维模型重建设备的结构框图；
图5为本申请实施例提供的人脸三维模型重建设备的结构示意图。
具体实施方式
本申请的核心是提供一种人脸三维模型重建方法，该方法能够自动实现 多个多媒体设备的同时运行；本申请的另一核心是提供一种多媒体控制装置、 系统及一种可读存储介质，具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申 请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都属于本申请保护的范围。
现有技术中通过软件形式进行模型重建一般是基于多视角图片的从二维 图片到三维模型的人脸3D重建技术。为获取多角度的高清人脸图像，并计算 得到较为精准的相机的参数，需要对多角度的图片之间的特征点进行匹配， 找出几张图片相同的特征点，根据特征点的位置估算出相机的相对姿态，最 后得到相机的内外参数。其中，特征点的检测需要在保持高像素且拍摄的多 角度人脸图像需尽量保持单方向移动，然后在实际拍摄过程中很容易出现轻 微抖动等情况，会严重影响模型的准确度。
本实施例提供一种人脸三维模型重建方法，基于最小重投影算法对拍摄 的微笑移动的视频进行参数的估计，可以避免由于测量仪器的精度不完善和 人为因素及外界条件对参数估计的影响，得到高精度的参数，对于用户采集 数据的要求降低，可以广泛应用于移动设备，通过普通的摄像头也可以得到 更加精确的深度图，从而得到更为精确的人脸三维模型。
请参考图1，图1为本实施例提供的人脸三维模型重建方法的流程图；该 方法可以包括：
步骤s100、接收采集的人脸视频；其中，人脸视频包括目标人脸预设角 度的微小移动视频。
预设角度指用户预先设定的人脸拍摄角度，对人脸进行预设角度的拍摄 时，需要可以从预设角度的拍摄画面获取整个人脸的图像，为在保证可用数 据量的基础上尽量减少计算时间，预设角度可以为人脸的左、中、右三个角 度。每个视频包括若干帧图像集，当拍摄左中右三个角度时，可以得到左， 右，中三个图像集。
微小移动指视频中拍摄角度的变化小，基本上相当于人手的抖动的角度 变化，比如移动幅度变化小于1cm等。由于本实施例提供的计算方法只能实 现对小基线图片的建模计算，因此输入的进行模型重建的视频需保证为微小 移动的图片集。
另外，视频的采集可以直接对不同角度的人脸各采集1s左右的短视频， 也可以通过拍摄整个人脸的长视频后进行部分截取，在此对微小移动视频的 获取方式不做限定。
步骤s110、对人脸视频中图像帧进行特征点检测，得到特征点坐标信息；
对图像进行特征点检测的方法在此不做限定，可以选用光流法或者sift 特征点检测等方法。
其中，sift特征点检测法计算速度较快，但精度较低，为保证模型的精确 度，优选地，本实施例中进行特征点检测采用光流法。光流法是对运动序列 图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且 包含了三维物理结构的丰富信息，可用来确定目标的运动情况以及反映图像 其它等信息，匹配精度高。
当通过光流法进行特征检测时，对进行光流法进行特征检测的次数以及 输入顺序不做限定，检测次数越多特征点越准确，计算量越大，速度越慢。 优选地，可以采用两次检测，技能保证检测的准确率，又能保证较快的计算 速度。
进行特征检测的图片输入顺序不做限定，可以顺序输入，当进行多次特 征点检测时采用固定的图片输入顺序进行检测，也可调换顺序进行检测，比 如进行多次检测时采用顺序以及倒序交换的方式进行检测。由于调换图片输 入顺序进行检测过程可以最大限度避免检测过程的误差，增加每个特征点的 准确性，优选地，可以采用顺序以及倒序交换的方式进行检测。
则对人脸视频中相邻图片通过光流法进行特征点检测具体可以为：
对人脸视频中相邻图片通过光流法进行顺序特征点检测；
参照顺序特征点检测的结果进行反序特征点检测。
采用上述步骤进行特征点的检测可以尽量避免检测出错误的特征点从而 导致最后的相机参数不收敛的情况。
步骤s120、基于最小化重投影误差算法根据特征点坐标进行相机参数估 计，得到估计参数。
估计参数主要包括相机参数以及逆深度参数，其中，相机参数包括的具 体参数类型可以参照现有技术，可以包括比如相机焦距，相机径向畸变参数 和相机的姿态矩阵等。
考虑到普通参数估计方法对特征点坐标检测结果依赖性较大，当采集的 图像稳定，检测的特征点坐标误差小，即可获得相对准确的参数，一旦图像 出现抖动等干扰情况参数的计算误差也会随之大大增加，而为了广泛应用， 各种干扰情况的发生是不可避免的，通过现有技术中直接对多角度图像进行 稠密匹配(或稀疏匹配)获得视差图并进行三维建模的过程误差会很大，本实施 例将最小化重投影误差算法应用于参数的估计过程中，最小化重投影误差算 法不仅考虑了单应矩阵的计算误差，同时也考虑了图像点的测量误差，可以 最大程度消除重投影误差，避免解析方程的非线性问题。通过最小化重投影 误差可以实现从图片序列中获取精确的相机参数以及逆深度参数，根据上述 高精度的参数进行模型的构建可以大大增加模型的精确程度。最小化重投影 误差算法的具体步骤可参照现有技术，在此不再赘述。
步骤s130、根据估计参数对图像进行立体匹配，得到人脸深度图。
根据步骤s120获得的估计参数可以对图像进行立体匹配。进行立体匹配 的具体步骤可参照现有技术，比如可以通过动态规划算法、SAD算法、SSD 算法等。
其中，平面扫描算法主要是对空间对象进行一遍扫描，并在扫描过程中 完成对空间对象的性质或空间对象之间的关系的分析。在扫描过程中，扫描 线自左向右移动，依一定顺序遍历所有与扫描线相交的空间元素，判断它们 之间的顺序和其他空间拓扑关系，可以依照一定规则进行分析，平面扫描算 法一般应用于城市规划管理领域，比如水污染检测等。平面扫描算法对
优选地，可以利用平面扫描算法的对空间对象的分析能力通过建立光强 剖面进行立体匹配。由于基于平面扫描算法进行立体匹配的过程中可能会出 现深度图边缘误差较大的情况，为了减小图像深度图在图像边缘中的误差， 可以在代价函数中增加了的修正因子，比如垂直方向和/或水平方向，修正角 度越多修正效果越好，优选地，可以在代价函数中同时增加垂直方向和水平 方向的修正。
则优选地，根据估计参数图像进行立体匹配具体可以为：基于平面扫描 算法通过建立光强剖面根据估计参数对图像进行垂直方向以及水平方向修正 后的立体匹配。具体地，上述过程具体可以包括以下步骤：根据逆深度参数 将图像映射到参考平面，得到光强剖面，根据光强剖面确定匹配代价函数， 根据光强剖面计算垂直方向以及水平方向的修正函数，根据匹配代价函数以 及修正函数计算修正后的代价函数，根据修正后的代价函数进行稠密立体匹 配，得到人脸深度图。
通过平面扫描算法进行立体匹配，相比现有的深度图获取方法提高了所 获得深度图像边缘的精度，可以得到更加精确的深度图。深度图对于模型的 建立十分重要，深度图相当于模型的“骨架”，建立高精确度的深度图可以 大大提升模型的精确程度。
步骤s140、根据人脸深度图建立人脸三维模型。
根据深度图建立三维模型的具体过程可参照现有技术，通过计算得到的 相机参数以及深度图，把获得的所有深度图通过相机参数反映射到三维空间 中去，完成深度图的融合。
假设第k张深度图的第i行第j列深度为Depth(k,I,j)，
其中，xr和yr是图片的像素平面坐标，f为相机焦距。
从上式中把深度图上的点都映射到三维空间中去，组成一个稠密三维点 云，最后可以进行表面泊松重建，获得人脸的三维模型。
基于上述实施例，本实施例通过的人脸三维模型重建根据最小化重投影 误差通过对采集的微小移动短视频对可能出现的人为抖动等以及像素较差等 干扰因素进行最优补偿，进行参数的估计，可以实现从图片序列中获取精确 的相机参数以及逆深度参数，这种情况下对拍摄者的拍摄技能以及相机的像 素都没有过多要求，有利于人脸三维模型重建方法的普及；另外，通过最小 化重投影误差计算得到高精度的逆深度参数，根据这该逆深度参数值进行立 体匹配可以大大提升深度图的准确性，从而增加了模型的可信度。
上述实施例中对通过最小化重投影误差算法进行相机参数估计的具体算 法不做限定，为加深对参数估计过程的详细了解，在此以通过D-U径向畸变 模型通过最小化重投影进行相机焦距f，相机径向畸变参数K1、K2，和相机的 姿态矩阵R的估计为例，其它通过最小化重投影误差算法进行相机参数的估 计的算法过程均可参照本实施例的介绍。
如图2所示为连续图片中对应特征点示意图，图中球体圆柱体以及正方 体代表实际物体，从实际物体中引出的两个长方形代表对物体拍摄得到的其 中的两张连续相邻图片，一个短视频拍摄了n张图片，图中undistorted feature coordinate代表未失真的特征点坐标，projected point代表的是下一张图中对应 的点，Reference view代表参考图片，i-th view代表第i张图片，ri代表参考 图片到第i张图片的旋转矩阵，ti代表参考图片到第i张图片的平移矩阵， 是参考图像的第j个特征点的失真坐标，是第i张图像的第j 个特征点的失真坐标，
采用D-U径向畸变模型将扭曲的图像域中的点映射到未失真的图像域。 在中，F是D-U进行畸变模型函数，F(*)＝1+K1||*||2+K2||*||4，其中， K1和K2是相机的径向畸变参数。
如果参考图像是第0张图片，特征点uoj反映射成三维空间点xj，
其中，wj为这个空间点的逆深度参数。
通过一个Π函数来描述xj映射到第i张图片的过程
Π(xj,ri,ti)＝<R(ri)xj+ti>
<[x,y,z]T>＝[x/z,y/z]T
这里ri和ti表示从参考图像到第i个图像的相对旋转和位移。{ri,1，ri,2， ri,3}分别是ri的第一行，第二行和第三行。
制定光束法平差(bundle adjustment)，以最小化非参考图像中所有特征 的再投影误差，如下：
n是图片集中图片的数量，ρ是element-wise Huber代价函数，K是相机 的参数，R是旋转矩阵，T是平移矩阵，W是逆深度的值。
通过最小化重投影误差，可以获得精准的相机参数以及精准的逆深度参 数。
另外，上述实施例中对通过平面匹配算法进行立体匹配的过程没有过多 阐述，为加深对上述过程的理解，在此以下面的通过转换矩阵对建立的光强 剖面映射到虚拟平面后再映射到参考图像的过程进行详细阐述，其它通过平 面匹配算法进行立体匹配的过程均可参照下面的介绍。
i代表第i张图像，k代表第k个扫描面，定义一个单位矩阵Hik，用于描 述了从参考图像映射到第i张图像转换矩阵。
其中，K为相机的内部参数。
获得Iik(u)的定义后，通过Iik(u)把一张图片所有的像素u都映射参考平 面上，获得一个强度剖面P(u,wk)＝VAR([Iok(u),...,I(n-1)k(u)])
然后定义了一个匹配代价函数，用于拟合实际的深度图.
C1(u,wk)＝VAR([Iok(u),...,I(n-1)k(u)])
其中，VAR代表计算方差。
为了提高图像深度图在图像边缘中的误差更加小，在代价函数中增加了 垂直方向和水平方向的修正。
最后的匹配代价函数为
C＝C1+λ(Cδu+Cδv)
其中，λ为用于调节垂直方向和水平方向的调节力度，过小时会导致边 缘误差修正不到位，过大时会导致边缘过度修正，使得到的深度图边缘模糊 化，λ的设定可自行选择合适的数据，在此对具体数值的设定不做限定。
通过匹配代价函数计算出参考图片和第i张图片中某区域的匹配程度，获 得两张图片的最高匹配区域，从而进行稠密立体匹配，获得深度图。
基于上述实施例计算得到的深度图中存在一定的噪声，为尽量减少噪声 干扰，优选地，可以对人脸深度图进行噪声剔除，进行噪声剔除的过程在此 不做限定，可以根据噪声分布范围设置滤波器进行滤波。另外，也可以定义 一个函数对强度剖面公式进行阈值设定，具体地，可以设置噪声剔除函数 这里的是强度剖面P的平均值，Dwin(u) 是深度图中像素点u的深度值。可以设定一旦M(u)小于额定阈值，就认为当 前点是噪声点，把其剔除掉，最后可以获得精确的深度图。根据精确人脸深度图可以得到精确的人脸三维模型。
上述实施例中计算得到的相机参数中包括畸变参数，为减少图像的畸变 程度，提高建模的精准度，优选地，可以在对图像进行立体匹配前通过计算 得到的畸变参数进行图像畸变校正。通过上一步获得的径向畸变参数K1和 K2，对所有图片集进行畸变的校正，比如进行径向畸变校正，对应可以获得 无径向畸变失真的图像。基于平面扫描算法通过建立光强剖面根据估计参数 对无畸变失真的图像进行立体匹配可以得到更为精准的三维模型。
下面对本实施例提供的人脸三维模型重建装置进行介绍，下文描述的人 脸三维模型重建装置与上文描述的人脸三维模型重建方法可相互对应参照。
请参考图3，图3为本实施例提供的人脸三维模型重建装置的结构框图； 该装置可以包括：视频接收单元300、特征点检测单元310、参数估计单元320、 立体匹配单元330以及模型建立单元340。
其中，视频接收单元300主要用于接收采集的人脸视频；其中，人脸视 频包括目标人脸预设角度的微小移动视频；
特征点检测单元310主要用于对人脸视频中的图像进行特征点检测，得 到特征点坐标；
参数估计单元320主要用于基于最小化重投影误差算法根据特征点坐标 进行相机参数估计，得到估计参数；其中，估计参数包括：相机参数以及逆 深度参数；
立体匹配单元330主要用于根据估计参数对图像进行立体匹配，得到人 脸深度图；
模型建立单元340主要用于根据人脸深度图建立人脸三维模型。
优选地，立体匹配单元330具体可以为平面扫描立体匹配单元，用于基 于平面扫描算法通过建立光强剖面根据估计参数对图像进行垂直方向以及水 平方向修正后的立体匹配。
优选地，特征点检测单元310具体可以为光流检测单元，用于基于光流 法对人脸视频中相邻图片进行特征点检测。
进一步地，光流检测单元具体可以包括第一检测子单元以及第二检测子 单元，其中第一检测子单元用于基于光流法对人脸视频中相邻图片进行顺序 特征点检测；第二检测子单元用于参照顺序特征点检测的结果进行反序特征 点检测。
人脸三维模型重建装置可以还包括噪声剔除单元，噪声剔除单元输入端 与参数估计单元320的输出端以及立体匹配单元330的输出端连接，噪声剔 除单元的输出端与模型建立单元340的输入端连接，噪声剔除单元具体用于 根据估计参数对人脸深度图进行噪声剔除，得到精确人脸深度图。则与噪声 剔除单元连接的模型建立单元用于根据精确人脸深度图建立人脸三维模型。
人脸三维模型重建装置可以还包括畸变校正单元，畸变校正单元输入端 与视频接收单元300以及参数估计单元320连接，用于根据估计参数中的畸 变参数对人脸视频中图片帧进行畸变校正，得到无畸变失真的图像。畸变校 正单元输出端与立体匹配单元的输入端连接，立则体匹配单元具体用于基于 平面扫描算法通过建立光强剖面根据估计参数对无畸变失真的图像进行立体 匹配。
需要说明的是，本申请具体实施方式中的人脸三维模型重建装置中的各 个单元，其工作过程请参考人脸三维模型重建方法对应的具体实施方式，在 此不再赘述。
请参考图4，图4为本实施例提供的人脸三维模型重建设备的结构框图； 该设备可以包括：
存储器400，用于存储计程序；
处理器410，用于执行程序时实现人脸三维模型重建方法的步骤。
请参考图5，为本实施例提供的一种人脸三维模型重建设备的结构示意 图，该重建设备可因配置或性能不同而产生比较大的差异，可以包括一个或 一个以上处理器(central processing units，CPU)322(例如，一个或一个以上 处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介 质303(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质 303可以是短暂存储或持久存储。存储在存储介质303的程序可以包括一个或 一个以上模块(图示没标出)，每个模块可以包括对定位设备中的一系列指 令操作。更进一步地，中央处理器322可以设置为与存储介质303通信，在重 建设备301上执行存储介质303中的一系列指令操作。
重建设备301还可以包括一个或一个以上电源326，一个或一个以上有线 或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个 以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM， FreeBSDTM等等。
上面所描述的人脸三维模型重建方法中的步骤可以由人脸三维模型重建 设备的结构实现。
本申请还公开一种可读存储介质，可读存储介质上存储有程序，程序被 处理器执行时实现人脸三维模型重建方法的步骤。
本申请公开一种人脸三维模型重建系统，包括摄像头以及人脸三维模型 重建设备。
其中摄像头的型号在此不做限定，普通的可以采集的人脸视频的摄像头 即可。
人脸三维模型重建设备可参照上述介绍，在此不再赘述。人脸三维模型 重建设备主要用于接收人脸视频；对人脸视频中图像进行特征点检测，得到 特征点坐标；根据特征点坐标估计相机参数，得到相机的估计参数；基于平 面扫描算法通过建立光强剖面根据估计参数对图像进行立体匹配，得到人脸 深度图；根据人脸深度图建立人脸三维模型。
本申请还公开一种移动终端，包括上述人脸三维模型重建系统。
用户通过移动终端(如手机或平板)拍摄人脸，分别从人脸的多个角度 (比如左、右、中)拍摄，对每个角度进行人脸视频的拍摄，每个角度采集 大概1s左右的视频，进行一点点微小的移动，基本上相当于人手的抖动幅度。 对于用户采集数据的要求很低，能够应用在移动设备上普通的摄像头上，并 且在同样的光照环境下采集的数据。不用人为的进行相机参数的标定，也能 够获得精确的人脸三维模型。用户可以通过手机快速获取自己的三维人脸模 型，并应用在虚拟现实中。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的装置，系统，存储介质和单元的具体工作过程，可以参考前述方法实施 例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，系统， 存储介质和方法，可以通过其它的方式实现。例如，以上所描述的设备实施 例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实 现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到 另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相 互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间 接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单 元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个移动终端中。基于这样的理解，本申请的技术方案本 质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以 软件产品的形式体现出来，该产品存储在一个存储介质中，包括若干指令用 以使得一台移动终端(可以是手机，或者平板电脑等)执行本申请各个实施 例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存 储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对 于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的 比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、终端或者二者的结合来实现，为了 清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描 述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决 于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应 用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请 的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存 储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编 程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任 意其它形式的存储介质中。
以上对本申请所提供的人脸三维模型重建方法、装置、设备、系统以及 移动终端进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方 式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心 思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原 理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入 本申请权利要求的保护范围内。
Claims (10)
1.一种人脸三维模型重建方法，其特征在于，包括：
接收采集的人脸视频；其中，所述人脸视频包括目标人脸预设角度的微小移动视频；
对所述人脸视频中的图像进行特征点检测，得到特征点坐标；
基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计，得到估计参数；其中，所述估计参数包括：相机参数以及逆深度参数；
根据所述估计参数对所述图像进行立体匹配，得到人脸深度图；
根据所述人脸深度图建立人脸三维模型。
2.如权利要求1所述的人脸三维模型重建方法，其特征在于，根据所述估计参数所述图像进行立体匹配包括：
基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行垂直方向以及水平方向修正后的立体匹配。
3.如权利要求2所述的人脸三维模型重建方法，其特征在于，根据所述人脸深度图建立人脸三维模型前还包括：
根据所述估计参数对所述人脸深度图进行噪声剔除，得到精确人脸深度图；
则所述根据所述人脸深度图建立人脸三维模型具体为：根据所述精确人脸深度图建立人脸三维模型。
4.如权利要求1所述的人脸三维模型重建方法，其特征在于，所述对所述人脸视频中图像进行特征点检测包括：
基于光流法对所述人脸视频中相邻图片进行特征点检测。
5.如权利要求1所述的人脸三维模型重建方法，其特征在于，所述基于光流法对所述人脸视频中相邻图片进行特征点检测包括：
基于光流法对所述人脸视频中相邻图片进行顺序特征点检测；
参照所述顺序特征点检测的结果进行反序特征点检测。
6.如权利要求1所述的人脸三维模型重建方法，其特征在于，所述基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配前还包括：
根据所述估计参数中的畸变参数对所述人脸视频中图片帧进行畸变校正，得到无畸变失真的图像；
则所述基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配具体为：基于平面扫描算法通过建立光强剖面根据所述估计参数对所述无畸变失真的图像进行立体匹配。
7.一种人脸三维模型重建装置，其特征在于，包括：
视频接收单元，用于接收采集的人脸视频；其中，所述人脸视频包括目标人脸预设角度的微小移动视频；
特征点检测单元，用于对所述人脸视频中的图像进行特征点检测，得到特征点坐标；
参数估计单元，用于基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计，得到估计参数；其中，所述估计参数包括：相机参数以及逆深度参数；
立体匹配单元，用于根据所述估计参数对所述图像进行立体匹配，得到人脸深度图；
模型建立单元，用于根据所述人脸深度图建立人脸三维模型。
8.一种人脸三维模型重建设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现如权利要求1至6任一项所述人脸三维模型重建方法的步骤。
9.一种人脸三维模型重建系统，其特征在于，包括：
摄像头，用于采集的人脸视频；其中，所述人脸视频包括对目标人脸的预设角度采集的微小移动视频；
如权利要求8所述的人脸三维模型重建设备，用于接收所述人脸视频；对所述人脸视频中图像进行特征点检测，得到特征点坐标；根据所述特征点坐标估计相机参数，得到相机的估计参数；基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配，得到人脸深度图；根据所述人脸深度图建立人脸三维模型。
10.一种移动终端，其特征在于，包括：如权利要求9所述的人脸三维模型重建系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810961013.3A CN109035394B (zh) | 2018-08-22 | 2018-08-22 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810961013.3A CN109035394B (zh) | 2018-08-22 | 2018-08-22 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035394A true CN109035394A (zh) | 2018-12-18 |
| CN109035394B CN109035394B (zh) | 2023-04-07 |
Family
ID=64626854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810961013.3A Active CN109035394B (zh) | 2018-08-22 | 2018-08-22 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035394B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110070611A (zh) * | 2019-04-22 | 2019-07-30 | 清华大学 | 一种基于深度图像融合的人脸三维重建方法和装置 |
| CN110428456A (zh) * | 2019-05-23 | 2019-11-08 | 乐伊嘉 | 一种空气面膜 |
| CN111010558A (zh) * | 2019-12-17 | 2020-04-14 | 浙江农林大学 | 一种基于短视频图像的立木深度图生成方法 |
| CN111311728A (zh) * | 2020-01-10 | 2020-06-19 | 华中科技大学鄂州工业技术研究院 | 一种基于光流法的高精度形貌重建方法、设备及装置 |
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN112347904A (zh) * | 2020-11-04 | 2021-02-09 | 杭州锐颖科技有限公司 | 基于双目深度和图片结构的活体检测方法、装置及介质 |
| CN112347870A (zh) * | 2020-10-23 | 2021-02-09 | 歌尔光学科技有限公司 | 头戴设备的图像处理方法、装置、设备及存储介质 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| CN112767453B (zh) * | 2021-01-29 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 人脸跟踪方法、装置、电子设备及存储介质 |
| CN114255285A (zh) * | 2021-12-23 | 2022-03-29 | 奥格科技股份有限公司 | 视频与城市信息模型三维场景融合方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521586A (zh) * | 2011-12-08 | 2012-06-27 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种用于拍照手机的高分辨率三维人脸扫描方法 |
| CN104599284A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 基于多视角手机自拍图像的三维人脸重建方法 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
-
2018
- 2018-08-22 CN CN201810961013.3A patent/CN109035394B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521586A (zh) * | 2011-12-08 | 2012-06-27 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种用于拍照手机的高分辨率三维人脸扫描方法 |
| CN104599284A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 基于多视角手机自拍图像的三维人脸重建方法 |
| CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王跃嵩: "多视图立体匹配三维重建方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110070611A (zh) * | 2019-04-22 | 2019-07-30 | 清华大学 | 一种基于深度图像融合的人脸三维重建方法和装置 |
| CN110070037B (zh) * | 2019-04-22 | 2022-11-01 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110070611B (zh) * | 2019-04-22 | 2020-12-01 | 清华大学 | 一种基于深度图像融合的人脸三维重建方法和装置 |
| CN110428456A (zh) * | 2019-05-23 | 2019-11-08 | 乐伊嘉 | 一种空气面膜 |
| CN112307848B (zh) * | 2019-08-01 | 2024-04-30 | 惠普发展公司，有限责任合伙企业 | 检测视频会议中的欺骗说话者 |
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN111010558A (zh) * | 2019-12-17 | 2020-04-14 | 浙江农林大学 | 一种基于短视频图像的立木深度图生成方法 |
| CN111010558B (zh) * | 2019-12-17 | 2021-11-09 | 浙江农林大学 | 一种基于短视频图像的立木深度图生成方法 |
| CN111311728A (zh) * | 2020-01-10 | 2020-06-19 | 华中科技大学鄂州工业技术研究院 | 一种基于光流法的高精度形貌重建方法、设备及装置 |
| CN111311728B (zh) * | 2020-01-10 | 2023-05-09 | 华中科技大学鄂州工业技术研究院 | 一种基于光流法的高精度形貌重建方法、设备及装置 |
| CN112347870A (zh) * | 2020-10-23 | 2021-02-09 | 歌尔光学科技有限公司 | 头戴设备的图像处理方法、装置、设备及存储介质 |
| CN112347870B (zh) * | 2020-10-23 | 2023-03-24 | 歌尔科技有限公司 | 头戴设备的图像处理方法、装置、设备及存储介质 |
| CN112347904A (zh) * | 2020-11-04 | 2021-02-09 | 杭州锐颖科技有限公司 | 基于双目深度和图片结构的活体检测方法、装置及介质 |
| CN112767453B (zh) * | 2021-01-29 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 人脸跟踪方法、装置、电子设备及存储介质 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| CN114255285A (zh) * | 2021-12-23 | 2022-03-29 | 奥格科技股份有限公司 | 视频与城市信息模型三维场景融合方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035394B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035394A (zh) | 人脸三维模型重建方法、装置、设备、系统及移动终端 | |
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| Hedman et al. | Scalable inside-out image-based rendering | |
| CN108053437B (zh) | 基于体态的三维模型获取方法及装置 | |
| US8823775B2 (en) | Body surface imaging | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| CN106033621B (zh) | 一种三维建模的方法及装置 | |
| CN103942754B (zh) | 全景图像补全方法及装置 | |
| CN107886546B (zh) | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 | |
| CN105303616B (zh) | 基于单张照片的浮雕建模方法 | |
| CN115880443B (zh) | 一种透明物体隐式表面重建方法及设备 | |
| CN105809729B (zh) | 一种虚拟场景的球形全景渲染方法 | |
| Yang et al. | Surface reconstruction via fusing sparse-sequence of depth images | |
| CN110473248A (zh) | 一种利用图像构建人体三维模型的测量方法 | |
| CN103325141A (zh) | 基于非等中心c形臂2d投影图像的3d模型构建方法 | |
| CN111563952A (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及系统 | |
| GB2586157A (en) | System and method for performing 3D imaging of an object | |
| CN105279758A (zh) | 使用双球的相切像与圆环点的像标定拋物折反射摄像机 | |
| CN105321181A (zh) | 使用双球的相离像与圆环点的像标定拋物折反射摄像机 | |
| CN108873363A (zh) | 基于结构光标记的三维光场成像系统及方法 | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments | |
| Gava et al. | Dense scene reconstruction from spherical light fields | |
| CN103700138A (zh) | 一种基于采样数据的动态水面重建方法 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Kumara et al. | Real-time 3D human objects rendering based on multiple camera details |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |