CN117409045A - 基于多平面自适应渲染的稠密光流估计方法及系统 - Google Patents
基于多平面自适应渲染的稠密光流估计方法及系统 Download PDFInfo
- Publication number
- CN117409045A CN117409045A CN202311115488.8A CN202311115488A CN117409045A CN 117409045 A CN117409045 A CN 117409045A CN 202311115488 A CN202311115488 A CN 202311115488A CN 117409045 A CN117409045 A CN 117409045A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- image
- plane
- model
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000009877 rendering Methods 0.000 title claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 title claims description 10
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 4
- 238000013480 data collection Methods 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于多平面自适应渲染的稠密光流估计方法及系统，属于计算机视觉技术领域。本发明构建了一个包含逼真合成图像的稠密光流估计数据集，包含具有真实图像和复杂运动的高质量数据集。在训练阶段中，首先将输入数据输入RAFT光流估计网络，并计算损失函数。根据计算的损失，使用梯度下降算法后，网络将更新参数；在使用阶段，将根据保存的模型结构与参数创建模型，然后根据输入对成对图像进行稠密光流估计。本发明能够在不依靠任何额外设备的情况下高效对高质量真实图像数据对及其光流标签进行合成，并且数据对的场景能够包含日常生活中的几乎所有场景，能够保证本发明在真实场景稠密光流估计时的有效性与稳定性。
Description
技术领域
本发明涉及一种稠密光流估计方法及系统，具体涉及一种能够获取包含真实图像的高质量稠密光流数据集的方法及系统，属于计算机视觉技术领域。
背景技术
光流是指在连续的两帧图像之间的像素点的移动关系。光流数据可以被用于许多计算机视觉应用，例如视频压缩、运动估计、目标跟踪、视频分析等。稠密光流估计是计算机视觉领域中的一个重要的技术问题，其目的是得到图像中每个像素在两帧图像之间的运动向量。
根据是否选取图像稀疏的点进行光流估计，可以将光流估计分为稀疏光流和稠密光流。其中，稀疏光流往往选取了一些特征明显(梯度较大)的点进行估计，而稠密光流则描述了图像每个像素向下一帧运动的光流。
近年来，随着深度学习的发展，基于深度学习的稠密光流估计方法逐渐成为研究热点。其中，基于深度学习的光流模型在有光流标签的成对图像数据集上进行训练。有一些方法使用荧光标记来记录真实场景中的运动，但只能获得稀疏光流。KITTI数据集则是通过复杂的激光雷达和照相机设置提供复杂的训练数据，然而，上述真实数据集中数据的数量和场景受限。因此，在复杂的动态场景中，很难收集大量的真实稠密光流数据集，使得使用深度监督学习训练的模型难以推广到更复杂的场景。目前，该领域的常用的技术是使用包含大量真实光流标记的训练数据进行训练，数据集中大部分图像是通过计算机仿真或者从动画中获得的。但是，这些大型数据集本身并不足以训练深度学习模型以在真实环境中的部署，因为当从合成图像迁移到真实场景时会发生域差异问题。
相比之下，基于真实图像的稠密光流估计方法有其自身的优点，因为它对各种真实场景有更好的适应性。这些数据集中通常由有真实图像、合成的新视角图像对组成，两张图像之间的光流作为标签。它们的性能在很大程度上取决于基于真实图像合成的新视角图像和光流标签的真实性。在输入数据方面，为了合成真实的新视角图像及其对应的光流标签，研究人员使用深度估计模型来构建观测图像对应场景的可信点云。然后在随机的运动矢量和旋转角度下，在重建环境中虚拟地移动摄像机，从而能够合成一个新的视图和相应的光流标签。为了追求更真实的相机运动，最近的方法直接使用预先估计伪光流标签，并连接输入图像中的每个像素到新视角图像中。但是，直接将原始真实图像中的像素映射到新图像中会带来严重的伪影和空洞，导致图像真实性降低，所以很难将这种方式与图像直接适应于真实场景。这两种技术都不能在真实场景中合成高质量的新视角图像。在处理真实场景时，这可能会大大降低在这些数据集上训练的模型性能。目前，还没有能够获取高质量的基于真实图像的稠密光流数据集的方法公开。
发明内容
本发明的目的是为了克服现有技术存在的缺陷，为了获得高质量的真实图像稠密光流数据集，创造性地提出一种基于多平面自适应渲染的稠密光流估计方法及系统。本发明能够在不需要特殊设备、具有较高效率的前提下，填补目前包含真实图像的稠密光流数据不足的空白。
本发明的创新点在于：提出了一个大规模的数据集，用于真实动态场景的稠密光流估计。通过从互联网上收集高分辨率的单目图像，使用单目深度估计模型估计场景深度，从而对单目图像进行三维重建，构建其多平面图像表示。然后使用虚拟相机位姿，采用体渲染技术合成对应相机位姿下的新视角图像。最终对每一张图像合成对应新视角图像及其对应的光流标签。重复上述过程，构建出一个大型包含逼真合成图像的稠密光流估计数据集，其中包含具有真实图像和复杂运动的高质量数据集，弥补了稠密光流估计集的不足。由于不需要使用真实摄像机或者拍摄视频，也可以更有效地收集数据集。在训练阶段中，本发明首先将输入数据输入RAFT光流估计模型，并计算损失函数。根据计算的损失，使用梯度下降算法后，模型将更新参数；完成训练后将保存模型结构与参数。在使用阶段，将根据保存的模型结构与参数创建模型，然后根据输入对成对图像进行稠密光流估计。实验结果证明了数据集的价值和提出的方法在各种指标上的有效性。
为达到以上目的，本发明采用以下技术方案：
步骤1：收集包含真实运动的真实图像，构建图像对应的多平面图像表示。利用像素映射合成新视角下的图像和稠密光流标签，对整体数据集进行构建。
步骤2：对模型进行训练。
首先，对模型应用特征编码层来提取输入的两张图像的低层次特征，并将数据映射至高维度空间，使用特征关联层为两张图上所有的像素产生四维关联信息。
然后，使用基于门控循环单元的循环更新算子查找四维关联信息，从而迭代地更新预测的光流场。读取稠密光流标签和预测光流的对比计算损失值，并将损失值回传至模型参数用于训练。各神经模型层根据损失函数回传的损失值进行参数修改，完成一次训练迭代。
步骤3：利用训练好的模型进行光流估计，生成最终的预测光流。
另一方面，本发明提出了一种基于多平面自适应渲染的稠密光流估计系统，包括数据收集模块、模型训练模块和光流估计模块。
其中，数据收集模块负责实时处理相机获取到的视频流，并提取其相邻帧进行图像预处理并合成光流数据集；模型训练模块使用上述光流数据集训练光流估计模型；光流估计模块负责使用模型训练模块训练好的模型，执行推理流程，获取估计的稠密光流。
数据收集模块的输出端与模型训练模块的输入端相连。模型训练模块的输出端与光流估计模块的输入端相连。
有益效果
本发明，与现有技术相比，具有以下优点：
1.本发明通过从互联网上收集大量图像，通过多平面图像表示合成新视角下的新图像、以及对应原图像和新图像之间的稠密光流标签，可以直接从真实世界图像中获得光流数据集。在精细设计的程序下，可以通过精确的虚拟相机位姿获得高质量的配对图像和光流标签。其中包含具有真实运动的真实图像，可以高效的对稠密光流数据集进行补充。
2.本发明提出了一种新型的稠密光流预测方法，该方法利用了上述包含真实图像的合成数据进行训练，对真实场景下光流预测精度更高。
3.本发明能够在不依靠任何额外设备的情况下，高效率地对高质量真实图像数据对及其光流标签进行合成，并且数据对的场景能够包含日常生活中的几乎所有场景，能够保证本发明在真实场景稠密光流估计时的有效性与稳定性。
4.本发明检测质量高，适用于手机相机传感器、车载相机传感器等多种设备，适用于真实场景条件下的运动估计、目标追踪等多种应用领域。
附图说明
图1是本发明方法的流程图。
图2是本发明高质量真实图像稠密光流数据集的细节示意图。
图3是本发明稠密光流估计方法进行使用与结果评估的示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图对本发明做进一步说明。
如图1所示，一种基于多平面自适应渲染的稠密光流估计方法，包括以下步骤：
步骤1：数据收集。
步骤1.1：收集包含运动场景的单目图像。
运动场景包含室内场景、室外场景以及其他场景等，保证蕴含的场景足够接近真实场景的图像内容。
步骤1.2：将收集的图像输入到图像合成模块中。
具体地，将真实图像Is定义为大小为H×W×3的矩阵，H和W分别为图像的高和宽。
为了构建输入图像的多平米图像，首先使用单眼深度估计，得到图像估计的粗糙深度以及RGBD图像。然后，基于RGBD图像输入的上下文信息，设计一种新的平面调整模型，从初始配置调整平面深度，构造特定场景深度的多平面图像(MPI)，每个平面n对应一个深度dn下的部分图像，并且平面上每个像素都包含由一个神经模型提取的对应的RGB颜色值cn和体密度σn。
步骤1.3：设原始视角为μs、新视角为μt。为生成高度逼真的新视角图像，从新视角下沿像素射线计算射线上颜色的加权和，从而将旧图像中一个像素映射到新图像中It新像素对应的颜色。
具体地，新视角图像的平面n上的每个像素p1都通过相机内参和外参矩阵投影到原图像的平面n上的像素p0：
p1～KT0→1D0K-1p0
其中，T0→1为从原视角到目标视点的相机转移矩阵；K为相机固有的内参矩阵；D0为深度值，并使用像素映射关系来计算每个平面的光流，即p1-p0。因此，每个新平面的颜就可以根据映射到的像素，通过双线性采样得到。
为获取每个平面在新视角图像中的颜色，使用新平面和通过场景的光线之间的交点来计算It：
其中，cn表示新视角图像上从双线性插值得到的颜色，表示该点是否处在平面n上，N表示多平面的平面数量。
步骤2：模型训练。
利用步骤1得到的真实图像稠密光流数据集，对模型的参数进行训练。
步骤2.1：将输入的成对图像(It，Is)定义为大小为H×W×3的矩阵，其中，H和W分别为图像的高和宽。为了将图像中的像素提取为特征，首先在特征编码层中应用卷积和激活函数来提取每一帧的低层次特征。将这些特征堆叠在一起，得到整个序列的高维特征。
步骤2.2：在将输入数据进行特征提取后，使用特征关联层为所有像素产生H×W×H×W的四维关联信息，并使用汇合层来产生更低分辨率的关联信息。
然后，使用基于门控循环单元的循环更新算子查找四维关联信息。之后，迭代更新光流场，光流场初始值为0。
步骤2.3：计算迭代光流场与稠密光流标签Fs→t的损失，通过反向传播算法更新每一层的参数。
步骤3：使用训练好的模型，进行稠密光流估计，生成最终的预测光流。
步骤3.1：通过相机获取真实视频和相邻帧。
在真实运动场景，包含室内场景、室外场景以及其他场景等，拍摄视频并获取原始视频输入，然后将视频处理成多帧图片，每相邻两帧作为模型输入。
步骤3.2：将输入的成对图像(It，Is)中的像素提取为特征，并通过将这些特征堆叠在一起，得到整个序列的高维特征。
步骤3.3：在将输入数据进行特征提取后，使用特征关联层为所有像素产生H×W×H×W的四维关联信息，并使用汇合层来产生更低分辨率的关联信息。然后，使用基于门控循环单元的循环更新算子查找四维关联信息。之后，迭代更新光流场。最终迭代的光流场即为估计的稠密光流。
为实现本发明所述目的，本发明进一步提出了一种基于多平面自适应渲染的稠密光流估计系统，包括数据收集模块和光流估计模块。
其中，数据收集模块负责对包含真实图像的稠密光流训练数据集进行收集，所得到的数据将会用于模型，帮助相应的模型参数进行学习与更新。
在光流估计模块中，选用数据收集模块训练好的RAFT模型，首先将输入数据输入RAFT光流估计模型。对模型应用特征编码层来提取输入的两张图像的低层次特征，并将数据映射至高维度空间，然后使用特征关联层为两张图上所有的像素产生四维关联信息。之后，使用基于门控循环单元的循环更新算子查找四维关联信息，从而迭代地更新预测的光流场。
数据收集模块首先把被用于对包含真实图像的稠密光流数据进行合成，然后将数据输入模型进行训练，提供相应的原始图像、新视角图像和稠密光流标签。训练完成后，训练好的模型输入到光流估计模块中，应用于真实场景的稠密光流预测任务中，并在各类运动、光照条件、场景下均具有良好的性能与鲁棒性。
为说明本发明的效果，本实施例将在实验条件相同的情况下对多种方法进行对比。
表1在Sintel测试基准对比其他稠密光流估计方案
表2在KITTI测试基准对比其他稠密光流估计方案
从表1和表2的结果可以看出，本发明公开的方法可以达到非常好的稠密光流预测效果，无论在仿真的Sintel数据集中，还是在包含真实测试图像的KITTI数据集上。此处报告了平均端点误差(EPE)和两个错误率的评估结果，分别是绝对误差大于3(>3)或绝对误差和相对误差分别大于3和5％(Fl)的像素的百分比。这三项指标均为视频去噪任务中广泛使用的模型评价指标。对比其他方法，本发明都能够在这三项指标上达到更好的效果。表1和表2中的结果证明了本发明在多种数据集上对稠密光流估计任务的优越性，明显优于其他方法。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.基于多平面自适应渲染的稠密光流估计方法，其特征在于，包括以下步骤：
步骤1：收集包含真实运动的真实图像，构建图像对应的多平面图像表示；利用像素映射合成新视角下的图像和稠密光流标签，对整体数据集进行构建；
步骤2：对模型进行训练；
首先，对模型应用特征编码层提取输入的两张图像的低层次特征，并将数据映射至高维度空间，使用特征关联层为两张图上所有的像素产生四维关联信息；
然后，使用基于门控循环单元的循环更新算子查找四维关联信息，从而迭代地更新预测的光流场；读取稠密光流标签和预测光流的对比计算损失值，并将损失值回传至模型参数用于训练；各神经模型层根据损失函数回传的损失值进行参数修改，完成一次训练迭代；
步骤3：利用训练好的模型进行光流估计，生成最终的预测光流。
2.如权利要求1所述的基于多平面自适应渲染的稠密光流估计方法，其特征在于，步骤1包括以下步骤：
步骤1.1：收集包含运动场景的单目图像；
运动场景包含室内场景、室外场景以及其他场景，保证蕴含的场景足够接近真实场景的图像内容；
步骤1.2：将收集的图像进行图像合成；
将真实图像Is定义为大小为H×W×3的矩阵，H和W分别为图像的高和宽；
首先使用单眼深度估计，得到图像估计的粗糙深度以及RGBD图像；然后，基于RGBD图像输入的上下文信息，设计一种平面调整模型，从初始配置调整平面深度，构造特定场景深度的多平面图像，每个平面n对应一个深度dn下的部分图像，并且平面上每个像素都包含由一个神经模型提取的对应的RGB颜色值cn和体密度σn；
步骤1.3：设原始视角为μs、新视角为μt；从新视角下沿像素射线计算射线上颜色的加权和，将旧图像中一个像素映射到新图像中It新像素对应的颜色；
新视角图像的平面n上的每个像素p1都通过相机内参和外参矩阵投影到原图像的平面n上的像素p0：
p1～KT0→1D0K-1+p0
其中，T0→1为从原视角到目标视点的相机转移矩阵；K为相机固有的内参矩阵；D0为深度值，并使用像素映射关系来计算每个平面的光流，即p1-p0；
为获取每个平面在新视角图像中的颜色，使用新平面和通过场景的光线之间的交点来计算It：
其中，cn表示新视角图像上从双线性插值得到的颜色，表示该点是否处在平面n上，N表示多平面的平面数量；
步骤2包括以下步骤：
步骤2.1：将输入的成对图像(It,Is)定义为大小为H×W×3的矩阵，其中，H和W分别为图像的高和宽；首先在特征编码层中应用卷积和激活函数来提取每一帧的低层次特征；将这些特征堆叠在一起，得到整个序列的高维特征；
步骤2.2：在将输入数据进行特征提取后，使用特征关联层为所有像素产生H×W×H×W的四维关联信息，并使用汇合层来产生更低分辨率的关联信息；
然后，使用基于门控循环单元的循环更新算子查找四维关联信息；之后，迭代更新光流场，光流场初始值为0；
步骤2.3：计算迭代光流场与稠密光流标签Fs→t的损失，通过反向传播算法更新每一层的参数。
3.如权利要求2所述的基于多平面自适应渲染的稠密光流估计方法，其特征在于，步骤3包括以下步骤：
步骤3.1：通过相机获取真实视频和相邻帧；
在真实运动场景，包含室内场景、室外场景以及其他场景，拍摄视频并获取原始视频输入，然后将视频处理成多帧图片，每相邻两帧作为模型输入；
步骤3.2：将输入的成对图像(It,Is)中的像素提取为特征，并通过将这些特征堆叠在一起，得到整个序列的高维特征；
步骤3.3：在将输入数据进行特征提取后，使用特征关联层为所有像素产生H×W×H×W的四维关联信息，并使用汇合层来产生更低分辨率的关联信息；然后，使用基于门控循环单元的循环更新算子查找四维关联信息；之后，迭代更新光流场；最终迭代的光流场即为估计的稠密光流。
4.基于多平面自适应渲染的稠密光流估计系统，其特征在于，包括数据收集模块、模型训练模块和光流估计模块；
其中，数据收集模块负责实时处理相机获取到的视频流，并提取其相邻帧进行图像预处理并合成光流数据集；模型训练模块使用上述光流数据集训练光流估计模型；光流估计模块负责使用模型训练模块训练好的模型，执行推理流程，获取估计的稠密光流；
数据收集模块的输出端与模型训练模块的输入端相连；模型训练模块的输出端与光流估计模块的输入端相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311115488.8A CN117409045A (zh) | 2023-08-31 | 2023-08-31 | 基于多平面自适应渲染的稠密光流估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311115488.8A CN117409045A (zh) | 2023-08-31 | 2023-08-31 | 基于多平面自适应渲染的稠密光流估计方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117409045A true CN117409045A (zh) | 2024-01-16 |
Family
ID=89495145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311115488.8A Pending CN117409045A (zh) | 2023-08-31 | 2023-08-31 | 基于多平面自适应渲染的稠密光流估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409045A (zh) |
-
2023
- 2023-08-31 CN CN202311115488.8A patent/CN117409045A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503680B (zh) | 一种基于非监督的卷积神经网络单目场景深度估计方法 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| CN113808047B (zh) | 一种人体运动捕捉数据去噪方法 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| CN112785692A (zh) | 一种基于深度uv先验的单视角多人人体重建方法 | |
| CN117115359B (zh) | 一种基于深度图融合的多视图电网三维空间数据重建方法 | |
| CN117557714A (zh) | 三维重建方法、电子设备及可读存储介质 | |
| CN117150755A (zh) | 一种基于神经点渲染的自动驾驶场景仿真方法及系统 | |
| CN112927251A (zh) | 基于形态学的场景稠密深度图获取方法、系统及装置 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN117994480A (zh) | 一种轻量化手部重建与驱动的方法 | |
| CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| Peng et al. | PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images | |
| CN117252987B (zh) | 一种基于显式和隐式混合编码的动态场景重建方法 | |
| Yao et al. | Neural Radiance Field-based Visual Rendering: A Comprehensive Review | |
| CN116433822B (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
| WO2023086398A1 (en) | 3d rendering networks based on refractive neural radiance fields | |
| CN117409045A (zh) | 基于多平面自适应渲染的稠密光流估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |