CN117078772A - 一种基于NeRF的相机自标定方法 - Google Patents

一种基于NeRF的相机自标定方法 Download PDF

Info

Publication number
CN117078772A
CN117078772A CN202311135950.0A CN202311135950A CN117078772A CN 117078772 A CN117078772 A CN 117078772A CN 202311135950 A CN202311135950 A CN 202311135950A CN 117078772 A CN117078772 A CN 117078772A
Authority
CN
China
Prior art keywords
camera
nerf
image
parameters
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311135950.0A
Other languages
English (en)
Inventor
张历卓
李庆林
任峰
邓维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boshi Fengyun Hunan Information Technology Co ltd
Original Assignee
Boshi Fengyun Hunan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boshi Fengyun Hunan Information Technology Co ltd filed Critical Boshi Fengyun Hunan Information Technology Co ltd
Priority to CN202311135950.0A priority Critical patent/CN117078772A/zh
Publication of CN117078772A publication Critical patent/CN117078772A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于NeRF的相机自标定方法，包括：取不同视角的照片，制作成数据集；数据预处理；特征提取；神经网络训练：将预处理后的图像特征和相机的内部参数、外部参数作为输入和输出，使用神经网络NeRF进行训练的同时，迭代优化相机参数，包括相机内参矩阵和相机外参矩阵的学习，并考虑了畸变现象，对光线的源点和方向引入可学习的残差项；模型评估：对训练好的模型进行评估；应用场景：将训练好的模型应用于实际场景中。本发明解决了在没有标定物的情况下的相机标定的问题。

Description

一种基于NeRF的相机自标定方法
技术领域
本发明涉及相机标定技术领域，尤其涉及一种基于NeRF的相机自标定方法。
背景技术
在计算机视觉中，标定是指确定相机在世界坐标系中的位置和方向，以便将图像坐标系与物理坐标系对齐。标定通常需要使用精确的标定板和复杂的数学方法，需要耗费大量时间和人力成本。传统的相机标定方法需要用到比较特殊的标定物，比如棋盘格等，而且一般需要知道标定物的几何结构来估计相机参数，传统不需要标定物的相机自标定方法则需要相机作出非常严格的运动，比如旋转或者正交运动，或者需要对场景做出强有力的假设，例如消失点的存在和已知的场景结构，如曼哈顿世界等，标定过程太复杂。
发明内容
(一)要解决的技术问题
基于上述问题，本发明提供一种基于NeRF的相机自标定方法，解决在没有标定物的情况下的相机标定的问题。
(二)技术方案
基于上述的技术问题，本发明提供一种基于NeRF的相机自标定方法，包括以下步骤：
S1、取不同视角的照片，制作成数据集；
S2、数据预处理；
S3、特征提取；
S4、神经网络训练：将预处理后的图像特征和相机的内部参数、外部参数作为输入和输出，使用神经网络NeRF进行训练的同时，迭代优化相机参数，包括相机内参矩阵和相机外参矩阵的学习，通过几何约束和图像约束限定相机模型，并考虑了畸变现象，对光线的源点和方向引入可学习的残差项；
S5、模型评估：对训练好的模型进行评估；
S6、应用场景：将训练好的模型应用于实际场景中。
(三)有益效果
本发明的上述技术方案具有如下优点：
本发明相机自标定方法针对任意非线性畸变的通用相机，在没有标定物的情况下，通过深度学习场景的几何形状和准确的相机参数，直接对相机实现自标定，并不需要作出非常严格的运动；传统的自校准算法主要依赖于几何约束，而此方法在此基础上结合了光度一致性，训练神经网络NeRF的同时，学习场景的几何形状，通过迭代优化相机参数，包括相机内参矩阵和相机外参矩阵；并提出新的几何损失函数，即几何约束和图像约束，以结合复杂非线性相机模型的几何一致性；自标定的相机参数优化降低了误差，大大降低了标定耗费的时间和人力成本，并能应用于多种计算机视觉任务。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例的相机自标定具体的运算图；
图2为本发明实施例的几何约束的远离说明图；
图3为本发明实施例的NeRF及相机参数的训练算法示意图；
图4为本发明实施例的模型效果评估对比图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明实施例为一种基于NeRF的相机自标定方法，包括以下步骤：
S1、通过摄像头等设备获取不同视角的照片，然后制作成数据集；
S2、数据预处理：对标定数据进行预处理，包括白平衡、去噪和颜色校正等；
S3、特征提取：使用传统的特征提取算法或深度学习方法提取图像特征；
S4、神经网络训练：将预处理后的图像特征和相机的内部参数、外部参数作为输入和输出，使用神经网络NeRF进行训练的同时，迭代优化相机参数，包括相机内参矩阵和相机外参矩阵的学习，并考虑了畸变现象，对光线的源点和方向引入可学习的残差项。
所述神经网络为NeRF(神经网络光场，Neural Reflectance Field)是一种三维场景表示(scene representation)，而且是一种隐式的场景表示(implicit scenerepresentation)，NeRF将场景表示为空间中任何点的体积密度和颜色值。有了以NeRF形式存在的场景表示后，可以对该场景进行渲染，生成新视角的模拟图片。通过使用经典体积渲染(volume rendering)的原理，求解穿过场景的任何光线的颜色，从而渲染合成新的图像。
训练NeRF的输入数据是：从不同位置拍摄同一场景的图片，拍摄这些图片的相机位姿、相机内参，以及场景的范围。若图像数据集缺少相机参数真值，便使用经典SfM重建解决方案COLMAP估计了需要的参数，当作真值使用。在常规训练使用NeRF渲染新图片的过程中，先将这些位置输入MLP以产生体积密度和RGB颜色值；取不同的位置，使用体积渲染技术将这些值合成为一张完整的图像；因为体积渲染函数是可微的，所以可以通过最小化上一步渲染合成的、真实图像之间的差来训练优化NeRF场景表示。这样的一个NeRF训练完成后，就得到一个以多层感知机的权重表示的模型。一个模型只含有该场景的信息，不具有生成别的场景的图片的能力。
而本发明的步骤S4的神经网络训练中，相机模型由针孔模型、四阶径向畸变和一个可以学习任意非线性相机畸变的通用噪声模型组成；采用一个可微的针孔相机模型(Differentiable Pinhole Camera Rays)，该相机模型包含针孔相机中的内参矩阵、外参矩阵以及畸变系数；本发明在训练NeRF的同时优化相机参数，包括相机内参矩阵和相机外参矩阵的学习，通过几何约束和图像约束限定相机模型，而为了表达一些无法参数化的更复杂的畸变现象，相机模型还直接对光线的源点和方向引入了可学习的残差项。具体包括以下步骤：
S41、初始化NeRF参数，相机模型参数的残差项ΔK、ΔR|t、Δro、Δrd、Δk；
NeRF参数包括神经网的权重参数Θ，用来衡量NeRF的好坏；K为相机模型的内参矩阵，R|t为相机模型的外参矩阵，k为畸变系数，rd，ro分别为相机到像素发出光线的方向和光源起点，Δ表示对应下标参数的残差项。
S42、通过迭代训练更新NeRF参数和相机模型的参数，并通过几何约束和图像约束限定相机模型，从而得到NeRF渲染出图像与真实图像的差值L；
相机进行自标定具体的运算图如图1所示，具体如下：
S421、计算相机模型的内参矩阵K；
将相机内参分解为初始化内参K0和残差矩阵ΔK，最终的相机内参矩阵便由这两个的和组成，定义为：
为了表示方便，本发明使用c＝[cx，cy]和f＝[fx，fy]来简化公式的表示；其中cx和cy表示相机光轴在图像坐标系中的偏移量，以像素为坐标；fx和fy为相机的内参；
S422、计算相机模型的外参矩阵R|t；
同内参矩阵表示类似，本发明使用外参初始值R0和t0以及他们的残差参数矩阵来表示旋转矩阵R和平移矩阵t，而且考虑到直接学习旋转矩阵每个元素的残差(偏移)会破坏旋转矩阵的正交性，采用的是6向量表示法(使用旋转矩阵前两列未归一化来表示三维旋转)：
设三维旋转为b1，b2，b3∈R，L2正则化为N(.)，则
b1＝N(a1)
b2＝N(a2-(b1*a2)b1)
b3＝b1*b2
其中，a1和a2为旋转矩阵前两行的两个方向向量，b1、b2和b3是经过格拉姆-施密特正交化处理后的三个方向的旋转向量；外参矩阵R|t为旋转矩阵R和平移矩阵t的拼接，旋转矩阵R和平移矩阵t表示如下:
R＝f(a0+Δa)，t＝t0+Δt。
a0代表上一位置的旋转矩阵，Δa代表旋转矩阵的偏差，t0代表上一位置的平移矩阵，Δt代表平移矩阵的偏差。
S423、计算相机模型的畸变系数k；
只考虑相机镜头的径向畸变，畸变系数表示为：
k＝(k1+Δk1,k2+Δk2)
在计算径向畸变模型的时候，因为像素点的真实坐标和有畸变的坐标之间的转换数量级较小，所以采用泰勒级数来展开，其中，k1为2阶泰勒系数，k2为4阶泰勒系数。
S424、计算相机模型的射线参数rd和ro；
本方法的相机射线公式:
通过相机内参矩阵K来重投影得到相机射线和/>用/>表示在相机坐标系下的向量；
使用外参矩阵，即旋转矩阵R和平移矩阵t将其变换为世界坐标系的向量：rd＝RK- 1p，ro＝t；
所以相机射线参数(rd，ro)是关于内参残差和外参残差(Δf，Δc，Δa，Δt)的函数，可以通过梯度下降的方法来进行优化相机射线参数；
根据相机模型的畸变系数k更新图像上某一像素的坐标p，得到考虑畸变系数的射线参数rd和ro：
n＝((px-cx)/cx，(py-cy)/cy，1)
p′＝(pxdx，pydy，1)
rd＝RK-1p′，ro＝t
使用光度误差来学习相机参数，p为图像I上某一像素的坐标，px和py是点p的x轴和y轴坐标，cx和cy是中心点c的x轴和y轴坐标，n是点p到中心点c的规划距离，nx和ny是n的x轴和y轴距离，d是畸变距离，dx和dy是d的x轴和y轴距离，p′为图像上某一像素畸变后的坐标。
S425、计算相机模型的考虑畸变的射线参数rd′和ro′
Δrd(p)、Δr0(p)为射线参数残差，p是像素坐标系；
使用双线性插值来提取光线畸变参数：
Δrd[x,y],Δr0[x,y]表示射线在像素坐标系的偏移,我们通过像素位置来学习偏移量。
S426、通过几何约束和图像约束限定相机模型，计算NeRF渲染出图像与真实图像的差值L；
为了实现相机的校准，本方法利用了两种相机之间应满足的约束。几何约束通过非线性模型计算的光学像差对局部的光线畸变参数划定一个变化的阈值范围，而图像约束则是通过关联度最高的视图之间的运动变化进行限定；
第一个为几何约束，与常见的epipolar constraint(对极约束)和reprojectionconstraint(重投影约束)类似。如图2所示，图中的A，B上各有一个像素点PA、PB以及从相机射出的光线rA、rB，直线rB上的点到直线rA的距离表达式为：
其中，ro,B表示在图B中一个像素点的射线原点向量，ro,A表示在图A中一个像素点的射线原点向量，rA,d表示在图A中射线的方向向量，rd,B表示在图B中射线的方向向量，tB表示所求点到相机ro,B的深度。
求d关于tB的最小值，即可知道直线rB上到直线rA距离最近的点，假设为XBA。将XBA投影到图像A上，即可算出投影点到PA的重投影距离。同理，直线rA上到直线rB距离最近的点，假设为XAB，能得到在图像B上的重投影误差，两者的均值即为两个像素点的几何校准误差，公式如下：
pA、pB分别为图像A、B上某一像素的坐标，xA和xB分别为两个图像相关联的投影点；这里的π(·)是一个投影函数，它使每个图像一致性的重要程度相等，而不管它们与相机的距离，这种投影的射线距离是一种不同于极距离或重投影误差的新型几何损失；
第二个约束是图像约束，即NeRF渲染出图像与真实图像的差值L，表达式如下：
其中，C(p)为真实图像，为NeRF渲染出图像；
以内存矩阵为例，其对内参矩阵的梯度表达式为：(其中r为一条光线，ro和rd分别为光线的起点和方向)
S43、当达到迭代次数要求时，进行更新结果的验证；
迭代次数要求可以是每进行N次迭代进行一次验证，也可以是当达到设定迭代次数Nprd时进行一次验证；
验证公式为：
这四个公式是联合优化网络中的步骤，random(.)代表产生随机参数的函数，Correspondence(.)是计算残差的函数，Projected ray distance(.)是根据残差计算射线距离损失的函数；最后一个公式则是在约束下动态调整参数最后得出验证后的差值L；RI和tI是图像I对应的外参，即旋转矩阵和平移矩阵；通过验证，进一步防止偏移。
在颜色一致性损失计算损失的前提下，加入投影射线距离损失函数计算，来对损失进行补偿；也就是说联合优化网络就是通过两种不同的计算损失函数的模型分别计算，再对最后的结果进行共同优化输出。
S44、得到迭代后的NeRF参数集合，通过向前传播函数更新NeRF参数集合中的参数s：
表示向前传播函数的梯度，该步骤S4的程序如图3所示，通过迭代的每一次计算让模型的学习能力(学习过程中的参数)输出更好的结果；在这里，它的组成很简单，也就是将这次学习过程中产生的更好的参数用于下次学习过程，这里简单用s来替代。
S5、模型评估：对训练好的模型进行评估，可以使用交叉验证等方法来评估模型的性能和泛化能力。
比较了该发明与传统NeRF在不使用COLMAP得到的相机参数和使用COLMAP的表现，如图4所示，图4中的(a)为没有使用COLMAP的传统NeRF的表现，图4中的(b)为使用COLMAP的传统NeRF的表现，(c)为没有使用COLMAP的该发明的表现，(d)为使用COLMAP的该发明的表现，(e)为目标图像，NeRF在相机参数未知的情况下无法成功完成场景的重建，然而本发明能够同时完成相机参数和场景的重建。即使使用COLMAP得到的相机参数，由于COLMAP得到的相机参数仍然有误差，本发明的方法能以其为初始解逐步优化得到更好的相机参数，表现也比传统的NeRF更好。
S6、应用场景：将训练好的模型应用于实际场景中，可以通过拍摄一组标定图像来获取相机的内部参数和外部参数。
综上可知，通过上述的一种基于NeRF的相机自标定方法，具有以下有益效果：
本发明相机自标定方法针对任意非线性畸变的通用相机，在没有标定物的情况下，通过深度学习场景的几何形状和准确的相机参数，直接对相机实现自标定，并不需要作出非常严格的运动；传统的自校准算法主要依赖于几何约束，而此方法在此基础上结合了光度一致性，训练神经网络NeRF的同时，学习场景的几何形状，通过迭代优化相机参数，包括相机内参矩阵和相机外参矩阵；并提出新的几何损失函数，即几何约束和图像约束，以结合复杂非线性相机模型的几何一致性；自标定的相机参数优化降低了误差，大大降低了标定耗费的时间和人力成本，并能应用于多种计算机视觉任务。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于NeRF的相机自标定方法，其特征在于，包括以下步骤：
S1、取不同视角的照片，制作成数据集；
S2、数据预处理；
S3、特征提取；
S4、神经网络训练：将预处理后的图像特征和相机的内部参数、外部参数作为输入和输出，使用神经网络NeRF进行训练的同时，迭代优化相机参数，包括相机内参矩阵和相机外参矩阵的学习，通过几何约束和图像约束限定相机模型，并考虑了畸变现象，对光线的源点和方向引入可学习的残差项；
S41、初始化NeRF参数，相机模型参数的残差项ΔK、ΔR|t、Δro、Δrd、Δk；
其中，K为相机模型的内参矩阵，R|t为相机模型的外参矩阵，k为畸变系数，rd，ro分别为相机到像素发出光线的方向和光源起点，Δ表示对应下标参数的残差项；
S42、通过迭代训练更新NeRF参数和相机模型的参数，并通过几何约束和图像约束限定相机模型，从而得到NeRF渲染出图像与真实图像的差值L；
S43、当达到迭代次数要求时，进行更新结果的验证；
S44、得到迭代后的NeRF参数集合，通过向前传播函数更新集合中的参数；
S5、模型评估：对训练好的模型进行评估；
S6、应用场景：将训练好的模型应用于实际场景中。
2.根据权利要求1所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S42包括：
S421、计算相机模型的内参矩阵K；
S422、计算相机模型的外参矩阵R|t；
S423、计算相机模型的畸变系数k；
S424、计算相机模型的射线参数rd和ro；
S425、计算相机模型的考虑畸变的射线参数rd＇和ro＇；
S426、通过几何约束和图像约束限定相机模型，计算NeRF渲染出图像与真实图像的差值L。
3.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S421包括：
其中，K0为初始化内参，c＝[cx，cy]，f＝[fx，fy]，cx和cy表示相机光轴在图像坐标系中的偏移量，以像素为坐标；fx和fy为相机模型的内参。
4.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S422包括：
设三维旋转为b1，b2，b3∈R3，L2正则化为N(.)，则
b1＝N(a1)
b2＝N(a2-(b1*a2)b1)
b3＝b1*b2
所述外参矩阵R|t旋转矩阵R和平移矩阵t的拼接，根据外参初始值R0和t0，旋转矩阵R和平移矩阵t分别表示为：
R＝f(a0+Δa)，t＝t0+Δt；
a1和a2为旋转矩阵前两行的两个方向向量，b1、b2和b3是经过格拉姆-施密特正交化处理后的三个方向的旋转向量；a0代表上一位置的旋转矩阵，Δa代表旋转矩阵的偏差，t0代表上一位置的平移矩阵，Δt代表平移矩阵的偏差。
5.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S423包括：畸变系数表示为k＝(k1+Δk1，k2+Δk2)
其中，k1为2阶泰勒系数，k2为4阶泰勒系数。
6.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S424包括：
n＝((px-cx)/cx，(py-cy)/cy，1)
P′＝(pxdx，pydy，1)
rd＝RK-1p′，ro＝t
p为图像上某一像素的坐标，是点p到中心点c的规划距离，px和py是点p的x轴和y轴坐标，cx和cy是中心点c的x轴和y轴坐标，n是点p到中心点c的规划距离，nx和ny是n的x轴和y轴距离，d是畸变距离，dx和dy是d的x轴和y轴距离，p＇为图像上某一像素畸变后的坐标。
7.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S425包括：
r′d＝rd+Δrd(p)，r′0＝r0+Δr0(p)
Δrd(p)，Δr0(p)是射线参数残差，p是像素坐标系，Δrd[x，y]，Δr0[x，y]表示射线在像素坐标系的偏移。
8.根据权利要求2所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S426包括：相机模型应满足几何约束和图像约束，所述几何约束为：
直线rB上的点到直线rA的距离表达式为：
得到两个像素点的几何校准误差：
其中,ro,B表示在图B中一个像素点的射线原点向量，ro,A表示在图A中一个像素点的射线原点向量，rA,d表示在图A中射线的方向向量，rd,B表示在图B中射线的方向向量，tB表示所求点到相机ro,B的深度，pA、pB分别为图像A、B上某一像素的坐标，xA和xB分别为两个图像相关联的投影点，π(·)是投影函数；
所述图像约束即NeRF渲染出图像与真实图像的差值L为：
其中，C(p)为真实图像，为NeRF渲染出图像。
9.根据权利要求1所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S43中，所述迭代次数要求包括每进行N次迭代进行一次验证，或当达到设定迭代次数Nprd时进行一次验证；
所述验证的公式为：
C←Correspondence(I,I′)
其中，random(.)代表产生随机参数的函数，Correspondence(.)是计算残差的函数，Projected ray distance(.)是根据残差计算投影射线距离损失函数；最后一个公式是在约束下动态调整参数最后得出验证后的差值L；RI和tI是图像I对应的外参，即旋转矩阵和平移矩阵。
10.根据权利要求1所述的基于NeRF的相机自标定方法，其特征在于，所述步骤S44中，包括：
表示向前传播函数的梯度，s为NeRF参数集合中的参数。
CN202311135950.0A 2023-09-05 2023-09-05 一种基于NeRF的相机自标定方法 Pending CN117078772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311135950.0A CN117078772A (zh) 2023-09-05 2023-09-05 一种基于NeRF的相机自标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311135950.0A CN117078772A (zh) 2023-09-05 2023-09-05 一种基于NeRF的相机自标定方法

Publications (1)

Publication Number Publication Date
CN117078772A true CN117078772A (zh) 2023-11-17

Family

ID=88715277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311135950.0A Pending CN117078772A (zh) 2023-09-05 2023-09-05 一种基于NeRF的相机自标定方法

Country Status (1)

Country Link
CN (1) CN117078772A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327299A (zh) * 2021-07-07 2021-08-31 北京邮电大学 一种基于联合采样结构的神经网络光场方法
CN116616812A (zh) * 2023-04-11 2023-08-22 合肥工业大学 基于NeRF定位的超声自主导航方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327299A (zh) * 2021-07-07 2021-08-31 北京邮电大学 一种基于联合采样结构的神经网络光场方法
CN116616812A (zh) * 2023-04-11 2023-08-22 合肥工业大学 基于NeRF定位的超声自主导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOONWOO JEONG 等: "Self-Calibrating Neural Radiance Fields", 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 5826 - 5834 *

Similar Documents

Publication Publication Date Title
CN110288657B (zh) 一种基于Kinect的增强现实三维注册方法
CN107909640B (zh) 基于深度学习的人脸重光照方法及装置
JP6216468B2 (ja) 無特徴抽出の高密度ｓｆｍ三次元再構成法
Li et al. Simultaneous projector-camera self-calibration for three-dimensional reconstruction and projection mapping
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
JP2007257287A (ja) 画像レジストレーション方法
CN113450396B (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN106846467A (zh) 基于每个相机位置优化的实体场景建模方法和系统
CN113269862A (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
US10755477B2 (en) Real-time face 3D reconstruction system and method on mobile device
CN113393577B (zh) 一种倾斜摄影地形重建方法
CN113850900A (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
Huang et al. End-to-end full projector compensation
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
WO2023272531A1 (zh) 图像处理方法及装置、设备、存储介质
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
CN112802186B (zh) 基于二值化特征编码匹配的动态场景实时三维重建方法
Jain et al. Robustifying the multi-scale representation of neural radiance fields
CN113888694A (zh) 一种基于sdf场可微渲染的透明物体重建的方法及系统
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN117078772A (zh) 一种基于NeRF的相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination