CN117475067B - 基于神经辐射场的大田渲染可视化快速渲染方法及装置 - Google Patents

基于神经辐射场的大田渲染可视化快速渲染方法及装置 Download PDF

Info

Publication number
CN117475067B
CN117475067B CN202311823598.XA CN202311823598A CN117475067B CN 117475067 B CN117475067 B CN 117475067B CN 202311823598 A CN202311823598 A CN 202311823598A CN 117475067 B CN117475067 B CN 117475067B
Authority
CN
China
Prior art keywords
rendering
model
image
field
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311823598.XA
Other languages
English (en)
Other versions
CN117475067A (zh
Inventor
易文龙
刘鑫
程香平
殷华
徐亦璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Agricultural University
Institute of Applied Physics of Jiangxi Academy of Sciences
Original Assignee
Jiangxi Agricultural University
Institute of Applied Physics of Jiangxi Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Agricultural University, Institute of Applied Physics of Jiangxi Academy of Sciences filed Critical Jiangxi Agricultural University
Priority to CN202311823598.XA priority Critical patent/CN117475067B/zh
Publication of CN117475067A publication Critical patent/CN117475067A/zh
Application granted granted Critical
Publication of CN117475067B publication Critical patent/CN117475067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于神经辐射场的大田渲染可视化快速渲染方法及装置，该方法通过无人机拍摄装置拍摄采集大田作物图像；对大田作物图像进行预处理，计算大田作物图像的位置参数，并输入正弦神经网络模型预测得到图像参数，再通过体渲染公式进行图像生成，生成渲染图和深度图；使用知识蒸馏将教师模型的知识融入学生模型中，对困难特征进行强化学习，以教师模型渲染图和深度图作为软目标，学生模型渲染图和深度图作为硬目标，将软目标和硬目标相结合，以改进学生模型训练过程，优化得到的三维场景，生成学生模型参数；使用训练完成的学生模型输出新的大田图像。本发明实现了实现神经辐射场的大田场景的高效训练，能快速渲染大田高质量图像。

Description

基于神经辐射场的大田渲染可视化快速渲染方法及装置
技术领域
本发明属于图像处理技术领域，具体涉及一种基于神经辐射场的大田渲染可视化快速渲染方法及装置。
背景技术
农田可视化技术应用于农业领域的多个方面，包括土地规划、农作物生长模拟、环境影响评估等。通过将农田的地形、植被、农作物类型等因素进行建模，可以生成逼真的农田场景。农田渲染的目的是为了对农田进行可视化展示，以帮助农业专业人士、农民和决策者更好地理解和分析农田的特征、问题和潜力。在数字化农业的背景下，通过可视化大田场景，观察环境条件对作物生长形态产生的影响，分析农作物生长的环境影响因素，实现农作物生长中的过程分析，从而改进作物生长环境，优化土地利用，实现农业的增产增收。这在植物学乃至农学领域，具有重要的理论意义和实用价值。
传统的大田渲染技术是采用计算机图形学技术、地理信息系统和遥感数据等工具进行实现，通过使用激光雷达或卫星遥感数据等采集的点云数据，可以生成精确的渲染模型。神经辐射场（Neural Radiance Field，NeRF）不同于传统的三维重建方法，不需要大量的离散点云或稀疏深度图像作为输入，而是从相机视角的连续观察中学习场景的三维表示和体密度分布，同时使用深度神经网络作为模型，能够端到端地学习从输入图像到场景的隐式表达的映射关系。然而由于神经辐射场的训练数据量大，计算复杂度高，渲染图像生成和超参数调优，训练数据限制等原因导致神经辐射场的训练时间长和渲染质量不足。
发明内容
为了解决上述技术背景中的传统渲染作物方法速度慢和效果差的问题，本发明提供一种基于神经辐射场的大田渲染可视化快速渲染方法及装置，结合深度学习对大田实时图像进行处理，能快速渲染大田高质量图像，方便分析农田地形、植被和土壤质量等关键因素，有利于挖掘作物增产增收的规律。
本发明通过下述技术方案来实现。一种基于神经辐射场的大田渲染可视化快速渲染方法，包括以下步骤：
步骤一：通过无人机拍摄装置拍摄采集大田作物图像；
步骤二：对大田作物图像进行预处理，计算大田作物图像的位置参数， 其中x，y，z为三维坐标，为二维方位视角；
步骤三：将大田作物图像的位置参数输入正弦神经网络模型预测得到图像参数，RGB为颜色，为体密度，再通过体渲染公式进行图像生成，生成渲染图和深度 图；
步骤四：预训练教师模型，通过教师模型，学习场景中的基本特征；
步骤五：训练学生模型，使用知识蒸馏将教师模型的知识融入学生模型中，对困难特征进行强化学习，以教师模型渲染图和深度图作为软目标，学生模型渲染图和深度图作为硬目标，将软目标和硬目标相结合，以改进学生模型训练过程，优化得到的三维场景，生成学生模型参数；
步骤六，使用训练完成的学生模型输出新的大田图像。
进一步优选，步骤三中，正弦神经网络模型由多层感知机和正弦激活函数构成，每 经过一层感知机使用一层正弦函数，对每一张采集的图像场景中的3D点投射光线，正弦神 经网络模型沿着每条光线进行采样，通过多层感知机用于根据空间中任意点的坐标得到3D 点的体密度与颜色；表示为： ，其中，为正弦周期激活函数，为视点方向，x为空间点的坐标，为多层感知机。
进一步优选，步骤三所述通过体渲染公式进行图像生成是：基于每个采样点的颜 色和体密度，使用体渲染公式进行图像生成；体渲染公式为：；
其中，表示渲染图，表示从相机射线的起点位置到运动距离的透明度 的累积，表示相机射线在场景中运动距离t的位置，表示在位置处的体素透明 度，表示相机射线在场景中运动距离s的位置，d表示方向，表示相机射线上位置 为，方向为d的颜色，表示终点位置。
具体地，所述步骤五中，进行学生模型训练，输入的大田作物图像的位置参数同时进入教师模型和学生模型，通过知识蒸馏的方式以教师模型生成的渲染图和深度图作为软目标，并以知识传递的知识方式结合学生模型生成渲染图和深度图的硬目标对学生模型进行反向传播优化，使用教师模型通过知识蒸馏损失来引导学生模型。
具体地，所述步骤五中，知识蒸馏中分别计算学生损失和蒸馏损失，学生损失包括渲染图学生损失和深度图学生损失，渲染图学生损失是学生模型生成渲染图与真实图像的平方误差，深度图学生损失是学生模型生成深度图与真实深度图平方误差；蒸馏损失包括渲染图蒸馏损失和深度图蒸馏损失，渲染图蒸馏损失是教师模型生成渲染图与学生模型生成渲染图的平方误差，深度图蒸馏损失是教师模型生成深度图与学生模型生成深度图的平方误差。
具体地，渲染图学生损失为：， 表示学生模型渲染的 颜色，表示真实的颜色。
具体地，深度图学生损失为：， 表示学生模型生成 深度图，表示真实的深度图。
具体地，渲染图蒸馏损失为：， 表示教师模型渲染的 颜色，表示学生模型渲染的颜色。
具体地，深度图蒸馏损失为：，表示教师模型生成深 度图，表示学生模型生成深度图。
具体地，将学生损失与蒸馏损失相加，深度图学生损失与深度图蒸馏损失相加，得 到总损失L为：，为超参数。
具体地，所述正弦神经网络模型将NeRF网络中的ReLU激活函数替换为Siren激活函数。
本发明还提供一种基于神经辐射场的大田渲染可视化快速渲染装置，包括无人机摄像装置、数据传输网络和计算机，无人机摄像装置用于采集大田作物的大田作物图像，数据传输网络用于向计算机传输数据，计算机内置图像数据处理模块，图像数据处理模块根据前述的基于神经辐射场的大田渲染可视化快速渲染方法对大田作物图像进行分析计算。
本发明实现了神经辐射场针对大田场景的高效训练，将大田图像位置参数输入正弦神经网络模型进行训练，同时结合自蒸馏的知识蒸馏方式训练策略，通过预训练教师模型，再进行知识传递将教师模型知识传递进学生模型，以渲染图和深度图作为监督信号对学生模型训练得到反向传播优化，从而实现神经辐射场的大田场景的高效训练。本发明具有以下优点：
（1）正弦神经网络的训练方法，由于大田作物场景的复杂性，正弦激活函数相较最初的神经网络模型在空间中具有平滑性和连续性，可以使优化曲面平滑，并有助于摆脱早期的局部最小值。通过使用正弦神经网络模型可以更好的拟合场景中的复杂几何形状，从而提高模型的表达能力。
（2）自蒸馏的训练优化方法，通过预训练教师模型，使用教师模型生成渲染图和深度图作为软目标，通过知识传递作为学生模型的知识补充，同时相较于传统的训练方式只有渲染图作为训练监督信号，本发明采用渲染图和深度图作为监督信号，有助于优化视角一致性和场景的深度信息，自蒸馏的训练方法可有效的加速对场景的重建，提高训练速度，同时可针对复杂纹理信息进行强化学习，从而提高渲染效果和质量。
（3）本发明在提高渲染质量的同时，实现了神经辐射场的快速训练，训练时通过正弦神经网络得到更具有表达能力的模型，再使用教师模型的渲染图和深度图以软目标的方式知识传递进学生模型，从而改进神经辐射场的重建结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明的方法流程图；
图2是本发明的网络原理示意图；
图3是本发明的基于神经辐射场的大田渲染可视化快速渲染示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于神经辐射场的大田渲染可视化快速渲染方法，包括以下步骤：
步骤一：通过无人机拍摄装置拍摄采集大田作物图像；
步骤二：对大田作物图像进行预处理，计算大田作物图像的位置参数， 其中x，y，z为三维坐标，为二维方位视角；
步骤三：将大田作物图像的位置参数输入正弦神经网络模型预测得到图像参数，RGB为颜色，为体密度，再通过体渲染公式进行图像生成，生成渲染图和深度 图；
步骤四：预训练教师模型，通过教师模型，学习场景中的基本特征；
步骤五：训练学生模型，使用知识蒸馏将教师模型的知识融入学生模型中，对困难特征进行强化学习，以教师模型渲染图和深度图作为软目标，学生模型渲染图和深度图作为硬目标，将软目标和硬目标相结合，以改进学生模型训练过程，优化得到的三维场景，生成学生模型参数；
步骤六，使用训练完成的学生模型输出新的大田图像。
本实施例步骤三中，正弦神经网络模型由多层感知机和正弦激活函数构成，每经 过一层感知机使用一层正弦函数，引入额外的非线性，使得正弦神经网络模型能够更好的 拟合复杂的数据分布和函数关系。对每一张采集的图像场景中的3D点投射光线，正弦神经 网络模型沿着每条光线进行采样，通过多层感知机用于根据空间中任意点的坐标得到3D点 的体密度与颜色；表示为： ，其中，为正弦周期激活函数， 为视点方向，x为空间点的坐标，为多层感知机。
本实施例步骤三所述通过体渲染公式进行图像生成是：基于每个采样点的颜色和 体密度，使用体渲染公式进行图像生成；体渲染公式为：；
其中，表示渲染图，表示从相机射线的起点位置到运动距离的透明度 的累积，表示相机射线在场景中运动距离t的位置，表示在位置处的体素透明 度，表示相机射线在场景中运动距离s的位置，d表示方向，表示相机射线上位置 为，方向为d的颜色，表示终点位置。体密度是在空间位置（辐射线过)，颗粒无限小 的一个微分，即不透明度在位置上的微分，与辐射线方向无关。相机成像辐射线表示为：，相机位置和成像点构成了相机射线。
渲染图包含了场景中每个像素点的颜色信息，深度图包含了场景中每个像素点距离相机的深度值或距离信息，也就是表示场景中各个位置的相对远近关系；体渲染后使用渲染图和深度图构建损失函数。
本实施例所述教师模型为13层的SIREN-MLP网络模型，预训练教师模型生成教师模型训练权重。
本实施例所述学生模型为8层的SIREN-MLP网络模型。
步骤五中，步骤五中，进行学生模型训练，输入的大田作物图像的位置参数同时进入教师模型和学生模型，通过知识蒸馏的方式以教师模型生成的渲染图和深度图作为软目标，并以知识传递的知识方式结合学生模型生成渲染图和深度图的硬目标对学生模型进行反向传播优化，使用教师模型通过知识蒸馏损失来引导学生模型。
知识蒸馏中分别计算学生损失和蒸馏损失，学生损失包括渲染图学生损失和深度图学生损失，渲染图学生损失是学生模型生成渲染图与真实图像的平方误差，深度图学生损失是学生模型生成深度图与真实深度图平方误差。蒸馏损失包括渲染图蒸馏损失和深度图蒸馏损失，渲染图蒸馏损失是教师模型生成渲染图与学生模型生成渲染图的平方误差，深度图蒸馏损失是教师模型生成深度图与学生模型生成深度图的平方误差。
渲染图学生损失为：，用于表示学生模型与真实颜色像素 级别的损失，表示学生模型渲染的颜色，表示真实的颜色。
深度图学生损失为：，用于表示学生模型与真实深度图像 素级别的损失，表示学生模型生成深度图，表示真实的深度图。
渲染图蒸馏损失为：，用于表示教师模型与学生模型渲染 颜色像素级别的损失，表示教师模型渲染的颜色，表示学生模型渲染的颜色。
深度图蒸馏损失为：，用于表示教师模型与学生模型渲染 深度图像素级别的损失，表示教师模型生成深度图，表示学生模型生成深度图。 学生损失与蒸馏损失之间，通过超参数调整学生模型可学习到的教师模型的知识比例， 本实施例选择超参数为0.2。
将学生损失与蒸馏损失相加，深度图学生损失与深度图蒸馏损失相加，得到总损 失L为：。
计算总损失并对学生模型进行反向传播，从而对三维模型的几何形状和外观纹理进行优化，从生成具有更优渲染效果和质量的图像。
在3D技术快速发展的背景下，神经辐射场在其中脱颖而出，使用神经网络结合体渲染生成植物模型既准确又方便。本实施例使用的是三维场景重建中效果甚佳的一种NeRF网络，NeRF网络使用神经网络来学习图像中物体的特征并结合体渲染生成新的图像。本实施例在将NeRF网络结合知识蒸馏训练策略的基础上，并通过使用周期激活函数改进了原有的NeRF网络，同时以渲染图和深度图作为监督信号，反向传播优化模型。本实施例选取了三种主要的评价指标如PSNR（Peak Signal to Noise Ratio）、SSML (StructuralSimilarity Index Measure)、 LPLPS (Learned Perceptual Image Patch Similarity)。本发明在测试各种改良网络所用到的数据集图像包含训练集183张、测试集22张、验证集120张，各种改良网络统一运行了50000轮得到评价指标数据。使用数据集运行后各种改良网络的消融实验三种评价指标对比数据如下表1，本实施例的正弦神经网络模型将NeRF网络中的ReLU激活函数替换为Siren激活函数。本实施例并加入了知识蒸馏机制，在进行的多种实验中Siren激活函数和知识蒸馏的组合效果最佳，因此本发明选取了Siren激活函数加上知识蒸馏相结合的网络。
表1
表2
如图3所示，本实施例提供的基于神经辐射场的大田渲染可视化快速渲染装置，包括无人机摄像装置100、无线局域网300和计算机400，无人机摄像装置100用于采集大田作物200的大田作物图像，无线局域网300用于向计算机400传输数据，计算机400内置图像数据处理模块，图像数据处理模块根据前述的基于神经辐射场的大田渲染可视化快速渲染方法对大田作物图像进行分析计算。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，包括以下步骤：
步骤一：通过无人机拍摄装置拍摄采集大田作物图像；
步骤二：对大田作物图像进行预处理，计算大田作物图像的位置参数，其中x，y，z为三维坐标，/>为二维方位视角；
步骤三：将大田作物图像的位置参数输入正弦神经网络模型预测得到图像参数，RGB为颜色，/>为体密度，再通过体渲染公式进行图像生成，生成渲染图和深度图；正弦神经网络模型由多层感知机和正弦激活函数构成，每经过一层感知机使用一层正弦函数，对每一张采集的图像场景中的3D点投射光线，正弦神经网络模型沿着每条光线进行采样，通过多层感知机用于根据空间中任意点的坐标得到3D点的体密度/>与颜色RGB；表示为：/> ，其中，/>为正弦周期激活函数，/>为视点方向，x为空间点的坐标，/>为多层感知机；所述正弦神经网络模型将NeRF网络中的ReLU激活函数替换为Siren激活函数；
步骤四：预训练教师模型，通过教师模型，学习场景中的基本特征；
步骤五：训练学生模型，使用知识蒸馏将教师模型的知识融入学生模型中，对困难特征进行强化学习，以教师模型渲染图和深度图作为软目标，学生模型渲染图和深度图作为硬目标，将软目标和硬目标相结合，以改进学生模型训练过程，优化得到的三维场景，生成学生模型参数；
所述步骤五中，进行学生模型训练，输入的大田作物图像的位置参数同时进入教师模型和学生模型，通过知识蒸馏的方式以教师模型生成的渲染图和深度图作为软目标，并以知识传递的知识方式结合学生模型生成渲染图和深度图的硬目标对学生模型进行反向传播优化，使用教师模型通过知识蒸馏损失来引导学生模型；知识蒸馏中分别计算学生损失和蒸馏损失，学生损失包括渲染图学生损失和深度图学生损失，渲染图学生损失是学生模型生成渲染图与真实图像的平方误差，深度图学生损失是学生模型生成深度图与真实深度图平方误差；蒸馏损失包括渲染图蒸馏损失和深度图蒸馏损失，渲染图蒸馏损失是教师模型生成渲染图与学生模型生成渲染图的平方误差，深度图蒸馏损失是教师模型生成深度图与学生模型生成深度图的平方误差；
步骤六：使用训练完成的学生模型输出新的大田图像。
2.根据权利要求1所述的基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，步骤三所述通过体渲染公式进行图像生成是：基于每个采样点的颜色和体密度，使用体渲染公式进行图像生成；体渲染公式为：
；
其中，表示渲染图，/>表示从相机射线的起点位置/>到运动距离/>的透明度的累积，/>表示相机射线在场景中运动距离t的位置，/>表示在位置/>处的体素透明度，表示相机射线在场景中运动距离s的位置，d表示方向，/>表示相机射线上位置为，方向为d的颜色，/>表示终点位置。
3.根据权利要求1所述的基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，渲染图学生损失为：/>， />表示学生模型渲染的颜色，/>表示真实的颜色；深度图学生损失/>为：/>， />表示学生模型生成深度图，/>表示真实的深度图。
4.根据权利要求3所述的基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，渲染图蒸馏损失为：/>， />表示教师模型渲染的颜色，/>表示学生模型渲染的颜色；深度图蒸馏损失/>为：/>，/>表示教师模型生成深度图，/>表示学生模型生成深度图。
5.根据权利要求4所述的基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，将学生损失与蒸馏损失相加，深度图学生损失与深度图蒸馏损失相加，得到总损失L为：，/>为超参数。
6.一种基于神经辐射场的大田渲染可视化快速渲染装置，其特征在于，包括无人机摄像装置、数据传输网络和计算机，无人机摄像装置用于采集大田作物的大田作物图像，数据传输网络用于向计算机传输数据，计算机内置图像数据处理模块，图像数据处理模块根据权利要求1-5任意一项所述的基于神经辐射场的大田渲染可视化快速渲染方法对大田作物图像进行分析计算。
CN202311823598.XA 2023-12-28 2023-12-28 基于神经辐射场的大田渲染可视化快速渲染方法及装置 Active CN117475067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311823598.XA CN117475067B (zh) 2023-12-28 2023-12-28 基于神经辐射场的大田渲染可视化快速渲染方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311823598.XA CN117475067B (zh) 2023-12-28 2023-12-28 基于神经辐射场的大田渲染可视化快速渲染方法及装置

Publications (2)

Publication Number Publication Date
CN117475067A CN117475067A (zh) 2024-01-30
CN117475067B true CN117475067B (zh) 2024-03-08

Family

ID=89638210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311823598.XA Active CN117475067B (zh) 2023-12-28 2023-12-28 基于神经辐射场的大田渲染可视化快速渲染方法及装置

Country Status (1)

Country Link
CN (1) CN117475067B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209832A (zh) * 2019-12-31 2020-05-29 华瑞新智科技（北京）有限公司 变电站巡检机器人辅助避障训练方法、设备及介质
CN116996654A (zh) * 2023-07-24 2023-11-03 京东方科技集团股份有限公司 新视点图像生成方法、新视点生成模型的训练方法与装置
CN117095128A (zh) * 2023-09-04 2023-11-21 清华大学深圳国际研究生院 一种无先验多视角人体服饰编辑方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230130281A1 (en) * 2021-10-21 2023-04-27 Google Llc Figure-Ground Neural Radiance Fields For Three-Dimensional Object Category Modelling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209832A (zh) * 2019-12-31 2020-05-29 华瑞新智科技（北京）有限公司 变电站巡检机器人辅助避障训练方法、设备及介质
CN116996654A (zh) * 2023-07-24 2023-11-03 京东方科技集团股份有限公司 新视点图像生成方法、新视点生成模型的训练方法与装置
CN117095128A (zh) * 2023-09-04 2023-11-21 清华大学深圳国际研究生院 一种无先验多视角人体服饰编辑方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs;Christian Reiser等;2021 IEEE/CVF International Conference on Computer Vision (ICCV);20220228;第1-11页 *
Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations;Vadim Tschernezki等;2022 International Conference on 3D Vision (3DV);20230222;第443-453页 *
矿井视觉计算体系架构与关键技术;程健等;煤炭科学技术;20230707;第51卷(第9期);第202-218页 *

Also Published As

Publication number Publication date
CN117475067A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN105975912B (zh) 基于神经网络的高光谱图像非线性解混方法
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN108427989A (zh) 一种用于雷达回波外推的深度时空预测神经网络训练方法
Al Najar et al. Satellite derived bathymetry using deep learning
CN109001736A (zh) 一种基于深度时空预测神经网络的雷达回波外推方法
Sun et al. Underwater image enhancement with reinforcement learning
CN105809185A (zh) 基于神经网络和差分搜索的高光谱图像非线性解混方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
Zhang et al. Nerf-lidar: Generating realistic lidar point clouds with neural radiance fields
CN116563466A (zh) 一种基于深度学习的三维单木点云的补全方法
CN117475067B (zh) 基于神经辐射场的大田渲染可视化快速渲染方法及装置
Chen et al. Laboratory water surface elevation estimation using image-based convolutional neural networks
Yang et al. Algorithm for appearance simulation of plant diseases based on symptom classification
Li et al. A method to establish a synthetic image dataset of stored-product insects for insect detection
Buck et al. Ignorance is bliss: flawed assumptions in simulated ground truth
CN116977586A (zh) 一种基于电网gis平台的实景三维建模方法
CN116184376A (zh) 一种水下三维地形及多波束图像声呐数据仿真系统和方法
CN113283278B (zh) 一种抗干扰的激光水下目标识别仪
CN109377447A (zh) 一种基于杜鹃搜索算法的Contourlet变换图像融合方法
Raju et al. Object Recognition in Remote Sensing Images Based on Modified Backpropagation Neural Network.
CN114063063A (zh) 基于合成孔径雷达和点状传感器的地质灾害监测方法
Dave Deep Learning in Geotechnical Engineering: A Comprehensive Review of Methods and Outcomes
Ahmadi et al. Supervised multi-regional segmentation machine learning architecture for digital twin applications in coastal regions
Losev et al. Development of an Image Generation System based on a Depth Map
CN117333609B (zh) 图像渲染方法、网络的训练方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant