CN116678862A - 一种植株叶绿素荧光三维成像装置及方法 - Google Patents

一种植株叶绿素荧光三维成像装置及方法 Download PDF

Info

Publication number
CN116678862A
CN116678862A CN202310681543.3A CN202310681543A CN116678862A CN 116678862 A CN116678862 A CN 116678862A CN 202310681543 A CN202310681543 A CN 202310681543A CN 116678862 A CN116678862 A CN 116678862A
Authority
CN
China
Prior art keywords
plant
image
shadow
chlorophyll fluorescence
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310681543.3A
Other languages
English (en)
Inventor
饶元
束宏伟
徐峰
王玉伟
徐洪志
王坦
金�秀
李绍稳
江朝晖
张武
闫胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202310681543.3A priority Critical patent/CN116678862A/zh
Publication of CN116678862A publication Critical patent/CN116678862A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/14Measures for saving energy, e.g. in green houses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种植株叶绿素荧光三维成像装置及方法,属于植株叶绿素荧光三维领域。针对现有技术中存在的植株叶绿素荧光三维成像方法实现复杂、需要多角度拍摄、合成图像需要大量数据等问题,本发明提供了一种植株叶绿素荧光三维成像装置及方法,在不同位置光源下获取植株单视角图像通过植株神经辐射场对植株进行三维重建,生成植株精细三维模型,同时结合渲染对植株精细三维模型进行优化,得到植株三维图像以及植株叶绿素荧光三维图像,由此能够提高单视角下植株叶绿素荧光三维成像的精度和速度,减少数据处理时间,为植株生长、疾病和逆境应答等研究提供更加准确、全面的信息。

Description

一种植株叶绿素荧光三维成像装置及方法
技术领域
本发明涉及植株叶绿素荧光三维领域,更具体地说,涉及一种植株叶绿素荧光三维成像装置及方法。
背景技术
在自然或农业生产条件下,叶绿素含量是衡量植株生长的标准之一,植株叶绿素荧光三维成像能够直观展示植株生长性状,并可完成描述植株生长状态的监测。另外,使用植株叶绿素荧光的三维几何形状能够做出相应的决策为植株的培育提供指导。因此,快速准确的植株叶绿素荧光三维成像对于植株表型分析、参数测量和虚拟可视化至关重要。
目前,已有不同的三维成像表示方法,如体素、点云、网格等,随着神经辐射场在多视图重建和新视图合成方面取得进展,使得三维成像的准确率和实时性均有很大程度的提高,为三维重建提供了更多可行的方法。虽然神经辐射场在多视角三维成像方面已经取得了一定的成果,但在单视角场景下的建模探索仍相对较少,这意味着神经辐射场在单视角三维成像方面仍有巨大的发展空间。相比于多视角三维成像技术,近期出现的单一视角下来自光照和阴影信息的神经辐射场可以实现单视角三维成像,具有明显的优点。首先,神经辐射场单视角三维成像不需要多个视角的数据,仅需要一组单视角的数据即可进行三维重建,因此数据需求量较小,可以在更短的时间内完成三维成像。其次,由于不需要考虑多个视角之间的对应关系,实现起来较为简单,减少了复杂度。此外,神经辐射场单视角三维成像具有更高的实时性,对于需要快速获得植株三维信息的应用场景更为适合。
由此,神经辐射场单视角三维成像是一种更加高效、简单和实时的三维成像技术,具有广阔的应用前景。在植物领域,神经辐射场单视角三维成像技术可以实现快速准确的植株三维叶绿素荧光成像,从而为作物植株三维成像及形态信息提取、量化分析和虚拟现实等研究提供有力支持。
发明内容
1.要解决的技术问题
针对现有技术中存在的植株叶绿素荧光三维成像方法实现复杂、需要多角度拍摄、合成图像需要大量数据等问题,本发明提供了一种植株叶绿素荧光三维成像装置及方法,在不同位置光源下获取植株单视角图像通过植株神经辐射场对植株进行三维重建,生成植株精细三维模型,同时结合渲染对植株精细三维模型进行优化,得到植株三维图像以及植株叶绿素荧光三维图像。
2.技术方案
本发明的目的通过以下技术方案实现。
一种植株叶绿素荧光三维成像装置,包括暗箱以及设置在暗箱一端的密封盖,在暗箱的另一端设置有托盘,密封盖与托盘将暗箱封闭;在暗箱内靠近密封盖的一端设置有光源装置,所述光源装置包括白色光源和蓝紫色光源,若干个白色光源和若干个蓝紫色光源交叉设置在暗箱的四周。
进一步地,在密封盖的边缘处连接有多光谱相机,所述多光谱相机位于暗箱内,所述多光谱相机与竖直平面的夹角为90°~180°。
进一步地,在暗箱靠近密封盖的一端还设置有安装轨道,在安装轨道内安装有遮光罩。
进一步地,还包括控制终端和服务器,控制终端的一端与暗箱电控连接,控制终端的另一端与服务器电控连接。
一种植株叶绿素荧光三维成像方法,包括以下步骤:
构建一种植株叶绿素荧光三维成像装置;
采集不同位置光源照射下的植株图像、植株阴影图像以及植株叶绿素荧光图像,将植株图像以及植株阴影图像叠加获得植株彩色图像;
提取植株图像以及植株阴影图像中的阴影区域信息,并将植株图像以及植株阴影图像的阴影区域信息输入到神经辐射场中进行训练,得到植株神经辐射场;
通过植株神经辐射场对植株进行三维重建,生成植株精细三维模型;
将植株彩色图像和植株叶绿素荧光图像渲染到植株精细三维模型中,得到植株三维图像以及植株叶绿素荧光三维图像。
进一步地,开启白色光源,多光谱相机同时开启红光波段、绿光波段以及蓝光波段拍摄植株阴影图像;将同一时刻红光波段、绿光波段以及蓝光波段拍摄的植株图像以及植株阴影图像叠加获得植株的彩色图像;开启蓝紫色光源,多光谱相机开启近红外波段,拍摄植株叶绿素荧光图像。
进一步地,使用纹理一致性损失函数对提取植株阴影图像的阴影区域信息进行约束,所述纹理一致性损失函数表示为:
其中,Ltex(G)表示纹理一致性损失函数,纹理一致性损失函数用于衡量生成植株阴影表面与真实植株阴影表面的纹理相似度,I表示真实植株阴影图像,表示生成植株阴影图像,m、n表示植株阴影图像的像素坐标。
进一步地,所述生成植株精细三维模型的具体步骤包括:
计算植株图像的像素点可见度,确定该像素点是否在植株阴影图像的阴影区域中;
利用计算出的植株图像的像素点可见度,得到植株图像中每个像素点的颜色和光线;
通过植株神经辐射场对植株图像的每个像素点的颜色和光线进行计算,得到植株图像的每个像素点在三维空间中的位置和表面法线方向;
将植株图像每个像素点的位置和表面法线方向作为输入,构建植株三维模型,生成植株精细三维模型。
进一步地,通过模糊度损失函数优化植株精细三维模型,所述模糊度损失函数表示为:
其中,Lblur(G)表示模糊度损失函数,模糊度损失函数用于衡量生成植株阴影表面与真实植株阴影表面的模糊度,h表示二维高斯核函数。
进一步地,通过对抗性损失函数优化植株叶绿素荧光三维图像,所述对抗性损失函数表示为:
其中,Ladv(G,D)表示对抗性损失函数,对抗性损失函数用于衡量生成植株阴影图像与真实植株阴影图像的视觉相似度,G表示生成器,D表示判别器,E表示期望损失项,xs表示植株阴影图像,Pdata表示植株阴影真实数据分布,pz表示噪声分布。
3.有益效果
相比于现有技术,本发明的优点在于:
本发明的一种植株叶绿素荧光三维成像装置及方法,在单视角下通过植株阴影和阴影区域信息的植株神经辐射场生成植株精细三维模型,利用植株精细三维模型更好地获取植株叶绿素荧光三维成像,不仅有利于从空间三维角度对植株生理特征进行监测,而且能够提高单视角植株叶绿素荧光三维成像的精度和速度,减少数据处理时间,为植株生长、疾病和逆境应答等研究提供更加准确、全面的信息,具有较强实用性和适用广泛性。同时,通过多光谱相机多通道图像叠加获取植株彩色图像,能够更准确的还原植株色彩,简化了传统植株色彩成像需要进行图像校准、颜色平衡和亮度调整等繁琐操作。此外,通过纹理一致性损失函数对映射在背景中的阴影对植株的背面轮廓产生约束,使得生成的植株模型更加真实,从而提高植株精细三维模型的质量。
附图说明
图1为本发明实施例植株叶绿素荧光三维成像装置结构示意图;
图2为本发明实施例提取植株阴影示意图;
图3为本发明实施例植株叶绿素荧光三维分布信息获取方法流程图;
图4为本发明实施例植株叶绿素荧光三维成像方法框架示意图。
图中标号说明:1、暗箱;2、密封盖;3、托盘;4、光源装置;41、白色光源;42、蓝紫色光源;5、遮光罩;6、多光谱相机;7、控制终端;8、服务器。
具体实施方式
下面结合说明书附图和具体的实施例,对本发明作详细描述。
实施例1
如图1所示,为本实施例提供的一种植株叶绿素荧光三维成像装置。所述成像装置包括暗箱1以及设置在暗箱1一端的密封盖2,在暗箱1的另一端设置有托盘3,密封盖2与托盘3将暗箱1封闭;在暗箱1内靠近密封盖2的一端设置有光源装置4,所述光源装置4包括白色光源41和蓝紫色光源42,若干个白色光源41和若干个蓝紫色光源42交叉设置在暗箱1的四周。在密封盖2的边缘处连接有多光谱相机6,多光谱相机6位于暗箱1内,多光谱相机6的调节角度在90°~180°;在暗箱1靠近密封盖2的一端还设置有安装轨道,在安装轨道内安装有遮光罩5;所述成像装置还包括控制终端7和服务器8,控制终端7的一端与暗箱1电控连接,控制终端7的另一端与服务器8电控连接。
具体到本实施例中,暗箱1的形状包括多边体形、圆柱形等。本实施例中,更优地,暗箱1的形状为圆柱形,进而圆柱形的暗箱1能够保持暗箱1中的光源装置4发出的所有光源到植株的中心点的距离一致,从而在获取植株阴影图像时,植株的阴影变化不会产生较大地偏差,有效降低对植株叶绿素荧光三维成像的影响。暗箱1的高度范围在30cm~70cm之间,从而可以采集更多不同高度的植株。本实施例中,更优地,将暗箱1的高度设置为70cm。本实施例中,暗箱1的颜色为黑色。需要说明的是,当暗箱1的颜色为黑色时,能够有效减少光线的反射,因为黑色可以吸收进入暗箱1的光线,从而减少光线的反射,避免光线在暗箱1内部的反弹和漫射,从而减少背景干扰。同时,当暗箱1的颜色为黑色时,也能够为植株提供暗适应环境。值得说明的是,本实施例中,暗箱1的材质为磨砂材质。当暗箱1的材质为磨砂材质时,能够有效降低外部光线的影响,因为磨砂材质可以散射进入暗箱1的外部光线,降低外部光线对植株叶绿素荧光三维成像的影响,从而有助于保持测量环境的稳定性,并减少非叶绿素荧光信号的干扰。此外,当暗箱1的材质为磨砂时,能够为植株叶绿素荧光三维成像提供均匀的背景,可以使光源装置4发出的光线均匀分布在暗箱1内部,避免局部光线强度的差异,从而有助于获得准确的叶绿素荧光测量结果,提高测量的可重复性。另一方面,当暗箱1的材质为磨砂时,能够有效增强信噪比,减少光线的散射和杂散反射,提高信号与噪声的比率,从而有助于提高叶绿素荧光信号的检测灵敏度和测量精度。
本实施例中,密封盖2和托盘3的颜色也为黑色,密封盖2和托盘3的材质均为磨砂材质,其效果同暗箱1。需要说明的是,本实施例中,所述托盘3包括上下两层托盘,其中,上层托盘用于承载植株,并且可以升降。由于在测量过程中多光谱相机6设置的高度固定,因此,若采集的植株矮小,则多光谱相机6的拍摄效果差,而通过上层托盘的升降操作可以调整植株与光源装置4、多光谱相机6之间的位置关系,有效改善多光谱相机6的拍摄效果。
对于光源装置4,光源装置4用于向植株发射光源。具体地,光源装置4包括白色光源41以及蓝紫色光源42,若干个白色光源41和若干个蓝紫色光源42交叉设置在暗箱1的四周。所述光源装置4产生400nm~700nm的光化光、饱和光的白色LED光源以及440nm~450nm的测量光的蓝紫色LED光源。需要说明的是,本实施例中,光化光、饱和光选用白色光源41能够避免由于光谱不匹配而导致的测量误差,并且全光谱白光更容易获得,相比其他波段的光源更加稳定;由于叶绿素荧光的激发需要蓝紫光或红橙光的照射来激发,而蓝紫光激发荧光的有效性比红橙光更好,蓝紫光在叶绿素吸收光谱的波长范围内具有较高的吸收效率,可以有效地激发叶绿素的荧光发射,同时,红橙光的能量较低,其吸收效率相对较低,不利于有效激发叶绿素的荧光,因此,测量光选用蓝紫色光源42。此外,采用蓝紫光激发叶绿素荧光可以降低背景干扰的影响,因为植株组织中存在许多非叶绿素的荧光成分,这些成分在红橙光下产生的荧光信号较强,可能会掩盖叶绿素荧光的测量结果,而选择蓝紫色光源42可以减少非叶绿素荧光的干扰,提高叶绿素荧光信号的检测灵敏度。另外,蓝紫色光源42在激发叶绿素荧光时产生的信号与噪声比率较高,由此,通过选择蓝紫色光源42可以获得更清晰、更强的叶绿素荧光信号,提高测量的精度和可靠性。本实施例中,光化光的光强可调范围为0~500μmol·m-2·s-1,饱和光的光强可调范围为0~4000μmol·m-2·s-1
本实施例中,在暗箱1靠近密封盖2的一端还设置有安装轨道,在安装轨道内安装有遮光罩5。本实施例中,通过控制终端7控制遮光罩5进行升降。需要说明的是,若采集荧光过程中需要创造暗环境,避免外界环境光的影响,同时去除背景信息时,此时可以降下遮光罩5;若采集植株阴影图像时,需要保留环境背景来获取植株阴影图像的阴影信息,此时可以升起遮光罩5。
此外,在密封盖2的边缘处连接有多光谱相机6,多光谱相机6包括支架,进而多光谱相机6通过支架连接在密封盖2的边缘位置处,同时,多光谱相机6位于暗箱1内,需要说明的是,将多光谱相机6安装在密封盖2边缘能够避免拍摄植株时由于植株的叶片遮挡而导致拍摄效果不佳。此外,多光谱相机6的支架可以调节多光谱相机6与竖直平面的角度,多光谱相机6与竖直平面的夹角为90°~180°。本实施例中,更优地,多光谱相机6与竖直平面的夹角为135°。当多光谱相机6与竖直平面的夹角为135°时,拍摄植株的角度全面,进而数据采集更多。由此,本实施例中,通过多光谱相机6的多通道图像叠加获取植株彩色图像,能够更准确的还原植株色彩,简化了传统植株色彩成像需要进行图像校准、颜色平衡和亮度调整等繁琐的操作。
本实施例中,控制终端7可以控制暗箱1内的遮光罩5进行升降、控制光源装置4开启或关闭以及控制多光谱相机6采集数据和处理数据,并对植株叶绿素荧光三维成像的情况进行展示。服务器8通过分析处理来自多光谱相机6采集的在不同位置光源下植株图像、植株阴影图像以及植株叶绿素荧光图像,对植株三维成像重构并用荧光图像进行渲染。
由此,本实施例提供的一种植株叶绿素荧光三维成像装置,在暗箱1内设置白色光源41、蓝紫色光源42,通过多光谱相机6对植株进行拍摄,从而实现快速获取植株图像、植株阴影图像以及植株叶绿素荧光成像,有效提高单视角下植株叶绿素荧光三维成像的精度和速度。
实施例2
在本实施例中,采用实施例1中所述的一种植株叶绿素荧光三维成像装置,对植株进行叶绿素荧光三维成像。如图3和图4所示,具体包括以下步骤:
构建基于上述所述的一种植株叶绿素荧光三维成像装置。进一步地,将植株放置于托盘3中,调节多光谱相机6与竖直平面的夹角为135°。
进一步地,采集不同位置光源照射下的植株图像、植株阴影图像以及植株叶绿素荧光图像,将植株图像与植株阴影图像叠加获得植株彩色图像。具体地,如图2所示,控制终端7控制多光谱相机6同时开启红光波段(R)、绿光波段(G)以及蓝光波段(B),以顺时针方向逐个开启白色光源41点亮植株,多光谱相机6同时开启红光波段、绿光波段以及蓝光波段拍摄不同位置白色光源41下的植株图像以及植株阴影图像,此时,红光波段的波长为600nm~700nm,绿光波段的波长为500nm~600nm,蓝光波段的波长为400nm~500nm。进一步地,将同一时刻红光波段、绿光波段以及蓝光波段拍摄的植株图像以及植株阴影图像叠加获得植株彩色图像,同时保留植株的背景信息。具体地,将植株图像以及植株阴影图像对应的多光谱图像叠加获得植株彩色图像,需要说明的是,所述多光谱图像是指多光谱相机6在白色光源41下同一时刻采集植株以及植株阴影的红光波段、绿光波段、蓝光波段拍摄下的植株图像以及植株阴影图像,将红光波段、绿光波段以及蓝光波段拍摄下的植株图像以及植株阴影图像叠加生成对应的植株彩色图像。进一步地,开启蓝紫色光源42,多光谱相机6开启近红外波段(N),拍摄植株叶绿素荧光图像。具体地,控制终端7控制暗箱1内的遮光罩5下降,对植株进行暗适应30分钟,需要说明的是,在采集植株叶绿素荧光图像之前进行暗适应的目的是让植株叶片中的光敏色素如叶绿素适应低光条件,以保证后续测量的准确性和稳定性。通过暗适应后,植株叶片中的光敏色素可以达到平衡状态,避免由于之前的光照条件而导致的荧光信号偏移或变化。根据植株叶绿素荧光敏感的波段,先后利用白色光源41和蓝紫色光源42同时照射植株,并利用多光谱相机6获取同一场景下的植株的当前波段光谱图像,此时,白色光源41和蓝紫色光源42的波段为分别为400nm~700nm和440nm~450nm。通过控制终端7控制所有白色光源41同时照射植株,利用较低强度的光照照射20秒使植株的叶绿素适应光照环境,进而植株准备好进行荧光检测,在该状态下,多光谱相机6拍摄波段被设置为同时开启红光波段、绿光波段以及蓝光波段,之后在当前强度的光照下投射高强度的光照2秒,令植株的叶绿素达到最大荧光,最后关闭白色光源41,同时打开440nm~450nm波段所有蓝紫色光源42照射植株,利用多光谱相机6记录下此时植株的当前波段光谱图像,即植株叶绿色荧光图像,在该状态下,多光谱相机6拍摄波段被设置为只保留近红外波段波段,此时,去除植株背景信息。由此,通过上述的光照波段范围,在光照波段400nm~700nm状态下,利用多光谱相机6拍摄植株,得到植株彩色图像,在光照波段440nm~450nm状态下,利用多光谱相机6拍摄植株,得到植株叶绿素荧光图像。
进一步地,提取植株图像以及植株阴影图像中的阴影区域信息,并将植株图像以及植株阴影图像中的阴影区域信息输入到神经辐射场(Neural Radiance Field,NeRF)中进行训练,得到植株神经辐射场。需要说明的是,本实施例所述的神经辐射场为来自光照和阴影信息的神经辐射场(Neural Reflectance Field from Shading and Shadow under aSingle Viewpoint,S3-NeRF)。此外,本实施例中,对于植株图像以及植株阴影图像,使用光线追踪方法判断各像素点是否在阴影中,并提取植株阴影图像的阴影区域。其中,光线追踪方法为现有技术。本实施例中,使用光线追踪方法计算并判断各像素点是否在阴影中,并将植株阴影图像中的阴影区域提取出来;所述光线追踪方法计算公式包括:光线参数化方程:r=oc+tdc,其中,oc表示多光谱相机6位置,dc表示从多光谱相机6位置出发的光线方向,r表示光线上的点,t表示参数。颜色计算方程:C=Ci*L*(N·L),其中,C表示经光照计算后的物体颜色,Ci表示物体颜色,L表示光照强度,N表示交点处的法向量。进一步地,通过植株图像以及提取的植株阴影图像的阴影信息来训练神经辐射场,从而通过神经辐射场预测各像素点的辐射传输。
进一步地,通过植株神经辐射场对植株进行三维重建,生成植株精细三维模型。生成植株精细三维模型的具体步骤包括:计算植株的图像的像素点可见度,确定该像素点是否在植株的阴影图像中的阴影区域中;利用计算出的植株的图像的像素点可见度,得到植株的图像中每个像素点的颜色和光线;通过植株神经辐射场对植株的图像的每个像素点的颜色和光线进行计算,得到植株的图像的每个像素点在三维空间中的位置和表面法线方向;将植株图像每个像素点的位置和表面法线方向作为输入,构建植株三维模型,生成植株精细三维模型。
值得说明的是,本实施例中,在单视角下使用纹理一致性损失函数对提取的植株的阴影进行约束,进而获得更加真实的植株叶绿素荧光三维成像。对植株的阴影的纹理一致性损失函数为:
其中,Ltex(G)表示纹理一致性损失函数,纹理一致性损失函数用于衡量生成植株阴影表面与真实植株阴影表面的纹理相似度,I表示真实植株阴影图像,表示生成植株阴影图像,m、n表示植株阴影图像的像素坐标。由于植株的阴影通常由遮挡区域和被照亮的区域组成,因此通过纹理一致性损失函数来促进遮挡区域与被照亮区域之间的连续性和一致性;同时,纹理一致性损失函数还可以帮助防止植株的阴影中出现过多的噪声和伪影。
需要说明的是,通过不同光线下产生的阴影,可以观察到其阴影的形状各不相同,由此光线通过映射在背景中的阴影对植株的背面轮廓产生了一定的约束。本实施例中,通过计算3D点和光源之间的占用率值来反映3D点的光可见度,光可见度的计算公式为:
其中,fv(Pl;x)表示光可见度,Pl表示所照射的白色光源41的光源位置,x表示计算光可见度的特定3D点的位置,其中,fv(Pl;x)∈[0[1[,NL表示3D点在光源线段上采样的点的数量,i、j表示自然数,xi、xj表示沿光线r=oc+tdc采样的3D点。
需要说明的是,由于计算像素点沿光线采样的所有样本点的可见度计算成本较大,现有技术中一般采用多层感知机(MLP)直接回归点的可见度或得到场景几何后预先提取表面点。本实施例中,通过神经辐射场找寻根源定位的表面点以在线方式计算该像素的光可见度,同时计算像素点的颜色,像素点的颜色的计算公式为:
其中,C(r)表示像素点的颜色,fv(Pl;xr)表示光线照射到表面点上的光可见程度,xr表示在光线追踪中定位到的表面点的位置,Le表示所照射白色光源41的强度,Nv表示每条射线的样本数,fc(xi,d,pl,Le)表示基于物理的渲染颜色在沿光线r=oc+tdc采样的3D点xi上的乘积,需要说明的是,本实施例中,r表示光线上的点,在此处用来确定像素点的位置,即从多光谱相机6位置发出的光线经过光线追踪法后在交点处的颜色,dc表示从多光谱相机6位置出发的光线方向,在此处用来确定像素指定的射线方向。由此,通过上述方法可以避免多视角带来的额外约束,降低植株叶绿素三维成像的难度。
本实施例中,除了利用光照方向信息,还可以引入作用于植株阴影的基于模糊度损失函数来进一步优化植株精细三维模型,本实施例中,模糊度损失函数表示为:
其中,Lblur(G)表示模糊度损失函数,模糊度损失函数用于衡量生成植株阴影表面与真实植株阴影表面的模糊度,h表示二维高斯核函数。在作用于植株阴影的基于模糊度损失函数中,二维高斯核函数h的公式为:
其中,σ表示控制模糊度的超参数,p、q表示像素点之间的距离。通过二维高斯核函数计算每个像素点的模糊因素,即像素点周围的邻域内的颜色差异。在模糊度损失函数中,可以将植株阴影的模糊度作为一个指标,衡量成像结果中阴影的清晰度。通过最小化阴影的模糊度,可以进一步提高阴影建模成像的清晰度和精度,从而得到更加准确的植株叶绿素荧光三维成像结果。
由此,进一步地,在单视角下利用阴影进行植株建模的过程中加入对抗性损失函数来进一步优化植株叶绿素荧光三维成像效果。具体地,本实施例中,利用不同光照条件下的植株阴影信息,提高植株三维成像的精度和鲁棒性。除了利用植株阴影信息,还可以通过对抗性损失函数来进一步优化植株叶绿素荧光三维成像效果。通过对抗性损失函数可以训练一个生成器网络和一个判别器网络来进行对抗学习,本实施例中,对抗性损失函数表示为:
其中,Ladv(G,D)表示对抗性损失函数,对抗性损失函数用于衡量生成植株阴影图像与真实植株阴影图像的视觉相似度,G表示生成器,D表示判别器,E表示期望损失项,xs表示植株阴影图像,Pdata表示植株阴影真实数据分布,pz表示噪声分布。本实施例中,生成器的作用是生成具有迷惑性的合成阴影图像,使其难以被判别器所区分。相应地,判别器的作用是尽可能准确地识别生成的合成阴影图像和真实阴影图像之间的区别。通过对抗学习可以使生成器网络生成更加真实和逼真的成像结果,从而得到更加精确和可靠的植株叶绿素荧光三维成像结果。
进一步地,本实施例中,考虑到单视角下没有其他视角带来的额外约束,若采用类似统一神经隐式表面和辐射场(unifying neural implicit surfaces and radiancefields,UNISURF)逐步收缩采样策略,会导致模型在采样间隔减小后出现过拟合或欠拟合的情况,从而使模型性能退化。因此,采用联合立体渲染和表面渲染的策略,利用找寻根源定位得到的表面点渲染颜色并计算其损失函数,本实施例中,基于表面点渲染像素点的颜色的损失函数表示为:
Cs(r)=fv(Pl;xr)fc(dc,Pl,Le;xr)
其中,Cs(r)表示基于表面点渲染像素点的颜色,fc(dc,Pl,Le;xr)表示基于表面点渲染像素点的颜色在沿光线r=oc+tdc采样的3D点xr上的乘积。
本实施例中,采用类似UNISURF的占用场来表征场景几何,UNISURF通过多层感知器将3D点坐标及视线方向映射到该点的占用率值和颜色,并通过立体渲染得到像素点的颜色,其中,基于立体渲染像素点的颜色的损失函数为:
其中,Cl(r)表示基于立体渲染像素点的颜色,c(xi,dc)表示3D点的颜色。
为了有效利用光度立体图像中的阴影信息,本实施例中,神经辐射场显式地对场景的双向反射分布函数(Bidirectional Reflectance Distribution Function,BRDF)对植株进行三维重建,并使用基于物理的渲染得到3D点的颜色,同时对场景3D点的光可见性进行重建以利用图像中丰富的阴影线索,并通过下式得到最终像素点的颜色即基于物理渲染像素点的颜色,其中,基于物理渲染像素点的颜色的损失函数为:
其中,Cw(r)表示基于物理渲染像素点的颜色,fv(Pl;xi)表示光线照射到沿光线r=oc+tdc采样的3D点xi上的光可见程度,fc(dc,Pl,Le;xi)表示基于物理的渲染颜色在沿光线r=oc+tdc采样的3D点xi上的乘积。
本实施例中,考虑非朗伯表面和空间变化的BRDF,3D点在观测点x处在近场点光源(Pl,Le)下,从视线方向观测,所述视线方向是指从观测点x沿着视线方向朝向多光谱相机6的向量,所得到的值表示为:
fc(dl,Pl,Le;x)=Lint(Pl,Le;x)fm(dl,ωi(Pl;x);x)max(ωi(Pl;x)·n(x),0)
其中,dl表示观测点x处的视线方向,n表示在沿光线r=oc+tdc采样的3D点xi处的法线向量,wi表示光入射方向的单位向量,需要说明的是,此处wi表示在近场点光源Pl位置下,从视线方向观测沿光线r=oc+tdc采样的3D点x的光入射方向向量,即用于计算光照强度,fc(dl,Pl,Le;x)表示基于物理渲染像素点的颜色的BRDF乘积,Lint(Pl,Le;x)表示入射光,wi(Pl;x)表示入射光方向,fm(d,wi(Pl;x);x)表示在3D点在观测点x处的BRDF值。
其中,考虑到点光源的光线衰减问题,通过光源与3D点之间的距离计算入射该3D点处的光照强度,由此,采用漫反射和镜面反射反映BRDF模型,BRDF模型表示为:
fmi,ωo;x)=ρdsi,ωo;x)
其中,fm(wi,wo;x)表示BRDF模型,wi表示光入射方向的单位向量,需要说明的是,此处wi用于计算沿光线r=oc+tdc采样的3D点x处的漫反射和镜面反射成分,即计算该点处的BRDF值,wo表示光出射方向的单位向量,pd表示漫反射颜色,ps表示镜面反射率,pd和ps组合表示BRDF模型。进一步地,通过球形高斯基(Sphere Gaussian)的加权组合来表示镜面反射率,本实施例中,球形高斯基的加权组合表示为:
其中,D(l,n)、G(l,n;λ)表示球形高斯基的加权组合,D(l,n)、G(l,n;λ)均用于描述光照方向和表面法线对球形高斯基函数的影响,l表示光照方向,n表示表面法线,λ表示控制高光锐度的参数。
进一步地,将植株彩色图像和植株叶绿素荧光图像渲染到植株精细三维模型中,得到植株三维图像以及植株叶绿素荧光三维图像。具体地,通过植株彩色图像及植株叶绿素荧光图像对植株精细三维图像逐像素处理,得到植株三维图像以及植株叶绿素荧光三维图像。
由此,本实施例提供的一种植株叶绿素荧光三维成像方法,在单视角下利用植株阴影和阴影信息的植株神经辐射场生成植株精细三维模型,利用生成植株精细三维模型更好地获取植株叶绿素荧光三维成像,不仅有利于从空间三维角度对植株生理特征进行监测,而且能够提高单视角植株叶绿素荧光三维成像的精度和速度,减少数据处理时间的优点,降低植株叶绿素荧光三维成像的难度,可以为植株生长、疾病和逆境应答等研究提供更加准确、全面的信息,具有较强实用性和适用广泛性。
以上示意性地对本发明创造及其实施方式进行了描述,该描述没有限制性,在不背离本发明的精神或者基本特征的情况下,能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一,实际的结构并不局限于此,权利要求中的任何附图标记不应限制所涉及的权利要求。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本专利的保护范围。此外,“包括”一词不排除其他元件或步骤,在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (10)

1.一种植株叶绿素荧光三维成像装置,其特征在于,包括暗箱(1)以及设置在暗箱(1)一端的密封盖(2),在暗箱(1)的另一端设置有托盘(3),密封盖(2)与托盘(3)将暗箱(1)封闭;在暗箱(1)内靠近密封盖(2)的一端设置有光源装置(4),所述光源装置(4)包括白色光源(41)和蓝紫色光源(42),若干个白色光源(41)和若干个蓝紫色光源(42)交叉设置在暗箱(1)的四周。
2.根据权利要求1所述的一种植株叶绿素荧光三维成像装置,其特征在于,在密封盖(2)的边缘处连接有多光谱相机(6),所述多光谱相机(6)位于暗箱(1)内,所述多光谱相机(6)与竖直平面的夹角为90°~180°。
3.根据权利要求2所述的一种植株叶绿素荧光三维成像装置,其特征在于,在暗箱(1)靠近密封盖(2)的一端还设置有安装轨道,在安装轨道内安装有遮光罩(5)。
4.根据权利要求1所述的一种植株叶绿素荧光三维成像装置,其特征在于,还包括控制终端(7)和服务器(8),控制终端(7)的一端与暗箱(1)电控连接,控制终端(7)的另一端与服务器(8)电控连接。
5.一种植株叶绿素荧光三维成像方法,包括以下步骤:
构建基于权利要求1-4任一所述的一种植株叶绿素荧光三维成像装置;
采集不同位置光源照射下的植株图像、植株阴影图像以及植株叶绿素荧光图像,将植株图像以及植株阴影图像叠加获得植株彩色图像;
提取植株图像以及植株阴影图像中的阴影区域信息,并将植株图像以及植株阴影图像的阴影区域信息输入到神经辐射场中进行训练,得到植株神经辐射场;
通过植株神经辐射场对植株进行三维重建,生成植株精细三维模型;
将植株彩色图像和植株叶绿素荧光图像渲染到植株精细三维模型中,得到植株三维图像以及植株叶绿素荧光三维图像。
6.根据权利要求5所述的一种植株叶绿素荧光三维成像方法,其特征在于,开启白色光源(41),多光谱相机(6)同时开启红光波段、绿光波段以及蓝光波段拍摄植株阴影图像;将同一时刻红光波段、绿光波段以及蓝光波段拍摄的植株图像以及植株阴影图像叠加获得植株的彩色图像;开启蓝紫色光源(42),多光谱相机(6)开启近红外波段,拍摄植株叶绿素荧光图像。
7.根据权利要求5所述的一种植株叶绿素荧光三维成像方法,其特征在于,使用纹理一致性损失函数对提取植株阴影图像的阴影区域信息进行约束,所述纹理一致性损失函数表示为:
其中,Ltex(G)表示纹理一致性损失函数,纹理一致性损失函数用于衡量生成植株阴影表面与真实植株阴影表面的纹理相似度,I表示真实植株阴影图像,表示生成植株阴影图像,m、n表示植株阴影图像的像素坐标。
8.根据权利要求5所述的一种植株叶绿素荧光三维成像方法,其特征在于,所述生成植株精细三维模型的具体步骤包括:
计算植株图像的像素点可见度,确定该像素点是否在植株阴影图像的阴影区域中;
利用计算出的植株图像的像素点可见度,得到植株图像中每个像素点的颜色和光线;
通过植株神经辐射场对植株图像的每个像素点的颜色和光线进行计算,得到植株图像的每个像素点在三维空间中的位置和表面法线方向;
将植株图像每个像素点的位置和表面法线方向作为输入,构建植株三维模型,生成植株精细三维模型。
9.根据权利要求8所述的一种植株叶绿素荧光三维成像方法,其特征在于,通过模糊度损失函数优化植株精细三维模型,所述模糊度损失函数表示为:
其中,Lblur(G)表示模糊度损失函数,模糊度损失函数用于衡量生成植株阴影表面与真实植株阴影表面的模糊度,h表示二维高斯核函数。
10.根据权利要求5所述的一种植株叶绿素荧光三维成像方法,其特征在于,通过对抗性损失函数优化植株叶绿素荧光三维图像,所述对抗性损失函数表示为:
其中,Ladv(G,D)表示对抗性损失函数,对抗性损失函数用于衡量生成植株阴影图像与真实植株阴影图像的视觉相似度,G表示生成器,D表示判别器,E表示期望损失项,xs表示植株阴影图像,Pdata表示植株阴影真实数据分布,pz表示噪声分布。
CN202310681543.3A 2023-06-08 2023-06-08 一种植株叶绿素荧光三维成像装置及方法 Pending CN116678862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310681543.3A CN116678862A (zh) 2023-06-08 2023-06-08 一种植株叶绿素荧光三维成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310681543.3A CN116678862A (zh) 2023-06-08 2023-06-08 一种植株叶绿素荧光三维成像装置及方法

Publications (1)

Publication Number Publication Date
CN116678862A true CN116678862A (zh) 2023-09-01

Family

ID=87788710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310681543.3A Pending CN116678862A (zh) 2023-06-08 2023-06-08 一种植株叶绿素荧光三维成像装置及方法

Country Status (1)

Country Link
CN (1) CN116678862A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912432A (zh) * 2023-09-14 2023-10-20 安徽农业大学 一种高通量植物表型成像方法及成像系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912432A (zh) * 2023-09-14 2023-10-20 安徽农业大学 一种高通量植物表型成像方法及成像系统

Similar Documents

Publication Publication Date Title
US10332306B2 (en) Method and apparatus for digitizing the appearance of a real material
CN109076148B (zh) 日常场景重建引擎
Pollock The automatic recognition of individual trees in aerial images of forests based on a synthetic tree crown image model
US8836762B2 (en) Optronic system and method dedicated to identification for formulating three-dimensional images
CN105675549B (zh) 一种便携式农作物参数测量与长势智能分析装置及方法
JP5025803B2 (ja) ポイントクラウドデータの可視化方法
JP6407607B2 (ja) アピアランスデータをデジタル的に生成する方法および装置
CN108629835A (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
Rautiainen et al. Crown envelope shape measurements and models
CN104603575A (zh) 具有附加的感应装置的激光扫描仪
Xue et al. Shortwave radiation calculation for forest plots using airborne LiDAR data and computer graphics
Van Leeuwen et al. Automated reconstruction of tree and canopy structure for modeling the internal canopy radiation regime
KR20110119783A (ko) 장면 콘텐츠에 기반한 점 군 데이터의 시각화 방법
CN116678862A (zh) 一种植株叶绿素荧光三维成像装置及方法
CN113674402B (zh) 植物三维高光谱点云模型生成方法、校正方法及其装置
RU2726257C1 (ru) Установка для автоматического измерения параметров растений
CN114663786B (zh) 基于点云数据和计算机图形学的林分辐射通量计算方法
Yang et al. An RGB channel operation for removal of the difference of atmospheric scattering and its application on total sky cloud detection
CN110851965A (zh) 一种基于物理模型的光源优化方法及优化系统
CN112557325B (zh) 一种果树果品品质近地面遥感监测装置和方法
CN117611742A (zh) 基于Omniverse平台的三维遥感辐射传输模拟方法
Jurado et al. Accurate Plant Modeling based on the Real Light Incidence.
Sun et al. Spectral 3D Computer Vision--A Review
CN116818680A (zh) 文物病害自动检测方法
Lei et al. Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination