CN113340793A - 微粒子偏光显微成像的三维重建方法和系统 - Google Patents

微粒子偏光显微成像的三维重建方法和系统 Download PDF

Info

Publication number
CN113340793A
CN113340793A CN202110619709.XA CN202110619709A CN113340793A CN 113340793 A CN113340793 A CN 113340793A CN 202110619709 A CN202110619709 A CN 202110619709A CN 113340793 A CN113340793 A CN 113340793A
Authority
CN
China
Prior art keywords
microparticle
light intensity
pixel point
surface function
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110619709.XA
Other languages
English (en)
Other versions
CN113340793B (zh
Inventor
高昆
吴穹
毛聿轩
华梓铮
张震洲
杨至甲
董磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110619709.XA priority Critical patent/CN113340793B/zh
Publication of CN113340793A publication Critical patent/CN113340793A/zh
Application granted granted Critical
Publication of CN113340793B publication Critical patent/CN113340793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1022Measurement of deformation of individual particles by non-optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/103Particle shape
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本申请公开了一种微粒子偏光显微成像的三维重建方法和系统,方法包括步骤:获取待处理图像;构建平面直角坐标系,以待处理图像中任意微粒子的球心为原点;采用最小二乘拟合方法处理待处理图像,得到待处理图像中微粒子上像素点的光强最大值和光强最小值;通过像素点的光强最大值和光强最小值,得到像素点的偏振度、法线天顶角和入射光方位角;通过法线天顶角和入射光方位角,得到微粒子表面的法向量在平面直角坐标系上的梯度场,得到微粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型;利用基于分裂布莱格曼的迭代函数优化方法迭代获得最优的微粒子表面函数,更好的满足了微粒子三维重建的准确性要求。

Description

微粒子偏光显微成像的三维重建方法和系统
技术领域
本发明涉及微粒子三维重建技术领域,尤其涉及一种微粒子偏光显微成像的三维重建方法和系统。
背景技术
近年来,随着对微观世界研究的深入发展,无论是医学辅助诊疗,还是生物大分子研究,亦或是微粒子光谱分析,微粒子三维重建技术都是其中最为重要和常见的研究手段之一。一般情况下,自然物体通过相机捕捉到的不同角度的图像来实现三维重建,然而由于粒子的方向无法被操纵,很难获得类似宏观物体的图像。因此,设计出一款适用于微粒子的三维重建算法,具有十分重要的意义。
偏振形状重建法能够通过观察物体表面反射光的偏振特性,可以获得物体的形状信息,在非理想光强下仍能获得相对清晰的偏振信息,从而重建三维表面特征。其中,表面反射的光主要包括偏光镜面反射、偏光漫反射和非偏光漫反射三部分。由于偏光镜面反射是单一的反射,从一个方向获取全局镜面反射具有很大的挑战性。因此,可以使用偏光漫反射偏振形状重建法来实现粒子三维重建,通过粒子表面函数的正交投影实现三维重建。然而,由于投影结果单方向梯度严重失真,重建结果往往存在严重畸变。以及,相较于宏观物体,微粒子的表面纹理起伏较小,无法重建出细微纹理,只能获得部分锐化的边缘。因此,如何确保微粒子三维重建的准确性和实时性,成为亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种微粒子偏光显微成像的三维重建方法和系统。
一方面,本发明提供了一种微粒子偏光显微成像的三维重建方法包括步骤:
获取待处理图像;
构建平面直角坐标系,确定原点、横轴以及纵轴,其中,以所述待处理图像中任意微粒子的球心为所述原点;
采用最小二乘拟合方法处理所述待处理图像,得到所述待处理图像中所述微粒子上像素点的光强最大值和光强最小值;
通过所述像素点的光强最大值和光强最小值,得到所述像素点的偏振度;
通过所述偏振度得到所述像素点的法线天顶角和入射光方位角;
通过所述法线天顶角和所述入射光方位角,得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场,得到所述微粒子表面函数;
根据所述微粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型;
所述微粒子表面函数优化模型通过以下方法得到:
Figure BDA0003099302390000021
其中,z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure BDA0003099302390000022
Figure BDA0003099302390000023
λ,μ,ν和f是常数,dx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度的微分,dy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度的微分,I为所述像素点的光强,Ω是所述微粒子区域,R是实数集;
利用基于分裂布莱格曼的迭代函数优化方法迭代获得所述最优的微粒子表面函数;
对所述微粒子表面函数优化模型进行k次迭代;
当||zk+1-zk||≤ε时,迭代停止,zk为所述最优的粒子表面函数;
其中,ε是常数。
优选的,获取所述待处理图像中所述微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合所述灰度值序列,得到所述像素点灰度变化的正弦曲线;
其中,所述光强最大值为所述正弦曲线的第一极值点,所述光强最小值为所述正弦曲线的第二极值点,所述第一极值点大于所述第二极值点。
优选的,通过所述像素点的光强最大值和光强最小值,根据以下方法得到所述像素点的偏振度P:
Figure BDA0003099302390000031
其中,Imax为所述像素点的光强最大值,Imin为所述像素点的光强最小值。
优选的,根据所述偏振度得到所述像素点的法线天顶角和入射光方位角;
根据所述偏振度通过以下方法得到所述像素点的法线天顶角:
Figure BDA0003099302390000032
其中,θ为所述像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
通过以下方法得到所述像素点的入射光方位角:
Figure BDA0003099302390000033
其中,φ为所述像素点的入射光方位角,
Figure BDA0003099302390000034
为初始入射光方位角,且所述像素点的初始入射光方位角
Figure BDA0003099302390000035
的正切值与
Figure BDA0003099302390000036
的正切值相同。
优选的,通过所述法线天顶角和所述入射光方位角,通过以下方法得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是所述微粒子表面函数,所述微粒子表面的法向量在所述平面直角坐标系上的梯度场包括所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度和所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度,且zx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度,zy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度。
又一方面,本发明提供了一种微粒子偏光显微成像的三维重建系统,包括:
图像接收模块,用于获取待处理图像,并将所述待处理图像发送至所述光强拟合模块;
所述光强拟合模块,用于接收所述待处理图像,拟合所述待处理图像中微粒子上像素点光强最大值和像素点光强最小值,并将所述像素点光强最大值和像素点光强最小值发送至三维成像参数处理模块;
所述三维成像参数处理模块,用于接收所述像素点光强最大值和像素点光强最小值,通过所述像素点的光强最大值和光强最小值,得到所述像素点的偏振度、法线天顶角和入射光方位角,并将所述像素点的偏振度、所述法线天顶角和所述入射光方位角发送至微粒子表面函数提取模块;
所述微粒子表面函数提取模块,用于接收所述像素点的偏振度、所述法线天顶角和所述入射光方位角,得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场,得到所述微粒子表面函数,并将所述微粒子表面函数发送至微粒子表面函数优化模块;
所述微粒子表面函数优化模块,用于接收所述微粒子表面函数,根据所述粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型,并将所述微粒子表面函数优化模型发送至微粒子表面函数求解模块,其中,所述微粒子表面函数优化模型通过以下方法得到:
Figure BDA0003099302390000041
z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure BDA0003099302390000042
Figure BDA0003099302390000043
λ,μ,ν和f是常数,dx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度的微分,dy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度的微分,I为所述像素点的光强,Ω是所述微粒子区域,R是实数集;
所述微粒子表面函数求解模块,用于接收所述微粒子表面函数优化模型,利用基于分裂布莱格曼的迭代函数优化方法迭代获得所述最优的微粒子表面函数,其中,对所述微粒子表面函数优化模型进行k次迭代;
当||zk+1-zk||≤ε时,迭代停止,zk为所述最优的粒子表面函数,ε是常数。
优选的,所述光强拟合模块,获取所述待处理图像中所述微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合所述灰度值序列,得到所述像素点灰度变化的正弦曲线;
其中,所述光强最大值为所述正弦曲线的第一极值点,所述光强最小值为所述正弦曲线的第二极值点,所述第一极值点大于所述第二极值点。
优选的,所述三维成像参数处理模块用于根据以下公式得到所述像素点的偏振度P:
Figure BDA0003099302390000051
其中,Imax为所述像素点的光强最大值,Imin为所述像素点的光强最小值。
优选的,所述三维成像参数处理模块用于根据以下公式得到所述像素点的法线天顶角:
Figure BDA0003099302390000052
其中,θ为所述像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
还用于通过以下公式得到所述像素点的入射光方位角:
Figure BDA0003099302390000053
其中,φ为所述像素点的入射光方位角,
Figure BDA0003099302390000054
为初始入射光方位角,且所述像素点的初始入射光方位角
Figure BDA0003099302390000055
的正切值与
Figure BDA0003099302390000056
的正切值相同。
优选的,所述微粒子表面函数提取模块用于根据以下公式得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是所述微粒子表面函数,所述微粒子表面的法向量在所述平面直角坐标系上的梯度场包括所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度和所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度,且zx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度,zy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度。与现有技术相比,本发明提供的一种微粒子偏光显微成像的三维重建方法和系统,达到如下有益效果:
第一、本发明提供的一种微粒子偏光显微成像的三维重建方法和系统,在偏振形貌重建法无法满足要求的情况下,利用正交投影约束和表面积最小化准则,建立微粒子表面函数优化模型,更好的满足了微粒子三维重建的准确性要求。
第二、本发明提供的一种微粒子偏光显微成像的三维重建方法和系统,考虑求解粒子表面函数优化模型时计算的复杂度,引入分裂布莱格曼的迭代函数优化方法,降低计算复杂度,提升算法运行效率。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明提供的一种微粒子偏光显微成像的三维重建方法的流程图;
图2为本发明提供的一种微粒子偏光显微成像的三维重建系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。应注意到,所描述的实施例实际上仅仅是本发明一部分实施例,而不是全部的实施例,且实际上仅是说明性的,决不作为对本发明及其应用或使用的任何限制。本申请的保护范围当视所附权利要求所界定者为准。
结合图1所示,图1为本发明提供的一种微粒子偏光显微成像的三维重建方法的流程图,本实施例提供的微粒子偏光显微成像的三维重建方法:包括步骤:
步骤S1、获取待处理图像。其中,待处理图像可以通过宽视场微粒子显微成像设备获取。
步骤S2、构建平面直角坐标系,确定原点、横轴以及纵轴,其中,以待处理图像中任意微粒子的球心为原点。由于获取微粒子表面函数时需要获取法线方向、法线天顶角和入射光方位角,且需要计算微粒子表面函数在横轴和纵轴的梯度,因此需要以微粒子球心为坐标原点建立坐标系。
步骤S3、采用最小二乘拟合方法处理待处理图像,得到待处理图像中微粒子上像素点的光强最大值和光强最小值。
在步骤S3中,获取待处理图像中微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合灰度值序列,得到像素点灰度变化的正弦曲线;其中,光强最大值为正弦曲线的第一极值点,光强最小值为正弦曲线的第二极值点,第一极值点大于第二极值点,即可以理解为,正弦曲线的极值点即为像素点光强最大值和光强最小值。
步骤S4、通过像素点的光强最大值和光强最小值,得到像素点的偏振度。
在步骤S4中,通过像素点的光强最大值和光强最小值,根据以下方法得到像素点的偏振度P:
Figure BDA0003099302390000071
其中,Imax为像素点的光强最大值,Imin为像素点的光强最小值。
步骤S5、通过偏振度得到像素点的法线天顶角和入射光方位角。
在步骤S5中,根据偏振度通过以下方法得到像素点的法线天顶角:
Figure BDA0003099302390000072
其中,θ为像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
通过以下方法得到像素点的入射光方位角:
Figure BDA0003099302390000073
其中,φ为像素点的入射光方位角,
Figure BDA0003099302390000074
为初始入射光方位角,且像素点的初始入射光方位角
Figure BDA0003099302390000075
的正切值与
Figure BDA0003099302390000076
的正切值相同。
可以理解的是,由于像素点的初始入射光方位角
Figure BDA0003099302390000077
的正切值与
Figure BDA0003099302390000078
的正切值相同,但其反正切值的取值范围与实际拟合有一定的π的模糊性,需要添加对偏振器的旋转角度,利用扫描电子显微镜获得的粗糙深度信息校正入射光方位角,进而设置入射光方位角:
Figure BDA0003099302390000079
步骤S6、通过法线天顶角和入射光方位角,得到微粒子表面的法向量在平面直角坐标系上的梯度场,得到微粒子表面函数。
在步骤S6中,通过法线天顶角和入射光方位角,通过以下方法得到微粒子表面的法向量在平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是微粒子表面函数,微粒子表面的法向量在平面直角坐标系上的梯度场包括微粒子表面的法向量在平面直角坐标系中横轴上的梯度和微粒子表面的法向量在平面直角坐标系中纵轴上的梯度,且zx为微粒子表面的法向量在平面直角坐标系中横轴上的梯度,zy为微粒子表面的法向量在平面直角坐标系中纵轴上的梯度。
步骤S7、根据微粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型。
微粒子表面函数优化模型通过以下方法得到:
Figure BDA0003099302390000081
其中,z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure BDA0003099302390000082
Figure BDA0003099302390000083
λ,μ,ν和f是常数,dx为微粒子表面的法向量在平面直角坐标系中横轴上的梯度的微分,dy为微粒子表面的法向量在平面直角坐标系中纵轴上的梯度的微分,I为像素点的光强,Ω是微粒子区域,R是实数集;
步骤S8、利用基于分裂布莱格曼的迭代函数优化方法迭代获得最优的微粒子表面函数;
对微粒子表面函数优化模型进行k次迭代;
当||zk+1-zk||≤ε时,迭代停止,zk为最优的粒子表面函数,其中,ε是常数。
本实施例提供的微粒子偏光显微成像的三维重建方法,可以在偏振形貌重建法无法满足要求的情况下,利用正交投影约束和表面积最小化准则,建立粒子表面函数优化模型,更好的满足了微粒子三维重建的准确性要求。同时考虑求解粒子表面函数优化模型时计算的复杂度,引入分裂布莱格曼的迭代函数优化方法,降低减少复杂度,提升算法运行效率。
结合图2所示,图2为本发明提供的一种微粒子偏光显微成像的三维重建系统的结构框图,本实施例提供的微粒子偏光显微成像的三维重建系统100包括:
图像接收模块10,用于获取待处理图像,并将待处理图像发送至光强拟合模块20;
光强拟合模块20,用于接收待处理图像,拟合待处理图像中微粒子上像素点光强最大值和像素点光强最小值,并将像素点光强最大值和像素点光强最小值发送至三维成像参数处理模块30;
进一步为,光强拟合模块20,获取待处理图像中微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合灰度值序列,得到像素点灰度变化的正弦曲线;其中,光强最大值为正弦曲线的第一极值点,光强最小值为正弦曲线的第二极值点,第一极值点大于第二极值点。
三维成像参数处理模块30,用于接收像素点光强最大值和像素点光强最小值,通过像素点的光强最大值和光强最小值,得到像素点的偏振度、法线天顶角和入射光方位角,并将像素点的偏振度、法线天顶角和入射光方位角发送至微粒子表面函数提取模块40。
进一步,三维成像参数处理模块30用于根据以下公式得到像素点的偏振度P:
Figure BDA0003099302390000091
其中,Imax为像素点的光强最大值,Imin为像素点的光强最小值。
三维成像参数处理模块用于根据以下公式得到像素点的法线天顶角:
Figure BDA0003099302390000092
其中,θ为像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
还用于通过以下公式得到像素点的入射光方位角:
Figure BDA0003099302390000093
其中,φ为像素点的入射光方位角,
Figure BDA0003099302390000094
为初始入射光方位角,且像素点的初始入射光方位角
Figure BDA0003099302390000095
的正切值与
Figure BDA0003099302390000096
的正切值相同。
可以理解的是,由于像素点的初始入射光方位角
Figure BDA0003099302390000097
的正切值与
Figure BDA0003099302390000098
的正切值相同,但其反正切值的取值范围与实际拟合有一定的π的模糊性,需要添加对偏振器的旋转角度,利用扫描电子显微镜获得的粗糙深度信息校正入射光方位角,进而设置入射光方位角:
Figure BDA0003099302390000099
微粒子表面函数提取模块40,用于接收像素点的偏振度、法线天顶角和入射光方位角,得到微粒子表面的法向量在平面直角坐标系上的梯度场,得到微粒子表面函数,并将微粒子表面函数发送至微粒子表面函数优化模块50;
微粒子表面函数优化模块50,用于接收微粒子表面函数,根据粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型,并将微粒子表面函数优化模型发送至微粒子表面函数求解模块60,其中,微粒子表面函数优化模型通过以下方法得到:
Figure BDA0003099302390000101
z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure BDA0003099302390000102
Figure BDA0003099302390000103
λ,μ,ν和f是常数,dx为微粒子表面的法向量在平面直角坐标系中横轴上的梯度的微分,dy为微粒子表面的法向量在平面直角坐标系中纵轴上的梯度的微分,I为像素点的光强,Ω是微粒子区域,R是实数集;
微粒子表面函数求解模块60,用于接收微粒子表面函数优化模型,利用基于分裂布莱格曼的迭代函数优化方法迭代获得最优的微粒子表面函数。其中,对微粒子表面函数优化模型进行k次迭代;当||zk+1-zk||≤ε时,迭代停止,zk为最优的粒子表面函数,ε是常数。
进一步,微粒子表面函数提取模块60用于根据以下公式得到微粒子表面的法向量在平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是微粒子表面函数,微粒子表面的法向量在平面直角坐标系上的梯度场包括微粒子表面的法向量在平面直角坐标系中横轴上的梯度和微粒子表面的法向量在平面直角坐标系中纵轴上的梯度,且zx为微粒子表面的法向量在平面直角坐标系中横轴上的梯度,zy为微粒子表面的法向量在平面直角坐标系中纵轴上的梯度。
本实施例提供的微粒子偏光显微成像的三维重建系统,可以在偏振形貌重建法无法满足要求的情况下,利用正交投影约束和表面积最小化准则,建立粒子表面函数优化模型,更好的满足了微粒子三维重建的准确性要求。同时考虑求解粒子表面函数优化模型时计算的复杂度,引入分裂布莱格曼的迭代函数优化方法,降低减少复杂度,提升算法运行效率。
通过以上各实施例可知,本申请存在的有益效果是:
第一、本发明提供的一种微粒子偏光显微成像的三维重建方法和系统,在偏振形貌重建法无法满足要求的情况下,利用正交投影约束和表面积最小化准则,建立微粒子表面函数优化模型,更好的满足了微粒子三维重建的准确性要求。
第二、本发明提供的一种微粒子偏光显微成像的三维重建方法和系统,考虑求解粒子表面函数优化模型时计算的复杂度,引入分裂布莱格曼的迭代函数优化方法,降低计算复杂度,提升算法运行效率。
上面通过附图和实施例,对本发明的技术方案做虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种微粒子偏光显微成像的三维重建方法,其特征在于,包括步骤:
获取待处理图像;
构建平面直角坐标系,确定原点、横轴以及纵轴,其中,以所述待处理图像中任意微粒子的球心为所述原点;
采用最小二乘拟合方法处理所述待处理图像,得到所述待处理图像中所述微粒子上像素点的光强最大值和光强最小值;
通过所述像素点的光强最大值和光强最小值,得到所述像素点的偏振度;
通过所述偏振度得到所述像素点的法线天顶角和入射光方位角;
通过所述法线天顶角和所述入射光方位角,得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场,得到所述微粒子表面函数;
根据所述微粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型;
所述微粒子表面函数优化模型通过以下方法得到:
Figure FDA0003099302380000011
其中,z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure FDA0003099302380000012
Figure FDA0003099302380000013
λ,μ,ν和f是常数,dx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度的微分,dy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度的微分,I为所述像素点的光强,Ω是所述微粒子区域,R是实数集;
利用基于分裂布莱格曼的迭代函数优化方法迭代获得所述最优的微粒子表面函数;
对所述微粒子表面函数优化模型进行k次迭代;
当||zk+1-zk||≤ε时,迭代停止,zk为所述最优的粒子表面函数;
其中,ε是常数。
2.根据权利要求1所述的微粒子偏光显微成像的三维重建方法,其特征在于,
获取所述待处理图像中所述微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合所述灰度值序列,得到所述像素点灰度变化的正弦曲线;
其中,所述光强最大值为所述正弦曲线的第一极值点,所述光强最小值为所述正弦曲线的第二极值点,所述第一极值点大于所述第二极值点。
3.根据权利要求1所述的微粒子偏光显微成像的三维重建方法,其特征在于,通过所述像素点的光强最大值和光强最小值,根据以下方法得到所述像素点的偏振度P:
Figure FDA0003099302380000021
其中,Imax为所述像素点的光强最大值,Imin为所述像素点的光强最小值。
4.根据权利要求3所述的微粒子偏光显微成像的三维重建方法,其特征在于,根据所述偏振度得到所述像素点的法线天顶角和入射光方位角;
根据所述偏振度通过以下方法得到所述像素点的法线天顶角:
Figure FDA0003099302380000022
其中,θ为所述像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
通过以下方法得到所述像素点的入射光方位角:
Figure FDA0003099302380000023
其中,φ为所述像素点的入射光方位角,
Figure FDA0003099302380000024
为初始入射光方位角,且所述像素点的初始入射光方位角
Figure FDA0003099302380000025
的正切值与
Figure FDA0003099302380000026
的正切值相同。
5.根据权利要求4所述的微粒子偏光显微成像的三维重建方法,其特征在于,通过所述法线天顶角和所述入射光方位角,通过以下方法得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是所述微粒子表面函数,所述微粒子表面的法向量在所述平面直角坐标系上的梯度场包括所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度和所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度,且zx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度,zy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度。
6.一种微粒子偏光显微成像的三维重建系统,其特征在于,包括:
图像接收模块,用于获取待处理图像,并将所述待处理图像发送至所述光强拟合模块;
所述光强拟合模块,用于接收所述待处理图像,拟合所述待处理图像中微粒子上像素点光强最大值和像素点光强最小值,并将所述像素点光强最大值和像素点光强最小值发送至三维成像参数处理模块;
所述三维成像参数处理模块,用于接收所述像素点光强最大值和像素点光强最小值,通过所述像素点的光强最大值和光强最小值,得到所述像素点的偏振度、法线天顶角和入射光方位角,并将所述像素点的偏振度、所述法线天顶角和所述入射光方位角发送至微粒子表面函数提取模块;
所述微粒子表面函数提取模块,用于接收所述像素点的偏振度、所述法线天顶角和所述入射光方位角,得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场,得到所述微粒子表面函数,并将所述微粒子表面函数发送至微粒子表面函数优化模块;
所述微粒子表面函数优化模块,用于接收所述微粒子表面函数,根据所述粒子表面函数,根据正交投影约束和表面积最小化准则建立微粒子表面函数优化模型,并将所述微粒子表面函数优化模型发送至微粒子表面函数求解模块,其中,所述微粒子表面函数优化模型通过以下方法得到:
Figure FDA0003099302380000031
z是微粒子表面函数,z0是微粒子表面函数的真实值,
Figure FDA0003099302380000032
Figure FDA0003099302380000033
λ,μ,ν和f是常数,dx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度的微分,dy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度的微分,I为所述像素点的光强,Ω是所述微粒子区域,R是实数集;
所述微粒子表面函数求解模块,用于接收所述微粒子表面函数优化模型,利用基于分裂布莱格曼的迭代函数优化方法迭代获得所述最优的微粒子表面函数,其中,对所述微粒子表面函数优化模型进行k次迭代;
当||zk+1-zk||≤ε时,迭代停止,zk为所述最优的粒子表面函数,ε是常数。
7.根据权利要求6所述的微粒子偏光显微成像的三维重建系统,其特征在于,所述光强拟合模块,获取所述待处理图像中所述微粒子上像素点的灰度值序列,采用最小二乘拟合方法拟合所述灰度值序列,得到所述像素点灰度变化的正弦曲线;
其中,所述光强最大值为所述正弦曲线的第一极值点,所述光强最小值为所述正弦曲线的第二极值点,所述第一极值点大于所述第二极值点。
8.根据权利要求7所述的微粒子偏光显微成像的三维重建系统,其特征在于,所述三维成像参数处理模块用于根据以下公式得到所述像素点的偏振度P:
Figure FDA0003099302380000041
其中,Imax为所述像素点的光强最大值,Imin为所述像素点的光强最小值。
9.根据权利要求8所述的微粒子偏光显微成像的三维重建系统,其特征在于,所述三维成像参数处理模块用于根据以下公式得到所述像素点的法线天顶角:
Figure FDA0003099302380000042
其中,θ为所述像素点的法线天顶角,|n′|=n2(1+k2),n是微粒子的折射率,k是溶剂的衰变系数;
还用于通过以下公式得到所述像素点的入射光方位角:
Figure FDA0003099302380000043
其中,φ为所述像素点的入射光方位角,
Figure FDA0003099302380000044
为初始入射光方位角,且所述像素点的初始入射光方位角
Figure FDA0003099302380000045
的正切值与
Figure FDA0003099302380000046
的正切值相同。
10.根据权利要求9所述的微粒子偏光显微成像的三维重建系统,其特征在于,所述微粒子表面函数提取模块用于根据以下公式得到所述微粒子表面的法向量在所述平面直角坐标系上的梯度场;
zx=tanθcosφ,zy=tanθsinφ;
其中,z=z(x,y)是所述微粒子表面函数,所述微粒子表面的法向量在所述平面直角坐标系上的梯度场包括所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度和所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度,且zx为所述微粒子表面的法向量在所述平面直角坐标系中所述横轴上的梯度,zy为所述微粒子表面的法向量在所述平面直角坐标系中所述纵轴上的梯度。
CN202110619709.XA 2021-06-03 2021-06-03 微粒子偏光显微成像的三维重建方法和系统 Active CN113340793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110619709.XA CN113340793B (zh) 2021-06-03 2021-06-03 微粒子偏光显微成像的三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110619709.XA CN113340793B (zh) 2021-06-03 2021-06-03 微粒子偏光显微成像的三维重建方法和系统

Publications (2)

Publication Number Publication Date
CN113340793A true CN113340793A (zh) 2021-09-03
CN113340793B CN113340793B (zh) 2022-09-23

Family

ID=77473409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110619709.XA Active CN113340793B (zh) 2021-06-03 2021-06-03 微粒子偏光显微成像的三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN113340793B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202214A1 (en) * 2010-04-21 2013-08-08 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
CN109191560A (zh) * 2018-06-29 2019-01-11 西安电子科技大学 基于散射信息校正的单目偏振三维重建方法
CN110458960A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于偏振的彩色物体三维重建方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法
CN111402395A (zh) * 2020-02-17 2020-07-10 西安电子科技大学 一种基于cnn校正的被动偏振三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202214A1 (en) * 2010-04-21 2013-08-08 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
CN109191560A (zh) * 2018-06-29 2019-01-11 西安电子科技大学 基于散射信息校正的单目偏振三维重建方法
CN110458960A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于偏振的彩色物体三维重建方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法
CN111402395A (zh) * 2020-02-17 2020-07-10 西安电子科技大学 一种基于cnn校正的被动偏振三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭群聂 等: "基于光学偏振成像的低纹理目标三维重建算法", 《电光与控制》 *
郝婧蕾 等: "偏振多光谱机器视觉的高反光无纹理目标三维重构方法", 《测绘学报》 *

Also Published As

Publication number Publication date
CN113340793B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
Nam et al. Practical svbrdf acquisition of 3d objects with unstructured flash photography
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
WO2015096508A1 (zh) 一种模型约束下的在轨三维空间目标姿态估计方法及系统
CN111899290B (zh) 一种联合偏振和双目视觉的三维重建方法
CN111402395B (zh) 一种基于cnn校正的被动偏振三维重建方法
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
JP6462671B2 (ja) Xスリットカメラ
CN111340936A (zh) 一种基于偏振漫反射分离的被动三维重建方法
Ackermann et al. Removing the example from example-based photometric stereo
Pintus et al. A fast and robust framework for semiautomatic and automatic registration of photographs to 3D geometry
WO2014164230A1 (en) Hair surface reconstruction from wide-baseline camera arrays
Brandt Markerless alignment in electron tomography
Wolf et al. Surface Reconstruction from Gaussian Splatting via Novel Stereo Views
Maurer et al. Combining Shape from Shading and Stereo: A Variational Approach for the Joint Estimation of Depth, Illumination and Albedo.
CN113340793B (zh) 微粒子偏光显微成像的三维重建方法和系统
Bergmann et al. Gravity alignment for single panorama depth inference
Rodríguez‐Gonzálvez et al. A hybrid approach to create an archaeological visualization system for a Palaeolithic cave
Tong et al. 3D information retrieval in mobile robot vision based on spherical compound eye
Berkiten et al. Merge2-3D: Combining multiple normal maps with 3D surfaces
Yu et al. Shape and view independent reflectance map from multiple views
WO2022175688A1 (en) Image processing
CN108830804A (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
Liu et al. Three-dimensional shape reconstruction of uncooperative spacecraft with texture-guided depth upsampling
Shao et al. Developing a stereotypical Drosophila brain atlas
Wong et al. 3D model reconstruction by constrained bundle adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant