CN110823812B - 基于机器学习的散射介质成像方法及系统 - Google Patents
基于机器学习的散射介质成像方法及系统 Download PDFInfo
- Publication number
- CN110823812B CN110823812B CN201911037578.3A CN201911037578A CN110823812B CN 110823812 B CN110823812 B CN 110823812B CN 201911037578 A CN201911037578 A CN 201911037578A CN 110823812 B CN110823812 B CN 110823812B
- Authority
- CN
- China
- Prior art keywords
- scattering
- speckle
- image
- speckles
- unknown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biochemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种基于机器学习的散射介质成像方法及系统,包括:散斑分类步骤:对于测量到的未知物体对应的散斑,先基于已知的散斑和物体来对未知散斑进行分类,得到分类结果;图像重建步骤:根据得到的分类结果,选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据逆散射函数对未知散斑进行未知物体的图像重建,实现散射介质成像。本发明改善了散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
Description
技术领域
本发明涉及散射介质光学成像领域,具体地,涉及一种基于机器学习的散射介质成像方法及系统。
背景技术
由于散射介质的散射作用,使得传统光学成像系统难以有效得探测其内部目标。透过散射介质成像具有重要的科学与应用价值,尤其是在生物医学成像及遥感测绘等领域意义重大。近年来提出了许多方法来实现散射介质成像,如:自适应光学技术需要冗长与繁复的波前反馈调制,且在进行成像时通常都需要一个已知物体作为参考,实际应用价值不高。基于机器学习的散射介质成像技术方案能够在无需参考物体的情况下实现散射介质成像。
本发明在散射介质存在情况下,结合散斑分类技术与逆散射成像体制,以机器学习为核心技术手段,研究基于机器学习的散射介质成像技术基本理论与实现方法,实现散射介质存在情况下的高保真度图像重建。
专利文献CN107907483A(申请号:201710692976.3)公开了本发明涉及一种基于散射介质的超分辨率光谱成像系统及方法。该系统包括:标定支路A、散射介质4、透镜5、探测器6、待测支路B;标定支路A包括光源模块1、第一准直扩束系统2和针孔3,待测支路B包括待测光源7、第二准直扩束系统8和目标9。本发明实施例首先测得光源模块输出不同波长时系统的点扩散函数,构建光谱点扩散函数(SPSF),采用压缩感知(CS)方法实现光谱重建,同时搭配合适散射平均自由程的散射介质,利用待测光源波长对应的点扩散函数对相机接收的散斑进行去卷积,可在不增加系统复杂度的前提下实现最大限度超分辨率成像。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于机器学习的散射介质成像方法及系统,用于改善在散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
本发明在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的未知散斑,先对其进行散斑分类,确定其所属类别,从而利用对应类别的一组已知散斑与物体所学习到的逆散射函数,来完成散射介质成像的图像重建。
根据本发明提供的一种基于机器学习的散射介质成像方法,包括:
散斑分类步骤:对于测量到的未知物体对应的散斑,我们基于已知的散斑和物体来对该未知散斑进行分类;
图像重建步骤:选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。
优选地,所述散斑分类步骤包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定其所属类别。
优选地,所述散斑分类步骤包括:散射系统:激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像;在相机平面采集的物体图像散射后所形成的散斑与所加载物体图像之间的关系可以表示为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面即相机平面上对应的相位,j表示:虚数,φ表示:像面即相机平面上对应的相位的角度,K表示:散射介质对应的传输矩阵,其大小为为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min为输入物体图像的像素值,Mout为采集到的散斑所对应的像素数;
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵;那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值;即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值。
优选地,所述图像重建步骤包括:图像重建部分采用的是支持向量回归,在相机平面采集物体图像散射后所形成的散斑强度图Eout与物体图像加载在空间光调制器上Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。
优选地,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,以使其满足线性或近似线性关系。
根据本发明提供的一种基于机器学习的散射介质成像系统,包括:
散斑分类模块:对于测量到的未知物体对应的散斑,我们先基于一组已知的散斑和物体来对该未知散斑进行分类;
图像重建模块:选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。
优选地,所述散斑分类模块包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定其所属类别。
优选地,所述散斑分类模块包括:散射系统:激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像;在相机平面采集的物体图像散射后所形成的散斑与所加载物体图像之间的关系可以表示为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面即相机平面上对应的相位,j表示:虚数,φ表示:像面即相机平面上对应的相位的角度,K表示:散射介质对应的传输矩阵,其大小为为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min为输入物体图像的像素值,Mout为采集到的散斑所对应的像素数;
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵;那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值;即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值。
优选地,所述图像重建模块包括:图像重建部分采用的是支持向量回归,在相机平面采集物体图像散射后所形成的散斑强度图Eout与物体图像加载在空间光调制器上Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。
优选地,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,以使其满足线性或近似线性关系。
与现有技术相比,本发明具有如下的有益效果:
1、本发明在散射介质存在情况下,结合散斑分类技术与逆散射成像体制,以机器学习为核心技术手段,研究基于机器学习的散射介质成像技术基本理论与实现方法,实现散射介质存在情况下的高保真度图像重建。
2、本发明基于机器学习的散射介质成像技术方案能够在无需参考物体的情况下实现散射介质成像。
3、本发明改善在散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
4、本发明在散射介质存在的情况下,将散斑分类技术和逆散射成像体制进行融合,从而达到提升散射介质成像的效率与实用性的目的
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为散射系统实验平台下示意图。
图2为物体经散射后形成散斑图案示例示意图。
图3为基于散斑图案分类的流程示意图。
图4为基于机器学习的散射介质成像技术的整体流程示意图。
图5为利用基于机器学习的散射介质成像技术进行图像重建的示例示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明所要解决的技术问题是提供一种基于机器学习的散射介质成像方法及系统,用于改善在散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
本发明解决上述技术问题所采用的技术方案为:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的未知散斑,先对其进行散斑分类,确定其所属类别,从而利用对应类别的一组已知散斑与物体所学习到的逆散射函数,来完成散射介质成像的图像重建。
根据本发明提供的一种基于机器学习的散射介质成像方法,包括:
散斑分类步骤:对于测量到的未知物体对应的散斑,我们先基于一组已知的散斑和物体(即训练样本)来对该未知散斑进行分类;
具体地,所述散斑分类步骤包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定其所属类别。
更为具体地,所述散斑分类步骤包括:实验搭建了图1所示的散射系统,激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像;在图1所示的散射系统中,散斑与所加载物体图像之间的关系可以表示为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面即相机平面上对应的相位,j表示:虚数,φ表示:像面即相机平面上对应的相位的角度,K表示:索雷博散射片作为散射介质(即图1中的散射片)对应的传输矩阵,其大小为为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min和Mout分别为输入物体图像与采集到的散斑所对应的像素数;散射后的散斑图案中,物体的原始信息被扰乱,难以辨认。图2给出了一组输入物体图案及输出对应的散斑图案示例。
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵;那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值;即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值。这个结论为我们提供了一种在散射介质情况下,不借助物体原始图像而只根据散射后的散斑,来进行分类的思路。并且这个结论也表明,理论上,通过散射后形成的散斑来进行分类与通过其对应的物体图像来进行分类效果应当是相当的。图3给出了基于散斑图案分类的原理框图。
图像重建步骤:选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。
具体地,所述图像重建步骤包括:图像重建部分采用的是支持向量回归,相机平面测量得到的散斑图案Eout与空间光平面加载的物体图像Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。图4给出了基于机器学习的散射介质成像技术的整体流程图。根据学习到的逆散射函数所重建出的物体图像在图5中给出。
更为具体地,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,以使其满足线性或近似线性关系。
根据本发明提供的一种基于机器学习的散射介质成像系统,包括:
散斑分类模块:对于测量到的未知物体对应的散斑,我们先基于一组已知的散斑和物体(即训练样本)来对该未知散斑进行分类;
具体地,所述散斑分类模块包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定其所属类别。
更为具体地,所述散斑分类模块包括:实验搭建了图1所示的散射系统,激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像;在图1所示的散射系统中,散斑与所加载物体图像之间的关系可以表示为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面即相机平面上对应的相位,j表示:虚数,φ表示:像面即相机平面上对应的相位的角度,K表示:索雷博散射片作为散射介质(即图1中的散射片)对应的传输矩阵,其大小为为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min和Mout分别为输入物体图像与采集到的散斑所对应的像素数;散射后的散斑图案中,物体的原始信息被扰乱,难以辨认。图2给出了一组输入物体图案及输出对应的散斑图案示例。
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵;那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值;即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值。这个结论为我们提供了一种在散射介质情况下,不借助物体原始图像而只根据散射后的散斑,来进行分类的思路。并且这个结论也表明,理论上,通过散射后形成的散斑来进行分类与通过其对应的物体图像来进行分类效果应当是相当的。图3给出了基于散斑图案分类的原理框图。
图像重建模块:选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。
具体地,所述图像重建模块包括:图像重建部分采用的是支持向量回归,相机平面测量得到的散斑图案Eout与空间光平面加载的物体图像Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。图4给出了基于机器学习的散射介质成像技术的整体流程图。根据学习到的逆散射函数所重建出的物体图像在图5中给出。
更为具体地,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,以使其满足线性或近似线性关系。
以下优选例对本发明作进一步详细说明:
优选例1:
图1给出了实验室平台下的一个随机介质散射系统的示意图。图2给出了三组示例图像,其中第一行为加载在空间光调制器上的物体图像,经图1所示的散射系统以后,输出为第二行所示的“杂乱无章”的散斑图案。可以看到,散射介质的存在使得物体图像在相机平面无法正常成像,并且由散斑无法得出甚至是猜测出其对应物体图像的任何信息。
图3为散斑图案分类的流程示意图,首先先给散射系统一组已经标记好的物体图像,然后测量其对应的输出散斑图案,并对散斑图案做与其对应的物体图像一致的类别标记,然后将标记好的这组散斑图案当做训练样本去学习得到一个分类器。之后对于一个未知物体图像经散射以后得到的散斑,用这个分类器去对其进行标记,从而确定其类别。
图4为基于机器学习的散射介质成像技术的整体流程示意图,对于测量得到的一副未知散斑图案,先以图3的方式对其进行标记确定类别,然后再选取对应类别的一组物体图像和对应散斑图案作为训练集,求解表达式(5)对应的优化问题,得到逆散射函数,最后再利用逆散射函数求解出未知物体图像。
图5为三组利用基于机器学习的散射介质成像技术进行图像重建的示例,其中第一行为输入的物体图像,假定其是未知的,第二行为根据图3及图4给出的技术方案所重建出的对应物体图像。可以看出,该技术方案成功地将原物体图像恢复出来。
本发明所要解决的技术问题是提供一种基于机器学习的散射介质成像技术,用于改善在散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
本发明解决上述技术问题所采用的技术方案为:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的未知散斑,先对其进行散斑分类,确定其所属类别,从而利用对应类别的一组已知散斑与物体所学习到的逆散射函数,来完成散射介质成像的图像重建。
实验搭建了图1所示的散射系统,激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像。其中物体图像加载在空间光调制器上(用Ein表示),索雷博散射片作为散射介质(用K表示),在相机平面采集物体图像散射后所形成的散斑强度图(用Eout表示)。散射后的散斑图案中,物体的原始信息被扰乱,难以辨认。图2给出了一组输入物体图案及输出对应的散斑图案示例。在图1所示的散射系统中,散斑与所加载物体图像之间的关系可以表示为:
其中,
Min和Mout分别为输入物体图像与采集到的散斑所对应的像素数。
其中,
ejφ表示:像面(即,相机平面)上对应的相位
j表示:虚数
φ表示:像面(即,相机平面)上对应的相位的角度
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵。那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值。即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值,这个结论意义非常重大,为我们提供了一种在散射介质情况下,不借助物体原始图像而只根据散射后的散斑,来进行分类的思路。并且,这个结论也表明,理论上,通过散射后形成的散斑来进行分类与通过其对应的物体图像来进行分类效果应当是相当的。图3给出了基于散斑图案分类的原理框图。
我们提出的基于机器学习的散射介质成像技术一共分为两步,第一步是散斑分类模块,第二步是图像重建。对于测量到的未知物体对应的散斑,我们先基于一组已知的散斑和物体来对该未知散斑进行分类,然后选取对应类别的已知的散斑和物体(即训练样本)去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。以上我们介绍了散斑分类的机制与原理,下面给出散射介质成像的图像重建原理。
图像重建部分采用的是支持向量回归。相机平面测量得到的散斑图案Eout与空间光平面加载的物体图像Ein之间的映射关系以函数形式表达如下:
其中,
f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数。
通过采集已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,
w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b(b是逆散射函数对应的截距向量)。(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差。代表第n个输出散斑图案,代表第n个输入物体图像。ε为容许的误差,N是训练样本数。
其中,
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。图4给出了基于机器学习的散射介质成像技术的整体流程图。根据学习到的逆散射函数所重建出的物体图像在图5中给出。
优选例2:
本发明所要解决的技术问题是提供一种基于机器学习的散射介质成像技术,用于改善在散射介质存在情况下的成像精度及效率,在提升效率的同时保证成像精度。
本发明解决上述技术问题所采用的技术方案为:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的未知散斑,先对其进行散斑分类,确定其所属类别,从而利用对应类别的一组已知散斑与物体所学习到的逆散射函数,来完成散射介质成像的图像重建。
实验搭建了图1所示的散射系统,激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射片以后,在相机上成像。其中物体图像加载在空间光调制器上(用Ein表示),索雷博散射片作为散射介质(用K表示),在相机平面采集物体图像散射后所形成的散斑强度图(用Eout表示)。散射后的散斑图案中,物体的原始信息被扰乱,难以辨认。图2给出了一组输入物体图案及输出对应的散斑图案示例。在图1所示的散射系统中,散斑与所加载物体图像之间的关系可以表示为:
其中,
Min和Mout分别为输入物体图像与采集到的散斑所对应的像素数。
其中,
ejφ表示:像面(即,相机平面)上对应的相位
j表示:虚数
φ表示:像面(即,相机平面)上对应的相位的角度
对表达式(1)的等号两边同时乘以其共轭转置,我们得到如下表达式:
根据传输矩阵理论,传输矩阵K是一个酉矩阵。那么通过对Ein·(Ein)*、及Eout·(Eout)*分别单独做奇异值分解,我们可以发现这三个矩阵拥有相同的一组奇异值。即,Ein·(Ein)*和Eout·(Eout)*有相同的奇异值,这个结论意义非常重大,为我们提供了一种在散射介质情况下,不借助物体原始图像而只根据散射后的散斑,来进行分类的思路。并且,这个结论也表明,理论上,通过散射后形成的散斑来进行分类与通过其对应的物体图像来进行分类效果应当是相当的。图3给出了基于散斑图案分类的原理框图。
我们提出的基于机器学习的散射介质成像技术一共分为两步,第一步是散斑分类,第二步是图像重建。对于测量到的未知物体对应的散斑,我们先基于一组已知的散斑和物体来对该未知散斑进行分类,然后选取对应类别的已知的散斑和物体(即训练样本)去学习散射介质对应的逆散射函数,然后再根据这个逆散射函数来对未知散斑进行未知物体的图像重建,从而实现散射介质成像。以上我们介绍了散斑分类的机制与原理,下面给出散射介质成像的图像重建原理。
图像重建部分采用的是支持向量回归。相机平面测量得到的散斑图案Eout与空间光平面加载的物体图像Ein之间的映射关系以函数形式表达如下:
其中,
f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数。
通过采集一组已知的物体及散斑图案,求解下述问题,来学习系统对应的逆散射函数:
其中,
w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b(b是逆散射函数对应的截距向量)。(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差。代表第n个输出散斑图案,代表第n个输入物体图像。ε为容许的误差,N是训练样本数。
其中,
βm是指对应于第m个散斑图案的系数;
通过求解表达式(5),就可以学习到散射系统所对应的逆散射函数,从而重建出未知物体图像。图4给出了基于机器学习的散射介质成像技术的整体流程图。根据学习到的逆散射函数所重建出的物体图像在图5中给出。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种基于机器学习的散射介质成像方法,其特征在于,包括:
散斑分类步骤:对于测量到的未知物体对应的散斑,先基于已知的散斑和物体来对未知散斑进行分类,得到分类结果;
图像重建步骤:根据得到的分类结果,选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据逆散射函数对未知散斑进行未知物体的图像重建,实现散射介质成像;
所述散斑分类步骤包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定所属类别;
所述图像重建步骤包括:
图像重建采用的是支持向量回归,在相机平面采集物体图像散射后所形成的散斑强度图Eout与物体图像加载在空间光调制器上Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解散射系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就求解到散射系统所对应的逆散射函数,从而重建出未知物体图像。
2.根据权利要求1所述的一种基于机器学习的散射介质成像方法,其特征在于,所述散斑分类步骤包括:
散射系统:激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射介质以后,在相机上成像;在相机平面采集的物体图像散射后所形成的散斑与所加载物体图像之间的关系为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面上相应的相位,j表示:虚数,φ表示:像面上相应的相位的角度,K表示:散射介质对应的传输矩阵,K的大小为Mout×Min,为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min为输入物体图像的像素值,Mout为采集到的散斑所对应的像素数;
对表达式(1)的等号两边同时乘以对应的共轭转置,得到如下表达式:
3.根据权利要求2所述的一种基于机器学习的散射介质成像方法,其特征在于,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,满足线性或近似线性关系。
4.一种基于机器学习的散射介质成像系统,其特征在于,包括
散斑分类模块:对于测量到的未知物体对应的散斑,先基于已知的散斑和物体来对未知散斑进行分类;
图像重建模块:选取对应类别的已知的散斑和物体去学习散射介质对应的逆散射函数,然后再根据逆散射函数来对未知散斑进行未知物体的图像重建,实现散射介质成像;
所述散斑分类模块包括:在散射介质存在情况下,利用散斑与对应物体图像拥有同样的一组奇异值这一特点,对测量到的位置散斑进行散斑分类,确定所属类别;
所述图像重建模块包括:
图像重建采用的是支持向量回归,在相机平面采集物体图像散射后所形成的散斑强度图Eout与物体图像加载在空间光调制器上Ein之间的映射关系以函数形式表达如下:
Eout=f(Ein)
Ein=f-1(Eout) (3)
其中,f(·)与f-1(·)分别表示散射系统对应的散射函数与逆散射函数;
通过采集已知的物体及散斑图案,求解散射系统对应的逆散射函数:
其中,w是逆传感矩阵,符合关系式f-1(Eout)=wTEout+b,b是逆散射函数对应的截距向量,(·)T代表转置操作符,C是一个常数,用于平衡正则化和偏差,代表第n个输出散斑图案,代表第n个输入物体图像,ε为容许的误差,N是训练样本数;
通过求解表达式(5),就求解到散射系统所对应的逆散射函数,从而重建出未知物体图像。
5.根据权利要求4所述的一种基于机器学习的散射介质成像系统,其特征在于,所述散斑分类模块包括:
散射系统:激光光源在准直扩束以后照射到一块幅度型液晶空间光调制器上,经过散射介质以后,在相机上成像;在相机平面采集的物体图像散射后所形成的散斑与所加载物体图像之间的关系为:
其中,Eout表示:在相机平面采集物体图像散射后所形成的散斑强度图,表示Hadamard内积操作符,ejφ表示:像面上相应的相位,j表示:虚数,φ表示:像面上相应的相位的角度,K表示:散射介质相应的传输矩阵,其大小为Mout×Min,为列向量化后的物体图像,Ein表示:物体图像加载在空间光调制器上,Min为输入物体图像的像素值,Mout采集到的散斑所对应的像素数;
对表达式(1)的等号两边同时乘以其相应的共轭转置,得到如下表达式:
6.根据权利要求5所述的一种基于机器学习的散射介质成像系统,其特征在于,所述核技巧包括:当数据不满足线性关系或近似线性关系时,将数据映射到高维空间,满足线性或近似线性关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037578.3A CN110823812B (zh) | 2019-10-29 | 2019-10-29 | 基于机器学习的散射介质成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037578.3A CN110823812B (zh) | 2019-10-29 | 2019-10-29 | 基于机器学习的散射介质成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110823812A CN110823812A (zh) | 2020-02-21 |
CN110823812B true CN110823812B (zh) | 2020-11-24 |
Family
ID=69551085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911037578.3A Active CN110823812B (zh) | 2019-10-29 | 2019-10-29 | 基于机器学习的散射介质成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110823812B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111427045B (zh) * | 2020-04-16 | 2022-04-19 | 浙江大学 | 基于分布式多输入-多输出声纳的水下目标逆散射成像方法 |
CN113362412A (zh) * | 2021-06-02 | 2021-09-07 | 中国工程物理研究院激光聚变研究中心 | 一种基于深度学习的散斑频谱信息重建方法及装置 |
CN115984368A (zh) * | 2023-01-12 | 2023-04-18 | 中国科学院宁波材料技术与工程研究所 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11231371B2 (en) * | 2017-09-08 | 2022-01-25 | Purdue Research Foundation | Method for the determination of antibiotic susceptibility through stimulated Raman metabolic imaging |
US11085754B2 (en) * | 2017-12-12 | 2021-08-10 | Kla Corporation | Enhancing metrology target information content |
CN109828371B (zh) * | 2019-03-28 | 2021-07-27 | 清华大学深圳研究生院 | 一种基于移动散斑光源的大视场散射成像方法 |
CN110097611B (zh) * | 2019-04-28 | 2023-09-22 | 上海联影智能医疗科技有限公司 | 图像重建方法、装置、设备及存储介质 |
CN110333205B (zh) * | 2019-06-26 | 2021-11-26 | 西安电子科技大学 | 一种透过动态液体介质的散射成像装置和方法 |
-
2019
- 2019-10-29 CN CN201911037578.3A patent/CN110823812B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110823812A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110823812B (zh) | 基于机器学习的散射介质成像方法及系统 | |
Higham et al. | Deep learning for real-time single-pixel video | |
Chung et al. | Wide field-of-view fluorescence image deconvolution with aberration-estimation from Fourier ptychography | |
Jolivet et al. | Regularized reconstruction of absorbing and phase objects from a single in-line hologram, application to fluid mechanics and micro-biology | |
Strisciuglio et al. | Enhanced robustness of convolutional networks with a push–pull inhibition layer | |
Ambs et al. | Optical implementation of the Hough transform by a matrix of holograms | |
Song et al. | Sparsity-based pixel super resolution for lens-free digital in-line holography | |
Li et al. | Spectral pre-modulation of training examples enhances the spatial resolution of the phase extraction neural network (PhENN) | |
CN112161953B (zh) | 一种基于散射介质的宽光谱单帧散射成像方法 | |
US20210149337A1 (en) | Optical measurement system | |
Liu et al. | Scanning-free compressive holography for object localization with subpixel accuracy | |
Vannier et al. | Active polarimetric imager with near infrared laser illumination for adaptive contrast optimization | |
JPWO2019077955A1 (ja) | スペクトル分析装置およびスペクトル分析方法 | |
Rodack et al. | Millisecond exoplanet imaging: I. method and simulation results | |
Stockton et al. | Tomographic single pixel spatial frequency projection imaging | |
Tong et al. | Quantitative pure-phase object reconstruction under single-shot Fourier measurement via deep learning | |
Miller et al. | A machine learning approach to improving quality of atmospheric turbulence simulation | |
Muminov et al. | Toward simple, generalizable neural networks with universal training for low-SWaP hybrid vision | |
Madsen et al. | On-axis digital holographic microscopy: Current trends and algorithms | |
Yu et al. | Accurate blind extraction of arbitrary unknown phase shifts by an improved quantum-behaved particle swarm optimization in generalized phase-shifting interferometry | |
Thibault et al. | Optical diffraction microscopy in a teaching laboratory | |
Rizvi et al. | High-speed image-free target detection and classification in single-pixel imaging | |
Ohana et al. | Linear optical random projections without holography | |
Hedrich et al. | Damage segmentation using small convolutional neuronal networks and adversarial training methods on low-quality RGB video data | |
Kawamoto et al. | Vector sensor imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |