CN110927115B - 基于深度学习的无透镜双型融合目标检测装置及方法 - Google Patents

基于深度学习的无透镜双型融合目标检测装置及方法 Download PDF

Info

Publication number
CN110927115B
CN110927115B CN201911254429.2A CN201911254429A CN110927115B CN 110927115 B CN110927115 B CN 110927115B CN 201911254429 A CN201911254429 A CN 201911254429A CN 110927115 B CN110927115 B CN 110927115B
Authority
CN
China
Prior art keywords
imaging
neural network
type
module
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911254429.2A
Other languages
English (en)
Other versions
CN110927115A (zh
Inventor
赵巨峰
吴小辉
崔光茫
毛海锋
林君
张钰
臧月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911254429.2A priority Critical patent/CN110927115B/zh
Publication of CN110927115A publication Critical patent/CN110927115A/zh
Application granted granted Critical
Publication of CN110927115B publication Critical patent/CN110927115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N2021/458—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods using interferential sensor, e.g. sensor fibre, possibly on optical waveguide

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Holo Graphy (AREA)

Abstract

本发明公开了基于深度学习的无透镜双型融合目标检测装置及方法，装置包括双型融合全息无透镜成像模块和神经网络模块，所述双型融合全息无透镜成像模块包括激光源，微孔，滤光片，第一反射镜，第二反射镜，第一相干光源、第二相干光源，目标样本及载玻片，第一CCD传感器、第二CCD传感器，计算机和移动滑轨，神经网络模块包括位置参数优化神经网络和目标检测区域卷积神经网络组成，双型融合无透镜成像模块同时获取透射型模块和反射型模块成像信息，并最终融合重建更高质量的成像结果，同时由神经网络不断优化位置参数，进一步优化成像结果，最后由目标检测区域卷积神经网络预测结果，并输出易懂、显性的评估结果。

Description

基于深度学习的无透镜双型融合目标检测装置及方法
技术领域
本发明涉及计算成像、深度学习及无透镜显微成像技术领域，具体涉及基于深度学习的无透镜双型融合目标检测装置及方法。
背景技术
现如今，落后地区的疾病诊断、食品安全检测及环境污染调查等问题日益突出，传统的光学显微系统使得光学显微镜日趋昂贵且笨重，并难于维护。落后地区因为地域偏僻，人才缺乏等原因，导致器材及技术得不到良好的推广及应用。
无透镜成像技术是近年来发展出来的一种新型的成像有效显微技术：它不用透镜进行聚焦，而是直接将样本透射至光检测器上记录图像，并利用有效算法进行清晰图像的重建，无透镜成像装置不仅具有视场大、分辨率高等优点，还具有良好的便携性、即时性和可操作性。光检测器又分为电荷耦合元件[Charge-coupled device，CCD]和互补金属半导体氧化物[Complementary Metal Oxide Semiconductor，CMOS]。根据成像的原理不同，无透镜成像技术被分为阴影成像、荧光成像和数字全息成像三类，三类同时具有明显的优点及缺点，在不同领域会受到一定的限制。并且传统光学显微镜的技术已经相对成熟，成像质量较好，而无透镜显微系统中样品与光检测器间的距离不易控制，成像结果受到严重影响。除此成像质量之外，因为落后地区的人才缺乏问题，要对现有社会问题得到有效解决，就需要将显微技术所需要的背景知识转换为可直接阅读的信息。
为了解决上述问题，本发明寻求设计提供了基于深度学习的无透镜双型融合目标检测装置及方法。
发明内容
本发明提供基于深度学习的无透镜双型融合目标检测装置及方法。
为了解决无透镜显微成像技术中的成像结果质量不佳等问题，以及针对实际应用中对成像结果专业知识的高要求性，提出了解决方案。
为了实现上述发明目的，本发明设计的基基于深度学习的无透镜双型融合目标检测装置及技术方案为：
基于深度学习的无透镜双型融合目标检测装置，包括双型融合全息无透镜成像模块和神经网络模块，所述双型融合全息无透镜成像模块包括激光源，微孔，滤光片，第一反射镜，第二反射镜，第一相干光源、第二相干光源，目标样本及载玻片，第一CCD传感器、第二CCD传感器，计算机和移动滑轨，所述第一反射镜和第二反射镜安装在移动滑轨上并沿着移动滑轨移动，且目标样本及载玻片在相干光源的照射范围之内，激光源沿着光路方向移动；所述激光源，微孔，滤光，第一反射镜，第二反射镜，目标样本及载玻片，第二CCD传感器构成反射型模块；所述第一相干光源、第二相干光源，目标样本及载玻片，第一CCD传感器构成透射型模块；神经网络模块包括位置参数优化神经网络和目标检测区域卷积神经网络组成，双型融合无透镜成像模块同时获取透射型模块和反射型模块成像信息，并最终融合重建更高质量的成像结果，同时由神经网络不断优化位置参数，进一步优化成像结果，最后由目标检测区域卷积神经网络预测结果，并输出易懂、显性的评估结果。
基于深度学习的无透镜双型融合目标检测方法，包括以下步骤：步骤一、通过双型融合全息无透镜成像装置，快速重建目标样本的成像信息；步骤二、将成像后目标样本及装置的位置参数输入至神经网络训练，得到最佳位置参数；步骤三、固定位置参数后，重新对目标样本进行重建成像，得到重建结果输入区域目标检测卷积神经网络测试，得到对微生物、细胞等的预测结果，并输出评估数据。
进一步的，所述的步骤一包括：
步骤1：激光器射出的光波通过微孔发生衍射，形成衍射光波，因其相干性过强，灰尘颗粒物容易对结果造成影响，所以微孔于激光器之间的距离应接近；
步骤2：衍射光源透过滤光片后，经过第二反射镜折射至第一反射镜，并于第一反射镜反射回第二反射镜，并透过第二反射镜，照射至目标样本；
步骤3：物光波照射至第二反射镜并折射到第二CCD传感器后成像，形成第一干涉图样；
步骤4：第一相干光源、第二相干光源，同时对目标样本进行照射，并于第一CCD传感器成像，形成第二干涉图样，得到的成像结果含有三维信息；
步骤5：通过反射型全息无透镜模块得到第一干涉图，同时通过透射型全息无透镜模块得到第二干涉图样，将其输入计算机后融合重建，采集有效信息得到更高质量的图片，并记录了三维信息。
进一步的，所述的步骤二包括：
步骤6：同时记录光检测器所采集的图像，以及激光器、反射镜组、目标样本及载玻片及相干光源的位置参数，输入至神经网络进行训练，以高质量成像为目标，不断优化结果，最终得到最佳位置参数；
步骤7：反馈至硬件装置调节位置参数；
步骤8：重复步骤1至5，得到重建结果；
步骤9：训练目标检测卷积神经网络，并不断微调，得到对应数据集的目标检测网络。
进一步的，所述步骤1中根据衍射光波的传播距离z0不同，由近及原可划分为三个区域分别是瑞利-索墨菲衍射区、菲涅尔衍射区以及夫琅和费衍射区，光波振动的复振幅可以用瑞利-索墨菲衍射公式精确表示：
Figure GDA0003563283820000031
式中，η表示衍射孔的面积，λ为光波长，s为激光源到微孔的距离，r为微孔到目标的距离，θ为s方向和r方向的夹角；
通过反射镜反射回CCD传感器，并记录干涉图样，但采用激光作为光源，用为激光的强相干性使得所成像的散斑声较大，其原因是记录期间表面的损伤以及灰尘等都会引起冗余衍射现象，这些微小颗粒的衍射光斑会叠加到最终的全息图中，通过缩短微孔和激光源的距离，可有效抑制这种散斑噪声，增强图像的信噪比。
进一步的，所述步骤2中中性密度滤光片是一种可以减少或者改变所有波长或者颜色但不会改变改变色调的滤光片，使用这种滤光片可以部署较大光圈的照相机，从而减小场景的景深，更好地将目标与背景分离，中性密度滤光片，光学密度d，所有的光学功率是通过滤光片来传递的，可以计算出对数的比值衡量强度(I)，入射强度(I0)，公式如下：
I/I0＝10d或d＝-logI0。
进一步的，所述步骤3中：光波透过反射镜组反射，在物平面上分别形成物光和参考光，分别为：
Figure GDA0003563283820000032
Figure GDA0003563283820000033
二者分别为物光和参考光的振幅分布，而
Figure GDA0003563283820000034
和
Figure GDA0003563283820000035
分别为其相位分布，根据光的干涉原理，物光和参考光相干之后的强度公式为：
Figure GDA0003563283820000036
上述所求得的强度分布就是一般成像技术所获得的像分布，称之为振幅信息，如果目标样本的纵向深度小，振幅信息可近似认为像的纹理分布，而所求得的相位分布是一般成像技术所没有的信息，全息成像由于借助了参考光，所以能记录下相位信息，它通常用于展示物体的面形结构；
根据光的衍射理论，在全息再现步骤中，照明光经过全息图的衍射实现物光波的重建。并且在数字全息中，不用实际的光波照射得到的全息图，而是通过数值模拟的办法重现。这里使用的是卷积法：
令
Figure GDA0003563283820000041
那么当目标样本大小相对于衍射距离z0非常小时，并且满足菲涅尔衍射近似条件式时，可近似得出：
Figure GDA0003563283820000042
并对上式进行傅里叶变化以及逆变换进行计算，得到衍射光波分布。
上述通过卷积法的得到的物光波的复振幅分布U(xi,yj)，可以将其写成复数形式：
Figure GDA0003563283820000043
可以求解得到其强度分布：
I(xi,yi)＝|U(xi,yi)|2＝A2(xi,yi)
和其相位分布：
Figure GDA0003563283820000044
进一步的，所述步骤4中通过相干光源照射对目标样本成像，同理可在第一CCD传感器中得到成像信息，与反射型数字全息成像相同，得到透射型数字全息成像物光波的复振幅分布；
最后用最小二乘法将相位解包裹问题转换为最优解问题，将同时得到的两个模块的复振幅分布的相位分布通过最小二乘法找到最优解：
Figure GDA0003563283820000045
Figure GDA0003563283820000046
min S＝min S1+min S2
得到双型融合的成像结果；
双型融合完成后，通过平移样品，多点采集图像及采集不同时间的图像获取包含不同信息的多幅低分辨率图像，最终将其整合为一张含有更多信息的高分辨率图像。
进一步的，所述步骤6中：将目标样本位置k,以及激光源到微孔的距离s，为微孔到目标的距离r，s方向和r方向的夹角θ。数据输入至神经网络，并对应输入成像结果，通过微调上述数据，使得成像结果接近于最佳成像结果后固定上述参数。
进一步的，所述步骤三包括：
步骤10：将重建结果输入值已训练完毕的区域目标检测卷积神经网络，卷积神经网络为区域目标检测卷积神经网络，网络可输出成像结果的类别、区域及预测概率，并将数据归纳输出评估文件，可以即时，显性的得到诊断结果。
所述深度学习神经网络为一种目标检测神经网络，可以有效的记录待测目标的位置、类别及预测概率。
与现有的技术相比，本发明具有如下技术效果：
(1)本发明由反射型及透射型融合模块及深度学习微生物目标检测模块构成，通过两块CCD传感器采集双型干涉图样，并于传输至计算机作融合处理，重建出质量较好的图片，二者同时采集，也加快了速度；
(2)记录装置内各位置参数，并输入至神经网络以最佳成像结果为目标函数，得到最佳位置参数，由神经网络优化其位置客观值，可以有效减小人工调节工作量；
(3)生成重建后的图像后，输入至深度神经网络做目标检测，自动标注图像中的目标后，输出种类、所在区域及预测概率三种数据，将其汇总并输出，最后做出评估报告。
附图说明
图1为本发明方法的具体操作流程图；
图2为该实验装置的简单示意图。
1-激光源；2-微孔；3-滤光片；401-第一反射镜；402-第二反射镜；501-第一相干光源；502-第二相干光源；6-目标样本及载玻片；701-第一CCD传感器；702-第二CCD传感器；8-计算机；9-移动滑轨。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用于解释本发明，并不用于限定本发明。
数字全息技术的两步成像法：记录和再现。全息图的记录中，通过借助参考光来记录物体的衍射光波；再现时，照明光波经过全息图的衍射实现物光波的重建。
以下结合附图实施例对本发明的实施作进一步说明。
首先实验装置的简单示意图如图2所示，装置包括双型融合全息无透镜成像模块和神经网络模块，所述双型融合全息无透镜成像模块包括激光源1，微孔2，滤光片3，第一反射镜401，第二反射镜402，第一相干光源501、第二相干光源502，目标样本及载玻片6，第一CCD传感器701、第二CCD传感器702，计算机8，移动滑轨9。第一反射镜401和第二反射镜402均安装在移动滑轨9上的，调整时沿着移动滑轨9调整，第一相干光源401和第二相干光源402是固定的，且目标样本及载玻片6在相干光源的照射范围之内。激光源1沿着光路方向移动。
所述激光源1由激光二极管[laser diode]组成；所述滤光片3为中性密度滤光片[neutral density filter]；所述反射镜组由两块反射镜组成，分别为第一反射镜401和第二反射镜402，两块反射镜起到不同的作用。
所述电荷耦合元件[Charge-coupled device，CCD]为一种光检测器，包括第一CCD传感器701和第二CCD传感器702，其特点为图像质量较高，但能耗高，易发热，同时制作工艺复杂，价格高。与其相比互补金属半导体氧化物[Complementary Metal OxideSemiconductor，CMOS]能耗低，制作工艺简单，价格低廉，但图像质量较低。本发明选择成像质量较高的电荷耦合元件。
上述元件组成了无透镜全息显微成像系统中的透射型模块和反射型模块，反射型模块包括激光源1，微孔2，滤光片3，第一反射镜401，第二反射镜402，目标样本及载玻片6，第二CCD传感器702。透射型模块包括相干光源501、502，目标样本及载玻片6，第一CCD传感器701。
所述神经网络模块在计算机8上完成，神经网络模块包括位置参数优化神经网络和目标检测区域卷积神经网络，双型融合无透镜成像模块同时获取透射型模块和反射型模块成像信息，并最终融合重建更高质量的成像结果，同时由神经网络不断优化位置参数，进一步优化成像结果，最后由目标检测区域卷积神经网络预测结果，并输出易懂、显性的评估结果。
本发明方法的具体操作流程图如图1所示，它包括以下步骤：
步骤1：激光器射出的光波通过微孔发生衍射，形成衍射光波，因其相干性过强，灰尘颗粒物容易对结果造成影响，所以微孔于激光器之间的距离应接近；
所述步骤1中由于光的波粒二象性，当激光器散发出来的光通过微孔之后，会出现光偏离直线传播的现象，称为光的衍射。根据衍射光波的传播距离z0不同，由近及原可划分为三个区域分别是瑞利-索墨菲衍射区、菲涅尔衍射区以及夫琅和费衍射区，光波振动的复振幅可以用瑞利-索墨菲衍射公式精确表示：
Figure GDA0003563283820000071
式中，η表示衍射孔的面积，λ为光波长，s为激光源到微孔的距离，r为微孔到目标的距离，θ为s方向和r方向的夹角。
通过反射镜反射回CCD传感器，并记录干涉图样，但采用激光作为光源，用为激光的强相干性使得所成像的散斑声较大，其原因是记录期间表面的损伤以及灰尘等都会引起冗余衍射现象，这些微小颗粒的衍射光斑会叠加到最终的全息图中，通过缩短微孔和激光源的距离，可有效抑制这种散斑噪声，增强图像的信噪比。
步骤2：衍射光源透过滤光片后，经过第二反射镜402折射至第一反射镜401，并于第一反射镜401反射回第二反射镜402，并透过第二反射镜402，照射至目标样本6；
所述步骤2中中性密度滤光片[neutral density filter]是一种可以减少或者改变所有波长或者颜色但不会改变改变色调的滤光片，使用这种滤光片可以部署较大光圈的照相机，从而减小场景的景深，更好地将目标与背景分离。中性密度滤光片，光学密度d，所有的光学功率是通过滤光片来传递的，可以计算出对数的比值衡量强度(I)，入射强度(I0)，公式如下：
I/I0＝10d或d＝-logI0
步骤3：物光波照射至第二反射镜402并折射到第二CCD传感器702后成像，形成第一干涉图样；所述步骤3中光波透过反射镜组反射，在物平面上分别形成物光和参考光，分别为：
Figure GDA0003563283820000072
Figure GDA0003563283820000081
二者分别为物光和参考光的振幅分布，而
Figure GDA0003563283820000082
和
Figure GDA0003563283820000083
分别为其相位分布，根据光的干涉原理，物光和参考光相干之后的强度公式为：
Figure GDA0003563283820000084
上述所求得的强度分布就是一般成像技术所获得的像分布，称之为振幅信息，如果目标样本的纵向深度小，振幅信息可近似认为像的纹理分布。而所求得的相位分布是一般成像技术所没有的信息，全息成像由于借助了参考光，所以能记录下相位信息，它通常用于展示物体的面形结构。
根据光的衍射理论，在全息再现步骤中，照明光经过全息图的衍射实现物光波的重建。并且在数字全息中，不用实际的光波照射得到的全息图，而是通过数值模拟的办法重现。这里使用的是卷积法：
令
Figure GDA0003563283820000085
那么当目标样本大小相对于衍射距离z0非常小时，并且满足菲涅尔衍射近似条件式时，可近似得出：
Figure GDA0003563283820000086
并对上式进行傅里叶变化以及逆变换进行计算，得到衍射光波分布。
上述通过卷积法的得到的物光波的复振幅分布U(xi,yj)，可以将其写成复数形式：
Figure GDA0003563283820000087
可以求解得到其强度分布：
I(xi,yi)＝|U(xi,yi)|2＝A2(xi,yi)
和其相位分布：
Figure GDA0003563283820000088
步骤4：与步骤1同时，相干光源501、502，同时对目标样本进行照射，并与CCD传感器701成像，形成第二干涉图样，得到的成像结果含有三维信息；
所述步骤4中通过相干光源照射对目标样本成像，同理可在CCD传感器中得到成像信息，于反射型数字全息成像相同，得到透射型数字全息成像物光波的复振幅分布。
最后用最小二乘法将相位解包裹问题转换为最优解问题，将同时得到的两个模块的复振幅分布的相位分布通过最小二乘法找到最优解：
Figure GDA0003563283820000091
Figure GDA0003563283820000092
min S＝min S1+min S2
得到双型融合的成像结果。
步骤5：通过反射型全息无透镜模块得到第一干涉图样1，同时通过透射型全息无透镜模块得到第二干涉图样2，将其输入计算机后融合重建，采集有效信息得到更高质量的图片，并记录了三维信息；
为了获得含有更多信息的高分辨率图像，可以通过平移样品，多点采集图像及采集不同时间的图像获取包含不同信息的多幅低分辨率图像，最终将其整合为一张含有更多信息的高分辨率图像，具体整合方式与双型融合方式相同，采用最小二乘法将相位解包裹问题转换为最优解问题，将同时得到的多个模块的复振幅分布的相位分布通过最小二乘法找到最优解。
步骤6：同时记录光检测器所采集的图像，以及激光器、反射镜组、目标样本及相干光源的位置参数，输入至神经网络进行训练，以高质量成像为目标，不断优化结果，最终得到最佳位置参数；
所述步骤6中：将目标样本位置k,以及激光源到微孔的距离s，为微孔到目标的距离r，s方向和r方向的夹角θ。数据输入至神经网络，并对应输入成像结果，通过微调上述数据，使得成像结果接近于最佳成像结果后固定上述参数。
步骤7：反馈至硬件装置调节位置参数；
步骤8：重复步骤1至5，得到重建结果；
步骤9：训练目标检测卷积神经网络，并不断微调，得到对应数据集的目标检测网络；
步骤10：将重建结果输入值已训练完毕的区域目标检测卷积神经网络，网络可输出成像结果的类别、区域及预测概率，并将数据归纳输出评估文件，可以即时，显性的得到诊断结果。
双型融合全息无透镜成像装置涉及计算成像、深度学习及无透镜显微成像技术领域，通过双型融合重建图像，在不减慢成像速度的基础上，提高成像的质量。除此之外，通过神经网络优化装置位置参数，有效的提高效率，减少工作量。最后通过目标检测神经网络，对成像结果进行检测识别，并得到评估结果，将复杂的，难以观察的目标检测物，转换为显性的、易懂的语言描述，可以使观察者快速对诊断评估结果做出反映，能够在最佳时间有效遏制住问题的恶化。

Claims (8)

1.一种基于深度学习的无透镜双型融合目标检测装置，包括双型融合全息无透镜成像模块和神经网络模块，所述双型融合全息无透镜成像模块包括激光器(1)，微孔(2)，滤光片(3)，第一反射镜(401)，第二反射镜(402)，第一相干光源(501)、第二相干光源(502)，目标样本及载玻片(6)，第一CCD传感器(701)、第二CCD传感器(702)，计算机(8)和移动滑轨(9)，其特征在于，所述第一反射镜(401)和第二反射镜(402)安装在移动滑轨(9)上并沿着移动滑轨(9)移动，且目标样本及载玻片(6)在相干光源的照射范围之内，激光器(1)沿着光路方向移动；所述激光器(1)，微孔(2)，滤光片(3)，第一反射镜(401)，第二反射镜(402)，目标样本及载玻片(6)，第二CCD传感器(702)构成反射型模块；所述第一相干光源(501)、第二相干光源(502)，目标样本及载玻片(6)，第一CCD传感器(701)构成透射型模块；神经网络模块包括位置参数优化神经网络和目标检测区域卷积神经网络组成，双型融合无透镜成像模块同时获取透射型模块和反射型模块成像信息，对透射型模块和反射型模块成像信息进行融合重建；将成像后激光器、反射镜组、目标样本及相干光源的位置参数输入至神经网络训练，得到最佳位置参数，固定位置参数后，重新对目标样本进行重建成像，得到重建结果，输入区域目标检测卷积神经网络测试，得到对微生物、细胞的预测结果，并输出易懂、显性的评估结果；
通过反射型全息无透镜模块得到第一干涉图，得到反射型数字全息成像物光波的复振幅分布，同时通过透射型全息无透镜模块得到第二干涉图样，得到透射型数字全息成像物光波的复振幅分布，最后用最小二乘法将相位解包裹问题转换为最优解问题，将同时得到的两个模块的复振幅分布的相位分布通过最小二乘法找到最优解：
Figure FDA0003563283810000011
Figure FDA0003563283810000012
min S＝min S1+min S2
得到双型融合的成像结果。
2.一种基于深度学习的无透镜双型融合目标检测方法，使用权利要求1所述的基于深度学习的无透镜双型融合目标检测装置，其特征在于包括以下步骤：步骤一、通过双型融合全息无透镜成像装置，快速重建目标样本的成像信息；步骤二、将成像后激光器、反射镜组、目标样本及相干光源的位置参数输入至神经网络训练，得到最佳位置参数；步骤三、固定位置参数后，重新对目标样本进行重建成像，得到重建结果，输入区域目标检测卷积神经网络测试，得到对微生物、细胞的预测结果，并输出评估数据。
3.根据权利要求2所述的基于深度学习的无透镜双型融合目标检测方法，其特征在于所述的步骤一包括：
步骤1：激光器(1)射出的光波通过微孔(2)发生衍射，形成衍射光波，因其相干性过强，灰尘颗粒物容易对结果造成影响，所以微孔与激光器之间的距离应接近；
步骤2：衍射光源透过滤光片(3)后，经过第二反射镜(402)反射至第一反射镜(401)，并于第一反射镜(401)反射回第二反射镜(402)，并透过第二反射镜(402)，照射至目标样本；
步骤3：物光波照射至第二反射镜(402)并反射到第二CCD传感器(702)后成像，形成第一干涉图样；
步骤4：第一相干光源(501)、第二相干光源(502)，同时对目标样本进行照射，并于第一CCD传感器(701)成像，形成第二干涉图样，得到的成像结果含有三维信息；
步骤5：通过反射型全息无透镜模块得到第一干涉图，同时通过透射型全息无透镜模块得到第二干涉图样，将其输入计算机后融合重建，采集有效信息得到更高质量的图片，并记录了三维信息。
4.根据权利要求3所述的基于深度学习的无透镜双型融合目标检测方法，其特征在于所述的步骤二包括：
步骤6：同时记录光检测器所采集的图像，以及激光器(1)、反射镜组、目标样本及载玻片(6)及相干光源的位置参数，输入至神经网络进行训练，以高质量成像为目标，不断优化结果，最终得到最佳位置参数；
步骤7：反馈至硬件装置调节位置参数；
步骤8：重复步骤1至5，得到重建结果；
步骤9：训练目标检测卷积神经网络，并不断微调，得到对应数据集的目标检测网络。
5.根据权利要求3所述的深度学习的无透镜双型融合目标检测方法，其特征在于：所述步骤2中滤光片为中性密度滤光片。
6.根据权利要求3所述的基于深度学习的无透镜双型融合目标检测方法，其特征在于双型融合完成后，通过平移样品，多点采集图像及采集不同时间的图像获取包含不同信息的多幅低分辨率图像，最终将其整合为一张含有更多信息的高分辨率图像。
7.根据权利要求4所述的基于深度学习的无透镜双型融合目标检测方法，其特征在于所述步骤6中：将目标样本位置k,以及激光器到微孔的距离s，微孔到目标的距离r，s方向和r方向的夹角θ数据输入至神经网络，并对应输出成像结果，通过微调上述数据，使得成像结果接近于最佳成像结果后固定上述参数。
8.根据权利要求2所述的基于深度学习的无透镜双型融合目标检测方法，其特征在于所述步骤三包括：步骤10：将重建结果输入至已训练完毕的区域目标检测卷积神经网络，该网络输出成像结果的类别、区域及预测概率，并将数据归纳输出评估文件。
CN201911254429.2A 2019-12-09 2019-12-09 基于深度学习的无透镜双型融合目标检测装置及方法 Active CN110927115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911254429.2A CN110927115B (zh) 2019-12-09 2019-12-09 基于深度学习的无透镜双型融合目标检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911254429.2A CN110927115B (zh) 2019-12-09 2019-12-09 基于深度学习的无透镜双型融合目标检测装置及方法

Publications (2)

Publication Number Publication Date
CN110927115A CN110927115A (zh) 2020-03-27
CN110927115B true CN110927115B (zh) 2022-05-13

Family

ID=69858648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254429.2A Active CN110927115B (zh) 2019-12-09 2019-12-09 基于深度学习的无透镜双型融合目标检测装置及方法

Country Status (1)

Country Link
CN (1) CN110927115B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476847B (zh) * 2020-04-03 2024-01-30 中国水利水电科学研究院 用于结构光参数标定的虚拟仪器装置及其方法
CN111561877B (zh) * 2020-04-24 2021-08-13 西安交通大学 一种基于点衍射干涉仪的可变分辨率相位解包裹方法
CN111982787B (zh) * 2020-07-01 2023-04-07 西安理工大学 无透镜成像细胞检测装置的系统表征参数自适应提取方法
CN112051247B (zh) * 2020-08-21 2022-10-18 杭州电子科技大学 一种基于叠层成像的无透镜成像装置及其相位恢复方法
CN112712877B (zh) * 2020-12-07 2024-02-09 西安电子科技大学 大视场高通量高分辨病理切片分析仪
CN117191821B (zh) * 2023-11-03 2024-02-06 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019043162A1 (en) * 2017-09-01 2019-03-07 Ludwigs-Maximilians-Universität München DETECTION OF BIOLOGICAL CELLS AND CELL LINE TRACING
CN110308547A (zh) * 2019-08-12 2019-10-08 青岛联合创智科技有限公司 一种基于深度学习的稠密样本无透镜显微成像装置与方法
CN112505911A (zh) * 2020-11-13 2021-03-16 曾周杰 基于深度学习的无透镜自适应显微成像装置
CN112697751A (zh) * 2020-12-07 2021-04-23 杭州电子科技大学 多角度照明无透镜成像方法、系统及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999178B2 (en) * 2003-08-26 2006-02-14 Ut-Battelle Llc Spatial-heterodyne interferometry for reflection and transmission (SHIRT) measurements
US10209673B2 (en) * 2010-07-07 2019-02-19 University Of Hyogo Holographic microscope, microscopic subject hologram image recording method, method of creation of hologram for reproduction of high-resolution image, and method for reproduction of image
WO2018070451A1 (ja) * 2016-10-11 2018-04-19 国立大学法人神戸大学 ディジタルホログラフィック顕微鏡

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019043162A1 (en) * 2017-09-01 2019-03-07 Ludwigs-Maximilians-Universität München DETECTION OF BIOLOGICAL CELLS AND CELL LINE TRACING
CN110308547A (zh) * 2019-08-12 2019-10-08 青岛联合创智科技有限公司 一种基于深度学习的稠密样本无透镜显微成像装置与方法
CN112505911A (zh) * 2020-11-13 2021-03-16 曾周杰 基于深度学习的无透镜自适应显微成像装置
CN112697751A (zh) * 2020-12-07 2021-04-23 杭州电子科技大学 多角度照明无透镜成像方法、系统及装置

Also Published As

Publication number Publication date
CN110927115A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110927115B (zh) 基于深度学习的无透镜双型融合目标检测装置及方法
US11169367B2 (en) Three-dimensional microscopic imaging method and system
Wu et al. Imaging biological tissue with high-throughput single-pixel compressive holography
US11368608B2 (en) Compressed sensing based object imaging system and imaging method therefor
CN107102526B (zh) 基于逐点扫描的太赫兹反射式全息成像系统及成像方法
CN111123683B (zh) 基于光子筛的定量相关振幅全息方法
KR101605178B1 (ko) 다중 기준 영상들을 이용한 ３차원 물체 형상 복원 장치 및 방법
CN106094487B (zh) 基于多个记录距离的太赫兹同轴全息成像方法
CN106054570B (zh) 强度传输方程实现单幅数字全息图较大相位重建方法
CN108196357A (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
CN102288128A (zh) 一种通过旋转线偏振光偏振态记录与合成的数字全息三维显微观测装置
CN111561864A (zh) 一种基于偏振光栅的点衍射数字全息显微装置及方法
CN107885070B (zh) 一种基于slm的非相干数字全息单次曝光成像方法与系统
CN110673330A (zh) 基于散射的成像系统景深拓展装置及方法
CN116519601A (zh) 基于艾里光束联合稀疏采样的光声显微成像系统及方法
CN101957171B (zh) 一种可有效抑制零级和共轭像的同轴数字全息方法
CN114241072B (zh) 一种叠层成像重建方法及系统
Wang et al. Zero-order term suppression in off-axis holography based on deep learning method
CN101122774A (zh) 高分辨率数字全息像的获取装置
KR102129069B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
CN115494005A (zh) 基于红外显微数字全息的半导体缺陷检测装置及方法
CN208766385U (zh) 基于多角度照明以及傅立叶域编码调制的层叠成像系统
CN104535171A (zh) 一种基于像面数字全息的微振动远程实时面探测系统
CN114624981B (zh) 一种基于时间展宽的超快全息显微成像方法及其系统
CN113009801B (zh) 高速多方向线共焦数字全息三维显微成像方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant