CN113362412A - 一种基于深度学习的散斑频谱信息重建方法及装置 - Google Patents

一种基于深度学习的散斑频谱信息重建方法及装置 Download PDF

Info

Publication number
CN113362412A
CN113362412A CN202110612676.6A CN202110612676A CN113362412A CN 113362412 A CN113362412 A CN 113362412A CN 202110612676 A CN202110612676 A CN 202110612676A CN 113362412 A CN113362412 A CN 113362412A
Authority
CN
China
Prior art keywords
speckle
image
deep learning
detection system
reconstruction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110612676.6A
Other languages
English (en)
Inventor
王德恩
廖予祯
邓学伟
胡东霞
耿远超
郑胜亨
杨英
郭雨源
张鑫
韩伟
田野
袁强
袁晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laser Fusion Research Center China Academy of Engineering Physics
Original Assignee
Laser Fusion Research Center China Academy of Engineering Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laser Fusion Research Center China Academy of Engineering Physics filed Critical Laser Fusion Research Center China Academy of Engineering Physics
Priority to CN202110612676.6A priority Critical patent/CN113362412A/zh
Publication of CN113362412A publication Critical patent/CN113362412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的散斑频谱信息重建方法及装置,其方法包括以下步骤:步骤S1、建立物像与散斑图像频谱的训练数据集;步骤S2、基于卷积神经网络对训练数据集进行学习,得到训练完成的神经网络模型;步骤S3、获取待测目标的散斑图像频谱并输入至神经网络模型,得到待测目标的重建物像。本发明基于深度学习技术建立探测器信息和目标之间的关联关系,对目标像进行重构,实现无透镜散斑成像的目的。

Description

一种基于深度学习的散斑频谱信息重建方法及装置
技术领域
本发明属于图像重建技术领域,具体地说涉及一种基于深度学习的散斑频谱信息重建方法及装置。
背景技术
当光信息通道严重畸变,尤其存在强散射介质(透射类如生物组织、强雾霾等,反射类如墙体等)时,称为非视域条件,目标信息到达传感器将会呈现出散斑形式,无法直接成像。如何在非视域条件下进行成像,是成像科学中的前沿技术问题和复杂难题。成像的本质是信息的传递与重组,经由物体散射的光子便携带了物体的信息,散射光子在探测器上呈现的形式与目标存在关联,但用传统的解析方法难以快捷地求解出这一种关联关系,随着神经网络的兴起,快捷地求解此种关联关系成为可能。
发明内容
针对现有技术的种种不足,现提出一种基于深度学习的散斑频谱信息重建方法及装置,其基于深度学习技术建立探测器信息和目标之间的关联关系,对目标像进行重构,实现无透镜散斑成像的目的。
为实现上述目的,本发明提供如下技术方案:
一种基于深度学习的散斑频谱信息重建方法,其包括以下步骤:
步骤S1、建立物像与散斑图像频谱的训练数据集;
步骤S2、基于卷积神经网络对训练数据集进行学习,得到训练完成的神经网络模型;
步骤S3、获取待测目标的散斑图像频谱并输入至神经网络模型,得到待测目标的重建物像。
进一步地,步骤S1中,采集若干粗糙物体不同姿态的物像及与不同姿态的物像相应的散斑图像,对散斑图像进行频谱变换后,将物像与散斑图像频谱成对组成训练数据集。
进一步地,步骤S1中,建立光学平台,对粗糙物体同时进行直接成像及获取对应的散斑图像,不断变换粗糙物体的姿态,以获得不同姿态下的物像及相应的散斑图像。
进一步地,步骤S1中,沿入射激光束光路上设置准直扩束子系统,使激光束均匀照射于粗糙物体上,通过分光镜将从粗糙物体上反射出的激光束分成两路,其中一路激光束进入成像探测系统对粗糙物体进行成像,另外一路进入散斑探测系统中以获取散斑图像,不断旋转粗糙物体以变换粗糙物体的姿态,通过计算机控制成像检测系统与散斑探测系统同步采集并对散斑图像进行频谱变换,建立物像与散斑图像频谱的训练数据集。
进一步地,步骤S3中,沿入射激光束光路上设置准直扩束子系统,使激光束均匀照射于待测目标上,激光束从待测目标上反射并进入散斑探测系统中以获取散斑图像,通过计算机控制成像检测系统与散斑探测系统同步采集并对散斑图像进行频谱变换,将散斑图像频谱输入至神经网络模型,得到待测目标的重建物像。
进一步地,通过分光镜将从待测目标上反射出的激光束分成两路,其中一路进入散斑探测系统中以获取散斑图像,另外一路进入成像探测系统对待测目标进行成像,将散斑图像获得的重建物像与进入成像探测系统成像的物像进行结果对比分析。
进一步地,所述入射激光束为光纤点光源,准直扩束子系统为准直扩束透镜。
进一步地,所述散斑探测系统为CCD相机。
进一步地,所述成像探测系统为成像相机。
一种用于基于深度学习的散斑频谱信息重建方法的装置,包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行上述所述的基于深度学习的散斑频谱信息重建方法。
综上所述,本发明相比于现有技术具有如下有益效果:
(1)本发明利用深度学习技术建立探测器信息和目标之间的关联关系,对目标像进行重构,实现无透镜散斑成像。无透镜散斑成像技术具有可在非视域条件下对目标的观测,无透镜条件下,传感器可以实现与搭载平台之间的共形同构,不受传统光学成像系统中“视场”的限制等优势,在医学成像、掩体后目标观测、微观表面粗糙度测量等方面具有潜在应用。
(2)普通透镜成像过程中物像之间是点点对应的关系,而散斑与散射物体之间是点面对应关系,散斑图中每一局部都包含了来自物体上各点的光信息,理论上只要能探测到回光散斑的强度,便能实现图像识别;
(3)没有传统的透镜成像系统“光瞳”、“视场”、“体积和结构”等参数的制约,探测芯片扁平化,可以实现与搭载平台的结构融合,实现共形设计;
(4)对与物体无相似处的散斑图具备良好的重建效果。
附图说明
图1是本发明具体实施例1中基于深度学习的散斑频谱信息重建方法的方法流程图;
图2是本发明具体实施例1中物像与散斑图像的训练数据集构建方法示意图;
图3是本发明具体实施例1中训练完成的神经网络模型重建过程及重建结果示意图;
附图中:1、入射激光束;2、准直扩束子系统;3、粗糙物体;4、分光镜;5、成像相机;6、CCD相机;7、计算机。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案,下面结合本发明的实施例,对本发明的技术方案进行清楚、完整的描述,基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例,都应当属于本申请保护的范围。此外,以下实施例中提到的方向用词,例如“上”“下”“左”“右”等仅是参考附图的方向,因此,使用的方向用词是用来说明而非限制本发明创造。
具体实施例1
本发明基于散斑场中包含有物体表面轮廓信息,且散斑场任一区域理论上均包含同样的信息量,利用神经网络强大的挖掘关联关系能力,可从散斑图重建出物体表面轮廓信息的原理,提出了一种基于深度学习的散斑频谱信息重建方法,该方法如图1所示,其包括以下步骤:
一种基于深度学习的散斑频谱信息重建方法,其包括以下步骤:
步骤S1、建立物像与散斑图像频谱的训练数据集;
步骤S2、基于卷积神经网络对训练数据集进行学习,得到训练完成的神经网络模型;
步骤S3、获取待测目标的散斑图像频谱并输入至神经网络模型,得到待测目标的重建物像。
进一步地,步骤S1中,采集若干粗糙物体不同姿态的物像及与不同姿态的物像相应的散斑图像,对散斑图像进行频谱变换后,将物像与散斑图像频谱成对组成训练数据集。
进一步地,步骤S1中,建立光学平台,对粗糙物体同时进行直接成像及获取对应的散斑图像,不断变换粗糙物体的姿态,以获得不同姿态下的物像及相应的散斑图像。
进一步地,步骤S1中,沿入射激光束1光路上设置准直扩束子系统2,使激光束均匀照射于粗糙物体3上,通过分光镜4将从粗糙物体3上反射出的激光束分成两路,其中一路激光束进入成像探测系统对粗糙物体3进行成像,另外一路进入散斑探测系统中以获取散斑图像,通过粗糙物体3下方放置的电控旋转台上实时旋转以实现粗糙物体姿态的实时变换,通过计算机7控制成像检测系统与散斑探测系统同步采集并对散斑图像进行频谱变换,建立物像与散斑图像频谱的训练数据集。其中,成像探测系统采用成像相机5,散斑探测系统采用CCD相机6。
进一步地,步骤S3中,沿入射激光束光路上设置准直扩束子系统,使激光束均匀照射于待测目标上,激光束从待测目标上反射并进入散斑探测系统中以获取散斑图像,通过计算机对散斑图像进行频谱变换并将散斑图像频谱输入至神经网络模型,得到待测目标的重建物像。
进一步地,通过分光镜将从待测目标上反射出的激光束分成两路,其中一路进入散斑探测系统中以获取散斑图像,另外一路进入成像探测系统对待测目标进行成像,将散斑图像获得的重建物像与进入成像探测系统成像的物像进行结果对比分析。
进一步地,所述入射激光束为光纤点光源,准直扩束子系统为准直扩束透镜。
进一步地,所述散斑探测系统为CCD相机。
进一步地,所述成像探测系统为成像相机。
一种用于基于深度学习的散斑频谱信息重建方法的装置,包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行上述所述的基于深度学习的散斑频谱信息重建方法。
具体的,本实施例中散斑传感器位置无严格限制,与成像相机并不完全共轭,保证方法的普适性。本发明适用于基于单帧图像的重构。
以对小型摆件的频谱分析信息重建为例,该基于深度学习的散斑频谱信息重建方法分为以下步骤:
建立针对小型摆件的物像与散斑图像的数据集,如图2所示,搭建光学平台,同时对不同种小型摆件分两路进行直接成像和对应散斑采集,每种摆件不停变换姿态,结果存入计算机;对采集到的原始数据集进行处理,将散斑图像进行频谱变换,获得物像与散斑图像频谱的训练数据集;基于U-Net结构神经网络模型对上述数据集进行学习,得到训练完成的神经网络模型;将待测小摆件放置于光路上,通过散斑探测系统采集该待测小摆件的散斑图像并通过计算机对散斑图像进行频谱变换,将散斑图像频谱输入至上述神经网络模型,自动重建其待测摆件的重建物象。
用训练完成的深度神经网络从散斑强度分布中重建目标信息的流程和效果如图3所示,其中原始目标像由成像探测系统成像探测得到,散斑强度分布由散斑探测系统探测得到,对散斑强度分布进行二维快速傅里叶变换计算得到散斑频谱信息,散斑频谱信息输入训练好的神经网络解算得出重建结果,即为重建物像。
本发明中训练完成的神经网络可替代镜头作用,根据透镜的傅里叶变换性质,在数据处理时先将散斑信息作二维快速傅里叶变换计算,再进行训练,最终实现从散斑强度信息重建出目标像的目的。
以上已将本发明做一详细说明,以上所述,仅为本发明之较佳实施例而已,当不能限定本发明实施范围,即凡依本申请范围所作均等变化与修饰,皆应仍属本发明涵盖范围内。

Claims (10)

1.一种基于深度学习的散斑频谱信息重建方法,其特征在于,包括以下步骤:
步骤S1、建立物像与散斑图像频谱的训练数据集;
步骤S2、基于卷积神经网络对训练数据集进行学习,得到训练完成的神经网络模型;
步骤S3、获取待测目标的散斑图像频谱并输入至神经网络模型,得到待测目标的重建物像。
2.根据权利要求1所述的基于深度学习的散斑频谱信息重建方法,其特征在于,步骤S1中,采集若干粗糙物体不同姿态的物像及与不同姿态的物像相应的散斑图像,对散斑图像进行频谱变换后,将物像与散斑图像频谱成对组成训练数据集。
3.根据权利要求2所述的基于深度学习的散斑频谱信息重建方法,其特征在于,步骤S1中,搭建光学平台,对粗糙物体同时进行直接成像及获取对应的散斑图像,不断变换粗糙物体的姿态,以获得不同姿态下的物像及相应的散斑图像。
4.根据权利要求3所述的基于深度学习的散斑频谱信息重建方法,其特征在于,步骤S1中,沿入射激光束光路上设置准直扩束子系统,使激光束均匀照射于粗糙物体上,通过分光镜将从粗糙物体上反射出的激光束分成两路,其中一路激光束进入成像探测系统对粗糙物体进行成像,另外一路进入散斑探测系统中以获取散斑图像,不断旋转粗糙物体以变换粗糙物体的姿态,通过计算机控制成像检测系统与散斑探测系统同步采集并对散斑图像进行频谱变换,建立物像与散斑图像频谱的训练数据集。
5.根据权利要求4所述的基于深度学习的散斑频谱信息重建方法,其特征在于,步骤S3中,沿入射激光束光路上设置准直扩束子系统,使激光束均匀照射于待测目标上,激光束从待测目标上反射并进入散斑探测系统中以获取散斑图像,通过计算机对散斑图像进行频谱变换并将散斑图像频谱输入至神经网络模型,得到待测目标的重建物像。
6.根据权利要求5所述的基于深度学习的散斑频谱信息重建方法,其特征在于,通过分光镜将从待测目标上反射出的激光束分成两路,其中一路进入散斑探测系统中以获取散斑图像,另外一路进入成像探测系统对待测目标进行成像,将散斑图像获得的重建物像与进入成像探测系统成像的物像进行结果对比分析。
7.根据权利要求4-6任一项所述的基于深度学习的散斑频谱信息重建方法,其特征在于,所述入射激光束为光纤点光源,准直扩束子系统为准直扩束透镜。
8.根据权利要求4-6任一项所述的基于深度学习的散斑频谱信息重建方法,其特征在于,所述散斑探测系统为CCD相机。
9.根据权利要求4-6任一项所述的基于深度学习的散斑频谱信息重建方法,其特征在于,所述成像探测系统为成像相机。
10.一种用于基于深度学习的散斑频谱信息重建方法的装置,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在执行所述程序指令时,执行如权利要求1至9中任一项所述的基于深度学习的散斑频谱信息重建方法。
CN202110612676.6A 2021-06-02 2021-06-02 一种基于深度学习的散斑频谱信息重建方法及装置 Pending CN113362412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110612676.6A CN113362412A (zh) 2021-06-02 2021-06-02 一种基于深度学习的散斑频谱信息重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110612676.6A CN113362412A (zh) 2021-06-02 2021-06-02 一种基于深度学习的散斑频谱信息重建方法及装置

Publications (1)

Publication Number Publication Date
CN113362412A true CN113362412A (zh) 2021-09-07

Family

ID=77531124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110612676.6A Pending CN113362412A (zh) 2021-06-02 2021-06-02 一种基于深度学习的散斑频谱信息重建方法及装置

Country Status (1)

Country Link
CN (1) CN113362412A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044320A1 (en) * 2010-03-11 2012-02-23 Trex Enterprises Corp. High resolution 3-D holographic camera
CN110274877A (zh) * 2019-05-21 2019-09-24 西安电子科技大学 一种基于散射介质的3d光谱成像系统及方法
CN110823812A (zh) * 2019-10-29 2020-02-21 上海交通大学 基于机器学习的散射介质成像方法及系统
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739116A (zh) * 2020-07-16 2020-10-02 南京理工大学 基于深度神经网络透过散射介质的目标定位和重建方法
CN112819082A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种基于深度学习的卫星频谱感知数据重构方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044320A1 (en) * 2010-03-11 2012-02-23 Trex Enterprises Corp. High resolution 3-D holographic camera
CN110274877A (zh) * 2019-05-21 2019-09-24 西安电子科技大学 一种基于散射介质的3d光谱成像系统及方法
CN110823812A (zh) * 2019-10-29 2020-02-21 上海交通大学 基于机器学习的散射介质成像方法及系统
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739116A (zh) * 2020-07-16 2020-10-02 南京理工大学 基于深度神经网络透过散射介质的目标定位和重建方法
CN112819082A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种基于深度学习的卫星频谱感知数据重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵碧霞 等: "基于Bayes理论的散斑三维重建方法", 《计算机工程》 *
陈明徕 等: "基于全相位谱分析的剪切光束成像目标重构", 《物理学报》 *

Similar Documents

Publication Publication Date Title
US8400494B2 (en) Method and system for object reconstruction
US11368608B2 (en) Compressed sensing based object imaging system and imaging method therefor
US10624537B2 (en) Parallel optical coherence tomography apparatuses, systems, and related methods
Chatterjee et al. Ear biometrics recognition using laser biospeckled fringe projection profilometry
CN107430052A (zh) 成像粒子分析装置
Cheng et al. High-resolution photoacoustic microscopy with deep penetration through learning
CN110292361B (zh) 一种超宽范围的皮肤成像设备与方法
CN102846312B (zh) 一种多维度成像检测仪及其数据反演方法
CN110455834B (zh) 基于光强传输方程的x射线单次曝光成像装置及方法
Huang et al. Application of autofocusing methods in continuous-wave terahertz in-line digital holography
CN109377549A (zh) 一种oct指尖数据的实时处理与三维可视化方法
CN109752377A (zh) 一种分光式双模态投影层析组织血管成像装置及方法
CN113298700A (zh) 一种在散射场景中的高分辨图像重构方法
EP3992609B1 (en) Image processing apparatus, evaluation system, recording medium and image processing method
CN104568214A (zh) 光致等离子体三维温度场的测量装置和测量方法
CN113362412A (zh) 一种基于深度学习的散斑频谱信息重建方法及装置
Labati et al. Virtual environment for 3-D synthetic fingerprints
CN114189623B (zh) 基于光场的屈光图形生成方法、装置、设备及存储介质
US20230351648A1 (en) A tomography system and a method for analysis of biological cells
CN210810980U (zh) 一种超宽范围的皮肤成像设备
Nicolas et al. 3D reconstruction of compressible flow by synchronized multi camera BOS
US8917901B2 (en) Method and apparatus for determining the surface profile of an object
He et al. Ghost imaging object recognition based on self-attention mechanism network
US12029481B2 (en) Parallel optical coherence tomography apparatuses, systems, and related methods
US20220230306A1 (en) System and method for reconstructing morphology and dynamics of biological cells from holographic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907

RJ01 Rejection of invention patent application after publication