CN114155340A - 扫描光场数据的重建方法、装置、电子设备及存储介质 - Google Patents

扫描光场数据的重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114155340A
CN114155340A CN202111220758.2A CN202111220758A CN114155340A CN 114155340 A CN114155340 A CN 114155340A CN 202111220758 A CN202111220758 A CN 202111220758A CN 114155340 A CN114155340 A CN 114155340A
Authority
CN
China
Prior art keywords
light field
data
dimensional
field data
convolution network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111220758.2A
Other languages
English (en)
Other versions
CN114155340B (zh
Inventor
季向阳
戴琼海
张亿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111220758.2A priority Critical patent/CN114155340B/zh
Publication of CN114155340A publication Critical patent/CN114155340A/zh
Application granted granted Critical
Publication of CN114155340B publication Critical patent/CN114155340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及光场成像技术领域，特别涉及一种扫描光场数据的重建方法、装置、电子设备及存储介质，其中，方法包括：利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，抽取中任意一帧光场数据；对任意一帧光场数据进行重排，得到第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，采集新的扫描或者单帧光场数据，并将光场数据进行重排，得到第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。由此，该方法可以实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。

Description

扫描光场数据的重建方法、装置、电子设备及存储介质
技术领域
本申请涉及光场成像技术领域，特别涉及一种扫描光场数据的重建方法、装置、电子设备及存储介质。
背景技术
光场成像是一种快速三维成像方式，通过往原成像面加入一个微透镜阵列，传感器可以同时采集样本荧光的空间和角度信息，单帧光场成像是目前最快的三维成像方法，但是其分辨率收到一定的限制。由于系统需要在空间分辨率和角度分辨率之间进行取舍，所以单帧光场很难达到系统衍射极限分辨率。另外，扫描光场系统极大的提高了三维重建的分辨率，但是同时也牺牲了时间分辨率，同时轴向分辨率也有进一步提高的空间。
然而，随着卷积网络在近几年快速发展，在不同的视觉任务上都有优秀的表现，使用二维卷积网络进行三维解卷积面临一些问题，例如，二维卷积网络往往需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影，亟待解决。
发明内容
本申请提供一种扫描光场系统的重建方法、装置、电子设备及存储介质，以解决相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，并且实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。
本申请第一方面实施例提供一种扫描光场数据的重建方法，包括以下步骤：
利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据的同时，从所述初始扫描光场数据中抽取任意一帧光场数据；
对所述任意一帧光场数据进行重排，得到所述扫描光场系统的第一重排数据，并基于所述三维体数据和所述第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络；以及
采集新的扫描光场数据或者单帧光场数据，并将所述新的扫描光场数据或者单帧光场数据进行重排，得到所述扫描光场系统的第二重排数据；将所述第二重排数据输入至所述训练完成的三维卷积网络，利用所述训练完成的三维卷积网络进行解卷积，得到三维成像结果。
可选地，所述利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据，包括：
基于解卷积算法对所述初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
可选地，所述基于所述三维体数据和所述第一单帧重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，包括：
将所述第一重排数据作为所述三维卷积网络的输入，并将所述三维体数据作为对应的所述三维卷积网络的真值，训练所述三维卷积网络训练，得到所述训练完成的三维卷积网络。
本申请第二方面实施例提供一种扫描光场数据的重建装置，包括：
抽取模块，用于利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据的同时，从所述初始扫描光场数据中抽取任意一帧光场数据；
训练模块，用于对所述任意一帧光场数据进行重排，得到所述扫描光场系统的第一重排数据，并基于所述三维体数据和所述第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络；以及
重建模块，用于采集新的扫描光场数据或者单帧光场数据，并将所述新的扫描光场数据或者单帧光场数据进行重排，得到所述扫描光场系统的第二重排数据；将所述第二重排数据输入至所述训练完成的三维卷积网络，利用所述训练完成的三维卷积网络进行解卷积，得到三维成像结果。
可选地，所述抽取模块，具体用于：
基于解卷积算法对所述初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
可选地，所述训练模块，具体用于：
将所述第一重排数据作为所述三维卷积网络的输入，并将所述三维体数据作为对应的所述三维卷积网络的真值，训练所述三维卷积网络训练，得到所述训练完成的三维卷积网络。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的扫描光场数据的重建方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的扫描光场系统的数据方法。
由此，可以利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据，并对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，并采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。由此，解决了相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，并且实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种扫描光场数据的重建方法的流程图；
图2为根据本申请一个实施例的扫描光场系统的结构示意图；
图3为根据本申请一个实施例的光场数据重排的示例图；
图4为根据本申请一个实施例的训练三维卷积网络的示例图；
图5为根据本申请一个实施例的在1X放大倍数下的重建结果示意图；
图6为根据本申请一个实施例的在2X放大倍数下的重建结果示意图；
图7为根据本申请一个实施例的在3X放大倍数下的重建结果示意图；
图8为根据本申请一个实施例的在4X放大倍数下的重建结果示意图；
图9为本申请与相关技术中输出结果的对比示意图；
图10为根据本申请一个实施例的单帧光场输入时的重建流程图；
图11为根据本申请一个实施例的扫描光场数据输入时的重建流程图；
图12为根据本申请实施例的扫描光场数据的重建装置的方框示意图；
图13为根据本申请实施例的电子设备的方框示例图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的扫描光场系统的重建方法、装置、电子设备及存储介质。针对上述背景技术中心提到的解决了相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，本申请提供了一种扫描光场系统的重建方法，在该方法中，可以利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据，并对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，并采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。由此，解决了相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，并且实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。
具体而言，图1为本申请实施例所提供的一种扫描光场数据的重建方法的流程示意图。
如图1所示，该扫描光场数据的重建方法包括以下步骤：
在步骤S101中，利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据。
可选地，利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据，包括：基于解卷积算法对初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
其中，如图2所示，图2为本申请一个实施例的扫描光场系统的结构示意图，该扫描光场系统可以包括：物镜、微透镜阵列、4f系统和相机组成。目标物可以为待扫描样本。
具体而言，在利用扫描光场系统对目标物进行扫描时，本申请实施例可以采用一个电动位移台进行横向扫描，从而获取一系列光场图序列(即初始光场数据)。例如，假设扫描光场系统的每个微透镜阵列对应相机上的15×15个像素，则可以根据实际需求进行15×15，5×5，3×3等模式的扫描。
进一步地，解卷积是一种反成像过程的计算方法，从传感器采集到的数据恢复出目标的真实信息，衍射极限分辨条件可以为横向达到衍射极限分辨率。
其中，本申请实施例可以通过解卷积算法对初始光场数据进行处理，获得一个横向达到衍射极限分辨率的高分辨三维体数据，同时，本申请实施例可以从初始扫描光场数据中抽取任意一帧光场数据。
在步骤S102中，对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络。
应当理解的是，本申请实施例可以对光场数据进行重排，获得不同子孔径下的图像，即得到扫描光场系统的第一重排数据。其中，重排的方式可以如图3所示，也可以通过其他方式实现，在此不做具体限定。
另外，如果直接通过三维解卷积方法进行三维重建，虽然可以获得三维高分辨的重建结果，但是重建算法的耗时较长，甚至几十个小时不止，因此，本申请实施例可以先基于三维体数据和第一单帧重排数据对三维卷积网络训练，得到训练完成的三维卷积网络。
可选地，在一些实施例中，基于三维体数据和第一单帧重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，包括：将第一重排数据作为三维卷积网络的输入，并将三维体数据作为对应的三维卷积网络的真值，训练三维卷积网络训练，得到训练完成的三维卷积网络。
具体而言，基于三维体数据和第一单帧重排数据对三维卷积网络训练，得到训练完成的三维卷积网络的方式可以如图4所示，本申请实施例可以使用三维解卷积方法进行三维重建，以获得三维高分辨的重建结果(即训练重建结果)，将重建结果作为真值，并将真值与重排后的训练重排数据作为训练三维网络的输入，实现对三维卷积网络的训练
需要说明的是，在使用不同系统参数下的样本进行训练，可以使训练得到的三维卷积网络接受不同参数的输入。例如，三维卷积网络可以使用不同放大倍数下的光场数据作为输入，并且获得对应的重建结果，如图5至图8所示，图5至图8中为分别在1X、2X、3X和4X放大倍数下的重建结果，图5(a)、图6(a)、图7(a)和图8(a)的数据为三维卷积网络的输出，图5(b)、图6(b)、图7(b)和图8(b)的数据为真值。
由此，通过三维卷积网络，可以完成从单帧光场到高分辨三维体的映射过程，并且可以进一步提高扫描光场重建结果的轴向分辨率。另外，通过采用不同系统参数下的训练光场数据进行训练三维卷积网络，可以进一步提高网络的泛化能力，使训练完成的三维卷积网络适用于不同系统参数下的光场数据重建。
进一步地，结合图9可知，图9(a)为相关技术中采用二维卷积网络的重建结果，方框中为重建结果中出现的伪影，而图9(b)则不存在该现象。相比于二维卷积网络，三维卷积更能学习不同子孔径下的信息，提取与角度相关的特征。
在步骤S103中，采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。
具体而言，在三维卷积网络训练完成后，本申请实施例不仅支持单帧光场重排数据(第二重排数据)作为网络输入(即通过搭建一个三维卷积网络学习不同子孔径下图像的特征，完成从单帧光场到高分辨三维体的实时映射)，而且也可以支持扫描光场重排数据作为输入。其中，当单帧光场数据作为输入时，如图10所示，可以获得一个高分辨的三维重建结果，该重建结果的分辨率与扫描光场类似，横向可以达到衍射极限；当扫描光场数据作为输入时，如图11所示，由于网络学习到了光路的层析能力，可以进一步的提高三维重建结果的轴向分辨率。
根据本申请实施例提出的扫描光场数据的重建方法，可以利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据，并对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，并采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。由此，解决了相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，并且实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。
其次参照附图描述根据本申请实施例提出的扫描光场数据的重建装置。
图12是本申请实施例的扫描光场数据的重建装置的方框示意图。
如图12所示，该扫描光场数据的重建装置10包括：抽取模块100、训练模块200和重建模块300。
其中，抽取模块100用于利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据；
训练模块200用于对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络；以及
重建模块300用于采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。
可选地，抽取模块100具体用于：
基于解卷积算法对初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
可选地，训练模块200具体用于：
将第一重排数据作为三维卷积网络的输入，并将三维体数据作为对应的三维卷积网络的真值，训练三维卷积网络训练，得到训练完成的三维卷积网络。
需要说明的是，前述对扫描光场数据的重建方法实施例的解释说明也适用于该实施例的扫描光场数据的重建装置，此处不再赘述。
根据本申请实施例提出的扫描光场数据的重建装置，可以利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从初始扫描光场数据中获取三维体数据的同时，从初始扫描光场数据中抽取任意一帧光场数据，并对任意一帧光场数据进行重排，得到扫描光场系统的第一重排数据，并基于三维体数据和第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，并采集新的扫描光场数据或者单帧光场数据，并将新的扫描光场数据或者单帧光场数据进行重排，得到扫描光场系统的第二重排数据；将第二重排数据输入至训练完成的三维卷积网络，利用训练完成的三维卷积网络进行解卷积，得到三维成像结果。由此，解决了相关技术中采用二维卷积网络重建时需要更多的训练样本，且二维卷积网络进行解卷积容易出现伪影的问题，并且实现对光场数据进行快速重建，快速得到各向高分辨的三维结果。
图13为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器1301、处理器1302及存储在存储器1301上并可在处理器1302上运行的计算机程序。
处理器1302执行程序时实现上述实施例中提供的扫描光场数据的重建方法。
进一步地，电子设备还包括：
通信接口1303，用于存储器1301和处理器1302之间的通信。
存储器1301，用于存放可在处理器1302上运行的计算机程序。
存储器1301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器1301、处理器1302和通信接口1303独立实现，则通信接口1303、存储器1301和处理器1302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1301、处理器1302及通信接口1303，集成在一块芯片上实现，则存储器1301、处理器1302及通信接口1303可以通过内部接口完成相互间的通信。
处理器1302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的扫描光场数据的重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种扫描光场数据的重建方法，其特征在于，包括以下步骤：
利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据的同时，从所述初始扫描光场数据中抽取任意一帧光场数据；
对所述任意一帧光场数据进行重排，得到所述扫描光场系统的第一重排数据，并基于所述三维体数据和所述第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络；以及
采集新的扫描光场数据或者单帧光场数据，并将所述新的扫描光场数据或者单帧光场数据进行重排，得到所述扫描光场系统的第二重排数据；将所述第二重排数据输入至所述训练完成的三维卷积网络，利用所述训练完成的三维卷积网络进行解卷积，得到三维成像结果。
2.根据权利要求1所述的方法，其特征在于，所述利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据，包括：
基于解卷积算法对所述初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述三维体数据和所述第一单帧重排数据对三维卷积网络训练，得到训练完成的三维卷积网络，包括：
将所述第一重排数据作为所述三维卷积网络的输入，并将所述三维体数据作为对应的所述三维卷积网络的真值，训练所述三维卷积网络训练，得到所述训练完成的三维卷积网络。
4.一种扫描光场数据的重建装置，其特征在于，包括：
抽取模块，用于利用扫描光场系统对目标物进行扫描得到初始扫描光场数据，并从所述初始扫描光场数据中获取三维体数据的同时，从所述初始扫描光场数据中抽取任意一帧光场数据；
训练模块，用于对所述任意一帧光场数据进行重排，得到所述扫描光场系统的第一重排数据，并基于所述三维体数据和所述第一重排数据对三维卷积网络训练，得到训练完成的三维卷积网络；以及
重建模块，用于采集新的扫描光场数据或者单帧光场数据，并将所述新的扫描光场数据或者单帧光场数据进行重排，得到所述扫描光场系统的第二重排数据；将所述第二重排数据输入至所述训练完成的三维卷积网络，利用所述训练完成的三维卷积网络进行解卷积，得到三维成像结果。
5.根据权利要求4所述的装置，其特征在于，所述抽取模块，具体用于：
基于解卷积算法对所述初始光场数据进行处理，获取满足衍射极限分辨条件的三维体数据。
6.根据权利要求4所述的装置，其特征在于，所述训练模块，具体用于：
将所述第一重排数据作为所述三维卷积网络的输入，并将所述三维体数据作为对应的所述三维卷积网络的真值，训练所述三维卷积网络训练，得到所述训练完成的三维卷积网络。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-3任一项所述的扫描光场数据的重建方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-3任一项所述的扫描光场数据的重建方法。
CN202111220758.2A 2021-10-20 2021-10-20 扫描光场数据的重建方法、装置、电子设备及存储介质 Active CN114155340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111220758.2A CN114155340B (zh) 2021-10-20 2021-10-20 扫描光场数据的重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111220758.2A CN114155340B (zh) 2021-10-20 2021-10-20 扫描光场数据的重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114155340A true CN114155340A (zh) 2022-03-08
CN114155340B CN114155340B (zh) 2024-05-24

Family

ID=80462473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111220758.2A Active CN114155340B (zh) 2021-10-20 2021-10-20 扫描光场数据的重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114155340B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541501A (zh) * 2024-01-09 2024-02-09 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质
CN117541501B (zh) * 2024-01-09 2024-05-31 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN111429500A (zh) * 2020-02-18 2020-07-17 清华大学 轴向扫描光场数据的重建与拼接方法及装置
WO2021135773A1 (zh) * 2020-01-02 2021-07-08 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
WO2021139835A2 (zh) * 2021-03-24 2021-07-15 苏州深透智能科技有限公司 一种spect成像预测模型创建方法、装置、设备及存储介质
CN113504547A (zh) * 2021-09-07 2021-10-15 清华大学 基于扫描光场的视觉雷达成像系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
WO2021135773A1 (zh) * 2020-01-02 2021-07-08 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111429500A (zh) * 2020-02-18 2020-07-17 清华大学 轴向扫描光场数据的重建与拼接方法及装置
WO2021139835A2 (zh) * 2021-03-24 2021-07-15 苏州深透智能科技有限公司 一种spect成像预测模型创建方法、装置、设备及存储介质
CN113504547A (zh) * 2021-09-07 2021-10-15 清华大学 基于扫描光场的视觉雷达成像系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541501A (zh) * 2024-01-09 2024-02-09 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质
CN117541501B (zh) * 2024-01-09 2024-05-31 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN114155340B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
JP5268257B2 (ja) イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器
CN112308200B (zh) 神经网络的搜索方法及装置
CN110441271B (zh) 基于卷积神经网络的光场高分辨解卷积方法及系统
TWI399975B (zh) 藉由多孔徑成像系統捕捉的影像之融合
US20130016885A1 (en) Image processing apparatus, imaging system, and image processing system
CN108961180B (zh) 红外图像增强方法及系统
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN114461977A (zh) 重构电子轨道空间分布和电子束函数的方法及装置
CN114155340A (zh) 扫描光场数据的重建方法、装置、电子设备及存储介质
CN109934768B (zh) 一种基于配准方式的亚像素位移图像获取方法
Rasti et al. Iterative back projection based image resolution enhancement
CN111667407A (zh) 一种深度信息引导的图像超分辨率方法
Haq et al. Block-based compressed sensing of MR images using multi-rate deep learning approach
CN113191949B (zh) 多尺度超分辨率病理图像数字化方法、系统及存储介质
CN113433130A (zh) 宽场成像生成共聚焦成像的方法及装置
CN115185078A (zh) 非相干孔径合成像差校正方法及装置
CN109949383B (zh) 一种高动态光学投影层析成像方法及装置
CN110570355B (zh) 多尺度自动聚焦超分辨率处理系统和方法
CN114494258A (zh) 镜头的像差预测和图像重建方法及装置
CN110569943B (zh) 一种基于三维码的优化方法及系统
CN112070887A (zh) 一种基于深度学习的全切片数字成像景深扩展法
CN112614205B (zh) 图像重建方法及装置
CN112053304A (zh) 一种全切片数字成像单次拍照快速准焦复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant