CN106846463A - 基于深度学习神经网络的显微图像三维重建方法及系统 - Google Patents

基于深度学习神经网络的显微图像三维重建方法及系统 Download PDF

Info

Publication number
CN106846463A
CN106846463A CN201710024267.8A CN201710024267A CN106846463A CN 106846463 A CN106846463 A CN 106846463A CN 201710024267 A CN201710024267 A CN 201710024267A CN 106846463 A CN106846463 A CN 106846463A
Authority
CN
China
Prior art keywords
neutral net
image
micro
deep learning
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710024267.8A
Other languages
English (en)
Other versions
CN106846463B (zh
Inventor
戴琼海
周婧雯
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710024267.8A priority Critical patent/CN106846463B/zh
Publication of CN106846463A publication Critical patent/CN106846463A/zh
Application granted granted Critical
Publication of CN106846463B publication Critical patent/CN106846463B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于深度学习神经网络的显微图像三维重建方法及系统，该方法包括以下步骤：构建神经网络；获取神经网络的训练集；根据训练集对神经网络进行训练，以得到网络参数；根据网络参数，对待重建的物体进行三维重建，以得到重建图像。本发明通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，大大提升纵向分辨率。

Description

基于深度学习神经网络的显微图像三维重建方法及系统
技术领域
本发明涉及计算摄像及机器学习技术领域，特别涉及一种基于深度学习神经网络的显微图像三维重建方法及系统。
背景技术
光场成像作为成像技术中的一个新的方向，可以实现拍摄后无需机械对焦，而是通过图像处理计算实现再聚焦，并且可以实现3D重建和多目标点聚焦等，这一特点使得其在未来生活以及显微成像领域有很大运用。
在传统相机或显微镜的主透镜和成像面之间加入一个微透镜阵列，例如图1所示，采用这种装置得到图像即为光场成像，该相机可以同时捕捉到空间和角度信息，即光场的四维信息。这样，在一次曝光后记录到的光场利用后续处理可以达到原成像物体的信息。装置得到的最终图像分辨率受到微透镜个数影响，像素数受限于微透镜个数；纵向分辨率受到物镜NA等因素影响。
通常后续处理采用点扩散函数建模，前向逆向推导迭代的方法，该方法模拟光线传播过程，对穿过物镜以及微透镜的光线传播进行建模获得PSF矩阵，利用微透镜阵列得到的光场图像与该矩阵进行解卷积计算，得到重建三维图像信息。这种方法需要对成像系统进行较为准确的数据拟合和假设，包括假设光线为波长一致的单色光、单一传播介质折射率的要求。这一图像重建方法不能有效应对折射率变化的介质或弱散射情况，纵向分辨率不易提高，受到建模的制约。另外，该方法需要进行大量迭代计算，较为耗时。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习神经网络的显微图像三维重建方法，该方法通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，大大提升纵向分辨率。
本发明的另一个目的在于提出一种基于深度学习神经网络的显微图像三维重建系统。
为了实现上述目的，本发明第一方面的实施例提出了一种基于深度学习神经网络的显微图像三维重建方法，包括以下步骤：构建神经网络；获取所述神经网络的训练集；根据所述训练集对所述神经网络进行训练，以得到网络参数；根据所述网络参数，对待重建的物体进行三维重建，以得到重建图像。
另外，根据本发明上述实施例的基于深度学习神经网络的显微图像三维重建方法还可以具有如下附加的技术特征：
在一些示例中，所述获取所述神经网络的训练集，进一步包括：通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取所述神经网络的训练集。
在一些示例中，所述根据所述网络参数，对待重建的物体进行三维重建，进一步包括：将所述待重建的物体的光场图像投入所述神经网络，以对所述待重建的物体进行三维重建。
在一些示例中，所述神经网络包括特征提取层、转化层和归纳层。
在一些示例中，所述训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像。
根据本发明实施例的基于深度学习神经网络的显微图像三维重建方法，设计了神经网络的结构，使其能够在相同微透镜成像系统成像图像的原始数据，即相同的待恢复光场图像质量下，得到分辨率更高的三维图像。同时，该方法普适性强，对于所有的样本，使用相同的一套微透镜阵列显微成像系统和神经网络即可。也即，该方法通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，降低对成像系统的数据要求，大大提升纵向分辨率，具有鲁棒性强，计算量小，不需要对样本的预知信息，不需要对硬件系统的大量拟合，控制实现简单，成像速度快的优点。
为了实现上述目的，本发明第二方面的实施例提出了一种基于深度学习神经网络的显微图像三维重建系统，包括：构建模块，用于构建神经网络；获取模块，用于获取所述神经网络的训练集；训练模块，用于根据所述训练集对所述神经网络进行训练，以得到网络参数；重建模块，用于根据所述网络参数，对待重建的物体进行三维重建，以得到重建图像。
另外，根据本发明上述实施例的基于深度学习神经网络的显微图像三维重建系统还可以具有如下附加的技术特征：
在一些示例中，所述获取模块用于通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取所述神经网络的训练集。
在一些示例中，所述重建模块用于将所述待重建的物体的光场图像投入所述神经网络，以对所述待重建的物体进行三维重建。
在一些示例中，所述神经网络包括特征提取层、转化层和归纳层。
在一些示例中，所述训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像。
根据本发明实施例的基于深度学习神经网络的显微图像三维重建系统，设计了神经网络的结构，使其能够在相同微透镜成像系统成像图像的原始数据，即相同的待恢复光场图像质量下，得到分辨率更高的三维图像。同时，该系统普适性强，对于所有的样本，使用相同的一套微透镜阵列显微成像系统和神经网络即可。也即，该系统通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，降低对成像系统的数据要求，大大提升纵向分辨率，具有鲁棒性强，计算量小，不需要对样本的预知信息，不需要对硬件系统的大量拟合，控制实现简单，成像速度快的优点。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是现有技术中的微透镜阵列法的成像示意图；
图2是本发明实施例的单个神经元的示意图；
图3是本发明实施例的神经网络的示意图；
图4是根据本发明实施例的基于深度学习神经网络的显微图像三维重建方法的流程图；
图5是根据本发明一个实施例的神经网络的结构示意图；以及
图6是根据本发明一个具体实施例的基于深度学习神经网络的显微图像三维重建方法的仿真复原效果示意图；
图7是根据本发明实施例的基于深度学习神经网络的显微图像三维重建系统的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以下结合附图描述根据本发明实施例的基于深度学习神经网络的显微图像三维重建方法及系统。
在描述本发明实施例的基于深度学习神经网络的显微图像三维重建方法之前，首先对深度学习及神经网络进行相关的描述。
具体地，深度学习是计算机科学机器学习领域中一个新的方向，通过学习样本数据的内在规律和表示层次，在学习中获得对诸如文字、图像等数据的解释，模拟动物神经中枢系统的计算模型，通过大量相互连接的神经元进行计算，用来对输入与输出的复杂关系进行建模。单个神经元是一个运算单元，如图2所示，其输入是训练样本x1,x2,x3以及偏置项，输出结果是输入通过激活函数f之后的结果。将多个神经元连接在一起，一个神经元的输出作为下个神经元的输入，成为神经网络，如图3所示。每层输出作为下层输入传播的步骤作为前向传播的过程，便可得到神经网络数据处理的最终结果。而训练该神经网络内部函数的各项参数的过程即为学习过程，通过将数据集前向传播结果与已知标签的带入代价函数进行计算，利用反向传播算法优化网络参数，使得该代价函数获得最小值，即使得结果最大程度与标签拟合。学习得到的最终结果使神经网络达到最优，从而能够对数据进行相同需求的处理。
基于此，本发明的实施例提出了一种基于深度学习神经网络的显微图像三维重建方法。图4是根据本发明一个实施例的基于深度学习神经网络的显微图像三维重建方法的流程图。如图4所示，该方法包括以下步骤：
步骤S1：构建神经网络。
步骤S2：获取神经网络的训练集。
具体地，在步骤S2中，获取神经网络的训练集，进一步包括：通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取神经网络的训练集。
步骤S3：根据训练集对神经网络进行训练，以得到网络参数。
步骤S4：根据网络参数，对待重建的物体进行三维重建，以得到重建图像。
具体地，在步骤S4中，根据网络参数，对待重建的物体进行三维重建，进一步包括：将待重建的物体的光场图像投入神经网络，以对待重建的物体进行三维重建。
其中，在本发明的一个实施例中，如图5所示，神经网络包括特征提取层、转化层和归纳层。具体地，特征提取层将光场图像数据与不同掩膜进行卷积计算，得到转化层的数据输入；转化层将特征与不同掩膜进行卷积计算，得到转化层结果；归纳层，获得不同通道下的输出数据，每个通道即为纵向轴同一位置的一层图像。需要说明的是，神经网络每层的掩膜个数即大小可根据输入数据和输出数据的要求进行调整，从而获得最适合的神经网络。
在本发明的一个实施例中，上述的训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像，图像的纵向分辨率影响训练结果，通过降低层间距离可实现神经网络对数据恢复的纵向分辨率的提高。
作为具体的示例，图6展示了本发明实施例的方法的实际仿真复原效果图，其中，图6(a)为原PSF方法得到的低分辨率的输出图像，图6(b)为本发明实施例的方法恢复的高分辨率图像。从图6中可以看出，与传统的PSF方法(点扩散函数)相比，本发明实施例的方法恢复图像纵向分辨率较高、对成像硬件系统数据要求低，并且分辨率高、鲁棒性强、普适性强、对硬件数据需求不高。
也就是说，本发明实施例的方法采用深度学习神经网络，通过已有数据集进行训练，得到网络参数。将单张光场图像投入网络，恢复三维物体的各层图像。相比于其他图像恢复方法，本发明的方法鲁棒性增强，并且不再依赖于对样本和硬件系统的先验知识，具有普适性，同时降低了硬件控制的难度。
综上，根据本发明实施例的基于深度学习神经网络的显微图像三维重建方法，设计了神经网络的结构，使其能够在相同微透镜成像系统成像图像的原始数据，即相同的待恢复光场图像质量下，得到分辨率更高的三维图像。同时，该方法普适性强，对于所有的样本，使用相同的一套微透镜阵列显微成像系统和神经网络即可。也即，该方法通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，降低对成像系统的数据要求，大大提升纵向分辨率，具有鲁棒性强，计算量小，不需要对样本的预知信息，不需要对硬件系统的大量拟合，控制实现简单，成像速度快的优点。
本发明的进一步实施例还提出了一种基于深度学习神经网络的显微图像三维重建系统。
图7是根据本发明一个实施例的基于深度学习神经网络的显微图像三维重建系统的结构框图。如图7所示，该系统100包括：构建模块110、获取模块120、训练模块130及重建模块140。
其中，构建模块110用于构建神经网络。
获取模块120用于获取神经网络的训练集。
具体地，获取模块120用于通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取神经网络的训练集。
训练模块130用于根据训练集对神经网络进行训练，以得到网络参数。
重建模块140用于根据网络参数，对待重建的物体进行三维重建，以得到重建图像。
具体地，重建模块140用于将待重建的物体的光场图像投入神经网络，以对待重建的物体进行三维重建。
其中，在本发明的一个实施例中，神经网络包括特征提取层、转化层和归纳层。具体地，特征提取层将光场图像数据与不同掩膜进行卷积计算，得到转化层的数据输入；转化层将特征与不同掩膜进行卷积计算，得到转化层结果；归纳层，获得不同通道下的输出数据，每个通道即为纵向轴同一位置的一层图像。需要说明的是，神经网络每层的掩膜个数即大小可根据输入数据和输出数据的要求进行调整，从而获得最适合的神经网络。
在本发明的一个实施例中，上述的训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像，图像的纵向分辨率影响训练结果，通过降低层间距离可实现神经网络对数据恢复的纵向分辨率的提高。
需要说明的是，本发明实施例的基于深度学习神经网络的显微图像三维重建系统的具体实现方式与本发明实施例的基于深度学习神经网络的显微图像三维重建方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，此处不再赘述。
综上，根据本发明实施例的基于深度学习神经网络的显微图像三维重建系统，设计了神经网络的结构，使其能够在相同微透镜成像系统成像图像的原始数据，即相同的待恢复光场图像质量下，得到分辨率更高的三维图像。同时，该系统普适性强，对于所有的样本，使用相同的一套微透镜阵列显微成像系统和神经网络即可。也即，该系统通过对光场图像和不同层对焦图像的学习得到图像恢复重建网络，从而提高三维重建速度和分辨率，降低对成像系统的数据要求，大大提升纵向分辨率，具有鲁棒性强，计算量小，不需要对样本的预知信息，不需要对硬件系统的大量拟合，控制实现简单，成像速度快的优点。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (10)

1.一种基于深度学习神经网络的显微图像三维重建方法，其特征在于，包括以下步骤：
构建神经网络；
获取所述神经网络的训练集；
根据所述训练集对所述神经网络进行训练，以得到网络参数；
根据所述网络参数，对待重建的物体进行三维重建，以得到重建图像。
2.根据权利要求1所述的基于深度学习神经网络的显微图像三维重建方法，其特征在于，所述获取所述神经网络的训练集，进一步包括：
通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取所述神经网络的训练集。
3.根据权利要求1所述的基于深度学习神经网络的显微图像三维重建方法，其特征在于，所述根据所述网络参数，对待重建的物体进行三维重建，进一步包括：
将所述待重建的物体的光场图像投入所述神经网络，以对所述待重建的物体进行三维重建。
4.根据权利要求1-4任一项所述的基于深度学习神经网络的显微图像三维重建方法，其特征在于，所述神经网络包括特征提取层、转化层和归纳层。
5.根据权利要求1所述的基于深度学习神经网络的显微图像三维重建方法，其特征在于，所述训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像。
6.一种基于深度学习神经网络的显微图像三维重建系统，其特征在于，包括：
构建模块，用于构建神经网络；
获取模块，用于获取所述神经网络的训练集；
训练模块，用于根据所述训练集对所述神经网络进行训练，以得到网络参数；
重建模块，用于根据所述网络参数，对待重建的物体进行三维重建，以得到重建图像。
7.根据权利要求6所述的基于深度学习神经网络的显微图像三维重建系统，其特征在于，所述获取模块用于通过待重建物体各聚焦面图像以及通过微透镜阵列的光场图像获取所述神经网络的训练集。
8.根据权利要求6所述的基于深度学习神经网络的显微图像三维重建系统，其特征在于，所述重建模块用于将所述待重建的物体的光场图像投入所述神经网络，以对所述待重建的物体进行三维重建。
9.根据权利要求6-8任一项所述的基于深度学习神经网络的显微图像三维重建系统，其特征在于，所述神经网络包括特征提取层、转化层和归纳层。
10.根据权利要求6所述的基于深度学习神经网络的显微图像三维重建系统，其特征在于，所述训练集的数据为同一个微透镜成像系统获得的光场图像及其对应物体的层析图像。
CN201710024267.8A 2017-01-13 2017-01-13 基于深度学习神经网络的显微图像三维重建方法及系统 Expired - Fee Related CN106846463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710024267.8A CN106846463B (zh) 2017-01-13 2017-01-13 基于深度学习神经网络的显微图像三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710024267.8A CN106846463B (zh) 2017-01-13 2017-01-13 基于深度学习神经网络的显微图像三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN106846463A true CN106846463A (zh) 2017-06-13
CN106846463B CN106846463B (zh) 2020-02-18

Family

ID=59123813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710024267.8A Expired - Fee Related CN106846463B (zh) 2017-01-13 2017-01-13 基于深度学习神经网络的显微图像三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN106846463B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369204A (zh) * 2017-07-27 2017-11-21 北京航空航天大学 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法
CN108784697A (zh) * 2018-07-11 2018-11-13 天津工业大学 一种基于深度学习神经网络的人体组织电导率分布重建方法及系统
CN108986210A (zh) * 2018-08-27 2018-12-11 清华大学 三维场景重建的方法和设备
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109924949A (zh) * 2019-03-05 2019-06-25 北京工业大学 一种基于卷积神经网络的近红外光谱断层成像重建方法
CN110243828A (zh) * 2019-07-18 2019-09-17 华中科技大学 基于卷积神经网络的生物组织三维成像方法
CN110238840A (zh) * 2019-04-24 2019-09-17 中山大学 一种基于视觉的机械臂自主抓取方法
CN110243827A (zh) * 2019-07-18 2019-09-17 华中科技大学 一种适用于光透明样本的快速三维成像方法
CN110378473A (zh) * 2019-07-26 2019-10-25 清华大学 基于深度学习和随机图案的相位层析方法及装置
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110675333A (zh) * 2019-08-26 2020-01-10 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110823094A (zh) * 2019-11-08 2020-02-21 北京理工大学 一种点光源三维坐标测量方法及装置
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
WO2020125740A1 (zh) * 2018-12-20 2020-06-25 深圳市中兴微电子技术有限公司 图像重建方法、装置、设备及计算机可读存储介质
CN111462299A (zh) * 2020-03-02 2020-07-28 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111627079A (zh) * 2019-02-27 2020-09-04 Fei 公司 使用卷积神经网络进行即时单粒子重建
CN111968070A (zh) * 2020-04-22 2020-11-20 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置
CN112149379A (zh) * 2020-08-14 2020-12-29 全芯智造技术有限公司 用于仿真集成电路的方法和设备以及计算机可读介质
CN112839149A (zh) * 2020-12-31 2021-05-25 光沦科技(深圳)有限公司 异构微光学成像模块及其图像重建方法和装置
CN113383225A (zh) * 2018-12-26 2021-09-10 加利福尼亚大学董事会 使用深度学习将二维荧光波传播到表面上的系统和方法
US20220043357A1 (en) * 2020-08-07 2022-02-10 Kla Corporation 3d structure inspection or metrology using deep learning
CN114511605A (zh) * 2022-04-18 2022-05-17 清华大学 光场深度估计方法、装置、电子设备及存储介质
US11405547B2 (en) 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
CN115220211A (zh) * 2022-07-29 2022-10-21 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN117201691A (zh) * 2023-11-02 2023-12-08 湘江实验室 一种基于深度学习的全景扫描关联成像方法
CN117876377A (zh) * 2024-03-13 2024-04-12 浙江荷湖科技有限公司 一种基于大模型的显微成像通用神经提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043962A (zh) * 2010-09-01 2011-05-04 北京大学 数字全息三维物体识别方法与系统
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20130044234A1 (en) * 2011-08-19 2013-02-21 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106204489A (zh) * 2016-07-12 2016-12-07 四川大学 结合深度学习与梯度转换的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
CN102043962A (zh) * 2010-09-01 2011-05-04 北京大学 数字全息三维物体识别方法与系统
US20130044234A1 (en) * 2011-08-19 2013-02-21 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106204489A (zh) * 2016-07-12 2016-12-07 四川大学 结合深度学习与梯度转换的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUNGJIN YOON: "《Learning a Deep Convolutional Network for Light-Field Image Super-Resolution》", 《IEEE》 *
陈华 等: "《基于神经网络的三维宽场显微图像复原研究》", 《光子学报》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369204A (zh) * 2017-07-27 2017-11-21 北京航空航天大学 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法
CN107369204B (zh) * 2017-07-27 2020-01-07 北京航空航天大学 一种从单幅照片恢复出场景基本三维结构的方法
CN108784697A (zh) * 2018-07-11 2018-11-13 天津工业大学 一种基于深度学习神经网络的人体组织电导率分布重建方法及系统
WO2020024079A1 (zh) * 2018-07-28 2020-02-06 合刃科技（深圳）有限公司 图像识别系统
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109496316B (zh) * 2018-07-28 2022-04-01 合刃科技（深圳）有限公司 图像识别系统
CN108986210A (zh) * 2018-08-27 2018-12-11 清华大学 三维场景重建的方法和设备
CN108986210B (zh) * 2018-08-27 2020-07-14 清华大学 三维场景重建的方法和设备
US11810265B2 (en) 2018-12-20 2023-11-07 Sanechips Technology Co., Ltd. Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium
WO2020125740A1 (zh) * 2018-12-20 2020-06-25 深圳市中兴微电子技术有限公司 图像重建方法、装置、设备及计算机可读存储介质
CN113383225A (zh) * 2018-12-26 2021-09-10 加利福尼亚大学董事会 使用深度学习将二维荧光波传播到表面上的系统和方法
US11405547B2 (en) 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
CN111627079A (zh) * 2019-02-27 2020-09-04 Fei 公司 使用卷积神经网络进行即时单粒子重建
CN109924949A (zh) * 2019-03-05 2019-06-25 北京工业大学 一种基于卷积神经网络的近红外光谱断层成像重建方法
CN110238840A (zh) * 2019-04-24 2019-09-17 中山大学 一种基于视觉的机械臂自主抓取方法
CN110443882B (zh) * 2019-07-05 2021-06-11 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110243827B (zh) * 2019-07-18 2020-11-20 华中科技大学 一种适用于光透明样本的快速三维成像方法
CN110243827A (zh) * 2019-07-18 2019-09-17 华中科技大学 一种适用于光透明样本的快速三维成像方法
CN110243828A (zh) * 2019-07-18 2019-09-17 华中科技大学 基于卷积神经网络的生物组织三维成像方法
CN110243828B (zh) * 2019-07-18 2021-07-30 华中科技大学 基于卷积神经网络的生物组织三维成像方法
CN110378473A (zh) * 2019-07-26 2019-10-25 清华大学 基于深度学习和随机图案的相位层析方法及装置
CN110675333B (zh) * 2019-08-26 2023-04-07 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110675333A (zh) * 2019-08-26 2020-01-10 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110823094A (zh) * 2019-11-08 2020-02-21 北京理工大学 一种点光源三维坐标测量方法及装置
CN110823094B (zh) * 2019-11-08 2021-03-30 北京理工大学 一种点光源三维坐标测量方法及装置
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
CN111462299B (zh) * 2020-03-02 2022-07-19 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111462299A (zh) * 2020-03-02 2020-07-28 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111968070A (zh) * 2020-04-22 2020-11-20 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置
CN111968070B (zh) * 2020-04-22 2023-12-05 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置
US20220043357A1 (en) * 2020-08-07 2022-02-10 Kla Corporation 3d structure inspection or metrology using deep learning
US11644756B2 (en) * 2020-08-07 2023-05-09 KLA Corp. 3D structure inspection or metrology using deep learning
CN112149379A (zh) * 2020-08-14 2020-12-29 全芯智造技术有限公司 用于仿真集成电路的方法和设备以及计算机可读介质
CN112839149A (zh) * 2020-12-31 2021-05-25 光沦科技(深圳)有限公司 异构微光学成像模块及其图像重建方法和装置
CN114511605A (zh) * 2022-04-18 2022-05-17 清华大学 光场深度估计方法、装置、电子设备及存储介质
CN115220211A (zh) * 2022-07-29 2022-10-21 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN115220211B (zh) * 2022-07-29 2024-03-08 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN117201691A (zh) * 2023-11-02 2023-12-08 湘江实验室 一种基于深度学习的全景扫描关联成像方法
CN117201691B (zh) * 2023-11-02 2024-01-09 湘江实验室 一种基于深度学习的全景扫描关联成像方法
CN117876377A (zh) * 2024-03-13 2024-04-12 浙江荷湖科技有限公司 一种基于大模型的显微成像通用神经提取方法
CN117876377B (zh) * 2024-03-13 2024-05-28 浙江荷湖科技有限公司 一种基于大模型的显微成像通用神经提取方法

Also Published As

Publication number Publication date
CN106846463B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN106846463A (zh) 基于深度学习神经网络的显微图像三维重建方法及系统
Ikoma et al. Depth from defocus with learned optics for imaging and occlusion-aware depth estimation
Baek et al. Single-shot hyperspectral-depth imaging with learned diffractive optics
Ancuti et al. Ntire 2018 challenge on image dehazing: Methods and results
Ancuti et al. Ntire 2019 image dehazing challenge report
WO2020020160A1 (zh) 图像视差估计
Mehta et al. Structured adversarial training for unsupervised monocular depth estimation
CN108337434B (zh) 一种针对光场阵列相机的焦外虚化重聚焦方法
CN112653899B (zh) 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN111161356A (zh) 一种基于双层优化的红外和可见光融合方法
CN108932725B (zh) 基于卷积神经网络的场景流估计方法
CN109255831A (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN106504248A (zh) 基于计算机视觉的车辆损伤判别方法
CN107909640A (zh) 基于深度学习的人脸重光照方法及装置
CN110197505A (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN107392234A (zh) 一种基于单张4d光场图像的物体表面材质类型识别方法
CN106485675A (zh) 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法
CN106485207A (zh) 一种基于双目视觉图像的指尖检测方法及系统
CN113780258A (zh) 一种光电计算光场智能深度分类方法和装置
CN109146937A (zh) 一种基于深度学习的电力巡检影像密集匹配方法
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN103763543A (zh) 合成全息图的采集方法
CN107067452A (zh) 一种基于全卷积神经网络的电影2d转3d方法
CN112750194A (zh) 一种无人驾驶汽车避障方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200218