CN113421334A - 一种基于深度学习的多聚焦图像三维重建方法 - Google Patents

一种基于深度学习的多聚焦图像三维重建方法 Download PDF

Info

Publication number
CN113421334A
CN113421334A CN202110772207.0A CN202110772207A CN113421334A CN 113421334 A CN113421334 A CN 113421334A CN 202110772207 A CN202110772207 A CN 202110772207A CN 113421334 A CN113421334 A CN 113421334A
Authority
CN
China
Prior art keywords
depth
image
focus
detected
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110772207.0A
Other languages
English (en)
Other versions
CN113421334B (zh
Inventor
闫涛
张江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202110772207.0A priority Critical patent/CN113421334B/zh
Publication of CN113421334A publication Critical patent/CN113421334A/zh
Application granted granted Critical
Publication of CN113421334B publication Critical patent/CN113421334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于三维重建技术领域，具体涉及一种基于深度学习的多聚焦三维重建方法。包括以下步骤：首先，利用真实场景的图像数据构建离焦序列集合与模拟真实深度集合；其次，将构建的离焦序列集合与模拟真实深度集合输入设计的深度学习网络结构中进行训练；然后，采集待测场景的离焦序列集合，通过训练后的神经网络得到待测场景的深度预测图；最后，将离焦序列集合的方差图作为引导图对深度预测图进行引导滤波得到待测物体最终的三维重建结果。本发明的方法具有较好的扩展性，可实现不同应用场景的快速部署应用。

Description

一种基于深度学习的多聚焦图像三维重建方法
技术领域
本发明属于三维重建技术领域，具体涉及一种基于深度学习的多聚焦图像三维重建方法
背景技术
伴随国家制造业水平程度的不断提高，产能的迅速提升使得如何保证产品良品率成为众多制造行业亟需考虑的首要问题。因此，一件产品从原材料加工到集成化制造，再到生产线组装等各个环节均需要严格的质量检测与控制，这其中对产品全生命周期的瑕疵检测是质量检测与控制流程中最重要的一环，由于生产加工精度的提升与产品更迭周期的加快，传统的基于常规工业相机与视觉建模的质量检测与控制方法不再适用，而针对产品全生命周期的表面形貌三维重建则是目前瑕疵检测最有效的方法之一。
现阶段，待测物体表面形貌的三维重建方法大体可以分为主动式重建和被动式重建两类。其中，主动式重建通过硬件投射与传感器接收的模式获取待测物体深度。例如，三维激光扫描技术利用激光测距原理，记录待测物体表面的全域点阵信息，然后剔除噪声点与离焦点，进而得到待测物体的三维点云数据。由于主动式重建方法需要昂贵的硬件支撑，其扫描方式使得这类方法难以还原待测物体本身的颜色信息；被动式重建主要是基于光学图像的三维重建，这类方法可以分为传统特征评价与深度学习预测两类，传统特征评价首先根据应用场景的先验知识构建图像的特征评价算子，然后对图像输入栈进行特征配准与选择，最后通过迭代求解的方式构建待测物体三维模型，由于工业应用场景的多样化，使得针对某一类场景构建的特征评价算子应用于其他场景过程中可能会导致性能出现明显下降，由此可见，此类方法缺乏场景适应性和方法鲁棒性；而基于深度学习预测三维模型可以有效克服传统特征评价方法的场景先验知识限制，可以从众多数据中学习其共性特征，但现阶段此类方法尚无完备的数据集，且网络结构较为单一，无法在实际领域中部署与应用。
上述研究现状表明现有的三维形貌重建方法存在以下不足：主动式三维重建严苛的应用环境与高昂的硬件成本使其无法具有较好的通用性；而被动式重建中的传统特征评价方法由于需要先验知识的介入而缺乏场景适用性与方法鲁棒性，基于深度学习预测的三维重建尚未构建出完整的方法体系，无法进行实际应用。因此，如何提出一种领域自适应、重建精度与效率兼顾的三维重建方法是现阶段工业化质量检测与控制领域面临的一个重要难题。
由此可知，我们认为在基于深度学习的三维重建方法中，样本多样化与网络简单化是解决工业化场景质量检测与控制的关键。因此，本专利在数据集的构建过程保证了场景数据与深度信息的多样化，通过设计的一种简洁高效的神经网络结构，可实现三维重建方法的快速部署与跨场景应用。
发明内容
为克服现有解决方案中不足之处，本发明的目的是提供一种基于深度学习的多聚焦图像三维重建方法，包括以下步骤：
(1)采集真实场景图像，得到图像数据集
Figure BDA0003150564770000021
k表示图像数据集数目，其取值范围为1≤k≤K；
(2)对步骤1得到的图像数据集
Figure BDA0003150564770000022
通过式(1)得到图像离焦序列集
Figure BDA0003150564770000023
其中，第k个图像离焦序列集
Figure BDA0003150564770000024
共包含D幅图像
Figure BDA0003150564770000025
Figure BDA0003150564770000026
代表第k个图像离焦序列中第d张图像，
Figure BDA0003150564770000027
其中h(d)表示第d个点扩散函数，*为卷积操作符；
(3)对步骤1中得到的图像数据集
Figure BDA0003150564770000028
通过式(3)得到模拟真实深度集合
Figure BDA0003150564770000029
k表示图像数据集数目，其取值范围为1≤k≤K，
Figure BDA00031505647700000210
其中FGT(h(k))为深度映射函数，h(k)为选择的第k中深度映射函数的内核表达式；
(4)对步骤2得到的图像离焦序列集
Figure BDA00031505647700000211
和步骤3中得到模拟真实深度集
Figure BDA00031505647700000212
作为输入输出数据对，输入式(3)所设计的神经网络进行迭代训练，得到最终的神经网络模型DCNN，
Figure BDA00031505647700000213
其中Ip 1,Ip 2,Ip 3,Ip 4,Ip 5分别为神经网络中间变量，conv1,conv2,conv3,conv4,conv5分别表示神经网络结构中不同过程的卷积层；
(5)采集待测物体的多聚焦图像序列
Figure BDA00031505647700000214
r表示图像序列集数，其取值范围为1≤r≤D，然后将其输入步骤4中得到的神经网络模型DCNN，通过式(4)得到待测物体的深度预测图DepthP；
Figure BDA00031505647700000215
(6)将步骤5得到的待测物体的多聚焦图像序列
Figure BDA00031505647700000216
通过式(5)得到待测物体多聚焦图像序列的平均像素强度UIavgi；
Figure BDA0003150564770000031
(7)将步骤6中得到待测物体多聚焦图像序列的平均像素强度UIavgi和步骤5得到的待测物体的多聚焦图像序列
Figure BDA0003150564770000032
通过式(6)得到待测物体多聚焦图像序列的方差图UIvari；
Figure BDA0003150564770000033
(8)将步骤6中得到的待测物体的深度预测图DepthP与步骤7得到的待测物体的方差图UIvari根据式(7)进行深度引导滤波得到待测物体最终的深度图，即其三维重建结果DepthR，
DepthR＝GF(DepthP,UIvari) (7)
其中GF()表示深度引导滤波函数。
与现有技术相比，本发明具有以下优点：
(1)本发明构建的用于深度学习的数据集相比于现有的数据集具有样本生成自动化、原始图像纹理多样、深度信息丰富等优势，可使训练后的神经网络具有较好泛化性。
(2)本发明提出的三维重建方法具有较高的扩展性，可根据不同场景的图像数据集对网络结构进行合理性约束，进而实现该方法的跨场景快速应用。
附图说明
图1为一种基于深度学习的多聚焦图像三维重建方法的流程图；
图2为一种基于深度学习的多聚焦图像三维重建方法的示意图。
具体实施方式
如图1、图2所示，本实施例所述一种基于深度学习的多聚焦图像三维重建方法，包括以下步骤：
(1)采集真实场景图像，得到图像数据集
Figure BDA0003150564770000034
k表示图像数据集数目，其取值范围为1≤k≤K；
(2)对步骤1得到的图像数据集
Figure BDA0003150564770000035
通过式(1)得到图像离焦序列集
Figure BDA0003150564770000036
其中，第k个图像离焦序列集
Figure BDA0003150564770000037
共包含D幅图像
Figure BDA0003150564770000038
Figure BDA0003150564770000039
代表第k个图像离焦序列中第d张图像，
Figure BDA0003150564770000041
其中h(d)表示第d个点扩散函数，*为卷积操作符；
(3)对步骤1中得到的图像数据集
Figure BDA0003150564770000042
通过式(3)得到模拟真实深度集合
Figure BDA0003150564770000043
k表示图像数据集数目，其取值范围为1≤k≤K，
Figure BDA0003150564770000044
其中FGT(h(k))为深度映射函数，h(k)为选择的第k中深度映射函数的内核表达式；
(4)对步骤2得到的图像离焦序列集
Figure BDA0003150564770000045
和步骤3中得到模拟真实深度集
Figure BDA0003150564770000046
作为输入输出数据对，输入式(3)所设计的神经网络进行迭代训练，得到最终的神经网络模型DCNN，
Figure BDA0003150564770000047
其中Ip 1,Ip 2,Ip 3,Ip 4,Ip 5分别为神经网络中间变量，conv1,conv2,conv3,conv4,conv5分别表示神经网络结构中不同过程的卷积层；
(5)采集待测物体的多聚焦图像序列
Figure BDA0003150564770000048
r表示图像序列集数，其取值范围为1≤r≤D，然后将其输入步骤4中得到的神经网络模型DCNN，通过式(4)得到待测物体的深度预测图DepthP；
Figure BDA0003150564770000049
(6)将步骤5得到的待测物体的多聚焦图像序列
Figure BDA00031505647700000410
通过式(5)得到待测物体多聚焦图像序列的平均像素强度UIavgi；
Figure BDA00031505647700000411
(7)将步骤6中得到待测物体多聚焦图像序列的平均像素强度UIavgi和步骤5得到的待测物体的多聚焦图像序列
Figure BDA00031505647700000412
通过式(6)得到待测物体多聚焦图像序列的方差图UIvari；
Figure BDA00031505647700000413
(8)将步骤6中得到的待测物体的深度预测图DepthP与步骤7得到的待测物体的方差图UIvari根据式(7)进行深度引导滤波得到待测物体最终的深度图，即其三维重建结果DepthR，
DepthR＝GF(DepthP,UIvari) (7)其中GF()表示深度引导滤波函数。

Claims (1)

1.一种基于深度学习的多聚焦图像三维重建方法，其特征包括以下步骤：
(1)采集真实场景图像，得到图像数据集
Figure FDA0003150564760000011
k表示图像数据集数目，其取值范围为1≤k≤K；
(2)对步骤1得到的图像数据集
Figure FDA0003150564760000012
通过式(1)得到图像离焦序列集
Figure FDA0003150564760000013
其中，第k个图像离焦序列集
Figure FDA0003150564760000014
共包含D幅图像
Figure FDA0003150564760000015
Figure FDA0003150564760000016
代表第k个图像离焦序列中第d张图像，
Figure FDA0003150564760000017
其中h(d)表示第d个点扩散函数，*为卷积操作符；
(3)对步骤1中得到的图像数据集
Figure FDA0003150564760000018
通过式(3)得到模拟真实深度集合
Figure FDA0003150564760000019
k表示图像数据集数目，其取值范围为1≤k≤K，
Figure FDA00031505647600000110
其中FGT(h(k))为深度映射函数，h(k)为选择的第k中深度映射函数的内核表达式；
(4)对步骤2得到的图像离焦序列集
Figure FDA00031505647600000111
和步骤3中得到模拟真实深度集
Figure FDA00031505647600000112
作为输入输出数据对，输入式(3)所设计的神经网络进行迭代训练，得到最终的神经网络模型DCNN，
Figure FDA00031505647600000113
其中Ip 1,Ip 2,Ip 3,Ip 4,Ip 5分别为神经网络中间变量，conv1,conv2,conv3,conv4,conv5分别表示神经网络结构中不同过程的卷积层；
(5)采集待测物体的多聚焦图像序列
Figure FDA00031505647600000114
r表示图像序列集数，其取值范围为1≤r≤D，然后将其输入步骤4中得到的神经网络模型DCNN，通过式(4)得到待测物体的深度预测图DepthP；
Figure FDA00031505647600000115
(6)将步骤5得到的待测物体的多聚焦图像序列
Figure FDA00031505647600000116
通过式(5)得到待测物体多聚焦图像序列的平均像素强度UIavgi；
Figure FDA00031505647600000117
(7)将步骤6中得到待测物体多聚焦图像序列的平均像素强度UIavgi和步骤5得到的待测物体的多聚焦图像序列
Figure FDA0003150564760000021
通过式(6)得到待测物体多聚焦图像序列的方差图UIvari；
Figure FDA0003150564760000022
(8)将步骤6中得到的待测物体的深度预测图DepthP与步骤7得到的待测物体的方差图UIvari根据式(7)进行深度引导滤波得到待测物体最终的深度图，即其三维重建结果DepthR，
DepthR＝GF(DepthP,UIvari) (7)
其中GF()表示深度引导滤波函数。
CN202110772207.0A 2021-07-06 2021-07-06 一种基于深度学习的多聚焦图像三维重建方法 Active CN113421334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110772207.0A CN113421334B (zh) 2021-07-06 2021-07-06 一种基于深度学习的多聚焦图像三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110772207.0A CN113421334B (zh) 2021-07-06 2021-07-06 一种基于深度学习的多聚焦图像三维重建方法

Publications (2)

Publication Number Publication Date
CN113421334A true CN113421334A (zh) 2021-09-21
CN113421334B CN113421334B (zh) 2022-05-20

Family

ID=77720486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110772207.0A Active CN113421334B (zh) 2021-07-06 2021-07-06 一种基于深度学习的多聚焦图像三维重建方法

Country Status (1)

Country Link
CN (1) CN113421334B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219898A (zh) * 2021-12-21 2022-03-22 山西大学 一种基于光学图像的选择性集成三维重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013176549A1 (en) * 2012-05-24 2013-11-28 Stichting Vu-Vumc Optical apparatus for multiple points of view three-dimensional microscopy and method
CN111260776A (zh) * 2020-02-07 2020-06-09 山西大学 一种自适应正态分析的三维形貌重建方法
CN111311515A (zh) * 2020-02-13 2020-06-19 山西大学 一种错误区域自动检测的深度图像快速迭代修复方法
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111709983A (zh) * 2020-06-16 2020-09-25 天津工业大学 一种基于卷积神经网络和光场图像的气泡流场三维重建方法
CN112767536A (zh) * 2021-01-05 2021-05-07 中国科学院上海微系统与信息技术研究所 一种对象的三维重建方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013176549A1 (en) * 2012-05-24 2013-11-28 Stichting Vu-Vumc Optical apparatus for multiple points of view three-dimensional microscopy and method
CN111260776A (zh) * 2020-02-07 2020-06-09 山西大学 一种自适应正态分析的三维形貌重建方法
CN111311515A (zh) * 2020-02-13 2020-06-19 山西大学 一种错误区域自动检测的深度图像快速迭代修复方法
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111709983A (zh) * 2020-06-16 2020-09-25 天津工业大学 一种基于卷积神经网络和光场图像的气泡流场三维重建方法
CN112767536A (zh) * 2021-01-05 2021-05-07 中国科学院上海微系统与信息技术研究所 一种对象的三维重建方法、装置、设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
STEPHEN HAUSCH等: "Variation in Body Shape across Species and Populations in a Radiation of Diaptomid Copepods", 《COPEPOD MORPHOLOGICAL VARIATION》 *
刘润兴等: "一种聚焦式光场成像去混叠方法", 《光学学报》 *
李滔等: "深度图像超分辨率重建技术综述", 《西华大学学报(自然科学版)》 *
范佩佩等: "基于非局部均值约束的深度图像超分辨率重建", 《计算机辅助设计与图形学学报》 *
赵洋等: "深度学习精确相位获取的离焦投影三维测量", 《红外与激光工程》 *
闫涛等: "基于量子混沌粒子群优化算法的分数阶超混沌系统参数估计", 《电子学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219898A (zh) * 2021-12-21 2022-03-22 山西大学 一种基于光学图像的选择性集成三维重建方法
CN114219898B (zh) * 2021-12-21 2024-04-16 山西大学 一种基于光学图像的选择性集成三维重建方法

Also Published As

Publication number Publication date
CN113421334B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
CN111699499B (zh) 检查、图像识别、识别器生成系统及学习数据生成装置
CN107977686B (zh) 一种工业x光图像的分类方法
CN110458791B (zh) 质量缺陷检测方法和检测设备
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN111401358B (zh) 一种基于神经网络的仪表表盘校正方法
US20190332894A1 (en) Method for Processing Automobile Image Data, Apparatus, and Readable Storage Medium
CN117079139B (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及系统
CN109671031B (zh) 一种基于残差学习卷积神经网络的多光谱图像反演方法
CN113421334B (zh) 一种基于深度学习的多聚焦图像三维重建方法
KR20210127069A (ko) 융합 모델 신경망의 성능 제어 방법
CN111429431A (zh) 一种基于卷积神经网络的元件定位识别方法
CN113673618A (zh) 一种融合注意力模型的烟虫目标检测方法
CN113112482A (zh) 一种基于注意力机制网络的pcb缺陷检测方法
CN112435258A (zh) 一种图像检测模型的构建方法、图像检测方法及装置
CN109255794B (zh) 一种标准件深度全卷积特征边缘检测方法
CN116385293A (zh) 基于卷积神经网络的雾天自适应目标检测方法
CN111626339B (zh) 一种抗光影和抖动影响的注塑机模腔异常检测方法
CN113920087A (zh) 基于深度学习的微小元器件缺陷检测系统及方法
CA2997335C (en) Automatically generating image datasets for use in image recognition and detection
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN112927151A (zh) 一种基于边缘增强和卷积神经网络的图像去噪方法
CN114943684B (zh) 一种利用对抗生成自编码神经网络的曲面异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant