CN115631301B - 基于改进全卷积神经网络的土石混合体图像三维重建方法 - Google Patents

基于改进全卷积神经网络的土石混合体图像三维重建方法 Download PDF

Info

Publication number
CN115631301B
CN115631301B CN202211303785.0A CN202211303785A CN115631301B CN 115631301 B CN115631301 B CN 115631301B CN 202211303785 A CN202211303785 A CN 202211303785A CN 115631301 B CN115631301 B CN 115631301B
Authority
CN
China
Prior art keywords
boundary
image
gravel
soil
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211303785.0A
Other languages
English (en)
Other versions
CN115631301A (zh
Inventor
李长圣
钟军
张丹
郭福生
独莎莎
张召
吴珍云
周万蓬
吴志春
黄映聪
李增华
邹宗良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
East China Institute of Technology
Original Assignee
Nanjing University
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, East China Institute of Technology filed Critical Nanjing University
Priority to CN202211303785.0A priority Critical patent/CN115631301B/zh
Publication of CN115631301A publication Critical patent/CN115631301A/zh
Application granted granted Critical
Publication of CN115631301B publication Critical patent/CN115631301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于改进全卷积神经网络的土石混合体图像三维重建方法，所述方法包括：确定土石混合体CT扫描的影像数据集与真实标签数据集；构建UNet全卷积神经网络，并建立损失函数；经过训练得到改进的UNet全卷积神经网络；将需三维重建的土石混合体切面图像输入至改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列，并确定砾石边界矩阵；基于砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行三维可视化，得到砾石模型。本发明可以科学地、有效地获得土石混合体的真实三维结构信息，并建立土石混合体的三维模型，极大节省了人力财力，重建后的模型可为土石混合体的研究与工程应用提供支持。

Description

基于改进全卷积神经网络的土石混合体图像三维重建方法
技术领域
本发明涉及岩土体三维建模技术领域，尤其涉及基于改进全卷积神经网络的土石混合体图像三维重建方法。
背景技术
土石混合体由作为骨料的砾石与作为填充料的粘土或砂土组成，是一种广泛存在于自然界的地质体。土石混合体细观结构特性及物理力学特性的深入研究是当今工程建设的需要,也是岩土力学发展的必然。由于土石混合体内部砾石的存在，使得其物理力学性质很难通过传统的室内或野外试验获取，所以数值试验广泛应用于土石混合体物理力学性质的研究。然而在数值试验研究时，建立合理的土石混合体细观结构至关重要。
基于CT扫描获得的土石混合体二维图像进行其三维细观结构重建，可借助计算机检测技术处理CT图像，可以获得较精确的结构参数信息。目前CT图像的传统分割算法有阈值分割法、区域生长分割方法等，但是由于土石混合体中存在砾石边界粘结的存在，使得图像分割传统方法对于CT扫描的土石混合体图像分割的准确率降低，并且缺乏准确的砾石重组分类算法，将导致图像中粘连的砾石可能被识别成相同砾石，降低三维重建效果。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于改进全卷积神经网络的土石混合体图像三维重建方法，旨在提供解决现有技术中对于CT扫描的土石混合体图像分割的准确率低，并且缺乏准确的砾石重组分类算法，导致图像中粘连的砾石可能被识别成相同砾石，降低三维重建效果的问题。
第一方面，本发明提供一种基于改进全卷积神经网络的土石混合体图像三维重建方法，其中，所述方法包括：
利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；
基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；
将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；
按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；
识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；
基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。
在一种实现方式中，所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。
在一种实现方式中，所述Boundary Loss的表达式为:
LB(θ)＝∫ΩφG(q)sθ(q)dq；
其中，Ω代表图像区域集合；p代表某个像素值；φG（q）代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；sθ（p）为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
Dice Loss的表达式为:
其中pred为预测值的集合，true为真实值的集合。
在一种实现方式中，所述数据增强的方法包括：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。
在一种实现方式中，所述按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，包括：
按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列；
对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3；
对图像序列进行归一化，使得像素值为0～1范围内的浮点数；
将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石与土体的目标分割图像；
将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。
在一种实现方式中，所述识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵，包括：
利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界；
将边界像素点按照顺时针或逆时针的顺序存入边界矩阵，得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。
在一种实现方式中，所述进行每个砾石表面的点云数据的三维可视化，得到砾石模型，包括：
基于每个砾石表面的点云数据，得到每个砾石表面的三维坐标；
基于计算机图形学及三维可视化软件工具包，在应用程序用户界面中渲染出所述砾石模型。
第二方面，本发明实施例还提供一种基于改进全卷积神经网络的土石混合体图像三维重建装置，其中，所述装置包括：
数据集构建模块，用于利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
网络构建模块，用于构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；
数据集处理模块，用于基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化后，得到预处理数据集；
网络训练模块，用于将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；
图像序列预测模块，用于按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；
边界矩阵确定模块，用于识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；
三维模型重建模块，用于基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备为商显终端或者投屏终端，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于改进全卷积神经网络的土石混合体图像三维重建程序，处理器执行基于改进全卷积神经网络的土石混合体图像三维重建程序时，实现上述方案中任一项的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于改进全卷积神经网络的土石混合体图像三维重建程序，所述基于改进全卷积神经网络的土石混合体图像三维重建程序被处理器执行时，实现上述方案中任一项所述的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于改进全卷积神经网络的土石混合体图像三维重建方法，所述方法包括：利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。本发明可以科学地、有效地获得土石混合体的真实三维结构信息，并建立土石混合体的三维模型，极大节省了人力财力，重建后的模型可用于土石混合体的数值试验研究，为土石混合体的研究与工程应用提供了支持。
附图说明
图1为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法的较佳实施例的流程图。
图2为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法中UNet全卷积神经网络的结构示意图。
图3为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法中采用余弦退火法的学习率变化曲线示意图。
图4为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法中UNet全卷积神经网训练过程中Loss变化曲线。
图5为本发明的基于改进UNet全卷积网络全卷积神经网络预测的结果与真实结果对比示意图。
图6为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法中砾石边界重组算法流程示意图。
图7为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法中确定假中心点的示意图。
图8为基于本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建方法重建之后的砾石模型示意图。
图9为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建装置的原理示意图。
图10为本发明实施例提供的基于改进全卷积神经网络的土石混合体图像三维重建系统的结构示意图。
图11为本发明实施例提供的终端设备的示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于改进全卷积神经网络的土石混合体图像三维重建方法，具体实施时，本实施例首先利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集。然后，构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数。接着，基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化后，得到预处理数据集。再然后，将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络。然后，按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列。接着，识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵。最后，基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。本实施例可以科学地、有效地获得土石混合体的真实三维结构信息，并建立土石混合体的三维模型，极大节省了人力财力，重建后的模型可用于土石混合体的数值试验研究，为土石混合体的研究与工程应用提供了支持。
示例性方法
本实施例的基于改进全卷积神经网络的土石混合体图像三维重建方法可应用于终端设备中，所述终端设备可为电脑等智能化产品终端。如图1中所示，在本实施例中，所述基于改进全卷积神经网络的土石混合体图像三维重建方法包括步骤：
步骤S100、利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集。
具体地，本实施例利用岩土CT扫描设备对土石混合体试样(φ100mm×120mm)进行扫描，得到土石混合体的切面图像，将该切面图像导出为BMP格式图像(像素512×512)，得到土石混合体CT扫描的影像数据集，接着进行数据集标注，通过Lableme软件圈定出砾石的真实边界，得到真实标签数据集。
步骤S200、构建UNet全卷积神经网络，并建立损失函数，所述损失函数为BoundaryLoss与Dice Loss的融合型损失函数。
在本实施例中，所述UNet全卷积神经网络的模型结构示意图，网络要求输入图像的高度和宽度均为512，通道数为3。本实施例的所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。
本实施例的UNet全卷积神经网络的编码器部分使用类似VGG的结构，为卷积层和最大池化层的堆叠。利用编码器部分可以获得五个有效特征层。具体地，编码器部分包含五个编码器单元，包含系列卷积与最大池化的操作组合。其中，第一编码器单元：对输入的土石混合体的切面图像首先进行两次卷积核尺寸为3×3，特征通道数为64，步长为1的卷积操作，获得第一特征层，再进行一次池化核尺寸为2×2，步长为2的最大池化操作。第二编码器单元：对第一特征层首先进行两次卷积核尺寸为3×3，特征通道数为128，步长为1的卷积操作，获得第二特征层，再进行一次池化核尺寸为2×2，步长为2的最大池化操作。第三编码器单元：对第二特征层首先进行三次卷积核尺寸为3×3，特征通道数为256，步长为1的卷积操作，获得第三特征层，再进行一次池化核尺寸为2×2，步长为2的最大池化操作。第四编码器单元：对第三特征层首先进行三次卷积核尺寸为3×3，特征通道数为512，步长为1的卷积操作，获得第四特征层，再进行一次池化核尺寸为2×2，步长为2的最大池化操。第五编码器单元：对第四特征层首先进行三次卷积核尺寸为3×3，特征通道数为512，步长为1的卷积操作，获得第五特征层。
本实施例中，输入的土石混合体的切面图像在编码器部分中的尺寸变化如下：输入图像尺寸为512×512×3(高度为512，宽度为512，通道数为3)，第一特征层的尺寸为256×256×64，第二特征层的尺寸为128×128×128，第三特征层的尺寸为64×64×256，第四特征层的尺寸为32×32×512，第五特征层的尺寸为32×32×512。上述编码器部分中每次卷积操作后均会激活一次Relu激活函数运算，加入了非线性因素，弥补线性模型的表达力不足。
本实施例中的解码器部分进行4次上采样，即双线性插值算法，使得到的高级语义特征层恢复到原图像的分辨率，也使得分割图恢复边缘等信息更加精细。在本实施例中，UNet全卷积神经网络中使用了skip connection结构，即每上采样一次，就与编码器部分对应的通道数相同尺度的有效特征层进行融合。skip connection结构起到了补充信息的作用，在高层补充了语义的信息，在底层细化了分割的轮廓。最终获得一个融合了所有特征的最终特征层。
本实施例中的解码器部分包含四个解码器单元，包含系列上采样和卷积的操作组合。其中，第一解码器单元：对上述第五特征层首先进行一次上采样操作，其上采样的方法为双线性插值方法，将上采样操作得到的特征层与第四特征层进行堆叠后，再进行两次卷积核尺寸为3×3，特征通道数为512，步长为1的卷积操作。第二解码器单元：对第一解码器单元得到的特征层首先进行一次上采样操作，其上采样的方法为双线性插值方法，将上采样操作得到的特征层与第三特征层进行堆叠后，再进行两次卷积核尺寸为3×3，特征通道数为256，步长为1的卷积操作。第三解码器单元：对第二解码器单元得到的特征层首先进行一次上采样操作，其上采样的方法为双线性插值方法，将上采样操作得到的特征层与第二特征层进行堆叠后，再进行两次卷积核尺寸为3×3，特征通道数为128，步长为1的卷积操作。第四解码器单元：对第三解码器单元得到的特征层首先进行一次上采样操作，其上采样的方法为双线性插值方法，将上采样操作得到的特征层与第一特征层进行堆叠后，再进行两次卷积核尺寸为3×3，特征通道数为64，步长为1的卷积操作，获得一个融合了所有特征的最终特征层。
本实施例中，特征层在编码器部分中的尺寸变化如下：首先输入的为第五特征层，其尺寸为32×32×512(高度为32，宽度为32，通道数为512)，经过第一解码器单元运算后，输出的特征层尺寸为64×64×512，再经过第二解码器单元运算后，输出的特征层尺寸为128×128×256，再经过第三解码器单元运算后，输出的特征层尺寸为256×256×128，再经过第四解码器单元运算后，输出的最终特征层尺寸为512×512×64。上述解码器部分中的每次卷积操作后均会激活一次Relu激活函数运算，加入了非线性因素，弥补线性模型的表达力不足。
本实施例中UNet全卷积神经网络的第三部分是预测部分，使用一个卷积层对上采样部分获得的有效特征层中每一个特征点进行分类，相当于对每一个像素点进行分类。利用一个卷积核尺寸为1×1，特征通道数为分类数，即特征通道数为2，步长为1的卷积操作，将最终特征层的通道数调整成分类数，则最终特征层的尺寸为512×512×2。
接着，本实施例设计损失函数，本实施例的损失函数为Boundary Loss与DiceLoss的融合型损失函数。具体地，所述Boundary Loss的表达式为:
LB(θ)＝∫ΩφG(q)sθ(q)dq；
其中，Ω代表图像区域集合；p代表某个像素值；φG(q)代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；sθ(p)为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
Dice Loss的表达式为:
其中pred为预测值的集合，true为真实值的集合。
本实施例中，Boundary Loss使用边界匹配度去监督神经网络的loss，只对边界上的像素进行评估，和Ground Truth的边界吻合则为0，不吻合的点，根据其距离边界的距离评估它的Loss。通过设定权重结合Dice loss和Boundary loss：Loss＝αLD+(1-α)LB。α初始值等于1，训练初期Dice Loss权重比例高，随着训练进行，Boundary loss比例增加，越到训练后期越关注边界的准确性，可提高UNet全卷积神经网络对目标边界的分割精度。
步骤S300、基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集。
本实施例可按照8：1：1的比例将上述得到的影像数据集划分为训练集、验证集和测试集，训练集用于模型拟合的数据样本，验证集用于调整模型的超参数和用于对模型的能力进行初步评估。如下表1给出了本实施例的数据集划分情况。
数据集 图像数量(张)
训练集 192
验证集 24
测试集 24
总计 240
表1
然后，本实施例按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列。对图像序列进行数据增强。该数据增强的方法包括以下：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。接着，本实施例对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3。对图像序列进行归一化，使得像素值为0～1范围内的浮点数；将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石(前景)与土体(背景)的目标分割图像，即得到输出结果。最后，本实施例将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。
步骤S400、将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络。
具体地，本实施例将所述输出结果与所述真实标签数据集输入至所述损失函数中进行计算，得到损失值，并将所述损失之进行反向传播，计算当前梯度。初始学习率为0.001，学习率衰减方式为余弦退火法(Cosine annealing)，如图3所示，通过突然提高学习率，来“跳出”局部最小值并找到通向全局最小值的路径，本实施例在训练过程中采用余弦退火法的学习率变化曲线；采用自适应动量的随机优化算法(Adam)根据梯度优化网络参数，使得计算的损失最小。在PyTorch1.6和Python3.7的软件环境，重复上述步骤S300和步骤S400的步骤，并设置训练迭代周期为50，批量数据大小为4，采用NVIDIA Tesla K80的GPU加速模型训练，从而得到改进的UNet全卷积神经网络。表2给出对改进的UNet全卷积神经网络使用IoU(Intersection over Union，一种测量在特定数据集中检测相应物体准确度的一个标准)和AP(Average-Precision，平均精度)的评估结果。
表2
参照图4，给出了利用本实施例的基于改进UNet全卷积网络全卷积神经网络训练过程中Loss变化曲线。参照图5，给出了利用本实施例的基于改进UNet全卷积网络全卷积神经网络预测的结果与真实结果对比示意图。
步骤S500、按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列。
具体地，本实施例首先按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列。然后对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3。接着，对图像序列进行归一化，使得像素值为0～1范围内的浮点数。接着，将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石(前景)与土体(背景)的目标分割图像。并且，本实施例将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。本实施例实施例在将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列。
步骤S600、识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵。
当得到分割后的土石混合体切面图像序列后，本实施例利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界；将边界像素点按照顺时针或逆时针的顺序存入边界矩阵，得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。在本实施例中，所述砾石边界重组算法的具体流程如图6所示。具体地，首先输入需要重组的图像，计算出所有图像的边界矩阵和每个图像中所有边界的假中心点，存入数组。接着，用字典存放每个砾石的id、边界矩阵、与边界矩阵对应的z轴坐标，用字典数组存放每个砾石的字典。然后，设置k为第一张图像的边界数，为第一张图像的砾石边界矩阵编号，id＝1，2，3....k；z＝1。Total_num为图像总数，now_img_num为当前图像计数，初始值为2。接下来，判断now_img_num是否小于等于Total_num。若为假，则直接重组结束。若为真，则now_img_total_num＝当前图像中砾石边界矩阵数。pre_img_total_num＝前一张图像中的砾石边界矩阵数。now_count＝1，pre_count＝1，为每张图像的砾石边界矩阵计数。接着，判断now_count是否小于等于now_img_num，若为假，则确定当前图像中边界全部处理完成，now_img_num＝now_img_num+1。若为真，则继续判断pre_count是否小于等于pre_img_num。若为假，则确定前一张图像中的边界均匹配失败，说明当前图像中的now_count个边界属于新砾石，k＝k+1。此时新建字典存放新砾石信息，id＝k，边界为当前图像中now_count个边界，z＝now_img_num，now_count＝now_count+1。若为真，则计算now_img_num张图像中now_count个边界矩阵和pre_img_num张图像中pre_count个边界矩阵的面积。接着，对面积较小边界矩阵的假中心点映射到面积较大的边界矩阵所围成多边形中，并判断映射点是否在该多边形内部或边界上。如果为假，则说明两边界不属于同一砾石，pre_count＝pre_count+1。如果为真，则说明两边界属于同一个砾石，则在该砾石字典中添加边界信息。本实施例使用该算法对得到的砾石边界矩阵进行重组，分离出每一个砾石的边界并编号。具体应用时，本算法的实质是将面积较小的边界的假中心点投影到面积较大的边界中，即判断假中心点和边界围成的多边形的关系，于是参照图7给出假中心点的定义如下：依次找出边界矩阵中的第一个像素点(图7中的PE-0/4)、1/4处的像素点(图7中的PE-1/4)、1/2处的像素点(图7中的PE-1/2)、3/4处的像素点(图7中的PE-3/4)，则定义PE-0/4与PE-1/2连线的中点为第一假中心点(图7中的PC-1)，PE-1/4与PE-3/4连线的中点为第二假中心点(图7中的PC-2)。
步骤S700、基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。
在本实施例中，为保证重建后的土石混合体模型的尺寸与实际尺寸相同，需要对分割后的土石混合体切面图像序列中每个像素点进行位置偏移操作。由CT仪的参数可知，土石混合体切面图像内相邻像素点间的实际距离为0.25mm，切面图像间的距离为0.70mm。因此，本实施例只需将所有像素点的x、y坐标分别乘以0.25mm，z坐标乘以0.70mm，即可把重组后的模型转换为实际尺寸，得到了每一个砾石的表面的点云数据。然后基于每个砾石表面的点云数据，得到每个砾石表面的三维坐标。使用计算机图形学及三维可视化软件工具包vtk进行砾石表面点云数据的三维可视化，可导出砾石表面数据为vtk数据格式，并在应用程序用户界面中渲染出砾石模型，达到三维重建，如图8所示。此外，本实施例还将每一个砾石的数据信息显示到应用程序用户界面中。
示例性装置
基于上述实施例，本发明还提供一种基于改进全卷积神经网络的土石混合体图像三维重建装置，该装置如图9所示，该装置包括：数据集构建模块10、网络构建模块20、数据集处理模块30、网络训练模块40、图像序列预测模块50、边界矩阵确定模块60以及三维模型重建模块70。具体地，所述数据集构建模块10，用于利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集。所述网络构建模块20，用于构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数。所述数据集处理模块30，用于基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集。所述网络训练模块40，将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络。所述图像序列预测模块50，用于按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列。所述边界矩阵确定模块60，用于识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵。所述三维模型重建模块70，用于基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建。
在一种实现方式中，本实施例中的所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。
在一种实现方式中，所述Boundary Loss的表达式为:
LB(θ)＝∫ΩφG(q)sθ(q)dq；
其中，Ω代表图像区域集合；p代表某个像素值；φG(q)代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；sθ(p)为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
Dice Loss的表达式为:
其中pred为预测值的集合，true为真实值的集合。
在一种实现方式中，所述数据增强的方法包括：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。
在一种实现方式中，所述图像序列预测模块50，包括：
图像序列筛选单元，用于按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列；
尺寸变换单元，用于对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3；
归一化单元，用于对图像序列进行归一化，使得像素值为0～1范围内的浮点数；
预测单元，用于将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石与土体的目标分割图像；
灰条截取单元，用于将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。
在一种实现方式中，所述边界矩阵确定模块60，包括：
边界识别单元，用于利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界；
矩阵确定单元，用于将边界像素点按照顺时针或逆时针的顺序存入边界矩阵，得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。
在一种实现方式中，所述三维模型重建模块70，包括：
三维坐标确定单元，用于基于每个砾石表面的点云数据，得到每个砾石表面的三维坐标；
砾石模型渲染单元，用于基于计算机图形学及三维可视化软件工具包，在应用程序用户界面中渲染出所述砾石模型。
本实施例的基于改进全卷积神经网络的土石混合体图像三维重建装置中各个模板的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
此外，本发明还提供一种基于改进全卷积神经网络的土石混合体图像三维重建系统，该系统如图10所示，本实施例的系统包括：数据导入模块、图像分割模块、数据修改模块、三维重建模块及数据导出模块。
具体地，所述数据导入模块用于将CT扫描的土石混合体切面图像及改进UNet全卷积神经网络的模型权重导入到三维重建系统中。所述数据导入模块包括图像导入子模块与权重导入子模块。所述图像导入子模块用于导入CT扫描的土石混合体切面图像。所述权重导入子模块用于导入改进UNet神经网络的模型权重，以供改进UNet神经网络加载模型权重进行图像的预测。
所述图像分割模块用于改进UNet神经网络的加载，将CT扫描的土石混合体切面图像序列进行图像预处理，再将图像预处理后的序列图像依次输入改进UNet神经网络中进行预测。图像预处理的步骤包括：首先按照CT扫描的顺序将序列图像进行排序，得到符合实际情况的图像序列；然后对序列图像进行不失真的尺寸变换，添加灰条，保证序列图像的高和宽均为512，通道数为3；对序列图像进行归一化，使得像素值为0～1范围内的浮点数；将序列图像输入改进的UNet神经网络进行预测，得到砾石(前景)与土体(背景)的目标分割图像；将灰条部分截取，保证输出图像与输入图像的尺寸一致。
所述数据修改模块用于原始图像与分割图像的对比展示，以及对图像目标区域进行精细化修补。所述数据修改模块包括图像浏览子模块与区域添加与擦除子模块。
具体地，所述图像浏览子模块用于将输入的原始图像与经过改进的UNet神经网络分割的图像展示在应用程序的用户界面中，便于对分割结果做出主观评估与进一步地完善。所述区域添加与擦除子模块用于对分割图像目标区域的精细化修补。对于错误分割产生的多余区域可使用橡皮擦工具进行擦除；对于被错误识别为背景的砾石区域，可使用画笔工具进行适当地添加内容。
所述三维重建模块用于对土石混合体的图像序列中的砾石进行边界提取及边界矩阵的重组，获得每个砾石表面的点云数据并将砾石的数据信息显示再应用程序用户界面中，对分割后图像中每个像素点进行坐标比例变换操作，随后进行砾石表面点云数据的三维可视化。本实施例的所述三维重建模块包括点云数据处理子模块、可视化子模块、砾石信息展示模块。
具体地，所述点云数据模块利用开源计算机视觉库OpenCV的find Contours函数识别出图像中的所有边界，并使用如图5所示的砾石边界矩阵重组算法进行边界重组，分离出每一个砾石的点云数据。为使重组后的模型尺寸与实际尺寸保持一致，需要对像素点的三维坐标按比例进行转换。由CT仪器的参数可知，切面图像内相邻像素点间的实际距离为0.25mm，切面图像间的距离为0.70mm。因此，只需将所有像素点的x、y坐标分别乘以0.25mm，z坐标乘以0.70mm，即可把重组后的模型转换为实际尺寸。
所述可视化子模块用于对砾石的数据信息进行可视化。利用上述点云数据处理模块得到为砾石的表面点云数据，即每一个砾石表面的三维坐标，使用计算机图形学及三维可视化软件工具包vtk，在应用程序用户界面中渲染出砾石模型，达到三维重建，如图8所示。所述砾石信息展示模块用于将每一个砾石的数据信息显示到应用程序用户界面中。
基于上述实施例，本发明还提供了一种终端设备，所述终端设备的原理框图可以如11所示，终端设备可以包括一个或多个处理器100(图11中仅示出一个)，存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，基于改进全卷积神经网络的土石混合体图像三维重建的程序。一个或多个处理器100执行计算机程序102时可以实现基于改进全卷积神经网络的土石混合体图像三维重建的方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现基于改进全卷积神经网络的土石混合体图像三维重建的装置实施例中各模板/单元的功能，此处不作限制。
在一个实施例中，所称处理器100可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图11中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述方法包括：
利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与DiceLoss的融合型损失函数；
基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；
将所述预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，经过迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；
按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；
识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；
基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建；
所述Boundary Loss的表达式为:
LB(θ)＝∫ΩφG(q)sθ(q)dq；
其中，Ω代表图像区域集合；q代表某个像素值；φG(q)代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；sθ(q)为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
Dice Loss的表达式为:
其中，pred为预测值的集合，true为真实值的集合；
所述融合型损失函数的表达式为：
Loss＝αLD+1-α)LB，
其中，α初始值等于1；
所述基于所述砾石边界矩阵进行边界重组包括：
输入需要重组的图像，计算出所有图像的边界矩阵和每个图像中所有边界的假中心点，存入数组；
用字典存放每个砾石的id、边界矩阵、与边界矩阵对应的z轴坐标，用字典数组存放每个砾石的字典；
设置k为第一张图像的边界数，为第一张图像的砾石边界矩阵编号，id＝1，2，3....k；z＝1，Total_num为图像总数，now_img_num为当前图像计数，初始值为2；
判断now_img_num是否小于等于Total_num；
若为假，则直接重组结束，若为真，则now_img_total_num＝当前图像中砾石边界矩阵数，pre_img_total_num＝前一张图像中的砾石边界矩阵数，now_count初始值为1，pre_count初始值为1，now_count为当前图像的砾石边界矩阵计数，pre_count为前一张图像的砾石边界矩阵计数；
判断now_count是否小于等于now_img_num；
若为假，则确定当前图像中边界全部处理完成，now_img_num＝now_img_num+1，并重新判断now_img_num是否小于等于Total_num；
若为真，则继续判断pre_count是否小于等于pre_img_num；
若为假，则确定前一张图像中的边界均匹配失败，说明当前图像中的now_count个边界属于新砾石，k＝k+1；
新建字典存放新砾石信息，id＝k，边界为当前图像中now_count个边界，z＝now_img_num，now_count＝now_count+1，并重新判断now_count是否小于等于now_img_num；
若为真，则计算now_img_num张图像中now_count个边界矩阵和pre_img_num张图像中pre_count个边界矩阵的面积；
对面积较小边界矩阵的假中心点映射到面积较大的边界矩阵所围成多边形中，并判断映射点是否在该多边形内部或边界上；
如果为假，则说明两边界不属于同一砾石，pre_count＝pre_count+1，并重新判断pre_count是否小于等于pre_img_num；
如果为真，则说明两边界属于同一个砾石，则在该砾石字典中添加边界信息。
2.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分，所述编码器部分用于得到五个有效特征层，所述解码器部分用于进行四次上采样，并与所述编码器部分得到的所述有效特征层进行融合，得到最终特征层，所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。
3.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述数据增强的方法包括：随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。
4.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，包括：
按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序，得到符合实际情况的图像序列；
对图像序列进行不失真的尺寸变换，添加灰条，以使得图像序列的高和宽均为512，通道数为3；
对图像序列进行归一化，使得像素值为0～1范围内的浮点数；
将图像序列输入改进的UNet全卷积神经网络进行预测，得到砾石与土体的目标分割图像；
将灰条部分截取，保证输出的图像与输入的图像的尺寸一致。
5.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵，包括：
利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界；
将边界像素点按照顺时针或逆时针的顺序存入边界矩阵，得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。
6.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法，其特征在于，所述进行每个砾石表面的点云数据的三维可视化，得到砾石模型，包括：
基于每个砾石表面的点云数据，得到每个砾石表面的三维坐标；
基于计算机图形学及三维可视化软件工具包，在应用程序用户界面中渲染出所述砾石模型。
7.一种基于改进全卷积神经网络的土石混合体图像三维重建装置，其特征在于，所述装置包括：
数据集构建模块，用于利用岩土CT扫描设备对土石混合体试样进行扫描，获取土石混合体的切面图像，得到土石混合体CT扫描的影像数据集，并对所述影像数据集进行真实边界标注，得到真实标签数据集；
网络构建模块，用于构建UNet全卷积神经网络，并建立损失函数，所述损失函数为Boundary Loss与Dice Loss的融合型损失函数；
数据集处理模块，用于基于预设比例，将所述影像数据集分为训练集、验证集以及测试集，并将所述训练集进行数据增强与归一化，得到预处理数据集；
网络训练模块，用于将预处理数据集输入神经网络进行训练，每次输入不同批次的所述训练集，进行前向传播、计算损失值以及反向传播，并优化网络参数，迭代多轮训练，并利用验证集评估网络性能，以确定一个性能最优网络模型，得到改进的UNet全卷积神经网络；
图像序列预测模块，用于按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测，得到分割后的土石混合体切面图像序列；
边界矩阵确定模块，用于识别所述土石混合体切面图像序列中所有边界，并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵；
三维模型重建模块，用于基于所述砾石边界矩阵进行边界重组，获得每个砾石表面的点云数据，并进行每个砾石表面的点云数据的三维可视化，得到砾石模型，以实现三维重建；
所述Boundary Loss的表达式为:
LB(θ)＝∫ΩφG(q)sθ(q)dq；
其中，Ω代表图像区域集合；q代表某个像素值；φG(q)代表预测值与真实值的边界之间的距离，若预测值在真实值的边界上为0，若在预测值在真实值的边界外部为正数，若预测值在真实值的内部则为负数；sθ(q)为预测值的二值函数，若预测值在目标区域内则值为1，否则为0；
Dice Loss的表达式为:
其中，pred为预测值的集合，true为真实值的集合；
所述融合型损失函数的表达式为：
Loss＝αLD+1-α)LB，
其中，α初始值等于1；
所述基于所述砾石边界矩阵进行边界重组包括：
输入需要重组的图像，计算出所有图像的边界矩阵和每个图像中所有边界的假中心点，存入数组；
用字典存放每个砾石的id、边界矩阵、与边界矩阵对应的z轴坐标，用字典数组存放每个砾石的字典；
设置k为第一张图像的边界数，为第一张图像的砾石边界矩阵编号，id＝1，2，3....k；z＝1，Total_num为图像总数，now_img_num为当前图像计数，初始值为2；
判断now_img_num是否小于等于Total_num；
若为假，则直接重组结束，若为真，则now_img_total_num＝当前图像中砾石边界矩阵数，pre_img_total_num＝前一张图像中的砾石边界矩阵数，now_count初始值为1，pre_count初始值为1，now_count为当前图像的砾石边界矩阵计数，pre_count为前一张图像的砾石边界矩阵计数；
判断now_count是否小于等于now_img_num；
若为假，则确定当前图像中边界全部处理完成，now_img_num＝now_img_num+1，并重新判断now_img_num是否小于等于Total_nu；
若为真，则继续判断pre_count是否小于等于pre_img_num；
若为假，则确定前一张图像中的边界均匹配失败，说明当前图像中的now_count个边界属于新砾石，k＝k+1；
新建字典存放新砾石信息，id＝k，边界为当前图像中now_count个边界，z＝now_img_num，now_count＝now_count+1，并重新判断now_count是否小于等于now_img_num；
若为真，则计算now_img_num张图像中now_count个边界矩阵和pre_img_num张图像中pre_count个边界矩阵的面积；
对面积较小边界矩阵的假中心点映射到面积较大的边界矩阵所围成多边形中，并判断映射点是否在该多边形内部或边界上；
如果为假，则说明两边界不属于同一砾石，pre_count＝pre_count+1并重新判断pre_count是否小于等于pre_img_num；
如果为真，则说明两边界属于同一个砾石，则在该砾石字典中添加边界信息。
8.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于改进全卷积神经网络的土石混合体图像三维重建程序，所述处理器执行所述基于改进全卷积神经网络的土石混合体图像三维重建程序时，实现如权利要求1-6任一项所述的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于改进全卷积神经网络的土石混合体图像三维重建程序，所述基于改进全卷积神经网络的土石混合体图像三维重建程序被处理器执行时，实现如权利要求1-6任一项所述的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。
CN202211303785.0A 2022-10-24 2022-10-24 基于改进全卷积神经网络的土石混合体图像三维重建方法 Active CN115631301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211303785.0A CN115631301B (zh) 2022-10-24 2022-10-24 基于改进全卷积神经网络的土石混合体图像三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211303785.0A CN115631301B (zh) 2022-10-24 2022-10-24 基于改进全卷积神经网络的土石混合体图像三维重建方法

Publications (2)

Publication Number Publication Date
CN115631301A CN115631301A (zh) 2023-01-20
CN115631301B true CN115631301B (zh) 2023-07-28

Family

ID=84906538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211303785.0A Active CN115631301B (zh) 2022-10-24 2022-10-24 基于改进全卷积神经网络的土石混合体图像三维重建方法

Country Status (1)

Country Link
CN (1) CN115631301B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115700778B (zh) * 2022-10-31 2023-07-07 同济大学 一种混合现实技术辅助的路基三维智能填筑施工控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
WO2022087853A1 (zh) * 2020-10-27 2022-05-05 深圳市深光粟科技有限公司 一种图像分割方法、装置及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN111160276B (zh) * 2019-12-31 2023-05-12 重庆大学 基于遥感影像的u型空洞全卷积分割网络识别模型
AU2021240960B2 (en) * 2020-03-26 2023-08-31 Shell Internationale Research Maatschappij B.V. Method for predicting geological features from images of geologic cores using a deep learning segmentation process
CN113658117B (zh) * 2021-08-02 2023-09-15 安徽省交通控股集团有限公司 一种基于深度学习的沥青混合料中集料边界识别与划分方法
CN113436211B (zh) * 2021-08-03 2022-07-15 天津大学 一种基于深度学习的医学图像活动轮廓分割方法
CN114693615A (zh) * 2022-03-17 2022-07-01 常州工学院 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
WO2022087853A1 (zh) * 2020-10-27 2022-05-05 深圳市深光粟科技有限公司 一种图像分割方法、装置及计算机可读存储介质
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的煤矸石图像识别研究;何克焓;;河南科技(第04期);70-72 *

Also Published As

Publication number Publication date
CN115631301A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
US20230088494A1 (en) Tessellating patches of surface data in tile based computer graphics rendering
CN113516135B (zh) 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法
WO2017215622A1 (zh) 物体分割方法及装置、计算设备
Sud et al. DiFi: Fast 3D distance field computation using graphics hardware
US7702157B2 (en) Pattern evaluation method, pattern matching method and computer readable medium
CN111898507A (zh) 一种预测无标签遥感影像地表覆盖类别的深度学习方法
Greß et al. GPU‐based collision detection for deformable parameterized surfaces
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN115631301B (zh) 基于改进全卷积神经网络的土石混合体图像三维重建方法
CN114897779A (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN107705363B (zh) 一种道路三维可视化建模方法及装置
CN111681162A (zh) 一种缺陷样本生成方法、装置、电子设备及存储介质
CN115393727A (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
CN114140448A (zh) 一种基于深度学习的隧道掌子面围岩智能分级方法及设备
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN114937023A (zh) 一种承压设备的缺陷识别方法及装置
CN113469302A (zh) 一种视频图像的多圆形目标识别方法和系统
CN112307991A (zh) 一种图像识别方法、装置及存储介质
JP4425734B2 (ja) 隠線を消去したベクトルイメージを提供する方法
CN108519867A (zh) Gpu中一种实现三角形反走样的装置和方法
CN115270242A (zh) 一种基于bim的基础大样配筋图生成方法、电子设备、可读介质
CN117132584B (zh) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置
CN116188552B (zh) 基于区域的深度测试方法、装置、设备及存储介质
CN111028283B (zh) 图像检测方法、装置、设备及可读存储介质
CN112949656B (zh) 水下地形匹配定位方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant