CN116363161B - 一种水泥水化图像多类别分割方法和装置 - Google Patents

一种水泥水化图像多类别分割方法和装置 Download PDF

Info

Publication number
CN116363161B
CN116363161B CN202310645826.2A CN202310645826A CN116363161B CN 116363161 B CN116363161 B CN 116363161B CN 202310645826 A CN202310645826 A CN 202310645826A CN 116363161 B CN116363161 B CN 116363161B
Authority
CN
China
Prior art keywords
image
segmentation
sample
category
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310645826.2A
Other languages
English (en)
Other versions
CN116363161A (zh
Inventor
刘兆麟
胡昱
李庆斌
马睿
杨广进
张凤强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310645826.2A priority Critical patent/CN116363161B/zh
Publication of CN116363161A publication Critical patent/CN116363161A/zh
Application granted granted Critical
Publication of CN116363161B publication Critical patent/CN116363161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种水泥水化图像多类别分割方法和装置，所述方法包括：获取水泥水化样本图像集；对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；通过图像多类别分割模型，实现对水泥水化微观X‑CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。

Description

一种水泥水化图像多类别分割方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种水泥水化图像多类别分割方法和装置。
背景技术
水泥水化发展过程中，微观结构的演化是形成混凝土结构强度、耐久性与渗透性的关键因素，基于X射线断层扫描（X-CT）技术可以重建出水泥随时间变化的三维结构，实现水化表征。然而由于拍摄高分辨水化图像限制多、难度大，技术需求趋近于X-CT的成像极限——拍摄工作需要射线源在较低的管电压、管电流下进行，同时还需要采用较快的扫描模式——因此会存在伪影、噪声、灰度不均等诸多图像质量问题，为图像重建效率和图像分割质量带来严峻挑战。
相关技术中，通常以传统阈值分割方法或手工标注方法进行图像分割，但早期水化需要较短的拍摄时长，成像质量较差，导致阈值分割困难，矫正处理会对原始图像造成较大破坏，为结果准确性带来影响；动态拍摄过程会产生大量结果，经过传统分割流程处理会花费大量时间，严重影响研究进度。另外，在水泥水化的微观体系下，仅单相颗粒样品达数千个甚至更多，多相结构则更加复杂，传统的手工标注极度费时、费力，并且标注法需要标注人的专业知识，对于水泥水化图像标注专业性要求较高，人员的专业性严重影响图像的标注结果。
发明内容
本发明的一个目的在于提供一种水泥水化图像多类别分割方法，对水泥水化样本图像集进行多值化分割得到多类别图像掩膜构建训练数据集，并通过该数据集对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，基于该分割模型实现对水泥水化微观X-CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。本发明的另一个目的在于提供一种水泥水化图像多类别分割装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。
为了达到以上目的，本发明一方面公开了一种水泥水化图像多类别分割方法，包括：
获取水泥水化样本图像集；
对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；
根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；
通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
优选的，在获取水泥水化样本图像集之后，还包括：
对水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
优选的，水泥水化样本图像集包括多组样本体数据；
对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜，包括：
按照每种物相，通过高斯分布模型、确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始分割阈值进行阈值修正，生成样本体数据对应的目标分割阈值；
按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集；
对初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据；
根据优质体数据和劣质体数据，生成多类别图像掩膜。
优选的，按照每种物相，通过高斯分布模型、确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始分割阈值进行阈值修正，生成样本体数据对应的目标分割阈值，包括：
获取样本体数据的灰度直方图和每种物相的粗分割阈值；
根据粗分割阈值，对样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图；
按照每种物相的粗分割灰度直方图，通过高斯分布模型，对粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，目标灰度直方图遵循高斯分布；
根据每种物相的目标灰度直方图，生成每种物相对应的初始阈值；
根据样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值。
优选的，优质体数据包括每种物相对应的图像；
根据优质体数据和劣质体数据，生成多类别图像掩膜，包括：
获取劣质体数据对应的标注体数据，标注体数据包括每种物相对应的图像；
按照预设的物相顺序，对标注体数据中每种物相对应的图像和优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜。
优选的，根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，包括：
将多类别图像掩膜与水泥水化样本图像集进行对应匹配，构建样本数据集；
按照指定比例对样本数据集进行划分，得到训练数据集和验证数据集；
根据训练数据集，对双金字塔结构的深度学习网络进行训练，得到初始图像分割模型；
通过验证数据集，对初始图像分割模型的超参数进行修正，得到图像多类别分割模型。
优选的，在根据训练数据集，对双金字塔结构的深度学习网络进行训练，得到初始图像分割模型之前，还包括：
对训练数据集进行增广处理，得到增广后的训练数据集。
优选的，双金字塔结构的深度学习网络包括内嵌金字塔结构的编码器块、解码器块、连接结构和改进的损失函数，编码器块包括指定系数的空洞卷积，解码器块包括残差块，连接结构包括注意力门控和跳跃连接，改进的损失函数包括归一化指数损失函数和聚焦损失函数。
优选的，通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，包括：
通过图像多类别分割模型，对水泥水化图像进行多类别图像分割，得到多类别预测结果；
将多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
优选的，在通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据之后，还包括：
对多类别体数据进行数据筛选，得到不同物相的二值化体数据。
本发明还公开了一种水泥水化图像多类别分割装置，包括：
获取单元，用于获取水泥水化样本图像集；
多值化分割单元，用于对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；
训练单元，用于根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；
多类别分割单元，用于通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
优选的，装置还包括：
后处理单元，用于对水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
优选的，水泥水化样本图像集包括多组样本体数据；
多值化分割单元，具体用于按照每种物相，通过高斯分布模型、确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始分割阈值进行阈值修正，生成样本体数据对应的目标分割阈值；按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集；对初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据；根据优质体数据和劣质体数据，生成多类别图像掩膜。
优选的，多值化分割单元，具体用于获取样本体数据的灰度直方图和每种物相的粗分割阈值；根据粗分割阈值，对样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图；按照每种物相的粗分割灰度直方图，通过高斯分布模型，对粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，目标灰度直方图遵循高斯分布；根据每种物相的目标灰度直方图，生成每种物相对应的初始阈值；根据样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值。
优选的，优质体数据包括每种物相对应的图像；
多值化分割单元，具体用于获取劣质体数据对应的标注体数据，标注体数据包括每种物相对应的图像；按照预设的物相顺序，对标注体数据中每种物相对应的图像和优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜。
优选的，训练单元，具体用于将多类别图像掩膜与水泥水化样本图像集进行对应匹配，构建样本数据集；按照指定比例对样本数据集进行划分，得到训练数据集和验证数据集；根据训练数据集，对双金字塔结构的深度学习网络进行训练，得到初始图像分割模型；通过验证数据集，对初始图像分割模型的超参数进行修正，得到图像多类别分割模型。
优选的，装置还包括：
增广单元，用于对训练数据集进行增广处理，得到增广后的训练数据集。
优选的，多类别分割单元，具体用于通过图像多类别分割模型，对水泥水化图像进行多类别图像分割，得到多类别预测结果；将多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
优选的，装置还包括：
数据筛选单元，用于对多类别体数据进行数据筛选，得到不同物相的二值化体数据。
本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。
本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。
本发明获取水泥水化样本图像集；对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，对水泥水化样本图像集进行多值化分割得到多类别图像掩膜构建训练数据集，并通过该数据集对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，基于该分割模型实现对水泥水化微观X-CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种水泥水化图像多类别分割方法的流程图；
图2为本发明实施例提供的又一种水泥水化图像多类别分割方法的流程图；
图3为本发明实施例提供的一种样本体数据中某个切片的灰度直方图的示意图；
图4为本发明实施例提供的一种每种物相的粗分割灰度直方图的示意图；
图5为本发明实施例提供的一种每种物相的目标灰度直方图的示意图；
图6为本发明实施例提供的一种采用初始阈值分割后的每种物相的灰度直方图的示意图；
图7为本发明实施例提供的一种水泥水化图像多类别分割装置的结构示意图；
图8为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。近年来，随着计算机算力不断攀升，人工智能方法蓬勃发展，深度学习方法在图像识别与分割领域不断推陈出新，发展势头迅猛，催生出许多训练速度快、提取特征准、泛用性强的网络架构，基于深度学习的水泥水化多类别分割方法可以跳出传统方法的局限，应对重建效率与分割质量带来的双重挑战。本发明提供了一种基于深度学习的X-CT水泥水化图像多类别分割方法，通过建立水泥水化数据集，并对构造的深度学习模型加以训练，以实现对水泥水化微观X-CT图像的多类别分割，该发明可以大幅提升水泥水化图像的分割效率，且具有更强的鲁棒性和泛化性能。
下面以水泥水化图像多类别分割装置作为执行主体为例，说明本发明实施例提供的水泥水化图像多类别分割方法的实现过程。可理解的是，本发明实施例提供的水泥水化图像多类别分割方法的执行主体包括但不限于水泥水化图像多类别分割装置。
图1为本发明实施例提供的一种水泥水化图像多类别分割方法的流程图，如图1所示，该方法包括：
步骤101、获取水泥水化样本图像集。
步骤102、对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜。
步骤103、根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型。
步骤104、通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
本发明实施例提供的技术方案中，获取水泥水化样本图像集；对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，对水泥水化样本图像集进行多值化分割得到多类别图像掩膜构建训练数据集，并通过该数据集对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，基于该分割模型实现对水泥水化微观X-CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。
图2为本发明实施例提供的又一种水泥水化图像多类别分割方法的流程图，如图2所示，该方法包括：
步骤201、获取水泥水化样本图像集。
本发明实施例中，各步骤由水泥水化图像多类别分割装置执行。
本发明实施例中，水泥水化样本图像集是对水化样品进行早期拍摄得到的样品图像集，早期水化样品需在水泥与浆体搅拌混合的早期装模并开启X-CT拍摄，早期水化拍摄应当在300s内完成。水泥水化样本图像集包括多组样本体数据，每组样本体数据包括多张切片图像。作为一种可选方案，选用硅酸三钙（C3S）、纯硅酸二钙（C2S）以及低热硅酸盐水泥三种材料，并以0.5的水胶比将三种材料分别与水分混合，搅拌30秒后，制备出纯C3S浆体、纯C2S浆体、半C3S /C2S浆体以及低热水泥浆体，装入直径为0.5mm高度为5mm的聚乙酰胺毛细管中，静置1h后开启拍摄；射线源管电压为60Kv，管电流为50uA，体素分辨率为r =0.492um3/voxel，拍摄帧数为1080FPS，样品拍摄1h、2h、4h、8h、12h、24h、1d、3d、7d、28d、56d的数据得到的原始数据体，数据体尺寸均为2000pixel×2000pixel×2000pixel，沿z轴方向共2000张切片图像，每张图像的尺寸为2000pixel×2000pixel。作为一种可选方案，抽取8h 与7d的数据结果作为测试集，其它数据作为水泥样本图像集。
步骤202、对水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
本发明实施例中，后处理工作包括但不限于对水泥水化样本图像集中的每一张切片图像进行自定义截取、去除环状伪影、去除噪声、去除边缘硬化等操作。
本发明实施例中，通过第三方数据处理工具，对水泥水化切片图像进行去噪处理，得到去噪处理后的水泥水化图像。作为一种可选方案，第三方处理工具提供多种去噪方法，例如：均值滤波、高斯滤波以及非局部均值滤波峰操作。
本发明实施例中，为保证结果的鲁棒性，对水泥水化样本图像集进行后处理优化，降低后续模型训练过程中学习到不良特征的概率，从而保证模型准确率。
步骤203、按照每种物相，通过高斯分布模型、确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始分割阈值进行阈值修正，生成样本体数据对应的目标分割阈值。
本发明实施例中，构成每组体数据中的切片图像间（组内）灰度存在一定的差异性，需要先对组内灰度进行修正，由于水泥水化图像分布基本符合高斯分布的特征，本发明根据这一规律，建立了基于高斯分布的两相阈值计算方法；由于每次拍摄环境的细微差别，与拍摄参数设置的差异性，每组体数据之间（组间）灰度存在一定的差异性，直接进行多值化处理容易产生误差，需要对组间灰度进行修正，本发明采用带有修正系数的阈值分割方法，实现包括但不限于未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项的多值化处理。
本发明实施例中，步骤203具体包括：
步骤2031、获取样本体数据的灰度直方图和每种物相的粗分割阈值。
本发明实施例中，对样本体数据进行灰度转换，得到每个像素点的灰度值；按照灰度值统计像素点的数量，构建样本体数据的灰度直方图。图3为本发明实施例提供的一种样本体数据中某个切片的灰度直方图的示意图，如图3所示，横轴为灰度值，纵轴为像素点计数。
本发明实施例中，每种物相的粗分割阈值是根据实际情况粗略设置的，本发明实施例对此不做限定。
步骤2032、根据粗分割阈值，对样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图。
本发明实施例中，物相包括但不限于水泥中无关区域（背景）、未水化颗粒、氢氧化钙、C-S-H凝胶、毛细孔、气孔以及裂缝，设定在粗分割阈值的分割状态下，上述每种物相所在的灰度区间分别为[0，T0]、 (T0，T1]，…，(T6，65535]，可以获得每种物相c在各区间的灰度直方图。
图4为本发明实施例提供的一种每种物相的粗分割灰度直方图的示意图，如图4所示，横轴为灰度值，纵轴为像素点计数。每种折线样式代表一种物相，图4以未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项共7种物相为例示出，即：物相（Cluster） 1至7。粗分割阈值为相邻的不同折线样式的曲线之间的点所指示的灰度值，每中折线样式的曲线表示的是在当前分割状态下每个物相的灰度直方图，圆形折线为物相1，倒三角折线为物相2，正三角折线为物相3，左向三角折线为物相4，右向三角折线为物相5，矩形折线为物相6，五边形折线为物相7。
步骤2033、按照每种物相的粗分割灰度直方图，通过高斯分布模型，对所述粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，所述目标灰度直方图遵循高斯分布。
具体地，通过高斯分布模型，对每种物相c的粗分割灰度直方图进行高斯拟合，得到该物相c的目标灰度直方图mc(k)。
图5为本发明实施例提供的一种每种物相的目标灰度直方图的示意图，如图5所示，横轴为灰度值，纵轴为像素点计数。每种折线样式代表一种物相，图5以未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项共7种物相为例示出，即：物相（Cluster） 1至7，圆形折线为物相1，倒三角折线为物相2，正三角折线为物相3，左向三角折线为物相4，右向三角折线为物相5，矩形折线为物相6，五边形折线为物相7。高斯分布表明了物相之间的重叠区域，通过高斯分布曲线，寻找最优的阈值，使得通过最优的阈值分割得到的两相达到最少的错误。例如，图5所示的灰度值为150处的竖直线为相邻两个物相之间的最优阈值。
值得说明的是，高斯拟合的过程属于现有的成熟技术，在此不再赘述。
步骤2034、根据每种物相的目标灰度直方图，生成每种物相对应的初始阈值。
具体地，通过，ωc(k)= mc(k)/ (mc(k)+ mc+1(k))，ωc+1(k)= mc+1(k) / (mc(k)+ mc+1(k))，对灰度直方图进行高斯拟合，得到使得差异程度最大的灰度k，并将阈值设定为该k值，即：c物相对应的初始阈值。其中，T为第c类物相与第c+1类物相的初始阈值，mc(k)和mc+1(k)分别为第c类物相与第c+1类物相的高斯分布，k为灰度，ωc(k)与ωc+1(k)为第c类物相与第c+1类物相在k灰度位置处分别所占的比例。
图6为本发明实施例提供的一种采用初始阈值分割后的每种物相的灰度直方图的示意图，如图6所示，横轴为灰度值，纵轴为像素点计数。每种折线样式代表一种物相，图6以未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项共7种物相为例示出，即：物相（Cluster） 1至7。初始阈值为相邻的不同折线样式的曲线之间的点所指示的灰度值，每种折线样式的曲线表示的是在当前分割状态下每个物相的灰度直方图，圆形折线为物相1，倒三角折线为物相2，正三角折线为物相3，左向三角折线为物相4，右向三角折线为物相5，矩形折线为物相6，五边形折线为物相7。
本发明实施例中，通过该方法可以较好地确定优质水化图像的初始阈值，对不是特别严重的劣质问题（轻微噪声、少许伪影）也可以实现较准确的初始阈值的确定；在初始阈值的分割下，保证了重叠物相最多地被划分到了合适的区域。
步骤2035、根据样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值。
本发明实施例中，基准样本体数据是根据实际情况进行选取的，本发明实施例对基本样本体数据的选取方式不做限定。选定任一体数据作为本次分割的基准样本体数据后，获得基准样本体数据的灰度直方图；基于基准样本体数据的灰度直方图，获取基准样本体数据的有效灰度区间[k0,min, k0,max]，其中，k0,min为基准样本体数据的灰度直方图在灰度递增排列下首个切线斜率大于0.01的灰度点，k0,max为基准样本体数据的灰度直方图在灰度递减排列下首个切线斜率大于0.01的灰度点。
本发明实施例中，基于样本体数据的灰度直方图，获取除了基本样本体数据之外的其他样本体数据的有效灰度区间，[ki,min, ki,max]，其中，ki,min为i样本体数据的灰度直方图在灰度递增排列下首个切线斜率大于0.01的灰度点，ki,max为i样本体数据的灰度直方图在灰度递减排列下首个切线斜率大于0.01的灰度点。
具体地，通过，对样本体数据的灰度直方图中的灰度点、基准样本体数据的灰度直方图中的灰度点、初始阈值和拍摄图像窗宽系数进行计算，得到目标分割阈值。其中，ki,min为i样本体数据的灰度直方图在灰度递增排列下首个切斜斜率大于0.01的灰度点，ki,max为i样本体数据的灰度直方图在灰度递减排列下首个切线斜率大于0.01的灰度点，k0,min为基准样本体数据的灰度直方图在灰度递增排列下首个切斜斜率大于0.01的灰度点，k0,max为基准样本体数据的灰度直方图在灰度递减排列下首个切斜斜率大于0.01的灰度点，T0c为基准体数据第c类物相与第c+1类物相的初始阈值，Tic为i样本体数据第c类物相与第c+1类物相的目标分割阈值，w为拍摄图像窗宽系数。
值得说明的是，拍摄图像窗宽系数可以根据实际需求进行设置，本发明实施例对此不做限定。c的取值按照物相的种类数量决定，例如：物相包括未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔以及裂缝，则c的取值为1,2,…, 6；对于其他杂项，c的取值为0。
本发明实施例中，通过带有修正系数的阈值分割方法，实现未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项共7项的多值化处理，能够避免由于环境拍摄环境的细微差别与设置参数的差异性导致的每组体数据之间存在的灰度差异的问题，提高多值化阈值的分割准确性。
步骤204、按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集。
本发明实施例中，按照目标分割阈值对水泥水化样本图像集中的样本体数据进行多值化分割，得到初始分类样本图像集。初始分类样本图像集标注了各类物相的大概分布，初始分类样本图像集包括每种物相对应的图像。
步骤205、对初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据。
本发明实施例中，优质体数据为没有环状伪影、噪声、射线硬化等问题的图像，劣质体数据为初始分类样本图像集中除去优质体数据的部分。值得说明的是，可以通过算法将初始分类样本图像集自动划分成优质体数据和劣质体数据两部分，也可以手动将初始分类样本图像集自动划分成优质体数据和劣质体数据两部分。
步骤206、根据优质体数据和劣质体数据，生成多类别图像掩膜。
本发明实施例中，划分后的优质体数据包括每种物相对应的优质图像，划分后的劣质体数据包括每种物相对应的劣质图像。
本发明实施例中，步骤206具体包括：
步骤2061、获取劣质体数据对应的标注体数据，标注体数据包括每种物相对应的图像。
本发明实施例中，劣质体数据标注了各类物相的大概分布；通过手动标注的方式对劣质体数据进行二次分割补充，得到标注体数据，标注体数据包括每种物相对应的图像，物相种类包括未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项，标注体数据为分割后的未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔、裂缝以及其他杂项分别对应的图像。
例如：将劣质的三维数据体导出为沿Z轴方向上的二维掩膜切片指定格式（tiff）文件；再通过代码将掩膜转换为指定格式（json）文件，并通过图像标注工具（例如：Labelme）对每一张二维切片数据进行精修，标记因图像质量原因未被分割的区域，完成掩膜的制作，制作好的掩膜尺寸为2000×2000，每个样品有2000张二维切片掩膜。
步骤2062、按照预设的物相顺序，对标注体数据中每种物相对应的图像和优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜。
本发明实施例中，物相顺序可以根据实际需求进行设置，本发明实施例对此不做限定。作为一种可选方案，物相顺序为：未水化矿物颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、大型气孔以及裂缝对应的数据形式分别为1、2、3、4、5、6；对于其他杂项，数据形式为0。
本发明实施例中，优质体数据中包括每种物相对应的图像。具体地，将优质体数据中每种物相对应的图像与标注体数据中每种物相对应的图像进行合并，以数据0-6的形式合并存储为8比特（bit）图像，合并后的图像为多类别图像掩膜。
步骤207、将多类别图像掩膜与水泥水化样本图像集进行对应匹配，构建样本数据集。
本发明实施例中，水泥水化样本图像集是未经过处理的原始图像集，将多类别图像掩膜与水泥水化样本图像集一一匹配，构建样本数据集。例如：将纯C3S、纯C2S、半C3S/C2S三种浆体的原始图像集中的每张切片与每张掩膜切片建立对应关系，得到样本数据集。
步骤208、按照指定比例对样本数据集进行划分，得到训练数据集和验证数据集。
本发明实施例中，指定比例可以根据实际需求进行设置，本发明实施例对此不做限定。作为一种可选方案，训练数据集、验证数据集、测试集之间的指定比例为8：1：1，即：将样本数据集中的80%的图像对作为训练数据集，将样本数据集中的10%的图像对作为验证数据集，将样本数据集中的10%的图像对作为测试集。
步骤209、对训练数据集进行增广处理，得到增广后的训练数据集。
本发明实施例中，增广处理包括但不限于随机旋转、随机切割、随机翻折、随机灰度调节和随机亮度调节。其中，随机旋转的旋转范围在0至180°之间，随机切割的切割尺寸为原尺寸的0.4至1倍，随机翻折为对图像的上下左右翻折，随机灰度调节为对图像整体灰度调节为原灰度的0.8至1.2倍，随机亮度调节为对图像整体亮度调节为原亮度的0.8至1.2倍。
本发明实施例中，对训练数据集进行增广处理能够提高模型网络对输入数据样品的鲁棒性和泛化能力。
步骤210、根据训练数据集，对双金字塔结构的深度学习网络进行训练，得到初始图像分割模型。
本发明实施例中，水泥亚微米精度的水化图像具有跨尺度的特征，模型深度需要足够浅，保证捕获更多细节，以识别小型孔隙等细粒度的特征信息；模型还需要足够深，保证捕获粗粒度特征信息，以识别区分团簇状的氢氧化钙与网络状的C-S-H凝胶等语义化特征；为了保证模型的深浅特性，并能进行模型剪枝，需要采用合并深层和浅层信息的网络。由于需要对各物相进行量化处理，区分其空间分布与比例含量，因此需要选用对像素分类的分割模型，选用Unet++作为模型的主干网络，并进行大范围的修正和改进，提出了新的双金字塔模型。
本发明实施例中，双金字塔结构的深度学习网络包括内嵌金字塔结构的编码器块、解码器块、连接结构和改进的损失函数。
其中，编码器块包括指定系数的空洞卷积，指定系数的孔洞卷积为系数分别为1、3、5的空洞卷积，编码器块应用系数分别为1、3、5的空洞卷积，实现了每一层的金字塔特征提取，与Unet++骨架共同构成了一种双金字塔结构，其中，Unet++为金字塔形式、编码器块为内嵌金字塔形式，通过内嵌金字塔块进一步提升了对每一层中不同尺度信息的特征提取能力，提高了分割精度。
其中，解码器块包括残差（Residual）块。具体地，针对高精度快速分割的需求，对Unet++模型的解码器进行改进，设计Residual块作为解码器，取代了原有的VGG块，加强了运算与收敛能力，提高了效率。
其中，连接结构包括注意力门控（AttentionGate）和跳跃连接。具体地，对Unet++主干网络进行改进，在原始的跳跃连接上用AttentionGate进行连接，引入了注意力机制，提升了模型对于细节的捕捉能力和多层融合能力。
其中，改进的损失函数包括归一化指数损失函数和聚焦损失函数。其中，归一化指数损失函数为对区域的洛瓦斯归一化指数（Lovász-softmax）损失函数，聚焦损失函数为对像素的聚焦（Focal）损失函数。具体地，针对多类别分割任务改进了损失函数，损失函数的改进目的是针对水泥水化样品的图像特征：小型孔隙、矿物、水化产物、气孔隙裂隙分布不均，且存在小目标样本，为此结合Lovász-softmax损失函数与Focal损失函数对于分割问题与不均衡类别问题的优势，构建了新的损失函数其形式如下：
其中，△Jc为杰卡德（Jaccard）索引，为△Jc的Lovasz扩展，Loss（f）为改进后的损失函数，m(c)为第c个物相的像素误差，w为指数下降权重，α为下降因子， yi *为真实值，fi(c)为样本i属于第c个物相的类别概率，epoch为迭代轮次，|C|为类别总数，γ为聚焦参数，用于调节样本权重，γ大于或等于0，具体取值可以根据需求进行设定，本发明实施例对此不做限定。
具体地，在预设的模型训练环境下，将训练数据集输入双金字塔结构的深度学习网络，对训练数据集进行迭代训练，直至满足预先设置的迭代要求，停止模型训练，输出初始图像分割模型。
值得说明的是，模型训练环境为预先设置的，模型训练环境包括但不限于操作系统、模型运行环境、显卡、显卡驱动版本、统一计算设备架构（CUDA）版本和机器学习库（Pytorch）版本。作为一种可选方案，操作系统为Ubuntu 20.04LTS，模型运行环境为Pytorch+CUDA，训练方式为多GPU分布式训练，显卡为NVIDIA 4090×4，显卡驱动版本为520.56.06，CUDA版本为11.8，Pytorch版本为Stable（1.13.1）。在上述模型训练环境下，对训练数据集进行500个Epoch（一次正向传播和一次反向传播）训练，用可视化工具（tensorboard）输出模型的训练数据集的损失收敛曲线与验证集的交叉熵损失曲线，保存最终训练好的模型参数为epoch_500.pth。
步骤211、通过验证数据集，对初始图像分割模型的超参数进行修正，得到图像多类别分割模型。
具体地，采用优化算法，根据验证数据集，对初始图像分割模型的超参数进行修正，得到图像多类别分割模型。作为一种可选方案，采用基于使用Nesterov动量的随机梯度下降算法（SGD），提高梯度下降速度，具体设置为：学习率调度策略选用机器学习库（Pytorch）自带的多步长调整学习率（MultiStepLR）策略，初始学习率为0.00001，特定步数为[30，60]，降低率为0.9；SGD动量参数设置为0.9，用于加速SGD在相同方向上的收敛；权重衰减为1×10-9，防止过拟合。
步骤212、通过图像多类别分割模型，对水泥水化图像进行多类别图像分割，得到多类别预测结果。
作为一种可选方案，将预先划分的测试集确定为采集的水泥水化图像。具体地，将测试集输入图像多类别分割模型进行多类别分割，得到多类别预测结果。
作为另一种可选方案，采集的水泥水化图像为通过X-CT拍摄的最小分辨率在r =0.5um的未参与训练的水泥水化某时刻的体数据切片样本。具体地，将采集的水泥水化图像输入图像多类别分割模型进行多类别分割，得到多类别预测结果。
步骤213、将多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
本发明实施例中，对多类别预测结果在厚度上进行组合。具体地，通过视觉工具（OpenCV包）实现图像的空间合并，若多类别预测结果是完整的体数据，可直接通OpenCV包进行空间合并即可得到多类别体数据；若多类别预测结果是非完整体数据，可通过双线性内插法进行图像厚度间插值，使模型预测结果的三维厚度与原始三维厚度一致。
步骤214、对多类别体数据进行数据筛选，得到不同物相的二值化体数据。
本发明实施例中，对多类别体数据进行数据筛选，分别输出未水化颗粒、C-S-H凝胶、氢氧化钙、小型孔隙、裂缝以及其他杂项的二值化体数据。
进一步地，分别计算未水化颗粒、C-S-H凝胶、氢氧化钙的体积、球形度、等效直径、体积比，以及分别计算小型孔隙、气孔以及裂缝的孔隙率。
作为一种可选方案，通过Vc=∑Vci=∑pixelci×R，对各样本在第c类物相的体积进行计算，得到第c类物相的总体积。其中，Vc为第c类物相的总体积，Vci为第c类物相第i个样本的体积，pixelci为第c类物相第i个样本的体素个数，R为拍摄图像的体素分辨率，Σ为求和符号。
作为一种可选方案，通过，对数据体总体积和第c类物相的总体积进行计算，得到物相体积比。其中，Vc为第c类物相的总体积，Vt为数据体体积，θ为物相体积比。值得说明的是，当物相c为孔隙时θ为孔隙率。
作为一种可选方案，通过，Sci=∑voxels ci×r，对第c类物相第i个样本的体积和第c类物相第i个样本的表面积进行计算，得到第c类物相第i个样本的球形度。其中，Vci为第c类物相第i个样本的体积；Sci为第c类物相第i个样本；φci为第c类物相第i个样本的球形度；voxels ci为第c类物相第i个样本与0值交界的体素个数，即：第i个样本在第c类物相上的表面体素个数；r为像素分辨率。
本发明利用深度学习的方式实现水泥水化CT图像的自动分割，（1）提高了水泥水化样本的分割效率：省略了X-CT水泥水化图像大量的后处理工作，仅需数秒即可完成人工长达数十小时甚至数天的分割任务，效率提升超过3个数量级；（2）提高了水化CT图像的可用性：用于模型训练的数据中包含了水泥水化样本拍摄中的噪声、伪影、模糊、硬化等各类CT图像劣化因素，保证了模型的鲁棒性和泛化能力，训练完成的模型具备了从质量不佳的水化图像中提取有效特征信息的性能，从而实现对各类劣质水化CT图像分割；（3）提升了X-CT技术在水泥水化研究中的易用性：经过该发明，水化样品的图像质量要求被降低，水化测试的有效数据范畴被拓宽，水化拍摄过程中的样本、设备以及测试时间消耗被缩短，这反过来降低了X-CT的拍摄条件限制， X-CT设备在水泥水化研究中的易用性被增强。
值得说明的是，本申请中技术方案中对数据的获取、存储、使用、处理等均符合法律法规的相关规定。本申请实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过客户授权同意的。
本发明实施例提供的水泥水化图像多类别分割方法的技术方案中，获取水泥水化样本图像集；对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，对水泥水化样本图像集进行多值化分割得到多类别图像掩膜构建训练数据集，并通过该数据集对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，基于该分割模型实现对水泥水化微观X-CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。
图7为本发明实施例提供的一种水泥水化图像多类别分割装置的结构示意图，该装置用于执行上述水泥水化图像多类别分割方法，如图7所示，该装置包括：获取单元11、多值化分割单元12、训练单元13和多类别分割单元14。
获取单元11用于获取水泥水化样本图像集。
多值化分割单元12用于对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜。
训练单元13用于根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型。
多类别分割单元14用于通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
本发明实施例中，装置还包括：后处理单元15。
后处理单元15用于对水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
本发明实施例中，水泥水化样本图像集包括多组样本体数据；多值化分割单元14具体用于按照每种物相，通过高斯分布模型、确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始分割阈值进行阈值修正，生成样本体数据对应的目标分割阈值；按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集；对初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据；根据优质体数据和劣质体数据，生成多类别图像掩膜。
本发明实施例中，多值化分割单元14具体用于获取样本体数据的灰度直方图和每种物相的粗分割阈值；根据粗分割阈值，对样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图；按照每种物相的粗分割灰度直方图，通过高斯分布模型，对粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，目标灰度直方图遵循高斯分布；根据每种物相的目标灰度直方图，生成每种物相对应的初始阈值；根据样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值。
本发明实施例中，优质体数据包括每种物相对应的图像；多值化分割单元14具体用于获取劣质体数据对应的标注体数据，标注体数据包括每种物相对应的图像；按照预设的物相顺序，对标注体数据中每种物相对应的图像和优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜。
本发明实施例中，训练单元13具体用于将多类别图像掩膜与水泥水化样本图像集进行对应匹配，构建样本数据集；按照指定比例对样本数据集进行划分，得到训练数据集和验证数据集；根据训练数据集，对双金字塔结构的深度学习网络进行训练，得到初始图像分割模型；通过验证数据集，对初始图像分割模型的超参数进行修正，得到图像多类别分割模型。
本发明实施例中，装置还包括：增广单元16。
增广单元16用于对训练数据集进行增广处理，得到增广后的训练数据集。
本发明实施例中，多类别分割单元14具体用于通过图像多类别分割模型，对水泥水化图像进行多类别图像分割，得到多类别预测结果；将多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
本发明实施例中，装置还包括：数据筛选单元17。
数据筛选单元17用于对多类别体数据进行数据筛选，得到不同物相的二值化体数据。
本发明实施例的方案中，获取水泥水化样本图像集；对水泥水化样本图像集进行多值化分割，得到多类别图像掩膜；根据多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；通过图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，对水泥水化样本图像集进行多值化分割得到多类别图像掩膜构建训练数据集，并通过该数据集对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，基于该分割模型实现对水泥水化微观X-CT图像的多类别分割，节约人力资源，降低对人力的学习要求，大幅提高分割结果的准确率以及分割效率，且具有更强的鲁棒性和泛化性能。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述水泥水化图像多类别分割方法的实施例的各步骤，具体描述可参见上述水泥水化图像多类别分割方法的实施例。
下面参考图8，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图8所示，计算机设备600包括中央处理单元（CPU）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有计算机设备600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶反馈器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.在一种水泥水化图像多类别分割方法，其特征在于，所述方法包括：
获取水泥水化样本图像集；
对所述水泥水化样本图像集进行多值化分割，得到多类别图像掩膜，所述水泥水化样本图像集包括多组样本体数据；
对所述水泥水化样本图像集进行多值化分割，得到多类别图像掩膜，包括：
按照每种物相，通过高斯分布模型，生成每组样本体数据的初始阈值，通过确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始阈值进行阈值修正，生成样本体数据对应的目标分割阈值；
按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集；
对所述初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据；
根据所述优质体数据和劣质体数据，生成所述多类别图像掩膜；
按照每种物相，通过高斯分布模型，生成每组样本体数据的初始阈值，通过确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始阈值进行阈值修正，生成样本体数据对应的目标分割阈值，包括：
获取所述样本体数据的灰度直方图和每种物相的粗分割阈值；
根据所述粗分割阈值，对所述样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图；
按照每种物相的粗分割灰度直方图，通过高斯分布模型，对所述粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，所述目标灰度直方图遵循高斯分布；
根据所述每种物相的目标灰度直方图，生成每种物相对应的初始阈值；
根据所述样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对所述每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值；
所述优质体数据包括每种物相对应的图像；
根据所述优质体数据和劣质体数据，生成所述多类别图像掩膜，包括：
获取所述劣质体数据对应的标注体数据，所述标注体数据包括每种物相对应的图像；
按照预设的物相顺序，对所述标注体数据中每种物相对应的图像和所述优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜；
根据所述多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；
根据所述多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型，包括：
将所述多类别图像掩膜与所述水泥水化样本图像集进行对应匹配，构建样本数据集；
按照指定比例对所述样本数据集进行划分，得到训练数据集和验证数据集；
根据所述训练数据集，对所述双金字塔结构的深度学习网络进行训练，得到初始图像分割模型；
通过所述验证数据集，对所述初始图像分割模型的超参数进行修正，得到所述图像多类别分割模型；
所述双金字塔结构的深度学习网络包括内嵌金字塔结构的编码器块、解码器块、连接结构和改进的损失函数，所述编码器块包括指定系数的空洞卷积，所述解码器块包括残差块，所述连接结构包括注意力门控和跳跃连接，所述改进的损失函数包括归一化指数损失函数和聚焦损失函数；
所述改进的损失函数形式如下：
；
；
；
；
其中，△Jc为杰卡德（Jaccard）索引，为△Jc的Lovász扩展，Loss（f）为改进后的损失函数，m(c)为第c个物相的像素误差，w为指数下降权重，α为下降因子， yi *为真实值，fi(c)为样本i属于第c个物相的类别概率，epoch为迭代轮次，|C|为类别总数，γ为聚焦参数；
通过所述图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
2.根据权利要求1所述的水泥水化图像多类别分割方法，其特征在于，在所述获取水泥水化样本图像集之后，还包括：
对所述水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
3.根据权利要求1所述的水泥水化图像多类别分割方法，其特征在于，在所述根据所述训练数据集，对所述双金字塔结构的深度学习网络进行训练，得到初始图像分割模型之前，还包括：
对所述训练数据集进行增广处理，得到增广后的训练数据集。
4.根据权利要求1所述的水泥水化图像多类别分割方法，其特征在于，通过所述图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据，包括：
通过所述图像多类别分割模型，对所述水泥水化图像进行多类别图像分割，得到多类别预测结果；
将所述多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
5.根据权利要求1所述的水泥水化图像多类别分割方法，其特征在于，在所述通过所述图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据之后，还包括：
对所述多类别体数据进行数据筛选，得到不同物相的二值化体数据。
6.一种水泥水化图像多类别分割装置，其特征在于，所述装置包括：
获取单元，用于获取水泥水化样本图像集；
多值化分割单元，用于对所述水泥水化样本图像集进行多值化分割，得到多类别图像掩膜，所述水泥水化样本图像集包括多组样本体数据；
所述多值化分割单元，具体用于按照每种物相，通过高斯分布模型，生成每组样本体数据的初始阈值，通过确定的基准样本体数据和拍摄图像窗宽系数，对每组样本体数据的初始阈值进行阈值修正，生成样本体数据对应的目标分割阈值；按照目标分割阈值对水泥水化样本图像集中的样本体数据进行分割，得到初始分类样本图像集；对所述初始分类样本图像集进行图像划分，得到优质体数据和劣质体数据；根据所述优质体数据和劣质体数据，生成所述多类别图像掩膜；
所述多值化分割单元，具体用于获取所述样本体数据的灰度直方图和每种物相的粗分割阈值；根据所述粗分割阈值，对所述样本体数据的灰度直方图进行粗分割，得到每种物相的粗分割灰度直方图；按照每种物相的粗分割灰度直方图，通过高斯分布模型，对所述粗分割灰度直方图进行高斯拟合，得到每种物相的目标灰度直方图，所述目标灰度直方图遵循高斯分布；根据所述每种物相的目标灰度直方图，生成每种物相对应的初始阈值；根据所述样本体数据的灰度直方图、基准样本体数据和拍摄图像窗宽系数，对所述每种物相对应的初始阈值进行修正，得到样本体数据对应的目标分割阈值；
所述优质体数据包括每种物相对应的图像；
所述多值化分割单元，具体用于获取所述劣质体数据对应的标注体数据，所述标注体数据包括每种物相对应的图像；按照预设的物相顺序，对所述标注体数据中每种物相对应的图像和所述优质体数据中每种物相对应的图像进行合并，得到多类别图像掩膜；
训练单元，用于根据所述多类别图像掩膜和水泥水化样本图像集，对双金字塔结构的深度学习网络进行训练，构建图像多类别分割模型；
所述训练单元，具体用于将所述多类别图像掩膜与所述水泥水化样本图像集进行对应匹配，构建样本数据集；按照指定比例对所述样本数据集进行划分，得到训练数据集和验证数据集；根据所述训练数据集，对所述双金字塔结构的深度学习网络进行训练，得到初始图像分割模型；通过所述验证数据集，对所述初始图像分割模型的超参数进行修正，得到所述图像多类别分割模型；
所述双金字塔结构的深度学习网络包括内嵌金字塔结构的编码器块、解码器块、连接结构和改进的损失函数，所述编码器块包括指定系数的空洞卷积，所述解码器块包括残差块，所述连接结构包括注意力门控和跳跃连接，所述改进的损失函数包括归一化指数损失函数和聚焦损失函数；
所述改进的损失函数形式如下：
；
；
；
；
其中，△Jc为杰卡德（Jaccard）索引，为△Jc的Lovász扩展，Loss（f）为改进后的损失函数，m(c)为第c个物相的像素误差，w为指数下降权重，α为下降因子， yi *为真实值，fi(c)为样本i属于第c个物相的类别概率，epoch为迭代轮次，|C|为类别总数，γ为聚焦参数；多类别分割单元，用于通过所述图像多类别分割模型，对采集的水泥水化图像进行多类别分割，得到多类别体数据。
7.根据权利要求6所述的水泥水化图像多类别分割装置，其特征在于，所述装置还包括：
后处理单元，用于对所述水泥水化样本图像集进行后处理，得到优化后的水泥水化样本图像集。
8.根据权利要求6所述的水泥水化图像多类别分割装置，其特征在于，所述装置还包括：
增广单元，用于对所述训练数据集进行增广处理，得到增广后的训练数据集。
9.根据权利要求6所述的水泥水化图像多类别分割装置，其特征在于，
所述多类别分割单元，具体用于通过所述图像多类别分割模型，对所述水泥水化图像进行多类别图像分割，得到多类别预测结果；将所述多类别预测结果进行空间合并和/或厚度间插值，得到多类别体数据。
10.根据权利要求6所述的水泥水化图像多类别分割装置，其特征在于，所述装置还包括：
数据筛选单元，用于对所述多类别体数据进行数据筛选，得到不同物相的二值化体数据。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述的水泥水化图像多类别分割方法。
12.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至5任一项所述的水泥水化图像多类别分割方法。
CN202310645826.2A 2023-06-02 2023-06-02 一种水泥水化图像多类别分割方法和装置 Active CN116363161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310645826.2A CN116363161B (zh) 2023-06-02 2023-06-02 一种水泥水化图像多类别分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310645826.2A CN116363161B (zh) 2023-06-02 2023-06-02 一种水泥水化图像多类别分割方法和装置

Publications (2)

Publication Number Publication Date
CN116363161A CN116363161A (zh) 2023-06-30
CN116363161B true CN116363161B (zh) 2023-08-01

Family

ID=86929085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310645826.2A Active CN116363161B (zh) 2023-06-02 2023-06-02 一种水泥水化图像多类别分割方法和装置

Country Status (1)

Country Link
CN (1) CN116363161B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066789A (ko) * 2017-12-06 2019-06-14 서울시립대학교 산학협력단 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
EP3611699A1 (en) * 2018-08-14 2020-02-19 Siemens Healthcare GmbH Image segmentation using deep learning techniques
CN112862811A (zh) * 2021-03-10 2021-05-28 华中科技大学 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN114202545A (zh) * 2020-08-27 2022-03-18 东北大学秦皇岛分校 一种基于UNet++的低级别胶质瘤图像分割方法
CN114897781A (zh) * 2022-04-12 2022-08-12 三峡大学 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN115690787A (zh) * 2022-11-07 2023-02-03 香港中文大学（深圳） 语义分割方法、图像处理设备以及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476781B (zh) * 2020-04-08 2023-04-07 浙江大学 一种基于视频语义分割技术的混凝土裂缝识别方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066789A (ko) * 2017-12-06 2019-06-14 서울시립대학교 산학협력단 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템
EP3611699A1 (en) * 2018-08-14 2020-02-19 Siemens Healthcare GmbH Image segmentation using deep learning techniques
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
CN114202545A (zh) * 2020-08-27 2022-03-18 东北大学秦皇岛分校 一种基于UNet++的低级别胶质瘤图像分割方法
CN112862811A (zh) * 2021-03-10 2021-05-28 华中科技大学 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN114897781A (zh) * 2022-04-12 2022-08-12 三峡大学 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN115690787A (zh) * 2022-11-07 2023-02-03 香港中文大学（深圳） 语义分割方法、图像处理设备以及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs;Liang-Chieh Chen 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第40卷(第4期);第834-848页 *
Intra-Patient and Inter-Patient Multi-Classification of Severe Cardiovascular Diseases Based on CResFormer;Dengao Li 等;《Tsinghua Science and Technology》;第28卷(第2期);第386-404页 *
基于改进Deeplab V3+网络的水工混凝土裂缝语义分割方法;黄思文 等;《水利水电科技进展》;第81-86页 *
基于深度学习的混凝土孔结构快速测定方法的研究与应用;盛伟;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;第四章 *
基于目标检测模型的混凝土坯层覆盖间歇时间超时预警;梅杰 等;《清华大学学报 (自然科学版)》;第61卷(第7期);第688-693页 *

Also Published As

Publication number Publication date
CN116363161A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN109840913B (zh) 一种乳腺x线图像中肿块分割的方法和系统
CN110689525A (zh) 基于神经网络识别淋巴结的方法及装置
CN113269724A (zh) 一种细粒度癌症亚型分类方法
CN115008255B (zh) 一种用于机床的刀具磨损识别方法及装置
CN117197686A (zh) 一种基于卫星影像的高标准农田地块边界自动识别方法
CN117788344B (zh) 一种基于扩散模型的建筑纹理图像修复方法
CN115690073A (zh) 一种激光增材制造陶瓷微结构局部表征方法、装置及介质
CN116363161B (zh) 一种水泥水化图像多类别分割方法和装置
CN112712527B (zh) 一种基于DR-Unet104的医疗图像分割方法
CN111724331A (zh) 一种基于生成网络的多孔介质图像重建方法
CN111833432A (zh) 一种基于岩心二维灰度图像的三维重建方法
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
CN114581433B (zh) 一种获取金属球腔内表面形貌检测图像的方法及系统
CN109697693A (zh) 一种实现基于大数据空间运算的方法
CN114862763B (zh) 一种基于EfficientNet的胃癌病理切片图像分割预测方法
EP4024336A1 (en) Neural network training method and apparatus, defect inspection method and apparatus, and non-transitory computer-readable medium
CN115719310A (zh) 一种眼底图像数据集的预处理方法及眼底图像训练模型
Shobi et al. Review on Image Inpainting using Intelligence Mining Techniques.
CN116362974B (zh) 一种超分辨率水泥水化图像生成方法和装置
CN118229981B (zh) 一种结合卷积网络和Transformer的CT图像肿瘤分割方法、装置和介质
Li et al. Segmentation of backscattered electron images of cement-based materials using lightweight U-Net with attention mechanism (LWAU-Net)
CN116030156B (zh) 图像重建模型的迭代方法和图像重建方法
Deng et al. Meta-Learning Multi-Scale Radiology Medical Image Super-Resolution.
CN118429724B (zh) 一种小样本医疗图像分类方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant