CN115035291A - 基于语义分割的砂石图像分割方法、装置、设备及介质 - Google Patents

基于语义分割的砂石图像分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN115035291A
CN115035291A CN202210383550.0A CN202210383550A CN115035291A CN 115035291 A CN115035291 A CN 115035291A CN 202210383550 A CN202210383550 A CN 202210383550A CN 115035291 A CN115035291 A CN 115035291A
Authority
CN
China
Prior art keywords
image
sand
layer
processing
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210383550.0A
Other languages
English (en)
Inventor
李涵
李世杰
左治江
曾凡琮
潘利波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202210383550.0A priority Critical patent/CN115035291A/zh
Publication of CN115035291A publication Critical patent/CN115035291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于语义分割的砂石图像分割方法、装置、设备及介质。方法包括：获取多个砂石图像；对砂石图像进行预处理，得到处理后的砂石图像，预处理包括图像增强处理以及滤波去噪处理；将处理后的砂石图像切分成训练集以及测试集；对训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据测试集对训练后的语义分割模型进行模拟测试，得到训练效果；若训练效果中的分割正确率大于预设值，则根据训练后的语义分割模型对待分割砂石图像进行砂石分割处理。本方案中可以提高砂石图像分割的精确度。

Description

基于语义分割的砂石图像分割方法、装置、设备及介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于语义分割的砂石图像分割方法、装置、设备及介质。
背景技术
针对砂石混合图像灰度值变化不连续，纹理特征复杂，灰度对比不明显，无论是基于颜色特征(Hue Saturation Value，HSV)的阈值分割，到基于局部二值模式(LocalBinary Pattern，LBP)特征的分割，到基于灰度共生矩阵(Gray-level co-occurrencematrix)的特征分割，都无法将相似度极高的混凝土砂石难以精确的进行像素级分割。
为了提高砂石图像分割的精确度，现亟需一种方法，对混凝土砂石图像进行精确的分割。
发明内容
本申请实施例提供了一种基于语义分割的砂石图像分割方法、装置、设备及介质，可以对混凝土砂石图像进行像素级分割，提高砂石图像分割的精确度。
第一方面，本申请实施例提供了一种基于语义分割的砂石图像分割方法，其包括：获取多个砂石图像；
对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；
将多个所述处理后的砂石图像切分成训练集以及测试集；
对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；
根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；
根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；
若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
在一些实施例中，所述预设的语义分割模型包括特征提取模块和语义映射模块，所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
在一些实施例中，所述根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型，包括：
将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型；
通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息；
通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果；
根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值；
根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
在一些实施例中，所述通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，包括：
通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
所述线性滤波公式为：
Figure BDA0003592774550000021
其中，f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵；
所述最大池化公式为：
Figure BDA0003592774550000031
其中，m,n为最大池化矩阵的维度，
Figure BDA0003592774550000032
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure BDA0003592774550000033
Figure BDA0003592774550000034
Figure BDA0003592774550000035
Figure BDA0003592774550000036
其中，m为batch的数量，zi代表批量正则化之后的传播值。
在一些实施例中，所述通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果，包括：
通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；
通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；
通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；
将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
在一些实施例中，所述通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果，包括：
通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure BDA0003592774550000037
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
在一些实施例中，所述根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值，包括：
根据预设的交叉熵损失计算公式以及所述预测结果以及所述砂石样本图像对应的标注确定所述交叉熵损失值，其中，所述交叉熵损失计算公式为：
Figure BDA0003592774550000041
其中，x表示样本，n表示样本的总数。
第二方面，本申请实施例还提供了一种基于语义分割的砂石图像分割装置，其包括：包括获取单元以及处理单元，其中：
所述获取单元，用于获取多个砂石图像；
所述处理单元，用于对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本申请实施例提供了一种基于语义分割的砂石图像分割方法、装置、设备及介质。其中，所述方法包括：获取多个砂石图像；对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。本方案中，通过训练后的语义分割模型可以对砂石图像进行像素级的分割，提高了砂石图像分割的精确度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于语义分割的砂石图像分割方法的应用场景示意图；
图2为本申请实施例提供的基于语义分割的砂石图像分割方法的流程示意图；
图3为本申请实施例的语义分割模型中特征提取模块的一结构示意图；
图4为本申请实施例的语义分割模型的一结构示意图；
图5为本申请实施例提供的基于语义分割的砂石图像分割方法的中算法拟合效果的一示意图；
图6为本申请实施例提供的基于语义分割的砂石图像分割装置的示意性框图；
图7为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请实施例提供了一种基于语义分割的砂石图像分割方法、装置、设备及介质。
该基于语义分割的砂石图像分割方法的执行主体可以是本申请实施例提供的基于语义分割的砂石图像分割装置，或者集成了该基于语义分割的砂石图像分割装置的计算机设备，其中，该基于语义分割的砂石图像分割装置可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器，该终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。
请参阅图1，图1为本申请实施例提供的基于语义分割的砂石图像分割方法的应用场景示意图。该基于语义分割的砂石图像分割方法应用于图1中的计算机设备10中，该计算机设备10获取多个砂石图像；对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
图2是本申请实施例提供的基于语义分割的砂石图像分割方法的流程示意图。如图2所示，该方法包括以下步骤S110-150。
S110、获取多个砂石图像。
具体地，该砂石图像可以为预先采集的，存在本地存储器的图像。
S120、对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理。
具体地，由于采集图像的随机性，难以确保获取到的砂石图像都是良好的样本，所以需要对于信号偏弱的砂石图像进行图像增强处理，在一些实施例中，可由下式定义的伽马校正进行增强：
s＝crγ； (1)
其中γ为校正尺度，c为常量系数，r为输入像素值，s为输出像素值。
对于采集的图像，合理的去噪也是提高模型拟合度的方法，由下式定义的线性空间滤波进行滤波去噪处理:
Figure BDA0003592774550000071
其中f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵。
S130、将多个所述处理后的砂石图像切分成训练集以及测试集。
本实施例中，得到处理后的砂石图像之后，将该砂石图像分成两份，一份为训练集，另一份为测试集。
S140、对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集。
对砂石图像切分好之后，利用预设的图像标注软件将训练集中各砂石图像中的沙子像素图像标注为砂子和将砂石图像中的石头像素图像标注为石头。
S150、根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型。
具体地，步骤S150包括以下步骤：
S151、将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型。
其中，预设的语义分割模型包括特征提取模块encoder和语义映射模块decoder，encoder部分使用VGG-16作为主干网络模型对砂石图像的特征进行高层语义提取，decoder部分将解析语义以映射到对应的图像像素中,即每个像素用对应其物体的颜色(或label)表示,所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
在一些实施例中，如图3所示，图3为特征提取模块的结构图，特征提取模块包括5个特征提取单元，如图4所示，图4为语义分割模型的结构图，语义映射模块由5个语义映射单元组成，前4个语义映射单元包括上采样层、第二卷积层，第5个语义映射单元包括上采样层、第二卷积层以及SoftMax分类层组成。
S152、通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息。
其中，每个卷积层都是模型待优化的反向传播参数，卷积按照线性滤波公式(2)进行，池化层采用最大池化，用于增强模型的鲁棒性并且防止过拟合，其中最大池化依据公式(3)最大池化公式求得。
具体地，步骤S152包括：通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
最大池化公式为：
Figure BDA0003592774550000081
其中，m,n为最大池化矩阵的维度，
Figure BDA0003592774550000082
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure BDA0003592774550000083
Figure BDA0003592774550000084
Figure BDA0003592774550000085
Figure BDA0003592774550000086
其中，m为batch的数量，zi代表批量正则化之后的传播值。
S153、通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果。
得到了encoder获取的语义信息之后，需要将这些语义信息映射到对应的像素点上。首先decoder通过上采样层对缩小后的特征图像进行上采样，然后第二卷积层应用式(2)进行反卷积处理，完善几何形状，弥补池化层中物体的细节损失，再将映射后的语义送入SoftMax分类层，进行归一化概率的计算。
具体地，步骤S153包括：通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
其中，步骤通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果具体包括：通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure BDA0003592774550000091
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
如下式，取计算得到的概率最大值作为预测结果：
s＝max(pi)； (9)
S154、根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值。
将预测结果与事先标注好的label值做对比并优化交叉熵损失函数，交叉熵损失值由下式求得：
Figure BDA0003592774550000092
其中，x表示样本，n表示样本的总数。
S155、根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
得到交叉熵损失值之后，再根据反向传播公式计算出的梯度进行反向传播，其中，反向传播公式：
Figure BDA0003592774550000093
S160、根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果。
具体地，加载训练后的语义分割模型中训练好的模型参数，在测试集上进行模型测试，获取训练效果。
S170、若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
即根据训练效果确定语义分割模型是否训练完成，如果训练效果中的分割正确率大于预设值，则说明训练完成，后续用该训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
如果训练效果中的分割正确率不大于预设值，则说明训练未完成，返回执行步骤S150-S170，直到训练效果中的分割正确率大于预设值。
其中，最终的算法拟合效果图5所示。
本申请中的语义分割作为计算机视觉的基本研究领域之一，和目标检测问题不同，语义分割研究的问题更加精细，不仅要将物体类别检测出来，更要对图像类别进行像素级的分割，所以适用于混凝土骨料，砂石中的颗粒级检测。本申请提出用语义分割的方法解决砂石图像分割问题，整体由对砂石图像特征进行提取的特征提取器encoder和解码器decoder，encoder部分使用VGG-16作为主干网络模型对砂石图像的特征进行高层语义提取，decoder部分将解析语义以映射到对应的图像像素中，即每个像素用对应其物体的颜色(或label)表示。该算法通过对大量预训练砂石图像样本进行下采样，通过对图像低级局域像素信息进行归类与分析，获取砂与石的高阶语义信息，从而完成像素级分割的效果。
综上所述，本申请获取多个砂石图像；对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。本方案中，通过训练后的语义分割模型可以对砂石图像进行像素级的分割，提高了砂石图像分割的精确度。
此外，本申请提出的基于语义分割的砂石图像分割方法具有鲁棒性强，分割粒度精细，分割效果好的优点。解决了针对砂石混合图像灰度值变化不连续，纹理特征复杂，灰度对比不明显，传统的基于颜色特征的阈值分割，基于局部二值模式特征的分割，基于灰度共生矩阵的特征分割，都无法将相似度极高的混凝土砂石难以精确的进行像素级分割的问题，对建筑行业混凝土粒径检测与分割具有重要的意义。
图6是本申请实施例提供的一种基于语义分割的砂石图像分割装置的示意性框图。如图6所示，对应于以上基于语义分割的砂石图像分割方法，本申请还提供一种基于语义分割的砂石图像分割装置。该基于语义分割的砂石图像分割装置包括用于执行上述基于语义分割的砂石图像分割方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑或砂石图像采集装置等终端中。具体地，请参阅图6，该基于语义分割的砂石图像分割装置包括包括获取单元601以及处理单元602，其中：
所述获取单元601，用于获取多个砂石图像；
所述处理单元602，用于对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
在一些实施例中，所述预设的语义分割模型包括特征提取模块和语义映射模块，所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
在一些实施例中，所述处理单元602在执行所述根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型步骤时，具体用于：
将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型；
通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息；
通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果；
根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值；
根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
在一些实施例中，所述处理单元602在执行所述通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息步骤时，具体用于：
通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
所述线性滤波公式为：
Figure BDA0003592774550000121
其中，f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵；
所述最大池化公式为：
Figure BDA0003592774550000122
其中，m,n为最大池化矩阵的维度，
Figure BDA0003592774550000123
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure BDA0003592774550000124
Figure BDA0003592774550000125
Figure BDA0003592774550000126
Figure BDA0003592774550000131
其中，m为batch的数量，zi代表批量正则化之后的传播值。
在一些实施例中，所述处理单元602在执行所述通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果步骤时，具体用于：
通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；
通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；
通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；
将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
在一些实施例中，所述处理单元602在执行所述通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果，步骤时，具体用于：
通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure BDA0003592774550000132
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
在一些实施例中，所述处理单元602在执行所述根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值步骤时，具体用于：
根据预设的交叉熵损失计算公式以及所述预测结果以及所述砂石样本图像对应的标注确定所述交叉熵损失值，其中，所述交叉熵损失计算公式为：
Figure BDA0003592774550000133
其中，x表示样本，n表示样本的总数。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于语义分割的砂石图像分割装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于语义分割的砂石图像分割装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。
该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032包括程序指令，该程序指令被执行时，可使得处理器702执行一种基于语义分割的砂石图像分割方法。
该处理器702用于提供计算和控制能力，以支撑整个计算机设备700的运行。
该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行一种基于语义分割的砂石图像分割方法。
该网络接口705用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器702用于运行存储在存储器中的计算机程序7032，以实现如下步骤：
获取多个砂石图像；
对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；
将多个所述处理后的砂石图像切分成训练集以及测试集；
对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；
根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；
根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；
若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
在一些实施例中，所述预设的语义分割模型包括特征提取模块和语义映射模块，所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
在一些实施例中，处理器702在实现所述根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型步骤时，具体实现如下步骤：
将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型；
通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息；
通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果；
根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值；
根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
在一些实施例中，处理器702在实现所述过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息步骤时，具体实现如下步骤：
通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
所述线性滤波公式为：
Figure BDA0003592774550000161
其中，f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵；
所述最大池化公式为：
Figure BDA0003592774550000162
其中，m,n为最大池化矩阵的维度，
Figure BDA0003592774550000163
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure BDA0003592774550000164
Figure BDA0003592774550000165
Figure BDA0003592774550000166
Figure BDA0003592774550000167
其中，m为batch的数量，zi代表批量正则化之后的传播值。
在一些实施例中，处理器702在实现所述通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果步骤时，具体实现如下步骤：
通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；
通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；
通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；
将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
在一些实施例中，处理器702在实现所述通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果步骤时，具体实现如下步骤：
通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure BDA0003592774550000171
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
在一些实施例中，处理器702在实现所述根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值步骤时，具体实现如下步骤：
根据预设的交叉熵损失计算公式以及所述预测结果以及所述砂石样本图像对应的标注确定所述交叉熵损失值，其中，所述交叉熵损失计算公式为：
Figure BDA0003592774550000172
其中，x表示样本，n表示样本的总数。
应当理解，在本申请实施例中，处理器702可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器702还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
获取多个砂石图像；
对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；
将多个所述处理后的砂石图像切分成训练集以及测试集；
对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；
根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；
根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；
若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
在一些实施例中，所述预设的语义分割模型包括特征提取模块和语义映射模块，所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
在一些实施例中，所述处理器在执行所述程序指令而实现所述根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型步骤时，具体实现如下步骤：
将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型；
通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息；
通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果；
根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值；
根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息步骤时，具体实现如下步骤：
通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
所述线性滤波公式为：
Figure BDA0003592774550000191
其中，f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵；
所述最大池化公式为：
Figure BDA0003592774550000192
其中，m,n为最大池化矩阵的维度，
Figure BDA0003592774550000193
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure BDA0003592774550000194
Figure BDA0003592774550000195
Figure BDA0003592774550000196
Figure BDA0003592774550000197
其中，m为batch的数量，zi代表批量正则化之后的传播值。
在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果步骤时，具体实现如下步骤：
通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；
通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；
通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；
将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果步骤时，具体实现如下步骤：
通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure BDA0003592774550000201
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
在一些实施例中，所述处理器在执行所述程序指令而实现所述根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值步骤时，具体实现如下步骤：
根据预设的交叉熵损失计算公式以及所述预测结果以及所述砂石样本图像对应的标注确定所述交叉熵损失值，其中，所述交叉熵损失计算公式为：
Figure BDA0003592774550000202
其中，x表示样本，n表示样本的总数。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于语义分割的砂石图像分割方法，其特征在于，包括：
获取多个砂石图像；
对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；
将多个所述处理后的砂石图像切分成训练集以及测试集；
对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；
根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；
根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；
若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
2.根据权利要求1所述的方法，其特征在于，所述预设的语义分割模型包括特征提取模块和语义映射模块，所述特征提取模块包括多个特征提取单元，每个特征提取单元均由第一卷积层、池化层以及正则化层组成，所述语义映射模块由上采样层、第二卷积层以及SoftMax分类层组成。
3.根据权利要求2所述的方法，其特征在于，所述根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型，包括：
将所述标注后的训练集中的砂石样本图像输入所述预设的语义分割模型；
通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息；
通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果；
根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值；
根据所述交叉熵损失值对所述预设的语义分割模型进行反向传播，得到训练后的语义分割模型。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积层、所述池化层以及所述正则化层依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，包括：
通过所述第一卷积层中预设的线性滤波公式、所述池化层中预设的最大池化公式以及所述正则化层中预设的批量正则化公式依次对所述砂石样本图像进行线性滤波处理、最大池化处理以及批量正则化处理，得到所述砂石样本图像的语义信息，其中：
所述线性滤波公式为：
Figure FDA0003592774540000021
其中，f(x+s,y+t)为进行滤波的图像矩阵，w(s,t)为卷积核，g(x,y)为输出图像矩阵；
所述最大池化公式为：
Figure FDA0003592774540000022
其中，m,n为最大池化矩阵的维度，
Figure FDA0003592774540000023
为最大池化之后的特征矩阵；
在所述正则化层中沿着通道计算每个batch的均值μ，方差σ2，做归一化，并且加入缩放和平移量γ和β，可批量正则化计算得：
Figure FDA0003592774540000024
Figure FDA0003592774540000025
Figure FDA0003592774540000026
Figure FDA0003592774540000027
其中，m为batch的数量，zi代表批量正则化之后的传播值。
5.根据权利要求4所述的方法，其特征在于，所述通过所述上采样层、所述第二卷积层以及所述SoftMax分类层依次对所述语义信息进行上采样处理、反卷积处理以及归一化概率计算处理，得到所述砂石样本图像的预测结果，包括：
通过所述上采样层对所述语义信息对应的特征图像进行上采样，得到上采样后的特征图像；
通过所述第二卷积层中的所述线性滤波公式对所述上采样后的特征图像进行反卷积处理，得到反卷积后的特征图像；
通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果；
将所述概率结果中值最大的概率对应的结果确定为所述预测结果。
6.根据权利要求5所述的方法，其特征在于，所述通过所述SoftMax分类层对所述反卷积后的特征图像进行归一化概率计算，得到概率计算结果，包括：
通过所述SoftMax分类层中的概率计算公式对所述反卷积后的特征图像进行归一化概率计算，得到所述概率计算结果，其中，所述概率计算公式为：
Figure FDA0003592774540000031
其中，k表示神经网络输出的类别数，v为输出向量，vj为v中第j个输出值，i表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值和为1。
7.根据权利要求3所述的方法，其特征在于，所述根据所述预测结果以及所述砂石样本图像对应的标注确定交叉熵损失值，包括：
根据预设的交叉熵损失计算公式以及所述预测结果以及所述砂石样本图像对应的标注确定所述交叉熵损失值，其中，所述交叉熵损失计算公式为：
Figure FDA0003592774540000032
其中，x表示样本，n表示样本的总数。
8.一种基于语义分割的砂石图像分割装置，其特征在于，包括获取单元以及处理单元，其中：
所述获取单元，用于获取多个砂石图像；
所述处理单元，用于对所述砂石图像进行预处理，得到多个处理后的砂石图像，所述预处理包括图像增强处理以及滤波去噪处理；将多个所述处理后的砂石图像切分成训练集以及测试集；对所述训练集中的砂石图像中的砂子图像和石头图像分别进行标注，得到标注后的训练集；根据所述标注后的训练集对预设的语义分割模型进行模型参数的训练，得到训练后的语义分割模型；根据所述测试集对所述训练后的语义分割模型进行模拟测试，得到训练效果；若所述训练效果中的分割正确率大于预设值，则根据所述训练后的语义分割模型对待分割砂石图像进行砂石分割处理。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
CN202210383550.0A 2022-04-12 2022-04-12 基于语义分割的砂石图像分割方法、装置、设备及介质 Pending CN115035291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210383550.0A CN115035291A (zh) 2022-04-12 2022-04-12 基于语义分割的砂石图像分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210383550.0A CN115035291A (zh) 2022-04-12 2022-04-12 基于语义分割的砂石图像分割方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115035291A true CN115035291A (zh) 2022-09-09

Family

ID=83119034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210383550.0A Pending CN115035291A (zh) 2022-04-12 2022-04-12 基于语义分割的砂石图像分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115035291A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294066A (zh) * 2022-08-09 2022-11-04 重庆科技学院 一种砂石粒径检测方法
CN115861848A (zh) * 2023-03-01 2023-03-28 成都理工大学 一种对岩体图像处理的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294066A (zh) * 2022-08-09 2022-11-04 重庆科技学院 一种砂石粒径检测方法
CN115861848A (zh) * 2023-03-01 2023-03-28 成都理工大学 一种对岩体图像处理的方法及装置

Similar Documents

Publication Publication Date Title
CN111462042B (zh) 癌症预后分析方法及系统
CN113159147B (zh) 基于神经网络的图像识别方法、装置、电子设备
CN115035291A (zh) 基于语义分割的砂石图像分割方法、装置、设备及介质
WO2020253508A1 (zh) 异常细胞检测方法、装置及计算机可读存储介质
CN110717497A (zh) 图像相似度匹配方法、装置及计算机可读存储介质
US11037299B2 (en) Region merging image segmentation algorithm based on boundary extraction
Zou et al. Maximum similarity thresholding
CN115482221A (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN105354405A (zh) 基于机器学习的免疫组化图像自动化判读系统
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
CN113850792A (zh) 一种基于计算机视觉的细胞分类计数方法及系统
CN114219049A (zh) 一种基于层级约束的细粒度笔石图像分类方法和装置
CN110634119B (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN115908363A (zh) 肿瘤细胞统计方法、装置、设备和存储介质
Abishek et al. Soil Texture Prediction Using Machine Learning Approach for Sustainable Soil Health Management
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN113963004A (zh) 一种采样方法、装置及电子设备
CN111368804A (zh) 车道线检测方法、系统及终端设备
CN116309454B (zh) 基于轻量化卷积核网络的病理图像智能识别方法及装置
Jia et al. Weighted guided image filtering with entropy evaluation weighting
Pang et al. Pathological tissue segmentation by using deep neural networks
CN117953349B (zh) 一种中药材的病虫害检测方法、装置、设备及存储介质
Fan et al. Joint transformer progressive self‐calibration network for low light enhancement
Dai et al. Ultrasonic thyroid automatic nodule segmentation method based on Sevnet network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination