CN107730514B - 场景分割网络训练方法、装置、计算设备及存储介质 - Google Patents

场景分割网络训练方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN107730514B
CN107730514B CN201710908431.1A CN201710908431A CN107730514B CN 107730514 B CN107730514 B CN 107730514B CN 201710908431 A CN201710908431 A CN 201710908431A CN 107730514 B CN107730514 B CN 107730514B
Authority
CN
China
Prior art keywords
scene segmentation
convolution
layer
segmentation network
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710908431.1A
Other languages
English (en)
Other versions
CN107730514A (zh
Inventor
张蕊
颜水成
唐胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING QIBAO TECHNOLOGY Co.,Ltd.
Original Assignee
Beijing Qibao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qibao Technology Co ltd filed Critical Beijing Qibao Technology Co ltd
Priority to CN201710908431.1A priority Critical patent/CN107730514B/zh
Publication of CN107730514A publication Critical patent/CN107730514A/zh
Application granted granted Critical
Publication of CN107730514B publication Critical patent/CN107730514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种场景分割网络训练方法、装置、计算设备及计算机存储介质，其中，该方法通过多次迭代完成；提取样本图像以及标注场景分割结果；将样本图像输入至场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果；获取对应的样本场景分割结果；根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数；迭代执行上述训练步骤，直至满足预定收敛条件。该技术方案实现了对感受野的自适应缩放，提高了图像场景分割的准确率以及处理效率。

Description

场景分割网络训练方法、装置、计算设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种场景分割网络训练方法、装置、计算设备及计算机存储介质。
背景技术
在现有技术中，分割网络的训练主要是基于深度学习中的全卷积神经网络，利用迁移学习的思想，将在大规模分类数据集上经过预训练得到的网络迁移到图像分割数据集上进行训练，从而得到用于场景分割的分割网络。
现有技术中训练分割网络时所使用的网络架构直接利用了图像分类网络，其卷积层中卷积块的大小是固定不变的，从而感受野的大小是固定不变的，其中，感受野是指输出特征图某个节点的响应对应的输入图像的区域，大小固定的感受野只适于捕捉固定大小和尺度的目标。然而对于图像场景分割，场景中经常会包含不同大小的目标，利用具有大小固定的感受野的分割网络在处理过大和过小的目标时常常会发生问题，例如，对于较小的目标，感受野会捕捉过多的目标周围的背景，从而将目标与背景混淆，导致目标遗漏并被错判为背景；对于较大的目标，感受野仅仅能捕捉目标的一部分，使得目标类别判断出现偏差，导致不连续的分割结果。因此，现有技术中训练得到的分割网络存在着图像场景分割的准确率低下的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的场景分割网络训练方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种场景分割网络训练方法，该方法通过多次迭代完成；
其中一次迭代过程的训练步骤包括：
提取样本图像以及与样本图像对应的标注场景分割结果；
将样本图像输入至场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果；尺度回归层为场景分割网络的中间卷积层；
获取与样本图像对应的样本场景分割结果；
根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数；
该方法包括：迭代执行上述训练步骤，直至满足预定收敛条件。
进一步地，提取样本图像以及与样本图像对应的标注场景分割结果进一步包括：
从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
进一步地，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块进一步包括：
利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
进一步地，利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果进一步包括：
利用线性插值方法，从第二卷积块中采样得到特征向量，组成第三卷积块；
依据第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。
进一步地，根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数进一步包括：
根据样本场景分割结果与标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据场景分割网络损失函数更新场景分割网络的权重参数。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，场景分割网络损失函数的输出值小于预设阈值。
进一步地，尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。
进一步地，该方法还包括：在场景分割网络训练开始时，对尺度回归层的权重参数进行初始化处理。
进一步地，该方法由终端或服务器执行。
根据本发明的另一方面，提供了一种场景分割网络训练装置，该装置通过多次迭代完成；该装置包括：
提取模块，适于提取样本图像以及与样本图像对应的标注场景分割结果；
训练模块，适于将样本图像输入至场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果；尺度回归层为场景分割网络的中间卷积层；
获取模块，适于获取与样本图像对应的样本场景分割结果；
更新模块，适于根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数；
场景分割网络训练装置迭代运行，直至满足预定收敛条件。
进一步地，提取模块进一步适于：
从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
进一步地，训练模块进一步适于：
利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
进一步地，训练模块进一步适于：
利用线性插值方法，从第二卷积块中采样得到特征向量，组成第三卷积块；
依据第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。
进一步地，更新模块进一步适于：
根据样本场景分割结果与标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据场景分割网络损失函数更新场景分割网络的权重参数。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，场景分割网络损失函数的输出值小于预设阈值。
进一步地，尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。
进一步地，在场景分割网络训练开始时，对尺度回归层的权重参数进行初始化处理。
根据本发明的另一方面，提供了一种终端，包括上述的场景分割网络训练装置。
根据本发明的另一方面，提供了一种服务器，包括上述的场景分割网络训练装置。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述场景分割网络训练方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述场景分割网络训练方法对应的操作。
根据本发明提供的技术方案，提取样本图像以及与样本图像对应的标注场景分割结果，将样本图像输入至场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果，获取与样本图像对应的样本场景分割结果，然后根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数，迭代执行训练步骤，直至满足预定收敛条件。本发明提供的技术方案能够训练得到依据尺度系数对卷积块进行缩放的场景分割网络，实现了对感受野的自适应缩放，而且利用场景分割网络能够快速地得到对应的场景分割结果，有效地提高了图像场景分割的准确率以及处理效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的场景分割网络训练方法的流程示意图；
图2示出了根据本发明另一个实施例的场景分割网络训练方法的流程示意图；
图3示出了根据本发明一个实施例的场景分割网络训练装置的结构框图；
图4示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的场景分割网络训练方法的流程示意图，该方法通过多次迭代完成，如图1所示，一次迭代过程的训练步骤包括：
步骤S100，提取样本图像以及与样本图像对应的标注场景分割结果。
具体地，场景分割网络训练所用的样本包含：样本库存储的多个样本图像以及与样本图像对应的标注场景分割结果。其中，标注场景分割结果为样本图像中的各个场景经人工分割与标注所得到的分割结果。样本图像可以为任意图像，此处不做限定。例如，样本图像可以为包含有人体的图像，也可以为包含有多个物体的图像。
步骤S101，将样本图像输入至场景分割网络中进行训练。
步骤S102，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
本领域技术人员可根据实际需要选择对哪一层或哪些层的卷积层的卷积块进行缩放处理，此处不做限定。为了便于区分，在本发明中将待缩放处理的卷积块称为第一卷积块，将经缩放处理后的卷积块称为第二卷积块。假设对场景分割网络中的某一层卷积层的第一卷积块进行缩放处理，那么在该卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
其中，尺度回归层为场景分割网络的中间卷积层，中间卷积层是指场景分割网络中的一层或多层卷积层，本领域技术人员可根据实际需要在场景分割网络中选择合适的一层或多层卷积层作为尺度回归层，此处不做限定。在本发明中，将尺度回归层输出的特征图称为尺度系数特征图，尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。本发明能够训练得到依据尺度系数对卷积块进行缩放的场景分割网络，实现了对感受野的自适应缩放，能够更为准确地对所输入的图像进行场景分割，有效地提高了图像场景分割的准确率。
步骤S103，利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果。
在得到了第二卷积块之后，就可利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果。
在获得该卷积层的输出结果之后，在场景分割网络中若在该卷积层之后还存在其他的卷积层，那么将该卷积层的输出结果作为后一卷积层的输入进行后续的卷积运算。在经过场景分割网络中所有的卷积层的卷积运算之后，得到与样本图像对应的场景分割结果。
步骤S104，获取与样本图像对应的样本场景分割结果。
获取场景分割网络得到的与样本图像对应的样本场景分割结果。
步骤S105，根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数。
在获取了样本场景分割结果之后，可计算样本场景分割结果与标注场景分割结果之间的分割损失，然后根据所计算的分割损失更新场景分割网络的权重参数。
步骤S106，迭代执行训练步骤，直至满足预定收敛条件。
其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。在训练得到了场景分割网络之后，用户就可利用场景分割网络对待分割图像进行场景分割，其中，待分割图像为用户想要进行场景分割的图像，具体地，将待分割图像输入至场景分割网络，然后场景分割网络对待分割图像进行场景分割，输出与待分割图像对应的场景分割结果。
根据本实施例提供的场景分割网络训练方法，能够训练得到依据尺度系数对卷积块进行缩放的场景分割网络，实现了对感受野的自适应缩放，而且利用场景分割网络能够快速地得到对应的场景分割结果，有效地提高了图像场景分割的准确率以及处理效率。
图2示出了根据本发明另一个实施例的场景分割网络训练方法的流程示意图，该方法通过多次迭代完成，如图2所示，一次迭代过程的训练步骤包括：
步骤S200，从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
样本库中不仅存储了样本图像，还存储了与样本图像对应的标注场景分割结果。本领域技术人员可根据实际需要设置样本库中所存储的样本图像的数量，此处不做限定。在步骤S200中，从样本库中提取样本图像，并提取与该样本图像对应的标注场景分割结果。
步骤S201，将样本图像输入至场景分割网络中进行训练。
在提取了样本图像之后，将样本图像输入至场景分割网络中进行训练。
步骤S202，在场景分割网络中至少一层卷积层，利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
本领域技术人员可根据实际需要选择对哪一层或哪些层的卷积层的卷积块进行缩放处理，此处不做限定。假设对场景分割网络中的某一层卷积层的第一卷积块进行缩放处理，那么在该卷积层，利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块。
具体地，为了有效对场景分割网络进行训练，在场景分割网络训练开始时，可对尺度回归层的权重参数进行初始化处理。本领域技术人员可根据实际需要设置具体的初始化的权重参数，此处不做限定。初始尺度系数即为经初始化处理后的尺度回归层输出的尺度系数特征图中的特征向量。
步骤S203，利用线性插值方法，从第二卷积块中采样得到特征向量，组成第三卷积块。
在得到了第二卷积块之后，就可利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果。由于第二卷积块是对第一卷积块进行缩放处理后所得到的，那么第二卷积块中的特征向量对应的坐标可能并不是整数，因此，可利用预设计算方法得到这些非整数坐标对应的特征向量。本领域技术人员可根据实际需要设置预设计算方法，此处不做限定。例如，预设计算方法可为线性插值方法，具体地，利用线性插值方法，从第二卷积块中采样得到特征向量，组成第三卷积块。
步骤S204，依据第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。
在得到了第三卷积块之后，依据第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。
在获得该卷积层的输出结果之后，在场景分割网络中若在该卷积层之后还存在其他的卷积层，那么将该卷积层的输出结果作为后一卷积层的输入进行后续的卷积运算。在经过场景分割网络中所有的卷积层的卷积运算之后，得到与样本图像对应的场景分割结果。
步骤S205，获取与样本图像对应的样本场景分割结果。
获取场景分割网络得到的与样本图像对应的样本场景分割结果。
步骤S206，根据样本场景分割结果与标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据场景分割网络损失函数更新场景分割网络的权重参数。
其中，本领域技术人员可根据实际需要设置场景分割网络损失函数的具体内容，此处不做限定。根据场景分割网络损失函数，进行反向传播(back propagation)运算，通过运算结果更新场景分割网络的权重参数。
步骤S207，迭代执行训练步骤，直至满足预定收敛条件。
其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，场景分割网络损失函数的输出值小于预设阈值。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件，也可以根据场景分割网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件。在步骤S207中，迭代执行场景分割网络的训练步骤，直至满足预定收敛条件，从而得到经过训练的场景分割网络。
在一个具体的训练过程中，例如需要对场景分割网络中的某一层卷积层的第一卷积块进行缩放处理，假设将该卷积层称为卷积层J，卷积层J的输入特征图为
Figure BDA0001424318810000092
其中，HA为该输入特征图的高度参数，WA为该输入特征图的宽度参数，CA为该输入特征图的通道数；卷积层J的输出特征图为
Figure BDA0001424318810000091
其中，HB为该输出特征图的高度参数，WB为该输出特征图的宽度参数，CB为该输出特征图的通道数；尺度回归层输出的尺度系数特征图为
Figure BDA0001424318810000101
其中，HS为该尺度系数特征图的高度参数，WS为该尺度系数特征图的宽度参数，该尺度系数特征图的通道数为1，具体地，HS＝HB，且WS＝WB。
在场景分割网络中，可选择一个普通的3×3的卷积层作为尺度回归层，尺度回归层对应的通道数为1的输出特征图即为尺度系数特征图。为了有效对场景分割网络进行训练，防止场景分割网络在训练过程中崩溃，需要在场景分割网络训练开始时，对尺度回归层的权重参数进行初始化处理。其中，尺度回归层的初始化的权重参数为
Figure BDA0001424318810000102
其中，w0为尺度回归层初始化后的卷积核，a为卷积核中的任意位置，b0为初始化的偏置项。在对尺度回归层的权重参数的初始化处理中，卷积核被设置为满足高斯分布的随机系数σ，且其值很小，接近于0，并且偏置项被设置为1，因此，经初始化处理的尺度回归层将全部输出接近于1的值，即初始尺度系数接近于1，那么将初始尺度系数应用到卷积层J后，所得到的输出结果与标准的卷积结果差别不大，从而提供了较为稳定的训练过程，有效防止了场景分割网络在训练过程中崩溃。
对于卷积层J，假设卷积层J的卷积核为
Figure BDA0001424318810000103
偏置为
Figure BDA0001424318810000104
卷积层J的输入特征图为
Figure BDA0001424318810000105
卷积层J的输出特征图为
Figure BDA0001424318810000106
卷积层J的第一卷积块为Xt，对第一卷积块Xt进行缩放处理后所得到的第二卷积块为Yt，其中，一般情况下，k＝1。在输出特征图B中的任意位置t，对应的特征向量为
Figure BDA0001424318810000107
特征向量Bt为由该特征向量对应于输入特征图A中的第二卷积块Yt与卷积核K内积得到的，其中，位置
Figure BDA0001424318810000108
第一卷积块Xt是一个以输入特征图A中(pt，qt)为中心的正方形区域，其边长固定为2kd+1，其中，
Figure BDA0001424318810000109
是卷积的膨胀系数，
Figure BDA00014243188100001010
和
Figure BDA00014243188100001011
是输入特征图A中的坐标。第一卷积块Xt中将均匀选取 (2k+1)×(2k+1)个特征向量与卷积核K进行相乘，具体地，这些特征向量的坐标为
Figure BDA0001424318810000111
其中，
Figure BDA0001424318810000112
假设st是尺度系数特征图中对应于输出特征图B中位置t的特征向量Bt的尺度系数，st在尺度系数特征图中的位置也是t，与特征向量Bt在输出特征图B中的位置相同。
利用尺度系数st对卷积层J的第一卷积块Xt进行缩放处理，得到第二卷积块Yt，第二卷积块Yt是一个以输入特征图A中(pt，qt)为中心的正方形区域，其边长会根据尺度系数st变化为
Figure BDA00014243188100001111
第二卷积块Yt中将均匀选取 (2k+1)×(2k+1)个特征向量与卷积核K进行相乘，具体地，这些特征向量的坐标为
Figure BDA0001424318810000113
其中，尺度系数st是实数值，那么特征向量的坐标x′j和y′j可能并不是整数。在本发明中，利用线性插值方法得到这些非整数坐标对应的特征向量。利用线性插值方法，从第二卷积块Yt中采样得到特征向量，组成第三卷积块 Zt，那么对于第三卷积块Zt中各个特征向量
Figure BDA00014243188100001112
的具体的计算公式为：
Figure BDA0001424318810000114
其中，
Figure BDA0001424318810000115
若(x′j，y′j)超出了输入特征图A的范围，则对应的特征向量将被置为0作为填补。假设
Figure BDA0001424318810000116
是卷积核K与对应的特征向量相乘且输出通道为c的卷积向量，其中，
Figure BDA0001424318810000117
那么卷积运算中对应所有通道的按元素相乘过程可以用与
Figure BDA0001424318810000118
进行矩阵相乘表示，则前向传播(forward propagation)过程为
Figure BDA0001424318810000119
在反向传播过程中，假定从Bt传来的梯度g(Bt)，梯度为
Figure BDA00014243188100001110
g(b)＝g(Bt)
其中，g(·)表示梯度函数，(·)T表示矩阵转置。值得注意的是，在计算梯度的过程中，卷积核K和偏置b的最终梯度是从输出特征图B中所有位置得到的梯度的和。对于线性插值过程，其对应特征向量的偏导为
Figure BDA0001424318810000121
对应坐标的偏导为
Figure BDA0001424318810000122
对应的
Figure BDA0001424318810000123
的偏导与上述
Figure BDA0001424318810000124
的公式类似，此处不再赘述。
由于坐标是由尺度系数st计算得到，那么坐标对应尺度系数的偏导为
Figure BDA0001424318810000125
基于上述偏导，尺度系数特征图S和输入特征图A的梯度可以由下面的公式得到：
Figure BDA0001424318810000126
Figure BDA0001424318810000127
由此可见，上述卷积过程形成了一个整体可导的计算过程，因此，场景分割网络中各卷积层的权重参数和尺度回归层的权重参数均可以通过端对端的形式进行训练。另外，尺度系数的梯度可以通过其后一层传来的梯度计算得到，因此，尺度系数是自动且隐式的得到的。在具体的实现过程中，前向传播过程和反向传播过程均可以在图形处理器(GPU)上并行运算，具有较高的计算效率。
根据本实施例提供的场景分割网络训练方法，能够训练得到依据尺度系数对卷积块进行缩放的场景分割网络，实现了对感受野的自适应缩放，而且还利用线性插值方法对缩放处理后卷积块进行进一步处理，解决了对于缩放处理后卷积块中坐标为非整数的特征向量的选取问题；并且利用场景分割网络能够快速地得到对应的场景分割结果，有效地提高了图像场景分割的准确率以及处理效率，优化了图像场景分割处理方式。
图3示出了根据本发明一个实施例的场景分割网络训练装置的结构框图，该装置通过多次迭代完成，如图3所示，该装置包括：提取模块310、训练模块320、获取模块330和更新模块340。
提取模块310适于：提取样本图像以及与样本图像对应的标注场景分割结果。
具体地，场景分割网络训练所用的样本包含：样本库存储的多个样本图像以及与样本图像对应的标注场景分割结果。提取模块310进一步适于：从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
训练模块320适于：将样本图像输入至场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果。
其中，尺度回归层为场景分割网络的中间卷积层，尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。
可选地，训练模块320进一步适于：利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用线性插值方法，从第二卷积块中采样得到特征向量，组成第三卷积块，依据第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。
获取模块330适于：获取与样本图像对应的样本场景分割结果。
更新模块340适于：根据样本场景分割结果与标注场景分割结果之间的分割损失，更新场景分割网络的权重参数。
可选地，更新模块340进一步适于：根据样本场景分割结果与标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据场景分割网络损失函数更新场景分割网络的权重参数。
其中，本领域技术人员可根据实际需要设置场景分割网络损失函数的具体内容，此处不做限定。更新模块340根据场景分割网络损失函数，进行反向传播运算，通过运算结果更新场景分割网络的权重参数。
场景分割网络训练装置迭代运行，直至满足预定收敛条件。
其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，场景分割网络损失函数的输出值小于预设阈值。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件，也可以根据场景分割网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件。
可选地，在场景分割网络训练开始时，对尺度回归层的权重参数进行初始化处理。
根据本实施例提供的场景分割网络训练装置，能够训练得到依据尺度系数对卷积块进行缩放的场景分割网络，实现了对感受野的自适应缩放，可选地还可利用线性插值方法对缩放处理后卷积块进行进一步处理，解决了对于缩放处理后卷积块中坐标为非整数的特征向量的选取问题；并且利用场景分割网络能够快速地得到对应的场景分割结果，有效地提高了图像场景分割的准确率以及处理效率，优化了图像场景分割处理方式。
本发明还提供了一种终端，该终端包括上述的场景分割网络训练装置。其中，终端可为手机、PAD、电脑、摄像设备等。
本发明还提供了一种服务器，该服务器包括上述的场景分割网络训练装置。
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的场景分割网络训练方法。其中，计算机存储介质可为手机的存储卡、PAD的存储卡、电脑的磁盘、摄像设备的存储卡等。
图4示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。其中，计算设备可为手机、 PAD、电脑、摄像设备、服务器等。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述场景分割网络训练方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述任意方法实施例中的场景分割网络训练方法。程序410中各步骤的具体实现可以参见上述场景分割网络训练实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (21)

1.一种场景分割网络训练方法，所述方法通过多次迭代完成；
其中一次迭代过程的训练步骤包括：
提取样本图像以及与样本图像对应的标注场景分割结果；
将所述样本图像输入至所述场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用所述第二卷积块进行卷积层的卷积运算，获得卷积层的输出结果；所述尺度回归层为所述场景分割网络的中间卷积层；
获取与样本图像对应的样本场景分割结果；
根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，更新所述场景分割网络的权重参数；
所述方法包括：迭代执行上述训练步骤，直至满足预定收敛条件。
2.根据权利要求1所述的方法，其中，所述提取样本图像以及与样本图像对应的标注场景分割结果进一步包括：
从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
3.根据权利要求1所述的方法，其中，所述利用尺度回归层输出的尺度系数对卷积层的第一卷积块进行缩放处理，得到第二卷积块进一步包括：
利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对卷积层的第一卷积块进行缩放处理，得到第二卷积块。
4.根据权利要求1所述的方法，其中，所述利用所述第二卷积块进行卷积层的卷积运算，获得卷积层的输出结果进一步包括：
利用线性插值方法，从所述第二卷积块中采样得到特征向量，组成第三卷积块；
依据所述第三卷积块与卷积层的卷积核进行卷积运算，获得卷积层的输出结果。
5.根据权利要求1所述的方法，其中，所述根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，更新所述场景分割网络的权重参数进一步包括：
根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据所述场景分割网络损失函数更新所述场景分割网络的权重参数。
6.根据权利要求1所述的方法，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述场景分割网络损失函数的输出值小于预设阈值。
7.根据权利要求1所述的方法，其中，所述尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。
8.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：在所述场景分割网络训练开始时，对所述尺度回归层的权重参数进行初始化处理。
9.根据权利要求1-7任一项所述的方法，所述方法由终端或服务器执行。
10.一种场景分割网络训练装置，所述装置通过多次迭代完成；所述装置包括：
提取模块，适于提取样本图像以及与样本图像对应的标注场景分割结果；
训练模块，适于将所述样本图像输入至所述场景分割网络中进行训练，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用所述第二卷积块进行卷积层的卷积运算，获得卷积层的输出结果；所述尺度回归层为所述场景分割网络的中间卷积层；
获取模块，适于获取与样本图像对应的样本场景分割结果；
更新模块，适于根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，更新所述场景分割网络的权重参数；
所述场景分割网络训练装置迭代运行，直至满足预定收敛条件。
11.根据权利要求10所述的装置，其中，所述提取模块进一步适于：
从样本库中提取样本图像以及与样本图像对应的标注场景分割结果。
12.根据权利要求10所述的装置，其中，所述训练模块进一步适于：
利用上一次迭代过程尺度回归层输出的尺度系数或者初始尺度系数对卷积层的第一卷积块进行缩放处理，得到第二卷积块。
13.根据权利要求10所述的装置，其中，所述训练模块进一步适于：
利用线性插值方法，从所述第二卷积块中采样得到特征向量，组成第三卷积块；
依据所述第三卷积块与卷积层的卷积核进行卷积运算，获得卷积层的输出结果。
14.根据权利要求10所述的装置，其中，所述更新模块进一步适于：
根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，得到场景分割网络损失函数，根据所述场景分割网络损失函数更新所述场景分割网络的权重参数。
15.根据权利要求10所述的装置，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述场景分割网络损失函数的输出值小于预设阈值。
16.根据权利要求10所述的装置，其中，所述尺度系数为尺度回归层输出的尺度系数特征图中的特征向量。
17.根据权利要求10-16任一项所述的装置，其中，在所述场景分割网络训练开始时，对所述尺度回归层的权重参数进行初始化处理。
18.一种终端，包括权利要求10-17任一项所述的场景分割网络训练装置。
19.一种服务器，包括权利要求10-17任一项所述的场景分割网络训练装置。
20.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的场景分割网络训练方法对应的操作。
21.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-9中任一项所述的场景分割网络训练方法对应的操作。
CN201710908431.1A 2017-09-29 2017-09-29 场景分割网络训练方法、装置、计算设备及存储介质 Active CN107730514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710908431.1A CN107730514B (zh) 2017-09-29 2017-09-29 场景分割网络训练方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710908431.1A CN107730514B (zh) 2017-09-29 2017-09-29 场景分割网络训练方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN107730514A CN107730514A (zh) 2018-02-23
CN107730514B true CN107730514B (zh) 2021-02-12

Family

ID=61209093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908431.1A Active CN107730514B (zh) 2017-09-29 2017-09-29 场景分割网络训练方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN107730514B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492301A (zh) * 2018-03-21 2018-09-04 广东欧珀移动通信有限公司 一种场景分割方法、终端及存储介质
CN110659658B (zh) * 2018-06-29 2022-07-29 杭州海康威视数字技术股份有限公司 一种目标检测方法及其装置
CN109165654B (zh) * 2018-08-23 2021-03-30 北京九狐时代智能科技有限公司 一种目标定位模型的训练方法和目标定位方法及装置
WO2020093792A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving color quality of images
CN109741332B (zh) * 2018-12-28 2021-06-04 天津大学 一种人机协同的图像分割与标注方法
CN111507343B (zh) * 2019-01-30 2021-05-18 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
US10796434B1 (en) * 2019-01-31 2020-10-06 Stradvision, Inc Method and device for detecting parking area using semantic segmentation in automatic parking system
CN110288607A (zh) * 2019-07-02 2019-09-27 数坤（北京）网络科技有限公司 分割网络的优化方法、系统和计算机可读存储介质
CN111833263A (zh) * 2020-06-08 2020-10-27 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、可读存储介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564195A (zh) * 2004-04-08 2005-01-12 复旦大学 视网膜神经节细胞感受野尺度可变层次网络模型及其算法
CN102542302A (zh) * 2010-12-21 2012-07-04 中国科学院电子学研究所 基于分等级对象语义图的复杂目标自动识别方法
CN103871055A (zh) * 2014-03-04 2014-06-18 南京理工大学 一种基于动态各向异性感受野的显著目标检测方法
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107194318A (zh) * 2017-04-24 2017-09-22 北京航空航天大学 目标检测辅助的场景识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564195A (zh) * 2004-04-08 2005-01-12 复旦大学 视网膜神经节细胞感受野尺度可变层次网络模型及其算法
CN102542302A (zh) * 2010-12-21 2012-07-04 中国科学院电子学研究所 基于分等级对象语义图的复杂目标自动识别方法
CN103871055A (zh) * 2014-03-04 2014-06-18 南京理工大学 一种基于动态各向异性感受野的显著目标检测方法
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107194318A (zh) * 2017-04-24 2017-09-22 北京航空航天大学 目标检测辅助的场景识别方法
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统

Also Published As

Publication number Publication date
CN107730514A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107730514B (zh) 场景分割网络训练方法、装置、计算设备及存储介质
CN107610146B (zh) 图像场景分割方法、装置、电子设备及计算机存储介质
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN107590811B (zh) 基于场景分割的风景图像处理方法、装置及计算设备
CN107679489B (zh) 基于场景分割的自动驾驶处理方法、装置及计算设备
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
JP2022040209A (ja) 畳み込み画像変換推定を実行するための方法およびシステム
CN107563357B (zh) 基于场景分割的直播服饰装扮推荐方法、装置及计算设备
CN107277391B (zh) 图像转换网络处理方法、服务器、计算设备及存储介质
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN112991447A (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN109118456B (zh) 图像处理方法和装置
CN112348828A (zh) 基于神经网络的实例分割方法和装置以及存储介质
CN111553215A (zh) 人员关联方法及其装置、图卷积网络训练方法及其装置
WO2021115061A1 (zh) 图像分割方法、装置及服务器
US11822900B2 (en) Filter processing device and method of performing convolution operation at filter processing device
CN107622498B (zh) 基于场景分割的图像穿越处理方法、装置及计算设备
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN116502700A (zh) 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备
CN115620017A (zh) 图像的特征提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201207

Address after: 1770, 17 / F, 15 / F, building 3, No. 10 a Jiuxianqiao Road, Chaoyang District, Beijing

Applicant after: BEIJING QIBAO TECHNOLOGY Co.,Ltd.

Address before: 100088 Beijing city Xicheng District xinjiekouwai Street 28, block D room 112 (Desheng Park)

Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant