CN110472670A - 图像中线检测方法、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像中线检测方法、计算机设备和存储介质。所述方法包括：利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图；基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图；基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图；根据各第一融合特征图和各第二融合特征图，确定图像的中线。采用本方法能够提高检测的鲁棒性。

Description

图像中线检测方法、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像中线检测方法、计算机设备和存储介质。

背景技术

对称或者近似对称现象在我们周围的世界中无处不在，并且在人类和动物的模式感知中起着重要作用。同样地，精确的对称性检测方法能够帮助很多计算机视觉方法更好的执行模式感知、目标识别以及场景理解等任务，例如，在图像分割前通过确定图像中线有利于图像分割的准确性等。在二维欧式几何空间中，常见的物体对称性有四种，分别是反射、旋转、平移和滑动反射，即对称轴均为直线，用于检测上述四种对称性情况的检测方法也已经被广泛应用于人脸分析、车辆检测以及医学影像分析中。

然而，现实世界中的对称性物体或者图像的对称轴并非都是简单的一条直线，更多地表现为由理想对称轴经过一定的反射和平移而形成的较为复杂的曲线对称轴。在这种情况下的对称性检测不仅需要考虑局部特征还需要同时考虑图像中不同对称类型的几何信息，如旋转对称的对称中心、镜像对称的对称轴等。面对这种情况，众多传统的基于局部特征检测的方法往往具有较差的鲁棒性。并且，现有常用的对称性检测方法主要是基于人工设计特征的传统方法，该方法还需要对输入图像进行预先处理以得到能够处理的二值图像，但是由于图像局部灰度值的特性使得检测结果容易受到噪声的影响，同样难以保证检测的鲁棒性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高鲁棒性的图像中线检测方法、计算机设备和存储介质。

一种图像中线检测方法，所述方法包括：

利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图；

基于各所述特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图；

基于各所述特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图；

根据各所述第一融合特征图和各所述第二融合特征图，确定所述图像的中线。

在其中一个实施例中，所述基于各所述特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图的步骤，包括：

根据各所述特征图的分辨率，从高到低依次将各所述特征图作为第一当前特征图，获取所述第一当前特征图对应的前一个特征图的第一融合特征图；在所述第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值；

将所述第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图；

所述基于各所述特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图的步骤，包括：

根据各所述特征图的分辨率，从低到高依次将各所述特征图作为第二当前特征图，获取所述第二当前特征图对应的前一个特征图的第二融合特征图；在所述第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；

将所述第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

在其中一个实施例中，所述将所述第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图的步骤，包括：

获取所述第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵；

从对应的前一个特征图的第一融合特征图的特征矩阵中，确定所述第一当前特征矩阵中每个矩阵元素的对应矩阵元素；

将所述第一当前特征矩阵中的矩阵元素与所述对应矩阵元素相加，得到新的矩阵，将所述新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

在其中一个实施例中，将所述第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后特征图作为第二当前特征图对应的第二融合特征图的步骤，包括：

获取所述第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵；

从对应的前一个特征图的第二融合特征图的特征矩阵中，确定所述第二当前特征矩阵中每个矩阵元素的对应矩阵元素；

将所述第二当前特征图中的矩阵元素与所述对应矩阵元素相加，得到新的矩阵，将所述新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

在其中一个实施例中，所述根据各所述第一融合特征图和各所述第二融合特征图，确定所述图像的中线的步骤，包括：

分别将每个特征图对应的所述第一融合特征图和第二融合特征图进行特征融合，得到所述特征图对应的第三融合特征图；

根据各所述第三融合特征图确定所述图像的中线。

在其中一个实施例中，所述分别将每个特征图对应的所述第一融合特征图和第二融合特征图进行特征融合，得到所述特征图对应的第三融合特征图的步骤，包括：

分别将每个特征图对应的所述第一融合特征图和第二融合特征进行合并，得到第一合并特征图；

将所述第一合并特征图进行降维处理，得到所述特征图对应的第三融合特征图。

在其中一个实施例中，根据各所述第三融合特征图确定所述图像的中线的步骤，包括：

将各所述第三融合特征图进行特征融合，确定所述图像的中线

在其中一个实施例中，所述将各所述第三融合特征图进行特征融合，得到所述图像的中线，包括：

将各所述第三融合特征图进行合并，得到第二合并特征图；

将所述第二合并特征图进行降维处理，根据降维后的特征图确定所述图像的中线。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的图像中线检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的图像中线检测方法。

上述图像中线检测方法、计算机设备和存储介质，将接收到的图像直接输入预设的中线检测模型，无需对图像进行预先处理。利用预设的中线检测模型中的主干网络对该图像进行特征提取，获取多个特征图，从而保证能够提取到图像中物体的局部分布特性。基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图。同样基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图，然后根据第一融合特征图和第二融合特征图确定的图像的中线。通过两条相反方向的特征融合路径能够更好的融合主干网络得到的特征和语义信息，从而通过提升网络的性能提高检测的鲁棒性。

附图说明

图1为一个实施例中图像中线检测方法的应用环境图；

图2为一个实施例中图像中线检测方法的流程示意图；

图3为一个实施例中第一当前特征图与对应的前一个特征图的第一融合特征图进行特征融合的步骤的流程示意图；

图4为一个实施例中根据各第一融合特征图和各第二融合特征图，确定图像的中线步骤的流程示意图；

图5为一个实施例中中线检测模型的结构示意图；

图6为一个实施例中模型训练过程的流程示意图；

图7为一个实施例中图像中线检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像中线检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104利用预设中线检测模型中主干网络的多个层对终端102发送的待检测图像进行特征提取，获取多个特征图。服务器104基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图。服务器104基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图。服务器104根据各第一融合特征图和各第二融合特征图，确定图像的中线。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像中线检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图。

其中，中线检测模型为预先根据已经标注中线的图像训练好的神经网络，中线检测模型包括主干网络层。主干网络为包括多个特征提取层的网络，包括但不限于VGG网络(Visual Geometry Group Network，视觉几何组网络)、VGG-16网络、ResNet网络(ResidualNeural Network，残差网络)以及ResNet-18网络等。待检测图像则是指需要进行中线检测的图像。

具体地，当获取到需要进行中线检测的待检测图像后，调用预设的中线检测网络。将待检测图像作为中线检测模型主干网络的输入，利用主干网络中的多个特征提取层对待检测图像进行特征提取，得到对应的多个特征图。例如，假设主干网络中包括五层特征提取层，则能够获取到五张特征图。第一层的输入即为输入的待检测图像，第一层之后的特征提取层的输入为上一层输出的特征图。即第二层的输入为第一层的输出，第三层的输入为第二层的输出，以此类推，在此不进行赘述。其中，特征提取层包括卷积层和池化层，或者特征提取层可以只包括卷积层。若特征提取层包括卷积层和池化层，即在卷积层对输入图像进行卷积操作提取到对应的特征图之后，通过池化层对该特征图进行池化后再输出。

进一步的，若获取到的待检测图像的尺寸、图像质量不满足中线检测网络所规定的尺寸和图像质量，则在获取到待检测图像之后对待检测图像进行预处理，将进行过预处理的待检测图像作为中线检测网络的输入。其中，预处理包括但不限于尺寸调整、标准化处理、去噪、灰度处理等。

步骤S204，基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图。

步骤S206，基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图。

其中，分辨率是指图像单位英寸中所包含的像素点数，分辨率决定了图像细节的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，图像越清晰。而图像经过不同的特征提取层，特征图的分辨率会随之发生变化。由于中线检测模型的主干网络对待检测图像进行特征提取是由浅到深，浅层的特征提取层提取的是纹理，通常会包含更多的特征。而深层的特征提取层提取的是轮廓形状和局部区域的最强特征。因此主干网络得到的特征图的分辨率是越来越低。

具体地，中线检测网络中还包括特征融合层，特征融合层有两条路径，第一路径是fine-coarse(由细到粗)路径，即根据特征图的分辨率，从高到低进行特征融合的路径。第二路径为coarse-fine(由粗到细)路径，即根据特征图的分辨率，从低到高进行特征融合的路径。也就是说，当获取到主干网络提取到的特征图后，基于特征图分辨率的高低，利用特征融合层对特征图进行特征融合。即，调用特征融合的两条路径，通过两条路径进行特征融合，得到每个特征图对应的第一特征融合图和第二特征融合图。第一路径对应的融合特征图为第一融合特征图，第二路径对应的融合特征图为第二融合特征图。其中，利用特征融合层的两条路径进行特征融合是指将特征图进行相加，相加可以理解为特征图之间对应的像素点进行相加。

步骤S208，根据各第一融合特征图和各第二融合特征图，确定图像的中线。

具体地，得到特征图对应的第一融合特征图和第二融合特征图之后，对特征图对应的第一融合特征图和第二融合特征图进行特征融合，即对应同一特征图的第一融合特征图和第二融合特征图进行特征融合。根据第一融合特征图和第二融合特征图进行特征融合得到的融合特征图，确定图像的中线。其中，根据第一融合特征图和第二融合特征图进行特征融合是指将第一融合特征图和第二融合特征图进行特征合并，合并可以理解为图像通道的合并。例如，假设第一融合特征图和第二融合特征图对应的图像矩阵均为2*2，则进行合并得到的图像矩阵为2*2*2。

上述图像对称线检测方法，将接收到的图像直接输入预设的中线检测模型，无需对图像进行预先处理。利用预设的中线检测模型中的主干网络对该图像进行特征提取，获取多个特征图，从而保证能够提取到图像中物体的局部分布特性。基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图。同样基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图，然后根据第一融合特征图和第二融合特征图确定的图像的中线。通过两条相反方向的特征融合路径能够更好的融合主干网络得到的特征和语义信息，从而通过提升网络的性能提高检测的鲁棒性。

在一个实施例中，基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图，具体包括：根据各特征图的分辨率，从高到低依次将各特征图作为第一当前特征图，获取第一当前特征图对应的前一个特征图的第一融合特征图。在第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值。将第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图。

其中，第一当前特征图为当前需要进行fine-coarse路径特征融合的特征图，按照分辨率的高低依次作为第一当前特征图。即是各特征图根据分辨率，从高到低逐一作为第一当前特征图进行特征融合。

具体地，当主干网络的多个层进行特征提取得到的特征图分别为特征图1、特征图2、特征图3、特征图4以及特征图5，其中，从特征图1到特征图5的分辨率越来越低。也就是说，特征图1的分辨率高于特征图2，特征图2的分辨率高于特征图3，特征图3的分辨率高于特征图4，特征图4的分辨率高于特征图5，则按照分辨率从高到低进行排序，顺序为特征图1-特征图2-特征图3-特征图4-特征图5。首先，将特征图1作为第一当前特征图，特征图1作为fine-coarse路径的第一个特征图，没有对应的前一个特征图，因此，分辨率最高的特征图1没有对应的前一个特征图，自然没有对应前一个特征图的第一融合特征图。即分辨率最高的特征图1，对应的前一个特征图的第一融合特征图为预设值，预设值包括但不限于空、0等。则当特征图1进行特征融合时，是特征图1与空进行特征融合，得到的第一融合特征是特征图1本身，也就是说，特征图1对应的第一融合特征图就是特征图1，记为第一融合特征图1。其次，将特征图2作为第一当前特征图，按照分辨率从高到低的顺序，特征图2对应的前一个特征图为特征图1，则获取特征图1对应的第一融合特征图，第一融合特征图1。将特征图2与第一融合特征图1进行特征融合，得到的特征图即为特征图2对应的第一融合特征图，记为第一特融合特征图2。再次，将特征图3作为第一当前特征图，特征图3对应的前一个特征图为特征图2，获取特征图2对应的第一融合特征图，即第一融合特征图2。将特征图3与第一融合特征图2进行特征融合，得到的图像为特征图3对应的第一融合特征图，记为第一融合特征图3。同样的，依次将特征图4、特征图5作为第一当前特征图，特征图4、特征图5进行特征融合的方式与特征图1、特征图2、特征图3相同，在此不再赘述。在本实施例中，通过将各特征图进行由粗到细的特征融合，能够更好的融合不同尺度的特征和语义信息，提升网络的表现，从而提高中线确定的准确性。

在一个实施例中，如图3所示，将第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图，包括以下步骤：

步骤S302，获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。

其中，由于数字图像可以表示为矩阵的形式，所以利用计算机设备，例如服务器对图像进行处理时，通常用矩阵表示对应的图像。特征矩阵即为第一当前特征图对应的图像矩阵。

具体地，当第一当前特征图进行特征融合时，服务器获取的是第一当前特征图的特征矩阵，并且同时获取第一当前特征图对应的前一个特征图的第一融合特征图的特征矩阵。

步骤S304，从对应的前一个特征图的第一融合特征图的特征矩阵中，确定第一当前特征矩阵中每个矩阵元素的对应矩阵元素。

其中，矩阵一般为一维或多维的数组，因此在矩阵中存储有多个数值，存储在矩阵中的数值即为矩阵元素。

具体地，当获取到对应的前一个特征图的第一融合特征图的特征矩阵后，从该特征矩阵中确定第一当前特征矩阵的中每个矩阵元素的对应的矩阵元素。即按照矩阵的行列找对应矩阵元素。例如，第一当前特征矩阵的第一行一列中矩阵元素的对应矩阵元素是对应特征矩阵中的第一行第一列存储的矩阵元素。当第一当前特征矩阵的与对应的特征矩阵为相同维度的矩阵时，第一当前特征矩阵中的矩阵元素均能在对应特征矩阵中找到对应的对应矩阵元素。而当第一当前特征矩阵的与对应的特征矩阵为不同维度的矩阵时，则可能存在没有对应的行和列，那么对应矩阵元素即为0。

步骤S306，将第一当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

具体地，确定好第一当前特征矩阵中矩阵元素的对应的矩阵元素之后，将各矩阵元素与对应的矩阵元素进行相加，得到新的矩阵，该新的矩阵对应的特征图即为第一当前特征图对应的第一融合特征图。例如，若第一当前特征矩阵的第一行第一列的矩阵元素为2，对应的特征矩阵的第一行第一列的对应矩阵元素为3，则相加之后得到的新的矩阵的第一行第一列的数值为5。

在一个实施例中，基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图，具体包括：根据各特征图的分辨率，从低到高依次将各特征图作为第二当前特征图，获取第二当前特征图对应的前一个特征图的第二融合特征图；在第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；将第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

其中，第二当前特征图为当前需要进行coarse-fine路径特征融合的特征图，按照分辨率的高低依次作为第二当前特征图即是各特征图根据分辨率，从低到高逐一作为第二当前特征图进行特征融合。

具体地，当主干网络的多个层进行特征提取得到的特征图分别为特征图1、特征图2、特征图3、特征图4以及特征图5，其中，从特征图1到特征图5的分辨率越来越低。也就是说，特征图1的分辨率高于特征图2，特征图2的分辨率高于特征图3，特征图3的分辨率高于特征图4，特征图4的分辨率高于特征图5。与fine-coarse路径不同的是，coarse-fine路径按照分辨率从低到高进行排序，顺序为特征图5-特征图4-特征图3-特征图2-特征图1。首先，将特征图5作为第二当前特征图，特征图5作为coarse-fine路径的第一个特征图，没有对应的前一个特征图，因此，分辨率最低的特征图5没有对应的前一个特征图，自然没有对应前一个特征图的第二融合特征图。即分辨率最低的特征图5，对应的前一个特征图的第二融合特征图为预设值，预设值包括但不限于空、0等。则当特征图5进行特征融合时，是特征图5与空进行特征融合，得到的第二融合特征是特征图5本身，也就是说，特征图5对应的第二融合特征图就是特征图5，记为第二融合特征图5。其次，将特征图4作为第二当前特征图，按照分辨率从低到高的顺序，特征图4对应的前一个特征图为特征图5，则获取特征图5对应的第二融合特征图，第二融合特征图5。将特征图4与第二融合特征图5进行特征融合，得到的特征图即为特征图4对应的第二融合特征图，记为第一特融合特征图4。再次，将特征图3作为第二当前特征图，特征图3对应的前一个特征图为特征图4，获取特征图4对应的第二融合特征图，即第二融合特征图4。将特征图3与第二融合特征图4进行特征融合，得到的图像为特征图3对应的第二融合特征图，记为第二融合特征图3。同样的，依次将特征图2、特征图1作为第二当前特征图，特征图2、特征图1进行特征融合的方式与特征图5、特征图4、特征图3相同，在此不再赘述。在本实施例中，通过将各特征图进行由细到粗的特征融合，能够更好的融合不同尺度的特征和语义信息，提升网络的表现，从而提高中线确定的准确性。

在一个实施例中，将第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图，具体包括：获取第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵。从对应的前一个特征图的第二融合特征图的特征矩阵中，确定第二当前特征矩阵中每个矩阵元素的对应矩阵元素。将第二当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

具体地，当第二当前特征图进行特征融合时，服务器获取的是第二当前特征图的特征矩阵，并且同时获取第二当前特征图对应的前一个特征图的第二融合特征图的特征矩阵。当获取到对应的前一个特征图的第二融合特征图的特征矩阵后，从该特征矩阵中确定第二当前特征矩阵的中每个矩阵元素的对应的矩阵元素。同样按照矩阵的行列找对应矩阵元素。例如，第二当前特征矩阵的第一行一列中矩阵元素的对应矩阵元素，是对应特征矩阵中的第一行第一列存储的矩阵元素。当第二当前特征矩阵的与对应的特征矩阵为相同维度的矩阵时，第二当前特征矩阵中的矩阵元素均能在对应特征矩阵中找到对应的对应矩阵元素。而当第二当前特征矩阵的与对应的特征矩阵为不同维度的矩阵时，则可能存在没有对应的行和列，那么对应矩阵元素即为0。进一步的，确定好第二当前特征矩阵中矩阵元素的对应的矩阵元素之后，将各矩阵元素与对应的矩阵元素进行相加，得到新的矩阵，该新的矩阵对应的特征图即为第二当前特征图对应的第二融合特征图。例如，若第二当前特征矩阵的第一行第一列的矩阵元素为2，对应特征矩阵的第一行第一列的对应矩阵元素为3，则相加之后得到的新的矩阵的第一行第一列的数值为5。

在一个实施例中，如图4所示，根据各第一融合特征图和各第二融合特征图，确定图像的中线，包括以下步骤：

步骤S402，分别将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，得到特征图对应的第三融合特征图。

其中，第三融合特征图是指对应相同特征图的第一融合特征图和第二融合图进行特征融合后得到的特征图。

具体地，将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，例如将特征图3对应的第一融合特征图3和第二融合特征图3进行特征融合得到特征图3的第三融合特征图。也就是说，有多少个特征图，就有多少个对应的第三融合特征图。

在一个实施例中，分别将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，得到特征图对应的第三融合特征图，具体包括：分别将每个特征图对应的第一融合特征图和第二融合特征进行合并，得到第一合并特征图。将第一合并特征图进行降维处理，得到特征图对应的第三融合特征图。

具体地，由于在本实施例中，第三融合特征图通过特征合并之后降维得到，因此，第一融合特征图和第二融合特征图首先进行特征合并，得到合并特征图后，将特征合并图进行降维得到第三融合特征图。例如第一融合特征图和第二融合特征图分别为2*2的特征图，经过特征合并后得到2*2*2的第一合并特征图。进一步的，利用1*1的卷积核对2*2*2的第一合并特征图进行卷积操作，即对第一合并特征图进行降维处理，得到2*2的第三融合特征图。

步骤S404，根据各第三融合特征图确定图像的中线。

具体地，当得到所有特征图对应的第三融合特征图之后，再次将第三融合特征图进行特征合并以及降维，从而得到图像的中线。

在一个实施例中，根据各第三融合特征图确定图像的中线，具体包括：将各第三融合特征图进行合并，得到第二合并特征图。将第二合并特征图进行降维处理，根据降维后的特征图确定图像的中线。

具体地，第二合并特征图即是各第三融合特征图进行特征合并后的特征图。例如，如有五个第三融合特征图，分别为第三融合特征1、第三融合特征2、第三融合特征3、第三融合特征4和第三融合特征5，将第三融合特征1、第三融合特征2、第三融合特征3、第三融合特征4和第三融合特征5进行特征合并成一张特征图，即第二合并特征图。然后将第二合并特征图进行降维处理，得到的图像即为中线检测模型的输出图像，根据该图像即可确定图像的中线，即输入至中线检测网络的待检测图像的中线。

在一个实施例中，如图5所示，提供一种中线检测模型。中线检测模型中包括有五层特征提取层的主干网络和特征融合层。在主干网络的五层特征提取层中，第一层、第二层、第三层和第四层包括卷积层和池化层，第五层为卷积层。其中，第一层、第二层、第三层、第四层以及第五层的卷积层为3*3的卷积核，输出通道分别为32、64、128、256和256。具体地，参考图5，输入图像至主干网络，通过五层特征提取层分别得到五张对应的特征图501，利用从左至右的fine-coarse路径对特征图501进行特征相加，得到特征图501对应的第一融合特征图502。同样的，利用从右至左的coarse-fine路径对特征图501进行特征相加，得到特征图501对应的第二融合特征图503。进一步，对第一融合特征图501和第二融合特征图502进行特征合并和降维，得到特征图501对应的第三融合特征图504，然后将第三融合特征图504进行特征合并和降维得到输出图像，确定图像的中线。

中线检测模型为预先训练好的神经网络，训练过程包括：获取需要进行中线检测的图像数据集，可以使用影像采集设备采集获取要进行中线检测的图像数据集。对图像数据集中的图像进行中线的标注，在标注的过程中，不仅需要注意中线的确定不仅与物体的外在轮廓有关，还要考虑物体纹理上的对称性。其中，图像数据集中的图像包括但不限于单通道或者三通道的图像，但是图像应当有相同的宽和高。进一步的，从图像数据集中分别随机选定一部分图像定义为训练集、验证集和测试集，训练集、验证集合测试集的比例为60％：20％：20％。在划分好的训练集图像上进行数据增强，增强方法包括但不限于图像的随机镜像、随机平移、随机缩放等。并且，在图像增强之后，还可以根据实际需求进行减均值、除以标准差的标准化处理。将预设的中线检测模型的batch size(批量大小)、学习率等超参数设置初始值，之后将训练集的图像输入到网络中进行迭代训练。每次迭代训练完成之后，将验证集中的图像输入到网络中进行验证。当完成预设的训练迭代次数之后，将测试集中的图像输入到网络中进行结果的测试。其中，训练过程中根据当前验证集和测试集上的表现来调整与网络训练有关的超参数，并且在新的超参数上再次训练网络，直到模型达到理想中或者最优的损失值。损失函数包括但不限于Focal Loss、Dice Loss、Dice Loss+weighted Cross-Entropy。

参考图6，提供一种训练过程流程图，训练过程可以理解为：首先进行模型训练的准备过程，即获取需要进行中线检测的图像数据集，以及对图像数据集中的图像进行中线的标注之后即可开始进行训练。首先对已标注中线的图像进行数据扩充，也就是对图像进行数据增强。然后设置模型的超参数，超参数设置完成后将数据扩充后的图像输入到模型当中进行训练。本次训练完成之后，将测试所用的测试集输入到模型当中进行模型的测试，根据测试结果对模型进行评估。评估模型的损失函数是否收敛，若还未收敛，即还没有达到理想的状态，即可以根据模型评估的结果重新设置超参数，基于新的超参数进行迭代训练，直到评估模型达到理想状态。将达到理想状态的模型保存下来，本次训练完成，后续可直接将该模型部署使用。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像中线检测装置，包括：提取模块702、融合模块704和确定模块706，其中：

提取模块702，用于利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图。

融合模块704，用于基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图。

融合模块704还用于基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图。

确定模块706，用于根据各第一融合特征图和各第二融合特征图，确定图像的中线。

在一个实施例中，融合模块704还用于根据各特征图的分辨率，从高到低依次将各特征图作为第一当前特征图，获取第一当前特征图对应的前一个特征图的第一融合特征图。在第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值。将第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图；

还用于根据各特征图的分辨率，从低到高依次将各特征图作为第二当前特征图，获取第二当前特征图对应的前一个特征图的第二融合特征图；在第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；将第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，融合模块704还用于获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。将第一当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

在一个实施例中，融合模块704还用于获取第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵。从对应的前一个特征图的第二融合特征图的特征矩阵中，确定第二当前特征矩阵中每个矩阵元素的对应矩阵元素。将第二当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，确定模块706还用于分别将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，得到特征图对应的第三融合特征图。根据各第三融合特征图确定图像的中线。

在一个实施例中，确定模块706还用于分别将每个特征图对应的第一融合特征图和第二融合特征进行合并，得到第一合并特征图。将第一合并特征图进行降维处理，得到特征图对应的第三融合特征图。

在一个实施例中，确定模块706还用于将各第三融合特征图进行特征融合，确定图像的中线。

在一个实施例中，确定模块706还用于将各第三融合特征图进行合并，得到第二合并特征图。将第二合并特征图进行降维处理，根据降维后的特征图确定图像的中线。

关于图像中线检测装置的具体限定可以参见上文中对于图像中线检测方法的限定，在此不再赘述。上述图像中线检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储中线检测模型、待检测图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像中线检测方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图；

基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图；

基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图；

根据各第一融合特征图和各第二融合特征图，确定图像的中线。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据各特征图的分辨率，从高到低依次将各特征图作为第一当前特征图，获取第一当前特征图对应的前一个特征图的第一融合特征图。在第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值。将第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图；

根据各特征图的分辨率，从低到高依次将各特征图作为第二当前特征图，获取第二当前特征图对应的前一个特征图的第二融合特征图；在第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；将第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。将第一当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵。从对应的前一个特征图的第二融合特征图的特征矩阵中，确定第二当前特征矩阵中每个矩阵元素的对应矩阵元素。将第二当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

分别将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，得到特征图对应的第三融合特征图。根据各第三融合特征图确定图像的中线。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

分别将每个特征图对应的第一融合特征图和第二融合特征进行合并，得到第一合并特征图。将第一合并特征图进行降维处理，得到特征图对应的第三融合特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将各第三融合特征图进行特征融合，确定图像的中线。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将各第三融合特征图进行合并，得到第二合并特征图。将第二合并特征图进行降维处理，根据降维后的特征图确定图像的中线。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图；

基于各特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图；

基于各特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图；

根据各第一融合特征图和各第二融合特征图，确定图像的中线。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据各特征图的分辨率，从高到低依次将各特征图作为第一当前特征图，获取第一当前特征图对应的前一个特征图的第一融合特征图。在第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值。将第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图；

根据各特征图的分辨率，从低到高依次将各特征图作为第二当前特征图，获取第二当前特征图对应的前一个特征图的第二融合特征图；在第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；将第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。获取第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵。将第一当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵。从对应的前一个特征图的第二融合特征图的特征矩阵中，确定第二当前特征矩阵中每个矩阵元素的对应矩阵元素。将第二当前特征矩阵中的矩阵元素与对应矩阵元素相加，得到新的矩阵，将新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

分别将每个特征图对应的第一融合特征图和第二融合特征图进行特征融合，得到特征图对应的第三融合特征图。根据各第三融合特征图确定图像的中线。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

分别将每个特征图对应的第一融合特征图和第二融合特征进行合并，得到第一合并特征图。将第一合并特征图进行降维处理，得到特征图对应的第三融合特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将各第三融合特征图进行特征融合，确定图像的中线。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将各第三融合特征图进行合并，得到第二合并特征图。将第二合并特征图进行降维处理，根据降维后的特征图确定图像的中线。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像中线检测方法，所述方法包括：

利用预设中线检测模型中主干网络的多个层对待检测图像进行特征提取，获取多个特征图；

基于各所述特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图；

基于各所述特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图；

根据各所述第一融合特征图和各所述第二融合特征图，确定所述图像的中线。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述特征图的分辨率，从高到低依次进行特征融合，得到每个特征图对应的第一融合特征图的步骤，包括：

根据各所述特征图的分辨率，从高到低依次将各所述特征图作为第一当前特征图，获取所述第一当前特征图对应的前一个特征图的第一融合特征图；在所述第一当前特征图为分辨率最高的特征图时，对应的前一个特征图的第一融合特征图为预设值；

将所述第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图；

所述基于各所述特征图的分辨率，从低到高依次进行特征融合，得到每个特征图对应的第二融合特征图的步骤，包括：

根据各所述特征图的分辨率，从低到高依次将各所述特征图作为第二当前特征图，获取所述第二当前特征图对应的前一个特征图的第二融合特征图；在所述第二当前特征图为分辨率最低的特征图时，对应的前一个特征图的第二融合特征图为预设值；

将所述第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后的特征图作为第二当前特征图对应的第二融合特征图。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一当前特征图以及对应的前一个特征图的第一融合特征图进行特征融合，将得到的特征融合后的特征图作为第一当前特征图对应的第一融合特征图的步骤，包括：

获取所述第一当前特征图对应的特征矩阵作为第一当前特征矩阵，以及获取对应的前一个特征图的第一融合特征图的特征矩阵；

从对应的前一个特征图的第一融合特征图的特征矩阵中，确定所述第一当前特征矩阵中每个矩阵元素的对应矩阵元素；

将所述第一当前特征矩阵中的矩阵元素与所述对应矩阵元素相加，得到新的矩阵，将所述新的矩阵对应的特征图作为第一当前特征图对应的第一融合特征图。

4.根据权利要求2所述的方法，其特征在于，将所述第二当前特征图以及对应的前一个特征图的第二融合特征图进行特征融合，将得到的特征融合后特征图作为第二当前特征图对应的第二融合特征图的步骤，包括：

获取所述第二当前特征图对应的特征矩阵作为第二当前特征矩阵，以及获取对应的前一个特征图的第二融合特征图的特征矩阵；

从对应的前一个特征图的第二融合特征图的特征矩阵中，确定所述第二当前特征矩阵中每个矩阵元素的对应矩阵元素；

将所述第二当前特征图中的矩阵元素与所述对应矩阵元素相加，得到新的矩阵，将所述新的矩阵对应的特征图作为第二当前特征图对应的第二融合特征图。

5.根据权利要求1所述的方法，其特征在于，所述根据各所述第一融合特征图和各所述第二融合特征图，确定所述图像的中线的步骤，包括：

分别将每个特征图对应的所述第一融合特征图和第二融合特征图进行特征融合，得到所述特征图对应的第三融合特征图；

根据各所述第三融合特征图确定所述图像的中线。

6.根据权利要求6所述的方法，其特征在于，所述分别将每个特征图对应的所述第一融合特征图和第二融合特征图进行特征融合，得到所述特征图对应的第三融合特征图的步骤，包括：

分别将每个特征图对应的所述第一融合特征图和第二融合特征进行合并，得到第一合并特征图；

将所述第一合并特征图进行降维处理，得到所述特征图对应的第三融合特征图。

7.根据权利要求5所述的方法，其特征在于，根据各所述第三融合特征图确定所述图像的中线的步骤，包括：

将各所述第三融合特征图进行特征融合，确定所述图像的中线。

8.根据权利要求7所述的方法，其特征在于，所述将各所述第三融合特征图进行特征融合，得到所述图像的中线，包括：

将各所述第三融合特征图进行合并，得到第二合并特征图；

将所述第二合并特征图进行降维处理，根据降维后的特征图确定所述图像的中线。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。