CN115311573B

CN115311573B - 一种场地线检测和目标定位方法、电子设备及存储介质

Info

Publication number: CN115311573B
Application number: CN202211230156.XA
Authority: CN
Inventors: 洪刚; 陈豪
Original assignee: Zhejiang Yiti Technology Co ltd
Current assignee: Zhejiang Yiti Technology Co ltd
Priority date: 2022-10-08
Filing date: 2022-10-08
Publication date: 2023-03-24
Anticipated expiration: 2042-10-08
Also published as: CN115311573A

Abstract

本发明涉及计算机视觉技术领域，具体为一种场地线检测和目标定位方法、电子设备及存储介质。包括获取通过图像采集器采集的图像；对图像进行降采样，获取图片不同尺度的特征图；将特征图送入场地线检测网络，获取场地线检测结果；将特征图送入目标检测网络，获取目标检测结果；将场地线检测结果与目标检测结果进行相对位置计算；得到场地线检测结果和目标定位结果。将特征图送入场地线检测网络，具体包括将特征图进行特征增强模块处理；将处理后的特征图进行上采样处理；得到场地线检测结果。有效解决目前场地线检测和目标定位方法自适应性低、鲁棒性低以及目标定位精确度低的问题，具有自适应能力强、鲁棒性高、目标定位精确度高的优点。

Description

一种场地线检测和目标定位方法、电子设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，具体为一种场地线检测和目标定位方法、电子设备及存储介质。

背景技术

场地线检测是指对某场地人为标注的线条进行检测，为后续处理或者满足一定规则从而开展某项活动。当对场地线提取之后，可以对特定目标进行检测并标注该目标在场地中的位置，从而为后续处理提供依据。场地线检测和目标定位在虚拟现实、智能泊车、赛事分析等方面均具备广泛的研究与应用价值。

随着计算机视觉技术不断发展，利用计算机视觉技术进行场地线检测取得了不错的成效。基于计算机视觉进行场地线检测方式又可以分为基于传统方法和基于深度学习技术两种。

传统的场地线检测算法非常容易受到环境因素影响，比如天气、光照等因素，需要结合具体的场景手动调整参数，同时传统算子自适应能力和鲁棒性低。近年来深度学习技术在计算机视觉取得了广泛的成效，同时也为场地线检测带来的新的研究方向。深度学习技术最典型的方法就是卷积神经网络(CNN)，就CNN而言结构比较复杂，一般包含输入层、隐藏层、输出层等。不同网络层之间信息不同，浅层网络提取的多是具体低维信息，随着网络层次不断递进，网络开始学习场地线的颜色、纹理等高维信息。基于深度学习技术的场地线检测方法针对简单场景和复杂场景均作不同的处理，简单场景下就可以对ROI进行训练，输出的是二值图；复杂场景下就要考虑更多信息，比如增大模型感受野或者利用自注意力机制和通道注意力机制结合。另外计算机视觉任务之一的图像分割飞速发展，部分方法将分割方法引入到场地线检测领域，取得了不错的成果。

场地线提取到轮廓之后，对其中的目标定位方法之一使用外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系；使用内参矩阵表示通过相机从相机坐标系的坐标点专为图像像素坐标系点；再使用畸变矩阵表示理论坐标点和现实坐标点的偏差。另外也有将场地线和被定位目标均转换到相机坐标系下，计算二者之间相对位置，从而获取被定位目标在场地中的位置。

传统的场地线检测方法都均有其局限性：首先是应用场景限制，霍夫变换能够较为准确的检测到都是有直线组成的场地，当场地线存在曲线时，无法检测到曲线区域；基于拟合方法可以检测到曲线线条但方法本身不稳定；基于透视灭点方法则对相机摆放位置有具体的要求，执行变换前需要调整图像，并且摄像机安装和场地变换等会影响到场地线检测效果，自适应性低、鲁棒性低。

目前场地线检测主流方法均依赖于深度学习技术实现。深度学习技术本质是一种监督范式方法。场地线实质是人为标注的符号，呈现细长的形状，对于监督范式方法这种细长线条提供的监督信息比较稀疏，并且场地线面积在图像中面积占比小，对于深度学习模型意味着正样本稀少负样本稠密，样本比例不平衡，导致提取敏感特征且可能忽略形状先验和场地线之间的相关性，降低检测性能。而现有方法对这种情况缺少系统性考虑，特别是欠缺空间信息考虑。

其次，特别是基于分割的方法进行场地线检测，分割方法是逐像素对图像处理，但场地线并不完全是连续的，是有虚线或者线条磨损不可见，分割方法无法做到重建场地线。虽然可以通过损失函数强加约束，但这种强加约束的方法效果非常差，且不具备扩展性。此外，现有方法还有一些加入强先验知识从而获得较好的结果，对于监督范式的深度学习方法强先验意味着方法灵活性和扩展性弱。

目前目标定位方法，主要是针对于特定目标配合一定传感器实现。这种方法灵活性和扩展性非常差，比如足球赛事需要对球或者球员进行传感器定位，球在高速运动中传感器的功能会大打折扣，目标定位精确度低；若球员佩戴传感器，又一定程度上限定了球员的发挥，影响运动员水平和赛事结果的公正性。

因此有必要对场地线检测和目标定位方法进行进一步的改进，以解决上述问题。

发明内容

本申请的目的：在于解决和克服现有技术和应用的不足，提供一种场地线检测和目标定位方法、电子设备及存储介质，有效解决目前场地线检测和目标定位方法自适应性低、鲁棒性低以及目标定位精确度低的问题，具有自适应能力强、鲁棒性高、目标定位精确度高的优点。

本申请的目的是通过如下技术方案来完成的，一种场地线检测和目标定位方法，包括以下步骤：

S1:获取通过图像采集器采集的图像；

S2:对图像进行降采样，获取图片不同尺度的特征图；

S3:将特征图送入场地线检测网络，获取场地线检测结果；

S4:将特征图送入目标检测网络，获取目标检测结果；

S5:将场地线检测结果与目标检测结果进行相对位置计算；

S6:得到最终场地线检测结果和目标定位结果；

所述步骤S3包括：

S31：将特征图进行特征增强模块处理；从右往左传递信息，不同步长的拆分之后的特征接受除该特征之外的其余特征信息，通过设置不同步长，将不同特征图的切片在传播过程中聚合一起；

S32：将处理后的特征图进行上采样处理；将上采样处理分为粗粒度上采样处理以及细粒度上采样处理;

S33：得到场地线检测结果；

所述步骤S4包括：

S41：对特征图进行特征融合模块处理；

S42：将特征图及特征融合后的特征图送入目标检测网络进行目标检测；

S43：得到目标检测结果。

优选地：步骤S2具体为：使用ResNet5中的残差block组成主干网络（backbone），提取的特征图为原始图像尺寸大小1/4、1/8、1/16。

优选地，所述特征增强模块处理具体为：将信息传递从右往左传递且步长为1，特征图的大小为C*H*W，使用一维的Conv1x1拆分方式对W进行拆分，共拆分成W列，将其集合记为:

其中X代表对图像宽度进行拆分，共拆分成W个，R代表拆分之后的X共同组成集合R；

传递公式如下所示：

其中

代表传递前的特征图；/>

代表传递之后的特征图，/>

是一个Conv1x1和ReLu函数；/>

是第K次迭代的步长；/>

代表循环。

优选地，所述上采样处理分为粗粒度上采样处理以及细粒度上采样处理；

所述粗粒度上采样处理具体为：使用一个1x1的卷积减少输入特征图的通道数量后，进行批归一化(BN)处理；使用双线性插值法对特征图进行上采样后，使用ReLu激活非线性；

所述粗粒度上采样处理具体为：使用转置卷积对特征图上采样，步幅大小与降采样中卷积步幅一致，将特征图通道数减少2倍，采取与粗粒度分支一样的上采样方式；添加瓶颈结构(bottleneck)，保证特征图在分解提取有效信息的同时保持形状。

优选地，所述步骤S41中的特征融合模块处理具体为：

特征图从左往右分别为原始图像尺寸1/4、1/8、1/16大小，并将其依次标记为F1、F2、F3；

F1通过一个1x1卷积降低图像尺寸大小和调整通道；

F3经过一个2x上采样模块，恢复到原始图像尺寸1/8大小；

将F1、F2、F3进行融合，融合之后的图像F4经过单阶段无头网络(SSH)特征增强模块。

优选地，所述步骤S42具体为：将F1、F2、F3 、F4分别送入目标检测网络进行目标检测，得到目标检测结果，并输出得分信息、目标类别、目标坐标信息。

优选地，所述步骤S5具体为：

对场地线检测结果以及目标检测结果分别进行鸟瞰交换；

场地线检测结果以俯视图视角呈现，并且标明每个场地线所属的类别；

目标检测结果以一条线段呈现，取线段中点作为目标位置原点，记为

；

将图像转换到图像坐标系下，图像或者场地线限定区域视为图像坐标系，

的位置为被定位目标在场地线中的位置。

本发明还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明提供的场地线检测和目标定位方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的场地线检测和目标定位方法。

本申请与现有技术相比，至少具有以下明显优点和效果：

1、在本发明中，通过在庞大的数据集上进行训练，输出端到端的场地线检测模型，具备极强的自适应能力和高鲁棒性。

2、在本发明中，通过并行传递信息的特征增强模块，在获得强特征表达能力的同时，减少了时间消耗同时，减少特征聚合带来的信息损失问题，在存在虚线和场地线磨损的情况下，能够获得更好的检测结果。

3、在本发明中，上采样使用了两个结构分支，一个输出粗粒度，一个输出细粒度，二者相互弥补，获得更为精细化的场地线检测结果，从而使得目标定位变得更加准确。

4、在本发明中，没有借助传感器实现，通过场地线检测网络、目标检测网络分别进行场地线检测和目标检测，通过计算图像坐标内的相对位置，获得定位目标在场地线内的位置，成本低、易实现且不会对某些定位目标造成影响。

附图说明

图1是本申请中场地线检测和目标定位方法的整体流程图。

图2是本申请中特征增强模块结构示意图。

图3是本申请中上采样流程示意图。

图4是本申请中特征融合模块结构流程示意图。

图5是本申请中目标检测网络结构示意图。

图6是本申请中的一种电子设备的结构示意图。

图7是本申请中半场地投篮定位训练实施例示意图。

图8是本申请中半场地投篮定位训练效果图。

本申请中的附图标记：

处理器101、存储装置102、输出装置103、输出装置104、总线105。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

下面通过以下各个实施例及其可选方案对本申请中提供的场地线检测和目标定位方法、电子设备及存储介质进行详细阐述。

图1是本发明实施例中提供的一种场地线检测和目标定位方法的流程图。本发明实施例可适用于对场地线检测和目标定位的情况。该方法可由场地线检测和目标定位方法设备来执行，该设备可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的场地线检测和目标定位方法，可包括以下步骤：

S1: 获取通过图像采集器采集的图像；

在本申请实施例中，图像采集器可以为摄像机或者照相机，当然，图像采集器不仅限于此。如果图像采集器为摄像机，摄像机拍摄的是一段时间内的视频，待检测图像可以为该视频中的任一帧图像。

S2: 对图像进行降采样，获取图片不同尺度的特征图；

在本申请实施例中，根据实际需要选择backbone网络（主干网络），网络组成部分包括但不限于卷积层、池化层、全连接层、BN层、ReLu层等。本申请中使用ResNet5中的残差block组成backbone，提取的特征图为原始图像尺寸大小1/4、1/8、1/16，供场地线检测和目标检测使用。

S3: 将特征图送入场地线检测网络，获取场地线检测结果；

步骤S3包括：

S31：将特征图进行特征增强模块处理；

图2为本申请中特征增强模块结构示意图，在本申请实施例中，图2中左侧代表特征图，其中C、H、W分别代表特征图像的通道、高度、宽度，右侧代表左侧特征图按照W进行切片获得的特征图切片。特征增强模块对原始图像尺寸1/8特征图进行处理，将信息传递从右往左传递且步长为1时，假设一个特征图的大小是C*H*W，对W进行拆分，拆分方式使用一维的Conv1x1，共可以拆分成W列，将其集合记为:

传递公式如下所示：

其中

代表传递前的特征图；/>

代表传递之后的特征图，实质是本身特征图叠加一个相邻特征图；/>

是一个Conv1x1和ReLu函数；/>

是第K次迭代的步长；/>

在此处意味着循环。

当进行第一次迭代，即K=0，此时s=1，在

出接收的是/>

的信息；当K=1时，此时s=2，在/>

出接收的是/>

的信息，但在进行第0次迭代时，/>

已经接收到了/>

的信息，所以此时/>

实际接收的是/>

到/>

的信息；依次类推完成一共K次迭代。由此可以确定在进行第/>

次迭代时，/>

接收到是/>

次信息，确定/>

。

传递方式除了提到的从右往左传递还可以从上往下传递或者从右往左、从上往下都执行。特征增强模块设计主要考虑线条与线条之间的空间相关性、线的连续性等，图像中存在一点线条的视觉线索，就可以将整条线推理出来。同时这种信息传递方式是并行的，时间消耗低，通过设置不同的步长，不同特征图的切片在传播过程中可以聚合在一起而没有信息损失。同时该模块是独立于整体方法中的，可以将其应用到其他网络中，不需要较大成本。通过特征增强模块，在获得强特征表达能力的同时，减少了时间消耗同时，减少特征聚合带来的信息损失问题，在存在虚线和场地线磨损的情况下，能够获得更好的检测结果。

S32：将处理后的特征图进行上采样处理；

图3为本申请中上采样流程示意图，在本申请实施例中，上采样处理分为粗粒度上采样处理以及细粒度上采样处理；

对于粗粒度上采样处理，快速输出粗略上采样的特征，首先使用一个1x1的卷积减少输入特征图的通道数量，在进行批归一化(BN)处理，最后使用双线性插值法对特征图进行上采样，进而使用ReLu激活非线性。

对于细粒度上采样处理，目的是为了弥补粗粒度上采样粗略上采样带来的细节信息丢失，并且要比粗粒度上采样深度更深。首先使用转置卷积对特征图上采样，步幅大小于Encoder中卷积步幅一致(stride=2)，同时将特征图通道数减少2倍，然后采取与粗粒度分支一样的上采样方式，并添加瓶颈结构(bottleneck)，添加瓶颈结构(bottleneck)的目的是保证特征图在分解提取有效信息的同时保持形状。上采样使用了两个结构分支，一个输出粗粒度，一个输出细粒度，二者相互弥补，获得更为精细化的场地线检测结果，从而使得目标定位变得更加准确。

S4: 将特征图送入目标检测网络，获取目标检测结果；

步骤S4包括：

S41：对特征图进行特征融合模块处理；

图4为本申请中特征融合模块结构示意图，在本申请实施例中，从左往右的特征图分别为原始图像尺寸1/4、1/8、1/16大小，将其依次标记为F1、F2、F3。其中F1通过一个1x1卷积降低图像尺寸大小(降低为原始图像1/8尺寸大小)和调整通道，F3经过一个2x上采样模块，恢复到原始图像尺寸1/8之一大小。然后将F1、F2、F3进行融合，融合之后的图像F4经过单阶段无头网络(SSH)特征增强模块，弥补不同尺度特征图语义不同带来的语义鸿沟问题。

图5为本申请中目标检测网络结构示意图，在本申请实施例中，将F1、F2、F3 、F4分别送入目标检测网络进行目标检测，得到目标检测结果，并输出得分信息、目标类别、目标坐标信息等。

S43：得到目标检测结果。

S5: 将场地线检测结果与目标检测结果进行相对位置计算；

在本申请实施例中，S5具体为：当获得了场地线检测结果以及目标检测结果之后，分别对场地线检测结果以及目标检测结果分别进行鸟瞰交换；场地线检测结果以俯视图视角呈现，并且标明每个场地线所属的类别；目标检测结果以一条线段呈现，取线段中点作为目标位置原点，记为

；将图像转换到图像坐标系下，图像或者场地线限定区域视为图像坐标系，/>

的位置为被定位目标在场地线中的位置。

S6:得到最终场地线检测结果和目标定位结果；

通过场地线检测和目标定位方法，有效解决目前场地线检测和目标定位方法自适应性低、鲁棒性低以及目标定位精确度低的问题，具有自适应能力强、鲁棒性高、目标定位精确度高的优点。通过并行传递信息的特征增强模块，在获得强特征表达能力的同时，减少了时间消耗同时，减少特征聚合带来的信息损失问题，在存在虚线和场地线磨损的情况下，能够获得更好的检测结果。上采样使用了两个结构分支，一个输出粗粒度，一个输出细粒度，二者相互弥补，获得更为精细化的场地线检测结果，从而使得目标定位变得更加准确。通过计算图像坐标内的相对位置，获得定位目标在场地线内的位置，成本低、易实现且不会对某些定位目标造成影响。

本发明还提供了一种电子设备，如图6所示为本申请中的一种电子设备的结构示意图，包括一个或多个处理器101和存储装置102；该电子设备中的处理器101可以是一个或多个，图6中以一个处理器101为例；存储装置102用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器101执行，使得所述一个或多个处理器101实现如本发明实施例中任一项所述的场地线检测和目标定位方法。

该电子设备还可以包括：输入装置103和输出装置104。该电子设备中的处理器101、存储装置102、输入装置103和输出装置104可以通过总线105或其他方式连接，图6中以通过总线105连接为例。

该电子设备中的存储装置102作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的场地线检测和目标定位方法对应的程序指令/模块。处理器101通过运行存储在存储装置102中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中场地线检测和目标定位的方法。

存储装置102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置102可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置103可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置104可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器101执行时，程序进行如下操作：

获取通过图像采集器采集的图像；

对图像进行降采样，获取图片不同尺度的特征图；

将特征图送入场地线检测网络，获取场地线检测结果；

将特征图送入目标检测网络，获取目标检测结果；

将场地线检测结果与目标检测结果进行相对位置计算；

得到场地线检测结果和目标定位结果；

当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器101执行时，程序还可以进行本发明任意实施例中所提供的场地线检测和目标定位方法中的相关操作。

为了进一步对场地线检测和目标定位方法流程进行详细说明，以半场地投篮定位训练系统为例描述流程是如何运行：如图7所示为本申请中半场地投篮定位训练系统，包括以下步骤：

中央处理单元:接受人为输入的指令，接受指令后，中央处理单元发送信号驱动其余单元准备工作或者开始工作。

摄像头单元:接收到中央处理单元信号开始工作，打开摄像头，并持续不断地读取当前原始视频帧；

图像预处理单元，接收摄像头读取的视频帧，根据业务场景需要可以进行包括但不限于图像尺寸不失真调整、颜色空间转换、数据增强；

数据处理单元：经过数据预处理单元预处理后的满足业务场景需要的数据，数据处理单元判断当前帧是否包含场地线、篮球等目标物体，如果不包含，会将原始视频帧不做任何处理发送；如果当前帧包含场地线、篮球等目标物体将，则会使用本申请提出的场地线检测和目标定位方法对当前帧处理，并将处理之后的数据发送到数据存储单元和数据输出设备。

数据输出设备：数据处理单元处理之后的发送到数据输出设备进行显示，可以是文本、视频、音频等形式。

本申请提出的场地线检测和目标定位方法主要工作在数据处理单元。首先，本申请提出的场地线检测和目标定位方法持续不断地经过图像预处理单元预处理之后的视频帧，逐帧判断当前视频是否包含目标物体，如不包含，则不对视频做任何处理，直接将视频输出且不保存在数据村粗单元。如果当前帧存在目标物体，则使用本申请所述的场地线检测和目标定位方法对视频进行处理，对篮球场地线进行检测和定位，包括场地中的三分线、罚球线、边线等场地。在提取场地线的同时，如果场地中存在运动员和篮球，同时对运动员和篮球进行检测。特别的如果篮球包含陀螺仪、加速计等传感器，那么本专利方法可以配合其他算法根据篮球的旋转角度、速度、加速度等信息判断运动员持球时的动作类型（运球、排球、传球、投篮等），进而获得场地中所有目标物体信息。

对场地中所有目标信息进行汇总，判断出运动员投篮出手是的位置信息，结合场地线检测结果，形成投篮时运动员在场地中的具体位置，并对位置信息进行记录、标定、存储等一系列操作，效果图如图8所示。

通过上述流程，再根据运动员在各个位置投篮时的命中数，一方面全自动地达到提升篮球运动员在场地中各个位置的投篮命中率目的，另一方面也为运动员找到自身合适的位置以及最佳的投篮位置。

需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例场地线检测和目标定位方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种场地线检测和目标定位方法，其特征在于，包括以下步骤：

S1:获取通过图像采集器采集的图像；

S2:对图像进行降采样，获取图片不同尺度的特征图；

S3:将特征图送入场地线检测网络，获取场地线检测结果；

S4:将特征图送入目标检测网络，获取目标检测结果；

S5:将场地线检测结果与目标检测结果进行相对位置计算；

S6:得到最终场地线检测结果和目标定位结果；

所述步骤S3包括：

S31：将特征图进行特征增强模块处理；从右往左传递信息，不同步长的拆分之后的特征接受除该特征之外的其余特征信息_，通过设置不同步长，将不同特征图的切片在传播过程中聚合一起；

S32：将处理后的特征图进行上采样处理；将上采样处理分为粗粒度上采样处理以及细粒度上采样处理；

S33：得到场地线检测结果；

所述步骤S4包括：

S41：对特征图进行特征融合模块处理；特征图从左往右分别为原始图像尺寸1/4、1/8、1/16大小，并将其依次标记为F1、F2、F3；

F1通过一个1x1卷积降低图像尺寸大小和调整通道；

F3经过一个2x上采样模块，恢复到原始图像尺寸1/8大小；

将F1、F2、F3进行融合，融合之后的图像F4经过单阶段无头网络特征增强模块；

S43：得到目标检测结果。

2.根据权利要求1所述的一种场地线检测和目标定位方法，其特征在于：步骤S2具体为：使用ResNet5中的残差block组成主干网络，提取的特征图为原始图像尺寸大小1/4、1/8、1/16。

3.根据权利要求1所述的一种场地线检测和目标定位方法，其特征在于：所述特征增强模块处理具体为：将信息传递从右往左传递且步长为1，特征图的大小为C*H*W，使用一维的Conv1x1拆分方式对W进行拆分，共拆分成W列，将其集合记为:

R＝{X₀,X₁,…X_W-2,X_w-1}

传递公式如下所示：

其中X_i代表传递前的特征图；X′_i代表传递之后的特征图，f是一个Conv1x1和ReLu函数；s_k＝(2^k,k＝0,1,…,K-1)是第K次迭代的步长；mod代表循环。

4.根据权利要求1所述的一种场地线检测和目标定位方法，其特征在于：

所述粗粒度上采样处理具体为：使用一个1x1的卷积减少输入特征图的通道数量后，进行批归一化处理；使用双线性插值法对特征图进行上采样后，使用ReLu激活非线性；

所述粗粒度上采样处理具体为：使用转置卷积对特征图上采样，步幅大小与降采样中卷积步幅一致，将特征图通道数减少2倍，使用双线性插值法对特征图进行上采样后，使用ReLu激活非线性；添加瓶颈结构，保证特征图在分解提取有效信息的同时保持形状。

5.根据权利要求1所述的一种场地线检测和目标定位方法，其特征在于：所述步骤S42具体为：将F1、F2、F3、F4分别送入目标检测网络进行目标检测，得到目标检测结果，并输出得分信息、目标类别、目标坐标信息。

6.根据权利要求1所述的一种场地线检测和目标定位方法，其特征在于：所述步骤S5具体为：

对场地线检测结果以及目标检测结果分别进行鸟瞰交换；

目标检测结果以一条线段呈现，取线段中点作为目标位置原点，记为(x₀,y₀)；

将经过鸟瞰交换的场地线检测结果图像以及目标检测结果图像转换到图像坐标系下，场地线限定区域视为图像坐标系，(x₀,y₀)的位置为被定位目标在场地线中的位置。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至6中任一所述的场地线检测和目标定位方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至6中的任意一项所述方法的计算机可读指令。