CN113435336A - 一种基于人工智能的跑步智能计时系统及方法 - Google Patents

Abstract

本发明公开了一种基于人工智能的跑步计时系统及方法，该系统包括：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；并应用于由跑道区和成绩区所组成的跑步场馆中，在跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌，且在跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄，在成绩区布置有工控机、显示屏和喇叭。本发明能利用人工智能实现对跑步时间的智能计时，从而能减轻老师的现场参与度且成绩公平、相比人工计时更准确。

Description

一种基于人工智能的跑步智能计时系统及方法

技术领域

本发明属于人工智能领域，具体的说是一种基于人工智能的跑步计时系统及方法。

背景技术

心肺耐力是指机体维持长时间运动或工作而不过早出现疲劳的能力，它是衡量人的体质健康状况和劳动工作能力的基本生理指标之一。目前采用男子1000米跑，女子800米跑来监测学生心肺耐力水平。因此，一种针对跑步计时的方法就十分有意义。然而目前大多数针对跑步者成绩测试都是采用人工计时，既费时间，也没有更多的裁判。因此设计一种快速、省时、省人力、又准确还能防止学生作弊的智能跑步计时系统及方法具有重要意义。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于人工智能的跑步计时系统及方法，以期能利用人工智能实现对跑步时间的智能计时，并能对违规情况及时反馈，从而能减轻老师的现场参与度且成绩公平、省时省力、相比人工计时更准确。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于人工智能的跑步计时系统的特点是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；

所述工控机上设置有：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；

所述数据采集模块利用2m个摄像头采集所有跑步者的跑步视频，并相应发送到所述预处理模块；

所述预处理模块对所接收到的当前跑步视频进行剪切，并提取剪切视频的视频关键帧，再对所述视频关键帧进行裁剪，得到目标数据集；

所述人员检测模块对目标数据集进行人员检测处理，得到当前跑步视频中跑步者的人数；

所述轨迹检测模块对目标数据集进行轨迹追踪处理，得到当前跑步视频中跑步者的移动轨迹；

所述号码检测模块对目标数据集进行号码检测处理，得到当前跑步视频中跑步者对应的编号；

所述逻辑判断模块根据当前跑步视频中跑步者的人数及其移动轨迹判定跑步者是否有违规现象；当存在违规时，根据相应的移动轨迹得到所对应的跑步者的编号并发送给成绩输出模块；

所述计时模块在跑步开始时，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像的时间戳t₀并开始计时；

所述过线检测模块检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后重新开始计时和检测；否则继续计时和检测；

初始化q_j＝0，表示第j个跑步者跑完0圈；

当第j个跑步者通过终点处所在的摄像区域时，令q_j+1赋值给q_j，直到q_j＝max时，获取达到阈值时的终点处的摄像区域中摄像头的终点图像视频并发送给工控机；其中，max为所设定圈数的阈值；

所述过线检测模块检测终点图像视频中第j个跑步者脚的位置，以判断是否超出终点直线，若超出终点直线，则表示第j个跑步者跑步结束，并记录第j个跑步者达到终点的时间戳t_j后，将第j个跑步者的计时结果发送给所述成绩输出模块；否则，继续检测；

所述号码检测模块检测终点图像视频中第j个跑步者的号码牌，并将检测结果发送给所述成绩输出模块；

所述成绩输出模块将第j个跑步者的计时结果与第j个跑步者的号码牌配对后，将第j个跑步者的成绩输出到所述显示屏中进行显示，并通过所述喇叭进行成绩播报。

本发明所述的一种基于人工智能的跑步计时系统的特点也在于，所述人员检测模块采用MaskRCNN实例分割神经网络进行人员检测处理，所述MaskRCNN实例分割神经网络包括：用于特征提取的深度残差网络ResNeXt-101和特征金字塔网络FPN、用于提取RoI的区域建议网络RPN和ROIAlign层、用于目标检测和语义分割的分类器网络；

所述区域建议网络RPN包括：c₁个卷积核大小为k₁×s₁的卷积层，步长大小均为s₁，c₂个卷积核大小为k₂×s₂的卷积层，步长大小均为s₂；

所述分类器网络包括三个分支：全卷积网络的Mask分支、包含f₁个全连接层的边界框回归分支、包含f₂个全连接层的softmax分支；

将目标数据集输入到Mask RCNN实例分割神经网络中，经过所述深度残差网络ResNeXt-101和特征金字塔FPN的特征提取，得到图像特征图；

所述图像特征图输入到区域建议网络RPN中，并经过c₁个卷积层的卷积处理，得到anchor类别，同时所述c₂个卷积层对图像特征图进行卷积处理，得到边框精调结果；

所述anchor类别和边框精调结果经过ROIAlign层，得到ROIAlign层特征图，再利用双线性插值对ROIAlign层特征图进行处理，得到感兴趣区域对齐后的特征图；

所述感兴趣区域对齐后的特征图输入到分类器网络中，经过Mask分支的全卷积处理，得到预测掩膜图像；

所述边界框回归分支对所述感兴趣区域对齐后的特征图和预测掩膜图像进行边界框回归，得到边界框坐标；

所述softmax分支对感兴趣区域对齐后的特征图进行softmax分类，得到目标类别；

以所述边框坐标和目标类别作为分割后的目标检测结果，即为跑步者的人数。

所述轨迹检测模块采用Deep Sort算法进行轨迹追踪处理，所述Deep Sort算法包括YOLOv5目标检测算法、非极大值抑制NMS算法、卡尔曼滤波算法和匈牙利算法；

所述YOLOv5目标检测算法用于提取目标数据集的深度特征，从而得到运动目标的候选框；

所述非极大值抑制NMS算法用于去除所述运动目标的候选框中的重叠框，从而得到运动目标检测框；

所述卡尔曼滤波算法用于对所述运动目标检测框在跑步视频中下一帧的位置和状态进行预测，得到运动目标检测框下一时刻的状态参数；

所述匈牙利算法对前后两帧之间若干个运动目标检测框进行最优匹配，得到运动目标检测框在跑步视频中的移动轨迹。

所述号码检测模块采用3D卷积神经网络进行号码检测处理，所述3D卷积神经网络包含一个硬连线hardwired层、c₃个卷积层，卷积核大小均为k₃×s₃，步长均为s，c₃-1个下采样层和f₃个全连接层；

将目标数据集输入到3D卷积神经网络中，利用所述硬连线hardwired层对每帧图像提取多通道信息，得到硬线层的特征图；

其中一个卷积层对硬线层特征图的多通道信息进行卷积操作，得到卷积层的特征图；

相应的一个下采样层采用maxpooling操作对卷积层的特征图进行处理，得到相同数目且空间分辨率降低的特征图；从而经过c₃-1个卷积和下采样处理后，得到的结果再经过第c₃个卷积层的处理后得到一个一维特征向量，并输入到所述全连接层中，得到号码分类结果并作为跑步者对应的编号。

本发明一种基于人工智能的跑步计时方法的特点是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；所述计时方法是按如下步骤进行：

步骤1、跑步计时开始，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像并发送给工控机；

所述工控机记录第一帧图像的时间戳t₀后开始计时，同时检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后返回步骤1，否则，令q_j＝0，表示第j个跑步者跑完0圈；

步骤2、定义N表示所有摄像头区域中出现跑步者的人数，并初始化人数N＝n；

步骤3、对进入第i个摄像区域的所有跑步者通过采用MaskRCNN实例分割神经网络进行人员检测，得到通过第i个摄像区域的跑步者人数P_i；

步骤4、对进入第i个摄像区域的所有跑步者通过Deep Sort算法进行轨迹追踪，得到第i个摄像区域的跑步者运动轨迹并保存；

步骤5、初始化j＝1，表示第一名跑步者；

步骤5.1、当终点处所在的摄像区域的摄像头检测到第j个跑步者经过时，令q_j+1赋值给q_j，若q_j＝max时，对进入所述终点处所在的摄像区域的所有跑步者通过3D卷积神经网络识别跑步者对应号码，并继续执行步骤5.2；否则，返回步骤5.1；其中，max为所设定圈数的阈值；

步骤5.2、将所述终点处所在的摄像区域作为当前检测区域，统计当前检测区域出现的跑步者人数m；

步骤5.3、当m＝1时，表示单人通过当前检测区域，从当前检测区域的摄像头中识别出第j个跑步者的号码牌并记录到达终点的时间戳t_j，得到第j个跑步者的跑步成绩t_j-t₀，令j+1赋值给j后继续执行步骤6，否则执行步骤5.4；

步骤5.4、当m＝2时，表示双人均通过当前检测区域时，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+1，得到对应号码的跑步成绩t_j-t₀和t_j+1-t₀，令j+2赋值给j后继续执行步骤6，否则执行步骤5.5；

步骤5.5、当m∈[3,n]时，表示有m个人均通过当前检测区域，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m-1个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+m-1，得到对应号码的跑步成绩t_j-t₀和t_j+m-1-t₀；对于中间第j+1，…，j+m-2个无法识别到号码的跑步者，则采用人工识别，得到中间第j+1，…，j+m-2个跑步者的号码牌；令j+m赋值给j后继续执行步骤6；

步骤6、若j＝n+1，则统计通过所有摄像区域的所有跑步者总数

否则，返回步骤5继续执行；

步骤7、判断N＝(max×q+1)×n是否成立，若成立，则表示无抄近道犯规，所有跑步者的成绩有效，并执行步骤8；否则工控机提示存在抄近道犯规的嫌疑警告；

步骤8、将每个跑步者的跑步成绩与对应号码依次输出到所述显示屏中进行显示，并通过所述喇叭依次播报跑步者的成绩。

与现有技术相比，本发明的有益效果在于：

1、本发明通过人工智能使用摄像头对跑步者进行人员检测和轨迹追踪，实现了对跑步者的智能计时，从而使跑步成绩更加准确；

2、本发明通过3D卷积神经网络进行号码检测，实现了跑步者的跑步成绩和身份智能配对，降低了人工参与度，从而使系统更加智能化；

3、本发明通过摄像头对进入自身有效区域视野范围内的所有跑步者进行轨迹追踪，相应得到在一段时间内的跑步图像并存储，从而对现场违规情况及时反馈且证据可查。

附图说明

图1为本发明跑步智能计时流程图；

图2为本发明号码识别流程图；

图3为本发明MaskRCNN实例分割神经网络结构模型图；

图4为本发明3D卷积神经网络结构模型图；

具体实施方式

本实施例中，一种基于人工智能的跑步计时系统是应用于由跑道区和成绩区所组成的跑步场馆中；跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在成绩区布置有工控机、显示屏和喇叭；

工控机上设置有：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；

数据采集模块利用2m个摄像头采集所有跑步者的跑步视频，并相应发送到预处理模块；

预处理模块对所接收到的当前跑步视频进行剪切，并提取剪切视频的视频关键帧，再对视频关键帧进行裁剪，得到目标数据集；

人员检测模块对目标数据集进行人员检测处理，得到当前跑步视频中跑步者的人数；

轨迹检测模块对目标数据集进行轨迹追踪处理，得到当前跑步视频中跑步者的移动轨迹；

号码检测模块对目标数据集进行号码检测处理，得到当前跑步视频中跑步者对应的编号；

逻辑判断模块根据当前跑步视频中跑步者的人数及其移动轨迹判定跑步者是否有违规现象；当存在违规时，根据相应的移动轨迹得到所对应的跑步者的编号并发送给成绩输出模块；

计时模块在跑步开始时，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像的时间戳t₀并开始计时；

过线检测模块检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后重新开始计时和检测；否则继续计时和检测；

初始化q_j＝0，表示第j个跑步者跑完0圈；

当第j个跑步者通过终点处所在的摄像区域时，令q_j+1赋值给q_j，直到q_j＝max时，获取达到阈值时的终点处的摄像区域中摄像头的终点图像视频并发送给工控机；其中，max为所设定圈数的阈值；

过线检测模块检测终点图像视频中第j个跑步者脚的位置，以判断是否超出终点直线，若超出终点直线，则表示第j个跑步者跑步结束，并记录第j个跑步者达到终点的时间戳t_j后，将第j个跑步者的计时结果发送给成绩输出模块；否则，继续检测；

号码检测模块检测终点图像视频中第j个跑步者的号码牌，并将检测结果发送给成绩输出模块；

成绩输出模块将第j个跑步者的计时结果与第j个跑步者的号码牌配对后，将第j个跑步者的成绩输出到显示屏中进行显示，并通过喇叭进行成绩播报。

具体实施中，参照图3，构建MaskRCNN实例分割神经网络，系统运行中人员检测模块采用MaskRCNN实例分割神经网络进行人员检测处理，MaskRCNN实例分割神经网络包括：用于特征提取的深度残差网络ResNeXt-101和特征金字塔网络FPN、用于提取RoI的区域建议网络RPN和ROIAlign层、用于目标检测和语义分割的分类器网络；

区域建议网络RPN包括：c₁个卷积核大小为k₁×s₁的卷积层，步长大小均为s₁，c₂个卷积核大小为k₂×s₂的卷积层，步长大小均为s₂；

分类器网络包括三个分支：全卷积网络的Mask分支、包含f₁个全连接层的边界框回归分支、包含f₂个全连接层的softmax分支；

将目标数据集输入到MaskRCNN实例分割神经网络中，经过深度残差网络ResNeXt-101和特征金字塔FPN的特征提取，得到图像特征图；

图像特征图输入到区域建议网络RPN中，并经过c₁个卷积层的卷积处理，得到anchor类别，同时c₂个卷积层对图像特征图进行卷积处理，得到边框精调结果；

为了从RPN网络确定的ROI中导出较小的特征图，且对每个感兴趣区域获取的特征与感兴趣区域进行对齐，将anchor类别和边框精调结果经过ROIAlign层，得到ROIAlign层特征图，以解决ROI Pooling的局限性，取消量化操作，保留像素值的浮点数坐标；由于ROIAlign技术并没有使用量化操作，若不想引入量化误差，需要再利用双线性插值对ROIAlign层特征图进行处理，双线性插值是一种比较好的图像缩放算法，它充分的利用了原图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，即可以将这个虚拟的位置点对应的像素值估计出来，最后即可得到感兴趣区域对齐后的特征图；

感兴趣区域对齐后的特征图输入到分类器网络中，经过Mask分支的全卷积处理，将感兴趣区域对齐的输出维度扩大，这样在预测掩膜时会更加精确，从而得到预测掩膜图像；

边界框回归分支对感兴趣区域对齐后的特征图和预测掩膜图像进行边界框回归，得到边界框坐标；

softmax分支对感兴趣区域对齐后的特征图进行softmax分类，得到目标类别；

以边框坐标和目标类别作为分割后的目标检测结果，即为跑步者的人数。

本实施例中，轨迹检测模块采用Deep Sort算法进行轨迹追踪处理，Deep Sort算法包括YOLOv5目标检测算法、非极大值抑制NMS算法、卡尔曼滤波算法和匈牙利算法；

YOLOv5目标检测算法用于提取目标数据集的深度特征，从而得到运动目标的候选框；

非极大值抑制NMS算法用于去除运动目标的候选框中的重叠框，从而得到运动目标检测框；

卡尔曼滤波算法用于对运动目标检测框在跑步视频中下一帧的位置和状态进行预测，得到运动目标检测框下一时刻的状态参数；

匈牙利算法对前后两帧之间若干个运动目标检测框进行最优匹配，得到运动目标检测框在跑步视频中的移动轨迹。

具体实施中，参照图4，构建3D卷积神经网络，在系统运行中号码检测模块采用3D卷积神经网络进行号码检测处理，3D卷积神经网络包含一个硬连线hardwired层、c₃个卷积层，卷积核大小均为k₃×s₃，步长均为s，c₃-1个下采样层和f₃个全连接层；

将目标数据集输入到3D卷积神经网络中，且目标数据集中是7张大小为60x40的连续帧，7张帧利用硬连线hardwired层对每帧图像提取多通道信息，获得5种不同特征：灰度、x方向梯度、y方向梯度、x方向光流、y方向光流，前面三个通道的信息可以直接对每帧分别操作获取，后面的光流(x，y)则需要利用两帧的信息才能提取，最后得到硬线层的特征图；

其中一个卷积层对硬线层特征图的多通道信息进行卷积操作，得到卷积层的特征图；

相应的一个下采样层采用maxpooling操作对卷积层的特征图进行处理，得到相同数目且空间分辨率降低的特征图；从而经过c₃-1个卷积和下采样处理后，得到的结果再经过第c₃个卷积层的处理后得到一个一维特征向量，并输入到全连接层中，得到号码分类结果并作为跑步者对应的编号。

本实施例中，参照图1，一种基于人工智能的跑步计时方法是应用于由跑道区和成绩区所组成的跑步场馆中；跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在成绩区布置有工控机、显示屏和喇叭；该计时方法是按如下步骤进行：

步骤1、跑步计时开始，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像并发送给工控机；

工控机记录第一帧图像的时间戳t₀后开始计时，同时检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后返回步骤1，否则，令q_j＝0，表示第j个跑步者跑完0圈；

步骤2、定义N表示所有摄像头区域中出现跑步者的人数，并初始化人数N＝n，在跑步结束后用于判断是否有跑步者抄近道的违规操作；

步骤3、对进入第i个摄像区域的所有跑步者通过采用MaskRCNN实例分割神经网络进行人员检测，得到通过第i个摄像区域的跑步者人数P_i；

步骤4、对进入第i个摄像区域的所有跑步者通过Deep Sort算法进行轨迹追踪，得到第i个摄像区域的跑步者运动轨迹并保存；

步骤5、初始化j＝1，表示第一名跑步者；

步骤5.1、当终点处所在的摄像区域的摄像头检测到第j个跑步者经过时，令q_j+1赋值给q_j，若q_j＝max时，参照图2，对进入终点处所在的摄像区域的所有跑步者通过3D卷积神经网络识别跑步者对应号码，并继续执行步骤5.2；否则，返回步骤5.1；其中，max为所设定圈数的阈值；

步骤5.2、将终点处所在的摄像区域作为当前检测区域，统计当前检测区域出现的跑步者人数m；

步骤5.3、当m＝1时，表示单人通过当前检测区域，从当前检测区域的摄像头中识别出第j个跑步者的号码牌并记录到达终点的时间戳t_j，得到第j个跑步者的跑步成绩t_j-t₀，令j+1赋值给j后继续执行步骤6，否则执行步骤5.4；

步骤5.4、当m＝2时，表示双人均通过当前检测区域时，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+1，得到对应号码的跑步成绩t_j-t₀和t_j+1-t₀，令j+2赋值给j后继续执行步骤6，否则执行步骤5.5；

步骤5.5、当m∈[3,n]时，表示有m个人均通过当前检测区域，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m-1个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+m-1，得到对应号码的跑步成绩t_j-t₀和t_j+m-1-t₀；对于中间第j+1，…，j+m-2个无法识别到号码的跑步者，则采用人工识别，得到中间第j+1，…，j+m-2个跑步者的号码牌；令j+m赋值给j后继续执行步骤6；

步骤6、若j＝n+1，则统计通过所有摄像区域的所有跑步者总数

否则，返回步骤5继续执行；

步骤7、判断N＝(max×q+1)×n是否成立，若成立，则表示无抄近道犯规，所有跑步者的成绩有效，并执行步骤8；否则工控机提示存在抄近道犯规的嫌疑警告；

步骤8、将每个跑步者的跑步成绩与对应号码依次输出到显示屏中进行显示，并通过喇叭依次播报跑步者的成绩。

Claims (5)

1.一种基于人工智能的跑步计时系统，其特征是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；

所述工控机上设置有：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；

所述数据采集模块利用2m个摄像头采集所有跑步者的跑步视频，并相应发送到所述预处理模块；

所述预处理模块对所接收到的当前跑步视频进行剪切，并提取剪切视频的视频关键帧，再对所述视频关键帧进行裁剪，得到目标数据集；

所述人员检测模块对目标数据集进行人员检测处理，得到当前跑步视频中跑步者的人数；

所述轨迹检测模块对目标数据集进行轨迹追踪处理，得到当前跑步视频中跑步者的移动轨迹；

所述号码检测模块对目标数据集进行号码检测处理，得到当前跑步视频中跑步者对应的编号；

所述逻辑判断模块根据当前跑步视频中跑步者的人数及其移动轨迹判定跑步者是否有违规现象；当存在违规时，根据相应的移动轨迹得到所对应的跑步者的编号并发送给成绩输出模块；

所述计时模块在跑步开始时，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像的时间戳t₀并开始计时；

所述过线检测模块检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后重新开始计时和检测；否则继续计时和检测；

初始化q_j＝0，表示第j个跑步者跑完0圈；

当第j个跑步者通过终点处所在的摄像区域时，令q_j+1赋值给q_j，直到q_j＝max时，获取达到阈值时的终点处的摄像区域中摄像头的终点图像视频并发送给工控机；其中，max为所设定圈数的阈值；

所述过线检测模块检测终点图像视频中第j个跑步者脚的位置，以判断是否超出终点直线，若超出终点直线，则表示第j个跑步者跑步结束，并记录第j个跑步者达到终点的时间戳t_j后，将第j个跑步者的计时结果发送给所述成绩输出模块；否则，继续检测；

所述号码检测模块检测终点图像视频中第j个跑步者的号码牌，并将检测结果发送给所述成绩输出模块；

所述成绩输出模块将第j个跑步者的计时结果与第j个跑步者的号码牌配对后，将第j个跑步者的成绩输出到所述显示屏中进行显示，并通过所述喇叭进行成绩播报。

2.根据权利要求1所述的一种基于人工智能的跑步计时系统，其特征是，所述人员检测模块采用Mask RCNN实例分割神经网络进行人员检测处理，所述Mask RCNN实例分割神经网络包括：用于特征提取的深度残差网络ResNeXt-101和特征金字塔网络FPN、用于提取RoI的区域建议网络RPN和ROI Align层、用于目标检测和语义分割的分类器网络；

所述区域建议网络RPN包括：c₁个卷积核大小为k₁×s₁的卷积层，步长大小均为s₁，c₂个卷积核大小为k₂×s₂的卷积层，步长大小均为s₂；

所述分类器网络包括三个分支：全卷积网络的Mask分支、包含f₁个全连接层的边界框回归分支、包含f₂个全连接层的softmax分支；

将目标数据集输入到Mask RCNN实例分割神经网络中，经过所述深度残差网络ResNeXt-101和特征金字塔FPN的特征提取，得到图像特征图；

所述图像特征图输入到区域建议网络RPN中，并经过c₁个卷积层的卷积处理，得到anchor类别，同时所述c₂个卷积层对图像特征图进行卷积处理，得到边框精调结果；

所述anchor类别和边框精调结果经过ROI Align层，得到ROI Align层特征图，再利用双线性插值对ROI Align层特征图进行处理，得到感兴趣区域对齐后的特征图；

所述感兴趣区域对齐后的特征图输入到分类器网络中，经过Mask分支的全卷积处理，得到预测掩膜图像；

所述边界框回归分支对所述感兴趣区域对齐后的特征图和预测掩膜图像进行边界框回归，得到边界框坐标；

所述softmax分支对感兴趣区域对齐后的特征图进行softmax分类，得到目标类别；

以所述边框坐标和目标类别作为分割后的目标检测结果，即为跑步者的人数。

3.根据权利要求1所述的一种基于人工智能的跑步计时系统，其特征是，所述轨迹检测模块采用Deep Sort算法进行轨迹追踪处理，所述Deep Sort算法包括YOLOv5目标检测算法、非极大值抑制NMS算法、卡尔曼滤波算法和匈牙利算法；

所述YOLOv5目标检测算法用于提取目标数据集的深度特征，从而得到运动目标的候选框；

所述非极大值抑制NMS算法用于去除所述运动目标的候选框中的重叠框，从而得到运动目标检测框；

所述卡尔曼滤波算法用于对所述运动目标检测框在跑步视频中下一帧的位置和状态进行预测，得到运动目标检测框下一时刻的状态参数；

所述匈牙利算法对前后两帧之间若干个运动目标检测框进行最优匹配，得到运动目标检测框在跑步视频中的移动轨迹。

4.根据权利要求1所述的一种基于人工智能的跑步计时系统，其特征是，所述号码检测模块采用3D卷积神经网络进行号码检测处理，所述3D卷积神经网络包含一个硬连线hardwired层、c₃个卷积层，卷积核大小均为k₃×s₃，步长均为s，c₃-1个下采样层和f₃个全连接层；

将目标数据集输入到3D卷积神经网络中，利用所述硬连线hardwired层对每帧图像提取多通道信息，得到硬线层的特征图；

其中一个卷积层对硬线层特征图的多通道信息进行卷积操作，得到卷积层的特征图；

相应的一个下采样层采用max pooling操作对卷积层的特征图进行处理，得到相同数目且空间分辨率降低的特征图；从而经过c₃-1个卷积和下采样处理后，得到的结果再经过第c₃个卷积层的处理后得到一个一维特征向量，并输入到所述全连接层中，得到号码分类结果并作为跑步者对应的编号。

5.一种基于人工智能的跑步计时方法，其特征是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；所述计时方法是按如下步骤进行：

步骤1、跑步计时开始，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像并发送给工控机；

所述工控机记录第一帧图像的时间戳t₀后开始计时，同时检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后返回步骤1，否则，令q_j＝0，表示第j个跑步者跑完0圈；

步骤2、定义N表示所有摄像头区域中出现跑步者的人数，并初始化人数N＝n；

步骤3、对进入第i个摄像区域的所有跑步者通过采用Mask RCNN实例分割神经网络进行人员检测，得到通过第i个摄像区域的跑步者人数P_i；

步骤4、对进入第i个摄像区域的所有跑步者通过DeepSort算法进行轨迹追踪，得到第i个摄像区域的跑步者运动轨迹并保存；

步骤5、初始化j＝1，表示第一名跑步者；

步骤5.1、当终点处所在的摄像区域的摄像头检测到第j个跑步者经过时，令q_j+1赋值给q_j，若q_j＝max时，对进入所述终点处所在的摄像区域的所有跑步者通过3D卷积神经网络识别跑步者对应号码，并继续执行步骤5.2；否则，返回步骤5.1；其中，max为所设定圈数的阈值；

步骤5.2、将所述终点处所在的摄像区域作为当前检测区域，统计当前检测区域出现的跑步者人数m；

步骤5.3、当m＝1时，表示单人通过当前检测区域，从当前检测区域的摄像头中识别出第j个跑步者的号码牌并记录到达终点的时间戳t_j，得到第j个跑步者的跑步成绩t_j-t₀，令j+1赋值给j后继续执行步骤6，否则执行步骤5.4；

步骤5.4、当m＝2时，表示双人均通过当前检测区域时，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+1，得到对应号码的跑步成绩t_j-t₀和t_j+1-t₀，令j+2赋值给j后继续执行步骤6，否则执行步骤5.5；

步骤5.5、当m∈[3,n]时，表示有m个人均通过当前检测区域，从当前检测区域的向后拍摄的摄像头识别出第j个跑步者的号码，从当前检测区域的向前拍摄的摄像头识别出第j+m-1个跑步者的号码，获取各自到达终点的时间戳t_j和t_j+m-1，得到对应号码的跑步成绩t_j-t₀和t_j+m-1-t₀；对于中间第j+1，…，j+m-2个无法识别到号码的跑步者，则采用人工识别，得到中间第j+1，…，j+m-2个跑步者的号码牌；令j+m赋值给j后继续执行步骤6；

步骤6、若j＝n+1，则统计通过所有摄像区域的所有跑步者总数

否则，返回步骤5继续执行；

步骤7、判断N＝(max×q+1)×n是否成立，若成立，则表示无抄近道犯规，所有跑步者的成绩有效，并执行步骤8；否则工控机提示存在抄近道犯规的嫌疑警告；

步骤8、将每个跑步者的跑步成绩与对应号码依次输出到所述显示屏中进行显示，并通过所述喇叭依次播报跑步者的成绩。

Images