CN110021034A - 一种基于头肩检测的跟踪录播方法及系统 - Google Patents

一种基于头肩检测的跟踪录播方法及系统 Download PDF

Info

Publication number
CN110021034A
CN110021034A CN201910210983.4A CN201910210983A CN110021034A CN 110021034 A CN110021034 A CN 110021034A CN 201910210983 A CN201910210983 A CN 201910210983A CN 110021034 A CN110021034 A CN 110021034A
Authority
CN
China
Prior art keywords
tracked
target object
head
shoulder
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910210983.4A
Other languages
English (en)
Inventor
吴玉香
王玉
郭泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910210983.4A priority Critical patent/CN110021034A/zh
Publication of CN110021034A publication Critical patent/CN110021034A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于头肩检测的跟踪录播方法及系统,该跟踪录播方法包括:预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;摄像机在预设位置实时采集图像帧,采用已训练的头肩检测网络模型进行计算,判断待检测图像帧中是否有待跟踪目标对象,如果没有,摄像机保持预设静止状态;如果有,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态,根据待跟踪目标对象的运动情况自动调整摄像机的角度并进行相应缩放,从而实现目标的自动跟踪录播。其优点是:将对人体的检测转换为对头肩部位的检测,对遮挡和姿态变化具有一定的鲁棒性;根据目标运动情况自动调整镜头进行跟踪录播,保证跟踪录播的准确性。

Description

一种基于头肩检测的跟踪录播方法及系统
技术领域
本发明涉及跟踪录播技术领域,具体涉及一种基于头肩检测的跟踪录播方法及系统。
背景技术
录播系统,是将现场拍录的视频、音频、电子设备的图像信号进行整合同步录制并生成标准化的流媒体文件,用于对外直播、存储、后期编辑、点播。传统的录播系统需要专门的拍摄人员或导播人员对摄像机进行导播操作,在进行跟踪录播时,人为调整跟踪录播策略对拍摄人员的技术要求较高,容易产生误操作。现有的自动跟踪录播系统大多通过增加辅助摄像头对人体进行检测,从而调整摄像头实现跟踪录播,但是这种方法不仅成本较高,而且在受到遮挡或姿态变化等干扰的情况下,目标跟踪的鲁棒性较低,录播的准确性也会受到影响。
因此,在录播跟踪过程中提高跟踪录播的鲁棒性和准确性,成为现有技术有待解决的问题。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于头肩检测的跟踪录播方法及系统。
本发明的第一个目的可以通过采取如下技术方案达到:
一种基于头肩检测的跟踪录播方法,所述跟踪录播方法包括下列步骤:
S1、预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
S2、将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
S3、当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
进一步地,所述步骤S1包括:
S11、制作包含训练集和验证集的图片数据库:采集人体目标运动视频并对视频帧中的头肩区域进行标注,标注区域为正样本,未标注区域为负样本,组成训练集和验证集。
S12、构建用于深度学习的头肩检测网络模型:以TensorFlow深度学习框架为基础,在SSD目标检测模型上获取头肩检测网络模型;
S13、采用头肩检测网络模型对图片数据库进行训练学习,生成已训练的头肩检测网络模型。
进一步地,所述头肩检测网络模型的具体结构如下:
从输入层到输出层依次连接为:VGG-16网络部分(包括卷积层 conv1_1、卷积层conv1_2、卷积层conv2_1、卷积层conv2_2、卷积层conv3_1、卷积层conv3_2、卷积层conv4_1、卷积层conv4_2、卷积层conv4_3、卷积层conv5_1、卷积层conv5_2、卷积层conv5_3)、卷积层conv6、卷积层 conv7、卷积层conv8_2、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2;对卷积层conv4_3、卷积层conv7、卷积层conv8、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2六个卷积层的输出分别采用两个3*3大小的卷积核进行卷积并将结果合并,获取8732个默认框(default box);采用非极大值抑制(Non-Maximum Suppression)算法选取置信度最高的区域作为预测结果。
进一步地,所述头肩检测网络模型进行训练的目标损失函数定义为:
其中x={0,1}是指示变量,表示默认包围框与真实包围框对目标类型是否匹配,c表示对每一类的置信度,l表示预测框,g表示真实框,Lconf表示置信度损失,Lloc为定位损失,α用于平衡定位损失和置信度损失,N表示匹配的默认框的数目。
进一步地,所述步骤S13包括:
S131、对头肩检测网络模型进行深度学习参数的配置及初始化:使用标准差σ的高斯分布初始化参数,设置学习率和最大迭代次数,进行动量设置;
S132、对训练集中的头肩图片采用随机梯度下降法及反向传播算法进行批量学习,并监测学习图片的数量是否超过预设的图片数量阈值,当超过时,得到初步训练的头肩检测网络模型,进行下一步;
S133、使用验证集中的头肩图片对初步训练的头肩检测网络模型进行准确率计算,判断准确率是否超过预设的准确率阈值,当准确率没有超过预设准确率阈值时,返回步骤S132继续训练学习;
S134、当准确率超过预设的准确率阈值时,生成已训练的头肩检测网络模型。
进一步地,所述步骤S2包括:
S21、加载已训练的头肩检测网络模型,并读取实时采集的待检测视频帧,然后对待检测的视频帧进行预处理,其中,预处理包括图像去噪以及归一化,归一化的目的是使图像的尺寸能够适应头肩检测网络模型的输入;
S22、将预处理后的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象。
进一步地,所述判断是否检测到待跟踪目标对象的过程如下:
获取摄像机在预设静止状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中出现待跟踪的目标对象时,确定检测到待跟踪目标对象。
进一步地,所述步骤S3包括:
在预设静止状态下检测到并确定待跟踪目标对象后,将摄像机从预设静止状态切换为跟踪录播状态,其中,所述预设静止状态表示摄像机的初始状态;
在所述跟踪录播状态下,对待跟踪目标对象实施自动跟踪录播控制,其中,所述自动跟踪录播控制过程如下:
获取连续视频帧内待跟踪目标对象的定位,根据待跟踪目标对象的偏移情况相应调整跟踪录播的控制策略;
当待跟踪目标对象的偏移在预设的数值范围内时,忽略微小移动,以保证录播画面的流畅及稳定;
当待跟踪目标对象的偏移超过预设的数值范围时,认为目标有明显移动,调整摄像机的角度,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置,然后调整摄像机的焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
进一步地,自适应调整控制策略可以保证目标处于画面中的最佳位置并维持画面最佳比例,提高录播的准确性。
进一步地,所述自动跟踪录播控制还包括:
判断在所述跟踪录播状态时是否丢失待跟踪目标对象;
当确定丢失待跟踪目标对象时,重新找回所述待跟踪目标对象,以应对待跟踪目标对象被短时间遮挡的情况;
其中,所述判断在所述跟踪录播状态时是否丢失待跟踪目标对象,包括:
获取摄像机在跟踪录播状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中检测不到待跟踪的目标对象时,确定在所述跟踪录播状态下已经丢失待跟踪目标对象。
其中,所述重新找回所述待跟踪目标对象,包括:
从丢失待跟踪目标对象之前拍摄的视频帧序列中提取待跟踪目标对象的第一特征信息;
获取丢失待跟踪目标对象之后拍摄到的视频帧序列,采用已训练的头肩检测网络模型进行计算,获取检测到的待跟踪目标对象的第二特征信息;
比较第一特征信息和第二特征信息的相似度;
根据所述相似度结果判断是否找回所述待跟踪目标对象。
进一步地,所述判断是否找回所述待跟踪目标对象的过程如下:
若所述第一特征信息和第二特征信息的相似度超过预设阈值时,确定在所述跟踪录播状态下重新找回所述待跟踪目标对象,并继续对待跟踪目标对象进行跟踪录播;
若所述第一特征信息和第二特征信息的相似度不超过预设阈值时,在所述跟踪录播状态下继续寻找所述待跟踪目标对象;
若在预设时长内未能找回所述待跟踪目标,结束跟踪录播控制,并切换摄像机的状态为预设静止状态。
本发明的第二个目的可以通过采取如下技术方案达到:
一种基于头肩检测的跟踪录播系统,所述跟踪录播系统包括:
深度学习模块,用于预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
目标检测模块,用于将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
跟踪录播控制模块,用于当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
所述跟踪录播系统还包括:
视频采集模块,用于实时采集视频图像并传输;
预处理模块,用于加载训练好的头肩检测网络模型,并输入实时采集的待检测视频,然后对待检测视频进行预处理。
本发明相对于现有技术具有如下的优点及效果:
1、本发明将对人体的检测转换为对头肩部位的检测,对遮挡和姿态变化具有一定的鲁棒性,能够更准确地对人体进行定位;
2、本发明通过深度学习建立头肩检测网络模型,采用训练好的网络模型对视频帧进行检测,相比传统的运动目标检测方法更加稳定,检测速度快、实时性强、准确率高;
3、本发明在确定待跟踪目标对象后实施自动跟踪录播控制策略,不需要增加辅助设施或人为调整,不仅节约了成本,而且保证了录播的准确性;
4、本发明在对目标进行自动跟踪录播时,针对目标的偏移情况相应调整控制策略,并且能重新找回短时丢失的跟踪目标,提高了跟踪录播的鲁棒性和准确性,具有较强的实用性。
附图说明
图1为本发明所述的一种基于头肩检测的跟踪录播方法的方法流程图;
图2为本发明所述的一种基于头肩检测的跟踪录播系统的原理框图;
图3为本发明中SSD目标检测模型的网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例公开了一种基于头肩检测的跟踪录播方法,如图1中该跟踪录播方法的流程图所示,包括以下步骤:
S1、预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
本实施例中,所述步骤S1具体包括:
S11、制作包含训练集和验证集的图片数据库;
具体实施时,可以采集人体目标运动视频并对视频帧中的头肩区域进行标注,标注区域为正样本,未标注区域为负样本,组成训练集和验证集。
S12、构建用于深度学习的头肩检测网络模型;
具体实施时,可以以TensorFlow深度学习框架为基础,在SSD目标检测模型上微调获取头肩检测网络模型,以便能够更快速的训练和更加适用于环境。
SSD模型的具体结构如下:
从输入层到输出层依次连接为:VGG-16网络部分(包括卷积层 conv1_1、卷积层conv1_2、卷积层conv2_1、卷积层conv2_2、卷积层conv3_1、卷积层conv3_2、卷积层conv4_1、卷积层conv4_2、卷积层conv4_3、卷积层conv5_1、卷积层conv5_2、卷积层conv5_3)、卷积层conv6、卷积层 conv7、卷积层conv8_2、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2;对卷积层conv4_3、卷积层conv7、卷积层conv8、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2五个卷积层的输出分别采用两个3*3大小的卷积核进行卷积并将结果合并,获取8732个默认框(default box);采用非极大值抑制(Non-Maximum Suppression)算法选取置信度最高的区域作为预测结果。
其中,SSD目标检测模型的网络结构图如图3所示。
S13、采用头肩检测网络模型对图片数据库进行训练学习,生成已训练的头肩检测网络模型。
头肩检测网络模型进行训练的目标损失函数定义为:
其中x={0,1}是指示变量,表示默认包围框与真实包围框对目标类型是否匹配,c表示对每一类的置信度,l表示预测框,g表示真实框,Lconf表示置信度损失,Lloc为定位损失,α用于平衡定位损失和置信度损失,N表示匹配的默认框的数目。
其中,步骤S13具体包括:
S131、对头肩检测网络模型进行深度学习参数的配置及初始化;具体实施时,可以使用标准差σ=0.01的高斯分布初始化参数,可以设置学习率为0.001,动量设置为0.9,最大迭代次数为60000次。
S132、对训练集中的头肩图片进行批量学习,并监测学习图片的数量是否超过预设的图片数量阈值,当是时,得到初步训练的头肩检测网络模型;
其中,学习图片的数量要超过预设的图片数量阈值,以保证模型能够充分地学习到样本中的有用信息。
具体实施时,采用随机梯度下降法及反向传播算法进行学习和优化,可以设置预设的图片数量阈值为2000,图片数据库有100000张图片,每学习2000张图片,进行一次验证,调整参数优化学习效果。
S133、使用验证集中的头肩图片对初步训练的头肩检测网络模型进行准确率计算,判断准确率是否超过预设的准确率阈值,当准确率没有超过预设准确率阈值时,返回S132继续训练学习;
其中,准确率要超过预设的准确率阈值,以保证模型在检测目标时能够达到足够高的准确率,降低对目标误检的概率。
具体实施时,可以设置预设的准确率阈值为99.5%。
S134、当准确率超过预设的准确率阈值时,生成已训练的头肩检测网络模型。
S2、将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
具体实施时,步骤S2具体包括:
S21、加载已训练的头肩检测网络模型,并读取实时采集的待检测视频帧,然后对待检测的视频帧进行预处理;具体实施时,预处理包括:图像去噪,归一化,以便检测。
S22、将预处理后的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象。
其中,步骤S22中判断是否检测到待跟踪目标对象,包括:
获取摄像机在预设静止状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中出现待跟踪的目标对象时,确定检测到待跟踪目标对象,以避免不稳定的环境因素导致的单帧误检现象的发生。
S3、当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
具体实施时,步骤S3具体包括:
在预设静止状态下检测到并确定待跟踪目标对象后,将摄像机从预设静止状态切换为跟踪录播状态,其中,所述预设静止状态表示摄像机的初始状态;
在所述跟踪录播状态下,对待跟踪目标对象实施自动跟踪录播控制。
其中,自动跟踪录播控制,具体包括:
获取连续视频帧内待跟踪目标对象的定位,根据待跟踪目标对象的偏移情况相应调整跟踪录播的控制策略;
当待跟踪目标对象的偏移在预设的数值范围内时,忽略微小移动,以保证录播画面的流畅及稳定,避免画面出现跳动、晃眼等现象;
当待跟踪目标对象的偏移超过预设的数值范围时,认为目标有明显移动,调整摄像机的角度,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置,以保证目标处于录播画面的合适位置,保证录播的准确性;调整摄像机的焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小,以适应目标在画面中的比例,保证录播时的画面效果;
其中,自动跟踪录播控制还包括:
判断在所述跟踪录播状态时是否丢失待跟踪目标对象;
当确定丢失待跟踪目标对象时,重新找回所述待跟踪目标对象,以应对待跟踪目标对象被短时间遮挡的情况;
其中,判断在所述跟踪录播状态时是否丢失待跟踪目标对象,包括:
获取摄像机在跟踪录播状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中检测不到待跟踪的目标对象时,确定在所述跟踪录播状态下已经丢失待跟踪目标对象。
其中,重新找回所述待跟踪目标对象,包括:
从丢失待跟踪目标对象之前拍摄的视频帧序列中提取待跟踪目标对象的第一特征信息;
获取丢失待跟踪目标对象之后拍摄到的视频帧序列,采用已训练的头肩检测网络模型进行计算,获取检测到的待跟踪目标对象的第二特征信息;
比较第一特征信息和第二特征信息的相似度;
根据所述相似度结果判断是否找回所述待跟踪目标对象。
其中,判断是否找回所述待跟踪目标对象,具体包括:
若所述第一特征信息和第二特征信息的相似度超过预设阈值时,确定在所述跟踪录播状态下重新找回所述待跟踪目标对象,并继续对待跟踪目标对象进行跟踪录播;
若所述第一特征信息和第二特征信息的相似度不超过预设阈值时,在所述跟踪录播状态下继续寻找所述待跟踪目标对象;
若在预设时长内未能找回所述待跟踪目标,结束跟踪录播控制,并切换摄像机的状态为预设静止状态。
实施例二
本实施例公开了一种基于头肩检测的跟踪录播系统,如图2所示,所述跟踪录播系统包括:
深度学习模块,用于预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
目标检测模块,用于将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
跟踪录播控制模块,用于当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
在本实施例中,该跟踪录播系统还包括:
视频采集模块,用于实时采集视频图像并传输;
预处理模块,用于加载训练好的头肩检测网络模型,并输入实时采集的待检测视频,然后对待检测视频进行预处理。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种基于头肩检测的跟踪录播方法,其特征在于,所述跟踪录播方法包括下列步骤:
S1、预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
S2、将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
S3、当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
2.根据权利要求1所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述步骤S1包括:
S11、制作包含训练集和验证集的图片数据库:采集人体目标运动视频并对视频帧中的头肩区域进行标注,标注区域为正样本,未标注区域为负样本,组成训练集和验证集;
S12、构建用于深度学习的头肩检测网络模型:以TensorFlow深度学习框架为基础,在SSD目标检测模型上获取头肩检测网络模型,其中,所述头肩检测网络模型的结构如下:
从输入层到输出层依次连接为:VGG-16网络部分、卷积层conv6、卷积层conv7、卷积层conv8_2、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2,其中,VGG-16网络部分包括卷积层conv1_1、卷积层conv1_2、卷积层conv2_1、卷积层conv2_2、卷积层conv3_1、卷积层conv3_2、卷积层conv4_1、卷积层conv4_2、卷积层conv4_3、卷积层conv5_1、卷积层conv5_2、卷积层conv5_3,对卷积层conv4_3、卷积层conv7、卷积层conv8、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2的输出分别采用两个3*3大小的卷积核进行卷积并将结果合并,获取8732个默认框default box;采用非极大值抑制算法选取置信度最高的区域作为预测结果;
S13、采用头肩检测网络模型对图片数据库进行训练学习,生成已训练的头肩检测网络模型。
3.根据权利要求1所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述头肩检测网络模型进行训练的目标损失函数定义为:
其中x={0,1}是指示变量,表示默认包围框与真实包围框对目标类型是否匹配,c表示对每一类的置信度,l表示预测框,g表示真实框,Lconf表示置信度损失,Lloc为定位损失,α用于平衡定位损失和置信度损失,N表示匹配的默认框的数目。
4.根据权利要求2所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述步骤S13包括:
S131、对头肩检测网络模型进行深度学习参数的配置及初始化:使用标准差σ的高斯分布初始化参数,设置学习率和最大迭代次数,进行动量设置;
S132、对训练集中的头肩图片采用随机梯度下降法及反向传播算法进行批量学习,并监测学习图片的数量是否超过预设的图片数量阈值,当超过时,得到初步训练的头肩检测网络模型,进行下一步;
S133、使用验证集中的头肩图片对初步训练的头肩检测网络模型进行准确率计算,判断准确率是否超过预设的准确率阈值,当准确率没有超过预设准确率阈值时,返回步骤S132继续训练学习;
S134、当准确率超过预设的准确率阈值时,生成已训练的头肩检测网络模型。
5.根据权利要求1所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述步骤S2包括:
S21、加载已训练的头肩检测网络模型,并读取实时采集的待检测视频帧,然后对待检测的视频帧进行预处理,其中,预处理包括图像去噪以及归一化;
S22、将预处理后的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象。
6.根据权利要求5所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述判断是否检测到待跟踪目标对象的过程如下:
获取摄像机在预设静止状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中出现待跟踪的目标对象时,确定检测到待跟踪目标对象。
7.根据权利要求1所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述步骤S3包括:
在预设静止状态下检测到并确定待跟踪目标对象后,将摄像机从预设静止状态切换为跟踪录播状态,其中,所述预设静止状态表示摄像机的初始状态;
在所述跟踪录播状态下,对待跟踪目标对象实施自动跟踪录播控制,其中,所述自动跟踪录播控制过程如下:
获取连续视频帧内待跟踪目标对象的定位,根据待跟踪目标对象的偏移情况相应调整跟踪录播的控制策略;
当待跟踪目标对象的偏移在预设的数值范围内时,忽略微小移动,以保证录播画面的流畅及稳定;
当待跟踪目标对象的偏移超过预设的数值范围时,认为目标有明显移动,调整摄像机的角度,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置,然后调整摄像机的焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
8.根据权利要求7所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述自动跟踪录播控制还包括:
判断在所述跟踪录播状态时是否丢失待跟踪目标对象;
当确定丢失待跟踪目标对象时,重新找回所述待跟踪目标对象,以应对待跟踪目标对象被短时间遮挡的情况;
其中,所述判断在所述跟踪录播状态时是否丢失待跟踪目标对象,包括:
获取摄像机在跟踪录播状态下拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中检测不到待跟踪的目标对象时,确定在所述跟踪录播状态下已经丢失待跟踪目标对象。
其中,所述重新找回所述待跟踪目标对象,包括:
从丢失待跟踪目标对象之前拍摄的视频帧序列中提取待跟踪目标对象的第一特征信息;
获取丢失待跟踪目标对象之后拍摄到的视频帧序列,采用已训练的头肩检测网络模型进行计算,获取检测到的待跟踪目标对象的第二特征信息;
比较第一特征信息和第二特征信息的相似度;
根据所述相似度结果判断是否找回所述待跟踪目标对象。
9.根据权利要求8所述的一种基于头肩检测的跟踪录播方法,其特征在于,所述判断是否找回所述待跟踪目标对象的过程如下:
若所述第一特征信息和第二特征信息的相似度超过预设阈值时,确定在所述跟踪录播状态下重新找回所述待跟踪目标对象,并继续对待跟踪目标对象进行跟踪录播;
若所述第一特征信息和第二特征信息的相似度不超过预设阈值时,在所述跟踪录播状态下继续寻找所述待跟踪目标对象;
若在预设时长内未能找回所述待跟踪目标,结束跟踪录播控制,并切换摄像机的状态为预设静止状态。
10.一种基于头肩检测的跟踪录播系统,其特征在于,所述跟踪录播系统包括:
深度学习模块,用于预先对头肩图片进行深度学习,生成已训练的头肩检测网络模型;
目标检测模块,用于将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算,判断待检测视频帧序列中是否检测到待跟踪目标对象;
跟踪录播控制模块,用于当没有检测到待跟踪目标对象时,摄像机保持预设静止状态;当检测到待跟踪目标对象时,确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。
CN201910210983.4A 2019-03-20 2019-03-20 一种基于头肩检测的跟踪录播方法及系统 Pending CN110021034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910210983.4A CN110021034A (zh) 2019-03-20 2019-03-20 一种基于头肩检测的跟踪录播方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910210983.4A CN110021034A (zh) 2019-03-20 2019-03-20 一种基于头肩检测的跟踪录播方法及系统

Publications (1)

Publication Number Publication Date
CN110021034A true CN110021034A (zh) 2019-07-16

Family

ID=67189803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910210983.4A Pending CN110021034A (zh) 2019-03-20 2019-03-20 一种基于头肩检测的跟踪录播方法及系统

Country Status (1)

Country Link
CN (1) CN110021034A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN111479061A (zh) * 2020-04-15 2020-07-31 上海摩象网络科技有限公司 跟踪状态确定方法、设备及手持相机
CN111508001A (zh) * 2020-04-15 2020-08-07 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备以及手持相机
CN111932579A (zh) * 2020-08-12 2020-11-13 广东技术师范大学 基于被跟踪目标运动轨迹对设备角度的调整方法及装置
CN112507872A (zh) * 2020-12-09 2021-03-16 中科视语(北京)科技有限公司 人体头肩区域的定位方法、定位装置和电子设备
CN112597943A (zh) * 2020-12-28 2021-04-02 北京眼神智能科技有限公司 行人重识别的特征提取方法及装置、电子设备、存储介质
CN112633205A (zh) * 2020-12-28 2021-04-09 北京眼神智能科技有限公司 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN113163254A (zh) * 2021-04-06 2021-07-23 广州津虹网络传媒有限公司 直播图像处理方法、装置及电子设备
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质
CN118200484A (zh) * 2024-03-22 2024-06-14 华光影像科技有限公司 超高清现场转播直播摄像机系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN107396059A (zh) * 2017-08-24 2017-11-24 杭州凡龙科技有限公司 一种全景位自适应学生图像分析控制方法
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN108537824A (zh) * 2018-03-15 2018-09-14 上海交通大学 基于交替反卷积与卷积的特征图增强的网络结构优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN107396059A (zh) * 2017-08-24 2017-11-24 杭州凡龙科技有限公司 一种全景位自适应学生图像分析控制方法
CN108537824A (zh) * 2018-03-15 2018-09-14 上海交通大学 基于交替反卷积与卷积的特征图增强的网络结构优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARIVER: "《[目标检测]SSD原理》", 《博客园,网址:HTTPS://WWW.CNBLOGS.COM/FARIVER/P/7347197.HTML》 *
LIU, WEI ET.AL: "《SSD: Single Shot MultiBox Detector 》", 《ECCV2016》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN111479061B (zh) * 2020-04-15 2021-07-30 上海摩象网络科技有限公司 跟踪状态确定方法、设备及手持相机
CN111479061A (zh) * 2020-04-15 2020-07-31 上海摩象网络科技有限公司 跟踪状态确定方法、设备及手持相机
CN111508001A (zh) * 2020-04-15 2020-08-07 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备以及手持相机
WO2021208254A1 (zh) * 2020-04-15 2021-10-21 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备以及手持相机
CN111932579A (zh) * 2020-08-12 2020-11-13 广东技术师范大学 基于被跟踪目标运动轨迹对设备角度的调整方法及装置
CN112507872A (zh) * 2020-12-09 2021-03-16 中科视语(北京)科技有限公司 人体头肩区域的定位方法、定位装置和电子设备
CN112507872B (zh) * 2020-12-09 2021-12-28 中科视语(北京)科技有限公司 人体头肩区域的定位方法、定位装置和电子设备
CN112633205A (zh) * 2020-12-28 2021-04-09 北京眼神智能科技有限公司 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN112597943A (zh) * 2020-12-28 2021-04-02 北京眼神智能科技有限公司 行人重识别的特征提取方法及装置、电子设备、存储介质
CN113163254A (zh) * 2021-04-06 2021-07-23 广州津虹网络传媒有限公司 直播图像处理方法、装置及电子设备
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质
CN118200484A (zh) * 2024-03-22 2024-06-14 华光影像科技有限公司 超高清现场转播直播摄像机系统

Similar Documents

Publication Publication Date Title
CN110021034A (zh) 一种基于头肩检测的跟踪录播方法及系统
EP2801078B1 (en) Context aware moving object detection
US9743014B2 (en) Image recognition system, image recognition apparatus, image recognition method, and computer program
CN103324937B (zh) 标注目标的方法和装置
CN109859239B (zh) 一种目标追踪的方法及设备
CN101281595B (zh) 用于面部确认的装置和方法
CN101095149B (zh) 图像比较设备和图像比较方法
CN109059895A (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN107705324A (zh) 一种基于机器学习的视频目标检测方法
CN113076809A (zh) 一种基于视觉Transformer的高空坠物检测方法
CN103413295B (zh) 一种视频多目标长程跟踪方法
CN106169067A (zh) 一种高通量警用动态人脸采集比对方法及系统
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN107729853A (zh) 一种适用于变电站窄刻度指针式仪表的自动识别方法
CN104573617A (zh) 一种摄像控制方法
CN109271927A (zh) 一种空基多平台的协同监视方法
CN104883524A (zh) 一种在线课堂中运动目标自动跟踪拍摄方法及系统
CN113076899A (zh) 一种基于目标跟踪算法的高压输电线路异物检测方法
CN116612493B (zh) 一种行人地理轨迹提取方法及设备
CN115100249B (zh) 一种基于目标跟踪算法的智慧工厂监控系统
CN111369578A (zh) 云台异动智能跟踪方法及其系统
CN107730532B (zh) 一种羽毛球运动轨迹跟踪方法、系统、介质及设备
CN115394065A (zh) 一种基于ai自动识别丢包行为报警的方法和装置
Chau et al. Online tracking parameter adaptation based on evaluation
CN112802051A (zh) 基于神经网络的篮球投篮曲线的拟合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication