CN111767798A - 一种面向室内联网视频监控的智能导播方法及系统 - Google Patents
一种面向室内联网视频监控的智能导播方法及系统 Download PDFInfo
- Publication number
- CN111767798A CN111767798A CN202010483838.6A CN202010483838A CN111767798A CN 111767798 A CN111767798 A CN 111767798A CN 202010483838 A CN202010483838 A CN 202010483838A CN 111767798 A CN111767798 A CN 111767798A
- Authority
- CN
- China
- Prior art keywords
- video
- target
- frame
- monitoring
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向室内联网视频监控的智能导播方法及系统,该系统包括:视频采集模块,用于从设置在室内的联网监控摄像头拉取视频流,并以固定时长的离线视频的形式保存;时间解析模块,用于利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;空间解析模块,用于根据检测框坐标确定目标的全局物理空间位置;目标的空间位置确定模块,用于得到目标的空间位置,生成目标运动轨迹;导播模块,用于根据导播规则决定是否切换摄像头以及切换的对应摄像头;视频播放同步模块,用于视频播放同步控制。本发明通过导播控制和多路视频画面同步机制,使用户能够便捷、持续地观察目标,提升观感。
Description
技术领域
本发明涉及联网监控视频分析技术,尤其涉及一种面向室内联网视频监控的智能导播方法及系统。
背景技术
联网监控系统是室内公共场所信息化建设中的重要环节,为室内公共场所安全提供了有力的保障。本文设计并实现了一套面向室内联网视频监控的智能导播系统。它能够为用户提供关于感兴趣目标的实时监控画面,并且随着感兴趣目标的运动将其在不同摄像头下的画面以实时导播的方式呈现给定制用户,从而使用户能够便捷、持续地观察感兴趣目标,知晓目标的即时状态。但由于室内环境中易出现频繁遮挡、不同光源导致色彩表现不一致、目标检测框图片的分辨率大小差异大等问题,单纯依靠行人重识别技术进行目标匹配的可靠性不够。并且由于IO繁忙或网络拥堵等原因,保存的离线视频可能会存在时长一致但起始时间不一致的情况,以及各个视频的帧率与程序所设置的视频播放帧率存在较大差别的现象。针对上述问题,提出解决方案。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种面向室内联网视频监控的智能导播方法及系统。
本发明解决其技术问题所采用的技术方案是:一种面向室内联网视频监控的智能导播方法,包括以下步骤:
1)从设置在室内的联网监控摄像头拉取视频流,以固定时长的离线视频的形式保存;
2)利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;
3)对图像识别得到的各帧对应的时间戳进行校正和精确化操作;
4)在监控画面中选定多个固定参照物并记录其像素坐标,建立描述室内环境的全局坐标系和描述参照物与摄像头位置关系的局部坐标系,并确定局部坐标系中坐标与像素坐标的映射关系;
其中,各路摄像头的局部坐标系是以各路摄像头为原点,摄像头监控方向为y轴正方向建立的右手坐标系;
全局坐标系是以在监控区域的平面俯视图的中心点作为原点,以东方向为X轴正方向、北方向为Y轴正方向建立坐标系;
5)利用梯度提升树为每个摄像头训练适用于当前监控环境的空间解析模型,该模型以目标在监控画面中的像素坐标为输入,以目标在以摄像头位置为原点的局部坐标系上坐标为输出,使用梯度提升树时将n_estimators设置为100、max_depth设置为2,即内部含有100个深度为2的子回归树,并且使用最小二乘法表示损失函数;
6)根据多目标跟踪返回的目标的检测框,读取检测框的底部中点,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,生成目标运动轨迹;
7)根据用户确定的监控目标,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置信息判断目标是否离开当前摄像头的监控画面;
8)根据导播规则决定是否切换摄像头以及切换的对应摄像头;
9)同时开启多路摄像头画面时,首先读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻,取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从各对应帧帧开始播放;
10)在视频播放过程中,通过不断获取视频帧号,读取时间解析结果来定期检查视频是否同步;
11)使用差速播放的视频播放方法,实现多路画面的同步播放。
按上述方案,所述步骤2)中,利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳,具体如下:
2.1)视频各帧的对应监控时间位置的图像,并截取每个数字的图片;
2.2)对截取每个数字的图片,手动打上标签:0至9,作为训练数据;
2.3)利用神经网络进行训练,得到适用于当前环境的OCR数字识别的神经网络模型;
2.4)对视频的画面依照策略进行OCR时间识别,并将识别到的数字进行有序拼接,得到当前帧对应的时间戳。
按上述方案,所述步骤3)中,对图像识别得到的各帧对应的时间戳进行校正和精确化操作,具体如下:
利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误;
根据同一时间出现的次数确定当前视频的秒帧率P,把该秒内的帧间时间间隔设置为1/(P-1)以将时间戳解析结果精确到了毫秒。
按上述方案,所述步骤5)中,模型以目标在监控画面中的像素坐标为输入,以目标在以摄像头位置为原点的局部坐标系上坐标为输出,使用梯度提升树时将n_estimators设置为100、max_depth设置为2,即内部含有100个深度为2的子回归树,并且使用最小二乘法表示损失函数。
按上述方案,所述步骤8)中,具体如下:
若目标还在当前监控画面中,在当前摄像头下进行视频目标重识别,找到新的目标轨迹后继续跟踪,不切换画面;
若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型,然后在近邻摄像头下生成的轨迹中进行视频目标重识别,再找到当前摄像头下运动轨迹的最后一帧,近邻摄像头下新运动轨迹的第一帧,计算上述两者间的时间差并利用包围盒方法计算目标运动距离,利用距离和时间计算出运动速度后,将运动速度放入速度概率分布模型得到映射的概率;关联目标重识别返回的视觉特征距离和概率得到新的匹配得分;若得分低于阈值,递进设定时间步(5秒)继续寻找该目标,20秒内未找到目标则判断当前目标已离开监控区域;若得分高于阈值,判断目标进入的近邻摄像头监控画面,并切换到新的监控画面。
本发明还提供一种面向室内联网视频监控的智能导播系统,包括:
视频采集模块,用于从设置在室内的联网监控摄像头拉取视频流,并以固定时长的离线视频的形式保存;
时间解析模块,用于利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;
空间解析模块,用于根据检测框坐标确定目标的全局物理空间位置;
具体如下:
根据多目标跟踪返回的目标的检测框,读取检测框的底部中点像素坐标作为检测框坐标,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置;
其中,空间解析模型通过利用梯度提升树为每个摄像头训练适用于当前监控环境的解析模型得到;
局部坐标系是以各路摄像头为原点,摄像头监控方向为y轴正方向建立的右手坐标系;
全局坐标系是以在监控区域的平面俯视图的中心点作为原点,以东方向为X轴正方向、北方向为Y轴正方向建立坐标系;
目标的空间位置确定模块,用于根据多目标跟踪返回的目标的检测框,读取检测框的底部中点,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,生成目标运动轨迹;
导播模块,用于根据用户确定的监控目标,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置信息判断目标是否离开当前摄像头的监控画面;并根据导播规则决定是否切换摄像头以及切换的对应摄像头;
视频播放同步模块,用于同时开启多路摄像头画面时,首先读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻,取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从各对应帧帧开始播放。
按上述方案,所述时间解析模块中,还包括对图像识别得到的各帧对应的时间戳进行校正和精确化操作,具体如下:
利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误;
根据同一时间出现的次数确定当前视频的秒帧率P,把该秒内的帧间时间间隔设置为1/(P-1)以将时间戳解析结果精确到了毫秒。
按上述方案,所述导播模块中,根据导播规则决定是否切换摄像头以及切换的对应摄像头,具体如下:
若目标还在当前监控画面中,在当前摄像头下进行视频目标重识别,找到新的目标轨迹后继续跟踪,不切换画面;
若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型,然后在近邻摄像头下生成的轨迹中进行视频目标重识别,再找到当前摄像头下运动轨迹的最后一帧,近邻摄像头下新运动轨迹的第一帧,计算上述两者间的时间差并利用包围盒方法计算目标运动距离,利用距离和时间计算出运动速度后,将运动速度放入速度概率分布模型得到映射的概率;关联目标重识别返回的视觉特征距离和概率得到新的匹配得分;若得分低于阈值,递进设定时间步(5秒)继续寻找该目标,20秒内未找到目标则判断当前目标已离开监控区域;若得分高于阈值,判断目标进入的近邻摄像头监控画面,并切换到新的监控画面。
按上述方案,所述视频播放同步模块还包括轮询检查模块和差速轮播放模块;
所述差速轮播放模块,用于在同时播放多路视频的过程中,采用以下视频播放方法进行同步:设某一视频播放的当前帧帧号为F0,当前帧所处的这一秒内实际有X帧画面,摄像头设置帧率为X0,设FN为该视频下次播放的对应的帧号,在时间为以F0为标准的这一秒内,该视频帧号的增长值应该为X/X0:
当检测到进入新的一秒内时会重复上述操作;
所述轮询检查模块,用于每隔设定时间,根据各路视频正在播放时对应的帧号,在该视频的时间戳文件检索帧号对应的时间戳,根据检索结构检查各路视频是否同步,若不同步则会根据主画面对应时刻,来对副画面的各路摄像头进行强制同步。
本发明产生的有益效果是:
1)利用时空约束关系,关联基于视觉的目标重识别结果对目标身份进行判别,提高目标匹配的可靠性;
2)通过导播控制和多路视频的画面同步机制,使用户能够便捷、持续地观察感兴趣目标,知晓目标的即时状态,提升观感。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明实施例的面向室内联网视频监控的智能导播方法流程图;
图2为本发明实施例的时间解析流程图;
图3为本发明实施例的空间解析流程图;
图4为本发明实施例的包围盒方法示意图;
图5为本发明实施例的速度概率分布模型示意图。
图6为本发明实施例的导播流程示意图;
图7为本发明实施例的定位播放点机制示意图;
图8为本发明实施例的差速播放机制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种面向室内联网视频监控的智能导播方法,包括步骤:
步骤1,通过rtsp协议,从监控摄像头拉取视频流,以固定时长的离线视频的形式保存,便于分析服务器对视频进行分析,如行人检测,多目标跟踪,行人重识别等。
步骤2,利用离线视频制作数据集,即在视频各帧的对应位置上,利用算法自动的截取每个数字的图片,手动打上标签(0至9)。
如图2,步骤2中,首先要确定摄像头画面上时间戳的像素位置,每隔一定的时间As采集一次数字(避免采集过多重复数据)。采集一天后可以得到24×60×60/A×12(YYYY-MM-DD H-M-S)个数字,手动为这些数据打上标签(0-9),即放入10个不同的文件夹中。
步骤3,利用一个卷积神经网络进行训练,得到一个适用于当前监控环境的时间解析模型。
步骤3中,时间解析模块中会将字符图片拉伸至28×28后送入由两个卷积层、两个池化层、加上两个全连接层和一个输出层组成的神经网络中。在该网络的卷积层中使用了5×5的卷积核,第一次经过卷积后输出16个28×28的张量,然后在池化层中使用了2×2的窗利用最大池化的方式对图像进行下采样至14×14。第二次卷积及池化后将得到的32个7×7张量送入全连接层,然后输出至10个输出层节点得到识别出的数字。
步骤4,在分析服务器对视频(帧率为20)进行分析时,首先会对视频的帧画面进行OCR时间识别,并将识别到的数字进行有序拼接,得到当前帧对应的时间戳。
当识别到新的时间帧时,会默认其后的第2-10帧与第1帧结果相同;在识别11-15帧时采用跳帧识别的方式识别第11、13、15帧,并默认未识别帧与上一帧结果相同;对第16-20帧逐帧识别。上述过程中一旦识别到新的时间即从第一步开始。(YYYY-MM-DD H-M-S)的形式,由于该系统主要使用Python,将时间戳转化为1970纪元后经过的浮点秒数(如:1577672010.50等于2019/12/3010:13:30),便于精确到毫秒。
步骤5,对时间解析结果进行校正和精确化操作。
由于监控摄像头画面上的时间可能出现丢失的异常现象,且往往精确到秒。该方法利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误。为了使时间解析结果更为精确,该方法会根据同一时间出现的次数,把该秒内的帧间时间间隔设置为1/(当前秒帧率-1)以将时间戳解析结果精确到了毫秒。
步骤6,在监控画面中选定多个参照物并记录其像素坐标,以及建立描述室内环境的全局坐标系和描述参照物与摄像头位置关系的局部坐标系。在局部坐标系上确定参照物坐标,得到与像素坐标的映射关系。
步骤7,利用梯度提升树为每个摄像头训练适用于当前监控环境的空间解析模型。
使用梯度提升树时将n_estimators设置为100、max_depth设置为2,即内部含有100个深度为2的子回归树,并且使用最小二乘法表示损失函数。
步骤8,多目标跟踪可以返回目标的检测框,读取检测框的底部中点,即可利用梯度提升树模型恢复该目标在以摄像头为原点的局部坐标系上的坐标。然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,如图3。
步骤9,当用户确定监控目标时,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置等信息判断其是否离开当前监控画面。
步骤10,根据导播规则决定是否切换摄像头以及切换到哪个摄像头。导播规则如下:
如图6,若目标未离开当前监控画面,在当前摄像头下进行视频行人重识别,找到新的目标轨迹后继续跟踪,不切换画面。若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型。然后在近邻摄像头下生成的轨迹中进行视频行人重识别。再找到当前摄像头下运动轨迹的最后一帧,新运动轨迹的第一帧,计算上述两者间的时间差并利用“包围盒”方法计算目标运动距离,利用距离和时间计算出运动速度后,将速度放入速度概率分布模型得到映射的概率。关联行人重识别返回的视觉特征距离和概率得到新的匹配得分。如得分低于阈值,递进时间步(5秒)持续寻找该目标,20秒内未找到目标则代表当前目标已离开监控区域;如得分高于阈值,切换到新的监控画面。
如图4,包围盒方法距离计算流程如下:
第一步,划分包围盒;
第二步,设置包围盒间中转点;
第三步,计算跨包围盒运动时首先计算到中转点的距离。
如图5,速度概率分布模型构建流程如下:
第一步,在多目标跟踪结果中提取目标运动轨迹信息;
第二步,随机抽取两帧(帧号间隔大于4),计算两帧时间差、两帧内目标的空间距离;
第三步,利用时间差和空间距离计算目标运动速度;
第四步,重复第二步和第三步获得多个数据,构建速度概率分布模型。
步骤11,同时开启多路摄像头画面时,系统首先会读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻。取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从不同帧开始播放。
如图7,假设同时播放5路摄像头的画面,5个视频的首帧对应时刻分别为t1,t2,...,t5。那么各路视频播放的首帧画面对应的时刻应该为T=max(t1,t2,...,t5),帧号应为与T时刻对应的。
步骤12,在视频播放过程中,系统通过不断获取视频帧号,读取时间解析结果来定期检查视频是否同步。
每隔设定时间,根据各路视频正在播放时对应的帧号,在该视频的时间戳文件检索帧号对应的时间戳,根据检索结构检查各路视频是否同步,若不同步(误差超过0.5秒)则会根据主画面对应时刻,来对副画面的各路摄像头进行强制同步。
步骤13,使用一种“差速播放”的视频播放方法。实现多路画面的同步播放。
差速播放具体如下:在同时播放多路视频的过程中,采用以下视频播放方法进行同步:设某一视频播放的当前帧帧号为F0,当前帧所处的这一秒内实际有X帧画面,摄像头设置帧率为X0,设FN为该视频下次播放的对应的帧号,在时间为以F0为标准的这一秒内,该视频帧号的增长值应该为X/X0:
当检测到进入新的一秒内时会重复上述操作;
根据上述方法,我们容易获得一种面向室内联网视频监控的智能导播系统,包括:
视频采集模块,用于从设置在室内的联网监控摄像头拉取视频流,并以固定时长的离线视频的形式保存;
时间解析模块,用于利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;
时间解析模块中,还包括对图像识别得到的各帧对应的时间戳进行校正和精确化操作,具体如下:
利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误;
根据同一时间出现的次数确定当前视频的秒帧率P,把该秒内的帧间时间间隔设置为1/(P-1)以将时间戳解析结果精确到了毫秒。
空间解析模块,用于根据检测框坐标确定目标的全局物理空间位置;
具体如下:
根据多目标跟踪返回的目标的检测框,读取检测框的底部中点像素坐标作为检测框坐标,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置;
其中,空间解析模型通过利用梯度提升树为每个摄像头训练适用于当前监控环境的解析模型得到;
局部坐标系是以各路摄像头为原点,摄像头监控方向为y轴正方向建立的右手坐标系;
全局坐标系是以在监控区域的平面俯视图的中心点作为原点,以东方向为X轴正方向、北方向为Y轴正方向建立坐标系;
目标的空间位置确定模块,用于根据多目标跟踪返回的目标的检测框,读取检测框的底部中点,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,生成目标运动轨迹;
导播模块,用于根据用户确定的监控目标,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置信息判断目标是否离开当前摄像头的监控画面;并根据导播规则决定是否切换摄像头以及切换的对应摄像头;
导播规则具体如下:
若目标还在当前监控画面中,在当前摄像头下进行视频目标重识别,找到新的目标轨迹后继续跟踪,不切换画面;
若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型,然后在近邻摄像头下生成的轨迹中进行视频目标重识别,再找到当前摄像头下运动轨迹的最后一帧,近邻摄像头下新运动轨迹的第一帧,计算上述两者间的时间差并利用包围盒方法计算目标运动距离,利用距离和时间计算出运动速度后,将运动速度放入速度概率分布模型得到映射的概率;关联目标重识别返回的视觉特征距离和概率得到新的匹配得分;若得分低于阈值,递进设定时间步(5秒)继续寻找该目标,20秒内未找到目标则判断当前目标已离开监控区域;若得分高于阈值,判断目标进入的近邻摄像头监控画面,并切换到新的监控画面。
视频播放同步模块,用于同时开启多路摄像头画面时,首先读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻,取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从该帧号的对应帧开始播放;
视频播放同步模块还包括轮询检查模块和差速轮播放模块;
所述差速轮播放模块,用于在同时播放多路视频的过程中,采用以下视频播放方法进行同步:设某一视频播放的当前帧帧号为F0,当前帧所处的这一秒内实际有X帧画面,摄像头设置帧率为X0,设FN为该视频下次播放的对应的帧号,在时间为以F0为标准的这一秒内,该视频帧号的增长值应该为X/X0:
FN=F0+[X/X0];
当检测到进入新的一秒内时会重复上述操作;
所述轮询检查模块,用于每隔设定时间,根据各路视频正在播放时对应的帧号,在该视频的时间戳文件检索帧号对应的时间戳,根据检索结构检查各路视频是否同步,若不同步则会根据主画面对应时刻,来对副画面的各路摄像头进行强制同步。
本发明设计并实现了一套面向室内联网视频监控的智能导播系统。它能够为用户提供关于感兴趣目标的实时监控画面,并且随着感兴趣目标的运动将其在不同摄像头下的画面以实时导播的方式呈现给定制用户,从而使用户能够便捷、持续地观察感兴趣目标,知晓目标的即时状态。但由于室内环境中易出现频繁遮挡、不同光源导致色彩表现不一致、目标检测框图片的分辨率大小差异大等问题,单纯依靠行人重识别技术进行目标匹配的可靠性不够。并且由于IO繁忙或网络拥堵等原因,保存的离线视频可能会存在时长一致但起始时间不一致的情况,以及各个视频的帧率与程序所设置的视频播放帧率存在较大差别的现象。针对上述问题,提出解决方案。其中,方法包括:1)利用时空约束关系,关联基于视觉的行人重识别结果对目标身份进行判别;2)在系统中设置导播规则,节省计算资源,提升观感;3)利用“定位播放点”和“差速播放”机制,使各路画面同步。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.一种面向室内联网视频监控的智能导播方法,其特征在于,包括以下步骤:
1)从设置在室内的联网监控摄像头拉取视频流,以固定时长的离线视频的形式保存;
2)利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;
3)对图像识别得到的各帧对应的时间戳进行校正和精确化操作;
4)在监控画面中选定多个固定参照点并记录其像素坐标,建立描述室内环境的全局坐标系和描述参照物与摄像头位置关系的局部坐标系,并确定局部坐标系中坐标与像素坐标的映射关系;
其中,各路摄像头的局部坐标系是以各路摄像头为原点,摄像头监控方向为y轴正方向建立的右手坐标系;
全局坐标系是以在监控区域的平面俯视图的中心点作为原点,以东方向为X轴正方向、北方向为Y轴正方向建立坐标系;
5)利用梯度提升树为每个摄像头训练适用于当前监控环境的空间解析模型,该模型以目标在监控画面中的像素坐标为输入,以目标在以摄像头位置为原点的局部坐标系上坐标为输出;
6)根据多目标跟踪返回的目标的检测框,读取检测框的底部中点,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,生成目标运动轨迹;
7)根据用户确定的监控目标,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置信息判断目标是否离开当前摄像头的监控画面;
8)根据导播规则决定是否切换摄像头以及切换的对应摄像头;
9)同时开启多路摄像头画面时,首先读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻,取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从各对应帧帧开始播放;
10)在视频播放过程中,通过不断获取视频帧号,读取时间解析结果来定期检查视频是否同步;
11)使用差速播放的视频播放方法,实现多路画面的同步播放。
2.根据权利要求1所述的面向室内联网视频监控的智能导播方法,其特征在于,所述步骤2)中,利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳,具体如下:
2.1)视频各帧的对应监控时间位置的图像,并截取每个数字的图片;
2.2)对截取每个数字的图片,手动打上标签:0至9,作为训练数据;
2.3)利用神经网络进行训练,得到适用于当前环境的OCR数字识别的神经网络模型;
2.4)对视频的画面依照策略进行OCR时间识别,并将识别到的数字进行有序拼接,得到当前帧对应的时间戳。
3.根据权利要求1所述的面向室内联网视频监控的智能导播方法,其特征在于,所述步骤3)中,对图像识别得到的各帧对应的时间戳进行校正和精确化操作,具体如下:
利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误;
根据同一时间出现的次数确定当前视频的秒帧率P,把该秒内的帧间时间间隔设置为1/(P-1)以将时间戳解析结果精确到了毫秒。
4.根据权利要求1所述的面向室内联网视频监控的智能导播方法,其特征在于,所述步骤5)中,该模型使用梯度提升树时将n_estimators设置为100、max_depth设置为2,即内部含有100个深度为2的子回归树,并且使用最小二乘法表示损失函数。
5.根据权利要求1所述的面向室内联网视频监控的智能导播方法,其特征在于,所述步骤8)中,根据导播规则决定是否切换摄像头以及切换的对应摄像头,具体如下:
若目标还在当前监控画面中,在当前摄像头下进行视频目标重识别,找到新的目标轨迹后继续跟踪,不切换画面;
若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型,然后在近邻摄像头下生成的轨迹中进行视频目标重识别,再找到当前摄像头下运动轨迹的最后一帧,近邻摄像头下新运动轨迹的第一帧,计算上述两者间的时间差并利用包围盒方法计算目标运动距离,利用距离和时间计算出运动速度后,将运动速度放入速度概率分布模型得到映射的概率;关联目标重识别返回的视觉特征距离和概率得到新的匹配得分;若得分低于阈值,递进设定时间步继续寻找该目标,20秒内未找到目标则判断当前目标已离开监控区域;若得分高于阈值,判断目标进入的近邻摄像头监控画面,并切换到新的监控画面。
6.一种面向室内联网视频监控的智能导播系统,其特征在于,包括:
视频采集模块,用于从设置在室内的联网监控摄像头拉取视频流,并以固定时长的离线视频的形式保存;
时间解析模块,用于利用离线视频制作时间戳数据集,在视频各帧的对应监控时间位置进行图像识别,得到视频各帧对应的时间戳;
空间解析模块,用于根据检测框坐标确定目标的全局物理空间位置;
具体如下:
根据多目标跟踪返回的目标的检测框,读取检测框的底部中点像素坐标作为检测框坐标,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置;
其中,空间解析模型通过利用梯度提升树为每个摄像头训练适用于当前监控环境的解析模型得到;
局部坐标系是以各路摄像头为原点,摄像头监控方向为y轴正方向建立的右手坐标系;
全局坐标系是以在监控区域的平面俯视图的中心点作为原点,以东方向为X轴正方向、北方向为Y轴正方向建立坐标系;
目标的空间位置确定模块,用于根据多目标跟踪返回的目标的检测框,读取检测框的底部中点,利用空间解析模型恢复该目标在以摄像头为原点的局部坐标系上的坐标,然后利用坐标转换方法将目标恢复到整个监控环境的全局坐标系上,得到目标的空间位置,生成目标运动轨迹;
导播模块,用于根据用户确定的监控目标,分析多目标跟踪生成的目标运动轨迹,根据目标的运动方向、检测框面积、检测框位置信息判断目标是否离开当前摄像头的监控画面;并根据导播规则决定是否切换摄像头以及切换的对应摄像头;
视频播放同步模块,用于同时开启多路摄像头画面时,首先读取视频文件对应的时间解析数据,以确定各视频起始帧对应的时刻,取多时刻的最大值为基准,找到各路视频对应该基准的帧号,并将各路视频同时从各对应帧帧开始播放。
7.根据权利要求6所述的面向室内联网视频监控的智能导播系统,其特征在于,所述时间解析模块中,还包括对图像识别得到的各帧对应的时间戳进行校正和精确化操作,具体如下:
利用视频生成时的时间作为参考,若出现丢失现象导致解析错误即与视频生成时间误差过大时,则利用上下文解析结果校准错误;
根据同一时间出现的次数确定当前视频的秒帧率P,把该秒内的帧间时间间隔设置为1/(P-1)以将时间戳解析结果精确到了毫秒。
8.根据权利要求6所述的面向室内联网视频监控的智能导播系统,其特征在于,所述导播模块中,根据导播规则决定是否切换摄像头以及切换的对应摄像头,具体如下:
若目标还在当前监控画面中,在当前摄像头下进行视频目标重识别,找到新的目标轨迹后继续跟踪,不切换画面;
若目标离开了当前监控画面,找到当前摄像头下目标运动轨迹,随机抽样计算目标运动速度,构建速度概率分布模型,然后在近邻摄像头下生成的轨迹中进行视频目标重识别,再找到当前摄像头下运动轨迹的最后一帧,近邻摄像头下新运动轨迹的第一帧,计算上述两者间的时间差并利用包围盒方法计算目标运动距离,利用距离和时间计算出运动速度后,将运动速度放入速度概率分布模型得到映射的概率;关联目标重识别返回的视觉特征距离和概率得到新的匹配得分;若得分低于阈值,递进设定时间步继续寻找该目标,20秒内未找到目标则判断当前目标已离开监控区域;若得分高于阈值,判断目标进入的近邻摄像头监控画面,并切换到新的监控画面。
9.根据权利要求6所述的面向室内联网视频监控的智能导播系统,其特征在于,所述视频播放同步模块还包括轮询检查模块和差速轮播放模块;
所述差速轮播放模块,用于在同时播放多路视频的过程中,采用以下视频播放方法进行同步:设某一视频播放的当前帧帧号为F0,当前帧所处的这一秒内实际有X帧画面,摄像头设置帧率为X0,设FN为该视频下次播放的对应的帧号,在时间为以F0为标准的这一秒内,该视频帧号的增长值应该为X/X0:
当检测到进入新的一秒内时会重复上述操作;
所述轮询检查模块,用于每隔设定时间,根据各路视频正在播放时对应的帧号,在该视频的时间戳文件检索帧号对应的时间戳,根据检索结构检查各路视频是否同步,若不同步则会根据主画面对应时刻,来对副画面的各路摄像头进行强制同步。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010483838.6A CN111767798B (zh) | 2020-06-01 | 2020-06-01 | 一种面向室内联网视频监控的智能导播方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010483838.6A CN111767798B (zh) | 2020-06-01 | 2020-06-01 | 一种面向室内联网视频监控的智能导播方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767798A true CN111767798A (zh) | 2020-10-13 |
CN111767798B CN111767798B (zh) | 2022-07-15 |
Family
ID=72719882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010483838.6A Active CN111767798B (zh) | 2020-06-01 | 2020-06-01 | 一种面向室内联网视频监控的智能导播方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767798B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112340059A (zh) * | 2020-11-10 | 2021-02-09 | 西安视成航空科技有限公司 | 一种旋翼桨叶形变测量数据采集设备 |
CN112511864A (zh) * | 2020-11-23 | 2021-03-16 | 北京爱笔科技有限公司 | 轨迹展示方法、装置、计算机设备和存储介质 |
CN113034458A (zh) * | 2021-03-18 | 2021-06-25 | 广州市索图智能电子有限公司 | 室内人员轨迹分析方法、装置及存储介质 |
CN113033349A (zh) * | 2021-03-11 | 2021-06-25 | 北京文安智能技术股份有限公司 | 行人重识别的俯视图像选取方法、存储介质和电子设备 |
CN114520920A (zh) * | 2022-04-15 | 2022-05-20 | 北京凯利时科技有限公司 | 多机位视频同步方法和系统以及计算机程序产品 |
CN116366913A (zh) * | 2023-05-19 | 2023-06-30 | 杭州华橙软件技术有限公司 | 视频播放方法、计算机设备及存储介质 |
CN117692583A (zh) * | 2023-12-04 | 2024-03-12 | 中国人民解放军92941部队 | 一种基于位置信息校验的图像辅助导播方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
US20170180788A1 (en) * | 2015-12-18 | 2017-06-22 | Le Holdings (Beijing) Co., Ltd. | Method for video image switch and electronic device |
CN109635749A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 基于视频流的图像处理方法及装置 |
CN110049345A (zh) * | 2019-03-11 | 2019-07-23 | 北京河马能量体育科技有限公司 | 一种多视频流导播方法及导播处理系统 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110706259A (zh) * | 2019-10-12 | 2020-01-17 | 四川航天神坤科技有限公司 | 一种基于空间约束的可疑人员跨镜头追踪方法及装置 |
-
2020
- 2020-06-01 CN CN202010483838.6A patent/CN111767798B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
US20170180788A1 (en) * | 2015-12-18 | 2017-06-22 | Le Holdings (Beijing) Co., Ltd. | Method for video image switch and electronic device |
CN109635749A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 基于视频流的图像处理方法及装置 |
CN110049345A (zh) * | 2019-03-11 | 2019-07-23 | 北京河马能量体育科技有限公司 | 一种多视频流导播方法及导播处理系统 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110706259A (zh) * | 2019-10-12 | 2020-01-17 | 四川航天神坤科技有限公司 | 一种基于空间约束的可疑人员跨镜头追踪方法及装置 |
Non-Patent Citations (3)
Title |
---|
PI SHAICHENG 等: "Design of video surveillance platform based on softswitch technology", 《2015 IEEE INTERNATIONAL CONFERENCE ON GREY SYSTEMS AND INTELLIGENT SERVICES (GSIS)》 * |
陈伟宏: "基于多摄像头的目标跟踪算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
陈强国 等: "面向监控录像的视频检索系统设计", 《电声技术》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112340059A (zh) * | 2020-11-10 | 2021-02-09 | 西安视成航空科技有限公司 | 一种旋翼桨叶形变测量数据采集设备 |
CN112340059B (zh) * | 2020-11-10 | 2024-05-14 | 西安视成航空科技有限公司 | 一种旋翼桨叶形变测量数据采集设备 |
CN112511864A (zh) * | 2020-11-23 | 2021-03-16 | 北京爱笔科技有限公司 | 轨迹展示方法、装置、计算机设备和存储介质 |
CN112511864B (zh) * | 2020-11-23 | 2023-02-17 | 北京爱笔科技有限公司 | 轨迹展示方法、装置、计算机设备和存储介质 |
CN113033349A (zh) * | 2021-03-11 | 2021-06-25 | 北京文安智能技术股份有限公司 | 行人重识别的俯视图像选取方法、存储介质和电子设备 |
CN113033349B (zh) * | 2021-03-11 | 2023-12-26 | 北京文安智能技术股份有限公司 | 行人重识别的俯视图像选取方法、存储介质和电子设备 |
CN113034458A (zh) * | 2021-03-18 | 2021-06-25 | 广州市索图智能电子有限公司 | 室内人员轨迹分析方法、装置及存储介质 |
CN114520920A (zh) * | 2022-04-15 | 2022-05-20 | 北京凯利时科技有限公司 | 多机位视频同步方法和系统以及计算机程序产品 |
CN116366913A (zh) * | 2023-05-19 | 2023-06-30 | 杭州华橙软件技术有限公司 | 视频播放方法、计算机设备及存储介质 |
CN116366913B (zh) * | 2023-05-19 | 2023-08-18 | 杭州华橙软件技术有限公司 | 视频播放方法、计算机设备及存储介质 |
CN117692583A (zh) * | 2023-12-04 | 2024-03-12 | 中国人民解放军92941部队 | 一种基于位置信息校验的图像辅助导播方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111767798B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767798B (zh) | 一种面向室内联网视频监控的智能导播方法及系统 | |
US11410002B2 (en) | Ship identity recognition method based on fusion of AIS data and video data | |
CN110852219B (zh) | 一种多行人跨摄像头在线跟踪系统 | |
CN109389086B (zh) | 检测无人机影像目标的方法和系统 | |
CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
CN111585684B (zh) | 面向联网监控视频分析的多路摄像头时间对齐方法与系统 | |
CN112926475B (zh) | 一种人体三维关键点提取方法 | |
CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
CN110674886B (zh) | 一种融合多层级特征的视频目标检测方法 | |
CN115359406A (zh) | 一种邮局场景人物交互行为识别方法及系统 | |
CN109816700B (zh) | 一种基于目标识别的信息统计方法 | |
CN113674321B (zh) | 一种基于云端的监控视频下多目标跟踪的方法 | |
CN112733680B (zh) | 一种基于监控视频流生成高质量人脸图像的模型训练方法、提取方法、装置和终端设备 | |
CN117456204B (zh) | 目标跟踪方法、装置、视频处理系统、存储介质和终端 | |
CN113724293A (zh) | 一种基于视觉的智能网联公交场景下目标跟踪方法及系统 | |
CN109815861B (zh) | 一种基于人脸识别的用户行为信息统计方法 | |
CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
CN114782860A (zh) | 一种监控视频中暴力行为检测系统及方法 | |
CN116248861A (zh) | 一种智能视频检测方法、系统及装置 | |
CN115565157A (zh) | 一种多摄像头多目标车辆跟踪方法及系统 | |
CN114898275A (zh) | 一种学生活动轨迹分析方法 | |
CN113378787B (zh) | 一种基于多特征视觉的智能交通电子提示装置检测方法及系统 | |
CN113283279B (zh) | 一种基于深度学习的视频中多目标跟踪方法及装置 | |
Wu et al. | YOLOv8 Improved Network for Remote Sensing Video Small Target Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |