CN111585684A - 面向联网监控视频分析的多路摄像头时间对齐方法与系统 - Google Patents

面向联网监控视频分析的多路摄像头时间对齐方法与系统 Download PDF

Info

Publication number
CN111585684A
CN111585684A CN202010409069.5A CN202010409069A CN111585684A CN 111585684 A CN111585684 A CN 111585684A CN 202010409069 A CN202010409069 A CN 202010409069A CN 111585684 A CN111585684 A CN 111585684A
Authority
CN
China
Prior art keywords
video
frame
time
camera
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010409069.5A
Other languages
English (en)
Other versions
CN111585684B (zh
Inventor
梁超
沈宇轩
朱家伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010409069.5A priority Critical patent/CN111585684B/zh
Publication of CN111585684A publication Critical patent/CN111585684A/zh
Application granted granted Critical
Publication of CN111585684B publication Critical patent/CN111585684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种面向联网监控视频分析的多路摄像头时间对齐方法与系统，该方法包括：1)从监控摄像头拉取视频流，以固定时长的离线视频的形式保存；2)利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；3)确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；4)完成多路摄像头播放起始时间对齐；5)在同时播放多路视频的过程中，控制视频播放同步。本发明方法从视频帧中提取对应的时间戳并精确到毫秒，解决视频播放存在的不同步现象。该方法对降低服务器搭建成本，提升视频观感有重要意义。

Description

面向联网监控视频分析的多路摄像头时间对齐方法与系统
技术领域
本发明涉及联网监控视频分析技术，尤其涉及一种面向联网监控视频分析的多路摄像头时间对齐方法与系统。
背景技术
随着安防行业智慧化程度的提高，越来越多的安防产品需要利用到计算机视觉技术(如：行人检测，多目标跟踪，行人重识别等)来对监控画面进行分析，而利用一台服务器同时完成从摄像头拉取视频流和对视频分析的工作，不仅对服务器的运算能力有着极高的要求，而且也不便于数据的保存。所以利用将对摄像头数据进行解码和对解码后的视频进行分析的工作分别放在独立服务器上是一种更高效的做法。但是由于IO和网络延迟等原因。保存的离线视频可能会存在时长一致，但起始时间不一致的情况，以及可能存在真实帧率与设置的帧率不一致的情况。本发明针对上述两种情况，提出解决方案。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种面向联网监控视频分析的多路摄像头时间对齐方法与系统。
本发明解决其技术问题所采用的技术方案是：一种面向联网监控视频分析的多路摄像头时间对齐方法，包括以下步骤：
1)从监控摄像头拉取视频流，以固定时长的离线视频的形式保存；
2)利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
3)确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；
4)同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
5)在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号。在时间为以F0为标准的这一秒内，该视频帧号的增长值应该为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
按上述方案，所述步骤5)中还包括轮询同步的步骤，每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
按上述方案，所述步骤2)中利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳，具体如下：
2.1)视频各帧的对应监控时间位置的图像，并截取每个数字的图片；
2.2)对截取每个数字的图片，手动打上标签：0至9，作为训练数据；
2.3)利用一个三层的全连接神经网络进行训练，得到适用于当前环境的OCR数字识别的神经网络模型；
2.4)对视频的画面依照策略进行OCR时间识别，并将识别到的数字进行有序拼接，得到当前帧对应的时间戳。
2.5)对视频的第一帧起，逐帧识别，直到识别到新的时间。认为接下来的1至9帧都等于新的时间，且十分可信，不进行识别；认为接下来的10至15帧都等于新的时间，但不确定，隔一帧识别一次；认为接下来的16至20帧都不可信，逐帧识别。
按上述方案，所述步骤1)中从监控摄像头拉取视频流是通过rtsp协议从摄像头拉取数据并解码。
根据上述方法，本发明还提供一种面向联网监控视频分析的多路摄像头时间对齐系统，包括：
rtsp解码及视频保存模块，用于通过rtsp协议从摄像头拉取视频流数据并解码，以固定时长的离线视频的形式保存；
视频时间分析模块，用于利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
并确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；
多路视频起始同步模块，用于同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
视频播放同步模块，包括轮询检查模块和差速轮播放模块；
所述差速轮播放模块，用于在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号。在时间为以F0为标准的这一秒内，该视频帧号的增长值应该为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
所述轮询检查模块，用于每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
按上述方案，所述视频时间分析模块中得到视频各帧对应的时间戳，具体如下：
1)视频各帧的对应监控时间位置的图像，并截取每个数字的图片；
2)对截取每个数字的图片，手动打上标签：0至9，作为训练数据；
3)利用一个三层的全连接神经网络进行训练，得到适用于当前环境的OCR数字识别的神经网络模型；
4)对视频的画面依照策略进行OCR时间识别，并将识别到的数字进行有序拼接，得到当前帧对应的时间戳。
本发明产生的有益效果是：本发明方法从视频帧中提取对应的时间戳并精确到毫秒，利用对视频进行分析的结果，消除视频播放存在的不同步现象。该方法能够满足实际应用场景需求，对降低服务器搭建成本，视频侦察技术运用，提升视频观感有着重要意义。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的方法流程图；
图2为本发明实施例的系统模块结构图；
图3为本发明实施例的图像识别视频时间分析流程图；
图4为本发明实施例的播放流程图；
图5为本发明实施例的“差速轮”播放流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种面向联网监控视频分析的多路摄像头时间对齐方法，包括以下步骤：
1)从监控摄像头拉取视频流，以固定时长的离线视频的形式保存；
2)利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
过程如下：首先要确定摄像头画面上时间戳的像素位置，每隔一定的时间As采集一次数字(避免采集过多重复数据)。采集一天后可以得到24*60*60/A*12(YYYY-MM-DD H-M-S)个数字，手动为这些数据打上标签(0-9)，即放入10个不同的文件夹中。
将输入的图片拉伸至28*28之后展开为一个(784，1)的向量，全连接神经网络隐藏层有500个节点，输出层有10个节点(R0,R1…R9)。对10个结果做softmax变换，当Ri结果最大时，说明识别到的数字i。
将识别到的多个数字进行有序拼接，得到(YYYY-MM-DD H-M-S)的形式，由于该系统主要使用Python，将时间戳转化为1970纪元后经过的浮点秒数(如：1577672010.50等于2019/12/3010:13:30)，便于精确到毫秒。
3)确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件(图像识别的过程中为了节约计算资源，并不会对每帧图像都进行识别)；以一段视频一个文本文件的形式保存下来。
如图3，图像识别的过程中为了节约计算资源，并不会对每帧图像都进行识别，图像识别时，对视频的第一帧起，逐帧识别，直到识别到新的时间，采用选择识别。例如：认为接下来的1至9帧都等于新的时间，且十分可信，不进行识别；认为接下来的10至15帧都等于新的时间，但不确定，隔一帧识别一次；认为接下来的16至20帧都不可信，逐帧识别；(这是因为我们将摄像头画面的帧率设置为20帧/秒，实际采集下来的视频某些时间段内，帧率可能在15到25帧/秒左右浮动)。
4)同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
假设同时播放5路摄像头的画面，5个视频的首帧对应时刻分别为t1,t2...t5。那么应该播放的第一帧画面对应的时刻应该为:
T＝max(t1,t2...t5)
5)在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号。在时间为以F0为标准的这一秒内，该视频帧号的增长值应该为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
步骤5)中还包括轮询同步的步骤，每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
如图4所示，本发明方法中的播放流程如下。
第一步，打开多路视频时，提前找到不同摄像头视频的共有片段，即起始时刻和结束时刻。
第二步，从各路摄像头视频对应找到的最大起始时刻的对应帧号开始播放视频。
第三步，播放视频过程中定期抽取视频帧号，并阅读OCR识别结果，检查各路视频时间戳是否一致。
第四步，若副画面时刻与主画面时刻不一致，则强制使副画面与主画面时刻一致化。
如图5所示，一种面向联网监控视频分析的多路摄像头时间对齐方法中的“差速轮”播放实现方法如下：
第一步，播放多路视频时，通过阅读OCR结果，检查各视频实际帧率。
第二步，当视频从第n帧开始播放时，设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号。在时间为以F0为标准的这一秒内，该视频帧号的增长值应该为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。当[X/X0]的结果向下取整为0时，不从视频源中抽帧；当[X/X0]的结果向下取整为1时，从视频源中抽一帧；当[X/X0]的结果向下取整为2时，从视频源中抽两帧。
如图2，根据上述方法，本发明还提供一种面向联网监控视频分析的多路摄像头时间对齐系统，包括：
rtsp解码及视频保存模块，用于通过rtsp协议从摄像头拉取视频流数据并解码，以固定时长的离线视频的形式保存；
视频时间分析模块，用于利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
所述视频时间分析模块中得到视频各帧对应的时间戳，具体如下：
1)视频各帧的对应监控时间位置的图像，并截取每个数字的图片；
2)对截取每个数字的图片，手动打上标签：0至9，作为训练数据；
3)利用一个三层的全连接神经网络进行训练，得到适用于当前环境的OCR数字识别的神经网络模型；
4)对视频的画面依照策略进行OCR时间识别，并将识别到的数字进行有序拼接，得到当前帧对应的时间戳。
5)对视频的第一帧起，逐帧识别，直到识别到新的时间。认为接下来的1至9帧都等于新的时间，且十分可信，不进行识别；认为接下来的10至15帧都等于新的时间，但不确定，隔一帧识别一次；认为接下来的16至20帧都不可信，逐帧识别。
并确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；
多路视频起始同步模块，用于同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
视频播放同步模块，包括轮询检查模块和差速轮播放模块；
所述差速轮播放模块，用于在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号。在时间为以F0为标准的这一秒内，该视频帧号的增长值应该为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
所述轮询检查模块，用于每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
本发明实施例的面向联网监控视频分析的多路摄像头时间对齐系统，利用Python的QT拓展及多线程技术搭建，深度学习框架使用了Pytorch。本发明实施例能针对监控摄像头进行数据提取，解决从摄像头拉取的视频数据播放不同步的问题。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种面向联网监控视频分析的多路摄像头时间对齐方法，其特征在于，包括以下步骤：
1)从监控摄像头拉取视频流，以固定时长的离线视频的形式保存；
2)利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
3)确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；
4)同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
5)在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号，在时间为以F0为标准的这一秒内，该视频帧号的增长值为X/X0：
该视频下次播放的对应的帧号为：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
2.根据权利要求1所述的面向联网监控视频分析的多路摄像头时间对齐方法，其特征在于，所述步骤5)中还包括轮询同步的步骤，每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
3.根据权利要求1所述的面向联网监控视频分析的多路摄像头时间对齐方法，其特征在于，所述步骤2)中利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳，具体如下：
2.1)视频各帧的对应监控时间位置的图像，并截取每个数字的图片；
2.2)对截取每个数字的图片，手动打上标签：0至9，作为训练数据；
2.3)利用一个三层的全连接神经网络进行训练，得到适用于当前环境的OCR数字识别的神经网络模型；
2.4)对视频的画面依照策略进行OCR时间识别，并将识别到的数字进行有序拼接，得到当前帧对应的时间戳。
4.根据权利要求1所述的面向联网监控视频分析的多路摄像头时间对齐方法，其特征在于，所述步骤1)中从监控摄像头拉取视频流是通过rtsp协议从摄像头拉取数据并解码。
5.一种面向联网监控视频分析的多路摄像头时间对齐系统，其特征在于，包括：
rtsp解码及视频保存模块，用于通过rtsp协议从摄像头拉取视频流数据并解码，以固定时长的离线视频的形式保存；
视频时间分析模块，用于利用离线视频制作时间戳数据集，在视频各帧的对应监控时间位置进行图像识别，得到视频各帧对应的时间戳；
并确定离线视频的每秒帧率，将视频各帧的时间戳精确到毫秒，并且将视频各帧的时间戳结果以“帧号时间戳”的形式保存为该视频的时间戳文件；
多路视频起始同步模块，用于同时开启多路摄像头画面时，查找每个摄像头对应视频的时间戳文件中首帧对应的时间戳，取最大时间戳记为T，使每个视频文件分别从T时刻对应的帧开始播放，完成多路摄像头播放起始时间对齐；
视频播放同步模块，包括轮询检查模块和差速轮播放模块；
所述差速轮播放模块，用于在同时播放多路视频的过程中，采用以下视频播放方法进行同步：设某一视频播放的当前帧帧号为F0，当前帧所处的这一秒内实际有X帧画面，摄像头设置帧率为X0，设FN为该视频下次播放的对应的帧号，在时间为以F0为标准的这一秒内，该视频帧号的增长值为X/X0：
FN＝F0+[X/X0]；
当检测到进入新的一秒内时会重复上述操作。
所述轮询检查模块，用于每隔设定时间，根据各路视频正在播放时对应的帧号，在该视频的时间戳文件检索帧号对应的时间戳，根据检索结构检查各路视频是否同步，若不同步则会根据主画面对应时刻，来对副画面的各路摄像头进行强制同步。
6.根据权利要求5所述的面向联网监控视频分析的多路摄像头时间对齐系统，其特征在于，所述视频时间分析模块中得到视频各帧对应的时间戳，具体如下：
1)视频各帧的对应监控时间位置的图像，并截取每个数字的图片；
2)对截取每个数字的图片，手动打上标签：0至9，作为训练数据；
3)利用一个三层的全连接神经网络进行训练，得到适用于当前环境的OCR数字识别的神经网络模型；
4)对视频的画面依照策略进行OCR时间识别，并将识别到的数字进行有序拼接，得到当前帧对应的时间戳。
CN202010409069.5A 2020-05-14 2020-05-14 面向联网监控视频分析的多路摄像头时间对齐方法与系统 Active CN111585684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409069.5A CN111585684B (zh) 2020-05-14 2020-05-14 面向联网监控视频分析的多路摄像头时间对齐方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409069.5A CN111585684B (zh) 2020-05-14 2020-05-14 面向联网监控视频分析的多路摄像头时间对齐方法与系统

Publications (2)

Publication Number Publication Date
CN111585684A true CN111585684A (zh) 2020-08-25
CN111585684B CN111585684B (zh) 2021-08-10

Family

ID=72122930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409069.5A Active CN111585684B (zh) 2020-05-14 2020-05-14 面向联网监控视频分析的多路摄像头时间对齐方法与系统

Country Status (1)

Country Link
CN (1) CN111585684B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243030A (zh) * 2022-06-14 2022-10-25 天翼数字生活科技有限公司 一种终端能力测试系统、方法、设备和存储介质
CN115474083A (zh) * 2022-11-02 2022-12-13 灵长智能科技(杭州)有限公司 一种多路音视频同步直播方法和系统
CN115955552A (zh) * 2023-03-15 2023-04-11 国网吉林省电力有限公司信息通信公司 基于5g无线通信网络的安防监控系统
CN116156074A (zh) * 2022-11-21 2023-05-23 辉羲智能科技(上海)有限公司 一种多摄像头采集时间同步方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173317B1 (en) * 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
US20050151880A1 (en) * 2000-10-18 2005-07-14 Microsoft Corporation Compressed timing indicators for media samples
CN102227142A (zh) * 2011-06-10 2011-10-26 复旦大学 一种基于视频数据块分发的同步播放方法
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN105429983A (zh) * 2015-11-27 2016-03-23 刘军 采集媒体数据的方法、媒体终端及音乐教学系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173317B1 (en) * 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
US20050151880A1 (en) * 2000-10-18 2005-07-14 Microsoft Corporation Compressed timing indicators for media samples
CN102227142A (zh) * 2011-06-10 2011-10-26 复旦大学 一种基于视频数据块分发的同步播放方法
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN105429983A (zh) * 2015-11-27 2016-03-23 刘军 采集媒体数据的方法、媒体终端及音乐教学系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243030A (zh) * 2022-06-14 2022-10-25 天翼数字生活科技有限公司 一种终端能力测试系统、方法、设备和存储介质
CN115243030B (zh) * 2022-06-14 2024-03-01 天翼数字生活科技有限公司 一种终端能力测试系统、方法、设备和存储介质
CN115474083A (zh) * 2022-11-02 2022-12-13 灵长智能科技(杭州)有限公司 一种多路音视频同步直播方法和系统
CN116156074A (zh) * 2022-11-21 2023-05-23 辉羲智能科技(上海)有限公司 一种多摄像头采集时间同步方法
CN116156074B (zh) * 2022-11-21 2024-03-15 辉羲智能科技(上海)有限公司 一种多摄像头采集时间同步方法
CN115955552A (zh) * 2023-03-15 2023-04-11 国网吉林省电力有限公司信息通信公司 基于5g无线通信网络的安防监控系统

Also Published As

Publication number Publication date
CN111585684B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111585684B (zh) 面向联网监控视频分析的多路摄像头时间对齐方法与系统
CN111767798B (zh) 一种面向室内联网视频监控的智能导播方法及系统
CN110008797B (zh) 一种多摄像机多人脸视频接续采集方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN110290346B (zh) 一种基于智能视频分析的招投标视频的获取方法
CN110087042B (zh) 一种实时同步视频流和元数据的人脸抓拍方法及系统
CN109299324B (zh) 一种标签式视频文件的检索方法
CN110458115B (zh) 一种基于时序的多帧集成目标检测算法
WO2022213540A1 (zh) 目标检测、属性识别与跟踪方法及系统
WO2020114116A1 (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
CN113158891B (zh) 一种基于全局特征匹配的跨摄像头行人重识别方法
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN110858276A (zh) 一种识别模型与验证模型相结合的行人重识别方法
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN106572387A (zh) 视频序列对齐方法和系统
CN110379130A (zh) 一种基于多路高清sdi视频的医疗看护防摔倒系统
CN112507835B (zh) 一种基于深度学习技术分析多目标对象行为的方法及系统
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质
CN109345427A (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
EP2345978A1 (en) Detection of flash illuminated scenes in video clips and related ranking of video clips
Vora et al. Bringing generalization to deep multi-view pedestrian detection
CN112184771A (zh) 一种社区的人员轨迹跟踪的方法及装置
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN114005054A (zh) 一种ai智能评分系统
CN112261440B (zh) 基于镜头识别及场景识别的分布式超高清视频识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant