CN110087146A - 对视频文件的分析与渲染进行同步的方法和系统 - Google Patents

对视频文件的分析与渲染进行同步的方法和系统 Download PDF

Info

Publication number
CN110087146A
CN110087146A CN201910493725.1A CN201910493725A CN110087146A CN 110087146 A CN110087146 A CN 110087146A CN 201910493725 A CN201910493725 A CN 201910493725A CN 110087146 A CN110087146 A CN 110087146A
Authority
CN
China
Prior art keywords
rendering
image
analysis
tmax
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910493725.1A
Other languages
English (en)
Other versions
CN110087146B (zh
Inventor
浠ｄ腹
代丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Vision Technology Co Ltd
Original Assignee
Chengdu Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Vision Technology Co Ltd filed Critical Chengdu Vision Technology Co Ltd
Priority to CN201910493725.1A priority Critical patent/CN110087146B/zh
Publication of CN110087146A publication Critical patent/CN110087146A/zh
Application granted granted Critical
Publication of CN110087146B publication Critical patent/CN110087146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种对视频文件的分析与渲染进行同步的方法和系统，以图像分析进度为基准，通过控制图像渲染的进度，使图像渲染与图像分析同步，在每次渲染后续帧前，都会对图像分析和渲染的进度进行计算和预测，来控制图像渲染进度，调节图像渲染周期，使图像分析和图像渲染同步。将这种技术应用到对监控视频的筛查分析中时，分析人员查看每一帧图像的同时，该帧图像也正被系统进行智能分析，从而实现了对监控视频的查看与分析的同步。这样的好处是，能够同时结合人工查看与智能分析两种手段对同一帧图像进行分析，提高对监控视频的分析准确性。本发明技术方案尤其适用于公共安全、安防等领域，能够提高这些领域的案件侦破效率。

Description

对视频文件的分析与渲染进行同步的方法和系统
技术领域
本发明涉及视频分析技术，尤其涉及一种对视频文件的分析与渲染进行同步的方法和系统。
背景技术
在视频侦查领域，有两种主要的线索分析手段，一种人工查看，即通过人工看视频进行线索筛选，由此衍生出倍数查看、定位查看、缩放查看等手段，另一种是智能分析，即采用人工智能技术，依靠算法程序提取出特征目标，找到相关线索。实践表明，这两种手段单独使用都存在一些缺陷，最好的方式是将这两种手段结合起来使用。但是在对同一个视频素材，如何实现智能分析与人工查看精确同步，所见即所得，一直是行业内的难题。
发明内容
本发明主要目的在于，提供一种对视频文件的分析与渲染进行同步的方法和系统，实现视频智能分析与人工查看同步。本发明是通过如下技术方案实现的：
一种对视频文件的分析与渲染进行同步的方法，包括：
步骤1：读取视频文件；
步骤2：对所述视频文件进行解码，得到视频解码数据；
步骤3：将视频解码数据存入缓存；
步骤4：按照所述视频解码数据的帧顺序，从所述缓存中读取所述视频解码数据的各帧图像；
步骤5：对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，正常渲染第K+1帧图像；
当TRk+1<TA-Tmax时，放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，正常渲染第K+m帧图像；
当TRk+1>TA+Tmax时，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，再正常渲染第K+1帧图像。
进一步地，所述步骤3中，所述缓存被分为多个缓存区，按照所述视频解码数据的帧顺序，每个缓存区存储所述视频解码数据的N帧连续图像。
进一步地，所述步骤4中，从所述缓存中读取所述视频解码数据的图像时，每次读取N帧连续图像。
进一步地，所述步骤5中，所述Tmax为40ms。
一种对视频文件的分析与渲染进行同步的系统，包括：
文件读取模块，用于读取视频文件；
文件解码模块，用于对所述视频文件进行解码，得到视频解码数据；
数据缓存模块，用于将视频解码数据存入缓存；
图像提取模块，用于按照所述视频解码数据的帧顺序，从所述缓存中读取所述视频解码数据的各帧图像；
渲染控制模块，用于对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，正常渲染第K+1帧图像；
当TRk+1<TA-Tmax时，放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，正常渲染第K+m帧图像；
当TRk+1>TA+Tmax时，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，再正常渲染第K+1帧图像。
进一步地，所述数据缓存模块将所述缓存分为多个缓存区，按照所述视频解码数据的帧顺序，每个缓存区存储所述视频解码数据的N帧连续图像。
进一步地，所述图像提取模块从所述缓存中读取所述视频解码数据的图像时，每次读取N帧连续图像。
进一步地，所述Tmax为40ms。
与现有技术相比，本发明提供的对视频文件的分析与渲染进行同步的方法和系统，以图像分析进度为基准，通过控制图像渲染的进度，使图像渲染与图像分析同步，在每次渲染后续帧前，都会对图像分析和渲染的进度进行计算和预测，来控制图像渲染进度，调节图像渲染周期，使图像分析和图像渲染同步。将这种技术应用到对监控视频的筛查分析中时，分析人员查看每一帧图像的同时，该帧图像也正被系统进行智能分析，从而实现了对监控视频的查看与分析的同步。这样的好处是，能够同时结合人工查看与智能分析两种手段对同一帧图像进行分析，提高对监控视频的分析准确性。本发明技术方案尤其适用于公共安全、安防等领域，能够提高这些领域的案件侦破效率。
附图说明
图1是本发明实施例对视频文件的分析与渲染进行同步的方法的流程示意图；
图2是本发明实施例对视频文件的分析与渲染进行同步的系统的组成示意图；
图3是本发明实施例对视频文件的分析与渲染进行同步的系统的系统原理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步详细说明。
如图1所示，本发明实施例提供的对视频文件的分析与渲染进行同步的方法，包括：
步骤1：读取视频文件。可通过底层程序读取视频文件。
步骤2：对视频文件进行解码，得到视频解码数据。可加载对应的解码器进行视频文件进行数据解析和图像解码。
步骤3：将视频解码数据存入缓存。可将缓存分为多个缓存区，每个缓存区存储解析出的部分连续图像。
步骤4：按照视频解码数据的帧顺序，从缓存中读取视频解码数据的各帧图像。
步骤5：对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，说明视频文件的渲染进度与视频文件的分析进度是基本同步的，则正常渲染第K+1帧图像。
当TRk+1<TA-Tmax时，说明视频文件的渲染进度滞后于视频文件的分析进度，则放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，说明视频渲染已赶上视频分析的进度，此时再正常渲染第K+m帧图像。
当TRk+1>TA+Tmax时，说明视频文件的渲染进度超前于视频文件的分析进度，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，说明视频文件的分析进度赶上视频文件的渲染进度，此时再正常渲染第K+1帧图像。
步骤3中，缓存被分为多个缓存区，按照视频解码数据的帧顺序，每个缓存区存储视频解码数据的N帧连续图像。步骤4中，从缓存中读取视频解码数据的图像时，每次读取N帧连续图像。过对这一系列的N帧图像进行视频渲染进度调节来达到精确调节效果。
步骤5中，Tmax为40ms。通常安防领域的监控视频每1秒是25帧图像，那么如果视频文件的分析和渲染是在同一帧图像内进行则认为是视频文件的分析和渲染是同步的，即视频文件的渲染和分析时间差不能超过40毫秒。因此设定Tmax为40ms。
结合图2和图3所示，本发明实施例提供的对视频文件的分析与渲染进行同步的系统，包括：
文件读取模块1，用于读取视频文件。
文件解码模块2，用于对视频文件进行解码，得到视频解码数据。
数据缓存模块3，用于将视频解码数据存入缓存。
图像提取模块4，用于按照视频解码数据的帧顺序，从缓存中读取视频解码数据的各帧图像。
渲染控制模块5，用于对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，正常渲染第K+1帧图像。
当TRk+1<TA-Tmax时，放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，正常渲染第K+m帧图像。
当TRk+1>TA+Tmax时，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，再正常渲染第K+1帧图像。
数据缓存模块3将缓存分为多个缓存区，按照视频解码数据的帧顺序，每个缓存区存储视频解码数据的N帧连续图像。
图像提取模块4从缓存中读取视频解码数据的图像时，每次读取N帧连续图像。
Tmax为40ms。
上述系统中的各模块与上述方法中的各步骤一一对应，可参考上述方法中的各步骤，在此不再一一赘述。
上述实施例仅为优选实施例，并不用以限制本发明的保护范围，在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种对视频文件的分析与渲染进行同步的方法，其特征在于，包括：
步骤1：读取视频文件；
步骤2：对所述视频文件进行解码，得到视频解码数据；
步骤3：将视频解码数据存入缓存；
步骤4：按照所述视频解码数据的帧顺序，从所述缓存中读取所述视频解码数据的各帧图像；
步骤5：对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，正常渲染第K+1帧图像；
当TRk+1<TA-Tmax时，放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，正常渲染第K+m帧图像；
当TRk+1>TA+Tmax时，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，再正常渲染第K+1帧图像。
2.如权利要求1所述的对视频文件的分析与渲染进行同步的方法，其特征在于，所述步骤3中，所述缓存被分为多个缓存区，按照所述视频解码数据的帧顺序，每个缓存区存储所述视频解码数据的N帧连续图像。
3.如权利要求1所述的对视频文件的分析与渲染进行同步的方法，其特征在于，所述步骤4中，从所述缓存中读取所述视频解码数据的图像时，每次读取N帧连续图像。
4.如权利要求1所述的对视频文件的分析与渲染进行同步的方法，其特征在于，所述步骤5中，所述Tmax为40ms。
5.一种对视频文件的分析与渲染进行同步的系统，其特征在于，包括：
文件读取模块，用于读取视频文件；
文件解码模块，用于对所述视频文件进行解码，得到视频解码数据；
数据缓存模块，用于将视频解码数据存入缓存；
图像提取模块，用于按照所述视频解码数据的帧顺序，从所述缓存中读取所述视频解码数据的各帧图像；
渲染控制模块，用于对读取的各帧图像同步开始进行渲染和分析，在渲染完第K帧图像之后，渲染第K+1帧图像之前，读取第K+1帧图像的渲染开始时间戳TRk+1，并将其与当前分析完成的图像的分析完成时间戳TA进行比较：
当TA-Tmax≤TRk+1≤TA+Tmax时，正常渲染第K+1帧图像；
当TRk+1<TA-Tmax时，放弃渲染第K+1帧图像，并依次判断后续帧图像，直到第K+m帧图像的渲染开始时间戳TRk+m符合TA-Tmax≤TRk+m≤TA+Tmax时，正常渲染第K+m帧图像；
当TRk+1>TA+Tmax时，则等待直到TA-Tmax≤TRk+1≤TA+Tmax时，再正常渲染第K+1帧图像。
6.如权利要求5所述的对视频文件的分析与渲染进行同步的系统，其特征在于，所述数据缓存模块将所述缓存分为多个缓存区，按照所述视频解码数据的帧顺序，每个缓存区存储所述视频解码数据的N帧连续图像。
7.如权利要求5所述的对视频文件的分析与渲染进行同步的系统，其特征在于，所述图像提取模块从所述缓存中读取所述视频解码数据的图像时，每次读取N帧连续图像。
8.如权利要求5所述的对视频文件的分析与渲染进行同步的系统，其特征在于，所述Tmax为40ms。
CN201910493725.1A 2019-06-06 2019-06-06 对视频文件的分析与渲染进行同步的方法和系统 Active CN110087146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910493725.1A CN110087146B (zh) 2019-06-06 2019-06-06 对视频文件的分析与渲染进行同步的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910493725.1A CN110087146B (zh) 2019-06-06 2019-06-06 对视频文件的分析与渲染进行同步的方法和系统

Publications (2)

Publication Number Publication Date
CN110087146A true CN110087146A (zh) 2019-08-02
CN110087146B CN110087146B (zh) 2021-05-04

Family

ID=67423890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910493725.1A Active CN110087146B (zh) 2019-06-06 2019-06-06 对视频文件的分析与渲染进行同步的方法和系统

Country Status (1)

Country Link
CN (1) CN110087146B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785973A (zh) * 2019-11-05 2021-05-11 西安诺瓦星云科技股份有限公司 图像拼接方法及装置
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN116993887A (zh) * 2023-09-27 2023-11-03 湖南马栏山视频先进技术研究院有限公司 一种视频渲染异常的响应方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090399A1 (en) * 2009-10-19 2011-04-21 Intergraph Technologies Company Data Search, Parser, and Synchronization of Video and Telemetry Data
CN103024517A (zh) * 2012-12-17 2013-04-03 四川九洲电器集团有限责任公司 一种基于并行处理的流媒体音视频同步播放方法
CN106534151A (zh) * 2016-11-29 2017-03-22 北京旷视科技有限公司 用于播放视频流的方法及装置
CN109309817A (zh) * 2018-11-14 2019-02-05 北京东方国信科技股份有限公司 监控视频人脸识别osd的显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090399A1 (en) * 2009-10-19 2011-04-21 Intergraph Technologies Company Data Search, Parser, and Synchronization of Video and Telemetry Data
CN103024517A (zh) * 2012-12-17 2013-04-03 四川九洲电器集团有限责任公司 一种基于并行处理的流媒体音视频同步播放方法
CN106534151A (zh) * 2016-11-29 2017-03-22 北京旷视科技有限公司 用于播放视频流的方法及装置
CN109309817A (zh) * 2018-11-14 2019-02-05 北京东方国信科技股份有限公司 监控视频人脸识别osd的显示方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785973A (zh) * 2019-11-05 2021-05-11 西安诺瓦星云科技股份有限公司 图像拼接方法及装置
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN113873345B (zh) * 2021-09-27 2023-11-14 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN116993887A (zh) * 2023-09-27 2023-11-03 湖南马栏山视频先进技术研究院有限公司 一种视频渲染异常的响应方法及系统
CN116993887B (zh) * 2023-09-27 2023-12-22 湖南马栏山视频先进技术研究院有限公司 一种视频渲染异常的响应方法及系统

Also Published As

Publication number Publication date
CN110087146B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN110087146A (zh) 对视频文件的分析与渲染进行同步的方法和系统
CN104284233B (zh) 视频和遥测数据的数据搜索、解析和同步
US20160240224A1 (en) Reference and non-reference video quality evaluation
CN101834982B (zh) 基于多模态的暴力视频分层筛选方法
CN109451360B (zh) 视频转场特效方法及引擎
CN110087042B (zh) 一种实时同步视频流和元数据的人脸抓拍方法及系统
CN109819161A (zh) 一种帧率的调整方法、装置、终端及可读存储介质
CN100542303C (zh) 一种多视点视频颜色校正方法
JP2015115955A (ja) 映像要約方法および装置
Zhang et al. Low-complexity and high-efficiency background modeling for surveillance video coding
CN107820095A (zh) 一种长期参考图像选择方法及装置
WO2020093164A1 (en) Methods and systems for detection of anomalous motion in a video stream and for creating a video summary
CN109714623A (zh) 图像展示方法、装置、电子设备及计算机可读存储介质
GB2605727A (en) Stream object tracking with delayed object detection
US20160142766A1 (en) Method And Device For Processing Multimedia Frame And Storage Medium
CN109672897A (zh) 全景视频编码方法及装置
CN105554514A (zh) 处理视频片头曲的方法及系统
US11678044B2 (en) Apparatus and method for processing an image data stream by comparing first and second checking data streams
CN105681806B (zh) ME中基于logo检测结果控制零矢量SAD的方法及系统
WO2002056109A3 (en) Method and apparatus for determining camera movement control criteria
CN104182959A (zh) 目标搜索方法及装置
CN115914676A (zh) 一种超高清视频信号的实时监测比对方法及系统
CN106303538B (zh) 一种支持多源数据融合的视频分级编码方法及装置
CN112672211A (zh) 一种智慧监控场景下负反馈码流解码方法
CN114911887A (zh) 数据处理的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant