CN112261440B - 基于镜头识别及场景识别的分布式超高清视频识别方法和系统 - Google Patents
基于镜头识别及场景识别的分布式超高清视频识别方法和系统 Download PDFInfo
- Publication number
- CN112261440B CN112261440B CN202011175296.2A CN202011175296A CN112261440B CN 112261440 B CN112261440 B CN 112261440B CN 202011175296 A CN202011175296 A CN 202011175296A CN 112261440 B CN112261440 B CN 112261440B
- Authority
- CN
- China
- Prior art keywords
- identification
- scene
- recognition
- lens
- task manager
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及基于镜头识别及场景识别的分布式超高清视频识别方法和系统，采用镜头/场景识别技术拆分视频以实现并发超高清识别。识别每个镜头之前先经抽样算法抽样，极大减小需要识别的视频帧数量。从而显著提高超高清视频识别效率。另外，对每个镜头进行简化的场景识别，针对不同的场景设置不同的阈值，从而显著提高超高清视频识别准确率。
Description
技术领域
本发明涉及超高清视频识别技术，具体涉及一种基于镜头识别及场景识别的分布式超高清视频识别方法和系统。
背景技术
目前正处于超高清视频产业发展的初期，市面上已经出现了少量超高清视频，但也有不少伪超高清视频。如何分辨真伪超高清视频呢。有学校或科研单位研发了一些识别真伪超高清视频的软件或者设备。但这些软件或设备大多采用单机逐帧识别，耗时极长，而且准确率不高，没有实用价值。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于镜头识别及场景识别的分布式超高清视频识别方法和系统，采用镜头/场景识别技术拆分视频以实现并发超高清识别。识别每个镜头之前先经抽样算法抽样，极大减小需要识别的视频帧数量。从而显著提高超高清视频识别效率。另外，对每个镜头进行简化的场景识别，针对不同的场景设置不同的阈值，从而显著提高超高清视频识别准确率。
本发明的目的是通过以下技术方案来实现的：
一种基于镜头识别及场景识别的分布式超高清视频识别方法，包括：
1）将视频文件放在共享的文件服务器中，通过智能任务管理器添加任务；
2）智能任务管理器将任务拆分成镜头识别、场景识别及超高清视频识别三个一级子任务；
3）智能任务管理器自动将镜头识别任务分配到空闲的镜头识别服务器，识别视频文件中的镜头数量N和每一个镜头的位置，并将信息返回至智能任务管理器；
4）智能任务管理器调用N个场景识别服务器分别对视频文件中的单个镜头分别进行场景识别，并打上场景标签然后反馈给智能任务管理器；
5）智能任务管理器调用N个超高清视频识服务器进行超高清识别，并将所有单个镜头下的视频的识别结果返回至智能任务管理器；
6）智能任务管理器根据识别结果与一个总体的阈值做比较得到最终识别结果。
进一步的，所述场景标签包括白天场景、夜晚场景、快速运动场景和慢速运动场景及其组合。
进一步的，所述超高清识别是从镜头的起始、中间、结束3个位置处分别抽取连续的3帧以上的图像进行分析。
进一步的，所述分析的内容包括：亮度分析、色域分析、对比度分析、有效量化比特数分析、重复帧分析；各维度分析结果分别与各个维度的阈值作比较，得到该镜头的识别结果并反馈给智能任务管理器。
进一步的，不同场景下，所述阈值取值不同。
进一步的，所述夜晚场景下亮度的阈值范围相较于白天场景需要调低；慢速运动场景相较于快速运动场景，重复帧识别的容忍度阈值需要调小。
进一步的，同一个镜头里的视频帧要么都是要么都不是超高清图像。
一种基于镜头识别及场景识别的分布式超高清视频识别系统，该系统包括：
数据共享服务器，用于录入或加入待分析的视频文件；
与数据共享服务器连接的智能任务管理器，用于调取相应的视频文件进行镜头识别、场景识别及超高清视频识别；
与智能任务管理器连接的至少一个镜头识别服务器，用于实现视频文件的镜头识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的多个场景识别服务器，用于实现各单个镜头视频文件的场景识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的多个超高清视频识服务器，用于实现各单个镜头下的视频的超高清识别，并将识别结果返回至智能任务管理器。
进一步的，系统设置有镜头识别服务器的扩展接口，可增加相应的镜头识别服务器。
本发明的有益效果是：本方案采用多线程并行运行的方式对视频文件进行镜头识别、场景识别及超高清视频识别，同时在得到多个单个镜头下的视频后，利用多个服务器同时进行，例如10个分片采用10个服务器识别，则相较于传统的单个视频识别速度提升了10倍。对单个分片（一个完整镜头）进行抽样识别，减少需要识别的帧数，也极大提升了识别速度。例如，按每个镜头100帧计算，每个镜头只识别9帧，速度是全部识别的11倍。综上，提升速度可达100倍以上，扣除流程上的消耗，也至少能提升数十倍的速度。另外，结合场景识别还能提升识别的准确率。
具体实施方式
下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。
一种基于镜头识别及场景识别的分布式超高清视频识别方法，包括：
1）将视频文件放在共享的文件服务器中，通过智能任务管理器添加任务；
2）智能任务管理器将任务拆分成镜头识别、场景识别及超高清视频识别三个一级子任务；
3）智能任务管理器自动将镜头识别任务分配到空闲的镜头识别服务器，识别视频文件中的镜头数量N和每一个镜头的位置，并将信息返回至智能任务管理器；
4）智能任务管理器调用N个场景识别服务器分别对视频文件中的单个镜头分别进行场景识别，并打上场景标签然后反馈给智能任务管理器；
5）智能任务管理器调用N个超高清视频识服务器进行超高清识别，并将所有单个镜头下的视频的识别结果返回至智能任务管理器；
6）智能任务管理器根据识别结果一个总体的阈值做比较得到最终识别结果。
可选的，一种基于镜头识别及场景识别的分布式超高清视频识别方法，场景标签包括白天场景、夜晚场景、快速运动场景和慢速运动场景，最后得到的标签包括白天快速运动场景，白天慢速运动场景，夜晚快速运动场景和夜晚慢速运动场景四种情况。
可选的，一种基于镜头识别及场景识别的分布式超高清视频识别方法，超高清识别是从镜头的起始、中间、结束3个位置处分别抽取连续的3帧以上的图像进行分析。
可选的，一种基于镜头识别及场景识别的分布式超高清视频识别方法，分析的内容包括：亮度分析、色域分析、对比度分析、有效量化比特数分析、重复帧分析；各维度分析结果分别与各个维度的阈值作比较，得到该镜头的识别结果并反馈给智能任务管理器。
可选的，一种基于镜头识别及场景识别的分布式超高清视频识别方法，不同场景下，阈值取值不同。夜晚场景下亮度的阈值范围相较于白天场景需要调低；慢速运动场景相较于快速运动场景，重复帧识别的容忍度阈值需要调小。
可选的，一种基于镜头识别及场景识别的分布式超高清视频识别方法，同一个镜头里的视频帧要么都是要么都不是超高清图像，例如超过2/3的抽样帧被识别为超高清图像，则认定该镜头为超高清视频。
本发明还提供一种基于镜头识别及场景识别的分布式超高清视频识别系统，该系统包括：
数据共享服务器，用于录入或加入待分析的视频文件；
与数据共享服务器连接的智能任务管理器，用于调取相应的视频文件进行镜头识别、场景识别及超高清视频识别；
与智能任务管理器连接的至少一个镜头识别服务器，用于实现视频文件的镜头识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的多个场景识别服务器，用于实现各单个镜头视频文件的场景识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的视频拆条模块，根据场景识别结构对单个镜头视频文件进行拆条得到相应的单个镜头下的视频；
与智能任务管理器连接的多个超高清视频识服务器，用于实现各单个镜头下的视频的超高清识别，并将识别结果返回至智能任务管理器。
本系统识别过程如下：
1）将视频文件放在共享的文件服务器中，通过智能任务管理器添加任务。
2）智能任务管理器将任务拆分成“镜头识别”、“场景识别”及“超高清视频识别”三个一级子任务。
3）智能任务管理器自动将一级子任务“镜头识别”分配到空闲的镜头识别服务（镜头识别服务可动态扩展）。
4）镜头识别服务识别出所有N个镜头并将镜头的位置信息返回给智能任务管理器。
5）智能任务管理器利用镜头位置信息，将一级子任务“场景识别”拆分成N个二级子任务“单个镜头下的视频场景识别”，并分配给场景识别服务（场景识别服务可动态扩展）。
6）场景识别服务识别出镜头中的场景并打上场景标签然后反馈给智能任务管理器。由于夜晚场景与白天场景互斥，快速运动场景与慢速运动场景互斥，所以每个镜头有且只有两个场景标签，例如：可以是白天场景与快速运动场景，不可能是白天场景与夜晚场景。
7）智能任务管理器利用镜头位置信息及场景标签信息将一级子任务“超高清视频识别”拆分成N个二级子任务“单个镜头下的视频超高清视频识别”，并分配各个超高清视频识别服务（超高清视频识别服务可动态扩展）。
8）超高清视频识别服务从镜头的起始、中间、结束3个位置处分别抽取连续的3帧图像（抽3帧连续图像的目的是为了识别重复帧），对这3x3帧图像（若该镜头视频总帧数小于9帧则选择所有视频帧）做以下分析：
亮度分析；
色域分析；
对比度分析；
有效量化比特数分析；
重复帧分析；
9）把以上5个维度的分析结果分别与各个维度的阈值（不同的场景有不同的阈值）作比较，得到该镜头的识别结果并反馈给智能任务管理器。
智能任务管理器综合所有镜头的识别结果，与一个总体的阈值做比较得到最终识别结果。
以上仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (9)
1.一种基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，包括：
1)将视频文件放在共享的文件服务器中，通过智能任务管理器添加任务；
2)智能任务管理器将任务拆分成镜头识别、场景识别及超高清视频识别三个一级子任务；
3)智能任务管理器自动将镜头识别任务分配到空闲的镜头识别服务器，识别视频文件中的镜头数量N和每一个镜头的位置，并将信息返回至智能任务管理器；
4)智能任务管理器调用N个场景识别服务器分别对视频文件中的单个镜头分别进行场景识别，并打上场景标签然后反馈给智能任务管理器；
5)智能任务管理器调用N个超高清视频识服务器进行超高清识别，并将所有单个镜头下的视频的识别结果返回至智能任务管理器；
6)智能任务管理器根据识别结果与一个总体的阈值做比较得到最终识别结果。
2.根据权利要求1所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，所述场景标签包括白天场景、夜晚场景、快速运动场景和慢速运动场景及其组合。
3.根据权利要求2所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，所述超高清识别是从镜头的起始、中间、结束3个位置处分别抽取连续的3帧以上的图像进行分析。
4.根据权利要求3所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，所述分析的内容包括：亮度分析、色域分析、对比度分析、有效量化比特数分析、重复帧分析；各维度分析结果分别与各个维度的阈值作比较，得到该镜头的识别结果并反馈给智能任务管理器。
5.根据权利要求4所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，不同场景下，所述阈值取值不同。
6.根据权利要求5所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，所述夜晚场景下亮度的阈值范围相较于白天场景需要调低；慢速运动场景相较于快速运动场景，重复帧识别的容忍度阈值需要调小。
7.根据权利要求1所述的基于镜头识别及场景识别的分布式超高清视频识别方法，其特征在于，同一个镜头里的视频帧要么都是要么都不是超高清图像。
8.一种基于镜头识别及场景识别的分布式超高清视频识别系统，用于实现权利要求1-7任一项所述的方法，其特征在于，该系统包括：
数据共享服务器，用于录入或加入待分析的视频文件；
与数据共享服务器连接的智能任务管理器，用于调取相应的视频文件进行镜头识别、场景识别及超高清视频识别；
与智能任务管理器连接的至少一个镜头识别服务器，用于实现视频文件的镜头识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的多个场景识别服务器，用于实现各单个镜头视频文件的场景识别，并将识别结果返回至智能任务管理器；
与智能任务管理器连接的多个超高清视频识服务器，用于实现各单个镜头下的视频的超高清识别，并将识别结果返回至智能任务管理器。
9.根据权利要求8所述的基于镜头识别及场景识别的分布式超高清视频识别系统，其特征在于，系统设置有镜头识别服务器的扩展接口，可增加相应的镜头识别服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175296.2A CN112261440B (zh) | 2020-10-28 | 2020-10-28 | 基于镜头识别及场景识别的分布式超高清视频识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175296.2A CN112261440B (zh) | 2020-10-28 | 2020-10-28 | 基于镜头识别及场景识别的分布式超高清视频识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112261440A CN112261440A (zh) | 2021-01-22 |
| CN112261440B true CN112261440B (zh) | 2022-11-25 |
Family
ID=74262221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011175296.2A Active CN112261440B (zh) | 2020-10-28 | 2020-10-28 | 基于镜头识别及场景识别的分布式超高清视频识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112261440B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204498254U (zh) * | 2015-02-08 | 2015-07-22 | 天津艾思科尔科技有限公司 | 监控场景下基于双目视觉的人脸识别装置 |
| CN107590150A (zh) * | 2016-07-07 | 2018-01-16 | 北京新岸线网络技术有限公司 | 基于关键帧的视频分析实现方法及装置 |
| WO2018112722A1 (zh) * | 2016-12-20 | 2018-06-28 | 深圳中兴力维技术有限公司 | 一种视频巡检方法及其系统 |
| CN110807389A (zh) * | 2019-10-25 | 2020-02-18 | 深圳亿络科技有限公司 | 基于5g传输的大场景视频监控方法、装置以及服务器 |
-
2020
- 2020-10-28 CN CN202011175296.2A patent/CN112261440B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204498254U (zh) * | 2015-02-08 | 2015-07-22 | 天津艾思科尔科技有限公司 | 监控场景下基于双目视觉的人脸识别装置 |
| CN107590150A (zh) * | 2016-07-07 | 2018-01-16 | 北京新岸线网络技术有限公司 | 基于关键帧的视频分析实现方法及装置 |
| WO2018112722A1 (zh) * | 2016-12-20 | 2018-06-28 | 深圳中兴力维技术有限公司 | 一种视频巡检方法及其系统 |
| CN110807389A (zh) * | 2019-10-25 | 2020-02-18 | 深圳亿络科技有限公司 | 基于5g传输的大场景视频监控方法、装置以及服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112261440A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080331B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| CA2906199C (en) | Systems and methods for addressing a media database using distance associative hashing | |
| JP2702647B2 (ja) | 放送セグメントの連続パターン認識装置の使用方法 | |
| CN109769115B (zh) | 一种优化智能视频分析性能的方法、装置和设备 | |
| CN111669612B (zh) | 基于直播的信息投放方法、装置和计算机可读存储介质 | |
| US10057644B1 (en) | Video asset classification | |
| CN110087042B (zh) | 一种实时同步视频流和元数据的人脸抓拍方法及系统 | |
| CN111585684B (zh) | 面向联网监控视频分析的多路摄像头时间对齐方法与系统 | |
| CN107527045A (zh) | 一种面向多路视频的人体行为事件实时分析方法 | |
| US20140099023A1 (en) | Search method for video clip | |
| CN106488257A (zh) | 一种视频文件索引信息的生成方法和设备 | |
| CN112261440B (zh) | 基于镜头识别及场景识别的分布式超高清视频识别方法和系统 | |
| KR101296318B1 (ko) | 적응적 블록 분할에 의한 객체 추적 장치 및 방법 | |
| US10321160B2 (en) | Compressing multiple video files using localized camera meta data | |
| EP2345978B1 (en) | Detection of flash illuminated scenes in video clips and related ranking of video clips | |
| Qi et al. | Gpu-accelerated key frame analysis for face detection in video | |
| Ouyang et al. | The comparison and analysis of extracting video key frame | |
| Tang et al. | Fast background subtraction using improved GMM and graph cut | |
| Song et al. | Aberrance-aware gradient-sensitive attentions for scene recognition with RGB-D videos | |
| GB2612707A (en) | Reducing resources costs in visual recognition | |
| CN116863408B (zh) | 基于监控摄像头ai算法的并行加速和动态调度实现方法 | |
| CN111914625B (zh) | 基于检测器与跟踪器数据关联的多目标车辆跟踪装置 | |
| Lu et al. | Two-step pedestrian searching method based on Lab color space | |
| Kovačev et al. | Parallelization of the mixture of gaussians model for motion detection on the GPU | |
| CN107480617B (zh) | 一种肤色检测自适应单位分析方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |