CN107979778A - 一种视频分析方法、装置及系统 - Google Patents
一种视频分析方法、装置及系统 Download PDFInfo
- Publication number
- CN107979778A CN107979778A CN201610940794.9A CN201610940794A CN107979778A CN 107979778 A CN107979778 A CN 107979778A CN 201610940794 A CN201610940794 A CN 201610940794A CN 107979778 A CN107979778 A CN 107979778A
- Authority
- CN
- China
- Prior art keywords
- frame
- heterogeneous processor
- target picture
- analysis
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 311
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 32
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种视频分析方法、装置及系统,所述方法包括:获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;针对所确定的目标图片帧,生成至少一个帧分析指令;将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。应用本发明实施例,实现对视频进行快速分析。
Description
技术领域
本发明涉及视频处理技术领域,特别是涉及一种视频分析方法、装置及系统。
背景技术
目前,在监控领域,需要对监控采集的视频进行分析,并根据分析结果执行某些特定的操作,例如:报警操作。举例而言:在家庭监控系统中,需要对摄像头所采集到的视频进行分析,以分析所采集到的视频是否出现陌生面孔,如果是,则向用户发送警示信息,提示用户在监控范围内出现陌生人。当然,除了监控领域外,越来越多的领域也需要对视频进行分析。
现有技术中,通常采用单组中央处理器(Central Processing Unit,CPU)+图形处理器(Graphics Processing Unit,GPU)异构处理器模式对视频进行处理。而随着网络和摄像技术等的快速发展,视频数据变得越来越丰富,无疑导致如下问题:单组中央处理器CPU+图形处理器GPU异构处理器模式的处理性能无法满足人们对大量视频进行快速分析的需求。
因此,如何对视频进行快速分析,成为亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供一种视频分析方法、装置及系统,以实现对视频进行快速分析。
第一方面,本发明实施例提供了一种视频分析方法,所述方法可以包括:
获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
针对所确定的目标图片帧,生成至少一个帧分析指令;
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
可选地,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,可以包括:
确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
将所确定的目标图片帧均发送给各个异构处理器组;
根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
可选地,所述帧分析指令携带有特征分析方式信息;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,可以包括:
将所确定的目标图片帧分为至少两组图片帧组;
确定各个图片帧组与至少两个异构处理器组的第二映射关系;
根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
将所确定的帧分析指令发送给各个异构处理器组。
可选地,所述将所确定的目标图片帧分为至少两组图片帧组,可以包括:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
可选地,所述确定各个图片帧组与至少两个异构处理器组的第二映射关系,可以包括:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
可选地,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
所述将所确定的帧分析指令发送给各个异构处理器组,可以包括:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
可选地,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,可以包括:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
可选地,本发明实施例提供的视频分析方法,还可以包括:
接收所述至少两个异构处理器组反馈的分析结果;
对所述分析结果进行融合处理。
第二方面,本发明实施例提供了一种视频分析装置,所述装置包括:
获取单元,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
生成单元,用于针对所确定的目标图片帧,生成至少一个帧分析指令;
发送单元,用于将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
可选地,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述发送单元可以包括:
第一确定子单元,用于确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
第一发送子单元,用于将所确定的目标图片帧均发送给各个异构处理器组;
第二发送子单元,用于根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
可选地,所述帧分析指令携带有特征分析方式信息;
所述发送单元可以包括:
分组子单元,用于将所确定的目标图片帧分为至少两组图片帧组;
第二确定子单元,用于确定各个图片帧组与至少两个异构处理器组的第二映射关系;
第三发送子单元,用于根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
第四发送子单元,用于将所确定的帧分析指令发送给各个异构处理器组。
可选地,所述分组子单元具体用于:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
可选地,所述第二确定子单元具体用于:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
可选地,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
第四发送子单元具体用于:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
可选地,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述发送单元具体用于:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
可选地,本发明实施例提供的视频分析装置,还可以包括:
接收单元,用于接收所述至少两个异构处理器组反馈的分析结果;
融合单元,用于对所述分析结果进行融合处理。
第三方面,本发明实施例提供了一种视频分析系统,所述系统包括第一处理器和至少两组异构处理器组;
所述第一处理器,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;针对所确定的目标图片帧,生成至少一个帧分析指令;将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组;
每个异构处理器组,用于根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
在本发明实施例中,在获取目标视频后,确定所述目标视频中的至少两帧目标图片帧,并生成至少一个针对所述目标图片帧的帧分析指令;将所确定的各个目标图片帧和所述帧分析指令发送给各个异构处理器组,使得各个异构处理器根据所接收到的帧分析指令,分别对不同的目标图片帧进行处理,提高了对目标视频的分析速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频分析方法流程图;
图2为本发明实施例提供的一种视频分析方法示意图;
图3为本发明实施例提供的一种视频分析装置结构框图;
图4为本发明实施例提供的一种视频分析系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例提供了一种视频分析方法、装置及系统。
下面首先对本发明实施例提供的视频分析方法进行介绍。
需要说明的是,该视频分析方法的执行主体可以是能够对视频进行分析的智能手机、智能电视、电脑和视频监控器等设备,当然并不局限于此。
如图1所示,本发明实施例提供的视频分析方法,所述方法可以包括如下步骤:
S101:获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
其中,在接收到对目标视频进行分析的指令时,获取所述待分析的目标视频,并确定所述目标视频中待分析的至少两帧目标图片帧。
可以理解的是,可以从执行所述视频分析方法的设备(例如电脑)的本地硬盘中获得所述目标视频,也可以通过网络获取所述目标视频,这都是合理的。其中,所述目标视频可以是一段固定大小的录像,也可以是从视频监控设备获得的一帧帧的图片帧。
S102:针对所确定的目标图片帧,生成至少一个帧分析指令;
其中,在确定待分析的至少两帧目标图片帧后,生成针对所述目标图片帧的帧分析指令。其中,所生成的帧分析指令可以是一个,也可以是多个,这都是合理的。
S103:将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
可以理解的是,在确定待分析的目标图片帧,以及针对所述目标图片帧的帧分析指令后,一种实现方式中,可以将所确定的目标图片帧均发送给至少两个异构处理器组,再根据帧分析指令和各个异构处理器组的第一映射关系,将帧分析指令发送给不同的异构处理器组,使得任意两个异构处理器组所分析的目标图片帧不同。
另一种实现方式中,可以将所确定的部分目标图片帧对应发送给所述至少两个异构处理器组,其中,所发送到各个异构处理器组的目标图片帧不相同,再将所生成帧分析指令发送给各个异构处理器组,进而实现任意两个异构处理器组所分析的目标图片帧不同。
需要说明的是,所述异构处理器组是指包含不同类型处理器的设备。其中,任意一个异构处理器组中可以包括中央处理器CPU,也可以同时包括中央处理器CPU和数据处理器。其中,数据处理器包括但并不局限于图形处理器GPU、现场可编程门阵列FPGA和数字信号处理器DSP。
在本发明实施例中,在获取目标视频后,确定所述目标视频中的至少两帧目标图片帧,并生成至少一个针对所述目标图片帧的帧分析指令;将所确定的各个目标图片帧和所述帧分析指令发送给各个异构处理器组,使得各个异构处理器根据所接收到的帧分析指令,分别对不同的目标图片帧进行处理,提高了对目标视频的分析速度。
下面对本发明实施例提供的一种视频分析方法进行说明。
其中,将所确定的目标图片帧均发送给至少两个异构处理器组所对应的一个具体实施例包括:
所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,包括:
确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
将所确定的目标图片帧均发送给各个异构处理器组;
根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
可以理解的是,在该种实现方式中,所生成的帧分析指令中除了携带有特征分析方式信息外,还携带有待分析的目标图片帧的标识信息。因此,可以将所确定的目标图片帧,均发送给所确定的各个异构处理器组;并根据预先确定的帧分析指令与至少两个异构处理器组的第一映射关系,将帧分析指令对应发送给各个异构处理器组,以供各个异构处理器组分别对不同的目标图片帧进行处理。
举例而言,从目标视频A中确定的目标图片帧为:图片1-9;所确定的第一映射关系为:(异构处理器组A,帧分析指令a)、(异构处理器组B,帧分析指令b)和(异构处理器组C,帧分析指令c),其中,帧分析指令a、帧分析指令b和帧分析指令c所携带的待分析的目标图片帧的标识信息互不相同。
其中,发送操作为:将所述图片1-9均发送给异构处理器组A、B和C,并根据第一映射关系,并将帧分析指令a发送给异构处理器组A;将帧分析指令b发送给异构处理器组B;将帧分析指令c发送给异构处理器组C。其中,
所生成的帧分析指令a所携带的待分析的目标图片帧的标识信息为1-3,特征分析方式信息为:分析标识信息为1-3的目标图片帧中的车牌号和车所在区域框。
帧分析指令b所携带的待分析的目标图片帧的标识信息为4-6,特征分析方式为:分析标识信息为4-6的目标图片帧中的车牌号和车所在区域框。
帧分析指令c所携带的待分析的目标图片帧的标识信息为7-9,特征分析方式信息为:分析标识信息为7-9的目标图片帧中的车牌号和车所在区域框。
其中,车所在区域框可理解为根据车所在范围所确定的矩形框。
因此,异构处理器组A可以对所接收到的图片1-9中标识信息为1-3的目标图片帧的车牌号和车所在区域框进行分析;异构处理器组B可以对所接收到的图片1-9中标识信息为4-6的目标图片帧的车牌号和车所在区域框进行分析;异构处理器组C可以对所接收到的图片1-9中标识信息为7-9的目标图片帧的车牌号和车所在区域框进行分析,使得各个异构处理器组可以同时处理不同的目标图片帧,分工明确,提高了处理所述目标视频的速度。
另外,当异构处理器组A、B和C分析得到相应的车牌号后,异构处理器组A、B和C可将分析结果发送到第一处理器,以供所述第一处理器对所述分析结果进行融合处理。其中,所述第一处理器可基于异构处理器组A、B和C的分析结果,获得车牌号信息;并根据图片1-9中所标注的时间戳,以及车所在的区域框,确定车的行驶轨迹。
需要说明的是,为了实现对处理器的充分利用,该第一处理器可以是预设的异构处理器组中的一个处理器,此时该预设的异构处理器组可自己生成针对自身的帧分析指令;为了实现更明确的处理器分工和更快的处理,该第一处理器也可以是不属于该异构处理器组中的一个独立的处理器,这都是合理的。
下面对本发明实施例提供的另一种视频分析方法进行说明。
其中,将所确定的部分目标图片帧对应发送给所述至少两个异构处理器组所对应的一个具体实施例进行说明。
由于将所确定的各个目标图片帧均发送给各个异构处理器组,需要耗费较多的带宽,且需要耗费较多的时间,因此,可以将所确定的目标图片帧分为至少两组图片帧组;确定各个图片帧组与至少两个异构处理器组的第二映射关系;根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;将所确定的帧分析指令发送给各个异构处理器组。
可以理解的是,该种实现方式中,先将各个目标图片帧进行分组,获得至少两组图片帧组,其中,任意两组图片帧组所包含的目标图片帧不同。再将各个图片帧组分别发送到对应的异构处理器组,使得只需要向各个异构处理器组发送部分目标图片帧,降低了带宽或者接口的吞吐资源的消耗,且缩短了发送目标图片帧至各个异构处理器组的时间,从而进一步提高了分析所述目标视频的速度。
需要说明的是,该种实现方式中,可以仅生成一个帧分析指令,当仅生成一个帧分析指令时,该帧分析指令只需携带有特征分析方式信息;将该帧分析指令发送给所述至少两个异构处理器组;根据所确定的各个图片帧组与至少两个异构处理器组的第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组。
这样,各个异构处理器组在接收到帧分析指令,和所要分析的目标图片帧后,利用该帧分析指令对所接收到的目标图片帧进行特征分析,使得各个异构处理器组分别对不同的目标图片帧进行分析,提高了分析所述目标视频的速度。
当然,也可以生成多个帧分析指令,该种情况下,所述帧分析指令还携带有待分析的目标图片帧的标识信息。相应地,将所确定的帧分析指令发送给各个异构处理器组的发送方式可以为:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
可以理解的是,当所述帧分析指令携带有待分析的目标图片帧的标识信息时,所述帧分析指令只能分析所述标识信息所对应的目标图片帧。因此需要将该帧分析指令,与该帧分析指令所要分析的目标图片帧,发送到同一个异构处理器组,以对所述目标图片帧进行特征分析。因此,需要根据所述帧分析指令所携带的标识信息,确定待分析的目标图片所在的图片帧组;并根据第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
其中,可以根据所确定的目标图片帧的数量,或时间戳信息,或帧号信息,将所确定的目标图片帧分为至少两组图片帧组,当然并不局限于此。
示例一,当所确定的目标图片帧的数量为2时,将所确定的目标图片帧分为2组,每组图片帧组中包括一帧目标图片帧;当所确定的目标图片帧的数量量为9时,可以分为3组图片帧,每组图片帧组中包括三帧目标图片帧,当然并不局限于此。其中,也可以结合异构处理器组的数量,对所确定的目标图片帧进行分组。
示例二,可以根据所确定的目标图片帧的时间戳或帧号信息,确定各个目标图片帧的排序。例如,基于所述排序,可以将排序序号为奇数的目标图片帧分为一组,将排序序号为偶数的目标图片帧分为一组,当然并不局限于该种分组方式。
另外,可以根据所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
其中,本领域技术人员可以理解的是,所述处理性能可以为各个异构处理器组中的处理器的使用率。例如,异构处理器组A和异构处理器组B的处理器的总处理能力一致,但是异构处理器组A的处理器使用率为90%,异构处理器组B的处理器使用率为50%。则建立包含较多目标图片帧的图片帧组与所述异构处理器组B的映射关系,建立包含较少目标图片帧的图片帧组与所述异构处理器组A的映射关系。
可选地,在一种实现方式中,每个异构处理器组至少包括中央处理器CPU;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,包括:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU。
可以理解的是,在该种实现方式中,每个异构处理器中都包括至少一个中央处理器CPU。此时可以将各个目标图片帧和所述帧分析指令发送给每个异构处理器中的CPU。每个CPU在接收到目标图片帧和对应的帧分析指令后,可以利用所接收到的帧分析指令分析帧分析指令所指示的目标图片帧。
可选地,在每个异构处理器组至少包括CPU的前提下,每个异构处理器组还可以包括数据处理器;此时,在一种实现方式中,每个异构处理器组中的CPU,将所接收到的帧分析指令和目标图片帧发送给本组内的数据处理器。
可以理解的是,在异构处理器组包括CPU和数据处理器的情况下,每个CPU在接收到目标图片帧和帧分析指令后,可以根据预设分配规则,将所接收的图片帧分配给本组内的数据处理器进行处理。
可选地,在每个异构处理器组包括CPU和数据处理器时,在另一种实现方式中,
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
可以理解的是,在该种实现方式中,CPU和数据处理器在接收到目标图片帧,以及对应的帧分析指令后,CPU和数据处理器可以进行分工合作,即CPU和数据处理器根据所接收的帧分析指令处理不重复的目标图片帧,提高分析所述目标视频的效率。
下面结合图2对本发明实施提供的视频分析方法做进一步说明。
如图2所示,第一处理器可以通过网络从视频数据源获取目标视频,并利用该第一处理器确定所述目标视频中的(S+N)帧目标图片帧。其中,异构系统中可以包括N(N≥2)个异构处理器组,每个异构处理器组中至少包括CPU、GPU和FPGA等处理器,各个异构处理器组之间建立有通信。
例如:第一处理器将所述(N+S)帧视频帧均发送给各个异构处理器组,并生成N条帧分析指令,并将第一帧分析指令发送给异构处理器组1;……;将第N帧分析指令发送给异构处理器组N。其中,第一帧分析指令指示分析第一帧目标图片帧和第S帧目标图片帧;第二帧分析指令指示分析第二帧目标图片帧和第S-1帧目标图片帧;……;第N帧分析指令指示分析第N帧目标图片帧和第S-(N-1)帧目标图片帧。
各个异构处理器组在接收(N+S)帧图片以及所对应的帧分析指令后,利用所对应的帧分析指令对帧分析指令所指示的目标图片帧进行特征分析,得到分析结果,并将分析结果输出。其中,可以将各个分析结果输出至第一处理器。即第一处理器可以接收该N个异构处理器组所输出的分析结果,并对该分析结果进行合并。
相应于上述方法实施例,本发明实施例还提供了视频分析装置。下面对本发明实施例提供的视频分析装置进行介绍。
如图3所示,本发明实施例还提供了一种视频分析装置,所述装置可以包括:
获取单元301,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
生成单元302,用于针对所确定的目标图片帧,生成至少一个帧分析指令;
发送单元303,用于将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
可选地,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述发送单元303包括:
第一确定子单元,用于确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
第一发送子单元,用于将所确定的目标图片帧均发送给各个异构处理器组;
第二发送子单元,用于根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
可选地,所述帧分析指令携带有特征分析方式信息;
所述发送单元303包括:
分组子单元,用于将所确定的目标图片帧分为至少两组图片帧组;
第二确定子单元,用于确定各个图片帧组与至少两个异构处理器组的第二映射关系;
第三发送子单元,用于根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
第四发送子单元,用于将所确定的帧分析指令发送给各个异构处理器组。
可选地,所述分组子单元具体用于:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
可选地,所述第二确定子单元具体用于:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
可选地,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
第四发送子单元具体用于:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
可选地,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述发送单元303具体用于:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
可选地,还包括:
接收单元,用于接收所述至少两个异构处理器组反馈的分析结果;
融合单元,用于对所述分析结果进行融合处理。
相应于上述方法和装置实施例,本发明还提供了一种视频分析系统,如图4所示,该系统包括第一处理器和至少两组异构处理器组,例如,可以包括异构处理器组1至异构处理器组N,N≥2;
所述第一处理器,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;针对所确定的目标图片帧,生成至少一个帧分析指令;将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组;
每个异构处理器组,用于根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
在本发明实施例中,第一处理器在获取目标视频后,确定所述目标视频中的至少两帧目标图片帧,并生成至少一个针对所述目标图片帧的帧分析指令;将所确定的各个目标图片帧和所述帧分析指令发送给各个异构处理器组。各个异构处理器根据所接收到的帧分析指令,分别对不同的目标图片帧进行特征分析,提高了对目标视频的分析速度。
可选地,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述第一处理器将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组的步骤包括:
确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
将所确定的目标图片帧均发送给各个异构处理器组;
根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组;
相应地,所述各个异构处理器组用于根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
可选地,所述帧分析指令携带有特征分析方式信息;
所述第一处理器将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组的操作包括:
将所确定的目标图片帧分为至少两组图片帧组;
确定各个图片帧组与至少两个异构处理器组的第二映射关系;
根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
将所确定的帧分析指令发送给各个异构处理器组。
可选地,所述第一处理器将所确定的目标图片帧分为至少两组图片帧组的操作包括:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
可选地,所述第一处理器确定各个图片帧组与至少两个异构处理器组的第二映射关系的步骤包括:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
可选地,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
所述第一处理器将所确定的帧分析指令发送给各个异构处理器组的步骤包括:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
可选地,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述第一处理器将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组的步骤包括:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
可选地,所述第一处理器还用于:
接收所述至少两个异构处理器组反馈的分析结果;
对所述分析结果进行融合处理。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (17)
1.一种视频分析方法,其特征在于,所述方法包括:
获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
针对所确定的目标图片帧,生成至少一个帧分析指令;
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
2.根据权利要求1所述的方法,其特征在于,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,包括:
确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
将所确定的目标图片帧均发送给各个异构处理器组;
根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
3.根据权利要求1所述的方法,其特征在于,所述帧分析指令携带有特征分析方式信息;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,包括:
将所确定的目标图片帧分为至少两组图片帧组;
确定各个图片帧组与至少两个异构处理器组的第二映射关系;
根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
将所确定的帧分析指令发送给各个异构处理器组。
4.根据权利要求3所述的方法,其特征在于,所述将所确定的目标图片帧分为至少两组图片帧组,包括:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
5.根据权利要求3或4所述的方法,其特征在于,所述确定各个图片帧组与至少两个异构处理器组的第二映射关系,包括:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
6.根据权利要求3或4所述的方法,其特征在于,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
所述将所确定的帧分析指令发送给各个异构处理器组,包括:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
7.根据权利要求1所述的方法,其特征在于,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,包括:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
8.根据权利要求1所述的方法,其特征在于,还包括:
接收所述至少两个异构处理器组反馈的分析结果;
对所述分析结果进行融合处理。
9.一种视频分析装置,其特征在于,所述装置包括:
获取单元,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;
生成单元,用于针对所确定的目标图片帧,生成至少一个帧分析指令;
发送单元,用于将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
10.根据权利要求9所述的装置,其特征在于,所述帧分析指令携带有待分析的目标图片帧的标识信息和特征分析方式信息;
所述发送单元包括:
第一确定子单元,用于确定所生成的帧分析指令与至少两个异构处理器组的第一映射关系;
第一发送子单元,用于将所确定的目标图片帧均发送给各个异构处理器组;
第二发送子单元,用于根据所述第一映射关系,将所生成的帧分析指令发送给各个异构处理器组,以供各个异构处理器组根据接收到的帧分析指令,对该帧分析指令所携带的标识信息所对应的目标图片帧进行特征分析,得到分析结果。
11.根据权利要求9所述的装置,其特征在于,所述帧分析指令携带有特征分析方式信息;
所述发送单元包括:
分组子单元,用于将所确定的目标图片帧分为至少两组图片帧组;
第二确定子单元,用于确定各个图片帧组与至少两个异构处理器组的第二映射关系;
第三发送子单元,用于根据第二映射关系,将各个图片帧组中的目标图片帧发送给对应的异构处理器组;
第四发送子单元,用于将所确定的帧分析指令发送给各个异构处理器组。
12.根据权利要求11所述的装置,其特征在于,所述分组子单元具体用于:
根据所确定的目标图片帧的数量或时间戳信息或帧号信息,将所确定的目标图片帧分为至少两组图片帧组。
13.根据权利要求11或12所述的装置,其特征在于,所述第二确定子单元具体用于:
基于所述各个异构处理器组的处理性能,确定各个图片帧组与至少两个异构处理器组的第二映射关系。
14.根据权利要求11或12所述的装置,其特征在于,所述帧分析指令还携带有待分析的目标图片帧的标识信息;
第四发送子单元具体用于:
基于所述帧分析指令所携带的标识信息,确定所述帧分析指令待分析的目标图片帧所在的图片帧组;
根据所述第二映射关系,将所述帧分析指令发送给该图片帧组所对应的异构处理器组。
15.根据权利要求9所述的装置,其特征在于,每个异构处理器组至少包括中央处理器CPU和数据处理器;
所述发送单元具体用于:
将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组中的CPU和数据处理器。
16.根据权利要求9所述的装置,其特征在于,还包括:
接收单元,用于接收所述至少两个异构处理器组反馈的分析结果;
融合单元,用于对所述分析结果进行融合处理。
17.一种视频分析系统,其特征在于,所述系统包括:第一处理器和至少两个异构处理器组;
所述第一处理器,用于获取目标视频,从所述目标视频中确定出至少两帧目标图片帧;针对所确定的目标图片帧,生成至少一个帧分析指令;将各个目标图片帧和所述帧分析指令,发送给至少两个异构处理器组;
每个异构处理器组,用于根据接收到的帧分析指令,对所接收到的目标图片帧进行特征分析,得到分析结果;其中,任意两个异构处理器组所执行特征分析的目标图片帧不同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610940794.9A CN107979778B (zh) | 2016-10-25 | 2016-10-25 | 一种视频分析方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610940794.9A CN107979778B (zh) | 2016-10-25 | 2016-10-25 | 一种视频分析方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107979778A true CN107979778A (zh) | 2018-05-01 |
CN107979778B CN107979778B (zh) | 2020-04-17 |
Family
ID=62004148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610940794.9A Active CN107979778B (zh) | 2016-10-25 | 2016-10-25 | 一种视频分析方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107979778B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293554A (ja) * | 2004-03-08 | 2005-10-20 | Seiko Epson Corp | 画像における主要被写体の決定 |
CN101047693A (zh) * | 2006-03-27 | 2007-10-03 | 精工爱普生株式会社 | 利用数据通信的装置控制 |
CN102468899A (zh) * | 2010-11-08 | 2012-05-23 | 普华基础软件股份有限公司 | 通道化stm-1接入分发方法与系统 |
CN102625144A (zh) * | 2011-11-28 | 2012-08-01 | 苏州奇可思信息科技有限公司 | 基于局域网云网络的并行视频处理方法 |
CN102834808A (zh) * | 2010-03-04 | 2012-12-19 | Ati科技无限责任公司 | 使用多个处理器处理视频和/或图形数据而不丢失状态信息的方法、系统及装置 |
CN102902819A (zh) * | 2012-10-30 | 2013-01-30 | 浙江宇视科技有限公司 | 一种视频智能分析方法及装置 |
CN103020275A (zh) * | 2012-12-28 | 2013-04-03 | 苏州千视通信科技有限公司 | 基于视频摘要、视频检索的视频分析方法 |
US20140184623A1 (en) * | 2012-12-28 | 2014-07-03 | Qualcomm Incorporated | REORDERING OF COMMAND STREAMS FOR GRAPHICAL PROCESSING UNITS (GPUs) |
CN104284057A (zh) * | 2013-07-05 | 2015-01-14 | 浙江大华技术股份有限公司 | 一种视频处理方法及装置 |
US20150199788A1 (en) * | 2012-04-12 | 2015-07-16 | Google Inc. | Accelerating graphical rendering through legacy graphics compilation |
CN105357570A (zh) * | 2015-11-03 | 2016-02-24 | 上海熙菱信息技术有限公司 | 一种基于帧分析的视频流分析方法及系统 |
CN105554591A (zh) * | 2015-12-02 | 2016-05-04 | 蓝海大数据科技有限公司 | 视频分析方法和设备 |
CN105578129A (zh) * | 2015-12-14 | 2016-05-11 | 谭焕玲 | 一种多路多画面视频拼接装置 |
CN105827976A (zh) * | 2016-04-26 | 2016-08-03 | 北京博瑞空间科技发展有限公司 | 基于gpu的视频采集与处理装置及系统 |
-
2016
- 2016-10-25 CN CN201610940794.9A patent/CN107979778B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293554A (ja) * | 2004-03-08 | 2005-10-20 | Seiko Epson Corp | 画像における主要被写体の決定 |
CN101047693A (zh) * | 2006-03-27 | 2007-10-03 | 精工爱普生株式会社 | 利用数据通信的装置控制 |
CN102834808A (zh) * | 2010-03-04 | 2012-12-19 | Ati科技无限责任公司 | 使用多个处理器处理视频和/或图形数据而不丢失状态信息的方法、系统及装置 |
CN102468899A (zh) * | 2010-11-08 | 2012-05-23 | 普华基础软件股份有限公司 | 通道化stm-1接入分发方法与系统 |
CN102625144A (zh) * | 2011-11-28 | 2012-08-01 | 苏州奇可思信息科技有限公司 | 基于局域网云网络的并行视频处理方法 |
US20150199788A1 (en) * | 2012-04-12 | 2015-07-16 | Google Inc. | Accelerating graphical rendering through legacy graphics compilation |
CN102902819A (zh) * | 2012-10-30 | 2013-01-30 | 浙江宇视科技有限公司 | 一种视频智能分析方法及装置 |
CN103020275A (zh) * | 2012-12-28 | 2013-04-03 | 苏州千视通信科技有限公司 | 基于视频摘要、视频检索的视频分析方法 |
US20140184623A1 (en) * | 2012-12-28 | 2014-07-03 | Qualcomm Incorporated | REORDERING OF COMMAND STREAMS FOR GRAPHICAL PROCESSING UNITS (GPUs) |
CN104284057A (zh) * | 2013-07-05 | 2015-01-14 | 浙江大华技术股份有限公司 | 一种视频处理方法及装置 |
CN105357570A (zh) * | 2015-11-03 | 2016-02-24 | 上海熙菱信息技术有限公司 | 一种基于帧分析的视频流分析方法及系统 |
CN105554591A (zh) * | 2015-12-02 | 2016-05-04 | 蓝海大数据科技有限公司 | 视频分析方法和设备 |
CN105578129A (zh) * | 2015-12-14 | 2016-05-11 | 谭焕玲 | 一种多路多画面视频拼接装置 |
CN105827976A (zh) * | 2016-04-26 | 2016-08-03 | 北京博瑞空间科技发展有限公司 | 基于gpu的视频采集与处理装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107979778B (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977922B (zh) | 一种图像分析方法、装置及系统 | |
CN108062499B (zh) | 一种人脸识别的方法、系统及平台 | |
EP2724343B1 (en) | Video remixing system | |
JP7273975B2 (ja) | データ処理の方法、装置、機器及び記憶媒体 | |
CN105468513B (zh) | 一种基于移动终端的测试方法、装置及系统 | |
WO2021051589A1 (zh) | 数据存储方法、装置、电子设备及存储介质 | |
CN110784644A (zh) | 图像处理方法及装置 | |
CN113329139B (zh) | 视频流处理方法、装置及计算机可读存储介质 | |
CN112040090A (zh) | 视频流处理方法、装置、电子设备和存储介质 | |
CN104410799B (zh) | 一种分布式技审的方法 | |
CN111581560A (zh) | 页面显示方法、装置、电子设备及存储介质 | |
CN114125400A (zh) | 一种多通道视频分析方法及装置 | |
CN117793454A (zh) | 视频流处理方法、装置、电子设备及存储介质 | |
WO2019218147A1 (zh) | 一种监控视频的传输方法、装置及设备 | |
CN107979778B (zh) | 一种视频分析方法、装置及系统 | |
CN114125485B (zh) | 图像处理方法、装置、设备及介质 | |
CN109874036B (zh) | 一种视频分析方法及装置、设备、存储介质 | |
Peng et al. | Tangram: High-resolution Video Analytics on Serverless Platform with SLO-aware Batching | |
CN110991312A (zh) | 生成检测信息的方法、装置、电子设备和介质 | |
CN111818300B (zh) | 一种数据存储、查询方法、装置、计算机设备及存储介质 | |
CN111757178B (zh) | 视频生成方法、装置、电子设备和计算机可读介质 | |
CN117424936B (zh) | 一种视频边缘网关自主调度监控方法、装置、设备及介质 | |
CN115643558B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111258670B (zh) | 组件数据的管理方法、装置、电子设备和存储介质 | |
CN115952315B (zh) | 校园监控视频存储方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |