CN109033264A - 视频分析方法及装置、电子设备和存储介质 - Google Patents

视频分析方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN109033264A
CN109033264A CN201810744775.8A CN201810744775A CN109033264A CN 109033264 A CN109033264 A CN 109033264A CN 201810744775 A CN201810744775 A CN 201810744775A CN 109033264 A CN109033264 A CN 109033264A
Authority
CN
China
Prior art keywords
target
video
specified
video frame
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810744775.8A
Other languages
English (en)
Other versions
CN109033264B (zh
Inventor
王青
张帅
刘恒
颜铭佳
王娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810744775.8A priority Critical patent/CN109033264B/zh
Publication of CN109033264A publication Critical patent/CN109033264A/zh
Application granted granted Critical
Publication of CN109033264B publication Critical patent/CN109033264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及视频分析方法及装置、电子设备和存储介质。该方法包括:对视频进行目标识别,确定所述视频中包含指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息;根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合;根据所述目标集合中所述指定目标在所述视频帧中的坐标信息,从所述视频帧中截取所述指定目标所在区域,得到包含所述指定目标的目标图像;获取针对所述目标图像的片段展示请求;根据所述片段展示请求,确定所述目标图像所属的视频片段;输出所述目标图像所属的视频片段。本公开有助于多个工作人员对视频进行协同分析,能够提高视频分析效率。

Description

视频分析方法及装置、电子设备和存储介质
技术领域
本公开涉及视频处理技术领域,尤其涉及一种视频分析方法及装置、电子设备和存储介质。
背景技术
随着智慧城市、平安城市的深入,公共安全视频平台已逐渐完善。海量的视频让监控中心以及刑侦工作变得更加繁重,因此,通常需要多个工作人员协同进行视频分析。例如,刑侦工作常常面临时间紧、任务重的问题,需要多个工作人员同时进行视频分析与排查工作。工作人员越多,则协同工作越为重要。对于跨区域的案件,有可能需要不同区域的工作人员协同工作。因此,需要提出一种便于协同工作的视频分析方法。
发明内容
有鉴于此,本公开提出了一种视频分析技术方案。
根据本公开的一方面,提供了一种视频分析方法,包括:
对视频进行目标识别,确定所述视频中包含指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息;
根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合;
根据所述目标集合中所述指定目标在所述视频帧中的坐标信息,从所述视频帧中截取所述指定目标所在区域,得到包含所述指定目标的目标图像;
获取针对所述目标图像的片段展示请求;
根据所述片段展示请求,确定所述目标图像所属的视频片段;
输出所述目标图像所属的视频片段。
在一种可能的实现方式中,所述指定目标包括指定对象和/或指定属性的对象。
在一种可能的实现方式中,根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合,包括:
根据包含所述指定目标的视频帧的编号,以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合。
在一种可能的实现方式中,确定所述目标图像所属的视频片段,包括:
确定所述目标图像所属的视频帧;
根据所述视频中所述目标图像所属的视频帧之前的A个视频帧、所述目标图像所属的视频帧和所述目标图像所属的视频帧之后的B个视频帧中的一项或多项,确定所述目标图像所属的视频片段,其中,A和B均为正整数。
在一种可能的实现方式中,确定所述目标图像所属的视频片段,包括:
确定所述目标图像所属的视频帧;
根据所述目标集合中所述目标图像所属的视频帧之前的C个视频帧、所述目标图像所属的视频帧和所述目标图像所属的视频帧之后的D个视频帧中的一项或多项,确定所述目标图像所属的视频片段,其中,C和D均为正整数。
在一种可能的实现方式中,在确定所述目标图像所属的视频片段之后,在输出所述目标图像所属的视频片段之前,所述方法还包括:
在所述目标图像所属的视频片段的视频帧中标记所述指定目标。
在一种可能的实现方式中,在输出所述目标图像所属的视频片段之后,所述方法还包括:
获取针对所述指定目标的关键目标标记请求;
根据所述关键目标标记请求,在所述视频中将所述指定目标标记为关键目标。
在一种可能的实现方式中,在所述视频中将所述指定目标标记为关键目标之后,所述方法还包括:
将所述指定目标加入关键目标列表中。
在一种可能的实现方式中,在得到包含所述指定目标的目标图像之后,所述方法还包括:
获取针对所述目标图像的大图展示请求;
根据所述大图展示请求,输出放大的目标图像,并输出所述指定目标的属性信息。
根据本公开的另一方面,提供了一种视频分析装置,包括:
第一确定模块,用于对视频进行目标识别,确定所述视频中包含指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息;
第二确定模块,用于根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合;
截取模块,用于根据所述目标集合中所述指定目标在所述视频帧中的坐标信息,从所述视频帧中截取所述指定目标所在区域,得到包含所述指定目标的目标图像;
第一获取模块,用于获取针对所述目标图像的片段展示请求;
第三确定模块,用于根据所述片段展示请求,确定所述目标图像所属的视频片段;
第一输出模块,用于输出所述目标图像所属的视频片段。
在一种可能的实现方式中,所述指定目标包括指定对象和/或指定属性的对象。
在一种可能的实现方式中,所述第二确定模块用于:
根据包含所述指定目标的视频帧的编号,以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合。
在一种可能的实现方式中,所述第三确定模块包括:
第一确定子模块,用于确定所述目标图像所属的视频帧;
第二确定子模块,用于根据所述视频中所述目标图像所属的视频帧之前的A个视频帧、所述目标图像所属的视频帧和所述目标图像所属的视频帧之后的B个视频帧中的一项或多项,确定所述目标图像所属的视频片段,其中,A和B均为正整数。
在一种可能的实现方式中,所述第三确定模块包括:
第一确定子模块,用于确定所述目标图像所属的视频帧;
第三确定子模块,用于根据所述目标集合中所述目标图像所属的视频帧之前的C个视频帧、所述目标图像所属的视频帧和所述目标图像所属的视频帧之后的D个视频帧中的一项或多项,确定所述目标图像所属的视频片段,其中,C和D均为正整数。
在一种可能的实现方式中,所述装置还包括:
第一标记模块,用于在所述目标图像所属的视频片段的视频帧中标记所述指定目标。
在一种可能的实现方式中,所述装置还包括:
第二获取模块,用于获取针对所述指定目标的关键目标标记请求;
第二标记模块,用于根据所述关键目标标记请求,在所述视频中将所述指定目标标记为关键目标。
在一种可能的实现方式中,所述装置还包括:
加入模块,用于将所述指定目标加入关键目标列表中。
在一种可能的实现方式中,所述装置还包括:
第三获取模块,用于获取针对所述目标图像的大图展示请求;
第二输出模块,用于根据所述大图展示请求,输出放大的目标图像,并输出所述指定目标的属性信息。
根据本公开的另一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述方法。
根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。
本公开的各方面的视频分析方法及装置通过对视频进行目标识别,得到指定目标对应的一个或多个目标集合,在获取到针对目标集合中的目标图像的片段展示请求后,输出目标图像所属的视频片段,由此基于不同目标对视频进行结构化处理,得到指定目标对应的目标集合,从而有助于多个工作人员对视频进行协同分析,能够提高视频分析效率。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开一实施例的视频分析方法的流程图。
图2示出根据本公开一实施例的视频分析方法步骤S15中确定目标图像所属的视频片段的一示例性的流程图。
图3示出根据本公开一实施例的视频分析方法步骤S15中确定目标图像所属的视频片段的另一示例性的流程图。
图4示出根据本公开一实施例的视频分析方法的一示例性的流程图。
图5示出根据本公开一实施例的视频分析方法的另一示例性的流程图。
图6示出根据本公开一实施例的视频分析方法的另一示例性的流程图。
图7示出根据本公开一实施例的视频分析方法的另一示例性的流程图。
图8示出根据本公开一实施例的视频分析装置的框图。
图9示出根据本公开一实施例的视频分析装置的一示例性的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开一实施例的视频分析方法的流程图。该方法可以应用于服务器或者终端设备中。如图1所示,该方法包括步骤S11至步骤S16。
在步骤S11中,对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
在本公开实施例中,可以识别视频的每个视频帧中是否包含指定目标,从而确定视频中包含指定目标的视频帧。对于包含指定目标的视频帧,可以识别指定目标在该视频帧中的位置,从而获取指定目标在该视频帧中的坐标信息。
在一种可能的实现方式中,在对视频进行目标识别之前,该方法还可以包括:创建第一案件,并获取第一案件对应的视频。其中,第一案件可以指需要进行处理的案件。
在一种可能的实现方式中,指定目标包括指定对象和/或指定属性的对象。
在该实现方式中,指定对象可以指指定的某一人物或者指定的某一车辆等。
在该实现方式中,指定属性可以指根据视频分析需求确定的属性。例如,指定属性可以为行人、机动车、非机动车、人骑车、穿指定颜色的上衣的行人、指定品牌的机动车、指定颜色的非机动车、指定车牌号的机动车或者指定人物等。例如,当指定属性为行人时,可以对视频的各个视频帧进行行人识别,确定视频中包含行人的视频帧,并确定行人在视频帧中的坐标信息。又如,当指定属性为指定车牌号的机动车时,可以对视频的各个视频帧进行车牌号识别,确定包含指定车牌号的机动车的视频帧,并确定包含指定车牌号的机动车在视频帧中的坐标信息。
在一种可能的实现方式中,可以采用深度学习框架对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
在一种可能的实现方式中,若多个视频由同一拍摄设备拍摄得到,且该多个视频的拍摄时间连续,则可以将该多个视频进行合并。本公开实施例不对视频的视频格式进行限定。
在一种可能的实现方式中,可以将视频分割为多个视频片段,对各个视频片段分别进行目标识别,确定各个视频片段中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
作为该实现方式的一个示例,可以将视频平均分割为多个视频片段。
作为该实现方式的另一个示例,可以按照预设的第一时长,将视频分割为多个时长为第一时长的视频片段。在该示例中,最后一个视频片段的时长可以小于第一时长。
作为该实现方式的一个示例,可以通过不同的视频分析装置并行地对不同的视频片段分别进行目标识别,从而能够提高视频分析的速度。
作为该实现方式的一个示例,视频分析装置可以将视频片段划分为多个子片段,通过不同的显卡并行地对各个子片段进行目标视频,从而能够提高视频分析的速度。
在步骤S12中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
本公开实施例根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合,能够大大减小工作人员进行目标排查的视频帧范围,提高研判速度。
在一种可能的实现方式中,在视频中识别出的包含指定目标的视频帧的数量达到阈值时,可以根据这些识别出的视频帧以及指定目标在这些视频帧中的坐标信息,得到一个目标集合。在该实现方式中,各个目标集合涉及的视频帧数量小于或等于阈值。例如,阈值等于N,N为正整数,则可以在视频中识别出N个包含指定目标的视频帧时,根据该N个包含指定目标的视频帧以及指定目标在该N个视频帧中的坐标信息,得到一个目标集合。当对视频的所有视频帧均识别完成,且包含指定目标的视频帧中未归至目标集合的视频帧数量未达到阈值时,可以根据剩下的包含指定目标的视频帧以及指定目标在这些视频帧中的坐标信息得到一个目标集合。从而,每个目标集合中的视频帧的数量均小于或等于阈值。
该实现方式通过对包含指定目标的视频帧进行分组,得到一个或多个目标集合,由此不同的工作人员可以获取不同的目标集合进行分析,有利于多个工作人员进行协同工作,且有利于跨区域的协同工作。另外,通过对包含指定目标的视频帧进行分组,得到一个或多个目标集合,还有利于单个工作人员管理工作进度,避免工作被打断之后难以找到上一次分析的视频帧位置。
在一种可能的实现方式中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合,包括:根据包含指定目标的视频帧的编号,以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。其中,视频帧的编号表示视频帧在视频中的编号。
在另一种可能的实现方式中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合,包括:根据包含指定目标的视频帧,以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。即,在该实现方式中,直接将包含指定目标的视频帧放入指定目标对应的目标集合中。
在步骤S13中,根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像。
在一种可能的实现方式中,指定目标在视频帧中的坐标信息,可以包括指定目标在视频帧中的坐标范围,例如,可以包括指定目标所在区域在该视频帧中的四个顶点的坐标。
在步骤S14中,获取针对目标图像的片段展示请求。
在一种可能的实现方式中,在本公开实施例的执行主体为服务器的情况下,服务器可以获取来自于终端设备的针对目标图像的片段展示请求。在该实现方式中,终端设备在检测到针对目标图像的片段展示请求时,可以向服务器发送针对目标图像的片段展示请求。
在另一种可能的实现方式中,在本公开实施例的执行主体为终端设备的情况下,终端设备可以获取用户输入的针对目标图像的片段展示请求。
在步骤S15中,根据片段展示请求,确定目标图像所属的视频片段。
在本公开实施例中,可以根据目标图像所属的视频帧在视频或者目标集合中的位置,确定目标图像所属的视频片段。
在步骤S16中,输出目标图像所属的视频片段。
在一种可能的实现方式中,在本公开实施例的执行主体为服务器的情况下,服务器可以向终端设备返回目标图像所属的视频片段。服务器向终端设备返回目标图像所属的视频片段之后,终端设备可以根据预设的播放速度播放该视频片段。
在另一种可能的实现方式中,在本公开实施例的执行主体为终端设备的情况下,终端设备可以播放目标图像所属的视频片段。
本公开实施例通过对视频进行目标识别,得到指定目标对应的一个或多个目标集合,在获取到针对目标集合中的目标图像的片段展示请求后,输出目标图像所属的视频片段,由此基于不同目标对视频进行结构化处理,得到指定目标对应的目标集合,从而有助于多个工作人员对视频进行协同分析,能够提高视频分析效率。
图2示出根据本公开一实施例的视频分析方法步骤S15中确定目标图像所属的视频片段的一示例性的流程图。如图2所示,步骤S15可以包括步骤S151和步骤S152。
在步骤S151中,确定目标图像所属的视频帧。
在步骤S152中,根据视频中目标图像所属的视频帧之前的A个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的B个视频帧中的一项或多项,确定目标图像所属的视频片段,其中,A和B均为正整数。
例如,A和B均等于10。
在一种可能的实现方式中,可以根据视频中目标图像所属的视频帧之前的A个视频帧和目标图像所属的视频帧,确定目标图像所属的视频片段。
在另一种可能的实现方式中,可以根据目标图像所属的视频帧和视频中目标图像所属的视频帧之后的B个视频帧,确定目标图像所属的视频片段。
在一种可能的实现方式中,可以根据视频中目标图像所属的视频帧之前的A个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的B个视频帧,确定目标图像所属的视频片段。
图3示出根据本公开一实施例的视频分析方法步骤S15中确定目标图像所属的视频片段的另一示例性的流程图。如图3所示,步骤S15可以包括步骤S153和步骤S154。
在步骤S153中,确定目标图像所属的视频帧。
在步骤S154中,根据目标集合中目标图像所属的视频帧之前的C个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的D个视频帧中的一项或多项,确定目标图像所属的视频片段,其中,C和D均为正整数。
例如,C和D均等于10。
在一种可能的实现方式中,可以根据目标集合中目标图像所属的视频帧之前的C个视频帧和目标图像所属的视频帧,确定目标图像所属的视频片段。
在另一种可能的实现方式中,可以根据目标图像所属的视频帧和目标集合中目标图像所属的视频帧之后的D个视频帧,确定目标图像所属的视频片段。
在另一种可能的实现方式中,可以根据目标集合中目标图像所属的视频帧之前的C个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的D个视频帧,确定目标图像所属的视频片段。
图4示出根据本公开一实施例的视频分析方法的一示例性的流程图。如图4所示,该方法可以包括步骤S21至步骤S27。
在步骤S21中,对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
其中,对步骤S21参见上文对步骤S11的描述。
在步骤S22中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
其中,对步骤S22参见上文对步骤S12的描述。
在步骤S23中,根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像。
其中,对步骤S23参见上文对步骤S13的描述。
在步骤S24中,获取针对目标图像的片段展示请求。
其中,对步骤S24参见上文对步骤S14的描述。
在步骤S25中,根据片段展示请求,确定目标图像所属的视频片段。
其中,对步骤S25参见上文对步骤S15的描述。
在步骤S26中,在目标图像所属的视频片段的视频帧中标记指定目标。
在一种可能的实现方式中,可以在目标图像所属的视频片段的视频帧中标记指定目标的属性信息。例如,可以在目标图像所属的视频片段的视频帧中指定目标的附近标记指定目标的属性信息。
本公开实施例通过在目标图像所属的视频片段的视频帧中标记指定目标,能够方便工作人员查看目标图像所属的视频片段时快速找到指定目标。
在步骤S27中,输出目标图像所属的视频片段。
其中,对步骤S27参见上文对步骤S16的描述。
图5示出根据本公开一实施例的视频分析方法的另一示例性的流程图。如图5所示,该方法可以包括步骤S11至步骤S18。
在步骤S11中,对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
在步骤S12中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
在步骤S13中,根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像。
在步骤S14中,获取针对目标图像的片段展示请求。
在步骤S15中,根据片段展示请求,确定目标图像所属的视频片段。
在步骤S16中,输出目标图像所属的视频片段。
在步骤S17中,获取针对指定目标的关键目标标记请求。
在一种可能的实现方式中,在本公开实施例的执行主体为服务器的情况下,服务器可以获取来自于终端设备的针对指定目标的关键目标标记请求。
在另一种可能的实现方式中,在本公开实施例的执行主体为终端设备的情况下,终端设备可以获取用户输入的针对指定目标的关键目标标记请求。
在步骤S18中,根据关键目标标记请求,在视频中将指定目标标记为关键目标。
在一种可能的实现方式中,可以根据关键目标标记请求,在视频的所有视频帧中将指定目标标记为关键目标。
本公开实施例通过获取针对指定目标的关键目标标记请求,并根据关键目标标记请求,在视频中将指定目标标记为关键目标,由此有助于所有协同工作的工作人员从视频帧中快速找到指定目标。
图6示出根据本公开一实施例的视频分析方法的另一示例性的流程图。如图6所示,该方法可以包括步骤S11至步骤S19。
在步骤S11中,对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
在步骤S12中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
在步骤S13中,根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像。
在步骤S14中,获取针对目标图像的片段展示请求。
在步骤S15中,根据片段展示请求,确定目标图像所属的视频片段。
在步骤S16中,输出目标图像所属的视频片段。
在步骤S17中,获取针对指定目标的关键目标标记请求。
在步骤S18中,根据关键目标标记请求,在视频中将指定目标标记为关键目标。
在步骤S19中,将指定目标加入关键目标列表中。
在本公开实施例中,通过将标记为关键目标的目标加入关键目标列表中,可以使所有协同工作的工作人员通过关键目标列表查看关键目标。例如,该关键目标列表可以为嫌疑人目标列表,通过将嫌疑人目标加入嫌疑人目标列表中,可以使所有协同工作的工作人员通过嫌疑人目标列表快速查看嫌疑人。
图7示出根据本公开一实施例的视频分析方法的另一示例性的流程图。如图7所示,该方法可以包括步骤S31至步骤S38。
在步骤S31中,对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息。
在步骤S32中,根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
在步骤S33中,根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像。
在步骤S34中,获取针对目标图像的片段展示请求。
在步骤S35中,根据片段展示请求,确定目标图像所属的视频片段。
在步骤S36中,输出目标图像所属的视频片段。
在步骤S37中,获取针对目标图像的大图展示请求。
在步骤S38中,根据大图展示请求,输出放大的目标图像,并输出指定目标的属性信息。
在一种可能的实现方式中,可以在放大的目标图像的附近输出指定目标的属性信息。例如,可以在放大的目标图像的右侧输出指定目标的属性信息。
本公开实施例通过输出指定目标的属性信息,能够方便工作人员查看放大的目标图像时快速获知指定目标的属性信息。
在一种可能的实现方式中,该方法还可以包括:确定指定目标在包含指定目标的各个视频帧中的位置;根据指定目标在包含指定目标的各个视频帧中的位置,确定指定目标的运动轨迹。该实现方式在确定指定目标的运动轨迹之后,可以输出指定目标的运动轨迹,例如,可以将指定目标的运动轨迹发送给终端设备,以方便工作人员对指定目标的运动轨迹进行分析。
在一种可能的实现方式中,该方法还可以包括:获取搜索请求,确定该搜索请求对应的搜索条件;根据搜索条件搜索目标图像集合。例如,搜索条件可以为拍摄时间、上衣颜色、上衣类型、下衣颜色、下衣类型、头盔颜色、车颜色、车类型和车品牌等中的一项或多项。基于该实现方式,可以根据嫌疑人的人物特征确定搜索条件,从而获得嫌疑人对应的目标图像集合。
在一种可能的实现方式中,该方法还可以包括:获取搜索请求对应的查询图像;搜索与该查询图像匹配的视频帧集合和/或目标集合。其中,与查询图像匹配的视频帧可以指与查询图像包含同一对象的视频帧,或者,与查询图像匹配的视频帧可以指对查询图像包含同一属性的对象的视频帧;与查询图像匹配的目标图像可以指与查询图像包含同一对象的目标图像,或者,与查询图像匹配的目标图像可以指对查询图像包含同一属性的对象的目标图像。
在一种可能的实现方式中,该方法还可以包括:获取针对第一对象的取消标记属性请求;根据针对第一对象的取消标记属性请求,取消标记第一对象的属性信息。该实现方式通过根据针对第一对象的取消标记属性请求,取消标记第一对象的属性信息,由此能够对属性标记错误的对象的属性进行修改,并可以通过收集错误标记属性的信息来以提高识别算法的精确度。
图8示出根据本公开一实施例的视频分析装置的框图。如图8所示,该装置包括:第一确定模块401,用于对视频进行目标识别,确定视频中包含指定目标的视频帧以及指定目标在视频帧中的坐标信息;第二确定模块402,用于根据包含指定目标的视频帧以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合;截取模块403,用于根据目标集合中指定目标在视频帧中的坐标信息,从视频帧中截取指定目标所在区域,得到包含指定目标的目标图像;第一获取模块404,用于获取针对目标图像的片段展示请求;第三确定模块405,用于根据片段展示请求,确定目标图像所属的视频片段;第一输出模块406,用于输出目标图像所属的视频片段。
在一种可能的实现方式中,指定目标包括指定对象和/或指定属性的对象。
在一种可能的实现方式中,第二确定模块402用于:根据包含指定目标的视频帧的编号,以及指定目标在视频帧中的坐标信息,得到指定目标对应的一个或多个目标集合。
图9示出根据本公开一实施例的视频分析装置的一示例性的框图。如图9所示:
在一种可能的实现方式中,第三确定模块405包括:第一确定子模块4051,用于确定目标图像所属的视频帧;第二确定子模块4052,用于根据视频中目标图像所属的视频帧之前的A个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的B个视频帧中的一项或多项,确定目标图像所属的视频片段,其中,A和B均为正整数。
在一种可能的实现方式中,第三确定模块405包括:第一确定子模块4051,用于确定目标图像所属的视频帧;第三确定子模块4053,用于根据目标集合中目标图像所属的视频帧之前的C个视频帧、目标图像所属的视频帧和目标图像所属的视频帧之后的D个视频帧中的一项或多项,确定目标图像所属的视频片段,其中,C和D均为正整数。
在一种可能的实现方式中,该装置还包括:第一标记模块407,用于在目标图像所属的视频片段的视频帧中标记指定目标。
在一种可能的实现方式中,该装置还包括:第二获取模块408,用于获取针对指定目标的关键目标标记请求;第二标记模块409,用于根据关键目标标记请求,在视频中将指定目标标记为关键目标。
在一种可能的实现方式中,该装置还包括:加入模块410,用于将指定目标加入关键目标列表中。
在一种可能的实现方式中,该装置还包括:第三获取模块411,用于获取针对目标图像的大图展示请求;第二输出模块412,用于根据大图展示请求,输出放大的目标图像,并输出指定目标的属性信息。
本公开实施例通过对视频进行目标识别,得到指定目标对应的一个或多个目标集合,在获取到针对目标集合中的目标图像的片段展示请求后,输出目标图像所属的视频片段,由此基于不同目标对视频进行结构化处理,得到指定目标对应的目标集合,从而有助于多个工作人员对视频进行协同分析,能够提高视频分析效率。
图10是根据一示例性实施例示出的一种电子设备的框图。例如,装置1900可以被提供为一服务器。参照图10,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种视频分析方法,其特征在于,包括:
对视频进行目标识别,确定所述视频中包含指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息;
根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合;
根据所述目标集合中所述指定目标在所述视频帧中的坐标信息,从所述视频帧中截取所述指定目标所在区域,得到包含所述指定目标的目标图像;
获取针对所述目标图像的片段展示请求;
根据所述片段展示请求,确定所述目标图像所属的视频片段;
输出所述目标图像所属的视频片段。
2.根据权利要求1所述的方法,其特征在于,在确定所述目标图像所属的视频片段之后,在输出所述目标图像所属的视频片段之前,所述方法还包括:
在所述目标图像所属的视频片段的视频帧中标记所述指定目标。
3.根据权利要求1或2所述的方法,其特征在于,在输出所述目标图像所属的视频片段之后,所述方法还包括:
获取针对所述指定目标的关键目标标记请求;
根据所述关键目标标记请求,在所述视频中将所述指定目标标记为关键目标。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,在得到包含所述指定目标的目标图像之后,所述方法还包括:
获取针对所述目标图像的大图展示请求;
根据所述大图展示请求,输出放大的目标图像,并输出所述指定目标的属性信息。
5.一种视频分析装置,其特征在于,包括:
第一确定模块,用于对视频进行目标识别,确定所述视频中包含指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息;
第二确定模块,用于根据包含所述指定目标的视频帧以及所述指定目标在所述视频帧中的坐标信息,得到所述指定目标对应的一个或多个目标集合;
截取模块,用于根据所述目标集合中所述指定目标在所述视频帧中的坐标信息,从所述视频帧中截取所述指定目标所在区域,得到包含所述指定目标的目标图像;
第一获取模块,用于获取针对所述目标图像的片段展示请求;
第三确定模块,用于根据所述片段展示请求,确定所述目标图像所属的视频片段;
第一输出模块,用于输出所述目标图像所属的视频片段。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第一标记模块,用于在所述目标图像所属的视频片段的视频帧中标记所述指定目标。
7.根据权利要求5或6所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取针对所述指定目标的关键目标标记请求;
第二标记模块,用于根据所述关键目标标记请求,在所述视频中将所述指定目标标记为关键目标。
8.根据权利要求5至7中任意一项所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取针对所述目标图像的大图展示请求;
第二输出模块,用于根据所述大图展示请求,输出放大的目标图像,并输出所述指定目标的属性信息。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至4中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
CN201810744775.8A 2018-07-09 2018-07-09 视频分析方法及装置、电子设备和存储介质 Active CN109033264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810744775.8A CN109033264B (zh) 2018-07-09 2018-07-09 视频分析方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810744775.8A CN109033264B (zh) 2018-07-09 2018-07-09 视频分析方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109033264A true CN109033264A (zh) 2018-12-18
CN109033264B CN109033264B (zh) 2021-05-25

Family

ID=64641649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810744775.8A Active CN109033264B (zh) 2018-07-09 2018-07-09 视频分析方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN109033264B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886234A (zh) * 2019-02-28 2019-06-14 苏州科达科技股份有限公司 目标检测方法、装置、系统、电子设备、存储介质
CN113065018A (zh) * 2021-04-13 2021-07-02 杭州海康威视数字技术股份有限公司 一种音视频的索引库创建和检索方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945171A (zh) * 2013-01-17 2014-07-23 上海快视信息技术有限公司 一种刑侦视频分析系统及方法
US8917222B2 (en) * 2010-12-27 2014-12-23 Panasonic Liquid Crystal Display Co., Ltd. Display device and video viewing system
CN106504270A (zh) * 2016-11-08 2017-03-15 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
CN106529406A (zh) * 2016-09-30 2017-03-22 广州华多网络科技有限公司 一种获取视频摘要图像的方法和装置
CN107333071A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 视频处理方法、装置、电子设备及存储介质
CN107358146A (zh) * 2017-05-22 2017-11-17 深圳云天励飞技术有限公司 视频处理方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917222B2 (en) * 2010-12-27 2014-12-23 Panasonic Liquid Crystal Display Co., Ltd. Display device and video viewing system
CN103945171A (zh) * 2013-01-17 2014-07-23 上海快视信息技术有限公司 一种刑侦视频分析系统及方法
CN106529406A (zh) * 2016-09-30 2017-03-22 广州华多网络科技有限公司 一种获取视频摘要图像的方法和装置
CN106504270A (zh) * 2016-11-08 2017-03-15 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
CN107358146A (zh) * 2017-05-22 2017-11-17 深圳云天励飞技术有限公司 视频处理方法、装置及存储介质
CN107333071A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 视频处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886234A (zh) * 2019-02-28 2019-06-14 苏州科达科技股份有限公司 目标检测方法、装置、系统、电子设备、存储介质
CN109886234B (zh) * 2019-02-28 2021-06-22 苏州科达科技股份有限公司 目标检测方法、装置、系统、电子设备、存储介质
CN113065018A (zh) * 2021-04-13 2021-07-02 杭州海康威视数字技术股份有限公司 一种音视频的索引库创建和检索方法、装置及电子设备

Also Published As

Publication number Publication date
CN109033264B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN109325148A (zh) 生成信息的方法和装置
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
CN110309353A (zh) 视频索引方法及装置
CN108141645A (zh) 具有成对深度排序的视频重点检测
CN109829433A (zh) 人脸图像识别方法、装置、电子设备及存储介质
CN109800744A (zh) 图像聚类方法及装置、电子设备和存储介质
US20210319062A1 (en) Method and apparatus for searching video segment, device, and medium
WO2021253510A1 (zh) 基于双向交互网络的行人搜索方法、系统、装置
CN112116008B (zh) 基于智能决策的目标检测模型的处理方法、及其相关设备
CN108062416B (zh) 用于在地图上生成标签的方法和装置
CN108717520A (zh) 一种行人重识别方法及装置
US10101971B1 (en) Hardware device based software verification
CN108491825A (zh) 信息生成方法和装置
CN108415653A (zh) 用于终端设备的锁屏方法和装置
CN109874054A (zh) 一种广告推荐方法及装置
CN109979531A (zh) 一种基因变异识别方法、装置和存储介质
CN107846408A (zh) 基于云平台的身份认证系统及方法
CN109033264A (zh) 视频分析方法及装置、电子设备和存储介质
CN109977735A (zh) 运动精彩片段的提取方法及装置
CN107426610A (zh) 视频信息同步方法及装置
CN109064464B (zh) 用于检测电池极片毛刺的方法和装置
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
CN109117770A (zh) 面部动画采集方法、装置及终端设备
CN116152576B (zh) 图像处理方法、装置、设备及存储介质
US10002288B2 (en) Facial identification techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant