CN112019928B - 一种视频回放方法、装置及电子设备 - Google Patents

一种视频回放方法、装置及电子设备 Download PDF

Info

Publication number
CN112019928B
CN112019928B CN201910464461.7A CN201910464461A CN112019928B CN 112019928 B CN112019928 B CN 112019928B CN 201910464461 A CN201910464461 A CN 201910464461A CN 112019928 B CN112019928 B CN 112019928B
Authority
CN
China
Prior art keywords
human body
body model
video
target
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910464461.7A
Other languages
English (en)
Other versions
CN112019928A (zh
Inventor
彭洋运
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910464461.7A priority Critical patent/CN112019928B/zh
Priority to PCT/CN2020/091757 priority patent/WO2020238789A1/zh
Publication of CN112019928A publication Critical patent/CN112019928A/zh
Application granted granted Critical
Publication of CN112019928B publication Critical patent/CN112019928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种视频回放方法、装置及电子设备。该方法包括:获得待回放的目标人员的人体图像;基于目标人员的人体图像,确定目标人员对应的目标人体模型;在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项;其中,人体模型库的每个人体模型记录项中包括:从监控视频中检测到的一人员在监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段;播放所确定的各个待回放的视频片段。与现有技术相比,应用本发明实施例提供的方案,可以实现有效确定与指定人员相关的视频片段。

Description

一种视频回放方法、装置及电子设备
技术领域
本发明涉及安防监控技术领域,特别是涉及一种视频回放方法、装置及电子设备。
背景技术
为了保证公共安全,很多场所中都设置有监控设备,监控设备将该场所内发生的事件进行实时拍摄,并通过通信连接的电子设备对拍摄得到的监控视频进行存储。
这样,针对场所中出现异常事件或者异常人员等情况,用户便可以通过回放所存储的监控视频来查看当时该场所内的各个对象的活动情况,从而确定当时该场所内的具体状况。例如,有些监控视频在拍摄到场所内发生异常事件或出现异常人员时,可以发出报警信号并记录报警时间,这样,用户便可以通过回放监控设备所记录的报警时间对应的监控视频来查看场所内出现的状况。
然而,当需要回放与某个人员相关的视频内容时,由于无法准确给定该人员出现的时间点或时间范围,因此,利用相关技术,无法保证所检索到的视频片段即为与该人员相关的视频内容。可见,如何有效确定与指定人员相关的视频片段,是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种视频回放方法、装置及电子设备,以实现有效确定与指定人员相关的视频片段。具体技术方案如下:
第一方面,本发明实施例提供了一种视频回放方法,所述方法包括:
获得待回放的目标人员的人体图像;
基于所述目标人员的人体图像,确定所述目标人员对应的目标人体模型,其中,所述目标人体模型为表征所述目标人员的至少一个特征数据的数据内容;
在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;其中,所述人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在所述监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段;
播放所确定的各个待回放的视频片段。
可选的,一种具体实现方式中,所述人体模型库的各个人体模型记录项的生成方式,包括:
获取所述监控视频,并对所述监控视频进行人员检测;
针对检测到的每一人员,从所述监控视频中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在所述监控视频中开始出现时的时间点和该人员的人体模型,生成所述人体模型库中的一个人体模型记录项。
可选的,一种具体实现方式中,所述在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项的步骤,包括:
计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度;
针对所述人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;
其中,所述人体模型包括至少一个特征数据;
所述计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度的步骤,包括:
针对所述人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度;其中,所述目标数据为:所述目标人体模型所包括的特征数据的数量;
或者,
针对所述人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
可选的,一种具体实现方式中,所述基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段的步骤,包括:
针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在所述监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
或者,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与所述目标人员对应的人员在所述监控视频中的消失时间。
第二方面,本发明实施例提供了一种视频回放装置,所述装置包括:
图像获得模块,用于获得待回放的目标人员的人体图像;
模型确定模块,用于基于所述目标人员的人体图像,确定所述目标人员对应的目标人体模型,其中,所述目标人体模型为表征所述目标人员的至少一个特征数据的数据内容;
记录项检索模块,用于在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;其中,所述人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在所述监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
视频确定模块,用于基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段;
视频播放模块,用于播放所确定的各个待回放的视频片段。
可选的,一种具体实现方式中,所述装置还包括:
模型库生成模块,用于生成人体模型库的各个人体模型记录项;
所述模型库生成模块,包括:
视频获取子模块,用于获取所述监控视频,并对所述监控视频进行人员检测;
记录项生成子模块,用于针对检测到的每一人员,从所述监控视频中,从检测到该人员开始出现的视频帧中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在所述监控视频中开始出现时的时间点和该人员的人体模型,生成所述人体模型库中的一个人体模型记录项。
可选的,一种具体实现方式中,所述表项检索模块包括:
匹配度计算子模块,用于计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度;
记录项检索子模块,用于针对所述人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;
其中,所述人体模型包括至少一个特征数据;
所述匹配度计算子模块具体用于:
针对所述人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度;其中,所述目标数据为:所述目标人体模型所包括的特征数据的数量;
或者,
针对所述人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
可选的,一种具体实现方式中,所述视频确定模块具体用于:
针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在所述监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
或者,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与所述目标人员对应的人员在所述监控视频中的消失时间。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的一种视频回放方法中任一所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的一种视频回放方法中任一所述的方法步骤。
以上可见,应用本发明实施例提供的方案,可以对获取到的监控视频进行人员检测,从而预先构建人体模型库。这样,针对目标人员,便可以在人体模型库中检索所包括的人体模型与目标人员对应的目标人体模型匹配的目标人体模型记录项,从而基于检索得到的目标人体模型记录项中所包括的时间点,在监控视频中确定并播放各个待回放的视频片段。其中,由于检索得到的目标人体模型记录项中所包括的时间点为从监控视频中检测到该目标人员在监控视频中开始出现时的时间点,因此,根据上述时间点进行视频片段确定可以保证检索到的视频片段即为于目标人员相关的视频片段。基于此,应用本发明实施例提供的方案,当需要回放与某个人员相关的视频内容时,可以有效确定与制定人员相关的视频片段。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频回放方法的流程示意图;
图2为本发明实施例提供的一种人体模型库中各个人体模型记录项的生成方式的流程示意图;
图3为本发明实施例提供的一种视频回放装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
当前,针对场所中出现异常事件或者异常人员等情况,用户便可以通过回放所存储的监控视频来查看当时该场所内的各个对象的活动情况,从而确定当时该场所内的具体状况。然而,当需要回放与某个人员相关的视频内容时,由于无法准确给定该人员出现的时间点或时间范围,因此,利用相关技术,无法保证所检索到的视频片段即为与该人员相关的视频内容。可见,如何有效确定与指定人员相关的视频片段,是一个亟待解决的问题。为了解决上述技术问题,本发明实施例提供了一种视频回放方法。
下面,首先对本发明实施例提供的一种视频回放方法进行介绍。
图1为本发明实施例提供的一种视频回放方法的流程示意图。
其中,该方法可以应用于任一需要进行视频回放的电子设备,例如,笔记本电脑、台式电脑、DVR(Digital Video Recorder,硬盘录像机)、NVR(Network Video Recorder,网络硬盘录像机)、XVR(X Video Recorder,X硬盘录像机) 等。其中,在XVR中,X表示多种前端接入,例如,模拟标清前端、同轴高清前端、网络前端等。对此,本发明实施例不做具体限定,以下简称电子设备。
在本发明实施例中,电子设备中可以存储有监控设备拍摄到的监控视频,以及根据基于所存储的监控设备构建的人体模型库。其中,该人体模型库可以是以数据表的形式存储的,且该数据表的每一表项为一人体模型记录项,也可以是以数据文件的形式存储的,且该数据文件中记录有多个人体模型记录项。当然,该人体模型库还可以是以其他任一能够记录多个人体模型记录项的形式存储的。此外,该人体模型库可以是电子设备在获取监控视频后,通过对监控视频的分析在本地生成的,也可以是电子设备从其他通信连接的电子设备中获取的。这都是合理的。
其中,上述DVR、NVR和XVR可以统称为后端存储设备,是一种能够对图像和视频进行存储及分析的智能设备。对于后端存储设备,该设备可以再获取到监控视频后,对监控视频进行分析,从而在本地生成人体模型库。
如图1所示,本发明实施例提供的一种视频回放方法可以包括如下步骤:
S101:获得待回放的目标人员的人体图像;
当用户想要回放监控视频中与某个人员相关的视频内容时,则该人员即为待回放的目标人员。那么,针对该待回放的目标人员,在确定监控视频中与该目标人员相关的视频片段时,电子设备可以首先获取该目标人员的人体图像。
其中,在上述步骤S101中,电子设备可以通过多种方式获得待回放的目标人员的人体图像。
可选的,一种具体实现方式中,由于电子设备可以与其他电子设备进行通信连接,那么,电子设备便可以接收其他电子设备发送的待回放的目标人员的人体图像。
可选的,另一种具体实现方式中,当给定时间点或时间范围时,用户可以在电子设备上按照所给定的时间点或时间范围回放电子设备所存储的监控视频。这样,当用户确定所回放的视频内容中的某个人员为待回放的目标人员时,用户便可以在所回放的监控视频的视频帧中选中该人员的人体图像。进而,电子设备在检测到用户所发出的上述选中操作时,便可以将用户所选中的人体图像确定为待回放的目标人员的人体图像,从而,获得待回放的目标人员的人体图像。
其中,在本具体实现方式中,上述用户所发出的选中操作可以是针对电子设备显示屏中的人体图像的点选操作,例如,用户使用手指在电子设备的触摸屏中点选人体图像,或者,用户使用鼠标在电子设备的显示屏中点选人体图像等。也可以针对电子设备显示屏中的人体图像的框选操作,所谓框选操作是指用户通过移动显示屏中的光标,使光标的移动路径形成一个包围在人体图像周围的闭合图形,例如,用户使用手指在电子设备的触摸屏中画一个围绕人体图像的圆形,或者,用户移动鼠标使得光标随着鼠标移动,在电子设备的显示屏中围绕人体图像形成圆形的移动路径等。当然,上述用户所发出的选中操作也可以有其他方式,对此,本发明实施例不做具体限定。
可选的,再一种具体实现方式中,电子设备可以实时获取并显示监控设备所拍摄的监控视频,从而,用户可以实时观看到电子设备中所存储的监控视频。这样,在观看过程中,当用户确定所观看到的视频内容中的某个人员为目标人员时,用户便可以在所观看的监控视频的视频帧中选中该人员的人体图像。进而,电子设备在检测到用户所发出的上述选中操作时,便可以将用户所选中的人体图像确定为待回放的目标人员的人体图像,从而,获得待回放的目标人员的人体图像
其中,在本具体实现方式中,用户所发出的选中操作的具体内容与上一种具体实现方式中用户所发出的选中操作的具体内容相同,在此不再赘述。
S102:基于目标人员的人体图像,确定目标人员对应的目标人体模型,其中,目标人体模型为表征目标人员的至少一个特征数据的数据内容;
在获得待回放的目标人员的人体图像后,电子设备便可以基于该目标人员的人体图像,确定该目标人员对应的目标人体模型。
具体的,电子设备可以利用人体识别算法对所得到的目标人员的人体图像进行识别,获得该目标人员的至少一个特征数据,进而,根据上述特征数据确定该目标人员对应的目标人体模型。其中,所得到的目标人员对应的目标人体模型即为表征目标人员的至少一个特征数据的数据内容。
其中,上述人体识别算法可以是任一种能够基于目标人员的人体图像,确定目标人员对应的目标人体模型的算法。例如,深度学习的图像分类算法等。
可选的,一种具体实现方式中,电子设备中可以包括智能处理系统。其中,所谓智能处理系统是一种集成了智能芯片和智能算法,能够对图像和视频进行分析,并获取目标对象的特征数据和模型的智能分析系统。这样,在本具体实现方式中,在获得目标人员的人体图像后,电子设备便可以通过该智能处理系统所包括的人体识别算法对该人体图像进行分析,从而得到该目标人员对应的目标人体模型。
此外,可选的,上述得到的目标人员的至少一个特征数据可以包括以下特征数据中的至少一个:性别、发型、体型、脸型、是否有背包、是否戴眼镜、是否戴口罩和是否戴帽子。当然,目标人员的特征数据还可以包括除上述特征数据外的其他特征数据,这都是合理的。
可选的,一种具体实现方式中,上述目标人体模型可以是目标人员的至少一个特征数据的集合,即该目标人体模型可以包括该目标人员的至少一个特征数据。
例如,得到的目标人员的至少一个特征数据为:性别为女性、发型为齐耳短发、体型为瘦长、脸型为瓜子脸、没有戴眼镜。进而,可以确定目标人员的目标人体模型为:女、齐耳短发、瘦长、瓜子脸、无眼镜。
可选的,另一种具体实现方式中,上述目标人体模型可以是对目标人员的至少一个特征数据进行数据整合后,得到的一个模型数据。其中,该模型数据可以为一个模型向量。
例如,得到的目标人员的至少一个特征数据为:性别为女性、发型为齐耳短发、体型为瘦长、脸型为瓜子脸、没有戴眼镜。其中,根据预设的模型向量的生成规则,特征数据性别对应模型向量第一个元素,且女性对应的元素值为 1;特征数据发型对应模型向量的第二个元素,且齐耳短发对应的元素值为1;特征数据体型对应模型向量的第三个元素,且瘦长对应的元素值为3;特征数据脸型对应模型向量的第四个元素,且瓜子脸对应的元素值为2;特征数据是否戴眼镜对应模型向量的第五个元素,且无眼镜对应的元素值为0。基于此,便可以确定目标人体模型的模型数据为:模型向量[1,1,3,2,0]。
S103:在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项;
其中,人体模型库中每个人体模型记录项中包括:从监控视频中检测到的一人员在监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型。
具体的,电子设备在获取监控视频后,便可以对该监控视频进行人员检测,从而针对检测得到的每一人员,确定从监控视频中检测到的该人员开始出现时的时间点,并从该监控视频中提取该人员的人体图像,再基于所提取到的人体图像确定所检测到的人员的人体模型。进而,针对检测到的每一人员,电子设备便可以将确定的该人员对应的开始出现时间点和人体模型生成一个人体模型记录项,并将该人体模型记录项写入到人体模型库。
这样,针对所获取的监控视频,电子设备便可以预先生成一个人体模型库,且该人体模型库包括关于在上述监控视频中,检测到的每一人员对应的开始出现时间点和人体模型的人体模型记录项。
其中,针对同一个人员,由于监控设备在不同时间点拍摄到的该人员的人体图像可以是不同的,例如,该人员换了发型,或者,该人员有时候携带背包,有时候不携带背包。因此,在该人员每次出现时,电子设备所确定的该人员开始出现时的时间点和对应的人体模型可以是不同的。
此外,针对同一人员,即使监控设备在不同时间点拍摄到的该人员的人体图像相同,且确定的该人员对应的人体模型相同,但是由于该人员是多次出现在监控设备的监控范围内的,因此,在该人员每次出现时,电子设备所确定的该人员开始出现时的时间点是不同的。进一步的,在获取与该人员相关的视频片段时,也需要将上述多次拍摄到的视频片段全部检索出来。
基于此,电子设备在生成上述人体模型库时,针对在不同时间出现的同一人员,无论所确定的该人员的人体模型有没有发生改变,电子设备是按照该人员开始出现时的时间点的不同,生成人体模型库中的多个人体模型记录项的。
在本发明实施例中,要有效确定监控视频中与目标人员相关的视频片段,便需要确定该目标人员在监控视频中开始出现时的时间点。因此,在确定目标人员对应的目标人体模型后,电子设备便可以在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项。
其中,电子设备可以通过多种方式执行上述步骤S103,对此,本发明实施例不做具体限定。为了行文清晰,后续将会对电子设备执行上述步骤S103的方式进行举例说明。此外,后续也将会对上述人体模型库中的各个人体模型记录项的生成方式进行举例说明。
S104:基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段;
在检索得到所包括的人体模型与目标人体模型匹配的目标人体模型记录项后,电子设备便可以基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段。
具体的,针对所检索得到的每一目标人体模型记录项,由于该目标人体模型记录项中包括的时间点是该目标人体模型记录项对应的人员在监控视频中开始出现时的时间点,且该目标人体模型记录项所包括的人体模型与目标人体模型相匹配,则该目标人体模型记录项中包括的时间点可以认为是目标人员在监控视频中开始出现时的时间点。因此,基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段便可以确定为与该目标人员相关的视频片段。
其中,电子设备可以通过多种方式执行上述步骤S104,对此,本发明实施例不做具体限定。为了行文清晰,后续将会对电子设备执行上述步骤S104的方式进行举例说明。
S105:播放所确定的各个待回放的视频片段。
在确定各个待回放的视频片段,电子设备便可以播放所确定的各个待回放的视频片段。
其中,电子设备可以按照每个待回放的视频片段的视频起始时间由早到晚的顺序,依次播放所确定的各个待回放的视频片段。这样,视频起始时间距离当前时刻时间越长的视频片段的播放顺序越靠前,即优先播放视频起始时间距离当前时刻时间长的视频片段;
或者,电子设备可以按照每个待回放的视频片段的视频终止时间由早到晚的顺序,依次播放所确定的各个待回放的视频片段。这样,视频终止时间距离当前时刻时间越长的视频片段的播放顺序越靠前,即优先播放视频终止时间距离当前时刻时间长的视频片段;
或者,电子设备可以按照每个待回放的视频片段的视频起始时间由晚到早的顺序,依次播放所确定的各个待回放的视频片段。这样,视频起始时间距离当前时刻时间越短的视频片段的播放顺序越靠前,即优先播放视频起始时间距离当前时刻时间短的视频片段;
或者,电子设备可以按照每个待回放的视频片段的视频终止时间由晚到早的顺序,依次播放所确定的各个待回放的视频片段。这样,视频终止时间距离当前时刻时间越短的视频片段的播放顺序越靠前,即优先播放视频终止时间距离当前时刻时间短的视频片段。
当然,电子设备还可以按照其他方式播放所确定的各个待回放的视频片段,对此,本发明实施例不做具体限定。
此外,在很多情况中,用户可能并不需要查看所确定的全部待回放的视频片段,而只需要查看其中部分位于某个特定时间内的视频片段。例如,当电子设备所存储的监控视频所跨越的时间较长时,在上述步骤S104中,所确定的待回放的视频片段的数量较多,为了节省待回放视频的查看时间,用户很可能选择其中的部分视频片段进行查看,即电子设备可以只播放所确定的部分待回放的监控视频。
基于此,可选的,一种具体实现方式中,在上述步骤S105,播放所确定的各个待回放的视频片段之前,上述本发明实施例提供的一种视频回放方法还可以包括如下步骤A1:
步骤A1:确定目标时间范围;
这样,在本具体实现方式中,上述步骤S105,播放所确定的各个待回放的视频片段,便可以包括如下步骤A2:
步骤A2:播放视频起始时间和/或视频终止时间位于目标时间范围内的各个待回放的视频片段。
其中,在本具体实现方式中,电子设备可以在执行上述步骤S105之前的任一时间执行上述步骤A1,对此,本发明实施例不做具体限定。
例如,电子设备可以在执行上述步骤S101时,同时执行上述步骤A1,即同时获得待回放的目标人员的人体图像和目标时间范围。也可以在执行完上述步骤S101后,执行上述步骤S102之前,执行上述步骤A1。这都是合理的。
此外,电子设备所确定的目标时间范围可以是:视频起始时间所在的范围,则在执行上述步骤A2时,电子设备所播放的视频片段是:在步骤S104所确定各个待回放的视频片段中,视频起始时间位于上述目标时间范围内的视频片段;
或者,电子设备所确定的目标时间范围可以是:视频终止时间所在的范围,则在执行上述步骤A2时,电子设备所播放的视频片段是:在步骤S104所确定各个待回放的视频片段中,视频终止时间位于上述目标时间范围内的视频片段;
或者,电子设备所确定的目标时间范围可以是:视频起始时间和视频终止时间所在的范围,则在执行上述步骤A2时,电子设备所播放的视频片段是:在步骤S104所确定各个待回放的视频片段中,视频起始时间和视频终止时间均位于上述目标时间范围内的视频片段。
其中,电子设备在执行上述步骤A2时,可以按照视频起始时间或/视频终止时间由早到晚的顺序,依次播放视频起始时间和/或视频终止时间位于目标时间范围内的各个待回放的视频片段;或者,可以按照起始时间或/终止时间由后到前的顺序,依次播放视频起始时间和/或视频终止时间位于目标时间范围内的各个待回放的视频片段。这都是合理的。
以上可见,应用本发明实施例提供的方案,可以对获取到的监控视频进行人员检测,从而预先构建人体模型库。这样,针对目标人员,便可以在人体模型库中检索所包括的人体模型与目标人员对应的目标人体模型匹配的目标人体模型记录项,从而基于检索得到的目标人体模型记录项中所包括的时间点,在监控视频中确定并播放各个待回放的视频片段。其中,由于检索得到的目标人体模型记录项中所包括的时间点为从监控视频中检测到该目标人员在监控视频中开始出现时的时间点,因此,根据上述时间点进行视频片段确定可以保证检索到的视频片段即为于目标人员相关的视频片段。基于此,应用本发明实施例提供的方案,当需要回放与某个人员相关的视频内容时,可以有效确定与制定人员相关的视频片段。
下面,对上述人体模型库中的各个人体模型记录项的生成方式进行举例说明。
图2为一种具体实现方式中,本发明实施例提供的一种人体模型库中人体模型记录项的生成方式的流程示意图。如图2所示,该方式可以包括如下步骤:
S201:获取监控视频,并对监控视频进行人员检测;
在本具体实现方式中,电子设备在获取监控视频后,便可以对获取到的监控视频进行人员检测。具体的,电子设备可以利用预设的人体检测算法对获取到的监控视频进行检测。其中,该人体检测算法可以为任一种能够检测出视频帧中所包括的各个人体图像的算法。例如,智能移动侦测算法等。
S202:针对检测到的每一人员,从监控视频中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在监控视频中开始出现时的时间点和该人员的人体模型,生成人体模型库中的一个人体模型记录项。
针对检测到的每一人员,电子设备可以从监控视频中关于该人员的多种视频帧中,确定该人员的人体图像。例如,电子设备可以从检测到该人员出现的视频帧中,确定该人员的人体图像;又例如,电子设备在检测到该人员时,可以从检测到该人员出现的视频帧开始,对该视频帧之后的视频帧逐一进行跟踪并检测该视频帧中是否存在该人员的图像,直至该人员的图像在视频帧中消失。这样,电子设备便可以从上述跟踪并检测的每一视频帧中,提取该人员的人体图像,并确定所提取到的多个人体图像中,图像质量最佳的人体图像,进而,基于该图像质量最佳的人体图像,确定该人员的人体模型。这都是合理的。
进一步的,电子设备可以通过人体图像提取算法从该视频帧中提取该人员的人体图像。其中,该人体图像提取算法可以为任一种能够从视频帧中提取人员的人体图像的算法。例如,视频抠图算法等。
针对检测到的每一人员,在确定该人员的人体图像后,电子设备便可以基于该人员的人体图像,确定该人员的人体模型。其中,电子设备确定人体模型库中每个人体模型记录项所包括的人体模型的方式与上述步骤S102中,确定目标人员对应的目标人体模型的方式可以相同,在此不再赘述。
其中,基于该人员的人体图像所确定的该人员的对应的特征数据的数量和类型与所确定的目标人员的特征数据的数量和类型均相同,且人体模型库中每个人体模型记录项所包括的人体模型的表现形式与目标人体模型的表现形式也相同。
这样,针对检测到的每一人员,在确定该人员的人体模型后,便可以利用该人员在监控视频中开始出现时的时间点和该人体模型,生成人体模型库中的一个人体模型记录项。
其中,还可以利用其他数据生成该人体模型记录项,例如,该人员的人体图像的大小,这样,该人员对应的人体模型记录项中还可以包括该人员的人体图像的大小;又例如,当电子设备对该人员的人体图像进行存储时,便还可以利用人体图像的存储地址生成上述人体模型记录项,这样,该人员对应的人体模型记录项中还可以包括该人员的人体图像的存储地址。这都是合理的。
此外,在上述步骤S201中,电子设备可以通过多种方式获取监控视频。
可选的,一种实施方式中,上述步骤S201中,获取监控视频的步骤,可以包括如下步骤B1:
步骤B1:实时获取监控设备拍摄到的监控视频;
进而,上述图2所示的一种人体模型库中人体模型记录项的生成方式中还可以包括如下步骤B2:
步骤B2:当从检测到该人员开始出现时的视频帧中,确定该人员的人体图像时,存储该人员的人体图像;
则在本实施方式中,该人员在监控视频中开始出现时的时间点可以为:该人员的人体图像的存储时间。
具体的,在本实施方式中,电子设备可以实时获取监控设备拍摄得到的监控视频,从而可以实时检测到监控视频中出现的每一人员,且实时确定该人员的人体图像。进而,在确定该人员的人体图像后,电子设备便可以存储该人员的人体图像。其中,由于电子设备是实时在监控视频中检测到每一人员,因此,电子设备实时检测到该人员的时间即为该人员在监控视频中开始出现时的时间。而进一步的,由于电子设备是在实时检测到该人员后,实时确定该人员的人体图像并存储该人员的人体图像的,因此,电子设备存储该人员的人体图像的时间便可以等同于在监控视频中实时检测到该人员的时间,进而,等同于该人员在监控视频中开始出现时的时间。
可选的,另一种具体实施方式中,上述步骤S201中,获取监控视频的步骤,可以包括如下步骤C1:
步骤C1:按照预设时间周期,在每个时间周期结束时,获取监控设备在该时间周期内拍摄到的监控视频;
则在本实施方式中,该人员在监控视频中开始出现时的时间点为:检测到该人员开始出现时的视频帧的采集时间。
具体的,在本实施方式中,电子设备可以按照预设时间周期,在每个时间周期结束时,获取监控设备在该时间周期内拍摄到的监控视频。例如,电子设备可以在每天的24点获取监控设备在当天24小时内拍摄到的监控视频。其中,上述预设时间周期的具体时长可以根据实际应用的需求确定,对此,本发明实施例不做具体限定。
这样,在检测到监控视频中出现的每一人员时,由于电子设备不是实时获取该监控视频的,因此,电子设备也就无法实时对监控视频中出现的该人员进行检测。进一步的,电子设备检测到该人员的时间与该人员在监控视频中开始出现时的时间点是完全不同的。基于此,为了确定该人员在监控视频中开始出现时的时间点,电子设备可以确定检测到该人员开始出现时的视频帧,并进一步确定监控设备拍摄该视频帧的时间,即该视频帧的采集时间。这样,电子设备便可以将检测到该人员开始出现时的视频帧的采集时间确定为:该人员在监控视频中开始出现时的时间点。其中,电子设备可以通过监控视频的时间轴,确定检测到该人员开始出现时的视频帧的采集时间。
需要说明的是,在图2所示的具体实现方式中,在对所获取的监控视频进行人员检测时,针对同一个人员,由于监控设备在不同时间点拍摄到的该人员的人体图像可以是不同的,例如,该人员换了发型,或者,该人员有时候携带背包,有时候不携带背包。因此,在该人员每次出现时,电子设备所确定的该人员开始出现时的时间点和对应的人体模型可以是不同的。
此外,针对同一人员,即使监控设备在不同时间点拍摄到的该人员的人体图像相同,且确定的该人员对应的人体模型相同,但是由于该人员是多次出现在监控设备的监控范围内的,因此,在该人员每次出现时,电子设备所确定的该人员开始出现时的时间点是不同的。进一步的,在获取与该人员相关的视频片段时,也需要将上述多次拍摄到的视频片段全部检索出来。
基于此,电子设备在对获取的监控视频进行人员检测时,针对在不同时间出现的同一人员,需要对每一次出现的该人员进行人员检测,并生成一个与该次出现时间对应的人体模型记录项。也就是说,在电子设备生成的人体模型库中可以存在多个人体模型记录项所对应的人员为同一人员。
下面,对电子设备执行上述步骤S103,在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项的方式进行举例说明。
可选的,一种具体实现方式中,上述步骤S103,可以包括如下步骤D1-D2:
步骤D1:计算目标人体模型与人体模型库中每一人体模型记录项所包括的人体模型的匹配度;
步骤D2:针对人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与目标人体模型匹配的目标人体模型记录项。
在本具体实现方式中,在确定目标人体模型后,针对预设的人体模型库中每一人体模型记录项,电子设备便可以计算该人体模型记录项中所包括的人体模型与目标人体模型的匹配度,并判断该匹配度于预设阈值的大小关系。进而,当上述计算得到的匹配度大于预设域值时,电子设备便可以将该人体模型记录项确定为所包括的人体模型与目标人体模型匹配的目标人体模型记录项。其中,上述预设域值的具体数值可以根据实际应用中的需求进行确定,对此,本发明实施例不做具体限定。
其中,上述人体模型库中的每一人体模型记录项中的人体模型可以包括至少一个特征数据。
进而,针对上述步骤D1,电子设备可以采用多种方式计算目标人体模型与人体模型库中每一人体模型记录项所包括的人体模型的匹配度,对此,本发明实施例不做具体限定。
可选的,一种实施方式中,上述步骤D1可以包括如下步骤D11:
步骤D11:针对人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为目标人体模型与该人体模型记录项所包括的人体模型的匹配度;
其中,目标数据为:目标人体模型所包括的特征数据的数量;
在上述步骤D11中,针对人体模型库中的每一人体模型记录项,电子设备逐项比较该人体模型记录项中人体模型所包括的特征数据与目标人体模型所包括的特征数据,从而确定该人体模型记录项中人体模型与目标人体模型相同的特征数据的数量。进而,电子设备便可以计算上述所确定的数量与目标人体模型所包括的特征数据的数量的比值,并将该比值作为目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
例如,人体模型库的人体模型记录项1中人体模型所包括的特征数据为:性别为女性、发型为齐耳短发、体型为瘦长、脸型为瓜子脸、没有戴眼镜;而所确定的目标人体模型所包括的特征数据为:性别为女性、发型为长发、体型为瘦长、脸型为瓜子脸、戴眼镜。这样,电子设备可以确定人体模型记录项1 中人体模型与目标人体模型相同的特征数据的数量为3,并计算所确定的数量与目标人体模型所包括的特征数据的数量的比值为3/5=0.6。则电子设备可以确定目标人体模型与人体模型记录项1所包括的人体模型的匹配度为:0.6。
进一步的,假设预设阈值为0.6,则由于0.6=0.6,那么,电子设备便可以确定将人体模型记录项1确定为所包括的人体模型与目标人体模型匹配的目标人体模型记录项。
其中,由于人体模型库的每一人体模型记录项中的人体模型可以包括至少一个特征数据,因此,目标人体模型可以包括与上述人体模型相同数量和类型的至少一个特征数据。
可选的,另一种实施方式中,上述步骤D1可以包括如下步骤D12:
步骤D12:针对人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为目标人体模型与该表项所包括的人体模型的匹配度。
在上述步骤D12中,电子设备可以预先为目标人体模型所包括的每一特征数据设定一个权重。这样,针对人体模型库中的每一人体模型记录项,电子设备可以逐项比较该人体模型记录项中人体模型所包括的特征数据与目标人体模型所包括的特征数据,从而该人体模型记录项中人体模型与目标人体模型相同的特征数据。进而,电子设备可以计算上述所确定的相同的特征数据所具有的权重和,并将该权重和作为目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
例如,人体模型库的人体模型记录项2中人体模型所包括的特征数据为:性别为女性、发型为长发、体型为瘦长、脸型为瓜子脸、没有戴眼镜;而所确定的目标人体模型所包括的特征数据为:性别为男性、发型为长发、体型为瘦长、脸型为瓜子脸、没有戴眼镜。其中,性别的权重为0.6,发型的权重为0.05,体型的权重为0.1,脸型的权重为0.2,是否戴眼镜的权重为0.05。
这样,电子设备可以确定人体模型记录项2中人体模型与目标人体模型相同的特征数据为发型、体型、脸型、是否戴眼镜,并计算所确定的特征数据的权重和为:0.05+0.1+0.2+0.05=0.4。则电子设备可以确定目标人体模型与人体模型记录项2所包括的人体模型的匹配度为:0.4。
进一步的,假设预设阈值为0.6,则由于0.4<0.6,那么,电子设备便可以确定将人体模型记录项2确定为所包括的人体模型与目标人体模型不匹配的人体模型记录项。
下面,对电子设备执行上述步骤S104,基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段的方式进行举例说明。
可选的,一种具体实现方式中,上述步骤S104,可以包括如下步骤E1:
步骤E1:针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
在本具体实现方式中,针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,电子设备可以将该时间点之前且间隔第一时长的时间点确定为:该时间点对应的视频起始时间;并将在该时间点之后且间隔第二时长的时间点确定为:该时间点对应的视频终止时间。进而,在监控视频中,电子设备便可以获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段。
例如,检索到的一表项中包括的时间点为:2019年2月1日17时0分0秒,第一时长为5秒,第二时长为10秒,则可以确定该时间点对应的视频起始时间为 2019年2月1日16时59分55秒,视频终止时间为2019年2月1日17时0分10秒。这样,电子设备便可以监控视频中2019年2月1日16时59分55秒-2019年2月1日17 时0分10秒之间的视频片段确定为该时间点对应的待回放的视频片段。其中,该视频片段的时长为15秒。
需要说明的是,上述第一时长和第二时长的具体时长可以依据实际应用中的需求进行确定,对此,本发明实施例不做具体限定。且上述第一时长和第二时长可以相同,也可以不同。
可选的,另一种具体实现方式中,上述步骤S104,可以包括如下步骤F1:
步骤F1:针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间。
在本具体实现方式中,针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,电子设备可以将在该时间点之前且间隔第一时长的时间点确定为:该时间点对应的视频起始时间;并将在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间确定为:该时间点对应的视频终止时间。进而,在监控视频中,电子设备便可以获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段。
例如,检索到的一表项中包括的时间点为:2019年2月1日17时0分0秒,第一时长为5秒,在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间为:2019年2月1日17时0分30秒,则可以确定该时间点对应的视频起始时间为2019年2月1日16时59分55秒,视频终止时间为2019年2月1日17时0分30 秒。这样,电子设备便可以监控视频中2019年2月1日16时59分55秒-2019年2月 1日17时0分30秒之间的视频片段确定为该时间点对应的待回放的视频片段。其中,该视频片段的时长为35秒。
需要说明的是,上述第一时长具体时长可以依据实际应用中的需求进行确定,对此,本发明实施例不做具体限定。
其中,在本具体实现方式中,针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,在监控设备的监控范围内,可以出现多个不同的人员,从而使得监控设备在该时间点拍摄的视频帧中可以存在多个不同的人员。由于电子设备需要确定的是与目标人员相关的视频片段,因此,电子设备在确定该时间点对应的视频终止时间时,需要确定的是在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间。进一步的,由于该时间点所在的目标人体模型记录项所包括的人体模型与目标人员对应的目标人体模型是相匹配的,因此,上述在该时间点所出现的与目标人员对应的人员便可以为:该时间点所在的目标人体模型记录项所包括的人体模型对应的人员。
可选的,一种实施方式中,监控设备在拍摄到人员时,会发出报警信息,且该报警信息会持续一段时间,并在人员在监控视频中消失时停止。此时,监控视频中便可以记录有各个人员对应的报警信息消失时间,即监控视频中记录有关于人员与报警信息消失时间的对应关系。显然,当电子设备获取监控视频时,电子设备也就可以获取到上述对应关系。
这样,针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,电子设备可以首先在监控视频中确定该时间点所对应的视频帧并确定该时间点所在目标人体模型记录项包括的人体模型对应的人体图像,进而,确定该时间点所在目标人体模型记录项包括的人体模型对应的人员。进而,电子设备便可以根据上述对应关系,确定该人员对应的报警信息消失时间,而该报警信息消失时间即为在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间。
可选的,一种实施方式中,针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,电子设备可以首先在监控视频中确定该时间点所对应的视频帧并确定该时间点所在表项包括的人体模型对应的人体图像。进而,从该时间点对应的视频帧开始,电子设备可以逐帧检测监控视频中的视频帧中是否包括上述所确定的人体图像,并在检测结果为是时,继续检测下一视频帧,直至某一视频帧中不包括上述所确定的人体图像。其中,该检测到不包括上述所确定的人体图像的视频帧是从该时间点开始的连续视频帧中,第一帧不包括上述所确定的人体图像的视频帧,可以简称为目标视频帧。
这样,电子设备便可以将上述目标视频帧确定为:在该时间点所出现的与目标人员对应的人员在监控视频中消失时的视频帧。进而,电子设备便可以将该视频帧的采集时间确定为:在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间。
相应于上述本发明实施例提供的一种视频回放方法,本发明实施例还提供了一种视频回放装置。
图3为本发明实施例提供的一种视频回放装置的结构示意图,如图3所示,该装置可以包括如下模块:
图像获得模块310,用于获得待回放的目标人员的人体图像;
模型确定模块320,用于基于目标人员的人体图像,确定目标人员对应的目标人体模型,其中,目标人体模型为表征目标人员的至少一个特征数据的数据内容;
记录项检索模块330,用于在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项;其中,人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
视频确定模块340,用于基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段;
视频播放模块350,用于播放所确定的各个待回放的视频片段。
以上可见,应用本发明实施例提供的方案,可以对获取到的监控视频进行人员检测,从而预先构建人体模型库。这样,针对目标人员,便可以在人体模型库中检索所包括的人体模型与目标人员对应的目标人体模型匹配的目标人体模型记录项,从而基于检索得到的目标人体模型记录项中所包括的时间点,在监控视频中确定并播放各个待回放的视频片段。其中,由于检索得到的目标人体模型记录项中所包括的时间点为从监控视频中检测到该目标人员在监控视频中开始出现时的时间点,因此,根据上述时间点进行视频片段确定可以保证检索到的视频片段即为于目标人员相关的视频片段。基于此,应用本发明实施例提供的方案,当需要回放与某个人员相关的视频内容时,可以有效确定与制定人员相关的视频片段。
可选的,一种具体实现方式中,上述视频回放装置还可以包括:模型库生成模块,用于生成人体模型库的各个人体模型记录项;
其中,该模型库生成模块,可以包括:
视频获取子模块,用于获取监控视频,并对监控视频进行人员检测;
记录项生成子模块,用于针对检测到的每一人员,从监控视频中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在监控视频中开始出现时的时间点和该人员的人体模型,生成人体模型库中的一个人体模型记录项。
可选的,一种具体实现方式中,上述视频获取子模块可以具体用于:实时获取监控设备拍摄到的监控视频;
其中,上述视频回放装置还可以包括:
图像存储模块,用于当从检测到该人员开始出现时的视频帧中,确定该人员的人体图像时,存储该人员的人体图像;
则该人员在监控视频中开始出现时的时间点为:该人员的人体图像的存储时间。
可选的,一种具体实现方式中,上述视频获取子模块可以具体用于:按照预设时间周期,在每个时间周期结束时,获取监控设备在该时间周期内拍摄到的监控视频;
则该人员在监控视频中开始出现时的时间点为:检测到该人员开始出现时的视频帧的采集时间。
可选的,一种具体实现方式中,上述记录项检索模块330可以包括:
匹配度计算子模块,用于计算目标人体模型与人体模型库中每一人体模型记录项所包括的人体模型的匹配度;
记录项检索子模块,用于针对人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与目标人体模型匹配的目标人体模型记录项;
其中,人体模型包括至少一个特征数据;
匹配度计算子模块具体用于:
针对人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为目标人体模型与该人体模型记录项所包括的人体模型的匹配度;其中,目标数据为:目标人体模型所包括的特征数据的数量;
或者,
针对人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
可选的,一种具体实现方式中,上述视频确定模块340可以具体用于:
针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
或者,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与目标人员对应的人员在监控视频中的消失时间。
可选的,一种具体实现方式中,上述视频回放装置还可以包括:
时间获取模块,用于在播放所确定的各个待回放的视频片段的步骤之前,确定目标时间范围;
则视频播放模块可以具体用于:播放视频起始时间和/或视频终止时间位于目标时间范围内的各个待回放的视频片段。
相应于上述本发明实施例提供的一种视频回放方法,本发明实施例还提供了一种电子设备,如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现上述本发明实施例提供的一种视频回放方法。
具体的,上述视频回放方法,包括:
获得待回放的目标人员的人体图像;
基于目标人员的人体图像,确定目标人员对应的目标人体模型,其中,目标人体模型为表征目标人员的至少一个特征数据的数据内容;
在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项;其中,人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段;
播放所确定的各个待回放的视频片段。
需要说明的是,上述处理器401执行存储器403上存放的程序而实现的一种视频回放方法的其他实现方式,与前述方法实施例部分提供的一种视频回放方法实施例相同,这里不再赘述。
以上可见,应用本发明实施例提供的方案,可以对获取到的监控视频进行人员检测,从而预先构建人体模型库。这样,针对目标人员,便可以在人体模型库中检索所包括的人体模型与目标人员对应的目标人体模型匹配的目标人体模型记录项,从而基于检索得到的目标人体模型记录项中所包括的时间点,在监控视频中确定并播放各个待回放的视频片段。其中,由于检索得到的目标人体模型记录项中所包括的时间点为从监控视频中检测到该目标人员在监控视频中开始出现时的时间点,因此,根据上述时间点进行视频片段确定可以保证检索到的视频片段即为于目标人员相关的视频片段。基于此,应用本发明实施例提供的方案,当需要回放与某个人员相关的视频内容时,可以有效确定与制定人员相关的视频片段。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器 (DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述本发明实施例提供的一种视频回放方法,本发明实施例还提供了一种计算机可读存储介质,该计算机程序被处理器执行时实现上述本发明实施例提供的一种视频回放方法。
具体的,上述视频回放方法,包括:
获得待回放的目标人员的人体图像;
基于目标人员的人体图像,确定目标人员对应的目标人体模型,其中,目标人体模型为表征目标人员的至少一个特征数据的数据内容;
在预设的人体模型库中,检索所包括的人体模型与目标人体模型匹配的目标人体模型记录项;其中,人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
基于检索到的目标人体模型记录项中包括的时间点,在监控视频中确定各个待回放的视频片段;
播放所确定的各个待回放的视频片段。
需要说明的是,上述计算机程序被处理器执行时而实现的一种视频回放方法的其他实现方式,与前述方法实施例部分提供的一种视频回放方法实施例相同,这里不再赘述。
以上可见,应用本发明实施例提供的方案,可以对获取到的监控视频进行人员检测,从而预先构建人体模型库。这样,针对目标人员,便可以在人体模型库中检索所包括的人体模型与目标人员对应的目标人体模型匹配的目标人体模型记录项,从而基于检索得到的目标人体模型记录项中所包括的时间点,在监控视频中确定并播放各个待回放的视频片段。其中,由于检索得到的目标人体模型记录项中所包括的时间点为从监控视频中检测到该目标人员在监控视频中开始出现时的时间点,因此,根据上述时间点进行视频片段确定可以保证检索到的视频片段即为于目标人员相关的视频片段。基于此,应用本发明实施例提供的方案,当需要回放与某个人员相关的视频内容时,可以有效确定与制定人员相关的视频片段。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (8)

1.一种视频回放方法,其特征在于,所述方法包括:
获得待回放的目标人员的人体图像;
基于所述目标人员的人体图像,确定所述目标人员对应的目标人体模型,其中,所述目标人体模型为表征所述目标人员的至少一个特征数据的数据内容;
在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;其中,所述人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在所述监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段;
播放所确定的各个待回放的视频片段;
其中,所述在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项的步骤,包括:
计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度;针对所述人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;
其中,所述人体模型包括至少一个特征数据;所述计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度的步骤,包括:
针对所述人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度;其中,所述目标数据为:所述目标人体模型所包括的特征数据的数量;或者,
针对所述人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
2.根据权利要求1所述的方法,其特征在于,所述人体模型库的各个人体模型记录项的生成方式,包括:
获取所述监控视频,并对所述监控视频进行人员检测;
针对检测到的每一人员,从所述监控视频中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在所述监控视频中开始出现时的时间点和该人员的人体模型,生成所述人体模型库中的一个人体模型记录项。
3.根据权利要求1所述的方法,其特征在于,所述基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段的步骤,包括:
针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在所述监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
或者,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与所述目标人员对应的人员在所述监控视频中的消失时间。
4.一种视频回放装置,其特征在于,所述装置包括:
图像获得模块,用于获得待回放的目标人员的人体图像;
模型确定模块,用于基于所述目标人员的人体图像,确定所述目标人员对应的目标人体模型,其中,所述目标人体模型为表征所述目标人员的至少一个特征数据的数据内容;
记录项检索模块,用于在预设的人体模型库中,检索所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;其中,所述人体模型库中每个人体模型记录项包括:从监控视频中检测到的一人员在所述监控视频中开始出现时的时间点,以及基于该人员的人体图像所确定的人体模型;
视频确定模块,用于基于检索到的目标人体模型记录项中包括的时间点,在所述监控视频中确定各个待回放的视频片段;
视频播放模块,用于播放所确定的各个待回放的视频片段;
其中,所述记录项检索模块包括:
匹配度计算子模块,用于计算所述目标人体模型与所述人体模型库中每一人体模型记录项所包括的人体模型的匹配度;
记录项检索子模块,用于针对所述人体模型库中的每一人体模型记录项,当计算得到的匹配度大于预设阈值时,将该人体模型记录项确定为所包括的人体模型与所述目标人体模型匹配的目标人体模型记录项;
其中,所述人体模型包括至少一个特征数据;所述匹配度计算子模块具体用于:
针对所述人体模型库的每一人体模型记录项,确定该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的数量,并计算所确定的数量与目标数据的比值,将计算得到的比值,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度;其中,所述目标数据为:所述目标人体模型所包括的特征数据的数量;或者,
针对所述人体模型库中的每一人体模型记录项,计算该人体模型记录项中人体模型与所述目标人体模型相同的特征数据的权重和,将计算得到的权重和,作为所述目标人体模型与该人体模型记录项所包括的人体模型的匹配度。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括:
模型库生成模块,用于生成人体模型库的各个人体模型记录项;
所述模型库生成模块,包括:
视频获取子模块,用于获取所述监控视频,并对所述监控视频进行人员检测;
记录项生成子模块,用于针对检测到的每一人员,从所述监控视频中,确定该人员的人体图像;基于该人员的人体图像,确定该人员的人体模型;利用该人员在所述监控视频中开始出现时的时间点和该人员的人体模型,生成所述人体模型库中的一个人体模型记录项。
6.根据权利要求4所述的装置,其特征在于,所述视频确定模块具体用于:
针对检索到的目标人体模型记录项中包括的时间点中的每一时间点,确定该时间点对应的视频起始时间和视频终止时间,在所述监控视频中,获取所确定的视频起始时间和视频终止时间之间的视频片段,作为该时间点对应的待回放的视频片段;
其中,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点之后且间隔第二时长的时间点;
或者,该时间点对应的视频起始时间为:在该时间点之前且间隔第一时长的时间点,该时间点对应的视频终止时间为:在该时间点所出现的与所述目标人员对应的人员在所述监控视频中的消失时间。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN201910464461.7A 2019-05-30 2019-05-30 一种视频回放方法、装置及电子设备 Active CN112019928B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910464461.7A CN112019928B (zh) 2019-05-30 2019-05-30 一种视频回放方法、装置及电子设备
PCT/CN2020/091757 WO2020238789A1 (zh) 2019-05-30 2020-05-22 视频回放

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464461.7A CN112019928B (zh) 2019-05-30 2019-05-30 一种视频回放方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112019928A CN112019928A (zh) 2020-12-01
CN112019928B true CN112019928B (zh) 2022-05-06

Family

ID=73500498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464461.7A Active CN112019928B (zh) 2019-05-30 2019-05-30 一种视频回放方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112019928B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405355B (zh) * 2020-02-04 2022-11-11 北京贝思科技术有限公司 动态生成音视频片段的处理方法、装置及电子设备
CN112866817B (zh) * 2021-01-06 2022-10-14 浙江大华技术股份有限公司 视频回放方法、装置、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN102609548A (zh) * 2012-04-19 2012-07-25 李俊 一种基于运动目标的视频内容检索方法及系统
CN105357475A (zh) * 2015-10-28 2016-02-24 小米科技有限责任公司 用于视频播放的方法及装置
CN107291910A (zh) * 2017-06-26 2017-10-24 图麟信息科技(深圳)有限公司 一种视频片段结构化查询方法、装置及电子设备
CN109408671A (zh) * 2018-07-23 2019-03-01 中国联合网络通信集团有限公司 特定目标的搜索方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702919B (zh) * 2015-03-31 2019-08-06 小米科技有限责任公司 播放控制方法及装置、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN102609548A (zh) * 2012-04-19 2012-07-25 李俊 一种基于运动目标的视频内容检索方法及系统
CN105357475A (zh) * 2015-10-28 2016-02-24 小米科技有限责任公司 用于视频播放的方法及装置
CN107291910A (zh) * 2017-06-26 2017-10-24 图麟信息科技(深圳)有限公司 一种视频片段结构化查询方法、装置及电子设备
CN109408671A (zh) * 2018-07-23 2019-03-01 中国联合网络通信集团有限公司 特定目标的搜索方法及其系统

Also Published As

Publication number Publication date
CN112019928A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
WO2017177768A1 (zh) 一种信息处理方法及终端、计算机存储介质
US8718386B2 (en) Adaptive event timeline in consumer image collections
US20110304774A1 (en) Contextual tagging of recorded data
US8902361B2 (en) Relational display of images
US20130169530A1 (en) Human eye controlled computer mouse interface
US8340436B2 (en) Detecting significant events in consumer image collections
CN112019928B (zh) 一种视频回放方法、装置及电子设备
CN111314759B (zh) 视频处理方法、装置、电子设备及存储介质
CN111615003A (zh) 一种视频播放控制方法、装置、设备及存储介质
Rota et al. Real-life violent social interaction detection
CN109167877A (zh) 终端屏幕控制方法、装置、终端设备和存储介质
JP2011210238A (ja) 広告効果測定装置及びコンピュータプログラム
US20200097501A1 (en) Information processing system, method for controlling information processing system, and storage medium
De Silva et al. Evaluation of video summarization for a large number of cameras in ubiquitous home
US20140086553A1 (en) Apparatus, method, and system for video contents summarization
KR20170098139A (ko) 영상 요약 장치 및 방법
CN114783037A (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
MX2013014731A (es) Navegacion de video a traves de ubicacion de objetos.
JPWO2015178234A1 (ja) 画像検索システム、検索画面表示方法
Miniakhmetova et al. An approach to personalized video summarization based on user preferences analysis
US10283166B2 (en) Video indexing method and device using the same
JP5962383B2 (ja) 画像表示システムおよび画像処理装置
WO2020238789A1 (zh) 视频回放
CN114817638A (zh) 一种固定场景监控视频的回溯系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant