CN110876029B - 视频摘要回放方法、装置、电子设备及可读存储介质 - Google Patents

视频摘要回放方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110876029B
CN110876029B CN201811027515.5A CN201811027515A CN110876029B CN 110876029 B CN110876029 B CN 110876029B CN 201811027515 A CN201811027515 A CN 201811027515A CN 110876029 B CN110876029 B CN 110876029B
Authority
CN
China
Prior art keywords
vehicle
vehicle picture
picture
attribute information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811027515.5A
Other languages
English (en)
Other versions
CN110876029A (zh
Inventor
蒋灵其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811027515.5A priority Critical patent/CN110876029B/zh
Priority to PCT/CN2019/102073 priority patent/WO2020048324A1/zh
Publication of CN110876029A publication Critical patent/CN110876029A/zh
Application granted granted Critical
Publication of CN110876029B publication Critical patent/CN110876029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本申请提供一种视频摘要回放方法、装置、电子设备及可读存储介质,该方法包括:获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放。该方法可以提高车辆检索效率和准确性,并保证车辆视频跟踪的连贯性。

Description

视频摘要回放方法、装置、电子设备及可读存储介质
技术领域
本申请涉及视频监控技术,尤其涉及一种视频摘要回放方法、装置、电子设备及可读存储介质。
背景技术
视频监控系统作为社会安全管理的重要技术手段,在社会治安维护领域的应用和部署越来越广。随着所部署的监控设备数量的增加和范围的扩大,所存储视频录像数据的数据量也越来越大。若想从视频录像数据中查找出特定目标在哪些时间段、哪些地点出现过,往往需要人工对大量的视频录像数据进行回放查找,耗时较长且可能会疏忽遗漏,在录像定位、整合展示方面存在效率瓶颈和不完整风险。
发明内容
有鉴于此,本申请提供一种视频摘要回放方法及其装置。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种视频摘要回放方法,包括:
获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;
根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放。
可选地,所述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
接收所述视频源设备发送的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
可选地,所述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
接收所述视频源设备发送的车辆图片及车辆图片的采集时间;
对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
可选地,所述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
接收所述视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;
对所述车辆图片进行建模,并提取所述车辆图片的第二属性信息;
根据所述车辆图片的第一属性信息和所述车辆图片的第二属性信息确定所述车辆图片的属性信息。
可选地,所述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
对所述视频源设备提供的视频数据进行车辆目标检测,以得到所述视频数据中的车辆图片及车辆图片的采集时间;
对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
可选地,所述存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
存储所述车辆图片;
在车辆图片信息表中记录所述车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
可选地,所述根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片,包括:
比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,以得到与所述车辆检索过滤条件匹配的第一车辆图片的存储位置;
根据所述第一车辆图片的存储位置获取所述第一车辆图片。
可选地,所述车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息;
所述比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,包括:
对所述待检索车辆图片进行建模,并提取所述待检索车辆图片的第二属性信息;
根据所述待检索车辆图片的第一属性信息和所述待检索车辆图片的第二属性信息,确定所述待检索车辆的属性信息;
比较所述待检索车辆图片的属性信息以及所述车辆图片信息表中记录的车辆图片的属性信息。
可选地,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
可选地,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据;
根据各目标录像片段生成视频摘要。
可选地,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;
搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;
若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段;
根据各目标录像片段生成视频摘要。
可选地,所述搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧之后,还包括:
若不存在该起始时间点的I帧,则将该第一车辆图片对应的录像片段的起始时间点增加1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;
若不存在该结束时间点的I帧,则将该第一车辆图片对应的录像片段的结束时间点减少1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;
确定该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多条第一车辆图片中的其余第一车辆图片;
根据各目标录像片段生成视频摘要。
根据本申请实施例的第二方面,提供一种视频摘要回放装置,包括:
获取单元,用于获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
存储单元,用于存储所述车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
检索单元,用于当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;
处理单元,用于根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放。
可选地,所述获取单元,具体用于接收所述视频源设备发送的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
可选地,所述获取单元,具体用于接收所述视频源设备发送的车辆图片及车辆图片的采集时间;对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
可选地,所述获取单元,具体用于接收所述视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;对所述车辆图片进行建模,并提取所述车辆图片的第二属性信息;根据所述车辆图片的第一属性信息和所述车辆图片的第二属性信息确定所述车辆图片的属性信息。
可选地,所述获取单元,具体用于对所述视频源设备提供的视频数据进行车辆目标检测,以得到所述视频数据中的车辆图片及车辆图片的采集时间;对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
可选地,所述存储单元,具体用于存储所述车辆图片;在车辆图片信息表中记录所述车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
可选地,所述检索单元,具体用于比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,以得到与所述车辆检索过滤条件匹配的第一车辆图片的存储位置;根据所述第一车辆图片的存储位置获取所述第一车辆图片。
可选地,所述车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息;
所述检索单元,具体用于对所述待检索车辆图片进行建模,并提取所述待检索车辆图片的第二属性信息;根据所述待检索车辆图片的第一属性信息和所述待检索车辆图片的第二属性信息,确定所述待检索车辆的属性信息;比较所述待检索车辆图片的属性信息以及所述车辆图片信息表中记录的车辆图片的属性信息。
可选地,所述处理单元,具体用于根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
可选地,所述处理单元,具体用于对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据;根据各目标录像片段生成视频摘要。
可选地,所述处理单元,具体用于当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段;根据各目标录像片段生成视频摘要。
可选地,所述处理单元,还具体用于若不存在该起始时间点的I帧,则将该第一车辆图片对应的录像片段的起始时间点增加1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;若不存在该结束时间点的I帧,则将该第一车辆图片对应的录像片段的结束时间点减少1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;确定该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多条第一车辆图片中的其余第一车辆图片;根据各目标录像片段生成视频摘要。
根据本申请实施例的第三方面,提供一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述视频摘要回放方法步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述视频摘要回放步骤。
本申请实施例的视频摘要生成方法,通过获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,当接收到车辆检索请求时,根据车辆检索请求中携带的车辆检索过滤条件,确定与车辆检索过滤条件匹配的第一车辆图片,进而根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对视频摘要进行回放,避免了每次车辆检索均需要从录像数据中提取匹配的车辆图片,提高了车辆检索效率和准确性,并保证了车辆视频跟踪的连贯性。
附图说明
图1是本申请一示例性实施例示出的一种视频摘要回放系统的架构示意图;
图2是本申请一示例性实施例示出的一种视频摘要回放方法的流程示意图;
图3是本申请一示例性实施例示出的一种车辆图片获取的流程示意图;
图4是本申请又一示例性实施例示出的一种车辆图片获取的流程示意图;
图5是本申请一示例性实施例示出的一种视频摘要回放装置的结构示意图;
图6是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对本申请实施例适用的系统架构进行简单说明。
请参见图1,为本申请实施例提供的一种视频摘要回放系统的架构示意图,如图1所示,该视频摘要生成系统可以包括视频源设备以及检索设备;其中:
视频源设备可以提供视频数据;其中,该视频数据可以包括实时视频数据或视频录像数据(本文中简称为录像数据)。
检索设备可以获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息等信息。
其中,车辆图片的采集时间为前端视频采集设备采集(如抓拍)到该车辆图片或该车辆图片在前端视频采集设备采集到的视频图像中出现的时间。
当检索设备接收到车辆检索请求时,可以根据车辆检索请求中携带的车辆检索过滤条件以及检索设备存储的车辆图片的属性信息,确定与车辆检索过滤条件匹配的车辆图片(本文中称为第一车辆图片),进而,根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对该视频摘要进行回放。
需要说明的是,在本申请实施例中,视频源设备可以为前端视频采集设备(如IPC(Internet Protocol Camera,网络摄像机))或视频录像存储设备(如NVR(Network VideoRecorder,网络硬盘录像机));检索设备可以为NVR(具有目标搜索功能)或视频监控系统中部署的用于进行车辆检索的设备。
其中,当视频源设备为NVR时,视频源设备和检索设备可以为同一设备。
此外,一个视频源设备可以为多个检索设备提供视频数据,一个检索设备也可以从多个视频源设备中获取视频数据(图中以一对一为例)。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图2,为本申请实施例提供的一种视频摘要回放方法的流程示意图,其中,该视频摘要回放方法可以应用于检索设备,如图2所示,该视频摘要回放方法可以包括以下步骤:
步骤S200、获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
本申请实施例中,为了提高车辆检索的效率,检索设备可以获取并存储视频源设备的视频数据中的车辆图片信息。
其中,该车辆图片信息可以包括但不限于车辆图片、车辆图片的采集时间以及车辆图片的属性信息等。
需要说明的是,在本申请实施例中,车辆图片的采集时间可以携带在车辆图片中(例如,将车辆图片的采集时间显示在车辆图片中的特定位置(如左下角或右下角等)),或者,车辆图片的采集时间可以独立于车辆图片之外,其具体实现在此不做赘述。
本申请实施例中,车辆图片的属性信息可以包括但不限于以下之一或多种:
1)、车辆图片中车辆所在的位置;
2)、车辆图片中车牌所在的位置;
3)、车牌号码;
4)、车牌颜色;
5)、国家类型;
6)、车身颜色;
7)、车辆品牌;
8)、车型(如大型客车、货车或面包车等);
9)、驾驶员是否系安全带;
10)、驾驶员是否在打电话。
在本申请其中一个实施例中,上述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,可以包括:
接收视频源设备发送的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
在该实施例中,当视频源设备具有车辆图片获取功能(如车辆图片抓拍功能或车辆目标检测功能)以及车辆图片分析功能时,视频源设备可以直接获取车辆图片、车辆图片的采集时间以及车辆图片的属性信息,并将车辆图片、车辆图片的采集时间以及车辆图片的属性信息发送给检索设备。
检索设备可以接收视频源设备发送的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
例如,假设视频源设备为具有车辆图片抓拍功能及车辆图片分析功能的IPC,则视频源设备可以抓拍车辆图片(并记录车辆图片抓拍时间(即采集时间)),并对所抓拍的车辆图片进行车辆图片分析,以提取车辆图片的属性信息,进而,视频源设备可以将车辆图片、车辆图片的采集时间以及车辆图片的属性信息发送给检索设备,如NVR,由检索设备存储所接收到的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
在本申请另一个实施例中,上述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,可以包括:
接收到视频源设备发送的车辆图片及车辆图片的采集时间;
对车辆图片进行建模,并提取车辆图片的属性信息。
在该实施例中,当视频源设备具有车辆图片获取功能(如车辆图片抓拍功能或车辆目标检测功能)时,视频源设备可以获取车辆图片以及车辆图片的采集时间,并将车辆图片以及车辆图片的采集时间发送给检索设备。
检索设备接收到视频源设备发送的车辆图片以及车辆图片的采集时间时,可以对车辆图片进行建模,并提取车辆图片的属性信息,进而,检索设备可以获取到视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
例如,假设视频源设备为具有车辆图片抓拍功能的IPC,则视频源设备可以抓拍车辆图片(并记录车辆图片抓拍时间(即采集时间)),并将抓拍的车辆图片以及车辆图片的采集时间发送给检索设备,如NVR;检索设备接收到车辆图片时,可以对车辆图片进行建模,并提取车辆图片的属性信息,进而,检索设备可以存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
在本申请又一个实施例中,上述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,可以包括:
接收视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;
对车辆图片进行建模,并提取车辆图片的第二属性信息;
根据车辆图片的第一属性信息和车辆图片的第二属性信息确定车辆图片的属性信息。
在该实施例中,当视频源设备具有车辆图片获取功能(如车辆图片抓拍功能或车辆目标检测功能)以及车辆图片分析功能时,视频源设备可以直接获取车辆图片、车辆图片的采集时间以及车辆图片的属性信息(本文中称为车辆图片的第一属性信息),并将车辆图片、车辆图片的采集时间以及车辆图片的第一属性信息发送给检索设备。
检索设备接收到视频源设备发送的车辆图片时,可以对所接收到的车辆图片进行建模,并提取车辆图片的属性信息(本文中称为车辆图片的第二属性信息)。
对于任一车辆图片,检索设备可以比较车辆图片的第一属性信息和车辆图片的第二属性信息,对于第一属性信息中存在,但第二属性信息中不存在的属性信息,或第一属性信息中不存在,但第二属性信息中存在的属性信息,加入到该车辆图片的属性信息;对于第一属性信息和第二属性信息中均存在的属性信息,将第二属性信息中的属性信息加入到该车辆图片的属性信息,进而,得到该车辆图片的属性信息。
需要说明的是,在该实施例中,检索设备也可以直接将车辆图片的第二属性信息作为车辆图片的属性信息。
在本申请的又一实施例中,上述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,可以包括:
对视频源设备提供的视频数据进行车辆目标检测,以得到视频数据中的车辆图片及车辆图片的采集时间;
对车辆图片进行建模,并提取车辆图片的属性信息。
在该实施例中,当视频源设备不具备车辆图片获取功能,或视频源设备与检索设备为同一设备(如NVR)时,检索设备可以直接对视频源设备提供的视频数据进行车辆目标检测,以得到视频数据中的车辆图片及车辆图片的采集时间;检索设备得到视频数据中的车辆图片之后,可以进一步地对车辆图片进行建模,并提取车辆图片的属性信息。
例如,假设视频源设备为不具有车辆图片抓拍功能的IPC,视频源设备可以将获取到的视频数据发送给检索设备,如NVR;检索设备接收到视频源设备发送的视频数据时,可以对所接收到的视频数据进行车辆目标检测,以得到视频数据中的车辆图片及车辆图片的采集时间(车辆图片在视频数据中出现的时间),并对车辆图片进行建模,提取车辆图片的属性信息,进而,检索设备可以存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
本申请实施例中,检索设备获取到视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息之后,可以存储所获取到的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
在本申请其中一个实施例中,上述存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,可以包括:
存储车辆图片;
在车辆图片信息表中记录车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
在该实施例中,检索设备获取到车辆图片、车辆图片的采集时间以及车辆图片的属性信息之后,可以存储所获取到的车辆图片,并将车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息记录在车辆图片信息表,其格式可以如表1所示:
表1
车辆图片的位置信息 车辆图片的采集时间 车辆图片的属性信息
车辆图片1的位置信息 车辆图片1的采集时间 车辆图片1的属性信息
车辆图片2的位置信息 车辆图片2的采集时间 车辆图片2的属性信息
其中,车辆图片的位置信息可以为车辆图片在存储空间(如硬盘)中的位置偏移和长度。
应该认识到,上述存储视频源设备的视频数据中车辆图片、车辆图片的采集时间以及车辆图片的属性信息的实现方式仅仅是本申请中存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息的一种具体示例,而并不是对本申请保护范围的限定,即本申请实施例中,也可以通过其他方式存储视频源设备的视频数据中车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
例如,在一个示例中,可以将车辆图片、车辆图片的采集时间以及车辆图片的属性信息存储在同一个数据库中(即直接将车辆图片以二进制的形式存储到数据库中);在该示例中,可以将车辆图片、车辆图片的采集时间以及车辆图片的属性信息存储在同一个数据表,此时,不需要额外记录车辆图片的存储位置。
或者,在另一个示例中,仍然可以先存储车辆图片以得到车辆图片的存储位置,但是存储车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息时,不再以数据表的形式存储,而是采用其他形式存储,如树形结构或文件形式,其具体实现在此不做赘述。
步骤S210、当接收到车辆检索请求时,根据车辆检索请求中携带的车辆检索过滤条件,确定与车辆检索过滤条件匹配的第一车辆图片。
本申请实施例中,检索设备可以提供车辆检索功能,根据接收到的车辆检索请求中携带的车辆检索过滤条件检索匹配的车辆图片及车辆图片的采集时间。
例如,检索设备可以提供车辆检索请求界面,该车辆检索请求界面中可以包括车辆检索过滤条件输入区域或/和车辆检索过滤条件选项,由用户在该车辆检索请求界面中输入或/和选择车辆检索过滤条件,并提交车辆检索请求。
在一个示例中,车辆检索过滤条件为待检索车辆图片的属性信息(本文中可以称为待检索车辆图片的第一属性信息),其可以包括但不限于待检索车辆的车牌号码、车身颜色、车型以及车辆品牌等信息中的一个或多个。
在另一个示例中,车辆检索过滤条件可以包括待检索车辆图片和待检索车辆图片的第一属性信息。
检索设备接收到车辆检索请求时,可以获取该车辆检索请求中携带的车辆检索过滤条件,并根据该车辆检索过滤条件查询所存储的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,并将与车辆检索过滤条件匹配的车辆图片的属性信息对应的车辆图片,确定为与该车辆检索过滤条件匹配的车辆图片(本文中称为第一车辆图片)。
举例来说,假设检索设备按照车辆图片信息表的形式存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息(参见步骤S200中的相关描述),则检索设备可以根据车辆检索过滤条件查询车辆图片信息表中的车辆图片的属性信息,以得到与该车辆检索过滤条件匹配的车辆图片信息表项,并获取该车辆图片信息表项中的车辆图片的存储位置(即第一车辆图片的存储位置)及第一车辆图片的采集时间。
进而,检索设备可以根据第一车辆图片的存储位置从指定存储空间中获取第一车辆图片。
在本申请其中一个实施例中,当车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息时,上述比较车辆检索过滤条件以及车辆图片信息表中记录的车辆图片的属性信息,可以包括:
对待检索车辆图片进行建模,并提取待检索车辆图片的第二属性信息;
根据待检索车辆图片的第一属性信息和待检索车辆图片的第二属性信息,确定待检索车辆的属性信息;
比较待检索车辆图片的属性信息以及车辆图片信息表中记录的车辆图片的属性信息。
在该实施例中,当车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息时,检索设备可以对待检索车辆图片进行建模,并提取待检索车辆图片的属性信息(本文中称为待检索车辆图片的第二属性信息)。
检索设备得到待检索车辆图片的第二属性信息之后,可以根据待检索车辆图片的第一属性信息和待检索车辆图片的第二属性信息,确定待检索车辆的属性信息。
例如,检索设备可以比较待检索车辆图片的第一属性信息和待检索车辆图片的第二属性信息,对于第一属性信息中存在,但第二属性信息中不存在的属性信息,或第一属性信息中不存在,但第二属性信息中存在的属性信息,加入到该待检索车辆图片的属性信息;对于第一属性信息和第二属性信息中均存在的属性信息,将第二属性信息中的属性信息加入到该待检索车辆图片的属性信息,进而,得到该待检索车辆图片的属性信息。
检索设备得到待检索车辆图片的属性信息时,可以根据待检索车辆图片的属性信息查询所存储的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,并将与待检索车辆图片的属性信息匹配的车辆图片的属性信息对应的车辆图片,确定为与该车辆检索过滤条件匹配的第一车辆图片。
应该认识到,上述车辆图片信息的检索仅仅是在以车辆图片信息表的方式存储车辆图片信息的情况下的一种具体示例,而并不是对本申请保护范围的限定,即在本申请实施例中,也可以通过其他方式实现车辆图片信息的检索。
例如,当车辆图片、车辆图片的采集时间以及车辆图片的属性信息存放在数据库中的同一个数据表中时,检索设备可以直接根据待检索车辆图片的属性信息,从数据库中查询相匹配的车辆图片的属性信息所在的表项,并从查询到的表项中获取车辆图片信息。
步骤S220、根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对视频摘要进行回放。
本申请实施例中,检索设备获取到与车辆检索过滤条件匹配的第一车辆图片及第一车辆图片的采集时间之后,可以根据第一车辆图片及第一车辆图片的采集时间生成带检索车辆的视频摘要,并对待检测车辆的视频摘要进行回放。
在本申请其中一个实施例中,上述根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,可以包括:
根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
在该实施例中,检索设备可以直接根据按时间从早到晚的顺序排序后的第一车辆图片,生成视频摘要。
例如,当检索设备检索到的第一车辆图片的数量超过预设数量阈值(可以根据实际需求设定,如200张、500张等),且按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值不超过预设时间阈值(可以根据实际需求设定,如1秒、2秒等)时,检索设备可以直接根据按时间从早到晚的顺序排序后的第一车辆图片,生成视频摘要。
在本申请另一个实施例中,上述根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,可以包括:
对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一目标图片的采集时间之前的第n秒以及该第一目标图片的采集时间之后的第m秒之间的录像数据;
根据各目标录像片段生成的视频摘要。
在该实施例中,检索设备获取到第一车辆图片及第一车辆图片的采集时间之后,对于任一第一车辆图片,检索设备可以将该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据确定为该第一车辆图片对应的目标录像片段。
其中,n和m为非负数。
检索设备确定了各第一车辆图片对应的目标录像片段时,可以对各第一车辆图片对应的目标录像片段进行融合,即根据各目标录像片段的起始时间或/和结束时间对各目标录像片段进行排序和拼接,以生成待检索车辆的视频摘要。
进一步地,在本申请实施例中,考虑到当存在多个视频数据通道的视频数据,且多个视频数据通道覆盖的场景存在重叠(如多个IPC的监控视角范围内存在区域重叠)时,可能会出现同一时间点在多个视频数据通道的视频数据中出现同一目标的情况,此时,为了避免视频摘要中出现相似度过高的视频数据,可以对第一车辆图片进行去重复处理。
相应地,在本申请其中一个实施例中,上述根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,可以包括:
当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;
搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;
若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段。
在该实施例中,当存在采集时间相同的多张第一车辆图片时,检索设备可以按照预设策略确定该多张第一车辆图片中的各第一车辆图片对应的录像片段的起始时间点和结束时间点。
其中,对于该多张第一车辆图片中的任一第一车辆图片,该第一车辆图片对应的录像片段的起始时间点为该第一车辆图片的采集时间之前的第n秒,结束时间点为该第一车辆图片的采集时间之后的第m秒。
检索设备确定了起始时间点和结束时间点之后,可以搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧(即该视频数据通道中是否存在该起始时间点的录像数据),以及是否存在该结束时间点的I帧(即该视频数据通道中是否存在该结束时间点的录像数据)。
若均存在,则检索设备可以直接将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多张第一车辆图片中的其余第一车辆图片。
进一步地,在该实施例中,当该多张第一车辆图片均不存在起始时间点(该第一图片信息的采集时间之前的第n秒)的I帧或/和结束时间点(该第一图片信息的采集时间之后的第m秒)的I帧时,对于该多个第一车辆图片中的任一第一车辆图片,若该第一车辆图片所属的视频数据通道的录像数据中不存在该起始时间点的I帧,则检索设备可以将第一车辆图片对应的录像片段的起始时间点增加1秒,并搜索是否存在该起始时间点的I帧,若不存在,则再次将该第一车辆图片对应的录像片段的起始时间点增加1秒,并搜索是否存在该起始时间点的I帧,重复该操作,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点(更新后的起始时间点)的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同。
同理,若该第一车辆图片所属的视频数据通道的录像数据中不存在该结束时间点的I帧,则检索设备可以将第一车辆图片对应的录像片段的结束时间点减少1秒,并搜索是否存在该结束时间点的I帧,若不存在,则再次将该第一车辆图片对应的录像片段的结束时间点减少1秒,并搜索是否存在该结束时间点的I帧,重复该操作,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点(更新后的结束时间点)的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同。
检索设备按照上述方式确定了该多个第一车辆图片对应的录像片段的起始时间点与结束时间点之后,可以确定该多张第一车辆图片中对应的录像片段的时长最长(结束时间点与起始时间点的差值最大)的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多张第一车辆图片中的其余第一车辆图片。
在该实施例中,检索设备确定了目标录像片段之后,可以根据各目标录像片段生成视频摘要。
需要说明的是,在该实施例中,当该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片的数量大于1时,按照预设策略从其中选择一个第一车辆图片,并将所选择的第一车辆图片对应的录像片段确定为目标录像片段。
例如,可以选择起始时间点最早的第一车辆图片、选择结束时间最晚的第一车辆图片或随机选择。
此外,在本申请实施例中,当存在采集时间相同的多个第一车辆图片,也可以通过手动的方式实现该多个第一车辆图片的去重复处理。
例如,检索设备可以将该多个第一车辆图片展示在指定界面中,由用户选择需要保留的第一车辆图片,并将其余采集时间相同的第一车辆图片丢弃,其具体实现在此不做赘述。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中,以视频源设备为IPC,检索设备为NVR为例,其中,NVR中加载有具有智能分析功能的智能芯片。
在该实施例中,视频摘要回放方案实现流程如下:
1、车辆图片信息获取
以IPC具有车辆图片抓拍功能为例
1)、IPC进行车辆图片抓拍,并将抓拍的车辆图片及车辆图片的采集时间传输给NVR;
在该实施例中,IPC在获取实时视频流的过程中,还可以进行车辆图片抓拍,并将抓拍的车辆图片及车辆图片的采集时间(即车辆图片的抓拍时间)传输给NVR。
需要说明的是,在该实施例中,IPC也会将实时视频流传输给NVR,由NVR根据预设策略保存视频录像。
2)、NVR提取车辆图片中的特征值,并根据车辆图片的特征值对车辆图片进行建模,提取车辆图片的属性信息;
在该实施例中,NVR接收到IPC传输的车辆图片时,可以通过智能芯片对车辆图片进行智能分析。
智能芯片可以使用算法库,提取车辆图片中的关于车辆的特征值,并使用算法库,根据所提取的特征值对车辆图片进行建模,并提取车辆图片的属性信息。
其中,在该实施例中,NVR获取车辆图片信息的流程示意图可以如图3所示。
3)、NVR存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息,具体实现参见第2点中的描述。
以IPC不具有图片抓拍功能为例
1)、NVR对视频录像或者实时视频流进行目标检测,以得到车辆图片及车辆图片的采集时间;
在该实施例中,NVR可以通过智能芯片对视频录像或实时视频流进行目标检测,以得到视频录像或实时视频流中的车辆图片及车辆图片的采集时间(即车辆图片在视频数据中出现的时间)。
2)、NVR提取车辆图片中的特征值,并根据车辆图片的特征值对车辆图片进行建模,提取车辆图片的属性信息;
在该实施例中,NVR接收到IPC传输的车辆图片时,可以通过智能芯片对车辆图片进行智能分析。
智能芯片可以使用算法库,提取车辆图片中的关于车辆的特征值,并使用算法库,根据所提取的特征值对车辆图片进行建模,并提取车辆图片的属性信息。
其中,在该实施例中,NVR获取车辆图片信息的流程示意图可以如图4所示。
3)、NVR存储车辆图片、车辆图片的采集时间以及车辆图片的属性信息,具体实现参见第2点中的描述。
2、车辆图片信息存储
1)、NVR存储车辆图片,以得到车辆图片的存储位置。
对于车辆图片信息,建立一个车辆图片信息相关的数据库表VehicleTable(车辆表);其中,该VehicleTable表中主要字段有:车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
需要说明的是,在该实施例中,NVR还可以车辆图片的模型数据,其具体实现在此不做赘述。
NVR将车辆图片存储到硬盘之后,可以得到车辆图片所在硬盘的位置偏移和长度(即车辆图片的存储位置)。
2)、NVR在VehicleTable表中记录车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
3、车辆检索
1)、接收车辆检索请求,该车辆检索请求中携带有车辆检索过滤条件;
在该实施例中,NVR可以提供车辆检索界面,该车辆检索界面中包括车辆检索过滤条件输入区域或/和选项。
用户可以通过该车辆检索界面填写或/和选择车辆检索过滤条件,并提交车辆检索请求。
2)、NVR根据车辆检索过滤条件从VehicleTable表中查询匹配的车辆图片的存储位置和车辆图片的采集时间;
在该实施例中,NVR可以查询VehicleTable表,比较车辆检索过滤条件和VehicleTable表中记录的车辆图片的属性信息,将记录的车辆图片的属性信息与车辆检索过滤条件匹配的VehicleTable表项中记录的车辆图片的存储位置和车辆图片的采集时间,确定为匹配的车辆图片的存储位置(下文中称为第一车辆图片的存储位置)和车辆图片的采集时间(下文中称为第一车辆图片的采集时间)。
3)、NVR根据第一车辆图片的存储位置获取第一车辆图片。
在该实施例中,NVR可以根据第一车辆图片的存储位置(位置偏移+长度)从硬盘中读取第一车辆图片,从而,NVR可以得到第一车辆图片和第一车辆图片的采集时间。
4、视频摘要回放
1)、对于任一第一车辆图片,获取第一车辆图片的采集时间之前的5秒到第一车辆图片的报警之间之后的5秒的目标录像片段。
在该实施例中,NVR可以建立一张VideoTable(录像信息表);其中,该VideoTable表中主要字段有:录像存储位置(硬盘位置偏移+长度)以及录像数据的起止时间(起始时间和结束时间)。
当一个完成的录像存储到硬盘后,在VideoTable表中插入一条新的记录(即新增一条表项),记录录像存储位置以及起止时间。
对于任一第一车辆图片,NVR将该第一车辆图片的采集时间之前的第5秒确定为目标录像片段的起始时间,第一车辆图片的采集时间之后的第5秒确定为目标录像片段的结束时间,并根据第一车辆图片的起始时间和结束时间查询VideoTable表,以获取目标录像片段。
2)、根据各目标录像片段生成视频摘要,并解码显示。
本申请实施例中,通过获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,当接收到车辆检索请求时,根据车辆检索请求中携带的车辆检索过滤条件,确定与车辆检索过滤条件匹配的第一车辆图片,进而根据第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对视频摘要进行回放,避免了每次车辆检索均需要从视频数据中提取匹配的车辆图片,提高了车辆检索效率和准确性,并保证了车辆视频跟踪的连贯性。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图5,为本申请实施例提供的一种视频摘要回放装置的结构示意图,其中,该视频摘要回放装置可以应用于上述实施例中的检索设备,如图5所示,该视频摘要回放装置可以包括:
获取单元510,用于获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
存储单元520,用于存储所述车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
检索单元530,用于当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;
处理单元540,用于根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放。
在一种可选的实施方式中,所述获取单元510,具体用于接收所述视频源设备发送的车辆图片、车辆图片的采集时间以及车辆图片的属性信息。
在一种可选的实施方式中,所述获取单元510,具体用于接收所述视频源设备发送的车辆图片及车辆图片的采集时间;对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
在一种可选的实施方式中,所述获取单元510,具体用于接收所述视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;对所述车辆图片进行建模,并提取所述车辆图片的第二属性信息;根据所述车辆图片的第一属性信息和所述车辆图片的第二属性信息确定所述车辆图片的属性信息。
在一种可选的实施方式中,所述获取单元510,具体用于对所述视频源设备提供的视频数据进行车辆目标检测,以得到所述视频数据中的车辆图片及车辆图片的采集时间;对所述车辆图片进行建模,并提取所述车辆图片的属性信息。
在一种可选的实施方式中,所述存储单元520,具体用于存储所述车辆图片;在车辆图片信息表中记录所述车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
在一种可选的实施方式中,所述检索单元530,具体用于比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,以得到与所述车辆检索过滤条件匹配的第一车辆图片的存储位置;根据所述第一车辆图片的存储位置获取所述第一车辆图片。
在一种可选的实施方式中,所述车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息;
所述检索单元530,具体用于对所述待检索车辆图片进行建模,并提取所述待检索车辆图片的第二属性信息;根据所述待检索车辆图片的第一属性信息和所述待检索车辆图片的第二属性信息,确定所述待检索车辆的属性信息;比较所述待检索车辆图片的属性信息以及所述车辆图片信息表中记录的车辆图片的属性信息。
在一种可选的实施方式中,所述处理单元540,具体用于根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
在一种可选的实施方式中,所述处理单元540,具体用于对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据;根据各目标录像片段生成视频摘要。
在一种可选的实施方式中,所述处理单元540,具体用于当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段;根据各目标录像片段生成视频摘要。
在一种可选的实施方式中,所述处理单元540,还具体用于若不存在该起始时间点的I帧,则将该第一车辆图片对应的录像片段的起始时间点增加1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;若不存在该结束时间点的I帧,则将该第一车辆图片对应的录像片段的结束时间点减少1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;确定该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多条第一车辆图片中的其余第一车辆图片;根据各目标录像片段生成视频摘要。
请参见图6,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器601、通信接口602、存储器603和通信总线604。处理器601、通信接口602以及存储器603通过通信总线604完成相互间的通信。其中,存储器603上存放有计算机程序;处理器601可以通过执行存储器603上所存放的程序,执行上文描述的视频摘要回放方法。
本文中提到的存储器603可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储器602可以是:RAM(Radom AccessMemory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质,例如图6中的存储器603,所述计算机程序可由图6所示电子设备中的处理器601执行以实现上文描述的视频摘要回放方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (16)

1.一种视频摘要回放方法,其特征在于,包括:
获取并存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;
根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放;
其中,所述获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
接收所述视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;
对所述车辆图片进行建模,并提取所述车辆图片的第二属性信息;
根据所述车辆图片的第一属性信息和所述车辆图片的第二属性信息确定所述车辆图片的属性信息;
对于任一车辆图片,比较该车辆图片的第一属性信息和该车辆图片的第二属性信息,对于第一属性信息中存在,但第二属性信息中不存在的属性信息,或第一属性信息中不存在,但第二属性信息中存在的属性信息,加入到该车辆图片的属性信息;对于第一属性信息和第二属性信息中均存在的属性信息,将第二属性信息中的属性信息加入到该车辆图片的属性信息;
其中,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
当检索设备检索到的第一车辆图片的数量超过预设数量阈值,且按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值不超过预设时间阈值时,根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
2.根据权利要求1所述的方法,其特征在于,所述存储视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息,包括:
存储所述车辆图片;
在车辆图片信息表中记录所述车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片,包括:
比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,以得到与所述车辆检索过滤条件匹配的第一车辆图片的存储位置;
根据所述第一车辆图片的存储位置获取所述第一车辆图片。
4.根据权利要求3所述的方法,其特征在于,所述车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息;
所述比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,包括:
对所述待检索车辆图片进行建模,并提取所述待检索车辆图片的第二属性信息;
根据所述待检索车辆图片的第一属性信息和所述待检索车辆图片的第二属性信息,确定所述待检索车辆的属性信息;
比较所述待检索车辆图片的属性信息以及所述车辆图片信息表中记录的车辆图片的属性信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
若检索设备检索到的第一车辆图片的数量未超过预设数量阈值,和/或,按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值超过预设时间阈值,则对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据;
根据各目标录像片段生成视频摘要。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,包括:
若检索设备检索到的第一车辆图片的数量未超过预设数量阈值,和/或,按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值超过预设时间阈值,则当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;
搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;
若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段;
根据各目标录像片段生成视频摘要。
7.根据权利要求6所述的方法,其特征在于,所述搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧之后,还包括:
若该多张第一车辆图片均不存在该起始时间点的I帧,则对于该多张第一车辆图片中的任一第一车辆图片,将该第一车辆图片对应的录像片段的起始时间点增加1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;
若该多张第一车辆图片均不存在该结束时间点的I帧,则对于该多张第一车辆图片中的任一第一车辆图片,将该第一车辆图片对应的录像片段的结束时间点减少1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;
确定该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多张第一车辆图片中的其余第一车辆图片;
根据各目标录像片段生成视频摘要。
8.一种视频摘要回放装置,其特征在于,包括:
获取单元,用于获取视频源设备的视频数据中的车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
存储单元,用于存储所述车辆图片、车辆图片的采集时间以及车辆图片的属性信息;
检索单元,用于当接收到车辆检索请求时,根据所述车辆检索请求中携带的车辆检索过滤条件,确定与所述车辆检索过滤条件匹配的第一车辆图片;
处理单元,用于根据所述第一车辆图片及第一车辆图片的采集时间生成视频摘要,并对所述视频摘要进行回放;
其中,所述获取单元,具体用于接收所述视频源设备发送的车辆图片信息、车辆图片的采集时间以及车辆图片的第一属性信息;对所述车辆图片进行建模,并提取所述车辆图片的第二属性信息;根据所述车辆图片的第一属性信息和所述车辆图片的第二属性信息确定所述车辆图片的属性信息;
对于任一车辆图片,比较该车辆图片的第一属性信息和该车辆图片的第二属性信息,对于第一属性信息中存在,但第二属性信息中不存在的属性信息,或第一属性信息中不存在,但第二属性信息中存在的属性信息,加入到该车辆图片的属性信息;对于第一属性信息和第二属性信息中均存在的属性信息,将第二属性信息中的属性信息加入到该车辆图片的属性信息;
所述处理单元,具体用于当检索设备检索到的第一车辆图片的数量超过预设数量阈值,且按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值不超过预设时间阈值时,根据按时间从早到晚的顺序排序后的所述第一车辆图片,生成视频摘要。
9.根据权利要求8所述的装置,其特征在于,
所述存储单元,具体用于存储所述车辆图片;在车辆图片信息表中记录所述车辆图片的存储位置、车辆图片的采集时间以及车辆图片的属性信息。
10.根据权利要求9所述的装置,其特征在于,
所述检索单元,具体用于比较所述车辆检索过滤条件以及所述车辆图片信息表中记录的车辆图片的属性信息,以得到与所述车辆检索过滤条件匹配的第一车辆图片的存储位置;根据所述第一车辆图片的存储位置获取所述第一车辆图片。
11.根据权利要求10所述的装置,其特征在于,所述车辆检索过滤条件包括待检索车辆图片和待检索车辆图片的第一属性信息;
所述检索单元,具体用于对所述待检索车辆图片进行建模,并提取所述待检索车辆图片的第二属性信息;根据所述待检索车辆图片的第一属性信息和所述待检索车辆图片的第二属性信息,确定所述待检索车辆的属性信息;比较所述待检索车辆图片的属性信息以及所述车辆图片信息表中记录的车辆图片的属性信息。
12.根据权利要求8所述的装置,其特征在于,
所述处理单元,具体用于若检索设备检索到的第一车辆图片的数量未超过预设数量阈值,和/或,按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值超过预设时间阈值,则对于任一第一车辆图片,确定该第一车辆图片对应的目标录像片段;其中,该目标录像片段为该第一车辆图片的采集时间之前的第n秒以及该第一车辆图片的采集时间之后的第m秒之间的录像数据;根据各目标录像片段生成视频摘要。
13.根据权利要求8所述的装置,其特征在于,
所述处理单元,具体用于若检索设备检索到的第一车辆图片的数量未超过预设数量阈值,和/或,按时间从早到晚的顺序排序后相邻的第一车辆图片的采集时间的差值超过预设时间阈值,则当存在采集时间相同的多张第一车辆图片时,对于该多张第一车辆图片中的任一第一车辆图片,确定该第一车辆图片对应的录像片段的起始时间点和结束时间点;其中,该起始时间点为该第一车辆图片的采集时间之前的第n秒,该结束时间点为该第一车辆图片的采集时间之后的第m秒;搜索该第一车辆图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧,以及是否存在该结束时间的I帧;若均存在,则丢弃该多张第一车辆图片中的其余第一车辆图片,并将该第一车辆图片对应的录像片段确定为目标录像片段;根据各目标录像片段生成视频摘要。
14.根据权利要求13所述的装置,其特征在于,
所述处理单元,还具体用于若该多张第一车辆图片均不存在该起始时间点的I帧,则对于该多张第一车辆图片中的任一第一车辆图片,将该第一车辆图片对应的录像片段的起始时间点增加1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;若该多张第一车辆图片均不存在该结束时间点的I帧,则对于该多张第一车辆图片中的任一第一车辆图片,将该第一车辆图片对应的录像片段的结束时间点减少1秒,并重复上述搜索步骤,直至在该第一车辆图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧,或,该第一车辆图片对应的录像片段的起始时间点与结束时间点相同;确定该多张第一车辆图片中对应的录像片段的时长最长的第一车辆图片,将该第一车辆图片对应的录像片段确定为目标录像片段,并丢弃该多张第一车辆图片中的其余第一车辆图片;根据各目标录像片段生成视频摘要。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一项所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201811027515.5A 2018-09-04 2018-09-04 视频摘要回放方法、装置、电子设备及可读存储介质 Active CN110876029B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811027515.5A CN110876029B (zh) 2018-09-04 2018-09-04 视频摘要回放方法、装置、电子设备及可读存储介质
PCT/CN2019/102073 WO2020048324A1 (zh) 2018-09-04 2019-08-22 视频摘要生成方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811027515.5A CN110876029B (zh) 2018-09-04 2018-09-04 视频摘要回放方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110876029A CN110876029A (zh) 2020-03-10
CN110876029B true CN110876029B (zh) 2021-10-29

Family

ID=69716111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811027515.5A Active CN110876029B (zh) 2018-09-04 2018-09-04 视频摘要回放方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110876029B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700654A (zh) * 2020-12-21 2021-04-23 上海眼控科技股份有限公司 视频处理方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436692B1 (en) * 2013-06-25 2016-09-06 Emc Corporation Large scale video analytics architecture
CN105335387A (zh) * 2014-07-04 2016-02-17 杭州海康威视系统技术有限公司 一种视频云存储系统的检索方法
CN108255970A (zh) * 2017-12-26 2018-07-06 努比亚技术有限公司 一种视频查找方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110876029A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
US8270684B2 (en) Automatic media sharing via shutter click
WO2016119368A1 (zh) 目标跟踪方法及装置
US20210357678A1 (en) Information processing method and apparatus, and storage medium
JP2005293020A (ja) 移動物体の映像データ検索方法、移動物体の撮影・検出装置、移動物体の映像データ検索装置
WO2014106384A1 (zh) 一种监控录像信息提供方法、装置及视频监控系统
CN111090777B (zh) 一种视频数据的管理方法、管理设备及计算机存储介质
CN110876090B (zh) 视频摘要回放方法、装置、电子设备及可读存储介质
CN110543584B (zh) 一种建立人脸索引的方法、装置、处理服务器及存储介质
TWI430664B (zh) Intelligent Image Monitoring System Object Track Tracking System
CN111881320A (zh) 一种视频查询方法、装置、设备及可读存储介质
CN112866817A (zh) 视频回放方法、装置、电子装置和存储介质
CN115422479A (zh) 轨迹关联方法、装置、电子设备及机器可读存储介质
CN110876029B (zh) 视频摘要回放方法、装置、电子设备及可读存储介质
CN113255438B (zh) 一种结构化的录像文件标记方法、系统、主机及存储介质
CN110598551B (zh) 一种提高行人身份识别效率的方法、装置、设备及介质
CN110457998B (zh) 影像数据关联方法和设备、数据处理设备及介质
CN109147338B (zh) 一种违规停车的识别方法、装置及服务器
JP5548202B2 (ja) ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーン検索の最適化方法
WO2023124134A1 (zh) 档案处理方法、装置、电子设备、计算机存储介质和程序
CN103905789A (zh) 动态分析数据的保存、搜索和事后分析的方法及其装置
CN110929095A (zh) 视频摘要回放方法、装置、电子设备及可读存储介质
CN110876092B (zh) 视频摘要生成方法、装置、电子设备及可读存储介质
CN114648056A (zh) 关联方法、电子设备及计算机可读存储介质
CN109635688B (zh) 基于图像识别管理书架上书籍的方法与系统
CN113449130A (zh) 一种图像检索方法、装置、一种计算机可读存储介质和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant