CN113254702A - 一种视频录像检索的方法及装置 - Google Patents

一种视频录像检索的方法及装置 Download PDF

Info

Publication number
CN113254702A
CN113254702A CN202110588677.1A CN202110588677A CN113254702A CN 113254702 A CN113254702 A CN 113254702A CN 202110588677 A CN202110588677 A CN 202110588677A CN 113254702 A CN113254702 A CN 113254702A
Authority
CN
China
Prior art keywords
information
video
retrieved
target
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110588677.1A
Other languages
English (en)
Inventor
余昌利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110588677.1A priority Critical patent/CN113254702A/zh
Publication of CN113254702A publication Critical patent/CN113254702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种视频录像检索的方法及装置,应用于监控领域,用以在跨监控设备的情况下,快速检索出包含待检索对象的目标视频录像。在本申请实施例中,基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID;基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息;将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使显示设备基于存储信息获取至少一个监控设备获取的目标视频录像,并对目标视频录像进行展示,其中,目标视频录像携带有待检索对象信息。

Description

一种视频录像检索的方法及装置
技术领域
本申请涉及视频监控领域,尤其涉及一种视频录像检索的方法及装置。
背景技术
在视频监控领域中,后端设备以通道为单位,采用以图搜图和智能检索技术进行视频录像检索,即在视频录像检索过程中,仅能针对一个监控设备获取的视频录像进行检索。而大多数的待检索对象往往是移动的,此时会出现待检索对象会从监控设备1的监控区域移动到监控设备2的监控区域的情况。在待检索对象跨监控设备移动时,以现有的视频录像检索技术,无法实现针对待检索对象进行跨监控设备的视频录像检索。
发明内容
本申请提供一种视频录像检索的方法及装置,用以在跨监控设备的情况下,快速检索出包含待检索对象的目标视频录像。
第一方面,本申请实施例提供一种视频录像检索的方法,该方法包括:
基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID;
基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息;
将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使显示设备基于存储信息获取至少一个监控设备获取的目标视频录像,并对目标视频录像进行展示,其中,目标视频录像携带有待检索对象信息。
第二方面,本申请实施例提供一种视频录像检索的方法,该方法包括:
向后端设备发送携带有待检索对象信息的检索请求;
接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径;
基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像,并对目标视频录像进行展示。
第三方面,本申请实施例提供一种视频录像检索的装置,该装置包括:
确定模块,用于基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID;
查找模块,用于基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息;
返回模块,用于将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使显示设备基于存储信息获取至少一个监控设备获取的目标视频录像,并对目标视频录像进行展示,其中,目标视频录像携带有待检索对象信息。
在一种可能的实现方式中,确定模块基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID之前,还用于:
接收显示设备发送的检索请求,其中,检索请求是显示设备通过如下方式确定的:
基于用户输入的包含待检索对象的图像,以及待检索对象的标识信息中至少一种信息的输入指令,确定检索请求;或
基于用户在视频录像播放过程中,针对当前播放的视频录像触发的标记框选操作,确定检索请求。
在一种可能的实现方式中,确定模块具体用于:
将待检索对象信息,与预先存储的参考对象信息进行匹配;
确定匹配成功后,将匹配成功的参考对象信息的参考特征向量索引ID,作为待检索对象信息的第一目标特征向量索引ID。
在一种可能的实现方式中,确定模块通过如下方式更新预先存储的参考对象信息和相应的参考特征向量索引ID:
接收多个监控设备发送的视频录像;
针对多个监控设备中的每个监控设备,执行:
对监控设备发送的视频录像中包含移动对象的视频帧图像,进行抠图处理,获得包含移动对象的第一抠图图像;
基于第一抠图图像,确定移动对象的移动对象信息;
确定移动对象信息与预先存储的参考对象信息匹配失败后,针对第一抠图图像进行数据哈希,确定移动对象信息的第二目标特征向量索引ID;
基于移动对象信息和相应的第二目标特征向量索引ID,更新预先存储的参考对象信息和相应的参考特征向量索引ID。
在一种可能的实现方式中,确定模块确定移动对象信息的第二目标特征向量索引ID之后,还用于:
将第二目标特征向量索引ID,作为用于指示起始的第一标记信息,并将第一标记信息添加到第一视频帧图像对应的帧头中,并确定第一视频帧图像对应的起始帧索引ID,其中,第一视频帧图像是基于视频录像中第一次出现移动对象信息的视频帧图像确定的;
将第二目标特征向量索引ID,作为用于指示结束的第二标记信息,并将第二标记信息添加到第二视频帧图像对应的帧头中,并确定第二视频帧图像对应的结束帧索引ID,其中,第二视频帧图像是在视频录像中连续N帧未出现移动对象信息后,基于连续N帧确定的,N为正整数。
在一种可能的实现方式中,确定模块确定移动对象信息的第二目标特征向量索引ID之后,还用于:
将视频录像进行存储,获取视频录像的存储信息;
获取视频录像中包含的第二目标特征向量索引ID,并构建第二目标特征向量索引ID与存储信息的第二对应关系;
基于第二目标特征向量索引ID与存储信息的第二对应关系,更新数据库中存储的特征向量索引ID与存储信息的第一对应关系。
在一种可能的实现方式中,确定模块确定移动对象信息的第二目标特征向量索引ID之后,还用于:
对监控设备发送的视频录像中包含移动对象的视频帧图像,确定移动对象的移动对象信息,在相应视频帧图像中的位置信息,并将第二目标特征向量索引ID与位置信息的第三对应关系,添加到相应视频帧图像的帧头中。
在一种可能的实现方式中,返回模块还用于:
将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种,返回给显示设备。
第四方面,本申请实施例提供一种视频录像检索的装置,该装置包括:
发送模块,用于向后端设备发送携带有待检索对象信息的检索请求;
接收模块,用于接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径;
获取模块,用于基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像,并对目标视频录像进行展示。
在一种可能的实现方式中,接收模块还用于:
接收后端设备返回的将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种。
在一种可能的实现方式中,接收模块接收后端设备返回的起始帧索引ID和结束帧索引ID,获取模块具体用于:
针对至少一个监控设备标识中的每个监控设备标识,执行如下步骤:
基于监控设备标识对应的视频录像存储路径,查找存储路径下存储的携带有待检索对象信息的视频录像;
基于起始帧索引ID和结束帧索引ID,在查找到的携带有待检索对象信息的视频录像中,直接定位到携带有待检索对象信息的目标视频录像,
并获取目标视频录像。
在一种可能的实现方式中,接收模块接收后端设备返回的系统存储时间,获取模块基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像后,并对目标视频录像进行展示之前,还用于:
按照系统存储时间,对至少一个监控设备标识对应的目标视频录像进行排序。
在一种可能的实现方式中,获取模块对目标视频录像进行展示,包括如下至少一种:
对目标视频录像进行回放处理,展示目标视频录像的视频内容;
对目标视频录像中包含的待检索对象信息的行驶轨迹进行展示;
对目标视频录像中包含的待检索对象信息进行热点展示。
第五方面,本申请实施例提供一种视频录像检索的设备,包括:存储器和处理器,其中,存储器,用于存储计算机指令;处理器,用于执行计算机指令以实现本申请实施例提供的视频录像检索的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的视频录像检索的方法。
本申请有益效果如下:
本申请实施例提供一种视频录像检索的方法及装置,应用于监控领域,在本申请实施例中,显示设备向后端设备发送检索请求,后端设备基于检索请求中的待检索对象信息,确定待检索对象信息的第一特征向量索引ID,此时后端设备基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息,并将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,显示设备在接收到后端设备返回的存储信息后,基于接收到的存储信息获取至少一个监控设备获取的目标视频录像,并对目标视频录像进行展示。由于不同的监控设备对应不同的监控区域,显示设备获取多个监控设备的目标视频录像,且对多个监控设备的目标视频录像进行展示,实现了跨多个监控设备的情况下,基于存储路径快速检索出包含待检索对象的目标视频录像。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种后端设备接入多个监控设备的示意图;
图3为本申请实施例提供的一种后端设备存储视频录像的方法流程图;
图4为本申请实施例提供的一种确定移动对象信息在视频帧图像中位置信息的示意图;
图5为本申请实施例提供的第一种视频帧录像检索的方法流程图;
图6为本申请实施例提供的一种对视频录进行标记框选的示意图;
图7为本申请实施例提供的第二种视频录像检索的方法流程图;
图8为本申请实施例提供的一种基于目标视频录像进行热点展示的示意图;
图9为本申请实施例提供的一种基于目标视频录像对待检索对象信息的轨迹进行展示的示意图;
图10为本申请实施例提供的一种视频录像检索的装置的结构图;
图11为本申请实施例提供的另一种视频录像检索的装置的结构图;
图12为本申请实施例提供的一种计算设备的结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例应用于视频监控领域,涉及视频分析、检索、回放、轨迹跟踪、热点展示等领域,尤其涉及在跨监控设备下,进行视频录像的快速检索,广泛应用于车站人员搜索、车辆追踪及商超的热点人流展示。
相关技术中,对视频录像进行检索时,后端设备以通道为单位,采用以图搜图和智能检索技术进行视频录像检索,即仅针对一个监控设备获取的视频录像进行检索。
其中,以图搜图是,借助图像底库中存储的图像对应的特征向量索引ID,对包含待检索对象的图像进行特征向量索引ID提取。即将包含待检索对象的图像与图像底库中存储的图像进行匹配;并将匹配成功的图像对象的特征向量索引ID,作为包含待检索对象的图像对应的特征向量索引ID。然后,基于特征向量索引ID在数据库中进行比对,筛选出特征向量索引ID对应的历史视频录像,实现视频录像的检索过程,并对检索到的视频录像进行回放。该技术能对所有触发的场景进行视频录像保存,在后期筛选过滤的时候,根据匹配相似度进行匹配,再根据触发时间对匹配成功的视频录像进行回放。基于图搜图技术虽然可以实现视频录像快速检索,但其仅针对一个监控设备获取的视频录像进行检索,无法针对跨监控设备获取的多个视频录像进行有效关联检索,难以形成针对同一待检索对象,在由多个监控设备形成的全监控区域内进行连续有效的视频录像检索,也无法实现对待检索对象的轨迹跟踪、热点展示等。
智能检索技术为,对视频数据帧插入动检帧进行快速过滤查找,该方法能快速过滤视频文件中的移动场景数据,从而达到快速检索关键信息的目的。但基于智能检索技术对动检数据帧进行分析和检索过程中,只能区分和过滤出视频帧图像中运动的部分,对于具体特征的待检索对象无法做到快速视频录像检索。对具有移动特性的待检索对象,也无法针对跨监控设备获取的多个视频录像进行有效关联检索,难以形成针对同一待检索对象,在由多个监控设备形成的全监控区域内进行连续有效的视频录像检索,也无法实现对待检索对象的轨迹跟踪、热点展示等。
相关技术中,后端设备针对移动的待检索对象,无法实现跨监控设备的视频录像检索,即无法实现多个监控设备的关联检索,对于跨监控设备间的待检索对象进行视频录像检索存在较大的局限性,因此,无法对待检索对象在多个监控设备组成的全监控区域内进行轨迹跟踪、热点展示等。
有鉴于此,本申请实施例提供一种视频录像检索的方法、装置及存储介质,用以在跨监控设备的全监控区域场景下,快速检索出包含待检索对象的目标视频录像,以基于检索获得的目标视频录像进行回放,对待检索对象进行轨迹跟踪、热点展示等。即实现全监控区域内移动的待检索对象的检索、轨迹跟踪、热点展示等。
在本申请实施例中,一个后端设备中接入多个监控设备,并接收各个监控设备传输的视频录像。并针对各个监控设备中的每一个监控设备传输的视频录像,执行:对视频录像进行智能分析,确定视频录像中包含的移动对象,确定移动对象在包含该移动对象的视频帧图像中的位置信息,基于位置信息对视频帧图像进行抠图处理,基于抠图图像确定移动对象的移动对象信息,将移动对象信息与预先存储的参考对象信息进行匹配,确定移动对象信息的第二目标特征向量索引ID,将视频录像进行存储,并获取视频录像存储的硬盘盘号、簇号、分区号以及视频录像对应的监控设备的监控设备标识等存储设备,并在数据库中记录特征向量索引ID与存储信息的第一对应关系。此时,一个待检索对象信息的特征向量索引ID对应有多个监控设备标识,每个监控设备标识对应的监控设备获取的视频录像都对应有相应的硬盘盘号、簇号、分区号。实现多个监控设备的数据关联,以进一步实现对由多个监控设备组成的全监控区域进行视频录像搜索。
在本申请实施例中,后端设备获取显示设备发送的检索请求,确定检索请求中的待检索对象信息,基于检索请求中的待检索对象信息,确定预先存储的多个参考对象信息中与待检索对象信息匹配的参考对象信息,并将该参考对象信息的特征向量索引ID,作为待检索对象信息的第一目标特征向量索引ID,基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息,并将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使显示设备基于存储信息获取至少一个监控设备获取的目标视频录像。在跨监控设备的场景下,显示设备实现对待检索对象的快速检索,获得包含待检索对象的目标视频录像,以使显示设备基于获取的目标视频录像进行回放、轨迹跟踪及热点展示。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
请参考图1,图1示例性的提供的了本申请实施例的一种应用场景示意图,该应用场景中包括监控设备10、显示设备11以及后端设备12。
其中,监控设备10用于获取视频录像,为安装在商场、路标等包含摄像装置的设备,比如摄像机;
显示设备11用于播放视频录像,显示移动对象的移动轨迹等,为用户使用的电子设备,可以是个人计算机、手机、平板电脑、笔记本等计算机设备;
后端设备12可以是独立的物理后端设备,也可以是多个物理后端设备构成的后端设备集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平个等基础云计算服务的云后端设备。
在一种可选的实施方式中,监控设备10与后端设备12之间可以通过通信网络进行通信,显示设备11与后端设备12之间也可以通过通信网络进行通信。通信网络是有线网络或无线网络。比如,监控设备10通过无线接入点13与后端设备12间接地连接,或监控设备10通过因特网与后端设备12直接地连接,同理显示设备11与后端设备12之间的连接方式不再赘述。
在一种可能的应用场景中,监控设备10将获取的视频录像上报到后端设备12中,显示设备11从后端设备12中获取需要的视频录像,并展示在显示设备11的显示屏幕上。
基于上述应用场景,下面结合上述描述的应用场景,根据附图来描述本申请示例性实施方式提供的视频录像检索的方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
实施例一、后端设备存储多个监控设备的视频录像。
后端设备要进行视频录像检索的话,自身应预先存储有至少一个监控设备传输的视频录像。为了在多个监控设备组成的全监控区域中,针对同一移动对象进行有效连续的视频录像检索,在本申请实施例中,后端设备接入多个监控设备,且后端设备对多个监控设备的视频录像进行存储;请参考图2,图2示例性提供了本申请实施例中一种后端设备接入多个监控设备的示意图。
在本申请实施例中,后端设备接入的多个监控设备中的每个监控设备都会将自身获取的是视频录像传输到后端设备,由后端设备进行存储;其中,监控设备获取视频录像的方式,包括但不限于:通过自身安装的摄像装置拍摄的视频录像,接收位于同一网络中的其他监控设备传输的视频录像。
由于后端设备对每个监控设备传输的视频录像进行存储时,采用的技术方案一致。因此,下面以后端设备存储一个监控设备传输的视频录像为例,对后端设备存储监控设备传输的视频录像进行说明。
请参考图3,图3示例性提供本申请实施例中一种后端设备存储视频录像的方法,包括如下步骤:
步骤S300,后端设备接收监控设备传输的视频录像。
步骤S301,后端设备对视频录像进行智能分析,确定视频录像中包含的移动对象。
其中,移动对象包括任何可以移动的事物,比如汽车、行人、动物等。
步骤S302,后端设备对视频录像中包含移动对象的任一视频帧图像进行抠图处理,获得包含移动对象的第一抠图图像。
在一种可能的实现方式中,后端设备对视频录像进行智能分析,以获得包含移动对象的第一抠图图像。在智能分析的过程中,监测视频录像中是否包含移动对象,当视频录像中包含移动对象时,确定监控设备的监控区域内出现移动对象。此时,后端设备对出现移动对象的视频帧图像进行数据分析,确定移动对象在视频帧图像中的坐标区域,并基于确定的坐标区域对视频帧图像进行抠图处理,获得包含移动对象的第一抠图图像。
在本申请实施例中,由于移动对象在监控设备的监控区域内是不断移动的的,因此监控设备获取的视频录像中,将存在连续多帧视频帧图像中出现同一移动对象的现象。此时,若针对多帧视频帧图像,分别执行:确定移动对象坐标区域,基于坐标区域进行抠图处理的操作,计算量较大。为了减少计算量,针对同一移动对象,对视频录像中第一次出现该移动对象的视频帧图像进行抠图处理,对视频录像中再次出现该移动对象的视频帧图像不做处理。
步骤S303,后端设备基于第一抠图图像,确定第一抠图图像中包含的移动对象的移动对象信息。
其中,移动对象信息可以是第一抠图图像本身;也可以是基于第一抠图图像在联网状态下获取的移动对象的标识信息。
以移动对象为行人为例,标识信息可以为身份证号;以移动对象为车辆为例,标识信息可以为车牌号。
步骤S304,后端设备将移动对象信息,与预先存储的参考对象信息进行匹配,确定移动对象信息的第二目标特征向量索引ID。
在一种可能的实现方式中,将移动对象信息与预先存储的多个参考对象信息进行匹配的过程中,主要确定移动对象信息与预先存储的各个参考对象信息之间的相似度,并将确定的各个相似度值,分别与设定阈值进行比较,当其中一个相似度值大于设定阈值时,说明移动对象信息与该相似度值对应的参考对象信息匹配成功,若所有相似度值均小于设定阈值,则说明移动对象信息与预先存储的参考对象信息匹配失败。
在匹配成功后,将匹配成功的参考对象信息对应的特征向量索引ID,作为移动对象信息的第二目标特征向量索引ID;此时确定已存储有该移动对象信息,则不再重复存储该移动对象信息作为参考对象信息,减少数据存储量;
在匹配失败后,则确定移动对象信息是新数据,对移动对象信息对应的第一抠图图像进行特征向量的数据哈希,形成移动对象信息的第二目标特征向量索引ID,并将移动对象信息和第二目标特征向量索引ID进行存储,更新预先存储的多个参考对象信息和相应的参考特征向量索引ID。即将移动对象信息作为参考对象信息,更新预先存储的参考对象信息,以便后续匹配过程中减少计算量。
需要说明的是,预先存储的参考对象信息的确定和更新所采用的技术手段一致,在此不再赘述;且本申请实施例中,预先存储的参考对象信息也可以采用手动输入的方式进行确定和更新。
步骤S305,后端设备在视频录像中,基于视频录像中第一次出现移动对象信息的视频帧图像确定第一视频帧图像,并在第一视频帧图像对应的帧头中添加用于指示起始的第二目标特征向量索引ID。
在一种可能的实现方式中,后端设备将第二目标特征向量索引ID,作为用于指示起始的第一标记信息,并将第一标记信息添加到第一视频帧图像对应的帧头中,其中,第一视频帧图像是基于视频录像中第一次出现移动对象信息的视频帧图像确定的。以指示在该视频录像中,从第一视频帧图像开始展示与移动对象信息对应的移动对象的相关信息,比如进行视频录像回放,对移动对象进行轨迹跟踪、热点展示等。
步骤S306,后端设备在视频录像中,确定连续N帧中未出现移动对象信息后,基于连续N帧,确定第二视频帧图像,并在第二视频帧图像对应的帧头中添加指示结束的第二目标特征向量索引ID。
其中,第二视频帧图像为移动对象在视频录像对应的时间段内,从相应的监控设备的监控区域内消失时的视频帧图像。
在一种可能的实现方式中,后端设备将第二目标特征向量索引ID,作为用于指示结束的第二标记信息,并将第二标记信息添加到第二视频帧图像对应的帧头中。以指示在该视频录像中,从第一视频帧图像开始展示与移动对象信息对应的移动对象的相关信息,到第二视频帧图像结束。
在本申请实施例中,第二视频帧图像是在视频图像中连续N帧未出现移动对象后,基于连续N帧确定的。比如,N取值为3,视频录像为一个包含100帧视频帧图像的视频段,第一次出现移动对象信息的第一视频帧图像为视频录像中的第5帧图像,并在第5帧图像后连续多帧出现移动对象信息。当在第38帧图像中未出现移动对象信息时,未出现移动对象信息对应的计数器加1,此时计数器取值为1;
并继续监测第39帧图像中是否出现移动对象信息,若在第39帧图像中出现移动对象信息,则计数器清0,并在再次出现未出现移动对象信息的情况下,重新计数;若在第39帧图像中未出现移动对象信息,则计数器加1,此时计数器取值为2;
并继续监测第40帧图像中是否出现移动对象信息,若在第40帧图像中出现移动对象信息,则计数器清0,并在再次出现未出现移动对象信息的情况下,重新计数;若在第40帧图像中未出现移动对象信息,则计数器加1,此时计数器取值为3,确定连续3帧未出现移动对象信息,确定第二视频帧图像为视频录像中第38帧对应的视频帧图像或确定第二视频帧图像为视频录像中第40帧对象的视频帧图像。
在一种可能的实现方式中,移动对象可以是间断性出现在视频录像中的,因此在确定第一个第二视频帧图像后,若视频录像未结束,则继续监测剩余视频帧图像中是否再次出现该移动对象,并在再次出现该移动对象的视频帧图像的帧头中添加用于指示起始的第一标记信息,以及采用上述方式继续监测视频录像,确定第二个第二视频帧图像,并在第二个第二视频帧图像对应帧头中添加用于指示结束的第二标记信息,以此类推,直至视频录像结束。
在本申请实施例中,为了使后端设备或显示设备基于视频录像,快速定位到该视频录像中包含有移动对象信息的视频录像段,还需要确定第一视频帧图像对应的起始帧索引ID,以及确定第二视频帧图像对应的结束帧索引ID,以根据起始帧索引ID和结束帧索引ID确定包含有移动对象的录像段。
在本申请实施例中,为了实现根据视频录像可以快速确定出移动对象的移动轨迹,以及针对移动对象进行热点展示等,在确定视频录像中包含有移动对象对应的移动对象信息后,针对包含有移动对象信息的视频帧图像,分别确定移动对象信息在各个视频帧图像中的位置信息,位置信息用于表征移动对象在监控设备对应的监控区域中的实际位置,并将第二目标特征向量索引ID与位置信息的第三对应关系,添加到对应的视频帧图像的帧头中。后续,基于各个视频帧图像的帧头中存储的第二目标特征向量索引ID与位置信息的第三对应关系,可以确定第二目标特征向量索引ID对应的移动对象在监控区域中的位置信息。因此基于连续的多帧视频帧图像,确定移动对象的移动轨迹,以及基于位置信息进行热点展示。
在一种可能的实现方式中,以8192作为参考系,记录移动对象在监控区域中的位置信息,位置信息可以为质心坐标。请参考图4,图4示例性提供本申请实施例一种确定移动对象信息在视频帧图像中位置信息的示意图。
步骤S307,后端设备将视频录像进行存储,并获取存储视频录像的存储信息。
步骤S308,后端设备获取视频录像中包含的第二目标特征向量索引ID,并构建第二目标特征向量索引ID与存储信息的第二对应关系。
在一种可能的实现方式中,在存储视频录像之前,需要判断当前存储的视频录像中是否包含第二目标特征向量索引ID。
若包含有第二目标特征向量索引ID,则先将第二目标特征向量索引ID存储到缓存中,再对该视频录像进行存储,并在存储完毕后,获取存储视频录像的硬盘盘号、簇号、分区号、系统存储时间、以及该视频录像对应的监控设备标识、移动对象信息在视频录像中的起始帧索引ID和结束帧索引ID等存储信息。
若未包含有第二目标特征向量索引ID,则不对该视频录像进行存储,或存储后不获取存储信息。
需要说明的是,监控设备标识可以为监控设备对应的通道号,基于硬盘盘号、簇号、分区号可以确定存储路径,因此存储信息还可以仅包括存储路径,不包括硬盘盘号、簇号、分区号等信息。
步骤S309,后端设备基于第二目标特征向量索引ID与存储信息的第二对应关系,更新特征向量索引ID与存储信息的第一对应关系。
在本申请实施例中,基于第二目标特征向量索引ID与存储信息的第二对应关系,更新特征向量索引ID与存储信息的第一对应关系,以基于更新后的第一对应关系,准确确定待检索对象信息对应的存储信息,基于存储信息快速获取至少一路监控设备获取的包含有待检索对象信息的目标视频录像。
需要说明的是,图3对应的执行过程中提出的移动对象为同一移动对象。在一种可能的实现方式中,同一视频录像中可能包含多个移动对象,此时针对每个移动对象均采用实施例一的方式进行视频存储,在此不再赘述。
实施例二、后端设备进行视频录像检索。
请参考图5,图5示例性提供本申请实施例中第一种视频录像检索的方法,包括如下步骤:
步骤S500,后端设备接收显示设备发送的检索请求。
其中,检索请求中包含待检索对象信息,待检索对象信息可以是检索请求中携带的包含待检索对象的图像,也可以是检索请求中携带的待检索对象的标识信息。
也就是说,检索请求中携带包含待检索对象的图像,以及待检索对象的标识信息中的至少一种。当携带包含待检索对象的图像时,待检索对象信息为包含待检索对象的图像;当携带待检索对象的标识信息,待检索对象信息为待检索对象的标识信息;当携带包含待检索对象的图像和待检索对象的标识信息时,待检索对象信息为包含待检索对象的图像和待检索对象的标识信息中的至少一种。
在本申请实施例中,显示设备发送的检索请求是通过如下方式确定的:
方式一:基于用户输入的包含待检索对象的图像,以及待检索对象的标识信息中至少一种用于表征待检索对象信息的输入指令,确定检索请求;此时,检索请求中携带包含待检索对象的图像,以及待检索对象的标识信息中的至少一种。
方式二、基于用户在视频录像播放过程中,针对当前播放的视频录像触发的框选操作,确定检索请求。
在本申请实施例中,用户在通过显示设备进行视频录像播放的过程中,可以直接对当前播放的视频录像中的视频帧图像进行标记框选。比如,显示设备为电脑,用户可以通过鼠标或触摸板等外部连接设备,对电脑屏幕中当前播放的视频录像中的视频帧图像内的至少一个移动对象进行标记框选,请参考图6,图6示例性提供本申请实施例中一种对视频录像进行标记框选的示意图。
显示设备在确定用户触发了标记框选操作后,首先对标记框选操作时对应的视频帧图像进行抠图处理,从该视频帧图像中抠选出被框选的区域,获得第二抠图图像,第二抠图图像包含至少一个移动对象,此时移动对象为待检索对象。然后,从第二抠图图像中分离出至少一个包含移动对象的图像,并携带在检索请求中,发送给后端设备。此时,检索请求中携带包含待检索对象的图像。
步骤S501,后端设备基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID。
在一种可能的实现方式中,后端设备在获取到待检索对象信息后,将待检索对象信息,与预先存储的多个参考对象信息进行匹配;确定匹配成功后,获取匹配成功的参考对象信息的参考特征向量索引ID,并将该参考特征向量索引ID作为待检索对象信息的第一目标特征向量索引ID。
需要说明的是,参考对象信息和相应的参考特征向量索引ID的确定方式及更新方式可以参见实施例一中的描述,在此不再重复赘述。
步骤S502,后端设备基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息。
在一种可能的实现方式中,后端设备将第一目标特征向量索引ID与数据库中存储的第一对应关系中的各个特征向量索引ID进行匹配,并将匹配成功的特征向量索引ID对应的存储信息,作为第一目标特征向量索引ID对应的存储信息,此时后端设备快速查找到第一目标特征向量索引ID对应的存储信息。
需要说明的是,在数据库中存储的特征向量索引ID与存储信息的第一对应关系的方式,具体可参见实施例一,在此不再赘述。
步骤S503,后端设备将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备。
在本申请实施例中,若存储信息中存储的是硬盘盘号、簇号、分区号,则后端设备基于硬盘盘号、簇号、分区号生成存储路径。
在一种可能的实现方式中,后端设备将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备的同时,还会将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种,返回给显示设备。
在一种可能的实现方式中,为了使显示设备可以更快获取到视频录像,后端设备可以基于监控设备标识和相应的视频录像存储路径获取视频录像,并将视频录像返回给显示设备,此时需要显示设备具有较大的存储空间。
实施例三、显示设备进行视频录像检索。
请参考图7,图7示例性提供本申请实施例中第二种视频录像检索的方法,该方法包括如下步骤:
步骤S700,显示设备向后端设备发送携带有待检索对象信息的检索请求。
步骤S701,显示设备接收后端设备基于检索请求返回的至少一个监控设备标识和相应的视频录像存储路径。
在一种可能的实现方式中,显示设备接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径的同时,还接收后端设备返回的将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种。
在一种可能的实现方式中,当显示设备接收到后端设备返回的起始帧索引ID和结束帧索引ID时,基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像时,还会针对至少一个监控设备标识中的每个监控设备标识,执行如下步骤:
基于监控设备标识对应的视频录像存储路径,查找存储路径下存储的携带有待检索对象信息的视频录像;
基于起始帧索引ID和结束帧索引ID,在查找到的携带有待检索对象信息的视频录像中,直接定位到携带有待检索对象信息的目标视频录像,并获取目标视频录像;
因此,基于起始帧索引ID和结束帧索引ID可以更快的检索到包含有待检索对象信息的目标视频录像。
在一种可能的实现方式中,当显示设备接收到后端设备返回的系统存储时间时,基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像后,并对目标视频录像进行展示之前,按照系统存储时间,对至少一个监控设备标识对应的目标视频录像进行排序,以按照时间先后顺序连续显示待检索对象在连续的监控区域中的行为数据,使显示更加准确。
步骤S702,基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像,并对目标视频录像进行展示。
在本申请实施例中,对目标视频录像进行展示时,包括如下至少一种:
对目标视频录像进行回放处理,展示目标视频录像的视频内容;对目标视频录像中包含的待检索对象信息的行驶轨迹进行展示;对目标视频录像中包含的待检索对象信息进行热点展示;具体详见下述情况说明:
情况一、显示设备基于获得的目标视频录像进行回放。
按时间排序的所有监控设备待检索目标视频回放:
显示设备基于监控设备标识和相应的视频录像存储路径,从视频录像存储路径下存储的视频录像中,获取监控设备标识对应的携带有待检索对象信息的目标视频录像;对目标视频录像进行过滤,基于视频帧头中的起始帧索引ID和结束帧索引ID,从目标视频录像中过滤出包含有待检索对象的视频,将不包含有待检索对象的视频过滤掉。然后将过滤后的视频进行排序,进行顺序播放。
在一种可能的实现方式中,过滤出所有带起始帧索引ID和结束帧索引ID标记的数据内容,按时间排序,取第一组视频录像中的视频录像存储路径进行文件的快速定位,取数据中的起始帧的索引号进行快速文件数据偏移读取,从而快速回放出目标出现的第一帧视频画面。当录像文件播放至携带结束帧索引ID,则取下相邻时间的一组视频录像,重复如上步骤,直至所有视频录像全部播放完毕,从而实现对特定目标的全区域,跨设备连续回放功能。
按文件筛选的待检索对象对应的目标视频回放:
在视频播放过程中,可以直接对视频画面中的特征目标用鼠标进行标记框选,标记框选后会将视频帧的框选图片进行抠图处理,分离出一个或者多个待检索对象,待检索对象会送到所有底库中进行配对,返回配对上的特征向量哈希后的索引ID,再读取当前视频文件的视频帧图像的帧头,过滤出所有匹配上的数据(带特征向量索引ID),再快速定位到第一起始帧的偏移进行录像回放,回放到结束节点的偏移后,再取下一组数据重复如上步骤,从而实现对框选目标的视频数据回放。同时,视频框选回放,视频抠库后分析后,也能通过按时间排序的所有监控设备待检索目标视频回放实现多监控设备的关联回放功能。
需要说明的是,上述查找方式可以由后端设备进行,显示设备直接显示后端设备发送的数据,并不执行其他操作。
情况二、显示设备基于获得的目标视频录像进行热点展示。
在本申请实施例中,对全监控区域内的监控设备进行位置标定后,每个监控设备对应全监控区域中的部分监控区域进行监控,一个监控设备对应一个监控区域,不重复;并对每个监控设备对应的监控区域进行坐标标记,位置信息转换为8192坐标系,具体如图3所示。
显示设备在对待检索对应进行热点展示时,首先获取包含有待检索对象的目标视频录像,并将待检索对象的目标视频录像按照时间先后顺序,并读取目标视频录像中包含的每一视频帧图像的帧头中包含的第二目标特征向量索引ID与位置信息的第三对应关系,并基于第三对应关系,查找待检索对象的目标特征向量索引ID对应的位置信息,并对所有视频帧图像的帧头中包含的待检索对象的位置信息,并进行计数,位置重叠则计数累加,对最后的结果进行归一化处理,形成待检索对象的全监控区域热点展示图。请参考图8,图8示例性提供了本申请实施例中基于目标视频录像进行热点展示的示意图。
在一种可能的实现方式中,显示设备可以不获取目标视频图像,直接基于待检索对象的目标特征向量索引ID,从后端设备中获取所有待检索对象出现的位置信息及监控设备标识以区分标记区域,并进行计数,质心重叠则计数累加,对最后的结果进行归一化处理,形成待检索对象的全监控区域热点展示图。请参考图8,图8示例性提供了本申请实施例中基于目标视频录像进行热点展示的示意图。
需要说明的是,该方法支持对一个待检索对象进行跨监控设备的全监控区域热点展示,也支持同时对多个待检索对象进行跨监控设备的全监控区域热点展示。
情况三、显示设备基于获得的目标视频录像进行轨迹跟踪。
在本申请实施例中,先获取待检索对象在全监控区域中的位置信息;然后,将位置信息进行连接,形成待查目标的全区域轨迹图。请参考图9,图9示例性提供了本申请实施例中基于目标视频录像对待检索对象的行驶轨迹的显示。
需要说明的是,获取位置信息的方式可以参见上述情况二,在此不再赘述;且该方法支持对一个待检索对象进行跨监控设备的全监控区域的行驶轨迹显示,也支持同时对多个待检索对象进行跨监控设备的全监控区域的行驶轨迹显示。
本申请实施例通过轨迹跟踪和热点展示,可以更好的展示和分析待检索对象信息对应的待检索对象的行为特性,对大范围的商超的热点商品陈列和人员、车辆追踪提供了快速多机关联查询方法。
本申请实施例中,通过对多个监控设备获取的视频录像进行存储,并基于视频录像检索策略,对多个监控设备获取的包含有同一待检索对象信息的视频录像进行检索,实现了对大范围区域多监控设备的数据绑定,从而实现了待查目标的多机关联查询,能够有效且快速的查询到全监控区域内待查目标的连续全视频监控数据,大大减少了视频数据的查看时间,提升了视频查询效率。
实施例四、一种视频录像检索的装置。
本申请实施例中还提供了一种视频录像检索的装置,由于该装置对应的方法是本申请实施例视频录像检索的方法中的后端设备,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
请参考图10,本申请实施例提供了一种视频录像检索的装置1000,该装置1000包括:确定模块1001,查找模块1002以及返回模块1003,其中:
确定模块1001,用于基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID;
查找模块1002,用于基于第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找第一目标特征向量索引ID对应的存储信息;
返回模块1003,用于将存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使显示设备基于存储信息获取至少一个监控设备获取的目标视频录像,并对目标视频录像进行展示,其中,目标视频录像携带有待检索对象信息。
在一种可能的实现方式中,确定模块1001基于检索请求中的待检索对象信息,确定待检索对象信息的第一目标特征向量索引ID之前,还用于:
接收显示设备发送的检索请求,其中,检索请求是显示设备通过如下方式确定的:
基于用户输入的包含待检索对象的图像,以及待检索对象的标识信息中至少一种信息的输入指令,确定检索请求;或
基于用户在视频录像播放过程中,针对当前播放的视频录像触发的标记框选操作,确定检索请求。
在一种可能的实现方式中,确定模块1001具体用于:
将待检索对象信息,与预先存储的参考对象信息进行匹配;
确定匹配成功后,将匹配成功的参考对象信息的参考特征向量索引ID,作为待检索对象信息的第一目标特征向量索引ID。
在一种可能的实现方式中,确定模块1001通过如下方式更新预先存储的参考对象信息和相应的参考特征向量索引ID:
接收多个监控设备发送的视频录像;
针对多个监控设备中的每个监控设备,执行:
对监控设备发送的视频录像中包含移动对象的视频帧图像,进行抠图处理,获得包含移动对象的第一抠图图像;
基于第一抠图图像,确定移动对象的移动对象信息;
确定移动对象信息与预先存储的参考对象信息匹配失败后,针对第一抠图图像进行数据哈希,确定移动对象信息的第二目标特征向量索引ID;
基于移动对象信息和相应的第二目标特征向量索引ID,更新预先存储的参考对象信息和相应的参考特征向量索引ID。
在一种可能的实现方式中,确定模块1001确定移动对象信息的第二目标特征向量索引ID之后,还用于:
将第二目标特征向量索引ID,作为用于指示起始的第一标记信息,并将第一标记信息添加到第一视频帧图像对应的帧头中,并确定第一视频帧图像对应的起始帧索引ID,其中,第一视频帧图像是基于视频录像中第一次出现移动对象信息的视频帧图像确定的;
将第二目标特征向量索引ID,作为用于指示结束的第二标记信息,并将第二标记信息添加到第二视频帧图像对应的帧头中,并确定第二视频帧图像对应的结束帧索引ID,其中,第二视频帧图像是在视频录像中连续N帧未出现移动对象信息后,基于连续N帧确定的,N为正整数。
在一种可能的实现方式中,确定模块1001确定移动对象信息的第二目标特征向量索引ID之后,还用于:
将视频录像进行存储,获取视频录像的存储信息;
获取视频录像中包含的第二目标特征向量索引ID,并构建第二目标特征向量索引ID与存储信息的第二对应关系;
基于第二目标特征向量索引ID与存储信息的第二对应关系,更新数据库中存储的特征向量索引ID与存储信息的第一对应关系。
在一种可能的实现方式中,确定模块1001确定移动对象信息的第二目标特征向量索引ID之后,还用于:
对监控设备发送的视频录像中包含移动对象的视频帧图像,确定移动对象的移动对象信息,在相应视频帧图像中的位置信息,并将第二目标特征向量索引ID与位置信息的第三对应关系,添加到相应视频帧图像的帧头中。
在一种可能的实现方式中,返回模块1003还用于:
将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种,返回给显示设备。
实施例五、一种视频录像检索的装置。
本申请实施例中还提供了一种视频录像检索的装置,由于该装置对应的方法是本申请实施例视频录像检索的方法中的显示设备,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
请参考图11,本申请实施例提供了另一种视频录像检索的装置1100,该装置1100包括:发送模块1101,接收模块1102以及获取模块1103,其中:
发送模块1101,用于向后端设备发送携带有待检索对象信息的检索请求;
接收模块1102,用于接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径;
获取模块1103,用于基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像,并对目标视频录像进行展示。
在一种可能的实现方式中,接收模块1102还用于:
接收后端设备返回的将存储信息中至少一个监控设备标识相应的视频录像的系统存储时间、相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种。
在一种可能的实现方式中,接收模块1102接收后端设备返回的起始帧索引ID和结束帧索引ID,获取模块1103具体用于:
针对至少一个监控设备标识中的每个监控设备标识,执行如下步骤:
基于监控设备标识对应的视频录像存储路径,查找存储路径下存储的携带有待检索对象信息的视频录像;
基于起始帧索引ID和结束帧索引ID,在查找到的携带有待检索对象信息的视频录像中,直接定位到携带有待检索对象信息的目标视频录像,
并获取目标视频录像。
在一种可能的实现方式中,接收模块1102接收后端设备返回的系统存储时间,获取模块1103基于至少一个监控设备标识和相应的视频录像存储路径,获取携带有待检索对象信息的目标视频录像后,并对目标视频录像进行展示之前,还用于:
按照系统存储时间,对至少一个监控设备标识对应的目标视频录像进行排序。
在一种可能的实现方式中,获取模块1103对目标视频录像进行展示,包括如下至少一种:
对目标视频录像进行回放处理,展示目标视频录像的视频内容;
对目标视频录像中包含的待检索对象信息的行驶轨迹进行展示;
对目标视频录像中包含的待检索对象信息进行热点展示。
实施例六、一种视频录像检索的计算设备。
为了描述的方便,以上各部分按照功能划分为各单元(或模块)分别描述。当然,在实施本申请时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的视频录像检索的方法及装置后,接下来介绍本申请的另一示例性实施方式的视频录像检索的计算设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电个”、“模块”或“系统”。
在一种可能的实现方式中,本申请实施例提供的视频录像检索计算设备可以至少包括处理器和存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本申请中各种示例性实施方式的视频录像检索方法中的任一步骤。
下面参照图12来描述根据本申请的这种实施方式的视频录像检索计算设备1200。如图12的视频录像检索计算设备1200仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示,计算设备1200的组件可以包括但不限于:上述至少一个处理器1201、上述至少一个存储器1202、连接不同系统组件(包括存储器1202和处理器1201)的总线1203。
总线1203表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器1202可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)12021和/或高速缓存存储器12022,还可以进一步包括只读存储器(ROM)12023。
存储器1202还可以包括具有一组(至少一个)程序模块12024的程序/实用工具12025,这样的程序模块12024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备1200也可以与一个或多个外部设备1204(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算设备1200交互的设备通信,和/或与使得该计算设备1200能与一个或多个其它计算装置进行通信的任何设备(例如个由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1205进行。并且,计算设备1200还可以通过网络适配器1206与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图12所示,网络适配器1206通过总线1203与用于计算设备1200的其它模块通信。应当理解,尽管图12中未示出,可以结合计算设备1200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的视频录像检索的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的视频录像检索的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的短信息的发送控制的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两种或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种视频录像检索的方法,其特征在于,该方法包括:
基于检索请求中的待检索对象信息,确定所述待检索对象信息的第一目标特征向量索引ID;
基于所述第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找所述第一目标特征向量索引ID对应的存储信息;
将所述存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使所述显示设备基于所述存储信息获取至少一个监控设备获取的目标视频录像,并对所述目标视频录像进行展示,其中,所述目标视频录像携带有所述待检索对象信息。
2.如权利要求1所述的方法,其特征在于,所述基于检索请求中的待检索对象信息,确定所述待检索对象信息的第一目标特征向量索引ID之前,还包括:
接收所述显示设备发送的检索请求,其中,所述检索请求是所述显示设备通过如下方式确定的:
基于用户输入的包含待检索对象的图像,以及所述待检索对象的标识信息中至少一种信息的输入指令,确定所述检索请求;或
基于用户在视频录像播放过程中,针对当前播放的视频录像触发的标记框选操作,确定所述检索请求。
3.如权利要求1所述的方法,其特征在于,所述基于检索请求中的待检索对象信息,确定所述待检索对象信息的第一目标特征向量索引ID,包括:
将所述待检索对象信息,与预先存储的参考对象信息进行匹配;
确定匹配成功后,将匹配成功的参考对象信息的参考特征向量索引ID,作为所述待检索对象信息的第一目标特征向量索引ID。
4.如权利要求3所述的方法,其特征在于,通过如下方式更新所述预先存储的参考对象信息和相应的参考特征向量索引ID:
接收多个监控设备发送的视频录像;
针对多个监控设备中的每个监控设备,执行:
对所述监控设备发送的视频录像中包含移动对象的视频帧图像,进行抠图处理,获得包含所述移动对象的第一抠图图像;
基于所述第一抠图图像,确定所述移动对象的移动对象信息;
确定所述移动对象信息与预先存储的参考对象信息匹配失败后,针对所述第一抠图图像进行数据哈希,确定所述移动对象信息的第二目标特征向量索引ID;
基于所述移动对象信息和相应的第二目标特征向量索引ID,更新所述预先存储的参考对象信息和相应的参考特征向量索引ID。
5.如权利要求4所述的方法,其特征在于,所述确定所述移动对象信息的第二目标特征向量索引ID之后,还包括:
将所述第二目标特征向量索引ID,作为用于指示起始的第一标记信息,并将所述第一标记信息添加到第一视频帧图像对应的帧头中,并确定所述第一视频帧图像对应的起始帧索引ID,其中,所述第一视频帧图像是基于视频录像中第一次出现所述移动对象信息的视频帧图像确定的;
将所述第二目标特征向量索引ID,作为用于指示结束的第二标记信息,并将所述第二标记信息添加到第二视频帧图像对应的帧头中,并确定所述第二视频帧图像对应的结束帧索引ID,其中,所述第二视频帧图像是在视频录像中连续N帧未出现所述移动对象信息后,基于所述连续N帧确定的,N为正整数。
6.如权利要求5所述的方法,其特征在于,所述确定所述移动对象信息的第二目标特征向量索引ID之后,还包括:
将所述视频录像进行存储,获取所述视频录像的存储信息;
获取所述视频录像中包含的第二目标特征向量索引ID,并构建所述第二目标特征向量索引ID与所述存储信息的第二对应关系;
基于所述第二目标特征向量索引ID与所述存储信息的第二对应关系,更新所述数据库中存储的所述特征向量索引ID与存储信息的第一对应关系。
7.如权利要求4所述的方法,其特征在于,所述确定所述移动对象信息的第二目标特征向量索引ID之后,该方法还包括:
对所述监控设备发送的视频录像中包含移动对象的视频帧图像,确定所述移动对象的移动对象信息,在相应视频帧图像中的位置信息,并将所述第二目标特征向量索引ID与所述位置信息的第三对应关系,添加到所述相应视频帧图像的帧头中。
8.如权利要求1所述的方法,其特征在于,所述将所述存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,还包括:
将所述存储信息中所述至少一个监控设备标识相应的视频录像的系统存储时间、所述相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、所述相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种,返回给所述显示设备。
9.一种视频录像检索的方法,其特征在于,该方法包括:
向后端设备发送携带有待检索对象信息的检索请求;
接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径;
基于所述至少一个监控设备标识和相应的视频录像存储路径,获取携带有所述待检索对象信息的目标视频录像,并对目标视频录像进行展示。
10.如权利要求9所述的方法,其特征在于,所述接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径,还包括:
接收后端设备返回的将所述存储信息中所述至少一个监控设备标识相应的视频录像的系统存储时间、所述相应的视频录像对应的用于表征待检索对象信息第一次出现的起始帧索引ID、所述相应的视频录像对应的用于表征待检索对象信息消失的结束帧索引ID中的至少一种。
11.如权利要求10所述的方法,其特征在于,接收后端设备返回的所述起始帧索引ID和所述结束帧索引ID,基于所述至少一个监控设备标识和相应的视频录像存储路径,获取携带有所述待检索对象信息的目标视频录像,包括:
针对至少一个监控设备标识中的每个监控设备标识,执行如下步骤:
基于所述监控设备标识对应的视频录像存储路径,查找所述存储路径下存储的携带有所述待检索对象信息的视频录像;
基于所述起始帧索引ID和所述结束帧索引ID,在查找到的携带有所述待检索对象信息的视频录像中,直接定位到携带有所述待检索对象信息的目标视频录像,并获取所述目标视频录像。
12.如权利要求10所述的方法,其特征在于,接收后端设备返回的所述系统存储时间,所述基于所述至少一个监控设备标识和相应的视频录像存储路径,获取携带有所述待检索对象信息的目标视频录像后,并对目标视频录像进行展示之前,还包括:
按照所述系统存储时间,对所述至少一个监控设备标识对应的目标视频录像进行排序。
13.如权利要求9~12任一所述的方法,其特征在于,所述对目标视频录像进行展示,包括如下至少一种:
对所述目标视频录像进行回放处理,展示所述目标视频录像的视频内容;
对所述目标视频录像中包含的所述待检索对象信息的行驶轨迹进行展示;
对所述目标视频录像中包含的所述待检索对象信息进行热点展示。
14.一种视频录像检索的装置,其特征在于,该装置包括:
确定模块,用于基于检索请求中的待检索对象信息,确定所述待检索对象信息的第一目标特征向量索引ID;
查找模块,用于基于所述第一目标特征向量索引ID,在数据库中存储的特征向量索引ID与存储信息的第一对应关系中,查找所述第一目标特征向量索引ID对应的存储信息;
返回模块,用于将所述存储信息中的至少一个监控设备标识和相应的视频录像存储路径,返回给显示设备,以使所述显示设备基于所述存储信息获取至少一个监控设备获取的目标视频录像,并对所述目标视频录像进行展示,其中,所述目标视频录像携带有所述待检索对象信息。
15.一种视频录像检索的装置,其特征在于,该装置包括:
发送模块,用于向后端设备发送携带有待检索对象信息的检索请求;
接收模块,用于接收后端设备基于检索请求,返回的至少一个监控设备标识和相应的视频录像存储路径;
获取模块,用于基于所述至少一个监控设备标识和相应的视频录像存储路径,获取携带有所述待检索对象信息的目标视频录像,并对目标视频录像进行展示。
CN202110588677.1A 2021-05-28 2021-05-28 一种视频录像检索的方法及装置 Pending CN113254702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588677.1A CN113254702A (zh) 2021-05-28 2021-05-28 一种视频录像检索的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588677.1A CN113254702A (zh) 2021-05-28 2021-05-28 一种视频录像检索的方法及装置

Publications (1)

Publication Number Publication Date
CN113254702A true CN113254702A (zh) 2021-08-13

Family

ID=77185026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588677.1A Pending CN113254702A (zh) 2021-05-28 2021-05-28 一种视频录像检索的方法及装置

Country Status (1)

Country Link
CN (1) CN113254702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918762A (zh) * 2021-10-28 2022-01-11 曙光信息产业(北京)有限公司 视频结构化信息的处理方法、装置、设备及存储介质
CN114205631A (zh) * 2021-10-28 2022-03-18 浙江大华技术股份有限公司 视频存储、目录生成、迁移方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050185823A1 (en) * 2004-02-24 2005-08-25 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
CN102129474A (zh) * 2011-04-20 2011-07-20 杭州华三通信技术有限公司 一种视频数据检索方法及其装置和系统
US20140214885A1 (en) * 2013-01-31 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for generating evidence video
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN110110147A (zh) * 2017-12-27 2019-08-09 中兴通讯股份有限公司 一种视频检索的方法及装置
CN110198432A (zh) * 2018-10-30 2019-09-03 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、计算机可读介质及电子设备
CN110263613A (zh) * 2019-04-25 2019-09-20 深圳市商汤科技有限公司 监控视频处理方法及装置
CN111988561A (zh) * 2020-07-13 2020-11-24 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050185823A1 (en) * 2004-02-24 2005-08-25 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
CN102129474A (zh) * 2011-04-20 2011-07-20 杭州华三通信技术有限公司 一种视频数据检索方法及其装置和系统
US20140214885A1 (en) * 2013-01-31 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for generating evidence video
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN110110147A (zh) * 2017-12-27 2019-08-09 中兴通讯股份有限公司 一种视频检索的方法及装置
CN110198432A (zh) * 2018-10-30 2019-09-03 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、计算机可读介质及电子设备
CN110263613A (zh) * 2019-04-25 2019-09-20 深圳市商汤科技有限公司 监控视频处理方法及装置
CN111988561A (zh) * 2020-07-13 2020-11-24 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918762A (zh) * 2021-10-28 2022-01-11 曙光信息产业(北京)有限公司 视频结构化信息的处理方法、装置、设备及存储介质
CN114205631A (zh) * 2021-10-28 2022-03-18 浙江大华技术股份有限公司 视频存储、目录生成、迁移方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US20230012732A1 (en) Video data processing method and apparatus, device, and medium
CN102542249B (zh) 视频内容中的脸部识别
EP3731110B1 (en) Method, system and computer program product for synthesizing a video synopsis
US7447331B2 (en) System and method for generating a viewable video index for low bandwidth applications
CN110826594B (zh) 一种轨迹聚类的方法、设备及存储介质
US10078693B2 (en) People searches by multisensor event correlation
CN111131902B (zh) 确定目标对象信息的方法及视频播放设备
JP6691406B2 (ja) キャプチャ画像に関連するメタデータとして識別子を含めるための方法、コンピュータ・システム、およびコンピュータ・プログラム
CN102314916B (zh) 一种视频处理方法和系统
CN116188821A (zh) 版权检测方法、系统、电子设备和存储介质
CN113254702A (zh) 一种视频录像检索的方法及装置
CN111581423B (zh) 一种目标检索方法及装置
CN105989610A (zh) 目标跟踪方法及装置
JP2015046089A (ja) 情報処理装置および情報処理方法
KR101954717B1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和系统
US20220392233A1 (en) Traffic information providing method and device, and computer program stored in medium in order to execute method
JP2021535667A (ja) 事象を管理するための注目期間及び少なくとも1つの注目領域を決定する方法、装置及びプログラム
US20240201835A1 (en) Information processing apparatus, information processing method, and storage medium for person search
CN114170556A (zh) 目标轨迹追踪方法及装置、存储介质、电子设备
CN112365520B (zh) 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法
KR20170095599A (ko) 동영상 검색 시스템 및 그 방법
JP2004187115A (ja) 監視システムおよびプログラム
Yang et al. Content-based video retrieval (cbvr) system for cctv surveillance videos
US20230052278A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813