CN114461854A - 一种基于向量数据库的监控视频人物检索方法及系统 - Google Patents

一种基于向量数据库的监控视频人物检索方法及系统 Download PDF

Info

Publication number
CN114461854A
CN114461854A CN202111578453.9A CN202111578453A CN114461854A CN 114461854 A CN114461854 A CN 114461854A CN 202111578453 A CN202111578453 A CN 202111578453A CN 114461854 A CN114461854 A CN 114461854A
Authority
CN
China
Prior art keywords
video
face
vector
database
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111578453.9A
Other languages
English (en)
Inventor
赵丽媛
王昆
祝轲轲
黄鑫辰
刘新元
张舒雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111578453.9A priority Critical patent/CN114461854A/zh
Publication of CN114461854A publication Critical patent/CN114461854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种向量数据库的监控视频人物检索方法及系统，包括：对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库、Mysql数据库；对获取待检索人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段。本发明针对于监控视频时域分割、人像特征提取和检索分析的整体解决方案，可以从大量监控视频中提取人脸特征，建设视频人像特征数据库(向量数据库)，快速检索得到目标人物出现于哪些视频片段并直观展示，可有效应用于人像视频检索分析的多种实际场景。

Description

一种基于向量数据库的监控视频人物检索方法及系统
技术领域
本发明涉及大数据AI视频图像检索技术领域，具体涉及一种基于向量数据库的监控视频人物检索方法及系统。
背景技术
在智能数据服务广泛发展的市场背景下，数据智能面临挑战。由于智能边缘设备的普及，非结构数据(如图片、视频、语音和文字)呈现爆炸式增长的趋势，这对基于AI算法的非结构数据挖掘任务形成了巨大的挑战。在视频智能检索、智能客服、人车ReID、以图搜图等应用场景下，非结构数据经过深度学习模型的处理，会被向量化。
当前视频检索分析的主流方向之一是针对结构化数据的视频结构化查询分析，可应用于文本搜视频、文本搜图片，但传统的结构化存储数据库无法满足海量非结构数据的快速检索，而针对非结构化数据的视频向量化检索分析，可应用于图片搜图片、图片搜视频。但当前视频向量数据存储处理存在几个痛点：(1)视频图片向量数据的数据量大，传统的关系型数据库存储结构，难以高效存储向量数组。(2)传统向量检索采用暴力检索方式，难以满足应用场景下的秒级响应。(3)相较于业界成熟的图像识别、视频处理技术，目前业界缺乏成熟的视频人物探测和向量检索整体解决方案。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的难以高效存储向量数组、向量检索难以满足应用场景下的秒级响应的缺陷，从而提供一种基于向量数据库的监控视频人物检索方法及系统。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种基于向量数据库的监控视频人物检索方法，包括：对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库；对获取待检索人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段。
在一实施例中，对被检索视频的关键帧进行人脸检测及聚类的过程，包括：基于帧间差分法提取被检索视频中的关键帧；基于关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID。
在一实施例中，基于帧间差分法提取被检索视频中的关键帧的过程，包括：计算被检索视频中每相邻两帧对应像素点的灰度值的差值；当差值大于预设阈值，选取后一帧图片作为关键帧。
在一实施例中，基于关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID的过程，包括：利用CNN检测器算法，提取关键帧中的包含人脸图片的关键帧；检测包含人脸图片的关键帧中的人脸，并对每张人脸与包含该人脸图片的关键帧进行映射，得到每张人脸的多个人脸向量；利用聚类算法，对全部的人脸向量进行聚类，得到每张人脸的人脸向量簇；在每个人脸向量簇中选取至少一个关键向量，获取每一个关键向量的唯一标识ID。
在一实施例中，对被检索视频的所有关键图片帧进行时域分割聚合处理的过程，包括：对于每张人脸，利用预设间隔差阈值，将包含该张人脸的全部关键图片帧进行分组，得到每张人脸的多个帧分组及其视频时间段。
在一实施例中，建立向量数据库及Mysql数据库的过程，包括：将人脸向量及其对应的唯一标识ID存入向量数据库中；
将人脸向量的唯一标识ID及视频信息数据存入Mysql数据库，所述视频信息数据包括：基于每张人脸的每个帧分组及其视频时间段、视频路径。
在一实施例中，对获取待检索人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段的过程，包括：对待检索人物图片进行向量化处理，得到待检索人物的人脸向量；根据向量数据库所存储的信息，检索与待检索人物的人脸向量对应的标识ID；根据待检索人物的人脸向量对应的标识ID，在Mysql数据库中查询被检索视频中连续出现待检索人物的所有时域范围；根据时域范围对被检索视频进行切割，得到与人物图片对应的视频片段。
第二方面，本发明实施例提供一种基于向量数据库的监控视频人物检索系统，包括：建立数据库模块，用于对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库；检索模块，用于对获取的人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段。
第三方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明实施例第一方面的向量数据库的监控视频人物检索方法。
第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行本发明实施例第一方面的向量数据库的监控视频人物检索方法。
本发明技术方案，具有如下优点：
1.本发明提供的向量数据库的监控视频人物检索方法及系统，对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库；对获取待检索人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段。本发明针对于监控视频时域分割、人像特征提取和检索分析的整体解决方案，可以从大量监控视频中提取人脸特征，建设视频人像特征数据库(向量数据库)，快速检索得到目标人物出现于哪些视频片段并直观展示，可有效应用于人像视频检索分析的多种实际场景。
2.本发明提供的向量数据库的监控视频人物检索方法及系统，通过聚合算法对图片帧数依据合适的阈值进行分组聚合，再转换得到视频时间段，这样避免将所有帧数放在数据库中存储，而是直接存储时间段供查询展示，大大缩小了结果记录数，减少了无效存储数据量，同时减少查询过程中的数据处理步骤，提高结果检索效率。
3.本发明提供的向量数据库的监控视频人物检索方法及系统，采用向量特征高效检索包括：采用向量数据库针对海量特征向量进行相似性搜索，通过异构众核计算处理特征向量，使人脸向量检索的成本更低，性能更好，同时该数据库支持多种索引方式，在视频库和人脸特征库日益扩充的情况下，可快速高效地在海量人脸特征库中检索到最接近的人脸向量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的检索方法的一个具体示例的流程图；
图2为本发明实施例提供的检索方法的另一个具体示例的流程图；
图3为本发明实施例提供的检索方法的另一个具体示例的流程图；
图4为本发明实施例提供的时域分割算法规则效果图；
图5为本发明实施例提供的检索方法的另一个具体示例的流程图；
图6为本发明实施例提供的系统流程架构图；
图7为本发明实施例提供的检索系统的一个具体示例的组成图；
图8为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种基于向量数据库的监控视频人物检索方法，如图1所示，包括：
步骤S11：对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库。
具体地，由于被检索视频包含大量重复帧，因此为了简化计算过程，本发明实施例首先提取被检索视频的关键帧(有效帧)，去掉大量重复帧，而对于剩余的关键帧中，由于每帧图片可能有零个或者至少一个人脸图像，因此还需要对所有的关键帧进行人脸检测，得到多个人脸向量，但是全部的人脸向量并不是仅针对一张人脸，故需要对人脸向量进行聚类。
具体地，如图2所示，对被检索视频的关键帧进行人脸检测及聚类的过程包括步骤S21～步骤S22，如下：
步骤S21：基于帧间差分法提取被检索视频中的关键帧。
具体地，本发明实施采用帧间差分法，通过检测图片帧间差异度提取出有效帧，去除大量重复帧，例如：一段时长为2分钟的监控视频，每秒25帧，采用两帧差分法(帧间差分法)，通过计算每两帧之间的差值是否超过阈值T，得到1-3000帧中的有效帧数，即过滤重复的图片帧数。
具体地，其中帧间差分法包括：计算被检索视频中每相邻两帧对应像素点的灰度值的差值；当差值大于预设阈值，选取后一帧图片作为关键帧，例如：记视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x,y)和fn-1(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：
Dn(x,y)＝|fn(x,y)-fn-1(x,y)| (1)
当Dn大于预设阈值T时，则选取第n帧图片，即选取两帧之间差异较大的后一帧作为有效图片帧。
步骤S22：基于关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID。
具体地，如图3所示，步骤S22具体包括步骤S31～步骤S34，如下：
步骤S31：利用CNN检测器算法，提取关键帧中的包含人脸图片的关键帧。
步骤S32：检测包含人脸图片的关键帧中的人脸，并对每张人脸与包含该人脸图片的关键帧进行映射，得到每张人脸的多个人脸向量。
具体地，本发明实施例采用CNN检测器算法进行在步骤S21得到的关键帧中提取包含人脸的关键帧，并对包含人脸的关键帧进行人脸检测，得到多张人脸，并将每张人脸与包含该人脸的关键帧进行映射，得到每张人脸的多个人脸向量，例如：步骤S21得到关键帧#1、关键帧#2、关键帧#3，CNN人脸检测器对关键帧#1、关键帧#2、关键帧#3进行人脸检测，得到关键帧#1包含人脸A、人脸B，关键帧#2未出现人物，关键帧#3出现人脸A，则将关键帧#1、关键帧#3分别与人脸A进行映射，将关键帧#1与人脸B进行映射，从而得到人物A的两个人脸向量(Face_vec_1、Face_vec_2)，人物B的一个人脸向量(Face_vec_3)。
步骤S33：利用聚类算法，对全部的人脸向量进行聚类，得到每张人脸的人脸向量簇。
具体地，在步骤S32的人脸检测中，由于人脸检测阶段将会产生大量重复的人脸向量(例如人物A的两个人脸向量：Face_vec_1、Face_vec_2)，需要通过去重得到视频中出现人物的唯一人脸结果。本发明实施例使用HDBSCAN聚类算法，首先规定最小生成类簇的大小为M，将距离最近的同一个人的人脸向量放到同一簇下，并自动推荐最优的簇类结果，得到每张人脸的人脸向量簇。
步骤S34：在每个人脸向量簇中选取至少一个关键向量，获取每一个关键向量的唯一标识ID。
具体地，从聚合后的多个簇中选取一个或多个关键向量，获得每一张关键向量对应的唯一标识ID，将关键向量信息及对应的唯一标识ID存储到向量数据库，例如：(345001，Face_vec1)、(345002，Face_vec2)存储到向量数据库，如表1所示。
表1
face_id face_vector
345001 Face_vec1
345002 Face_vec2
…… ……
具体地，若将所有图片帧数直接放入Mysql存储，将在视频库数据不断增加的情况下造成压力增大，查询低效的问题，因此本发明实施例进行表结构优化，对被检索视频的所有关键图片帧进行时域分割聚合处理(即采用对帧数进行聚合转换为视频时间段的方式)后再存入向量数据库中，缩小有效存储的数据量。其中进行时域分割聚合处理的过程包括：对于每张人脸，利用预设间隔差阈值，将包含该张人脸的全部关键图片帧进行分组，得到每张人脸的多个帧分组及其视频时间段。
具体地，每个相邻的两个关键视频帧存在间隔差值，且当间隔越小的关键视频帧之间越连贯，因此本发明实施例通过设定预设间隔差阈值，将关键图片帧数合并成多个分组，得到每个帧分组对应的较为连贯的视频时间段。例如：如图4所示，左侧为所有关键图片帧数，依据设定的预设间隔差阈值为30、50、100将分别得到右侧对应的帧分组，再将同组的帧转换为视频时间段，假设每秒有25帧，则通过帧数/25得到视频时间，依此获得帧分组对应的视频时间段。
具体地，现以表1所示人脸及其ID举例，本发明实施例将ID为345001和345002的两张人脸图像在视频中出现的所有关键帧数，通过时域分割聚合算法，设定预设间隔差阈值为25，即人脸345001在视频中每间隔25帧以内会再次出现，则认为连续，得到对应的视频时间段，存入Mysql数据库，如表2所示。
face_id video_path video_frame
345001 /home/video/video_test001.mp4 (4,8)
345001 /home/video/video_test001.mp4 (15,20)
345002 /home/video/video_test001.mp4 (1,3)
345002 /home/video/video_test001.mp4 (10,12)
345002 /home/video/video_test002.mp4 (80,90)
…… …… ……
具体地，本发明实施例实施时域分割聚合算法的伪代码如表3所示。
Figure BDA0003426178690000101
具体地，本发明实施例基于每张人脸的每个帧分组及其视频时间段、视频路径、图片帧数，以及出现在每帧图片的每张人脸的每个关键向量信息及唯一标识ID，建立向量数据库、Mysql数据库，其中，将人脸向量及其对应的唯一标识ID存入向量数据库中；将人脸向量的唯一标识ID及视频信息数据存入Mysql数据库，所述视频信息数据包括：基于每张人脸的每个帧分组及其视频时间段、视频路径。
步骤S12：对获取待检索人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段。
具体地，如图5所示，步骤S12包括步骤S41～步骤S44，如下：
步骤S41：对待检索人物图片进行向量化处理，得到待检索人物的人脸向量。
具体地，本发明实施例的向量数据库中已包含人脸-ID-图片帧-视频时间段的映射关系，故基于人脸向量实现检索人物。
步骤S42：根据向量数据库所存储的信息，检索与待检索人物的人脸向量对应的标识ID。
具体地，本发明实施例基于向量数据库对步骤S41得到的人脸向量进行相似性检索，得到最接近的人脸所对应的标识ID。
步骤S43：根据待检索人物的人脸向量对应的标识ID，在Mysql数据库中查询被检索视频中连续出现待检索人物的所有时域范围。
具体地，本发明实施例对被检索视频的所有关键图片帧进行时域分割聚合处理后，已将人脸ID与所有包含该人脸的关键图片帧以及视频时间段进行映射，因此可以根据待检索人物的人脸向量对应的标识ID，在Mysql数据库中查询被检索视频中连续出现待检索人物的所有时域范围。
步骤S44：根据时域范围对被检索视频进行切割，得到与人物图片对应的视频片段。
具体地，本发明实施了提出的基于向量数据库的监控视频人物检索方法的系统流程架构图如图6所示。由图6可知，本发明实施了的向量数据库、Mysql数据库的建立过程包括：视频人脸特征提取以及视频时域分割，而对于待检索人物的图片同样利用目标人物特征提取的方法，然后将待检索人脸的人脸特征向量与向量数据库中的信息进行相似度匹配，得到人脸ID，然后根据人脸ID从Mysql数据库获取视频时间段，最后根据视频时间段对视频进行切割，得到出现待检索人脸的视频。
实施例2
本发明实施例提供一种基于向量数据库的监控视频人物检索系统，如图7所示，包括：
建立数据库模块1，用于对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库；此模块执行实施例1中的步骤S11所描述的方法，在此不再赘述。
检索模块2，用于对获取的人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段；此模块执行实施例1中的步骤S12所描述的方法，在此不再赘述。
实施例3
本发明实施例提供一种计算机设备，如图8所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1的基于向量数据库的监控视频人物检索方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1的基于向量数据库的监控视频人物检索方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的基于向量数据库的监控视频人物检索方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1的基于向量数据库的监控视频人物检索方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固降硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于向量数据库的监控视频人物检索方法，其特征在于，包括：
对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库；
对获取待检索人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段。
2.根据权利要求1所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述对被检索视频的关键帧进行人脸检测及聚类的过程，包括：
基于帧间差分法提取被检索视频中的关键帧；
基于所述关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID。
3.根据权利要求2所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述基于帧间差分法提取被检索视频中的关键帧的过程，包括：
计算所述被检索视频中每相邻两帧对应像素点的灰度值的差值；
当所述差值大于预设阈值，选取后一帧图片作为关键帧。
4.根据权利要求2所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述基于所述关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID的过程，包括：
利用CNN检测器算法，提取所述关键帧中的包含人脸图片的关键帧；
检测所述包含人脸图片的关键帧中的人脸，并对每张人脸与包含该人脸图片的关键帧进行映射，得到每张人脸的多个人脸向量；
利用聚类算法，对全部的人脸向量进行聚类，得到每张人脸的人脸向量簇；
在每个人脸向量簇中选取至少一个关键向量，获取每一个关键向量的唯一标识ID。
5.根据权利要求2所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述对被检索视频的所有关键图片帧进行时域分割聚合处理的过程，包括：
对于每张人脸，利用预设间隔差阈值，将包含该张人脸的全部关键图片帧进行分组，得到每张人脸的多个帧分组及其视频时间段。
6.根据权利要求5所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述建立向量数据库及Mysql数据库的过程，包括：
将人脸向量及其对应的唯一标识ID存入向量数据库中；
将人脸向量的唯一标识ID及视频信息数据存入Mysql数据库，所述视频信息数据包括：基于每张人脸的每个帧分组及其视频时间段、视频路径。
7.根据权利要求6所述的基于向量数据库的监控视频人物检索方法，其特征在于，所述对获取待检索人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段的过程，包括：
对待检索人物图片进行向量化处理，得到待检索人物的人脸向量；
根据所述向量数据库所存储的信息，检索与待检索人物的人脸向量对应的标识ID；
根据所述待检索人物的人脸向量对应的标识ID，在所述Mysql数据库中查询被检索视频中连续出现待检索人物的所有时域范围；
根据所述时域范围对所述被检索视频进行切割，得到与人物图片对应的视频片段。
8.一种基于向量数据库的监控视频人物检索系统，其特征在于，包括：
建立数据库模块，用于对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库；
检索模块，用于对获取的人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7中任一所述的基于向量数据库的监控视频人物检索方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7中任一所述的基于向量数据库的监控视频人物检索方法。
CN202111578453.9A 2021-12-22 2021-12-22 一种基于向量数据库的监控视频人物检索方法及系统 Pending CN114461854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111578453.9A CN114461854A (zh) 2021-12-22 2021-12-22 一种基于向量数据库的监控视频人物检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111578453.9A CN114461854A (zh) 2021-12-22 2021-12-22 一种基于向量数据库的监控视频人物检索方法及系统

Publications (1)

Publication Number Publication Date
CN114461854A true CN114461854A (zh) 2022-05-10

Family

ID=81405457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111578453.9A Pending CN114461854A (zh) 2021-12-22 2021-12-22 一种基于向量数据库的监控视频人物检索方法及系统

Country Status (1)

Country Link
CN (1) CN114461854A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834845A (zh) * 2023-02-24 2023-03-21 山东慧创信息科技有限公司 一种基于物联网的无人机土地数据识别系统
CN117274916A (zh) * 2023-11-22 2023-12-22 联通在线信息科技有限公司 监控视频的安防分析方法、装置及可读存储介质
CN117558056A (zh) * 2024-01-11 2024-02-13 东云睿连(武汉)计算技术有限公司 一种基于人脸图像的伴随关系识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834845A (zh) * 2023-02-24 2023-03-21 山东慧创信息科技有限公司 一种基于物联网的无人机土地数据识别系统
CN117274916A (zh) * 2023-11-22 2023-12-22 联通在线信息科技有限公司 监控视频的安防分析方法、装置及可读存储介质
CN117558056A (zh) * 2024-01-11 2024-02-13 东云睿连(武汉)计算技术有限公司 一种基于人脸图像的伴随关系识别方法及系统
CN117558056B (zh) * 2024-01-11 2024-04-02 东云睿连(武汉)计算技术有限公司 一种基于人脸图像的伴随关系识别方法及系统

Similar Documents

Publication Publication Date Title
CN114461854A (zh) 一种基于向量数据库的监控视频人物检索方法及系统
KR101782589B1 (ko) 이미지에 포함된 텍스트를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록매체
JP2003016448A (ja) 前景／背景セグメント化を用いた画像のイベント・クラスタリング
WO2014022254A2 (en) Identifying key frames using group sparsity analysis
Zhang et al. General and domain-specific techniques for detecting and recognizing superimposed text in video
KR101917369B1 (ko) 컨볼루션 신경망을 이용한 영상 검색 방법 및 그 장치
CN113569756B (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
Gao et al. Video imprint segmentation for temporal action detection in untrimmed videos
CN110852152A (zh) 一种基于数据增强的深度哈希行人重识别方法
CN103187083B (zh) 一种基于时域视频融合的存储方法及其系统
Shao et al. Motion histogram analysis based key frame extraction for human action/activity representation
CN108966042B (zh) 一种基于最短路径的视频摘要生成方法及装置
CN111104924A (zh) 一种有效的识别低分辨率商品图像的处理算法
Chowdhury et al. Detection of human presence in a surveillance video using fuzzy approach
CN112070047A (zh) 视频处理方法、装置及电子设备
WO2013189202A1 (zh) 一种智能视频分析系统及方法
US20220417540A1 (en) Encoding Device and Method for Utility-Driven Video Compression
Garcia et al. Asymmetric spatio-temporal embeddings for large-scale image-to-video retrieval
CN113255610B (zh) 特征底库构建、特征检索方法以及相关装置
Wang et al. A research on video text tracking and recognition
Xue et al. Action recognition based on dense trajectories and human detection
Chathurika et al. A revised averaging algorithm for an effective feature extraction in component-based image retrieval system
CN111160397A (zh) 一种多尺度的视觉词字典生成方法及系统
Babu et al. Content-based video retrieval using motion descriptors extracted from compressed domain
CN112528733B (zh) 一种基于改进inceptionv3网络的人体异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination