CN110750671B - 一种基于海量非结构化特征的行人检索方法及装置 - Google Patents

一种基于海量非结构化特征的行人检索方法及装置 Download PDF

Info

Publication number
CN110750671B
CN110750671B CN201910839224.4A CN201910839224A CN110750671B CN 110750671 B CN110750671 B CN 110750671B CN 201910839224 A CN201910839224 A CN 201910839224A CN 110750671 B CN110750671 B CN 110750671B
Authority
CN
China
Prior art keywords
unstructured
retrieval
features
pedestrian
gait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910839224.4A
Other languages
English (en)
Other versions
CN110750671A (zh
Inventor
周永霞
黄晓峰
殷海兵
贾惠柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN201910839224.4A priority Critical patent/CN110750671B/zh
Publication of CN110750671A publication Critical patent/CN110750671A/zh
Application granted granted Critical
Publication of CN110750671B publication Critical patent/CN110750671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机技术领域，特别涉及一种基于海量非结构化特征的行人检索方法及装置。该方法包括：对行人图片提取多种非结构化特征，包括步态、行人、人脸的非结构化特征，然后在非结构化特征库中检索得到中间结果，再对中间结果进行融合重排，得到最终的检索结果。其中步态非结构化特征采用了基于三维骨架及其时序信息的表示方法，通过骨架对齐和骨架序列裁剪，可解决部分被遮挡、身上有重物等情况下的骨架关键点缺失与骨架变形问题，可提高步态识别的准确率；对特征库采用降维与聚类方法建立索引，以减少检索阶段的计算量。本发明在有限的算力下，可以快速得到准确的检索结果。

Description

一种基于海量非结构化特征的行人检索方法及装置
技术领域
本发明涉及计算机技术领域，特别涉及一种基于海量非结构化特征的行人检索方法及装置。
背景技术
在安防领域，经常需要在海量图片与视频中，快速检索行人目标，找出该目标在图库和视频库中出现的时间、地点以及当时的图像和视频。检索之前，须事先采集摄像机中拍到的所有行人的特征，并放在特征库中。在检索时，目标特征与特征库里的行人特征进行逐一比对，输出最相似的若干行人。目前普遍采用单一特征的检索方法，有诸多的不足，比如：街道上大多数摄像机拍到的人脸分辨率很小，导致单一的人脸识别准确率很低；步态算法目前还停留在提取二维特征，而且最终的特征维度非常高，一般要一万多维，数据量非常大，大大影响检索速度，在跨摄像机场景下，其准确率并不高；单一的行人重识别 (ReID)算法可以找出跨摄像机场景下的行人，但只限于该人没有换衣服的情况，换衣服后，就无法找出目标了。原始非结构化特征往往维度较高，检索时计算量非常大，检索速度就会很慢。如何在有限的算力下，在十亿数量级的特征库中，快速、准确地得到检索结果，这是本专利要解决的问题。
发明内容
本发明实施例提供了一种基于海量非结构化特征的行人检索方法及装置，在有限的算力下，在十亿数量级的特征库中，可快速、准确地得到检索结果，而且能找出换衣服、部分被遮挡、身上有重物等情况下的行人目标。
根据本发明实施例的第一方面，提出了一种基于海量非结构化特征的行人检索方法，包括如下步骤：
S1：对行人图片提取多种非结构化特征；
S2：在多种非结构化特征库中检索，得到中间结果；
S3：对中间结果进行融合重排，得到最终的检索结果。
所述多种非结构化特征，包括：步态非结构化特征、行人非结构化特征、人脸这非结构化特征。
所述步态非结构化特征的提取算法步骤包括：
S2.a.1：对视频中每一帧的行人图片，进行深度估计，得到深度信息；
S2.a.2：提取三维骨架，得到骨架上N个关键点的三维坐标，N为正整数；
S2.a.3：把关键点的坐标变换到人体局部坐标系；
S2.a.4：与标准骨架进行比较，修正骨架坐标，消除由于身上有重物导致的骨架变形和由于遮挡而导致的关键点缺失；
S2.a.5：对骨架坐标序列进行裁剪，与标准骨架序列进行比较，按照时间顺序，选择最相似的K帧骨架坐标序列，K为正整数；
S2.a.6：把K帧骨架坐标序列拼接起来，作为步态非结构化特征的向量表达，该向量维度为：K*N*3。
所述非结构化特征库，采用降维与聚类方法建立索引；对于高维特征，先降维再聚类；其它特征，不降维只做聚类，以聚类中心为索引；检索时，计算待查找的目标在哪个聚类中心，然后到相应的聚类中心附近搜索。
所述融合重排，其步骤包括：
S3.1：同时在步态、人体、人脸3个特征库中进行检索，得到3种中间检索结果；
S3.2：计算3种中间检索结果之间的交集，按照在3种中间检索结果中出现的次数，从高到低排序，出现次数最多的排在最前面。如果出现次数相同，则按照相似度从高到低排序。
一种基于海量非结构化特征的行人检索装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序和非结构化特征库，当所述程序被所述处理器执行时，使得所述处理器执行上述 方法的步骤。
一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述 方法的步骤。
本发明实施例提供的技术方案可以包括以下有益效果：利用多种非结构化特征和融合重排算法，提高检索准确率。对特征建立索引，减少计算量，提高检索速度，实现在单台服务器上十亿级非结构化特征量的秒级检索响应，多台服务器可实现百亿级底库的秒级检索。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明提供了一种基于海量非结构化特征的行人检索方法流程图；
图2是多类特征组合检索流程图；
图3是本发明提供了一种基于海量结构化与非结构化特征的行人检索装置示意图。
具体实施方式
实施例一
一种基于海量非结构化特征的行人检索方法，包括如下步骤：S1：对行人图片提取多种非结构化特征；S2：在多种非结构化特征库中检索，得到中间结果；S3：对中间结果进行融合重排，得到最终的检索结果。
非结构化特征包括：步态、行人、人脸这三种非结构化特征，非结构化特征指的是用高维向量表示的特征，步态与行人、人脸非结构化特征的维度可以是不一样的。
步态非结构化特征的提取算法步骤如下：S2.a.1：对视频中每一帧的行人图片，进行深度估计，得到深度信息；S2.a.2：提取三维骨架，得到骨架上N(＝14) 个关键点的三维坐标。S2.a.3：把关键点的坐标变换到人体局部坐标系，人体局部坐标系可以用人体中心点作为原点；S2.a.4：骨架对齐：与标准骨架进行比较，修正骨架坐标，消除由于身上有重物导致的骨架变形和由于遮挡而导致的关键点缺失。标准骨架是事先训练得到的骨架坐标序列，在标准骨架序列中找到最相似的一个标注骨架坐标，然后进行修正，比如填补缺少的关键点坐标、拉直部分关键点连线等；S2.a.5：对骨架坐标序列进行裁剪：与标准骨架序列进行比较，按照时间顺序，选择最相似的K(＝20)帧骨架坐标序列；S2.a.6：把K帧骨架坐标序列拼接起来，作为步态非结构化特征的向量表达，该向量维度为： K*N*3＝840。
特征库采用PCA降维与K-means聚类方法建立索引，可减少检索阶段的计算量，加快检索速度。对于高维特征，先降维再聚类；其它特征，可不降维只做聚类，聚类中心就是索引。检索时，先计算待查找的目标在哪个聚类中心，然后到相应的聚类中心附近去搜索。比如人脸特征原始维度为512，数据量不大，可不降维，只用K-means算法聚类为若干个中心，每个聚类中心都有一个桶，属于这个聚类中心的人脸特征就放在这个桶里。检索时，先计算目标在哪个桶，然后只要到相应的桶里去比对特征即可，大大减少了比对的数量，这个桶就是索引。行人ReID特征原始维度为2048维，数据量较大，可以先降维到512维，然后再聚类。步态特征原始维度为840维，可以直接聚类建立索引。
融合重排过程，如图2所示，其步骤包括：S3.1：同时在步态、行人、人脸3个特征库中进行检索，得到3种中间检索结果。如果行人背对摄像机，则没有人脸特征，就只有2种中间检索结果，即步态与行人；S3.2：计算中间检索结果之间的交集，按照在3种中间检索结果中出现的次数，从高到低排序，出现次数最多的排在最前面。如果出现次数相同，则按照相似度从高到低排序。在特征库中检索时，两个特征向量之间的距离如果采用余弦距离，可以直接把余弦距离作为相似度，值越大表示两个特征越相似，该特征表示的行人就越可能是同一个人。
实施例二
如图1所示，本发明提供了一种基于海量非结构化特征的行人检索方法，包括如下步骤：S1：对行人图片提取多种非结构化特征；S2：在多种非结构化特征库中检索，得到中间结果；S3：对中间结果进行融合重排，得到最终的检索结果。
非结构化特征包括：步态、行人、人脸这三种非结构化特征，非结构化特征指的是用高维向量表示的特征，步态与行人、人脸非结构化特征的维度可以是不一样的。
步态非结构化特征的提取算法步骤如下：S2.a.1：对视频中每一帧的行人图片，进行深度估计，得到深度信息；S2.a.2：提取三维骨架，得到骨架上N(＝18) 个关键点的三维坐标。S2.a.3：把关键点的坐标变换到人体局部坐标系，人体局部坐标系可以用人体中心点作为原点；S2.a.4：骨架对齐：与标准骨架进行比较，修正骨架坐标，消除由于身上有重物导致的骨架变形和由于遮挡而导致的关键点缺失。标准骨架是事先训练得到的骨架坐标序列，在标准骨架序列中找到最相似的一个标注骨架坐标，然后进行修正，比如填补缺少的关键点坐标、拉直部分关键点连线等；S2.a.5：对骨架坐标序列进行裁剪：与标准骨架序列进行比较，按照时间顺序，选择最相似的K(＝20)帧骨架坐标序列，也可以裁剪出多个骨架坐标序列，然后取平均，可以提高骨架坐标的准确性；S2.a.6：把K帧骨架坐标序列拼接起来，作为步态非结构化特征的向量表达，该向量维度为： K*N*3＝1080。
特征库采用PCA降维与K-means聚类方法建立索引，可减少检索阶段的计算量，加快检索速度。对于高维特征，先降维再聚类；其它特征，可不降维只做聚类，聚类中心就是索引。检索时，先计算待查找的目标在哪个聚类中心，然后到相应的聚类中心附近去搜索。比如人脸特征原始维度为512，数据量不大，可不降维，只用K-means算法聚类为若干个中心，每个聚类中心都有一个桶，属于这个聚类中心的人脸特征就放在这个桶里。检索时，先计算目标在哪个桶，然后只要到相应的桶里去比对特征即可，大大减少了比对的数量，这个桶就是索引。行人ReID特征原始维度为2048维，数据量较大，可以先降维到 512维，然后再聚类。步态特征原始维度为1080维，可以直接聚类建立索引，也可以降维后再聚类。
融合重排过程，如图2所示，其步骤包括：S3.1：同时在步态、行人、人脸3个特征库中进行检索，得到3种中间检索结果。如果行人背对摄像机，则没有人脸特征，就只有2种中间检索结果，即步态与行人；S3.2：计算中间检索结果之间的交集，按照在3种中间检索结果中出现的次数，从高到低排序，出现次数最多的排在最前面。如果出现次数相同，则按照相似度从高到低排序。在特征库中检索时，两个特征向量之间的距离如果采用余弦距离，可以直接把余弦距离作为相似度，值越大表示两个特征越相似，该特征表示的行人就越可能是同一个人。
在一些可能的实施方式中，根据本发明的计算装置可以包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的资源展示方法中的步骤。
下面参照图3来描述根据本发明的这种实施方式的一种基于海量结构化与非结构化特征的行人检索装置90。图3显示的检索装置90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，检索装置90以通用计算设备的形式表现。检索装置90的组件可以包括但不限于：上述至少一个处理器91、上述至少一个存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
总线93表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器92可以包括易失性存储器形式的可读介质，例如随机存取存储器 (RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM) 923。
存储器92还可以包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
检索装置90也可以与一个或多个外部设备94(例如键盘、指向设备等) 通信，还可与一个或者多个使得用户能与计算装置90交互的设备通信，和/或与使得该检索装置90能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口95 进行。并且，检索装置90还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器96通过总线93与用于检索装置90的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID 系统、磁带驱动器以及数据备份存储系统等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种基于海量非结构化特征的行人检索方法，其特征在于，包括如下步骤：
S1：对行人图片提取多种非结构化特征；所述多种非结构化特征，包括：
步态非结构化特征、行人非结构化特征、人脸这非结构化特征；
S2：在多种非结构化特征库中检索，得到中间结果；所述步态非结构化特征的提取算法步骤包括：
S2.a.1：对视频中每一帧的行人图片，进行深度估计，得到深度信息；
S2.a.2：提取三维骨架，得到骨架上N个关键点的三维坐标，N为正整数；
S2.a.3：把关键点的坐标变换到人体局部坐标系；
S2.a.4：与标准骨架进行比较，修正骨架坐标，消除由于身上有重物导致的骨架变形和由于遮挡而导致的关键点缺失；
S2.a.5：对骨架坐标序列进行裁剪，与标准骨架序列进行比较，按照时间顺序，选择最相似的K帧骨架坐标序列，K为正整数；
S2.a.6：把K帧骨架坐标序列拼接起来，作为步态非结构化特征的向量表达，该向量维度为：K*N*3；
S3：对中间结果进行融合重排，得到最终的检索结果。
2.如权利要求1所述的方法，其特征在于，所述非结构化特征库，采用降维与聚类方法建立索引；对于高维特征，先降维再聚类；其它特征，不降维只做聚类，以聚类中心为索引；检索时，计算待查找的目标在哪个聚类中心，然后到相应的聚类中心附近搜索。
3.如权利要求1所述的方法，其特征在于，所述融合重排，其步骤包括：
S3.1：同时在步态、人体、人脸3个特征库中进行检索，得到3种中间检索结果；
S3.2：计算3种中间检索结果之间的交集，按照在3种中间检索结果中出现的次数，从高到低排序，出现次数最多的排在最前面， 如果出现次数相同，则按照相似度从高到低排序。
4.一种基于海量非结构化特征的行人检索装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序和非结构化特征库，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～3任一所述方法的步骤。
5.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～3任一所述方法的步骤。
CN201910839224.4A 2019-09-05 2019-09-05 一种基于海量非结构化特征的行人检索方法及装置 Active CN110750671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910839224.4A CN110750671B (zh) 2019-09-05 2019-09-05 一种基于海量非结构化特征的行人检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910839224.4A CN110750671B (zh) 2019-09-05 2019-09-05 一种基于海量非结构化特征的行人检索方法及装置

Publications (2)

Publication Number Publication Date
CN110750671A CN110750671A (zh) 2020-02-04
CN110750671B true CN110750671B (zh) 2022-09-02

Family

ID=69276083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910839224.4A Active CN110750671B (zh) 2019-09-05 2019-09-05 一种基于海量非结构化特征的行人检索方法及装置

Country Status (1)

Country Link
CN (1) CN110750671B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010731B (zh) * 2021-02-22 2022-05-20 杭州西湖数据智能研究院 多模态视频检索系统
CN113837022A (zh) * 2021-09-02 2021-12-24 北京新橙智慧科技发展有限公司 一种视频行人快速搜索的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901351A (zh) * 2010-07-28 2010-12-01 中国科学院自动化研究所 基于层次结构的人脸和虹膜图像融合识别方法
CN105825176A (zh) * 2016-03-11 2016-08-03 东华大学 基于多模态非接触身份特征的识别方法
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
CN107481280A (zh) * 2017-08-16 2017-12-15 北京优时尚科技有限责任公司 一种骨骼点的矫正方法及计算设备
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108776775A (zh) * 2018-05-24 2018-11-09 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891509B2 (en) * 2017-10-27 2021-01-12 Avigilon Corporation Method and system for facilitating identification of an object-of-interest

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901351A (zh) * 2010-07-28 2010-12-01 中国科学院自动化研究所 基于层次结构的人脸和虹膜图像融合识别方法
CN105825176A (zh) * 2016-03-11 2016-08-03 东华大学 基于多模态非接触身份特征的识别方法
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
CN107481280A (zh) * 2017-08-16 2017-12-15 北京优时尚科技有限责任公司 一种骨骼点的矫正方法及计算设备
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108776775A (zh) * 2018-05-24 2018-11-09 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
权重融合深度图像与骨骼关键帧的行为识别;许艳等;《计算机辅助设计与图形学学报》;20180715(第07期);第139-146页 *

Also Published As

Publication number Publication date
CN110750671A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
US8971641B2 (en) Spatial image index and associated updating functionality
US10366304B2 (en) Localization and mapping method
CN1162793C (zh) 利用形状进行目标表示与检索的方法和装置
JP6469890B2 (ja) 高速直交射影
CN114612759B (zh) 视频处理方法、查询视频的方法和模型训练方法、装置
US11816188B2 (en) Weakly supervised one-shot image segmentation
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN110750671B (zh) 一种基于海量非结构化特征的行人检索方法及装置
JP7393472B2 (ja) 陳列シーン認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム
WO2021163103A1 (en) Light-weight pose estimation network with multi-scale heatmap fusion
Li et al. Multi-task structure-aware context modeling for robust keypoint-based object tracking
CN111402331B (zh) 基于视觉词袋和激光匹配的机器人重定位方法
WO2010080857A2 (en) Scalable media fingerprint extraction
Chamasemani et al. Video abstraction using density-based clustering algorithm
Sun et al. Search by detection: Object-level feature for image retrieval
EP3096243A1 (en) Methods, systems and apparatus for automatic video query expansion
CN116958267A (zh) 位姿处理方法、装置、电子设备及存储介质
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
Fu et al. A novel shot boundary detection technique for illumination and motion effects
Banwaskar et al. Creating video summary using speeded up robust features
Liu et al. A machine learning approach to 3d model retrieval
Yohanes Images similarity based on bags of SIFT descriptor and K-means clustering
Janet et al. Index model for image retrieval using SIFT distortion
Pourganjalikhan et al. Adaptive Memory Management for Video Object Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Weiming Information Technology Co.,Ltd.

Applicant after: Institute of Information Technology, Zhejiang Peking University

Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant before: Institute of Information Technology, Zhejiang Peking University

Applicant before: Hangzhou Weiming Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200204

Assignee: Zhejiang smart video security Innovation Center Co.,Ltd.

Assignor: Institute of Information Technology, Zhejiang Peking University

Contract record no.: X2022330000930

Denomination of invention: A pedestrian retrieval method and device based on massive unstructured features

Granted publication date: 20220902

License type: Common License

Record date: 20221229