CN114329023A - 档案处理方法、装置、电子设备及计算机存储介质 - Google Patents

档案处理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN114329023A
CN114329023A CN202111626946.5A CN202111626946A CN114329023A CN 114329023 A CN114329023 A CN 114329023A CN 202111626946 A CN202111626946 A CN 202111626946A CN 114329023 A CN114329023 A CN 114329023A
Authority
CN
China
Prior art keywords
image
image feature
feature
features
archive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111626946.5A
Other languages
English (en)
Inventor
贺文峰
王康
何俊峰
霍明明
郭如意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202111626946.5A priority Critical patent/CN114329023A/zh
Publication of CN114329023A publication Critical patent/CN114329023A/zh
Priority to PCT/CN2022/113914 priority patent/WO2023124134A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Stored Programmes (AREA)

Abstract

本实施例公开了一种档案处理方法、装置、设备、系统和计算机存储介质，该方法包括：获取目标对象的图像特征集合；确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；根据所述相似度集合，确定所述图像特征集合的代表性特征；将所述代表性特征对应的图像确定为所述目标对象对应的人员图像档案的封面图像。

Description

档案处理方法、装置、电子设备及计算机存储介质
技术领域
本公开涉及计算机视觉技术，涉及但不限于一种档案处理方法、装置、电子设备及计算机存储介质。
背景技术
目前，在智慧城市的建设过程中，可以通过目标检测、特征提取、属性检测以及人脸聚类等一系列计算机视觉技术，很好地对摄像机抓拍数据进行分类、标注等处理，基于这些数据，可以定义人员图像档案，即定义各人员的轨迹。
在相关技术中，如何在人员图像档案中选取出具有代表性的人员图像，是亟待解决的技术问题。
发明内容
本公开实施例提供了档案处理方法、装置、电子设备及计算机存储介质。
本公开实施例提供了一种档案处理方法，所述方法包括：
获取目标对象的图像特征集合；确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；根据所述相似度集合，确定所述图像特征集合的代表性特征；将所述代表性特征对应的图像确定为所述目标对象对应的档案的封面图像。
在本公开的一些实施例中，所述根据所述相似度集合，确定所述图像特征集合的代表性特征，包括：根据所述相似度集合，确定所述每个图像特征的局部密度；根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔；根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征。
可以看出，每个图像特征的局部密度和密度点间隔，可以客观准确地反映图像特征在特征空间的分布，从而，代表性特征对应的图像是客观准确地选取出的代表性图像，即，本公开实施例可以准确地选取出具有代表性的封面图像。
在本公开的一些实施例中，所述根据所述相似度集合，确定所述每个图像特征的局部密度，包括：在所述图像特征集合中，确定与所述每个图像特征的相似度大于阈值的至少一个图像特征；将所述至少一个图像特征与所述每个图像特征的相似度之和，作为所述每个图像特征的局部密度。
可以理解地，在得到图像特征集合后，图像特征集合的特征在特征空间中存在一定的特征分布，在某些区域，特征分布会比较集中，即特征的局部密度较高，说明该特征区域具有代表性，找到该密度区域的中心点作为该区域的代表特征；因此，在本公开实施例中，通过计算每个图像特征的局部密度，有利于确定出图像特征集合的代表性特征。
在本公开的一些实施例中，所述根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔，包括：在所述图像特征集合中的第一图像特征不是所述图像特征集合中局部密度最大的图像特征的情况下，在所述图像特征集合中选取局部密度大于所述第一图像特征的局部密度的图像特征，将选取的所述图像特征与所述第一图像特征的相似度的最小值作为所述第一图像特征的密度点间隔；所述第一图像特征为所述图像特征集合中的任意一个图像特征；
在得出所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔的情况下，在所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔中，将密度点间隔的最小值作为所述图像特征集合中所述局部密度最大的图像特征的密度点间隔。
可以理解地，局部密度较高的图像特征可能不止一个，为了降低不同的局部密度较高的图像特征之间的相互影响，需要在特征空间中确定具有高局部密度且与其他高局部密度的图像特征具有足够相似度距离的图像特征作为代表性特征；这里，两个图像特征点之间的相似度距离与两个图像特征之间的相似度成负相关；本公开实施例中，可以通过密度点间隔表征具有高局部密度的图像特征与其它高局部密度的图像特征的相似度；通过确定图像特征的密度点间隔，有利于准确地在特征空间中确定具有高局部密度且与其他高局部密度的图像特征具有足够相似度距离的图像特征，即有利于准确地确定代表性特征。
在本公开的一些实施例中，所述根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征，包括：根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，所述每个图像特征的代表性分数与所述局部密度成正相关，与所述密度点间隔成负相关；在所述图像特征集合中，选取代表性分数大于或等于代表性分数阈值的至少一个特征作为所述代表性特征。
可以看出，在某个图像特征的局部密度较高或者密度点间隔较低的情况下，该图像特征的代表性分数会越高，该图像特征会更有可能成为代表性特征；即，有利于将具有高局部密度且与其他高局部密度特征具有较小相似度的特征作为代表性特征，从而，本公开实施例可以在图像特征集合中较为准确地确定出代表性特征。
在本公开的一些实施例中，所述根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，包括：将所述每个图像特征的局部密度与所述密度点间隔的比值，作为所述每个图像特征的代表性分数。可以看出，本公开实施例通过计算每个图像特征的局部密度与所述密度点间隔的比值，较为容易地得出每个图像特征的代表性分数。
在本公开的一些实施例中，在首次确定所述档案的封面图像后，所述方法还包括：响应于所述封面图像的更新事件，通过执行以下步骤，实现对所述档案的封面图像的更新：获取所述目标对象的图像特征集合、确定所述图像特征集合的代表性特征、以及确定所述档案的封面图像；其中：
所述封面图像的更新事件包括以下至少之一：在更新所述档案的情况下；在获取到所述封面图像的更新指令的情况下；在周期性更新所述封面图像的情况下。
可以看出，本公开实施例可以在确定更新档案，或者在确定需要更新封面图像的情况下，通过重复执行本公开实施例的档案处理方法，可以实现封面图像的刷新；在周期性更新封面图像的情况下，通过重复执行本公开实施例的档案处理方法，可以实现封面图像的持续更新，由于无需对封面图像进行人工修正，从而可以降低运维成本；进一步地，在更新档案的情况下，档案中图像为近期获取的图像，即，本公开实施例可以基于近期获取的图像进行封面图像的选取，从而选取出的封面图像能够反映目标对象的近期状态，从而便于后续针对目标对象进行特征检索。
在本公开的一些实施例中，所述获取目标对象的图像特征集合，包括：确定所述目标对象对应的档案中每个图像的采集时刻与当前时刻的时长；在所述档案中，将所述时长超过图像的存活周期的图像滤除，得到更新后的档案；对所述更新后的像档案进行特征提取，得到所述目标对象的图像特征集合。
在本公开实施例中，将档案中采集时刻与当前时刻的时长超过图像的存活周期的图像进行滤除，可以提高选取封面图像的过程的可靠性；进一步地，本公开实施例可以基于最近采集的图像选取代表性图像，从而，选取出的代表性图像能够反映目标对象的最近状态。
在本公开的一些实施例中，在对所述封面图像进行更新前，所述方法还包括：响应于将目标对象的新图像添加到所述档案，确定所述档案中图像的数量；响应于所述档案中的图像的数量超过预设数量的情况下，按照所述档案中采集时刻从早到晚的顺序，依次滤除所述档案中的图像，直至所述档案中的图像数量小于或等于所述预设数量为止。
可以理解地，在将目标对象的新图像添加到档案的情况下，响应于档案中的图像的数量超过预设数量，则说明档案中的图像会消耗更多的磁盘资源，在这种情况下，通过滤除档案中的图像，有利于降低档案中的图像所占用的磁盘资源。
本公开实施例还提出了一种档案处理装置，所述装置包括获取模块、第一处理模块、第二处理模块和第三处理模块，其中，
获取模块，用于获取目标对象的图像特征集合；
第一处理模块，用于确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；
第二处理模块，用于根据所述相似度集合，确定所述图像特征集合的代表性特征；
第三处理模块，用于将所述代表性特征对应的图像确定为所述目标对象对应的档案的封面图像。
本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行上述任意一种档案处理方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种档案处理方法。
可以看出，本公开实施例可以根据图像特征集合中每个图像特征与其它图像特征之间的相似度集合，得出图像特征集合中的代表性特征，因此，与代表性特征对应的图像是根据图像特征之间的相似度准确地确定出的代表性图像，即，本公开实施例可以在档案中准确地选取出具有代表性的封面图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的档案处理方法的一个流程图；
图2为本公开实施例中确定代表性特征的一个流程图；
图3为本公开实施例中确定图像特征的局部密度的流程图；
图4为本公开实施例中确定图像特征的密度点间隔的流程图；
图5为本公开实施例中确定代表性特征的原理示意图；
图6为本公开实施例中确定代表性特征的另一个流程图；
图7为本公开实施例中获取目标对象的图像特征集合的流程图；
图8为本公开实施例中对档案中的图像进行过滤的流程图；
图9为本公开实施例的档案处理装置的结构示意图；
图10为本公开实施例的电子设备的结构示意图。
具体实施方式
在相关技术中，可以采用计算机视觉技术对抓拍图像进行处理，从而得到各个人员的档案，基于各个人员的档案，可以很好地实现目标人员检索、轨迹查询等数据分析任务。但是档案本身属于一种关系信息，无法直观展示。另外,针对海量抓拍图像，要实现全量检索非常困难，而在实际场景中只需要检索每个档案下一些典型的抓拍图像即可。因此，需要能挑选出档案中最具代表性的图像作为档案的封面图像。
传统的封面图像是档案中随机选取的任意抓拍图像，这种方法存在如下两个问题：1)选取的图像的质量无法控制，可能选取出拍摄角度不佳、成像模糊、放缩比例不合适等质量不好的图像；2)随机选取的图像可能是已经过期并删除的历史图像，从而导致封面图像的丢失，而且，如果随机选取的图像的抓拍时间距离当前时间较久，该图像也无法代表档案人员的近期状态。
针对上述技术问题，提出本公开实施例的技术方案。
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的档案处理方法包含了一系列的步骤，但是本公开实施例提供的档案处理方法不限于所记载的步骤，同样地，本公开实施例提供的档案处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本公开实施例可以应用于终端和/或服务器组成的计算机系统中。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端、服务器等电子设备可以包括用于执行指令的程序模块。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开实施例提出了一种档案处理方法，可以应用于智能视频分析、智慧城市或其它图像分析场景。
图1为本公开实施例的档案处理方法的一个流程图，如图1所示，该流程可以包括：
步骤101：获取目标对象的图像特征集合。
本公开实施例中，通过对档案进行图像特征提取，得到目标对象的图像特征集合。这里，档案表示一个目标对象的图像集合，例如，目标对象可以是人员、车辆或其它类型的物体，档案中的图像可以是通过图像采集设备采集的图像；档案中的图像的格式可以是联合图像专家小组(Joint Photographic Experts GROUP，JPEG)、位图(Bitmap，BMP)、便携式网络图形(Portable Network Graphics，PNG)或其它格式；需要说明的是，这里仅仅是对档案中的图像的格式和来源进行了举例说明，本公开实施例并不对档案中的图像的格式和来源进行限定。
示例性地，在获取目标对象的图像集合后，可以采用预先训练的特征提取网络对图像集合的图像进行特征提取，得到目标对象的图像特征集合，本公开实施例中，并不对特征提取网络的网络结构和种类进行限定。
示例性地，在得到至少两个对象的图像特征集合后，可以通过对上述至少两个对象的图像特征集合进行聚类，得到目标对象的图像特征集合；示例性地，对图像特征集合进行聚类的方法可以是基于划分的聚类算法、基于层次的聚类算法或基于密度的聚类算法。
示例性地，在目标对象为人员的情况下，图像特征集合中的图像特征可以是人脸特征、人体特征等；在目标对象为机动车的情况下，图像特征集合中的图像特征可以是机动车特征；在目标对象为非机动车的情况下，图像特征集合中的图像特征可以是非机动车特征。
步骤102：确定图像特征集合中每个图像特征与图像特征集合中其它图像特征之间的相似度集合。
在一种实现方式中，令Ci表示目标对象的图像特征集合，i为大于或等于1的整数；对于图像特征集合Ci中的第j个特征xij，可以确定图像特征集合Ci中第j个特征xij与其它特征的相似度，其中，j为大于或等于1的整数。在确定图像特征集合Ci中第j个特征xij与其它特征的相似度之后，通过遍历j的取值，可以确定图像特征集合中每个图像特征与图像特征集合中其它图像特征之间的相似度集合。
步骤103：根据相似度集合，确定图像特征集合的代表性特征。
步骤104：将代表性特征对应的图像确定为目标对象对应的档案的封面图像。
本公开实施例中，由于图像特征集合中的图像特征是从目标对象的图像中提取的，因此，可以确定图像特征集合中每个图像特征对应的图像，从而，在确定代表性特征后，可以在目标对象对应的档案中确定与代表性特征对应的图像。
在实际应用中，上述步骤101至步骤104可以基于电子设备的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出，本公开实施例可以根据图像特征集合中每个图像特征与其它图像特征之间的相似度集合，得出图像特征集合中的代表性特征，因此，与代表性特征对应的图像是根据图像特征之间的相似度准确地确定出的代表性图像，即，本公开实施例可以在档案中准确地选取出具有代表性的封面图像。进一步地，在将代表性图像作为档案的封面图像的情况下，相比与随机选取图像，本公开实施例选取出的封面图像具有一定可解释性和典型性，能够较好地代表档案，人眼可读性较好。
在本公开的一些实施例中，参照图2，根据相似度集合，确定图像特征集合的代表性特征的流程可以包括：
步骤1031：根据相似度集合，确定每个图像特征的局部密度。
示例性地，图像特征的局部密度用于表示图像特征在特征空间中局部区域的密度。
参照图3，根据相似度集合，确定每个图像特征的局部密度的流程可以包括：
步骤10311：在图像特征集合中，确定与每个图像特征的相似度大于阈值的至少一个图像特征。
步骤10312：将至少一个图像特征与每个图像特征的相似度之和，作为每个图像特征的局部密度。
在一种实现方式中，在Ci表示目标对象的图像特征集合的情况下，对于特征集合Ci中的第j个特征xij，可以查找图像特征集合Ci中与第j个特征xij的相似度大于设定相似度阈值的特征的集合A，将集合A中各特征与第j个特征xij的相似度之和作为第j个特征xij的局部密度αij。
可以理解地，在得到图像特征集合后，图像特征集合的特征在特征空间中存在一定的特征分布，在某些区域，特征分布会比较集中，即特征的局部密度较高，说明该特征区域具有代表性，找到该密度区域的中心点作为该区域的代表特征；因此，在本公开实施例中，通过计算每个图像特征的局部密度，有利于确定出图像特征集合的代表性特征。
步骤1032：根据相似度集合和每个图像特征的局部密度，确定每个图像特征的密度点间隔。
参照图4，根据相似度集合和每个图像特征的局部密度，确定每个图像特征的密度点间隔的流程可以包括：
步骤10321：在图像特征集合中的第一图像特征不是图像特征集合中局部密度最大的图像特征的情况下，在图像特征集合中选取局部密度大于第一图像特征的局部密度的图像特征，将选取的图像特征与第一图像特征的相似度的最小值作为第一图像特征的密度点间隔；第一图像特征为图像特征集合中的任意一个图像特征。
在一种实现方式中，对于上述图像特征集合Ci中的第j个特征xij，在第j个特征xij不是图像特征集合Ci中局部密度最大的图像特征的情况下，可以在图像特征集合Ci中选取局部密度大于第j个特征xij的局部密度的图像特征，将选取的图像特征与第j个特征xij相似度的最小值βij作为于第j个特征xij的密度点间隔。
步骤10322：在得出图像特征集合中除局部密度最大的图像特征外的各个图像特征的密度点间隔的情况下，在图像特征集合中除局部密度最大的图像特征外的各个图像特征的密度点间隔中，将密度点间隔的最小值作为图像特征集合中局部密度最大的图像特征的密度点间隔。
可以理解地，局部密度较高的图像特征可能不止一个，为了降低不同的局部密度较高的图像特征之间的相互影响，需要在特征空间中确定具有高局部密度且与其他高局部密度的图像特征具有足够相似度距离的图像特征作为代表性特征；这里，两个图像特征点之间的相似度距离与两个图像特征之间的相似度成负相关；本公开实施例中，可以通过密度点间隔表征具有高局部密度的图像特征与其它高局部密度的图像特征的相似度；参照图5，实线圆圈表示图像特征，直线所指向的两个图像特征具有较高的局部密度，即，附近的图像特征较多；并且，直线所指向的两个图像特征之间的相似度距离较大，直线所指向的两个图像特征之间的相似度较小，在一个示例中，直线所指向的两个图像特征中右侧特征的密度点间隔为：直线所指向的两个图像特征之间的相似度。
步骤1033：根据每个图像特征的局部密度和密度点间隔，确定图像特征集合的代表性特征。
可以看出，每个图像特征的局部密度和密度点间隔，可以客观准确地反映图像特征在特征空间的分布，从而，代表性特征对应的图像是客观准确地选取出的代表性图像，即，本公开实施例可以准确地选取出具有代表性的封面图像。
在本公开的一些实施例中，参照图6，步骤1033的实现方式可以包括：
步骤10331：根据每个图像特征的局部密度和密度点间隔，得出每个图像特征的代表性分数，每个图像特征的代表性分数与局部密度成正相关，与密度点间隔成负相关。
步骤10332：在图像特征集合中，选取代表性分数大于或等于代表性分数阈值的至少一个特征作为代表性特征。
本公开实施例中，代表性分数阈值可以根据实际需求设置。在一种实现方式中，可以按照代表性分数从高到低的顺序，对图像特征集合中的图像特征进行排序，将排序结果中的第k个特征的代表性分数作为代表性分数阈值，即，在排序结果中选取排列在前的k个特征作为代表性特征。
可以看出，在某个图像特征的局部密度较高或者密度点间隔较低的情况下，该图像特征的代表性分数会越高，该图像特征会更有可能成为代表性特征；即，有利于将具有高局部密度且与其他高局部密度特征具有较小相似度的特征作为代表性特征，从而，本公开实施例可以在图像特征集合中较为准确地确定出代表性特征。
在本公开的一些实施例中，可以将每个图像特征的局部密度与密度点间隔的比值，作为每个图像特征的代表性分数。
在一种实现方式中，对于上述特征集合Ci中的第j个特征xij，可以确定第j个特征xij的代表性分数为αij/βij。然后，可以在上述特征集合Ci中，选取出代表性分数大于或等于代表性分数阈值的至少一个特征。
在本公开的一些实施例中，在首次确定档案的封面图像后，响应于封面图像的更新事件，可以通过执行以下步骤，实现对档案的封面图像的更新：获取目标对象的图像特征集合、确定图像特征集合的代表性特征、以及确定档案的封面图像。
其中，封面图像的更新事件包括以下至少之一：
在更新档案的情况下；
在获取到封面图像的更新指令的情况下；
在周期性更新封面图像的情况下。
可以看出，本公开实施例可以在确定更新档案，或者在确定需要更新封面图像的情况下，通过执行步骤101至步骤104，可以实现封面图像的刷新；在周期性更新封面图像的情况下，通过执行步骤101至步骤104，可以自动实现封面图像的持续更新，由于无需对封面图像进行人工修正，从而可以降低运维成本；进一步地，在更新档案的情况下，档案中图像为近期获取的图像，即，本公开实施例可以基于近期获取的图像进行封面图像的选取，从而选取出的封面图像能够反映目标对象的近期状态，从而便于后续针对目标对象进行特征检索。
在本公开的一些实施例中，参照图7，获取目标对象的图像特征集合的流程可以包括：
步骤701：确定目标对象对应的档案中每个图像的采集时刻与当前时刻的时长。
步骤702：在档案中，将时长超过图像的存活周期的图像滤除，得到更新后的档案。
在实际应用中，可以通过spark计算引擎将档案中采集时刻与当前时刻的时长超过图像的存活周期的图像进行滤除，得到更新后的档案。
步骤703：对更新后的档案进行特征提取，得到档案中目标对象的图像特征集合。
在一些实施例中，由于档案中的图像会消耗大量的磁盘资源，因此可以针对图像设置图像存活时间IMAGE_URL_TTL，类似的，也可以针对底库中的特征设置一个特征存活时间FEATURE_TTL；示例性地，可以将图像存活时间IMAGE_URL_TTL和特征存活时间FEATURE_TTL的较小值作为图像的存活周期。
在一种实现方式，存活周期可以是一周、15天、一个月等。
可以理解地，不能选取档案中采集时刻与当前时刻的时长超过图像的存活周期的图像，否则会导致选取出的封面图像过期，或者导致底库中的特征过期；在本公开实施例中，将档案中采集时刻与当前时刻的时长超过图像的存活周期的图像进行滤除，可以提高选取封面图像的过程的可靠性；进一步地，本公开实施例可以基于最近采集的图像选取代表性图像，从而，选取出的代表性图像能够反映目标对象的最近状态。
在本公开的一些实施例中，在对封面图像进行更新前，参照图8，上述档案处理方法还可以包括：
步骤801：响应于将目标对象的新图像添加到档案，确定档案中图像的数量。
步骤802：响应于档案中的图像的数量超过预设数量的情况，按照档案中采集时刻从早到晚的顺序，依次滤除档案中的图像，直至档案中的图像数量小于或等于预设数量为止。
这里，响应于档案中的图像的数量不超过预设数量的情况，可以保持档案中的图像不变。
可以理解地，在将目标对象的新图像添加到档案的情况下，响应于档案中的图像的数量超过预设数量，则说明档案中的图像会消耗更多的磁盘资源，在这种情况下，通过滤除档案中的图像，有利于降低档案中的图像所占用的磁盘资源。
在本公开的一些实施例中，在确定档案的封面图像后，可以将封面图像进行展示，还可以对封面图像进行分析或特征检索。示例性地，可以在获取任意一个对象的特征检索请求后，按照特征检索请求，在不同的对象对应的档案的封面图像进行特征检索。
可以看出，由于封面图像其具有很好的图像代表性，因此，可以通过对封面图像特征检索，可以提高特征检索的准确性，另外，相比于从至少两个对象的各抓拍图像中进行特征检索，本公开实施例基于封面图像中进行特征检索，可以有效地减少待检索图像的数量，提高检索的效率，另外，综合多个封面图像的检索结果，还能够有效提高检索的召回率。
在一些场景中，摄像头抓拍的图像数据，经过提取聚类后会形成目标对象对应的档案，在相关技术中，用户通过查询档案查看封面图时，可能会出现图片访问不到，或者图片难以辨认，需要进一步点击到档案详情，找到成像质量较好的图像进行比对，才能确认是不是目标对象对应的档案。而在采用本公开实施例的技术方案后，输出的封面图像为档案抓拍中较为典型的抓拍图像，利用封面图像即可过滤非目标对象的档案。
在前述实施例提出的档案处理方法的基础上，本公开实施例还提出了一种档案处理装置。
图9为本公开实施例的档案处理装置的结构示意图，如图9所示，该装置可以包括：获取模块900、第一处理模块901、第二处理模块902和第三处理模块903，其中，
获取模块900，用于获取目标对象的图像特征集合；
第一处理模块901，用于确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；
第二处理模块902，用于根据所述相似度集合，确定所述图像特征集合的代表性特征；
第三处理模块903，用于将所述代表性特征对应的图像确定为所述目标对象对应的档案的封面图像。
在一些实施例中，所述第二处理模块902，用于根据所述相似度集合，确定所述图像特征集合的代表性特征，包括：
根据所述相似度集合，确定所述每个图像特征的局部密度；
根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔；
根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征。
在一些实施例中，所述第二处理模块902，用于根据所述相似度集合，确定所述每个图像特征的局部密度，包括：
在所述图像特征集合中，确定与所述每个图像特征的相似度大于阈值的至少一个图像特征；
将所述至少一个图像特征与所述每个图像特征的相似度之和，作为所述每个图像特征的局部密度。
在一些实施例中，所述第二处理模块902，用于根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔，包括：
在所述图像特征集合中的第一图像特征不是所述图像特征集合中局部密度最大的图像特征的情况下，在所述图像特征集合中选取局部密度大于所述第一图像特征的局部密度的图像特征，将选取的所述图像特征与所述第一图像特征的相似度的最小值作为所述第一图像特征的密度点间隔；所述第一图像特征为所述图像特征集合中的任意一个图像特征；
在得出所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔的情况下，在所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔中，将密度点间隔的最小值作为所述图像特征集合中所述局部密度最大的图像特征的密度点间隔。
在一些实施例中，所述第二处理模块902，用于根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征，包括：
根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，所述每个图像特征的代表性分数与所述局部密度成正相关，与所述密度点间隔成负相关；
在所述图像特征集合中，选取代表性分数大于或等于代表性分数阈值的至少一个特征作为所述代表性特征。
在一些实施例中，所述第二处理模块902，用于根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，包括：
将所述每个图像特征的局部密度与所述密度点间隔的比值，作为所述每个图像特征的代表性分数。
在一些实施例中，所述第三处理模块903，还用于在首次确定所述档案的封面图像后，响应于所述封面图像的更新事件，通过执行以下步骤，实现对所述档案的封面图像的更新：获取所述目标对象的图像特征集合、确定所述图像特征集合的代表性特征、以及确定所述档案的封面图像；其中：
所述封面图像的更新事件包括以下至少之一：
在更新所述档案的情况下；
在获取到所述封面图像的更新指令的情况下；
在周期性更新所述封面图像的情况下。
在一些实施例中，所述获取模块900，用于获取目标对象的图像特征集合，包括：
确定所述目标对象对应的档案中每个图像的采集时刻与当前时刻的时长；
在所述档案中，将所述时长超过图像的存活周期的图像滤除，得到更新后的档案；
对所述更新后的档案进行特征提取，得到所述目标对象的图像特征集合。
在一些实施例中，所述获取模块900，还用于在对所述封面图像进行更新前，响应于将所述目标对象的新图像添加到所述档案，确定所述档案中图像的数量；响应于所述档案中的图像的数量超过预设数量的情况，按照所述档案中采集时刻从早到晚的顺序，依次滤除所述档案中的图像，直至所述档案中的图像数量小于或等于所述预设数量为止。
上述获取模块900、第一处理模块901、第二处理模块902和第三处理模块903可以基于电子设备的处理器实现。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种档案处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种档案处理方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种档案处理方法。
基于前述实施例相同的技术构思，参见图10，其示出了本发明实施例提供的一种电子设备1000，可以包括：存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序；其中，
存储器1001，用于存储计算机程序和数据；
处理器1002，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种档案处理方法。
在实际应用中，上述存储器1001可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1002提供指令和数据。
上述处理器1002可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本公开所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (12)

1.一种档案处理方法，其特征在于，所述方法包括：
获取目标对象的图像特征集合；
确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；
根据所述相似度集合，确定所述图像特征集合的代表性特征；
将所述代表性特征对应的图像确定为所述目标对象对应的档案的封面图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相似度集合，确定所述图像特征集合的代表性特征，包括：
根据所述相似度集合，确定所述每个图像特征的局部密度；
根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔；
根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相似度集合，确定所述每个图像特征的局部密度，包括：
在所述图像特征集合中，确定与所述每个图像特征的相似度大于阈值的至少一个图像特征；
将所述至少一个图像特征与所述每个图像特征的相似度之和，作为所述每个图像特征的局部密度。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述相似度集合和所述每个图像特征的局部密度，确定每个图像特征的密度点间隔，包括：
在所述图像特征集合中的第一图像特征不是所述图像特征集合中局部密度最大的图像特征的情况下，在所述图像特征集合中选取局部密度大于所述第一图像特征的局部密度的图像特征，将选取的所述图像特征与所述第一图像特征的相似度的最小值作为所述第一图像特征的密度点间隔；所述第一图像特征为所述图像特征集合中的任意一个图像特征；
在得出所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔的情况下，在所述图像特征集合中除所述局部密度最大的图像特征外的各个图像特征的密度点间隔中，将密度点间隔的最小值作为所述图像特征集合中所述局部密度最大的图像特征的密度点间隔。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述根据所述每个图像特征的所述局部密度和所述密度点间隔，确定所述图像特征集合的代表性特征，包括：
根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，所述每个图像特征的代表性分数与所述局部密度成正相关，与所述密度点间隔成负相关；
在所述图像特征集合中，选取代表性分数大于或等于代表性分数阈值的至少一个特征作为所述代表性特征。
6.根据权利要求5所述的方法，其特征在于，所述根据所述每个图像特征的所述局部密度和所述密度点间隔，得出所述每个图像特征的代表性分数，包括：
将所述每个图像特征的局部密度与所述密度点间隔的比值，作为所述每个图像特征的代表性分数。
7.根据权利要求1至6任一项所述的方法，其特征在于，在首次确定所述档案的封面图像后，所述方法还包括：
响应于所述封面图像的更新事件，通过执行以下步骤，实现对所述档案的封面图像的更新：
获取所述目标对象的图像特征集合、确定所述图像特征集合的代表性特征、以及确定所述档案的封面图像；其中：
所述封面图像的更新事件包括以下至少之一：
在更新所述档案的情况下；
在获取到所述封面图像的更新指令的情况下；
在周期性更新所述封面图像的情况下。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述获取目标对象的图像特征集合，包括：
确定所述目标对象对应的档案中每个图像的采集时刻与当前时刻的时长；
在所述档案中，将所述时长超过图像的存活周期的图像滤除，得到更新后的档案；
对所述更新后的档案进行特征提取，得到所述目标对象的图像特征集合。
9.根据权利要求1至8任一项所述的方法，其特征在于，在对所述封面图像进行更新前，所述方法还包括：
响应于将所述目标对象的新图像添加到所述档案，确定所述档案中图像的数量；
响应于所述档案中的图像的数量超过预设数量的情况，按照所述档案中采集时刻从早到晚的顺序，依次滤除所述档案中的图像，直至所述档案中的图像数量小于或等于所述预设数量为止。
10.一种档案处理装置，其特征在于，所述装置包括获取模块、第一处理模块、第二处理模块和第三处理模块，其中，
获取模块，用于获取目标对象的图像特征集合；
第一处理模块，用于确定所述图像特征集合中每个图像特征与所述图像特征集合中其它图像特征之间的相似度集合；
第二处理模块，用于根据所述相似度集合，确定所述图像特征集合的代表性特征；
第三处理模块，用于将所述代表性特征对应的图像确定为所述目标对象对应的档案的封面图像。
11.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行权利要求1至9任一项所述的档案处理方法。
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的档案处理方法。
CN202111626946.5A 2021-12-28 2021-12-28 档案处理方法、装置、电子设备及计算机存储介质 Withdrawn CN114329023A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111626946.5A CN114329023A (zh) 2021-12-28 2021-12-28 档案处理方法、装置、电子设备及计算机存储介质
PCT/CN2022/113914 WO2023124134A1 (zh) 2021-12-28 2022-08-22 档案处理方法、装置、电子设备、计算机存储介质和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111626946.5A CN114329023A (zh) 2021-12-28 2021-12-28 档案处理方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114329023A true CN114329023A (zh) 2022-04-12

Family

ID=81015703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111626946.5A Withdrawn CN114329023A (zh) 2021-12-28 2021-12-28 档案处理方法、装置、电子设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN114329023A (zh)
WO (1) WO2023124134A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124134A1 (zh) * 2021-12-28 2023-07-06 上海商汤智能科技有限公司 档案处理方法、装置、电子设备、计算机存储介质和程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108461B (zh) * 2017-12-29 2021-08-31 北京小米移动软件有限公司 确定封面图像的方法及装置
CN109948734B (zh) * 2019-04-02 2022-03-29 北京旷视科技有限公司 图像聚类方法、装置及电子设备
CN110443297B (zh) * 2019-07-30 2022-06-07 浙江大华技术股份有限公司 图像的聚类方法、装置及计算机存储介质
CN112835876B (zh) * 2019-11-25 2023-07-28 深圳云天励飞技术有限公司 一种人脸档案去重方法及相关设备
CN111242040B (zh) * 2020-01-15 2022-08-02 佳都科技集团股份有限公司 一种动态人脸聚类方法、装置、设备和存储介质
CN114329023A (zh) * 2021-12-28 2022-04-12 北京市商汤科技开发有限公司 档案处理方法、装置、电子设备及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124134A1 (zh) * 2021-12-28 2023-07-06 上海商汤智能科技有限公司 档案处理方法、装置、电子设备、计算机存储介质和程序

Also Published As

Publication number Publication date
WO2023124134A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
US8270684B2 (en) Automatic media sharing via shutter click
US20170337170A1 (en) Creating a narrative description of media content and applications thereof
US9665773B2 (en) Searching for events by attendants
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
Thakre et al. Video partitioning and secured keyframe extraction of MPEG video
CN109800318B (zh) 一种归档方法及装置
CN113570635B (zh) 目标运动轨迹还原方法、装置、电子设备、存储介质
CN110705476A (zh) 数据分析方法、装置、电子设备和计算机存储介质
CN109800664B (zh) 一种确定路人轨迹的方法及装置
CN112579593A (zh) 人口库分库方法和装置
CN114078277A (zh) 一人一档的人脸聚类方法、装置、计算机设备及存储介质
CN111598176B (zh) 一种图像匹配处理方法及装置
CN111445442B (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
WO2023124134A1 (zh) 档案处理方法、装置、电子设备、计算机存储介质和程序
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
Yu et al. Leveraging probabilistic season and location context models for scene understanding
CN111708906B (zh) 基于人脸识别的来访检索方法、装置、设备及存储介质
CN112257666B (zh) 目标图像内容的聚合方法、装置、设备及可读存储介质
CN114863364A (zh) 一种基于智能视频监控的安防检测方法及系统
CN114092623A (zh) 点云数据去重方法及存储介质
CN113626647A (zh) 一种智慧小区的数据保存方法及系统
CN114268730A (zh) 图像存储的方法、装置、计算机设备和存储介质
CN117576425B (zh) 一种窜拍图像检测的方法和系统
Bhaumik et al. Enhancement of perceptual quality in static video summarization using minimal spanning tree approach
CN116561372B (zh) 基于多算法引擎的人员聚档方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40068040

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220412