CN112668635A - 图像归档方法、装置、设备及计算机存储介质 - Google Patents

图像归档方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN112668635A
CN112668635A CN202011562775.XA CN202011562775A CN112668635A CN 112668635 A CN112668635 A CN 112668635A CN 202011562775 A CN202011562775 A CN 202011562775A CN 112668635 A CN112668635 A CN 112668635A
Authority
CN
China
Prior art keywords
image
archive
original
file
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011562775.XA
Other languages
English (en)
Other versions
CN112668635B (zh
Inventor
华逸伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011562775.XA priority Critical patent/CN112668635B/zh
Publication of CN112668635A publication Critical patent/CN112668635A/zh
Priority to PCT/CN2021/128528 priority patent/WO2022134879A1/en
Application granted granted Critical
Publication of CN112668635B publication Critical patent/CN112668635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请提供一种图像归档方法、装置、设备及计算机存储介质。包括：获取多个待归档的图像档案，图像档案包括同一目标的多个图像；计算各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；在最大相似度大于等于第一阈值时，将图像档案归档至第一原始档案中；在最大相似度小于第一阈值且大于等于第二阈值时，利用图像档案的图像特征和第一原始档案的图像特征计算分类概率，分类概率包括图像档案中的目标和第一原始档案中的目标之间的关联概率；在分类概率大于等于预设分类概率阈值时，将图像档案归档至第一原始档案中。本申请的图像归档方法兼顾了图像归档的效率及准确性。

Description

图像归档方法、装置、设备及计算机存储介质
技术领域
本申请涉及图像归档技术领域，特别是涉及一种图像归档方法、装置、设备及计算机存储介质。
背景技术
聚类算法是一种无监督机器学习方法，其主要是将一系列无标签数据分成多个类。人脸聚类是聚类算法在人脸识别领域的应用。主要应用场景为一人一档场景，即属于同一人的不同人脸图像归档于同一档案。
现有技术中，一方面，人脸聚类若设计针对简单人脸档案的归档，简单人脸归档速度快，但将其应用于复杂人脸档案的归档，将可能导致一人多档(同一个人的不同人脸被分到多个档案中)或一档多人(不同人的人脸被分到同一档案中)的情况；另一方面，人脸聚类若设计针对复杂人脸档案的归档，虽能增加复杂人脸档案的归档准确性，但同时增加了归档的时间，无法兼顾归档的准确性及效率。
发明内容
本申请提供了一种图像归档方法、设备及计算机存储介质，主要解决的技术问题是如何兼顾图像归档的效率及准确性。
为解决上述技术问题，本申请提供了一种图像归档方法，所述方法包括：
获取多个待归档的图像档案，所述图像档案包括同一目标的多个图像；
计算各个所述图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；
在所述最大相似度大于等于第一阈值时，将所述图像档案归档至所述第一原始档案中；
在所述最大相似度小于所述第一阈值且大于等于第二阈值时，利用所述图像档案的图像特征和所述第一原始档案的图像特征计算分类概率，所述分类概率包括所述图像档案中的目标和所述第一原始档案中的目标之间的关联概率，其中，所述第一阈值大于所述第二阈值；
在所述分类概率大于等于预设分类概率阈值时，将所述图像档案归档至所述第一原始档案中。
为解决上述技术问题，本申请提供了一种图像归档装置，所述装置包括：
获取单元，用于获取多个待归档的图像档案，所述图像档案包括同一目标的多个图像；
第一计算单元，用于计算各个所述图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；
第一归档单元，用于在所述最大相似度大于等于第一阈值时，将所述图像档案归档至所述第一原始档案中；
第二计算单元，用于在所述最大相似度小于所述第一阈值且大于等于第二阈值时，利用所述图像档案的图像特征和所述第一原始档案的图像特征计算分类概率，所述分类概率包括所述图像档案中的目标和所述第一原始档案中的目标之间的关联概率，其中，所述第一阈值大于所述第二阈值；
第二归档单元，用于在所述分类概率大于等于预设分类概率阈值时，将所述图像档案归档至所述第一原始档案中。
为解决上述技术问题，本申请提供了一种电子设备，所述电子设备包括存储器以及与所述存储器耦接的处理器；
所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像归档方法。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的图像归档方法。
本申请图像归档方法通过获取多个待归档的图像档案，图像档案包括同一目标的多个图像；计算各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；在最大相似度大于等于第一阈值时，将图像档案归档至第一原始档案中；在最大相似度小于第一阈值且大于等于第二阈值时，利用图像档案的图像特征和第一原始档案的图像特征计算分类概率，分类概率包括图像档案中的目标和第一原始档案中的目标之间的关联概率，其中，第一阈值大于第二阈值；在分类概率大于等于预设分类概率阈值时，将图像档案归档至第一原始档案中。本申请根据各个待归档的图像档案中主图像特征与所有原始档案中主图像特征之间的相似度获取最大相似度，将最大相似度大于等于第一阈值的待归档的图像档案进行简单归档处理，保证了归档的效率；将最大相似度小于第一阈值且大于等于第二阈值的待归档的图像档案进行复杂归档处理，保证了归档的准确性，实现了兼顾归档的效率及准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像归档方法一实施例的流程示意图；
图2是图1所示的图像归档方案中S102一实施例的流程示意图；
图3是图1所示的图像归档方案中S104一实施例的流程示意图；
图4是本申请提供的图像归档装置一实施例的框架示意图；
图5是本申请提供的电子设备一实施例的结构示意图；
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种图像归档方法，可应用于对人脸图像进行归档。请参阅图1，图1是本申请提供的图像归档方法一实施例的流程示意图。
其中，图像归档方法的执行主体可以是图像归档装置，例如，图像归档方法可以由电子设备或服务器或其它处理设备执行，其中，电子设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像归档方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本实施例的图像归档方法包括如下步骤：
S101：获取多个待归档的图像档案。
考虑到若直接利用多个待归档的图像档案中的主图像特征对图像档案进行归档，可能由于同一目标的多个图像存在于不同的图像档案中或同一图像档案中存在多个目标的图像，导致图像档案之间的关联问题。例如，现有待归档的图像档案A和B，原始档案C，图像档案A、B和原始档案C属于同一目标。图像归档装置在分别利用图像档案A、B和原始档案C的主图像特征计算特征相似度时，存在图像档案A和原始档案C之间的特征相似度满足归档要求，图像档案B和原始档案C之间的特征相似度不满足归档要求。但图像档案B与图像档案A归档至原始档案C后的原始档案C之间的特征相似度满足归档要求。也即，图像档案B在图像档案A归档至原始档案C后，才能归档于更新后的原始档案C。
进一步地，图像归档通常分为在线模式和离线模式。一方面，在线模式是将某个待归档的图像档案或待归档的图像档案中的主图像特征与原始档案或原始档案的主图像特征进行比对，以将待归档的图像档案进行归档。另一方面，离线模式是批量对待归档的图像进行归档处理，得到多个待归档的图像档案，每个图像档案中为同一目标的多个图像。因此，离线模式相较于在线模式来说，减少了待归档的图像档案数，并且归档的准确性高。
为了避免出现图像档案之间的关联问题而影响图像档案的归档，本实施例的图像归档装置可利用离线模式和在线模式结合的方式进行图像归档。具体地，图像归档装置首先利用离线模式对获取的一批图像进行处理，得到多个待归档的图像档。避免了后续利用在线模式对图像档案归档时存在图像档案之间的关联问题，实现兼顾图像档案归档的效率和准确性。其中，图像档案包括同一目标的多个图像。
具体地，图像归档装置获取一批图像，并使用特征提取网络对一批图像中的每一图像进行图像特征提取，得到多个图像特征。图像归档装置利用多个图像特征对该批图像进行聚类，得到多个待归档的图像档案。其中，每一图像的图像特征对应一特征维度，记为D0。
S102：计算各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案。
为了保障图像档案归档的准确性，本实施例的图像归档装置在所有原始档案中获取与每个图像档案最相似的一原始档案作为第一原始档案。具体地，图像归档装置计算各个图像档案的主图像特征与所有原始档案中每一原始档案的主图像特征之间的相似度，得到与图像档案对应多个相似度；将多个相似度中的最大相似度所对应的原始档案作为第一原始档案。
例如，图像档案编号为a和b，所有原始档案依次编号为1～6。图像归档装置计算a的主图像特征与1～6中每个原始档案的主图像特征之间的相似度，得到6个相似度；若6个相似度中的最大相似度对应的原始档案的编号为4，则将4作为第一原始档案。b的最大相似度的计算及第一原始档案的确认同上述，在此不进行赘述。
S103：在最大相似度大于等于第一阈值时，将图像档案归档至第一原始档案中。
基于S102中获取的最大相似度，图像归档装置判断最大相似度是否大于等于第一阈值，若是，则将图像档案归档至第一原始档案中。
需要说明的是，图像归档装置判断最大相似度大于等于第一阈值时，可认为该最大相似度对应的待归档的图像档案为简单档案，直接将其归档至第一原始档案中。
进一步地，图像归档装置判断最大相似度小于第一阈值时，则继续判断最大相似度是否大于等于第二阈值，若是，则执行S104。若否，则新建图像档案，将该图像档案归档于新建的图像档案中。
S104：在最大相似度小于第一阈值且大于等于第二阈值时，利用图像档案的图像特征和第一原始档案的图像特征计算分类概率。
需要说明的是，图像归档装置在判断最大相似度小于第一阈值且大于等于第二阈值时，可认为该最大相似度对应的待归档的图像档案为困难档案。图像归档装置可利用困难档案处理方式对该困难档案进行归档处理。具体地，图像归档装置利用图像档案的图像特征和第一原始档案的图像特征计算分类概率。其中，分类概率包括图像档案中的目标和第一原始档案中的目标之间的关联概率。也即图像档案中的图像和第一原始档案中的图像为同一人所属图像的概率。
S105：在分类概率大于等于预设分类概率阈值时，将图像档案归档至第一原始档案中。
基于S104中获取的分类概率，图像归档装置判断图像档案中的目标和第一原始档案中的目标之间的关联概率是否大于等于预设分类概率阈值，若是，则将图像档案归档至第一原始档案中。否则，则新建图像档案，将该图像档案归档于新建的图像档案中。
需要说明的是，图像归档装置将图像档案归档至第一原始图像后，将更新第一原始图像的图像数量及主图像特征。具体地，更新后的第一原始图像的图像数量为图像档案中的图像数与第一原始图像中的图像数之和。
进一步地，图像档案的主图像特征的更新方式可由主图像特征的类型决定。具体地，图像归档装置利用图像档案和第一原始图像中的图像数及主图像特征的预设维度特征计算更新后的第一原始图像的主图像特征。也即图像归档装置计算图像档案中图像数与图像档案中主图像特征的预设维度特征之积，得到第一结果；计算第一原始档案中图像数与第一原始档案中主图像特征的预设维度特征之积，得到第二结果；计算图像档案中图像数与第一原始档案中图像数之和，得到第三结果；计算第一结果和第二结果之和与第三结果的比值，得到更新后的第一原始档案的主图像特征。
具体地，更新后的第一原始图像的主图像特征的计算方式满足下式：
Figure BDA0002860863970000071
其中，Nin为图像档案中的图像数，Nout为第一原始图像中的图像数，
Figure BDA0002860863970000072
为图像档案中主图像特征的预设维度特征，也即图像档案张主图像特征的第d维特征，
Figure BDA0002860863970000073
为第一原始图像中主图像特征的预设维度特征，也即第一原始图像中主图像特征的第d维特征。
上述方案中，图像归档装置通过获取多个待归档的图像档案，图像档案包括同一目标的多个图像；计算各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；在最大相似度大于等于第一阈值时，将图像档案归档至第一原始档案中；在最大相似度小于第一阈值且大于等于第二阈值时，利用图像档案的图像特征和第一原始档案的图像特征计算分类概率，分类概率包括图像档案中的目标和第一原始档案中的目标之间的关联概率，其中，第一阈值大于第二阈值；在概率大于等于概率阈值时，将图像档案归档至第一原始档案中。本申请根据各个待归档的图像档案中主图像特征与所有原始档案中每一原始档案主图像特征之间的相似度获取最大相似度，将最大相似度大于等于第一阈值的待归档的图像档案进行简单归档处理，保证了归档的效率；将最大相似度小于第一阈值且大于等于第二阈值的待归档的图像档案进行复杂归档处理，保证了归档的准确性，实现了兼顾归档的效率及准确性。
请继续参阅图2，图2是图1所示的图像归档方案中S102一实施例的流程示意图。具体而言，在上述公开实施例的图像归档方案的基础上，S102还包括以下步骤：
S201：按照多线程的线程数量对多个图像档案进行划分，以获得多个子档案集。
考虑到图像归档装置若依次对多个待归档的图像档案进行归档处理，将导致图像档案归档效率低下。因为，一个待归档的图像档案归档处理完成后才能对下一个待归档的图像档案进行归档处理，耗时过长。为此，本实施例的图像归档装置对多个图像特征进行多线程处理，以使多线程中的每一线程对应处理各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度。
进一步地，考虑到多线程的线程数量具有局限性，也就是多线程的线程数量有限。为了能在最大程度上提高图像档案的归档效率，实现高并发的图像档案归档，本实施例的图像归档装置可利用多线程分批次地对每批中待归档的图像档案进行归档处理，以实现高并发归档，提高图像档案的归档效率。
具体地，图像归档装置按照多线程的线程数量对多个图像档案进行划分，以获得多个子档案集。其中，每个子档案集也即每批次。
其中，每个子档案集中的图像档案数量与线程数量相同。
S202：依次对各个子档案集进行多线程处理，以依次获得各个子档案集中各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度。
其中，图像归档装置依次对各个子档案集进行多线程处理。具体地，图像归档装置将每一子档案集中各个图像档案的主图像特征输入至对应线程中，将所有原始档案的主图像特征输入至每一线程中，以依次获得各个子档案集中各个图像档案的主图像特征和所有原始档案的主图像特征之间的相似度。
例如，线程池中的线程数为2，图像档案数为6。图像归档装置将图像档案分为3个子档案集，每个子档案集中包括2个图像档案。图像归档装置分3次将子档案集中的2个图像档案的主图像特征对应输入到2个线程中，并且每次将所有原始档案的主图像特征输入每一线程中，以使每一线程计算图像档案的主图像特征和所有原始档案的主图像特征之间的相似度。
上述方案中，图像归档装置按照多线程的线程数量对多个图像档案进行划分，以获得多个子档案集；依次对各个子档案集进行多线程处理，以依次获得各个子档案集中各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度。图像归档装置利用线程池中的线程分批次地对每批中待归档的图像档案进行归档处理，实现了高并发归档，提高了图像档案的归档效率。
请继续参阅图3，图3是图1所示的图像归档方案中S104一实施例的流程示意图。具体而言，在上述公开实施例的图像归档方案的基础上，S104还包括以下步骤：
S301：计算图像档案的图像特征和第一原始档案的图像特征中每两图像特征之间的距离。
考虑到图像归档装置若继续采用简单方法对困难档案进行归档处理，将降低困难档案的归档准确性。因为，简单方法主要利用图像档案中的主图像特征对图像档案进行归档。为此，本实施例的图像归档装置利用困难档案的图像特征与第一原始档案的图像特征构建拓扑图，并利用图分类网络进行决策，保证了困难档案的归档准确性。其中，图像特征包括主图像特征。
具体地，图像归档装置通过计算图像档案的图像特征和第一原始档案的图像特征中每两图像特征之间的距离。在具体实施例中，距离可以为欧式距离，也可以为余弦距离，本实施例对此不作限定。
进一步地，为了图像档案的归档效率，本实施例的图像归档装置可利用线程池对困难档案进行归档处理。具体地，图像归档装置将每个困难档案的所有图像特征和第一原始图像的所有图像特征对应输入每个线程中，以使每个线程单独处理一困难档案的归档。即计算图像档案的所有图像特征和第一原始档案的所有图像特征中每两图像特征之间的距离，提高了困难档案的归档速率。
S302：将图像档案的图像特征和第一原始档案的图像特征中任一图像特征作为中心顶点，依据中心顶点与其他图像特征距离的由小到大，依次选取预设数量的图像特征作为邻居顶点进行关联，得到拓扑图。
考虑到两图像特征之间的距离可能受到其他图像特征的干扰，图像归档装置在计算每两图像特征之间的距离时，只考虑了部分信息。若图像归档装置直接利用两图像特征之间的距离远近进行归档，将导致归档准确性低的问题。为此，本实施例的图像归档装置不仅考虑了图像特征之间的聚类，还考虑图像特征之间的拓扑分布。也即图像特征之间的关联关系。
具体地，图像归档装置将图像档案的图像特征和第一原始档案的图像特征中任一图像特征作为中心顶点，依据S301中获取的每两图像特征之间的距离；并按照该中心顶点与其他图像特征距离的由小到大，依次选取预设数量的图像特征作为邻居顶点进行关联，得到拓扑图。其中，邻居顶点为中心顶点对应图像特征邻近的图像特征。
S303：以一中心顶点及与中心顶点关联的邻居顶点构成子拓扑图。
由于拓扑图中存在多个图像特征，为了方便计算图像子特征矩阵和子邻居矩阵。本实施例的图像归档装置可将拓扑图中的任一图像特征作为中心顶点，利用中心顶点及与中心顶点关联的邻居顶点构建子拓扑图，得到多个子拓扑图。具体地，子拓扑图数与拓扑图中的图像特征数对应。其中，子拓扑图记为Gi，Gi∈K×K。
例如，子拓扑图Gi的中心顶点记为i，根据每两图像特征之间的距离选出k1个距离最近的邻居顶点，得到子拓扑图。子拓扑图Gi中包括K个邻居顶点，K为中心顶点和其邻居顶点的数量。
S304：计算子拓扑图的子图像特征矩阵和子邻居矩阵。
基于S303中获取的子拓扑图，图像归档装置基于子拓扑图中的任一中心顶点和其邻居顶点对应的图像特征及图像特征的特征维度D0，构建子拓扑图的子特征矩阵。子特征矩阵可用Xi表示，则Xi∈K×D0。其中，Xi的每一行是子拓扑图Gi中每一图像特征的特征维度D0。
进一步地，图像归档装置基于子拓扑图中任两图像特征之间的关联关系，构建子拓扑图的子邻居矩阵。若两图像特征关联，则子邻居矩阵中对应位置为1；若不关联，则子邻居矩阵中对应位置为0。
其中，子拓扑图的子邻居矩阵可用Ai表示，子拓扑图的子邻居矩阵的大小为Ai∈K×K，子拓扑图的子邻居矩阵Ai中每个元素代表子拓扑图中每两图像特征之间的关联关系。若两图像特征关联，则子邻居矩阵中对应位置元素为1，若两图像特征不关联，则子邻居矩阵中对应位置元素为0。
S305：将所有子图像特征矩阵堆叠计算获得图像特征矩阵，将所有子邻居矩阵进行堆叠计算获得邻居矩阵。
基于上述S304中获取的子图像特征矩阵Xi，将所有子图像特征矩阵进行堆叠计算，得到堆叠后的图像特征矩阵X，X∈N×K×D0。其中，子图像特征矩阵Xi为二维的图像特征矩阵，将子特征矩阵Xi进行堆叠后得到多维的特征矩阵X，具体为三维特征矩阵X，D0为特征维度。基于上述S304中获取的子邻居矩阵Ai，将所有子邻居矩阵进行堆叠计算，得到堆叠后的邻居矩阵A，A∈N×K×K。其中，子邻居矩阵Ai为二维的邻居矩阵，将子邻居矩阵Ai进行堆叠计算后得到多维的邻居矩阵A，具体为三维邻居矩阵A。
S306：将图像特征矩阵和邻居矩阵输入图分类层，得到第一维度向量和第二维度向量。
为了保证图像归档的准确性，本实施例的图像归档装置利用距离度量网络决策图像档案的目标和第一原始档案的目标属于同一目标的概率。具体地，图像归档装置将图像特征矩阵和邻居矩阵输入图分类层，得到第一维度向量和第二维度向量。其中，距离度量网络包括一个图分类层和一个计算层。
具体地，图分类层的计算满足下式：
Figure BDA0002860863970000111
其中，M为维度为2的向量，也即M包括第一维度向量Mi和第二维度向量Mj。
Figure BDA0002860863970000112
为N个单位矩阵的堆叠。W∈N×DO×K×2为需要学习的权重系数。*为卷积操作。X即为图像特征矩阵，G为上述的邻居矩阵A。
S307：将第一维度向量和第二维度向量输入计算层，得到分类概率。
基于S306中获取的第一维度向量Mi和第二维度向量Mj，图像归档装置将第一维度向量和第二维度向量输入计算层，得到分类概率。
具体地，计算层的计算满足下式：
Figure BDA0002860863970000121
其中，Mi为第一维度向量，Mj为第二维度向量，P(i)为图像档案中的目标与第一原始档案中的目标之间的关联概率。
上述方案中，图像归档装置计算图像档案的图像特征和第一原始档案的图像特征中每两图像特征之间的距离；将图像档案的图像特征和第一原始档案的图像特征中任一图像特征作为中心顶点，依据中心顶点与其他图像特征距离的由小到大，依次选取预设数量的图像特征作为邻居顶点进行关联，得到拓扑图；以一中心顶点及与中心顶点关联的邻居顶点构成子拓扑图；计算子拓扑图的子图像特征矩阵和子邻居矩阵；将所有子图像特征矩阵堆叠计算获得图像特征矩阵，将所有子邻居矩阵进行堆叠计算获得邻居矩阵；将图像特征矩阵和邻居矩阵输入图分类层，得到第一维度向量和第二维度向量；将第一维度向量和第二维度向量输入计算层，得到分类概率。本实施例的图像归档装置利用困难档案的图像特征与第一原始档案的图像特征构建拓扑图，并利用图分类网络进行决策，保证了困难档案的归档准确性。
请继续参阅图4，图4是本申请提供的图像归档装置一实施例的框架示意图。具体而言，本公开实施例的图像归档装置40包括：获取单元41、第一计算单元42、第一归档单元43、第二计算单元44和第二归档单元45。
具体地，获取单元41，用于获取多个待归档的图像档案，图像档案包括同一目标的多个图像。
第一计算单元42，用于计算各个图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案。
第一归档单元43，用于在最大相似度大于等于第一阈值时，将图像档案归档至第一原始档案中。
第二计算单元44，用于在最大相似度小于第一阈值且大于等于第二阈值时，利用图像档案的图像特征和第一原始档案的图像特征计算分类概率，分类概率包括图像档案中的目标和第一原始档案中的目标之间的关联概率，其中，第一阈值大于第二阈值。
第二归档单元45，用于在分类概率大于等于预设分类概率阈值时，将图像档案归档至第一原始档案中。
为实现上述实施例的图像归档方法，本申请提出了另一种电子设备，具体请参阅图5，图5是本申请提供的电子设备一实施例的结构示意图。
设备500包括存储器51和处理器52，其中，存储器51和处理器52耦接。
存储器51用于存储程序数据，处理器52用于执行程序数据以实现上述实施例的图像归档方法。
在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质600，如图6所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如本申请方法实施例中所述的图像归档方法。
本申请图像归档方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像归档方法，其特征在于，所述方法包括：
获取多个待归档的图像档案，所述图像档案包括同一目标的多个图像；
计算各个所述图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；
在所述最大相似度大于等于第一阈值时，将所述图像档案归档至所述第一原始档案中；
在所述最大相似度小于所述第一阈值且大于等于第二阈值时，利用所述图像档案的图像特征和所述第一原始档案的图像特征计算分类概率，所述分类概率包括所述图像档案中的目标和所述第一原始档案中的目标之间的关联概率，其中，所述第一阈值大于所述第二阈值；
在所述分类概率大于等于预设分类概率阈值时，将所述图像档案归档至所述第一原始档案中。
2.根据权利要求1所述的方法，其特征在于，所述计算各个所述图像档案的主图像特征与所有原始档案的主图像特征之间的相似度的步骤，包括：
对所述多个图像档案进行多线程处理，以获得各个所述图像档案的主图像特征和所述所有原始档案的主图像特征之间的相似度。
3.根据权利要求2所述的方法，其特征在于，所述对所述多个图像档案进行多线程处理的步骤，包括：
按照所述多线程的线程数量对所述多个图像档案进行划分，以获得多个子档案集；
依次对各个所述子档案集进行多线程处理，以依次获得各个所述子档案集中各个所述图像档案的主图像特征与所述所有原始档案的主图像特征之间的相似度。
4.根据权利要求1所述的方法，其特征在于，所述将所述图像档案归档至所述第一原始档案中的步骤之后，包括：
计算所述图像档案中图像数与所述图像档案中主图像特征的预设维度特征之积，得到第一结果；
计算所述第一原始档案中图像数与所述第一原始档案中主图像特征的预设维度特征之积，得到第二结果；
计算所述图像档案中图像数与所述第一原始档案中图像数之和，得到第三结果；
计算所述第一结果和所述第二结果之和与所述第三结果的比值，得到更新后的第一原始档案的主图像特征。
5.根据权利要求1所述的方法，其特征在于，所述利用所述图像档案的图像特征和所述第一原始档案的图像特征计算分类概率的步骤，包括：
利用所述图像档案的图像特征和所述第一原始档案的图像特征构建拓扑图；
基于所述拓扑图，计算所述拓扑图的邻居矩阵和图像特征矩阵；
构建距离度量网络，将所述图像特征矩阵和所述邻居矩阵输入所述距离度量网络，得到分类概率。
6.根据权利要求5所述的方法，其特征在于，所述利用所述图像档案的图像特征和所述第一原始档案的图像特征构建拓扑图的步骤，包括：
计算所述图像档案的图像特征和所述第一原始档案的图像特征中每两图像特征之间的距离；
将所述图像档案的图像特征和所述第一原始档案的图像特征中任一图像特征作为中心顶点，依据所述中心顶点与其他图像特征距离的由小到大，依次选取预设数量的图像特征作为邻居顶点进行关联，得到拓扑图。
7.根据权利要求6所述的方法，其特征在于，所述基于所述拓扑图，计算所述拓扑图的邻居矩阵和图像特征矩阵的步骤，包括：
以一中心顶点及与所述中心顶点关联的邻居顶点构成子拓扑图；
计算所述子拓扑图的子图像特征矩阵和子邻居矩阵；
将所有子图像特征矩阵堆叠计算获得所述图像特征矩阵，将所有子邻居矩阵进行堆叠计算获得所述邻居矩阵。
8.根据权利要求7所述的方法，其特征在于，所述距离度量网络包括图分类层和计算层，所述构建距离度量网络，将所述图像特征矩阵和所述邻居矩阵输入所述距离度量网络，得到分类概率的步骤，包括：
将所述图像特征矩阵和所述邻居矩阵输入所述图分类层，得到第一维度向量和第二维度向量；
将所述第一维度向量和所述第二维度向量输入所述计算层，得到分类概率。
9.一种图像归档装置，其特征在于，所述装置包括：
获取单元，用于获取多个待归档的图像档案，所述图像档案包括同一目标的多个图像；
第一计算单元，用于计算各个所述图像档案的主图像特征与所有原始档案的主图像特征之间的相似度，并确定最大相似度对应的原始档案为第一原始档案；
第一归档单元，用于在所述最大相似度大于等于第一阈值时，将所述图像档案归档至所述第一原始档案中；
第二计算单元，用于在所述最大相似度小于所述第一阈值且大于等于第二阈值时，利用所述图像档案的图像特征和所述第一原始档案的图像特征计算分类概率，所述分类概率包括所述图像档案中的目标和所述第一原始档案中的目标之间的关联概率，其中，所述第一阈值大于所述第二阈值；
第二归档单元，用于在所述分类概率大于等于预设分类概率阈值时，将所述图像档案归档至所述第一原始档案中。
10.一种电子设备，其特征在于，所述电子设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8任一项所述的图像归档方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8任一项所述的图像归档方法。
CN202011562775.XA 2020-12-25 2020-12-25 图像归档方法、装置、设备及计算机存储介质 Active CN112668635B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011562775.XA CN112668635B (zh) 2020-12-25 2020-12-25 图像归档方法、装置、设备及计算机存储介质
PCT/CN2021/128528 WO2022134879A1 (en) 2020-12-25 2021-11-03 Method, device and equipment for image archiving and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562775.XA CN112668635B (zh) 2020-12-25 2020-12-25 图像归档方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112668635A true CN112668635A (zh) 2021-04-16
CN112668635B CN112668635B (zh) 2022-05-27

Family

ID=75409096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562775.XA Active CN112668635B (zh) 2020-12-25 2020-12-25 图像归档方法、装置、设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN112668635B (zh)
WO (1) WO2022134879A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134879A1 (en) * 2020-12-25 2022-06-30 Zhejiang Dahua Technology Co., Ltd. Method, device and equipment for image archiving and computer storage medium
CN117113440A (zh) * 2023-10-24 2023-11-24 浙江星汉信息技术股份有限公司 影像档案的完整性保护方法、系统与存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253577A1 (en) * 2013-11-14 2016-09-01 Tencent Technology (Shenzhen) Company Limited Image Clustering Method, Image Clustering System, And Image Clustering Server
CN109800668A (zh) * 2018-12-28 2019-05-24 上海依图网络科技有限公司 一种归档方法及装置
CN109815370A (zh) * 2018-12-28 2019-05-28 上海依图网络科技有限公司 一种归档方法及装置
WO2020001196A1 (zh) * 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN111144332A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 一种图片聚档方法、装置和电子设备
CN111325276A (zh) * 2020-02-24 2020-06-23 Oppo广东移动通信有限公司 图像分类方法及装置、电子设备、计算机可读存储介质
CN111368867A (zh) * 2019-06-26 2020-07-03 杭州海康威视系统技术有限公司 档案归类方法及系统、计算机可读存储介质
CN111401300A (zh) * 2020-04-07 2020-07-10 浙江大华技术股份有限公司 一种人脸聚类归档方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018014879A (es) * 2016-06-01 2019-10-15 Archive360 Inc Metodos y sistemas para archivar y recuperar datos.
CN109657605A (zh) * 2018-12-17 2019-04-19 东方网力科技股份有限公司 一种人脸轨迹与mac轨迹碰撞的方法及装置
CN110427859A (zh) * 2019-05-31 2019-11-08 北京金山云网络技术有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN112001414A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 聚类方法、设备及计算机存储介质
CN112668635B (zh) * 2020-12-25 2022-05-27 浙江大华技术股份有限公司 图像归档方法、装置、设备及计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253577A1 (en) * 2013-11-14 2016-09-01 Tencent Technology (Shenzhen) Company Limited Image Clustering Method, Image Clustering System, And Image Clustering Server
WO2020001196A1 (zh) * 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN109800668A (zh) * 2018-12-28 2019-05-24 上海依图网络科技有限公司 一种归档方法及装置
CN109815370A (zh) * 2018-12-28 2019-05-28 上海依图网络科技有限公司 一种归档方法及装置
CN111368867A (zh) * 2019-06-26 2020-07-03 杭州海康威视系统技术有限公司 档案归类方法及系统、计算机可读存储介质
CN111144332A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 一种图片聚档方法、装置和电子设备
CN111325276A (zh) * 2020-02-24 2020-06-23 Oppo广东移动通信有限公司 图像分类方法及装置、电子设备、计算机可读存储介质
CN111401300A (zh) * 2020-04-07 2020-07-10 浙江大华技术股份有限公司 一种人脸聚类归档方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUNSONG LI ET AL: "Image segmentation based on the Fuzzy C-Means clustering and Rough sets", 《2016 2ND IEEE INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC)》 *
周爽等: "基于蚁群算法的遥感图像聚类方法", 《哈尔滨工程大学学报》 *
谌德荣等: "基于核光谱角余弦的高光谱图像空间邻域聚类方法", 《电子学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134879A1 (en) * 2020-12-25 2022-06-30 Zhejiang Dahua Technology Co., Ltd. Method, device and equipment for image archiving and computer storage medium
CN117113440A (zh) * 2023-10-24 2023-11-24 浙江星汉信息技术股份有限公司 影像档案的完整性保护方法、系统与存储介质
CN117113440B (zh) * 2023-10-24 2024-02-02 浙江星汉信息技术股份有限公司 影像档案的完整性保护方法、系统与存储介质

Also Published As

Publication number Publication date
CN112668635B (zh) 2022-05-27
WO2022134879A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
EP2989607B1 (en) Method and device for performing super-resolution on an input image
KR101420549B1 (ko) 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체
CN112668635B (zh) 图像归档方法、装置、设备及计算机存储介质
EP4156017A1 (en) Action recognition method and apparatus, and device and storage medium
WO2020199478A1 (zh) 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN108337551B (zh) 一种屏幕录制方法、存储介质及终端设备
CN112328715B (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
Pedronette et al. Multimedia retrieval through unsupervised hypergraph-based manifold ranking
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
WO2020048354A1 (zh) 一种神经网络模型压缩方法、装置和计算机设备
CN108537235B (zh) 一种低复杂度尺度金字塔提取图像特征的方法
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
CN112001414A (zh) 聚类方法、设备及计算机存储介质
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
JP2016118971A (ja) 画像特徴量登録装置、方法及びプログラム
EP3410389A1 (en) Image processing method and device
CN109360166B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN111161289A (zh) 图像中物体轮廓精度提升方法、装置和计算机程序产品
WO2023060575A1 (zh) 图像识别方法、装置、电子设备及存储介质
Li et al. A graphical approach for filter pruning by exploring the similarity relation between feature maps
CN109272541B (zh) 一种图像匹配方法、设备
KR20220114435A (ko) 컨볼루션 신경망 가속 방법 및 장치
CN112508187A (zh) 一种机器学习模型压缩方法、装置及设备
Varga et al. QBB: Quantile-Based Binarization of 3D Point Cloud Descriptors
CN107563391B (zh) 一种基于专家模型的数字图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210416

Assignee: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Assignor: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Contract record no.: X2021330000117

Denomination of invention: Image archiving method, device, equipment and computer storage medium

License type: Common License

Record date: 20210823

GR01 Patent grant
GR01 Patent grant