CN112052251A - 目标数据更新方法和相关装置、设备及存储介质 - Google Patents

目标数据更新方法和相关装置、设备及存储介质 Download PDF

Info

Publication number
CN112052251A
CN112052251A CN202010963302.4A CN202010963302A CN112052251A CN 112052251 A CN112052251 A CN 112052251A CN 202010963302 A CN202010963302 A CN 202010963302A CN 112052251 A CN112052251 A CN 112052251A
Authority
CN
China
Prior art keywords
target
feature
newly added
data set
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010963302.4A
Other languages
English (en)
Other versions
CN112052251B (zh
Inventor
郑清源
蔡官熊
唐诗翔
陈大鹏
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010963302.4A priority Critical patent/CN112052251B/zh
Publication of CN112052251A publication Critical patent/CN112052251A/zh
Priority to PCT/CN2020/140027 priority patent/WO2022052372A1/zh
Priority to TW110101747A priority patent/TWI769665B/zh
Application granted granted Critical
Publication of CN112052251B publication Critical patent/CN112052251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标数据更新方法和相关装置、设备及存储介质。该目标数据更新方法包括:读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度;基于第一匹配程度,利用新增目标的第一特征更新已存数据集;其中,已存数据集中预设目标的其他特征、新增数据集中新增目标的其他特征中的至少之一,是在确定第一匹配程度之后读取,以用于更新已存数据集。上述方案,能够在获取第一匹配程度时候再对其他特征的读取及相关操作,相比在获取第一特征时同时获取其他特征来讲,能够降低获取第一匹配程度时的内存开销。

Description

目标数据更新方法和相关装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种目标数据更新方法和相关装置、设备及存储介质。
背景技术
随着科技的不断发展,越来越多的信息处理是通过各种类型数据库来进行实现。例如,通过建立并不断更新关于人脸档案的数据库,利用与该数据库中的人脸档案进行对比,实现人脸识别功能。通常,在进行更新时,需要将数据库中的所有数据进行读取再实现更新处理。然而,这些数据库一般都相当庞大,将其数据全部读取后实现更新,容易导致内存极大开销。
发明内容
本申请至少提供一种目标数据更新方法和相关装置、设备及存储介质。
本申请第一方面提供了一种目标数据更新方法,包括:读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度;基于第一匹配程度,利用新增目标的第一特征更新已存数据集;其中,已存数据集中预设目标的其他特征、新增数据集中新增目标的其他特征中的至少之一,是在确定第一匹配程度之后读取,以用于更新已存数据集。
因此,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
其中,在获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,方法还包括:获取原始数据集中的原始特征与已存数据集中预设目标的第一特征之间的第二匹配程度;其中,新增目标的第一特征是对原始数据集中的原始特征进行聚类并基于对应聚类簇中的原始特征确定的;查找出第二匹配程度满足第一预设条件的原始特征和预设目标;利用查找出的原始特征更新已存数据集中相应预设目标的第一特征,并删除新增数据集中与查找出的原始特征对应新增目标的第一特征。
因此,通过在计算第一匹配程度之前,先利用原始数据集对已存数据集进行第一次更新,利用新增数据集与经过更新之后的已存数据集进行更新,增加了原始数据集中原始特征能够加入已存数据集的概率。
其中,在删除新增数据集中与查找出的原始特征对应新增目标的第一特征之后,方法还包括:记录删除第一特征的新增目标为待删除目标,以在后续读取新增目标的第二特征之后删除待删除目标的第二特征。
因此,并不是在删除第一特征数据时,同时删除新增目标的第二特征,而是记录下对已删除第一特征的新增目标,在需要使用到第二特征时,才读取第二特征并执行对新增目标的第二特征的删除操作,减少了对第二特征读写操作的内存开销。
其中,在获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,方法还包括:读取待定数据集中待定目标的第一特征,并获取新增目标的第一特征与待定目标的第一特征之间的第三匹配程度;基于第三匹配程度,对新增数据集进行更新。
因此,通过利用待定数据集对新增数据集进行更新,增加了新增数据集的数据量,使得更多的数据能够有机会加入到已存数据集中,加大了已存数据集的更新概率。
其中,基于第三匹配程度,对新增数据集进行更新,包括:读取新增数据集中新增目标的第二特征和待定数据集中待定目标的第二特征;基于第三匹配程度、新增目标的第二特征和待定目标的第二特征,更新新增数据集;和/或,更新新增数据集,包括:将待定目标的特征数据合并至新增目标的特征数据,或者将待定目标的特征数据作为新的新增目标的特征数据。
因此,通过分别读取新增数据集和待定数据集的第二特征,然后给予第三匹配程度、新增目标的第二特征和待定目标的第二特征来判断将待定目标的特征数据合并到新增目标的特征数据还是将待定目标的特征数据作为新的新增目标的特征数据,使得在增加新增数据集内的数据量时,还能优化新增数据集内部数据的存储关系。
其中,基于第三匹配程度、新增目标的第二特征和待定目标的第二特征,更新新增数据集,包括:选择第三匹配程度满足第二预设条件的待定目标和新增目标,以作为第一候选待定目标和第一候选新增目标;确定第一候选待定目标与第二候选新增目标在合并后的第一特征和第二特征,并获取合并后的第一特征和第二特征之间的第四匹配程度;选择第四匹配程度满足第三预设条件的第一候选待定目标和第一候选新增目标,以作为第一待定目标和第一新增目标;将第一待定目标的特征数据合并至第一新增目标的特征数据;以及,将除第一待定目标以外的其他待定目标作为新的新增目标的特征数据。
因此,通过设置第三预设条件,使得相互合并的数据之间的匹配程度满足条件,使得合并到新增目标的待定目标属于同一种数据的概率更高,减少了合并后新增目标内包含多种不同数据的概率。
其中,基于第一匹配程度,利用新增目标的第一特征更新已存数据集,包括以下至少一个步骤:选择第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,并将第二新增目标的特征数据合并至第一预设目标的特征数据;选择第一匹配程度满足第五预设条件的新增目标作为第三新增目标,在第三新增目标所在聚类簇达到预设簇尺寸的情况下,将第三新增目标的特征数据作为新的预设目标的特征数据。
因此,通过设置第四预设条件和第五预设条件,使得当匹配程度满足条件时新增目标能够被已存数据集吸收,或者能够在已存数据集中成为新的预设目标,从而在一定程度上保障了已存数据集中能够有新的预设目标出现。
其中,选择第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,包括:选择第一匹配程度满足第六预设条件的预设目标和新增目标,以直接作为第一预设目标和第二新增目标;或者,选择第一匹配程度满足第七预设条件的预设目标和新增目标,以作为第一候选预设目标和第二候选新增目标,读取第一候选预设目标的第三特征,并在第二候选新增目标的第一特征与第一候选预设目标的第三特征之间的第五匹配程度满足第八预设条件的情况下,将第一候选预设目标和第二候选新增目标作为第一预设目标和第二新增目标。
因此,通过设置第六预设条件和第七预设条件,使得能够将更多的新增数据用于更新已存数据集。
其中,将待定目标的特征数据合并至新增目标的特征数据,或将第二新增目标的特征数据合并至第一预设目标的特征数据,包括:将待定目标和新增目标对应作为第一待合并目标和第二待合并目标,或者将第二新增目标和第一预设目标对应作为第一待合并目标和第二待合并目标;对第一待合并目标和第二待合并目标的第一特征进行融合,以重新得到第二待合并目标的第一特征;比较第一待合并目标和第二待合并目标所在聚类簇的大小,选择较大所在聚类簇对应的第二特征作为第二待合并目标的第二特征。
因此,新增目标的特征数据与预设目标的特征数据进行合并使得合并后的预设目标的第一特征改变,第二特征变为二者中较大簇的第二特征,使得合并后的预设目标能够包含原新增数据的特征数据,使得第一特征能够代表预设目标中全部数据的特征。
其中,在更新新增数据集,或更新已存数据集之前,方法还包括:读取新增数据集中的新增目标的第二特征;在检测到存在新增目标被记录为待删除目标的情况下,删除待删除目标的第二特征。
因此,通过集中在更新数据集或更新已存数据集之前统一执行对第二特征的删除,能够降低对第二特征数据读取次数,由此降低内存开销。
其中,第一匹配程度、第二匹配程度、第三匹配程度、第四匹配程度、第五匹配程度中的至少一者为相应两个特征之间的相似度。
因此,通过对相似度来判断新增数据是否能够被已存数据集中的预设目标合并或者在已存数据集中以新的预设目标的形式出现是很合理的,当相似度满足很高的条件,那么新增数据与预设目标属于同一类数据的概率更高,因此,通过判断相似度就能在一定程度上判断相应的两个特征是否能代表同一类数据。
其中,第一特征为与第一特征对应的目标所在聚类簇的中心特征,其中,聚类簇是对若干图像按照所包含的目标进行聚类得到的;其他特征包括与其他特征对应的目标的第二特征和第三特征中的至少一个,第二特征用于在与第二特征对应的目标所在聚类簇进行合并时对合并后的聚类簇进行约束,第三特征为与第三特征对应的目标在成为预设目标时的第一特征。
因此,通过将特征数据分为第一特征、第二特征、第三特征,使得能够利用多个特征对聚类簇的合并进行限定,从而提高合并的两个特征属于同一数据的概率。
本申请第二方面提供了一种目标数据更新装置,包括:特征读取模块,用于读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;特征匹配模块,用于获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度;数据更新模块,用于基于第一匹配程度,利用新增目标的第一特征更新已存数据集;其中,已存数据集中预设目标的其他特征、新增数据集中新增目标的其他特征中的至少之一,是确定第一匹配程度之后读取,以用于更新已存数据集。
本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的目标数据更新方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的目标数据更新方法。
上述方案,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请目标数据更新方法一实施例的流程示意图;
图2a是本申请目标数据更新方法一实施例的另一流程示意图;
图2b是本申请目标数据更新系统一实施例的架构示意图;
图3是本申请目标数据更新装置一实施例的结构示意图;
图4是本申请电子设备一实施例的结构示意图;
图5是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1和图2a,图1是本申请目标数据更新方法一实施例的流程示意图,图2a是本申请目标数据更新方法实施例的另一流程示意图。具体而言,目标数据更新方法可以包括如下步骤:
步骤S11:读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征。
一些公开实施例中,在读取已存数据集中预设目标的第一特征和新增数据集中的新增目标的第一特征之前,需要先获取新增数据集。参见图2b,图2b是本申请目标数据更新系统一实施例的架构示意图。如图2b所示,目标数据更新系统1包括数据获取设备2和目标数据更新设备3。其中数据获取设备2用于获取新增数据,例如,数据获取设备2可以是摄像设备,则可通过摄像设备获取新增图像数据,当预设目标为人脸目标时,可通过摄像设备采集人脸图像,当然,数据获取设备2还可以是语音数据获取设备2等等,当然,数据获取设备2除了可以自身采集图像数据或语音数据等数据,还可以接收其他设备传输过来的数据作为新增数据。其中,可以将实时采集到的数据作为新增数据传输到目标数据更新设备3去更新已存数据集,当然也可以当采集到的数据数量达到预设数量之后,或者传输间隔时间到达预设时间之后,再将积累的数据作为整体一起传输到目标数据更新设备3。例如,这里的预设数量按照具体需求进行设置,预设时间可以是间隔24小时或者其他时间均可,此处不做具体规定。目标数据更新设备3包括目标数据更新装置30,其中,目标数据更新装置30用于实现本公开实施例所述的目标数据更新方法。一些公开实施例中,数据获取设备2和目标数据更新设备3可以集成到一个设备,集成之后的设备可以进行数据获取操作,也可进行目标数据更新操作。其中,目标数据更新装置30的结构在后面的目标数据更新装置实施例中进行说明,此处不再赘述。
其中,已存数据集可以以数据库或其他形式建立,用于存储关于一些预设目标的特征数据。预设目标例如为人脸目标、其他动物或物体等任意需要收集其特征数据的对象。在已存数据集中,每个预设目标的特征数据可以理解为该预设目标的档案,例如,对于人脸目标来说,已存数据集包括多个人脸目标档案,每个人脸目标档案即为一个人脸目标对应的特征数据。该已存数据集中的不同预设目标档案可以更新,例如可利用后文提及的新增数据集或待定数据集中与该预设目标相关的特征数据,对该预设目标档案进行更新。可以理解的是,已存数据集中可以只包含一种类型预设目标的档案,例如只包含人脸目标的档案,还可包含多种类型预设目标的档案,例如同时包含人脸目标和动物的档案。因此,关于已存数据集中预设目标的类别,本公开实施例不做具体规定。例如已存数据集为人脸目标档案的集合,在人脸识别中,需要将待识别人脸与人脸数据库中的候选人脸进行相似度的比较,若不对人脸数据库进行更新,那么在进行人脸识别时,对应每个人脸的可能就是最初身份证上的图片,而随着年龄的不断增加,脸部特征发生变化是很常见的事情,利用很早之前的候选人脸对新产生的人脸进行人脸识别,效果不佳。因此,需要不断利用新产生的人脸数据对已存数据集也就是人脸数据库进行更新。另外,在社交媒体、安防等领域,图像数量往往比较大,而且在这些领域,特别是安防领域,需要不断将新产生的数据分类到已存数据集中,使得已存数据集中的档案能够有更大的应用价值。
本公开实施例中,已存数据集中每个预设目标的特征数据可以是与该预设目标有关的特征进行聚类得到的,即每个预设目标的特征数据为该预设目标对应的聚类簇的特征数据。例如,可以对包含预设目标的不同图像按照所包含的预设目标的原始特征提取,再对提取到的原始特征进行聚类,得到与预设目标对应的聚类簇(也可称为该预设目标所在聚类簇)的特征数据。在一个具体应用中,该预设目标为人脸目标,可从不同人脸目标图像提取到关于人脸目标的原始特征,再对人脸目标的原始特征进行聚类,得到每个人脸目标对应的聚类簇,进而获取每个人脸目标对应的聚类簇的特征作为该人脸目标的特征数据。具体地,预设目标的特征数据可包括第一特征、第二特征以及第三特征。其中,预设目标的第一特征指的是第一特征对应的预设目标所在聚类簇的中心特征。其中,聚类簇是若干图像中按照所包含的目标进行聚类得到的。预设目标的第二特征用于在与第二特征对应的预设目标所在聚类簇进行合并时对合并后的聚类簇进行约束,因此可以称第二特征为约束中心特征。其中,对合并后的聚类簇进行约束即判断两个聚类簇是否能够进行合并。预设目标的第三特征为第三特征对应的目标在成为该预设目标时的第一特征,也就是第三特征对应的预设目标所在聚类簇在已存数据集中首次以预设目标存在时的第一特征,即在已存数据集中新生成一预设目标档案时该预设目标的第一特征,可以称第三特征为初始中心特征。
同理地,新增数据集以及后文提及的待定数据集与上述已存数据集类似。新增数据集以及待定数据集中的目标例如新增目标、待定目标可参考上述预设目标的相关描述,可以是人脸目标、其他动物等等。该新增目标和待定目标在新增数据集或待定数据集中中的特征数据也可为:特征数据对应的目标所在聚类簇的特征,例如,新增目标和待定目标的特征数据包括第一特征和第二特征,该第一特征与第二特征的定义可参考上述相关描述,例如,新增目标的第一特征为新增目标所在聚类簇的中心特征,新增目标的第二特征为新增目标所在聚类簇的第二特征。在新增数据集和待定数据集中,目标的第一特征可以与第二特征相等,也可不相等。例如当新增数据集初次形成时,也就相当于初始化时,新增目标的第一特征与第二特征相等,而如果新增数据集中的新增目标经过了更新之后,则第一特征可能与第二特征不同。其中,新增数据集中可以包含多个新增目标,当然,也可以包含一个单独的新增目标。待定数据集中也可仅包含一个单独的待定目标。当新增数据集中仅包含一个新增目标时,若聚类簇的尺寸大于1时,则新增目标就没有对应的聚类簇,此时的新增目标就只有如下第一公开实施例中所述的原始数据集中的原始特征,不包括第一特征和第二特征,但是仍然可以参与对已存数据集的更新过程。如果规定聚类簇的尺寸大于或等于1时,则与新增数据集中包括多个新增目标的情况相同,此处不再赘述。
本公开实施例中,新增数据集作为已存数据集以外的新增特征数据,用于更新已存数据集。在一些公开实施例中,该新增数据集为对新收集的原始数据集中的原始特征进行聚类得到的,可直接利用得到的新增数据集执行步骤S11-S13以实现对已存数据集的更新。在另一些实施例中,为了实现对已存数据集的更有效、全面的更新,可在执行本步骤S11之前,先利用生成新增数据集的原始数据集对已存数据集进行更新,具体如下述第一公开实施例;另外,在存在仍未合并至已存数据集的待定数据集的情况下,可在执行本步骤S11之前,先利用待定数据集对新增数据集进行更新,以将待定数据集合并至新增数据集中,在利用更新好的新增数据集更新已存数据集,具体如下述第二公开实施例。可以理解的是,上述先利用生成新增数据集的原始数据集对已存数据集进行更新和先利用待定数据集对新增数据集进行更新可均执行或择一执行。
在第一公开实施例中,在获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,可先获取原始数据集中的原始特征与已存数据集中预设目标的第一特征之间的第二匹配程度。其中,获取原始数据集中的原始特征与预设目标的第一特征之间第二匹配程度,也可称之为将原始特征与第一特征进行碰撞。下文计算待定目标的第一特征和新增目标的第一特征之间的匹配程度以及计算新增目标的第一特征和预设目标的第一特征之间的匹配程度也可称为将相应两个特征进行碰撞。原始数据集可以是通过本设备的摄像头直接获取的新的图像数据的集合,还可以是通过其他设备传送过来的图像数据集合等等。例如,原始数据集可以是通过数据获取设备传输到目标数据更新设备的数据。在其他可能实施例中,原始数据集中的原始数据和已存数据集中预设目标的特征数据除了可以是基于图像提到得到的图像特征数据之外,还可以是基于音频提取得到的音频特征数据等等,也即预设目标的档案可以理解为包括图像数据和/或音频数据等。原始数据集中的原始特征指的是原始数据集中每个原始数据的特征,相比包含多个原始数据的聚类簇,原始数据集中某个原始数据就相当于独立的点,原始数据的特征就相当于是点的特征,新增数据集中的新增目标的第一特征可以根据原始数据集得到。可选地,获取原始数据集中对应目标的原始特征,通过将原始特征按照相似度进行聚类,形成一个个聚类簇,然后基于对应聚类簇中的原始特征确定新增目标的第一特征。例如当原始特征之间的相似度大于预设聚类阈值时,则将相似度满足条件的多个原始特征所在的原始数据形成一个聚类簇,其中,形成的聚类簇包括第一特征和第二特征,其中新增目标的第一特征就是新增目标所在聚类簇的第一特征。第一特征指的是通过对聚类簇中各个子数据的原始特征进行综合计算得到能够代表一个聚类簇的特征。例如,当原始数据集中的原始数据为图像数据时,原始数据的原始特征可以是图像的256维实数向量特征,通过将一个聚类簇里面所有图像的256维实数向量特征进行计算,即可得到新增目标的第一特征。可选地,第一特征可通过将聚类簇里面的各个图像的256维实数向量特征进行求和平均得到。其中,第二匹配程度可以是相似度。其中,在新增目标所在聚类簇通过原始数据集进行聚类得到时,则新增目标的第一特征与第二特征相等。
其中,通过原始数据集进行聚类,其中有部分数据可能会形成聚类簇,成为新增目标,但是原始数据集中的部分数据不会形成新增目标,而是成为一个个孤立点。可选地,能够聚类成为新增目标的条件是相似度大于预设聚类阈值的原始数据的多少,如果相似度满足条件的原始图像数量太少,没有达到预设生成聚类簇最小尺寸,那么这部分原始图像则不会聚类形成新增目标。例如,预设生成聚类簇最小尺寸为5,图像A和图像B的相似度大于预设聚类阈值,但是,因为互相相似度满足条件的原始数据的数量为2小于预设生成聚类簇最小尺寸5,因此,图像A和图像B不能通过聚类形成新增目标。
获取原始数据集中的原始特征与已存数据集中预设目标的第一特征之间的第二匹配程度之后,查找出第二匹配程度满足第一预设条件的原始特征和预设目标。然后利用查找出的原始特征更新已存数据集中相应预设目标的第一特征。接着删除新增数据集中与查找出的原始特征对应的新增目标的第一特征。其中,第二匹配程度包括相应两个第一特征之间的相似度。这里的第一预设条件可以是第二匹配程度大于或等于第一预设阈值,例如第一预设阈值为0.8,则当第二匹配程度大于或等于0.8时,则认定第二匹配程度满足第二预设条件。
其中,利用查找出的原始特征更新已存数据集中相应预设目标的第一特征的方式,可以是将查找出的原始特征在新增数据集中找到对应新增目标的第一特征,然后利用对应新增目标的第一特征更新预设目标的第一特征。可选地,当将对应新增目标的原始特征与对应预设目标的第一特征进行融合,得到具备新的第一特征的预设目标。因为对应新增目标的第一特征已经与对应预设目标的第一特征融合,因此避免数据的重复,可将新增数据集中对应的第一特征给删除。在删除新增数据集中与查找出的原始特征对应新增目标的第一特征之后,记录删除第一特征的新增目标为待删除目标,已在后续读取新增目标的第二特征之后删除待删除目标的第二特征。
因此,通过在计算第一匹配程度之前,先利用原始数据集对已存数据集进行第一次更新,并利用新增数据集对经过更新之后的已存数据集进行更新,增加了原始数据集中原始特征能够加入已存数据集的概率。
进一步地,可在删除第一特征数据时,先记录下对已删除第一特征的新增目标,在需要使用到第二特征时,才读取第二特征并执行对新增目标的第二特征的删除操作,减少了对第二特征读写操作的内存开销。
在第二公开实施例中,在获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,可读取待定数据集中待定目标的第一特征,并获取新增目标的第一特征与待定目标的第一特征之间的第三匹配程度。并基于第三匹配程度,对新增数据集进行更新。其中,待定数据集可以是上一轮目标数据更新过程中,由新增数据集中没有成功更新到已存数据集中的剩余新增目标构成。然后在这一轮过程中则称其为待定数据集,其中,待定数据集中的待定目标也包括第一特征和第二特征。
具体地,基于第三匹配程度对新增数据集进行更新的过程可以是读取新增数据集中新增目标的第二特征和待定数据集中待定目标的第二特征,然后基于待定目标的第一特征和新增目标的第一特征之间的第三匹配程度以及二者的第二特征更新新增数据集。第三匹配程度可以是相应两个第一特征之间的相似度。这里的第二预设条件指的是第三匹配程度大于或等于第二预设阈值,例如当第二预设阈值为0.8时,则当第三匹配程度大于或等于0.8时,则认定第三匹配程度满足第二预设条件。
具体地,可选择第三匹配程度满足第二预设条件的待定目标和新增目标以作为第一候选待定目标和第一候选新增目标。确定第一候选待定目标与第二候选新增目标在合并后的第一特征和第二特征,并获取二者合并后的第一特征和第二特征之间的第四匹配程度。其中,这里的第四匹配程度可以是相似度。选择第四匹配程度满足第三预设条件的第一候选待定目标和第一候选新增目标以作为第一待定目标和第一新增目标。其中,第三预设条件指的是第四匹配程度大于或等于第三预设阈值,例如当第三预设阈值为0.7时,则当第四匹配程度大于或等于0.7时,则认定第四匹配程度满足第三预设条件。
其中,更新新增数据集的方式可以是将待定目标的特征数据合并到新增目标的特征数据还可以是将待定目标的特征数据作为新的新增目标的特征数据。其中,将待定目标的特征数据合并到新增目标的特征数据的方式可以是,将待定目标和新增目标对应作为第一待合并目标和第二待合并目标,然后对第一待合并目标和第二待合并目标的第一特征进行融合,以重新得到第一待合并目标的第一特征。比较第一待合并目标和第二待合并目标所在聚类簇的大小,选择较大所在聚类簇对应的第二特征作为第二待合并目标的第二特征。可选地,若第四匹配程度满足第三预设条件,则将第一待定目标的特征数据合并至第一新增目标的特征数据。其中,二者合并之后得到的新的新增目标的第一特征是通过对应待定目标和新增目标的第一特征重新计算得到,而新的新增目标的第二特征则是选择待定目标的第二特征和新增目标的第二特征中的其中一个。具体地选择方式就是判断待定目标和新增目标所在聚类簇的大小,选择其中较大簇的第二特征作为合并之后新的新增目标的第二特征。其中,较大簇指的是聚类簇里面包含点的多少,其中,这里点指的是原始数据,也即是一张一张的图像。
若第四匹配程度不满足第三预设条件,则将出第一待定目标以外的其他待定目标作为新的新增目标的特征数据。其中,这里的特征数据可以只是第一特征,也可以同时包括第一特征和第二特征。因此,通过设置第三预设条件,使得相互合并的数据之间的匹配度满足条件,使得合并到新增目标的待定目标属于同一种数据的概率更高,减少了合并后新增目标内包含多种不同数据的概率。
本公开实施例中,读取新增数据集中的新增目标的第二特征和待定数据集中的待定目标的第二特征之后,直接根据上述方法判断新增目标是否能够和待定目标合并,若能够合并,则合并二者的第一特征,记录待定目标和新增目标的第二特征的合并操作。其中,一些可能实施例中,对新增数据集中新增目标的第二特征进行读取之后,更新新增数据集之前可以先执行上述记录的删除第一特征的新增目标为待删除目标的第二特征的删除操作。然后利用剩余的新增目标的第二特征判断待定数据集中的待定目标进行合并。当然,在另一些可能实施例中,对新增数据集中新增目标的第二特征和待定数据集中待定目标的第二特征进行读取之后,不执行之前记录的待删除目标的第二特征的删除操作,直接判断新增目标的特征数据和待定目标之间的特征数据是否能进行合并,若能进行合并,则将待定目标的第一特征和第二特征融合到对应新增目标,并执行之前记录的对待删除目标的第二特征的删除操作。
步骤S12:获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度。
其中,这里的第一匹配程度可以是两个第一特征之间的相似度。可选的方式包括,计算新增数据集中所有新增目标的第一特征与已存数据集中所有预设目标的第一特征之间的相似度,得到每一新增目标与已存数据集中相似度最高的预设目标之间的相似度,该相似度即为第一匹配程度。也就是说第一匹配程度是选择新增目标与预设目标之间相似度最高的一个。
步骤S13:基于第一匹配程度,利用新增目标的第一特征更新已存数据集;其中,已存数据集中预设目标的其他特征、新增数据集中新增目标的其他特征中的至少之一,是在确定第一匹配程度之后读取,以用于更新已存数据集。
本公开实施例中,对已存数据集的更新可包括将新增目标的特征数据合并至对应的预设目标的特征数据中,和/或,将新增目标作为新的预设目标,即将新增目标的特征数据加入已存数据中,以作为新的预设目标的特征数据。
上述对已存数据集的具体更新,可基于第一匹配程度确定,例如,对于第一匹配程度较高的,则执行将新增目标的特征数据合并至对应的预设目标的特征数据中,对于第一匹配程度较低的,则执行将新增目标的特征数据加入已存数据中,以作为新的预设目标的特征数据。具体如,可选择第一匹配程度满足第四预设条件的预设目标和新增目标以得到第一预设目标和第二新增目标,并将第二新增目标的特征数据合并至第一预设目标的特征数据。其中,可将第二新增目标和第一预设目标对应作为第一待合并目标和第二待合并目标。对第一待合并目标和第二待合并目标的第一特征进行融合,以重新得到第二待合并目标的第一特征。然后比较第一待合并目标和第二待合并目标所在聚类簇的大小,选择较大所在聚类簇对应的第二特征作为第二待合并目标的第二特征。
在一些实施例中,可将第四预设条件细分为第六预设条件和第七预设条件。即选择第一匹配程度满足第六预设条件的预设目标和新增目标以直接作为第一预设目标和第二新增目标。然后将第二新增目标的特征数据合并至第一预设目标的特征数据。其中,这里合并的可以只是二者的第一特征,记录两个第一特征分别对应的新增目标和预设目标,以便将来执行对新增目标和预设目标的第二特征的合并操作。其中,这里的第六预设条件可以同第一预设条件一致。如果当预设目标和新增目标的相似度足够高,那么预设目标和新增目标属于同一数据的概率就更大,因此,当相似度满足第一预设条件或第六预设条件,那么可以直接将预设目标和新增目标进行合并。通过设置第六预设条件和第七预设条件,使得能够将更多的新增数据用于更新已存数据集。
选择第一匹配程度满足第七预设条件的预设目标和新增目标,以作为第一候选预设目标和第二候选新增目标。其中,这里的第七预设条件指的是相似度大于被预设目标合并的最小阈值,然后第二候选新增目标就能拥有二次可能合并的机会。读取第一候选预设目标的第三特征,并在第二候选新增目标的第一特征与第一候选预设目标的第三特征之间的第五匹配程度满足第八预设条件的情况下,将第一候选预设目标和第二候选新增目标作为第一预设目标和第二新增目标。例如,二次可能合并的机会则是获取第二候选新增目标的第一特征和第一候选预设目标的第三特征进行相似度,如果这里第一特征和第三特征的相似度满足第八预设条件,则第二候选新增目标可以合并到第一候选预设目标中。其中,这里的第八预设条件可以是大于被预设目标合并的最小阈值。也就是说这里的第七预设条件和第八预设条件相同。在其他可能实施例中,第七预设条件可以比第八预设条件严格,或者宽松都可。
其中,如上所述,在新增目标和预设目标的合并中,合并后的预设目标的第一特征是通过将新增目标和预设目标的第一特征进行融合得到,而合并后的预设目标的第二特征则是变更为二者中较大簇的第二特征。具体的方式包括将待合并的新增目标和预设目标作为第一待合并目标和第二待合并目标,对第一及第二待合并目标的第一特征进行融合,以重新得到第二待合并目标的第一特征。其中,这里新增目标可以是第一待合并目标,也可以是第二待合并目标。比较待合并的新增目标和预设目标的大小,即新增目标和预设目标所在聚类簇的大小,选择较大聚类簇对应的第二特征作为合并后第二待合并目标的第二特征。较大簇指的是聚类簇里面包含点的多少,这里的点指的是原始数据。而合并之后预设目标的第三特征保持不变。
因此,新增目标的特征数据与预设目标的特征数据进行合并使得合并后的预设目标的第一特征改变,第二特征变为二者中较大簇的第二特征,使得合并后的预设目标能够包含原新增数据的特征数据,使得第一特征能够代表预设目标中全部数据的特征。
本公开实施例中,判断新增目标和预设目标之间具备合并条件之后,在更新数据集之前或更新已存数据集过程中,读取新增数据集中新增目标的第二特征,在检测到存在新增目标被记录为待删除目标的情况下,删除待删除目标的第二特征。其中,这里可以同步执行之前遗留的对第二特征的合并操作或删除操作。例如利用原始数据集更新已存数据集中遗留的对新增数据集以及已存数据集中第二特征的删除操作。
基于第一匹配程度,利用新增目标的第一特征更新已存数据集还可包括:选择第一匹配程度满足第五预设条件的新增目标最为第三新增目标,在第三新增目标所在聚类簇达到预设簇尺寸的情况下,将第三新增目标的特征数据作为新的预设目标的特征数据。其中,合并条件可以是第一匹配程度满足第四预设条件,此时将第四预设条件设置为第一匹配程度大于或等于第四预设阈值。可选地,第一预设条件和第四预设条件可以相同,即第一预设阈值和第四预设阈值相等。
因此,通过设置第四预设条件和第五预设条件,使得当匹配度满足条件时新增目标能够被已存数据集吸收,或者能够在已存数据集中成为新的预设目标,从而在一定程度上保障了新增数据与已存数据集中预设目标的相似度过低时,新增数据能在已存数据集中以新的预设目标出现。
本公开实施例中,选择第一匹配程度满足第五预设条件的新增目标作为第三新增目标,在第三新增目标所在聚类簇达到预设簇尺寸的情况下,将第三新增目标的特征数据作为新的预设目标的特征数据。
第五预设条件可以是第一匹配程度小于第五预设阈值。其中,第五预设阈值可以是预设生成预设目标的最大阈值,当然,这里的第五预设阈值是低于第七预设条件中的第七预设阈值。第一匹配程度低于第五预设阈值则可以表明新增目标与已存数据集中所有预设目标的相似度都很低,已存数据集中没有与新增目标属于同一目标的预设目标。因此,如果新增目标的大小,也就是新增目标所在簇的大小达到了可以生成预设目标的最小尺寸,则该新增目标可以新的预设目标加入已存数据集中。
例如,当某新增目标与已存数据集中所有的预设目标的相似度都小于第五预设阈值,而且该新增目标中包含很多点,也就是包含很多图像,满足生成预设目标的最小尺寸,那么该新增目标就能以新的预设目标加入已存数据集中。最后新增数据集中没有加入到已存数据集中的部分会形成待定数据集。
通过先利用原始数据集对已存数据集进行一次更新,将原始数据集进行聚类得到新增数据集,然后利用待定数据集对新增数据集进行更新得到新的新增数据集,然后再将新的新增数据集用于对已存数据集进行更新。利用这种方式使得上一轮没有被已存数据集合并的,之后还能有机会加入到已存数据集中,增加了新增目标加入到已存数据集中的概率。
可以理解的是,上述提供了一些利用新增数据集中新增目标的特征数据更新已存数据集的方式,在其他公开实施例中,也可利用类似利用待定数据集更新新增数据集的方式来实现利用新增数据集中新增目标的特征数据更新已存数据集,例如,选择第一匹配程度满足上述第二预设条件的预设目标和新增目标,以作为候选预设目标和候选新增目标;确定候选预设目标与候选新增目标在合并后的第一特征和第二特征,并获取所述合并后的第一特征和第二特征之间的第四匹配程度;选择所述第四匹配程度满足上述第三预设条件的候选预设目标和候选新增目标,以作为待合并预设目标和待合并新增目标;将待合并新增目标的特征数据合并至待合并预设目标的特征数据;以及,将除待合并新增目标以外的其他新增目标作为新的预设目标的特征数据。
上述方案,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
目标数据更新方法的执行主体可以是目标数据更新装置,例如,目标数据更新方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该目标数据更新方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现
请参阅图3,图3是本申请目标数据更新装置一实施例的结构示意图。目标数据更新装置30包括特征读取模块31,用于读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;特征匹配模块32,用于获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度;数据更新模块33,用于基于第一匹配程度,利用新增目标的第一特征更新已存数据集;其中,已存数据集中预设目标的其他特征、新增数据集中新增目标的其他特征中的至少之一,是确定第一匹配程度之后读取,以用于更新已存数据集。
上述方案,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
一些公开实施例中,特征匹配模块32在获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,包括:特征匹配模块32获取原始数据集中的原始特征与已存数据集中预设目标的第一特征之间的第二匹配程度;其中,新增目标的第一特征是对原始数据集中的原始特征进行聚类并基于对应聚类簇中的原始特征确定的;数据更新模块33在查找出第二匹配程度满足第一预设条件的原始特征和预设目标;之后数据更新模块33利用查找出的原始特征更新已存数据集中相应预设目标的第一特征,并删除新增数据集中与查找出的原始特征对应新增目标的第一特征。
上述方案,通过在计算第一匹配程度之前,先利用原始数据集对已存数据集进行第一次更新,利用新增数据集与经过更新之后的已存数据集进行更新,增加了原始数据集中原始特征能够加入已存数据集的概率。
一些公开实施例中,数据更新模块33在删除新增数据集中与查找出的原始特征对应新增目标的第一特征之后,包括:记录删除第一特征的新增目标为待删除目标,以在后续读取新增目标的第二特征之后删除待删除目标的第二特征。
上述方案,并不是在删除第一特征数据时,同时删除新增目标的第二特征,而是记录下对已删除第一特征的新增目标,在需要使用到第二特征时,才读取第二特征并执行对新增目标的第二特征的删除操作,减少了对第二特征读写操作的内存开销。
一些公开实施例中,在特征匹配模块32获取预设目标的第一特征与新增目标的第一特征之间的第一匹配程度之前,包括:特征读取模块31读取待定数据集中待定目标的第一特征后,特征匹配模块32并获取新增目标的第一特征与待定目标的第一特征之间的第三匹配程度;数据更新模块33基于第三匹配程度,对新增数据集进行更新。
上述方案,通过利用待定数据集对新增数据集进行更新,增加了新增数据集的数据量,使得更多的数据能够有机会加入到已存数据集中,加大了已存数据集的更新概率。
一些公开实施例中,数据更新模块33基于第三匹配程度,对新增数据集进行更新,包括:特征读取模块31读取新增数据集中新增目标的第二特征和待定数据集中待定目标的第二特征;数据更新模块33基于第三匹配程度、新增目标的第二特征和待定目标的第二特征,更新新增数据集;和/或,更新新增数据集,包括:将待定目标的特征数据合并至新增目标的特征数据,或者将待定目标的特征数据作为新的新增目标的特征数据。
上述方案,通过分别读取新增数据集和待定数据集的第二特征,然后给予第三匹配程度、新增目标的第二特征和待定目标的第二特征来判断将待定目标的特征数据合并到新增目标的特征数据还是将待定目标的特征数据作为新的新增目标的特征数据,使得在增加新增数据集内的数据量时,还能优化新增数据集内部数据的存储关系。
一些公开实施例中,数据更新模块33基于第三匹配程度、新增目标的第二特征和待定目标的第二特征,更新新增数据集,包括:数据更新模块33选择第三匹配程度满足第二预设条件的待定目标和新增目标,以作为第一候选待定目标和第一候选新增目标;特征读取模块31确定第一候选待定目标与第二候选新增目标在合并后的第一特征和第二特征,特征匹配模块32获取合并后的第一特征和第二特征之间的第四匹配程度;数据更新模块33选择第四匹配程度满足第三预设条件的第一候选待定目标和第一候选新增目标,以作为第一待定目标和第一新增目标;数据更新模块33将第一待定目标的特征数据合并至第一新增目标的特征数据;以及,将除第一待定目标以外的其他待定目标作为新的新增目标的特征数据。
上述方案,通过设置第三预设条件,使得相互合并的数据之间的匹配程度满足条件,使得合并到新增目标的待定目标属于同一种数据的概率更高,因此,减少了合并后新增目标内包含多种不同数据的概率。
一些公开实施例中,数据更新模块33基于第一匹配程度,利用新增目标的第一特征更新已存数据集,包括以下至少一个步骤:选择第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,并将第二新增目标的特征数据合并至第一预设目标的特征数据;选择第一匹配程度满足第五预设条件的新增目标作为第三新增目标,在第三新增目标所在聚类簇达到预设簇尺寸的情况下,将第三新增目标的特征数据作为新的预设目标的特征数据。
上述方案,通过设置第四预设条件和第五预设条件,使得当匹配程度满足条件时新增目标能够被已存数据集吸收,或者能够在已存数据集中国成为新的预设目标,从而在一定程度上保障了已存数据集中能够有新的预设目标出现。
一些公开实施例中,数据更新模块33选择第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,包括:选择第一匹配程度满足第六预设条件的预设目标和新增目标,以直接作为第一预设目标和第二新增目标;或者,选择第一匹配程度满足第七预设条件的预设目标和新增目标,以作为第一候选预设目标和第二候选新增目标,读取第一候选预设目标的第三特征,并在第二候选新增目标的第一特征与第一候选预设目标的第三特征之间的第五匹配程度满足第八预设条件的情况下,将第一候选预设目标和第二候选新增目标作为第一预设目标和第二新增目标。
上述方案,通过设置第六预设条件和第七预设条件,使得能够将更多的新增数据用于更新已存数据集。
一些公开实施例中,数据更新模块33用于将待定目标的特征数据合并至新增目标的特征数据,或将第二新增目标的特征数据合并至第一预设目标的特征数据,或包括:将待定目标和新增目标对应作为第一待合并目标和第二待合并目标,或者将第二新增目标和第一预设目标对应作为第一待合并目标和第二待合并目标;对第一待合并目标和第二待合并目标的第一特征进行融合,以重新得到第二待合并目标的第一特征;比较第一待合并目标和第二待合并目标所在聚类簇的大小,选择较大所在聚类簇对应的第二特征作为第二待合并目标的第二特征。
上述方案,新增目标的特征数据与预设目标的特征数据进行合并使得合并后的预设目标的第一特征改变,第二特征变为二者中较大簇的第二特征,使得合并后的预设目标能够包含原新增数据的特征数据,使得第一特征能够代表预设目标中全部数据的特征。
一些公开实施例中,数据更新模块33在更新新增数据集,或更新已存数据集之前,包括:特征读取模块31读取新增数据集中的新增目标的第二特征;数据更新模块33在检测到存在新增目标被记录为待删除目标的情况下,删除待删除目标的第二特征。
上述方案,通过集中在更新数据集或更新已存数据集之前统一执行对第二特征的删除,能够降低对第二特征数据读取次数,由此降低内存开销。
一些公开实施例中,第一匹配程度、第二匹配程度、第三匹配程度、第四匹配程度、第五匹配程度中的至少一者为相应两个特征之间的相似度。
上述方案,通过对相似度来判断新增数据是否能够被已存数据集中的预设目标合并或者在已存数据集中以新的预设目标的形式出现是很合理的,当相似度满足很高的条件,那么新增数据与预设目标属于同一类数据的概率更高,因此,通过判断相似度就能在一定程度上判断相应的两个特征是否能代表同一类数据。
一些公开实施例中,第一特征为与第一特征对应的目标所在聚类簇的中心特征,其中,聚类簇是对若干图像按照所包含的目标进行聚类得到的;其他特征包括与其他特征对应的目标的第二特征和第三特征中的至少一个,第二特征用于在与第二特征对应的目标所在聚类簇进行合并时对合并后的聚类簇进行约束,第三特征为与第三特征对应的目标在成为预设目标时的第一特征。
上述方案,通过将特征数据分为第一特征、第二特征、第三特征,使得能够利用多个特征对聚类簇的合并进行限定,从而提高合并的两个特征属于同一数据的概率。
请参阅图4,图4是本申请电子设备一实施例的结构示意图。电子设备40包括存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述目标数据更新方法实施例中的步骤。在一个具体的实施场景中,电子设备40可以包括但不限于:微型计算机、服务器,此外,电子设备40还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器42用于控制其自身以及存储器41以实现上述目标数据更新方法实施例中的步骤。处理器42还可以称为CPU(Central Processing Unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。
上述方案,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
请参阅图5,图5为本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501,程序指令501用于实现上述目标数据更新方法实施例中的步骤。
上述方案,通过先获取数据中的预设目标的第一特征和新增数据集中的新增目标的第一特征的第一匹配程度,在确定第一匹配程度之后才对已存数据集中和/或新增数据集中的其他特征进行读取,以对已存数据集进行更新,即数据集中与获取第一匹配程度无关的其他特征可在执行获取第一匹配程度之后读取,避免其他特征占用内存,故减少了在计算第一匹配程度的过程中内存的开销。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (15)

1.一种目标数据更新方法,其特征在于,包括:
读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;
获取所述预设目标的第一特征与所述新增目标的第一特征之间的第一匹配程度;
基于所述第一匹配程度,利用所述新增目标的第一特征更新所述已存数据集;
其中,所述已存数据集中所述预设目标的其他特征、所述新增数据集中所述新增目标的其他特征中的至少之一,是在确定所述第一匹配程度之后读取,以用于更新所述已存数据集。
2.根据权利要求1所述的方法,其特征在于,在所述获取所述预设目标的第一特征与所述新增目标的第一特征之间的第一匹配程度之前,所述方法还包括:
获取原始数据集中的原始特征与所述已存数据集中预设目标的第一特征之间的第二匹配程度;其中,所述新增目标的第一特征是对所述原始数据集中的原始特征进行聚类并基于对应聚类簇中的原始特征确定的;
查找出所述第二匹配程度满足第一预设条件的原始特征和预设目标;
利用查找出的所述原始特征更新所述已存数据集中相应预设目标的第一特征,并删除所述新增数据集中与查找出的所述原始特征对应所述新增目标的第一特征。
3.根据权利要求2所述的方法,其特征在于,在所述删除所述新增数据集中与查找出的所述原始特征对应所述新增目标的第一特征之后,所述方法还包括:
记录删除所述第一特征的所述新增目标为待删除目标,以在后续读取所述新增目标的第二特征之后删除所述待删除目标的第二特征。
4.根据权利要求1至3任一项所述的方法,其特征在于,在所述获取所述预设目标的第一特征与所述新增目标的第一特征之间的第一匹配程度之前,所述方法还包括:
读取待定数据集中待定目标的第一特征,并获取所述新增目标的第一特征与所述待定目标的第一特征之间的第三匹配程度;
基于所述第三匹配程度,对所述新增数据集进行更新。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第三匹配程度,对所述新增数据集进行更新,包括:
读取所述新增数据集中新增目标的第二特征和所述待定数据集中待定目标的第二特征;
基于所述第三匹配程度、所述新增目标的第二特征和所述待定目标的第二特征,更新所述新增数据集;
和/或,所述更新所述新增数据集,包括:
将所述待定目标的特征数据合并至所述新增目标的特征数据,或者将所述待定目标的特征数据作为新的所述新增目标的特征数据。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第三匹配程度、所述新增目标的第二特征和待定目标的第二特征,更新所述新增数据集,包括:
选择所述第三匹配程度满足第二预设条件的待定目标和新增目标,以作为第一候选待定目标和第一候选新增目标;
确定所述第一候选待定目标与第二候选新增目标在合并后的第一特征和第二特征,并获取所述合并后的第一特征和第二特征之间的第四匹配程度;
选择所述第四匹配程度满足第三预设条件的第一候选待定目标和第一候选新增目标,以作为第一待定目标和第一新增目标;
将所述第一待定目标的特征数据合并至所述第一新增目标的特征数据;以及,将除所述第一待定目标以外的其他所述待定目标作为新的所述新增目标的特征数据。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述基于所述第一匹配程度,利用所述新增目标的第一特征更新所述已存数据集,包括以下至少一个步骤:
选择所述第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,并将所述第二新增目标的特征数据合并至所述第一预设目标的特征数据;
选择所述第一匹配程度满足第五预设条件的新增目标作为第三新增目标,在所述第三新增目标所在聚类簇达到预设簇尺寸的情况下,将所述第三新增目标的特征数据作为新的所述预设目标的特征数据。
8.根据权利要求7所述的方法,其特征在于,所述选择所述第一匹配程度满足第四预设条件的预设目标和新增目标,以得到第一预设目标和第二新增目标,包括:
选择所述第一匹配程度满足第六预设条件的预设目标和新增目标,以直接作为第一预设目标和第二新增目标;或者,
选择所述第一匹配程度满足第七预设条件的预设目标和新增目标,以作为第一候选预设目标和第二候选新增目标,读取所述第一候选预设目标的第三特征,并在所述第二候选新增目标的第一特征与所述第一候选预设目标的第三特征之间的第五匹配程度满足第八预设条件的情况下,将所述第一候选预设目标和第二候选新增目标作为第一预设目标和第二新增目标。
9.根据权利要求5-8任一项所述的方法,其特征在于,所述将所述待定目标的特征数据合并至所述新增目标的特征数据,或所述将所述第二新增目标的特征数据合并至所述第一预设目标的特征数据,包括:
将所述待定目标和所述新增目标对应作为第一待合并目标和第二待合并目标,或者将所述第二新增目标和所述第一预设目标对应作为所述第一待合并目标和所述第二待合并目标;
对所述第一待合并目标和所述第二待合并目标的第一特征进行融合,以重新得到所述第二待合并目标的第一特征;
比较所述第一待合并目标和所述第二待合并目标所在聚类簇的大小,选择较大所在聚类簇对应的所述第二特征作为所述第二待合并目标的第二特征。
10.根据权利要求5-9任一项所述的方法,其特征在于,在所述更新所述新增数据集,或所述更新所述已存数据集之前,所述方法还包括:
读取所述新增数据集中的新增目标的第二特征;
在检测到存在所述新增目标被记录为待删除目标的情况下,删除所述待删除目标的第二特征。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述第一匹配程度、第二匹配程度、第三匹配程度、第四匹配程度、第五匹配程度中的至少一者为相应两个特征之间的相似度。
12.根据权利要求1-10任一项所述的方法,其特征在于,
所述第一特征为与所述第一特征对应的目标所在聚类簇的中心特征,其中,所述聚类簇是对若干图像按照所包含的目标进行聚类得到的;所述其他特征包括与所述其他特征对应的目标的第二特征和第三特征中的至少一个,所述第二特征用于在与所述第二特征对应的目标所在聚类簇进行合并时对合并后的聚类簇进行约束,所述第三特征为与所述第三特征对应的目标在成为所述预设目标时的第一特征。
13.一种目标数据更新装置,其特征在于,包括:
特征读取模块,用于读取已存数据集中预设目标的第一特征和新增数据集中新增目标的第一特征;
特征匹配模块,用于获取所述预设目标的第一特征与所述新增目标的第一特征之间的第一匹配程度;
数据更新模块,用于基于所述第一匹配程度,利用所述新增目标的第一特征更新所述已存数据集;其中,所述已存数据集中所述预设目标的其他特征、所述新增数据集中所述新增目标的其他特征中的至少之一,是确定所述第一匹配程度之后读取,以用于更新所述已存数据集。
14.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至12任一项所述的方法。
CN202010963302.4A 2020-09-14 2020-09-14 目标数据更新方法和相关装置、设备及存储介质 Active CN112052251B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010963302.4A CN112052251B (zh) 2020-09-14 2020-09-14 目标数据更新方法和相关装置、设备及存储介质
PCT/CN2020/140027 WO2022052372A1 (zh) 2020-09-14 2020-12-28 目标数据更新方法、装置、设备、存储介质及程序产品
TW110101747A TWI769665B (zh) 2020-09-14 2021-01-15 目標資料更新方法、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010963302.4A CN112052251B (zh) 2020-09-14 2020-09-14 目标数据更新方法和相关装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112052251A true CN112052251A (zh) 2020-12-08
CN112052251B CN112052251B (zh) 2022-12-23

Family

ID=73610614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010963302.4A Active CN112052251B (zh) 2020-09-14 2020-09-14 目标数据更新方法和相关装置、设备及存储介质

Country Status (3)

Country Link
CN (1) CN112052251B (zh)
TW (1) TWI769665B (zh)
WO (1) WO2022052372A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052372A1 (zh) * 2020-09-14 2022-03-17 深圳市商汤科技有限公司 目标数据更新方法、装置、设备、存储介质及程序产品
CN114331135A (zh) * 2021-12-29 2022-04-12 上海赛美特软件科技有限公司 一种工艺流程管理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063344A1 (en) * 2014-08-27 2016-03-03 International Business Machines Corporation Long-term static object detection
CN108229415A (zh) * 2018-01-17 2018-06-29 广东欧珀移动通信有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN110232134A (zh) * 2019-06-13 2019-09-13 上海商汤智能科技有限公司 数据更新方法、服务器及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575987B2 (en) * 2014-06-23 2017-02-21 Owl Computing Technologies, Inc. System and method for providing assured database updates via a one-way data link
WO2017221857A1 (ja) * 2016-06-21 2017-12-28 日本電気株式会社 類似演算装置、方法および記憶媒体
TW201901493A (zh) * 2017-05-15 2019-01-01 李建文 資料搜尋方法
CN109947965B (zh) * 2017-09-04 2023-09-05 阿里巴巴集团控股有限公司 对象识别、数据集合的更新、数据处理方法与装置
CN111125390B (zh) * 2018-11-01 2024-05-17 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN109886311B (zh) * 2019-01-25 2021-08-20 北京奇艺世纪科技有限公司 增量聚类方法、装置、电子设备和计算机可读介质
CN110222775B (zh) * 2019-06-10 2021-05-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110750546B (zh) * 2019-10-21 2023-07-25 中国民航信息网络股份有限公司 一种数据库的更新方法及装置
CN112052251B (zh) * 2020-09-14 2022-12-23 深圳市商汤科技有限公司 目标数据更新方法和相关装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063344A1 (en) * 2014-08-27 2016-03-03 International Business Machines Corporation Long-term static object detection
CN108229415A (zh) * 2018-01-17 2018-06-29 广东欧珀移动通信有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN110232134A (zh) * 2019-06-13 2019-09-13 上海商汤智能科技有限公司 数据更新方法、服务器及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052372A1 (zh) * 2020-09-14 2022-03-17 深圳市商汤科技有限公司 目标数据更新方法、装置、设备、存储介质及程序产品
CN114331135A (zh) * 2021-12-29 2022-04-12 上海赛美特软件科技有限公司 一种工艺流程管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022052372A1 (zh) 2022-03-17
TW202211081A (zh) 2022-03-16
TWI769665B (zh) 2022-07-01
CN112052251B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
EP3370188B1 (en) Facial verification method, device, and computer storage medium
CN110046266B (zh) 一种照片的智能管理方法及装置
CN110866491B (zh) 目标检索方法、装置、计算机可读存储介质和计算机设备
CN108664526B (zh) 检索的方法和设备
CN110019891B (zh) 图像存储方法、图像检索方法及装置
CN112052251B (zh) 目标数据更新方法和相关装置、设备及存储介质
CN111368867B (zh) 档案归类方法及系统、计算机可读存储介质
JP6507657B2 (ja) 類似性判定装置、類似性判定方法および類似性判定プログラム
CN111309946B (zh) 一种已建立档案优化方法及装置
CN110851675B (zh) 一种数据提取方法、装置及介质
CN111898559B (zh) 一种提升人脸识别速度的方法、装置及电子设备
CN116032741A (zh) 一种设备识别方法、装置、电子设备和计算机存储介质
CN109842482B (zh) 一种信息同步方法、系统及终端设备
CN113743533B (zh) 一种图片聚类方法、装置及存储介质
CN115082999A (zh) 合影图像人物分析方法、装置、计算机设备和存储介质
CN115578765A (zh) 目标识别方法、装置、系统及计算机可读存储介质
WO2021047664A1 (zh) 一种生物特征识别的方法及相关设备
CN111353063B (zh) 图片显示方法、装置及存储介质
CN113255703A (zh) 图像识别方法以及电子设备、计算机可读存储介质
CN113128278A (zh) 一种图像识别方法及装置
CN113111206A (zh) 图搜方法、装置、电子设备以及存储介质
CN113392138B (zh) 一种隐私数据的统计分析方法、装置、服务器和存储介质
CN111382770A (zh) 图片聚类方法、装置、设备及存储介质
US20230161845A1 (en) Method of updating data cluster
CN110442656B (zh) 一种确定共同关联对象的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032488

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant