CN113298049B - 图像特征降维方法、装置、电子设备和存储介质 - Google Patents
图像特征降维方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113298049B CN113298049B CN202110784556.4A CN202110784556A CN113298049B CN 113298049 B CN113298049 B CN 113298049B CN 202110784556 A CN202110784556 A CN 202110784556A CN 113298049 B CN113298049 B CN 113298049B
- Authority
- CN
- China
- Prior art keywords
- vector
- image feature
- image
- service scene
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本申请涉及一种图像特征降维方法、装置、电子设备和存储介质,该方法包括:提取目标业务场景下目标图片对应的第一图像特征向量;基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量。通过本申请,不仅可以缓解冗余特征对后续图像识别中特征匹配造成的干扰,也能同时提升大规模图像识别场景下的特征匹配效率。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及一种图像特征降维方法、装置、电子设备和存储介质。
背景技术
目前的图像识别技术,通常会使用神经网络模型将图片转换为一个特征维度固定的特征向量。随后,通过计算两张图片对应的特征向量之间的距离来判断两张图片中的目标对象是否相同。在图像识别业务中,需要判断一张待识别图片是否与底库中的某个目标对象相匹配,因此,我们需要计算待识别图片特征向量与底库中所有图像之间的相似度。当底库规模较大时,特征向量的维数便是影响图像特征匹配效率的重要因素。对特征向量进行降维能显著提升特征相似度的计算速度,但另一方面,图像特征维度的缩减可能会带来人脸信息的丢失,降低人脸特征匹配结果的准确性。
现有技术中,包括主成分分析(Principal Component Analysis,PCA)在内的基于奇异值分解(Singular Value Decomposition,以下简称SVD)的特征降维方法对图像的特征向量进行降维处理时,用一个维度较低的特征向量最大程度地去还原原本特征向量中包含的信息。这种方法仅基于特征间的差异对特征进行筛选,不具有针对性,无法剔除相对于具体业务场景的冗余信息。另外由于原本特征向量中噪声信息的存在,这种方法在降维的过程中会同时将噪声的影响放大。因此通过这种方式得到的降维特征向量并不能提升后续特征匹配的准确率。
发明内容
本申请实施例提供了一种图像特征降维、装置、电子设备和存储介质,以至少解决相关技术中降维方法无法剔除业务场景的冗余信息,影响图像特征匹配的准确率的问题。
第一方面,本申请实施例提供了一种图像特征降维方法,包括:
提取目标业务场景下目标图片对应的第一图像特征向量;
基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量。
在其中一些实施例中,基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量,包括:
根据所述目标业务场景下的样本图片配置初始化掩码向量;
基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量。
在其中一些实施例中,根据所述目标业务场景下的样本图片配置初始化掩码向量,包括:
根据所述目标业务场景下的样本图片配置初始化掩码向量的维数和数量。
在其中一些实施例中,基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到中间掩码向量,包括:
将所述初始化掩码向量确定为初代种群;
基于所述样本图片构建与目标业务场景对应的适应度函数;
根据适应度函数计算初代种群中每个初始个体的第一适应度;
根据初始个体的第一适应度进行种群迭代更新,直至进化完成;
根据所述适应度函数计算进化完成后每个个体的第二适应度,并将第二适应度最大的个体输出为中间掩码向量。
在其中一些实施例中,基于所述样本图片构建与目标业务场景对应的适应度函数,包括:
基于目标业务场景下的样本图片获取与所述目标图片对应的降维维数和图像特征距离;
根据所述图像维数和所述图像特征距离,确定与所述目标业务场景对应的适应度函数。
在其中一些实施例中,根据适应度函数计算初代种群中每个初始个体的第一适应度包括:
根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;
根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度。
在其中一些实施例中,根据初始个体的第一适应度进行种群迭代更新,直至进化完成包括:
根据初代种群每个个体的第一适应度进行父个体选择;
利用所述父个体进行交叉和变异,对种群中的个体进行更新,得到子代种群;
重复以上步骤进行迭代更新,直至进化完成。
在其中一些实施例中,根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量包括:
根据所述中间掩码向量各个维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降维后的第二图像特征向量。
第二方面,本申请实施例提供了一种图像特征降维装置,包括:
第一图像特征向量获取单元,用于提取目标业务场景下目标图片对应的第一图像特征向量;
中间掩码向量获取单元,用于基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
第二图像特征向量获取单元,用于根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像特征降维方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的图像特征降维方法。
相比于相关技术,本申请实施例提供的图像特征降维方法,并不是获取最大程度保留原始图像信息的低维特征,而是通过基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量,从而实现了基于当前业务场景下的业务数据的特点来筛选最有利于后续特征匹配的特征子集。通过根据所述中间掩码向量对第一图像特征向量进行降维处理,得到第二图像特征向量,实现了通过中间掩码向量将与业务场景无关的冗余特征进行剔除。从而在降维过程中,关注的不是不同特征间的差异,而是不同特征对匹配结果的影响,使得通过该方法得到的低维特征能够很好地契合当前的应用场景,不仅可以缓解冗余特征对后续图像识别中特征匹配造成的干扰,也能同时提升大规模图像识别场景下的特征匹配效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请其中一个实施例中图像特征降维方法的流程示意图;
图2是本申请其中一个实施例中生成中间掩码向量的流程示意图;
图3是本申请其中一个实施例中种群迭代寻优的流程示意图;
图4是本申请其中一个实施例中父代个体进行交叉操作的过程示意图;
图5是本申请其中一个实施例中父代个体进行变异操作的过程示意图;
图6是本申请其中一个实施例中对第一图像特征向量进行降维的过程示意图;
图7是本申请其中一个实施例中图像特征降维装置的结构示意图;
图8是本申请其中一个实施例中电子设备的结构示意图。
附图说明:701、第一图像特征向量获取单元;702、中间掩码向量获取单元;703、第二图像特征向量获取单元;80、总线;81、处理器;82、存储器;83、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
图像识别是图像处理的最主要用途之一,图像识别技术发展迅速,广泛应用于人脸、数字以及其他物件的识别中,同时广泛应用于农业、商业、安防、金融和日常生活各个领域中,具有现实研究意义和广泛的应用场景。
其中,图像特征匹配是实现图像识别的重要步骤,目前在众多领域中都有着广泛的应用,例如安防领域的布控报警、金融领域的身份核查、管理领域的城市人口管理等。随着图像识别技术的发展与智慧城市建设的推进,图像底库的规模日益增大,在保证识别准确率的前提下对图像特征进行降维处理,对提高图像特征匹配效率有着重要的意义。
本实施例提供了一种图像特征降维方法。图1是根据本申请实施例的图像特征降维方法的流程图,如图1所示,该流程包括如下步骤:
步骤S1,提取目标业务场景下目标图片对应的第一图像特征向量。
通常,图像识别算法为了确保通用性,在训练图像特征提取模型时会使用多种不同类型的训练样本,例如在人脸识别场景下使用遮挡人脸、车窗人脸、大角度人脸等样本图片。这些特殊样本的加入会使得图像特征提取模型能够提取出多种针对特殊图像的特征。事实上,图像识别所针对的业务场景是多种多样的,图像识别算法在部署到具体的业务场景下时,往往只需要处理一种或少数几种类型的图像数据,面向其他特殊图像类型提取出来的特征会变成冗余特征,甚至会对该场景下的图像特征匹配造成干扰。例如:在口罩人脸识别场景下,鼻子以下的人脸区域均被口罩覆盖。若考虑口罩颜色的差别,基于特征差异的降维方法会保留甚至放大该区域的颜色特征,但该区域的颜色特征实际上无益于后续的人脸特征匹配,构成了冗余特征。
具体的,在本实施例中,对目标业务场景下的目标图像进行降维处理时,首先获取目标图像的图像数据,采用预设的特征提取模型对所述目标图片进行图像特征提取,得到第一图像特征向量。所述第一图像特征向量是指未经过降维处理的原始的图像特征向量,该特征向量中包含着大量与当前应用场景无关的冗余信息。其中,所述特征提取模型可以基于SIFT算法的图像特征提取模型,也可以是基于机器学习算法的图像特征提取模型如卷积神经网络(Convolutional Neural Network,CNN)等;目标业务场景可以是安全监控、面部识别、视觉地理定位、手势识别、对象识别、医学图像分析、驾驶员帮助等等,本申请在此不做具体限定。
步骤S2,基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同。
在本实施例中,所述掩码向量模型可以基于机器学习算法构建,所述机器学习算法可以是例如神经网络、贝叶斯网络、支持向量机、决策树、遗传算法等各种机器学习方法,本申请对机器学习算法并不进行具体限定。掩码向量模型可以基于目标业务场景下的样本图片建立,能够自适应地部署至不同业务场景,也易于推广到不同的应用场景。在一些实施例中,可以利用目标业务场景下的不断输入的样本图片,按照模型训练方法训练得到掩码向量模型;也可以在已有机器学习模型的基础上,通过增量学习的方式对已有机器学习模型进行更新,得到掩码向量模型。
在本实施例中,通过所述掩码向量模型,可以在获取目标业务场景下的样本图片的情况下,产生与对应目标业务场景相匹配的中间掩码向量。其中,所述中间掩码向量依托于目标业务场景下的样本图片,与对应业务场景具有强关联性,可以反映当前业务场景下的图像特点。在本实施例中,所述中间掩码向量与所述第一图像特征向量维度相同,而且通过所述样本图片和所述掩码向量模型得到的中间掩码向量后,中间掩码向量的每一维度特征值与所述目标业务场景相匹配,从而便于后续对第一图像特征向量的各个维度进行特征筛选,提升当前业务场景下特征匹配度。
步骤S3,根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量。
在本实施例中,可以根据所述中间掩码向量各个维度上的特征值对所述第一图像特征向量进行降维调整,屏蔽所述第一图像特征向量中与目标业务场景无关的部分维度上的特征值,得到降维后的第二图像特征向量。
在本实施例中,利用与对应目标业务场景相匹配的中间掩码向量对当前业务场景下的图像特征向量进行降维,降维过程更加关注不同特征对后续图像特征匹配结果的作用大小,且能在一定程度上规避噪声的干扰,使得降维后的第二图像特征向量可以直接用于后续特征匹配,提高匹配的准确率。
在本实施例中,降维处理后的所述第二图像特征向量可以直接用于后续的图像特征匹配,不需要再借助训练样本训练一个额外的神经网络模型,来将降维特征投影成最终用于识别的特征向量,降低了计算成本,且具有更好的易用性。
综上,本申请实施例提供的图像特征降维方法,通过基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量,从而实现了基于当前业务场景下的业务数据的特点来筛选最有利于后续特征匹配的特征子集。通过根据所述中间掩码向量对第一图像特征向量进行降维处理,得到第二图像特征向量,实现了通过中间掩码向量将与业务场景无关的冗余特征进行剔除。从而在降维过程中,关注的不是不同特征间的差异,而是不同特征对匹配结果的影响,使得通过该方法得到的低维特征能够很好地契合当前的应用场景,不仅可以缓解冗余特征对后续图像识别中特征匹配造成的干扰,也能同时提升大规模图像识别场景下的特征匹配效率。
下面通过优选实施例对本申请实施例进行描述和说明。
如图2所示,在上述实施例的基础上,在其中一些实施例中,基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量,包括:
步骤S21,根据所述目标业务场景下的样本图片配置初始化掩码向量;
步骤S22,基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量。
在本实施例中,为了适用于不同应用场景,本实施例借用了生物进化的思想,引入遗传算法对人脸特征进行降维。遗传算法是一种经典的进化算法。其算法原理在于,在施加一定进化压力的情况下,种群会朝着最大化种群个体适应度的方向进化。若通过对初始化掩码向量进行建模,将初始化掩码向量编码为种群中的个体,根据具体应用场景中的样本图片引入环境压力,那么通过一定次数的进化迭代,使特征向量能自适应地朝着适应环境的方向进化,即可从原始的初始化掩码向量中,获得种群中适应度最高的个体,该个体即对应了特征维度少,且后续特征匹配效果好的图像特征子集。通过遗传算法,可以在没有内置的特征选取机制的情况下,实现中间掩码向量的不确定性优化,并保留所述目标业务场景的匹配特征。
在本实施例中,配置初始化掩码向量包括:根据所述目标业务场景下的样本图片配置初始化掩码向量的维数和数量。具体的,可以根据样本图片获取目标图像的图像数据,采用预设的特征提取模型对所述目标图片进行图像特征提取,得到样本图片对应的图像特征向量,根据该图像特征向量的维度配置维数相同的初始化掩码向量。其中,初始化掩码向量上每一维上的取值可以为0或1,可以采用随机初始化的方式生成,即每个掩码向量中的每一维按照相等的概率设置为0或1。初始化掩码向量的数量可根据后续图像识别的准确度要求进行适应性配置。
在本实施例中,所述基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优可采用本领域的现有技术,本申请在此不做赘述。需要说明的是,在其他实施例中,当通过其他的机器学习模型获取中间掩码向量时,掩码向量模型的构建过程可进行适应性调整,本申请在此不做赘述。
如图3所示,在上述实施例的基础上,在其中一些实施例中,基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到中间掩码向量,包括:
步骤S221,将所述初始化掩码向量确定为初代种群。具体的,根据设定的种群规模生成初始种群,将初始化掩码向量作为种群中的个体,所有的初始化掩码向量构成了初代种群。
步骤S222,基于所述样本图片构建与目标业务场景对应的适应度函数。
步骤S223,根据适应度函数计算初代种群中每个初始个体的第一适应度。
在本实施例中,适应度函数决定了种群的进化方向,本申请需要通过中间掩码向量选择出特征维数少,特征匹配效果好的图像特征子集。其中,特征匹配效果好要求降维后的特征向量满足类间离散、类内聚集的特点,即同一个目标对象不同目标图片之间的特征相似度高,不同目标对象的目标图片之间的特征向量相似度低。
基于上述原理,在一些实施例中,可以基于目标业务场景下的样本图片获取与所述目标图片对应的降维维数和图像特征距离;然后根据所述图像维数和所述图像特征距离,确定与所述目标业务场景对应的适应度函数。其中,所述降维维数表示降维后图像特征向量的维数,所述图像特征距离可以有多种度量方式,如欧氏距离、余弦距离等。当然,在其他实施例中,还可以根据实际应用场景下的业务需求自定义配置对应的适应度函数,如引入目标对象的性别特征、年龄特征等各种约束条件,本申请在此不做具体限定。
示例性的,根据所述图像维数和所述图像特征距离,确定适应度函数确定为:
其中,和分别表示同一目标对象的图像特征距离和不同目标对象的图像特征距离;N表示降维后图像特征向量的维数,即中间掩码向量的范数;和为两个可调谐参数,当越大时,算法更注重降维特征后续的特征匹配效果;当越大时,算法更注重降维后图像特征向量的维数。
示例性的,以欧氏距离为例:
在本实施例中,当确定适应度函数后,可以算出每个初代个体(即初始化掩码向量)在目标业务场景下的第一适应度。
步骤S224,根据初始个体的第一适应度进行种群迭代更新,直至进化完成。
步骤S225,根据所述适应度函数计算进化完成后每个个体的第二适应度,并将第二适应度最大的个体输出为中间掩码向量。
种群更新涉及两个方面,其一是父代个体选择,适应度较高的个体有更高的几率繁殖后代。其二是遗传变异,新生成的个体会继承父代个体的优秀基因,同时会因为基因突变,随机引入新的基因。
在本实施例中,个体被选择为父代个体的概率与其适应度相关。首先根据初代种群中每个个体的第一适应度进行父个体选择。选择算子可以是轮盘赌选择、随机竞争选择、最佳保留选择等等。示例性的,以轮盘赌选择为例,种群中每个初始个体的被选择为父代个体的概率的计算方式如下:
在本实施例中,根据种群中所有初始个体的被选择为父代个体的概率可以得到对应的累积概率表,每次生成[0,1]之间的随机数,根据随机数所在的概率区间,即可确定对应的个体作为父代个体。
如图4和图5所示,当确定父代个体后,可以利用所述父代个体进行交叉和变异,对种群中的个体进行更新,得到子代种群。具体的,两个父代个体可以通过交叉和变异机制生成子代个体。交叉操作会在中间掩码向量上随机确定两个位置作为交叉点,并交换两个父代个体交叉点之间的编码。变异操作则是通过对子代个体各维度上的编码随机进行位反转实现。
通过不断进行父代个体选择及交叉变异操作,可不断生成新个体加入子代种群,重复以上步骤进行种群的迭代更新,直至进化完成。根据所述适应度函数计算进化完成后每个个体的第二适应度,将种群中适应度最高的个体确定为中间掩码向量。该掩码向量可以从第一图像特征向量中挑选出适用于当前业务场景的特征子集,目前已有的业务数据以及后续该业务场景下的业务数据都可以使用该中间掩码向量进行降维处理。其中,进化完成的条件可以是种群迭代达到预设次数,也可以是种群中个体的适应度不发生改变等等,本申请在此不进行具体限定。
在上述实施例的基础上,在其中一些实施例中,根据适应度函数计算初代种群中每个初始个体的第一适应度包括:根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度。其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同。
对于当前业务场景下的图像数据集进行降维处理时,若数据集规模较大,直接对整个数据集计算同一个目标对象的特征距离,以及不同目标对象的目标图片特征距离时具有较高的计算成本。本实施例采用随机生成三元组的方式来计算个体的适应度。具体的,基于所述目标业务场景下的样本图片,随机选择一张图片作为锚点,以该锚点随机选择一张相同目标对象的图片对应的特征向量,以及一张不同目标对象的图片对应的特征向量构成三元组。针对该三元组,个体的适应度值为:
在其中一些实施例中,可以通过选择多个特征向量三元组进行相似度计算,提高相似度衡量的准确率:
其中,n为特征向量三元组的数量。
在上述实施例的基础上,在其中一些实施例中,根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量包括:根据所述中间掩码向量各个维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降维后的第二图像特征向量。
在本实施例中,当得到中间掩码向量后,获取中间掩码向量各个维度上的特征值。当中间掩码向量对应维度上的特征值为1时,保留第一图像特征向量中对应维度上的特征值;当中间掩码向量对应维度上的特征值为0时,舍弃第一图像特征向量中对应维度上的特征值,得到降维后的第二图像特征向量,该特征向量为所述第一图像特征向量的一个子集。
示例性的,如图6所示,定义目标业务场景下目标图片对应的第一图像特征向量各个维度上的特征值为,与对应目标业务场景相匹配的中间掩码向量各个维度上的特征值为,则对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,可以得到降维后的第二图像特征向量。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种图像特征降维装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的图像特征降维装置的结构框图,如图7所示,该装置包括:第一图像特征向量获取单元701、中间掩码向量获取单元702和第二图像特征向量获取单元703。
第一图像特征向量获取单元701,用于提取目标业务场景下目标图片对应的第一图像特征向量;
中间掩码向量获取单元702,用于基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
第二图像特征向量获取单元703,用于根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量。
在其中一些实施例中,所述中间掩码向量获取单元702包括:初始化掩码向量配置模块和计算模块。
初始化掩码向量配置模块,用于根据所述目标业务场景下的样本图片配置初始化掩码向量;
计算模块,用于基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量。
在其中一些实施例中,所述计算模块包括:初代种群确定模块、适应度函数构建模块、第一适应度计算模块、进化模块和中间掩码向量输出模块。
初代种群确定模块,用于将所述初始化掩码向量确定为初代种群;
适应度函数构建模块,用于基于所述样本图片构建与目标业务场景对应的适应度函数;
第一适应度计算模块,用于根据适应度函数计算初代种群中每个初始个体的第一适应度;
进化模块,用于根据初始个体的第一适应度进行种群迭代更新,直至进化完成;
中间掩码向量输出模块,用于根据所述适应度函数计算进化完成后每个个体的第二适应度,并将第二适应度最大的个体输出为中间掩码向量。
在其中一些实施例中,所述适应度函数构建模块包括:参数信息获取模块和适应度函数确定模块。
参数信息获取模块,用于基于目标业务场景下的样本图片获取与所述目标图片对应的降维维数和图像特征距离;
适应度函数确定模块,用于根据所述图像维数和所述图像特征距离,确定与所述目标业务场景对应的适应度函数。
在其中一些实施例中,所述第一适应度计算模块包括:三元组获取模块和适应度确定模块。
三元组获取模块,用于根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;
适应度确定模块,用于根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度。
在其中一些实施例中,所述进化模块包括:父代个体选择模块、子代生成模块和迭代更新模块。
父代个体选择模块,用于根据初代种群每个个体的第一适应度进行父个体选择;
子代生成模块,用于利用所述父个体进行交叉和变异,对种群中的个体进行更新,得到子代种群;
迭代更新模块,用于重复以上步骤进行迭代更新,直至进化完成。
在其中一些实施例中,第二图像特征向量获取单元703具体用于:
根据所述中间掩码向量各个维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降维后的第二图像特征向量。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例图像特征降维方法可以由电子设备来实现。图8为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地,上述处理器81可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器82可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器82可在数据处理装置的内部或外部。在特定实施例中,存储器82是非易失性(Non-Volatile)存储器。在特定实施例中,存储器82包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令,以实现上述实施例中的任意一种图像特征降维方法。
在其中一些实施例中,电子设备还可包括通信接口83和总线80。其中,如图8所示,处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令,执行本申请实施例中的图像特征降维方法,从而实现结合图1描述的图像特征降维方法。
另外,结合上述实施例中的图像特征降维方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像特征降维方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种图像特征降维方法,其特征在于,包括:
提取目标业务场景下目标图片对应的第一图像特征向量;
基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量;
所述基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量包括:根据所述目标业务场景下的样本图片配置初始化掩码向量;基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量;其中,在遗传算法中将所述初始化掩码向量确定为初代种群,根据适应度函数计算初代种群中每个初始个体的第一适应度包括:
根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度,其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;所述第一适应度用于进行种群迭代寻优。
2.根据权利要求1所述的图像特征降维方法,其特征在于,基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到中间掩码向量,包括:
基于所述样本图片构建与目标业务场景对应的适应度函数;
根据适应度函数计算初代种群中每个初始个体的第一适应度;
根据初始个体的第一适应度进行种群迭代更新,直至进化完成;
根据所述适应度函数计算进化完成后每个个体的第二适应度,并将第二适应度最大的个体输出为中间掩码向量。
3.根据权利要求2所述的图像特征降维方法,其特征在于,基于所述样本图片构建与目标业务场景对应的适应度函数,包括:
基于目标业务场景下的样本图片获取与所述目标图片对应的降维维数和图像特征距离;
根据所述图像维数和所述图像特征距离,确定与所述目标业务场景对应的适应度函数。
4.根据权利要求2所述的图像特征降维方法,其特征在于,根据初始个体的第一适应度进行种群迭代更新,直至进化完成包括:
根据初代种群每个个体的第一适应度进行父个体选择;
利用所述父个体进行交叉和变异,对种群中的个体进行更新,得到子代种群;
重复以上步骤进行迭代更新,直至进化完成。
5.根据权利要求1所述的图像特征降维方法,其特征在于,根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量包括:
根据所述中间掩码向量各个维度上的特征值,对所述第一图像特征向量对应位置的特征值进行按位逻辑运算,得到降维后的第二图像特征向量。
6.一种图像特征降维装置,其特征在于,包括:
第一图像特征向量获取单元,用于提取目标业务场景下目标图片对应的第一图像特征向量;
中间掩码向量获取单元,用于基于所述目标业务场景下的样本图片和掩码向量模型,得到与对应目标业务场景相匹配的中间掩码向量;所述掩码向量模型为通过机器学习算法构建的所述目标业务场景下的样本图片与中间掩码向量的机器学习模型,所述中间掩码向量与所述第一图像特征向量维度相同;
第二图像特征向量获取单元,用于根据所述中间掩码向量对所述第一图像特征向量进行降维处理,得到第二图像特征向量;
所述中间掩码向量获取单元包括:
初始化掩码向量配置模块,用于根据所述目标业务场景下的样本图片配置初始化掩码向量;
计算模块,用于基于遗传算法和所述样本图片对所述初始化掩码向量进行种群迭代寻优,得到与对应目标业务场景相匹配的中间掩码向量;
所述计算模块包括:
初代种群确定模块,用于将所述初始化掩码向量确定为初代种群;
第一适应度计算模块,用于根据适应度函数计算初代种群中每个初始个体的第一适应度;具体用于根据所述目标图片随机选取至少一个特征向量三元组;所述特征向量三元组包括基于所述目标图片确定的第一特征向量、第二特征向量和第三特征向量;根据至少一个所述特征向量三元组和所述适应度函数,确定对应初始个体的第一适应度,其中,所述第一特征向量和第二特征向量对应的目标图片所在的目标对象相同;所述第一特征向量和第三特征向量对应的目标图片所在的目标对象不同;所述第一适应度用于进行种群迭代寻优。
7.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的图像特征降维方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的图像特征降维方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110784556.4A CN113298049B (zh) | 2021-07-12 | 2021-07-12 | 图像特征降维方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110784556.4A CN113298049B (zh) | 2021-07-12 | 2021-07-12 | 图像特征降维方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298049A CN113298049A (zh) | 2021-08-24 |
CN113298049B true CN113298049B (zh) | 2021-11-02 |
Family
ID=77330944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110784556.4A Active CN113298049B (zh) | 2021-07-12 | 2021-07-12 | 图像特征降维方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298049B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027455A (zh) * | 2019-12-06 | 2020-04-17 | 重庆紫光华山智安科技有限公司 | 行人特征提取方法、装置、电子设备及存储介质 |
CN112328778A (zh) * | 2020-11-03 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 确定用户特征和模型训练的方法、装置、设备及介质 |
CN112541936A (zh) * | 2020-12-09 | 2021-03-23 | 中国科学院自动化研究所 | 执行机构操作空间视觉信息确定方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
CN104598924A (zh) * | 2015-01-14 | 2015-05-06 | 南京邮电大学 | 一种目标匹配检测方法 |
US10692221B2 (en) * | 2018-07-13 | 2020-06-23 | Adobe Inc. | Automatic trimap generation and image segmentation |
US11443165B2 (en) * | 2018-10-18 | 2022-09-13 | Deepnorth Inc. | Foreground attentive feature learning for person re-identification |
CN110728330A (zh) * | 2019-10-23 | 2020-01-24 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象识别方法、装置、设备及存储介质 |
CN111127502B (zh) * | 2019-12-10 | 2023-08-29 | 北京地平线机器人技术研发有限公司 | 生成实例掩码的方法、装置及电子设备 |
-
2021
- 2021-07-12 CN CN202110784556.4A patent/CN113298049B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027455A (zh) * | 2019-12-06 | 2020-04-17 | 重庆紫光华山智安科技有限公司 | 行人特征提取方法、装置、电子设备及存储介质 |
CN112328778A (zh) * | 2020-11-03 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 确定用户特征和模型训练的方法、装置、设备及介质 |
CN112541936A (zh) * | 2020-12-09 | 2021-03-23 | 中国科学院自动化研究所 | 执行机构操作空间视觉信息确定方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113298049A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220058426A1 (en) | Object recognition method and apparatus, electronic device, and readable storage medium | |
US11836081B2 (en) | Methods and systems for handling data received by a state machine engine | |
WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
CN109101817B (zh) | 一种识别恶意文件类别的方法及计算设备 | |
WO2019100723A1 (zh) | 训练多标签分类模型的方法和装置 | |
CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
US20210390370A1 (en) | Data processing method and apparatus, storage medium and electronic device | |
CN112164002B (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
CN111062036A (zh) | 恶意软件识别模型构建、识别方法及介质和设备 | |
CN111428557A (zh) | 基于神经网络模型的手写签名的自动校验的方法和装置 | |
CN112395979A (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
CN113128287A (zh) | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 | |
CN112101087B (zh) | 一种面部图像身份去识别方法、装置及电子设备 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
WO2022063076A1 (zh) | 对抗样本的识别方法及装置 | |
CN111008940B (zh) | 一种图像增强方法及装置 | |
Wang et al. | On variable selection in matrix mixture modelling | |
CN113298049B (zh) | 图像特征降维方法、装置、电子设备和存储介质 | |
CN112364198A (zh) | 一种跨模态哈希检索方法、终端设备及存储介质 | |
CN115496954B (zh) | 眼底图像分类模型构建方法、设备及介质 | |
CN115795355A (zh) | 一种分类模型训练方法、装置及设备 | |
CN116977343A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN114662568A (zh) | 数据分类方法、装置、设备和存储介质 | |
CN114095268A (zh) | 用于网络入侵检测的方法、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |