CN114329028A - 一种数据处理方法、设备以及计算机可读存储介质 - Google Patents

一种数据处理方法、设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN114329028A
CN114329028A CN202111079950.4A CN202111079950A CN114329028A CN 114329028 A CN114329028 A CN 114329028A CN 202111079950 A CN202111079950 A CN 202111079950A CN 114329028 A CN114329028 A CN 114329028A
Authority
CN
China
Prior art keywords
target
feature
image
historical
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111079950.4A
Other languages
English (en)
Inventor
郭卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111079950.4A priority Critical patent/CN114329028A/zh
Publication of CN114329028A publication Critical patent/CN114329028A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请公开了一种数据处理方法、设备以及计算机可读存储介质,该方法包括:通过目标图像识别模型生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征;基于目标图像检索库中的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指通过目标图像识别模型所生成的特征;基于历史图像检索库中的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指通过历史图像识别模型所生成的特征;在关联历史素材图像以及关联目标素材图像中确定推荐素材图像。采用本申请,可以降低计算资源的消耗以及降低更新时间成本。

Description

一种数据处理方法、设备以及计算机可读存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据处理方法、设备以及计算机可读存储介质。
背景技术
随着多媒体技术的普及以及计算机互联网的发展,图像数据以惊人的规模飞速增长。查询对象提交图像检索要求,图像检索库返回满足要求的素材图像或素材视频,这一过程可以被称为素材检索。
如何便捷又准确地在海量图像检索库中为查询对象寻找适宜的素材,已经成为计算机视觉领域的一大研究热点。在现有技术中,为了节省存储空间,历史图像检索库存储的是历史素材图像对应的低维素材特征(例如32维素材特征),但用于表征图像信息的特征维度越大,表征效果越好,所以查询对象会获取查询图像的高维查询特征(例如64维查询特征),以准确描述图像检索要求;由于高维查询特征以及低维素材特征分别对应的特征维度不一致,故无法在历史图像检索库中进行图像检索,需要在对历史图像数据库中的低维素材特征进行特征扩张,得到高维素材特征后,才能进行图像检索,但历史图像素材库中往往存储有千万数量级或者数量更多的历史素材图像,所以对低维素材特征进行特征扩张,即更新低维素材特征,会消耗大量的计算资源,也会耗费大量时间成本。
发明内容
本申请实施例提供一种数据处理方法、设备以及计算机可读存储介质,可以降低计算资源的消耗以及降低更新时间成本。
本申请实施例一方面提供了一种数据处理方法,包括:
获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征;
基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征;
基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征;
在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
本申请实施例一方面提供了一种数据处理方法,包括:
获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像;
通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征;
通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数;
根据历史基准预测特征、第一历史预测特征、第二历史预测特征、目标基准预测特征、第一目标预测特征以及第二目标预测特征,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;目标图像识别模型用于生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
本申请实施例一方面提供了一种数据处理装置,包括:
第一获取模块,用于获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征;
第二获取模块,用于基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征;
第二获取模块,还用于基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征;
确定素材模块,用于在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
其中,第一获取模块,包括:
第一输入单元,用于将查询图像输入至目标图像识别模型;目标图像识别模型包括特征卷积层、特征池化层以及目标特征连接层;目标特征连接层对应的特征连接通道数,大于历史图像识别模型中的历史特征连接层对应的特征连接通道数;
第二输入单元,用于通过特征卷积层对查询图像进行特征卷积处理,生成查询图像对应的待池化查询特征,将待池化查询特征输入至特征池化层;
第一生成单元,用于通过特征池化层对待池化查询特征进行特征池化处理,生成查询图像对应的待连接查询特征,将待连接查询特征输入至目标特征连接层;
第二生成单元,用于通过目标特征连接层对待连接查询特征进行特征连接处理,生成目标查询特征。
其中,数据处理装置,还包括:
第三获取模块,用于获取目标素材图像,获取目标素材图像对应的图像标识;
第一生成模块,用于将目标素材图像输入至目标图像识别模型,通过目标图像识别模型对目标素材图像进行特征识别处理,生成目标素材特征;
第二生成模块,用于将目标素材图像对应的图像标识作为索引键,将目标素材特征作为索引值,根据索引键以及索引值生成索引表,将索引表存储于目标图像检索库。
其中,第二获取模块,包括:
第一获取单元,用于在目标图像检索库中获取索引表;索引表包括索引键以及索引值,索引键由目标素材图像对应的图像标识生成,索引值由目标素材特征生成;
第一确定单元,用于获取目标查询特征以及索引值之间的特征距离,将特征距离小于特征距离阈值的索引值确定为关联索引值;
第二确定单元,用于将关联索引值对应的索引键确定为关联索引键,根据关联索引键,在目标图像检索库中获取关联目标素材图像。
其中,目标素材图像包括至少两张目标素材图像,目标素材特征包括至少两张目标素材图像分别对应的目标素材特征;
数据处理装置,还包括:
第四获取模块,用于获取至少两张目标素材图像,将至少两张目标素材图像分别输入至目标图像识别模型;
第三生成模块,用于通过目标图像识别模型,对至少两张目标素材图像分别进行特征识别处理,生成至少两张目标素材图像分别对应的目标素材特征;
第四生成模块,用于对至少两个目标素材特征进行聚类处理,生成A个目标特征聚类簇以及A个目标特征聚类簇分别对应的目标聚类中心特征;A为大于1的正整数,且A小于或等于至少两个目标素材特征的总数量;
第四生成模块,还用于将A个目标特征聚类簇以及A个目标聚类中心特征关联存储于目标图像检索库。
其中,A个目标特征聚类簇包括目标特征聚类簇Cd,d为正整数且d小于或等于A;
第四生成模块,包括:
第二获取单元,用于从目标特征聚类簇Cd中获取目标素材特征Ef,f为正整数,且f小于或等于目标特征聚类簇Cd中目标素材特征的总数量;
第三获取单元,用于获取目标素材特征Ef对应的目标素材图像Bf,获取目标素材图像Bf对应的图像标识;
第三生成单元,用于将目标素材图像Bf对应的图像标识作为索引键,将目标素材特征Ef作为索引值,根据索引键以及索引值生成与目标特征聚类簇Cd相关联的索引表;
关联存储单元,用于将每个目标聚类中心特征以及每个目标聚类中心特征分别对应的索引表,关联存储于目标图像检索库。
其中,第二获取模块,包括:
第四获取单元,用于在目标图像检索库中获取A个目标聚类中心特征;A个目标聚类中心特征包括目标聚类中心特征Ij,j为正整数且j小于或等于A;
第五获取单元,用于获取目标查询特征以及目标聚类中心特征Ij之间的特征距离Kj
第三确定单元,用于对A个目标聚类中心特征分别对应的特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;
第六获取单元,用于将目标特征距离对应的目标聚类中心特征确定为关联目标聚类中心特征,获取与关联目标聚类中心特征关联存储的关联索引表;
第七获取单元,用于根据关联索引表,获取与目标查询特征相关联的关联目标素材图像。
其中,确定素材模块,包括:
第四确定单元,用于将关联历史素材图像以及关联目标素材图像确定为候选素材图像;候选素材图像的数量为至少两张;
第八获取单元,用于获取每张候选素材图像的关联素材特征分别与目标查询特征之间的特征距离;
第五确定单元,用于根据每张候选素材图像分别对应的特征距离,对至少两张候选素材图像进行排序处理;
第五确定单元,还用于从排序后的至少两张候选素材图像中,确定用于响应查询图像的推荐素材图像。
本申请实施例一方面提供了一种数据处理装置,包括:
获取样本模块,用于获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像;
第一生成模块,用于通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征;
第二生成模块,用于通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数;
第三生成模块,用于根据历史基准预测特征、第一历史预测特征、第二历史预测特征、目标基准预测特征、第一目标预测特征以及第二目标预测特征,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;目标图像识别模型用于生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
其中,获取样本模块,包括:
第一获取单元,用于获取至少两个正样本对,对至少两个正样本对进行均分处理,得到T个正样本对集合;T为正整数,且T小于或等于至少两个正样本对的总数量;T个正样本对集合包括正样本对集合Uv,v为正整数且v小于或等于T;正样本对集合Uv包括目标正样本对,目标正样本对包括目标基准样本图像以及与目标基准样本图像对应的目标正样本图像;样本图像集包括正样本对集合Uv中的样本图像集Op,p为正整数,且p小于或等于正样本对集合Uv中的样本图像集的总数量;
第二获取单元,用于获取目标基准样本图像以及剩余样本图像之间的图像距离;剩余样本图像是指剩余正样本对中的剩余基准样本图像,或剩余正样本对中的剩余正样本图像;剩余正样本对包括正样本对集合Uv中除了目标正样本对之外的正样本对;
第一确定单元,用于对获取到的图像距离进行排序处理,根据排序后的图像距离从剩余样本图像中确定目标剩余样本图像;
第二确定单元,用于将目标剩余样本图像确定为目标基准样本图像对应的目标负样本图像,将目标负样本图像以及目标正样本对确定为样本图像集Op
其中,历史图像识别模型包括历史特征卷积层、历史特征池化层以及历史特征连接层;
第二生成模块,包括:
第三确定单元,用于将基准样本图像、正样本图像以及负样本图像确定为待处理样本图像;
第一输入单元,用于将待处理样本图像输入至图像识别初始模型;图像识别初始模型包括初始特征卷积层、初始特征池化层以及初始目标特征连接层;其中,初始特征卷积层中的参数等于历史特征卷积层中的参数;初始特征池化层中的参数等于历史特征池化层中的参数;初始目标特征连接层包括历史特征连接通道以及目标特征连接通道,历史特征连接通道中的参数等于历史特征卷积层中的参数;
第二输入单元,用于通过初始特征卷积层对待处理样本图像进行特征卷积处理,生成待处理样本图像对应的待池化样本预测特征,将待池化样本预测特征输入至初始特征池化层;
第三输入单元,用于通过初始特征池化层对待池化样本预测特征进行特征池化处理,生成待处理样本图像对应的待连接样本预测特征,将待连接样本预测特征输入至初始目标特征连接层;
第一处理单元,用于通过初始目标特征连接层中的历史特征连接通道对待连接样本预测特征进行特征连接处理,生成历史局部预测特征;
第二处理单元,用于通过初始目标特征连接层中的目标特征连接通道对待连接样本预测特征进行特征连接处理,生成目标局部预测特征;
第三处理单元,用于对历史局部预测特征以及目标局部预测特征进行特征拼接处理,得到待处理样本图像对应的目标样本预测特征;目标样本预测特征包括目标基准预测特征、第一目标预测特征以及第二目标预测特征。
其中,第三生成模块,包括:
第三获取单元,用于获取历史基准预测特征以及第一历史预测特征之间的第一特征距离,获取历史基准预测特征以及第二历史预测特征之间的第二特征距离;
第四确定单元,用于根据第一特征距离以及第二特征距离,确定历史图像识别模型对应的历史模型损失值;
第四获取单元,用于获取目标基准预测特征以及第一目标预测特征之间的第三特征距离,获取目标基准预测特征以及第二目标预测特征之间的第四特征距离;
第五确定单元,用于获取基于历史模型损失值所生成的距离阈值,根据第三特征距离、第四特征距离以及距离阈值,确定图像识别初始模型对应的总损失值;
第一生成单元,用于根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,生成目标图像识别模型。
其中,第三生成模块,包括:
第六确定单元,用于根据历史基准预测特征、第一历史预测特征以及第二历史预测特征,确定历史图像识别模型对应的历史模型损失值;
第六确定单元,还用于根据历史模型损失值、目标基准预测特征、第一目标预测特征以及第二目标预测特征,确定图像识别初始模型对应的第一损失值;
第七确定单元,用于获取历史局部预测特征,根据历史局部预测特征以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第七确定单元,还用于将第一损失值以及第二损失值的总和确定为图像识别初始模型的总损失值;
统计历史单元,用于统计图像识别初始模型的历史调整次数;历史调整次数用于表征图像识别初始模型中的模型参数已被调整的次数;
第二生成单元,用于根据总损失值以及历史调整次数,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型。
其中,历史局部预测特征包括基准样本图像对应的历史基准局部预测特征、正样本图像对应的第一历史局部预测特征以及负样本图像对应的第二历史局部预测特征;
第七确定单元,包括:
第一确定子单元,用于从历史基准局部预测特征、第一历史局部预测特征以及第二历史局部预测特征中确定待替换历史局部预测特征;
第二确定子单元,用于当待替换历史局部预测特征为历史基准局部预测特征时,获取历史基准预测特征以及第一历史局部预测特征之间的第五特征距离,获取历史基准预测特征以及第二历史局部预测特征之间的第六特征距离,根据第五特征距离、第六特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第二确定子单元,还用于当待替换历史局部预测特征为第一历史局部预测特征时,获取历史基准局部预测特征以及第一历史预测特征之间的第七特征距离,获取历史基准局部预测特征以及第二历史局部预测特征之间的第八特征距离,根据第七特征距离、第八特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第二确定子单元,用于当待替换历史局部预测特征为第二历史局部预测特征时,获取历史基准局部预测特征以及第一历史局部预测特征之间的第九特征距离,获取历史基准局部预测特征以及第二历史预测特征之间的第十特征距离,根据第九特征距离、第十特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值。
其中,第二生成单元,包括:
第一调整子单元,用于当历史调整次数不满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型;
第二调整子单元,用于当历史调整次数满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数、目标特征连接通道中的参数以及历史特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使得计算机设备执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,上述计算机程序适于由处理器加载并执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中的方法。
在本申请实施例中,计算机设备通过目标图像识别模型,可以生成查询图像对应的目标查询特征,其中,通过目标图像识别模型是基于已训练的历史图像识别模型所训练得到的,可知目标图像识别模型的模型功能可以包括历史图像识别模型的模型功能,且目标图像识别模型的模型功能对应的功能效果可以优于历史图像识别模型的模型功能的功能效果;通过目标查询特征对应的特征维度大于历史查询特征对应的特征维度,可知目标查询特征所记录的图像信息,可以优于历史查询特征所记录的图像信息;通过目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,可知目标局部特征可以替代历史查询特征进行图像搜索处理;进一步地,基于目标素材特征,计算机设备可以从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;此外,基于历史素材特征,可以从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;进一步地,在关联历史素材图像以及关联目标素材图像中,可以确定用于响应查询图像的推荐素材图像。综上所述,本申请实施例不仅可以生成记录更多图像信息的目标查询特征,进而可以提高针对查询图像的检索准确率;还可以通过目标局部特征支持检索关联历史素材图像,故可以在存在历史图像检索库时,避免对历史素材图像库中的历史素材特征进行更新处理,进而可以降低计算资源的消耗以及降低更新时间成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构示意图;
图2是本申请实施例提供的一种数据处理的场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4是本申请实施例提供的一种数据处理的场景示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图;
图6是本申请实施例提供的一种数据处理的场景示意图;
图7是本申请实施例提供的一种数据处理方法的流程示意图;
图8是本申请实施例提供的一种数据处理的场景示意图;
图9是本申请实施例提供的一种数据处理方法的流程示意图;
图10是本申请实施例提供的一种数据处理的场景示意图;
图11是本申请实施例提供的一种数据处理方法的流程示意图;
图12是本申请实施例提供的一种数据处理的场景示意图;
图13是本申请实施例提供的一种数据处理装置的结构示意图;
图14是本申请实施例提供的一种数据处理装置的结构示意图;
图15是本申请实施例提供的一种计算机设备的结构示意图;
图16是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,首先对部分名词进行以下简单解释:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请实施例中,计算机视觉技术可以用于识别图像中的对象类别(例如人、狗、猫、鸟等)。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在本申请实施例中,目标图像识别模型以及历史图像识别模型均是基于机器学习技术的AI模型,可用于对图像进行识别处理。
请参见图1,图1是本申请实施例提供的一种系统架构示意图。如图1所示,该系统可以包括业务服务器100以及终端集群,终端集群可以包括:终端设备200a、终端设备200b、终端设备200c、…、终端设备200n,可以理解的是,上述系统可以包括一个或者多个终端设备,本申请不对终端设备的数量进行限制。
其中,终端集群之间可以存在通信连接,例如终端设备200a与终端设备200b之间存在通信连接,终端设备200a与终端设备200c之间存在通信连接。同时,终端集群中的任一终端设备可以与业务服务器100存在通信连接,例如终端设备200a与业务服务器100之间存在通信连接,其中,上述通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其它方式,本申请在此不做限制。
应当理解,如图1所示的终端集群中的每个终端设备均可以安装有应用客户端,当该应用客户端运行于各终端设备中时,可以分别与上述图1所示的业务服务器100之间进行数据交互,即上述的通信连接。其中,该应用客户端可以为短视频应用、视频应用、直播应用、社交应用、即时通信应用、游戏应用、音乐应用、购物应用、小说应用、支付应用、浏览器等具有加载图像功能的应用客户端。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端,在此不做限定。以社交应用为例,业务服务器100可以为包括社交应用对应的后台服务器、数据处理服务器等多个服务器的集合,因此,每个终端设备均可以通过该社交应用对应的应用客户端与业务服务器100进行数据传输,如每个终端设备均可以通过社交应用的应用客户端将其本地的图像上传至业务服务器100,进而业务服务器100可以将该图像下发给其它终端设备或传送至云服务器。
为便于后续理解和说明,本申请实施例可以在图1所示的终端集群中选择一个终端设备作为目标终端设备,例如以终端设备200a作为目标终端设备。当获取到图像(例如图像a),并接收到针对图像a的图像检索指令时,终端设备200a可以将图像a作为查询图像发送至业务服务器100,在本申请实施例中,应用进行搜索处理的图像称为查询图像(例如上述的图像a)。进一步,业务服务器100接收到终端设备200a发送的查询图像后,可以通过目标图像识别模型生成查询图像对应的目标查询特征,其中,目标图像识别模型是基于已训练的历史图像识别模型所训练得到的,目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,故本申请实施例中的目标查询特征对应的图像特征表征效果,优于历史查询特征对应的图像特征表征效果,且可以利用目标查询特征中的目标局部特征替代历史查询特征进行图像搜索,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
进一步,业务服务器100基于目标图像检索库中的目标素材图像对应的目标素材特征,可以从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;其中,目标素材特征是指通过目标图像识别模型所生成的目标素材图像对应的特征。进一步,业务服务器100基于历史图像检索库中的历史素材图像对应的历史素材特征,可以从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;其中,历史素材特征是指通过历史图像识别模型所生成的历史素材图像对应的特征。在本申请实施例中,用于进行搜索处理后所得到的图像,称为素材图像,目标素材图像以及历史素材图像均为素材图像,区别在于目标素材图像以及历史素材图像分别对应的上传时间戳不相同,且历史素材图像对应的上传时间戳早于目标素材图像对应的上传时间戳;上传时间戳是指用户通过终端设备将图像或视频上传至业务服务器的时间戳。
进一步,业务服务器100在关联历史素材图像以及关联目标素材图像中,可以确定用于响应查询图像的推荐素材图像。后续,业务服务器100可以将推荐素材图像发送至终端设备200a,终端设备200a接收到业务服务器100发送的推荐素材图像后,可以在其对应的屏幕上显示该推荐素材图像。
可选的,若终端设备200a的本地存储了上述目标图像识别模型,则终端设备200a可以通过目标图像识别模型获取查询图像对应的目标查询特征,然后将目标查询特征发送至业务服务器100,业务服务器100通过目标查询特征确定查询图像对应的推荐素材图像的过程,与上述描述的过程一致,故此处不进行赘述。其中,由于训练目标图像识别模型涉及到大量的离线计算,因此终端设备200a本地的目标图像识别模型可以是由业务服务器100训练完成后发送至终端设备200a的。
可选的,若终端设备200a的本地存储了上述目标图像识别模型、目标图像检索库以及历史图像检索库,则终端设备200a可以通过目标图像识别模型获取查询图像对应的目标查询特征,然后基于该目标查询特征在目标图像检索库中获取关联目标素材图像,并基于目标局部特征在历史图像检索库中获取关联历史素材图像,后续过程与上文叙述一致,故此处不进行赘述。其中,终端设备200a本地的目标图像识别模型、目标图像检索库以及历史图像检索库,均可以是由业务服务器100发送至终端设备200a的。
可选的,可以理解的是,系统架构中可以包括多个业务服务器,一个终端设备可以与一个业务服务器相连接,每个业务服务器可以获取到与之相连接的终端设备所上传的查询图像,从而可以识别该查询图像并获取与该查询图像相关联的推荐素材图像,并将推荐素材图像返回给与之相连接的终端设备。
需要说明的是,上述业务服务器100、终端设备200a、终端设备200b、终端设备200c...、终端设备200n均可以为区块链网络中的区块链节点,全文叙述的数据(例如查询图像以及推荐素材图像)可以进行存储,存储方式可以是区块链节点根据数据生成区块,并将区块添加至区块链中进行存储的方式。
区块链是一种分布式数据存储、点对点传输、共识机制以及加密算法等计算机技术的新型应用模式,主要用于对数据按时间顺序进行整理,并加密成账本,使其不可被篡改和伪造,同时可进行数据的验证、存储和更新。区块链本质上是一个去中心化的数据库,该数据库中的每个节点均存储一条相同的区块链,区块链网络可以将节点区分为核心节点、数据节点以及轻节点。核心节点、数据节点以及轻节点共同组成区块链节点。其中核心节点负责区块链全网的共识,也就是说核心节点为区块链网络中的共识节点。对于区块链网络中的交易数据被写入账本的流程可以为,区块链网络中的数据节点或轻节点获取到交易数据,将交易数据在区块链网络中传递(也就是节点以接力棒的方式进行传递),直到共识节点收到该交易数据,共识节点再将该交易数据打包进区块,对该区块执行共识,待共识完成后将该交易数据写入账本。此处以查询图像以及推荐素材图像示例交易数据,业务服务器100(区块链节点)在通过对交易数据的共识后,根据交易数据生成区块,将区块存储至区块链网络中;而对于交易数据(即查询图像以及推荐素材图像)的读取,则可以由区块链节点在区块链网络中,获取到包含该交易数据的区块,进一步,在区块中获取交易数据。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于终端设备或业务服务器。其中,业务服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能电脑、智能车载等可以运行上述应用的智能终端。其中,终端设备和业务服务器可以通过有线或无线方式进行直接或间接地连接,本申请实施例在此不做限制。
其中,可以理解的是,上述系统架构可适用于针对图像的图像推荐场景、图像分发场景、图像搜索场景等业务场景,这里将不对具体的业务场景进行一一列举。
进一步地,请参见图2,图2是本申请实施例提供的一种数据处理的场景示意图。其中,该数据处理场景的实现过程可以在业务服务器中进行,也可以在终端设备中进行,还可以在终端设备和业务服务器中交互进行,此处不做限制,其中,终端设备可以为上述图1所对应实施例的终端集群中的任意一个终端设备,图2以终端设备200a为例进行叙述,业务服务器可以为上述图1所对应实施例的业务服务器100。
如图2所示,用户201a可以将查询图像(即图2中的图像202a)上传到终端设备200a上的某个具有图像搜索功能的应用客户端(例如,浏览器),可选的,该应用客户端可以集成有摄像功能,因此图像202a可以是通过该应用客户端上的摄像功能采集到的图像,例如,对杯子蛋糕进行拍摄得到图像202a,可选的,图像202a也可以是用户201a从其它平台获取的杯子蛋糕图像,本申请实施例对查询图像的具体内容和来源不进行限定。进一步,当用户201a点击该应用客户端上的搜索控件203a时,终端设备200a可以响应该搜索操作,将图像202a发送至业务服务器100。
进一步地,业务服务器100获取到终端设备200a发送的查询图像(即图像202a)后,可以将图像202a输入至目标图像识别模型100a,通过目标图像识别模型100a对图像202a进行图像识别处理,并提取图像202a的图像特征,生成图像202a对应的目标查询特征100b。本申请实施例中的目标图像识别模型100a是基于已训练的历史图像识别模型100c所训练得到的,故目标图像识别模型100a的模型功能包括但不限于历史图像识别模型100c的模型功能,且目标图像识别模型100a的模型功能对应的功能效果,优于历史图像识别模型100c的模型功能独有的功能效果,上述模型功能包括但不限于查询特征(例如目标查询特征100b)的图像信息表征效果,优于历史特征(例如历史查询特征)的图像信息表征效果。
请再参见图2,目标查询特征100b可以包括目标局部特征1001b,该目标局部特征1001b对应的特征维度,等于通过历史图像识别模型100c所生成的历史特征(如历史查询特征)对应的特征维度,且目标局部特征1001b与历史查询特征具有相似关联关系,故业务服务器100在得到目标局部特征1001b之后,无需再通过历史图像识别模型100c生成查询图像对应的历史查询特征,可以直接将目标局部特征1001b替代历史查询特征。可以理解的是,目标查询特征100b对应的特征维度大于历史查询特征对应的特征维度,故目标查询特征100b针对查询图像的图像信息的表征效果,优于历史查询特征针对查询图像的图像信息的表征效果,故目标查询特征100b可以提高针对查询图像的检索准确率。
进一步地,业务服务器100获取目标图像检索库100e,如图2所示,目标图像检索库100e可以包括目标素材图像以及目标素材图像对应的目标素材特征,目标图像检索库100e可以包括一张或多张目标素材图像,本申请实施例不对目标素材图像的数量进行限制。其中,目标素材特征是指通过目标图像识别模型100a所生成的目标素材图像对应的特征。在图2中,以图像1001f、图像1002f、…、图像100nf示例目标素材图像,则目标素材特征可以包括通过目标图像识别模型100a所生成的图像1001f对应的特征1001e、通过目标图像识别模型100a所生成的图像1002f对应的特征1002e、…、通过目标图像识别模型100a所生成的图像100nf对应的特征100ne,n为正整数。进一步地,业务服务器100可以根据目标查询特征100e与各个目标素材特征之间分别对应的特征距离,从目标图像检索库100e中获取关联目标素材图像,如图2所示例,将图像1002f、…、图像100nf确定为关联目标素材图像。针对目标查询特征以及目标素材特征之间的特征距离的描述,以及根据特征距离确定关联目标素材图像的描述,请参见下文图3所对应的实施例中的描述,此处暂不展开叙述。可以理解的是,目标图像检索库100e中除了存储有目标素材图像以及目标素材特征之外,还可以存储有其他数据,例如目标素材图像对应的图像标识,此处不对目标图像检索库100e中所包含的数据进行限定,可以根据实际应用场景存储数据。
进一步地,业务服务器100获取历史图像检索库100h,如图2所示,历史图像检索库100h可以包括历史素材图像以及历史素材图像对应的历史素材特征,历史图像检索库100h可以包括一张或多张历史素材图像,本申请实施例不对历史素材图像的数量进行限制。其中,历史素材特征是指通过历史图像识别模型100c所生成的历史素材图像对应的特征。在图2中,以图像1001i、图像1002i、…、图像100mi示例历史素材图像,则历史素材特征可以包括通过历史图像识别模型100c所生成的图像1001i对应的特征1001h、通过历史图像识别模型100c所生成的图像1002i对应的特征1002h、…、通过历史图像识别模型100c所生成的图像100mi对应的特征100mh,m为正整数。进一步地,业务服务器100可以根据目标局部特征1001b与各个历史素材特征之间分别对应的特征距离,从历史图像检索库100h中获取关联历史素材图像,如图2所示例,将图像1001i、…、图像1002i确定为关联历史素材图像。针对目标查询特征以及历史素材特征之间的特征距离的描述,以及根据特征距离确定关联历史素材图像的描述,请参见下文图3所对应的实施例中的描述,此处暂不展开叙述。可以理解的是,历史图像检索库100h中除了存储有历史素材图像以及历史素材特征之外,还可以存储有其他数据,例如历史素材图像对应的图像标识,此处不对历史图像检索库100h中所包含的数据进行限定,可以根据实际应用场景存储数据。
进一步地,业务服务器100综合考虑两个图像检索库(即图2中的目标图像检索库100e以及历史图像检索库100h)中的关联素材图像,该关联素材图像包括图2所示例的图像1001i、图像1002i、…、图像1002f以及图像100nf,可以根据每个关联素材图像与查询图像之间分别对应的图像距离,确定用于响应查询图像的推荐素材图像。如图2所示,推荐素材图像可以包括图像1002i、图像1002f以及100nf,其中图像1002i来自于历史图像检索库100h,图像1002f以及100nf均来自目标图像检索库100e。其中,关联素材图像以及查询图像之间的图像距离的描述,以及基于图像距离确定推荐素材图像的描述,请参见下文图3所对应的实施例中的描述,此处暂不展开叙述。
进一步地,业务服务器100将推荐素材图像返回至终端设备200a,如图2所示,当终端设备200a获取到业务服务器100返回的推荐素材图像后,用户201a可以通过终端设备200a对应的显示屏查看该推荐素材图像。
可以理解的是,图2中所展示的界面以及控件仅仅是一些可供参考的表现形式,在实际业务场景中,开发人员可以根据产品需求来进行相关设计,本申请实施例对涉及到的界面和控件的具体形式不做限制。
上述可知,本申请实施例不仅可以从目标图像检索库中获取与目标素材特征相关联的关联目标素材图像,还可以从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像,即在存在双图像检索库(即目标图像检索库以及历史图像检索库)的场景下,且目标素材特征(属于高维素材特征)以及历史素材特征(属于低维素材特征)分别对应的特征维度不相同的场景下,本申请实施例无需对历史图像检索库中的历史素材特征进行更新,可以根据目标查询特征中的目标局部特征在历史图像检索库中进行图像检索,故可以降低计算资源的消耗以及降低更新时间成本;此外,通过目标查询特征(属于高维查询特征),可以准确表述图像检索要求,进而可以提高针对查询图像的检索准确率。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。该数据处理方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由业务服务器执行为例进行说明。如图3所示,该数据处理方法至少可以包括以下步骤S101-步骤S104。
步骤S101,获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
对于已经训练好的模型,当仅需要更新部分网络参数或增加新样本数据重新训练网络参数等任务均为微调学习,微调的目的是为了在原始模型参数上获得更好的模型。在本申请实施例中,历史图像识别模型可以为原始模型,目标图像识别模型可以为对原始模型(即历史图像识别模型)进行微调学习后,得到的更好的模型。
特征扩张是指特征向量的维度增加,如特征向量(embedding)的维度从32维增加到64维。在AI模型中,用于表征图像信息的向量维度通常是越大,特征表征效果越好,另一方面大维度特征向量需要更多的存储空间。
本申请实施例基于微调学习以及特征扩张展开描述,具体的,请一并参见图4,图4是本申请实施例提供的一种数据处理的场景示意图。如图4所示,业务服务器获取查询图像30a,并将查询图像30a输入至目标图像识别模型30b,通过目标图像识别模型30b生成查询图像30a对应的目标查询特征30c。其中,目标图像识别模型30b是基于已训练的历史图像识别模型30f所训练得到的,在本申请实施例中,用于对图像进行识别处理的模型,称为图像识别模型,目标图像识别模型30b以及历史图像识别模型30f均属于图像识别模型,目标图像识别模型30b以及历史图像识别模型30f分别对应的模型结构是一致的,区别在于目标图像识别模型30b所包含的目标特征连接层的特征连接通道数,大于历史图像识别模型30f所包含的特征连接层的特征连接通道数,所以通过目标图像识别模型30b所得到的目标特征(包括上述的目标查询特征30c以及目标素材特征)对应的特征维度,均大于通过历史图像识别模型30f所得到的历史特征(包括历史查询特征以及历史素材特征)对应的特征维度。
需要说明的是,本申请实施例不对图像识别模型(包括目标图像识别模型30b以及历史图像识别模型30f)的模型类型进行限定,可以为任意一种能够进行图像识别处理的模型,即可以根据实际应用场景进行设定。此外,本申请实施例不对图像识别模型的模型结构进行限定,可以根据实际应用场景对模型结构进行设定。
本申请实施例将目标图像识别模型30b所包含的特征连接通道划分为历史特征连接通道以及目标特征连接通道,其中,历史特征连接通道对应于历史图像识别模型30f中的(整体)特征连接通道,又由于目标图像识别模型30b是基于历史图像识别模型30f所训练得到的,所以由通过历史特征连接通道所生成的目标局部特征301c,与历史查询特征存在相似关联关系,即两个特征对应的特征距离接近。在本申请实施例中,用于进行特征维度扩张的特征连接通道,称为目标特征连接通道,即目标特征对应的特征维度与历史特征对应的特征维度的维度差,等于目标特征连接通道数。本申请实施例不对历史特征连接通道数以及目标特征连接通道数进行限定,实际应用时,可以根据场景进行设定。
需要说明的是,本申请实施例不对历史特征连接通道以及目标特征连接通道的通道顺序进行设定,只需该历史特征连接通道为连续通道即可,可选的,历史特征连接通道可以位于目标特征连接通道之前,此时,目标局部特征是目标查询特征中的前置维度(等于历史特征连接通道数)特征;可选的,历史特征连接通道可以位于目标特征连接通道之后,此时,目标局部特征是目标查询特征中的后置维度(等于历史特征连接通道数)特征;可选的,历史特征连接通道可以位于目标特征连接通道中间,此时,目标局部特征是目标查询特征中的中间维度(等于历史特征连接通道数)特征。
为了便于理解以及叙述,本申请实施例在图4中设定目标图像识别模型30b的目标特征连接层的特征连接通道数为64(即图2中的64通道),设定历史图像识别模型30f的特征连接层的特征连接通道数为32(即图2中的32通道)。同理,为了便于理解以及叙述,在图4中将目标图像识别模型30b的目标特征连接层的前32通道,设定为对应于历史图像识别模型30f的特征连接层的历史特征连接通道,此时,目标局部特征301c的特征维度为32维,目标查询特征30c的特征维度为64维,且目标局部特征301c是目标查询特征30c的前32维特征,同时,目标查询特征30c中的后32维特征是目标特征连接通道所生成的特征。
可以理解的是,目标查询特征30c是用于表征查询图像30a的高维语义向量,而历史查询特征是用于表征查询图像30a的低维语义向量,所以目标查询特征30c的图像信息表征效果强于历史查询特征的图像信息表征效果。
步骤S102,基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征。
具体的,本申请实施例中的目标图像检索库可视为电子化的文件柜——存储电子文件(本申请可包括目标素材图像以及目标素材特征等)的处所,业务服务器可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
请结合图4以及步骤S101,可知通过目标图像识别模型30b所生成的目标素材图像对应的目标素材特征均为64维,等同于图4中的64维素材特征,故目标图像检索库30e中的目标素材特征(64维素材特征),相比于历史素材特征(32维素材特征)均为高维素材特征。
业务服务器在生成目标查询特征30c后,可以对目标查询特征30c以及目标素材特征进行相似计算,得到两个特征对应的相似度。可以理解的是,目标查询特征30c以及目标素材特征之间的相似度越大,表明目标查询特征30c以及目标素材特征之间的特征距离越小,进而可以说明查询图像与目标素材图像之间的图像距离小,即查询图像与目标素材图像可以为相似图像或相同图像;反之,目标查询特征30c以及目标素材特征之间的相似度越小,表明目标查询特征30c以及目标素材特征之间的特征距离越大,进而可以说明查询图像与目标素材图像之间的图像距离大,即查询图像与目标素材图像为不同图像。
进一步,业务服务器可以将特征距离小于特征距离阈值的目标素材图像确定为关联目标素材图像,例如从目标图像检索库30e中确定特征距离小于0.2(特征距离阈值)的目标素材特征为关联目标素材图像;或者是,将相似度大于相似度阈值的目标素材图像确定为关联目标素材图像;还可以是,按照特征距离从小至大的顺序,从目标素材图像中获取与预先设定数量的相符的关联目标素材图像,例如从目标图像检索库30e中确定特征距离排在前十的目标素材图像为关联目标素材图像。
可以理解的是,本申请实施例不对从目标图像检索库30e中检索关联目标素材图像的方式进行限定,可以为暴力搜索方法(适于目标图像检索库30e中的目标素材特征数量不多的场景下,例如1000个目标素材特征);也可以为暴力搜索优化方法,(适于目标图像检索库30e中的目标素材特征数量很多的场景下,例如上亿的目标素材特征),例如图像分桶检索方法,一个分桶对应于一个聚类。针对上述两种方式的描述,请参见下文图5以及图7分别对应的实施例中的描述,此处暂不展开描述。
可以理解的是,本申请实施例不对获取目标查询特征30c以及目标素材特征之间的特征距离的方式进行限定,可以采用欧氏距离、余弦相似度、杰卡德相似度(Jaccard相似度)等算法,可以根据实际应用场景对获取特征距离的方法进行设定。
步骤S103,基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征。
具体的,本申请实施例中的历史图像检索库可视为另一电子化的文件柜——存储电子文件(本申请可包括历史素材图像以及历史素材特征等)的处所。可以理解的是,历史图像检索库以及目标图像检索库均为图像检索库,两者的区别在于建库时间戳不同,历史图像检索库的建库时间戳早于目标图像检索库的建库时间戳,但两个图像检索库可以同时存在,且历史图像检索库可以先于目标图像检索库淘汰,即销库。在仅有历史图像检索库的场景下,用户通过终端设备将图像或视频上传至业务服务器,此时业务服务器将用户上传的媒体数据存储于历史图像检索库中,并作为历史素材图像;当存在双图像检索库时,用户上传的媒体数据(包括图像以及视频),将被存储于目标图像检索库中,生成目标素材图像。
请结合图4以及步骤S101,可知通过历史图像识别模型30f所生成的历史素材图像对应的历史素材特征均为32维,等同于图4中的32维素材特征,故历史图像检索库30d中的历史素材特征(32维素材特征),相比于目标素材特征(64维素材特征)均为低维素材特征。
在生成目标查询特征30c后,业务服务器可以获取与历史查询特征具有相似关联关系的目标局部特征301c,进一步,可以对目标局部特征301c以及历史素材特征进行相似计算,得到两个特征对应的相似度。可以理解的是,目标局部特征301c以及历史素材特征之间的相似度越大,表明目标局部特征301c以及历史素材特征之间的特征距离越小,进而可以说明查询图像与历史素材图像之间的图像距离小,即查询图像与历史素材图像可以为相似图像或相同图像;反之,目标局部特征301c以及历史素材特征之间的相似度越小,表明目标局部特征301c以及历史素材特征之间的特征距离越大,进而可以说明查询图像与历史素材图像之间的图像距离大,即查询图像与历史素材图像为不同图像。
进一步,业务服务器可以将特征距离小于特征距离阈值的历史素材图像确定为关联历史素材图像,例如从历史图像检索库30d中确定特征距离小于0.3(特征距离阈值)的历史素材特征为关联历史素材图像;或者是,将相似度大于相似度阈值的历史素材图像确定为关联历史素材图像;还可以是,按照特征距离从小至大的顺序,从历史素材图像中获取与预先设定数量的相符的关联历史素材图像,例如从历史图像检索库30d中确定特征距离排在前20的历史素材图像为关联历史素材图像。
可以理解的是,同步骤S102中所述,本申请实施例不对从历史图像检索库30d中检索关联历史素材图像的方式进行限定,也不对目标局部特征301c以及历史素材特征之间的特征距离的方式进行限定。
步骤S104,在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
具体的,本申请实施例采用双图像检索库(包括历史图像检索库以及目标图像检索库)为查询图像搜索推荐素材图像,故在获得两个索引系统返回的检索结果(包括关联目标素材图像以及关联历史素材图像)后,可以先合并检索结果,通过检索结果分别对应的特征距离,对所有返回的检索结果根据特征距离从小到大进行排序,根据排序结果确定针对查询图像的推荐素材图像。
可选的,业务服务器可以在图像距离的基础上,再基于关联历史素材图像以及关联目标素材图像分别对应的选择权重,确定用于响应查询图像的推荐素材图像,例如业务服务器优先选择关联目标素材图像,则可以将关联目标素材图像对应的选择权重设置为小于0.5的系数a1,将关联历史素材图像对应的选择权重设置为大于0.5的系数a2,此时,业务服务器基于图像距离以及选择系数,在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。例如业务服务器将关联历史素材图像对应的图像距离以及关联历史素材图像对应的选择权重进行求和处理,得到针对关联历史素材图像的历史推荐结果,将关联目标素材图像对应的图像距离以及关联目标素材图像对应的选择权重进行求和处理,得到针对关联目标素材图像的目标推荐结果,将目标推荐结果与历史推荐结果进行对比,若目标推荐结果小于历史推荐结果,则选择关联目标素材图像,若目标推荐结果等于或大于历史推荐结果,则选择关联历史素材图像。
可选的,若优先选择关联目标素材图像,则业务服务器可以将关联目标素材图像对应的选择权重设置为小于1的系数a3,将关联历史素材图像对应的选择权重设置为大于1的系数a4,此时,业务服务器基于图像距离以及选择系数,在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。例如业务服务器将关联历史素材图像对应的图像距离乘以关联历史素材图像对应的选择权重,得到针对关联历史素材图像的历史推荐结果,将关联目标素材图像对应的图像距离乘以关联目标素材图像对应的选择权重,得到针对关联目标素材图像的目标推荐结果,进一步地,业务服务器将目标推荐结果与历史推荐结果进行对比,若目标推荐结果小于历史推荐结果,则选择关联目标素材图像,若目标推荐结果等于或大于历史推荐结果,则选择关联历史素材图像。可选的,业务服务器还可以对关联历史素材图像对应的图像距离以及关联历史素材图像对应的选择权重进行加权求和处理,得到针对关联历史素材图像的历史推荐结果,对关联目标素材图像对应的图像距离以及关联目标素材图像对应的选择权重进行加权求和处理,得到针对关联目标素材图像的目标推荐结果,然后将历史推荐结果与目标推荐结果进行对比,后续过程与上述一致,故不进行赘述。
在本申请实施例中,计算机设备通过目标图像识别模型,可以生成查询图像对应的目标查询特征,其中,通过目标图像识别模型是基于已训练的历史图像识别模型所训练得到的,可知目标图像识别模型的模型功能可以包括历史图像识别模型的模型功能,且目标图像识别模型的模型功能对应的功能效果可以优于历史图像识别模型的模型功能的功能效果;通过目标查询特征对应的特征维度大于历史查询特征对应的特征维度,可知目标查询特征所记录的图像信息,可以优于历史查询特征所记录的图像信息;通过目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,可知目标局部特征可以替代历史查询特征进行图像搜索处理;进一步地,基于目标素材特征,计算机设备可以从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;此外,基于历史素材特征,可以从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;进一步地,在关联历史素材图像以及关联目标素材图像中,可以确定用于响应查询图像的推荐素材图像。综上所述,本申请实施例不仅可以生成记录更多图像信息的目标查询特征,进而可以提高针对查询图像的检索准确率;还可以通过目标局部特征支持检索关联历史素材图像,故可以在存在历史图像检索库时,避免对历史素材图像库中的历史素材特征进行更新处理,进而可以降低计算资源的消耗以及降低更新时间成本。
请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由业务服务器执行为例进行说明。如图5所示,该方法至少可以包括以下步骤。
步骤S201,获取目标素材图像,获取目标素材图像对应的图像标识。
具体的,业务服务器需要先为图像建立索引关系,才能将该图像作为素材图像,进而在用户进行图像检索时,该图像才能被匹配。请一并参见图6,图6是本申请实施例提供的一种数据处理的场景示意图。如图6所示,业务服务器获取目标素材图像50a,进一步,获取该目标素材图像50a对应的图像标识501a,如图5所示例的标识Jhhgggnhiiiiu142。可以理解的是,图像标识可以是任意一种能够用于标识该目标素材图像50a的信息,例如图像标识是业务服务器通过哈希算法对目标素材图像50a的素材名称或存储地址进行哈希运算所生成的哈希值。
步骤S202,将目标素材图像输入至目标图像识别模型,通过目标图像识别模型对目标素材图像进行特征识别处理,生成目标素材特征。
具体的,步骤S202的具体过程可以参见下文步骤S204中的描述,两个步骤的区别仅在于输入至目标图像识别模型中的图像不同,本步骤将目标素材图像输入至目标图像识别模型中,故在本步骤中生成目标素材图像对应的目标素材特征,如图6中所示的目标素材特征50c,其为一个64维的特征向量;步骤S204将查询图像输入至目标图像识别模型,故生成查询图像对应的目标查询特征,其为另一个64维的特征向量,故此处不进行赘述。
步骤S203,将目标素材图像对应的图像标识作为索引键,将目标素材特征作为索引值,根据索引键以及索引值生成索引表,将索引表存储于目标图像检索库。
具体的,请再参见图6,业务服务器将目标素材图像50a对应的图像标识(如图6中的标识501a)作为索引键,将目标素材特征50c作为索引值,故可以生成包括该索引键以及索引值的索引键值对,进一步,可以将生成的索引键值对存储至目标图像检索库50e中的索引表501e中。可以理解的是,本申请实施例仅以目标素材图像50a示例为图像建立索引关系的过程,业务服务器为其他用户上传的图像建立索引关系并将其确定为目标素材图像的过程,可以参见上述过程。
本申请实施例不对历史图像素材库50d中的历史素材特征进行更新处理。
步骤S204,获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
具体的,业务服务器将查询图像输入至目标图像识别模型;目标图像识别模型包括特征卷积层、特征池化层以及目标特征连接层;目标特征连接层对应的特征连接通道数,大于历史图像识别模型中的历史特征连接层对应的特征连接通道数;通过特征卷积层对查询图像进行特征卷积处理,生成查询图像对应的待池化查询特征,将待池化查询特征输入至特征池化层;通过特征池化层对待池化查询特征进行特征池化处理,生成查询图像对应的待连接查询特征,将待连接查询特征输入至目标特征连接层;通过目标特征连接层对待连接查询特征进行特征连接处理,生成目标查询特征。
在本申请实施例中,不对目标图像识别模型以及历史图像识别模型分别对应的模型类型进行限定,可以由任意一种或多种神经网络模型组成,如条件随机场(ConditionalRandom Fields,CRFs)、卷积神经网络(Convolutional Neural Networks,CNN)、全卷积网络(Fully Convolutional Networks,FCNs)等。同理,本申请实施例不对目标图像识别模型以及历史图像识别模型分别对应的模型结构进行限定,可以根据实际应用场景对模型结构进行设定。
为了便于理解,本申请实施例以目标图像识别模型以及历史图像识别模型均为残差网络示例叙述,进一步地,请一并参见表1以及表2,表1是本申请实施例提供的一种历史图像识别模型的结构示意表,表2是本申请实施例提供的一种目标图像识别模型的结构示意图。其中,表1以及表2均为残差网络ResNet-101的网络结构,目标图像识别模型以及历史图像识别模型分别对应的模型结构的区别,仅在于表1中的全连接层1(Fully ConnectedLayer,FC1,等于上述的特征连接层)对应的特征连接通道(为32通道),小于表2中的全连接层2(Fully Connected Layer,FC2,等于上述的目标特征连接层)对应的特征连接通道(为64通道),故目标查询特征对应的特征维度大于历史查询特征对应的特征维度。此处仅对表1中的各个网络层进行简单解释,表2中的各个层的含义可以参照下面的描述。
该表1中可以包括卷积层(Layer name)、输出图像尺寸(Output size)以及每一个卷积层中的卷积信息。如表1所示,该历史图像识别模型可以包括7个卷积网络层,具体可以包括卷积网络层1(例如,Conv1)、卷积网络层2(例如,Conv2_x)、卷积网络层3(例如,Conv3_x)、卷积网络层4(例如,Conv4_x)、卷积网络层5(例如,Conv5_x)、卷积网络层6(例如,Pool,即池化层)以及卷积网络层7(例如,FC1,即全连接层1)。本申请将卷积网络层1至卷积网络层5作为特征卷积层,用于对图像进行特征卷积处理;将卷积网络层6作为特征池化层,用于对特征卷积层输出的待池化特征进行特征池化处理;将卷积网络层7作为特征连接层,用于对特征池化层输出的待连接特征进行特征连接处理,输出图像对应的32维特征向量。
如表1所示,卷积网络层1中具有64个7x7的卷积核,且步幅为2;卷积网络层2、卷积网络层3、卷积网络层4以及卷积网络层5均为一种残差块(blocks),例如,卷积网络层2中包括一个最大池化层(步幅为2的3x3的池化层)以及3个残差块,且每个残差块均包括3层,具体可以包括64个1x1的卷积核、64个3x3的卷积核、256个1x1的卷积核。其中,全连接层1中的32可以为学习的类别数量。具体请参见下述表1:
表1
Figure BDA0003263607440000291
表2
Figure BDA0003263607440000292
Figure BDA0003263607440000301
其中,业务服务器通过目标图像识别模型生成查询图像对应的目标查询特征,可以参见上文描述的历史图像识别模型对图像的特征识别处理过程,此处不进行赘述。
步骤S205,基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征。
具体的,业务服务器在目标图像检索库中获取索引表;索引表包括索引键以及索引值,索引键由目标素材图像对应的图像标识生成,索引值由目标素材特征生成;获取目标查询特征以及索引值之间的特征距离,将特征距离小于特征距离阈值的索引值确定为关联索引值;将关联索引值对应的索引键确定为关联索引键,根据关联索引键,在目标图像检索库中获取关联目标素材图像。
可选的,按照各个索引值分别对应的特征距离的升序,业务服务器对每个索引值对应的目标素材特征进行排序,将排序后的目标素材特征中,属于预设序号的目标素材特征确定为关联目标素材特征,其中,预设序号可以表示业务服务器事先预设的素材数量,例如预设序号为10,表征将排序后的目标素材特征中的前10个目标素材特征确定为关联目标素材特征;进一步,将关联目标素材特征对应的目标素材特征确定为关联目标素材图像。
步骤S206,基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征。
具体的,请再参见图6,本申请实施例存在双索引表,即针对目标素材图像对应的目标素材特征的索引表501e,以及针对历史素材图像对应的历史素材特征的索引表501d,索引表501d存储于历史图像检索库50d中。索引表501d中的数据生成过程可以包括:业务服务器将历史素材图像对应的图像标识作为索引键,将历史素材特征作为索引值,故可以生成包括该索引键以及索引值的索引键值对,进一步,可以将生成的索引键值对存储至历史图像检索库50d中的索引表501d中。
业务服务器在历史图像检索库50d中获取索引表501d;索引表501d包括索引键以及索引值,索引键由历史素材图像对应的图像标识生成,索引值由历史素材特征生成;获取目标局部特征以及索引值之间的特征距离,将特征距离小于特征距离阈值的索引值确定为关联索引值;将关联索引值对应的索引键确定为关联索引键,根据关联索引键,在历史图像检索库50d中获取关联历史素材图像。
可选的,按照各个索引值分别对应的特征距离的升序,业务服务器对每个索引值对应的历史素材特征进行排序,将排序后的历史素材特征中,属于预设序号的历史素材特征确定为关联历史素材特征,其中,预设序号可以表示业务服务器事先预设的素材数量,例如预设序号为20,表征将排序后的历史素材特征中的前20个历史素材特征确定为关联历史素材特征;进一步,将关联历史素材特征对应的历史素材特征确定为关联历史素材图像。
步骤S207,在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
具体的,业务服务器将关联历史素材图像以及关联目标素材图像确定为候选素材图像;候选素材图像的数量为至少两张;获取每张候选素材图像的关联素材特征分别与目标查询特征之间的特征距离;根据每张候选素材图像分别对应的特征距离,对至少两张候选素材图像进行排序处理;从排序后的至少两张候选素材图像中,确定用于响应查询图像的推荐素材图像。
可选的,业务服务器将特征距离等于特征距离阈值的候选素材图像确定为推荐素材图像。可以理解的是,在本申请中,不同步骤中的特征距离阈值可以相同,也可以相同。
综上所述,本申请实施例不仅可以生成记录更多图像信息的目标查询特征,进而可以提高针对查询图像的检索准确率;还可以通过目标局部特征支持检索关联历史素材图像,故可以在存在历史图像检索库时,避免对历史素材图像库中的历史素材特征进行更新处理,进而可以降低计算资源的消耗以及降低更新时间成本。
请参见图7,图7是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由业务服务器执行为例进行说明。如图7所示,该方法至少可以包括以下步骤。
步骤S301,获取至少两张目标素材图像,将至少两张目标素材图像分别输入至目标图像识别模型。
步骤S302,通过目标图像识别模型,对至少两张目标素材图像分别进行特征识别处理,生成至少两张目标素材图像分别对应的目标素材特征。
具体的,结合步骤S301-步骤S302叙述,目标素材图像包括至少两张目标素材图像,目标素材特征包括至少两张目标素材图像分别对应的目标素材特征。
其中,业务服务器生成至少两张目标素材图像分别对应的目标素材特征的具体过程,可以参见上文图3对应的实施例中针对生成查询图像对应的目标查询特征的描述,两者的区别仅在于目标图像识别模型所识别的图像不同,其识别处理过程是一致的,故此处不进行赘述;另外,还可以参见上文图5对应的实施例中针对生成查询图像对应的目标查询特征的描述,两者的区别仅在于目标图像识别模型所识别的图像不同,其识别处理过程是一致的。
步骤S303,对至少两个目标素材特征进行聚类处理,生成A个目标特征聚类簇以及A个目标特征聚类簇分别对应的目标聚类中心特征;A为大于1的正整数,且A小于或等于至少两个目标素材特征的总数量。
具体的,请一并参见图8,图8是本申请实施例提供的一种数据处理的场景示意图。如图8所示,在本申请实施例中,至少两张目标素材图像70e可以包括图像701e、图像702e、…、图像703e,至少两个目标素材特征可以包括图像701e对应的目标素材特征701f、图像702e对应的目标素材特征702f、…、图像703e对应的目标素材特征703f,其中,至少两张目标素材图像70e以及至少两个目标素材特征均可以存储目标图像检索库70f。可选的,至少两张目标素材图像70e可以分别存储于云服务器或其他设备,此时,目标图像检索库70f存储有至少两张目标素材图像70e分别对应的与存储地址相关联的数据(例如目标素材特征对应的图像标识)即可。
进一步,业务服务器对至少两个目标素材特征进行聚类处理,生成至少一个目标特征聚类簇以及至少一个目标特征聚类簇分别对应的目标聚类中心特征,如图8所示,至少一个目标特征聚类簇可以包括由目标素材特征701f、…、目标素材特征703f所组成的第一目标特征聚类簇,…,至少由目标素材特征702f所组成的第二目标特征聚类簇,至少一个目标聚类中心特征可以包括第一目标特征聚类簇对应的目标聚类中心特征701g,…,第二目标特征聚类簇对应的目标聚类中心特征701h,可以理解的是,目标聚类中心特征701g以及目标聚类中心特征701h分别对应的特征维度,等于目标素材特征对应的特征维度。
请再参见图8,业务服务器可以获取至少两张历史素材图像70a,至少两张历史素材图像70a可以包括图像701a、图像702a、…、图像703a,至少两张历史素材图像70a分别对应的历史素材特征可以包括图像701a对应的历史素材特征701b、图像702a对应的历史素材特征702b、…、图像703a对应的历史素材特征703b,其中,至少两张历史素材图像70a以及至少两个历史素材特征均可以存储历史图像检索库70b。可选的,至少两张历史素材图像70a可以分别存储于云服务器或其他设备,此时,历史图像检索库70b存储有至少两张历史素材图像70a分别对应的与存储地址相关联的数据(例如历史素材特征对应的图像标识)即可。
进一步,业务服务器对至少两个历史素材特征进行聚类处理,生成至少一个历史特征聚类簇以及至少一个历史特征聚类簇分别对应的历史聚类中心特征,如图8所示,至少一个历史特征聚类簇可以包括由历史素材特征701b、…、历史素材特征702b所组成的第一历史特征聚类簇,…,至少由历史素材特征703b所组成的第二历史特征聚类簇,至少一个历史聚类中心特征可以包括第一历史特征聚类簇对应的历史聚类中心特征701c,…,第二历史特征聚类簇对应的历史聚类中心特征701d,可以理解的是,历史聚类中心特征701c以及历史聚类中心特征701d分别对应的特征维度,等于历史素材特征对应的特征维度。
需要说明的是,本申请实施例不对聚类方法进行限定,可以采用K-means聚类算法、层次凝聚聚类算法(Hierarchical Agglomerative Clustering)以及最大最小距离聚类算法等,应当根据实际应用场景确定合适的聚类算法。
步骤S304,将A个目标特征聚类簇以及A个目标聚类中心特征关联存储于目标图像检索库。
具体的,A个目标特征聚类簇包括目标特征聚类簇Cd,d为正整数且d小于或等于A。从目标特征聚类簇Cd中获取目标素材特征Ef,f为正整数,且f小于或等于目标特征聚类簇Cd中目标素材特征的总数量;获取目标素材特征Ef对应的目标素材图像Bf,获取目标素材图像Bf对应的图像标识;将目标素材图像Bf对应的图像标识作为索引键,将目标素材特征Ef作为索引值,根据索引键以及索引值生成与目标特征聚类簇Cd相关联的索引表;将每个目标聚类中心特征以及每个目标聚类中心特征分别对应的索引表,关联存储于目标图像检索库。
业务服务器为每个目标特征聚类簇中的每个目标素材特征建立索引,可以理解的是,本步骤中为每个目标特征聚类簇中的每个目标素材特征建立索引的具体过程,与上文图5所对应的实施例中步骤S203中建立索引表的过程一致,故此处不展开叙述,可以参照上文步骤S203中的描述。
请结合图8以及步骤S303,业务服务器可以生成与第一目标特征聚类簇相关联的索引表702g,索引表702g可以包括以目标素材特征701f为索引值,以图像701e对应的图像标识为索引键的索引键值对、…、以目标素材特征703f为索引值,以图像703e对应的图像标识为索引键的索引键值对;业务服务器可以生成与第二目标特征聚类簇相关联的索引表702h,索引表702h可以至少包括以目标素材特征702f为索引值,以图像702e对应的图像标识为索引键的索引键值对。进一步,业务服务器将目标聚类中心特征701g以及索引表702g关联存储于目标图像检索库70f,…,将目标聚类中心特征701h以及索引表702h关联存储于目标图像检索库70f。可以理解的是,图8中为了简洁以及美观,没有标注索引键。
请再参见图8,业务服务器为每个历史特征聚类簇中的每个历史素材特征建立索引,可以理解的是,本步骤中为每个历史特征聚类簇中的每个历史素材特征建立索引的具体过程,与上文图5所对应的实施例中步骤S203中建立索引表的过程一致,故此处不展开叙述,可以参照上文步骤S203中的描述。
请结合图8以及步骤S303,业务服务器可以生成与第一历史特征聚类簇相关联的索引表702c,索引表702c可以包括以历史素材特征701b为索引值,以图像701a对应的图像标识为索引键的索引键值对、…、以历史素材特征703b为索引值,以图像703a对应的图像标识为索引键的索引键值对;业务服务器可以生成与第二历史特征聚类簇相关联的索引表702d,索引表702d可以至少包括以历史素材特征702b为索引值,以图像702a对应的图像标识为索引键的索引键值对。进一步,业务服务器将历史聚类中心特征701c以及索引表702c关联存储于历史图像检索库70b,…,将历史聚类中心特征701d以及索引表702d关联存储于历史图像检索库70b。
步骤S305,获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
对图像特征提取模型的特征向量进行维度扩张是一种模型优化方法,由于扩张后的特征维度更高,可以记录更多的图像信息,故利用该扩张后的特征向量可以提升检索准确率。然而在大规模检索库存下,特征扩展面临的问题是需要把历史素材库存存储的低维素材特征更新到高维素材特征,然后才能支持高维查询特征的检索。这种更新方式需要消耗极多处理器计算资源以及更新时间,不具有业务友好性。此外,库存素材是与日俱增的,旧素材库存将逐渐淘汰(如对于一个月的库存,当本月库存来临,上一个的库存则失效,不再支持检索),全量更新旧库存中的素材特征,也常常出现素材特征更新后不久就淘汰的问题,故更新收益不大。本申请实施例提出一种解决方法:在保持历史素材库存的低维素材特征(即历史素材特征)的同时,得到新库存(即目标图像检索库)中的新素材(可以等同于本申请中的目标素材图像)对应的高维素材特征(即目标素材特征),同时支持查询图像对应的高维查询特征中的目标局部特征对低维素材特征的检索。
相较于历史图像识别模型,本申请实施例中的目标图像识别模型可以生成高维特征(包括高维素材特征以及高维查询特征),且高维查询特征(等于上述的目标查询特征)的部分维度特征(即目标局部特征)与历史查询特征保持相对一致,故本申请提出一种针对特征维度升级时目标查询特征在提供新检索效果的同时支持历史素材特征的检索方法。
步骤S305的具体实现过程,请参见上文图3所对应的实施例中的步骤S101,此处不进行赘述。
步骤S306,基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征。
具体的,在目标图像检索库中获取A个目标聚类中心特征;A个目标聚类中心特征包括目标聚类中心特征Ij,j为正整数且j小于或等于A;获取目标查询特征以及目标聚类中心特征Ij之间的特征距离Kj;对A个目标聚类中心特征分别对应的特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;将目标特征距离对应的目标聚类中心特征确定为关联目标聚类中心特征,获取与关联目标聚类中心特征关联存储的关联索引表;根据关联索引表,获取与目标查询特征相关联的关联目标素材图像。
步骤S307,基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征。
结合步骤S306以及步骤S307叙述,请再参见图8,业务服务器获取查询图像70i,通过目标图像识别模型生成查询图像70i对应的目标查询特征70j,该目标查询特征70j包括与历史查询特征具有相似关联关系的目标局部特征。进一步,业务服务器在目标图像检索库70f中获取至少一个目标聚类中心特征,如图8所示例的目标聚类中心特征701g、…、目标聚类中心特征701h,然后获取目标聚类中心特征701g以及目标查询特征70j之间的特征距离,…,目标聚类中心特征701h以及目标查询特征70j之间的特征距离;进一步,将多个特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;业务服务器将目标特征距离对应的目标聚类中心特征确定为关联目标聚类中心特征,如图8所示,将目标聚类中心特征701g确定为关联目标聚类中心特征,进一步,获取与关联目标聚类中心特征关联存储的关联索引表,即索引表702g。后续,业务服务器对索引表702所包含的目标素材特征以及目标查询特征进行特征距离计算,即计算目标素材特征以及目标查询特征之间的相似度,可以理解的是,该过程与上文图3所对应的实施例中步骤S102的过程一致,故此处不进行赘述。
进一步,业务服务器在历史图像检索库70b中获取至少一个历史聚类中心特征,如图8所示例的历史聚类中心特征701c、…、历史聚类中心特征701d,然后获取历史聚类中心特征701c以及目标局部特征之间的特征距离,…,历史聚类中心特征701d以及目标局部特征之间的特征距离;进一步,将多个特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;业务服务器将目标特征距离对应的历史聚类中心特征确定为关联历史聚类中心特征,如图8所示,将历史聚类中心特征701c确定为关联历史聚类中心特征,进一步,获取与关联历史聚类中心特征关联存储的关联索引表,即索引表702c。后续,业务服务器对索引表702所包含的历史素材特征以及目标局部特征进行特征距离计算,即计算历史素材特征以及目标局部特征之间的相似度,可以理解的是,该过程与上文图3所对应的实施例中步骤S102的过程一致,故此处不进行赘述。
步骤S308,在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
其中,步骤S308的具体实现过程,可以参见上文图3所对应的实施例中步骤S104的描述,此处不进行赘述。图8示例将图像703a、…、图像702e确定为用于响应查询图像的推荐素材图像。
本申请实施例针对历史图像检索库维持原始索引功能,并与目标图像检索库组成双索引系统,当目标图像检索库积累到足够库存量(可以是时间上的积累,也可以是素材数量上的积累,此处不做限定)时,历史图像检索库将被淘汰,淘汰后,索引系统仅剩目标图像检索库。
综上所述,本申请实施例不仅可以生成记录更多图像信息的目标查询特征,进而可以提高针对查询图像的检索准确率;还可以通过目标局部特征支持检索关联历史素材图像,故可以在存在历史图像检索库时,避免对历史素材图像库中的历史素材特征进行更新处理,进而可以降低计算资源的消耗以及降低更新时间成本。
请参见图9,图9是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由业务服务器执行为例进行说明。如图9所示,该方法至少可以包括以下步骤。
步骤S401,获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像。
具体的,获取至少两个正样本对,对至少两个正样本对进行均分处理,得到T个正样本对集合;T为正整数,且T小于或等于至少两个正样本对的总数量;T个正样本对集合包括正样本对集合Uv,v为正整数且v小于或等于T;正样本对集合Uv包括目标正样本对,目标正样本对包括目标基准样本图像以及与目标基准样本图像对应的目标正样本图像;样本图像集包括正样本对集合Uv中的样本图像集Op,p为正整数,且p小于或等于正样本对集合Uv中的样本图像集的总数量;获取目标基准样本图像以及剩余样本图像之间的图像距离;剩余样本图像是指剩余正样本对中的剩余基准样本图像,或剩余正样本对中的剩余正样本图像;剩余正样本对包括正样本对集合Uv中除了目标正样本对之外的正样本对;对获取到的图像距离进行排序处理,根据排序后的图像距离从剩余样本图像中确定目标剩余样本图像;将目标剩余样本图像确定为目标基准样本图像对应的目标负样本图像,将目标负样本图像以及目标正样本对确定为样本图像集Op
业务服务器获取原始数据,本申请实施例中的原始数据是至少两个正样本对,正样本对是指被标注为相同或相似的两张图像,将其作为进行训练的数据集。进一步,业务服务器将获取到的至少两个正样本对均分为T个正样本对集合,为了便于叙述以及理解,假设共20万个正样本对,将每200个正样本对分成一个正样本对集合,则共1000个正样本集合。针对每个正样本对集合,获取其中的任意一个样本,例如样本x,从该正样本对集合中获取剩余正样本对,即不包括样本x的剩下的199个正样本对,从该剩余正样本对中任意获取一张样本图像(可以为基准样本图像,也可以为正样本图像,此处不限定),作为剩余样本图像;进一步,业务服务器计算样本x与剩余样本图像之间的图像距离,本申请实施例不对图像距离算法进行限定,可以根据实际应用场景进行设定。
业务服务器在获取到199个图像距离之后,对该199个图像距离进行升序处理,将排在前面的预设数量的图像距离所对应的剩余样本图像确定为目标剩余样本图像,例如预设数量为10,则将图像距离从小至大排序后,将前面10个图像距离分别对应的剩余样本图像确定为目标剩余样本图像;进一步,业务服务器将目标剩余样本图像确定为该样本x的目标负样本图像,进而可以将目标负样本图像以及包括样本x的目标正样本对确定为一个样本图像集,该样本图像集实际是一个三元组,包括基准样本图像(Anchor)、正样本图像(Positive)以及负样本图像(Negative)。可以理解的是,一个正样本对集合确定了负样本图像后,其可以作为一个训练集,即1个batch。如上述的数字示例,1个batch包括10*200个三元组。
步骤S402,通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征。
具体的,历史图像识别模型包括历史特征卷积层、历史特征池化层以及历史特征连接层。请一并参见图10,图10是本申请实施例提供的一种数据处理的场景示意图。如图10所示,历史图像识别模型90a包括历史特征层901a以及历史特征连接层902a,其中,历史特征层901a可以包括历史特征卷积层以及历史特征池化层,图10中的样本包括基准样本图像、正样本图像以及负样本图像。其中,业务服务器通过历史图像识别模型90a,生成基准样本图像对应的历史基准预测特征901b、正样本图像对应的第一历史预测特征902b以及负样本图像对应的第二历史预测特征903b的具体过程,请参见上文图3所对应的实施例中步骤S101中的描述,因为历史图像识别模型90a与目标图像识别模型分别对应的模型结构是一致的,区别仅在于历史特征连接层902a中的特征连接通道数,小于目标图像识别模型中的目标特征连接层中的特征连接通道数,故此处不进行赘述。
步骤S403,通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数。
具体的,将基准样本图像、正样本图像以及负样本图像确定为待处理样本图像;将待处理样本图像输入至图像识别初始模型;图像识别初始模型包括初始特征卷积层、初始特征池化层以及初始目标特征连接层;其中,初始特征卷积层中的参数等于历史特征卷积层中的参数;初始特征池化层中的参数等于历史特征池化层中的参数;初始目标特征连接层包括历史特征连接通道以及目标特征连接通道,历史特征连接通道中的参数等于历史特征卷积层中的参数;通过初始特征卷积层对待处理样本图像进行特征卷积处理,生成待处理样本图像对应的待池化样本预测特征,将待池化样本预测特征输入至初始特征池化层;通过初始特征池化层对待池化样本预测特征进行特征池化处理,生成待处理样本图像对应的待连接样本预测特征,将待连接样本预测特征输入至初始目标特征连接层;通过初始目标特征连接层中的历史特征连接通道对待连接样本预测特征进行特征连接处理,生成历史局部预测特征;通过初始目标特征连接层中的目标特征连接通道对待连接样本预测特征进行特征连接处理,生成目标局部预测特征;对历史局部预测特征以及目标局部预测特征进行特征拼接处理,得到待处理样本图像对应的目标样本预测特征;目标样本预测特征包括目标基准预测特征、第一目标预测特征以及第二目标预测特征。
在训练图像识别初始模型之前,业务服务器先基于历史图像识别模型的模型参数,对图像识别初始模型中的模型参数进行初始化处理,为了便于理解以及叙述,本申请实施例以上文表1所描述的模型结构示例历史图像识别模型的模型结构,以上文表2所描述的模型结构示例图像识别初始模型的模型结构,训练图像识别初始模型前的基础准备可以包括如下几方面。
1)参数初始化:表2中的Conv1-Conv5采用历史图像识别模型的Conv1-Conv5的参数进行初始化;请再参见图10,图像识别初始模型的初始目标特征连接层包括历史特征连接通道902c以及目标特征连接通道903c,历史特征连接通道中的参数等于历史特征卷积902a中的参数,目标特征连接通道903c采用随机数作为初始化,例如由正态分布产生随机数等。
2)设置学习参数:设置学习参数为表2中的Conv1-Conv5中的参数,以及目标特征连接通道903c中的参数,历史特征连接通道902c在本申请实施例中不进行更新;可选的,设置学习参数为表2中的所有参数,此时,参数具体更新过程请参见下文图11所对应的实施例中的描述,本申请实施例暂不描述。
3)学习率:可行的,学习率=0.0005,学习率是可调整的参数,可以根据实际应用场景进行调整。
4)学习过程:对数据集进行预设轮(epoch)迭代,每轮迭代处理一次全量样本。例如步骤S401所示例的,共200个batch,每训练完1个batch,对设置的学习参数进行一次更新,当200个batch训练完毕时,业务服务器完成一次模型迭代。
请再参见图10,图像识别初始模型90c包括初始特征层901c以及初始目标特征连接层,其中,初始特征层901c可以包括初始特征卷积层以及初始特征池化层。其中,业务服务器通过图像识别初始模型90c,生成基准样本图像对应的目标基准预测特征901d、正样本图像对应的第一目标预测特征902d以及负样本图像对应的第二目标预测特征903d的具体过程,请参见上文图3所对应的实施例中步骤S101中的描述,此处不进行赘述。
步骤S404,根据历史基准预测特征、第一历史预测特征、第二历史预测特征、目标基准预测特征、第一目标预测特征以及第二目标预测特征,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;目标图像识别模型用于生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
具体的,获取历史基准预测特征以及第一历史预测特征之间的第一特征距离,获取历史基准预测特征以及第二历史预测特征之间的第二特征距离;根据第一特征距离以及第二特征距离,确定历史图像识别模型对应的历史模型损失值;获取目标基准预测特征以及第一目标预测特征之间的第三特征距离,获取目标基准预测特征以及第二目标预测特征之间的第四特征距离;获取基于历史模型损失值所生成的距离阈值,根据第三特征距离、第四特征距离以及距离阈值,确定图像识别初始模型对应的总损失值;根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,生成目标图像识别模型。
本申请对获取两个特征之间的特征距离的算法不进行限定,可以为任意一种距离算法(或相似度算法),本实施例可以采用公式(1)计算本申请实施例中的特征距离,以及损失值(包括本申请实施例涉及到的历史模型损失值以及总模型损失值)。
L=max(||xa-xp||-||xa-xn||+α,0) (1)
请再参见图10,业务服务器在计算历史模型损失值时,公式(1)中的xa可以表示历史基准预测特征,xp可以表示第一历史预测特征,xn可以表示第二历史预测特征,α是历史图像识别模型90a中的参数,该参数可以预先设置,故通过公式(1),可以获取历史模型损失值。
业务服务器获取基于历史模型损失值所生成的距离阈值,假设历史特征连接层对应的特征连接通道数为32通道,初始目标特征连接层对应的特征连接通道数为64维,此时,初始目标特征连接层对应的特征连接通道数为历史特征连接层对应的特征连接通道数的2倍,则在计算针对图像识别初始模型90c的模型中损失值时,可以将公式(1)中的α设置为A倍的历史模型损失值,其中,A∈(1,2)。业务服务器在计算总损失值时,公式(1)中的xa可以表示目标基准预测特征,xp可以表示第一目标预测特征,xn可以表示第二目标预测特征,故通过公式(1),可以获取针对图像识别初始模型90c的总损失值。
进一步地,业务服务器可以根据总损失值对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道903c中的参数进行调整,具体可以为采用随机梯度下降法,把上一步的总损失值loss进行梯度后向计算,并得到模型参数的更新值,然后更新网路如图10所示。
业务服务器记录模型每epoch下的平均loss,当该模型的平均loss持续5轮(epoch)未下降后,停止模型训练。可选的,当每epoch下的平均loss符合公式(1)时,即总损失值等于0时,停止模型训练。可选的,当模型训练的epoch次数等于预设的次数时,停止模型训练。
本申请实施例提供了一种支持目标查询特征中包含与历史查询特征存在相似关联关系的目标局部特征的模型,通过训练中指定初始目标特征连接层中的历史特征连接通道所得到的预测特征,支持历史特征连接层所得到的预测特征的相似度度量任务,同时保有初始目标特征连接层所得到的预测特征的相似性度量能力,从而可以保证目标查询特征(相较于历史查询特征,属于高维特征)中,存在可进行低维素材特征检索的部分维度(即目标局部特征)。应用时,可根据素材特征的维度选择目标查询特征或目标局部特征进行相似度计算,从而实现维度扩张后支持对历史图像检索库的检索,在降低特征更新成本的同时,可以使得后续新库存(即目标图像检索库)与新检索特征(即目标素材特征)升级到新维度上。综上所述,采用本申请,可以提高针对查询图像的检索准确率,还可以降低计算资源的消耗以及降低更新时间成本。
请参见图11,图11是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由业务服务器执行为例进行说明。如图11所示,该方法至少可以包括以下步骤。
步骤S501,获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像。
步骤S502,通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征。
步骤S503,通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数。
其中,步骤S501-步骤S503的具体实现过程,可以参见上文图9所对应的实施例中步骤S401-步骤S403的描述,此处不再进行赘述。
步骤S504,根据历史基准预测特征、第一历史预测特征以及第二历史预测特征,确定历史图像识别模型对应的历史模型损失值。
具体的,获取历史基准预测特征以及第一历史预测特征之间的第一特征距离,获取历史基准预测特征以及第二历史预测特征之间的第二特征距离;根据第一特征距离以及第二特征距离,确定历史图像识别模型对应的历史模型损失值。
步骤S505,根据历史模型损失值、目标基准预测特征、第一目标预测特征以及第二目标预测特征,确定图像识别初始模型对应的第一损失值。
具体的,获取目标基准预测特征以及第一目标预测特征之间的第三特征距离,获取目标基准预测特征以及第二目标预测特征之间的第四特征距离;获取基于历史模型损失值所生成的距离阈值,根据第三特征距离、第四特征距离以及距离阈值,确定图像识别初始模型对应的第一损失值(等于上文图9所对应的实施例中的总损失值)。
其中,步骤S504-步骤S505的具体实现过程,可以参见上文图9所对应的实施例中步骤S404的描述,此处不再进行赘述。
步骤S506,获取历史局部预测特征,根据历史局部预测特征以及历史模型损失值,确定图像识别初始模型对应的第二损失值。
具体的,历史局部预测特征包括基准样本图像对应的历史基准局部预测特征、正样本图像对应的第一历史局部预测特征以及负样本图像对应的第二历史局部预测特征。从历史基准局部预测特征、第一历史局部预测特征以及第二历史局部预测特征中确定待替换历史局部预测特征;当待替换历史局部预测特征为历史基准局部预测特征时,获取历史基准预测特征以及第一历史局部预测特征之间的第五特征距离,获取历史基准预测特征以及第二历史局部预测特征之间的第六特征距离,根据第五特征距离、第六特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;当待替换历史局部预测特征为第一历史局部预测特征时,获取历史基准局部预测特征以及第一历史预测特征之间的第七特征距离,获取历史基准局部预测特征以及第二历史局部预测特征之间的第八特征距离,根据第七特征距离、第八特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;当待替换历史局部预测特征为第二历史局部预测特征时,获取历史基准局部预测特征以及第一历史局部预测特征之间的第九特征距离,获取历史基准局部预测特征以及第二历史预测特征之间的第十特征距离,根据第九特征距离、第十特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值。
需要说明的是,本申请实施例不对历史特征连接通道以及目标特征连接通道的通道顺序进行设定,只需该历史特征连接通道为连续通道即可,可选的,历史特征连接通道可以位于目标特征连接通道之前,此时,历史局部预测特征是目标样本预测特征中的前置维度(等于历史特征连接通道数)特征;可选的,历史特征连接通道可以位于目标特征连接通道之后,此时,历史局部预测特征是目标样本预测特征中的后置维度(等于历史特征连接通道数)特征;可选的,历史特征连接通道可以位于目标特征连接通道中间,此时,历史局部预测特征是目标样本预测特征中的中间维度(等于历史特征连接通道数)特征。
请一并参见图12,图12是本申请实施例提供的一种数据处理的场景示意图。如图12所示,为了便于叙述以及理解,本申请实施例将历史特征连接通道902e、目标特征连接通道903e以及历史特征连接层902a均示例为32通道,且历史特征连接通道902e位于目标特征连接通道903e之前,可以理解的是,此时,历史基准局部预测特征901f、第一历史局部预测特征902f、第二历史局部预测特征903f、历史基准预测特征901b、第一历史预测特征902b以及第二历史预测特征903b均为32维向量,历史基准局部预测特征901f、第一历史局部预测特征902f以及第二历史局部预测特征903f,等同于图12中的虚线框中的历史局部预测特征。
本申请实施例中的第二损失值兼容了历史图像识别模型90a输出的历史预测特征(包括历史基准预测特征901b、第一历史预测特征902b以及第二历史预测特征903b),以及图像识别初始模型90e输出的历史局部预测特征(历史基准局部预测特征901f、第一历史局部预测特征902f以及第二历史局部预测特征903f),具体可以如下:首先获取历史基准局部预测特征901f、第一历史局部预测特征902f以及第二历史局部预测特征903f,业务服务器随机将上述3个特征中的一个特征确定待替换历史局部预测特征,例如将历史基准局部预测特征901f确定为待替换历史局部预测特征,则第二损失值可以由历史基准预测特征901b、第一历史局部预测特征902f以及第二历史局部预测特征903f,根据上文中的公式(1)确定。此时,业务服务器可以将公式(1)中的α设为历史模型损失值。
步骤S507,将第一损失值以及第二损失值的总和确定为图像识别初始模型的总损失值。
步骤S508,统计图像识别初始模型的历史调整次数;历史调整次数用于表征图像识别初始模型中的模型参数已被调整的次数。
步骤S509,根据总损失值以及历史调整次数,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型。
具体的,当历史调整次数不满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型;当历史调整次数满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数、目标特征连接通道中的参数以及历史特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型。
请再参见图12,本申请实施例是对图像识别初始模型90e中的所有参数进行更新,但对于历史特征连接通道902e是通过心跳机制(即心跳周期)定期更新。一种可行的方案如下:业务服务器将心跳周期设置为1个epoch中的全量batch数量的十分之几,例如全量batch共200个,则可以每100个batch学习之后,利用总损失值对历史特征连接通道902e中的参数进行更新。本申请采用历史图像识别模型的历史预测特征,更新图像识别初始模型90e中的历史特征连接通道902e的网络权重,通过权重的拷贝以及对历史局部预测特征,借助triplet loss的微调,使得在网络更新下历史局部预测特征能与历史预测特征满足triplet loss的约束,实现部分维度兼容;同时又借助目标局部预测特征学习更多图像表征信息,检索效果更好。
上述描述的是通过总损失值(包括第一损失值以及第二损失值),对历史特征连接通道902e(为定期更新)、目标特征连接通道903e以及初始特征层901e(包括初始特征卷积层以及初始特征池化层)中的参数进行更新。可选的,业务服务器通过第一损失值,对目标特征连接通道903e以及初始特征层901e中的参数进行更新,通过总损失值定期对历史特征连接通道902e中的参数进行更新。
本申请实施例提供了一种支持目标查询特征中包含与历史查询特征存在相似关联关系的目标局部特征的模型,通过训练中指定初始目标特征连接层中的历史特征连接通道所得到的预测特征,支持历史特征连接层所得到的预测特征的相似度度量任务,同时保有初始目标特征连接层所得到的预测特征的相似性度量能力,从而可以保证目标查询特征(相较于历史查询特征,属于高维特征)中,存在可进行低维素材特征检索的部分维度(即目标局部特征)。应用时,可根据素材特征的维度选择目标查询特征或目标局部特征进行相似度计算,从而实现维度扩张后支持对历史图像检索库的检索,在降低特征更新成本的同时,可以使得后续新库存(即目标图像检索库)与新检索特征(即目标素材特征)升级到新维度上。综上所述,采用本申请,可以提高针对查询图像的检索准确率,还可以降低计算资源的消耗以及降低更新时间成本。
进一步地,请参见图13,图13是本申请实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图13所示,该数据处理装置1可以包括:第一获取模块11、第二获取模块12以及确定素材模块13。
第一获取模块11,用于获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征;
第二获取模块12,用于基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征;
第二获取模块12,还用于基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征;
确定素材模块13,用于在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
其中,第一获取模块11、第二获取模块12以及确定素材模块13的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S104,这里不再进行赘述。
再请参见图13,第一获取模块11可以包括:第一输入单元111、第二输入单元112、第一生成单元113以及第二生成单元114。
第一输入单元111,用于将查询图像输入至目标图像识别模型;目标图像识别模型包括特征卷积层、特征池化层以及目标特征连接层;目标特征连接层对应的特征连接通道数,大于历史图像识别模型中的历史特征连接层对应的特征连接通道数;
第二输入单元112,用于通过特征卷积层对查询图像进行特征卷积处理,生成查询图像对应的待池化查询特征,将待池化查询特征输入至特征池化层;
第一生成单元113,用于通过特征池化层对待池化查询特征进行特征池化处理,生成查询图像对应的待连接查询特征,将待连接查询特征输入至目标特征连接层;
第二生成单元114,用于通过目标特征连接层对待连接查询特征进行特征连接处理,生成目标查询特征。
其中,第一输入单元111、第二输入单元112、第一生成单元113以及第二生成单元114的具体功能实现方式可以参见上述图5对应实施例中的步骤S204,这里不再进行赘述。
再请参见图13,数据处理装置1还可以包括:第三获取模块14、第一生成模块15以及第二生成模块16。
第三获取模块14,用于获取目标素材图像,获取目标素材图像对应的图像标识;
第一生成模块15,用于将目标素材图像输入至目标图像识别模型,通过目标图像识别模型对目标素材图像进行特征识别处理,生成目标素材特征;
第二生成模块16,用于将目标素材图像对应的图像标识作为索引键,将目标素材特征作为索引值,根据索引键以及索引值生成索引表,将索引表存储于目标图像检索库。
其中,第三获取模块14、第一生成模块15以及第二生成模块16的具体功能实现方式可以参见上述图5对应实施例中的步骤S201-步骤S203,这里不再进行赘述。
再请参见图13,第二获取模块12可以包括:第一获取单元121、第一确定单元122以及第二确定单元123。
第一获取单元121,用于在目标图像检索库中获取索引表;索引表包括索引键以及索引值,索引键由目标素材图像对应的图像标识生成,索引值由目标素材特征生成;
第一确定单元122,用于获取目标查询特征以及索引值之间的特征距离,将特征距离小于特征距离阈值的索引值确定为关联索引值;
第二确定单元123,用于将关联索引值对应的索引键确定为关联索引键,根据关联索引键,在目标图像检索库中获取关联目标素材图像。
其中,第一获取单元121、第一确定单元122以及第二确定单元123的具体功能实现方式可以参见上述图5对应实施例中的步骤S205,这里不再进行赘述。
再请参见图13,目标素材图像包括至少两张目标素材图像,目标素材特征包括至少两张目标素材图像分别对应的目标素材特征;
数据处理装置1还可以包括:第四获取模块17、第三生成模块18以及第四生成模块19。
第四获取模块17,用于获取至少两张目标素材图像,将至少两张目标素材图像分别输入至目标图像识别模型;
第三生成模块18,用于通过目标图像识别模型,对至少两张目标素材图像分别进行特征识别处理,生成至少两张目标素材图像分别对应的目标素材特征;
第四生成模块19,用于对至少两个目标素材特征进行聚类处理,生成A个目标特征聚类簇以及A个目标特征聚类簇分别对应的目标聚类中心特征;A为大于1的正整数,且A小于或等于至少两个目标素材特征的总数量;
第四生成模块19,还用于将A个目标特征聚类簇以及A个目标聚类中心特征关联存储于目标图像检索库。
其中,第四获取模块17、第三生成模块18以及第四生成模块19的具体功能实现方式可以参见上述图7对应实施例中的步骤S301-步骤S304,这里不再进行赘述。
再请参见图13,A个目标特征聚类簇包括目标特征聚类簇Cd,d为正整数且d小于或等于A;
第四生成模块19可以包括:第二获取单元191、第三获取单元192、第三生成单元193以及关联存储单元194。
第二获取单元191,用于从目标特征聚类簇Cd中获取目标素材特征Ef,f为正整数,且f小于或等于目标特征聚类簇Cd中目标素材特征的总数量;
第三获取单元192,用于获取目标素材特征Ef对应的目标素材图像Bf,获取目标素材图像Bf对应的图像标识;
第三生成单元193,用于将目标素材图像Bf对应的图像标识作为索引键,将目标素材特征Ef作为索引值,根据索引键以及索引值生成与目标特征聚类簇Cd相关联的索引表;
关联存储单元194,用于将每个目标聚类中心特征以及每个目标聚类中心特征分别对应的索引表,关联存储于目标图像检索库。
其中,第二获取单元191、第三获取单元192、第三生成单元193以及关联存储单元194的具体功能实现方式可以参见上述图7对应实施例中的步骤S304,这里不再进行赘述。
再请参见图13,第二获取模块12可以包括:第四获取单元124、第五获取单元125、第三确定单元126、第六获取单元127以及第七获取单元128。
第四获取单元124,用于在目标图像检索库中获取A个目标聚类中心特征;A个目标聚类中心特征包括目标聚类中心特征Ij,j为正整数且j小于或等于A;
第五获取单元125,用于获取目标查询特征以及目标聚类中心特征Ij之间的特征距离Kj
第三确定单元126,用于对A个目标聚类中心特征分别对应的特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;
第六获取单元127,用于将目标特征距离对应的目标聚类中心特征确定为关联目标聚类中心特征,获取与关联目标聚类中心特征关联存储的关联索引表;
第七获取单元128,用于根据关联索引表,获取与目标查询特征相关联的关联目标素材图像。
其中,第四获取单元124、第五获取单元125、第三确定单元126、第六获取单元127以及第七获取单元128的具体功能实现方式可以参见上述图3对应实施例中的步骤S306,这里不再进行赘述。
再请参见图13,确定素材模块13可以包括:第四确定单元131、第八获取单元132以及第五确定单元133。
第四确定单元131,用于将关联历史素材图像以及关联目标素材图像确定为候选素材图像;候选素材图像的数量为至少两张;
第八获取单元132,用于获取每张候选素材图像的关联素材特征分别与目标查询特征之间的特征距离;
第五确定单元133,用于根据每张候选素材图像分别对应的特征距离,对至少两张候选素材图像进行排序处理;
第五确定单元133,还用于从排序后的至少两张候选素材图像中,确定用于响应查询图像的推荐素材图像。
其中,第四确定单元131、第八获取单元132以及第五确定单元133的具体功能实现方式可以参见上述图5对应实施例中的步骤S207,这里不再进行赘述。
综上所述,本申请实施例不仅可以生成记录更多图像信息的目标查询特征,进而可以提高针对查询图像的检索准确率;还可以通过目标局部特征支持检索关联历史素材图像,故可以在存在历史图像检索库时,避免对历史素材图像库中的历史素材特征进行更新处理,进而可以降低计算资源的消耗以及降低更新时间成本。
进一步地,请参见图14,图14是本申请实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图14所示,该数据处理装置2可以包括:获取样本模块21、第一生成模块22、第二生成模块23以及第三生成模块24。
获取样本模块21,用于获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像;
第一生成模块22,用于通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征;
第二生成模块23,用于通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数;
第三生成模块24,用于根据历史基准预测特征、第一历史预测特征、第二历史预测特征、目标基准预测特征、第一目标预测特征以及第二目标预测特征,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;目标图像识别模型用于生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
其中,获取样本模块21、第一生成模块22、第二生成模块23以及第三生成模块24的具体功能实现方式可以参见上述图9对应实施例中的步骤S401-步骤S404,这里不再进行赘述。
再请参见图14,获取样本模块21可以包括:第一获取单元211、第二获取单元212、第一确定单元213以及第二确定单元214。
第一获取单元211,用于获取至少两个正样本对,对至少两个正样本对进行均分处理,得到T个正样本对集合;T为正整数,且T小于或等于至少两个正样本对的总数量;T个正样本对集合包括正样本对集合Uv,v为正整数且v小于或等于T;正样本对集合Uv包括目标正样本对,目标正样本对包括目标基准样本图像以及与目标基准样本图像对应的目标正样本图像;样本图像集包括正样本对集合Uv中的样本图像集Op,p为正整数,且p小于或等于正样本对集合Uv中的样本图像集的总数量;
第二获取单元212,用于获取目标基准样本图像以及剩余样本图像之间的图像距离;剩余样本图像是指剩余正样本对中的剩余基准样本图像,或剩余正样本对中的剩余正样本图像;剩余正样本对包括正样本对集合Uv中除了目标正样本对之外的正样本对;
第一确定单元213,用于对获取到的图像距离进行排序处理,根据排序后的图像距离从剩余样本图像中确定目标剩余样本图像;
第二确定单元214,用于将目标剩余样本图像确定为目标基准样本图像对应的目标负样本图像,将目标负样本图像以及目标正样本对确定为样本图像集Op
其中,第一获取单元211、第二获取单元212、第一确定单元213以及第二确定单元214的具体功能实现方式可以参见上述图9对应实施例中的步骤S401,这里不再进行赘述。
再请参见图14,历史图像识别模型包括历史特征卷积层、历史特征池化层以及历史特征连接层;
第二生成模块23可以包括:第三确定单元231、第一输入单元232、第二输入单元233、第三输入单元234、第一处理单元235、第二处理单元236以及第三处理单元237。
第三确定单元231,用于将基准样本图像、正样本图像以及负样本图像确定为待处理样本图像;
第一输入单元232,用于将待处理样本图像输入至图像识别初始模型;图像识别初始模型包括初始特征卷积层、初始特征池化层以及初始目标特征连接层;其中,初始特征卷积层中的参数等于历史特征卷积层中的参数;初始特征池化层中的参数等于历史特征池化层中的参数;初始目标特征连接层包括历史特征连接通道以及目标特征连接通道,历史特征连接通道中的参数等于历史特征卷积层中的参数;
第二输入单元233,用于通过初始特征卷积层对待处理样本图像进行特征卷积处理,生成待处理样本图像对应的待池化样本预测特征,将待池化样本预测特征输入至初始特征池化层;
第三输入单元234,用于通过初始特征池化层对待池化样本预测特征进行特征池化处理,生成待处理样本图像对应的待连接样本预测特征,将待连接样本预测特征输入至初始目标特征连接层;
第一处理单元235,用于通过初始目标特征连接层中的历史特征连接通道对待连接样本预测特征进行特征连接处理,生成历史局部预测特征;
第二处理单元236,用于通过初始目标特征连接层中的目标特征连接通道对待连接样本预测特征进行特征连接处理,生成目标局部预测特征;
第三处理单元237,用于对历史局部预测特征以及目标局部预测特征进行特征拼接处理,得到待处理样本图像对应的目标样本预测特征;目标样本预测特征包括目标基准预测特征、第一目标预测特征以及第二目标预测特征。
其中,第三确定单元231、第一输入单元232、第二输入单元233、第三输入单元234、第一处理单元235、第二处理单元236以及第三处理单元237的具体功能实现方式可以参见上述图9对应实施例中的步骤S403,这里不再进行赘述。
再请参见图14,第三生成模块24可以包括:第三获取单元241、第四确定单元242、第四获取单元243、第五确定单元244以及第一生成单元245。
第三获取单元241,用于获取历史基准预测特征以及第一历史预测特征之间的第一特征距离,获取历史基准预测特征以及第二历史预测特征之间的第二特征距离;
第四确定单元242,用于根据第一特征距离以及第二特征距离,确定历史图像识别模型对应的历史模型损失值;
第四获取单元243,用于获取目标基准预测特征以及第一目标预测特征之间的第三特征距离,获取目标基准预测特征以及第二目标预测特征之间的第四特征距离;
第五确定单元244,用于获取基于历史模型损失值所生成的距离阈值,根据第三特征距离、第四特征距离以及距离阈值,确定图像识别初始模型对应的总损失值;
第一生成单元245,用于根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,生成目标图像识别模型。
其中,第三获取单元241、第四确定单元242、第四获取单元243、第五确定单元244以及第一生成单元245的具体功能实现方式可以参见上述图9对应实施例中的步骤S404,这里不再进行赘述。
再请参见图14,第三生成模块24可以包括:第六确定单元246、第七确定单元247、统计历史单元248以及第二生成单元249。
第六确定单元246,用于根据历史基准预测特征、第一历史预测特征以及第二历史预测特征,确定历史图像识别模型对应的历史模型损失值;
第六确定单元246,还用于根据历史模型损失值、目标基准预测特征、第一目标预测特征以及第二目标预测特征,确定图像识别初始模型对应的第一损失值;
第七确定单元247,用于获取历史局部预测特征,根据历史局部预测特征以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第七确定单元247,还用于将第一损失值以及第二损失值的总和确定为图像识别初始模型的总损失值;
统计历史单元248,用于统计图像识别初始模型的历史调整次数;历史调整次数用于表征图像识别初始模型中的模型参数已被调整的次数;
第二生成单元249,用于根据总损失值以及历史调整次数,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型。
其中,第六确定单元246、第七确定单元247、统计历史单元248以及第二生成单元249的具体功能实现方式可以参见上述图11对应实施例中的步骤S504-步骤S509,这里不再进行赘述。
再请参见图14,历史局部预测特征包括基准样本图像对应的历史基准局部预测特征、正样本图像对应的第一历史局部预测特征以及负样本图像对应的第二历史局部预测特征;
第七确定单元247可以包括:第一确定子单元2471以及第二确定子单元2472。
第一确定子单元2471,用于从历史基准局部预测特征、第一历史局部预测特征以及第二历史局部预测特征中确定待替换历史局部预测特征;
第二确定子单元2472,用于当待替换历史局部预测特征为历史基准局部预测特征时,获取历史基准预测特征以及第一历史局部预测特征之间的第五特征距离,获取历史基准预测特征以及第二历史局部预测特征之间的第六特征距离,根据第五特征距离、第六特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第二确定子单元2472,还用于当待替换历史局部预测特征为第一历史局部预测特征时,获取历史基准局部预测特征以及第一历史预测特征之间的第七特征距离,获取历史基准局部预测特征以及第二历史局部预测特征之间的第八特征距离,根据第七特征距离、第八特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值;
第二确定子单元2472,用于当待替换历史局部预测特征为第二历史局部预测特征时,获取历史基准局部预测特征以及第一历史局部预测特征之间的第九特征距离,获取历史基准局部预测特征以及第二历史预测特征之间的第十特征距离,根据第九特征距离、第十特征距离以及历史模型损失值,确定图像识别初始模型对应的第二损失值。
其中,第一确定子单元2471以及第二确定子单元2472的具体功能实现方式可以参见上述图11对应实施例中的步骤S506,这里不再进行赘述。
再请参见图14,第二生成单元249可以包括:第一调整子单元2491以及第二调整子单元2492。
第一调整子单元2491,用于当历史调整次数不满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数以及目标特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型;
第二调整子单元2492,用于当历史调整次数满足心跳更新周期时,根据总损失值,对初始特征卷积层中的参数、初始特征池化层中的参数、目标特征连接通道中的参数以及历史特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到目标图像识别模型。
其中,第一调整子单元2491以及第二调整子单元2492的具体功能实现方式可以参见上述图11对应实施例中的步骤S509,这里不再进行赘述。
本申请实施例提供了一种支持目标查询特征中包含与历史查询特征存在相似关联关系的目标局部特征的模型,通过训练中指定初始目标特征连接层中的历史特征连接通道所得到的预测特征,支持历史特征连接层所得到的预测特征的相似度度量任务,同时保有初始目标特征连接层所得到的预测特征的相似性度量能力,从而可以保证目标查询特征(相较于历史查询特征,属于高维特征)中,存在可进行低维素材特征检索的部分维度(即目标局部特征)。应用时,可根据素材特征的维度选择目标查询特征或目标局部特征进行相似度计算,从而实现维度扩张后支持对历史图像检索库的检索,在降低特征更新成本的同时,可以使得后续新库存(即目标图像检索库)与新检索特征(即目标素材特征)升级到新维度上。综上所述,采用本申请,可以提高针对查询图像的检索准确率,还可以降低计算资源的消耗以及降低更新时间成本。
进一步地,请参见图15,图15是本申请实施例提供的一种计算机设备的结构示意图。如图15所示,该计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图15所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取查询图像,通过目标图像识别模型生成查询图像对应的目标查询特征;目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征;
基于目标图像检索库中的目标素材图像对应的目标素材特征,从目标图像检索库中获取与目标查询特征相关联的关联目标素材图像;目标素材特征是指,通过目标图像识别模型所生成的目标素材图像对应的特征;
基于历史图像检索库中的历史素材图像对应的历史素材特征,从历史图像检索库中获取与目标局部特征相关联的关联历史素材图像;历史素材特征是指,通过历史图像识别模型所生成的历史素材图像对应的特征;
在关联历史素材图像以及关联目标素材图像中,确定用于响应查询图像的推荐素材图像。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3、图5、图7、图9以及图11所对应实施例中对数据处理方法的描述,也可执行前文图13所对应实施例中对数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图16,图16是本申请实施例提供的一种计算机设备的结构示意图。如图16所示,上述计算机设备2000可以包括:处理器2001,网络接口2004和存储器2005,此外,上述计算机设备2000还可以包括:用户接口2003,和至少一个通信总线2002。其中,通信总线2002用于实现这些组件之间的连接通信。其中,用户接口2003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口2003还可以包括标准的有线接口、无线接口。网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2005可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器2005可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图16所示,作为一种计算机可读存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图16所示的计算机设备2000中,网络接口2004可提供网络通讯功能;而用户接口2003主要用于为用户提供输入的接口;而处理器2001可以用于调用存储器2005中存储的设备控制应用程序,以实现:
获取样本图像集;样本图像集包括基准样本图像、基准样本图像对应的正样本图像、基准样本图像对应的负样本图像;
通过已训练的历史图像识别模型,生成基准样本图像对应的历史基准预测特征、正样本图像对应的第一历史预测特征以及负样本图像对应的第二历史预测特征;
通过图像识别初始模型,生成基准样本图像对应的目标基准预测特征、正样本图像对应的第一目标预测特征以及负样本图像对应的第二目标预测特征;图像识别初始模型中的模型参数包括历史图像识别模型中的模型参数;
根据历史基准预测特征、第一历史预测特征、第二历史预测特征、目标基准预测特征、第一目标预测特征以及第二目标预测特征,对图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;目标图像识别模型用于生成查询图像对应的目标查询特征;目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且目标查询特征对应的特征维度大于历史查询特征对应的特征维度,历史查询特征是指通过历史图像识别模型所生成的查询图像对应的特征。
应当理解,本申请实施例中所描述的计算机设备2000可执行前文图3、图5、图7、图9以及图11所对应实施例中对数据处理方法的描述,也可执行前文图14所对应实施例中对数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图3、图5、图7、图9以及图11中各个步骤所提供的数据处理方法,具体可参见上述图3、图5、图7、图9以及图11各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图3、图5、图7、图9以及图11所对应实施例中对数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (18)

1.一种数据处理方法,其特征在于,包括:
获取查询图像,通过目标图像识别模型生成所述查询图像对应的目标查询特征;所述目标图像识别模型是基于已训练的历史图像识别模型所训练得到的;所述目标查询特征中存在与历史查询特征具有相似关联关系的目标局部特征,且所述目标查询特征对应的特征维度大于所述历史查询特征对应的特征维度,所述历史查询特征是指通过所述历史图像识别模型所生成的所述查询图像对应的特征;
基于目标图像检索库中的目标素材图像对应的目标素材特征,从所述目标图像检索库中获取与所述目标查询特征相关联的关联目标素材图像;所述目标素材特征是指,通过所述目标图像识别模型所生成的所述目标素材图像对应的特征;
基于历史图像检索库中的历史素材图像对应的历史素材特征,从所述历史图像检索库中获取与所述目标局部特征相关联的关联历史素材图像;所述历史素材特征是指,通过所述历史图像识别模型所生成的所述历史素材图像对应的特征;
在所述关联历史素材图像以及所述关联目标素材图像中,确定用于响应所述查询图像的推荐素材图像。
2.根据权利要求1所述的方法,其特征在于,所述通过目标图像识别模型生成所述查询图像对应的目标查询特征,包括:
将所述查询图像输入至所述目标图像识别模型;所述目标图像识别模型包括特征卷积层、特征池化层以及目标特征连接层;所述目标特征连接层对应的特征连接通道数,大于所述历史图像识别模型中的历史特征连接层对应的特征连接通道数;
通过所述特征卷积层对所述查询图像进行特征卷积处理,生成所述查询图像对应的待池化查询特征,将所述待池化查询特征输入至所述特征池化层;
通过所述特征池化层对所述待池化查询特征进行特征池化处理,生成所述查询图像对应的待连接查询特征,将所述待连接查询特征输入至所述目标特征连接层;
通过所述目标特征连接层对所述待连接查询特征进行特征连接处理,生成所述目标查询特征。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标素材图像,获取所述目标素材图像对应的图像标识;
将所述目标素材图像输入至所述目标图像识别模型,通过所述目标图像识别模型对所述目标素材图像进行特征识别处理,生成所述目标素材特征;
将所述目标素材图像对应的图像标识作为索引键,将所述目标素材特征作为索引值,根据所述索引键以及所述索引值生成索引表,将所述索引表存储于所述目标图像检索库。
4.根据权利要求1所述的方法,其特征在于,所述基于目标图像检索库中的目标素材图像对应的目标素材特征,从所述目标图像检索库中获取与所述目标查询特征相关联的关联目标素材图像,包括:
在所述目标图像检索库中获取索引表;所述索引表包括索引键以及索引值,所述索引键由所述目标素材图像对应的图像标识生成,所述索引值由所述目标素材特征生成;
获取所述目标查询特征以及所述索引值之间的特征距离,将特征距离小于特征距离阈值的索引值确定为关联索引值;
将所述关联索引值对应的索引键确定为关联索引键,根据所述关联索引键,在所述目标图像检索库中获取所述关联目标素材图像。
5.根据权利要求1所述的方法,其特征在于,所述目标素材图像包括至少两张目标素材图像,所述目标素材特征包括所述至少两张目标素材图像分别对应的目标素材特征;
所述方法还包括:
获取所述至少两张目标素材图像,将所述至少两张目标素材图像分别输入至所述目标图像识别模型;
通过所述目标图像识别模型,对所述至少两张目标素材图像分别进行特征识别处理,生成所述至少两张目标素材图像分别对应的目标素材特征;
对至少两个目标素材特征进行聚类处理,生成A个目标特征聚类簇以及所述A个目标特征聚类簇分别对应的目标聚类中心特征;A为大于1的正整数,且A小于或等于所述至少两个目标素材特征的总数量;
将所述A个目标特征聚类簇以及A个目标聚类中心特征关联存储于所述目标图像检索库。
6.根据权利要求5所述的方法,其特征在于,所述A个目标特征聚类簇包括目标特征聚类簇Cd,d为正整数且d小于或等于A;
所述将所述A个目标特征聚类簇以及A个目标聚类中心特征关联存储于所述目标图像检索库,包括:
从所述目标特征聚类簇Cd中获取目标素材特征Ef,f为正整数,且f小于或等于所述目标特征聚类簇Cd中目标素材特征的总数量;
获取所述目标素材特征Ef对应的目标素材图像Bf,获取所述目标素材图像Bf对应的图像标识;
将所述目标素材图像Bf对应的图像标识作为索引键,将所述目标素材特征Ef作为索引值,根据所述索引键以及所述索引值生成与所述目标特征聚类簇Cd相关联的索引表;
将每个目标聚类中心特征以及每个目标聚类中心特征分别对应的索引表,关联存储于所述目标图像检索库。
7.根据权利要求6所述的方法,其特征在于,所述基于目标图像检索库中的目标素材图像对应的目标素材特征,从所述目标图像检索库中获取与所述目标查询特征相关联的关联目标素材图像,包括:
在所述目标图像检索库中获取所述A个目标聚类中心特征;所述A个目标聚类中心特征包括目标聚类中心特征Ij,j为正整数且j小于或等于A;
获取所述目标查询特征以及所述目标聚类中心特征Ij之间的特征距离Kj
对所述A个目标聚类中心特征分别对应的特征距离进行排序处理,从排序后的特征距离中确定目标特征距离;
将所述目标特征距离对应的目标聚类中心特征确定为关联目标聚类中心特征,获取与所述关联目标聚类中心特征关联存储的关联索引表;
根据所述关联索引表,获取与所述目标查询特征相关联的所述关联目标素材图像。
8.根据权利要求1所述的方法,其特征在于,所述在所述关联历史素材图像以及所述关联目标素材图像中,确定用于响应所述查询图像的推荐素材图像,包括:
将所述关联历史素材图像以及所述关联目标素材图像确定为候选素材图像;所述候选素材图像的数量为至少两张;
获取每张候选素材图像的关联素材特征分别与所述目标查询特征之间的特征距离;
根据所述每张候选素材图像分别对应的特征距离,对所述至少两张候选素材图像进行排序处理;
从排序后的至少两张候选素材图像中,确定用于响应所述查询图像的所述推荐素材图像。
9.一种数据处理方法,其特征在于,包括:
获取样本图像集;所述样本图像集包括基准样本图像、所述基准样本图像对应的正样本图像、所述基准样本图像对应的负样本图像;
通过已训练的历史图像识别模型,生成所述基准样本图像对应的历史基准预测特征、所述正样本图像对应的第一历史预测特征以及所述负样本图像对应的第二历史预测特征;
通过图像识别初始模型,生成所述基准样本图像对应的目标基准预测特征、所述正样本图像对应的第一目标预测特征以及所述负样本图像对应的第二目标预测特征;所述图像识别初始模型中的模型参数包括所述历史图像识别模型中的模型参数;
根据所述历史基准预测特征、所述第一历史预测特征、所述第二历史预测特征、所述目标基准预测特征、所述第一目标预测特征以及所述第二目标预测特征,对所述图像识别初始模型中的模型参数进行调整,生成目标图像识别模型;所述目标图像识别模型用于生成查询图像对应的目标查询特征;所述目标查询特征中存在与历史查询特征具有相似关联关系的局部特征,且所述目标查询特征对应的特征维度大于所述历史查询特征对应的特征维度,所述历史查询特征是指通过所述历史图像识别模型所生成的所述查询图像对应的特征。
10.根据权利要求9所述的方法,其特征在于,所述获取样本图像集,包括:
获取至少两个正样本对,对所述至少两个正样本对进行均分处理,得到T个正样本对集合;T为正整数,且T小于或等于所述至少两个正样本对的总数量;所述T个正样本对集合包括正样本对集合Uv,v为正整数且v小于或等于T;所述正样本对集合Uv包括目标正样本对,所述目标正样本对包括目标基准样本图像以及与所述目标基准样本图像对应的目标正样本图像;所述样本图像集包括所述正样本对集合Uv中的样本图像集Op,p为正整数,且p小于或等于所述正样本对集合Uv中的样本图像集的总数量;
获取所述目标基准样本图像以及剩余样本图像之间的图像距离;所述剩余样本图像是指剩余正样本对中的剩余基准样本图像,或所述剩余正样本对中的剩余正样本图像;所述剩余正样本对包括所述正样本对集合Uv中除了所述目标正样本对之外的正样本对;
对获取到的图像距离进行排序处理,根据排序后的图像距离从所述剩余样本图像中确定目标剩余样本图像;
将所述目标剩余样本图像确定为所述目标基准样本图像对应的目标负样本图像,将所述目标负样本图像以及所述目标正样本对确定为所述样本图像集Op
11.根据权利要求9所述的方法,其特征在于,所述历史图像识别模型包括历史特征卷积层、历史特征池化层以及所述历史特征连接层;
所述通过图像识别初始模型,生成所述基准样本图像对应的目标基准预测特征、所述正样本图像对应的第一目标预测特征以及所述负样本图像对应的第二目标预测特征,包括:
将所述基准样本图像、所述正样本图像以及所述负样本图像确定为待处理样本图像;
将所述待处理样本图像输入至所述图像识别初始模型;所述图像识别初始模型包括初始特征卷积层、初始特征池化层以及初始目标特征连接层;其中,所述初始特征卷积层中的参数等于所述历史特征卷积层中的参数;所述初始特征池化层中的参数等于所述历史特征池化层中的参数;所述初始目标特征连接层包括历史特征连接通道以及目标特征连接通道,所述历史特征连接通道中的参数等于所述历史特征卷积层中的参数;
通过所述初始特征卷积层对所述待处理样本图像进行特征卷积处理,生成所述待处理样本图像对应的待池化样本预测特征,将所述待池化样本预测特征输入至所述初始特征池化层;
通过所述初始特征池化层对所述待池化样本预测特征进行特征池化处理,生成所述待处理样本图像对应的待连接样本预测特征,将所述待连接样本预测特征输入至所述初始目标特征连接层;
通过所述初始目标特征连接层中的所述历史特征连接通道对所述待连接样本预测特征进行特征连接处理,生成历史局部预测特征;
通过所述初始目标特征连接层中的所述目标特征连接通道对所述待连接样本预测特征进行特征连接处理,生成目标局部预测特征;
对所述历史局部预测特征以及所述目标局部预测特征进行特征拼接处理,得到所述待处理样本图像对应的目标样本预测特征;所述目标样本预测特征包括所述目标基准预测特征、所述第一目标预测特征以及所述第二目标预测特征。
12.根据权利要求11所述的方法,其特征在于,所述根据所述历史基准预测特征、所述第一历史预测特征、所述第二历史预测特征、所述目标基准预测特征、所述第一目标预测特征以及所述第二目标预测特征,对所述图像识别初始模型中的模型参数进行调整,生成目标图像识别模型,包括:
获取所述历史基准预测特征以及所述第一历史预测特征之间的第一特征距离,获取所述历史基准预测特征以及所述第二历史预测特征之间的第二特征距离;
根据所述第一特征距离以及所述第二特征距离,确定所述历史图像识别模型对应的历史模型损失值;
获取所述目标基准预测特征以及所述第一目标预测特征之间的第三特征距离,获取所述目标基准预测特征以及所述第二目标预测特征之间的第四特征距离;
获取基于所述历史模型损失值所生成的距离阈值,根据所述第三特征距离、所述第四特征距离以及所述距离阈值,确定所述图像识别初始模型对应的总损失值;
根据所述总损失值,对所述初始特征卷积层中的参数、所述初始特征池化层中的参数以及所述目标特征连接通道中的参数进行调整,生成所述目标图像识别模型。
13.根据权利要求11所述的方法,其特征在于,所述根据所述历史基准预测特征、所述第一历史预测特征、所述第二历史预测特征、所述目标基准预测特征、所述第一目标预测特征以及所述第二目标预测特征,对所述图像识别初始模型中的模型参数进行调整,生成目标图像识别模型,包括:
根据所述历史基准预测特征、所述第一历史预测特征以及所述第二历史预测特征,确定所述历史图像识别模型对应的历史模型损失值;
根据所述历史模型损失值、所述目标基准预测特征、所述第一目标预测特征以及所述第二目标预测特征,确定所述图像识别初始模型对应的第一损失值;
获取所述历史局部预测特征,根据所述历史局部预测特征以及所述历史模型损失值,确定所述图像识别初始模型对应的第二损失值;
将所述第一损失值以及所述第二损失值的总和确定为所述图像识别初始模型的总损失值;
统计所述图像识别初始模型的历史调整次数;所述历史调整次数用于表征所述图像识别初始模型中的模型参数已被调整的次数;
根据所述总损失值以及所述历史调整次数,对所述图像识别初始模型中的模型参数进行调整,生成所述目标图像识别模型。
14.根据权利要求13所述的方法,其特征在于,所述历史局部预测特征包括所述基准样本图像对应的历史基准局部预测特征、所述正样本图像对应的第一历史局部预测特征以及所述负样本图像对应的第二历史局部预测特征;
所述获取所述历史局部预测特征,根据所述历史局部预测特征以及所述历史模型损失值,确定所述图像识别初始模型对应的第二损失值,包括:
从所述历史基准局部预测特征、所述第一历史局部预测特征以及所述第二历史局部预测特征中确定待替换历史局部预测特征;
当所述待替换历史局部预测特征为所述历史基准局部预测特征时,获取所述历史基准预测特征以及所述第一历史局部预测特征之间的第五特征距离,获取所述历史基准预测特征以及所述第二历史局部预测特征之间的第六特征距离,根据所述第五特征距离、所述第六特征距离以及所述历史模型损失值,确定所述图像识别初始模型对应的所述第二损失值;
当所述待替换历史局部预测特征为所述第一历史局部预测特征时,获取所述历史基准局部预测特征以及所述第一历史预测特征之间的第七特征距离,获取所述历史基准局部预测特征以及所述第二历史局部预测特征之间的第八特征距离,根据所述第七特征距离、所述第八特征距离以及所述历史模型损失值,确定所述图像识别初始模型对应的所述第二损失值;
当所述待替换历史局部预测特征为所述第二历史局部预测特征时,获取所述历史基准局部预测特征以及所述第一历史局部预测特征之间的第九特征距离,获取所述历史基准局部预测特征以及所述第二历史预测特征之间的第十特征距离,根据所述第九特征距离、所述第十特征距离以及所述历史模型损失值,确定所述图像识别初始模型对应的所述第二损失值。
15.根据权利要求13所述的方法,其特征在于,所述根据所述总损失值以及所述历史调整次数,对所述图像识别初始模型中的模型参数进行调整,生成所述目标图像识别模型,包括:
当所述历史调整次数不满足心跳更新周期时,根据所述总损失值,对所述初始特征卷积层中的参数、所述初始特征池化层中的参数以及所述目标特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到所述目标图像识别模型;
当所述历史调整次数满足心跳更新周期时,根据所述总损失值,对所述初始特征卷积层中的参数、所述初始特征池化层中的参数、所述目标特征连接通道中的参数以及所述历史特征连接通道中的参数进行调整,基于调整后的图像识别初始模型得到所述目标图像识别模型。
16.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1至15任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。
18.一种计算机程序产品,其特征在于,计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,所述计算机指令适于由处理器读取并执行,以使得具有所述处理器的计算机设备执行如权利要求1-15任一项的方法。
CN202111079950.4A 2021-09-15 2021-09-15 一种数据处理方法、设备以及计算机可读存储介质 Pending CN114329028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079950.4A CN114329028A (zh) 2021-09-15 2021-09-15 一种数据处理方法、设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079950.4A CN114329028A (zh) 2021-09-15 2021-09-15 一种数据处理方法、设备以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114329028A true CN114329028A (zh) 2022-04-12

Family

ID=81044990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079950.4A Pending CN114329028A (zh) 2021-09-15 2021-09-15 一种数据处理方法、设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114329028A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340991A (zh) * 2023-02-02 2023-06-27 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备
CN116561434A (zh) * 2023-06-28 2023-08-08 平安银行股份有限公司 一种数据检索推荐方法、装置、存储介质及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340991A (zh) * 2023-02-02 2023-06-27 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备
CN116340991B (zh) * 2023-02-02 2023-11-07 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备
CN116561434A (zh) * 2023-06-28 2023-08-08 平安银行股份有限公司 一种数据检索推荐方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN108921221B (zh) 用户特征的生成方法、装置、设备及存储介质
CN112052387B (zh) 一种内容推荐方法、装置和计算机可读存储介质
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN111368141B (zh) 视频标签的扩展方法、装置、计算机设备和存储介质
Wang et al. CLARE: A joint approach to label classification and tag recommendation
CN114329028A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN113204659B (zh) 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN112765387A (zh) 图像检索方法、图像检索装置和电子设备
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN110569380B (zh) 一种图像标签获取方法、装置及存储介质和服务器
WO2023024408A1 (zh) 用户特征向量确定方法、相关设备及介质
CN113657087B (zh) 信息的匹配方法及装置
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
CN112800253B (zh) 数据聚类方法、相关设备及存储介质
CN113704534A (zh) 图像处理方法、装置及计算机设备
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN115129902B (zh) 媒体数据处理方法、装置、设备及存储介质
CN113570422B (zh) 创意指导信息的生成方法、装置、计算机设备和存储介质
CN111091198B (zh) 一种数据处理方法及装置
Takano et al. Photo Sharing Service for Recommending Sightseeing Places
CN114708449B (zh) 相似视频的确定方法、实例表征模型的训练方法及设备
CN113204660B (zh) 多媒体数据处理方法、标签识别方法、装置及电子设备
CN116776239A (zh) 数据处理方法、装置、电子设备、产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination