CN111988614B - 哈希编码优化方法、设备及可读存储介质 - Google Patents

哈希编码优化方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111988614B
CN111988614B CN202010828919.5A CN202010828919A CN111988614B CN 111988614 B CN111988614 B CN 111988614B CN 202010828919 A CN202010828919 A CN 202010828919A CN 111988614 B CN111988614 B CN 111988614B
Authority
CN
China
Prior art keywords
hash
value
preset
training
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010828919.5A
Other languages
English (en)
Other versions
CN111988614A (zh
Inventor
吴锦和
范力欣
鞠策
张天豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010828919.5A priority Critical patent/CN111988614B/zh
Publication of CN111988614A publication Critical patent/CN111988614A/zh
Priority to PCT/CN2020/133431 priority patent/WO2022032938A1/zh
Application granted granted Critical
Publication of CN111988614B publication Critical patent/CN111988614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种哈希编码优化方法、设备及可读存储介质,所述哈希编码优化方法包括:获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值。本申请解决了哈希编码准确性低的技术问题。

Description

哈希编码优化方法、设备及可读存储介质
技术领域
本申请涉及金融科技(Fintech)的人工智能领域,尤其涉及一种哈希编码优化方法、设备及可读存储介质。
背景技术
随着金融科技,尤其是互联网科技金融的不断发展,越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域,但金融业也对技术提出了更高的要求,如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能的不断发展,深度学习的应用领域也越来越广泛,例如,用于进行编码等,目前的哈希编码模型通常是基于输入样本本身的单个数据分布特征,对输入样本进行哈希编码,进而输入样本越相似,模型输出的哈希编码值越相似,进而当输入样本不属于同一样本类别且相似程度较高时,哈希编码模型容易输出相同或者相似度极高的哈希编码值,也即,对于属于不同样本类别的输入样本,输出的哈希编码值容易混淆,例如,当输入样本为猫图像时,由于猫图像与狗图像的相似程度较高,猫图像对应的哈希编码值有极大的可能性与狗图像对应的哈希编码值相同,进而导致哈希编码不够准确。
发明内容
本申请的主要目的在于提供一种哈希编码优化方法、设备及可读存储介质,旨在解决现有技术中哈希编码准确性低的技术问题。
为实现上述目的,本申请提供一种哈希编码优化方法,所述哈希编码优化方法应用于哈希编码优化设备,所述哈希编码优化方法包括:
获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果;
基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值。
本申请还提供一种哈希编码优化装置,所述哈希编码优化装置为虚拟装置,且所述哈希编码优化装置应用于哈希编码优化设备,所述哈希编码优化装置包括:
三值极化哈希模块,用于获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果;
生成模块,用于基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值。
本申请还提供一种哈希编码优化设备,所述哈希编码优化设备为实体设备,所述哈希编码优化设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述哈希编码优化方法的程序,所述哈希编码优化方法的程序被处理器执行时可实现如上述的哈希编码优化方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质上存储有实现哈希编码优化方法的程序,所述哈希编码优化方法的程序被处理器执行时实现如上述的哈希编码优化方法的步骤。
本申请提供了一种哈希编码优化方法、设备和可读存储介质,相比于现有技术采用的基于输入样本本身的单个数据分布特征,对输入样本进行哈希编码的技术手段,本申请在获取待处理数据之后,基于预设哈希编码模型,以所述待处理数据的类别特征信息,也即,按照所述待处理数据的样本类别分布特征,对所述待处理数据进行极化哈希,获得所述待处理数据的样本类别对应的哈希结果,进而基于所述哈希结果的各比特位特征值和预设特征值取值范围,即可生成所述待处理数据对应的模糊边界哈希编码值,进而,实现了按照所述待处理数据的样本类别分布特征,生成所述待处理数据对应的目标三值哈希编码值的技术目的,进而克服了现有技术中基于输入样本本身的单个数据分布特征,对于属于不同样本类别且相似程度较高的输入样本进行哈希编码,将导致输出的哈希编码值容易混淆,进而导致哈希编码的准确性低的技术缺陷,进而提高了哈希编码的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请哈希编码优化方法第一实施例的流程示意图;
图2为本申请哈希编码优化方法第二实施例的流程示意图;
图3为本申请哈希编码优化方法中对各所述预设三值哈希编码值进行优化前后的余弦距离矩阵的示意图;
图4为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例提供一种哈希编码优化方法,在本申请哈希编码优化方法的第一实施例中,参照图1,所述哈希编码优化方法包括:
步骤S10,获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果;
在本实施例中,需要说明的是,所述预设哈希编码模型包括深度极化网络,其中,所述深度极化网络为基于预设类别信息和极化损失函数优化的深度学习模型,且对属于同一样本类别的输入样本,所述预设哈希编码模型均能输出相同的哈希向量,所述极化损失函数为用于优化所述深度极化网络的损失函数。
另外地,需要说明的是,所述深度极化网络包括隐藏层和哈希层,其中,所述隐藏层为所述预设深度极化网络的数据处理层,用于进行卷积处理、池化处理等数据处理过程,且所述隐藏层为基于深度学习训练好的一层或者多层神经网络,所述哈希层为所述预设深度极化网络的输出层,用于对所述待处理数据进行哈希,并输出对应的哈希结果,且所述哈希层为基于深度学习训练好的一层或者多层神经网络,所述待处理数据可用矩阵或者向量进行表示,所述类别特征信息为所述深度极化网络的隐藏层输出的数据特征表示矩阵,其中,所述数据特征表示矩阵包括所述待处理数据对应的数据类别的特征信息。
获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果,具体地,从预设存储数据库中提取所述待处理数据,并将所述待处理数据对应的待处理数据表示矩阵输入所述深度极化网络的隐藏层,对所述待处理数据表示矩阵进行特征提取,以提取所述待处理数据对应的类别特征,获得所述数据表示矩阵对应的类别特征表示矩阵,其中,所述类别特征表示矩阵为所述类别特征信息的矩阵表示形式,进而将所述类别特征表示矩阵输入所述哈希层,对所述类别特征表示矩阵进行全连接,获得全连接向量,进而对所述全连接向量进行极化,获得所述全连接向量对应的哈希向量,并将所述哈希向量作为所述哈希结果。
其中,所述预设哈希编码模型包括隐藏层和哈希层,
所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤包括:
步骤S11,将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息;
在本实施例中,将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息,具体地,将所述待处理数据对应的待处理数据表示矩阵输入所述隐藏层,对所述待处理数据表示矩阵进行预设次数的卷积和池化交替处理,以提取所述待处理数据对应的类别特征,获得所述待处理数据表示矩阵对应的类别特征表示矩阵,并将所述类别特征表示矩阵作为所述类别特征信息。
步骤S12,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行特定比特位的极化哈希,获得所述哈希结果。
在本实施例中,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行特定比特位的极化哈希,获得所述哈希结果,具体地,将所述类别特征表示矩阵输入所述哈希层,对所述类别特征表示矩阵进行全连接,获得全连接向量,进而将全连接向量中每一比特位上的特征值与预设特征值取值范围进行比对,以将在所述预设特征值取值范围之外的特征值对应的比特位作为特定比特位,将在所述预设特征值取值范围之内的特征值对应的比特位作为非特定比特位,进而为各所述特定比特位匹配对应的极化输出通道,以基于各所述极化输出通道,分别对各所述特定比特位上的特征值进行极化,获得各所述特定比特位对应的极化特征值,并同时为各所述非特定比特位匹配输出通道,以直接输出各所述非特定比特位上的特征值,获得非极化特征值,进而基于各所述特定比特位和各所述非特定比特位在所述全连接向量中的位置,将各所述极化特征值和各所述非极化特征值组合为哈希向量,并将所述哈希向量作为所述哈希结果,其中,所述极化输出通道为对特定比特位进行极化的模型输出通道。
其中,所述类别特征信息包括类别特征表示矩阵,
所述将所述类别特征信息输入所述哈希层,对所述类别特征信息进行特定比特位的极化哈希,获得所述哈希结果的步骤包括:
步骤S121,对所述类别特征表示矩阵进行全连接,获得全连接向量,并分别为所述全连接向量中的各所述特定比特位匹配对应的极化输出通道;
在本实施例中,需要说明的是,所述全连接向量为所述待处理数据的类别特征表示向量,所述全连接向量包括所述待处理数据的所有类别特征信息,例如,假设所述全连接向量为(a,b,c,1),所述待处理数据为猫图像,其中,特征值a表示猫的毛发颜色为灰色,特征值b表示为体型的大小,特征值c表示为猫科动物,1表示为猫的概率为100%。
对所述类别特征表示矩阵进行全连接,获得全连接向量,并分别为所述全连接向量中的各所述特定比特位匹配对应的极化输出通道,具体地,对所述类别特征表示矩阵进行全连接,获得全连接向量,进而基于所述全连接向量中各特定比特位上的特征值,分别为各所述特定比特位匹配各自对应的极化输出通道。
步骤S122,基于各所述极化输出通道,分别对各所述特定比特位进行极化,获得所述哈希结果。
在本实施例中,需要说明的是,一所述极化输出通道对应一训练好的极化参数,所述极化参数用于对特定比特位上的特征值进行极化。
基于各所述极化输出通道,分别对各所述特定比特位进行极化,获得所述哈希结果,具体地,基于各所述极化输出通道对应的极化参数,分别对各所述极化输出通道对应的特定比特位上的特征值进行极化,以使得不大于所述预设特征值取值范围的下阀值的特征值从负方向远离0,使得不小于所述预设特征值取值范围的上阀值的特征值从正方向远离0,进而获得各所述特征值对应的极化特征值,并直接输出各所述非特定比特位上的特征值,获得各所述非特定比特位对应的非极化特征值,进而基于各所述极化特征值和各所述非极化特征值在所述全连接向量中的位置顺序,生成各所述极化特征值和各所述非极化特征值共同对应的哈希向量,并将所述哈希向量作为所述哈希结果,其中,优选地,所述预设特征值取值范围可设置为关于0值对称的取值范围,例如,假设预设特征值取值范围为(-0.1,0.1),所述全连接向量为(-0.8,0.05,-0.05,1.2),则进行特定比特位的极化后,所述全连接向量对应的哈希向量为(-1.1,0.05,-0.05,2)。
其中,所述预设哈希编码模型包括隐藏层和哈希层,
所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤包括:
步骤A10,将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息;
在本实施例中,将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息,具体地,将所述待处理数据对应的待处理数据表示矩阵输入所述隐藏层,对所述待处理数据表示矩阵进行预设次数的卷积和池化交替处理,以提取所述待处理数据对应的类别特征,获得所述待处理数据表示矩阵对应的类别特征表示矩阵,并将所述类别特征表示矩阵作为所述类别特征信息。
步骤A20,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得所述哈希结果。
在本实施例中,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得所述哈希结果,具体地,将所述类别特征表示矩阵输入所述哈希层,对所述类别特征表示矩阵进行全连接,获得全连接向量,进而为所述全连接向量中的每一比特位匹配对应的极化输出通道,进而基于各所述极化输出通道,对所述全连接向量中的每一比特位进行极化,获得所述全连接向量对应的极化哈希向量,进而将所述极化哈希向量作为所述哈希结果。
另外地,需要说明的是,在进行极化时,所述全连接向量中的比特位存在极化失败的可能性,其中,若全连接向量中比特位上的特征值极化成功,则比特位上的特征值应当远离于0,若极化失败,则比特位上的特征值应当在0值附近。
步骤S20,基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值。
在本实施例中,基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值,具体地,基于预设特征值取值范围,对所述哈希向量中的各比特位特征值进行分类,获得各所述比特位特征值对应的特征值分类结果,基于各所述特征值分类结果,分别为各所述比特位特征值匹配对应的目标编码值,基于各所述目标编码值和各所述比特位特征值在所述哈希向量中的位置顺序,生成各所述目标编码值对应的模糊边界哈希编码值。
另外地,需要说明的是,若对所述全连接向量中的每一比特位上的特征值均进行了极化,则基于所述预设特征值取值范围,在所述哈希向量的各比特位中筛选极化失败比特位,其中,所述极化失败比特位为哈希向量上的比特位特征值在所述预设特征值取值范围之内的比特位,进而将极化失败比特位作为第一类型比特位,将哈希向量中比特位特征值大于0且极化成功的比特位作为第二类型比特位,将哈希向量中比特位特征值小于0且极化成功的比特位作为第三类型比特位,进而分别为各所述第一类型比特位、各第二类型比特位和各第三类型比特位匹配对应的目标编码值,获得模糊边界哈希编码值。
另外地,需要说明的是,所述比特位特征值包括极化特征值和非极化特征值,若对所述全连接向量中进行特定比特位的极化,则将不大于所述下阀值的极化特征值作为所述第一类型特征值,将大于所述下阀值且小于所述上阀值的非极化特征值作为所述第二类型特征值,将不小于所述上阀值的极化特征值作为所述第三类型特征值,进而分别为各所述第一类型特征值、各第二类型特征值和各第三类型特征值匹配对应的目标编码值,获得模糊边界哈希编码值。
其中,所述哈希结果包括哈希向量,所述模糊边界哈希编码值包括目标三值哈希编码值,
所述基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值的步骤包括:
步骤S21,基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果;
在本实施例中,基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果,具体地,将各所述比特位特征值分别与所述预设特征值取值范围进行比对,获得各所述比特位特征值对应的比对结果,基于各所述比对结果,分别对各所述比对结果对应的比特位特征值进行三值划分,获得特征值类型划分结果。
其中,所述预设特征值取值范围包括上阀值和下阀值,所述特征值类型划分结果包括第一类型特征值、第二类型特征值和第三类型特征值,
所述基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果的步骤包括:
步骤S211,将不大于所述下阀值的所述比特位特征值作为所述第一类型特征值;
步骤S212,将大于所述下阀值且小于所述上阀值的所述比特位特征值作为所述第二类型特征值;
步骤S213,将不小于所述上阀值的所述比特位特征值作为所述第三类型特征值。
在本实施例中,具体地,通过将各所述比特位特征值与所述预设特征值取值范围进行比对,在各所述比特位特征值中分别确定不大于所述下阀值的第一类型特征值、确定大于所述下阀值且小于所述上阀值的第二类型特征值以及确定不小于所述上阀值的第三类型特征值。
步骤S22,基于所述特征值类型划分结果和各所述比特位特征值在所述哈希向量中的位置,生成所述目标三值哈希编码值。
在本实施例中,需要说明的是,所述特征值类型划分结果包括划分为第一类型特征值、划分为第二类型特征值和划分为第三类型特征值。
基于所述特征值类型划分结果和各所述比特位特征值在所述哈希向量中的位置,生成所述目标三值哈希编码值,具体地,基于所述特征值类型划分结果,获取各所述比特位特征值对应的特征值类型,进而生成划分为所述第一特征值类型的各比特位特征值对应的第一目标编码值和生成划分为所述第二特征值类型的各比特位特征值对应的第二目标编码值,以及生成划分为所述第三特征值类型的各比特位特征值对应的第三目标编码值,进而基于各所述第一目标编码值、各所述第二目标编码值和各所述第三目标编码值以及各所述比特位特征值在所述哈希向量中的位置,生成所述目标三值哈希编码值,其中,优选地,可将所述第一目标编码值设定为-1,所述第二目标编码值设定为0,所述第三目标编码值设定为1,例如,假设所述哈希向量为(3,2,0.001,-0.001,-5),所述预设特征值取值范围为(-0.1,0.1),则特征值3对应的第三目标编码为1,特征值2对应的第三目标编码为1,特征值0.001对应的第二目标编码为0,特征值-0.001对应的第二目标编码为0,特征值-5对应的第一目标编码为-1,进而所述三值输出哈希编码值为1100-1。
另外地,需要说明的是,对所述全连接向量进行特定比特位的极化的方式相比于对全连接向量中每一比特位均进行极化的方式,对所述全连接向量进行特定比特位的极化的方式减少了对部分比特位进行极化的计算过程,进而减少了极化时的计算量,进而提高了进行哈希编码时的计算效率,也即,提高了哈希编码效率。
另外地,需要说明的是,本实施例中基于预设特征值取值范围,生成模糊边界哈希编码值的方式,相比于基于特征值的正负进行哈希编码的方式,使得哈希编码时具备了模糊边界,进而避免了使用不准确或者模糊的比特位上的特征值进行哈希编码,且消除了比特位极化失败时,导致该极化失败比特位的编码值不准确的风险,进而提高了哈希编码的准确性。
本申请实施例提供了一种哈希编码优化方法,相比于现有技术采用的基于输入样本本身的单个数据分布特征,对输入样本进行哈希编码的技术手段,本申请实施例在获取待处理数据之后,基于预设哈希编码模型,以所述待处理数据的类别特征信息,也即,按照所述待处理数据的样本类别分布特征,对所述待处理数据进行极化哈希,获得所述待处理数据的样本类别对应的哈希结果,进而基于所述哈希结果的各比特位特征值和预设特征值取值范围,即可生成所述待处理数据对应的模糊边界哈希编码值,进而,实现了按照所述待处理数据的样本类别分布特征,生成所述待处理数据对应的目标三值哈希编码值的技术目的,进而克服了现有技术中基于输入样本本身的单个数据分布特征,对于属于不同样本类别且相似程度较高的输入样本进行哈希编码,将导致输出的哈希编码值容易混淆,进而导致哈希编码的准确性低的技术缺陷,进而提高了哈希编码的准确性。
进一步地,参照图2,基于本申请中第一实施例,在本申请的另一实施例中,在所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤之前,所述哈希编码优化方法还包括:
步骤B10,获取训练数据和待训练哈希编码模型,并生成所述训练数据对应的预设三值哈希编码值集合;
在本实施例中,需要说明的是,所述预设三值哈希编码值集合至少包括一个预设三值哈希编码值,所述训练数据至少包括一训练样本类别,所述训练样本类别至少包括一训练样本,所述训练数据可用训练数据表示矩阵进行表示,且所述训练数据表示矩阵的每一行对应一训练样本,所述训练数据表示矩阵的每一列对应一特征,所述待训练哈希编码模型为未训练好的哈希编码模型,所述预设三值哈希编码值为训练样本的训练样本类别对应的目标哈希编码值,且一所述预设三值哈希编码值对应一所述训练样本类别。
获取训练数据和待训练哈希编码模型,并生成所述训练数据对应的预设三值哈希编码值集合,具体地,获取所述训练数据和待训练哈希编码模型,并确定所述训练数据对应的各训练样本类别,进而生成各所述训练样本类别对应的预设三值哈希编码值。
所述生成所述训练数据对应的预设三值哈希编码值集合的步骤包括:
步骤B11,将所述训练数据输入预设分类模型,对所述训练数据进行样本分类,获得所述训练数据对应的分类特征向量集合;
在本实施例中,需要说明的是,所述分类特征向量集合至少包括一个所述训练样本对应的分类特征向量。
将所述训练数据输入预设分类模型,对所述训练数据进行样本分类,获得所述训练数据对应的分类特征向量集合,具体地,将各所述训练样本输入所述预设分类模型,对各所述训练样本共同对应的所述训练数据表示矩阵进行数据处理,其中,所述数据处理包括卷积、池化和全连接等,以对各所述训练样本进行样本分类,获得各所述训练样本对应的分类特征向量,其中,所述分类特征向量包括所述训练样本对应的所有特征信息。
步骤B12,基于所述分类特征向量集合,生成所述预设三值哈希编码值集合。
在本实施例中,基于所述分类特征向量集合,生成所述预设三值哈希编码值集合,具体地,在各所述分类特征向量中分别确定各训练样本类别对应的目标分类特征向量,进而对于每一所述训练样本类别对应的各目标分类特征向量均执行以下步骤:
对各所述目标分类特征向量共同对应的每一分类比特位上的特征值求取平均值和标准差,获得各所述分类比特位对应的比特位平均值和对应的比特位标准差,其中,所述训练样本类别对应的各训练样本对应的分类特征向量为具有相同数量的比特位的分类向量,所述分类向量至少包括一个分类比特位,所以,所述分类比特位为所述训练样本类别对应的分类向量的比特位,例如,假设所述训练样本类别的各训练样本对应的分类特征向量为具有4个比特位的向量,则所述训练样本类别对应的分类向量中存在4个分类比特位,进而基于各所述比特位平均值和各所述比特位标准差,生成所述训练样本类别对应的预设三值哈希编码值,其中,属于同一训练样本类别的各目标分类特征向量具有相同数量的分类比特位,所述比特为平均值为各所述目标分类特征向量中相同位置的分类比特位上数值的平均值,所述比特为平均值为各所述目标分类特征向量中相同位置的分类比特位上数值的标准差,例如,假设各所述目标分类特征向量包括向量A(a1,b1,c1)、向量B(a2,b2,c2)和向量C(a3,b3,c3),则各目标分类特征向量的首位的分类比特位对应的比特位平均值为μ=(a1+b1+c1)/3,各目标分类特征向量的首位的分类比特位对应的标准差σ如下所示:
Figure BDA0002634367150000121
其中,所述基于所述分类特征向量集合,生成所述预设三值哈希编码值集合的步骤包括:
步骤B121,计算各所述分类特征向量中各第一比特位共同位置分别对应的各第一比特位平均值和共同对应的各第一比特位标准差,其中,各所述分类特征向量对应同一所述训练样本类别;
在本实施例中,需要说明的是,所述第一比特位共同位置为属于同一训练样本类别的各分类特征向量对应的相同比特位位置,其中,所述相同比特位位置为比特位在所述分类特征向量中的排列位置,例如,假设各所述分类特征向量包括向量A(a,b,c)和向量B(x,y,z),则特征值a与特征x具有相同的比特位的排列位置,进而特征值a和特征值x共同对应一个第一比特位共同位置,同样地,特征值b和特征值y共同对应一个第一比特位共同位置,特征值c和特征值z共同对应一个第一比特位共同位置。
计算各所述分类特征向量中各第一比特位共同位置分别对应的各第一比特位平均值和共同对应的各第一比特位标准差,其中,各所述分类特征向量对应同一所述训练样本类别,具体地,确定同一所述训练样本类别的各所述分别特征向量中每一第一比特位共同位置对应的各分类比特位数值,进而计算每一所述第一比特位共同位置对应的各分类比特位上的特征值的平均值和标准差,获得各所述第一比特位共同位置对应的第一比特位平均值和对应的第一比特位标准差。
步骤B122,基于各所述第一比特位平均值和各所述第一比特位标准差,确定第一三进制哈希函数;
在本实施例中,基于各所述第一比特位平均值和各所述第一比特位标准差,确定第一三进制哈希函数,具体地,基于各第一比特位平均值和各第一比特位标准差,以及各所述第一比特位共同位置对应的各分类比特位上的特征值,构建各所述第一比特位共同位置对应的第一三进制哈希函数,其中,所述第一三进制哈希函数为所述第一比特位共同位置对应的三进制哈希函数,所述第一三进制哈希函数如下所示:
Tvk(v)=ternary(vk-uvk,αkvk)
其中,Tvk(v)为所述第一三进制哈希函数,vk为分类特征向量中排列顺序为k的第一比特位共同位置的分类比特位上的特征值,μvk为分类特征向量中排列顺序为k的第一比特位共同位置对应的第一比特位平均值,σvk为分类特征向量中排列顺序为k的第一比特位共同位置的第一比特位标准差,αk为第一超参数。
步骤B123,基于所述第一三进制哈希函数,生成所述训练样本类别中各训练样本对应的初始三值哈希编码值;
在本实施例中,基于所述第一三进制哈希函数,生成所述训练样本类别中各训练样本对应的初始三值哈希编码值,具体地,基于所述第一三进制哈希函数,确定各所述第一比特位共同位置对应的第一三值哈希编码参数,其中,所述第一三值哈希编码参数为所述第一比特位标准差和第一超参数的乘积,进而基于各所述第一三值哈希编码参数,对各所述训练样本对应的分类特征向量进行哈希编码,获得属于同一所述训练样本类别的各所述训练样本对应的初始三值哈希编码值。
其中,所述基于各所述第一三值哈希编码参数,对各所述训练样本对应的分类特征向量进行哈希编码,获得属于同一所述训练样本类别的各所述训练样本对应的初始三值哈希编码值的步骤包括:
步骤C10,基于各所述第一三值哈希编码参数,生成所述训练样本类别对应的各所述第一比特位共同位置对应的第一分类特征值范围;
在本实施例中,需要说明的是,所述第一分类特征值范围的中值为0,所述第一分类特征值范围的分类下阀值为负的所述第一三值哈希编码参数,所述第一分类特征值范围的分类上阀值为正的所述第一三值哈希编码参数,例如,假设所述第一三值哈希编码参数,则所述第一分类特征值范围为(-m,m)。
步骤C20,基于各所述第一分类特征值范围,对属于同一所述训练样本类别对应的各所述训练样本的分类特征向量进行哈希编码,获得各所述训练样本对应的初始三值哈希编码值。
在本实施例中,具体地,基于各所述第一比特位共同位置对应的第一分类特征值范围,对各所述分类特征向量中的每一分类比特位上的特征值进行三值划分,以将不大于所述分类下阀值的各分类比特位上的特征值划分为第一类数值,并赋予第一编码值,优先地,第一编码值的取值为-1,并将大于所述分类下阀值且小于所述分类上阀值的各分类比特位上的特征值划分为第二类数值,并赋予第二编码值,优先地,第二编码值的取值为0,并将不小于所述分类上阀值的各分类比特位上的特征值划分为第三类数值,并赋予第三编码值,优先地,第三编码值的取值为1,进而获得每一所述分类特征向量对应的各第一编码值、对应的各第二编码值和对应的各第三编码值,进而基于每一所述分类特征向量对应的各所述第一编码、对应的各所述第二编码值和各所述第三编码值,生成每一所述分类特征向量对应的初始三值哈希编码值,例如,假设所述分类特征向量为(5,0.01,-0.01,-4),所述第一分类特征值取值范围为(-0.2,0.2),则所述初始三值哈希编码值为(1,0,0,-1)。
步骤B124,计算各所述初始三值哈希编码值中各第二比特位共同位置分别对应的各第二比特位平均值和共同对应的各第二比特位标准差;
在本实施例中,需要说明的是,所述第二比特位共同位置为属于同一训练样本类别的各初始三值哈希编码值对应的相同比特位位置,其中,所述相同比特位位置为比特位在所述分类特征向量中的排列位置。
计算各所述初始三值哈希编码值中各第二比特位共同位置分别对应的各第二比特位平均值和共同对应的各第二比特位标准差,具体地,确定各所述初始三值哈希编码值中各第二比特位共同位置分别对应的各哈希编码比特位上的编码值,进而计算各第二比特位共同位置分别对应的各哈希编码比特位上的编码值的平均值和标准差,获得各第二比特位共同位置对应的第二比特位平均值和对应的第二比特位标准差。
步骤B125,基于各所述第二比特位平均值和各所述第二比特位标准差,确定第二三进制哈希函数;
在本实施例中,基于各所述第二比特位平均值和各所述第二比特位标准差,确定第二三进制哈希函数,具体地,基于各第二比特位平均值和各第二比特位标准差,以及各所述第二比特位共同位置分别对应的各哈希编码比特位上的编码值,构建第二三进制哈希函数,其中,所述第二三进制哈希函数为所述第二比特位共同位置对应的三进制哈希函数,所述第二三进制哈希函数如下所示:
Tak(a)=ternary(ak-uak,β*σak)
其中,Tak(a)为所述第二三进制哈希函数,ak为所述初始三值哈希编码值中排列顺序为k的第二比特位共同位置的哈希编码比特位上的编码值,μak为所述初始三值哈希编码值中排列顺序为k的第二比特位共同位置的第二比特位平均值,σak为所述初始三值哈希编码值中排列顺序为k的第二比特位共同位置的第二比特位标准差,β为第二超参数。
步骤B126,基于所述第二三进制哈希函数,生成所述训练样本类别对应的所述预设三值哈希编码值。
在本实施例中,基于所述第二三进制哈希函数,生成所述训练样本类别对应的所述预设三值哈希编码值,具体地,基于所述第二三进制哈希函数,确定第二三值哈希编码参数,其中,所述第二三值哈希编码参数为所述第二比特位标准差和第二超参数的乘积,进而基于所述第二三值哈希编码参数,生成初始三值哈希编码值的各第二比特位共同位置对应的第二分类特征值范围,其中,所述第二分类特征值范围的中值为0,所述第二分类特征值范围的第二下阀值为负的所述第二三值哈希编码参数,所述第二分类特征值范围的第二上阀值为正的所述第二三值哈希编码参数,进而基于各所述第二分类特征值范围,对各所述训练样本类别对应的训练样本进行三值划分,获得各所述训练样本类别对应的预设三值哈希编码值。
在一种可实施的方案中,在所述训练样本类别中获取预设数量的目标训练样本,并基于各所述第二分类特征值范围,对各所述目标训练样本进行三值划分,获得各所述目标训练样本对应的目标训练三值哈希编码值,进而对各所述目标训练三值哈希编码值进行求平均,获得所述训练样本类别对应的预设三值哈希编码值。
步骤B20,基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型。
在本实施例中,需要说明的是,所述预设第一迭代训练条件包括达到预设迭代次数阀值、极化损失函数收敛等,所述迭代训练包括一轮或者多轮训练,所述待训练哈希编码模型可通过对所述预设分类模型进行初始化获取,所述训练数据至少包括一个训练样本,所述预设三值哈希编码集合至少包括一个所述训练样本的训练样本类别对应的预设三值哈希编码值。
基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型,具体地,将所述训练样本输入所述待训练哈希编码模型,以基于所述训练样本对应的预设三值哈希编码值,对所述待训练哈希编码模型进行训练更新,并判断训练更新后的所述待训练哈希编码模型是否满足预设第一迭代训练条件,若训练更新后的所述待训练哈希编码模型满足预设第一迭代训练条件,则将训练更新后的所述待训练哈希编码模型作为所述预设哈希编码模型,若训练更新后的所述待训练哈希编码模型不满足预设第一迭代训练条件,则获取所述待训练哈希编码模型基于所述训练样本输出的训练三值哈希编码值,并基于所述训练三值哈希编码值和所述预设三值哈希编码值,优化所述待训练哈希编码模型的各极化输出通道对应的极化损失函数,并重新所述待训练哈希编码模型进行训练更新,直至训练更新后的所述待训练哈希编码模型满足预设第一迭代训练条件。
其中,所述训练数据至少包括一个训练样本,所述预设三值哈希编码值集合至少包括一个所述训练样本对应的预设三值哈希编码值,
所述基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型的步骤包括:
步骤B21,将所述训练样本输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练样本进行三值哈希编码,获得训练三值哈希编码值;
在本实施例中,所述训练数据至少包括一个训练样本,一所述预设三值哈希编码值对应一训练样本类别。
将所述训练样本输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练样本进行三值哈希编码,获得训练三值哈希编码值,具体地,将所述训练样本对应的待处理训练矩阵输入所述待训练哈希编码模型,其中,所述待处理训练矩阵为训练样本的矩阵表示形式,进而对所述待处理训练矩阵进行哈希,获得训练哈希向量,进而基于所述极化损失函数,对所述训练哈希向量的每一比特位进行强制极化,获得所述训练哈希向量对应的训练极化向量,进而基于所述训练极化向量中每一比特位对应的比特位特征值的大小和预设特征值取值范围,生成所述训练样本对应的训练三值哈希编码值,其中,所述极化损失函数如下所示,
L(v,t^c)=max(m-v*t^c,0)
其中,L为所述极化损失函数,m为预设强制极化参数,v为所述训练哈希向量中每一哈希向量比特位上的数值,且v的绝对值大于m,t^c为所述哈希向量比特位对应的目标编码值,所述目标哈希值为所述训练样本对应的预设三值哈希编码值上的比特位数值,且t^c={-1,0,+1},且所述极化损失函数收敛于0,例如,假设m为1,t^c为1,v为-1,此时,L=2,若要使得极化损失函数收敛于0,则需要对v进行强制极化,使得v为1,此时L=0,进而若t^c等于1或者-1,则进行极化,进而当t^c等于1时,所述训练哈希向量比特位上的数值将朝正方向逐渐远离0,当t^c等于-1时,所述训练哈希向量比特位上的数值将朝负方向逐渐远离0,若t^c等于0时,则不进行极化,进而若t^c等于1或者-1,则获得的训练极化向量中每一比特位的编码值应与该比特位对应的目标编码值一致,若t^c等于0,则获得的训练极化向量中每一比特位的编码值与该比特位对应的目标编码值可能一致,也可能不一致,进而控制三值哈希编码值的中为0的目标哈希编码的占比在预设占比范围之内,即可控制对于属于同一训练样本类别的各训练样本,预设哈希编码模型可输出相似程度非常高的哈希编码值,也即,对属于同一样本类别的各输入样本,所述预设哈希编码模型均可输出与所述预设三值哈希编码值的相似程度超过预设相似程度阀值的目标三值哈希编码值,进而由于属于同一样本类别的各输入样本对应同一预设三值哈希编码值,则各目标三值哈希编码值应当具有高度的相似性,甚至相同。
另外地,需要说明的是,所述训练哈希向量中每一比特位均对应所述待训练哈希编码模型中的一极化输出通道,每一所述极化输出通道对应的预设强制极化参数均由对所述待训练哈希编码模型进行训练优化而得到,进而每一所述极化输出通道对应的预设强制极化参数可能相同,也可能不同,其中,所述极化输出通道用于基于所述预设强制极化参数,通过对应的所述极化损失函数,强制极化所述训练哈希向量中对应的比特位上的数值,并输出所述初始哈希编码值中对应的比特位的编码数值。
步骤B22,计算所述训练三值哈希编码值和所述预设三值哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设汉明距离阀值进行比对;
在本实施例中,计算所述训练三值哈希编码值和所述预设三值哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设汉明距离阀值进行比对,具体地,将所述训练三值哈希编码值的每一比特位上的数值与所述预设三值哈希编码值的每一比特位上的数值进行比对,确定所述训练三值哈希编码值和所述预设三值哈希编码值之间比特位数值不相同的比特位数量,并将所述比特位数量作为所述训练汉明距离,并将所述训练汉明距离与预设汉明距离阀值进行比对,例如,假设所述训练三值哈希编码值为向量(1,1,1,1,-1,0),所述预设三值哈希编码值为向量(-1,1,1,-1,-1,0),则所述比特位数量为2,则所述训练汉明距离为2。
步骤B23,若所述训练汉明距离大于所述预设汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设第一迭代训练条件,并基于所述训练三值哈希编码值,优化所述极化损失函数;
在本实施例中,若所述训练汉明距离大于所述预设汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设第一迭代训练条件,并基于所述训练三值哈希编码值,优化所述极化损失函数,具体地,若所述训练汉明距离大于所述预设汉明距离阀值,则判定所述极化损失函数并未在所有所述极化输出通道上收敛,也即,所述极化损失函数未收敛,进而判定所述待训练哈希编码模型未达到所述预设第一迭代训练条件,进而确定所述训练三值哈希编码值和所述预设三值哈希编码值之间的一个或者多个相异比特位,并确定各所述相异比特位对应的未收敛极化输出通道,进而调整各所述未收敛极化输出通道对应的极化损失函数中的预设强制极化参数,其中,所述未收敛极化输出通道为未收敛的极化损失函数对应的极化输出通道,其中,所述待训练哈希编码模型至少包括一个极化输出通道,且所述极化输出通道的数量与所述训练哈希向量中的比特位的数量相关,也即,一所述训练哈希向量中的比特位对应一所述极化输出通道。
步骤B24,基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设汉明距离阀值;
在本实施例中,基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设汉明距离阀值,具体地,重新获取训练数据,并基于重新获取的训练数据,对优化后的所述极化损失函数对应的待训练哈希编码模型重新进行迭代训练,以继续优化所述极化损失函数,直至所述训练汉明距离小于或者等于所述预设汉明距离阀值。
步骤B25,若所述训练汉明距离小于或者等于所述预设汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设第一迭代训练条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
在本实施例中,若所述训练汉明距离小于或者等于所述预设汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设第一迭代训练条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型,具体地,若所述训练汉明距离小于或者等于所述预设汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设第一迭代训练条件,也即,所述待训练哈希编码模型中各所述极化输出通道对应的极化损失函数收敛,进而将所述待训练哈希编码模型作为所述预设哈希编码模型。
另外地,需要说明的是,目前基于深度学习的哈希编码方式,通常以成对相似度标签为训练目标,且在训练时需加上约束条件,进而导致在训练哈希编码模型时需要进行优化的参数变多,而本实施例中训练哈希编码模型时,只需基于简单的极化损失函数,即可完成哈希编码模型的优化,进行避免了以成对相似度标签为训练目标,且在训练时需加上约束条件以训练哈希编码模型的情况发生,进而可显著提高哈希编码模型构建效率。
另外地,需要说明的是,由于二值哈希编码在进行哈希编码时至无边界,也即,哈希编码时仅仅以0为边界点,其中,特征值大于0时,则特征值对应的编码值为1,特征值小于0时,则特征值对应的编码值为-1,例如,假设全连接向量为(0.1,0.0001,-0.1,-5),进而对全连接向量中的各特征值进行极化,使得正的特征值朝着正方向远离0,负的特征值朝着负方向远离0,进而得到极化哈希向量为(2,1.1,-1,-6),进而基于极化后特征值的正负,可确定全连接向量对应的哈希编码值为(1,1,-1,-1),但是,由于存在一些特征值非常小且取值在0的上下浮动,进而对于这些比特位,在进行极化哈希编码时,容易极化失败,进而导致极化后的特征值的正负不稳定,进而导致确定的哈希编码值不够准确,而本申请实施例提供了一种哈希编码优化方法,其中将在所述预设特征值取值范围之内的特征值对应的编码值取0,将不大于所述预设特征值取值范围的下阀值的特征值对应的编码值取-1,将不,小于所述预设特征值取值范围的上阀值的特征值对应的编码值取1,进而成功为进行哈希编码时设置了模糊边界,进而在进行极化时,使得不大于所述预设特征值取值范围的下阀值的特征值朝着负方向远离0,不小于所述预设特征值取值范围的上阀值的特征值朝着正方向远离0,处于预设特征值取值范围之内的特征值则不进行极化,进而基于极化后的特征值的取值,生成三值哈希编码值,进而避免了由于特征值非常小且取值在0的上下浮动,进而对于这些比特位,在进行极化哈希编码时,容易极化失败,进而导致极化后的特征值的正负不稳定,进而导致确定的哈希编码值不够准确的情况发生,进而提高了哈希编码的准确性,且由于在极化过程中,对于非常小且取值在0的上下浮动的特征值无需进行极化,也即,对于处于预设特征值取值范围之内的特征值不进行极化,进而相比于二值极化哈希编码,减少了对这些比特位的极化时计算过程,进而提高了极化哈希编码时的计算效率,同时也减少了在进行哈希编码模型训练时的计算过程,进而提高了哈希编码模型构建时的计算效率。
其中,所述训练数据至少包括一个训练样本类别,所述预设三值哈希编码值集合至少包括一个预设三值哈希编码值,
所述将所述待训练哈希编码模型作为所述预设哈希编码模型的步骤包括:
步骤B30,获取各所述训练样本类别对应的所述预设三值哈希编码值,并计算各所述预设三值哈希编码值共同对应的余弦距离矩阵;
在本实施例中,需要说明的是,所述余弦距离矩阵为各所述预设三值哈希编码值之间的余弦距离构成的矩阵。
获取各所述训练样本类别对应的所述预设三值哈希编码值,并计算各所述预设三值哈希编码值共同对应的余弦距离矩阵,具体地,获取各所述训练样本类别对应的所述预设三值哈希编码值,其中,一所述训练样本类别对应一所述预设三值哈希编码值,进而计算各所述预设三值哈希编码值之间的余弦距离,并构建各所述余弦距离对应的余弦距离矩阵。
步骤B40,基于所述余弦距离矩阵,优化各所述预设三值哈希编码值,获得各所述预设三值哈希编码值对应的优化三值哈希编码值;
在本实施例中,基于所述余弦距离矩阵,优化各所述预设三值哈希编码值,获得各所述预设三值哈希编码值对应的优化三值哈希编码值,具体地,基于所述余弦距离矩阵,对各所述预设三值哈希编码值进行优化调整,以增大各所述预设三值哈希编码值之间的余弦距离,使得各所述预设三值哈希编码之间的余弦距离大于预设余弦距离阀值,获得各所述预设三值哈希编码值对应的优化三值哈希编码值,其中,如图3所示为对各所述预设三值哈希编码值进行优化前后的余弦距离矩阵的示意图,其中,t1、t2和t3均为所述预设三值哈希编码值,左侧为优化前的余弦距离矩阵,右侧为优化后的优选距离矩阵,且,在优化后,各预设三值哈希编码值之间的余弦距离明显增大。
步骤B50,基于各所述优化三值哈希编码值和所述训练数据,重新对所述待训练哈希编码模型进行迭代训练,直至所述待训练哈希编码模型满足预设第二迭代训练条件,获得所述预设哈希编码模型。
在本实施例中,基于各所述优化三值哈希编码值和所述训练数据,重新对所述待训练哈希编码模型进行迭代训练,直至所述待训练哈希编码模型满足预设第二迭代训练条件,获得所述预设哈希编码模型,具体地,将所述训练数据输入所述待训练哈希编码模型,以基于所述优化三值哈希编码值,重新对所述待训练哈希编码模型进行二次训练更新,并判断二次训练更新后的所述待训练哈希编码模型是否满足预设第二迭代训练条件,若二次训练更新后的所述待训练哈希编码模型满足预设第二迭代训练条件,则将二次训练更新后的所述待训练哈希编码模型作为所述预设哈希编码模型,若二次训练更新后的所述待训练哈希编码模型不满足预设第二迭代训练条件,则获取所述待训练哈希编码模型基于所述训练数据输出的二次训练三值哈希编码值,并基于所述优化三值哈希编码值和所述二次训练三值哈希编码值,优化所述待训练哈希编码模型的各极化输出通道对应的极化损失函数,并重新对二次训练更新后的所述待训练哈希编码模型进行训练更新,直至二次训练更新后的所述待训练哈希编码模型满足预设第二迭代训练条件,其中,所述预设第二迭代训练条件包括损失函数收敛和达到预设迭代次数阀值等,进而基于本方案中训练好的预设哈希编码模型,即可对所述全连接向量进行特定比特位的极化。
另外地,需要说明的是,在一种可实施的方案中,本申请还提供一种所述预设哈希编码模型的训练方法,其步骤包括:
步骤A10,获取第二训练数据和第二待训练哈希编码模型,并基于预设目标哈希编码方式,生成所述训练数据对应的所述预设哈希编码值;
在本实施例中,需要说明的是,所述第二待训练哈希编码模型为未训练好的神经网络模型,所述预设目标哈希编码方式可为预先设定好的任意一种哈希编码方式,所述第二训练数据为用于训练所述第二待训练哈希编码模型的第二训练样本,所述预设哈希编码值为所述第二训练样本所属的训练样本类别对应的二值哈希编码值,其中,一所述训练样本类别对应一所述预设哈希编码值,所述训练样本类别至少包括一个第二训练样本。
获取第二训练数据和第二待训练哈希编码模型,并基于预设目标哈希编码方式,生成所述训练数据对应的所述预设哈希编码值,具体地,从预设训练数据存储数据库中提取所述第二训练样本和所述第二待训练哈希编码模型,并基于预设目标哈希编码方式,对所述第二训练样本进行哈希编码,生成所述第二训练样本所属的训练样本类别对应的预设哈希编码值。
步骤A20,基于所述预设哈希编码值和所述第二训练数据,对所述第二待训练哈希编码模型进行迭代训练,以优化所述第二待训练哈希编码模型对应的第二极化损失函数,直至所述第二待训练哈希编码模型达到预设迭代结束条件,将所述第二待训练哈希编码模型作为所述预设哈希编码模型。
在本实施例中,需要说明的是,所述预设迭代结束条件包括达到预设迭代次数阀值、第二极化损失函数收敛等,所述迭代训练包括一轮或者多轮训练。
基于所述预设哈希编码值和所述第二训练数据,对所述第二待训练哈希编码模型进行迭代训练,以优化所述第二待训练哈希编码模型对应的第二极化损失函数,直至所述第二待训练哈希编码模型达到预设迭代结束条件,将所述第二待训练哈希编码模型作为所述预设哈希编码模型,具体地,将所述第二训练数据输入所述第二待训练哈希编码模型,以基于所述预设哈希编码值,对所述第二待训练哈希编码模型进行训练更新,并判断训练更新后的所述第二待训练哈希编码模型是否满足预设迭代结束条件,若训练更新后的所述第二待训练哈希编码模型满足预设迭代结束条件,则将训练更新后的所述第二待训练哈希编码模型作为所述预设哈希编码模型,若训练更新后的所述第二待训练哈希编码模型不满足预设迭代结束条件,则获取所述第二待训练哈希编码模型基于所述第二训练数据输出的初始哈希编码值,并基于所述初始哈希编码值和所述预设哈希编码值,优化所述第二待训练哈希编码模型的各极化输出通道对应的第二极化损失函数,并重新对所述第二待训练哈希编码模型进行训练更新,直至训练更新后的所述第二待训练哈希编码模型满足预设迭代结束条件。
其中,所述基于所述预设哈希编码值和所述第二训练数据,对所述第二待训练哈希编码模型进行迭代训练,以优化所述第二待训练哈希编码模型对应的第二极化损失函数,直至所述第二待训练哈希编码模型达到预设迭代结束条件,将所述第二待训练哈希编码模型作为所述预设哈希编码模型的步骤包括:
步骤A21,将所述第二训练数据输入所述第二待训练哈希编码模型,以基于所述第二极化损失函数,对所述第二训练数据进行哈希编码,获得初始哈希编码值;
在本实施例中,所述训练数据至少包括一个训练样本,所述初始哈希编码值为所述第二训练样本对应的二值哈希编码值。
将所述第二训练数据输入所述第二待训练哈希编码模型,以基于所述第二极化损失函数,对所述第二训练数据进行哈希编码,获得初始哈希编码值,具体地,将所述第二训练样本对应的待处理训练矩阵输入所述第二待训练哈希编码模型,其中,所述待处理训练矩阵为第二训练样本的矩阵表示形式,进而对所述待处理训练矩阵进行哈希,获得训练哈希向量,进而基于所述第二极化损失函数,对所述训练哈希向量的每一比特位进行强制极化,获得所述训练哈希向量对应的训练极化向量,进而基于所述训练极化向量中每一比特位对应的极化标识,生成所述训练样本对应的初始哈希编码值,其中,所述极化标识为比特位上的特征值的正负符号,所述第二极化损失函数如下所示,
L(v,t^c)=max(m–v*t^c,0)
其中,L为所述第二极化损失函数,m为预设强制极化参数,v为所述训练哈希向量中每一哈希向量比特位上的数值,且v的绝对值大于m,t^c为所述哈希向量比特位对应的目标哈希值,所述目标哈希值为所述训练样本对应的预设哈希编码值上的比特位数值,且t^c={-1,+1},且所述第二极化损失函数收敛于0,例如,假设m为1,t^c为1,v为-1,此时,L=2,若要使得第二极化损失函数收敛于0,则需要对v进行强制极化,使得v为1,此时L=0,进而当t^c等于1时,所述训练哈希向量比特位上的数值将朝正方向逐渐远离0,当t^c等于-1时,所述训练哈希向量比特位上的数值将朝负方向逐渐远离0,进而在极化成功后,获得的训练极化向量中每一比特位的极化标识应与对应的目标哈希值一致,进一步地,由于同一训练样本类别的预设哈希编码值相同,所以属于同一训练样本类别的各训练样本对应的训练极化向量中每一比特位上的极化标识一致,进而基于各极化标识,获得的模型输出值一致,也即,对于属于同一样本类别的模型输入样本,基于训练好的所述预设哈希编码模型可获得相同的哈希编码值。
另外地,需要说明的是,所述训练哈希向量中每一比特位均对应所述第二待训练哈希编码模型中的一极化输出通道,每一所述极化输出通道对应的预设强制极化参数均由对所述哈希编码模型进行训练优化而得到,进而每一所述极化输出通道对应的预设强制极化参数可能相同,也可能不同,其中,所述极化输出通道用于基于所述预设强制极化参数,通过对应的所述第二极化损失函数,强制极化所述训练哈希向量中对应的比特位上的数值,并输出所述初始哈希编码值中对应的比特位的编码数值。
步骤A22,计算所述初始哈希编码值和所述预设哈希编码值之间的第二训练汉明距离,并将所述第二训练汉明距离与第二预设汉明距离阀值进行比对;
在本实施例中,计算所述初始哈希编码值和所述预设哈希编码值之间的第二训练汉明距离,并将所述第二训练汉明距离与第二预设汉明距离阀值进行比对,具体地,将所述初始哈希编码值的每一比特位上的数值与所述预设哈希编码值的每一比特位上的数值进行比对,确定所述初始哈希编码值和所述预设哈希编码值之间比特位数值不相同的比特位数量,并将所述比特位数量作为所述第二训练汉明距离,并将所述第二训练汉明距离与第二预设汉明距离阀值进行比对,例如,假设所述初始哈希编码值为向量(1,1,1,1),所述目标哈希编码结果为向量(-1,1,1,-1),则所述比特位数量为2,则所述第二训练汉明距离为2。
步骤A23,若所述第二训练汉明距离大于所述第二预设汉明距离阀值,则判定所述第二待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值优化所述第二极化损失函数;
在本实施例中,若所述第二训练汉明距离大于所述第二预设汉明距离阀值,则判定所述第二待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值优化所述第二极化损失函数,具体地,若所述第二训练汉明距离大于所述第二预设汉明距离阀值,则判定所述第二极化损失函数并未在所有所述极化输出通道上收敛,也即,所述第二极化损失函数未收敛,进而判定所述第二待训练哈希编码模型未达到所述预设迭代结束条件,进而确定所述初始哈希编码值和所述预设哈希编码值之间的一个或者多个相异比特位,并确定各所述相异比特位对应的未收敛极化输出通道,进而调整各所述未收敛极化输出通道对应的第二极化损失函数中的预设强制极化参数,其中,所述未收敛极化输出通道为未收敛的第二极化损失函数对应的极化输出通道,其中,所述第二待训练哈希编码模型至少包括一个极化输出通道,且所述极化输出通道的数量与所述训练哈希向量中的比特位的数量相关,也即,一所述训练哈希向量中的比特位对应一所述极化输出通道。
步骤A24,基于优化后的所述第二极化损失函数,重新进行所述第二待训练哈希编码模型的训练,直至所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值;
在本实施例中,基于优化后的所述第二极化损失函数,重新进行所述第二待训练哈希编码模型的训练,直至所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值,具体地,重新获取所述训练数据,并基于重新获取的训练数据,对优化后的所述第二极化损失函数对应的第二待训练哈希编码模型重新进行迭代训练,以继续优化所述第二极化损失函数,直至所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值。
步骤A25,若所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值,则判定所述第二待训练哈希编码模型达到所述预设迭代结束条件,并将所述第二待训练哈希编码模型作为所述预设哈希编码模型。
在本实施例中,若所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值,则判定所述第二待训练哈希编码模型达到所述预设迭代结束条件,并将所述第二待训练哈希编码模型作为所述预设哈希编码模型,具体地,若所述第二训练汉明距离小于或者等于所述第二预设汉明距离阀值,则判定所述第二待训练哈希编码模型达到所述预设迭代结束条件,也即,所述第二待训练哈希编码模型中各所述极化输出通道对应的第二极化损失函数收敛,进而将所述第二待训练哈希编码模型作为所述预设哈希编码模型,进而本方案中训练好的预设哈希编码模型,即可对全连接向量的每一比特位上的特征值进行极化,且若极化成功,则极化后的特征值将远离于0,也即,在预设特征值取值范围之外,若极化失败,则极化后的特征值仍将趋近于0,也即,在所述预设特征值取值范围之内。
另外地,需要说明的是,目前基于深度学习的哈希编码方式,通常以成对相似度标签为训练目标,且在训练时需加上约束条件,进而导致在训练预设哈希编码模型时需要进行优化的参数变多,而本实施例中训练预设哈希编码模型时,只需基于简单的极化损失函数,即可完成预设哈希编码模型的优化,进行避免了以成对相似度标签为训练目标,且在训练时需加上约束条件以训练预设哈希编码模型的情况发生,进而可显著提高预设哈希编码模型构建效率。
本实施例提供了一种基于深度学习用于进行三值哈希编码的哈希编码模型的训练方法,相比于现有技术中采用以成对相似度标签为训练目标,且在训练时需加上约束条件训练哈希编码模型的技术手段,本实施例在迭代训练过程中,并未加上约束条件,且直接基于深度学习对所述待训练哈希编码模型进行迭代训练,进而克服了以成对相似度标签为训练目标,且加上约束条件训练所述待训练哈希编码模型,将降低了模型训练时的计算复杂度的技术缺陷,进而提高了模型训练时的计算效率,为解决哈希编码准确性低的技术问题奠定了基础。
参照图4,图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示,该哈希编码优化设备可以包括:处理器1001,例如CPU,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地,该哈希编码优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图4中示出的哈希编码优化设备结构并不构成对哈希编码优化设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图4所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及三值哈希编码程序。操作系统是管理和控制哈希编码优化设备硬件和软件资源的程序,支持三值哈希编码程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与三值哈希编码系统中其它硬件和软件之间通信。
在图4所示的哈希编码优化设备中,处理器1001用于执行存储器1005中存储的三值哈希编码程序,实现上述任一项所述的哈希编码优化方法的步骤。
本申请哈希编码优化设备具体实施方式与上述哈希编码优化方法各实施例基本相同,在此不再赘述。
本申请实施例还提供一种哈希编码优化装置,所述哈希编码优化装置应用于哈希编码优化设备,所述哈希编码优化装置包括:
极化哈希模块,用于获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果;
生成模块,用于基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值。
可选地,所述极化哈希模块包括:
第一特征提取子模块,用于将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息;
第一极化哈希子模块,用于将所述类别特征信息输入所述哈希层,对所述类别特征信息进行特定比特位的极化哈希,获得所述哈希结果。
可选地,所述第一极化哈希子模块包括:
全连接单元,用于对所述类别特征表示矩阵进行全连接,获得全连接向量,并分别为所述全连接向量中的各所述特定比特位匹配对应的极化输出通道;
极化单元,用于基于各所述极化输出通道,分别对各所述特定比特位进行极化,获得所述哈希结果。
可选地,所述极化哈希模块还包括:
第二特征提取子模块,用于将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征信息;
第二极化哈希子模块,用于将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得所述哈希结果。
可选地,所述生成模块包括:
划分子模块,用于基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果;
第一生成子模块,用于基于所述特征值类型划分结果和各所述比特位特征值在所述哈希向量中的位置,生成所述目标三值哈希编码值。
可选地,所述划分子模块包括:
第一划分单元,用于将不大于所述下阀值的所述比特位特征值作为所述第一类型特征值;
第二划分单元,用于将大于所述下阀值且小于所述上阀值的所述比特位特征值作为所述第二类型特征值;
第三划分单元,用于将不小于所述上阀值的所述比特位特征值作为所述第三类型特征值。
可选地,所述哈希编码优化装置还包括:
获取模块,用于获取训练数据和待训练哈希编码模型,并生成所述训练数据对应的预设三值哈希编码值集合;
迭代训练模块,用于基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型。
可选地,所述迭代训练模块包括:
哈希编码子模块,用于将所述训练样本输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练样本进行三值哈希编码,获得训练三值哈希编码值;
计算子模块,用于计算所述训练三值哈希编码值和所述预设三值哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设汉明距离阀值进行比对;
第一判定子模块,用于若所述训练汉明距离大于所述预设汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设第一迭代训练条件,并基于所述训练三值哈希编码值,优化所述极化损失函数;
优化子模块,用于基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设汉明距离阀值;
第二判定子模块,用于若所述训练汉明距离小于或者等于所述预设汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设第一迭代训练条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
可选地,所述获取模块包括:
分类子模块,用于将所述训练数据输入预设分类模型,对所述训练数据进行样本分类,获得所述训练数据对应的分类特征向量集合;
第二生成子模块,用于基于所述分类特征向量集合,生成所述预设三值哈希编码值集合。
可选地,所述第二生成子模块包括:
第一计算单元,用于计算各所述分类特征向量中各第一比特位共同位置分别对应的各第一比特位平均值和共同对应的各第一比特位标准差,其中,各所述分类特征向量对应同一所述训练样本类别;
第一确定单元,用于基于各所述第一比特位平均值和各所述第一比特位标准差,确定第一三进制哈希函数;
第一生成单元,用于基于所述第一三进制哈希函数,生成所述训练样本类别中各训练样本对应的初始三值哈希编码值;
第二计算单元,用于计算各所述初始三值哈希编码值中各第二比特位共同位置分别对应的各第二比特位平均值和共同对应的各第二比特位标准差;
第二确定单元,用于基于各所述第二比特位平均值和各所述第二比特位标准差,确定第二三进制哈希函数;
第二生成单元,用于基于所述第二三进制哈希函数,生成所述训练样本类别对应的所述预设三值哈希编码值。
本申请哈希编码优化装置的具体实施方式与上述哈希编码优化方法各实施例基本相同,在此不再赘述。
本申请实施例提供了一种可读存储介质,且所述可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的哈希编码优化方法的步骤。
本申请可读存储介质具体实施方式与上述哈希编码优化方法各实施例基本相同,在此不再赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (12)

1.一种哈希编码优化方法,其特征在于,所述哈希编码优化方法包括:
获取待处理数据,并将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果;
基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值;
其中,所述类别特征信息包括类别特征表示矩阵,所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤包括:
将所述待处理数据输入所述预设哈希编码模型的隐藏层,对所述待处理数据进行特征提取,获得所述类别特征表示矩阵;
对所述类别特征表示矩阵进行全连接,得到全连接向量;
基于所述全连接向量中各比特位对应的极化输出通道,分别对所述全连接向量中各比特位上的特征值进行极化,得到所述哈希结果。
2.如权利要求1所述哈希编码优化方法,其特征在于,所述预设哈希编码模型包括隐藏层和哈希层,
所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤包括:
将所述待处理数据输入所述隐藏层,对所述待处理数据进行特征提取,获得所述类别特征表示矩阵;
将所述类别特征表示矩阵输入所述哈希层,对所述类别特征表示矩阵进行全连接,获得全连接向量,并分别为所述全连接向量中的各特定比特位匹配对应的极化输出通道,其中,所述特定比特位为所述全连接向量中在预设特征值取值范围之外的特征值对应的比特位;
基于各所述极化输出通道,分别对各所述特定比特位进行极化,获得所述哈希结果。
3.如权利要求2所述哈希编码优化方法,其特征在于,所述基于各所述极化输出通道,分别对各所述特定比特位进行极化,获得所述哈希结果的步骤包括:
基于各所述极化输出通道,分别对各所述特定比特位上的特征值进行极化,得到各所述特定比特位对应的极化特征值;
获取所述全连接向量中各非特定比特位上的非极化特征值,将各所述极化特征值和各所述非极化特征值组成的向量作为所述哈希结果。
4.如权利要求1所述哈希编码优化方法,其特征在于,所述哈希结果包括哈希向量,所述模糊边界哈希编码值包括目标三值哈希编码值,
所述基于所述哈希结果的各比特位特征值和预设特征值取值范围,生成所述待处理数据对应的模糊边界哈希编码值的步骤包括:
基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果;
基于所述特征值类型划分结果和各所述比特位特征值在所述哈希向量中的位置,生成所述目标三值哈希编码值。
5.如权利要求4所述哈希编码优化方法,其特征在于,所述预设特征值取值范围包括上阀值和下阀值,所述特征值类型划分结果包括第一类型特征值、第二类型特征值和第三类型特征值,
所述基于所述预设特征值取值范围,对各所述比特位特征值进行三值划分,获得特征值类型划分结果的步骤包括:
将不大于所述下阀值的比特位特征值作为所述第一类型特征值;
将大于所述下阀值且小于所述上阀值的比特位特征值作为所述第二类型特征值;
将不小于所述上阀值的比特位特征值作为所述第三类型特征值。
6.如权利要求1所述哈希编码优化方法,其特征在于,在所述将所述待处理数据输入预设哈希编码模型,以基于所述待处理数据对应的类别特征信息,对所述待处理数据进行极化哈希,获得哈希结果的步骤之前,所述哈希编码优化方法还包括:
获取训练数据和待训练哈希编码模型,并生成所述训练数据对应的预设三值哈希编码值集合;
基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型。
7.如权利要求6所述哈希编码优化方法,其特征在于,所述训练数据至少包括一个训练样本,所述预设三值哈希编码值集合至少包括一个所述训练样本对应的预设三值哈希编码值,
所述基于所述预设三值哈希编码值集合和所述训练数据,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设第一迭代训练条件,将所述待训练哈希编码模型作为所述预设哈希编码模型的步骤包括:
将所述训练样本输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练样本进行三值哈希编码,获得训练三值哈希编码值;
计算所述训练三值哈希编码值和所述预设三值哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设汉明距离阀值进行比对;
若所述训练汉明距离大于所述预设汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设第一迭代训练条件,并基于所述训练三值哈希编码值,优化所述极化损失函数;
基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设汉明距离阀值;
若所述训练汉明距离小于或者等于所述预设汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设第一迭代训练条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
8.如权利要求6所述哈希编码优化方法,其特征在于,所述生成所述训练数据对应的预设三值哈希编码值集合的步骤包括:
将所述训练数据输入预设分类模型,对所述训练数据进行样本分类,获得所述训练数据对应的分类特征向量集合;
基于所述分类特征向量集合,生成所述预设三值哈希编码值集合。
9.如权利要求8所述哈希编码优化方法,其特征在于,所述分类特征向量集合至少包括一个训练样本类别的各分类特征向量,所述预设三值哈希编码值集合至少包括一个所述训练样本类别对应的预设三值哈希编码值,
所述基于所述分类特征向量集合,生成所述预设三值哈希编码值集合的步骤包括:
计算各所述分类特征向量中各第一比特位共同位置分别对应的各第一比特位平均值和共同对应的各第一比特位标准差,其中,各所述分类特征向量对应同一所述训练样本类别;
基于各所述第一比特位平均值和各所述第一比特位标准差,确定第一三进制哈希函数;
基于所述第一三进制哈希函数,生成所述训练样本类别中各训练样本对应的初始三值哈希编码值;
计算各所述初始三值哈希编码值中各第二比特位共同位置分别对应的各第二比特位平均值和共同对应的各第二比特位标准差;
基于各所述第二比特位平均值和各所述第二比特位标准差,确定第二三进制哈希函数;
基于所述第二三进制哈希函数,生成所述训练样本类别对应的所述预设三值哈希编码值。
10.如权利要求6所述哈希编码优化方法,其特征在于,所述训练数据至少包括一个训练样本类别,所述预设三值哈希编码值集合至少包括一个预设三值哈希编码值,
所述将所述待训练哈希编码模型作为所述预设哈希编码模型的步骤包括:
获取各所述训练样本类别对应的所述预设三值哈希编码值,并计算各所述预设三值哈希编码值共同对应的余弦距离矩阵;
基于所述余弦距离矩阵,优化各所述预设三值哈希编码值,获得各所述预设三值哈希编码值对应的优化三值哈希编码值;
基于各所述优化三值哈希编码值和所述训练数据,重新对所述待训练哈希编码模型进行迭代训练,直至所述待训练哈希编码模型满足预设第二迭代训练条件,获得所述预设哈希编码模型。
11.一种哈希编码优化设备,其特征在于,所述哈希编码优化设备包括:存储器、处理器以及存储在存储器上的用于实现所述哈希编码优化方法的程序,
所述存储器用于存储实现哈希编码优化方法的程序;
所述处理器用于执行实现所述哈希编码优化方法的程序,以实现如权利要求1至10中任一项所述哈希编码优化方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现哈希编码优化方法的程序,所述实现哈希编码优化方法的程序被处理器执行以实现如权利要求1至10中任一项所述哈希编码优化方法的步骤。
CN202010828919.5A 2020-08-14 2020-08-14 哈希编码优化方法、设备及可读存储介质 Active CN111988614B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010828919.5A CN111988614B (zh) 2020-08-14 2020-08-14 哈希编码优化方法、设备及可读存储介质
PCT/CN2020/133431 WO2022032938A1 (zh) 2020-08-14 2020-12-02 哈希编码优化方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010828919.5A CN111988614B (zh) 2020-08-14 2020-08-14 哈希编码优化方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111988614A CN111988614A (zh) 2020-11-24
CN111988614B true CN111988614B (zh) 2022-09-13

Family

ID=73435580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010828919.5A Active CN111988614B (zh) 2020-08-14 2020-08-14 哈希编码优化方法、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111988614B (zh)
WO (1) WO2022032938A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988614B (zh) * 2020-08-14 2022-09-13 深圳前海微众银行股份有限公司 哈希编码优化方法、设备及可读存储介质
CN112597155A (zh) * 2020-12-15 2021-04-02 深圳前海微众银行股份有限公司 数据搜索优化方法、设备、介质及计算机程序产品
CN112966755A (zh) * 2021-03-10 2021-06-15 深圳市固电电子有限公司 电感缺陷检测方法、设备及可读存储介质
CN113111953B (zh) * 2021-04-20 2022-08-26 深圳吉祥星科技股份有限公司 一种投影画质处理装置
CN116192402B (zh) * 2023-01-18 2023-10-10 南阳理工学院 一种具有信息编码的通信方法
CN117156138B (zh) * 2023-10-31 2024-02-09 季华实验室 图像的不定长深度哈希编码方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110125A1 (zh) * 2015-01-09 2016-07-14 北京大学 高维向量的哈希方法、向量量化方法及装置
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336972A (zh) * 2013-07-24 2013-10-02 中国科学院自动化研究所 一种基于完备化局部三值模式的地基云图分类方法
US9330104B2 (en) * 2014-04-30 2016-05-03 International Business Machines Corporation Indexing and searching heterogenous data entities
CN107666370B (zh) * 2016-07-29 2023-09-22 华为技术有限公司 编码方法和设备
CN106649782B (zh) * 2016-12-28 2020-03-31 电子科技大学 一种图片检索方法和系统
CN109783671B (zh) * 2019-01-30 2021-10-08 京东方科技集团股份有限公司 一种以图搜图的方法、计算机可读介质及服务器
CN109829065B (zh) * 2019-03-08 2023-08-18 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110321957B (zh) * 2019-07-05 2023-03-24 重庆大学 融合三元组损失和生成对抗网络的多标签图像检索方法
CN110413787B (zh) * 2019-07-26 2023-07-21 腾讯科技(深圳)有限公司 文本聚类方法、装置、终端和存储介质
CN110688501B (zh) * 2019-08-28 2022-04-05 宁波大学 一种基于深度学习的全卷积网络的哈希检索方法
CN111988614B (zh) * 2020-08-14 2022-09-13 深圳前海微众银行股份有限公司 哈希编码优化方法、设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110125A1 (zh) * 2015-01-09 2016-07-14 北京大学 高维向量的哈希方法、向量量化方法及装置
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2022032938A1 (zh) 2022-02-17
CN111988614A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111988614B (zh) 哈希编码优化方法、设备及可读存储介质
CN111626408B (zh) 哈希编码方法、装置、设备及可读存储介质
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
US20210182666A1 (en) Weight data storage method and neural network processor based on the method
CN109697451B (zh) 相似图像聚类方法及装置、存储介质、电子设备
US20220343169A1 (en) Cluster compression for compressing weights in neural networks
CN112966755A (zh) 电感缺陷检测方法、设备及可读存储介质
CN111625258B (zh) 默克尔树更新方法、装置、设备及可读存储介质
CN111784699B (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
WO2021232747A1 (zh) 数据确权方法、设备及可读存储介质
CN111612080A (zh) 模型解释方法、设备及可读存储介质
CN115546601B (zh) 一种多目标识别模型及其构建方法、装置及应用
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
WO2019234291A1 (en) An apparatus, a method and a computer program for selecting a neural network
CN114372505A (zh) 一种无监督网络对齐方法和系统
CN111950712A (zh) 模型网络参数处理方法、设备及可读存储介质
CN113177627B (zh) 优化系统、重新训练系统及其方法及处理器和可读介质
WO2022223052A1 (zh) 加速器、计算机系统和方法
US8958651B2 (en) Tree-model-based stereo matching
CN116644783A (zh) 模型训练方法、对象处理方法及装置、电子设备、介质
CN113111953B (zh) 一种投影画质处理装置
CN114677568B (zh) 一种基于神经网络的线性目标检测方法、模块及系统
CN112967718B (zh) 基于声音的投影仪控制方法、装置、设备及存储介质
US20230378976A1 (en) Reconstruction feasibility determination method, reconstruction feasibility determination apparatus and program
US20220019898A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant