CN110188223A - 图像处理方法、装置及计算机设备 - Google Patents

图像处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN110188223A
CN110188223A CN201910492017.6A CN201910492017A CN110188223A CN 110188223 A CN110188223 A CN 110188223A CN 201910492017 A CN201910492017 A CN 201910492017A CN 110188223 A CN110188223 A CN 110188223A
Authority
CN
China
Prior art keywords
image
hash
central point
characteristic
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910492017.6A
Other languages
English (en)
Other versions
CN110188223B (zh
Inventor
揭泽群
袁粒
冯佳时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910492017.6A priority Critical patent/CN110188223B/zh
Publication of CN110188223A publication Critical patent/CN110188223A/zh
Priority to EP20818214.7A priority patent/EP3982275A4/en
Priority to PCT/CN2020/092834 priority patent/WO2020244437A1/zh
Priority to US17/408,880 priority patent/US20210382937A1/en
Application granted granted Critical
Publication of CN110188223B publication Critical patent/CN110188223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种图像处理方法、装置及计算机设备，依据卷积神经网络，得到各训练图像在特征嵌入空间对应的特征点，及各训练图像所属第二数量类图像各自的特征中心点，通过中心碰撞方式进行网络训练，得到各类图像对应的目标特征中心点，之后，得到的各特征点及各目标特征中心点映射到汉明空间，得到第一数量个哈希码及第二数量个哈希中心点，此时，仍可以通过中心碰撞方式进行网络训练，得到图像哈希模型，相对于现有技术中，学习各训练图像的哈希码之间的相似度，本申请这种学习训练图像特征点与对应的中心点之间的相似度，不仅学习到图像的全局分布，且极大缩短了网络训练时间，提高了学习效率及图像哈希码的精度。

Description

图像处理方法、装置及计算机设备
技术领域
本申请涉及图像检索技术领域，具体涉及一种图像处理方法、装置及计算机设备。
背景技术
随着互联网图像的日益增多，如何快速且准确地为用户提供所需的图像资源显得越来越重要，目前常用的图像检索方法是通过提取图像的底层特性对图像内容进行描述，然后再利用特征比对判断是否为相似图像，为了提高检索准确率，往往需要提取成百上千维的图像特征，这就需要庞大的存储空间来保存图像特征库，且每次特征比对的工作量很大，极大降低了检索速度。
为了提高图像检索速度，提出用哈希序列作为图像特征，这样，图像之间的相似度，可以利用图像在汉明空间的哈希序列之间的汉明距离来度量，既减小了数据存储空间，同时也提高了检索效率。
然而，现有的这种基于哈希算法的图像库处理方法中，往往只能学习图像的局部分布，在大数据时代，要学习到图像的全局分布几乎是不可能的，这就影响了检索结果的准确性，且这种方法每次只能从一组比对的数据中得到相似度信息，学习效率相对较低，进而影响了检索效率。
发明内容
有鉴于此，本申请实施例提供一种图像处理方法、装置及计算机设备，通过中心碰撞方式实现图像哈希模型的训练，极大提高了训练效率及准确性。
为实现上述目的，本申请实施例提供如下技术方案：
本申请提供了一种图像处理方法，所述方法包括：
获取第一数量个训练图像；
依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自对应的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点；
获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点；
将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点；
获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
利用所述哈希条件概率分布与所述理想条件概率分布进行网络训练，得到图像哈希模型及图像哈希码数据库，所述图像哈希码数据库包括网络训练得到的所述第一数量个训练图像各自的目标哈希码。
本申请还提供了一种图像处理装置，所述装置包括：第一获取模块，用于获取第一数量个训练图像；
第一处理模块，用于依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自对应的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点；
第二获取模块，用于获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
第一网络训练模块，用于利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点；
映射模块，用于将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点；
第三获取模块，用于获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
第二网络训练模块，用于利用所述哈希条件概率分布与所述理想条件概率分布进行网络训练，得到图像哈希模型及图像哈希码数据库，所述图像哈希码数据库包括网络训练得到的所述第一数量个训练图像各自的目标哈希码。
本申请还提供了一种存储介质，其上存储有程序，所述程序被处理器执行，实现如上图像处理方法的各步骤。
本申请还提供了一种计算机设备，所述计算机设备包括：
通信接口；
存储器，用于存储实现如上图像处理方法的程序；
处理器，用于加载并执行所述存储器存储的程序，实现如上图像处理方法的各步骤。
基于上述技术方案，本申请实施例提供的一种图像处理方法、装置及计算机设备，对于训练图像库中的第一数量个训练图像，可以依据卷积神经网络，得到各训练图像在特征嵌入空间对应的特征点，及各训练图像所属第二数量类图像各自的特征中心点，通过中心碰撞方式进行网络训练，得到各类图像对应的目标特征中心点，之后，得到的各特征点及各目标特征中心点映射到汉明空间，得到第一数量个哈希码及第二数量个哈希中心点，此时，仍可以通过中心碰撞方式进行网络训练，得到图像哈希模型，相对于现有技术中，学习各训练图像的哈希码之间的相似度，本申请这种学习训练图像特征点与对应的中心点之间的相似度，不仅学习到图像的全局分布，且极大缩短了网络训练时间，提高了学习效率及图像哈希码的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的另一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种图像处理方法的应用示意图；
图4为本申请实施例提供的又一种图像处理方法的流程示意图；
图5a为本申请实施例提供的图像处理方法中，一种图像检索应用示意图；
图5b为本申请实施例提供的图像处理方法中，另一种图像检索应用示意图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7为本申请实施例提供的另一种图像处理装置的结构示意图；
图8为本申请实施例提供的另一种图像处理装置的结构示意图；
图9为本申请实施例提供的又一种图像处理装置的结构示意图；
图10为本申请实施例提供的一种计算机设备的硬件结构示意图。
具体实施方式
本申请的发明人发现，已有的基于哈希算法的图像检索方法应用中，对于待检索的n个图像，其时间复杂度为O(log(n！))，在实际应用场景中，n的取值往往很大，导致很难学习到图像的全局分布，针对该问题，本申请的发明人不断对已有的图像库检索方法进行改善。
在研究过程中，发明人注意到，如卷积神经网络等深度学习算法，在如图像分类、物体识别、人脸识别等众多计算机视觉任务的准确度上，能够实现一个飞跃。其中，卷积神经网络依据其具备的特征提取能力，能够很好地适用于基于内容的图像检索(content-based image retrieval，CBIR)任务。所以，本申请提出将卷积神经网络与基于哈希算法的图像检索方法结合起来，即通过训练一个卷积神经网络将图像映射成低维度的特征，再将特征转化为二进制码进行检索，以达到提高检索精度及检索效率的目的。
并且，发明人注意到，现有的图像库检索方法中，无论是利用图像特征，直接计算图像之间的相似度，还是通过哈希码计算图像之间的相似度，进而实现模型训练，该过程都是样本图像之间的数据处理，需要花费大量时间进行学习，导致图像库检索的时间复杂度很大。
基于上述分析，本申请提出在常用的哈希算法基础上，设计一种基于可学习的动态数据中心相似性的哈希方法，实现更加精确且高效的图像处理方案，其可以用于图像检索应用场景。该方法是基于一个简单的几何直觉，即当所有相似的数据被投射到汉明空间中的相同点，不相似的数据被投射到汉明空间中的不同点时，可以得到这些数据理想的哈希码，利用这些理想状态下的哈希码，可以实现高精度的图像库检索。
具体的，本申请可以在训练图像的特征空间学习一系列的中心点，该中心点可以称为特征中心点，这些特征中心点保留着图像的语意信息，及与原始图像之间的相似性，之后，可以将每个训练图像的特征点与其相应的特征中心点(即该图像特征点所属类别的特征中心点)碰撞，即中心碰撞；也就是说，每一类图像对应一个特征中心点，对于待检索的图像，可以直接将其特征点与特征中心点比较，快速识别待检索的图像所属类别。
同时，本申请还可以将得到的训练图像的特征点和特征中心点，通过哈希层投射到汉明空间，得到各训练图像对应的哈希码及特征中心点对应的哈希中心。按照上述方式，中心碰撞也会发生在汉明空间。这样，中心碰撞发生在特征空间和汉明空间这两个空间中，可以保持中心相似性在特征空间与汉明空间的一致性，本申请将上述构思应用于大规模的图像库检索中，相对于现有的基于哈希算法的图像库检索方法(如上述背景技术部分描述的方法)，不仅能够学习到数据的全局分布，同时中心碰撞哈希每次可以从多个数据点学习相似度信息，极大提高了学习效率，缩短了训练时间，进而提高了图像检索效率且准确性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，为本申请实施例提供的一种图像处理方法的流程示意图，本实施提供的方法可以应用于计算机设备，该计算机设备可以是服务器或终端设备，本申请对该计算机设备的产品类型不作限定，且本实施例主要描述图像检索应用场景所使用的图像哈希模型的训练过程，即如何通过中心碰撞方式，训练得到图像哈希模型的实现过程，如图1所示，该方法可以包括但并不局限于以下步骤：
步骤S11，获取第一数量个训练图像；
本申请对训练图像的来源不作限定，为了方便技术方案的描述，本实施例可以将第一数量个训练图像依次记为{x1，x2，…，xi，…，xn}，可见，第一数量可以记为n，本实施例对n的具体数值大小不做限定。
在本实施例中，可以将n个训练图像组成的图像库记为训练图像库，且在模型训练之前，可以提前确定上述n个训练图像包含的第二数量个图像类别，该第二数量可以记为z，其具体数值不做限定。
另外，本申请还可以按照图像类别，对训练图像库中的每个训练图像进行标注，得到每个训练图像对应的标签li，因此，上述n个训练图像对应标注的标签可以记为{l1，l2，…，li，…，ln}，且对于上述n个训练图像中的相似训练图像，如xi、xj，两者标注的标签可以相同，即li＝lj，相应地，用于指示这两个训练图像是否相似的指示函数δ(li，lj)＝1；否则为0。可见，同类别训练图像可以标注相同的标签。
需要说明，本申请对上述训练图像的标签的确定方法不做限定，在实际应用中，确定训练图像标签的一组编号后，可以一直使用该标签进行后续条件概率的计算。
步骤S12，依据卷积神经网络，得到第一数量个训练图像在特征嵌入空间各自的特征点，及第一数量个训练图像所属第二数量类图像各自的特征中心点；
本实施例中，可以将第一数量个训练图像依次输入卷积神经网络，得到各训练图像的图像特征，再将图像特征映射到特征嵌入空间，得到第一数量个训练图像对应的特征点。其中，卷积神经网络可以包括卷积层、池化层、全连接层等，本实施例可以利用多层卷积层，实现对训练图像的特征提取，得到图像特征，具体卷积层的处理过程不做详述。
另外，将提取的图像特征映射到特征嵌入空间的过程实际上是一个降维过程，即将高维度的特征向量(即由提取的图像特征构成)映射到低维度空间(即本实施例中的特征空间)，本实施例对该特征映射实现过程不做详述。
可选的，本实施例可以采用词嵌入方式，具体可以使用但并不局限于Embeddingmodule(词袋模型)这种嵌入模型，将卷积神经网络得到的高维度的向量转换为低维度的特征向量，这种词嵌入方式的具体实现方法本申请不做详述，且对于本申请提出的特征向量降维处理的方法，并不局限于本申请给出的这种词嵌入方式。
按照上述方式，本实施例可以得到n个训练图像在特征嵌入空间对应的特征点，依次可以记为{v1，v2，…，vi，…，vn}，每一个特征点可以是一个多维度向量，用来可以表征相应训练图像的内容，本申请对各特征点的内容不作限定。
对于上述特征中心点的获取过程，可以利用卷积神经网络的全连接层的学习结果得到，如可以将由1构成的参数向量输入全连接层，学习得到特征中心点，通常情况下，此时得到的特征中心点往往不够准确，还需要通过网络训练，进一步对特征中心点进行优化，具体实现过程可以参照下文实施例相应部分的描述。
需要说明，在多次网络训练过程中，需要经过全连接层得到的特征中心点，受到损失函数(如下文实施例给出的目标函数)最小化训练后，与同类训练图像的特征点的距离之和最小，可以认为本次得到的特征中心点即为该类图像的最佳特征中心点，网络训练过程可以参照下文实施例相应部分的描述。
步骤S13，获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
本实施例按照上述方式得到每一类训练图像的特征中心点ck，以及各训练图像的特征点vi后，针对该类图像中的每一个训练图像的特征点vi，可以利用以下公式(1)，获取该特征点vi与对应类图像的特征中心点ck碰撞的特征条件概率分布，但并不局限于这种计算方式：
其中，vi可以表示第i个训练图像的特征点，ck可以表示第k类图像的特征中心点，p(ck|vi)可以是条件概率函数，具体可以表示特征点vi与对应的可能的特征中心点ck碰撞的条件概率，该特征中心点ck是指具有该特征点vi的训练图像所属图像类的特征中心点，exp{}可以表示自然数e为底的指数函数，D()可以表示距离函数，如计算欧式距离或其他距离的参数，因此，D(vi,ck)具体可以表示特征点vi与对应的可能的特征中心点ck的特征距离，D(vi,cm具体可以表示特征点vi与对应的可能的特征中心点cm的特征距离；∑()可以是求和函数，m可以为累加求和符合∑的动态编号，可以从[1，z]之间取值；δ(li,lm)可以是指示标签li，lm分别对应的训练图像是否相似的指示函数，如δ(li,lm)＝1可以表示这两个训练图像相似；δ(li,lm)＝0可以表示这两个训练图像不相似，该指示函数可以在模型训练前生成，如在对训练图像标注标签时生成；θ可以表示条件概率配置参数，本申请对θ的数值可以不做限定，且在实际应用中，可以通过改变θ的数值，调整上述条件概率函数的准确性。
本实施例中，上述公式(1)这一条件概率函数具体可以是正态函数，该正态函数的极大值可以对应特征中心点ck，对于训练图像的特征点vi越靠近该特征中心点ck，对应的条件概率越大，若某训练图像的特征点vi与特征中心点ck碰撞，即中心碰撞，对应的条件概率可以是极大值，说明该训练图像确定属于该特征中心点对应的图像类；反之，某训练图像的特征点vi与特征中心点ck的条件概率越小，说明该训练图像与该特征中心点对应的图像类的差距越大，也就是说，上文对该训练图像的图像类别划分可能有误，该训练图像可能不属于该类图像。
可见，本申请可以利用上文得到的条件概率，实现对训练图像的准确分类，具体实现过程本实施例不做详述，对于如何利用公式(1)实现步骤S13的具体方法也不作详述，且步骤S13的实现方法也并不局限于公式(1)表示的计算方法。
另外，结合上文对本申请技术构思的分析，理想情况下，上述训练图像库中，相似的训练图像可能被投射到对应类图像的特征中心点，不相似的训练图像可能被投射到不同类图像的特征中心点，由此得到的理想特征条件概率分布可以为：
如公式(2)所示，某训练图像的标签li与对应的图像的类别k相等，该训练图像的特征点与该类图像的特征中心点碰撞，该训练图像属于该类图像。因此，若p(ck|vi)＝p0(ck|vi)，说明所有相似训练图像的特征点碰撞到相应的特征中心点。
步骤S14，利用特征条件概率分布与理想条件概率分布进行网络训练，得到第二数量类图像各自的目标特征中心点；
可选的，本申请可以按照特征条件概率分布与理想条件概率分布的第一相似要求，调整卷积神经网络的配置参数，得到第二数量类图像各自的目标特征中心点。
其中，对于特征条件概率分布与理想条件概率分布的相似度或者匹配程度，可以采用KL散度(Kullback–Leibler divergence)方式确定，该KL散度描述这两个概率分布的差异，具体计算原理不做详述。
具体的，本申请可以按照上述方式进行中心碰撞学习，获取各类训练图像更加准确的特征中心点，即确定各类图像的中心碰撞的目标特征中心点。且本实施例可以将上述方式作为中心碰撞学习的目标函数，即由该目标函数控制实现中心碰撞学习，其中，该目标函数可以为但并不局限于公式(3)：
上述公式(3)中，B可以表示各训练图像对应的特征点组成的集合，本申请对KL散度的具体计算过程不做详述。
由此可见，本申请利用上述目标函数进行中心碰撞学习中，每一次学习得到的特征中心点后，若利用该特征中心及各训练图像的特征点，按照上述方式得到的特征条件概率分布，与理想特征条件概率分布的匹配程度不满足第一条件，说明本次学习得到的特征中心点不够准确，所以，本实施例可以对上述卷积神经网络的配置参数，如权重值，进而利用调整后的配置参数，重新获取新的特征中心点，即更新上述得到的z个特征中心点，直至新得到的特征条件概率分布与理想条件概率分布的满足第一相似要求，并并将最后得到的多个特征中心点作为目标特征中心点。
步骤S15，将第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到第一数量个训练图像各自的哈希码及第二数量类图像各自的哈希中心点；
本实施例可以通过哈希层，将第一数量个训练图像对应的特征点，映射到汉明空间，得到相应训练图像的哈希码hi，同理，可以将上文得到的z个目标特征中心点输入哈希层，投射到汉明空间，得到对应的哈希中心点。
可选的，在实际应用中，由于通过哈希层的数据很难被完全整合为二值化向量，也就是说，将特征点及特征中心点输入哈希层，直接得到的哈希码和哈希中心点可能不都是二值数据，因此，本实施例可以利用如下公式(4)所示的损失函数，先将得到的各训练图像的特征点和特征中心点，进一步整合为二值化的数据，该损失函数可以为：
步骤S16，获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
步骤S17，利用哈希条件概率分布与理想条件概率分布进行网络训练，得到图像哈希模型；
本实施例中，哈希中心碰撞学习与上述特征中心碰撞学习的实现方法类似，如按照哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，该第二相似要求可以是哈希条件概率分布与所述理想条件概率分布的匹配程度达到相似阈值。
具体的，可以采用如下公式(5)来获取各训练图像的目标哈希码hi与对应类图像的哈希中心点ck h匹配的哈希条件概率分布：
其中，hi可以表示第i个训练图像的目标哈希码，ck h可以表示第k类图像的哈希中心点，θ表示哈希条件概率配置参数，本申请对其具体数值不做限定。
在汉明空间中，实现哈希中心碰撞学习的目标函数可以为如下公式(6)，但并不局限于此：
可见，如图3所示，本申请进行中心碰撞学习的全局目标函数可以为：
L＝Lv collapsing+λ1Lh collapsing+λ2LQ； (7)
其中，λ1和λ2可以表示相应目标函数或损失函数，在整个全局目标函数中的权重，具体数值不做限定，本申请对如何利用全局目标函数实现网络训练，得到所需的图像哈希模型的实现过程不再详述。
因此，在本实施例实际应用中，将训练图像的图像特征映射到特征嵌入空间后，在该特征嵌入空间，可以利用上述公式(3)的目标函数，控制中心碰撞学习，得到各类训练图像的更准确的目标特征中心；利用上述公式(4)的量化损失函数，实现对目标特征中心及特征点的二值化处理，再将处理后的目标特征中心及特征点映射到汉明空间后，在汉明空间，可以利用上述公式(6)的目标函数，控制哈希中心碰撞学习，得到各类训练图像更准确的哈希码，同时，确定得到训练图像最佳特征中心点和最佳哈希码所使用的哈希函数，并将其作为图像哈希模型，用来在实际应用中，快速且准确获取输入图像的哈希码。
由此可见，相对于现有技术中，学习各训练图像的哈希码之间的相似度，本申请这种学习训练图像特征点与对应的中心点之间的相似度，不仅学习到图像的全局分布，且极大缩短了网络训练时间，提高了学习效率及图像哈希码的精度。
参照图2所示的本申请提供的一种图像处理方法的细化实施例的流程示意图，以及图3所示图像处理方法的应用示意图，该图像处理方法的细化方法可以包括：
步骤S21，获取第一数量个训练图像及其对应标注的标签；
步骤S22，依据获取的标签，得到训练图像相似的指示函数；
其中，关于训练图像的标签以及该指示函数δ(li，lj)的确定方式，可以参照上述实施例相应部分的描述。
步骤S23，将第一数量个训练图像依次输入卷积神经网络，得到各训练图像的图像特征；
步骤S24，将第一数量个训练图像各自的图像特征映射到特征嵌入空间，得到相应训练图像的特征点；
步骤S25，经卷积神经网络的一全连接层的学习，得到第一数量个训练图像所属的多类图像各自的特征中心点；
本实施例中，继上文描述，如图3所示，可以将1构成的参数向量输入卷积神经网络的全连接层进行学习，生成每一类训练图像的一个特征中心点cj，并将得到的各类训练图像的特征中心点作为向量元素，构成特征中心点向量。
其中，这一层全连接层的尺寸为z×d，上述j＝1、2、…、z，z表示上述n个训练图像存在的特征中心点的个数，也就是n个训练图像包含的训练图像类别数量，即一类训练图像对应有一个特征中心点，d表示卷积层提取得到的图像特征组成的特征向量的维度，本申请对z和d的具体数值不做限定。基于此，步骤S25得到的多个特征中心点依次可以记为{c1，c2，…，cz}。
步骤S26，获取第一数量个特征点各自与对应特征中心点的特征距离；
步骤S27，利用指示函数及获取的特征距离，获取第一数量个特征点各自与对应特征中心点的特征条件概率；
步骤S28，由获取的特征条件概率，确定第一数量个特征点与对应特征中心点碰撞的特征条件概率分布；
结合上述公式(1)表示的条件概率的计算方法，实现第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，因此，步骤S26～步骤S28的具体实现方法，可以参照上述实施例相应部分的描述。
步骤S29，获取的特征条件概率分布与理想条件概率分布的第一KL散度；
步骤S210，利用该第一KL散度，调整卷积神经网络的配置参数，直至利用调整后的配置参数得到的新的第一KL散度满足第一相似要求；
为了提高训练图像分类的准确性，本申请需要利用训练图像的特征点及特征中心点，得到的特征条件概率分布，能够与上述理想特征条件概率分布匹配，因此，步骤S29中的第一相似要求可以是实际获取的特征条件概率分布与理想特征条件概率分布的匹配程度大于阈值，即该特征条件概率分布与理想特征条件概率分布非常接近，甚至可以是要求该特征条件概率分布与理想特征条件概率分布相同。
步骤S211，将最后得到的第二数量类图像各自的特征中心点作为相应类图像的目标特征中心点；
步骤S212，分别对第一数量个特征点和所述第二数量个目标特征中心点进行二值化处理；
本实施例可以利用上述公式(4)实现步骤S212，但并不局限于这种二值化处理方法。
步骤S213，将第一数量个二值化特征点和第二数量个二值化目标特征中心点分别映射到汉明空间，得到相应训练图像的哈希码及各类图像的哈希中心点；
步骤S214，获取各训练图像的哈希码与对应类图像的哈希中心点匹配的哈希条件概率分布；
本实施例中，哈希条件概率分布的获取方式与特征条件概率分布的获取方式类似，因此，结合上述公式(5)，步骤S214可以包括：
获取第一数量个哈希码各自与对应哈希中心点的哈希码距离；
利用指示函数及获取的哈希码距离，获取第一数量个哈希码各自与对应哈希中心点的哈希条件概率；
由获取的哈希条件概率，确定第一数量个哈希码各自与对应哈希中心点碰撞的哈希条件概率分布。
步骤S215，按照所述哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，得到图像哈希模型及第一数量个训练图像各自的目标哈希码；
在汉明空间的网络训练过程，与上述特征嵌入空间的网络训练过程类似，因此，结合公式(6)，步骤S215具体可以包括：
获取哈希条件概率分布与理想条件概率分布的第二KL散度，
利用第二KL散度，调整调整哈希条件概率配置参数，直至利用调整后的配置参数得到的新的第二KL散度满足第二相似要求，得到图像哈希模型；
将最后得到的第一数量个哈希码作为相应训练图像的目标哈希码。
如上述分析，在特征嵌入空间和汉明空间发生的中心碰撞，保证了这两个空间中的中心点相似性的一致性，进而保证了图像检索的可靠性和准确性。并且，本申请还可以利用上述步骤中进行图像特征提取、特征嵌入空间的特征映射以及哈希层的处理方法所使用的公式，构成哈希函数，并将最后学习得到的哈希函数作为图像哈希模型，其具体内容本实施例不做详述。
步骤S216，利用第一数量个训练图像的目标哈希码，生成图像哈希码数据库。
可见，本实施例可以按照上述方法，利用中心碰撞哈希实现对训练图像库的高效编码，得到各训练图像的目标哈希码，并利用这些训练图像的目标哈希码，构建图像哈希码数据库，用来在实际应用场景中进行图像检索。
需要说明，本申请对图像哈希码检索库中各目标哈希码的存储方式不做限定，可以将不同特征中心点及其对应的目标哈希码，生成多个哈希码组，并由这多个哈希码组构成该图像哈希码检索库，即对该图像哈希码检索库中的目标哈希码进行分类存储，但并不局限于这种哈希码存储方式。
综上，本申请可以通过深度学习网络提取图像的深度特征，并通过中心碰撞哈希法，得到图像哈希模型，可见，对于n个训练图像和z个中心点，本申请这种学习方法的时间复杂度是O(nz)，相对于现有技术，极大提高了学习效率，缩短了训练时间，而且还能够学习到数据的全局分布，提高了所得图像哈希模型输出数据的准确性。
在上述各实施例的基础上，参照图4所示的另一种图像处理方法实施例的流程示意图，本实施例主要对所得图像哈希模型及图形哈希码数据库，在图像检索应用场景的使用方法进行说明，如图4所示，该方法可以包括：
步骤S31，获取检索图像；
步骤S32，将检索图像输入图像哈希模型，得到该检索图像的哈希码；
关于检索图像输入图像哈希模型(即图5a所示的哈希函数)，得到对应的哈希码的实现过程如图5a所示，关于哈希函数的处理过程可以参照上述实施例相应部分的描述。
可选的，本申请还可以利用检索图像的哈希码，更新图像哈希码数据库，以扩充图像哈希码数据库，提高图像检索的可靠性及准确性。
步骤S33，获取检索图像的哈希码与图像哈希码数据库中的哈希码的汉明距离；
本实施例对汉明距离的具体获取方法不做详述。
步骤S34，利用所述汉明距离的大小，得到图像检索结果。
可选的，本申请可以利用汉明距离的k近邻法进行图像检索，但并不局限于这一种图像检索方式。
综上，参照图5b所示的图像检索的应用示意图，在图像实际检索应用中，可以将检索图像直接输入上述学习得到的哈希函数，即图像哈希模型，得到该检索图像的哈希码，之后，通过比对该检索图像的哈希码与图像哈希码检索库中的哈希码的汉明距离，再通过k邻近点等方式进行图像检索，以得到用户所需的与待查询图像相似的至少一个图像，或与待查询图像不相似的至少一个图像等检索结果等等，满足用户的图像检索需求。
如上述分析，本实施例在图像检索过程中，并不是直接利用各图像哈希码，得到相应图像之间的相似度，而是将图像的哈希码与各类图像的哈希中心点进行比对，快速且准确得到该图像所属图像类型，即极大缩短了训练时间，提高了图像分类检索的效率及准确性。
参照图6，为本申请实施例提供的一种图像处理装置的结构示意图，该装置可以应用于计算机设备，如图6所示，该装置可以包括：
第一获取模块101，用于获取第一数量个训练图像；
第一处理模块102，用于依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自对应的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点；
可选的，如图7所示，该第一处理模块102可以包括：
第一处理单元1021，用于将所述第一数量个训练图像输入卷积神经网络，得到所述第一数量个训练图像各自的图像特征；
特征映射单元1022，用于将所述第一数量个训练图像各自的所述图像特征映射到特征嵌入空间，得到相应训练图像的特征点；
第二处理单元1023，用于利用所述卷积神经网络的一全连接层的学习结果，得到所述第一数量个训练图像所属第二数量类图像各自的特征中心点。
第二获取模块103，用于获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
可选的，该装置还可以包括：
标注模块，用于获取所述第一数量个训练图像各自标注的标签，其中，相似训练图像标注的标签相同；
指示函数获取模块，用于依据所述标签，得到训练图像相似的指示函数；
相应地，上述第二获取模块103可以包括：
第一获取单元，用于获取第一数量个特征点各自与对应特征中心点的特征距离；
第二获取单元，用于利用所述指示函数及获取的特征距离，获取所述第一数量个特征点各自与对应特征中心点的特征条件概率；
第一确定单元，用于由获取的所述特征条件概率，确定所述第一数量个特征点与对应特征中心点碰撞的特征条件概率分布；
本实施例中，上述理想条件概率分布结果可以表征：各相似的训练图像被映射到对应的中心点，各不相似的训练图像被映射到不同的中心点，所述中心点包括所述特征中心点和所述哈希中心点。
第一网络训练模块104，用于利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点；
可选的，该第一网络训练模块104具体可以用于按照所述特征条件概率分布与所述理想条件概率分布的第一相似要求，调整所述卷积神经网络的配置参数，得到所述第二数量类图像各自的目标特征中心点。
本实施例中，第一网络训练模块104可以包括：
第三获取单元，用于获取所述特征条件概率分布与所述理想条件概率分布的第一KL散度，
第一调整单元，用于利用所述第一KL散度，调整所述卷积神经网络的配置参数，直至利用调整后的配置参数得到的新的第一KL散度满足第一相似要求；
第二确定单元，用于将最后得到的第二数量类图像各自的特征中心点作为相应类图像的目标特征中心点；
映射模块105，用于将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点；
第三获取模块106，用于获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
可选的，该第三获取模块106可以包括：
第四获取单元，用于获取第一数量个哈希码各自与对应哈希中心点的哈希码距离；
第五获取单元，用于利用所述指示函数及获取的哈希码距离，获取所述第一数量个哈希码各自与对应哈希中心点的哈希条件概率；
第三确定单元，用于由获取的所述哈希条件概率，确定所述第一数量个哈希码各自与对应哈希中心点碰撞的哈希条件概率分布。
第二网络训练模块107，用于利用所述哈希条件概率分布与所述理想条件概率分布进行网络训练，得到图像哈希模型。
本实施例中，该第二网络训练模块107具体可以用于按照所述哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，得到图像哈希模型。
可选的，该第二网络训练模块107可以包括：
第六获取单元，用于获取所述哈希条件概率分布与所述理想条件概率分布的第二KL散度，
第二调整单元，用于利用所述第二KL散度，调整调整哈希条件概率配置参数，直至利用调整后的配置参数得到的新的第二KL散度满足第二相似要求；
第四确定单元，用于将最后得到的第一数量个哈希码作为相应训练图像的目标哈希码。
可选的，在上述实施例的基础上，如图8所示，该装置还可以包括：
二值化处理模块108，用于分别对所述第一数量个特征点和所述第二数量个目标特征中心点进行二值化处理；
相应地，上述映射模块105具体可以用于将所述第一数量个二值化的特征点及所述第二数量个二值化的目标特征中心点，分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点。
在上述各实施例的基础上，如图8所示，该装置还可以包括：
目标哈希码获取模块109，用于按照所述哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，得到所述第一数量个训练图像各自的目标哈希码；
哈希码数据库获取模块110，用于由得到的第一数量个目标哈希码，构成图像哈希码数据库。
可选的，在上述各实施例的基础上，如图9所示，上述装置还可以包括：
图像获取模块111，用于获取检索图像；
第二处理模块112，用于将所述检索图像输入所述图像哈希模型，得到所述检索图像的哈希码；
汉明距离获取模块113，用于获取所述检索图像的哈希码与所述图像哈希码数据库中的哈希码的汉明距离；
图像检索模块114，用于利用所述汉明距离的大小，得到图像检索结果。
本申请还提供了一种存储介质的实施例，其上存储有计算机程序，该计算机程序被处理器执行，实现上述图像处理方法的各步骤，该图像处理方法的实现过程可以参照上述方法实施例的描述。
如图10所示，本申请实施例还提供了一种计算机设备的硬件结构示意图，该计算机设备可以是实现上述图像处理方法的服务器，也可以是终端设备等，本申请对该计算机设备的产品类型不作限定，如图10所示，该计算机设备可以包括通信接口21、存储器22和处理器23；
在本申请实施例中，通信接口21、存储器22、处理器23可以通过通信总线实现相互间的通信，且该通信接口21、存储器22、处理器23及通信总线的数量可以为至少一个。
可选的，通信接口21可以为通信模块的接口，如GSM模块的接口；
处理器23可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器22可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，存储器22存储有程序，处理器23调用存储器22所存储的程序，以实现上述应用于计算机设备的图像处理方法的各步骤，具体实现过程可以参照上述方法实施例相应部分的描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计第一条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一数量个训练图像；
依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点；
获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点；
将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点；
获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
利用所述哈希条件概率分布与所述理想条件概率分布进行网络训练，得到图像哈希模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别对所述第一数量个特征点和所述第二数量个目标特征中心点进行二值化处理；
所述将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点，包括：
将所述第一数量个二值化的特征点及所述第二数量个二值化的目标特征中心点，分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点。
3.根据权利要求1所述的方法，其特征在于，所述依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自对应的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点，包括：
将所述第一数量个训练图像输入卷积神经网络，得到所述第一数量个训练图像各自的图像特征；
将所述第一数量个训练图像各自的所述图像特征映射到特征嵌入空间，得到相应训练图像的特征点；
利用所述卷积神经网络的一全连接层的学习结果，得到所述第一数量个训练图像所属第二数量类图像各自的特征中心点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一数量个训练图像各自标注的标签，其中，相似训练图像标注的标签相同；
依据所述标签，得到训练图像相似的指示函数；
所述获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，包括：
获取第一数量个特征点各自与对应特征中心点的特征距离；
利用所述指示函数及获取的特征距离，获取所述第一数量个特征点各自与对应特征中心点的特征条件概率；
由获取的所述特征条件概率，确定所述第一数量个特征点与对应特征中心点碰撞的特征条件概率分布；
所述获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布，包括：
获取第一数量个哈希码各自与对应哈希中心点的哈希码距离；
利用所述指示函数及获取的哈希码距离，获取所述第一数量个哈希码各自与对应哈希中心点的哈希条件概率；
由获取的所述哈希条件概率，确定所述第一数量个哈希码各自与对应哈希中心点碰撞的哈希条件概率分布。
5.根据权利要求1～4任一项所述的方法，其特征在于，所述利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点，包括：
按照所述特征条件概率分布与所述理想条件概率分布的第一相似要求，调整所述卷积神经网络的配置参数，得到所述第二数量类图像各自的目标特征中心点；
在训练得到所述图像哈希模型的过程中，所述方法还包括：
按照所述哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，得到所述第一数量个训练图像各自的目标哈希码；
由得到的第一数量个目标哈希码，构成图像哈希码数据库。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取检索图像；
将所述检索图像输入所述图像哈希模型，得到所述检索图像的哈希码；
获取所述检索图像的哈希码与所述图像哈希码数据库中的哈希码的汉明距离；
利用所述汉明距离的大小，得到图像检索结果。
7.根据权利要求1所述的方法，其特征在于，所述理想条件概率分布结果表征：各相似的训练图像被映射到对应的中心点，各不相似的训练图像被映射到不同的中心点，所述中心点包括所述特征中心点和所述哈希中心点。
8.根据权利要求5所述的方法，其特征在于，所述按照所述特征条件概率分布与所述理想条件概率分布的第一相似要求，调整所述卷积神经网络的配置参数，得到所述第二数量类图像各自的目标特征中心点，包括：
获取所述特征条件概率分布与所述理想条件概率分布的第一KL散度，
利用所述第一KL散度，调整所述卷积神经网络的配置参数，直至利用调整后的配置参数得到的新的第一KL散度满足第一相似要求；
将最后得到的第二数量类图像各自的特征中心点作为相应类图像的目标特征中心点；
所述按照所述哈希条件概率分布与所述理想条件概率分布的第二相似要求，调整哈希条件概率配置参数，得到所述第一数量个训练图像各自的目标哈希码，包括：
获取所述哈希条件概率分布与所述理想条件概率分布的第二KL散度，
利用所述第二KL散度，调整调整哈希条件概率配置参数，直至利用调整后的配置参数得到的新的第二KL散度满足第二相似要求；
将最后得到的第二数量类图像各自的哈希中心点作为相应类图像的目标哈希中心点。
9.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一数量个训练图像；
第一处理模块，用于依据卷积神经网络，得到所述第一数量个训练图像在特征嵌入空间各自对应的特征点，及所述第一数量个训练图像所属第二数量类图像各自的特征中心点；
第二获取模块，用于获取第一数量个特征点与对应特征中心点碰撞的特征条件概率分布，及预设的理想条件概率分布；
第一网络训练模块，用于利用所述特征条件概率分布与所述理想条件概率分布进行网络训练，得到所述第二数量类图像各自的目标特征中心点；
映射模块，用于将所述第一数量个特征点及第二数量个目标特征中心点分别映射到汉明空间，得到所述第一数量个训练图像各自的哈希码及所述第二数量类图像各自的哈希中心点；
第三获取模块，用于获取第一数量个哈希码与对应哈希中心点碰撞的哈希条件概率分布；
第二网络训练模块，用于利用所述哈希条件概率分布与所述理想条件概率分布进行网络训练，得到图像哈希模型。
10.一种计算机设备，其特征在于，所述计算机设备包括：
通信接口；
存储器，用于存储实现如权利要求1～8任意一项所述的图像处理方法的程序；
处理器，用于加载并执行所述存储器存储的程序，实现如权利要求1～8任意一项所述的图像处理方法的各步骤。
CN201910492017.6A 2019-06-06 2019-06-06 图像处理方法、装置及计算机设备 Active CN110188223B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910492017.6A CN110188223B (zh) 2019-06-06 2019-06-06 图像处理方法、装置及计算机设备
EP20818214.7A EP3982275A4 (en) 2019-06-06 2020-05-28 IMAGE PROCESSING METHOD AND APPARATUS, AND COMPUTER DEVICE
PCT/CN2020/092834 WO2020244437A1 (zh) 2019-06-06 2020-05-28 图像处理方法、装置及计算机设备
US17/408,880 US20210382937A1 (en) 2019-06-06 2021-08-23 Image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492017.6A CN110188223B (zh) 2019-06-06 2019-06-06 图像处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110188223A true CN110188223A (zh) 2019-08-30
CN110188223B CN110188223B (zh) 2022-10-04

Family

ID=67720837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492017.6A Active CN110188223B (zh) 2019-06-06 2019-06-06 图像处理方法、装置及计算机设备

Country Status (4)

Country Link
US (1) US20210382937A1 (zh)
EP (1) EP3982275A4 (zh)
CN (1) CN110188223B (zh)
WO (1) WO2020244437A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325096A (zh) * 2020-01-19 2020-06-23 北京字节跳动网络技术有限公司 直播流采样方法、装置及电子设备
CN111798435A (zh) * 2020-07-08 2020-10-20 国网山东省电力公司东营供电公司 图像处理方法、工程车辆侵入输电线路监测方法及系统
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
WO2020244437A1 (zh) * 2019-06-06 2020-12-10 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备
CN114896434A (zh) * 2022-07-13 2022-08-12 之江实验室 一种基于中心相似度学习的哈希码生成方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114270412A (zh) * 2019-05-09 2022-04-01 澳特摩比利亚Ii有限责任公司 用于媒体处理和显示的方法、系统和计算机程序产品
WO2021057046A1 (en) * 2019-09-24 2021-04-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image hash for fast photo search
US11609853B2 (en) 2020-09-09 2023-03-21 Micron Technology, Inc. Memory controllers including examples of calculating hamming distances for neural network and data center applications
US11636285B2 (en) * 2020-09-09 2023-04-25 Micron Technology, Inc. Memory including examples of calculating hamming distances for neural network and data center applications
US11586380B2 (en) 2020-09-09 2023-02-21 Micron Technology, Inc. Memory systems including examples of calculating hamming distances for neural network and data center applications
CN113254688A (zh) * 2021-04-28 2021-08-13 广东技术师范大学 一种基于深度哈希的商标检索方法
CN113761262B (zh) * 2021-09-03 2024-02-20 奇安信科技集团股份有限公司 图像的检索类别确定方法、系统以及图像检索方法
WO2022182445A1 (en) * 2021-12-03 2022-09-01 Innopeak Technology, Inc. Duplicate image or video determination and/or image or video deduplication based on deep metric learning with keypoint features
CN115686868B (zh) * 2022-12-28 2023-04-07 中南大学 一种基于联邦哈希学习的面向跨节点多模态检索方法
US11983955B1 (en) * 2023-08-16 2024-05-14 Netskope, Inc. Image matching using deep learning image fingerprinting models and embeddings

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123375A (zh) * 2014-07-28 2014-10-29 清华大学 数据搜索方法及系统
CN104346440A (zh) * 2014-10-10 2015-02-11 浙江大学 一种基于神经网络的跨媒体哈希索引方法
CN104376051A (zh) * 2014-10-30 2015-02-25 南京信息工程大学 随机结构保形哈希信息检索方法
JP2015056077A (ja) * 2013-09-12 2015-03-23 Kddi株式会社 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法
CN104715021A (zh) * 2015-02-27 2015-06-17 南京邮电大学 一种基于哈希方法的多标记学习的设计方法
CN104951559A (zh) * 2014-12-30 2015-09-30 大连理工大学 一种基于位权重的二值码重排方法
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN109145143A (zh) * 2018-08-03 2019-01-04 厦门大学 图像检索中的序列约束哈希算法
CN109241327A (zh) * 2017-07-03 2019-01-18 北大方正集团有限公司 图像检索方法及装置
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
CN109711422A (zh) * 2017-10-26 2019-05-03 北京邮电大学 图像数据处理、模型的建立方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015154206A1 (en) * 2014-04-11 2015-10-15 Xiaoou Tang A method and a system for face verification
US20190171665A1 (en) * 2017-12-05 2019-06-06 Salk Institute For Biological Studies Image similarity search via hashes with expanded dimensionality and sparsification
CN108491528B (zh) * 2018-03-28 2021-09-21 苏州大学 一种图像检索方法、系统及装置
CN109376256B (zh) * 2018-09-29 2021-03-26 京东方科技集团股份有限公司 图像搜索方法及装置
CN110188223B (zh) * 2019-06-06 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
JP2015056077A (ja) * 2013-09-12 2015-03-23 Kddi株式会社 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法
CN104123375A (zh) * 2014-07-28 2014-10-29 清华大学 数据搜索方法及系统
CN104346440A (zh) * 2014-10-10 2015-02-11 浙江大学 一种基于神经网络的跨媒体哈希索引方法
CN104376051A (zh) * 2014-10-30 2015-02-25 南京信息工程大学 随机结构保形哈希信息检索方法
CN104951559A (zh) * 2014-12-30 2015-09-30 大连理工大学 一种基于位权重的二值码重排方法
CN104715021A (zh) * 2015-02-27 2015-06-17 南京邮电大学 一种基于哈希方法的多标记学习的设计方法
CN109241327A (zh) * 2017-07-03 2019-01-18 北大方正集团有限公司 图像检索方法及装置
CN109711422A (zh) * 2017-10-26 2019-05-03 北京邮电大学 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN109145143A (zh) * 2018-08-03 2019-01-04 厦门大学 图像检索中的序列约束哈希算法
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANGJIE CAO 等: "Transfer Adversarial Hashing for Hamming Space Retrieval", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
赵永威 等: "基于随机化视觉词典组和上下文语义信息的目标检索方法", 《电子学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244437A1 (zh) * 2019-06-06 2020-12-10 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备
CN111325096A (zh) * 2020-01-19 2020-06-23 北京字节跳动网络技术有限公司 直播流采样方法、装置及电子设备
CN111325096B (zh) * 2020-01-19 2021-04-20 北京字节跳动网络技术有限公司 直播流采样方法、装置及电子设备
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN111798435A (zh) * 2020-07-08 2020-10-20 国网山东省电力公司东营供电公司 图像处理方法、工程车辆侵入输电线路监测方法及系统
CN114896434A (zh) * 2022-07-13 2022-08-12 之江实验室 一种基于中心相似度学习的哈希码生成方法及装置
CN114896434B (zh) * 2022-07-13 2022-11-18 之江实验室 一种基于中心相似度学习的哈希码生成方法及装置

Also Published As

Publication number Publication date
EP3982275A4 (en) 2022-08-03
CN110188223B (zh) 2022-10-04
US20210382937A1 (en) 2021-12-09
WO2020244437A1 (zh) 2020-12-10
EP3982275A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
CN110188223A (zh) 图像处理方法、装置及计算机设备
Goodfellow et al. Multi-digit number recognition from street view imagery using deep convolutional neural networks
CN109522435B (zh) 一种图像检索方法及装置
CN109948149B (zh) 一种文本分类方法及装置
CN110334357A (zh) 一种命名实体识别的方法、装置、存储介质及电子设备
US20120269432A1 (en) Image retrieval using spatial bag-of-features
CN111950728B (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
CN112507912B (zh) 一种识别违规图片的方法及装置
CN112633423B (zh) 文本识别模型的训练方法、文本识别方法、装置及设备
CN112329598B (zh) 人脸关键点定位的方法、系统、电子装置和存储介质
WO2021169257A1 (zh) 人脸识别
CN108629345A (zh) 高维图像特征匹配方法和装置
CN110334186A (zh) 数据查询方法、装置、计算机设备及计算机可读存储介质
CN113656547B (zh) 文本匹配方法、装置、设备及存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN111428511B (zh) 一种事件检测方法和装置
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN110059212A (zh) 图像检索方法、装置、设备及计算机可读存储介质
Li et al. Msvit: training multiscale vision transformers for image retrieval
CN113536784B (zh) 文本处理方法、装置、计算机设备和存储介质
CN114168768A (zh) 图像检索方法及相关设备
CN117011569A (zh) 一种图像处理方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant