CN113221658A - 图像处理模型的训练方法、装置、电子设备及存储介质 - Google Patents

图像处理模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113221658A
CN113221658A CN202110393390.3A CN202110393390A CN113221658A CN 113221658 A CN113221658 A CN 113221658A CN 202110393390 A CN202110393390 A CN 202110393390A CN 113221658 A CN113221658 A CN 113221658A
Authority
CN
China
Prior art keywords
image
processing model
image processing
hash code
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110393390.3A
Other languages
English (en)
Inventor
李纯懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Original Assignee
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuo Erzhi Lian Wuhan Research Institute Co Ltd filed Critical Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority to CN202110393390.3A priority Critical patent/CN113221658A/zh
Publication of CN113221658A publication Critical patent/CN113221658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理模型的训练方法、图像匹配方法、装置、电子设备及存储介质，其中，训练方法包括：将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码；基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值；根据确定出的损失值更新所述图像处理模型的权重参数；其中，所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。

Description

图像处理模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理模型的训练方法、图像匹配方法、装置、电子设备及存储介质。
背景技术
皮肤镜诊断是一种针对皮肤疾病的无创性显微图像分析技术。相关技术中，在进行皮肤镜诊断时，需要用户通过人工识别皮肤镜图像，在图像识别过程中容易误判皮肤镜图像中包含的病灶，导致图像识别效率不高、准确率较低。
发明内容
有鉴于此，本申请实施例提供一种图像处理模型的训练方法、图像匹配方法、装置、电子设备及存储介质，以至少解决相关技术中图像识别效率不高、准确率较低的问题。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种图像处理模型的训练方法，所述方法包括：
将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码；
基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值；
根据确定出的损失值更新所述图像处理模型的权重参数；其中，
所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
上述方案中，所述方法还包括：
通过调用设定插件，生成包含图像样本的样本图库；所述设定插件用于在设定的数据库和/或设定的网络中爬取图像。
上述方案中，所述将图像样本输入至图像处理模型，包括：
对所述图像样本进行设定目标检测，并基于设定目标检测过程中定位的目标矩形框对所述图像样本进行裁剪；
将裁剪后的所述图像样本输入至所述图像处理模型。
上述方案中，所述方法还包括：
基于sign函数，将所述图像样本对应的第一哈希码处理为采用二进制的哈希向量表征的哈希码。
上述方案中，所述图像处理模型通过将计算机视觉组网络(VGGNet，VisualGeometry Group Network)模型去除完全连接层得到；所述图像处理模型的输出层的维度基于哈希码的维数确定出。
本申请实施例提供了一种图像匹配方法，所述方法包括：
将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码；
在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码；
基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果；其中，
所述图像处理模型采用上述任一种图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
本申请实施例还提供了一种图像处理模型的训练装置，包括：
第一处理单元，用于将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码；
计算单元，用于基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值；
第一确定单元，用于根据确定出的损失值更新所述图像处理模型的权重参数；其中，
所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
本申请实施例还提供了一种图像匹配装置，包括：
第二处理单元，用于将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码；
第二确定单元，用于在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码；
第三确定单元，用于基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果；其中，
所述图像处理模型采用上述任一种图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
本申请实施例还提供了一种电子设备，包括：
处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行上述任一种图像处理模型的训练方法的步骤，或者执行上述图像匹配方法的步骤。
本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像处理模型的训练方法的步骤，或执行上述图像匹配方法的步骤。
本申请实施例提供的图像处理模型的训练方法、图像匹配方法、装置、电子设备及存储介质，在图像处理模型的训练过程中，基于图像样本的语义向量矩阵和标签向量矩阵确定出相似度矩阵，计算图像处理模型的损失值，并根据确定出的损失值更新图像处理模型的权重参数，如此训练完成的图像处理模型在对图像进行处理时，能够得到更细粒度的图像相似度等级，在更细粒度的图像相似度等级的基础上能够实现更精准的图像匹配，提高了图像匹配的效率、准确率。
附图说明
图1为本申请实施例提供的一种图像处理模型的训练方法的流程示意图；
图2为本申请实施例提供的一种图像匹配方法的流程示意图；
图3为本申请应用实施例提供的一种图像匹配方法的流程示意图；
图4为本申请实施例提供的一种图像处理模型的训练装置的结构示意图；
图5为本申请实施例提供的一种图像匹配装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请的各种实施例中，在图像处理模型的训练过程中，基于图像样本的语义向量矩阵和标签向量矩阵确定出相似度矩阵，计算图像处理模型的损失值，并根据确定出的损失值更新图像处理模型的权重参数，如此训练完成的图像处理模型在对图像进行处理时，能够得到更细粒度的图像相似度等级，在更细粒度的图像相似度等级的基础上能够实现更精准的图像匹配，提高了图像匹配的效率、准确率。
图1示出了本申请实施例提供的图像处理模型的训练方法的实现流程示意图。在本申请实施例中，图像处理模型的训练方法的执行主体包括但不限于终端、服务器等电子设备。
参照图1，本申请实施例提供的图像处理模型的训练方法包括：
S101：将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码。
S102：基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值。
S103：根据确定出的损失值更新所述图像处理模型的权重参数。
其中，所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
首先，确定图像样本，将确定出的图像样本输入至图像处理模型，采用图像处理模型对图像样本进行处理。这里，图像样本可以来源于公有数据集，如ImageNet、COCO、Caltech 101、Caltech 256等常用的图像数据集，也可以来源于私有数据集；确定的图像样本带有图像样本关联的文本，可以从文本中提取图像相关的标签信息和语义信息。
按如下公式(1)、(2)，利用自然语言处理技术(NLP，Natural LanguageProcessing)，将图像样本关联的文本描述编码成向量，构建出图像语义向量矩阵A，确定输入的图像样本的语义向量矩阵和语义相似度矩阵：
Figure BDA0003017636500000051
Figure BDA0003017636500000052
其中，Bs表示语义相似度矩阵；
Figure BDA0003017636500000053
表示图像i和图像j之间的语义相似度；N表示图像样本个数；A为语义向量矩阵；||Ai||是向量Ai的模长；||Aj||是向量Aj的模长。
利用图像样本的标签信息构建出标签向量矩阵C，其中Ci，j＝0表示第i张图像不含有第j个标签，Ci，j＝1表示第i张图像含有第j个标签，建立标签向量矩阵C。按如下公式(3)，确定输入的标签相似度矩阵：
Figure BDA0003017636500000054
其中，DS是标签相似度矩阵，
Figure BDA0003017636500000055
为图像i和图像j之间的标签相似度，N表示图像样本个数，C为标签向量矩阵，CT为C的转置矩阵，Call为图像间的总标签矩阵。
按如下公式(4)，图像处理模型基于输入的图像样本的语义向量矩阵和标签向量矩阵确定出对应的相似度矩阵：
E＝Ds+α*Bs (4)
其中，Bs为语义相似度矩阵，Ds为标签相似度矩阵，α为权重系数。
图像处理模型基于相似度矩阵得到输入的图像样本对应的第一哈希码。
并且，在获取到图像样本对应的第一哈希码的情况下，基于图像样本对应的相似度矩阵计算图像处理模型的损失值，根据图像处理模型的损失值对图像处理模型进行权重参数的更新，以提升图像处理模型输出的第一哈希码的准确率。其中，图像处理模型的损失值基于图像样本对应的第一损失值与对应的标定损失值之间的差值计算得到。电子设备将图像处理模型的损失值在图像处理模型中进行反向传播，在将图像处理模型的损失值反向传播至图像处理模型的各个层的过程中，更新反向传播到当前层的权重参数。
这里，将更新后得到的权重参数，作为训练完毕的图像处理模型所使用的权重参数。
实际应用时，可设定更新停止条件，在满足更新停止条件时，将最后一次更新得到的权重参数，确定为训练完毕的图像处理模型所使用的权重参数。更新停止条件如设定的训练轮次(epoch)，一个训练轮次即为根据至少一个图像样本对图像处理模型训练一次的过程。当然，更新停止条件并不限于此，例如还可为设定的平均准确率(mAP，mean AveragePrecision)等。
需要说明的是，损失函数(loss function)用于度量模型的预测值与真实值(标定值)之间的不一致程度。在实际应用中，通过最小化损失函数来实现模型训练。
反向传播是相对于前向传播而言的，前向传播是指模型的前馈处理过程，而反向传播的方向与前向传播的方向相反。反向传播指根据模型输出的结果对模型各个层的权重参数进行更新。例如，模型包括卷积层、特征融合层和完全连接层，则前向传播是指按照卷积层-特征融合层-完全连接层的顺序进行处理，反向传播是指按照完全连接层-特征融合层-卷积层的顺序，依次更新各个层的权重参数。
本申请实施例提供的图像处理模型的训练方法，在图像处理模型的训练过程中，基于图像样本的语义向量矩阵和标签向量矩阵确定出相似度矩阵，计算图像处理模型的损失值，并根据确定出的损失值更新图像处理模型的权重参数，如此训练完成的图像处理模型在对图像进行处理时，能够得到更细粒度的图像相似度等级，在更细粒度的图像相似度等级的基础上能够实现更精准的图像匹配，提高了图像匹配的效率、准确率。
其中，在一实施例中，所述方法还包括：
通过调用设定插件，生成包含图像样本的样本图库；所述设定插件用于在设定的数据库和/或设定的网络中爬取图像。
通过调用设定插件，在设定的数据库和/或设定的网络中爬取图像，将爬取得到的图像作为图像样本生成样本图库。这里，爬取图像，可以通过网络爬虫(web crawler)按照一定的规则，自动地抓取网络信息的程序或者脚本。传统爬虫从一个或若干初始网页的统一资源定位器(URL，Uniform Resource Locator)开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统设定的停止条件。
为获取来源于不同的设定的数据库和/或设定的网络的图像样本，针对不同的图像来源设置对应的插件，每个插件用于获取对应的图像，获取的图像样本带有图像样本关联的文本。在设定的数据库和/或设定的网络中爬取图像，可以通过调用插件分析网页URL，抓取页面信息，获取设定的网络的图像；也可以通过调用插件在设定的数据库中获取图像，具体地，通过数据库对应的接口进行访问。
由于在训练过程中，图像处理模型的训练样本来源广泛且可靠，增加了样本的多样性和可靠性，提高了训练完毕的图像处理模型的泛化能力(generalization ability)，进而拓宽了训练完毕的图像处理模型的适用范围。泛化能力是模型在训练后对新鲜样本的适应能力。
实际应用中，图像样本可以是皮肤镜图像，将皮肤镜图像作为训练的图像样本输入至图像处理模型。在设定的数据库和/或设定的网络中爬取图像，可以通过爬取设定的数据库，例如局域网内储存有至少一家医疗结构的至少一台皮肤镜对应的图像数据库，也可以通过爬取设定的网络如国际皮肤图像协会(International Skin ImagingCollaboration，ISIC)的网站，获取不同医疗机构公开的皮肤镜图像数据库。
在一实施例中，所述将图像样本输入至图像处理模型，包括：
对所述图像样本进行设定目标检测，并基于设定目标检测过程中定位的目标矩形框对所述图像样本进行裁剪；
将裁剪后的所述图像样本输入至所述图像处理模型。
电子设备对确定出的图像样本进行设定目标检测，基于设定目标检测过程中定位的目标矩形框框选出图像中的设定目标，根据目标矩形框进行裁剪将裁剪后的图像作为图像样本输入至图像处理模型。这样，通过对确定出的图像样本进行设定目标检测并修剪图像样本，可以在保留设定目标的同时去除图像样本中的冗余信息，使得神经网络模型在训练时能够专注于学习图像的设定目标信息，降低了模型的训练复杂度，这样训练出来的图像处理模型能够具备良好的应用性能。
这里，图像样本可以是皮肤镜图像，设定目标可以设定为病灶目标，对图像样本的设定目标检测可以通过提取皮肤镜图像中病灶的颜色、纹理、形状等特征的方式进行。
实际应用中，进行背景移除时利用了皮肤镜图像分割结果。原始皮肤镜图像通过FCDenseNet进行病灶目标检测，基于病灶目标检测过程中定位的目标矩形框框选出图像中的病灶目标，获得包含病灶目标的坐标框，根据坐标框的坐标信息裁剪原始皮肤镜图像，移除皮肤镜图像部分背景，得到病灶面积占比较大的病灶区域图像。这样，病灶区域图像能更明显的突出病灶特征，避免皮肤镜图像背景对神经网络模型特征提取过程的干扰，提高了图像匹配的效率、准确率。
在一实施例中，所述根据确定出的损失值更新所述图像处理模型的权重参数，包括：
通过坐标下降法更新所述图像处理模型的权重参数。
电子设备以坐标下降法对图像处理模型进行离散优化，对提取特征的神经网络模型的权重参数进行训练。在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。按如下公式(5)，坐标下降法第k轮的迭代过程可以用公式描述为：
Figure BDA0003017636500000091
其中，J为损失函数，x(x1，x2，…，xn)是神经网络输出的n维的哈希码，x0为初始值。
其中，按如下公式(6)，损失函数J可以用公式描述为：
Figure BDA0003017636500000092
其中，w1、w2、w3为系数，可以根据需要设置；|Hi-Hj|表示图像i与图像j的近似哈希向量间的欧氏距离；|L|表示哈希向量长度。
每次迭代都只是更新x的一个维度，把这个维度当作变量，剩下的n-1个维度当作常量，通过最小化来找到该维度对应的值，通过迭代地构造序列来求解问题，即最终点收敛到期望的局部极小值点。
这样，通过坐标下降法对图像处理模型进行离散优化时，可以提高以稀疏数据作为训练样本进行模型训练的效率。
在一实施例中，所述方法还包括：
基于sign函数，将所述图像样本对应的第一哈希码处理为采用二进制的哈希向量表征的哈希码。
电子设备通过输入图像样本，对图像处理模型进行训练，得到图像样本对应的哈希码，基于sign函数得到采用二进制的哈希向量表征的哈希码。这样，在计算使用二进制的哈希向量表征的哈希码与设定的哈希码集合的相似度时，可以快速确定图像的匹配结果，提高图像的匹配效率。
在一实施例中，所述图像处理模型通过将VGGNet模型去除完全连接层得到；所述图像处理模型的输出层的维度基于哈希码的维数确定出。
图像处理模型采用VGGNet模型作为特征提取网络，去掉一层完全连接层，将输出层维度限制为哈希码的维数，这样，使特征提取网络更适宜提取深度哈希的特征，提高了图像处理模型的效率。
在一实施例中，所述方法还包括：
将所述图像样本进行分类；
所述得到所述图像样本对应的第一哈希码时，所述方法包括：
根据输入图像处理模型的图像样本的类型，设置所述图像样本对应的第一哈希码在设定维数的编码。
电子设备根据标签信息将图像样本划分成不同的类型，图像样本输入至图像处理模型时得到对应的第一哈希码，根据类型设置图像样本对应的第一哈希码在设定维数的编码。这里，第一哈希码的设定维度可以根据需要设置为前10个维度。这样，使用二进制的哈希向量表征的哈希码与设定的哈希码集合的相似度时，可以快速精准地匹配出相同或相似类型的图像，提高图像的匹配效率、精确度。
实际应用中，可以根据皮肤镜图像的标签信息对图像进行分类，相同类型的图像的前10个维度相同，例如，皮肤镜图像的标签信息为黑色素瘤(Melanoma)、基底细胞瘤(Basal cell carcinoma)以及血管损伤(Vascularlesion)，其中，黑色素瘤和基底细胞瘤都属于皮肤癌，具有这两个标签的图像可以确定为相似类型的图像，而血管损伤则指血管由于受到由于外来直接或间接暴力的侵袭造成的开放性或闭合性血管损伤。这里，使黑色素瘤的图像对应的哈希码前10位为“0000000000”，基底细胞瘤的图像对应的哈希码前10位为“0000000011”，血管损伤的图像对应的哈希码前10位为“1111111111”，显然，黑色素瘤的图像对应的哈希码前10位“0000000000”与基底细胞瘤的图像对应的哈希码前10位“0000000011”更接近，汉明距离(Hamming Distance)为2，而与血管损伤的图像对应的哈希码前10位“1111111111”的汉明距离为10；在进行图像匹配时，以黑色素瘤的图像作为待匹配图像进行匹配时，与相似类型图像如黑色素瘤、基底细胞瘤的哈希码之间的汉明距离，就比不相似类型图像如血管损的哈希码之间的汉明距离要小，说明相似度更高，因而在图像匹配中可以更好地匹配相似图像。这样，根据哈希码的相似度的差异程度可以匹配相同、相似类型的图像，提高图像匹配的效率、精确度。
作为本申请的另一实施例，在图像处理模型训练完毕后，即可将图像处理模型投入使用。需要说明的是，训练图像处理模型对应的实施例中的电子设备，与本实施例中采用图像处理模型对图像进行匹配的电子设备可以相同或不同。
如图2示出的，电子设备采用训练完毕的图像处理模型对图像进行匹配的实现过程如下：
S201：将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码。
S202：在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码。
S203：基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果。
其中，所述图像处理模型采用上述任一种图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
电子设备从设定的数据库和/或设定的网络中获取带有标签信息和语义信息的至少一个第二图像，将第二图像输入训练完毕的图像处理模型，得到每个第二图像对应的第三哈希码，从而确定设定的哈希码集合；电子设备将待匹配的第一图像输入训练完毕的图像处理模型，采用图像处理模型对第一图像进行处理，得到第一图像对应的第二哈希码，在设定的哈希码集合中确定出与第二哈希码相似度最高的至少一个第三哈希码，根据第三哈希码与第二图像的对应关系，确定第一图像的匹配结果为第二图像。
实际应用中，在设定的哈希码集合中确定第二哈希码相似度最高的至少一个第三哈希码，可以通过将匹配的第一图像的第二哈希码与皮肤镜图像二进制哈希码集合逐个对比汉明距离，按如下公式(7)，汉明距离计算公式可以用公式描述为：
Figure BDA0003017636500000121
其中，x，y表示n维编码；i＝0，1，2，…，n-1；
Figure BDA0003017636500000122
表示异或操作；d(x,y)表示x，y之间的汉明距离。
本申请实施例提供的图像匹配方法，将图像输入至训练完毕的图像处理模型，得到图像对应的哈希码，基于哈希码相似度在设定的哈希码集合中进行图像匹配，提高了图像识别、匹配的准确率。
在一实施例中，在确定出所述第一图像的匹配结果之后，输出第一图像的匹配结果即至少一个第二图像及至少一个第二图像中的每个第二图像的标签信息。
下面结合应用实施例对本申请再作进一步的详细描述。
皮肤镜又称皮表透光显微镜，用于辅助用户观察目标区域。相关技术中，在进行皮肤镜诊断时，需要用户通过人工识别皮肤镜图像，用户根据经验做出诊断结果，这样，用户通过人工识别皮肤镜图像，在图像识别过程中容易误判皮肤镜图像中包含的病灶，导致图像识别效率不高、准确率较低。
随着科技的发展，图像识别技术在疾病识别中的应用越来越常见，成为疾病辅助诊断中的重要手段。本应用实施例提供一种基于图像样本的语义向量矩阵和标签向量矩阵的图像匹配方法，不需要用户通过人工识别皮肤镜图像，提升了皮肤镜图像的识别精度、效率，从而辅助医生做出正确诊断。
如图3所示出图像匹配方法，包括以下步骤：
S301：获取皮肤镜图像样本及关联文本，从文本中提取标签信息和语义信息，生成包含图像样本的样本图库。这里，皮肤镜图像样本关联的文本包括诊断结论、备注，表征医生对皮肤镜图像样本的诊断结论和对病灶发展程度的评价，例如，黑色素瘤I期。
S302：对皮肤镜图像样本进行预处理。具体包括：
对皮肤镜图像样本进行裁剪，裁剪后的图像仍包括病灶目标，将裁剪后的图像经过等比放大后作为图像样本进行后续操作。
利用NLP，将图像样本的语义信息编码成向量，构建出图像语义向量矩阵A，参见公式(1)、(2)，确定输入的图像样本的语义向量矩阵和语义相似度矩阵。
利用标签信息构建出标签向量矩阵C，其中Ci,j＝0表示第i张图像不含有第j个标签，Ci,j＝1表示第i张图像含有第j个标签，建立标签向量矩阵C，参见公式(3)。
根据语义相似度矩阵Bs和标签相似度矩阵Ds，建立相似度矩阵ES，参见公式(4)。
S303：使用TensorFlow框架搭建VGGNet模型。
采用VGGNet模型(3×3卷积核)作为特征提取网络，去掉一层完全连接层，将输出层输出结果限制为二进制的哈希向量表征的哈希码(0，1)，并将输出层维度限制为哈希码的维数，通过这样的优化以更适应提取深度哈希的特征。
以坐标下降法对图像处理模型进行离散优化，对提取特征的神经网络模型的权重参数进行训练。坐标下降法是一种非梯度优化算法。算法在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值，坐标下降法第k轮的迭代过程通过公式(5)描述。
每次迭代都只是更新x的一个维度，把该维度当作变量，剩下的n-1个维度当作常量，通过最小化来找到该维度对应的新的值，通过迭代地构造序列来求解问题，即最终点收敛到期望的局部极小值点。
S304：利用样本图库中的皮肤镜图像样本，对优化的VGGNet模型进行训练。
S305：将皮肤镜图像样本和待匹配的图像输入至训练完毕的图像处理模型。
将皮肤镜图像样本输入至训练完毕的图像处理模型，得到皮肤镜图像样本的哈希码集合，经过sign函数，得到对应的二进制的哈希向量表征的哈希码集合H＝{h1，h2，…，hn}，作为用于图像匹配的设定的哈希码集合，其中n为样本图库中图像的个数，hn表示第n个图像的二进制哈希向量。
将待匹配的图像输入至训练完毕的图像处理模型，经特征提取网络从而生成二进制的哈希码。
S306：确定待匹配的图像的匹配结果，按照相似度高低的排序结果提供建议。
对比待匹配的图像的哈希码与皮肤镜图像样本对应的哈希码集合，在皮肤镜图像样本对应的哈希码集合中确定出与待匹配的图像的哈希码相似度最高的至少一个哈希码，根据确定出的哈希码与样本图库中的图像样本的对应关系，确定待匹配的图像的匹配结果，按照相似度高低的排序结果提供辅助建议。
计算待匹配的图像的哈希码与样本图库中的每个皮肤镜图像样本对应的哈希码的汉明距离，参见公式(7)。
根据确定的汉明距离进行排序作为最终匹配结果，实现辅助诊疗建议的功能。
本申请应用实施例通过获取皮肤镜图像样本及皮肤镜图像样本关联的文本，生成包含皮肤镜图像样本的样本图库，使用TensorFlow框架搭建VGGNet模型，投入样本图库对优化后的VGGNet模型进行训练，得到训练完毕的图像处理模型，构建皮肤镜图像样本的哈希码集合。对比待匹配的图像的哈希码与皮肤镜图像样本的哈希码集合，按照相似度排序结果提供参考诊断。这样，能够从皮肤镜图像中自动提取目标，并对目标类型进行识别，从而辅助医生做出正确诊断，具有可重复的优点。
为实现本申请实施例的方法，本申请实施例还提供了一种图像处理模型的训练装置，设置在电子设备上，如图4所示，该装置包括：
第一处理单元401，用于将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码。
计算单元402，用于基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值。
第一确定单元403，用于根据确定出的损失值更新所述图像处理模型的权重参数。
其中，所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
其中，在一实施例中，所述装置还包括：
生成单元，用于通过调用设定插件，生成包含图像样本的样本图库；所述设定插件用于在设定的数据库和/或设定的网络中爬取图像。
在一实施例中，所述第一处理单元401，用于：
对所述图像样本进行设定目标检测，并基于设定目标检测过程中定位的目标矩形框对所述图像样本进行裁剪；
将裁剪后的所述图像样本输入至所述图像处理模型。
在一实施例中，第一确定单元403，用于：
通过坐标下降法更新所述图像处理模型的权重参数。
在一实施例中，所述装置还包括：
第三处理单元，用于基于sign函数，将所述图像样本对应的第一哈希码处理为采用二进制的哈希向量表征的哈希码。
在一实施例中，所述图像处理模型通过将VGGNet模型去除完全连接层得到；所述图像处理模型的输出层的维度基于哈希码的维数确定出。
实际应用时，所述第一处理单元401、计算单元402、第一确定单元403、生成单元、第三处理单元可由基于图像处理模型的训练装置中的处理器，比如中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field-Programmable GateArray)等实现。
需要说明的是：上述实施例提供的图像处理模型的训练装置在进行图像处理模型训练时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理模型的训练装置与图像处理模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
为实现本申请实施例的方法，本申请实施例还提供了一种图像匹配装置，设置在电子设备上，如图5所示，该装置包括：
第二处理单元501，用于将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码；
第二确定单元502，用于在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码；
第三确定单元503，用于基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果；其中，
所述图像处理模型采用上述任一种图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
实际应用时，所述第二处理单元501、第二确定单元502、第三确定单元503可由基于图像匹配装置中的处理器，比如CPU、DSP、MCU或FPGA等实现。
需要说明的是：上述实施例提供的图像匹配装置在进行图像匹配时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像匹配装置与图像匹配方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本申请实施例的图像处理模型的训练方法，本申请实施例还提供了一种电子设备，如图6所示，电子设备600包括：
通信接口601，能够与其他网络节点进行信息交互；
处理器602，与所述通信接口601连接，以实现与其他网络节点进行信息交互，用于运行计算机程序时，执行上述电子设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器603上。
当然，实际应用时，电子设备600中的各个组件通过总线系统604耦合在一起。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。
本申请实施例中的存储器603用于存储各种类型的数据以支持电子设备600的操作。这些数据的示例包括：用于在电子设备600上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于所述处理器602中，或者由所述处理器602实现。所述处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器602可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器602可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器603，所述处理器602读取存储器603中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
可以理解，本申请实施例的存储器(存储器603)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-OnlyMemory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-OnlyMemory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-OnlyMemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器603，上述计算机程序可由电子设备600的处理器602执行，以完成前述电子设备侧方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码；
基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值；
根据确定出的损失值更新所述图像处理模型的权重参数；其中，
所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过调用设定插件，生成包含图像样本的样本图库；所述设定插件用于在设定的数据库和/或设定的网络中爬取图像。
3.根据权利要求1所述的方法，其特征在于，所述将图像样本输入至图像处理模型，包括：
对所述图像样本进行设定目标检测，并基于设定目标检测过程中定位的目标矩形框对所述图像样本进行裁剪；
将裁剪后的所述图像样本输入至所述图像处理模型。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于sign函数，将所述图像样本对应的第一哈希码处理为采用二进制的哈希向量表征的哈希码。
5.根据权利要求1所述的方法，其特征在于，所述图像处理模型通过将计算机视觉组网络VGGNet模型去除完全连接层得到；所述图像处理模型的输出层的维度基于哈希码的维数确定出。
6.一种图像匹配方法，其特征在于，所述方法包括：
将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码；
在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码；
基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果；其中，
所述图像处理模型采用如权利要求1至5任一项所述的图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
7.一种图像处理模型的训练装置，其特征在于，包括：
第一处理单元，用于将图像样本输入至图像处理模型，得到所述图像样本对应的第一哈希码；
计算单元，用于基于所述图像样本对应的相似度矩阵，计算所述图像处理模型的损失值；
第一确定单元，用于根据确定出的损失值更新所述图像处理模型的权重参数；其中，
所述图像处理模型基于所述图像样本对应的相似度矩阵，得到所述图像样本对应的第一哈希码；所述相似度矩阵基于所述图像样本的语义向量矩阵和标签向量矩阵确定出；所述语义向量矩阵和所述标签向量矩阵基于所述图像样本关联的文本得到。
8.一种图像匹配装置，其特征在于，包括：
第二处理单元，用于将第一图像输入至图像处理模型，输出所述第一图像对应的第二哈希码；
第二确定单元，用于在设定的哈希码集合中确定出与所述第二哈希码相似度最高的至少一个第三哈希码；
第三确定单元，用于基于所述至少一个第三哈希码中每个第三哈希码对应的第二图像，确定出所述第一图像的匹配结果；其中，
所述图像处理模型采用如权利要求1至5任一项所述的图像处理模型的训练方法训练得到；所述设定的哈希码集合中的每个第三哈希码通过将对应的第二图像输入至所述图像处理模型后得到。
9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述的图像处理模型的训练方法的步骤，或者执行权利要求6所述的图像匹配方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下至少之一：
权利要求1至5任一项所述方法的步骤；
权利要求6所述方法的步骤。
CN202110393390.3A 2021-04-13 2021-04-13 图像处理模型的训练方法、装置、电子设备及存储介质 Pending CN113221658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110393390.3A CN113221658A (zh) 2021-04-13 2021-04-13 图像处理模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393390.3A CN113221658A (zh) 2021-04-13 2021-04-13 图像处理模型的训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113221658A true CN113221658A (zh) 2021-08-06

Family

ID=77087473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393390.3A Pending CN113221658A (zh) 2021-04-13 2021-04-13 图像处理模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113221658A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN117726836A (zh) * 2023-08-31 2024-03-19 荣耀终端有限公司 图像相似度模型的训练方法、抓拍图像方法及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN107463912A (zh) * 2017-08-10 2017-12-12 武汉大学深圳研究院 基于运动显著性的视频人体行为识别方法
CN109977250A (zh) * 2019-03-20 2019-07-05 重庆大学 融合语义信息和多级相似性的深度哈希图像检索方法
CN109977773A (zh) * 2019-02-18 2019-07-05 华南理工大学 基于多目标检测3d cnn的人体行为识别方法及系统
CN110298302A (zh) * 2019-06-25 2019-10-01 腾讯科技（深圳）有限公司 一种人体目标检测方法及相关设备
CN111198959A (zh) * 2019-12-30 2020-05-26 郑州轻工业大学 一种基于卷积神经网络的两阶段图像检索方法
CN111461157A (zh) * 2019-01-22 2020-07-28 大连理工大学 一种基于自学习的跨模态哈希检索方法
CN111813975A (zh) * 2020-07-09 2020-10-23 国网电子商务有限公司 一种图像检索方法、装置及电子设备
CN112085088A (zh) * 2020-09-03 2020-12-15 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112199520A (zh) * 2020-09-19 2021-01-08 复旦大学 基于细粒度相似性矩阵的跨模态哈希检索算法
CN112528858A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 人体姿态估计模型的训练方法、装置、设备、介质及产品

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN107463912A (zh) * 2017-08-10 2017-12-12 武汉大学深圳研究院 基于运动显著性的视频人体行为识别方法
CN111461157A (zh) * 2019-01-22 2020-07-28 大连理工大学 一种基于自学习的跨模态哈希检索方法
CN109977773A (zh) * 2019-02-18 2019-07-05 华南理工大学 基于多目标检测3d cnn的人体行为识别方法及系统
CN109977250A (zh) * 2019-03-20 2019-07-05 重庆大学 融合语义信息和多级相似性的深度哈希图像检索方法
CN110298302A (zh) * 2019-06-25 2019-10-01 腾讯科技（深圳）有限公司 一种人体目标检测方法及相关设备
CN111198959A (zh) * 2019-12-30 2020-05-26 郑州轻工业大学 一种基于卷积神经网络的两阶段图像检索方法
CN111813975A (zh) * 2020-07-09 2020-10-23 国网电子商务有限公司 一种图像检索方法、装置及电子设备
CN112085088A (zh) * 2020-09-03 2020-12-15 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112199520A (zh) * 2020-09-19 2021-01-08 复旦大学 基于细粒度相似性矩阵的跨模态哈希检索算法
CN112528858A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 人体姿态估计模型的训练方法、装置、设备、介质及产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN117726836A (zh) * 2023-08-31 2024-03-19 荣耀终端有限公司 图像相似度模型的训练方法、抓拍图像方法及电子设备

Similar Documents

Publication Publication Date Title
CN109783655B (zh) 一种跨模态检索方法、装置、计算机设备和存储介质
CN110363138B (zh) 模型训练方法、图像处理方法、装置、终端及存储介质
KR101999152B1 (ko) 컨벌루션 신경망 기반 영문 텍스트 정형화 방법
US20190228320A1 (en) Method, system and terminal for normalizing entities in a knowledge base, and computer readable storage medium
CN110188775B (zh) 一种基于联合神经网络模型的图像内容描述自动生成方法
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN113221658A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN112232065A (zh) 挖掘同义词的方法及装置
CN110705600A (zh) 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质
CN112307190B (zh) 医学文献排序方法、装置、电子设备及存储介质
CN111199797A (zh) 一种辅助诊断模型建立和辅助诊断方法及装置
CN116304307A (zh) 一种图文跨模态检索网络训练方法、应用方法及电子设备
CN111985209A (zh) 结合rpa和ai的文本语句识别方法、装置、设备及存储介质
CN114022462A (zh) 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质
CN115098556A (zh) 用户需求匹配方法、装置、电子设备及存储介质
CN114332893A (zh) 表格结构识别方法、装置、计算机设备和存储介质
CN115982144A (zh) 相似文本去重方法、装置、存储介质及电子装置
CN118133971A (zh) 基于大语言模型的医疗问答方法和装置
CN113722507B (zh) 基于知识图谱的住院费用预测方法、装置及计算机设备
CN111611796A (zh) 下位词的上位词确定方法、装置、电子设备及存储介质
CN111199801B (zh) 一种用于识别病历的疾病类型的模型的构建方法及应用
CN114926479A (zh) 图像处理方法及装置
CN111429991A (zh) 药品预测方法、装置、计算机设备及存储介质
CN113761124A (zh) 文本编码模型的训练方法、信息检索方法及设备
CN112559559A (zh) 清单相似度的计算方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806

RJ01 Rejection of invention patent application after publication