CN116825210A - 基于多源生物数据的哈希检索方法、系统、设备和介质 - Google Patents

基于多源生物数据的哈希检索方法、系统、设备和介质 Download PDF

Info

Publication number
CN116825210A
CN116825210A CN202311082477.4A CN202311082477A CN116825210A CN 116825210 A CN116825210 A CN 116825210A CN 202311082477 A CN202311082477 A CN 202311082477A CN 116825210 A CN116825210 A CN 116825210A
Authority
CN
China
Prior art keywords
hash
text
image
features
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311082477.4A
Other languages
English (en)
Other versions
CN116825210B (zh
Inventor
余国先
王月群
王峻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311082477.4A priority Critical patent/CN116825210B/zh
Publication of CN116825210A publication Critical patent/CN116825210A/zh
Application granted granted Critical
Publication of CN116825210B publication Critical patent/CN116825210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/325—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biotechnology (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了基于多源生物数据的哈希检索方法、系统、设备和介质，涉及大规模数据检索领域，具体方案包括：利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；基于哈希码间的汉明距离，得到检索结果；其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码；本发明设计了特征自适应融合模块，计算自适应融合系数，并使用文本特征自适应增强图像特征，将哈希技术引入生物数据的跨模态数据检索中。

Description

基于多源生物数据的哈希检索方法、系统、设备和介质
技术领域
本发明属于大规模数据检索领域，尤其涉及基于多源生物数据的哈希检索方法、系统、设备和介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着移动设备、社交网络和自媒体平台的快速发展，人们可以获取到如文本、图像、视频和音频等多种不同类型的数据，这些数据被称为多模态数据。由于互联网上多模态数据的快速增长，将多模态数据编码成二进制码，以实现快速检索和低存储成本的多模态哈希引起了广泛关注，成为近年来的热门话题。
哈希学习的目标是通过学习哈希函数，将不同模态数据在各自特征空间中的特征表示映射到公共的汉明空间中，同时在映射的过程保留数据在原始空间中的相似性；使用二进制哈希码来表示原始数据可以显著降低存储成本，此外，通过使用哈希码构建索引，可以实现常数级或亚线性级时间复杂度的搜索；类似于互联网上的多模态数据，生物学研究中也会涉及到各种类型的生物数据，例如属于图像模态的病理切片数据以及属于文本模态的基因组、转录组中的序列数据等；这些生物数据的快速增长也给生物数据的处理、存储和检索带来了挑战。
因此，将哈希技术引入生物数据的检索中，具有非常重要的意义；哈希技术的引入可以有效地对生物数据进行编码和索引，实现快速的数据检索和查询；这将为生物学研究和医学领域的进展提供支持，帮助研究人员更高效地挖掘生物数据中的关联和信息；因此，跨模态哈希技术在生物数据的处理与分析中具有重要的应用前景，值得进一步深入研究和探索。
目前的跨模态哈希方法，按照是否使用标签数据分为两类：无监督跨模态哈希和监督跨模态哈希；无监督跨模态哈希在训练过程中不依赖于任何外部标记信息，仅通过自适应学习数据内在的相关性，实现对不同模态数据的哈希学习；监督跨模态哈希方法则利用数据的标签信息作为监督信息指导生成哈希码，因此表现一般要优于无监督的方法；此外，根据使用特征的不同，跨模态哈希方法还可以分为基于浅层结构的方法和基于深度学习的方法；与传统的浅层哈希方法相比，深度跨模态哈希能够直接处理原始数据，这在特征学习方面取得了很大的进步，但是深度神经网络的参数量通常比较大，需要大量的训练样本才能拟合出较好的效果。
近年来，哈希技术在文本、图像的跨模态检索中已经取得了显著的进展，但在将哈希技术引入生物数据的存储和检索中时仍然会遇到一些新的问题；例如，受限于数据获取难度和标记代价，生物数据中的标记样本数量通常有限，会影响到哈希模型的性能，使得样本的识别和检索变得更加困难；因此，将哈希技术引入到生物数据的存储和检索中，仍存在一些性能问题和精度问题。
发明内容
为克服上述现有技术的不足，本发明提供了基于多源生物数据的哈希检索方法、系统、设备和介质，设计了特征自适应融合模块，计算自适应融合系数，并使用文本特征自适应增强图像特征，将哈希技术引入生物数据的跨模态数据检索中。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了基于多源生物数据的哈希检索方法。
基于多源生物数据的哈希检索方法，包括：
利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
进一步的，所述哈希模型，包括向量表示模块、特征提取模块、自适应融合模块和哈希码学习模块；
所述向量表示模块，对图像样本和文本样本进行数值化的向量表示，得到图像向量和文本向量；
所述特征提取模块，基于图像向量和文本向量，提取图像特征和文本特征；
所述自适应融合模块，利用自适应融合系数，对文本特征、图像特征进行动态融合，增强图像特征，得到鉴别性更强的图像特征；
所述哈希码学习模块，将文本特征和增强后的图像特征进行二值化得到相应的哈希码。
进一步的，所述文本向量的获取方式为：通过获取文本样本中表征miRNA表达水平的值，得到数值化的向量表示；
所述图像向量的获取方式为：对图片样本进行区域划分，分区域进行初级特征的提取和融合，得到图像的数值化向量表示。
进一步的，在分区域进行初级特征的提取和融合前，依据分块是否可用，进行分块的过滤，具体为：
将分块转换为灰度图像，并对灰度图像进行二值化，然后计算其表面未覆盖背景的比例，根据比例与指定阈值的比较，判断分块是否可用。
进一步的，所述自适应融合系数，具体公式为：
其中，表示自适应融合系数，/>表示文本特征，/>表示文本样本，/>是特征提取模块的文本网络参数，/>表示文本/>经过自适应融合模块的输出值，/>表示自适应融合模块的网络参数。
进一步的，所述用文本特征自适应增强图像特征，具体公式为：
其中，分别表示图像文本和文本样本，/>、/>分别表示图像特征和文本特征，/>是特征提取模块的图像网络参数和文本网络参数，/>表示自适应融合系数。
进一步的，所述哈希模型在训练过程中，将特征提取、自适应融合、哈希码学习三个模块联合优化，优化的目标函数由三部分组成：
保持跨模态相似性的负对数似然函数；
特征量化成哈希码过程的损失；
平衡哈希码中1/-1数量的损失。
本发明第二方面提供了基于多源生物数据的哈希检索系统。
基于多源生物数据的哈希检索系统，包括生成模块和检索模块：
生成模块，被配置为：利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
检索模块，被配置为：基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于多源生物数据的哈希检索方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于多源生物数据的哈希检索方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
针对生物数据中标记样本数量不足、图像特征之间不容易区分的问题，本发明设计了特征自适应融合模块，计算自适应融合系数，并使用文本数据特征自适应增强图像数据特征，增加图像数据的鉴别力，以达到好的检索效果，从而将哈希技术引入生物数据的存储和跨模态、跨组学的数据检索中，高效处理生物信息学中的多模态数据。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第二个实施例的系统结构图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了基于多源生物数据的哈希检索方法，如图1所示，包括如下步骤：
步骤S1：利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
步骤S2：基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
下面对本实施例基于多源生物数据的哈希检索方法的实现过程进行详细说明。
这里的多源生物数据，是关于生物的多模态数据，包括图像数据，如病理切片；文本数据，如miRNA序列数据；利用深度学习的哈希模型，生成多源生物数据的哈希码，基于哈希码的汉明距离，进行数据的检索。
哈希模型包括向量表示模块、特征提取模块、自适应融合模块和哈希码学习模块。
一、向量表示模块
用于将样本数据转变为计算机可计算的形式，具体的，对于文本数据，从miRNA文件中读取表征miRNA表达水平的值，返回数值化的向量表示，即文本向量。对于诸如病理切片等占用空间通常较大的图像数据，先进行区域化处理，分割成较小的分块。
由于分块中存在空白部分，需要判断每个分块是否可用，判断过程如下：对于每个小分块，首先将其转换为灰度图像，并对灰度图像进行二值化，将像素值小于 220 的像素置为 0，大于等于 220 的像素置为 1，然后计算其表面未覆盖背景的比例，即为被置为1的像素数量与像素总数量的比值，如果该数值小于指定阈值，则判断该小分块是可用的。
过滤掉不可用小分块后，利用经过预训练的网络，如Inception V3，对每个可用小分块进行初级特征提取，最后将全部可用分块的特征进行融合，得到该图像数据完整的数值化向量表示，即图像向量。
二、特征提取模块
利用图像网络、文本网络分别对图像数据、文本数据进行特征提取，这里的图像网络和文本网络，可以采用多层感知机（Multi-Layer Perceptron，MLP）。MLP是一种前馈人工神经网络模型，由多个全连接的隐藏层组成。通过堆叠多个隐藏层，MLP可以捕获复杂的特征和模式，自动学习从数据中提取有意义的特征，从而为后续任务提供更好的表示。
具体地，通过文本网络、图像网络，分别对输入的miRNA序列数据、病理切片数据进行进一步的深度特征提取，得到64维的特征表示，维度数即为哈希码的位数；图像和文本特征形式化定义如下：
其中，公式（1）表示图像通过图像网络提取的图像特征，公式（2）表示文本/>通过文本网络提取的文本特征，/>为哈希码的位数，也就是两个网络最后一层的输出维度，/>和分别表示图像网络参数和文本网络参数。
三、自适应融合模块
利用自适应融合系数，对文本特征、图像特征进行动态融合，增强图像特征，得到鉴别性更强的图像特征。
具体地，针对生物数据中标记样本不充足的问题，为了从数据中挖掘更多信息，得到更有鉴别力的特征表示，本实施例引入了自适应融合模块。具体地，自适应融合模块接收文本特征作为输入，输出大小在0-1之间的自适应融合系数/>，融合系数定义如下：
其中，表示文本/>经过自适应融合模块的输出值，/>表示自适应融合模块的网络参数；自适应融合模块的输出值通过/>函数缩放到0-1的范围内。
在计算融合后的图像特征时，一方面将图像通过图像网络得到图像特征，另一方面将该图像对应的文本/>通过文本特征网络得到文本特征/>，再将文本特征输入自适应融合模块计算融合系数/>，通过公式(4)得到增强后的图像特征：
其中，分别表示图像文本和文本样本，/>、/>分别表示图像特征和文本特征，/>是特征提取模块的图像网络参数和文本网络参数，/>表示自适应融合系数。
通过公式（4），文本特征和图像特征可以实现动态融合，达到文本特征自适应增强图像特征的效果。
四、哈希码学习模块
将文本特征和增强后的图像特征进行二值化得到相应的哈希码，具体地，通过公式（5）的指示函数，将文本特征和增强后的图像特征进行二值化得到相应的哈希码：
（5）
例如，对于图像和文本/>的哈希码，形式化定义如下：
其中，表示图像/>的哈希码，/>表示文本/>的哈希码。
哈希模型的训练过程中，在计算图像哈希码时，需要先将该图像对应的文本数据通过文本网络得到文本特征，再将该文本特征输入到自适应融合模块以生成自适应融合系数，然后基于自适应融合系数将图像特征与文本特征进行加权融合，得到增强后的图像特征，再通过指示函数二值化，生成该样本对应的增强后的图像模态的哈希码；上述流程是在跨模态相似性矩阵的监督下进行。
这里的跨模态相似性矩阵，具体构建方法为：
获取患者样本训练集，每个患者样本包括患者及对应的疾病亚型、图像样本和文本样本；
基于患者样本训练集，设置样本之间的相似性指示值，构建跨模态相似性矩阵，/>表示图像第/>个样本和文本第/>个样本的相似性，可以分为三个等级进行设置，具体而言：
（1）若图像样本和文本样本/>来自具有不同亚型的不同患者，则将/>设置为0，表示样本/>和样本/>应当尽可能不相似；
（2）若图像样本和文本样本/>来自具有相同亚型的不同患者，则将/>设置为0.5，表示样本/>和样本/>应当具有一定程度的相似性；
（3）若图像样本和文本样本/>来自同一个患者，则将/>设置为1，表示样本/>和样本应当尽可能相似。
基于跨模态相似性矩阵，本实施例将特征提取、自适应融合、哈希码学习三个步骤联合优化，在训练过程中可以相互反馈、联合优化，克服分别训练导致的不兼容的问题；其中，优化的目标函数定义如下：
其中，表示跨模态相似性矩阵，/>表示图像第/>个样本和文本第/>个样本之间的相似性指示值，/>表示/>个训练样本的图像特征矩阵，/> ；表示/>个训练样本的文本特征矩阵，/>；/>可以用来衡量样本/>图像和文本两个跨模态特征的相似度；图像的哈希码是/>，文本的哈希码是/>；γ和是超参数；/>和/>是训练过程要学习的参数。
目标函数第一部分，是保持跨模态相似性的负对数似然函数，训练过程使用跨模态相似性矩阵作为监督信息可以保持相同亚型不同模态样本之间以及同一患者不同模态样本之间的跨模态相似性。
目标函数第二部分，是用以减少特征量化成哈希码过程的损失，因为和/>可以保持跨模态相似性，使用特征指导哈希学习，这样学习得到的图像哈希码/>和文本哈希码也可以保持跨模态相似性。
目标函数第三部分，是用来平衡哈希码中1，-1的数量，这样可以最大化每一位提供的信息。
在哈希模型训练后，利用哈希模型，生成待检索样本和数据库中各样本的哈希码，将待检索样本的哈希码分别与数据库中各样本哈希码计算汉明距离，汉明距离描述为相同位置上不同字符的个数，定义如下：
（9）
其中，分别表示两个待计算的哈希码，^代表异或运算，/>(/>)代表/>对应的二进制数中1的个数；进一步地，对汉明距离进行排序，将排名靠前的样本作为检索结果返回。
综上所述，本实施例将哈希技术应用于生物数据的存储和检索中，为生物数据的存储和检索提供了一种高效的方案，解决了生物数据中标记样本数量不足和图像特征之间不容易区分的问题。
实施例二
在一个或多个实施例中，公开了基于多源生物数据的哈希检索系统，如图2所示，包括生成模块和检索模块：
生成模块，被配置为：利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
检索模块，被配置为：基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的基于多源生物数据的哈希检索方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的基于多源生物数据的哈希检索方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多源生物数据的哈希检索方法，其特征在于，包括：
利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
2.如权利要求1所述的基于多源生物数据的哈希检索方法，其特征在于，所述哈希模型，包括向量表示模块、特征提取模块、自适应融合模块和哈希码学习模块；
所述向量表示模块，对图像样本和文本样本进行数值化的向量表示，得到图像向量和文本向量；
所述特征提取模块，基于图像向量和文本向量，提取图像特征和文本特征；
所述自适应融合模块，利用自适应融合系数，对文本特征、图像特征进行动态融合，增强图像特征，得到鉴别性更强的图像特征；
所述哈希码学习模块，将文本特征和增强后的图像特征进行二值化得到相应的哈希码。
3.如权利要求2所述的基于多源生物数据的哈希检索方法，其特征在于，所述文本向量的获取方式为：通过获取文本样本中表征miRNA表达水平的值，得到数值化的向量表示；
所述图像向量的获取方式为：对图片样本进行区域划分，分区域进行初级特征的提取和融合，得到图像的数值化向量表示。
4.如权利要求3所述的基于多源生物数据的哈希检索方法，其特征在于，在分区域进行初级特征的提取和融合前，依据分块是否可用，进行分块的过滤，具体为：
将分块转换为灰度图像，并对灰度图像进行二值化，然后计算其表面未覆盖背景的比例，根据比例与指定阈值的比较，判断分块是否可用。
5.如权利要求2所述的基于多源生物数据的哈希检索方法，其特征在于，所述自适应融合系数，具体公式为：
其中，表示自适应融合系数，/>表示文本特征，/>表示文本样本，/>是特征提取模块的文本网络参数，/> 表示文本/> 经过自适应融合模块的输出值，表示自适应融合模块的网络参数。
6.如权利要求1所述的基于多源生物数据的哈希检索方法，其特征在于，所述用文本特征自适应增强图像特征，具体公式为：
其中，分别表示图像文本和文本样本，/>、/>分别表示图像特征和文本特征，/>是特征提取模块的图像网络参数和文本网络参数，/>表示自适应融合系数。
7.如权利要求1所述的基于多源生物数据的哈希检索方法，其特征在于，所述哈希模型在训练过程中，将特征提取、自适应融合、哈希码学习三个模块联合优化，优化的目标函数由三部分组成：
保持跨模态相似性的负对数似然函数；
特征量化成哈希码过程的损失；
平衡哈希码中1/-1数量的损失。
8.基于多源生物数据的哈希检索系统，其特征在于，包括生成模块和检索模块：
生成模块，被配置为：利用训练好的哈希模型，分别生成待检索样本的哈希码和数据库中各样本的哈希码，所述样本为多源生物数据，包括图像和文本；
检索模块，被配置为：基于哈希码间的汉明距离，得到检索结果；
其中，所述哈希模型在训练过程中，以不同模态样本间的跨模态相似性作为监督信息，学习文本特征和图像特征间的自适应融合系数，利用自适应融合系数，用文本特征自适应增强图像特征，基于增强后的特征，生成哈希码。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202311082477.4A 2023-08-28 2023-08-28 基于多源生物数据的哈希检索方法、系统、设备和介质 Active CN116825210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311082477.4A CN116825210B (zh) 2023-08-28 2023-08-28 基于多源生物数据的哈希检索方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311082477.4A CN116825210B (zh) 2023-08-28 2023-08-28 基于多源生物数据的哈希检索方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN116825210A true CN116825210A (zh) 2023-09-29
CN116825210B CN116825210B (zh) 2023-11-17

Family

ID=88120596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311082477.4A Active CN116825210B (zh) 2023-08-28 2023-08-28 基于多源生物数据的哈希检索方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN116825210B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731884A (zh) * 2015-03-11 2015-06-24 北京航空航天大学 一种基于多特征融合的多哈希表的查询方法
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
CN112100413A (zh) * 2020-09-07 2020-12-18 济南浪潮高新科技投资发展有限公司 一种跨模态的哈希检索方法
CN113537384A (zh) * 2021-07-30 2021-10-22 中国海洋大学 基于通道注意力的哈希遥感图像检索方法、装置及介质
CN113868366A (zh) * 2021-12-06 2021-12-31 山东大学 一种面向流数据的在线跨模态检索方法与系统
CN113971209A (zh) * 2021-12-22 2022-01-25 松立控股集团股份有限公司 一种基于注意力机制增强的无监督跨模态检索方法
WO2022068195A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN114817581A (zh) * 2022-05-18 2022-07-29 重庆邮电大学 基于融合注意力机制和DenseNet网络的跨模态哈希检索方法
CN115544306A (zh) * 2022-03-25 2022-12-30 郑州轻工业大学 一种基于特征融合哈希算法的多模态检索方法
CN115982403A (zh) * 2023-01-12 2023-04-18 之江实验室 一种多模态哈希检索方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731884A (zh) * 2015-03-11 2015-06-24 北京航空航天大学 一种基于多特征融合的多哈希表的查询方法
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
CN112100413A (zh) * 2020-09-07 2020-12-18 济南浪潮高新科技投资发展有限公司 一种跨模态的哈希检索方法
WO2022068195A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113537384A (zh) * 2021-07-30 2021-10-22 中国海洋大学 基于通道注意力的哈希遥感图像检索方法、装置及介质
CN113868366A (zh) * 2021-12-06 2021-12-31 山东大学 一种面向流数据的在线跨模态检索方法与系统
CN113971209A (zh) * 2021-12-22 2022-01-25 松立控股集团股份有限公司 一种基于注意力机制增强的无监督跨模态检索方法
CN115544306A (zh) * 2022-03-25 2022-12-30 郑州轻工业大学 一种基于特征融合哈希算法的多模态检索方法
CN114817581A (zh) * 2022-05-18 2022-07-29 重庆邮电大学 基于融合注意力机制和DenseNet网络的跨模态哈希检索方法
CN115982403A (zh) * 2023-01-12 2023-04-18 之江实验室 一种多模态哈希检索方法及装置

Also Published As

Publication number Publication date
CN116825210B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110222140B (zh) 一种基于对抗学习和非对称哈希的跨模态检索方法
WO2022068195A1 (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN112733866B (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN111198964B (zh) 图像检索方法及系统
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN108959522B (zh) 基于半监督对抗生成网络的迁移检索方法
CN113076465A (zh) 一种基于深度哈希的通用跨模态检索模型
CN113593661B (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN111460824A (zh) 一种基于对抗迁移学习的无标注命名实体识别方法
CN114943017B (zh) 一种基于相似性零样本哈希的跨模态检索方法
CN111860193B (zh) 一种基于文本的行人检索自监督视觉表示学习系统及方法
CN113806582B (zh) 图像检索方法、装置、电子设备和存储介质
CN116932722A (zh) 一种基于跨模态数据融合的医学视觉问答方法及系统
CN114022687B (zh) 一种基于增强学习的图像描述对抗生成方法
CN113032601A (zh) 一种基于判别性提升的零样本草图检索方法
CN115827954A (zh) 动态加权的跨模态融合网络检索方法、系统、电子设备
CN112116950A (zh) 基于深度度量学习的蛋白质折叠识别方法
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
CN117493674A (zh) 基于标签增强的监督多模态哈希检索方法及系统
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及系统
CN114756678A (zh) 一种未知意图文本的识别方法及装置
CN116825210B (zh) 基于多源生物数据的哈希检索方法、系统、设备和介质
CN111382871A (zh) 基于数据扩充一致性的领域泛化和领域自适应学习方法
CN116386148A (zh) 基于知识图谱引导的小样本动作识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant