CN115410717A - 模型训练方法、数据检索方法、影像数据检索方法和装置 - Google Patents

模型训练方法、数据检索方法、影像数据检索方法和装置 Download PDF

Info

Publication number
CN115410717A
CN115410717A CN202211122932.4A CN202211122932A CN115410717A CN 115410717 A CN115410717 A CN 115410717A CN 202211122932 A CN202211122932 A CN 202211122932A CN 115410717 A CN115410717 A CN 115410717A
Authority
CN
China
Prior art keywords
hash code
disease
image sample
hash
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211122932.4A
Other languages
English (en)
Inventor
李超
付奎
安山
王虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Tuoxian Technology Co Ltd
Original Assignee
Beijing Jingdong Tuoxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Tuoxian Technology Co Ltd filed Critical Beijing Jingdong Tuoxian Technology Co Ltd
Priority to CN202211122932.4A priority Critical patent/CN115410717A/zh
Publication of CN115410717A publication Critical patent/CN115410717A/zh
Priority to PCT/CN2023/113590 priority patent/WO2024055805A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Abstract

本申请提出了一种模型训练方法、数据检索方法、影像数据检索方法和装置，其中，该方法包括：通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码；根据正常影像样本和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本和疾病诊断文本的哈希码之间的距离，确定跨模态对比损失值；根据正常影像样本和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本和第二疾病影像样本的哈希码之间的距离，确定同模态对比损失值；根据跨模态对比损失值和同模态对比损失值对哈希码提取模型进行训练。由此，无需人工标注样本，降低哈希码提取模型的训练成本。

Description

模型训练方法、数据检索方法、影像数据检索方法和装置
技术领域
本申请涉及人工智能和医疗健康技术领域，尤其涉及一种模型训练方法、数据检索方法、影像数据检索方法和装置。
背景技术
哈希码在多模态检索应用中有非常有效，例如，在医学领域中，可通过文本信息在数据库中查找符合文字描述的医学影像数据，或者，可通过医学影像数据在数据库中查询对应的疾病诊断文本等。
在对多模态检索应用中，通常采用预先训练好的哈希码提取模型对待检索数据(例如图片或者文本)进行处理，以得到待检索数据对应的哈希码。如何使得哈希码提取模型可以准确确定出待检索数据对应的哈希码对于多模态检索是十分重要的。相关技术中，通常采用样本数据对哈希码提取模型进行训练，例如，在医学领域中，可通过专业医师对影像数据以及对应的疾病诊断文本进行精细标注，并基于标注后的样本数据对哈希码提取模型进行训练。然而，采用人工的方式对样本数据进行标记，导致哈希码提取模型的训练成本较高，进而造成检索数据的过程繁琐复杂，成本过高。
发明内容
本申请提出一种模型训练方法、数据检索方法、影像数据检索方法和装置。
本申请一方面实施例提出一种哈希码提取模型的训练方法，所述方法包括：获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与所述第一疾病影像样本对应的疾病诊断文本，其中，所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本所对应的疾病名称是相同的；通过哈希码提取模型分别确定所述正常影像样本、所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本各自的哈希码；根据所述正常影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离，确定所述哈希码提取模型的跨模态对比损失值；根据所述正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之间的距离，确定所述哈希码提取模型的同模态对比损失值；根据所述跨模态对比损失值和所述同模态对比损失值，对所述哈希码提取模型进行训练。
本申请实施例的基于哈希码提取模型的模型方法，在获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本后，通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码；根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值；根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值；根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。由此，无需对样本数据进行人工标注，通过对正常影像样本、疾病影像样本以及疾病诊断文本进行对比学习，即可实现对哈希码提取模型的训练，降低了哈希码提取模型的训练成本。
本申请另一方面实施例提出一种基于哈希码提取模型的哈希检索方法，所述方法包括：获取所述目标部位的待检索数据，其中，所述待检索数据的模态为影像模态或者文本模态；将所述待检索数据输入到哈希码提取模型，以得到所述待检索数据对应的目标哈希码，其中，所述哈希码提取模型是通过本申请实施例中的哈希码提取模型的训练方法训练得到的；从不同于所述待检索数据的模态的数据库中，获取与所述目标哈希码匹配的检索结果。
本申请实施例的基于哈希码提取模型的哈希检索方法，通过预先训练好的哈希码提取模型来确定目标部位的待检索数据的目标哈希码，并从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。由此，实现了不同模态数据之间可进行相互检索的同时，有效提高检索效率。
本申请另一方面实施例提出一种影像检索方法，包括：获取目标部位的疾病影像数据；将所述疾病影像数据输入到哈希码提取模型，以得到所述疾病影像数据对应的目标哈希码，其中，所述哈希码提取模型是通过本申请实施例中的哈希码提取模型的训练方法训练得到的；从所述目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。本申请实施例的影像检索方法，在获取目标部位的疾病影像数据，通过预先训练的哈希码提取模型即可确定出疾病影像数据所对应的目标哈希码，并从目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。由此，基于疾病影像数据的哈希码，即可快速检索出与该哈希码匹配的疾病诊断文本，提高了获取疾病诊断文本的效率。
本申请另一方面实施例提出一种哈希码提取模型的训练装置，所述装置包括：第一获取模块，用于获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与所述第一疾病影像样本对应的疾病诊断文本，其中，所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本所对应的疾病名称是相同的；第一确定模块，用于通过哈希码提取模型分别确定所述正常影像样本、所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本各自的哈希码；第二确定模块，用于根据所述正常影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离，确定所述哈希码提取模型的跨模态对比损失值；第三确定模块，用于根据所述正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之间的距离，确定所述哈希码提取模型的同模态对比损失值；训练模块，用于根据所述跨模态对比损失值和所述同模态对比损失值，对所述哈希码提取模型进行训练。
本申请实施例的哈希码提取模型的训练装置，在获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本后，通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码；根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值；根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值；根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。由此，无需对样本数据进行人工标注，通过对正常影像样本、疾病影像样本以及疾病诊断文本进行对比学习，即可实现对哈希码提取模型的训练，降低了哈希码提取模型的训练成本。
本申请另一方面实施例提出一种基于哈希码提取模型的哈希检索装置，所述装置包括：第一获取模块，用于获取所述目标部位的待检索数据，其中，所述待检索数据的模态为影像模态或者文本模态；哈希码确定模块，用于将所述待检索数据输入到哈希码提取模型，以得到所述待检索数据对应的目标哈希码，其中，所述哈希码提取模型是本申请实施例所公开的哈希码提取模型的训练方法训练得到的；第二获取模块，用于从不同于所述待检索数据的模态的数据库中，获取与所述目标哈希码匹配的检索结果。
本申请实施例的基于哈希码提取模型的哈希检索装置，通过预先训练好的哈希码提取模型来确定目标部位的待检索数据的目标哈希码，并从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。由此，实现了不同模态数据之间可进行相互检索的同时，有效提高检索效率。
本申请另一方面实施例提出了一种影像检索装置，包括：第一获取模块，用于获取目标部位的疾病影像数据；哈希码确定模块，用于将所述疾病影像数据输入到哈希码提取模型，以得到所述疾病影像数据对应的目标哈希码，其中，所述哈希码提取模型是本申请实施例所公开的哈希码提取模型的训练方法训练得到的；第二获取模块，用于从所述目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。本申请实施例的影像检索装置，在获取目标部位的疾病影像数据，通过预先训练的哈希码提取模型即可确定出疾病影像数据所对应的目标哈希码，并从目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。由此，基于疾病影像数据的哈希码，即可快速检索出与该哈希码匹配的疾病诊断文本，提高了获取疾病诊断文本的效率。
本申请另一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例的基于哈希码提取模型的训练方法、或者，基于哈希码提取模型的哈希检索方法，或者，影像检索方法。
本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例的基于哈希码提取模型的训练方法、或者，基于哈希码提取模型的哈希检索方法，或者，影像检索方法。
本申请另一方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例的基于哈希码提取模型的训练方法、或者，基于哈希码提取模型的哈希检索方法，或者，影像检索方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一个实施例的基于哈希码提取模型的训练方法的流程示意图；
图2是根据本申请另一个实施例的基于哈希码提取模型的训练方法的流程示意图；
图3是本申请一个实施例的哈希码提取模型的网络结构的示例图；
图4是根据本申请另一个实施例的基于哈希码提取模型的训练方法的流程示意图；
图5是根据本申请一个实施例的基于哈希码提取模型的哈希检索方法的流程示意图；
图6是根据本申请另一个实施例的基于哈希码提取模型的哈希检索方法的流程示意图；
图7是根据本申请一个实施例的影像检索方法的流程示意图；
图8是根据本申请一个实施例的哈希码提取模型的训练装置的结构示意图；
图9是根据本申请一个实施例的基于哈希码提取模型的哈希检索装置的结构示意图；
图10是根据本申请另一个实施例的影像检索装置的结构示意图；
图11是根据本申请一个实施例的电子设备的框图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本申请实施例的哈希码提取模型的训练方法、哈希码检索方法、装置、电子设备和存储介质。
图1是根据本申请一个实施例的哈希码提取模型的训练方法的流程示意图。其中，需要说明的是，本实施例提供的哈希码提取模型的训练方法由哈希码提取模型的训练装置执行，本实施例中的哈希码提取模型的训练装置可以由软件和/或者硬件的方式实现，该哈希码提取模型的训练装置可以为电子设备，或者可以配置在电子设备中。
其中，本示例实施例中的电子设备可以包括终端设备、服务器等，其中，终端设备可以为PC(Personal Computer，个人计算机)、移动设备、平板电脑等，该实施例对此不做具体限定。
如图1所示，该哈希码提取模型的训练方法可以包括：
步骤101，获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本，其中，第一疾病影像样本、第二疾病影像样本和疾病诊断文本所对应的疾病名称是相同的。
其中，本实施例中的目标部位可以为人体或者动物中的任意一个部位。其中，本示例实施例中以目标部位为人体中的一个部位为例进行描述，例如，目标部位可以为人体的胸部。
其中，本示例中的疾病名称可以任意一种疾病所对应的名称。例如，疾病名称可以为肺炎。
其中，需要说明的是，第一疾病影像样本和第二疾病影像样本可以是同一种疾病名称所对应的两个不同的疾病影像样本，例如，第一疾病影像样本和第二疾病影像样本可以为患肺炎的两个病例各自对应的胸部影像。
其中，需要说明的是，本示例实施例对各种数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
步骤102，通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码。
在一些示例中，可分别将正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本输入到哈希码提取模型中，以通过哈希码提取模型来对分别正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本进行处理，以得到正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自对应的哈希码。
其中，需要说明的是，此时的哈希码提取模型是指还未经过训练的初始的哈希码提取模型。
步骤103，根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值。
在一些示例中，在确定出正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，可将所确定出的两个距离输入至哈希码提取模型的跨模态对比损失函数中，以通过跨模态对比损损失函数，确定哈希码提取模型的跨模态对比损失值。
在另一些示例中，在确定出正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，可对确定出的两个距离通过加权求和的方式，以得到哈希码提取模型的跨模态对比损失值。
其中，需要说明的是，本示例中的距离可以为汉明距离，汉明距离越小表示两者之间的哈希码越接近，反之则表示两者之间的哈希码差异越大。
步骤104，根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值。
在一些示例中，在确定出正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离后，可将所确定出的两个距离输入到哈希码提取模型的同模态对比损失函数中，以通过同模态对比损失函数确定出哈希码提取模型的同模态对比损失值。
在另一些示例中，在确定出正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离后，可将所确定出的两个距离，可对确定出的两个距离进行加权求和，以得到哈希码提取模型的同模态对比损失值。
步骤105，根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。
在一些示例性的实施方式中，可根据跨模态对比损失值和同模态对比损失值，确定出哈希码提取模型的总损失值，并根据总损失值对哈希码提取模型的模型参数进行调整，并对调整后的哈希码提取模型继续训练，直至总损失值满足预设条件。
在一些示例性的实施方式中，可对跨模态对比损失值和同模态对比损失值进行加权求和，以得到哈希码提取模型的总损失值。
其中，预设条件即为模型训练结束的条件。预设条件可以根据实际需求进行相应的配置。例如，总损失值满足预设条件可以是总损失值小于预设值，也可以是总损失值的变化趋近于平稳，即相邻两次或多次训练对应的总损失值的差值小于设定值，也就是总损失值基本不再变化。
本申请实施例的哈希码提取模型的训练方法，在获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本后，通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码；根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值；根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值；根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。由此，无需对样本数据进行人工标注，通过对正常影像样本、疾病影像样本以及疾病诊断文本进行对比学习，即可实现对哈希码提取模型的训练，降低了哈希码提取模型的训练成本。
基于上述实施例的基础上，在本示例中的哈希码提取模型包括影像深度网络、文本深度网络、与影像深度网络连接的第一哈希层和与文本深度网络连接的第二哈希层的情况下，为了可以清楚理解通过哈希码提取模型如何分别正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码，本实施例还提出了一种哈希码提取模型的训练方法，下面结合图2对该过程进行示例性描述。
图2是根据本申请另一个实施例的哈希码提取模型的训练方法的流程示意图。
如图2所示，该哈希码提取模型的训练方法，可以包括：
步骤201，获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本，其中，第一疾病影像样本、第二疾病影像样本和疾病诊断文本所对应的疾病名称是相同的。
其中，需要说明的是，关于步骤201的具体实现方式，可参见上述实施例的相关描述，此处不再赘述。
步骤202，通过影像深度网络确定第一疾病影像样本的第二图像特征，并通过文本深度网络确定疾病诊断文本的文本特征。
其中，本示例实施例中的影像深度网络可以为残差网络深度网络，例如，影像深度网络可以为残差网络Resnet50。可以理解的是，在实际应用中，本实施例中的影像深度网络还可以其他能够对影像数据进行特征提取的其他类型的深度网络，该实施例对此不作具体限定。
在一些示例性的实施方式中，为了准确确定出疾病诊断文本的文本特征，本示例中的文本深度网络可以为预先训练好的语言表示模型，例如，语言表示模型可以为双向变换器的编码器(Bidirectional Encoder Representations from Transformers)BERT模型。又例如，语言表示模型可以为知识增强的语义表示模型(Enhanced Representationthrough Knowledge Integration，ERNIE)。可以理解的是，在实际应用中，本实施例中的文本深度网络还可以其他能够对疾病诊断文本进行特征提取的其他类型的深度网络，该实施例对此不作具体限定。
在本申请的一个实施例中，为了使得影像深度网络可以专注于第一疾病影像样本的病灶区域的特征提取，本示例实施例中的哈希码提取模型还可以包括自注意力层，自注意力层设置在影像深度网络和文本深度网络之间，通过影像深度网络确定第一疾病影像样本的第二图像特征，并通过文本深度网络确定疾病诊断文本的文本特征的一种可能实现方式为：通过文本深度网络确定疾病诊断文本的文本特征；将文本特征输入到自注意力层中，以得到疾病诊断文本的注意力特征；将注意力特征输入到影像深度网络中，以使得影像深度网络基于注意力特征对第一疾病影像样本进行病灶特征提取，得到第一疾病影像样本的第二图像特征。
例如，哈希码提取模型的网络结构的示例图，如图3所示，目标部位为人体的胸部，疾病名称为肺炎，第一疾病影像样本为肺炎胸部影像样本，疾病诊断文本为肺炎诊断描述文本。对应地，可将肺炎胸部影像样本输入到图3中的影像深度网络，并将肺炎诊断描述文本图3中的BERT网络中，以得到肺炎诊断描述文本的语义表示向量，并将语义表示向量输入到自注意力层，并将自注意力层输出的注意力特征输入到影像深度网络中前几个卷积层中(其中，需要说明的是，图3中未示意出影像深度网络中的多个卷积层)(例如影像深度网络中可以包括依次连接的五个卷积层，可将注意特征输入到影像深度网络中的前三个卷积层中)，并最后一个卷积层输出的图像特征输入到第一哈希层中，以通过第一哈希层得到肺炎胸部影像样本的哈希码。对应地，语义表示向量还被输入到第二哈希层中，以通过第二哈希层得到肺炎诊断描述文本的哈希码。其中，图3中用第一哈希码表示肺炎胸部影像样本的哈希码，用第二哈希码表示肺炎诊断描述文本的哈希码。
步骤203，将第二图像特征输入到第一哈希层中以得到第一疾病影像样本的哈希码，并将文本特征输入到第二哈希层中以得到疾病诊断文本的哈希码。
在一些示例中，在将第二图像特征输入到第一哈希层中，对应地，第一哈希层基于第一图像特征进行哈希计算，以得到第一疾病影像样本的哈希码。
在一些示例中，将文本特征输入到第二哈希层中，对应地，第二哈希层基于文本特征进行哈希计算，以得到疾病诊断文本的哈希码。
其中，需要说明的是，为了方便后续可实现两种模态的数据之间可通过哈希码进行相互检索，提高检索效率，本示例实施例中的第一哈希层和第二哈希层进行哈希计算时所使用的哈希码编码空间可以是相同的。也就是说，本实施例中的第一哈希层和第二哈希层可以将影像和文本影像到同一个哈希码编码空间中。
步骤204，根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值。
步骤205，根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值。
步骤206，根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。
其中，需要说明的是，关于步骤204至步骤206的具体实现方式，可参见上述实施例中的相关描述，此处不再赘述。
在本示例实施例中，通过哈希码提取模型中的影像深度网络对正常影像样本以及对应的第二疾病影像样本进行处理，并通过与影像深度网络连接的第一哈希层基于影像深度网络的输出准确确定出了正常影像样本以及第二疾病影像样本各自对应的哈希码，并通过哈希码提取模型中的影像深度网络和文本深度网络对第一疾病影像样本和疾病诊断文本分别进行特征提取，并通过第一哈希层对图像特征进行哈希计算，并通过第二哈希层对文本特征进行哈希计算准确确定出了第一疾病影像样本和疾病诊断文本各自对应的哈希码，由此，方便后续可基于所确定出的哈希码，准确确定出哈希码提取模型的模态对比损失值和同模态对比损失值，继而可对哈希码提取模型进行准确训练，有利于哈希码提取模型的训练。
为了可以清楚理解本申请，下面结合图4对该实施例的基于哈希码提取模型的训练方法进行示例性描述，其中，需说明的是，本示例中以目标部位为人体的胸部，疾病名称为肺炎为例进行描述。
如图4所示，可以包括：
步骤401，获取胸部的正常影像样本、第一肺炎影像样本A、第二肺炎影像样本B以及与第一肺炎影像样本A对应的肺炎诊断文本A。
步骤402，通过哈希码提取模型分别确定出正常影像样本、第一肺炎影像样本A、第二肺炎影像样本B以及与第一肺炎影像样本A对应的肺炎诊断文本A各自对应的哈希码。
其中，需要说明的是，关于通过哈希码提取模型分别确定出正常影像样本、第一肺炎影像样本A、第二肺炎影像样本B以及与第一肺炎影像样本A对应的肺炎诊断文本A各自对应的哈希码的具体实现方式，可参见本申请实施例中的相关描述，此处不再赘述。
步骤403，根据正常影像样本的哈希码nV和疾病诊断文本A的哈希码FA T之间的距离以及第一疾病影像样本A的哈希码FA V和疾病诊断文本A的哈希码FA T之间的距离，确定哈希码提取模型的跨模态对比损失值。
步骤404，根据正常影像样本的哈希码nV和第一疾病影像样本的哈希码FA V之间的距离以及第一疾病影像样本的哈希码FA V和第二疾病影像样本的哈希码FB V之间的距离，确定哈希码提取模型的同模态对比损失值。
步骤405，根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。
也就是说，本示例中基于双阶段对比学习方式对哈希码提取模型进行训练，其中，双阶段学习对比方式主要是包括由影像数据之间的对比学习和跨影像-诊断文本之间的对比学习方法。通过设计双层次的对比学习损失进行训练，包括：同模态对比损失值和跨模态对比损失值。对于同模态的影像数据：设计模态内对比损失，拉近相同病灶特征之间的距离，相反拉远正常影像与肺炎影像之间的距离。由此，使网络学习提取肺炎病灶相关特征和病灶无关特征。对于跨影像和诊断文档数据：设计模态间的对比学习损失，拉近病灶诊断文档与病灶影像数据特征之间的距离，从而促进病灶表征提取能力。
在本申请的一个实施例中，为了解决符号函数sign导致深度网络梯度无法反传进行优化的问题，在对哈希提取模型进行训练的过程中，可将第一哈希层以及第二哈希层的输出通过tanh激活函数以得到对应文本样本或者影像样本的最终的哈希码，并基于最终的哈希码来确定哈希码提取模型的同模态对比损失值和跨模态对比损失值，并基于同模态对比损失值和跨模态对比损失值，对哈希码提取模型的模型参数进行调整，以实现对哈希码提取模型的训练。
在本示例中，在对哈希码提取模型进行训练的过程中，采用胸部的正常影像样本、第一肺炎影像样本A、第二肺炎影像样本B以及与第一肺炎影像样本A对应的肺炎诊断文本A进行对比学习的方式对哈希码提取模型进行训练，从而降低模型训练过程中人工标注样本数据的成本，降低了模型的训练成本。
图5是根据本申请一个实施例的基于哈希码提取模型的哈希检索方法的流程示意图。
其中，需要说明的是，本实施例提供的基于哈希码提取模型的哈希检索方法由基于哈希码提取模型的哈希检索装置执行，本实施例中的基于哈希码提取模型的哈希检索装置可以由软件和/或者硬件的方式实现，该基于哈希码提取模型的哈希检索装置可以为电子设备，或者可以配置在电子设备中。
其中，本示例实施例中的电子设备可以包括终端设备、服务器等，其中，终端设备可以为PC(Personal Computer，个人计算机)、移动设备、平板电脑等，该实施例对此不做具体限定。
如图5所示，该基于哈希码提取模型的哈希检索方法可以包括：
步骤501，获取目标部位的待检索数据，其中，待检索数据的模态为影像模态或者文本模态。
其中，本实施例中的目标部位可以为人体或者动物中的任意一个部位。其中，本示例实施例中以目标部位为人体中的一个部位为例进行描述，例如，目标部位可以为人体的胸部。
其中，可以理解的是，在待检索数据的模态为影像模态的情况下，说明待检索数据为待检索影像数据。对应地，在待检索数据的模态为文本模态的情况下，说明待检索数据为待检索文本数据。
步骤502，将待检索数据输入到哈希码提取模型，以得到待检索数据对应的目标哈希码。
其中，需要说明的是，本示例实施例中所使用的哈希码提取模型是通本申请所公开的训练方法训练得到的。
其中，需要说明的是，关于训练哈希码提取模型的过程，可参见本申请所公开的相关描述，此处不再赘述。
步骤503，从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。
作为一种示例，在待检索数据的模态为影像模态的情况下，不同于待检索数据的模态的数据库为文本模态所对应的数据库，其中，该数据库中所保存的数据为目标部位的已有疾病诊断文本的哈希码。对应地，可从该数据库中获取与目标哈希码匹配的检索结果。
作为另一种示例，在待检索数据的模态为文本模态的情况下，不同于待检索数据的模态的数据库为影像模态所对应的数据库，其中，该数据库中所保存的数据为目标部位的已有疾病影像的哈希码。对应地，可从该数据库中获取与目标哈希码匹配的检索结果。
例如，在目标部位为胸部，在待检索数据的模态为影像模态，即，待检索数据为待检索肺炎影像，对应的，可通过预先训练好的哈希码提取模型来确定出待检索肺炎影像的目标哈希码，然后，从用于保存文本模态的数据库中，基于目标哈希码进行检索，以得到与目标哈希码匹配的目标肺炎诊断文本。
又例如，在目标部位为胸部，在待检索数据的模态为文本模态，即，待检索数据为待检索肺炎诊断文本，对应的，可通过预先训练好的哈希码提取模型来确定出待检索肺炎诊断文本的目标哈希码，然后，从用于保存影像模态的数据库中，基于目标哈希码进行检索，以得到与目标哈希码匹配的目标肺炎影像数据。由此，实现了诊断文本与影像数据之间可通过哈希码进行相互检索，提高检索效率。
本申请实施例提供的基于哈希码提取模型的哈希检索方法，通过预先训练好的哈希码提取模型来确定目标部位的待检索数据的目标哈希码，并从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。由此，实现了不同模态数据之间可进行相互检索的同时，有效提高检索效率。
图6是根据本申请另一个实施例的基于哈希码提取模型的哈希检索方法的流程示意图。
其中，需要说明的是，本实施例提供的基于哈希码提取模型的哈希检索方法是对前述实施例的进一步细化。
如图6所示，该基于哈希码提取模型的哈希检索方法可以包括：
步骤601，获取目标部位的待检索数据，其中，待检索数据的模态为影像模态或者文本模态。
步骤602，将待检索数据输入到哈希码提取模型，以得到待检索数据对应的目标哈希码。
其中，需要说明的是，本示例实施例中所使用的哈希码提取模型是通本申请所公开的训练方法训练得到的。
其中，需要说明的是，关于训练哈希码提取模型的过程，可参见本申请所公开的相关描述，此处不再赘述。
步骤603，确定目标哈希码与数据库中各个数据的哈希码之间的距离。
在一些示例中，可计算目标哈希码与数据库中各个数据的哈希码之间的汉明距离。
步骤604，根据距离，从各个数据中获取与目标哈希码匹配的检索结果。
在本申请的一个实施例中，在不同应用场景中，根据距离，从各个数据中获取与目标哈希码匹配的检索结果的实现方式不同，示例性方式如下：
作为一种示例，根据距离，从各个数据中选择出距离最短的目标数据作为检索结果。
作为另一种示例，根据距离，从各个数据中选择出距离小于预设距离阈值的目标数据作为检索结果。
作为一种示例，按照距离从低到高的顺序对各个数据进行排序，并从排序结果中选择出排序在前N位的数据作为检索结果，其中，N为大于或者等于1的整数。
其中，本示例实施例中的距离可以为汉明距离。
在本申请的一个实施例中，为了可以准确确定出各个数据的哈希码，本示例中的数据库中各个数据的哈希码可以通过下述方式得到：针对各个数据，将数据输入到哈希码提取模型中，以通过哈希码提取模型得到数据的哈希码。
图7是根据本申请一个实施例的影像检索方法的流程示意图。其中，需要说明的是，本实施例提供的影像检索方法由影像检索装置执行，本实施例中的影像检索装置可以由软件和/或者硬件的方式实现，该影像检索装置可以为电子设备，或者可以配置在电子设备中。
其中，本示例实施例中的电子设备可以包括终端设备、服务器等，其中，终端设备可以为PC(Personal Computer，个人计算机)、移动设备、平板电脑等，该实施例对此不做具体限定。
如图7所示，该影像检索方法可以包括：
步骤701，获取目标部位的疾病影像数据。
其中，本实施例中的目标部位可以为人体或者动物中的任意一个部位。其中，本示例实施例中以目标部位为人体中的一个部位为例进行描述，例如，目标部位可以为人体的胸部。
步骤702，将疾病影像数据输入到哈希码提取模型，以得到疾病影像数据对应的目标哈希码。
其中，需要说明的是，本示例实施例中所使用的哈希码提取模型是通本申请所公开的训练方法训练得到的。
其中，需要说明的是，关于训练哈希码提取模型的过程，可参见本申请所公开的相关描述，此处不再赘述。
步骤703，从目标部位对应的疾病诊断文本库中获取与目标哈希码对应的目标诊断文本。
其中，本示例中的疾病诊断文本库中保存已有疾病诊断文本与其对应的哈希码。
作为一种示例性的实施方式中，本示例中疾病诊断文本库中各个已有疾病诊断文本所对应的哈希码的示例性获取方式可以为：针对各个已有疾病诊断文本，可将该已有疾病诊断文本输入到哈希码提取模型，以通过哈希码提取模型确定出该已有疾病诊断文本所对应的哈希码。
在本申请的一个实施例中，从目标部位对应的疾病诊断文本库中获取与目标哈希码对应的目标诊断文本的一种可能实现方式为：确定出目标哈希码与疾病诊断文本库中各个已有疾病诊断文本的哈希码之间的距离；根据距离，从各个已有疾病诊断文本中获取与目标哈希码匹配的疾病诊断文本。
在本申请的一个实施例中，在不同应用场景中，根据距离，从各个已有疾病诊断文本中获取与目标哈希码匹配的疾病诊断文本的实现方式不同，示例性方式如下：
作为一种示例，根据距离，从各个已有疾病诊断文本中选择出距离最短的目标已有疾病诊断文本作为与目标哈希码匹配的疾病诊断文本。
作为另一种示例，根据距离，从各个已有疾病诊断文本中选择出距离小于预设距离阈值的目标已有疾病诊断文本作为与目标哈希码匹配的疾病诊断文本。
作为一种示例，按照距离从低到高的顺序对各个已有疾病诊断文本进行排序，并从排序结果中选择出排序在前N位的已有疾病诊断文本作为与目标哈希码匹配的疾病诊断文本，其中，N为大于或者等于1的整数。
其中，本示例实施例中的距离可以为汉明距离。
本申请实施例的影像检索方法，在获取目标部位的疾病影像数据，通过预先训练的哈希码提取模型即可确定出疾病影像数据所对应的目标哈希码，并从目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。由此，基于疾病影像数据的哈希码，即可快速检索出与该哈希码匹配的疾病诊断文本，提高了获取疾病诊断文本的效率。
与上述几种实施例提供的哈希码提取模型的训练方法相对应，本申请的一种实施例还提供一种哈希码提取模型的训练装置，由于本申请实施例提供的哈希码提取模型的训练装置与上述几种实施例提供的哈希码提取模型的训练方法相对应，因此在哈希码提取模型的训练方法的实施方式也适用于本实施例的哈希码提取模型的训练装置，在本实施例中不再详细描述。
图8是根据本申请一个实施例的哈希码提取模型的训练装置的结构示意图。
如图8所示，该哈希码提取模型的训练装置800包括：第一获取模块801、第一确定模块802、第二确定模块803、第三确定模块804和训练模块805。其中：
第一获取模块801，用于获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本，其中，第一疾病影像样本、第二疾病影像样本和疾病诊断文本所对应的疾病名称是相同的。
第一确定模块802，用于通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码。
第二确定模块803，用于根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值。
第三确定模块804，用于根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值。
训练模块805，用于根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。
在本申请的一个实施例中，哈希码提取模型包括影像深度网络、文本深度网络、与影像深度网络连接的第一哈希层和与文本深度网络连接的第二哈希层，第一确定模块802，包括：
第一确定单元，用于通过影像深度网络分别确定正常影像样本和第二疾病影像样本各自对应的第一图像特征，并将第一图像特征输入到第一哈希层中，以得到正常影像样本和第二疾病影像样本各自对应的哈希码；
第二确定单元，用于通过影像深度网络确定第一疾病影像样本的第二图像特征，并通过文本深度网络确定疾病诊断文本的文本特征；
第三确定单元，用于将第二图像特征输入到第一哈希层中以得到第一疾病影像样本的哈希码，并将文本特征输入到第二哈希层中以得到疾病诊断文本的哈希码。
在本申请的一个实施例中，哈希码提取模型还包括自注意力层，自注意力层设置在影像深度网络和文本深度网络之间，第二确定单元，具体用于：通过文本深度网络确定疾病诊断文本的文本特征；将文本特征输入到自注意力层中，以得到疾病诊断文本的注意力特征；将注意力特征输入到影像深度网络中，以使得影像深度网络基于注意力特征对第一疾病影像样本进行病灶特征提取，得到第一疾病影像样本的第二图像特征。
本申请实施例的基于哈希码提取模型的训练装置，在获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与第一疾病影像样本对应的疾病诊断文本后，通过哈希码提取模型分别确定正常影像样本、第一疾病影像样本、第二疾病影像样本和疾病诊断文本各自的哈希码；根据正常影像样本的哈希码和疾病诊断文本的哈希码之间的距离以及第一疾病影像样本的哈希码和疾病诊断文本的哈希码之间的距离，确定哈希码提取模型的跨模态对比损失值；根据正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及第一疾病影像样本的哈希码和第二疾病影像样本的哈希码之间的距离，确定哈希码提取模型的同模态对比损失值；根据跨模态对比损失值和同模态对比损失值，对哈希码提取模型进行训练。由此，无需对样本数据进行人工标注，通过对正常影像样本、疾病影像样本以及疾病诊断文本进行对比学习，即可实现对哈希码提取模型的训练，降低了哈希码提取模型的训练成本。
与上述几种实施例提供的哈希码提取模型的哈希码检索方法相对应，本申请的一种实施例还提供一种哈希码提取模型的哈希码检索装置，由于本申请实施例提供的哈希码提取模型的哈希码检索装置与上述几种实施例提供的哈希码提取模型的哈希码检索方法相对应，因此在哈希码提取模型的哈希码检索方法的实施方式也适用于本实施例的哈希码提取模型的哈希码检索装置，在本实施例中不再详细描述。
图9是根据本申请一个实施例的基于哈希码提取模型的哈希检索装置的结构示意图。
如图9所示，该基于哈希码提取模型的哈希检索装置900包括：第一获取模块901、哈希码确定模块902、第二获取模块903。其中：
第一获取模块901，用于获取目标部位的待检索数据，其中，待检索数据的模态为影像模态或者文本模态。
哈希码确定模块902，用于将待检索数据输入到哈希码提取模型，以得到待检索数据对应的目标哈希码。
其中，本实施例中的哈希码提取模型是通过本申请实施例所提出的哈希码提取模型的训练方法训练得到的。
第二获取模块903，用于从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。
在本申请的一个实施例中，第二获取模块903，包括：
确定单元，用于确定目标哈希码与数据库中各个数据的哈希码之间的距离；
获取单元，用于根据距离，从各个数据中获取与目标哈希码匹配的检索结果。
在本申请的一个实施例中获取单元，具体用于：
根据距离，从各个数据中选择出距离最短的目标数据作为检索结果；或者，
按照距离从低到高的顺序对各个数据进行排序，并从排序结果中选择出排序在前N位的数据作为检索结果，其中，N为大于或者等于1的整数。
在本申请的一个实施例中数据库中各个数据的哈希码是通过下述方式得到的：针对各个数据，将数据输入到哈希码提取模型中，以通过哈希码提取模型得到数据的哈希码。
本申请实施例的基于哈希码提取模型的哈希检索装置，通过预先训练好的哈希码提取模型来确定目标部位的待检索数据的目标哈希码，并从不同于待检索数据的模态的数据库中，获取与目标哈希码匹配的检索结果。由此，实现了不同模态数据之间可进行相互检索的同时，有效提高检索效率。
图10是根据本申请一个实施例的影像检索装置的结构示意图。
如图10所示，该影像检索装置1000包括：
第一获取模块1001，用于获取目标部位的疾病影像数据。
哈希码确定模块1002，用于将疾病影像数据输入到哈希码提取模型，以得到疾病影像数据对应的目标哈希码.
其中，哈希码提取模型是本申请实施例所提供的哈希码提取模型的训练方法训练得到的。
其中，需要说明的是，关于哈希码提取模型的训练方法的具体描述，可参见本申请实施例的相关描述，此处不再赘述。
第二获取模块1003，用于从目标部位对应的疾病诊断文本库中获取与目标哈希码对应的目标诊断文本。
其中，需要说明的是，前述对影像检索方法实施例的解释说明也适用于该影像检索装置，此处不再赘述。
本申请实施例的影像检索装置，在获取目标部位的疾病影像数据，通过预先训练的哈希码提取模型即可确定出疾病影像数据所对应的目标哈希码，并从目标部位对应的疾病诊断文本库中获取与目标哈希码对应的目标诊断文本。由此，基于疾病影像数据的哈希码，即可快速检索出与该哈希码匹配的疾病诊断文本，提高了获取疾病诊断文本的效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图11是根据本申请一个实施例的电子设备的结构框图。
如图11所示，该电子设备1100包括：存储器1110、处理器1120及存储在存储器1110上并可在处理器1120上运行的计算机指令。
处理器1120执行指令时实现上述实施例中提供的基于哈希码提取模型的哈希检索方法，或者基于哈希码提取模型的训练方法，或者，影像检索方法。
进一步地，电子设备1100还包括：
通信接口1130，用于存储器1110和处理器1120之间的通信。
存储器1110，用于存放可在处理器1120上运行的计算机指令。
存储器1110可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1120，用于执行程序时实现上述实施例的基于哈希码提取模型的哈希检索方法，或者基于哈希码提取模型的训练方法，或者，影像检索方法。
如果存储器1110、处理器1120和通信接口1130独立实现，则通信接口1130、存储器1110和处理器1120可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1110、处理器1120及通信接口1130，集成在一块芯片上实现，则存储器1110、处理器1120及通信接口1130可以通过内部接口完成相互间的通信。
处理器1120可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例任一的基于哈希码提取模型的哈希检索方法，或者基于哈希码提取模型的训练方法，或者，影像检索方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种哈希码提取模型的训练方法，其特征在于，所述方法包括：
获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与所述第一疾病影像样本对应的疾病诊断文本，其中，所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本所对应的疾病名称是相同的；
通过哈希码提取模型分别确定所述正常影像样本、所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本各自的哈希码；
根据所述正常影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离，确定所述哈希码提取模型的跨模态对比损失值；
根据所述正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之间的距离，确定所述哈希码提取模型的同模态对比损失值；
根据所述跨模态对比损失值和所述同模态对比损失值，对所述哈希码提取模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述哈希码提取模型包括影像深度网络、文本深度网络、与所述影像深度网络连接的第一哈希层和与所述文本深度网络连接的第二哈希层，所述通过哈希码提取模型分别确定所述正常影像样本、所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本各自的哈希码，包括：
通过所述影像深度网络分别确定所述正常影像样本和所述第二疾病影像样本各自对应的第一图像特征，并将所述第一图像特征输入到所述第一哈希层中，以得到所述正常影像样本和所述第二疾病影像样本各自对应的哈希码；
通过所述影像深度网络确定所述第一疾病影像样本的第二图像特征，并通过所述文本深度网络确定所述疾病诊断文本的文本特征；
将所述第二图像特征输入到所述第一哈希层中以得到第一疾病影像样本的哈希码，并将所述文本特征输入到所述第二哈希层中以得到所述疾病诊断文本的哈希码。
3.如权利要求2所述的方法，其特征在于，所述哈希码提取模型还包括自注意力层，所述自注意力层设置在所述影像深度网络和所述文本深度网络之间，所述通过所述影像深度网络确定所述第一疾病影像样本的第二图像特征，并通过所述文本深度网络确定所述疾病诊断文本的文本特征，包括：
通过所述文本深度网络确定所述疾病诊断文本的文本特征；
将所述文本特征输入到所述自注意力层中，以得到所述疾病诊断文本的注意力特征；
将所述注意力特征输入到所述影像深度网络中，以使得所述影像深度网络基于所述注意力特征对所述第一疾病影像样本进行病灶特征提取，得到所述第一疾病影像样本的第二图像特征。
4.一种基于哈希码提取模型的哈希检索方法，其特征在于，所述方法包括：
获取所述目标部位的待检索数据，其中，所述待检索数据的模态为影像模态或者文本模态；
将所述待检索数据输入到哈希码提取模型，以得到所述待检索数据对应的目标哈希码，其中，所述哈希码提取模型是通过权利要求1-3任一项所述的方法训练得到的；
从不同于所述待检索数据的模态的数据库中，获取与所述目标哈希码匹配的检索结果。
5.如权利要求4所述的方法，其特征在于，所述从不同于所述待检索数据的模态的数据库中，获取与所述目标哈希码匹配的检索结果，包括：
确定所述目标哈希码与所述数据库中各个数据的哈希码之间的距离；
根据所述距离，从各个所述数据中获取与所述目标哈希码匹配的检索结果。
6.如权利要求5所述的方法，其特征在于，所述根据所述距离，从各个所述数据中获取与所述目标哈希码匹配的检索结果，包括：
根据所述距离，从各个所述数据中选择出距离最短的目标数据作为所述检索结果；或者，
按照距离从低到高的顺序对各个所述数据进行排序，并从排序结果中选择出排序在前N位的数据作为所述检索结果，其中，N为大于或者等于1的整数。
7.如权利要求4-6中任一项所述的方法，其特征在于，所述数据库中各个数据的哈希码是通过下述方式得到的：
针对各个数据，将所述数据输入到所述哈希码提取模型中，以通过所述哈希码提取模型得到所述数据的哈希码。
8.一种影像检索方法，其特征在于，所述方法包括：
获取目标部位的疾病影像数据；
将所述疾病影像数据输入到哈希码提取模型，以得到所述疾病影像数据对应的目标哈希码，其中，所述哈希码提取模型是通过权利要求1-3任一项所述的方法训练得到的；
从所述目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。
9.一种哈希码提取模型的训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标部位的正常影像样本、第一疾病影像样本、第二疾病影像样本以及与所述第一疾病影像样本对应的疾病诊断文本，其中，所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本所对应的疾病名称是相同的；
第一确定模块，用于通过哈希码提取模型分别确定所述正常影像样本、所述第一疾病影像样本、所述第二疾病影像样本和所述疾病诊断文本各自的哈希码；
第二确定模块，用于根据所述正常影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离，确定所述哈希码提取模型的跨模态对比损失值；
第三确定模块，用于根据所述正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及所述第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之间的距离，确定所述哈希码提取模型的同模态对比损失值；
训练模块，用于根据所述跨模态对比损失值和所述同模态对比损失值，对所述哈希码提取模型进行训练。
10.如权利要求9所述的装置，其特征在于，所述哈希码提取模型包括影像深度网络、文本深度网络、与所述影像深度网络连接的第一哈希层和与所述文本深度网络连接的第二哈希层，所述第一确定模块，包括：
第一确定单元，用于通过所述影像深度网络分别确定所述正常影像样本和所述第二疾病影像样本各自对应的第一图像特征，并将所述第一图像特征输入到所述第一哈希层中，以得到所述正常影像样本和所述第二疾病影像样本各自对应的哈希码；
第二确定单元，用于通过所述影像深度网络确定所述第一疾病影像样本的第二图像特征，并通过所述文本深度网络确定所述疾病诊断文本的文本特征；
第三确定单元，用于将所述第二图像特征输入到所述第一哈希层中以得到第一疾病影像样本的哈希码，并将所述文本特征输入到所述第二哈希层中以得到所述疾病诊断文本的哈希码。
11.如权利要求10所述的装置，其特征在于，所述哈希码提取模型还包括自注意力层，所述自注意力层设置在所述影像深度网络和所述文本深度网络之间，所述第二确定单元，具体用于：
通过所述文本深度网络确定所述疾病诊断文本的文本特征；
将所述文本特征输入到所述自注意力层中，以得到所述疾病诊断文本的注意力特征；
将所述注意力特征输入到所述影像深度网络中，以使得所述影像深度网络基于所述注意力特征对所述第一疾病影像样本进行病灶特征提取，得到所述第一疾病影像样本的第二图像特征。
12.一种基于哈希码提取模型的哈希检索装置，其特征在于，所述装置包括：
第一获取模块，用于获取所述目标部位的待检索数据，其中，所述待检索数据的模态为影像模态或者文本模态；
哈希码确定模块，用于将所述待检索数据输入到哈希码提取模型，以得到所述待检索数据对应的目标哈希码，其中，所述哈希码提取模型是通过权利要求1-3任一项所述的方法训练得到的；
第二获取模块，用于从不同于所述待检索数据的模态的数据库中，获取与所述目标哈希码匹配的检索结果。
13.如权利要求12所述的装置，其特征在于，所述第二获取模块，包括：
确定单元，用于确定所述目标哈希码与所述数据库中各个数据的哈希码之间的距离；
获取单元，用于根据所述距离，从各个所述数据中获取与所述目标哈希码匹配的检索结果。
14.如权利要求13所述的装置，其特征在于，所述获取单元，具体用于：
根据所述距离，从各个所述数据中选择出距离最短的目标数据作为所述检索结果；或者，
按照距离从低到高的顺序对各个所述数据进行排序，并从排序结果中选择出排序在前N位的数据作为所述检索结果，其中，N为大于或者等于1的整数。
15.如权利要求12-14中任一项所述的装置，其特征在于，所述数据库中各个数据的哈希码是通过下述方式得到的：
针对各个数据，将所述数据输入到所述哈希码提取模型中，以通过所述哈希码提取模型得到所述数据的哈希码。
16.一种影像检索装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标部位的疾病影像数据；
哈希码确定模块，用于将所述疾病影像数据输入到哈希码提取模型，以得到所述疾病影像数据对应的目标哈希码，其中，所述哈希码提取模型是通过权利要求1-3任一项所述的方法训练得到的；
第二获取模块，用于从所述目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文本。
17.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的方法，或者，如权利要求4-7中任一所述的方法，或者，如权利要求8所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的方法，或者，如权利要求4-7中任一所述的方法，或者，如权利要求8所述的方法。
CN202211122932.4A 2022-09-15 2022-09-15 模型训练方法、数据检索方法、影像数据检索方法和装置 Pending CN115410717A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211122932.4A CN115410717A (zh) 2022-09-15 2022-09-15 模型训练方法、数据检索方法、影像数据检索方法和装置
PCT/CN2023/113590 WO2024055805A1 (zh) 2022-09-15 2023-08-17 数据检索方法、影像数据检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211122932.4A CN115410717A (zh) 2022-09-15 2022-09-15 模型训练方法、数据检索方法、影像数据检索方法和装置

Publications (1)

Publication Number Publication Date
CN115410717A true CN115410717A (zh) 2022-11-29

Family

ID=84165043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211122932.4A Pending CN115410717A (zh) 2022-09-15 2022-09-15 模型训练方法、数据检索方法、影像数据检索方法和装置

Country Status (2)

Country Link
CN (1) CN115410717A (zh)
WO (1) WO2024055805A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备
WO2024055805A1 (zh) * 2022-09-15 2024-03-21 北京京东拓先科技有限公司 数据检索方法、影像数据检索方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346440A (zh) * 2014-10-10 2015-02-11 浙江大学 一种基于神经网络的跨媒体哈希索引方法
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法
CA3011713A1 (en) * 2018-07-17 2020-01-17 Avigilon Coporation Hash-based appearance search
CN111241310A (zh) * 2020-01-10 2020-06-05 济南浪潮高新科技投资发展有限公司 一种深度跨模态哈希检索方法、设备及介质
CN111522903A (zh) * 2020-04-01 2020-08-11 济南浪潮高新科技投资发展有限公司 一种深度哈希检索方法、设备及介质
CN112800292A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于模态特定和共享特征学习的跨模态检索方法
CN112817914A (zh) * 2021-01-21 2021-05-18 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN113095415A (zh) * 2021-04-15 2021-07-09 齐鲁工业大学 一种基于多模态注意力机制的跨模态哈希方法及系统
CN113641790A (zh) * 2021-08-12 2021-11-12 中国石油大学(华东) 一种基于区分表示深度哈希的跨模态检索模型
WO2022104540A1 (zh) * 2020-11-17 2022-05-27 深圳大学 一种跨模态哈希检索方法、终端设备及存储介质
CN114722902A (zh) * 2022-03-08 2022-07-08 中山大学 基于自监督学习的无标注视频哈希检索方法及装置
WO2022161380A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种训练模型的方法、图像检索的方法以及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559810B (zh) * 2020-12-23 2022-04-08 上海大学 一种利用多层特征融合生成哈希码的方法及装置
CN113220919B (zh) * 2021-05-17 2022-04-22 河海大学 一种大坝缺陷图像文本跨模态检索方法及模型
CN114238746A (zh) * 2021-12-20 2022-03-25 河北省气象技术装备中心 跨模态检索方法、装置、设备及存储介质
CN115410717A (zh) * 2022-09-15 2022-11-29 北京京东拓先科技有限公司 模型训练方法、数据检索方法、影像数据检索方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346440A (zh) * 2014-10-10 2015-02-11 浙江大学 一种基于神经网络的跨媒体哈希索引方法
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法
CA3011713A1 (en) * 2018-07-17 2020-01-17 Avigilon Coporation Hash-based appearance search
CN111241310A (zh) * 2020-01-10 2020-06-05 济南浪潮高新科技投资发展有限公司 一种深度跨模态哈希检索方法、设备及介质
CN111522903A (zh) * 2020-04-01 2020-08-11 济南浪潮高新科技投资发展有限公司 一种深度哈希检索方法、设备及介质
WO2022104540A1 (zh) * 2020-11-17 2022-05-27 深圳大学 一种跨模态哈希检索方法、终端设备及存储介质
CN112800292A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于模态特定和共享特征学习的跨模态检索方法
CN112817914A (zh) * 2021-01-21 2021-05-18 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
WO2022161380A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种训练模型的方法、图像检索的方法以及装置
CN113095415A (zh) * 2021-04-15 2021-07-09 齐鲁工业大学 一种基于多模态注意力机制的跨模态哈希方法及系统
CN113641790A (zh) * 2021-08-12 2021-11-12 中国石油大学(华东) 一种基于区分表示深度哈希的跨模态检索模型
CN114722902A (zh) * 2022-03-08 2022-07-08 中山大学 基于自监督学习的无标注视频哈希检索方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONG-CHENG TU ET AL.: "Deep Cross-Modal Hashing With Hashing Functions and Unified Hash Codes Jointly Learning", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》, vol. 34, no. 2, pages 560 - 572 *
赵敬吉: "基于视觉特征及语义特征的图像检索方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2022, pages 138 - 869 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055805A1 (zh) * 2022-09-15 2024-03-21 北京京东拓先科技有限公司 数据检索方法、影像数据检索方法及装置
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备
CN117112829B (zh) * 2023-10-24 2024-02-02 吉林大学 医疗数据跨模态检索方法、装置和相关设备

Also Published As

Publication number Publication date
WO2024055805A1 (zh) 2024-03-21

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
CN115203380A (zh) 基于多模态数据融合的文本处理系统及其方法
CN112037912A (zh) 基于医疗知识图谱的分诊模型训练方法、装置及设备
WO2021135477A1 (zh) 基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质
WO2020143320A1 (zh) 文本词向量获取方法、装置、计算机设备及存储介质
US11755641B2 (en) Image searches based on word vectors and image vectors
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
CN112101162B (zh) 图像识别模型的生成方法、装置、存储介质和电子设备
CN109830285B (zh) 一种医学影像文件处理方法和装置
WO2019201024A1 (zh) 用于更新模型参数的方法、装置、设备和存储介质
CN110808095A (zh) 诊断结果识别、模型训练的方法、计算机设备及存储介质
CN117171331A (zh) 基于大型语言模型的专业领域信息交互方法、装置及设备
CN112528062A (zh) 一种跨模态武器检索方法及系统
CN113903433B (zh) 一种图像处理方法、装置和电子设备
WO2022217715A1 (zh) 相似患者的识别方法、装置、计算机设备和存储介质
CN114238746A (zh) 跨模态检索方法、装置、设备及存储介质
CN114297449A (zh) 内容查找方法、装置、电子设备及计算机可读介质及产品
CN112614568A (zh) 检查图像的处理方法、装置、存储介质和电子设备
CN112820412A (zh) 用户信息的处理方法、装置、存储介质和电子设备
CN110196981B (zh) 文本表示方法、装置、设备和存储介质
CN117370933B (zh) 多模态统一特征提取方法、装置、设备及介质
CN114238663B (zh) 一种材料数据用知识图谱分析方法、系统、电子设备及介质
CN113377933B (zh) 多轮对话的意图分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination