CN113434724A - 图像检索方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像检索方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113434724A
CN113434724A CN202110714932.2A CN202110714932A CN113434724A CN 113434724 A CN113434724 A CN 113434724A CN 202110714932 A CN202110714932 A CN 202110714932A CN 113434724 A CN113434724 A CN 113434724A
Authority
CN
China
Prior art keywords
image
feature code
feature
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110714932.2A
Other languages
English (en)
Inventor
黄家祥
罗飞
任大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanlicloud Medical Information Technology Beijing Co ltd
Original Assignee
Wanlicloud Medical Information Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanlicloud Medical Information Technology Beijing Co ltd filed Critical Wanlicloud Medical Information Technology Beijing Co ltd
Priority to CN202110714932.2A priority Critical patent/CN113434724A/zh
Publication of CN113434724A publication Critical patent/CN113434724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供了一种图像检索方法、装置、电子设备和计算机可读存储介质，该方法包括：根据预先构建的神经网络模型确定待检索图像的第一特征码；确定第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离；根据距离对第二特征码进行排序，并取排名靠前的预设数量的第二特征码对应的图像作为检索结果。本申请能够极大地提升了图像检索的效率并且有效地消除图像的特征描述与高层语义之间的语义鸿沟。

Description

图像检索方法、装置、电子设备和计算机可读存储介质
技术领域
本申请的实施例涉及医疗技术领域，尤其涉及一种图像检索方法、装置、电子设备和计算机可读存储介质。
背景技术
目前，基于内容的图像检索技术已应用于各行各业，其主要是利用计算机对图像进行分析，建立图像特征矢量描述并存入图像特征库，当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后在某种相似性度量准则下计算查询向量到特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。但是其特征描述与高层语义之间存在着难以填补的语义鸿沟，并且这种语义鸿沟是不可消除的。
发明内容
为了消除图像的特征描述与高层语义之间的语义鸿沟，本申请的实施例提供了一种图像检索方法、装置、电子设备和计算机可读存储介质。
在本申请的第一方面，提供了一种图像检索方法，包括：
根据预先构建的神经网络模型确定待检索图像的第一特征码；
确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，所述第二特征码通过所述预先构建的神经网络模型获取得到；
根据所述距离对所述第二特征码进行排序，并取排名靠前的预设数量的所述第二特征码对应的图像作为检索结果。
在一种可能的实现方式中，所述根据预先构建的神经网络模型确定待检索图像的第一特征码，包括：
将待检索图像输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出特征，所述输出特征具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述输出特征进行空间维度上的求和，得到所述第一特征码。
在一种可能的实现方式中，所述确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，包括：
根据下式计算所述第一特征码和所述第二特征码之间的距离：
Figure BDA0003134507440000021
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
在一种可能的实现方式中，所述数据集的构建方法包括：
将多副图像分别输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出的对应每副图像的输出特征，每个所述输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述对应每副图像的输出特征分别进行空间维度上的求和，得到对应每副图像的所述第二特征码；
根据多个所述第二特征码构建所述数据集。
在本申请的第二方面，提供了一种图像检索装置，包括：
特征获取模块，用于根据预先构建的神经网络模型确定待检索图像的第一特征码；
距离确定模块，用于确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，所述第二特征码通过所述预先构建的神经网络模型获取得到；
结果确定模块，用于根据所述距离对所述第二特征码进行排序，并取排名靠前的预设数量的所述第二特征码对应的图像作为检索结果。
在一种可能的实现方式中，所述第一获取模块具体用于：
将待检索图像输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出特征，所述输出特征具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述输出特征进行空间维度上的求和，得到所述第一特征码。
在一种可能的实现方式中，所述距离确定模块具体用于：
根据下式计算所述第一特征码和所述第二特征码之间的距离：
Figure BDA0003134507440000031
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
在一种可能的实现方式中，还包括数据构建模块，所述数据构建模块用于：
将多副图像分别输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出的对应每副图像的输出特征，每个所述输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述对应每副图像的输出特征分别进行空间维度上的求和，得到对应每副图像的所述第二特征码；
根据多个所述第二特征码构建所述数据集。
在本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现上述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法。
在本申请的实施例提供的图像检索方法、装置、电子设备和计算机可读存储介质中，首先根据预先构建的神经网络模型确定待检索图像的第一特征码，然后确定第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，最后根据距离对第二特征码进行排序，并取排名靠前的预设数量的第二特征码对应的图像作为检索结果，从而极大地提升了图像检索的效率并且有效地消除图像的特征描述与高层语义之间的语义鸿沟。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。
图1示出了本申请的实施例提供的方法所涉及的系统架构图。
图2示出了本申请的实施例提供的图像检索方法的流程图。
图3示出了本申请的实施例提供的图像检索装置的方框图。
图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
首先对本申请实施例所涉及的系统架构进行介绍。需要说明的是，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
图1示出了本申请的实施例提供的方法所涉及的系统架构图。参见图1，该系统架构包括客户端101和服务器102。其中，客户端101中配置有医院信息系统，能够对医院及其所属各部门的人流、物流、财流进行综合管理，还能够对医疗活动各阶段产生的数据进行采集、存储、处理、提取、传输、汇总，加工形成各种信息，为医院的整体运行提供全面的自动化管理及各种服。服务器102中配置有数据集，该数据集中包括但不限于多种医学影像及对应该医学影响的特征码。客户端101和服务器102通过有线或无线方式连接以进行通信。需要说明的是，服务器102可以为实体物理机，也可以为架构在云端的虚拟机。
在本申请实施例中，客户端101用于采集病人的待检索医学影像或者接收由外部设备输入的待检索医学影像，并将待检索医学影像传输至服务器102，在服务器102中检索与该待检索医学影像相似的医学影像以辅助医生针对该待检索医学影像进行诊断。可选的，待检索医学影像可以是图像。服务器102对接收到的待检索医学影像进行分析得到对应该待检索医学影像的特征码，并计算该对应该待检索医学影像的特征码与配置在服务器102中的数据集中医学影像的特征码之间的距离，按照距离由小到大的排列，取排名靠前的特征码对应的医学影像进行输出，作为检索结果。
图2示出了本申请的实施例提供的图像检索方法的流程图，该方法应用于服务器。参见图2，该方法包括如下步骤：
步骤201，根据预先构建的神经网络模型确定待检索图像的第一特征码。
在本申请实施例中，由前述对本申请实施例涉及的系统架构的介绍可知，服务器接收客户端发送的待检索图像，根据接收到的待检索图像确定对应该待检索图像的第一特征码。
需要说明的是，客户端发送的待检索图像，例如可以由客户端本身进行采集，例如还可以由外部设备进行采集然后传输至客户端。可选地，客户端可以为计算机设备、CT扫描成像设备或超声诊断设备等。由此可知，当客户端为计算机设备时，其向服务器发送的待检索图像由外部设备提供，当客户端为CT扫描设备或超声诊断设备时，其向服务器发送的待检索图像由其本身采集得到。
在本申请实施例中，服务器中配置有预先构建的神经网络模型，通过将待检索图像输入至预先构建的神经网络模型中，能够得到预先构建的神经网络模型中最后一个卷积层的输出特征f，在本申请实施例中，预先构建的神经网络模型中最后一个卷积层的输出特征f具有三个维度，图像通道数C、图像宽度W以及图像高度H，即f(C×W×H)。然后对该输出特征进行空间维度上的求和，得到对应待检索图像的第一特征码。可选的，第一特征码为128位的编码。
可选的，为了使得在对第一特征码进行协方差矩阵和奇异值求解时的计算更加高效，可以对第一特征码进行PCA降维去相关性和白化操作，从而使得对第一特征码进行协方差矩阵和奇异值求解时的计算更加高效，且不会出现数据过拟合现象。
在本申请实施例中，神经网络模型可以选用卷积神经网络模型(CNN)，在预先构建神经网络模型时，可以采用随机方法训练CNN模型梯度下降(SGD)，在训练过程中，开始学习比率可以为0.05，然后将其降低以最终确定CNN模型。
步骤202，确定第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，第二特征码通过预先构建的神经网络模型获取得到。
需要说明的是，第二特征码的获取方式和第一特征码的获取方式相同，此处不再赘述。第二特征码也为128位的编码。
在本申请实施例中，服务器中存储有大量的病例图像，将大量的病例图像输入预先构建的神经网络模型中，能够得到每副病例图像对应的第二特征码，以这些第二特征码和病例图像为基础来构建数据集。那么，数据集中至少可以包括病例图像和对应病例图像的第二特征码。
具体数据集的构建方法为：将多副病例图像分别输入预先构建的神经网络模型，得到预先构建的神经网络模型中最后一个卷积层的输出的对应每副病例图像的输出特征，每个输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度，对对应每副病例图像的输出特征分别进行空间维度上的求和，得到对应每副病例图像的第二特征码，根据多个第二特征码构建数据集。
服务器在确定了待检索图像对应的第一特征码之后，可以通过遍历的方式，来计算该待检索图像对应的第一特征码和每副病例图像对应的第二特征码之间的距离。
具体的，可以通过计算第一特征码和第二特征码相同位数上的值之间的距离。示例地，采用如下的公式来计算第一特征码和第二特征码之间的距离：
Figure BDA0003134507440000081
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
步骤203，根据距离对第二特征码进行排序，并取排名靠前的预设数量的第二特征码对应的图像作为检索结果。
在本申请实施例中，服务器在确定了待检索图像对应的第一特征码和每副病例图像对应的第二特征码之间的距离之后，按照距离数值的大小对相应的第二特征码进行排序，取排名靠前的预设数量的第二特征码对应的病例图像作为检索结果。或者服务器按照距离数值的大小对相应的病例图像进行排序，去排名靠前的预设数量的病例图像作为检索结果。可选的，预设数量例如可以为10。
可选的，服务器在确定出检索结果后，可以将结果结果传输至客户端，以供医生结合检索结果来对病人进行诊断。
根据本申请的实施例，服务器首先接收由客户端传输的待检索图像并根据预先构建的神经网络模型确定待检索图像的第一特征码，然后确定第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，最后根据距离对第二特征码进行排序，并取排名靠前的预设数量的第二特征码对应的图像作为检索结果，从而极大地提升了图像检索的效率并且有效地消除图像的特征描述与高层语义之间的语义鸿沟。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图3示出了本申请的实施例提供的图像检索装置的方框图。该图像检索装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为图1所示的服务器。参见图3，该装置包括特征获取模块301、距离确定模块302和结果确定模块303。
特征获取模块301，用于根据预先构建的神经网络模型确定待检索图像的第一特征码。
距离确定模块302，用于确定第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，第二特征码通过预先构建的神经网络模型获取得到。
结果确定模块303，用于根据距离对第二特征码进行排序，并取排名靠前的预设数量的第二特征码对应的图像作为检索结果。
可选的，特征获取模块301包括：
特征获取单元，将待检索图像输入预先构建的神经网络模型，得到预先构建的神经网络模型中最后一个卷积层的输出特征，输出特征具有图像通道数维度、图像宽度维度以及图像高度维度。
特征获取单元，对输出特征进行空间维度上的求和，得到第一特征码。
可选的，距离确定模块302具体用于：
根据下式计算第一特征码和第二特征码之间的距离：
Figure BDA0003134507440000101
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
可选的，该装置还包括：
数据构建模块，将多副图像分别输入预先构建的神经网络模型，得到预先构建的神经网络模型中最后一个卷积层的输出的对应每副图像的输出特征，每个输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度；对对应每副图像的输出特征分别进行空间维度上的求和，得到对应每副图像的所述第二特征码；根据多个第二特征码构建数据集。
需要说明的是，上述实施例提供的图像检索装置在检索图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像检索装置与图像检索方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
如图4所示，终端设备或服务器包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本申请的实施例，上文参考流程图图2描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征获取模块、距离确定模块和结果确定模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，特征获取模块还可以被描述为“用于根据预先构建的神经网络模型确定待检索图像的第一特征码的模块”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的图像检索方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像检索方法，其特征在于，包括：
根据预先构建的神经网络模型确定待检索图像的第一特征码；
确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，所述第二特征码通过所述预先构建的神经网络模型获取得到；
根据所述距离对所述第二特征码进行排序，并取排名靠前的预设数量的所述第二特征码对应的图像作为检索结果。
2.根据权利要求1所述的方法，其特征在于，所述根据预先构建的神经网络模型确定待检索图像的第一特征码，包括：
将待检索图像输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出特征，所述输出特征具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述输出特征进行空间维度上的求和，得到所述第一特征码。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，包括：
根据下式计算所述第一特征码和所述第二特征码之间的距离：
Figure FDA0003134507430000011
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
4.根据权利要求1所述的方法，其特征在于，所述数据集的构建方法包括：
将多副图像分别输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出的对应每副图像的输出特征，每个所述输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述对应每副图像的输出特征分别进行空间维度上的求和，得到对应每副图像的所述第二特征码；
根据多个所述第二特征码构建所述数据集。
5.一种图像检索装置，其特征在于，包括：
特征获取模块，用于根据预先构建的神经网络模型确定待检索图像的第一特征码；
距离确定模块，用于确定所述第一特征码和预先构建的数据集中每幅图像的第二特征码之间的距离，所述第二特征码通过所述预先构建的神经网络模型获取得到；
结果确定模块，用于根据所述距离对所述第二特征码进行排序，并取排名靠前的预设数量的所述第二特征码对应的图像作为检索结果。
6.根据权利要求5所述的装置，其特征在于，所述第一获取模块具体用于：
将待检索图像输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出特征，所述输出特征具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述输出特征进行空间维度上的求和，得到所述第一特征码。
7.根据权利要求5所述的装置，其特征在于，所述距离确定模块具体用于：
根据下式计算所述第一特征码和所述第二特征码之间的距离：
Figure FDA0003134507430000031
其中，L为第一特征码和第二特征码之间的距离，i为第一特征码或第二特征码的位数，n为第一特征码或第二特征码的总位数，x为第一特征码和第二特征码相同位数上的数值之间的差值。
8.根据权利要求5所述的装置，其特征在于，还包括数据构建模块，所述数据构建模块用于：
将多副图像分别输入所述预先构建的神经网络模型，得到所述预先构建的神经网络模型中最后一个卷积层的输出的对应每副图像的输出特征，每个所述输出特征均具有图像通道数维度、图像宽度维度以及图像高度维度；
对所述对应每副图像的输出特征分别进行空间维度上的求和，得到对应每副图像的所述第二特征码；
根据多个所述第二特征码构建所述数据集。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN202110714932.2A 2021-06-25 2021-06-25 图像检索方法、装置、电子设备和计算机可读存储介质 Pending CN113434724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110714932.2A CN113434724A (zh) 2021-06-25 2021-06-25 图像检索方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110714932.2A CN113434724A (zh) 2021-06-25 2021-06-25 图像检索方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113434724A true CN113434724A (zh) 2021-09-24

Family

ID=77754759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110714932.2A Pending CN113434724A (zh) 2021-06-25 2021-06-25 图像检索方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113434724A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019917A (zh) * 2018-08-29 2019-07-16 北京旷视科技有限公司 商品检索方法、装置及电子设备
WO2021057046A1 (en) * 2019-09-24 2021-04-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image hash for fast photo search
CN112801265A (zh) * 2020-11-30 2021-05-14 华为技术有限公司 一种机器学习方法以及装置
CN112906941A (zh) * 2021-01-21 2021-06-04 哈尔滨工程大学 面向动态相关空气质量时间序列的预测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019917A (zh) * 2018-08-29 2019-07-16 北京旷视科技有限公司 商品检索方法、装置及电子设备
WO2021057046A1 (en) * 2019-09-24 2021-04-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image hash for fast photo search
CN112801265A (zh) * 2020-11-30 2021-05-14 华为技术有限公司 一种机器学习方法以及装置
CN112906941A (zh) * 2021-01-21 2021-06-04 哈尔滨工程大学 面向动态相关空气质量时间序列的预测方法及系统

Similar Documents

Publication Publication Date Title
US11416747B2 (en) Three-dimensional (3D) convolution with 3D batch normalization
CN108280477B (zh) 用于聚类图像的方法和装置
US11288279B2 (en) Cognitive computer assisted attribute acquisition through iterative disclosure
CN107729935B (zh) 相似图片的识别方法和装置、服务器、存储介质
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
US20220076052A1 (en) Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium
Khadidos et al. [Retracted] Evaluation of the Risk of Recurrence in Patients with Local Advanced Rectal Tumours by Different Radiomic Analysis Approaches
CN111985197A (zh) 一种基于医疗信息的模板生成方法
CN111899865A (zh) 医疗信息的推荐方法、装置、介质及电子设备
CN115034315A (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
US11042772B2 (en) Methods of generating an encoded representation of an image and systems of operating thereof
CN113705698A (zh) 基于点击行为预测的信息推送方法及装置
CN111640517A (zh) 病历编码方法、装置、存储介质及电子设备
CN115588492A (zh) 一种基于人工智能的导诊方法及系统
CN113434724A (zh) 图像检索方法、装置、电子设备和计算机可读存储介质
CN114708952A (zh) 一种图像标注方法、装置、存储介质和电子设备
EP4239644A1 (en) Cross-modality data matching
US20240145068A1 (en) Medical image analysis platform and associated methods
CN112749718A (zh) 多模态特征选择与图像数据分类方法、装置及计算机设备
Pranavi et al. Lung Disease Detection using Deep Learning
CN117934837A (zh) 医学图像分割方法、系统和装置
Vempaty et al. Apply Agglomerative Algorithm and Vgg16 on Brain Tumor Segmentation (Dataset to be Used Brats)
WO2023165942A1 (en) Cross-modality data matching
CN113705948A (zh) 数据看板生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924

RJ01 Rejection of invention patent application after publication