CN111985616A - 一种图像特征提取方法、图像检索方法、装置及设备 - Google Patents

一种图像特征提取方法、图像检索方法、装置及设备 Download PDF

Info

Publication number
CN111985616A
CN111985616A CN202010812361.1A CN202010812361A CN111985616A CN 111985616 A CN111985616 A CN 111985616A CN 202010812361 A CN202010812361 A CN 202010812361A CN 111985616 A CN111985616 A CN 111985616A
Authority
CN
China
Prior art keywords
image
dimensional
layer
dimensional image
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010812361.1A
Other languages
English (en)
Other versions
CN111985616B (zh
Inventor
贾弼然
顾文剑
蔡巍
张霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority to CN202010812361.1A priority Critical patent/CN111985616B/zh
Publication of CN111985616A publication Critical patent/CN111985616A/zh
Application granted granted Critical
Publication of CN111985616B publication Critical patent/CN111985616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像特征提取方法、图像检索方法、装置及设备，该图像特征提取方法包括：在获取到包括多层二维图像的待处理三维图像之后，先将待处理三维图像中的各层二维图像输入预先构建特征图提取模型进行特征图提取，得到该特征图提取模型输出的各层二维图像的特征图；再依据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征。其中，因该待处理三维图像中的所有二维图像的特征图能够全面准确地表征该待处理三维图像携带的信息，使得该待处理三维图像的图像特征能够全面准确地表征该待处理三维图像携带的信息，如此提高了待处理三维图像的图像特征的准确性和全面性，从而有利于提高三维图像的图像检索准确性。

Description

一种图像特征提取方法、图像检索方法、装置及设备
技术领域
本申请涉及自动化机器学习技术领域，具体涉及一种图像特征提取方法、图像检索方法、装置及设备。
背景技术
随着机器学习技术的发展，图像检索的应用范围逐渐扩大。所谓图像检索是指从预先建立的图像库中找到与待检索图像相似的图像。
另外，图像间相似性可以依据图像特征进行确定，其具体为：两个图像的图像特征之间的差距越小，则可以确定这两个图像越相似；两个图像的图像特征之间的差距越大，则可以确定这两个图像越不相似。其中，图像特征是指从图像中提取出来的用于表征图像携带的信息的特征。
然而，当图像检索应用于三维图像检索技术领域(如，三维医学影像检索技术领域)时，因一份三维图像(如电子计算机断层扫描影像等三维医学影像)通常包括多层二维图像(如几十层或几百层二维图像)，导致不容易获取到三维图像的图像特征，如此使得如何获取三维图像的图像特征成为一个亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供一种图像特征提取方法、图像检索方法、装置及设备，能够准确地获取到三维图像的图像特征，如此能够提高三维图像的图像检索准确性。
为解决上述问题，本申请实施例提供的技术方案如下：
一种图像特征提取方法，所述方法包括：
将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到所述特征图提取模型输出的所述各层二维图像的特征图；其中，所述特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建的；
根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征。
可选的，所述特征图提取模型的构建过程为：
获取至少一对训练图像和每对训练图像之间的实际关联关系；
将每对训练图像输入关系预测模型，得到所述关系预测模型输出的每对训练图像之间的预测关联关系；其中，所述关系预测模型包括特征图提取层和关系预测层；所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图；所述关系预测层用于根据所述特征图提取层输出的每对训练图像的特征图，预测所述每对训练图像之间的预测关联关系；
根据所述每对训练图像之间的实际关联关系和所述每对训练图像之间的预测关联关系，更新所述关系预测模型，并继续执行所述将每对训练图像输入关系预测模型，直至达到停止条件，根据所述关系预测模型中的所述特征图提取层生成特征图提取模型。
可选的，所述关系预测层包括特征值提取层、特征拼接层和关系确定层；其中，所述特征值提取层用于从所述特征图提取层输出的所述训练图像的特征图中提取所述训练图像的图像特征；所述特征拼接层用于将所述特征值提取层输出的每对训练图像的图像特征进行拼接，得到每对训练图像对应的关系参考特征；所述关系确定层用于根据所述特征拼接层输出的每对训练图像对应的关系参考特征，确定每对训练图像之间的预测关联关系。
可选的，所述特征值提取层为全局池化层，所述特征值提取层用于对所述特征图提取层输出的所述训练图像的特征图进行全局池化，得到所述训练图像的图像特征；
可选的，所述关系确定层为全连接层，所述关系确定层用于对所述特征拼接层输出的每对训练图像对应的关系参考特征进行全连接，得到每对训练图像之间的预测关联关系。
可选的，所述训练图像的获取过程，包括：
获取原始图像；
在确定所述原始图像满足掩膜条件时，利用预设掩膜对所述原始图像进行掩膜处理，得到所述训练图像。
可选的，所述预设掩膜的获取过程，包括：
从所述原始图像中随机选择一块区域作为被选区域；
根据所述被选区域生成所述预设掩膜，以使所述预设掩膜用于对所述原始图像进行掩膜处理。
可选的，所述根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征，包括：
将所述待处理三维图像中的所有二维图像的特征图进行加权求和，得到所述待处理三维图像的特征图；
从所述待处理三维图像的特征图中提取所述待处理三维图像的图像特征。
可选的，所述根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征，包括：
从所述待处理三维图像中的各层二维图像的特征图中分别提取各层二维图像的图像特征；
将所述待处理三维图像中的所有二维图像的图像特征进行加权求和，得到所述待处理三维图像的图像特征。
一种图像检索方法，所述方法包括：
获取三维的待检索图像，所述待检索图像包括至少一层二维图像；
将所述待检索图像作为待处理三维图像，并利用本申请实施例提供的图像特征提取方法的任一实施方式对所述待检索图像进行特征提取，得到所述待检索图像的图像特征；
根据所述待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度；
根据所述图像库中的各个候选三维图像的匹配度，确定所述待检索图像的检索结果。
一种图像特征提取装置，所述装置包括：
特征图输出单元，用于将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到所述特征图提取模型输出的所述各层二维图像的特征图；其中，所述特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建的；
特征值确定单元，用于根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征。
一种图像检索装置，所述装置包括：
图像获取单元，用于获取三维的待检索图像，所述待检索图像包括至少一层二维图像；
特征提取单元，用于将所述待检索图像作为待处理三维图像，并利用本申请实施例提供的图像特征提取方法的任一实施方式对所述待检索图像进行特征提取，得到所述待检索图像的图像特征；
匹配度确定单元，用于根据所述待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度；
结果确定单元，用于根据所述图像库中的各个候选三维图像的匹配度，确定所述待检索图像的检索结果。
一种图像特征提取设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如本申请实施例提供的图像特征提取方法的任一实施方式。
一种图像检索设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如本申请实施例提供的图像检索方法的任一实施方式。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如本申请实施例提供的图像特征提取方法的任一实施方式，或者执行如本申请实施例提供的图像检索方法的任一实施方式。
由此可见，本申请实施例具有如下有益效果：
本申请实施例提供的图像特征提取方法中，在获取到包括多层二维图像的待处理三维图像之后，先将待处理三维图像中的各层二维图像输入预先构建特征图提取模型进行特征图提取，得到该特征图提取模型输出的各层二维图像的特征图；再依据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征，以使该图像特征用于表征该待处理三维图像携带的信息。
其中，因特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系预先构建的，使得该特征图提取模型能够准确地从待处理三维图像中的二维图像中提取出该二维图像的特征图，使得该二维图像的特征图能够准确地表征该待处理三维图像中的二维图像携带的信息，从而使得待处理三维图像中的所有二维图像的特征图能够准确地表征出该待处理三维图像中的所有二维图像携带的信息；还因待处理三维图像中的所有二维图像携带的信息能够全面准确地描述出该待处理三维图像携带的信息，使得该待处理三维图像中的所有二维图像的特征图能够全面准确地表征该待处理三维图像携带的信息，如此有效地提高了待处理三维图像的图像特征的准确性和全面性，从而有利于提高三维图像的图像检索准确性。
附图说明
图1为本申请实施例提供的一种图像特征提取方法的流程图；
图2为本申请实施例提供的待处理三维图像的示例图；
图3为本申请实施例提供的待处理三维图像的特征图的生成过程示意图；
图4为本申请实施例提供的一种待处理三维图像的图像特征的提取过程的示意图；
图5为本申请实施例提供的待处理三维图像的图像特征的生成过程示意图；
图6为本申请实施例提供的另一种待处理三维图像的图像特征的提取过程的示意图；
图7为本申请实施例提供的一种构建特征图提取模型的流程图；
图8为本申请实施例提供的掩膜处理示意图；
图9为本申请实施例提供的关系预测模型的结构示意图；
图10为本申请实施例提供的关系预测模型中的关系预测层的结构示意图；
图11为本申请实施例提供的关系预测模型确定一对训练图像之间的预测关联关系的示意图；
图12为本申请实施例提供的一种图像检索方法的流程示意图；
图13为本申请实施例提供的一种图像特征提取装置的结构示意图；
图14为本申请实施例提供的一种图像检索装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对图像检索的研究中发现：在图像检索过程中，为了提高检索效率，可以依据数据维度较低的图像特征来确定两个图像是否相似，而且该图像特征可以利用预先构建的模型进行提取。然而，当图像检索应用于三维图像检索技术领域(如，三维医学影像检索技术领域)时，因一份三维图像(如电子计算机断层扫描影像等三维医学影像)通常包括多层二维图像(如几十层或几百层二维图像)，使得该三维图像携带的信息是由这些多层二维图像共同进行描述，从而使得用于对二维图像进行特征提取的传统特征提取方法不适用于对三维图像进行图像特征提取，如此导致利用传统特征提取方法从三维图像中提取到的图像特征无法准确全面地表征该三维图像携带的信息，从而导致三维图像的检索结果较差。
基于此，为了解决背景部分的技术问题以及上述技术问题，本申请实施例提供了一种图像特征提取方法，其具体为：在获取到包括多层二维图像的待处理三维图像之后，先将待处理三维图像中的各层二维图像输入预先构建特征图提取模型进行特征图提取，得到该特征图提取模型输出的各层二维图像的特征图；再依据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征，以使该图像特征能够全面准确地表征出该待处理三维图像携带的信息，如此能够提高待处理三维图像的图像特征的准确性和全面性，从而有利于提高三维图像的图像检索准确性。
为了便于理解本申请，下面结合附图对本申请实施例提供的图像特征提取方法进行说明。
参见图1，该图为本申请实施例提供的一种图像特征提取方法的流程图，该图像特征提取方法可以包括S101-S102：
S101：将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到特征图提取模型输出的各层二维图像的特征图。
待处理三维图像是指需要进行特征提取的三维图像。
待处理三维图像包括至少一层二维图像，以使该待处理三维图像携带的信息能够全面准确地被该至少一层二维图像携带的信息表示出来。例如，如图2所示，待处理三维图像可以包括N层二维图像，而且该N层二维图像携带的信息用于全面准确地描述该待处理三维图像携带的信息。其中，N为正整数。
另外，本申请实施例不限定待处理三维图像的类型，例如，待处理三维图像可以是任一种三维医学影像(如电子计算机断层扫描影像等)。
特征图提取模型用于对输入到该特征图提取模型中的二维图像(如，待处理三维图像中的二维图像)进行特征图提取。另外，本申请实施例不限定特征图提取模型，例如，特征图提取模型可以是神经网络模型。
另外，特征图提取模型可以预先构建，尤其可以预先根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系进行构建。另外，本申请实施例还提供了一种基于至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建特征图提取模型的具体实施方式，技术详情请参见下文S701至S705的相关内容。
基于上述内容可知，在获取到包括多层二维图像的待处理三维图像之后，可以利用特征图提取模型从待处理三维图像中的各层二维图像中分别提取各层二维图像的图像特征，使得各层二维图像的图像特征分别能够准确地表征各层二维图像携带的信息。例如，当待处理三维图像包括N层二维图像时，可以将待处理三维图像中的第i层二维图像输入到特征图提取模型中进行特征图提取，得到该特征图提取模型输出的第i层二维图像的特征图。其中，i为正整数，i≤N。
需要说明的是，本申请实施例不限定待处理三维图像中的N层二维图像输入到特征图提取模型中的执行时间，可以同时将该N层二维图像同时输入到特征图提取模型进行特征图提取，也可以将该N层二维图像按照预设输入顺序依次输入到特征图提取模型进行特征图提取。
S102：根据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征。
本申请实施例中，在获取到待处理三维图像中的各层二维图像的特征图之后，可以依据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征，以使待处理三维图像的图像特征能够表征待处理三维图像携带的信息。其中，因上述各层二维图像的特征图分别能够准确地表征待处理三维图像中的各层二维图像携带的信息，使得待处理三维图像中的所有二维图像的特征图能够准确地表征出该待处理三维图像中的所有二维图像携带的信息；还因待处理三维图像中的所有二维图像携带的信息能够全面准确地描述该待处理三维图像携带的信息，使得待处理三维图像中的所有二维图像的特征图能够全面准确地表征出该待处理三维图像携带的信息，从而使得基于待处理三维图像中的所有二维图像的特征图生成的待处理三维图像的图像特征，能够全面准确地表征出该待处理三维图像携带的信息。
另外，本申请实施例还提供了生成待处理三维图像的图像特征的两种可能的实施方式，技术详情请参见下文S102A1-S102A2以及S102B1-S102B2的相关内容。
基于上述S101至S102的相关内容可知，在获取到包括多层二维图像的待处理三维图像之后，先将待处理三维图像中的各层二维图像输入预先构建特征图提取模型进行特征图提取，得到该特征图提取模型输出的各层二维图像的特征图；再依据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的图像特征，以使该图像特征用于表征该待处理三维图像携带的信息。
其中，因特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系预先构建的，使得该特征图提取模型能够准确地从待处理三维图像中的二维图像中提取出该二维图像的特征图，使得该二维图像的特征图能够准确地表征该待处理三维图像中的二维图像携带的信息，从而使得待处理三维图像中的所有二维图像的特征图能够准确地表征出该待处理三维图像中的所有二维图像携带的信息；还因待处理三维图像中的所有二维图像携带的信息能够全面准确地描述出该待处理三维图像携带的信息，使得该待处理三维图像中的所有二维图像的特征图能够全面准确地表征该待处理三维图像携带的信息，如此有效地提高了待处理三维图像的图像特征的准确性和全面性，从而有利于提高三维图像的图像检索准确性。
另外，本申请实施例还提供了生成待处理三维图像的图像特征(也就是S102)的两种可能的实施方式，下面分别进行介绍。
在第一种可能的实施方式中，S102具体可以包括S102A1-S102A2：
S102A1：将待处理三维图像中的所有二维图像的特征图进行加权求和，得到待处理三维图像的特征图。
本申请实施例中，因每个二维图像对应于多个特征图，故S102A1应该按照图3所示的方式将待处理三维图像中的所有二维图像的特征图进行加权求和，其具体为：当待处理三维图像包括N层二维图像，且各层二维图像均对应于M个特征图时，可以将第1层二维图像的第j个特征图F1j至第N层二维图像的第j个特征图FNj进行加权求和，得到待处理三维图像的第j个特征图DFj，使得DFj＝F1j×W1j+F2j×W2j+……+FNj×WNj；j为正整数，j≤M。可见，待处理三维图像的特征图的个数与各层二维图像的特征图的个数相同。
需要说明的是，S102A1中的“加权求和”所使用的权重(如W1j、W2j、WNj等)可以预先设定。例如，为了避免待处理三维图像的层数对待处理三维图像的特征图造成影响，可以将“加权求和”所使用的权重设定为
Figure BDA0002631477240000071
使得待处理三维图像的第j个特征图
Figure BDA0002631477240000072
j为正整数，j≤M。可见，待处理三维图像的特征图是待处理三维图像中的所有二维图像的特征图的算术平均值，使得基于几百层二维图像的特征图确定的待处理三维图像的特征图中的数值不会远远大于基于几十层二维图像的特征图确定的待处理三维图像的特征图中的数值，如此能够有效地避免待处理三维图像的层数对待处理三维图像的特征图造成影响。
基于上述内容可知，本申请实施例中，在获取到待处理三维图像中的各层二维图像的特征图之后，可以根据待处理三维图像中的所有二维图像的特征图，生成待处理三维图像的特征图。其中，因待处理三维图像中的所有二维图像携带的信息能够全面描述待处理三维图像携带的信息，而且待处理三维图像中的各层二维图像的特征图能够准确地表征各层二维图像携带的信息，使得待处理三维图像中的所有二维图像的特征图能够准确地表征待处理三维图像携带的信息，从而使得基于待处理三维图像中的所有二维图像的特征图生成的待处理三维图像的特征图能够准确地表征待处理三维图像携带的信息。
S102A2：从待处理三维图像的特征图中提取待处理三维图像的图像特征。
本申请实施例中，在获取到待处理三维图像的特征图之后，可以从待处理三维图像的特征图中提取待处理三维图像的图像特征，以使待处理三维图像的图像特征能够准确地代表待处理三维图像的特征图，从而使得该待处理三维图像的图像特征能够全面准确地表征待处理三维图像携带的信息；还使得待处理三维图像的图像特征的数据维度远远小于待处理三维图像的特征图的数据维度，如此有利于提高基于图像特征进行图像检索时的检索效率。
另外，本申请实施例不限定S102A2的执行方式，例如，S102A2具体可以为：对待处理三维图像的特征图进行全局池化，得到待处理三维图像的图像特征。
其中，全局池化是指将一个特征图池化为1个数值，故当获取到待处理三维图像的M个特征图之后，可以将待处理三维图像的第j个特征图全局池化为第j个特征值，以使第j个特征值代表待处理三维图像的第j个特征图；其中，j为正整数，j≤M。可见，待处理三维图像的图像特征的数据维度与待处理三维图像的特征图的个数相同，如此使得待处理三维图像的图像特征的数据维度远远小于待处理三维图像的特征图的数据维度。
需要说明的是，本申请实施例不限定全局池化，例如，全局池化可以为全局平均池化、全局最大值池化、或者全局最小值池化等。
基于上述S102A1至S102A2的相关内容可知，如图4所示，在获取到待处理三维图像中的第1层二维图像的特征图至第N层二维图像的特征图之后，可以先将第1层二维图像的特征图至第N层二维图像的特征图按照图3所示的方式进行加权求和，得到待处理三维图像的特征图，以使该待处理三维图像的特征图能够准确地表征上述第1层二维图像的特征图至第N层二维图像的特征图所表征的信息；再从该待处理三维图像的特征图中提取待处理三维图像的图像特征，以使该待处理三维图像的图像特征能够准确地代表待处理三维图像的特征图，从而使得该待处理三维图像的图像特征能够表征上述第1层二维图像的特征图至第N层二维图像的特征图所表征的信息(也就是，待处理三维图像携带的信息)。
在第二种可能的实施方式中，S102具体可以包括S102B1-S102B2：
S102B1：从待处理三维图像中的各层二维图像的特征图中分别提取各层二维图像的图像特征。
本申请实施例不限定S102B1的执行方式，例如，S102B1具体可以为：对待处理三维图像中的第i层二维图像的特征图进行全局池化，得到第i层二维图像的图像特征，以使得第i层二维图像的图像特征能够准确地代表第i层二维图像的特征图，从而使得第i层二维图像的图像特征能够准确地表征待处理三维图像中的第i层二维图像携带的信息。其中，i为正整数，i≤N。需要说明的是，“全局池化”的技术详情，请参见上文S102A2的相关内容。
S102B2：将待处理三维图像中的所有二维图像的图像特征进行加权求和，得到待处理三维图像的图像特征。
本申请实施例中，在获取到待处理三维图像中的各层二维图像的图像特征之后，可以按照图5所示的方式将待处理三维图像中的所有二维图像的图像特征进行加权求和，得到待处理三维图像的图像特征。
需要说明的是，S102B2中的“加权求和”所使用的权重(如P1j、P2j、PNj等)可以预先设定。例如，为了避免待处理三维图像的层数对待处理三维图像的图像特征造成影响，可以将“加权求和”所使用的权重设定为
Figure BDA0002631477240000091
使得待处理三维图像的图像特征中的第j个特征值
Figure BDA0002631477240000092
Figure BDA0002631477240000093
j为正整数，j≤M。可见，待处理三维图像的图像特征为待处理三维图像中的所有二维图像的图像特征的算术平均值，使得基于几百层二维图像的图像特征确定的待处理三维图像的图像特征中的特征值不会远远大于基于几十层二维图像的图像特征确定的待处理三维图像的图像特征中的特征值，如此能够有效地避免待处理三维图像的层数对待处理三维图像的图像特征造成影响。
基于上述S102B1至S102B2的相关内容可知，如图6所示，在获取到待处理三维图像中的第1层二维图像的特征图至第N层二维图像的特征图之后，可以先从第1层二维图像的特征图至第N层二维图像的特征图中，分别抽取第1层二维图像的图像特征至第N层二维图像的图像特征，以使第1层二维图像的图像特征能够准确地表征待处理三维图像中的第1层二维图像携带的信息，……，第N层二维图像的图像特征能够准确地表征待处理三维图像中的第N层二维图像携带的信息；再将第1层二维图像的图像特征至第N层二维图像的图像特征进行加权求和，得到待处理三维图像的图像特征，以使待处理三维图像的图像特征能够代表第1层二维图像的图像特征至第N层二维图像的图像特征，从而使得待处理三维图像的图像特征能够准确地表征第1层二维图像的特征图至第N层二维图像的特征图所表征的信息(也就是，待处理三维图像携带的信息)。
在一些情况下，为了能够构建出特征图提取性能良好的特征图提取模型，可以将特征图提取模型作为一个网络层(如特征图提取层)集成到关系预测模型中进行训练，以使特征图提取模型的特征图提取性能能够借助关系预测模型更新过程不断进行优化提高。基于此，本申请实施例还提供了构建特征图提取模型的一种可能的实施方式，如图7所示，其具体包括S701-S705：
S701：获取至少一对训练图像和每对训练图像之间的实际关联关系。
训练图像是指对关系预测模型进行训练时所使用的图像(也是，在构建特征图提取模型时所使用的图像)，而且本申请实施例不限定训练图像的对数，例如，训练图像的对数为T，T为正整数。
训练图像可以是二维图像，尤其可以是训练三维图像中的二维图像。其中，训练三维图像是指对关系预测模型进行训练时所涉及的三维图像。需要说明的是，在一些情况下，训练三维图像可以是图像库中的候选三维图像，而且图像库的相关内容请参见下文S1203。
另外，为了提高关系预测模型的训练效果，可以对训练关系预测模型时所使用的图像进行掩膜处理。基于此，本申请实施例还提供了获取训练图像的具体实施方式，其具体为：获取原始图像；在确定原始图像满足掩膜条件时，利用预设掩膜对原始图像进行掩膜处理，得到训练图像。
其中，掩膜条件可以预先根据应用场景设定。
在一些情况下，训练关系预测模型时所使用的所有训练数据中存在50％的训练数据经历过掩膜处理，且另外50％的训练数据未经历掩膜处理，则在获取到训练关系预测模型时所使用的所有训练数据之后，分别标注(自动标注或人工标注)每个训练数据是否需要进行掩膜处理，以便后续能够基于这些标注对训练数据进行掩膜处理。
基于此可知，掩膜条件可以预先设定为原始数据被预先标注为需要进行掩膜处理。可见，对于任一原始数据来说，若该原始数据已被预先标注为需要进行掩膜处理，则需要利用预设掩膜对原始图像进行掩膜处理，得到该原始数据对应的训练图像；若该原始数据已被预先标注为不需要进行掩膜处理，则直接将该原始数据作为训练数据。
预设掩膜是指对原始图像进行掩膜处理时所使用的掩膜，而且预设掩膜可以预先根据应用场景设定。
另外，为了增加训练数据的区分度以及关系预测模型的泛化能力，可以利用原始图像中的部分区域生成预设掩膜，以使后续能够利用该预设掩膜对该原始图像进行掩膜处理。基于此，本申请实施例还提供了一种生成预设掩膜的实施方式，其具体为：先从原始图像中随机选择一块区域作为被选区域，再根据该被选区域生成预设掩膜，以使该预设掩膜用于对原始图像进行掩膜处理。
基于此可知，在确定原始图像满足掩膜条件之后，可以先从该原始图像中随机选择一块区域作为被选区域，再依据被选区域生成预设掩膜(如，直接将被选区域确定为预设掩膜)，以使该预设掩膜中的像素信息与被选区域中的像素信息相同，从而使得该预设掩膜专用于对该原始图像的掩膜处理过程；再利用该预设掩膜对该原始图像进行掩膜处理得到训练图像(如图8所示的训练图像)，以使该训练图像更加具有区分度，如此有利于提高关系预测模型的泛化能力。
掩膜处理是指利用预设掩膜对原始图像进行随机覆盖(如图8所示)。需要说明的是，本申请实施例不限定预设掩膜在原始图像上的覆盖位置，不同原始图像可以对应于不同的覆盖位置。
每对训练图像之间的实际关联关系用于表征每对训练图像是否是同一个训练三维图像中的层数相邻的两个训练图像，其具体为：对于任一对训练图像来说，若该对训练图像中的一个训练图像是另一个训练图像的下一个图层(如，图2中的第3层二维图像是第2层二维图像的下一个图层)或者上一个图层(如，图2中的第1层二维图像是第2层二维图像的上一个图层)，则该对训练图像之间的实际关联关系为有关联；若该对训练图像中的一个训练图像不是另一个训练图像的下一个图层，也不是另一个训练图像的上一个图层，则该对训练图像之间的实际关联关系为无关联。
另外，每对训练图像之间的实际关联关系是在训练关系预测模型时所使用的标签信息，使得每对训练图像之间的实际关联关系能够用于指导关系预测模型的模型参数更新过程。
基于上述S701的相关内容可知，本申请实施例中，在对关系预测模型进行训练之前，可以获取第y对训练图像以及第y对训练图像之间的实际关联关系，以便后续能够利用第y对训练图像以及第y对训练图像之间的实际关联关系对关系预测模型进行训练更新。其中，y为正整数，y≤T。
S702：将每对训练图像输入关系预测模型，得到关系预测模型输出的每对训练图像之间的预测关联关系。
关系预测模型用于对输入到关系预测模型中的每对训练图像进行关联关系预测。另外，如图9所示，关系预测模型可以包括特征图提取层和关系预测层，而且特征图提取层的输出数据为关系预测层的输入数据。
特征图提取层用于从输入的训练图像中提取该训练图像的特征图，以使该训练图像的特征图能够表征该训练图像携带的信息；而且，本申请实施例不限定特征图提取层的结构，例如，特征图提取层可以采用神经网络结构。
关系预测层用于根据每对训练图像的特征图，预测每对训练图像之间的预测关联关系。
另外，本申请实施例还提供了关系预测层结构的一种实施方式，如图10所示，该关系预测层包括特征值提取层、特征拼接层和关系确定层；而且特征值提取层的输出数据是特征拼接层的输入数据，特征拼接层的输出数据是关系确定层的输入数据。
为了便于理解，下面分别介绍特征值提取层、特征拼接层和关系确定层。
特征值提取层用于从训练图像的特征图中提取训练图像的图像特征。另外，本申请实施例不限定特征值提取层，例如，特征值提取层可以为全局池化层，此时特征值提取层具体用于对训练图像的特征图进行全局池化，得到训练图像的图像特征。需要说明的是，“全局池化”的相关内容请参见上文S102A2。
特征拼接层用于将每对训练图像的图像特征进行拼接，得到每对训练图像对应的关系参考特征。例如，当第y对训练图像包括训练图像1和训练图像2时，如图11所示，在获取到训练图像1的图像特征和训练图像2的图像特征之后，可以直接将训练图像1的图像特征和训练图像2的图像特征拼接到一起，得到第y对训练图像对应的关系参考特征，以使第y对训练图像对应的关系参考特征能够表征训练图像1携带的信息以及训练图像2携带的信息。其中，y为正整数，y≤T。
关系确定层用于根据每对训练图像对应的关系参考特征，确定每对训练图像之间的预测关联关系。另外，本申请实施例不限定关系确定层，例如，关系确定层可以为全连接层，此时关系确定层具体用于对每对训练图像对应的关系参考特征进行全连接，得到每对训练图像之间的预测关联关系。
基于上述S702的相关内容可知，在获取到第y对训练图像之后，可以将第y对训练图像输入到关系预测模型进行关联关系预测，得到该关系预测模型输出的第y对训练图像之间的预测关联关系，以便后续能够基于第y对训练图像之间的实际关联关系判断第y对训练图像之间的预测关联关系是否正确，并基于该判断结果验证关系预测模型的预测性能。
S703：判断是否达到停止条件；若是，则执行S705；若否，则执行S704。
停止条件是指停止训练关系预测模型所需达到的条件；而且，停止条件可以根据应用场景预先设定。例如，停止条件可以包括T对训练图像之间的实际关联关系与T对训练图像之间的预测关联关系之间的差距低于预设差距阈值、T对训练图像之间的预测关联关系的变化率低于预设变化率阈值、以及关系预测模型的训练次数达到预设次数阈值中的至少一个条件。
S704：根据每对训练图像之间的实际关联关系和每对训练图像之间的预测关联关系，更新关系预测模型，并返回执行S702。
本申请实施例中，在确定当前轮的关系预测模型的训练过程依旧未达到停止条件时，可以确定关系预测模型的预测性能仍然比较低，从而可以确定关系预测模型中的特征图提取层的提取性能也比较差，故为了提高特征图提取层的提取性能，需要先依据每对训练图像之间的实际关联关系和每对训练图像之间的预测关联关系之间的差距，对关系预测模型中的模型参数进行更新(例如，采用误差反向传播算法进行更新)，使得更新后的关系预测模型的预测性能能够提高，从而使得更新后的关系预测模型中的特征图提取层的提取性能也能够提升；再利用S702及其后续步骤对更新后的关系预测模型进行预测性能验证。以此类推，在对关系预测模型进行多轮更新验证之后，即可得到预测性能较优的关系预测模型，如此能够基于该预测性能较优的关系预测模型中的特征图提取层，得到提取性能较高的特征图提取模型。
S705：根据关系预测模型中的特征图提取层生成特征图提取模型。
本申请实施例中，在确定当前轮的关系预测模型的训练过程达到停止条件时，可以确定关系预测模型的预测性能比较高，从而可以确定关系预测模型中的特征图提取层的提取性能也比较高，故可以根据关系预测模型中的特征图提取层直接生成特征图提取模型(例如，直接将关系预测模型中的特征图提取层确定为特征图提取模型)，以使该特征图提取模型能够达到较高的提取性能，从而使得该特征图提取模型能够从任一二维图像中提取出用于准确表征该二维图像携带信息的特征图。
基于上述S701至S705的相关内容可知，本申请实施例中，在获取到至少一对训练图像和每对训练图像之间的实际关联关系之后，可以先将每对训练图像输入关系预测模型，得到关系预测模型输出的每对训练图像之间的预测关联关系；再根据每对训练图像之间的实际关联关系和每对训练图像之间的预测关联关系，更新关系预测模型，并继续执行上述将每对训练图像输入关系预测模型，直至达到停止条件，根据关系预测模型中的特征图提取层生成特征图提取模型。
其中，因关系预测模型是以每对训练图像之间的实际关联关系作为标签信息进行训练更新的，使得训练好的关系预测模型能够准确地预测出任一对训练图像的关联关系，从而使得该训练好的关系预测模型中的特征图提取层能够从任一二维图像中提取出用于准确表征该二维图像携带信息的特征图，如此能够有效地提高关系预测模型中的特征图提取层的特征图提取性能；还因特征图提取模型是基于训练好的关系预测模型中的特征图提取层生成的，使得特征图提取模型能够从任一二维图像中提取出用于准确表征该二维图像携带信息的特征图，如此使得特征图提取模型具有较高的特征图提取性能。
基于上述图像特征提取方法的相关内容，本申请实施例还提供了一种图像检索方法，下面结合附图进行说明。
参见图12，该图为本申请实施例提供的一种图像检索方法的流程示意图。如图12所示，本申请实施例提供的图像检索方法包括S1201-S1204：
S1201：获取三维的待检索图像。
待检索图像是指需要进行图像检索的三维图像。其中，图像检索是指在图像库中检索与待检索图像相似的图像。
另外，本申请实施例不限定待检索图像，例如，待检索图像可以是一个三维医学影像(如电子计算机断层扫描影像)。
待检索图像包括至少一层二维图像，以使该待检索图像携带的信息能够全面准确地被该至少一层二维图像携带的信息表示出来。例如，待检索图像可以包括N层二维图像，而且该N层二维图像携带的信息用于全面准确地描述该待检索图像携带的信息。其中，N为正整数。
S1202：对待检索图像进行特征提取，得到待检索图像的图像特征。
本申请实施例中，S1202可以利用本申请实施例提供的图像特征提取方法的任一实施方式进行实施，其具体为：将待检索图像作为待处理三维图像，并利用本申请实施例提供的图像特征提取方法的任一实施方式对待检索图像进行特征提取，得到待检索图像的图像特征。
可见，本申请实施例中，在获取到需要进行图像检索的待检索图像之后，可以先将待检索图像作为上述待处理三维图像，再利用本申请实施例提供的图像特征提取方法的任一实施方式对该待检索图像进行特征提取，得到该待检索图像的图像特征，以使该待检索图像的图像特征能够全面准确地表征该待检索图像携带的信息，以便后续能够基于该待检索图像的图像特征从图像库中检索到与该待检索图像相似的图像。
S1203：根据待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度。
图像库包括大量的候选三维图像，而且在不同应用场景下图像库中所包括的候选三维图像的类型不同。例如，当应用场景为医疗技术领域时，图像库可以包括大量的三维医学影像。
候选三维图像的图像特征是预先利用上文图像特征提取方法提取到的，而且该候选三维图像的图像特征的提取过程具体为：将该候选三维图像作为待处理三维图像，并利用本申请实施例提供的图像特征提取方法的任一实施方式对该候选三维图像进行特征提取，得到该候选三维图像的图像特征。另外，本申请实施例不限定候选三维图像的图像特征的获取时间，只需在执行S1203之前获取到候选三维图像的图像特征即可。
需要说明的是，为了便于快速查找出每个候选三维图像的图像特征，可以建立一个预设映射关系，以使该预设映射关系能够记录各个候选三维图像与各个图像特征之间的一一对应关系，以便后续能够使用该预设映射关系准确地查找出每个候选三维图像的图像特征。
图像匹配度用于表征候选三维图像与待检索图像之间的相似程度，而且图像匹配度越高，则表示该候选三维图像与待检索图像之间的相似程度越高。
基于上述S1203的相关内容可知，若图像库中包括H张候选三维图像，则在获取到待检索图像的图像特征之后，可以先计算待检索图像的图像特征与第h张候选三维图像的图像特征之间的相似度，再将待检索图像的图像特征与第h张候选三维图像的图像特征之间的相似度，确定为该第h张候选三维图像对应的图像匹配度，以使该第h张候选图像对应的图像匹配度能够准确地表征出第h张候选三维图像与待检索图像之间的相似程度。其中，h为正整数，h≤H，H为图像库中的候选三维图像个数。
S1204：根据图像库中的各个候选三维图像的匹配度，确定待检索图像的检索结果。
检索结果是指从图像库中查找与待检索图像相似的图像时得到的查找结果。
另外，本申请实施例不限定检索结果，例如，在一些情况下，检索结果可以只包括与待检索图像最相似的一张或多张候选三维图像；在一些情况下，检索结果可以包括与待检索图像的相似度(也就是，图像匹配度)高于相似阈值的候选三维图像；在一些情况下，检索结果可以是按照与待检索图像的相似度大小进行排序的候选三维图像有序列表。
此外，在本申请实施例中，在获取到检索结果之后，还可以将检索结果进行展示，以使用户能够查看该检索结果。
基于上述S1201至S1204的相关内容可知，本申请实施例中，在获取到三维的待检索图像之后，可以先将待检索图像作为待处理三维图像，并利用上文图像特征提取方法对待检索图像进行特征提取，得到待检索图像的图像特征，以使待检索图像的图像特征能够全面准确地表征该待检索图像携带的信息；再根据待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度，并根据图像库中的各个候选三维图像的匹配度，确定待检索图像的检索结果。
其中，因待检索图像的图像特征以及候选三维图像的图像特征均是利用上文图像特征提取方法提取得到的，使得待检索图像的图像特征能够全面准确地表征该待检索图像携带的信息，也使得候选三维图像的图像特征能够全面准确地表征候选三维图像携带的信息，如此使得待检索图像的图像特征与候选三维图像的图像特征之间的相似度能够准确地表征待检测图像与候选三维图像之间的相似性，从而使得基于该相似度检索到的与待检索图像相似的候选三维图像更准确，如此有利于提高三维图像检索的准确性。
基于上述提供的图像特征提取方法的相关内容，本申请实施例还提供了一种图像特征提取装置，下面结合附图进行具体说明。
参见图13，该图为本申请实施例提供的一种图像特征提取装置的结构示意图，如图13所示，该图像特征提取装置包括：
特征图输出单元1301，用于将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到所述特征图提取模型输出的所述各层二维图像的特征图；其中，所述特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建的；
特征值确定单元1302，用于根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征。
在一种可能的实施方式中，所述特征图提取模型的构建过程为：
获取至少一对训练图像和每对训练图像之间的实际关联关系；
将每对训练图像输入关系预测模型，得到所述关系预测模型输出的每对训练图像之间的预测关联关系；其中，所述关系预测模型包括特征图提取层和关系预测层；所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图；所述关系预测层用于根据所述特征图提取层输出的每对训练图像的特征图，预测所述每对训练图像之间的预测关联关系；
根据所述每对训练图像之间的实际关联关系和所述每对训练图像之间的预测关联关系，更新所述关系预测模型，并继续执行所述将每对训练图像输入关系预测模型，直至达到停止条件，根据所述关系预测模型中的所述特征图提取层生成特征图提取模型。
在一种可能的实施方式中，所述关系预测层包括特征值提取层、特征拼接层和关系确定层；其中，所述特征值提取层用于从所述特征图提取层输出的所述训练图像的特征图中提取所述训练图像的图像特征；所述特征拼接层用于将所述特征值提取层输出的每对训练图像的图像特征进行拼接，得到每对训练图像对应的关系参考特征；所述关系确定层用于根据所述特征拼接层输出的每对训练图像对应的关系参考特征，确定每对训练图像之间的预测关联关系。
在一种可能的实施方式中，所述特征值提取层为全局池化层，所述特征值提取层用于对所述特征图提取层输出的所述训练图像的特征图进行全局池化，得到所述训练图像的图像特征；
和/或，
所述关系确定层为全连接层，所述关系确定层用于对所述特征拼接层输出的每对训练图像对应的关系参考特征进行全连接，得到每对训练图像之间的预测关联关系。
在一种可能的实施方式中，所述训练图像的获取过程，包括：
获取原始图像；
在确定所述原始图像满足掩膜条件时，利用预设掩膜对所述原始图像进行掩膜处理，得到所述训练图像。
在一种可能的实施方式中，所述预设掩膜的获取过程，包括：
从所述原始图像中随机选择一块区域作为被选区域；
根据所述被选区域生成所述预设掩膜，以使所述预设掩膜用于对所述原始图像进行掩膜处理。
在一种可能的实施方式中，所述特征值确定单元1302，具体用于：将所述待处理三维图像中的所有二维图像的特征图进行加权求和，得到所述待处理三维图像的特征图；从所述待处理三维图像的特征图中提取所述待处理三维图像的图像特征。
在一种可能的实施方式中，所述特征值确定单元1302，具体用于：从所述待处理三维图像中的各层二维图像的特征图中分别提取各层二维图像的图像特征；将所述待处理三维图像中的所有二维图像的图像特征进行加权求和，得到所述待处理三维图像的图像特征。
基于上述提供的图像检索方法的相关内容，本申请实施例还提供了一种图像检索装置，下面结合附图进行具体说明。
参见图14，该图为本申请实施例提供的一种图像检索装置的结构示意图，如图14所示，该图像检索装置包括：
图像获取单元1401，用于获取三维的待检索图像，所述待检索图像包括至少一层二维图像；
特征提取单元1402，用于将所述待检索图像作为待处理三维图像，并利用本申请实施例提供的图像特征提取方法的任一实施方式对所述待检索图像进行特征提取，得到所述待检索图像的图像特征；
匹配度确定单元1403，用于根据所述待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度；
结果确定单元1404，用于根据所述图像库中的各个候选三维图像的匹配度，确定所述待检索图像的检索结果。
另外，本申请实施例还提供了一种图像特征提取设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的图像特征提取方法的任一实施方式。
另外，本申请实施例还提供了一种图像检索设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的图像检索方法的任一实施方式。
另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上述实施例所述的图像特征提取方法的任一实施方式，或者执行如上述实施例所述的图像检索方法的任一实施方式。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像特征提取方法，其特征在于，所述方法包括：
将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到所述特征图提取模型输出的所述各层二维图像的特征图；其中，所述特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建的；
根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征。
2.根据权利要求1所述的方法，其特征在于，所述特征图提取模型的构建过程为：
获取至少一对训练图像和每对训练图像之间的实际关联关系；
将每对训练图像输入关系预测模型，得到所述关系预测模型输出的每对训练图像之间的预测关联关系；其中，所述关系预测模型包括特征图提取层和关系预测层；所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图；所述关系预测层用于根据所述特征图提取层输出的每对训练图像的特征图，预测所述每对训练图像之间的预测关联关系；
根据所述每对训练图像之间的实际关联关系和所述每对训练图像之间的预测关联关系，更新所述关系预测模型，并继续执行所述将每对训练图像输入关系预测模型，直至达到停止条件，根据所述关系预测模型中的所述特征图提取层生成特征图提取模型。
3.根据权利要求2所述的方法，其特征在于，所述关系预测层包括特征值提取层、特征拼接层和关系确定层；其中，所述特征值提取层用于从所述特征图提取层输出的所述训练图像的特征图中提取所述训练图像的图像特征；所述特征拼接层用于将所述特征值提取层输出的每对训练图像的图像特征进行拼接，得到每对训练图像对应的关系参考特征；所述关系确定层用于根据所述特征拼接层输出的每对训练图像对应的关系参考特征，确定每对训练图像之间的预测关联关系。
4.根据权利要求3所述的方法，其特征在于，所述特征值提取层为全局池化层，所述特征值提取层用于对所述特征图提取层输出的所述训练图像的特征图进行全局池化，得到所述训练图像的图像特征；
和/或，
所述关系确定层为全连接层，所述关系确定层用于对所述特征拼接层输出的每对训练图像对应的关系参考特征进行全连接，得到每对训练图像之间的预测关联关系。
5.一种图像检索方法，其特征在于，所述方法包括：
获取三维的待检索图像，所述待检索图像包括至少一层二维图像；
将所述待检索图像作为待处理三维图像，并利用权利要求1-4任一项所述的图像特征提取方法对所述待检索图像进行特征提取，得到所述待检索图像的图像特征；
根据所述待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度；
根据所述图像库中的各个候选三维图像的匹配度，确定所述待检索图像的检索结果。
6.一种图像特征提取装置，其特征在于，所述装置包括：
特征图输出单元，用于将待处理三维图像中的各层二维图像输入预先构建特征图提取模型，得到所述特征图提取模型输出的所述各层二维图像的特征图；其中，所述特征图提取模型是根据至少一对二维的训练图像以及每对训练图像之间的实际关联关系构建的；
特征值确定单元，用于根据所述待处理三维图像中的所有二维图像的特征图，生成所述待处理三维图像的图像特征。
7.一种图像检索装置，其特征在于，所述装置包括：
图像获取单元，用于获取三维的待检索图像，所述待检索图像包括至少一层二维图像；
特征提取单元，用于将所述待检索图像作为待处理三维图像，并利用权利要求1-4任一项所述的图像特征提取方法对所述待检索图像进行特征提取，得到所述待检索图像的图像特征；
匹配度确定单元，用于根据所述待检索图像的图像特征与图像库中的各个候选三维图像的图像特征之间的相似度，分别确定图像库中的各个候选三维图像的匹配度；
结果确定单元，用于根据所述图像库中的各个候选三维图像的匹配度，确定所述待检索图像的检索结果。
8.一种图像特征提取设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4任一项所述的图像特征提取方法。
9.一种图像检索设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求5所述的图像检索方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-4任一项所述的图像特征提取方法，或者执行如权利要求5任一项所述的图像检索方法。
CN202010812361.1A 2020-08-13 2020-08-13 一种图像特征提取方法、图像检索方法、装置及设备 Active CN111985616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010812361.1A CN111985616B (zh) 2020-08-13 2020-08-13 一种图像特征提取方法、图像检索方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010812361.1A CN111985616B (zh) 2020-08-13 2020-08-13 一种图像特征提取方法、图像检索方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111985616A true CN111985616A (zh) 2020-11-24
CN111985616B CN111985616B (zh) 2023-08-08

Family

ID=73434257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010812361.1A Active CN111985616B (zh) 2020-08-13 2020-08-13 一种图像特征提取方法、图像检索方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111985616B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191400A (zh) * 2021-04-14 2021-07-30 中国海洋大学 基于二维图像检索对应三维模型的方法及装置
WO2023273572A1 (zh) * 2021-06-28 2023-01-05 北京有竹居网络技术有限公司 一种特征提取模型构建方法、目标检测方法及其设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020174120A1 (en) * 2001-03-30 2002-11-21 Hong-Jiang Zhang Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
TW201828151A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像特徵提取方法、裝置、終端設備及系統
CN110502659A (zh) * 2019-08-23 2019-11-26 深圳市商汤科技有限公司 图像特征提取及网络的训练方法、装置和设备
JP2020035149A (ja) * 2018-08-29 2020-03-05 国立大学法人 東京大学 動画像データ処理装置、及びプログラム
CN111339884A (zh) * 2020-02-19 2020-06-26 浙江大华技术股份有限公司 图像识别方法以及相关设备、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020174120A1 (en) * 2001-03-30 2002-11-21 Hong-Jiang Zhang Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
TW201828151A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像特徵提取方法、裝置、終端設備及系統
JP2020035149A (ja) * 2018-08-29 2020-03-05 国立大学法人 東京大学 動画像データ処理装置、及びプログラム
CN110502659A (zh) * 2019-08-23 2019-11-26 深圳市商汤科技有限公司 图像特征提取及网络的训练方法、装置和设备
CN111339884A (zh) * 2020-02-19 2020-06-26 浙江大华技术股份有限公司 图像识别方法以及相关设备、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOTAI WANG等: "Automatic brain tumor segmentation using cascaded anisotropic convolutional neural networks", 《ARXIV》, pages 1 - 12 *
KISHORE KONDA等: "Unsupervised learning of depth and motion", 《ARXIV》, pages 1 - 8 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191400A (zh) * 2021-04-14 2021-07-30 中国海洋大学 基于二维图像检索对应三维模型的方法及装置
CN113191400B (zh) * 2021-04-14 2022-04-19 中国海洋大学 基于二维图像检索对应三维模型的方法及装置
WO2023273572A1 (zh) * 2021-06-28 2023-01-05 北京有竹居网络技术有限公司 一种特征提取模型构建方法、目标检测方法及其设备

Also Published As

Publication number Publication date
CN111985616B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US10650042B2 (en) Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
CN112434721B (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN109978060B (zh) 一种自然语言要素抽取模型的训练方法及装置
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN111737586B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN111985616B (zh) 一种图像特征提取方法、图像检索方法、装置及设备
CN111259823A (zh) 一种基于卷积神经网络的色情图像识别方法
CN110197213B (zh) 基于神经网络的图像匹配方法、装置和设备
CN110209863B (zh) 用于相似图片检索的方法与设备
CN113569070A (zh) 图像检测方法和装置、电子设备、存储介质
CN113469111A (zh) 图像关键点检测方法及系统、电子设备、存储介质
CN108133234B (zh) 基于稀疏子集选择算法的社区检测方法、装置及设备
CN111126617A (zh) 一种选择融合模型权重参数的方法、装置及设备
CN111984812B (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
CN115952438A (zh) 社交平台用户属性预测方法、系统、移动设备及存储介质
CN116501548B (zh) 应用于人工智能的互联网数据容灾备份方法及服务器
CN115358379B (zh) 神经网络处理、信息处理方法、装置和计算机设备
CN114926471B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN111539536B (zh) 一种评估业务模型超参数的方法和装置
CN111061774B (zh) 搜索结果准确性判断方法、装置、电子设备及存储介质
KR20230079688A (ko) 프로토타입 기반 중요 특징자 추출을 통한 인물 탐색 장치 및 방법
JP2024072804A (ja) カスタム特徴量エンジニアリングのための単位予測

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant