CN112905828A - 一种结合显著特征的图像检索器、数据库及检索方法 - Google Patents

Abstract

本发明公开了一种结合显著特征的图像检索器、数据库及检索方法及检索方法，获取古生物三维模型，对古生物三维模型进行映射处理，得到古生物三维模型视图集和掩膜图像集；获取真实化石图像集，对真实化石图像集进行预处理得到仿真化石图像集G_X；将仿真化石图像集G_X和掩膜图像集作为输入，训练显著性检测网络，得到训练好的显著性检测网络；本发明中将显著性检测网络编码器提取的显著性特征与全局特征融合，作为最终图像的描述特征，并将此描述特征作为化石图像检索的最终特征，加强了对化石图像中主体部分的特征描述，减小了岩石等噪音对检索的影响，解决了现有技术中化石图像检索精度不高的技术问题。

Description

一种结合显著特征的图像检索器、数据库及检索方法

技术领域

本发明属于古生物信息学和计算机视觉领域，涉及检索方法，具体涉及一种结合显著特征的图像检索器、数据库及检索方法。

背景技术

随着数字媒体技术的发展和深度学习网络性能的提升，图像检索在教育、文化、生命科学等多个领域有非常广泛的应用。但是在古生物信息学方面，化石图像的检索还是主要依靠人为辨别给出具体的类别，如果能够给定一张未知的化石图像，可以从已有的化石图想数据库中找到它的相似图像有着非常好的实际应用价值；这不仅有助于古生物信息学的发展，而且有助于古生物的科普知识传播。

传统的图像检索方法往提取人为设置的特征点作为图像描述符，如HOG 特征、LBP特征、SIFT特征等提取算法，虽然这种方法具有高度的可解释性，但是在化石图像上并不适用，因为化石图像背景与主体相容，并且经过过几亿年的地质变迁，造成了拍摄的化石图像存在大量的噪音，并且传统的特征提取方法无法通过统计的方式学习一个先验的模型用来指导特征提取，以至于传统方法无法准确地对化石图像进行特征描述；同样在深度学习领域，图像的识别方法越来越成熟，但是却高度依赖于训练样本，导致了在较少量的数据上无法以数据驱动的方式训练深度网络，并且由于化石图像的复杂性，经典的深度学习方法如VGG、ResNet等不能直接应用于单幅相似化石图像的检索。

虽然完整化石图像的数据量并不充足，但是在经过古生物专家的指导后可以得到多种古生物的三维模型，相较于晚上化石的难以获取，古生物三维模型的获取方式就相对较为简单，而古生物三维模型具有丰富的古生物信息，通过古生物三维模型不仅可以获得完整的二维古生物复原图像，也可以对三维模型进行不同程度的旋转和遮掩，模拟真实化石中生物的形态特点。因此，本文从古生物三维模型入手，通过古生物三维模型来对训练集补充以达到能够用数据驱动的方式获得检索结果。

针对化石图像数据量不足，无法有效进行深度网络训练的问题，本文采用三维模型的信息，生成多个化石图像，联合真实化石图像进行网络训练，从而解决化石图像数据量不足的问题。而在真实化石图像上，背景噪音非常大，影响主体特征的提取，从而导致检索精度降低，本文通过先进行化石图像主体的检测，以此得到局部显著特征，并联合局部显著特征和全局特征，进行精准化石图像检索。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种结合显著特征的图像检索器、数据库及检索方法，解决现有技术中化石图像检索精确度不高的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现

一种结合显著特征的图像检索器，该方法按照以下步骤进行：

步骤1，获取古生物三维模型，对古生物三维模型进行映射处理，得到古生物三维模型视图集和掩膜图像集；

步骤2，获取真实化石图像集，对真实化石图像集进行预处理得到仿真化石图像集G_X；

步骤3，将仿真化石图像集G_X和掩膜图像集作为输入，训练显著性检测网络，得到训练好的显著性检测网络，并用所述的显著性检测网络中的编码模块提取真实化石图像的显著性特征图；

步骤4，构建并训练结合显著特征的图像检索网络；

步骤4.1，构建结合显著特征的图像检索网络；

所述的结合显著特征的图像检索网络包括显著特征提取模块、全局特征提取模块和特征融合模块；

步骤4.2，训练结合显著特征的图像检索网络；

将仿真化石图像集G_X和真实化石图像集输入到结合显著特征的图像检索网络中进行训练，得到训练好的结合显著特征的图像检索网络；

步骤5，去除训练好的结合显著特征的图像检索网络中特征融合模块中的全连接层和Soft max激活函数得到最终结合显著特征的图像检索网络。

本发明还具有以下技术特征：

具体的，所述的显著特征提取模块用于提取真实化石图像的显著性特征图；所述的全局特征提取模块用于提取真实化石图像的全局特征图；所述的特征融合模块用于融合显著性特征图和全局特征图。

具体的，在步骤4中结合显著特征的图像检索网络中，所述的显著特征提取模块包括显著性检测网络中的编码模块、1×1卷积层、批归一化和ReLU 激活函数；

所述的全局特征提取模块包括去除全连接层的resnet50、1×1卷积层、3 ×3卷积层、批归一化和ReLU激活函数；

所述的特征融合模块包括按通道拼接的特征图、3×3卷积层、批归一化、 ReLU激活函数、全局平均池化层、全连接层和Soft max激活函数。

具体的，所述的显著性检测网络还包括特征金字塔池化模块、全局引导模块、解码模块和掩膜图像细化模块。

具体的，所述的特征金字塔池化模块用于将编码模块的特征进行多尺度缩放后进行融合，增加特征多样性；

所述的全局引导模块用于使用不同倍数上采样将特征金字塔池化模块得到的特征进行尺度恢复，便于在解码模块多级融合；

所述的解码模块用于将特征金字塔池化模块得到特征和全局引导模块得到的特征融合并上采样，直到恢复为原图像尺寸；

所述的掩膜图像细化模块用于将解码模块所得结果进行优化、细化边缘和补充内容。

具体的，所述的得到古生物三维模型视图集和掩膜图像集的过程按照以下步骤进行：

步骤1.1，将古生物三维模型顶点矩阵V通过公式1、公式2和公式3分别得到与x轴、y轴和z轴夹角为ω的古生物三维模型顶点变换矩阵new_{V_x}、 new_{V_y}和new_{V_z}；

V＝{(x₁,y₁,z₁),(x₂,y₂,z₂),(x₃,y₃,z₃),....,(x_n,y_n,z_n)}n∈R 公式4

其中：

new_{V_x}、new_{V_y}和new_{V_z}表示分别从x轴、y轴和z轴对古生物三维模型进行旋转后的古生物三维模型顶点变换矩阵；

V表示古生物三维模型顶点矩阵；

(x_n,y_n,z_n)表示古生物三维模型顶点矩阵中的第n个顶点坐标；

R表示正实数集；

ω表示旋转角度；

n表示此古生物三维模型的顶点个数；

步骤1.2，将古生物三维模型顶点变换矩阵new_{V_x}、new_{V_y}和new_{V_z}分别通过公式5、公式6和公式7得到古生物三维模型顶点变换矩阵在二维图片上的二维坐标矩阵(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}，再通过Z-buffer消隐算法分别填充(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}中所有坐标点的灰度值，得到三张古生物三维模型视图；

其中：

(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}分别表示new_{V_x}、new_{V_y}和new_{V_z}映射在二维图片的二维坐标矩阵；

aspect表示古生物三维模型视图的长宽比；

θ表示相机视点与三维模型中心点的连线在世界坐标系中与y轴之间的夹角；

步骤1.3，将古生物三维模型视图使用自适应阈值算法进行二值化处理，得到掩膜图像；

步骤1.4，改变ω的值，重复步骤1.1～步骤1.3，得到古生物三维模型视图集和掩膜图像集。

具体的，所述的预处理为将真实化石图像集作为目标域B，古生物三维模型视图集作为源域A，输入到Cycle-GAN网络中，使用G_A2B生成器和G_B2A生成器进行循环训练，得到训练好的Cycle-GAN网络，再将古生物三维模型视图集输入到训练好的Cycle-GAN网络中的G_A2B生成器，得到仿真化石图像集 G_X。

一种结合显著特征的图像数据库，将真实化石图像训练集输入到所述的最终结合显著特征的图像检索网络中，得到特征向量集，保存至数据库。

一种结合显著特征的图像检索方法，选取真实化石图像测试集中的一个真实化石图像，输入到所述的最终结合显著特征的图像检索网络中，提取真实化石图像的特征向量，并与在数据库中的特征向量集进行相似性对比。

具体的，该方法按照以下步骤进行：

步骤一，选取真实化石图像测试集中的一个真实化石图像，将真实化石图像输入到最终结合显著特征的图像检索网络中，得到真实化石图像的特征向量 P_K；

步骤二，通过欧氏距离公式8计算真实化石图像的特征向量P与特征向量集中的每一个特征向量Q^m的距离值D^m，选取特征向量集中距离值最小的前10 个特征向量Q^m对应的真实化石图像，并将10个真实化石图像作为最终的检索结果；

其中：

m表示特征向量集中第m个特征向量；

k表示特征向量下标，k的取值范围是1～K；

K表示特征向量维度；

P表示真实化石图像测试集中的一个真实化石图像的特征向量；

Q^m表示特征向量集中的第m个特征向量；

P_k表示特征向量P在第k个位置的值；

Q_k ^m表示特征向量Q^m在第k个位置的值。

本发明与现有技术相比，有益的技术效果是：

(Ⅰ)本发明中将显著性检测网络编码器提取的显著性特征与全局特征融合，作为最终图像的描述特征，并将此描述特征作为化石图像检索的最终特征，加强了对化石图像中主体部分的特征描述，减小了岩石等噪音对检索的影响，解决了现有技术中化石图像检索精度不高的技术问题。

(Ⅱ)本发明中通过不同角度得到的多个三维模型视图，同时，对三维模型通过手动裁剪来模拟化石的残缺，并结合已有的真化石图像的纹理和三维模型视图的形状在cycle-GAN生成仿真化石图像，并将仿真化石图像加真实化石图像训练集，增加了样本的多样性。

(Ⅲ)本发明通过分析真实化石图像、仿真化石图像和现有复杂图像数据集的相似性，采用迁移学习的思想训练显著性检测网络；并将训练好的显著性检测网络用于真实化石图像的显著性分析，其中，使用残差优化结构来改进显著性分析网络，对原显著性检测网络的结果进行优化，提高了对复杂化石图像的显著性检测的完整性。

附图说明

图1是本发明的整体框架图。

图2实施例中三叶虫古生物三维模型示例

图3是实施例中三叶虫古生物三维模型视图示例。

图4是实施例中三叶虫掩膜图像示例。

图5是实施例中使用cycle-GAN生成的仿真化石图像示意图。

图6是本发明的显著性检测网络框架图。

图7是本发明的显著性检测网络的训练参数设置表。

图8是实施例中本发明与现有显著性检测方法在化石图像的评价结果。

图9是本发明中显著性特征和全局特征的融合结构图。

图10是实施例中本发明与现有检索网络在化石图像上的结果对比。

图11是实施例中本发明与现有检索网络在化石图像上的准确率柱状图。

图12本实施例中本发明与现有检索方法在top1上平均准确率的对比图。

图13是实施例中本发明与现有检索方法在top-k上平均准确率的折线图。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

需要说明的是，本发明中相关名词解释：

cycle-GAN网络结构为对抗生成网络，即将化石图像集作为目标域，将古生物三维模型视图集作为源域，进行化石图像生成。

top1为检索中欧氏距离最短的特征向量对应的真实化石图像。

top-k为检索中欧氏距离由小到大排列是第k个特征向量对应的真实化石图像。

需要说明的是，本发明中对抗生成网络训练损失的通过公式9计算，

L＝L_G+αL_cyc+βL_idt (9)

L_cyc＝||G_B2A(G_A2B(A))-A||₁+||G_A2B(G_B2A(B))-B||₁ (11)

L_idt＝‖G_A2B(A)-B‖₁+‖G_B2A(B)-A‖₁ (12)

其中：

α表示循环损失权重，本发明中设置为10；

β表示身份一致性损失权重，本发明中设置为12；

N表示生成器输出大小；

L_cyc为源域A和目标域B相互转换损失函数；

其中L_idt为一致性损失函数；

需要说明的是，步骤4结合显著特征的图像检索网络中的编码模块在步骤 3中训练好之后进行冻结，并不参与步骤4中网络的训练。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1：

本实施例给出了一种结合显著特征的图像检索器、数据库及检索方法，如图1所示，按照以下步骤进行：

步骤1，获取古生物三维模型，对古生物三维模型进行映射处理，得到古生物三维模型视图集和掩膜图像集；

在本实施例中，选取的古生物三维模型为三叶虫三维模型，将如图2所示的三叶虫三维模型进行映射处理得到如图3所示的三叶虫古生物三维模型视图，三叶虫古生物三维模型视图采用自适应阈值算法进行二值化处理得到如图 4所示的三叶虫掩膜图像。

步骤2，获取真实化石图像集，对真实化石图像集进行预处理得到仿真化石图像集G_X；

在本实施例中，对如图5中的真实化石图像集(b)进行预处理得到如图 (c)～(i)的仿真化石图像集；生成的仿真化石图像与真实化石图像差异极小，可以使用生成的仿真化石图像替代真实化石图像用于深度网络的训练。

步骤3，将仿真化石图像集G_X和掩膜图像集作为输入，训练显著性检测网络，得到训练好的显著性检测网络，并用显著性检测网络中的编码模块提取真实化石图像的显著性特征图；

在本实施例中，对如图6所示的显著性检测网络进行训练，训练时使用的数据训练方式为：首先DUTS公共数据集预训练显著性检测网络，之后采用生成的仿真化石图像进行微调，最后将真实化石图像在训练好的网络上进行测试和显著性图像预测。图7是步骤3显著性检测网络训练时的参数设置，其中编码器部分的采用在ImageNet训练好的Resnet50网络，学习率是5×10-5，采用交叉熵函数作为训练网络的损失。

步骤4，构建并训练结合显著特征的图像检索网络；

步骤4.1，构建结合显著特征的图像检索网络；

结合显著特征的图像检索网络包括显著特征提取模块、全局特征提取模块和特征融合模块；

本实施例中，图9是步骤4中特征融合模块的网络结构图，其中对于512 ×7×7的显著性特征图采用1×1卷积、批归一化、ReLU激活后得到512×7 ×7的特征图1；对于1024×7×7全局特征图采用1×1卷积、3×3卷积、批归一化、ReLU激活后得到512×7×7的特征图2；将特征图1和特征图2按通道拼接后得到1024×7×7的特征图3，对1024×7×7的特征图3进行3×3 卷积、批归一化、ReLU激活函数、全局平均池化处理后得到1024×1×1的特征图4，将1024×1×1的特征图4经过全连接和Soft max激活函数进行输出。

步骤4.2，训练结合显著特征的图像检索网络；

将仿真化石图像集G_X和真实化石图像集输入到结合显著特征的图像检索网络中进行训练，得到训练好的结合显著特征的图像检索网络；

步骤5，去除训练好的结合显著特征的图像检索网络中特征融合模块中的全连接层和Soft max激活函数得到最终结合显著特征的图像检索网络；

作为本实施例的一种优选方案，显著特征提取模块用于提取真实化石图像的显著性特征图；全局特征提取模块用于提取真实化石图像的全局特征图；特征融合模块用于融合显著性特征图和全局特征图。

作为本实施例的一种优选方案，在步骤4中结合显著特征的图像检索网络中，显著特征提取模块包括显著性检测网络中的编码模块、1×1卷积层、批归一化和ReLU激活函数；

全局特征提取模块包括去除全连接层的resnet50、1×1卷积层、3×3卷积层、批归一化和ReLU激活函数；

特征融合模块包括按通道拼接的特征图、3×3卷积层、批归一化、ReLU 激活函数、全局平均池化层、全连接层和Soft max激活函数。

作为本实施例的一种优选方案，在步骤3中，显著性检测网络还包括特征金字塔池化模块、全局引导模块、解码模块和掩膜图像细化模块。

作为本实施例的一种优选方案，特征金字塔池化模块用于将编码模块的特征进行多尺度缩放后进行融合，增加特征多样性；

全局引导模块用于使用不同倍数上采样将特征金字塔池化模块得到的特征进行尺度恢复，便于在解码模块多级融合；

解码模块用于将特征金字塔池化模块得到特征和全局引导模块得到的特征融合并上采样，直到恢复为原图像尺寸；

掩膜图像细化模块用于将解码模块所得结果进行优化、细化边缘和补充内容。

作为本实施例的一种优选方案，得到古生物三维模型视图集和掩膜图像集的过程按照以下步骤进行：

步骤1.1，将古生物三维模型顶点矩阵V通过公式1、公式2和公式3分别得到与x轴、y轴和z轴夹角为ω的古生物三维模型顶点变换矩阵new_{V_}、 new_{V_}和new_{V_}；

V＝{(x₁,y₁,z₁),(x₂,y₂,z₂),(x₃,y₃,z₃),....,(x_n,y_n,z_n)}n∈R 公式4

其中：

new_{V_x}、new_{V_y}和new_{V_z}表示分别从x轴、y轴和z轴对古生物三维模型进行旋转后的古生物三维模型顶点变换矩阵；

V表示古生物三维模型顶点矩阵；

(x_n,y_n,z_n)表示古生物三维模型顶点矩阵中的第n个顶点坐标；

R表示正实数集；

ω表示旋转角度；

n表示此古生物三维模型的顶点个数；

步骤1.2，将古生物三维模型顶点变换矩阵new_{V_x}、new_{V_y}和new_{V_z}分别通过公式5、公式6和公式7得到古生物三维模型顶点变换矩阵在二维图片上的二维坐标矩阵(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}，再通过Z-buffer消隐算法分别填充(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}中所有坐标点的灰度值，得到三张古生物三维模型视图；

其中：

(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}分别表示new_{V_x}、new_{V_y}和new_{V_z}映射在二维图片的二维坐标矩阵；

aspect表示古生物三维模型视图的长宽比；

θ表示相机视点与三维模型中心点的连线在世界坐标系中与y轴之间的夹角；

步骤1.3，将古生物三维模型视图使用自适应阈值算法进行二值化处理，得到掩膜图像；

步骤1.4，改变ω的值，重复步骤1.1～步骤1.3，得到古生物三维模型视图集和掩膜图像集。

在本实施例中，旋转角度ω的取值范围在0～360度内，每间隔30度取一个值。

作为本实施例的一种优选方案，预处理为将真实化石图像集作为目标域B，古生物三维模型视图集作为源域A，输入到Cycle-GAN网络中，使用G_A2B生成器和G_B2A生成器进行循环训练，得到训练好的Cycle-GAN网络，再将古生物三维模型视图集输入到训练好的Cycle-GAN网络中的G_A2B生成器，得到仿真化石图像集G_X。

一种结合显著特征的图像数据库，，将真实化石图像训练集输入到最终结合显著特征的图像检索网络中，得到特征向量集，保存至数据库。

一种结合显著特征的图像检索方法，选取真实化石图像测试集中的一个真实化石图像，输入到如最终结合显著特征的图像检索网络中，提取真实化石图像的特征向量，并与在数据库中的特征向量集进行相似性对比。

作为本实施例的一种优选方案，该方法按照以下步骤进行：

步骤一，选取真实化石图像测试集中的一个真实化石图像，将真实化石图像输入到最终结合显著特征的图像检索网络中，得到真实化石图像的特征向量 P_K；

步骤二，通过欧氏距离公式8计算真实化石图像的特征向量P与特征向量集中的每一个特征向量Q^m的距离值D^m，选取特征向量集中距离值最小的前10 个特征向量Q^m对应的真实化石图像，并将10个真实化石图像作为最终的检索结果；

其中：

m表示特征向量集中第m个特征向量；

k表示特征向量下标，k的取值范围是1～K；

K表示特征向量维度；

P表示真实化石图像测试集中的一个真实化石图像的特征向量；

Q^m表示特征向量集中的第m个特征向量；

P_k表示特征向量P在第k个位置的值；

Q_k ^m表示特征向量Q^m在第k个位置的值。

实施例2：

本实施例给出了一种结合显著特征的图像数据库，将真实化石图像训练集输入到最终结合显著特征的图像检索网络中，得到特征向量集，保存至数据库。

实施例3：

本实施例给出了一种结合显著特征的图像检索方法，选取真实化石图像测试集中的一个真实化石图像，输入到最终结合显著特征的图像检索网络中，提取真实化石图像的特征向量，并与在数据库中的特征向量集进行相似性对比。

具体的，该方法按照以下步骤进行：

步骤一，选取真实化石图像测试集中的一个真实化石图像，将真实化石图像输入到最终结合显著特征的图像检索网络中，得到真实化石图像的特征向量 P_K；

步骤二，通过欧氏距离公式8计算真实化石图像的特征向量P与特征向量集中的每一个特征向量Q^m的距离值D^m，选取特征向量集中距离值最小的前10 个特征向量Q^m对应的真实化石图像，并将10个真实化石图像作为最终的检索结果；

其中：

m表示特征向量集中第m个特征向量；

k表示特征向量下标，k的取值范围是1～K；

K表示特征向量维度；

P表示真实化石图像测试集中的一个真实化石图像的特征向量；

Q^m表示特征向量集中的第m个特征向量；

P_k表示特征向量P在第k个位置的值；

Q_k ^m表示特征向量Q^m在第k个位置的值。

实测例1：

遵循上述技术方案，本实测例给出一种显著性检测网络，用于验证迁移学习在化石图像显著性分析的有效性，分别与用于复杂图像显著性分析的网络 SRM、PiCANet、poolnet进行对比。图8展示了其他三个方法与本申请的显著性网络在MAE、AP、Max-F1、Mean-F1、Dice和IOU六个评价指标的结果，本申请的方法在除AP之外的5个指标上都达到最高，说明本申请方法的综合性能要高于其他方法，对于复杂背景的化石图像具有更好的检测效果，同时也说明了仿真化石图像和迁移学习在古生物化石图像显著性检测的有效性。

实测例2：

遵循上述技术方案，本实测例给出一种结合显著特征的图像检索方法，其中，图10展示了精确率，召回率和F1值在resnet18和resnet50经典网络的对比结果(说明：res18和res50指resnet18和resnet50，resn18+exp和res50+exp 指加入步骤2中生成的仿真化石图像数据进行联合训练的网络，my_18和 my_50指在resnet18和resnet50加入显著性检测特征训练后的网络，my_18+exp 和my_50+exp表示加入显著性检测特征和生成的仿真化石图像数据进行训练后的网络)，可以看出经过改进后的本申请方法my50+exp和my18+exp都有不同程度的性能增益，其中my50+exp在三个指标是获得了最好的结果，相较于resnet50，精确率提高了13％。My50相较于res50，准确率提升了0.03， my50+exp相较于res50+exp准确率提升了0.11，有了较大的提高；图11展示了各方法的准确率柱状图，可以看出本申请的方法在生成数据的训练下，相较于经典网络resnet18和resnet50识别化石图像的准确率达到了最高。说明本申请方法可以有效识别化石图像。

实测例3：

遵循上述技术方案，本实测例给出一种结合显著特征的图像检索方法，表 12展示了现有检索方法SIFT、R-MAC、NetVLAD、GCCL和本文方法的TOP1 平均准确率，从表中可以得知深度学习的方法(R-MAC、NetVLAD、GCCL 和本文方法)相较于传统方法(SIFT)在化石图像上的TOP1检索准确率有非常明显的优势，同时本发明方法相较于GCCL方法TOP1检索准确率在化石图像检索上提升了3.2％。图13展示了五种检索方法TOP1～TOP10的平均准确率折线图，从图中可以看出，本发明方法在TOP1～TOP10的检索中具有更高的检索准确率，其中TOP5和TOP10达到85％和82％，相较于对比方法中最优方法提高2％和4％。

Claims (10)

1.一种结合显著特征的图像检索器，其特征在于，该方法按照以下步骤进行：

步骤1，获取古生物三维模型，对古生物三维模型进行映射处理，得到古生物三维模型视图集和掩膜图像集；

步骤2，获取真实化石图像集，对真实化石图像集进行预处理得到仿真化石图像集G_X；

步骤3，将仿真化石图像集G_X和掩膜图像集作为输入，训练显著性检测网络，得到训练好的显著性检测网络，并用所述的显著性检测网络中的编码模块提取真实化石图像的显著性特征图；

步骤4，构建并训练结合显著特征的图像检索网络；

步骤4.1，构建结合显著特征的图像检索网络；

所述的结合显著特征的图像检索网络包括显著特征提取模块、全局特征提取模块和特征融合模块；

步骤4.2，训练结合显著特征的图像检索网络；

将仿真化石图像集G_X和真实化石图像集输入到结合显著特征的图像检索网络中进行训练，得到训练好的结合显著特征的图像检索网络；

步骤5，去除训练好的结合显著特征的图像检索网络中特征融合模块中的全连接层和Soft max激活函数得到最终结合显著特征的图像检索网络。

2.如权利要求1所述的结合显著特征的图像检索器，其特征在于，所述的显著特征提取模块用于提取真实化石图像的显著性特征图；所述的全局特征提取模块用于提取真实化石图像的全局特征图；所述的特征融合模块用于融合显著性特征图和全局特征图。

3.如权利要求1所述的结合显著特征的图像检索器，其特征在于，在步骤4中结合显著特征的图像检索网络中，所述的显著特征提取模块包括显著性检测网络中的编码模块、1×1卷积层、批归一化和ReLU激活函数；

所述的全局特征提取模块包括去除全连接层的resnet50、1×1卷积层、3×3卷积层、批归一化和ReLU激活函数；

所述的特征融合模块包括按通道拼接的特征图、3×3卷积层、批归一化、ReLU激活函数、全局平均池化层、全连接层和Soft max激活函数。

4.如权利要求1所述的结合显著特征的图像检索器，其特征在于，在步骤3中，所述的显著性检测网络还包括特征金字塔池化模块、全局引导模块、解码模块和掩膜图像细化模块。

5.如权利要求4所述的结合显著特征的图像检索器，其特征在于，所述的特征金字塔池化模块用于将编码模块的特征进行多尺度缩放后进行融合，增加特征多样性；

所述的全局引导模块用于使用不同倍数上采样将特征金字塔池化模块得到的特征进行尺度恢复，便于在解码模块多级融合；

所述的解码模块用于将特征金字塔池化模块得到特征和全局引导模块得到的特征融合并上采样，直到恢复为原图像尺寸；

所述的掩膜图像细化模块用于将解码模块所得结果进行优化、细化边缘和补充内容。

6.如权利要求1所述的结合显著特征的图像检索器，其特征在于，所述的得到古生物三维模型视图集和掩膜图像集的过程按照以下步骤进行：

步骤1.1，将古生物三维模型顶点矩阵V通过公式1、公式2和公式3分别得到与x轴、y轴和z轴夹角为ω的古生物三维模型顶点变换矩阵new_{V_x}、new_{V_y}和new_{V_z}；

V＝{(x₁，y₁，z₁)，(x₂，y₂，z₂)，(x₃，y₃，z₃)，....，(x_n，y_n，z_n)}n∈R 公式4

其中：

new_{V_x}、new_{V_y}和new_{V_z}表示分别从x轴、y轴和z轴对古生物三维模型进行旋转后的古生物三维模型顶点变换矩阵；

V表示古生物三维模型顶点矩阵；

(x_n，y_n，z_n)表示古生物三维模型顶点矩阵中的第n个顶点坐标；

R表示正实数集；

ω表示旋转角度；

n表示此古生物三维模型的顶点个数；

步骤1.2，将古生物三维模型顶点变换矩阵new_{V_x}、new_{V_y}和new_{V_z}分别通过公式5、公式6和公式7得到古生物三维模型顶点变换矩阵在二维图片上的二维坐标矩阵(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}，再通过Z-buffer消隐算法分别填充(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}中所有坐标点的灰度值，得到三张古生物三维模型视图；

其中：

(I_x，I_y)_{V_x}、(I_x，I_y)_{V_y}和(I_x，I_y)_{V_z}分别表示new_{V_x}、new_{V_y}和new_{V_z}映射在二维图片的二维坐标矩阵；

aspect表示古生物三维模型视图的长宽比；

θ表示相机视点与三维模型中心点的连线在世界坐标系中与y轴之间的夹角；

步骤1.3，将古生物三维模型视图使用自适应阈值算法进行二值化处理，得到掩膜图像；

步骤1.4，改变ω的值，重复步骤1.1～步骤1.3，得到古生物三维模型视图集和掩膜图像集。

7.如权利要求1所述的结合显著特征的图像检索器，其特征在于，所述的预处理为将真实化石图像集作为目标域B，古生物三维模型视图集作为源域A，输入到Cycle-GAN网络中，使用G_A2B生成器和G_B2A生成器进行循环训练，得到训练好的Cycle-GAN网络，再将古生物三维模型视图集输入到训练好的Cycle-GAN网络中的G_A2B生成器，得到仿真化石图像集G_X。

8.一种结合显著特征的图像数据库，其特征在于，将真实化石图像训练集输入到权利要求1所述的最终结合显著特征的图像检索网络中，得到特征向量集，保存至数据库。

9.一种结合显著特征的图像检索方法，其特征在于，选取真实化石图像测试集中的一个真实化石图像，输入到如权利要求1所述的最终结合显著特征的图像检索网络中，提取真实化石图像的特征向量，并与在数据库中的特征向量集进行相似性对比。

10.如权利要求9所述的结合显著特征的图像检索网络的检索方法，其特征在于，该方法按照以下步骤进行：

步骤一，选取真实化石图像测试集中的一个真实化石图像，将真实化石图像输入到最终结合显著特征的图像检索网络中，得到真实化石图像的特征向量P_K；

步骤二，通过欧氏距离公式8计算真实化石图像的特征向量P与特征向量集中的每一个特征向量Q^m的距离值D^m，选取特征向量集中距离值最小的前10个特征向量Q^m对应的真实化石图像，并将10个真实化石图像作为最终的检索结果；

其中：

m表示特征向量集中第m个特征向量；

k表示特征向量下标，k的取值范围是1～K；

K表示特征向量维度；

P表示真实化石图像测试集中的一个真实化石图像的特征向量；

Q^m表示特征向量集中的第m个特征向量；

P_k表示特征向量P在第k个位置的值；

Q_k ^m表示特征向量Q^m在第k个位置的值。

Images