CN113159112A - 一种古生物化石图像自动标注方法 - Google Patents

Abstract

本发明公开了一种古生物化石图像自动标注方法，包括S1、对待标注的古生物化石图像进行预处理；S2、通过目标检测模型对预处理后的古生物化石图像进行目标检测，获得带有目标检测框的图像；S3、在带有目标检测框的图像中生成古生物化石的轮廓；S4、将具有古生物化石的轮廓的图像作为ResNet网络的输入，获得具有古生物化石类型标签的输出结果，实现古生物化石图像的自动标注。通过本发明方法辅助专家对图像进行标注，节省了专家描点耗费的大量时间，提高了古生物化石标注的效率与精确度。

Description

一种古生物化石图像自动标注方法

技术领域

本发明属于图像处理技术领域，具体涉及一种古生物化石图像自动标注方法。

背景技术

古生物图像是主要包含介型和孢粉两种类型的显微照片。通过对孢粉和介型的观察，并与现有生物进行比较，从而可以为化石生物的演化以及生物学的研究提供重要的信息。其中，最重要的是需要对古生物进行识别和命名，然而各个古生物有着非常精细的结构，并且各个古生物之间的比度较低。这些让古生物的鉴定工作变得困难，对鉴定工作者的要求较高，鉴定的结果也具有很强的主观性。因此，使用机器学习的方法进行古生物鉴定，不仅能节省大量鉴定时间，还能提高鉴定结果的准确性。

当需要对古生物图像应用机器学习的方法进行识别和鉴定的时候，需要对已有古生物图像进行标注。然而，一张图像经常包含多个古生物，古生物与背景区别不大，并且古生物类型名称众多，这些问题都将耗费标注人员大量精力，因此本发明提出自动智能的标注方法来辅助人工标注以提高标注效率。

现阶段，对于生物图像的标注都依靠相关专家手动标注，即在一张布满古生物的图像上，精确判断各个古生物的类型，然后手动将古生物框提取出来，最后将不同的古生物都打上对应的标签，这种人工标注的方式及其耗费专家的时间和精力。

发明内容

针对现有技术中的上述不足，本发明提供的古生物化石图像自动标注方法解决了图像标注效率和准确度较低的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种古生物化石图像自动标注方法，包括以下步骤：

S1、对待标注的古生物化石图像进行预处理；

S2、通过目标检测模型对预处理后的古生物化石图像进行目标检测，获得带有目标检测框的图像；

S3、在带有目标检测框的图像中生成古生物化石的轮廓；

S4、将具有古生物化石的轮廓的图像作为ResNet网络的输入，获得具有古生物化石类型标签的输出结果，实现古生物化石图像的自动标注。

进一步地，所述步骤S1具体为：

基于DeblurGAN的智能去模糊算法，构建具有编解码器和多尺度递归的网络结构的对古生物化石图像进行清晰度提高处理，获得预处理后的图像。

进一步地，所述步骤S2中的目标检测模型包括依次连接的特征提取网络、RPN网络及分类定位网络；

所述特征提取网络为VGGNet网络，用于对输入的预处理后的图像进行特征提取；

所述RPN网络包括输入层、3×3卷积层、锚框分类分支、边界框确定分支和回归层；

所述锚框分类分支和边界框确定分支的输入端均与所述3×3卷积层的输出端连接，其输出端均与回归层连接；

所述锚框分类分支用于基于输入图像确定包含目标的正样本锚框和包含背景的负样本锚框；所述边界确定分支用于基于输入图像计算正样本锚框及负样本锚框对应的边界框回归偏移量；所述回归层用于根据包含目标的正样本锚框及对应的边界框回归偏移量，获取目标候选区域；

所述分类定位网络用于对获取的目标候选区域进行处理，获取对应目标检测框的分类结果及位置坐标。

进一步地，所述RPN网络的损失函数L({p_i}{t_i})为：

式中，p_i为锚框为检测目标的概率，

为标签，当锚框为正样本锚框时，

当为负样本锚框时，

下标i为锚框序数，t_i为预测框的参数，

为标定框的参数，λ为网络权重参数，L_cls(·)为分类损失函数，N_cls为正样本锚框和负样本锚框中数量较少锚框数量，L_reg(·)为回归损失函数，N_reg为锚框数量。

进一步地，所述步骤S3中，生成古生物化石轮廓的方法包括智能图像轮廓生成方法和人工轮廓选定方法，所述智能图像轮廓生成方法具体为：

A1、将带有目标检测框的图像转换成对应的灰度图像，并其进行去噪处理；

A2、在去噪后的图像中设置固定阈值并进行二值化处理，得到二值图图像；

A3、确定二值图图像中的连通域，并提取对应的所有边界点；

A4、在各连通域对应的所有边界点中筛选出用于生成轮廓的关键点；

A5、将目标检测框内筛选出的关键点进行连通，生长古生物化石的轮廓。

进一步地，所述步骤A4中，筛选关键点的方法具体为：

依次计算各边界点的sharp值，并将sharp值大于设定阈值时对应的边界点作为关键点；

对于边界点P_t，其对应的sharp值为：

式中，P_t-kP_t+k为边界点P_t-k和边界点P_t+k之间的连线距离，下标t为边界点序数，k为计算边界点P_t的sharp值时涉及的边界点的序数。

进一步地，所述步骤S3中，通过人工选定轮廓方法确定古生物化石轮廓时，边界点移动前后的坐标关系式为：

式中，x₀,y₀为边界点移动前的横纵坐标，X,Y为边界点移动后的横纵坐标，ε为移动系数，且

d(a₀,a)为人工选定轮廓时鼠标点的移动距离，d(a₀,b₀)为鼠标点与边界点移动前的距离。

本发明的有益效果为：

(1)本发明方法中提供了智能图像轮廓生成和人工轮廓选定两种方法，智能轮廓生成时能够利用智能算法自动生成表示古生物化石的边界的多边形轮廓，并能够调节边界点的位置，提高了图像智能标注的精确度；

(2)通过本发明方法辅助专家对图像进行标注，节省了专家描点耗费的大量时间，提高了古生物化石标注的效率。

附图说明

图1为本发明提供的古生物图像自动标注方法流程图。

图2为本发明提供的RPN网络结构示意图。

图3为本发明提供的分类及定位网络结构示意图。

图4为本发明提供的介形类化石样本目标检测结果示意图。

图5为本发明提供的孢粉化石样本目标检测结果示意图。

图6为本发明提供的边界点示意图。

图7为本发明提供的古生物识别结果示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种古生物化石图像自动标注方法，包括以下步骤：

S1、对待标注的古生物化石图像进行预处理；

S2、通过目标检测模型对预处理后的古生物化石图像进行目标检测，获得带有目标检测框的图像；

S3、在带有目标检测框的图像中生成古生物化石的轮廓；

S4、将具有古生物化石的轮廓的图像作为ResNet网络的输入，获得具有古生物化石类型标签的输出结果，实现古生物化石图像的自动标注。

本实施例的步骤S1具体为：

基于DeblurGAN(Blind Motion Deblurring Using Conditional AdversarialNetworks)的智能去模糊算法，对聚焦不清晰的图像，结合古生物化石的特点，构建具有编解码器和多尺度递归的网络结构的对古生物化石图像进行清晰度提高处理，获得预处理后的图像。

上述步骤S2中的目标检测模型包括依次连接的特征提取网络、RPN网络及分类定位网络；

特征提取网络为VGGNet网络，用于对输入的预处理后的图像进行特征提取；在对介形类化石图像进行目标检测时，不同类型的化石在图像上往往有着不同的特征，也存在较大的差异。使用深度卷积网络能够提取到图像的多种特征，VGGNet具有结构简单，并且能够在控制参数个数的同时，提取到更多介型图像的信息，因此本发明中使用VGGNet实现图像特征提取。

经典的检索方法生成检测框都非常耗时，如OpenCV adaboost使用滑动窗口+图像金字塔生成检测框，或如使用R-CNN使用SS(Selective Search)方法生成检测框，而FasterR-CNN则摒弃传统的滑动窗口和SS方法，直接使用RPN生成检测框，这也是Faster R-CNN的巨大优势，能极大提升检测框的生成速度。

如图2所示，为RPN网络结构，用于生成候选区域与候选区域的分类，所述RPN网络包括输入层、3×3卷积层、锚框分类分支、边界框确定分支和回归层；

所述锚框分类分支和边界框确定分支的输入端均与所述3×3卷积层的输出端连接，其输出端均与回归层连接；所述锚框分类分支用于基于输入图像确定包含目标的正样本锚框和包含背景的负样本锚框；所述边界确定分支用于基于输入图像计算正样本锚框及负样本锚框对应的边界框回归偏移量；所述回归层用于根据包含目标的正样本锚框及对应的边界框回归偏移量，获取目标候选区域。

对于每个锚框，首先在后面加一个二分类softmax，有2个score输出用以表示是其一个的物体的概率与不是一个物体的概率，然后再接上一个bounding box的回归输出代表这个锚框的4个坐标位置，因此RPN网络的损失函数L({p_i}{t_i})为：

式中，p_i为锚框为检测目标的概率，

为标签，当锚框为正样本锚框时，

当为负样本锚框时，

下标i为锚框序数，t_i为预测框的参数，

为标定框的参数，λ为网络权重参数，L_cls(·)为分类损失函数，N_cls为正样本锚框和负样本锚框中数量较少锚框数量，L_reg(·)为回归损失函数，N_reg为锚框数量。

所述分类定位网络用于对获取的目标候选区域进行处理，获取对应目标检测框的分类结果及位置坐标，将每个候选区域的特征图进行池化得到特征图(feature map)，通过全连接层和softmax计算每个候选区域具体属于哪个类别，输出类别概率向量，同时利用边界块回归获得每个候选区域的位置偏移量，用于回归更加精确的目标检测框，该部分的分类定位网络结构如图3所示。

基于上述目标检测过程，获得的带有目标检测框的图像如图4所示,(a)为介形类化石样本目标检测结果，(b)为孢粉化石样本目标检测结果。

上述步骤S3中，生成古生物化石轮廓的方法包括智能图像轮廓生成方法和人工轮廓选定方法，所述智能图像轮廓生成方法具体为：

A1、将带有目标检测框的图像转换成对应的灰度图像，并其进行去噪处理；

A2、在去噪后的图像中设置固定阈值并进行二值化处理，得到二值图图像；

A3、确定二值图图像中的连通域，并提取对应的所有边界点；

A4、在各连通域对应的所有边界点中筛选出用于生成轮廓的关键点；

A5、将目标检测框内筛选出的关键点进行连通，生长古生物化石的轮廓。

上述步骤A4中，筛选关键点的方法具体为：

如图6所示，依次计算各边界点的sharp值，并将sharp值大于设定阈值时对应的边界点作为关键点；

对于边界点P_t，其对应的sharp值为：

式中，P_t-kP_t+k为边界点P_t-k和边界点P_t+k之间的连线距离，下标t为边界点序数，k为计算边界点P_t的sharp值时涉及的边界点的序数。

本实施例的步骤S3中，通过人工选定轮廓方法确定古生物化石轮廓时，支持人工绘制多边形，并能拖动和增删边界点，在对边界点调整时，周边边界点能根据相对位置进行调整，边界点移动前后的坐标关系式为：

式中，x₀,y₀为边界点移动前的横纵坐标，X,Y为边界点移动后的横纵坐标，ε为移动系数，且

d(a₀,a)为人工选定轮廓时鼠标点的移动距离，d(a₀,b₀)为鼠标点与边界点移动前的距离。

基于上述边界点调整方法，调整效果如图5所示。

在本实施例的步骤S4中，在目标检测处理的基础上，本步骤给出相应科属种和TOP1准确率，并对古生物的数量进行统计并得到统计结果，本步骤通过ResNet网络中给出TOP5的识别结果和各自的概率值，支持人工从TOP5中选择出正确类别矫正判别结果。

上述步骤S4中使用ResNet网络进行类型识别，在此网络的基础上根据古生物图像的特点进行相应的微调，针对输入图片格式的不同，采用不同的处理流程，对于RGBD格式的图像，分别用和RGB图像和DepthMap进行特征提取，在将之前两者的特征进行融合操作，充分利用RGBD图像的RGB颜色信息和XYD几何结构信息，再对特征进一步提取，最后得到分类结果。根据相应的分类结果和报告样本生成最终的古生物化石图像的综合分析标注结论。如图7所示，为基于上述ResNet网络获得的识别及标注结果。

在获取具体分类结果后进行标注时，对于轮廓生成与识别效果不够好的古生物化石图像，通过人工修正功能对其进行修改，修正识别错误与缺失的边界与类型，将修正过的新图像上传至数据库，添加到ResNet网络的训练数据库中，定时对其进行更新，形成良好循环的主动学习过程。

Claims (7)

1.一种古生物化石图像自动标注方法，其特征在于，包括以下步骤：

S1、对待标注的古生物化石图像进行预处理；

S2、通过目标检测模型对预处理后的古生物化石图像进行目标检测，获得带有目标检测框的图像；

S3、在带有目标检测框的图像中生成古生物化石的轮廓；

S4、将具有古生物化石的轮廓的图像作为ResNet网络的输入，获得具有古生物化石类型标签的输出结果，实现古生物化石图像的自动标注。

2.根据权利要求1所述的古生物化石图像自动标注方法，其特征在于，所述步骤S1具体为：

基于DeblurGAN的智能去模糊算法，构建具有编解码器和多尺度递归的网络结构的对古生物化石图像进行清晰度提高处理，获得预处理后的图像。

3.根据权利要求1所述的古生物化石图像自动标注方法，其特征在于，所述步骤S2中的目标检测模型包括依次连接的特征提取网络、RPN网络及分类定位网络；

所述特征提取网络为VGGNet网络，用于对输入的预处理后的图像进行特征提取；

所述RPN网络包括输入层、3×3卷积层、锚框分类分支、边界框确定分支和回归层；

所述锚框分类分支和边界框确定分支的输入端均与所述3×3卷积层的输出端连接，其输出端均与回归层连接；

所述锚框分类分支用于基于输入图像确定包含目标的正样本锚框和包含背景的负样本锚框；所述边界确定分支用于基于输入图像计算正样本锚框及负样本锚框对应的边界框回归偏移量；所述回归层用于根据包含目标的正样本锚框及对应的边界框回归偏移量，获取目标候选区域；

所述分类定位网络用于对获取的目标候选区域进行处理，获取对应目标检测框的分类结果及位置坐标。

4.根据权利要求3所述的古生物化石图像自动标注方法，其特征在于，所述RPN网络的损失函数L({p_i}{t_i})为：

式中，p_i为锚框为检测目标的概率，

为标签，当锚框为正样本锚框时，

当为负样本锚框时，

下标i为锚框序数，t_i为预测框的参数，

为标定框的参数，λ为网络权重参数，L_cls(·)为分类损失函数，N_cls为正样本锚框和负样本锚框中数量较少锚框数量，L_reg(·)为回归损失函数，N_reg为锚框数量。

5.根据权利要求1所述的古生物化石图像自动标注方法，其特征在于，所述步骤S3中，生成古生物化石轮廓的方法包括智能图像轮廓生成方法和人工轮廓选定方法，所述智能图像轮廓生成方法具体为：

A1、将带有目标检测框的图像转换成对应的灰度图像，并其进行去噪处理；

A2、在去噪后的图像中设置固定阈值并进行二值化处理，得到二值图图像；

A3、确定二值图图像中的连通域，并提取对应的所有边界点；

A4、在各连通域对应的所有边界点中筛选出用于生成轮廓的关键点；

A5、将目标检测框内筛选出的关键点进行连通，生长古生物化石的轮廓。

6.根据权利要求5古生物化石图像自动标注方法，其特征在于，所述步骤A4中，筛选关键点的方法具体为：

依次计算各边界点的sharp值，并将sharp值大于设定阈值时对应的边界点作为关键点；

对于边界点P_t，其对应的sharp值为：

式中，P_t-kP_t+k为边界点P_t-k和边界点P_t+k之间的连线距离，下标t为边界点序数，k为计算边界点P_t的sharp值时涉及的边界点的序数。

7.根据权利要求5所述的古生物化石图像自动标注方法，其特征在于，所述步骤S3中，通过人工选定轮廓方法确定古生物化石轮廓时，边界点移动前后的坐标关系式为：

式中，x₀,y₀为边界点移动前的横纵坐标，X,Y为边界点移动后的横纵坐标，ε为移动系数，且

d(a₀,a)为人工选定轮廓时鼠标点的移动距离，d(a₀,b₀)为鼠标点与边界点移动前的距离。

Images