CN113128335A - 微体古生物化石图像检测、分类及发现方法、系统及应用 - Google Patents

Abstract

本发明属于古生物化石识别技术领域，公开了一种微体古生物化石图像检测、分类及发现方法、系统及应用，所述微体古生物化石图像检测、分类及发现方法包括：制定微体化石图像采集标准，拍摄微体化石图像；构建带有仿微体化石的数据集；搭建SSD网络；调整预选框长宽比；加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型；将待检测图像输入训练好的网络模型，使用非极大值抑制算法筛选出合适的检测结果；对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录。本发明利用SSD网络自动筛选和分类微体化石，具备发现新种类化石的功能，可对现有大量未分类的微体化石图像进行快速而准确的检测，是节约人工分类成本的有力措施。

Description

微体古生物化石图像检测、分类及发现方法、系统及应用

技术领域

本发明属于古生物化石识别技术领域，尤其涉及一种微体古生物化石图像检测、分类及发现方法、系统及应用。

背景技术

目前，我国寒武系，比如云南梅树村组、陕南宽川铺组、湖北岩家河组、贵州戈仲午组以及华北辛集组、新疆玉儿吐斯组等产有丰富的磷酸盐化的微体化石(常称为小壳化石)，这些微体化石是探索寒武纪生命大爆发以及动物门类起源与演化的绝佳窗口。以陕南寒武纪初期的宽川铺组(距今大约5.35亿年) 为例，因为保存动物软躯体结构和球状动物胚胎化石而闻名于世。目前宽川铺组中已经发现了蓝细菌、宏体藻类、刺细胞动物、原牙形动物、软体动物等大量疑难类型，难以和现代生物进行对比。其中还有一些罕见的动物类型与埃迪卡拉纪晚期的管状化石非常相似。这进一步凸显了宽川铺生物群在早期生命演化和寒武纪生命大爆发研究中的重要性。另外，在宽川铺生物群中也发现了其它一些稀有的但非常重要的动物类型，迫切需要找到更多的标本才能进一步揭示这些动物化石的生物属性。

微体化石则由于个体微小，肉眼难以发现或识别，传统的寻找具有研究价值的化石都是通过人工在显微镜下逐个挑选。一般而言，微体化石受限于小生境，分异度较小，个别优势种丰度非常高，其他类型或者具有研究价值的标本则非常少。而新类型的不断发现也使得具有研究价值的标本日益减少，化石挑选工作日趋低效。长期单调的重复性的化石挑选工作则严重影响挑样人员的视力健康，不计其数的微体化石和残渣也考验着仅有数十年有限生命的研究人员的耐心，因此迫切需要新的技术手段来解决这些问题。

人工智能图像识别与机器自动分拣在当今社会许多行业已经得到广泛应用，而广为所知的现代植物人工智能识别程序“形色”深受大众喜爱。将人工智能应用到微体化石工作中，无疑会为微体化石的研究提供很大便利。与数量较少的遭受压扁变形的宏体化石不同，微体化石的三维立体保存、无变形或者少变形、大样本数量这三个要素恰好能满足目前人工智能图像处理的基本要求。

2006年，深度学习进入科研人员的视野，卷积神经网络(Convolutional NeuralNetworks,CNN)被广泛用在目标检测与识别领域，科研人员对卷积神经网络展开一系列研究，2012年出现了AlexNet等基础网络结构，但其深度比较浅难以提取图像的深层次特征。后续全球科研人员提出VGGNet、R-CNN算法，基于 VGGNet、R-CNN的网络一直沿用至今，出现FasterR-CNN、YOLO、SSD等检测效果良好的成熟深度网络，应用在不同场景：Faster R-CNN牺牲了检测速度来保持高的检测准确性，传统YOLO网络有超快的检测速度但其检测精度欠佳， SSD网络在具备较快检测速度的同时保证了检测精度，在实时检测任务中表现良好。

国内外目前陆续有学者利用机器学习和深度学习的人工智能方法发表文章，引起了古生物学者的广泛关注。目前国内外研究人员也打算采用人工智能来研究古生物化石，比如南京地质与古生物研究所的研究人员打算利用地球生物多样性数据库(GBDB)进行化石自动识别。本团队在人工微体化石图像的基础上，已使用基于支持向量机(SVM)的多类别化石识别器处理识别陕南西乡、宁强宽川铺组的最为常见的废渣和几种常见的微体化石图像，但是在显微镜下获取的图像往往包含多个相互附着在一起的微体化石，基于SVM的识别器对此类粘连目标的识别准确率有待提高，且此方法只有识别功能，不具备新种类化石发现功能。因此，有必要设计一个识别效率高、鲁棒性好、具备发现新类别功能的检测方法，来满足现阶段微体化石的分类工作需要。

通过上述分析，现有技术存在的问题及缺陷为：

(1)新类型的不断发现使得具有研究价值的标本日益减少，化石挑选工作日趋低效；长期单调的重复性的化石挑选工作则严重影响挑样人员的视力健康，不计其数的微体化石和残渣也考验着仅有数十年有限生命的研究人员的耐心，且人工分拣容易受主观因素的影响。

(2)AlexNet等基础网络结构的深度比较浅难以提取图像的深层次特征；现有Faster R-CNN牺牲了检测速度来保持高的检测准确性，传统YOLO网络有超快的检测速度但其检测精度欠佳。

(3)在显微镜下获取的图像往往包含多个相互附着在一起的微体化石，基于SVM的识别器对此类粘连目标的识别准确率有待提高，且此方法只有识别功能，不具备新种类化石发现功能。

解决以上问题及缺陷的难度为：综合来说，现有微体化石研究在样品挑选工作中需要大量具备古生物学专业知识的专家对化石进行人工分拣，在当下大量化石样品出土的今天人工挑选的方式速度缓慢，而精通图像检测算法的计算机工程师又缺少相应的古生物学知识，暂时缺少针对微体化石特征的目标检测模型；因化石出土批次、拍摄条件不同，从每张图像中提取的特征偏差大，类似基于SVM的传统机器学习方法不具备普适性，只能分类已知类别化石，随化石出土数量增加其识别效果会越来越低，且对具有粘连、遮挡的化石图像识别效率差；微体化石工作中样本数量可能有很大差异，有需要时会加上除种类外的标签(如：种、属标签)转化为多标签分类任务，传统机器学习对解决多标签分类任务和不平衡分类任务的能力有限；微体化石图像不同于自然图像，不同类间可能具有相似性，同一类内可能具有差异性，其在图像中出现的角度也是随机的，通用的深度网络模型不能有对微体化石针对性地提取各类特征；

解决以上问题及缺陷的意义为：本发明可以极大提升微体化石分拣工作的效率，让具备古生物学专业知识的专家从繁琐的挑选工作中抽身，投身到其他古生物研究中；通过制定化石图像拍摄标准以及用于深度学习的标准数据集构建，可以极大减少由于前期数据处理阶段产生的检测误差，并提供了具有一定规模的微体化石深度学习数据集；通过构建针对微体化石图像的深度网络模型，实现对微体化石智能检测算法的检测准确率、效率的提升。

发明内容

针对现有技术存在的问题，本发明提供了一种微体古生物化石图像检测、分类及发现方法、系统及应用，尤其涉及一种基于深度网络的微体古生物化石图像检测、分类及发现方法、系统及应用，旨在解决微体化石方面人工分拣工作的效率低且容易受主观因素影响的问题。

本发明是这样实现的，一种微体古生物化石图像检测、分类及发现方法，所述微体古生物化石图像检测、分类及发现方法包括以下步骤：

步骤一，制定微体化石图像采集标准，以减少数据处理阶段造成的误差，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息，用于网络模型学习微体化石特征；

步骤二，构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集，用于验证算法鲁棒性及泛化能力；

步骤三，搭建SSD网络，在网络第一层、第二层特征图上构建小目标注意力模块，小目标注意模块的引入提高了网络模型对小尺度化石的检测准确率；

步骤四，根据微体化石图像特征调整预选框长宽比，使用6层特征图统一每层网络的长宽比，并初始化权重文件，对原始网络预选框的修改使网络对微体化石更具针对性，且提升了检测速度；

步骤五，加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

步骤六，将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果，阈值的设定筛选了无效的检测结果，而非极大值抑制算法的引入筛选了重复识别的检测结果；

步骤七，对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，使网络在一定程度上具备发现新微体化石的功能，在原石中挑选稀有或新种类微体化石作进一步古生物学研究。

进一步，步骤一中，所述定微体化石图像采集标准包括对样品、设备和光线的要求，以此采集标准环境下的图像数据，包括：

(1)样本方面：采用陕西省西乡县张家沟剖面宽川铺组岩石样品，用 8％～10％醋酸溶液处理；

(2)设备方面：使用Leica 205C的10倍显微镜拍摄，每张图像分辨率为 2592*1944；

(3)光线方面：采用蓝色或白色来增强背景的对比度，采用冷光源无影灯，在均匀的亮度和放大倍数下拍摄；

(4)标记时半监督地使用分割工具先分出较易框定的微体化石目标，无误后添加类别信息即可得到目标信息的标注；对于遮挡、粘连的目标，使用封装的ImageSets程序人工标注，将标注信息统一成相同格式的文件，每个文件名称对应每张微体化石的文件名称存储。

进一步，步骤二中，在显微电镜拍摄得到的微体化石图像的基础上，人工标记微体化石的种类和位置，使用数据集中未出现的手绘或软件合成的微体化石PNG图像，并随机地在不含任何类别的空白背景区域插入人工构建的仿化石，用于模拟尚未发现的化石种类，由显微电镜图像和人工构建图像共同构成微体化石数据集；其中，所述位置标注为人工框定微体化石的最大矩形，带有标签的数据集按7：3比例分为训练集和测试集。

进一步，步骤三中，搭建SSD网络，对SSD网络的第一、二层特征图分别进行空间变换以加强该两层网络在原图中对应区域的特征，将原始图片中的空间信息变换到另一个空间中并保留关键信息，相当于经过特征权重重新分配以特别注意SSD网络一二层特征图对应的目标。

进一步，步骤四中，所述使用6层特征图统一每层网络的长宽比，包括：

以VGG16模型为骨干的SSD网络框架，其网络结构包含16个卷积层；模型输入图像大小为300*300，统一每层网络的长宽比为[1:2,1:1,2:1]，特征图上每个中心点对应3个预选框，低层特征图对应较小感受野，高层特征图对应较大感受野。

进一步，步骤五中，所述加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，包括：加载已有VOC07大规模分类数据集训练SSD网络得到的公用网络预训练模型，VOC07数据集的公用网络结构完整、权重文件参数多，是稠密网络模型；对所述网络预训练模型进行初始化，在制作好的微体化石数据集上，对网络进行训练，训练过程中通过与标记过的真实目标位置和类别信息对比，对此稠密网络模型的权值进行剪枝，减少其中不重要的参数，得到稀疏网络模型权值，同时在回归过程中不断提升检测框的准确度和类别置信度，在达到设定的训练次数后得到最终网络模型。

进一步，步骤五中，所述预训练权重文件由VOC07数据集对SSD网络进行训练得到，网络模型生成的预选框和类别将根据数据集中标注的正确位置和类别信息不断调整至正确的位置和类别，采用测试集的标注信息纠正网络。

进一步，步骤六中，使用最终训练模型对新的微体化石图像进行检测。

进一步，步骤七中，若检测出的微体化石图像类别为人工构建的仿化石一类，可视作新的微体化石种类，单独保存记录，帮助研究人员迅速找出稀有样本，开展古生物方面的深入研究。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集；

搭建SSD网络，在网络第一层、第二层特征图上构建小目标注意力模块；

根据微体化石图像特征调整预选框长宽比，使用6层特征图统一每层网络的长宽比，并初始化权重文件；

加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的微体古生物化石图像检测、分类及发现方法。

本发明的另一目的在于提供一种应用所述的微体古生物化石图像检测、分类及发现方法的微体古生物化石图像检测、分类及发现系统，所述微体古生物化石图像检测、分类及发现系统包括：

图像采集标准制定模块，用于制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

数据集构建模块，用于构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集，验证算法鲁棒性及泛化能力；

SSD网络搭建模块，用于搭建SSD网络，并在网络第一层、第二层特征图上构建小目标注意力模块；

预选框调整模块，用于根据微体化石图像特征调整预选框长宽比，使用6 层特征图统一每层网络的长宽比，并初始化权重文件；

模型训练模块，用于加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

检测模块，用于将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

检测结果处理模块，用于对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，在原石中挑选稀有货新种类微体化石作进一步古生物学研究。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的微体古生物化石图像检测、分类及发现方法，通过使用深度学习技术，采用SSD(Single ShotMultiBox Detector，单发多框检测网络)深度学习网络，实现从采集到分类已有微体化石、发现未知或稀有微体化石的检测功能，是一种基于SSD深度网络的智能微体化石图像检测方法。同时，本发明通过获取微体化石图像，利用SSD网络自动筛选和分类微体化石，且具备发现新种类化石的功能，可对现有大量未分类的微体化石图像进行快速而准确的检测，是节约人工分类成本的有力措施。该技术方案己经在西北大学地质学系早期生命与环境陕西省重点实验室及大陆动力学国家重点实验室实机运行，用于分担部分人工微体化石分拣工作，如附图6。

本发明主要适用于古生物化石分选工作的场景，通过研究深度学习目标检测算法基本原理，提出一种基于SSD神经网络的微体化石快速检测方法。制定了微体化石图像获取的环境标准，提出“仿化石”类别以模拟待发掘的新种类微体化石，人工标记出已知和“未知”的微体化石位置、类别信息构建改进的微体化石数据集，以基于VGG骨干网络的SSD检测网络为基础，在SSD特征图第一层和第二层增加注意力模块加强对应特征的提取能力，依据微体化石特点简化网络预选框数量，在网络结构及预选框选择上进行改进，使用VOC07数据集的公用SSD网络预训练模型权重文件，通过迭代微体化石目标的真实预选框做回归，最后使用训练好的模型用于实际的检测任务中。本发明可对微体化石目标进行快速而准确的检测，是提升地质研究人员微体化石分拣工作效率的有力措施。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的微体古生物化石图像检测、分类及发现方法流程图。

图2是本发明实施例提供的微体古生物化石图像检测、分类及发现系统结构框图；

图中：1、图像采集标准制定模块；2、数据集构建模块；3、SSD网络搭建模块；4、预选框调整模块；5、模型训练模块；6、检测模块；7、检测结果处理模块。

图3是本发明实施例提供的基于SSD网络的微体化石检测方法的逻辑示意图。

图4是本发明实施例提供的微体化石数据集中添加了人工“仿化石”的微体化石图像。

图5是本发明实施例提供的目标检测模型定位识别结果示意图。

图6是本发明在西北大学地质学系早期生命与环境陕西省重点实验室及大陆动力学国家重点实验室实机运行实拍图。

图7是本发明主干网络的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种微体古生物化石图像检测、分类及发现方法、系统及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的微体古生物化石图像检测、分类及发现方法包括以下步骤：

S101，制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

S102，构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集，验证算法鲁棒性及泛化能力；

S103，搭建SSD网络，如附图7，将VGG16的FC6和FC7层视为卷积层，调整输入图像的尺寸统一至300*300，网络中上层输出为下层输入：在第一层卷积层经过两次[3,3]卷积，输出的特征层数为64，输出为(300,300,64)，再经过2X2 最大池化，输出尺寸为(150,150,64)；在第二层卷积层经过两次[3,3]卷积，输出的特征层数为128，输出尺寸为(150,150,128)，再经过2X2最大池化，输出尺寸为(75,75,128)；在第三层卷积层经过三次[3,3]卷积，输出的特征层数为256，输出尺寸为(75,75,256)，再经过2X2最大池化，输出尺寸为(38,38,256)；在第四层卷积层经过三次[3,3]卷积，输出的特征层数为512，输出尺寸为(38,38,512)，再经过2X2最大池化，输出尺寸为(19,19,512)；在第五层卷积层经过三次[3,3]卷积，输出的特征层数为512，输出尺寸为(19,19,512)，再经过3X3最大池化，输出尺寸为(19,19,512)；对第五层卷积输出结果做全连接操作，经过一次[3,3]卷积和一次[1,1]卷积实现全连接，输出的特征层数为1024，输出的尺寸为(19,19,1024)；在第六层卷积层经过一次[1,1]卷积调整特征层通道数，再经过一次步长为2的 [3,3]卷积，输出的特征层数为512，输出的尺寸为(10,10,512)；在第七层卷积层经过一次[1,1]卷积调整特征层通道数，再经过一次步长为2的[3,3]卷积网络，输出的特征层数为256，输出的尺寸为(5,5,256)；在第八层卷积层经过一次[1,1]卷积网络调整特征层通道数，再经过一次步长为1的[3,3]卷积网络，输出的特征层数为256，输出的尺寸为(3,3,256)；在第九层卷积层经过一次[1,1]卷积网络调整特征层通道数，再经过一次步长为1的[3,3]卷积网络，输出的特征层数为256，输出的尺寸为(1,1,256)，至此基础网络架构搭建完毕。其中，未经过池化的第四层卷积层、全连接层、第六层卷积层、第七层卷积层、第八层卷积层、第九层卷积层依次作为有效特征图供网络学习；

在网络负责小目标的第一层、第二层特征图上构建注意力模块，使得网络增强对这两层对应特征的提取能力：首先，对得到的特征层进行全局平均池化将其转化为一维，由此第一层特征图由(38,38,512)转化为(1,1,512)，然后对此一维特征进行两次全连接后维持(1,1,512)大小，作为第一层特征图的权重，再将这个权重与原始特征图相乘作为新的特征图，实现注意力机制，以此能够找出图片信息中需要被关注的区域，同时又能够具有旋转、缩放变换的功能，这样图片局部的重要信息能够通过变换而被框盒提取出来；

S104，依据化石图像特点，使用6层特征图，原始特征图上候选框数量为 38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个，统一每层网络的长宽比为{1:1,1:2,2:1,2:2}后，可减少预选框数量为 38*38*4+19*19*4+10*10*4+5*5*4+3*3*4+1*1*4＝7760个，结合步骤三引入的注意力机制，可实现对微体化石图像的精准检测；

S105，加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

S106，将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

S107，对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，在原石中挑选稀有货新种类微体化石作进一步古生物学研究。

本发明提供的微体古生物化石图像检测、分类及发现方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的微体古生物化石图像检测、分类及发现方法仅仅是一个具体实施例而已。

如图2所示，本发明实施例提供的微体古生物化石图像检测、分类及发现系统包括：

图像采集标准制定模块1，用于制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

数据集构建模块2，用于构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集，验证算法鲁棒性及泛化能力；

SSD网络搭建模块3，用于搭建SSD网络，并在网络第一层、第二层特征图上构建小目标注意力模块；

预选框调整模块4，用于根据微体化石图像特征调整预选框长宽比，使用6 层特征图统一每层网络的长宽比，并初始化权重文件；

模型训练模块5，用于加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

检测模块6，用于将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

检测结果处理模块7，用于对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，在原石中挑选稀有货新种类微体化石作进一步古生物学研究。

下面结合实施例对本发明的技术方案作进一步的描述。

实施例1

本发明提供一种基于SSD神经网络的检测方法以解决微体化石人工分类效率问题，通过获取微体化石图像，利用SSD网络自动筛选和分类微体化石，且具备发现新种类化石的功能。

本发明的目的在于提供一种基于深度学习的古生物化石定位和识别方法，解决微体化石方面人工分拣工作的效率低且容易受主观因素影响的问题。首先拍摄大量微体化石图像，通过构建带有仿化石种类的化石数据集，并标注数据集中各个目标种类的位置信息，依据按比例分配好的训练集和测试集，在网络前两层特征层上引入注意力机制模块加强他们的特征提取能力，训练针对微体化石图像特征的SSD网络目标检测模型。训练好的SSD深度网络模型经过非极大值抑制处理后，可以对未标记过的复杂微体化石图像进行快速且准确的框定、分类以及发现新种类工作。

对于本技术而言，基于深度学习的目标检测计数已在自然图像及其他领域得到成熟的应用，但微体化石图像区别于自然图像的地方在于：自然图像种类繁多、背景多变、各类别差异明显，本发明需要检测的微体化石图像在同一背景下分为几个大类，同一类别内特征差异可能较大，且较自然图像而言有非常随机的旋转情况。针对微体化石如上特点，对图像获取阶段和网络结构做了一定处理，统一了数据集中图像的拍摄标准，在简化SSD网络结构的同时保证网络的尺度不变性和旋转不变性，以适应微体化石图像检测任务。

本发明包括以下步骤：

1)制定微体化石图像采集标准，以此采集标准环境下的微体化石图像数据，所述标准包括对样本方面、设备方面、光线方面等；以此采集标准环境下的图像数据的具体步骤为：

(1)样本方面，采用陕西省西乡县张家沟剖面宽川铺组岩石样品，用 8％～10％醋酸溶液处理；

(2)设备方面，使用Leica 205C的10倍显微镜拍摄，每张图像分辨率为 2592*1944；

(3)光线方面，采用蓝色或白色来增强背景的对比度，在均匀的亮度和放大倍数下拍摄，为了减少微体化石的阴影和色温的变化，采用冷光源无影灯。

标记拍摄到的微体化石图像中的位置、类别信息。

2)人工模拟尚未发现的新种类微体化石，同时标记这些仿化石为同一类别、记录其位置信息，构建微体化石图像数据集并分为训练集和测试集以验证算法鲁棒性及泛化能力。

使用数据集中未出现的手绘或软件合成的微体化石PNG图像，随机地在插入到不含任何类别的空白背景区域，用于模拟尚未发现的化石种类，由显微电镜图像和人工构建图像共同构成微体化石数据集。位置标注为人工框定微体化石和仿化石的最大矩形，带有标签的数据集以7：3的比例分为训练集和测试集。

3)搭建SSD网络，并对其第一、二层特征图分别进行空间变换，在保留该层关键信息的同时，提升他们对应的特征强度，相当于经过特征权重重新分配以特别注意SSD网络一二层特征图对应的目标，之后的特征图仍然使用未经空间变换的前层卷积后的结果，不影响其他特征图的信息提取。

4)依据化石图像尺度变化明显背景固定等特点，在使用的6层特征图中统一每层网络的长宽比。

使用以VGG16模型为骨干的SSD网络框架，其网络结构包含16个卷积层；微体化石图像同类别间存在外形差异但尺度变化不明显，因此对原始预选框的6 个长宽比进行压缩，统一每层网络的长宽比为[1:2,1:1,2:1]，特征图上每个中心点对应3个预选框，低层特征图对应较小感受野，高层特征图对应较大感受野，可准确地对不同种类各种尺度下微体化石图像的特征进行的提取，在减少网络预选框数量的同时可以保证其旋转不变性。

5)加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度。

加载已有VOC07大规模分类数据集训练SSD网络得到的公用网络预训练模型，VOC07数据集的公用网络结构完整、权重文件参数多，是稠密网络模型。对此网络预训练模型进行初始化，在制作好的微体化石数据集上，对网络进行训练，训练过程中通过与标记过的真实目标位置和类别信息对比，对此稠密网络模型的权值进行剪枝，减少其中不重要的参数，得到稀疏网络模型权值，同时在回归过程中不断提升检测框的准确度和类别置信度，在达到设定的训练次数后得到最终网络模型。

6)将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，从而在原始待检测图像上标出各类化石的位置框、类别和概率结果，若粘连、遮挡情况较严重，可以换做柔性非极大值抑制算法(当然，这将牺牲少许的检测速度)筛选检测结果。由于提前将背景统一成固定颜色，检测时很少存在将背景误判为新种类化石的情况。

7)对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，方便后续发现、研究新种类微体化石。微体化石筛选工作的核心就是分类大量重复出现的种类以及发现新的种类，本方法技术不仅能够快速准确地完成分类工作，还能在大量样本中检测出新种类微体化石，帮助研究人员迅速挑选出新的或稀有微体化石，在一定程度上可以代替人类发现新种类微体化石，可以大大节省人力资源支出。

本发明主要适用于古生物化石分选工作的场景，通过研究深度学习目标检测算法基本原理，提出一种基于SSD神经网络的微体化石快速检测方法。制定了微体化石图像获取的环境标准，提出“仿化石”类别以模拟待发掘的新种类微体化石，人工标记出已知和“未知”的微体化石位置、类别信息构建改进的微体化石数据集，以基于VGG骨干网络的SSD检测网络为基础，在SSD特征图第一层和第二层增加注意力模块加强对应特征的提取能力，依据微体化石特点简化网络预选框数量，在网络结构及预选框选择上进行改进，使用VOC07数据集的公用SSD网络预训练模型权重文件，通过迭代微体化石目标的真实预选框做回归，最后使用训练好的模型用于实际的检测任务中。本发明可对微体化石目标进行快速而准确的检测，是提升地质研究人员微体化石分拣工作效率的有力措施。

实施例2

本方法通过对已知数据集中各种类别和人工模拟的其他类别的微体化石图片进行标注，获取带有各类别微体化石位置信息的标记文件，使用基于VOC07 数据集的公用SSD网络预训练模型权重文件，将微体化石图像和对应的标记文件输入到改进的SSD网络模型训练，经过若干次回归训练调参达到检测要求。使用训练好的微体化石目标检测模型可以对大量微体化石图像进行检测，实现同一图像内多个目标自动框定和分类识别，对粘连、遮挡的情况同样具备良好的检测效果，且具备发现新种类微体化石的功能。

如图3所示是本发明实施例提供的基于深度网络的微体古生物化石图像检测、分类及发现方法逻辑示意图。

步骤1(S1)，制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，标记每张图像中的位置、类别信息。具体地，该步骤包括以下子步骤：

S11、样本方面，采用陕西省西乡县张家沟剖面宽川铺组岩石样品，用 8％～10％醋酸溶液处理；

S12、设备方面，使用Leica 205C的10倍显微镜拍摄，每张图像分辨率为 2592*1944；

S13、光线方面，采用蓝色或白色来增强背景的对比度，在均匀的亮度和放大倍数下拍摄，为了减少微体化石的阴影和色温的变化，采用冷光源无影灯；

S14、由于微体化石数量庞大，标记时可半监督地使用分割工具(如Python 中的matplotlib、opencv包都有绘制目标最大矩形功能)先分出较易框定的微体化石目标，无误后只需添加类别信息便可做完一个目标信息的标注，对于遮挡、粘连的目标，可使用封装的ImageSets程序人工标注，将这些标注信息统一成相同格式的文件，每个文件名称对应每张微体化石的文件名称存储。

步骤2(S2)，人工模拟尚未发现的新种类微体化石，同时标记这些仿化石为同一类别、记录其位置信息，构建微体化石图像数据集并分为训练集和测试集以验证算法鲁棒性及泛化能力。标记好的化石图像如图4所示，具体地，该步骤包括以下子步骤：

S21、提取原图像数据中不包含的几种特征差异较大的微体化石种类图像，以及人工构建的其他种类的三维微体化石模型图像或小尺寸自然图像，将它们作为其他新种类微体化石，以PNG贴图形式添加到初始微体化石图像的空白背景区域，附图2中右侧三个为人工添加的仿化石；

S22、同时在对应的标注信息文件中添加新增加目标的位置、类别信息，它们的类别标签相同；

S23、按照VOC07数据集标准对化石图像整理，将标记信息文件、微体化石图像按7训练集：3测试集比例存放到指定文件夹。

步骤3(S3)，搭建SSD网络，在网络第一层、第二层特征图上构建小目标注意力模块；

S31、在原始图像多次卷积到达SSD网络第一层特征图卷积变换后，其通道数会和其卷积核通道数保持一致，图片的特征会存储在每层特征图不同的通道上，此时使用傅里叶变换将特征图每个通道的特征信息分到卷积核的各个通道上，可以将其看做第一层特征图每个通道的权重大小，将经过重新加权的结果作为特征图输入到训练网络。若通道权重越大，在训练网络时该通道的训练权值越高，起到对该层特征特别“注意”的效果。

S32、使用未经重新加权的第一层特征图卷积后产生第二层特征图，保留原本图像在第二层特征图的信息，然后重复S31中对第一层特征图的空间变换操作，对对第二层特征图做重新加权以“注意”第二层特征图对应的特征，由于 SSD网络第二层以后的特征图本就有很好的特征提取能力，故第三层及其后面的特征图不必使用注意力机制去加强特征提取，仍然使用未经空间变换的前层卷积结果，第一、二层注意力机制的引入也不影响其他特征图的信息提取。

步骤4(S4)，依据化石图像特点，使用6层特征图，统一每层网络的长宽比。

S41、在原本含有16层卷积层的SSD网络基础上，对原预选框的6个长宽比进行压缩，统一每层网络的长宽比为[1:2,1:1,2:1]，使得各层特征图上每个中心点对应3个预选框；

S42、低层特征图用于提取较小目标的特征，高层特征图用于提取较大目标特征，可准确地对不同种类、尺度下的微体化石图像的特征进行的提取，在减少网络预选框数量的同时可以保证其旋转不变性；

S43、在上述SSD网络最后一层添加位置回归层和类别置信度判别层，完成网络搭建。

步骤5(S5)，加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度。

S51、使用VOC07大规模分类数据集对特征提取网络进行预训练。预训练初始学习率设为0.001，总迭代次数为10万次，每训练200次保存一次参数。

S52、每次训练生成的预选框与真实标记框进行对比，根据损失值调整训练网络的参数，直至达到规定的损失范围内或最大训练步长时，结束训练，得到最终训练模型。

步骤6(S6)，将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，如图5所示，在原始待检测图像上标出各类化石的位置框、类别和概率结果。

S61、将训练好的模型部署到微体化石分拣平台中，使用显微电镜采集微体化石图像，然后将采集到的图像输入到最终的训练模型中进行检测，依据给定置信度阈值(实际通常取0.6以上)得到初步检测结果，包括目标类别及其检测框坐标；

S62、使用非极大值抑制算法去除多余的检测框，得到更准确的检测结果；

S63、若不能识别的重叠目标较多，是由于输出多个框中存在某些其实是另一类目标，但是也不小心被NMS去掉了，此情况下可牺牲很少的检测速度，改用柔性非极大值抑制算法：若同一个物体周围的框有很多，每次选择分数最高的框，抑制其周围的框，与分数最高的框的交并比越大，抑制的程度越大，因此，这样就会将不同类别的框保留下来，而同类别目标的框被去掉；

S64、使用绘图工具在待检测微体化石图像上绘制出最终得到的预选框及其类别置信度，完成检测工作，并自动统计各类化石已出现次数。

步骤7(S7)，对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，方便后续发现、研究新种类微体化石。

S71、若再待检测目标中检测到新种类化石，显示通知并单独保存含有新类别化石的图像，索引其原石所在位置，人工挑选出该化石确认是否为新种类，若为未知种类或稀有种类等研究价值较高的样本，再展开相应的古生物学方面的研究。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种微体古生物化石图像检测、分类及发现方法，其特征在于，所述微体古生物化石图像检测、分类及发现方法包括：

制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集；

搭建SSD网络，在网络第一层、第二层特征图上构建小目标注意力模块；

根据微体化石图像特征调整预选框长宽比，使用6层特征图统一每层网络的长宽比，并初始化权重文件；

加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录。

2.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，所述定微体化石图像采集标准包括对样品、设备和光线的要求，以此采集标准环境下的图像数据，包括：

(1)样本方面：采用陕西省西乡县张家沟剖面宽川铺组岩石样品，用8％～10％醋酸溶液处理；

(2)设备方面：使用Leica 205C的10倍显微镜拍摄，每张图像分辨率为2592*1944；

(3)光线方面：采用蓝色或白色来增强背景的对比度，采用冷光源无影灯，在均匀的亮度和放大倍数下拍摄；

(4)标记时半监督地使用分割工具先分出较易框定的微体化石目标，无误后添加类别信息即可得到目标信息的标注；对于遮挡、粘连的目标，使用封装的ImageSets程序人工标注，将标注信息统一成相同格式的文件，每个文件名称对应每张微体化石的文件名称存储。

3.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，在显微电镜拍摄得到的微体化石图像的基础上，人工标记微体化石的种类和位置，使用数据集中未出现的手绘或软件合成的微体化石PNG图像，并随机地在不含任何类别的空白背景区域插入人工构建的仿化石，用于模拟尚未发现的化石种类，由显微电镜图像和人工构建图像共同构成微体化石数据集；其中，所述位置标注为人工框定微体化石的最大矩形，带有标签的数据集按7：3比例分为训练集和测试集。

4.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，搭建SSD网络，对SSD网络的第一、二层特征图分别进行空间变换以加强该两层网络在原图中对应区域的特征，将原始图片中的空间信息变换到另一个空间中并保留关键信息，相当于经过特征权重重新分配以特别注意SSD网络一二层特征图对应的目标。

5.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，所述使用6层特征图统一每层网络的长宽比，包括：以VGG16模型为骨干的SSD网络框架，其网络结构包含16个卷积层；模型输入图像大小为300*300，统一每层网络的长宽比为[1:2,1:1,2:1]，特征图上每个中心点对应3个预选框，低层特征图对应较小感受野，高层特征图对应较大感受野。

6.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，所述加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，包括：加载已有VOC07大规模分类数据集训练SSD网络得到的公用网络预训练模型，VOC07数据集的公用网络结构完整、权重文件参数多，是稠密网络模型；对所述网络预训练模型进行初始化，在制作好的微体化石数据集上，对网络进行训练，训练过程中通过与标记过的真实目标位置和类别信息对比，对此稠密网络模型的权值进行剪枝，减少其中不重要的参数，得到稀疏网络模型权值，同时在回归过程中不断提升检测框的准确度和类别置信度，在达到设定的训练次数后得到最终网络模型。

7.如权利要求1所述的微体古生物化石图像检测、分类及发现方法，其特征在于，所述预训练权重文件由VOC07数据集对SSD网络进行训练得到，网络模型生成的预选框和类别将根据数据集中标注的正确位置和类别信息不断调整至正确的位置和类别，采用测试集的标注信息纠正网络；

使用最终训练模型对新的微体化石图像进行检测；

若检测出的微体化石图像类别为人工构建的仿化石一类，可视作新的微体化石种类，单独保存记录，找出稀有样本。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集；

搭建SSD网络，在网络第一层、第二层特征图上构建小目标注意力模块；

根据微体化石图像特征调整预选框长宽比，使用6层特征图统一每层网络的长宽比，并初始化权重文件；

加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录。

9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～9任意一项所述的微体古生物化石图像检测、分类及发现方法。

10.一种实施权利要求1～9任意一项所述的微体古生物化石图像检测、分类及发现方法的微体古生物化石图像检测、分类及发现系统，其特征在于，所述微体古生物化石图像检测、分类及发现系统包括：

图像采集标准制定模块，用于制定微体化石图像采集标准，使用显微电镜拍摄微体化石图像，并标记每张图像中的位置和类别信息；

数据集构建模块，用于构建带有仿微体化石的数据集，对每个微体化石和仿微体化石标注位置和类别信息，按比例分为训练集和测试集，验证算法鲁棒性及泛化能力；

SSD网络搭建模块，用于搭建SSD网络，并在网络第一层、第二层特征图上构建小目标注意力模块；

预选框调整模块，用于根据微体化石图像特征调整预选框长宽比，使用6层特征图统一每层网络的长宽比，并初始化权重文件；

模型训练模块，用于加载预训练模型的原始权重文件，训练微体化石图像检测的网络模型，通过与已标记的图像中微体化石位置、类别的对比，不断的回归、调整训练模型的检测精度；

检测模块，用于将待检测图像输入训练好的网络模型，设置检测程序输出的类别概率阈值，使用非极大值抑制算法筛选出合适的检测结果，在原始待检测图像上标出各类化石的位置框、类别和概率结果；

检测结果处理模块，用于对区别于原始已知微体化石的人工仿化石类别检测结果做重点记录，在原石中挑选稀有货新种类微体化石作进一步古生物学研究。

Images