CN110033445A - 基于深度学习的法医学检验自动化识别系统及识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的法医学检验自动化识别系统，用于对硅藻的检验，包括数据采集模块，用于对待检验的组织样本进行自动化图片采集及图片分割，以获取组织样本对应的多张电子注入图片作为训练数据样本并输出；数据扩充模块，连接数据采集模块，用于基于预定的样本扩增方法对输入的训练数据样本进行样本数量扩增；模型迭代训练模块，连接训练数据扩充模块，用于基于训练数据样本，和/或外部输入的训练样本，并采用深度学习方法进行迭代训练形成深度学习模型；识别模块，连接模型迭代训练模块，用于基于深度学习模型对输入的电子注入图片进行硅藻成分检验，本发明实现了硅藻检验的全自动化，提高了硅藻检验的准确度。

Description

基于深度学习的法医学检验自动化识别系统及识别方法

技术领域

本发明涉及法医学检验技术领域，尤其涉及一种基于深度学习的用于对硅藻进行法医医学检验的自动化识别系统及识别方法。

背景技术

在法医学实践中，硅藻检验是诊断溺死的主要技术手段，其阳性检验结果甚至可以作为诊断溺死的金标准。硅藻作为一种淡水或海水中常见的微生物，可在人体溺水过程中经呼吸道吸入并循环分布于不同的组织器官中，比如分布在肺、肝、脾、肾及骨髓等部位。由于硅藻壳体具有较强的耐酸性，在人体中存留不易被完全腐蚀，因此常规的硅藻检验主要应用强酸消化法去除组织有机质形成消化悬液，并将消化悬液涂片后再用显微镜观察是否存在硅藻成分。

然而上述常规的硅藻检验方法仍然依赖于人工肉眼观察、识别，检验准确率很大程度上取决于个人检验经验，检验准确率无法得到有效保证。同时由于硅藻体积小，在组织样本中通常分布稀少，检验人员需要花费大量的时间通过人工观察去寻找硅藻成分，而且检验结果时常出现假阳性或者假阴性。此外，组织切片由于具备强酸性，往往难以进行长期保存，这些都对往后的案件调取、复查带来了影响和不便。

发明内容

本发明的目的在于提供一种基于深度学习的法医学检验自动化识别系统，通过该自动化识别系统，可自动识别对应组织样本的电子注入图片中是否存在硅藻成分，整个识别过程无需人工介入，真正实现了识别过程的全自动化，有效提高了硅藻检验的准确度。

本发明解决其技术问题采取的技术方案是，提供一种基于深度学习的法医学检验自动化识别系统，应用于一自动化扫描系统中，用于对硅藻进行检验，包括：

数据采集模块，用于对所述自动化扫描系统扫描得到的多个载体样本图片进行图片处理，以获取所述载体样本对应的多张电子注入图片作为深度学习的训练数据样本并输出；

数据扩充模块，连接所述数据采集模块，用于对输入的所述训练数据样本进行样本扩充得到扩充样本，并采用所述扩充样本和所述训练数据样本，构建训练样本数据库；

模型迭代训练模块，连接所述数据扩充模块，用于基于所述训练样本数据库，采用深度学习方法对一预设的神经网络模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

识别模块，分别连接所述数据采集模块和所述模型迭代训练模块，用于对所述自动化扫描系统扫描得到的待检验的所述载体样本图片进行处理得到电子注入图片，并基于所述深度学习模型对待检验的所述电子注入图片进行逐区域的硅藻检验，并输出识别结果。

作为本发明的一种优选方案，所述数据采集模块具体包括：

图片分割单元，用于对所述电子注入图片进行图片区域的自动分割；

人工标注单元，连接所述图片分割单元，提供给专业人员对所述电子注入图片上被分割的各个图片区域内对硅藻进行人工辨认和标注，输出经过标注的所述电子注入图片作为所述训练数据样本。

作为本发明的一种优选方案，所述数据扩充模块包括：

扩充单元，用于根据所述训练数据样本，采用预设的扩充方法进行扩充得到所述扩充样本；

对抗生成单元，用于根据所述训练数据样本，采用对抗生成网络的方式进行扩充得到所述扩充样本。

作为本发明的一种优选方案，预设的扩充方法包括：

对所述训练数据样本进行图片随机翻转；和/或

对所述训练数据样本进行图片扣取；和/或

对所述训练数据样本进行图片尺度的变换；和/或

对所述训练数据样本进行图片对比度的变换。

作为本发明的一种优选方案，所述识别模块中还包括一标记单元，所述标记单元根据所述深度学习模型的输出数据，对经过深度学习模型所识别的输出数据进行人工确认，以保证识别模块输出的准确性，在经过确认的电子注入图片上标记处含有硅藻的区域位置，并将标记的电子注入图片作为所述识别结果输出。

作为本发明的一种优选方案，所述识别模块还包括一截取模块，连接所述标记单元，用于截取标记后的电子注入图片中含有硅藻的区域位置作为截取图片，并将所述截取图片作为所述识别结果输出。

本发明还提供了一种基于深度学习的法医学检验自动化识别方法，通过应用所述的自动化识别系统实现；

所述法医学检验自动化识别方法包括一模型训练的步骤，包括：

步骤A1，所述自动化识别系统获取作为深度学习的所述训练数据样本，并对获取的所述训练数据样本进行样本扩充得到扩充样本，并采用所述扩充样本和所述训练数据样本，构建训练样本数据库；

步骤A2，所述自动化识别系统基于所述训练样本数据库，采用深度学习方法对预设于所述自动化识别系统中的一神经网路模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

所述法医学检验自动化识别方法还包括一自动识别的步骤，包括：

步骤B1，所述自动化识别系统对所述自动化扫描系统扫描得到的待检验的所述载体样本图片进行处理得到待检验的所述电子注入图片；

步骤B2，所述自动化识别系统基于所述深度学习模型对待检验的所述电子注入图片进行逐区域的硅藻检验，并输出识别结果。

作为本发明的一种优选方案，所述步骤A1中的所述自动化识别系统对所述训练数据样本进行样本扩充的方法包括：

对所述训练数据样本进行图片随机翻转；和/或

对所述训练数据样本进行图片扣取；和/或

对所述训练数据样本进行图片尺度的变换；和/或

对所述训练数据样本进行图片对比度的变换。

作为本发明的一种优选方案，所述步骤B2中，所述自动化识别系统根据所述深度学习模型的输出数据，在经过识别的所述电子注入图片上自动标记出含有硅藻的区域位置；

在所述电子注入图片上自动标记出含有硅藻的所述区域位置后，所述自动化识别系统将截取标记后的所述电子注入图片中含有硅藻的所述区域位置作为截取图片，并将所述截取图片作为所述识别结果输出。

与现有技术相比，本发明的有益效果是：

1、能够自动采集待检验的载体样本对应的电子注入图片，载体样本的保存形式由载片改变为电子数据，克服了载片实体无法长期保存的缺陷，有利于办案人员对检验素材的后续调取和复检；

2、能够基于输入的训练数据样本，并采用深度学习方法，迭代训练生成多个深度学习模型，并在多个深度学习模型中筛选出识别准确度最高、识别速度最快的最优的深度学习模型，提高了硅藻检验的识别准确度和识别效率；

3、能够自动扩增训练数据样本的数量，以训练形成具备高识别率的深度学习模型，进而提高硅藻检验的准确度。

附图说明

图1是本发明实施例提供的自动化识别系统的内部结构示意图；

图2是本发明实施例提供的自动化识别系统中的数据采集模块的内部结构示意图；

图3是本发明实施例提供的自动化识别系统中的数据扩充模块的内部结构示意图；

图4是本发明实施例提供的自动化识别系统中的识别模块的内部结构示意图；

图5是应用本发明实施例提供的自动化识别系统实现对硅藻检验的自动化识别方法中的训练深度学习模型的方法步骤图；

图6是应用本发明实施例提供的自动化识别系统实现对硅藻检验的自动化识别的方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

请参照图1，本发明实施例提供的一种基于深度学习的法医学检验自动化识别系统，应用于一自动化扫描系统中，用于对硅藻进行检验，包括：

数据采集模块1，用于对自动化扫描系统扫描得到的多个载体样本图片进行图片处理，以获取载体样本对应的多张电子注入图片作为深度学习的训练数据样本并输出；

数据扩充模块2，连接数据采集模块1，用于对输入的训练数据样本进行样本扩充得到扩充样本，并采用扩充样本和训练数据样本构建训练样本数据库；

模型迭代训练模块3，连接数据扩充模块2，用于基于训练样本数据库，并采用深度学习方法对一预设的神经网络模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

识别模块4，分别连接数据采集模块1和模型迭代训练模块3，用于对自动化扫描系统扫描得到的待检验的载体样本图片进行处理得到待检验的电子注入图片，并基于深度学习模型对待检验的电子注入图片进行逐区域的硅藻检验，并输出识别结果。

请参照图2，自动化识别系统中的数据采集模块1中具体包括：

图片分割单元11，用于对电子注入图片进行图片区域的分割；

人工标注单元12，连接图片分割单元11，提供给专业人员对电子注入图片上被分割的各个图片区域内对硅藻进行人工辨认和标注，输出经过标注的电子注入图片作为训练数据样本。

请参照图3，数据扩充模块2中包括：

扩充单元21，用于根据训练数据样本，采用预设的扩充方法进行扩充得到扩充样本；

对抗生成单元22，用于根据训练数据样本，采用对抗生成网络的方式进行扩充得到扩充样本。

上述技术方案中，需要说明的是，载体样本通常由含有硅藻成分的人体或动物的肺、肝、脾、骨髓等组织样本通过应用法医学实践中常用的化学消化法消解组织样本制备而得。检验人员可在微观环境下对载体样本进行观察、检验。含有硅藻的载体样本可以通过实际法医学溺死案例中获取，也可以通过不含硅藻的组织样本与含有硅藻的水样按一定比例进行混合制得，其中硅藻水样可由检验人员自行抚育、培养，也可以直接购买市面上存在的商用标准品。

上述技术方案中，数据采集模块1优选为显微镜及电镜自动化图片采集系统和切片扫描系统，显微镜及电镜自动化图片采集系统和切片扫描系统可直接对载体样本进行自动化图片采集及图片分割，以获取载体样本对应的多张电子注入图片作为深度学习的训练数据样本并输出给数据扩充模块2。

由于训练数据样本的数量直接关系到深度学习模型的构建，进而影响到本发明实施例提供的自动化识别系统对硅藻的识别精度，所以为了解决训练数据样本数量不足的技术问题，本发明实施例提供的自动化识别系统通过数据扩充模块2，并基于预设的样本扩充方法，能够对输入的训练数据样本进行样本扩充得到扩充样本，并将扩充后的扩充样本和扩充前的训练数据样本进行集和并搭建一训练样本数据库。

上述技术方案中，样本扩充方法包括：

对输入的训练数据样本进行图片随机翻转；和/或

对训练数据样本进行图片扣取；和/或

对训练数据样本进行图片尺度的变换；和/或

对训练数据样本进行图片对比度的变换；和/或

对训练数据样本进行图片噪声扰动处理；和/或

对训练数据样本进行图片中的各像素值进行主成分分析(FancyPCA)。上述的图片随机翻转、扣取、尺度变换、对比度变换、噪声扰动处理以及对图片中的各像素值进行主成分分析等样本扩充方法均为现有技术，上述各种图片处理方法的详细处理原理在此不作详细阐述。另外，本技术方案中，还通过应用生成性对抗人工神经网络技术(GenerativeAdversarial networks，GAN)实现对训练数据样本的扩充。需要说明的是，生成性对抗人工神经网络技术是现有技术，其实现对训练数据样本的扩充方法简述如下：

生成性对抗人工神经网络算法通过样本生成模型和样本鉴别模型两个架构模型实现对训练数据样本的扩充。其中样本生成模型主要根据输入的真实的训练数据样本的图片结构特征产生对应的虚拟的图片数据，样本鉴别模型用于区分样本生成模型虚拟出的图片和虚拟前的真实图片上的图片特征。随着样本生成模型和鉴别模型两个模型的训练次数的增加，最终样本鉴别模型难以对样本生成模型虚拟出的图片和真实图片进行有效区分，最终实现图片数据也就是训练数据样本的扩充。生成性对抗人工神经网络技术实现对训练数据样本扩增的方法属于现有技术，并且也不是本发明要求保护的范围，所以关于生成性对抗人工神经网络技术实现对训练数据样本的扩充方法在此不再作详细阐述。

上述技术方案中，模型迭代训练模块3基于训练样本数据库，并采用深度学习方法对一预设的神经网络模型进行迭代训练的深度学习方法为基于深度学习的人工神经网络算法，人工神经网络算法为现有技术中存在的智能学习算法。人工神经网络算法采用的模型架构包括AlexNET、VggNet、ResNet及GoogleNet等，AlexNET、VggNet、ResNet及GoogleNet为现有技术中存在的深度学习模型架构。本技术方案中，迭代训练深度学习模型的具体方法为：

首先将从训练样本数据库中获取的训练数据样本按3:1的比例分别划分为训练校正数据和验证数据。然后将训练校正数据输入到上述的深度学习模型架构中进行迭代训练，并分别设置损失函数及反向传播误差优化器，并对生成的深度学习模型中的各权重参数进行实时调整。然后将每次迭代产生的深度学习模型用于对验证数据的预测，根据其预测的准确率、交叉熵以及感受性曲线下方的面积大小(AUC值)对模型的效能、泛化能力等指标进行评估，最终得到预测效能最好也就是识别准确率最佳的深度学习模型。

另外，为了增加深度学习模型的收敛性，本发明还引入了迁移学习技术，即将经过其他海量数据预训练的识别模型直接用于硅藻识别的训练。本发明引入的迁移学习技术为现有技术，由于迁移学习技术中引入的识别模型作为起始模型已对常规的含有硅藻成分的图片结构有了一定的深刻认识，因此，其获得最佳识别模型的时间将远远缩短。此外，随着外部新的训练样本的加入，经硅藻训练的识别模型还可作为起始模型进行延续性训练，使得识别模型的鲁棒性不断提高。

为了得到识别结果，请参照图4，本发明实施例提供的自动化识别系统中的识别模块4内部还包括一标记单元41，标记单元41根据深度学习模型的输出数据，在经过识别的电子注入图片上标记出含有硅藻的区域位置，并将标记后的电子注入图片作为识别结果输出。

为了实现对电子注入图片中含有硅藻的区域位置进行图片自动截取，请参照图4，识别模块中还包括一截取单元42，连接标记单元41，用于截取标记后的电子注入图片中含有硅藻的区域位置作为截取图片，并将截取图片作为识别结果输出。

本发明还提供一种基于深度学习的法医学检验自动化识别方法，通过应用所述自动化识别系统实现；

请参照图5，法医学检验自动化识别方法包括模型训练的步骤，包括：

步骤A1，自动化识别系统获取作为深度学习的训练数据样本，并对获取的训练数据样本进行样本扩充得到扩充样本，并采用扩充样本和训练数据样本，构建训练样本数据库；

步骤A2，自动化识别系统基于训练样本数据库，采用深度学习方法对预设于自动化识别系统中的一神经网络模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

请参照图6，法医学检验自动化识别方法还包括一自动识别的步骤，包括：

步骤B1，自动化识别系统对自动化扫描系统扫描得到的待检验的载体样本图片进行处理得到待检验的电子注入图片；

步骤B2，自动化识别系统基于深度学习模型对待检验的电子注入图片进行逐区域的硅藻检验，并输出识别结果。

上述技术方案中，步骤A1中所述的自动化识别系统对训练数据样本进行扩充的方法包括：

对输入的训练数据样本进行图片随机翻转；和/或

对训练数据样本进行图片扣取；和/或

对训练数据样本进行图片尺度的变换；和/或

对训练数据样本进行图片对比度的变换；和/或

对训练数据样本进行图片噪声扰动处理；和/或

对训练数据样本进行图片中的各像素值进行主成分分析(FancyPCA)。

于本发明实施例的一种优选方案中，步骤B2中，自动化识别系统根据深度学习模型的输出数据，在经过识别的电子注入图片上自动标记出含有硅藻的区域位置；

在电子注入图片上自动标记出含有硅藻的区域位置后，自动化识别系统将截取标记后的电子注入图片中含有硅藻的区域位置作为截取图片，并将截取图片作为识别结果输出。

上述技术方案中，步骤A1中的所述深度学习方法优选为现有技术中存在的基于深度学习的人工神经网络算法，利用人工神经网络算法进行深度学习模型的迭代训练方法属于现有技术中存在的方法，其具体训练过程在此不作详细阐述。

综上，本发明能够迭代训练用于对硅藻进行识别的深度学习模型，实现了对硅藻的自动化识别检验，提高了硅藻识别的识别效率和识别准确度；另外，传统的人工检验方式在检验完毕后需要对载体样本进行保存，而由于载体样本通常具备强酸性不利于长期保存，本发明仅需对载体样本对应的电子注入图片进行保存，保存方式更加灵活、方便，有利于检验人员日后对载体样品的电子化复检。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种基于深度学习的法医学检验自动化识别系统，应用于一自动化扫描系统中，用于对硅藻进行检验，其特征在于，包括：

数据采集模块，用于对所述自动化扫描系统扫描得到的多个载体样本图片进行图片处理，以获取所述载体样本对应的多张电子注入图片作为深度学习的训练数据样本并输出；

数据扩充模块，连接所述数据采集模块，用于对输入的所述训练数据样本进行样本扩充得到扩充样本，并采用所述扩充样本和所述训练数据样本构建训练样本数据库；

模型迭代训练模块，连接所述数据扩充模块，用于基于所述训练样本数据库，采用深度学习方法对一预设的神经网络模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

识别模块，分别连接所述数据采集模块和所述模型迭代训练模块，用于对所述自动化扫描系统扫描得到的待检验的所述载体样本图片进行处理得到待检验的电子注入图片，并基于所述深度学习模型对待检验的所述电子注入图片进行逐区域的硅藻检验，并输出识别结果。

2.如权利要求1所述的自动化识别系统，其特征在于，所述数据采集模块具体包括：

图片分割单元，用于对所述电子注入图片进行图片区域的自动分割；

人工标注单元，连接所述图片分割单元，提供给专业人员对所述电子注入图片上被分割的各个图片区域内对硅藻进行人工辨认和标注，输出经过标注的所述电子注入图片作为所述训练数据样本。

3.如权利要求1所述的自动化识别系统，其特征在于，所述数据扩充模块包括：

扩充单元，用于根据所述训练数据样本，采用预设的扩充方法进行扩充得到所述扩充样本；

对抗生成单元，用于根据所述训练数据样本，采用对抗生成网络的方式进行扩充得到所述扩充样本。

4.如权利要求3所述的自动化识别系统，其特征在于，预设的扩充方法包括：

对所述训练数据样本进行图片随机翻转；和/或

对所述训练数据样本进行图片扣取；和/或

对所述训练数据样本进行图片尺度的变换；和/或

对所述训练数据样本进行图片对比度的变换。

5.如权利要求1所述的自动化识别系统，其特征在于，所述识别模块中还包括一标记单元，所述标记单元根据所述深度学习模型的输出数据，对经过深度学习模型所识别的输出数据进行人工确认，以保证识别模块输出的准确性，在经过确认的电子注入图片上标记处含有硅藻的区域位置，并将标记的电子注入图片作为所述识别结果输出。

6.如权利要求5所述的自动化识别系统，其特征在于，所述识别模块还包括一截取单元，连接所述标记单元，用于截取标记后的电子注入图片中含有硅藻的区域位置作为截取图片，并将所述截取图片作为所述识别结果输出。

7.一种基于深度学习的法医学检验自动化识别方法，其特征在于，通过应用如权1-6任意一项所述的自动化识别系统实现；

所述医学检验自动化识别方法包括一模型训练的步骤，包括：

步骤A1，所述自动化识别系统获取作为深度学习的所述训练数据样本，并对获取的所述训练数据样本进行样本扩充得到扩充样本，并采用所述扩充样本和所述训练数据样本，构建训练样本数据库；

步骤A2，所述自动化识别系统基于所述训练样本数据库，采用深度学习方法对预设于所述自动化识别系统中的一神经网路模型进行迭代训练，并最终训练形成一用于对硅藻进行识别的深度学习模型；

所述法医学检验自动化识别方法还包括一自动识别的步骤，包括：

步骤B1，所述自动化识别系统对所述自动化扫描系统扫描得到的待检验的所述载体样本图片进行处理得到待检验的所述电子注入图片；

步骤B2，所述自动化识别系统基于所述深度学习模型对待检验的所述电子注入图片进行逐区域的硅藻检验，并输出识别结果。

8.如权利要求7所述的自动化识别方法，其特征在于，所述步骤A1中的所述自动化识别系统对所述训练数据样本进行样本扩充的方法包括：

对所述训练数据样本进行图片随机翻转；和/或

对所述训练数据样本进行图片扣取；和/或

对所述训练数据样本进行图片尺度的变换；和/或

对所述训练数据样本进行图片对比度的变换。

9.如权利要求7所述的自动化识别方法，其特征在于，所述步骤B2中，所述自动化识别系统根据所述深度学习模型的输出数据，在经过识别的所述电子注入图片上自动标记出含有硅藻的区域位置；

在所述电子注入图片上自动标记出含有硅藻的所述区域位置后，所述自动化识别系统将截取标记后的所述电子注入图片中含有硅藻的所述区域位置作为截取图片，并将所述截取图片作为所述识别结果输出。