CN113378831B - 一种小鼠胚胎器官识别与评分方法与系统 - Google Patents

Abstract

本发明属于人工智能领域，具体涉及一种小鼠胚胎器官识别与评分方法与系统，方法包括以下步骤：采集不同时期的小鼠胚胎原始图像并进行人工标注；将小鼠胚胎原始图像和标注文件输入Mask‑RCNN网络进行训练得到器官识别模型；将标注后的图像中的器官从原图中截取下来，并将其及对应的评分作为训练集数据，分别对不同的卷积神经网络进行训练，得到可以对各个器官发育分别评分的图像评分模型；将待识别的小鼠胚胎原始图像输入器官识别模型中，输出图像中的所有器官；将所有器官从原图中截取下来，分别输入到图像评分模型，得到各个器官的发育评分；得到总评分。本发明可快速、准确地识别小鼠胚胎中的器官，并判断出每个器官当前的发育阶段。

Description

一种小鼠胚胎器官识别与评分方法与系统

技术领域

本发明属于人工智能辅助基础医学研究技术领域，具体涉及一种小鼠胚胎器官识别与评分方法与系统。

背景技术

胚胎毒性(Embryo toxicity)，主要是指由于各种化学物质对胚胎的发生与发育造成的损伤作用，产生胚胎发育障碍，导致出生缺陷，甚至停发育流产等临床结果。化学和工业生产的迅速发展给人类社会带来了长足的进步，但随之而来对自然环境造成了破坏与形成了污染，并且化学工艺伴随着很多新物质的产生，但是也使得许多原来无毒害的物质产生了毒性，同时化学生产活动中产生的副产物与废弃物排放至环境中，使得人们居住的现环境潜在有毒物质越来越多，其可能造成胚胎发育迟缓甚至发育畸形，造成沉重的社会与经济负担。而发育中的胚胎对环境中各种有害物质十分敏感，胚胎的毒性研究对环境、物种质量与数量等研究具有重要的意义。

在体外胚胎毒性研究中，啮齿类动物胚胎培养系统十分成熟，已经被用于许多毒理学研究。胚胎毒性研究需要仔细评估胚胎发育和精确估计胚胎的形态分化即需要精确的判断胚胎各个器官的发育是否滞后和异常。针对该问题，Van Maele-Fabry G等人于1990年对小鼠胚胎发育神经管形成过程相应器官的形态变化并相对量化了评分标准，相比与之前的评分方法取得了巨大的提高。后续的相关研究往往基于该评分标准。然而，该论文对于小鼠胚胎各个器官的发育评分主要是基于文字描述和与简略的黑白手绘图，如附图1所示。由于胚胎器官本身数量较多，此阶段的发育十分迅速，而且在胚胎发育前期阶段，尤其是器官发育的早期，其形态变化十分复杂，且多个器官在同一阶段发生复杂的形态学变化，但是对发育阶段的评价因其复杂性而十分主观，随着精准医学、精准分子等先进技术的开发，迫切需要有新的技术参与到对胚胎发育阶段的评价系统中，使得胚胎发育的极端得到精准判断。

现有技术中，小鼠胚胎的器官评分采用的基本是人工识别判断。人工识别判断本身有许多的问题：1. 对于胚胎发育评分需要实际操作人员具有相当的医学基础才能给出判断，而在当前普遍基础医学人员不足的情况下，人为去实现该工作的成本太大。 2. 人工判断本身具有较强的主观性，在实际工作中，往往出现不同研究人员之间的评分一致性不高的情况。 3. 人工识别的时间成本也是当前的问题，需要考虑采用新的方法提高效率。

因此，急需提出一种小鼠胚胎器官识别与评分方法与系统，以实现小鼠胚胎器官的智能化识别和评分。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种小鼠胚胎器官识别与评分方法与系统，以实现小鼠胚胎发育的准确、快速评分。

为了解决上述技术问题，本发明采用的技术方案为：一种小鼠胚胎器官识别与评分方法，包括以下步骤：

S1、采集不同时期的小鼠胚胎原始图像，通过人工标注的方式，对图像中的器官进行名称标注和发育评分；

S2、将小鼠胚胎原始图像和标注文件输入Mask-RCNN网络，利用Mask-RCNN网络进行训练，训练完成后得到可以识别图像各个器官的器官识别模型；

S3、将标注后的图像中的器官从原图中截取下来，并将各类器官的图像及其对应的评分单独作为训练集数据，分别通过一个卷积神经网络进行训练，训练完成后得到可以对各个器官进行发育评分的图像评分模型；

S4、将待识别的小鼠胚胎原始图像输入训练好的器官识别模型中，输出图像中的所有器官；

S5、将步骤S4得到的所有器官从原图中截取下来，分别输入到训练得到的对应器官的图像评分模型中，得到各个器官的发育评分；

S6、根据步骤S5得到的各个器官的发育评分，得到待识别图像的总评分。

所述步骤S3中，采用的卷积神经网络为ResNeSt卷积神经网络，得到了十五个器官发育评分分类模型。

所述步骤S3中，卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降，momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

所述步骤S4的具体步骤为：

S401、图像被输入到网络后，通过一个预训练好的卷积神经网络Resnet101对原始图像进行卷积操作，从大到小，自底向上生成不同尺寸的特征图，最上层的特征图再进行多次上采样；自底向上过程的特征图与和自身相同大小的上采样特征图进行横向连接，得到最后的融合特征图；

S402、通过RPN获取融合特征图，生成建议区域；

S403、通过ROI Align对特征图的不同点进行采样，并使用双线性插值法得到感兴趣区域，并进行最大池化操作，完成感兴趣区域的缩放；

S404、 缩放后的感兴趣区域输入到算法最后的分支网络，得到边界信息和类别信息。

此外，本发明还提供了一种小鼠胚胎器官识别与评分系统，包括：

图像采集模块：用于采集不同时期的胚胎图像，并用于对胚胎图像中的各个器官进行人工标注和评分；

器官识别模块：用于通过标注好的胚胎图像对Mask-RCNN网络进行训练，以得到器官识别模型；所述器官识别模型用于对待识别的胚胎图像进行识别，得到胚胎图像中的各个器官或组织，并将其从图像中截取，按类别保存；

图像分类模块：包括多个卷积神经网络模型，用于通过不同的胚胎器官图像对卷积神经网络模型进行分别训练，得到各个器官的图像评分模型，所述图像评分模型分别用于对不同的器官进行分类识别，得到其评分结果；

评分模块：用于将待识别胚胎图像的各个器官的评分进行综合计算，得到其综合评分。

所述的一种小鼠胚胎器官识别与评分系统，还包括：

标注模块：用于对采集的胚胎图像进行人工标注，标注时在图像上设置各个器官标注框和器官名称；

第一训练数据保存模块：用于将人工标注后的胚胎图像作为第一训练数据进行保存；

图像截取模块：用于根据胚胎图像中各个器官标注框的坐标，将各个器官从原胚胎图像中截取出来；

训练数据保存模块：用于将图像截取模块截取得到的各个器官的的图像作为第二训练数据，并分别保存到不同的文件夹。

所述的一种小鼠胚胎器官识别与评分系统，还包括：

Mask-RCNN网络训练模块：用于通过第一训练数据对Mask-RCNN网络进行训练；

卷积神经网络训练模块：用于通过第二训练数据对各个器官对应的卷积神经网络进行训练，训练时卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降， momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

进一步地，图像分类模块包括十五个ResNeSt卷积神经网络。

本发明与现有技术相比具有以下有益效果：本发明结合人工智能技术，提供了一种小鼠胚胎器官识别与评分方法与系统，将小鼠胚胎器官评分任务分成两阶段完成，第一阶段为获取小鼠胚胎图像中的可见器官，第二阶段为每个器官评分，即本发明通过两阶段的小鼠胚胎器官识别与评分，可以快速、准确地识别到一张小鼠胚胎中的器官，并判断出每个器官当前的发育阶段，给出对应的评分。因此，本发明可以快速精确地得到一张小鼠胚胎图的发育评分，大大减少基础医学工作者的工作负担，提高科研效率。

附图说明

图1为部分小鼠器官评分在Van Maele-Fabry G论文中的黑白图像及文字描述；

图2为本发明实施例提供的一种小鼠胚胎器官识别与评分方法的工作流程图；

图3为直接对器官+评分进行检测和单独对器官进行检测的对比，可以看出单独对器官检测可以很好的解决器官漏检的问题；

图4为针对67张小鼠胚胎图像的前脑、中脑、后脑三个部位进行测试后，直接使用传统的一阶段目标检测网络直接识别器官+评分的漏检图；

图5为针对67张小鼠胚胎图像的前脑、中脑、后脑三个部位进行测试后，直接使用目标检测网络单独识别器官后，成功识别到漏检框，有效地提升评分效果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图2所示，本发明实施例一提供了一种小鼠胚胎器官识别与评分方法，包括以下步骤：

S1、采集不同时期的小鼠胚胎原始图像，通过人工标注的方式，对图像中的器官进行名称标注和发育评分。标注时在图像上设置各个器官标注框和器官名称。

具体地，由体式显微镜拍摄得到的不同时期小鼠胚胎的图像，由专业的基础医学科研人员对每张胚胎图像的器官位置及其发育评分进行标注，标注文件保存到计算机本地。

首先，由专业的基础医学科研人员自行培养小鼠，待小鼠受孕后，根据发育天数去除胚胎，使用体式显微镜对不同时期的体外胚胎进行拍摄。拍摄到的图像保存到本地计算机上，由科研人员对器官和发育评分进行标注。

具体标注流程为，使用labelme软件在原始的小鼠胚胎图像中，对每一个能观测到的器官，都用一个矩形框将该器官紧密的框住，并对该矩形框进行命名，命名中包含了该器官的名称与该器官的发育评分，标注框的顶点坐标信息和命名会保存在特定格式的标注文件中。之后将所有小鼠胚胎图像和标注文件都上传到具有高性能计算能力的计算设备中。

S2、将不同时期的小鼠胚胎原始图像和标注文件作为训练集数据输入Mask-RCNN网络，利用Mask-RCNN网络进行训练，训练完成后得到各个器官的网络识别模型。

通过训练好的Mask-RCNN网络，可以在一张胚胎图像上检测到所有器官。本实施例中，由专业科研人员标注的图像作为器官识别模块的训练数据，图像数据和标注文件会上传到具有高性能计算能力的计算设备上进行训练。训练使用的深度学习算法是Mask-RCNN网络，通过训练得到用于小鼠胚胎器官检测的模型。将一张胚胎图像作为模型的输入，可以快速地获得一张已经标注出器官的胚胎图像。

S3、将标注后的图像中的器官从原图中截取下来，并将各类器官的图像及其对应的评分单独作为训练集数据，分别通过一个卷积神经网络进行训练，训练完成后得到各个器官的发育评分分类模型。

所述步骤S3中，采用的卷积神经网络为ResNeSt卷积神经网络，得到了十五个器官发育评分分类模型。ResNeSt卷积神经网络是2020年由亚马逊公司和加利福尼亚大学联合提出的网络，该网络是经典网络ResNet的改进版。使用该网络的好处在于：该网络提出了一种Split-Attention块，该模块可以将提取到的特征分散到若干个组中，每个组会根据全局信息选择一个适当的权重，得到有用的特征信息。根据论文的实验结果，该网络在图形分类任务中精度超过了之前所有的图像分类网络，在ImageNet数据集中实现了81,13%的top1准确度，同时，该网络在提升精度的同时，没有增加额外的计算量，同时保障了网络的准确度和精确度。

其中，各个卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降， momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

具体地，本实施例的ResNeSt卷积神经网络会为每个器官都训练一个模型，下面以训练小鼠前脑为例说明具体的训练过程：

a.网络的输入从每张图像中截取的小鼠前脑部分的图像，网络的输出是小鼠前脑的评分，共有6种分类，即1分到6分。网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠前脑的评分；

b.本实施例使用Nvidia V100型号的GPU训练ResNeSt网络，设置学习率为0.001，学习率的下降策略使用余弦下降，设置momentum动量为0.0001，设置每个batch大小为32，dropout ratio设置为0.2，以上述超参数训练直到最后的损失函数收敛。

c.收敛后，将训练好的模型保存到本地，以供后续评分使用。

其中，原始图像和标注文件作为器官识别模块的输入数据，通过Mask-RCNN算法训练，得到器官识别模型，该模型组成器官识别模型。后续，通过标注文件中的信息，可以将每张小鼠胚胎图像中的器官从原图中截取下来，并得到该器官的发育评分。将这个截取下来的图像按照器官类别存放，每个图像的评分类别标签即设置为其评分标签。每一类器官的图像单独作为训练集，通过ResNeSt算法训练，得到该器官的发育评分分类模型，这些模型组成图像分类模型。图像分类模型和器官识别模型都保存在高性能计算设备中。

S4、将待识别的小鼠胚胎原始图像输入训练好的Mask-RCNN网络中，利用Mask-RCNN网络输出图像中的所有器官。

Mask-RCNN是一个经典的实例分割算法，该算法于2017年在国际顶级会议ICCV获得了最佳论文奖，由Facebook的何凯明提出。该算法是在Faster-RCNN算法基础上进行的改进算法，在当时取得了目标检测的最高精度。在本发明中，精准检测到小鼠胚胎图像中的器官位置难度较低，因此使用较为成熟的Mask-RCNN网络进行识别。Mask-RCNN网络的算法流程的具体步骤为：

S401、图像被输入到网络后，通过一个预训练好的卷积神经网络Resnet101对原始图像进行卷积操作，从大到小，自底向上生成不同尺寸的特征图，最上层的特征图再进行多次上采样；自底向上过程的特征图与和自身相同大小的上采样特征图进行横向连接，得到最后的融合特征图；

S402、通过RPN获取融合特征图，生成建议区域；

S403、通过ROI Align对特征图的不同点进行采样，并使用双线性插值法得到感兴趣区域，并进行最大池化操作，完成感兴趣区域的缩放；

S404、 缩放后的感兴趣区域输入到算法最后的分支网络，得到边界信息和类别信息。

S5、将步骤S4得到的所有器官从原图中截取下来，分别输入到训练得到的对应器官的发育评分分类模型中，得到各个器官的发育评分。

S6、根据步骤S5得到的各个器官的发育评分，得到待识别图像的总评分。

进行图像识别与评分时，首先准备需要做评分的小鼠胚胎图像，图像经由一个上传文件的网页界面，上传到具有高性能计算能力的计算设备中。上传完成的图像先调用集成在计算设备中的器官识别模块，该模块使用Mask-RCNN算法从小鼠胚胎图像中识别到所有的器官。Mask-RCNN算法模型由专业的科研人员使用labelme软件标注的数据训练得到。Mask-RCNN模型检测到的器官会在图像中用一个矩阵框标注出来，输出该矩阵框的定点坐标。根据该矩阵框的顶点坐标，将该器官从原图中截取出来，按照类别存储。之后，每个类别的器官图像，分别输入到图像分类模块，每个类别的器官图像单独调用其对应的图像分类模型，得到每个器官的发育评分。得到的评分会输入到评分模块，评分模块计算出该图像的总评分，之后把含有标注框的图像、该图像所包含的器官名称和每个器官的发育评分、以及该图像的总评分一起返回到上传图像文件的网页界面上，展示最终的结果。

本发明实施例中，将小鼠胚胎评分任务划分为两个阶段：第一阶段使用Mask-RCNN网络，找到小鼠胚胎图像中的所有器官；第二阶段使用ResNeSt网络对每个器官的评分进行分类。这样做的主要原因是，如果将该任务作为一个一阶段任务，其类别太多，导致最后的结果精度不高，影响科研人员的研究。

如附图3中，图中a为直接对器官+评分进行识别，导致前脑漏检；而取消对评分识别后，下图成功检测出了前脑。

图4为使用377张图像作为训练集数据，对传统的一阶段目标检测网络（直接器官识别+评分）进行训练得到模型后，针对测试集67张小鼠胚胎图像的前脑、中脑、后脑三个部位进行测试，直接识别器官+评分的结果图。图5为使用相同的377张图像作为训练集数据，对本实施例的Mask-RCNN目标检测网络进行训练得到模型后，通过完成训练的模型对测试集67张小鼠胚胎图像的前脑、中脑、后脑三个部位进行测试的结果图，实验证明，通过本实施例的Mask-RCNN目标检测网络单独识别器官，可以成功识别到传统方法检测产生的漏检框。将67张小鼠胚胎图像的前脑、中脑、后脑进行测试后，直接识别器官并评分的方法与单独识别器官（本实施例）的漏检数进行对比，漏检结果如表1所示，实验证明，相比于前者，本发明的先单独检测出器官可以有效弥补漏检的问题，也就是说，本发明实施例可以有效地提升评分效果。

表1漏检结果对比

方法	漏检数
		同时检测器官+评分	24
单独检测器官	4

实施例二

如图2所示，本发明实施例二提供了一种小鼠胚胎器官识别与评分系统，包括：

图像采集模块：用于采集胚胎图像；

器官识别模块：用于通过标注好的胚胎图像对Mask-RCNN网络进行训练，以得到器官识别模型；所述器官识别模型用于对待识别的胚胎图像进行识别，得到胚胎图像中的各个器官或组织，并将其从图像中截取，按类别保存；

图像分类模块：包括多个卷积神经网络模型，用于通过不同的胚胎器官图像对卷积神经网络模型进行分别训练，得到各个器官的图像评分模型，所述图像评分模型分别用于对不同的器官进行分类识别，得到其评分结果；

评分模块：用于将待识别胚胎图像的各个器官的评分进行综合计算，得到其综合评分。

具体地，本实施例中，图形采集模块采集不同时期的小鼠胚胎图像。由体式显微镜拍摄得到的不同时期小鼠胚胎的图像，由专业的基础医学科研人员对每张胚胎图像的器官位置及其发育评分进行标注，标注文件保存到计算机本地。

本实施例中，图像分类模块针对每一个器官的所有图像，作为分类问题，单独训练一个卷积神经网络，使得该神经网络可以快速精确地判断出当前器官属于哪一个发育阶段。图像分类模块是由ResNeSt卷积神经网络训练得到的十五个器官评分分类的模型组成。由图像采集模块得到的胚胎标注图后，由于每个胚胎标注文件都有器官标注框的坐标信息和器官名称，因此，根据标注框的坐标将每个器官从原图中截取下来，并对其标注部分进行统一的截取，并且按照器官分类类别保存到不同的文件夹，这些分类后的图像作为图像分类模块的输入。ResNeSt网络得到输入图像后，会在具有高性能计算能力的计算设备上训练出高精度的网络模型。图像分类模块针对15个器官生成15个图像评分网络模型，图像分类模块与器官识别模块一同作用，为最终的评分模块服务。

本实施例中，器官识别模块得到一个可以在一张胚胎图像上检测到所有器官的网络模型。图形采集模块中由专业科研人员标注的图像作为器官识别模块的训练数据，图像数据和标注文件会上传到具有高性能计算能力的计算设备上进行训练。训练使用的深度学习算法是Mask-RCNN网络，通过训练得到用于小鼠胚胎器官检测的模型。将一张胚胎图像作为模型的输入，可以快速地获得一张已经标注出器官的胚胎图像。

本实施例中，评分模块可以得到一张小鼠胚胎图像中包含的所有器官和每个器官的发育评分。该模块要使用图像分类模块生成的图像分类模型以及器官识别模块。科研人员将需要评分的小鼠胚胎图像作为测评模块的输入，图像输入后先使用器官识别模型，器官识别模块会自动识别该图像中所有的器官，并将这些器官从原图中截取下来；获取到截取的器官图像后，不同器官的图像分别输入对应器官的分类模块，得到该器官的发育评分；获取到所有器官的评分后，测评模块会自动计算总的评分，最终将检测到的器官、每个器官的发育评分以后最终的总评分一起输出，完成评分功能。

进一步地，本实施例的一种小鼠胚胎器官识别与评分系统，还包括：

标注模块：用于对采集的胚胎图像进行人工标注，标注时在图像上设置各个器官标注框和器官名称；

第一训练数据保存模块：用于将人工标注后的胚胎图像作为第一训练数据进行保存；

图像截取模块：用于根据胚胎图像中各个器官标注框的坐标，将各个器官从原胚胎图像中截取出来；

第二训练数据保存模块：用于将图像截取模块截取得到的各个器官的的图像作为第二训练数据，并分别保存到不同的文件夹。

进一步地，本实施例的一种小鼠胚胎器官识别与评分系统，还包括：

Mask-RCNN网络训练模块：用于通过第一训练数据对Mask-RCNN网络进行训练；

卷积神经网络训练模块：用于通过第二训练数据对各个器官对应的卷积神经网络进行训练，训练时卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降， momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

具体地，本实施例中，所述图像分类模块包括十五个ResNeSt卷积神经网络。

本发明结合人工智能技术，提供了一种小鼠胚胎器官识别与评分方法与系统，将小鼠胚胎器官评分任务分成两阶段完成，第一阶段为获取小鼠胚胎图像中的可见器官，第二阶段为每个器官评分，即本发明通过两阶段的小鼠胚胎器官识别与评分，可以快速、准确地识别到一张小鼠胚胎中的器官，并判断出每个器官当前的发育阶段，给出对应的评分。其优点在于：

1.使用人工智能算法来代替传统的人工作业。传统的人工作业存在巨大的弊端，存在着人工成本过高、人工标注主观性的一致性问题以及时间成本高等问题。这些问题导致基础医疗研究的效率大打折扣，在研究人员不足的条件下，一定程度上影响到了科研项目的进展。

2.采用目标检测网络识别器官，然后使用图像分类网络进行评分分类的方法，而不是直接使用目标检测来做评分分类。如果把每一个器官的发育评分单独作为一个类别，理论上可以直接使用目标检测网络识别到每个器官的发育评分。但是，由于小鼠胚胎图像本身较为复杂，而且小鼠胚胎图像中有共计15个需要识别的器官，每个器官都具有4到6个发育评分，如果每个评分单独作为一个类别，需要识别的类别过多，可能会导致目标检测网络出现漏检和错检的情况。而且由于胚胎评分本身不能完全地匹配到一个连续发育的胚胎中（即当前胚胎发育本身可能处于两种评分之间的某个阶段，在人为进行标注时，也会遇到一些难以给出准确评分的情况）因此相比于误检，漏检的问题更为严重。如附图3中，上图为直接对器官+评分进行识别，导致前脑漏检；而取消对评分识别后，下图成功检测出了前脑。我们针对67张小鼠胚胎图像的前脑、中脑、后脑进行了测试，对比了直接使用目标检测网络识别器官+评分的漏检情况与单独识别器官的漏检情况，并统计出了两种方法的漏检数，结果如表1所示。可以直观地观察到，本文的方法可以有效地改善露肩漏检问题。因此，本发明中先使用目标检测网络识别到小鼠胚胎图像中的器官，再对每个器官的评分分类单独做出判断，可以得到更加精确的发育评分。

3.通过牺牲一定的计算成本和时间成本，换取更高的精确度。本发明中，针对每一个器官类别都训练了一个评分分类模型，这样的做法增加了计算成本和时间成本。如果只通过一个分类网络去对所有器官的发育评分进行分类，仍然存在着分类数量过多的问题，影响最终的精度；而且小鼠胚胎中的部分器官之间十分相似，也可能导致分类器出现错误分类。现代科学技术的发展，使得现在计算成本的代价大幅度降低，因此使用计算成本换取精确度更有助于研究本身。而时间成本即使在增加后，也可以在很短的时间内得出结果，因此时间成本可以忽略。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种小鼠胚胎器官识别与评分方法，其特征在于，包括以下步骤：

S1、采集不同时期的小鼠胚胎原始图像，通过人工标注的方式，对图像中的器官进行名称标注和发育评分；

S2、将小鼠胚胎原始图像和标注文件输入Mask-RCNN网络，利用Mask-RCNN网络进行训练，训练完成后得到可以识别图像各个器官的器官识别模型；

S3、将标注后的图像中的器官从原图中截取下来，并将各类器官的图像及其对应的评分单独作为训练集数据，分别通过一个卷积神经网络进行训练，训练完成后得到可以对各个器官进行发育评分的图像评分模型；

S4、将待识别的小鼠胚胎原始图像输入训练好的器官识别模型中，输出图像中的所有器官；

S5、将步骤S4得到的所有器官从原图中截取下来，分别输入到训练得到的对应器官的图像评分模型中，得到各个器官的发育评分；

S6、根据步骤S5得到的各个器官的发育评分，得到待识别图像的总评分。

2.根据权利要求1所述的一种小鼠胚胎器官识别与评分方法，其特征在于，所述步骤S3中，采用的卷积神经网络为ResNeSt卷积神经网络，得到了十五个器官发育评分分类模型。

3.根据权利要求2所述的一种小鼠胚胎器官识别与评分方法，其特征在于，所述步骤S3中，卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降，momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

4.根据权利要求1所述的一种小鼠胚胎器官识别与评分方法，其特征在于，所述步骤S4的具体步骤为：

S401、图像被输入到网络后，通过一个预训练好的卷积神经网络Resnet101对原始图像进行卷积操作，从大到小，自底向上生成不同尺寸的特征图，最上层的特征图再进行多次上采样；自底向上过程的特征图与和自身相同大小的上采样特征图进行横向连接，得到最后的融合特征图；

S402、通过RPN获取融合特征图，生成建议区域；

S403、通过ROI Align对特征图的不同点进行采样，并使用双线性插值法得到感兴趣区域，并进行最大池化操作，完成感兴趣区域的缩放；

S404、 缩放后的感兴趣区域输入到算法最后的分支网络，得到边界信息和类别信息。

5.一种小鼠胚胎器官识别与评分系统，其特征在于，包括：

图像采集模块：用于采集不同时期的胚胎图像，并用于对胚胎图像中的各个器官进行人工标注和评分；

器官识别模块：用于通过标注好的胚胎图像对Mask-RCNN网络进行训练，以得到器官识别模型；所述器官识别模型用于对待识别的胚胎图像进行识别，得到胚胎图像中的各个器官或组织，并将其从图像中截取，按类别保存；

图像分类模块：包括多个卷积神经网络模型，用于通过不同的胚胎器官图像对卷积神经网络模型进行分别训练，得到各个器官的图像评分模型，所述图像评分模型分别用于对不同的器官进行分类识别，得到其评分结果；

评分模块：用于将待识别胚胎图像的各个器官的评分进行综合计算，得到其综合评分。

6.根据权利要求5所述的一种小鼠胚胎器官识别与评分系统，其特征在于，还包括：

标注模块：用于对采集的胚胎图像进行人工标注，标注时在图像上设置各个器官标注框和器官名称；

第一训练数据保存模块：用于将人工标注后的胚胎图像作为第一训练数据进行保存；

图像截取模块：用于根据胚胎图像中各个器官标注框的坐标，将各个器官从原胚胎图像中截取出来；

训练数据保存模块：用于将图像截取模块截取得到的各个器官的的图像作为第二训练数据，并分别保存到不同的文件夹。

7.根据权利要求6所述的一种小鼠胚胎器官识别与评分系统，其特征在于，还包括：

Mask-RCNN网络训练模块：用于通过第一训练数据对Mask-RCNN网络进行训练；

卷积神经网络训练模块：用于通过第二训练数据对各个器官对应的卷积神经网络进行训练，训练时卷积神经网络的输入为截取的各个器官的图像，输出为对应器官的评分，评分共有6种分类，网络最后一层的softmax函数会输出对应评分的六个概率值，概率值最高的即为该张图像中小鼠对应器官的评分，网络的学习率为0.001，学习率的下降策略使用余弦下降， momentum动量设置为0.0001，每个batch大小设置为32，dropout ratio设置为0.2，训练直到最后的损失函数收敛。

8.根据权利要求5所述的一种小鼠胚胎器官识别与评分系统，其特征在于，图像分类模块包括十五个ResNeSt卷积神经网络。

Images