CN112826449A - 一种基于自动识别的黄疸分诊信息分析方法及系统 - Google Patents

Abstract

本发明涉及医疗技术领域，具体涉及一种基于自动识别的黄疸分诊信息分析方法及系统，本发明对图像数据清洗，丢弃不具备婴儿黄疸情况信息或者图片自身条件较差的图片数据；将图片转换为HSV空间，滤波后通过HSV空间的V分量判定进入全局亮度调整并做公式变换处理；通过给定若干阈值或划分全身和局部分类的方式对处理后的图片进行子类划分；将划分的各个子类进行独立训练，获得不同模型参数；调取对应的模型数据，并将处理后的图片输入模型计算，得到无黄疸概率、生理性黄疸概率和病理性黄疸概率。本发明将AI技术应用于婴儿健康领域，通过图形数据处理和优化模型结构，简化了新生儿黄疸判断的过程，提升了对新生儿黄疸初步判断的准确率。

Description

一种基于自动识别的黄疸分诊信息分析方法及系统

技术领域

本发明涉及医疗技术领域，具体涉及一种基于自动识别的黄疸分诊信息分析方法及系统。

背景技术

目前普通用户主要依赖于肉眼观察来判断新生儿是否具有黄疸症状，由于普通用户，特别是头胎父母，缺乏经验，无法做出准确的判断，不适合的环境光、缺乏经验等因素，都可能会导致未能正确识别黄疸，或错误区分生理性黄疸和病理性黄疸。从而导致父母没有采用正确的方式来对待新生儿，既有可能导致延误治疗，也有可能导致浪费无谓的时间精力以及医疗资源。

现在主流神经网络模型在图像识别中的应用一般具有较大的深度，运行代价高、速度慢。且由于这些模型在训练中的数据来源为大量通用场景，数据极为宽泛。而且黄疸识别的场景中，婴儿图片往往会由于背景光不通、衣服覆盖等原因，导致识别错误。

所以目前各种广泛应用的深度神经网络模型直接应用到黄疸识别中会出现较大偏差，在最初简单应有现有主流神经网络的试验中，准确率和召回率均低于70％，无法为用户提供有价值的判断依据，无法应用于市场。

发明内容

针对现有技术的不足，本发明公开了一种基于自动识别的黄疸分诊信息分析方法及系统，用于解决现有技术中，将深度神经网络模型直接应用到黄疸识别中出现较大偏差的问题，以及在现有主流神经网络的试验中，准确率和召回率均低于判定要求，无法为用户提供有价值的判断依据，无法应用于市场的问题。

本发明通过以下技术方案予以实现：

第一方面，本发明公开了一种基于自动识别的黄疸分诊信息分析方法，包括以下步骤：

S1获取批量覆盖各种不同光源条件、黄疸病例和非黄疸病例的具有临床价值的分诊图片数据；

S2进入数据清洗，丢弃不具备婴儿黄疸情况信息或者图片自身条件较差的图片数据；

S3将图片转换为HSV空间，滤波后通过HSV空间的V分量判定进入全局亮度调整并做公式变换处理；

S4通过给定若干阈值或划分全身和局部分类的方式对处理后的图片进行子类划分；

S5构建网络模型，将划分的各个子类进行独立训练，获得不同模型参数；

S6调取对应的模型数据，并将处理后的图片输入模型计算，得到无黄疸概率、生理性黄疸概率和病理性黄疸概率。

更进一步的，所述方法中，进行数据清洗时，数据标注内容包括黄疸情况、新生儿出生小时数和实测血胆红素值。

更进一步的，所述方法中，在HSV空间的V分量上利用局部均值直方图指标进行判定是否需要进行全局亮度调整，判断逻辑为：先去除噪声，在V(0-255)分量人脸图像采用8*8小窗口遍历整个图像，求得该窗口里像素的均值，若此均值在区间[55，240]外，则认为该局部区域为过曝光区域，以此遍历整个V分量并统计过曝光区域个数，最终除以总的遍历次数得到最终评判指标；若该指标大于预先设定的阈值则该图片将进行全局亮度调整。

更进一步的，所述方法中，全局亮度调整时，对图像整体的v分量进行以下公式变换：

所有图像进行以下变换以削弱高光和阴影：

更进一步的，所述方法中，图片子类划分时，给定若干阈值，进行日龄段的划分，身体部位划分为全身和局部两类，局部类别中划分为下肢、上肢、胸腹、背部和头部。

更进一步的，所述方法中，对每个子类的数据，将图片数据及对应的标注数据划分成训练集和测试集，进行多轮迭代，选取产生过拟合之前的参数作为最终的模型参数。

更进一步的，所述方法中，模型计算时包括以下步骤：

T1输入婴儿照片和婴儿日龄；

T2判断此照片为婴儿全身照片的概率P1，如果P1大于指定阈值认定为全身子类；

T3如果P1小于指定阈值，则判断此照片为下肢、上肢、胸腹、背部、头部的概率P2、P2、P4、P5、P6。选取其中最大者，即max(P2,P2,P4,P5,P6)作为Px，如果Px大于指定阈值，则认定为相应的局部子类；

T4如果Px小于指定阈值，则认定为无效图片；

T5进行图片处理，处理后的图片作为待输入数据；

T6依据前述步骤判断出来的相应子类及婴儿日龄，调取对应的模型数据

T7将处理后的图片输入模型进行计算，求得无黄疸概率、生理性黄疸概率、病理性黄疸概率。

第二方面，本发明公开一种基于自动识别的黄疸分诊信息分析系统，所述分析系统用于执行第一方面所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，包括

提供用户输入功能，进行数据读取和存储的数据准备模块；

依据逻辑进行图像处理，并将处理后的图片进行保存的图像处理模块；

为各图片指定日龄及身体部位的子类划分模块；

使用tensor flow进行深度学习计算工作，构建出模型结构的模型训练模块；

接受用户输入的婴儿照片及日龄的黄疸识别模块。

更进一步的，所述数据准备模块以文件和http方式来指定原始图片输入位置，系统可以展示图片，并对图片进行缩放、旋转处理，并将读取到的图片进行压缩后存入系统，对每个图片被赋予一个独立且全局唯一的ID号；

所述图像处理模块进行数据处理的步骤包括空间变换、滤波、直方图判定、全局亮度调整、高光及阴影削弱；

所述子类划分模块通过操作人员对图片直接指定的方式来完成标注，或通过读取符合标准的文件来完成图片标注，对图片完成子类划分以后具有构建索引的能力，如果图片子类划分被更新，或者加入新的图片，索引通过自动或手动更新，更新过程对增量或者被更新的部分数据进行计算，所述子类划分模块可接受上游模块的数据，或从数据平台中读取数据，产生的子类信息存入数据平台；

所述模型训练模块使用tensorflow进行深度学习计算工作，构建出模型结构，依据子类划分模块构建的索引，按类别读取图片及日龄，并对数据进行shuffle处理，依据比例，划分训练集和测试集，进行多轮迭代，并展示各次迭代以后的性能参数。

所述黄疸识别模块首先判定是否为合格照片及所属子类，在确定子类以后，依据日龄调取对应模型参数，进行黄疸识别，并给出最终计算结果。

更进一步的，所述图像处理模块中，空间变换、滤波在系统中实现为预处理单元，其余各步骤分别独立构成计算单元，可接受上游模块的直接数据，或从数据平台中直接读取数据；并将进行处理后的图像存入数据平台，处理后的图像数据和原始数据共享全局ID号。

本发明的有益效果为：

本发明将AI技术应用于婴儿健康领域，通过图形数据处理和优化模型结构，简化了新生儿黄疸判断的过程，提升了对新生儿黄疸初步判断的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种基于自动识别的黄疸分诊信息分析方法的原理步骤图；

图2是一种基于自动识别的黄疸分诊信息分析系统的原理框图；

图3是本发明实施例图像处理模块的各单元原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开如图1所示的一种基于自动识别的黄疸分诊信息分析方法，包括以下步骤：

S1获取批量覆盖各种不同光源条件、黄疸病例和非黄疸病例的具有临床价值的分诊图片数据；

S2进入数据清洗，丢弃不具备婴儿黄疸情况信息或者图片自身条件较差的图片数据；

S3将图片转换为HSV空间，滤波后通过HSV空间的V分量判定进入全局亮度调整并做公式变换处理；

S4通过给定若干阈值或划分全身和局部分类的方式对处理后的图片进行子类划分；

S5构建网络模型，将划分的各个子类进行独立训练，获得不同模型参数；

S6调取对应的模型数据，并将处理后的图片输入模型计算，得到无黄疸概率、生理性黄疸概率和病理性黄疸概率。

更进一步的，所述方法中，进行数据清洗时，数据标注内容包括黄疸情况、新生儿出生小时数和实测血胆红素值。

更进一步的，所述方法中，在HSV空间的V分量上利用局部均值直方图指标进行判定是否需要进行全局亮度调整，判断逻辑为：先去除噪声，在V(0-255)分量人脸图像采用8*8小窗口遍历整个图像，求得该窗口里像素的均值，若此均值在区间[55，240]外，则认为该局部区域为过曝光区域，以此遍历整个V分量并统计过曝光区域个数，最终除以总的遍历次数得到最终评判指标；若该指标大于预先设定的阈值则该图片将进行全局亮度调整。

更进一步的，所述方法中，全局亮度调整时，对图像整体的v分量进行以下公式变换：

所有图像进行以下变换以削弱高光和阴影：

更进一步的，所述方法中，图片子类划分时，给定若干阈值，进行日龄段的划分，身体部位划分为全身和局部两类，局部类别中划分为下肢、上肢、胸腹、背部和头部。

本实施中，在初始采集过程中，由于环境或者操作不当等原因，会有部分图片不具备婴儿黄疸情况信息，或者图片自身条件较差，这些图片应该被筛选出去。

本实施例中，图像处理，图像从RGB空间转换到HSV空间，使用如下滤波器进行滤波：

-1	-1	-1
			-1	9	-1
-1	-1	-1

在HSV空间的V分量上利用局部均值直方图指标进行判定是否需要进行全局亮度调整。

本实施例中，图片子类划分，主要依据新生儿日龄和身体部位进行图片子类划分。日龄即婴儿出生天数，给定若干阈值，进行日龄段的划分。身体部位首先划分为全身和局部两类，局部类别中进一步划分为下肢、上肢、胸腹、背部、头部。

各类别下图片集合采用同样的模型算法，但各自独立进行训练，获取不同的模型参数。

实施例2

本实施例公开一种网络模型，思维如下：

1设计有中间辅助层，辅助层产生输出，从而起到类似于正则项的效果。

2采用将池化层和卷积层并行的结构，从而降低特征图尺寸，也就是实现了降维。

3采用了BN方法

4整个网络设计基于Inception V3进行缩减和调整。

本实施例中，模型训练过程对第三步划分出来的各个子类进行独立训练，获得不同模型参数。

每个子类的数据，将图片数据及对应的标注数据划分成训练集和测试集，进行多轮迭代。选取产生过拟合之前的参数作为最终的模型参数。

本实施例中，模型识别包括以下步骤：

1输入婴儿照片和婴儿日龄

2判断此照片为婴儿全身照片的概率P1，如果P1大于指定阈值认定为全身子类

3如果P1小于指定阈值，则判断此照片为下肢、上肢、胸腹、背部、头部的概率P2、P2、P4、P5、P6。选取其中最大者，即max(P2,P2,P4,P5,P6)作为Px，如果Px大于指定阈值，则认定为相应的局部子类

4如果Px小于指定阈值，则认定为无效图片

5按照第二步描述的方法进行图片处理，处理后的图片作为待输入数据

6依据前述步骤判断出来的相应子类及婴儿日龄，调取对应的模型数据

7将处理后的图片输入模型进行计算，求得无黄疸概率、生理性黄疸概率、病理性黄疸概率

本实施例的效果如下：

如果将概率最高的情况视为判断结果，结果如下表所示。

需要说明的是，在该技术的应用场景下，召回率和准确率同样重要。

本实施例一个独特的神经网络模型。该模型较目前业内主流卷积神经网络模型规模较小，所以具有了更快的运行速度和更小的模型规模。同时为了在这个较小规模的模型网络上获取到更好的结果，针对本特定领域的数据进行了针对性的预处理和子类划分。整体结果具有更高的准确率和召回率。

实施例3

本实施例公开如图2所示的一种基于自动识别的黄疸分诊信息分析系统，细描述如下：

一_数据准备模块

主要提供用户输入功能，并具有数据读取和存储功能。

首先用户可以以文件和http方式来指定原始图片输入位置，系统可以展示图片，并可以对图片进行缩放、旋转、等处理。

该模块提供数据存储功能，读取到的图片被进行压缩后存入系统，每个图片被赋予一个独立且全局唯一的ID号。

这个模块中对图片的修改仅仅用于操作人员观察，不能存入到系统中。

二图像处理模块

该模块依据前述逻辑进行图像处理，并将处理后的图片进行保存。

主要步骤包括空间变换、滤波、直方图判定、全局亮度调整、高光及阴影削弱。

其中空间变换、滤波在系统中实现为预处理单元，其余各步骤分别独立构成计算单元。各单元设计如图3所示。

该模块支持批量处理和单图片处理两种方式。

该模块可以接受上游模块的数据，也可以从数据平台中读取数据；该模块会将进行处理后的图像存入数据平台。处理后的图像数据和原始数据共享全局ID号。

三子类划分模块

该模块提供了为各图片指定日龄及身体部位的能力。

可以通过操作人员对图片直接指定的方式来完成标注，也可以通过读取符合标准的文件来完成图片标注。

在对图片完成子类划分以后，该模块具有构建索引的能力，图片索引可以加快后续训练过程。

如果图片子类划分被更新，或者加入新的图片，索引可以自动或手动更新。更新过程不需要对完整的存量数据进行计算，仅需要对增量或者被更新的部分数据进行计算。

该模块可以接受上游模块的数据，也可以从数据平台中读取数据。产生的子类信息存入数据平台。

四模型训练模块

该模块使用tensor flow进行深度学习计算工作，构建出模型结构。

依据子类划分模块构建的索引，按类别读取图片及日龄，并对数据进行shuffle处理。依据比例，划分训练集和测试集，进行多轮迭代，并展示各次迭代以后的性能参数。

该模块可人工设置各个超参数。

最后由人工观察，抛弃过拟合参数集，选用最佳参数集作为模型的最终参数。

该模块可以接受上游模块的数据，也可以从数据平台中读取数据。计算出来的模型数据进行独立存放。

五黄疸识别模块

该模块接受用户输入的婴儿照片及日龄。

首先判定是否为合格照片及所属子类。在确定子类以后，依据日龄调取对应模型参数，进行黄疸识别，并给出最终计算结果。

示例如下

	准确率	召回率
			无黄疸	97％	94％
生理性黄疸	89％	91％
			病理性黄疸	93％	90％

该模块自行读取模型数据，计算结果不进行保存。

综上，本发明将神经网络技术应用于新生儿黄疸识别；对图片进行颜色校正和区域筛选；拍摄过程中对环境光的判断；将图片分解为多个子类分别进行模型训练；图片子类分解的标准；特定的模型结构。

本发明将AI技术应用于婴儿健康领域，通过图形数据处理和优化模型结构，简化了新生儿黄疸判断的过程，提升了对新生儿黄疸初步判断的准确率。

本发明不是用于对病理性黄疸的最终确诊。本发明主要是辅助父母对新生儿进行观察，从而简单、迅速、准确地确定新生儿是否有黄疸症状，以及是否生理性黄疸还是病理性黄疸。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法包括以下步骤：

S1获取批量覆盖各种不同光源条件、黄疸病例和非黄疸病例的具有临床价值的分诊图片数据；

S2进入数据清洗，丢弃不具备婴儿黄疸情况信息或者图片自身条件较差的图片数据；

S3将图片转换为HSV空间，滤波后通过HSV空间的V分量判定进入全局亮度调整并做公式变换处理；

S4通过给定若干阈值或划分全身和局部分类的方式对处理后的图片进行子类划分；

S5构建网络模型，将划分的各个子类进行独立训练，获得不同模型参数；

S6调取对应的模型数据，并将处理后的图片输入模型计算，得到无黄疸概率、生理性黄疸概率和病理性黄疸概率。

2.根据权利要求1所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，进行数据清洗时，数据标注内容包括黄疸情况、新生儿出生小时数和实测血胆红素值。

3.根据权利要求1所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，在HSV空间的V分量上利用局部均值直方图指标进行判定是否需要进行全局亮度调整，判断逻辑为：先去除噪声，在V(0-255)分量人脸图像采用8*8小窗口遍历整个图像，求得该窗口里像素的均值，若此均值在区间[55，240]外，则认为该局部区域为过曝光区域，以此遍历整个V分量并统计过曝光区域个数，最终除以总的遍历次数得到最终评判指标；若该指标大于预先设定的阈值则该图片将进行全局亮度调整。

4.根据权利要求3所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，全局亮度调整时，对图像整体的v分量进行以下公式变换：

所有图像进行以下变换以削弱高光和阴影：

5.根据权利要求1所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，图片子类划分时，给定若干阈值，进行日龄段的划分，身体部位划分为全身和局部两类，局部类别中划分为下肢、上肢、胸腹、背部和头部。

6.根据权利要求1所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，对每个子类的数据，将图片数据及对应的标注数据划分成训练集和测试集，进行多轮迭代，选取产生过拟合之前的参数作为最终的模型参数。

7.根据权利要求1所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，所述方法中，模型计算时包括以下步骤：

T1输入婴儿照片和婴儿日龄；

T2判断此照片为婴儿全身照片的概率P1，如果P1大于指定阈值认定为全身子类；

T3如果P1小于指定阈值，则判断此照片为下肢、上肢、胸腹、背部、头部的概率P2、P2、P4、P5、P6。选取其中最大者，即max(P2,P2,P4,P5,P6)作为Px，如果Px大于指定阈值，则认定为相应的局部子类；

T4如果Px小于指定阈值，则认定为无效图片；

T5进行图片处理，处理后的图片作为待输入数据；

T6依据前述步骤判断出来的相应子类及婴儿日龄，调取对应的模型数据

T7将处理后的图片输入模型进行计算，求得无黄疸概率、生理性黄疸概率、病理性黄疸概率。

8.一种基于自动识别的黄疸分诊信息分析系统，所述分析系统用于执行如权利要求1-7任一项所述的基于自动识别的黄疸分诊信息分析方法，其特征在于，包括

提供用户输入功能，进行数据读取和存储的数据准备模块；

依据逻辑进行图像处理，并将处理后的图片进行保存的图像处理模块；

为各图片指定日龄及身体部位的子类划分模块；

使用tensor flow进行深度学习计算工作，构建出模型结构的模型训练模块；

接受用户输入的婴儿照片及日龄的黄疸识别模块。

9.根据权利要求8所述的基于自动识别的黄疸分诊信息分析系统，其特征在于，所述数据准备模块以文件和http方式来指定原始图片输入位置，系统可以展示图片，并对图片进行缩放、旋转处理，并将读取到的图片进行压缩后存入系统，对每个图片被赋予一个独立且全局唯一的ID号；

所述图像处理模块进行数据处理的步骤包括空间变换、滤波、直方图判定、全局亮度调整、高光及阴影削弱；

所述子类划分模块通过操作人员对图片直接指定的方式来完成标注，或通过读取符合标准的文件来完成图片图片标注，对图片完成子类划分以后具有构建索引的能力，如果图片子类划分被更新，或者加入新的图片，索引通过自动或手动更新，更新过程对增量或者被更新的部分数据进行计算，所述子类划分模块可接受上游模块的数据，或从数据平台中读取数据，产生的子类信息存入数据平台；

所述模型训练模块使用tensorflow进行深度学习计算工作，构建出模型结构，依据子类划分模块构建的索引，按类别读取图片及日龄，并对数据进行shuffle处理，依据比例，划分训练集和测试集，进行多轮迭代，并展示各次迭代以后的性能参数。

所述黄疸识别模块首先判定是否为合格照片及所属子类，在确定子类以后，依据日龄调取对应模型参数，进行黄疸识别，并给出最终计算结果。

10.根据权利要求9所述的基于自动识别的黄疸分诊信息分析系统，其特征在于，所述图像处理模块中，空间变换、滤波在系统中实现为预处理单元，其余各步骤分别独立构成计算单元，可接受上游模块的直接数据，或从数据平台中直接读取数据；并将进行处理后的图像存入数据平台，处理后的图像数据和原始数据共享全局ID号。

Images