CN109815945B - 一种基于图像识别的呼吸道检查结果判读系统和方法 - Google Patents
一种基于图像识别的呼吸道检查结果判读系统和方法 Download PDFInfo
- Publication number
- CN109815945B CN109815945B CN201910256678.9A CN201910256678A CN109815945B CN 109815945 B CN109815945 B CN 109815945B CN 201910256678 A CN201910256678 A CN 201910256678A CN 109815945 B CN109815945 B CN 109815945B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- classification
- respiratory tract
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002345 respiratory system Anatomy 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 35
- 210000004027 cell Anatomy 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 16
- 239000012535 impurity Substances 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 9
- 210000005056 cell body Anatomy 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013145 classification model Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 238000002073 fluorescence micrograph Methods 0.000 claims 2
- 238000012795 verification Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像识别的呼吸道检查结果判读系统和方法，呼吸道检查结果判读系统，包括计算机、显微镜、工业相机，计算机内安装有用于进行呼吸道检查结果判读的软件，显微镜用于获取放置有用于呼吸道九项检查的标本，并通过显微镜对标本进行放大，以获取细胞图像；工业相机用于对显微镜放大的图像进行采集，从而获得细胞电子图像；计算机通过软件对电子图像进行识别、处理，最后判断、输出呼吸道检查结果。本发明基于通过采用大量原始数据充分训练后的软件，可以提高呼吸道九项检查检验项目判读的准确性和处理效率。而且能够大大降低医务人员的劳动强度，提高工作效率。
Description
技术领域
本发明涉及医疗技术，特别是涉及一种基于图像识别的呼吸道检查结果判读系统和方法。
背景技术
现有呼吸道九项检查项目，依赖操作人员肉眼观察显微镜设备，基于检查人员的既往经验进行判断和计数，存在结果判断主观化和工作强度大，效率低，速度慢等缺陷和制约。
由于这种检查过程整体上都是规则识别，主要是对图像进行识别、统计获得最终结果，具有计算自动处理的前提上，而目前基于传统图像处理和分类技术，如SVM等，对于特定医疗图像的识别准确率不高，无法可靠的进行实际应用。
发明内容上
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于图像识别的呼吸道检查结果判读系统和方法，其通过采用基于定制优化结构的卷积神经网络人工智能技术实现对电子图像进行较高准确率的目标识别、分类和计数，从而实现呼吸道检查结果的判读。
为实现上述目的，本发明提供了一种基于图像识别的呼吸道检查结果判读系统，其特征在于，包括计算机、显微镜、工业相机，计算机内安装有用于进行呼吸道检查结果判读的软件，显微镜用于获取放置有用于呼吸道九项检查的标本，并通过显微镜对标本进行放大，以获取细胞图像；工业相机用于对显微镜放大的图像进行采集，从而获得细胞电子图像；计算机通过软件对电子图像进行识别、处理，最后判断、输出呼吸道检查结果。
作为本发明的进一步改进，所述软件，包括：
数字图像采集单元，用于获取标本的电子图像；本案中图像采集设备为具有数字图像成像功能的工业相机或具有相同功能的摄像头。
数字图像预处理单元，用于对数字图像采集单元获取的数字图像进行预处理；
图像目标分离单元，通过分水岭算法对细胞轮廓与背景进行分离且还对细胞轮廓图像进行提取；
卷积神经网络分类处理单元，提取图像目标分离单元处理后的电子图像特征，并将特征进行分类；卷积神经网络分类处理单元具有多层结构的卷积神经网络结构，其通过使用经过大量数据训练后得到的分类训练数据库单元；
分类结果计数及统计分析单元，用于对识别的电子图像特征进行分类统计，然后根据预设条件输出最终统计结果；
结果判断和数据输出单元，对分类计数结果进行汇总，根据人工设定的判定条件，进行结果判断和数据格式化输出。
作为本发明的进一步改进，还包括分类训练数据库单元，其用于通过卷积神经网络分类处理单元对现有准确的电子图像进行训练。
本发明还公开了一种基于图像识别的呼吸道检查结果判读方法，包括如下步骤：
S1、将用于检查的标本放置在玻片上，然后通过显微镜放大玻片上的标本图像，再通过图像采集设备采集放大后的标本数字图像；
S2、数字图像预处理单元根据进一步图像分析和特征提取的需要，首先通过高斯滤波处理算法，对于图像进行噪点过滤；然后通过对比度调整，进行细胞轮廓细节增强；
S3、图像目标分离单元首先将来自数字图像预处理单元的电子图像进行灰度化变换后进行对比度增强；再通过分水岭算法，将目标图像与背景图像进行分离，从整幅图像中分离出多个只包含细胞对象的小尺寸图像；
分水岭算法通过选取灰度图像中亮度低于整幅画面平均亮度20%的区域作为生长种子区域，通过迭代算法，不断扩展区域大小，直至区域间将发生重叠时或待扩展区域的亮度高于整幅画面平均亮度80%时，停止区域扩展，此时所得到的区域为作为目标所在的区域，通过对整幅图像运行上述分水岭算法，可以从整幅图像中分离出多个只包含细胞对象的小尺寸图像。
然后通过统计图像的整体亮度水平，从而自动确定分水岭算法的初始参数 ；最后根据目标通常的像素尺寸范围 ，对于尺寸过小和过大的目标进行自动舍弃；
目标的尺寸大小和显微镜的放大倍率及相机的分辨率因素有关，在40倍物镜，搭配10倍电子目镜的应用场景中，如果图像传感器的分辨率为630万像素，通常选取目标的直径尺寸范围在30～300像素点。
S4、对S2分离后的小尺寸图像进行卷积神经网络的前向运算处理，并得到分类结果；
S6、分类结果计数及统计分析单元通过将卷积神经网络分类处理单元输出的分类结果结合S4预测得到的分类可能性及特定图像特征的统计参数进行综合阈值比较，输出最终判读结果；
S7、结果判断与数据输出单元对于分类计数结果进行汇总，根据人工设定的判定条件，通过判读结果进行结果判断和数据格式化输出。
作为本发明的进一步改进，S1中，还包括数字图像采集单元首先针对细胞本体的红色特征，通过统计图像红色数据量进行快速焦距调整，使成像聚焦在红色聚集处以获取最佳图像清晰度，同时通过调整曝光参数，达到控制图像本底背景噪声最低、细胞图像与背景对比度最大化、荧光特征突出的目的。
作为本发明的进一步改进，S2中，还包括通过数字图像预处理单元对于来自数字图像采集单元的原始电子图像进行水平和垂直方向的尺寸减半，使图像面积减少为原始图像的1/4；缩放时，采用标准的线性插值算法进行处理。
作为本发明的进一步改进，S4中卷积神经网络分类处理单元包括卷积神经网络，所述卷积神经网络包含3层卷积层：第一层为输入层，其用于输入大小为38x38的图像，S2分离出的各个小尺寸图像通过保持宽高比统一缩放到38x38的大小尺寸，第一层具有3个通道，分别用于接收输入图像的R、G、B三通道数据分量；第一层卷积核的尺寸为3x3, 特征图个数为6个，第一层卷积层，用于提取颜色相关的图像特征；
第一层卷积操作完成后，数据输入池化层，该池化层数据接入第二层卷积层，第二层卷积层有8个具有3x3卷积核的特征图，第二层卷积层用于提取颜色特征在二维空间上的分布关系；
第二层卷积层处理完成的数据同样接入池化层，池化处理后，数据接入第三层卷积层，第三层卷积层有12个具有 3x3卷积核的特征图，第三层卷积层用于提取荧光特征和其他干扰性杂质特征在二维空间上的区分特征；
第三层卷积层处理结果送入输出层，输出层按照阴性、阳性、杂质三种分类输出预测可能性，即分类结果。
作为本发明的进一步改进，还包括S5、分类模型库单元训练：分类训练模型库单元由大量实际采集到的医疗图像，通过与卷积神经网络分类处理单元相同结构的卷积神经网络训练后得到，其训练时所采用的图像标签是由具有权威判断能力的专家进行分类标注，从而保证训练时所采用的图像均有可靠的准确性。
作为本发明的进一步改进，S6还包括：按照阴性、阳性、杂质三种类别分别进行计数，同时对于输入的小尺寸图像进行图像的大小尺寸，荧光强度参数进行分析和统计。
作为本发明的进一步改进，还包括S8、反馈训练，如过分类计数结果经人工审核后出现分类错误的，则将修整后的信息、错误信息反馈回分类训练数据库单元，并触发卷积神经网络分类处理单元重新训练，以生成新的卷积神经网络分类代码。
本发明的有益效果是：本发明基于通过采用大量原始数据充分训练后的软件，可以提高呼吸道九项检查检验项目判读的准确性和处理效率。而且能够大大降低医务人员的劳动强度，提高工作效率。
附图说明
图1是本发明的结构示意图。
图2是本发明的运行流程示意图。
图3是本发明的图像预处理及目标分离处理流程图。
图4是本发明的卷积神经网络单元的结构及处理流程图。
图5是本发明的结果判断与数据输出单元处理流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
参见图1-图2，本实施例的呼吸道检查结果判读系统，由计算机100、显微镜200、工业相机300组成，其中计算机100内安装有用于进行呼吸道九项检查结果判读的软件，显微镜用于获取放置有用于呼吸道九项检查的标本，并通过显微镜200对标本进行放大，以获取细胞图像；工业相机300用于对显微镜200放大的图像进行采集，从而获得细胞电子图像。计算机通过软件对电子图像进行识别、处理，最后判断呼吸道九项检查结果。本实施例的呼吸道检查为呼吸道九项检查。
所述软件，包括：
数字图像采集单元110，用于获取标本电子图像，本实施例中，数字图像采集单元通过工业相机、显微镜获取标本电子图像；
数字图像预处理单元120，用于对数字图像采集单元110获取的数字图像进行预处理，所述预处理包括进行高斯滤波、对电子图像中的细胞轮廓进行加强、裁剪电子图像；
图像目标分离单元130，通过分水岭算法对细胞轮廓与背景进行分离且还对细胞轮廓图像进行提取；
卷积神经网络分类处理单元140，提取图像目标分离单元处理后的电子图像特征，并将特征进行分类；
分类训练数据库单元150，用于通过卷积神经网络分类处理单元对现有准确的电子图像进行训练，从而提高卷积神经网络分类处理单元的识别效率；
分类结果计数及统计分析单元160，用于对识别的电子图像特征进行分类统计，然后根据预设条件输出最终统计结果；
结果判断和数据输出单元170，对分类计数结果进行汇总，根据人工设定的判定条件，进行结果判断和数据格式化输出。
上述软件可以安装使用于电脑等计算机设备，通过数据接口，如USB或网络接口，与工业相机想接，工业相机可以通过标准显微镜接口与医疗项目检查所使用的显微镜相接，软件采集相机捕捉的高清数字图像，并进行实时处理。
参见图3-图5，本实施例基于上述呼吸道检查结果判读系统的运行方法，包括如下步骤：
S1、将用于检查的标本放置在玻片上，然后通过显微镜放大玻片上的标本图像，再采用具有数字图像成像功能的工业相机或具有相同功能的摄像头等数字图像采集设备采集放大后的标本数字图像；
呼吸道九项检查的标本玻片在荧光显微镜下成像后，如果样本为阳性，细胞外围会呈现荧光激发产生的绿色荧光，而阴性样本细胞外围不具有绿色荧光特征；
数字图像采集单元首先针对细胞本体的红色特征，通过统计图像红色数据量进行快速焦距调整，使成像正确聚焦在红色聚集处以获取最佳图像清晰度，同时通过调整曝光参数，达到控制图像本底背景噪声最低、细胞图像与背景对比度最大化、荧光特征突出的目的。
本实施例中数字图像采集单元采用USB3.0等高速数据接口，可以保证在高分辨率模式下的高速采集帧率，以帮助系统快速聚焦和参数调整。
S2、数字图像预处理单元根据进一步图像分析和特征提取的需要，首先通过高斯滤波处理算法，对于图像进行噪点过滤；然后通过对比度调整，进行细胞轮廓细节增强。
为了降低下一步目标分离的运算数据量，本实施例中，对于来自数字图像采集单元的原始采集图像进行水平和垂直方向的尺寸减半，使图像面积减少为原始图像的1/4；缩放时，采用标准的线性插值算法进行处理。
S3、图像目标分离单元首先将来自数字图像预处理单元的电子图像进行灰度化变换后进行对比度增强，以提高细胞边缘特征强度；
再通过分水岭算法，将目标图像与背景图像进行分离，从整幅图像中分离出多个只包含细胞对象的小尺寸图像；
然后通过统计图像的整体亮度水平（亮度等级），从而自动确定分水岭算法的初始参数，以实现目标分离数量合理；根据目标通常的像素尺寸范围，对于尺寸过小和过大的目标进行自动舍弃。
S4、卷积神经网络分类处理单元具有多层结构的卷积神经网络结构，其通过使用经过大量数据训练后得到的分类训练数据库单元；
本步骤首先对于S2分离后的小尺寸像进行卷积神经网络的前向运算处理，并得到分类结果；
卷积神经网络的结构根据需要分类的目标图像的大小，颜色等特征进行分层，本实施例的卷积神经网络包含3层卷积层：第一层为输入层141，其用于输入大小为38x38的图像，S2分离出的各个小尺寸图像通过保持宽高比统一缩放到38x38的大小尺寸，第一层具有3个通道，分别用于接收输入图像的R、G、B三通道数据分量；第一层卷积核的尺寸为3x3, 特征图个数为6个，第一层卷积层，主要提取颜色相关的图像特征；
第一层卷积操作完成后，数据输入池化层，该池化层数据接入第二层卷积层142，第二层卷积层有8个具有3x3卷积核的特征图，第二层卷积层用于提取颜色特征在二维空间上的分布关系，例如荧光区域与细胞本体间的附着形态等；
第二层卷积层处理完成的数据同样接入池化层，池化处理后，数据接入第三层卷积层143，第三层卷积层有12个具有 3x3卷积核的特征图，第三层卷积层用于提取荧光特征和其他干扰性杂质等特征在二维空间上的区分特征。
第三层卷积层处理结果送入输出层144，输出层按照阴性、阳性、杂质三种分类输出预测可能性，即分类结果。
本实施例中卷积神经网络还通过采用训练数据增强和Dropout等技术确保避免过拟合，提高综合分类准确率。
S5、分类训练模型库单元由大量实际采集到的医疗图像，通过与卷积神经网络分类处理单元相同结构的卷积神经网络训练后得到，其训练时所采用的图像标签是由具有权威判断能力的专家进行分类标注。该训练模型库可以在应用部署阶段，持续进行更新和调整优化，以不断提高分类计数结果的准确性。
S6、分类结果计数及统计分析单元通过将卷积神经网络分类处理单元输出的分类结果，按照阴性、阳性、杂质三种类别分别进行计数，同时对于输入的小尺寸图像进行图像的大小尺寸，荧光强度等参数进行分析和统计，以提供使用者进一步数据分析和结果过滤，修正等使用；
结合S4预测得到的分类可能性及特定图像特征的统计参数进行综合阈值比较，输出最终判读结果。
S7、结果判断与数据输出单元对于分类计数结果进行汇总，根据人工设定的判定条件，进行结果判断和数据格式化输出，如阴性，阳性或者定量结果以及图形化数据输出等。
相关结果提供给呼吸道九项检查项目的检查人员进行最终检验项目的判定参考和报告生成。
如过分类计数结果经人工审核后出现分类错误的，可反馈回分类训练数据库单元，触发卷积神经网络分类处理单元140重新训练，生成新的卷积神经网络分类代码，通过此流程，逐步提高分类计数准确性。
本案中部分术语解释：
卷积神经网络：卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构
人工智能技术：人工智能（英语：artificial intelligence，缩写为 AI）亦称机器智能，指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序的手段实现的人类智能技术。
SVM : 在机器学习中， SVM支持向量机(support vector machine)是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于图像识别的呼吸道检查结果判读系统，其特征在于，包括计算机、荧光显微镜、工业相机，计算机内安装有用于进行呼吸道检查结果判读的软件，荧光显微镜用于获取放置有用于呼吸道九项检查的标本的图像并放大，以获取细胞荧光图像，所述荧光图像中细胞本体具有红色特征，若为阳性样本细胞则细胞外围具有绿色荧光，若为阴性样本细胞则细胞外围不具有绿色荧光；工业相机用于对荧光显微镜放大的图像进行采集，从而获得细胞电子图像；计算机通过软件对电子图像进行识别、处理，最后判断、输出呼吸道检查结果；
其中，所述软件包括卷积神经网络分类处理单元，其具有多层结构的卷积神经网络，通过使用经过数据训练后得到的分类训练数据库单元；
所述卷积神经网络由三层卷积层、位于卷积层之间的两个池化层以及输出层组成，第一层卷积层为用于输入图像并提取颜色相关的图像特征的输入层，用于输入大小为38x 38的图像，所述第一层卷积层具有三个分别用于接收输入图像的R、G、B三通道的数据分量，第一层卷积核的尺寸为3x3,特征图个数为6个；第一层卷积操作完成后，数据输入池化层，该池化层数据接入第二层卷积层，第二层卷积层有8个具有3x3卷积核的特征图，第二层卷积层用于提取颜色特征在二维空间上的分布关系，包括荧光区域与细胞本体间的附着形态；第二层卷积层处理完成的数据同样接入池化层，池化处理后，数据接入第三层卷积层，第三层卷积层有12个具有3x3卷积核的特征图，第三层卷积层用于提取荧光特征和干扰性杂质在二维空间上的区分特征；第三层卷积层处理结果送入输出层，所述输出层按照阴性、阳性、杂质三种分类输出分类结果；其中，若分类计数结果经人工审核后出现分类错误的，则将修整后的信息、错误信息反馈回分类训练数据库单元，并触发卷积神经网络分类处理单元重新训练，以生成新的卷积神经网络分类代码；
所述软件还包括图像目标分离单元，通过分水岭算法对细胞轮廓与背景进行分离且还对细胞轮廓图像进行提取。
2.如权利要求1所述的呼吸道检查结果判读系统，其特征在于，所述软件还包括：
数字图像采集单元，用于获取标本的电子图像；
数字图像预处理单元，用于对数字图像采集单元获取的数字图像进行预处理；
分类结果计数及统计分析单元，用于对识别的电子图像特征进行分类统计，然后根据预设条件输出最终统计结果；
结果判断和数据输出单元，对分类计数结果进行汇总，根据人工设定的判定条件，进行结果判断和数据格式化输出。
3.如权利要求2所述的呼吸道检查结果判读系统，其特征在于，所述软件还包括分类训练数据库单元，其用于通过卷积神经网络分类处理单元对现有准确的电子图像进行训练。
4.一种基于图像识别的呼吸道检查结果判读方法，其特征在于，采用如权利要求1至3任一项所述的基于图像识别的呼吸道检查结果判读系统，所述呼吸道检查结果判读方法包括如下步骤：
S1、将用于检查的标本放置在玻片上，然后通过显微镜放大玻片上的标本图像，再通过图像采集设备采集放大后的标本数字图像；
S2、数字图像预处理单元根据进一步图像分析和特征提取的需要，首先通过高斯滤波处理算法，对于图像进行噪点过滤；然后通过对比度调整，进行细胞轮廓细节增强；
S3、图像目标分离单元首先将来自数字图像预处理单元的电子图像进行灰度化变换反转后进行对比度增强；再通过标准分水岭算法，该算法通过选取灰度图像中亮度低于整幅画面平均亮度20％的区域作为生长种子区域，通过迭代算法，不断扩展区域大小，直至区域间将发生重叠时或待扩展区域的亮度高于整幅画面平均亮度80％时，停止区域扩展，此时所得到的区域为作为目标所在的区域，通过对整幅图像运行上述分水岭算法，从整幅图像中分离出多个只包含细胞对象的小尺寸图像；
最后根据目标通常的像素尺寸范围，对于尺寸过小和过大的目标进行自动舍弃；目标的尺寸大小和显微镜的放大倍率及相机的分辨率因素有关，在40倍物镜，搭配10倍电子目镜的应用场景中，如果图像传感器的分辨率为630万像素，通常选取目标的直径尺寸范围在30～300像素点；
S4、对S2分离后的小尺寸图像进行卷积神经网络的前向运算处理，并得到分类结果；
S6、分类结果计数及统计分析单元通过将卷积神经网络分类处理单元输出的分类结果结合S4预测得到的分类可能性及特定图像特征的统计参数进行综合阈值比较，输出最终判读结果；
S7、结果判断与数据输出单元对于分类计数结果进行汇总，根据人工设定的判定条件，通过判读结果进行结果判断和数据格式化输出；及
S8、反馈训练，如过分类计数结果经人工审核后出现分类错误的，则将修整后的信息、错误信息反馈回分类训练数据库单元，并触发卷积神经网络分类处理单元重新训练，以生成新的卷积神经网络分类代码；
步骤S4中卷积神经网络分类处理单元包括卷积神经网络，所述卷积神经网络包含3层卷积层：第一层为输入层，其用于输入大小为38x 38的图像，S2分离出的各个小尺寸图像通过保持宽高比统一缩放到38x38的大小尺寸，第一层具有3个通道，分别用于接收输入图像的R、G、B三通道数据分量；第一层卷积核的尺寸为3x3,特征图个数为6个，第一层卷积层，用于提取颜色相关的图像特征；
第一层卷积操作完成后，数据输入池化层，该池化层数据接入第二层卷积层，第二层卷积层有8个具有3x3卷积核的特征图，第二层卷积层用于提取颜色特征在二维空间上的分布关系；
第二层卷积层处理完成的数据同样接入池化层，池化处理后，数据接入第三层卷积层，第三层卷积层有12个具有3x3卷积核的特征图，第三层卷积层用于提取荧光特征和其他干扰性杂质特征在二维空间上的区分特征；
第三层卷积层处理结果送入输出层，输出层按照阴性、阳性、杂质三种分类输出预测可能性，即分类结果。
5.如权利要求4所述的呼吸道检查结果判读方法，其特征在于，S1中，还包括：数字图像采集单元首先针对细胞本体的红色特征，通过统计图像红色数据量进行快速焦距调整，使成像聚焦在红色聚集处以获取最佳图像清晰度，同时通过调整曝光参数，达到控制图像本底背景噪声最低、细胞图像与背景对比度最大化、荧光特征突出的目的。
6.如权利要求4所述的呼吸道检查结果判读方法，其特征在于，S2中，还包括通过数字图像预处理单元对于来自数字图像采集单元的原始电子图像进行水平和垂直方向的尺寸减半，使图像面积减少为原始图像的1/4；缩放时，采用标准的线性插值算法进行处理。
7.如权利要求4所述的呼吸道检查结果判读方法，其特征在于，还包括S5、分类模型库单元训练：分类训练模型库单元由实际采集到的医疗图像，通过与卷积神经网络分类处理单元相同结构的卷积神经网络训练后得到，其训练时所采用的图像标签是由具有权威判断能力的专家进行分类标注，从而保证训练时所采用的图像均有可靠的准确性。
8.如权利要求4所述的呼吸道检查结果判读方法，其特征在于，S6还包括：按照阴性、阳性、杂质三种类别分别进行计数，同时对于输入的小尺寸图像进行图像的大小尺寸，荧光强度参数进行分析和统计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256678.9A CN109815945B (zh) | 2019-04-01 | 2019-04-01 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256678.9A CN109815945B (zh) | 2019-04-01 | 2019-04-01 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109815945A CN109815945A (zh) | 2019-05-28 |
| CN109815945B true CN109815945B (zh) | 2024-04-30 |
Family
ID=66611140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256678.9A Active CN109815945B (zh) | 2019-04-01 | 2019-04-01 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815945B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126162A (zh) * | 2019-11-28 | 2020-05-08 | 东软集团股份有限公司 | 一种识别图像中炎症细胞的方法、装置及存储介质 |
| CN111134735A (zh) * | 2019-12-19 | 2020-05-12 | 复旦大学附属中山医院 | 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 |
| CN111489833A (zh) * | 2019-12-19 | 2020-08-04 | 上海杏脉信息科技有限公司 | 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 |
| CN112232327B (zh) * | 2020-12-16 | 2021-04-16 | 南京金域医学检验所有限公司 | 一种基于深度学习的抗核抗体核型判读方法与设备 |
| CN112992336A (zh) * | 2021-02-05 | 2021-06-18 | 山西医科大学 | 一种病理智能诊断系统 |
| CN113205709A (zh) * | 2021-04-13 | 2021-08-03 | 广东小天才科技有限公司 | 学习内容的输出方法及装置、电子设备、存储介质 |
| CN113591961A (zh) * | 2021-07-22 | 2021-11-02 | 深圳市永吉星光电有限公司 | 一种基于神经网络的微创医用摄像头图像识别方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1581197A (zh) * | 2003-08-26 | 2005-02-16 | 深圳市迈科思美智能设备有限公司 | 生殖感染智能识别系统与方法 |
| CN102288607A (zh) * | 2011-06-20 | 2011-12-21 | 江南大学 | 基于数码显微镜的机织物密度检测仪 |
| CN106709421A (zh) * | 2016-11-16 | 2017-05-24 | 广西师范大学 | 一种基于变换域特征和cnn的细胞图像识别分类方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN107609503A (zh) * | 2017-09-05 | 2018-01-19 | 刘宇红 | 智能癌变细胞识别系统及方法、云平台、服务器、计算机 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN108447047A (zh) * | 2018-02-11 | 2018-08-24 | 深圳市恒扬数据股份有限公司 | 抗酸杆菌检测方法及装置 |
| WO2018231204A1 (en) * | 2017-06-13 | 2018-12-20 | Google Llc | Augmented reality microscope for pathology |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109350014A (zh) * | 2018-12-10 | 2019-02-19 | 苏州小蓝医疗科技有限公司 | 一种鼾声识别方法与系统 |
| CN109359569A (zh) * | 2018-09-30 | 2019-02-19 | 桂林优利特医疗电子有限公司 | 一种基于cnn的红细胞图像亚分类方法 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282589B2 (en) * | 2017-08-29 | 2019-05-07 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
-
2019
- 2019-04-01 CN CN201910256678.9A patent/CN109815945B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1581197A (zh) * | 2003-08-26 | 2005-02-16 | 深圳市迈科思美智能设备有限公司 | 生殖感染智能识别系统与方法 |
| CN102288607A (zh) * | 2011-06-20 | 2011-12-21 | 江南大学 | 基于数码显微镜的机织物密度检测仪 |
| CN106709421A (zh) * | 2016-11-16 | 2017-05-24 | 广西师范大学 | 一种基于变换域特征和cnn的细胞图像识别分类方法 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| WO2018231204A1 (en) * | 2017-06-13 | 2018-12-20 | Google Llc | Augmented reality microscope for pathology |
| CN107609503A (zh) * | 2017-09-05 | 2018-01-19 | 刘宇红 | 智能癌变细胞识别系统及方法、云平台、服务器、计算机 |
| CN108447047A (zh) * | 2018-02-11 | 2018-08-24 | 深圳市恒扬数据股份有限公司 | 抗酸杆菌检测方法及装置 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109359569A (zh) * | 2018-09-30 | 2019-02-19 | 桂林优利特医疗电子有限公司 | 一种基于cnn的红细胞图像亚分类方法 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN109350014A (zh) * | 2018-12-10 | 2019-02-19 | 苏州小蓝医疗科技有限公司 | 一种鼾声识别方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| 肺炎支原体检测在儿童急性呼吸道感染中的重要意义及流行特点;李燕;;世界最新医学信息文摘(第09期);第144页 * |
| 顾月清."全国普通高等院校生物医学工程规划教材 生物医学工程技术".《中国医药科技出版社》,2017,第88页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109815945A (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815945B (zh) | 一种基于图像识别的呼吸道检查结果判读系统和方法 | |
| CN110321923B (zh) | 不同尺度感受野特征层融合的目标检测方法、系统及介质 | |
| US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
| US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
| CN104169945B (zh) | 对图像中的对象的两级分类 | |
| US7949181B2 (en) | Segmentation of tissue images using color and texture | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN109684906B (zh) | 基于深度学习的检测红脂大小蠹的方法 | |
| CN108346145A (zh) | 一种病理切片中非常规细胞的识别方法 | |
| CN113260852B (zh) | 使用堆叠去噪自动编码器的图像降噪 | |
| CN111462076A (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN110647876A (zh) | 一种血涂片全视野智能分析方法 | |
| Azman et al. | Convolutional neural network for optimal pineapple harvesting | |
| US10902579B1 (en) | Creating and tuning a classifier to capture more defects of interest during inspection | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN114120318B (zh) | 一种基于集成决策树的暗场图像目标点精确提取方法 | |
| CN111401119A (zh) | 细胞核的分类 | |
| CN112861675A (zh) | 一种粪便有形成分检测识别方法 | |
| Rozi et al. | Development of Fruits Artificial Intelligence Segregation. | |
| Mia et al. | Computer vision based local vegetables recognition | |
| Thangaraj et al. | Classification of rice leaf diseases using deep learning | |
| Haq et al. | Wheat Rust Disease Classification using Edge-AI | |
| Toofani et al. | ANN-based Non-Destructive Testing of Apples, using statistical and textured features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |