CN106033540B - 一种阴道微生态形态学自动分析方法和系统 - Google Patents
一种阴道微生态形态学自动分析方法和系统 Download PDFInfo
- Publication number
- CN106033540B CN106033540B CN201610363093.3A CN201610363093A CN106033540B CN 106033540 B CN106033540 B CN 106033540B CN 201610363093 A CN201610363093 A CN 201610363093A CN 106033540 B CN106033540 B CN 106033540B
- Authority
- CN
- China
- Prior art keywords
- bacterium
- rectangle frame
- frame
- microecology
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001215 vagina Anatomy 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 244000005700 microbiome Species 0.000 claims abstract description 5
- 241000894006 Bacteria Species 0.000 claims description 51
- 238000007405 data analysis Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 244000052616 bacterial pathogen Species 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 239000000975 dye Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 239000012530 fluid Substances 0.000 claims description 5
- 241000894007 species Species 0.000 claims description 5
- 238000010186 staining Methods 0.000 claims description 5
- 230000001580 bacterial effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000007850 fluorescent dye Substances 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 9
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 208000015181 infectious disease Diseases 0.000 description 4
- 241001502500 Trichomonadida Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 208000007313 Reproductive Tract Infections Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000004998 Abdominal Pain Diseases 0.000 description 1
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 206010062343 Congenital infection Diseases 0.000 description 1
- 206010061977 Genital infection female Diseases 0.000 description 1
- 208000031886 HIV Infections Diseases 0.000 description 1
- 208000037357 HIV infectious disease Diseases 0.000 description 1
- 208000006399 Premature Obstetric Labor Diseases 0.000 description 1
- 206010036600 Premature labour Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000019065 cervical carcinoma Diseases 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 210000005002 female reproductive tract Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000033519 human immunodeficiency virus infectious disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 208000026440 premature labor Diseases 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 210000005000 reproductive tract Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000000192 social effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000002254 stillbirth Diseases 0.000 description 1
- 231100000537 stillbirth Toxicity 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种阴道微生态形态学自动分析方法和系统，针对通过常规设备获取的低分辨率涂片图像，先对其进行超分辨率放大重建，使其更为清晰，为后续的分类奠定基础，再应用神经网络技术对重建后的高分辨率图像进行图像判断和识别，并一步输出微生物的种类和密度，以实现对阴道微生态形态学进行自动分析和计算机辅助识别的目的，从而可以对阴道微生态系统进行客观准确的临床评价。
Description
技术领域
本发明涉及微生态形态学分析方法和系统，尤其涉及一种对阴道微生态形态学图像进行自动分析和计算机辅助识别的方法和系统。
背景技术
女性生殖道感染和性传播感染是女性常见疾病，也是全球性的社会及公共卫生问题，具有发病率高、复发率高、流行范围广的特点。感染是多种疾病的源头，如果生殖道感染得不到及时诊断和正确治疗，可引起艾滋病感染和发生宫颈癌的风险增加、不孕症、异位妊娠、流产、死胎、死产、早产、先天感染及新生儿感染、慢性腹痛等并发症，影响两代人的健康。
建立阴道微生态临床评价体系是阴道感染诊断治疗思路的新突破。它能够指导妇产科临床医师从微生态角度重新审视妇科感染性疾病，全面评价感染及治疗后的阴道微生态状况，指导临床不仅追求治疗病原，而且以达到恢复阴道微生态环境正常这一最终目标。
建立阴道微生态临床评价体系，需要对阴道微生态中的微生物进行识别、半定量和分析，而目前微生物种类、数量的识别主要依赖于人类专家的主观阅读，这个过程耗时且易于出错。由于微生物学数据天然的模糊性，对相同领域内的或跨领域的专家之间，人工微生物读片的结果容易产生很大的可变性，且培训阅片人员需要时间，且基层医院无法配备有资质的检验人员进行阅片，而使常见的生殖道感染性疾病误诊误治。为了应付不断增加的数据量，实现更加客观和定量化的精确测量，以及获得可重复的结果，减少数据分析过程中的人为干预非常重要。
现有的计算机图像识别技术，例如Wavelet PCA方法(即基于小波变换的主成分分析，Wavelet Principal Component Analysis)，能够比较快的进行图像特征的提取，但是该方法对图像的处理较为简单，只是依靠先验的细菌特征知识进行分类，对于变化多样的细菌涂片图像则识别能力极为有限。而使用人工智能的方法进行图像识别，虽然有较高的准确率，但是运算复杂，往往需要有大型的并行运算能力才能完成，且现有获取患者涂片的设备所获得的图像分辨率都相对较低，无法有效进行神经网络学习等人工智能的运算，而获取高分辨率图像的设备成本较高，处理时间较长，不适合于临床面对大量病人的涂片检查。
发明内容
本发明的目的是提供一种阴道微生态形态学自动分析方法和系统，针对通过常规设备获取的低分辨率涂片图像，先对其进行超分辨率放大重建，使其更为清晰，为后续的分类奠定基础，再应用神经网络技术对重建后的高分辨率图像进行图像判断和识别，并一步输出微生物的种类和密度，以实现对阴道微生态形态学进行自动分析和计算机辅助识别的目的，从而可以对阴道微生态系统进行客观准确的临床评价。
本发明一方面提供一种阴道微生态形态学自动分析方法，所述方法包括：先对待检测患者涂片的图像进行超分辨率放大重建，再应用深度卷积神经网络技术对重建后的所述图像进行图片识别。
进一步的，本发明提供一种阴道微生态形态学自动分析方法，所述方法包括：
(1)利用基于稀疏表示的超分辨率重构算法，对低分辨率的待检测患者涂片的图像进行放大重建，形成高分辨率的待检测患者涂片的图像；
(2)通过深度卷积神经网络技术，对步骤(1)中得到的所述高分辨率的图像进行特征数据提取和图像识别，获得图像中阴道微生物的位置和类别信息。
进一步的，本发明提供一种阴道微生态形态学自动分析方法，所述方法包括：
一、对待检测患者涂片进行超分辨率放大重建，包括：
预先收集高分辨率图像，将其分割为高分辨率图像块Xh，同时通过对所述高分辨率图像进行模糊采样和插值运算，得到其相对应的低分辨率图像块Xl；利用字典训练算法训练上述高分辨率图像块Xh及其所对应的低分辨率图像块Xl，分别获得高分辨率字典Dh和低分辨率字典Dl；
将待检测患者涂片的图像进行分块和特征提取，得到所述图像的特征图像块Xa；将所述特征图像块Xa通过上述高分辨率字典Dh和低分辨率字典Dl进行稀疏表示和稀疏表示系数提取，经过反向投影滤波器得到重建后的待检测患者涂片图像。
二、应用深度卷积神经网络技术对待检测患者涂片进行图片识别，包括搭建框架、训练深度卷积神经网络、重叠矩形框合并、图像识别4个步骤，具体为：
1.搭建框架：
预先收集已知细菌的高分辨率图像，并将图像分割成S*S的单元格；每个单元格输出B个矩形框，每个所述矩形框带有4个位置信息和1个物体概率信息Pr(Germs)；每个单元格再输出C个类别条件概率信息Pr(Class|Germs)，其中C为细菌类别的数量；最终输出层具有S*S*(B*5+C)个单元；每个矩形框的细菌类别识别概率Pr(Class)信息为：
Pr(Class＝Pr(Class|Germs)*Pr(Germs)
另外，如果一个细菌的中心落入一个单元格中，则该单元格上的B个矩形框的位置信息均为该细菌的位置信息。
2.训练深度卷积神经网络：
1)整个深度卷积神经网络的最终输出层为线性激活，其他层都是LeakyRectified Linear激活：
引入两个参数λcoord＝5，λnoger＝0.5，整个网络的代价函数为：
2)建立样本训练集，并将训练集数据进行标注，之后将标注好的训练集投入到网络中对网络进行训练。
3.重叠矩形框合并：
对于重叠区域进行优化，即对同一个物体识别出的多个有重叠的矩形框进行优化，删除并合并重叠的矩形框，具体步骤为：根据每个矩形框的细菌类别识别概率Pr(Class)大小进行排序；取概率最大的矩形框为一个细菌的框，记为A；在剩下的矩形框中，去掉与框A重叠率大于特定阈值的矩形框，保留其他矩形框；在保留的其它矩形框中，重复上述步骤，直到没有矩形框为止；之后选出合适的矩形框。
4.图像识别：
将步骤一经过超分辨率重建的高分辨率的待测患者涂片图像，输入到上述步骤二2建立的深度卷积神经网络中，得到包含细菌的多个待定矩形框，然后对矩形框进行上述步骤二3的矩形框优化，得到最终的细菌种类和位置，进而统计细菌的密度，输出图片识别结果。
另一方面，本发明提供一种阴道微生态形态学自动分析系统，所述系统包含数据分析模块，所述数据分析模块采用上述阴道微生态形态学自动分析方法对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存。
进一步的，本发明所述阴道微生态形态学自动分析系统还包含人工识别模块，所述人工识别模块用于对不能通过上述阴道微生态形态学自动分析方法进行识别的染色片，如染色后比较模糊的图片，实现专业检验医师的人工识别及识别结果的数据库保存。
在一个优选的方案中，本发明所述阴道微生态形态学自动分析系统包含患者信息录入模块、病例采集模块、数据分析模块、人工识别模块、打印表单模块，所述患者信息模块用于实现患者身份、检查情况等信息的录入；所述病例采集模块用于输入需分析的油镜下荧光染色图片；所述数据分析模块用于对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存；所述人工识别模块用于对不能自动识别的染色片，进行人工识别；所述打印表单模块用于对检测完数据进行报表的打印。
本发明的有益效果主要有以下几个方面：
本发明的阴道微生态形态学自动分析方法和系统能够减轻临床工作人员的劳动强度，缩短人员培养周期，减少主观误差，使阴道微生态检测客观化、系统化、规范化，它的推广，能够填补微生态诊治领域的空白，提高对于妇科感染这一临床常见病、多发病的诊治水平，规范化的诊治将会减轻群众医药费用负担，带来巨大的经济效益和社会效应。
附图说明
图1：实施例1中识别图片中的细菌是滴虫的示意图。其中右上图的矩形框为检测到的细菌，矩形框右上角汉字标注细菌的类别，矩形框左上角数字标注细菌的位置编号。
图2：实施例2的阴道微生态形态学自动分析系统的主界面和打印表单界面。
具体实施方式
下面实施例对本发明进一步详细说明，本领域技术人员应当意识到在不脱离本发明的范围和精神的情况下所作的改动，均属于本发明的范围。
本发明所述的高分辨图像和低分辨图像是相对概念，其中高分辨率图像的分辨率是低分辨率图像的4倍以上。
实施例1：本发明的阴道微生态形态学自动分析方法
一、对待检测患者涂片进行超分辨率放大重建
1.获得高分辨率字典Dh和低分辨率字典Dl：
预先收集若干(例如10-1000张)高分辨率图像，针对每一张图像，将其分割为高分辨率图像块Xh；另外，通过对所述高分辨率图像进行模糊采样和插值运算，得到其相对应的低分辨率图像块Xl。然后，利用字典训练算法例如K-SVD算法，训练上述高分辨率图像块Xh及其所对应的低分辨率图像块Xl，分别获得高分辨率字典Dh和低分辨率字典Dl。
2.获得患者涂片的高分辨率图像：
通过临床采样，获得待检测患者涂片的图像(低分辨率图像)，将其进行分块和特征提取，得到所述图像的特征图像块Xa；将所述特征图像块Xa通过上述高分辨率字典Dh和低分辨率字典Dl进行稀疏表示和稀疏表示系数提取，经过反向投影滤波器得到重建后的高分辨率的待检测患者涂片的图像。
二、应用深度卷积神经网络技术对待检测患者涂片进行图片识别
1.搭建框架：
(1)预先收集已知细菌的高分辨率图像，并将图像分割成S*S的单元格；
(2)每个单元格输出B个矩形框，每个所述矩形框带有4个位置信息(用x,y,w,h表示)，以及1个物体概率信息(用Pr(Germs)表示)，所述物体概率是指矩形框图像是细菌的概率；
(3)每一个单元格再输出C个类别条件概率，用Pr(Class|Germs)表示，其中C为细菌类别的数量；
(4)最终输出层(output layer)具有S*S*(B*5+C)个单元(unit)。
其中，x,y表示中心相对于单元格左上角的位置偏移，单元格左上角为(0,0)，右下角为(1,1)，w,h表示矩形框的宽和高，其为相对于整个图片的相对值，例如与整个图片大小一样则为(1,1)，长宽都是整个图像的一半就是(0.5,0.5)。
每个矩形框的细菌类别识别概率Pr(Class)(即矩形框内图像是某种细菌的概率)等于上述类别条件概率Pr(Class|Germs)乘以上述物体概率Pr(Germs)，即：
Pr(Class)＝Pr(Class|Germs)*Pr(Germs)
另外，如果一个细菌的中心落入一个单元格中，则该单元格上的B个矩形框的位置信息均为该细菌的位置信息。
其中细菌类别可按表1所示分类。
表1细菌类别
2.训练深度卷积神经网络
1)整个深度卷积神经网络的最终输出层(Output Layer)为Linear激活(线性激活)，其他层都是Leaky Rectified Linear激活方式，即：
因为一张图片中大部分单元格都没有落入细菌中心，所以引入两个参数λcoord＝5，λnoger＝0.5，整个网络的代价函数变成：
其中，
x：激励函数自变量。
λcoord：矩形框位置预测信息的损失权重。
λnoger：不包含细菌矩形框的置信度损失权重。
J：损失函数。
i：第i个网格。
j：第j个矩形框。
指示第i个网格的第j个矩形框是否包含细菌，包含细菌则该参数为1，否则为0。
s2：指网格的个数。
B：指每个网格产生B个矩形框。
xi,yi,wi,hi：分别指包含细菌的第i个网格的标准矩形框的坐标x,y以及宽度和高度w,h。
Ci：指第i个网格的置信概率。
pi(c)：指第i个网格的类别预测概率。
指示第i个网格的第j个矩形框是否不含细菌，不包含细菌则该参数为1，否则为0。
指示是否有细菌出现在第i个网格，有则该参数为1，否则为0。
含有^的参数均表示对应参数的估计值。
2)建立样本训练集，并将训练集数据进行标注，之后将标注好的训练集投入到网络中对网络进行训练。
3.重叠矩形框合并：
对于重叠区域进行优化，即对同一个物体识别出的多个有重叠的矩形框进行优化，删除并合并重叠的矩形框，具体步骤为：
①根据每个矩形框的细菌类别识别概率Pr(Class)大小进行排序；
②取概率最大的矩形框为一个细菌的框，记为A；
③在剩下的矩形框中，去掉与框A重叠率大于某个阈值(根据实际情况设置)的矩形框，保留其他矩形框；
④在保留的其它矩形框中，重复上面的步骤，直到没有矩形框为止；
⑤选出合适的矩形框。
4.图像识别
将步骤一经过超分辨率重建的高分辨率的待测患者涂片图像，输入到上述步骤二2建立的深度卷积神经网络中，得到包含细菌的多个待定矩形框，然后对矩形框进行上述步骤二3的矩形框优化，得到最终的细菌种类和位置，进而统计细菌的密度，输出图片识别结果，并根据细菌种类、密度计算Nugent评分和AV评分。
图1为识别图片中的细菌是滴虫的一个实例：待测患者涂片图像进行超分辨率重建，放大为原图的4倍；将重建后的待测图片输入到训练好的深度卷积神经网络，该网络将图像分割成7*7个单元格，每个单元格输出2个矩形框，共输出98个具有类别识别概率的待定矩形框；对待定矩形框优化合并后最终得到1个矩形框，其类别为滴虫，统计个数为1。
实施例2：本发明的阴道微生态形态学自动分析系统
1.系统框架
根据上述本发明的阴道微生态形态学自动分析方法，在Microsoft.Visual.Studio.Team.System.2008环境下，对阴道微生态形态学自动分析系统进行开发，实现患者信息录入、阴道微生态油镜下图片选取、选取图片的自动数据分析、未能自动识别图片的人工识别及打印患者微生态检测报告等功能。
软件开发系统整体构架及功能包含患者信息模块、病例采集模块、数据分析模块、人工识别模块、打印表单模块，所述患者信息模块用于实现患者身份、检查情况等信息的录入；所述病例采集模块用于输入需分析的油镜下荧光染色图片；所述数据分析模块用于对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存；所述人工识别模块用于对不能自动识别的染色片，进行人工识别；所述打印表单模块用于对检测完数据进行报表的打印。
2.各模块功能
阴道微生态形态学自动分析系统主要包括患者信息、采集病例、数据分析、人工识别、打印表单五大模块，系统主界面如图2所示。
(1)患者信息模块
主要实现患者信息的录入，包括患者信息手工输出和自动输入两级菜单。
手工输入部分包括患者姓名、性别、年龄、样本种类、检测地点、病例号、科别、床位号、采样时间、送检药师、样品编号等。该部分信息录入后，自动送往文件名为“Patient.mdb”数据库文件中的patient表，将患者的上述信息进行数据的保存，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。
自动输入部分为本系统预留输入接口，为了后续与医院HIS系统对接而设置，以帮助医师快速利用医院HIS系统完成患者条形码扫描而自动获取患者信息，从而减少因人工手动输入带来的耗时长、手工录入信息准确性下降等弊端。(2)采集病例模块
主要实现患者阴道分泌物染片的选取。
进入采集病例模块后，可根据油镜下拍摄的患者图片的存放位置进行文件的查找，当选定了某患者阴道微生态染片后，可根据需要选择“文件名”及类型(JPG或BMP)，然后“打开”该染片。
(3)数据分析模块
主要实现患者阴道分泌物染片的自动微生态数据检测。
利用实施例1的本发明的阴道微生态形态学自动分析方法，对“采集病例”模块选取的患者染色图片进行密集度、多样性、孢子、菌丝、WBC/油镜>10等微生态检测指标的报告及输出。另外，患者姓名、病历号等信息可通过调用“Patient.mdb”数据库文件中patient表的相应字段报告在数据分析结果中，并将检测出的密集度、多样性、孢子、菌丝、WBC/油镜>10等微生态检测指标保存在“Patient.mdb”数据库文件AnalyseResult表中，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。
(4)人工识别模块
主要实现专业检验医师的人工识别及识别结果的数据库保存。
此模块作为数据分析模块的按需补充，对于少量不能自动识别的染色片，如染色后比较模糊的图片，可在“数据分析模块”报告出“计算机无法自动识别，建议人工识别！”信息时，可将该图片通过“另存为人工库”按钮，存入人工识别库。然后进入主界面的“人工识别”模块进行检验医师的人工识别。
由专业检测医师对密集度、多样性、优势菌等检测指标进行人工识别录入，并通过“保存”按钮将人工识别结果保存至“Patient.mdb”数据库文件Identify表中，以方便日后医疗人员对该数据库中大规模的数据进行数据分析和统计。
(5)打印表单模块
主要实现患者阴道微生态检验报告单的打印功能，可实现自动识别结果打印和人工识别结果打印的选取。
根据“Patient.mdb”数据库文件中Patient表、AnalyseResult表、Identify表中的患者信息字段值，直接提取到打印报告单中。
Claims (4)
1.一种阴道微生态形态学自动分析方法，包括：对待检测图像进行超分辨率放大重建，并应用深度卷积神经网络技术对重建后的所述图像进行图片识别，包括：
(1)利用基于稀疏表示的超分辨率重构算法，对低分辨率的待检测图像进行放大重建，形成高分辨率的待检测图像；
(2)通过深度卷积神经网络技术，对步骤(1)中得到的所述高分辨率的图像进行特征数据提取和图像识别，获得图像中阴道微生物的位置和类别信息；
其中所述应用深度卷积神经网络技术对重建后的所述图像进行图片识别的步骤包括搭建框架、训练深度卷积神经网络、重叠矩形框合并、图像识别4个子步骤：
1)搭建框架：
预先收集已知细菌的高分辨率图像，并将图像分割成S*S的单元格；每个单元格输出B个矩形框，每个所述矩形框带有4个位置信息和1个物体概率信息Pr(Germs)；每个单元格再输出C个类别条件概率信息Pr(Class|Germs)，其中C为细菌类别的数量；最终输出层具有S*S*(B*5+C)个单元；每个矩形框的细菌类别识别概率Pr(Class)信息为：
Pr(Class)＝Pr(Class|Germs)*Pr(Germs)；
如果一个细菌的中心落入一个单元格中，则该单元格上的B个矩形框的位置信息均为该细菌的位置信息；
2)训练深度卷积神经网络：
整个深度卷积神经网络的最终输出层为线性激活，其他层为Leaky Rectified Linear激活：
引入两个参数λcoord＝5，λnoger＝0.5，整个网络的代价函数为：
其中，
x：激励函数自变量；
λcoord：矩形框位置预测信息的损失权重；
λnoger：不包含细菌矩形框的置信度损失权重；
J：损失函数；
i：第i个网格；
j：第j个矩形框；
指示第i个网格的第j个矩形框是否包含细菌，包含细菌则该参数为1，否则为0；
s2：指网格的个数；
B：指每个网格产生B个矩形框；
xi,yi,wi,hi：分别指包含细菌的第i个网格的标准矩形框的坐标x,y以及宽度和高度w,h；
Ci：指第i个网格的置信概率；
pi(c)：指第i个网格的类别预测概率；
指示第i个网格的第j个矩形框是否不含细菌，不包含细菌则该参数为1，否则为0；
指示是否有细菌出现在第i个网格，有则该参数为1，否则为0；
含有^的参数均表示对应参数的估计值；
建立样本训练集，并将训练集数据进行标注，并将标注好的训练集投入到网络中对网络进行训练；
3)重叠矩形框合并：
根据每个矩形框的细菌类别识别概率Pr(Class)大小进行排序；取概率最大的矩形框为一个细菌的框，记为A；在剩下的矩形框中，去掉与框A重叠率大于特定阈值的矩形框，保留其他矩形框；在保留的其它矩形框中，重复上述步骤，直到没有矩形框为止；之后选出合适的矩形框；
4)图像识别：
将所述高分辨率的待检测图像输入到上述子步骤2)建立的深度卷积神经网络中，得到包含细菌的多个待定矩形框，然后对矩形框进行上述子步骤3)的矩形框优化，得到最终的细菌种类和位置，进而统计细菌的密度，输出图片识别结果。
2.一种阴道微生态形态学自动分析系统，所述系统包含数据分析模块，所述数据分析模块采用权利要求1的阴道微生态形态学自动分析方法。
3.根据权利要求2所述的一种阴道微生态形态学自动分析系统，所述系统还包含人工识别模块。
4.根据权利要求3所述的一种阴道微生态形态学自动分析系统，所述系统包含患者信息录入模块、病例采集模块、数据分析模块、人工识别模块、打印表单模块，所述患者信息模块用于实现患者身份、检查情况信息的录入；所述病例采集模块用于输入需分析的油镜下荧光染色图片；所述数据分析模块用于对所采集的阴道分泌物染片进行微生态数据检测分析，并对微生态检测指标进行保存；所述人工识别模块用于对不能自动识别的染色片，进行人工识别；所述打印表单模块用于对检测完数据进行报表的打印。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610363093.3A CN106033540B (zh) | 2016-05-27 | 2016-05-27 | 一种阴道微生态形态学自动分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610363093.3A CN106033540B (zh) | 2016-05-27 | 2016-05-27 | 一种阴道微生态形态学自动分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106033540A CN106033540A (zh) | 2016-10-19 |
| CN106033540B true CN106033540B (zh) | 2019-04-26 |
Family
ID=57148991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610363093.3A Active CN106033540B (zh) | 2016-05-27 | 2016-05-27 | 一种阴道微生态形态学自动分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106033540B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949332B (zh) * | 2017-12-20 | 2021-09-17 | 北京京东尚科信息技术有限公司 | 用于处理图像的方法和装置 |
| CN108717869B (zh) * | 2018-05-03 | 2021-08-13 | 中国石油大学(华东) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 |
| CN108830149B (zh) * | 2018-05-07 | 2021-03-16 | 深圳市恒扬数据股份有限公司 | 一种目标细菌的检测方法及终端设备 |
| CN109063565B (zh) * | 2018-06-29 | 2021-12-10 | 中国科学院信息工程研究所 | 一种低分辨率人脸识别方法及装置 |
| CN109034208B (zh) * | 2018-07-03 | 2020-10-23 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞切片图像分类系统 |
| CN109331272A (zh) * | 2018-09-04 | 2019-02-15 | 青岛市市立医院 | 一种女性生殖护理用清洁系统及方法 |
| CN110895968B (zh) * | 2019-04-24 | 2023-12-15 | 苏州图灵微生物科技有限公司 | 人工智能医学图像自动诊断系统和方法 |
| CN110378313B (zh) * | 2019-07-26 | 2021-05-18 | 玖壹叁陆零医学科技南京有限公司 | 细胞团识别方法、装置及电子设备 |
| CN112528947B (zh) * | 2020-12-24 | 2023-05-23 | 山东仕达思生物产业有限公司 | 一种通过增加方向维度的假菌丝检测方法、设备及存储介质 |
| CN112528948A (zh) * | 2020-12-24 | 2021-03-19 | 山东仕达思生物产业有限公司 | 一种快速标注且基于区域细分类的加德纳菌的检测方法、设备及存储介质 |
| CN113034363B (zh) * | 2021-03-11 | 2024-04-09 | 云南电网有限责任公司电力科学研究院 | 基于GEE深度时空经验Kringing区域尺度的氮氧化物速降方法 |
| CN116363128B (zh) * | 2023-05-31 | 2023-08-04 | 天津医科大学总医院 | 一种绝经女性的阴道微生态评价模型和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902889A (zh) * | 2012-09-29 | 2013-01-30 | 上海市浦东新区人民医院 | 一种全自助胸片影像系统及实现方法 |
| CN104573688A (zh) * | 2015-01-19 | 2015-04-29 | 电子科技大学 | 基于深度学习的移动平台烟草激光码智能识别方法及装置 |
| CN105160361A (zh) * | 2015-09-30 | 2015-12-16 | 东软集团股份有限公司 | 一种图像识别方法及装置 |
-
2016
- 2016-05-27 CN CN201610363093.3A patent/CN106033540B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902889A (zh) * | 2012-09-29 | 2013-01-30 | 上海市浦东新区人民医院 | 一种全自助胸片影像系统及实现方法 |
| CN104573688A (zh) * | 2015-01-19 | 2015-04-29 | 电子科技大学 | 基于深度学习的移动平台烟草激光码智能识别方法及装置 |
| CN105160361A (zh) * | 2015-09-30 | 2015-12-16 | 东软集团股份有限公司 | 一种图像识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于稀疏表示的单帧图像超分辨率重建算法研究;王晓春;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115;摘要、正文第16-20页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106033540A (zh) | 2016-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106033540B (zh) | 一种阴道微生态形态学自动分析方法和系统 | |
| Ran et al. | Cataract detection and grading based on combination of deep convolutional neural network and random forests | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| WO2016192612A1 (zh) | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 | |
| CN107730489A (zh) | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 | |
| CN108198620A (zh) | 一种基于深度学习的皮肤疾病智能辅助诊断系统 | |
| CN111429407B (zh) | 基于双通道分离网络的胸部x光疾病检测装置及方法 | |
| CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN106372390A (zh) | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 | |
| CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
| CN109003299A (zh) | 一种基于深度学习的计算脑出血量的方法 | |
| CN112088394A (zh) | 生物组织的计算机分类 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN113706491B (zh) | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 | |
| CN109512464A (zh) | 一种疾病筛查和诊断系统 | |
| Militante et al. | Pneumonia detection through adaptive deep learning models of convolutional neural networks | |
| CN115005768A (zh) | 皮肤病图片分类方法、装置、产品及存储介质 | |
| Zhang et al. | Computerized detection of leukocytes in microscopic leukorrhea images | |
| Yueyuan et al. | Swin transformer combined with convolutional encoder for cephalometric landmarks detection | |
| Pi | Gray level co-occurrence matrix and Schmitt neural network for Covid-19 diagnosis | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| CN110516690A (zh) | 一种基于深度学习的藏医尿液颜色自动识别方法 | |
| Verma et al. | Deep Learning Approach to Recognize COVID-19, SARS and Streptococcus Diseases from Chest X-ray Images | |
| Islam et al. | An Enhanced Technique of COVID-19 Detection and Classification Using Deep Convolutional Neural Network from Chest X-Ray and CT Images | |
| CN113763353A (zh) | 一种肺部超声图像检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: 2903, Huineng building, 38 Huaneng Road, Lixia District, Jinan City, Shandong Province Patentee after: SHANDONG STARS BIOINDUSTRY CO.,LTD. Address before: 100034 Beijing city Xicheng District Xishiku Street No. 8 Patentee before: PEKING UNIVERSITY FIRST Hospital |
|
| TR01 | Transfer of patent right |