CN113450354B - 基于卷积神经网络和摇摆活动特征的滴虫检测方法 - Google Patents
基于卷积神经网络和摇摆活动特征的滴虫检测方法 Download PDFInfo
- Publication number
- CN113450354B CN113450354B CN202111000709.8A CN202111000709A CN113450354B CN 113450354 B CN113450354 B CN 113450354B CN 202111000709 A CN202111000709 A CN 202111000709A CN 113450354 B CN113450354 B CN 113450354B
- Authority
- CN
- China
- Prior art keywords
- frame
- trichomonas
- video
- foreground
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000224526 Trichomonas Species 0.000 title claims abstract description 125
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000000694 effects Effects 0.000 title claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 46
- 210000003495 flagella Anatomy 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000005530 etching Methods 0.000 claims description 13
- 210000004027 cell Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 210000000265 leukocyte Anatomy 0.000 claims description 8
- 210000003743 erythrocyte Anatomy 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 241001502500 Trichomonadida Species 0.000 claims description 2
- 229960001948 caffeine Drugs 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 22
- 238000005457 optimization Methods 0.000 description 9
- 239000007788 liquid Substances 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 3
- 241000224527 Trichomonas vaginalis Species 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 208000007074 Trichomonas Vaginitis Diseases 0.000 description 2
- 208000025206 Trichomonas vaginitis urogenital infection Diseases 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 210000004392 genitalia Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 208000029082 Pelvic Inflammatory Disease Diseases 0.000 description 1
- 208000005107 Premature Birth Diseases 0.000 description 1
- 206010036590 Premature baby Diseases 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 208000006374 Uterine Cervicitis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 206010008323 cervicitis Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 230000009933 reproductive health Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4318—Evaluation of the lower reproductive system
- A61B5/4337—Evaluation of the lower reproductive system of the vagina
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
本发明涉及一种基于卷积神经网络和摇摆活动特征的滴虫检测方法,包括以下步骤:S1:训练检测湿片中的中等大小目标物的AI检测模型;S2:采集显微视野固定的湿片视频;S3:判断S2视频中是否存在大幅度运动的目标;S4:根据S3的判断结果,检测是否存在滴虫,步骤如下:S41:如果判断S2视频中有大幅度运动的目标,首先利用S1的AI检测模型检测中等大小目标物,然后再检测是否存在整体运动的滴虫;S42:如果判断S2视频中不存在大幅度运动的目标,则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫。本发明能有效检出多种形态的滴虫、多个滴虫之间相互交叉堆叠同时运动的滴虫、滴虫整体不运动但是其鞭毛摇摆活动的滴虫,总体上提升滴虫的检出率。
Description
技术领域
本发明涉及妇科阴道微生态的显微视频中滴虫的智能检测识别领域,特别涉及一种基于卷积神经网络和摇摆活动特征的滴虫检测方法。
背景技术
滴虫是一种极微小、有鞭毛的原虫生物,用肉眼无法看到,需要在显微镜下观察。滴虫性阴道炎(简称TV)是由于阴道毛滴虫感染而引起的疾病,滴虫常隐藏在腺体及其阴道皱襞中,会引起宫颈炎、盆腔炎、不孕不育、早产等危害女性生殖健康的问题,因此提升滴虫的检出率对诊断女性阴道病起着至关重要的作用。
取女性生殖道分泌物直接经稀释液稀释悬滴于载玻片上,常称为湿片,将湿片放在生物显微镜下观察,发现相比女性生殖道分泌物中的其他类别,滴虫的形态非常多样化,有大有小,有的呈现圆形,有的呈现椭圆形,有的呈现梨形,有的比较长,有的比较圆,因此通过形态无法确定是滴虫,判断是否是滴虫最主要的特征是滴虫是运动的,湿片中滴虫的运动有两种情况:一是滴虫本身整体是运动的;二是滴虫本身整体是不运动的,但是其鞭毛是摇摆活动的。湿片下运动滴虫的检测是目前滴虫性阴道炎诊断的金标准。
目前,针对滴虫的检测,研究者们提出了一些解决方案。
发明专利《一种基于运动目标识别的白带滴虫自动检测的方法》(中国专利公开号CN106483129A)、发明专利《基于运动矢量的滴虫检测方法》(中国专利公开号CN107590805A)和发明专利《一种样本中目标物的识别方法、系统和可读存储介质》(中国专利公开号CN111931754A),都是基于背景建模的方法提取运动目标,即运动的滴虫,再利用长宽、圆形度等形态学特性筛选出滴虫,这类方法有四个弊端:第一:滴虫的几何特性多样,利用确定的几何特性筛选滴虫,非常容易造成滴虫的漏检,第二:有些滴虫整体是不运动的,只有鞭毛在摇摆活动,会漏检该类型的滴虫,第三:如果整体运动的滴虫很多,多个运动的滴虫会出现相互交叉堆叠的情况,相互之间影响了单个滴虫的形态,通过几何特性更加无法确定是否是滴虫;第四:湿片的标本液有可能也是流动的,而且流动有的快有的慢,流动标本液中有可能有杂质、细菌等,这种复杂多变的情况,对于使用背景建模技术提取运动的滴虫会受流动的标本液的影响,有可能提取的运动目标是流动的标本液,造成滴虫的误检,也有可能提取的滴虫部分包含有标本液部分,已经影响了滴虫的形态,造成滴虫的漏检。 基于以上原因提出了一种基于卷积神经网络和摇摆活动特征的运动滴虫的检测方法。
发明内容
本发明要解决的技术问题是克服现有技术的上述缺陷,提供一种基于卷积神经网络和摇摆活动特征的滴虫检测方法。有效提升滴虫的检出率并降低滴虫的误检率。
本发明是通过以下技术方案实现的:
基于卷积神经网络和摇摆活动特征的滴虫检测方法,包括以下步骤:
S1:训练检测湿片中的中等大小目标物的AI检测模型;
S2:采集显微视野固定的湿片视频,设定采集的湿片视频的分辨率为,宽为,高为;切换显微视野后,首先固定视野,再开始采集湿片视频,不要将切换视野的过程
录制进检测滴虫的视频;如果视频中存在切换视野的过程,无法判断是否有真实的目标物
在运动,极容易造成滴虫的误检和漏检;
S3:判断S2视频中是否存在大幅度运动的目标:利用视频的背景建模方法对连续的M帧前景图像进行逻辑或运算获取视频具备大幅运动目标的信息从而判断S2视频中是否存在大幅度运动的目标;
S4:根据S3的判断结果,检测是否存在滴虫,步骤如下:
S41:如果判断S2视频中有大幅度运动的目标,首先利用S1的AI检测模型检测中等大小目标物,然后再检测是否存在整体运动的滴虫;
S42:如果判断S2视频中不存在大幅度运动的目标,则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫,其中检测滴虫的摇摆活动鞭毛采用像素级的运动前景提取方法。
作为优化,所述S1具体步骤为将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注,并且这四个类别使用同一个类别标签,设定标签记为“medium”,结合该训练集和基于卷积神经网络的目标检测框架训练检测中等大小目标物的AI检测模型。湿片的显微图像中存在很多类别,常见的类别包括上皮细胞、线索细胞、白细胞、脓细胞、红细胞、滴虫、孢子、芽生孢子和菌丝,其中上皮细胞和线索细胞比滴虫要大很多,孢子和芽生孢子比滴虫要小很多,菌丝在形态上与滴虫完全不同,白细胞、脓细胞和红细胞与滴虫在大小上差别不大,与湿片中其他类别相比,属于中等大小的目标物,但是滴虫在形态上更多样,有椭圆形的,有梨形的,有圆形的;有些与白细胞和脓细胞相似的滴虫,如果在图像中看不到它的鞭毛,很难确认是否为滴虫,即滴虫与白细胞、脓细胞和红细胞的类间差距较小,为了构建出更有效的类间差距大类内差距小的训练集,将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注,并且这四个类别的使用同一个类别标签。
作为优化,所述S3的具体步骤为:
作为优化,所述S41的步骤为:
S411:从S2中间隔取少量帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物,快速初筛视频中是否有运动的标签为“medium”的目标物;
S412:准确筛选出哪一个标签为“medium”的目标物是运动的滴虫。
作为优化,所述S411的具体步骤如下:
S4112:针对以上隔帧取的帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物;
S4114:针对相邻的间隔帧得到的二值化图,将其或运算结果减去与运算结果,即
S4115:对二值化图 进行腐蚀操作,然后计算前景点的像素个数,如果
前景点的像素个数大于0,则确定相邻的间隔帧第 帧和第 帧中有运动
的标签为“medium”的目标物,如果前景点的像素个数等于0,则确定无运动的标签为
“medium”的目标物。
作为优化,所述S412的具体步骤如下:
S4121:利用S1的AI检测模型检测第 帧图像,设定第 帧图像检
测出个标签为“medium”的目标,设定 代表第 个目标物的目标直立矩形框内
坐标位置处的像素值设置为,其他像素值设置为的二值化图,其中;显
然,与 有如下关系:
作为优化,所述S42中检测滴虫的摇摆活动鞭毛所采用的像素级的运动前景提取方法具体包括以下步骤:
其中为当前帧的每一个位置的像素值比对应的背景帧
组中相同位置处的像素值的距离差大于某固定阈值的个数,代表当前帧 的 位置处的像素值,代表背景帧组中 的位置
处的像素值,代表像素值差的2-范数,三目运算符 ,代表以下含义
作为优化,所述S42的步骤为:
S421:记录活动目标经过的区域:根据像素级的运动前景提取方法分别提取两组视频帧的前景,将前景结果进行或运算,得到或运算结果即为活动目标经过的区域;
S422:计算活动目标经过区域的共同区域;
S423:确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。
作为优化,所述S421具体步骤如下:
S4212:根据像素级的运动前景提取方法分别提取两组视频帧的前景,结果分别记为
S4213:分别将第一组和第二组的前景结果进行或运算,即第一组的或运算结果记为:
第二组的或运算的结果记为:
作为优化,所述S422的具体步骤为:将S421记录的两组活动目标经过的区域 和进行与运算,设定 ,与运算结果 的前景区域即为活动目标经过区域的共同区域,与运算的结果可以确定不同
的时间段内在固定区域是否都有运动的目标;
所述S423的具体步骤为:
S4233:设定面积比例阈值,如果且 ,那么确定是滴虫的鞭毛摇摆活动的区域,反之,确定不是滴虫的鞭毛
摇摆活动的区域,有效排除随着标本液流动的细菌或者杂质对滴虫鞭毛检测的影响,因为
这些细菌或者杂质通常随着标本液沿着一个方向运动,在不同时间段经过的区域是不同
的;
S4234:如果确定是滴虫的鞭毛摇摆活动的区域,定位该区域的过程如下:对与运
算结果 进行轮廓检测,检测到的轮廓的区域即为鞭毛摇摆活动的区域或者
对检测出的轮廓进行最小外接直立矩形的拟合得到鞭毛摇摆活动的矩形区域。
本发明的有益效果是:
本发明方法能有效检出多种形态的滴虫、多个滴虫之间相互交叉堆叠同时运动的滴虫、滴虫整体不运动但是其鞭毛摇摆活动的滴虫,总体上提升滴虫的检出率,具有较好的实际应用价值和推广价值。
附图说明
下面结合附图对基于卷积神经网络和摇摆活动特征的滴虫检测方法作进一步说明:
图1为本发明整个过程的流程示意图;
图2(a)为检测整体运动的滴虫示意图;
图2(b)为检测整体不运动但是其鞭毛摇摆活动的滴虫的示意图;
图3(a)为存在数量较少且整体在运动的滴虫的视频的示例图;
图3(b)为3(a)视频中的前四帧图像的示例图;
图3(c)为采用二帧差法得到的图3(b)中的运动目标的前景示例图;
图3(d)为图3(c)的三帧前景图进行或运算的结果的示例图;
图3(e)为从3(a)视频中间隔取得的三帧图像的示例图;
图3(f)为AI目标检测模型检测图3(e)的三帧图像结果的示例图;
图3(g)为图3(f)检测出的目标的二值化掩码展示的示例图;
图3(h)为图3(g)的二值化图与或运算及其腐蚀操作后的结果的示例图;
图3(i)为图3(f)的第1个图的14个目标物的二值化掩码展示的示例图;
图3(j)为图3(i)与图3(j)与或运算的结果的示例图;
图3(k)为视频3(a)中检测出的整体运动的滴虫的示例图;
图4(a)为存在数量较多且整体在运动的滴虫的视频的示例图;
图4(b)为4(a)视频中的前四帧图像的示例图;
图4(c)为采用二帧差法得到的图4(b)中的运动目标的前景示例图;
图4(d)为图4(c)的三帧前景图进行或运算的结果的示例图;
图4(e)为从4(a)视频中间隔取得的三帧图像的示例图;
图4(f)为AI目标检测模型检测图4(e)的三帧图像结果的示例图;
图4(g)为图4(f)检测出的目标的二值化掩码展示的示例图;
图4(h)为图4(g)的二值化图与或运算及其腐蚀操作后的结果的示例图;
图4(i)为视频4(a)中检测出的整体运动的滴虫的示例图;
图5(a)为存在数量较多且整体不运动但是其鞭毛摇摆活动的滴虫的视频的示例图;
图5(b)为5(a)视频中的前四帧图像的示例图;
图5(c)为采用二帧差法得到的图5(b)中的运动目标的前景示例图;
图5(d)为图5(c)的三帧前景图进行或运算的结果的示例图;
图5(e)为从5(a)视频中间隔取得的三帧图像的示例图;
图5(f)为AI目标检测模型检测图5(e)的三帧图像结果的示例图;
图5(g)为图5(f)检测出的目标的二值化掩码展示的示例图;
图5(h)为图5(g)的二值化图与或运算及其腐蚀操作后的结果的示例图;
图5(i)为视频5(a)的两组视频帧中运动目标经过的区域的示例图;
图5(j)为图5(i)的两个图与运算的结果的示例图;
图5(k)为视频5(a)中滴虫的鞭毛摇摆活动的区域的示例图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
本发明的总体过程的示意图如图1所示,具体步骤如下:
步骤1:训练检测湿片中的中等大小目标物的AI检测模型。白细胞、脓细胞、红细胞和滴虫在大小上是差别不大的,这四个类别相比湿片中的其他类别在大小上属于中等的,将这四类利用外接直立矩形进行人工标注,并且这四个类别使用同一个类别标签,设定标签记为“medium”,构建出一个类内差距小的有效训练集。本实施例中,以ResNet-50为主干网络结合单阶段目标检测方法RetinaNet训练检测“medium”目标物的AI目标检测模型。
步骤2:采集显微视野固定的湿片视频。切换显微视野后,首先固定视野,再开始采
集湿片视频,不要将切换视野的过程录制进检测滴虫的视频。本实施例中采集的湿片视频
的分辨率为 ,其中宽 ,高 。为了清楚的展现本发明的具体过程和
提升效果,采集了三类常见的滴虫场景:如图3(a)所示的存在在数量较少且整体在运动的
滴虫的视频,如图4(a)所示的是存在数量较多且整体在运动的滴虫的视频,如图5(a)所示
的是存在数量较多且整体不运动但是其鞭毛摇摆活动的滴虫的视频。
步骤3:判断湿片视频中是否存在大幅度运动的目标。本实施例中利用视频的二帧
差背景建模方法提取视频前帧图像的帧前景图像, 前景的像素
值设置为 ,背景设置为 。二帧差背景建模方法提取前景的过程如下:将视频帧图像
灰度化的结果减去前一帧图像灰度化的结果,然后取绝对值,最后进行阈值二值化分割处
理,本实施例中阈值取值为17。设定阈值 。
图3(b)显示的是视频3(a)的前四帧图像,图3(c)为通过二帧差法根据这前四帧图
像提取的运动目标前景的结果,图3(d)为图3(c)的三帧前景图的或运算的结果 ,计算图3(d)的前景的像素点的个数为 ,前景像素
点占整张图面积的比例 ,判
断该视频中有大幅度运动的目标。
图4(b)显示的是视频4(a)的前四帧图像,图4(c)为通过二帧差法根据这前四帧图
像提取的运动目标前景的结果,图4(d)为图4(c)的三帧前景图的或运算的结果 ,计算图4(d)的前景的像素点的个数为 ,前景像素
点占整张图的面积的比例 ,判
断该视频中有大幅度运动的目标。
图5(b)显示的是视频5(a)的前四帧图像,图5(c)为通过二帧差法根据这前四帧提
取的运动目标前景的结果,图5(d)为图5(c)的三帧前景图的或运算的结果 ,计算图5(d)的前景的像素点的个数为 ,前景像素点
占整张图的面积的比例 <,判断
该视频不具备大幅度运动的目标。
步骤4:检测整体运动的滴虫和整体不运动但是其鞭毛摇摆活动的滴虫。根据步骤3的判断结果,如果判断视频中有大幅度运动的目标,检测是否有整体运动的滴虫,大体流程如图2(a)所示。如果判断视频中不存在大幅度运动的目标,检测是否有整体不运动但是其鞭毛摇摆活动的滴虫。
步骤4-1:通过步骤三判断出视频3(a)和4(a)有大幅度运动的目标,则检测视频3(a)和4(a)中是否有整体运动的滴虫,具体步骤如下:
步骤4-1-1:判断视频中是否有运动的标签为“medium”的目标物。
针对视频3(a),从视频3(a)中间隔取帧图像,从第1帧开始,每隔15帧取一帧,共取
三帧,即从视频3(a)中取第1帧图像、第16帧图像和第31帧图像,如图3(e)所示,利用步骤一
的AI目标检测模型检测这三帧图像中标签为“medium”的目标物,结果如图3(f)所示,将得
到的目标物的检测区域进行二值化图的掩码展示,即将检测出的目标物的目标框内的像素
值设置为 ,其他设置为,结果如图3(g)所示。将图3(g)所示的第1张二值化图和第2张
二值化图的或运算结果减去与运算结果,结果如图3(h)的第1张图所示,对该图进行一次腐
蚀操作,腐蚀操作的核的大小为 ,结果如图3(h)的第2张图所示,可以看出前景像素
点(像素值为255的像素点)的个数大于0,因此,在第1帧和第16帧上有运动的标签为
“medium”的目标物。同样,将图3(g)所示的第2张二值化图和第3张二值化图的或运算结果
减去其与运算结果,结果如图3(h)的第3张图所示,对该图进行一次腐蚀操作,腐蚀操作的
核的大小为 ,结果如图3(h)的第4张图所示,可以看出前景像素点(像素值为255的像
素点)的个数大于0,因此在第16帧和第31帧上有运动的标签为“medium”的目标物。
针对视频4(a),从视频4(a)中间隔取帧图像,从第1帧开始,每隔15帧取一帧,共取
三帧,即从视频4(a)中取第1帧图像、第16帧图像和第31帧图像,如图4(e)所示,利用步骤一
的AI目标检测模型检测这三帧图像中标签为“medium”的目标物,结果如图4(f)所示,将得
到的目标物的检测区域进行二值化图的掩码展示,即将检测出的目标物的目标框内的像素
值设置为 ,其他设置为 ,结果如图4(g)所示。将图4(g)所示的第1张二值化图和第2
张二值化图的或运算的结果减去与运算的结果,结果如图4(h)的第1张图所示,对该图进行
一次腐蚀操作,腐蚀操作的核的大小为 ,结果如图4(h)的第2张图所示,可以看出前
景像素点(像素值为255的像素点)的个数大于0,因此,在第1帧和第16帧上有运动的标签为
“medium”的目标物。同样,将图4(g)所示的第2张二值化图和第3张二值化图的或运算的结
果减去与运算的结果,结果如图4(h)的第3张图所示,对该图进行一次腐蚀操作,腐蚀操作
的核的大小为 ,结果如图4(h)的第4张图所示,可以看出前景像素点(像素值为255的
像素点)的个数大于0,因此在第16帧和第31帧上有运动的标签为“medium”的目标物。
步骤4-1-2:判断标签为“medium”的目标物是否为运动的滴虫。
通过步骤4-1-1已经判断出视频3(a)和4(a)中有运动的标签是“medium”的目标
物,该步骤需要确定哪些标签为“medium”的目标物是运动的且出现在步骤4.1.1间隔取的
哪一帧图像上。以视频3(a)的第1帧和第16帧为例,详细说明该步骤,图3(a)的第一帧共检
测出14个标签为“medium”的目标物,如图3(g)的第一张图所示,将这14个标签为“medium”
的目标物分别用14个二值化图展示,每一个二值化图是将每一个标签为“medium”的目标物
的目标直立矩形框内坐标位置处的像素值设置为,其他像素值设置为,如图3(i)的14
个图所示,将图3(i)所示的14个二值化图减去自身与图3(g)的第2个图进行与运算的结果,
图3(i)的第1个图减去自身与图3(g)的第2个图与运算的结果,其结果如图3(j)的第1个图
所示,其他13个二值化图分别减去自身与图3(g)的第二个图与运算的结果,其结果均如图3
(j)的第2个图所示,显然图3(j)的第1个图的前景像素点的个数不为0,图3(j)的第2个图的
前景像素点的个数为0,则确定第 个目标在第 帧图像上针对第16帧是运动,则认为该标
签为“medium”的目标物在第1帧图像上是滴虫,其余的13个目标均为不运动的(静止的)目
标物,不是滴虫,即检测出的滴虫的结果如图3(k)所示,以上过程检测出了第1帧上针对第
16帧运动的标签为“medium”的目标物。同样的过程,可检测出第16帧针对第1帧运动的标签
为“medium”的目标物,可检测出第31帧针对第16帧运动的标签为“medium”的目标物,可检
测出第16帧针对第31帧运动的标签为“medium”的目标物。本发明对比专利CN106483129A、
CN107590805A和CN111931754A,针对视频3(a)检测出的滴虫的数量如下表1所示:
从表1可以看出,本发明同专利CN106483129B、CN107590805A 和CN111931754B均可以检测出数量较少整体运动的滴虫,而且整体运动的滴虫之间不会相互影响。
视频4(a)的第1帧针对第16帧检测出的滴虫的结果如图4(g)所示。本发明对比专利CN106483129A、CN107590805A和CN111931754A,针对视频4(a)检测出的滴虫的数量如下表2所示:
从表2可以看出,专利CN106483129A、 CN107590805A和 CN111931754A无法检测出视频4(a)中数量较多同时运动且有的相互交叉堆叠的滴虫,而且这些滴虫的形态多样,通过圆形度、长宽比等几何特性无法确认是否是滴虫,而本发明可通过是否是运动及是否是中等大小的目标物确认是否是滴虫。
步骤4-2:通过步骤3判断出视频5(a)没有大幅度运动的目标,则检测视频5(a)是否有整体不运动但是其鞭毛摇摆活动的滴虫,大体流程如图2(b)所示,具体步骤如下:
步骤4-2-1:记录活动目标经过的区域。从视频5(a)中取两组连续的61帧图像,第
一组从第1帧到第61帧,第二组从61帧到121帧,利用针对检测滴虫鞭毛设计的像素级的运
动前景方法分别提取两组连续帧的前景,其中设置 , , ,则两组连续的视频帧图像分别得到46张前景图,分别将每一组的前景图进
行或运算,其结果即为第一组和第二组视频帧中活动物体经过的区域,其结果如图5(i)所
示。
步骤4-2-2:计算活动目标经过区域的共同区域。将视频5(a)通过步骤4-2-1得到的第一组和第二组中活动物体经过的区域如图5(i)所示的两个结果进行与运算,与运算的结果如图5(j)所示,该结果即为活动目标经过区域的共同区域。
步骤4-2-3:确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。设定面积比例
阈值 ,第一组活动物体经过的区域,如图5(i)的第1个图所示,前景像素
点的个数(前景的面积)为 。第二组活动物体经过的区域,如图5(i)的第2个图所示,
前景像素点的个数(前景的面积)为 。与运算的结果如图5(j)所示,前景像素点的个
数(前景的面积)为 ,
那么确定如图5(j)所示的前景区域是滴虫的鞭毛摇摆活动的区域。 针对图5(j)进行轮廓检测,即可确定滴虫的鞭毛摇摆活动的区域,如图5(k)所示的第2个图,也可对检测出的轮廓进行最小外接直立矩形的拟合,便可得到滴虫的鞭毛活动的矩形区域,如图5(k)的第1个图所示。本发明对比专利CN106483129A、CN107590805A和CN111931754A,针对视频5(a)检测出的滴虫的数量如下表3所示:
从表3可以看出,专利CN106483129A、CN107590805A和CN111931754A无法检测出整体不运动的滴虫,造成了滴虫的漏检,本发明可以根据其鞭毛摇摆运动的特征检测出整体不运动但是其鞭毛摇摆活动的滴虫。
上述具体实施方式仅是本发明的具体个案,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施方式。但是凡是未脱离本发明技术原理的前提下,依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化与改型,皆应落入本发明的专利保护范围。
Claims (9)
1.一种基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于,包括以下步骤:
S1:训练检测湿片图像中的中等大小目标物的AI检测模型;
S2:采集显微视野固定的湿片视频;
S3:判断S2视频中是否存在大幅度运动的目标:利用视频的背景建模方法对连续的M帧前景图像进行逻辑或运算获取视频具备大幅运动目标的信息从而判断S2视频中是否存在大幅度运动的目标;所述S3的具体步骤为:
S4:根据S3的判断结果,检测是否存在滴虫,步骤如下:
S41:如果判断S2视频中有大幅度运动的目标,首先利用S1的AI检测模型检测中等大小目标物,然后再检测是否存在整体运动的滴虫;
S42:如果判断S2视频中不存在大幅度运动的目标,则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫,其中检测滴虫的摇摆活动鞭毛采用像素级的运动前景提取方法。
2.如权利要求1所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于所述S42中检测滴虫的摇摆活动鞭毛所采用的像素级的运动前景提取方法具体包括以下步骤:
其中为当前帧的每一个位置的像素值比对应的背景帧组中相同位置处的像素值的距离差大于某固定阈值的个数,代表当前帧的位置处的像素值,代表背景帧组中的位置处的像素值,代表像素值差的2-范数,三目运算符,代表以下含义
3.如权利要求1所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于:所述S1具体步骤为将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注,并且这四个类别使用同一个类别标签,设定标签记为“medium”,结合该训练集和基于卷积神经网络的目标检测框架训练检测中等大小目标物的AI检测模型。
4.如权利要求3所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于所述S41的步骤为:
S411:从S2中间隔取少量帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物,快速初筛视频中是否有运动的标签为“medium”的目标物;
S412:准确筛选出哪一个标签为“medium”的目标物是运动的滴虫。
5.如权利要求4所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于所述S411的具体步骤如下:
S4112:针对以上隔帧取的帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物;
S4114:针对相邻的间隔帧得到的二值化图,将其或运算结果减去与运算结果,即
7.如权利要求1或2所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于所述S42的步骤为:
S421:记录活动目标经过的区域:根据像素级的运动前景提取方法分别提取两组视频帧的前景,将前景结果进行或运算,得到或运算结果即为活动目标经过的区域;
S422:计算活动目标经过区域的共同区域;
S423:确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。
9.如权利要求8所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法,其特征在于,
所述S423的具体步骤为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111000709.8A CN113450354B (zh) | 2021-08-30 | 2021-08-30 | 基于卷积神经网络和摇摆活动特征的滴虫检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111000709.8A CN113450354B (zh) | 2021-08-30 | 2021-08-30 | 基于卷积神经网络和摇摆活动特征的滴虫检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113450354A CN113450354A (zh) | 2021-09-28 |
CN113450354B true CN113450354B (zh) | 2021-11-16 |
Family
ID=77819003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111000709.8A Active CN113450354B (zh) | 2021-08-30 | 2021-08-30 | 基于卷积神经网络和摇摆活动特征的滴虫检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113450354B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630867B (zh) * | 2023-07-25 | 2023-11-17 | 深圳市美侨医疗科技有限公司 | 一种基于Mask R-CNN的白带滴虫检测与跟踪方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101304479A (zh) * | 2008-06-23 | 2008-11-12 | 北京中星微电子有限公司 | 在视频序列中检测运动的方法及装置 |
CN101571955A (zh) * | 2009-06-02 | 2009-11-04 | 山东大学 | 一种精确实时微变化运动目标检测方法 |
CN108492319A (zh) * | 2018-03-09 | 2018-09-04 | 西安电子科技大学 | 基于深度全卷积神经网络的运动目标检测方法 |
CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
CN110852241A (zh) * | 2019-11-06 | 2020-02-28 | 西安交通大学 | 一种应用于护理机器人的小目标检测方法 |
CN112215182A (zh) * | 2020-10-21 | 2021-01-12 | 中国人民解放军火箭军工程大学 | 一种适用于森林火灾的烟雾识别方法 |
CN112380900A (zh) * | 2020-10-10 | 2021-02-19 | 深圳视见医疗科技有限公司 | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 |
CN113167783A (zh) * | 2018-10-18 | 2021-07-23 | 加利福尼亚大学董事会 | 用于流体样本中运动物体的基于运动的无标记检测的设备和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201400688Y (zh) * | 2009-03-10 | 2010-02-10 | 郑州安图绿科生物工程有限公司 | 一种阴道炎联检卡 |
CN107590805A (zh) * | 2017-09-15 | 2018-01-16 | 湖南友哲科技有限公司 | 基于运动矢量的滴虫检测方法 |
CN108977386A (zh) * | 2018-08-08 | 2018-12-11 | 大连大学 | 一种筛选高产低温苹果酸脱氢酶细菌菌株的方法 |
CN111751528A (zh) * | 2020-07-08 | 2020-10-09 | 天津市宝坻区人民医院 | 核固红染色在抗双链dna检测方法中新用途 |
CN112538480B (zh) * | 2020-12-24 | 2022-09-27 | 广州市妇女儿童医疗中心(广州市妇幼保健院、广州市儿童医院、广州市妇婴医院、广州市妇幼保健计划生育服务中心) | 精子鞭毛多发形态异常疾病动物模型的构建方法和应用 |
-
2021
- 2021-08-30 CN CN202111000709.8A patent/CN113450354B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101304479A (zh) * | 2008-06-23 | 2008-11-12 | 北京中星微电子有限公司 | 在视频序列中检测运动的方法及装置 |
CN101571955A (zh) * | 2009-06-02 | 2009-11-04 | 山东大学 | 一种精确实时微变化运动目标检测方法 |
CN108492319A (zh) * | 2018-03-09 | 2018-09-04 | 西安电子科技大学 | 基于深度全卷积神经网络的运动目标检测方法 |
CN113167783A (zh) * | 2018-10-18 | 2021-07-23 | 加利福尼亚大学董事会 | 用于流体样本中运动物体的基于运动的无标记检测的设备和方法 |
CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
CN110852241A (zh) * | 2019-11-06 | 2020-02-28 | 西安交通大学 | 一种应用于护理机器人的小目标检测方法 |
CN112380900A (zh) * | 2020-10-10 | 2021-02-19 | 深圳视见医疗科技有限公司 | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 |
CN112215182A (zh) * | 2020-10-21 | 2021-01-12 | 中国人民解放军火箭军工程大学 | 一种适用于森林火灾的烟雾识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113450354A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
CN110136149A (zh) | 基于深度神经网络的白细胞定位与分割方法 | |
CN106570486B (zh) | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 | |
CN104651462B (zh) | 基于显微图像分析的稻瘟病菌孢子检测方法 | |
Zhang et al. | Learning-based license plate detection using global and local features | |
Tulsani et al. | Segmentation using morphological watershed transformation for counting blood cells | |
TW201120806A (en) | Method of locating license plate of moving vehicle | |
CN101877074A (zh) | 基于多元特征的结核杆菌目标识别计数算法 | |
Salem et al. | A comparative study of white blood cells segmentation using otsu threshold and watershed transformation | |
Nayak et al. | A new algorithm for automatic assessment of the degree of TB-infection using images of ZN-stained sputum smear | |
CN109087286A (zh) | 一种基于计算机图像处理和模式识别的检测方法及应用 | |
CN110335233B (zh) | 基于图像处理技术的高速公路护栏板缺陷检测系统和方法 | |
CN113450354B (zh) | 基于卷积神经网络和摇摆活动特征的滴虫检测方法 | |
Hobson et al. | Classifying anti-nuclear antibodies HEp-2 images: A benchmarking platform | |
Bhavnani et al. | Segmentation and counting of WBCs and RBCs from microscopic blood sample images | |
Eden et al. | An automated method for analysis of flow characteristics of circulating particles from in vivo video microscopy | |
CN115330795A (zh) | 布匹毛刺缺陷检测方法 | |
Nakamichi et al. | Classification of circulating tumor cells in fluorescence microscopy images based on SqueezeNet | |
CN115266732A (zh) | 基于机器视觉的碳纤维丝束缺陷检测方法 | |
Laroca et al. | A first look at dataset bias in license plate recognition | |
CN113033417B (zh) | 一种妇科微生态中孢子的检测识别方法、设备及存储介质 | |
CN109344859B (zh) | 一种基于混合时间池化算子的有丝分裂定位和识别的方法 | |
CN107316320A (zh) | 一种使用gpu加速的实时行人检测系统 | |
CN116434920A (zh) | 一种胃肠上皮化生进展风险预测方法与装置 | |
Aris et al. | Colour component analysis approach for malaria parasites detection based on thick blood smear images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Trichomonas detection method based on convolutional neural network and swaying activity features Effective date of registration: 20231109 Granted publication date: 20211116 Pledgee: Industrial and Commercial Bank of China Limited Jinan Licheng Branch Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD. Registration number: Y2023370000129 |