CN113450354A - 基于卷积神经网络和摇摆活动特征的滴虫检测方法 - Google Patents

基于卷积神经网络和摇摆活动特征的滴虫检测方法 Download PDF

Info

Publication number
CN113450354A
CN113450354A CN202111000709.8A CN202111000709A CN113450354A CN 113450354 A CN113450354 A CN 113450354A CN 202111000709 A CN202111000709 A CN 202111000709A CN 113450354 A CN113450354 A CN 113450354A
Authority
CN
China
Prior art keywords
frame
trichomonas
video
foreground
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111000709.8A
Other languages
English (en)
Other versions
CN113450354B (zh
Inventor
谢晓鸿
谢时灵
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Original Assignee
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shidasi Medical Technology Co ltd, Shandong Stars Bioindustry Co ltd filed Critical Shandong Shidasi Medical Technology Co ltd
Priority to CN202111000709.8A priority Critical patent/CN113450354B/zh
Publication of CN113450354A publication Critical patent/CN113450354A/zh
Application granted granted Critical
Publication of CN113450354B publication Critical patent/CN113450354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4337—Evaluation of the lower reproductive system of the vagina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明涉及一种基于卷积神经网络和摇摆活动特征的滴虫检测方法，包括以下步骤：S1：训练检测湿片中的中等大小目标物的AI检测模型；S2：采集显微视野固定的湿片视频；S3：判断S2视频中是否存在大幅度运动的目标；S4：根据S3的判断结果，检测是否存在滴虫，步骤如下：S41：如果判断S2视频中有大幅度运动的目标，首先利用S1的AI检测模型检测中等大小目标物，然后再检测是否存在整体运动的滴虫；S42：如果判断S2视频中不存在大幅度运动的目标，则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫。本发明能有效检出多种形态的滴虫、多个滴虫之间相互交叉堆叠同时运动的滴虫、滴虫整体不运动但是其鞭毛摇摆活动的滴虫，总体上提升滴虫的检出率。

Description

基于卷积神经网络和摇摆活动特征的滴虫检测方法
技术领域
本发明涉及妇科阴道微生态的显微视频中滴虫的智能检测识别领域，特别涉及一种基于卷积神经网络和摇摆活动特征的滴虫检测方法。
背景技术
滴虫是一种极微小、有鞭毛的原虫生物，用肉眼无法看到，需要在显微镜下观察。滴虫性阴道炎（简称TV）是由于阴道毛滴虫感染而引起的疾病，滴虫常隐藏在腺体及其阴道皱襞中，会引起宫颈炎、盆腔炎、不孕不育、早产等危害女性生殖健康的问题，因此提升滴虫的检出率对诊断女性阴道病起着至关重要的作用。
取女性生殖道分泌物直接经稀释液稀释悬滴于载玻片上，常称为湿片，将湿片放在生物显微镜下观察，发现相比女性生殖道分泌物中的其他类别，滴虫的形态非常多样化，有大有小，有的呈现圆形，有的呈现椭圆形，有的呈现梨形，有的比较长，有的比较圆，因此通过形态无法确定是滴虫，判断是否是滴虫最主要的特征是滴虫是运动的，湿片中滴虫的运动有两种情况：一是滴虫本身整体是运动的；二是滴虫本身整体是不运动的，但是其鞭毛是摇摆活动的。湿片下运动滴虫的检测是目前滴虫性阴道炎诊断的金标准。
目前，针对滴虫的检测，研究者们提出了一些解决方案。
发明专利《一种基于运动目标识别的白带滴虫自动检测的方法》（中国专利公开号CN106483129A）、发明专利《基于运动矢量的滴虫检测方法》（中国专利公开号CN107590805A）和发明专利《一种样本中目标物的识别方法、系统和可读存储介质》（中国专利公开号CN111931754A），都是基于背景建模的方法提取运动目标，即运动的滴虫，再利用长宽、圆形度等形态学特性筛选出滴虫，这类方法有四个弊端：第一：滴虫的几何特性多样，利用确定的几何特性筛选滴虫，非常容易造成滴虫的漏检，第二：有些滴虫整体是不运动的，只有鞭毛在摇摆活动，会漏检该类型的滴虫，第三：如果整体运动的滴虫很多，多个运动的滴虫会出现相互交叉堆叠的情况，相互之间影响了单个滴虫的形态，通过几何特性更加无法确定是否是滴虫；第四：湿片的标本液有可能也是流动的，而且流动有的快有的慢，流动标本液中有可能有杂质、细菌等，这种复杂多变的情况，对于使用背景建模技术提取运动的滴虫会受流动的标本液的影响，有可能提取的运动目标是流动的标本液，造成滴虫的误检，也有可能提取的滴虫部分包含有标本液部分，已经影响了滴虫的形态，造成滴虫的漏检。 基于以上原因提出了一种基于卷积神经网络和摇摆活动特征的运动滴虫的检测方法。
发明内容
本发明要解决的技术问题是克服现有技术的上述缺陷，提供一种基于卷积神经网络和摇摆活动特征的滴虫检测方法。有效提升滴虫的检出率并降低滴虫的误检率。
本发明是通过以下技术方案实现的：
基于卷积神经网络和摇摆活动特征的滴虫检测方法，包括以下步骤：
S1：训练检测湿片中的中等大小目标物的AI检测模型；
S2：采集显微视野固定的湿片视频，设定采集的湿片视频的分辨率为
Figure 739194DEST_PATH_IMAGE001
，宽为
Figure 657996DEST_PATH_IMAGE002
，高为
Figure 143335DEST_PATH_IMAGE003
；切换显微视野后，首先固定视野，再开始采集湿片视频，不要将切换视野的过程录 制进检测滴虫的视频；如果视频中存在切换视野的过程，无法判断是否有真实的目标物在 运动，极容易造成滴虫的误检和漏检；
S3：判断S2视频中是否存在大幅度运动的目标：利用视频的背景建模方法对连续的M帧前景图像进行逻辑或运算获取视频具备大幅运动目标的信息从而判断S2视频中是否存在大幅度运动的目标；
S4：根据S3的判断结果，检测是否存在滴虫，步骤如下：
S41：如果判断S2视频中有大幅度运动的目标，首先利用S1的AI检测模型检测中等大小目标物，然后再检测是否存在整体运动的滴虫；
S42：如果判断S2视频中不存在大幅度运动的目标，则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫，其中检测滴虫的摇摆活动鞭毛采用像素级的运动前景提取方法。
作为优化，所述S1具体步骤为将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注，并且这四个类别使用同一个类别标签，设定标签记为“medium”，结合该训练集和基于卷积神经网络的目标检测框架训练检测中等大小目标物的AI检测模型。湿片的显微图像中存在很多类别，常见的类别包括上皮细胞、线索细胞、白细胞、脓细胞、红细胞、滴虫、孢子、芽生孢子和菌丝，其中上皮细胞和线索细胞比滴虫要大很多，孢子和芽生孢子比滴虫要小很多，菌丝在形态上与滴虫完全不同，白细胞、脓细胞和红细胞与滴虫在大小上差别不大，与湿片中其他类别相比，属于中等大小的目标物，但是滴虫在形态上更多样，有椭圆形的，有梨形的，有圆形的；有些与白细胞和脓细胞相似的滴虫，如果在图像中看不到它的鞭毛，很难确认是否为滴虫，即滴虫与白细胞、脓细胞和红细胞的类间差距较小，为了构建出更有效的类间差距大类内差距小的训练集，将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注，并且这四个类别的使用同一个类别标签。
作为优化，所述S3的具体步骤为：
S31：利用二帧差法或VIBE算法提取S2视频中连续的前
Figure 93842DEST_PATH_IMAGE004
帧图像的共
Figure 537593DEST_PATH_IMAGE005
帧前景 图像
Figure 284969DEST_PATH_IMAGE006
，
Figure 557687DEST_PATH_IMAGE007
前景的像素值设置为255，背景的像素值设置为0，
S32：将上述 QUOTE
Figure 113434DEST_PATH_IMAGE005
Figure 321561DEST_PATH_IMAGE005
帧前景图像进行或运算，或运算的结果记为
Figure 212025DEST_PATH_IMAGE008
，即：
Figure 773588DEST_PATH_IMAGE009
，其中“
Figure 701617DEST_PATH_IMAGE010
”代表二值化图 的或运算；
S33：设定
Figure 815067DEST_PATH_IMAGE011
的前景像素点的个数为
Figure 943560DEST_PATH_IMAGE012
，设定采集的湿片视频 的分辨率为
Figure 823660DEST_PATH_IMAGE001
，宽为
Figure 88419DEST_PATH_IMAGE002
，高为
Figure 903928DEST_PATH_IMAGE003
，设定阈值
Figure 706668DEST_PATH_IMAGE013
，其中
Figure 672350DEST_PATH_IMAGE014
，如果
Figure 119512DEST_PATH_IMAGE015
>
Figure 27294DEST_PATH_IMAGE016
，则判断为S2视频中存在大幅度运动的目标，反之，S2视频中不存 在大幅度运动的目标。
作为优化，所述S41的步骤为：
S411：从S2中间隔取少量帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物，快速初筛视频中是否有运动的标签为“medium”的目标物；
S412：准确筛选出哪一个标签为“medium”的目标物是运动的滴虫。
作为优化，所述S411的具体步骤如下：
S4111：从S2视频中间隔取少量帧图像，设定从第
Figure 68062DEST_PATH_IMAGE017
帧开始，每隔
Figure 89633DEST_PATH_IMAGE018
帧取一帧图像， 即取视频中的第
Figure 391301DEST_PATH_IMAGE017
帧，第
Figure 220717DEST_PATH_IMAGE019
帧，第
Figure 263628DEST_PATH_IMAGE020
帧，……，第
Figure 633429DEST_PATH_IMAGE021
帧，……，第
Figure 992866DEST_PATH_IMAGE022
帧；
S4112：针对以上隔帧取的帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物；
S4113：将得到的目标物的检测区域进行二值化图的掩码展示，即将检测出的目标 物的目标框内的像素值设置为
Figure 180134DEST_PATH_IMAGE023
，其他设置为
Figure 992232DEST_PATH_IMAGE024
，该二值化图记为
Figure 431304DEST_PATH_IMAGE025
，其中
Figure 894515DEST_PATH_IMAGE026
，且
Figure 3417DEST_PATH_IMAGE027
，即一共针对
Figure 543289DEST_PATH_IMAGE028
帧图像进行目标检测；
S4114：针对相邻的间隔帧得到的二值化图，将其或运算结果减去与运算结果，即
Figure 254894DEST_PATH_IMAGE029
其中“
Figure 588923DEST_PATH_IMAGE010
”代表二值化图的或运算，“
Figure 117993DEST_PATH_IMAGE030
”代表二值化图的与运算，
Figure 904684DEST_PATH_IMAGE031
；
S4115：对二值化图
Figure 419979DEST_PATH_IMAGE032
进行腐蚀操作，然后计算前景点的像素个数，如果前 景点的像素个数大于0，则确定相邻的间隔帧第
Figure 857782DEST_PATH_IMAGE033
帧和第
Figure 308486DEST_PATH_IMAGE034
帧中有运动的标 签为“medium”的目标物，如果前景点的像素个数等于0，则确定无运动的标签为“medium”的 目标物。
作为优化，所述S412的具体步骤如下：
S4121：利用S1的AI检测模型检测第
Figure 566161DEST_PATH_IMAGE021
帧图像，设定第
Figure 822830DEST_PATH_IMAGE021
帧图像检测出
Figure 193768DEST_PATH_IMAGE035
个标签为“medium”的目标，设定
Figure 864309DEST_PATH_IMAGE036
代表第
Figure 297695DEST_PATH_IMAGE037
个目标物的目标直立矩形框内坐标位 置处的像素值设置为
Figure 607323DEST_PATH_IMAGE023
，其他像素值设置为
Figure 567188DEST_PATH_IMAGE024
的二值化图，其中
Figure 422012DEST_PATH_IMAGE038
；显然，
Figure 857541DEST_PATH_IMAGE036
与
Figure 456013DEST_PATH_IMAGE039
有如下关系：
Figure 270385DEST_PATH_IMAGE040
；
设定
Figure 810957DEST_PATH_IMAGE041
，其中
Figure 218936DEST_PATH_IMAGE042
，
Figure 607716DEST_PATH_IMAGE031
， 该结果代表第
Figure 542174DEST_PATH_IMAGE033
帧图像中的第
Figure 4379DEST_PATH_IMAGE037
个目标物的位置针对第
Figure 883343DEST_PATH_IMAGE034
帧图像的变化；
S4122：对二值化图
Figure 89196DEST_PATH_IMAGE043
进行腐蚀操作，然后计算前景点的像素个数
Figure 878160DEST_PATH_IMAGE044
，如果
Figure 619589DEST_PATH_IMAGE045
，则认为第
Figure 582254DEST_PATH_IMAGE046
个目标在第
Figure 60639DEST_PATH_IMAGE047
帧图像上是滴虫，反 之，
Figure 94323DEST_PATH_IMAGE048
，则认为第
Figure 616440DEST_PATH_IMAGE046
个目标在第
Figure 736841DEST_PATH_IMAGE047
帧图像上不是滴虫。
作为优化，所述S42中检测滴虫的摇摆活动鞭毛所采用的像素级的运动前景提取方法具体包括以下步骤：
第1步：初始化背景帧组，其中背景帧组设定为
Figure 661329DEST_PATH_IMAGE049
，对于采集的湿片视 频，设定有
Figure 628148DEST_PATH_IMAGE003
帧图像，取
Figure 321166DEST_PATH_IMAGE003
帧图像的前
Figure 475067DEST_PATH_IMAGE050
帧图像作为初始化的背景帧组；
第2步：提取运动前景并更新背景帧组，从第
Figure 951047DEST_PATH_IMAGE051
帧图像开始提取运动前景，利用 当前帧
Figure 747272DEST_PATH_IMAGE052
的前
Figure 80033DEST_PATH_IMAGE050
帧图像作为当前帧的背景帧组，记第
Figure 98061DEST_PATH_IMAGE053
帧的背景帧组
Figure 256029DEST_PATH_IMAGE054
为
Figure 477668DEST_PATH_IMAGE055
，
针对当前帧
Figure 43647DEST_PATH_IMAGE052
的每一个位置
Figure 906561DEST_PATH_IMAGE056
计算以下值：
Figure 317820DEST_PATH_IMAGE057
其中
Figure 582579DEST_PATH_IMAGE058
为当前帧
Figure 788301DEST_PATH_IMAGE052
的每一个位置
Figure 872932DEST_PATH_IMAGE056
的像素值比对应的背景帧组中相 同位置处的像素值的距离差大于某固定阈值的个数，
Figure 90811DEST_PATH_IMAGE059
代表当前帧
Figure 475656DEST_PATH_IMAGE052
的
Figure 321121DEST_PATH_IMAGE056
位置处的像素值，
Figure 158627DEST_PATH_IMAGE060
代表背景帧组中
Figure 177268DEST_PATH_IMAGE061
的
Figure 151040DEST_PATH_IMAGE056
位置处的像素值，
Figure 698565DEST_PATH_IMAGE062
代表像素值差的2-范数，三目运算符
Figure 23367DEST_PATH_IMAGE063
,代表以下 含义
Figure 583049DEST_PATH_IMAGE064
Figure 942486DEST_PATH_IMAGE065
代表像素值差的2-范数的距离阈值，如果
Figure 864174DEST_PATH_IMAGE066
，则 代表当前帧的
Figure 659961DEST_PATH_IMAGE067
的第
Figure 505557DEST_PATH_IMAGE068
位置为前景像素点，前景像素点的像素值设置为
Figure 703189DEST_PATH_IMAGE069
，否则， 代表当前帧的
Figure 608828DEST_PATH_IMAGE067
的第
Figure 148701DEST_PATH_IMAGE068
位置为背景像素点，背景像素点的像素值设置为
Figure 797988DEST_PATH_IMAGE024
。
作为优化，所述S42的步骤为：
S421：记录活动目标经过的区域：根据像素级的运动前景提取方法分别提取两组视频帧的前景，将前景结果进行或运算，得到或运算结果即为活动目标经过的区域；
S422：计算活动目标经过区域的共同区域；
S423：确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。
作为优化，所述S421具体步骤如下：
S4211：取两组连续的
Figure 318968DEST_PATH_IMAGE070
帧的图像，设定第一组从视频的第
Figure 395509DEST_PATH_IMAGE071
帧开始，记为
Figure 900308DEST_PATH_IMAGE072
，其中
Figure 618865DEST_PATH_IMAGE073
第二组从视频的第
Figure 791090DEST_PATH_IMAGE074
帧开始，记为
Figure 38531DEST_PATH_IMAGE075
，其中
Figure 33557DEST_PATH_IMAGE076
S4212：根据像素级的运动前景提取方法分别提取两组视频帧的前景，结果分别记为
Figure 24647DEST_PATH_IMAGE077
,
Figure 130006DEST_PATH_IMAGE078
,
Figure 797616DEST_PATH_IMAGE079
}，
Figure 558899DEST_PATH_IMAGE080
,
Figure 540630DEST_PATH_IMAGE081
,
Figure 438179DEST_PATH_IMAGE082
,
Figure 276691DEST_PATH_IMAGE083
}；
S4213：分别将第一组和第二组的前景结果进行或运算，即第一组的或运算结果记为：
Figure 790849DEST_PATH_IMAGE084
；
第二组的或运算的结果记为：
Figure 579201DEST_PATH_IMAGE085
；
Figure 331256DEST_PATH_IMAGE086
和
Figure 606249DEST_PATH_IMAGE087
的前景区域分别为第一组视频帧图像中活动目标经过的区域和 第二组视频帧图像中活动目标经过的区域。
作为优化，所述S422的具体步骤为：将S421记录的两组活动目标经过的区域
Figure 545386DEST_PATH_IMAGE088
和
Figure 196816DEST_PATH_IMAGE089
进行与运算，设定
Figure 131274DEST_PATH_IMAGE090
，与运算结果
Figure 62321DEST_PATH_IMAGE091
的前景区域即为活动目标经过区域的共同区域，与运算的结果可以确定不同的时间段内在 固定区域是否都有运动的目标；
所述S423的具体步骤为：
S4231：确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域，设定第一组和第二 组视频帧图像中运动目标经过的区域的面积分别记为
Figure 269180DEST_PATH_IMAGE092
和
Figure 602597DEST_PATH_IMAGE093
，即
Figure 516195DEST_PATH_IMAGE088
和
Figure 946040DEST_PATH_IMAGE089
的前景点的像素个数；
S4232：设定两组活动目标经过区域的共同区域的面积为
Figure 125348DEST_PATH_IMAGE094
，即与运算结果
Figure 259526DEST_PATH_IMAGE095
的前景点的像素个数；
S4233：设定面积比例阈值
Figure 355527DEST_PATH_IMAGE096
，如果
Figure 361134DEST_PATH_IMAGE097
且
Figure 11427DEST_PATH_IMAGE098
，那么确定是滴虫的鞭毛摇摆活动的区域，反之，确定不是滴虫的鞭毛摇 摆活动的区域，有效排除随着标本液流动的细菌或者杂质对滴虫鞭毛检测的影响，因为这 些细菌或者杂质通常随着标本液沿着一个方向运动，在不同时间段经过的区域是不同的；
S4234：如果确定是滴虫的鞭毛摇摆活动的区域，定位该区域的过程如下：对与运 算结果
Figure 76860DEST_PATH_IMAGE099
进行轮廓检测，检测到的轮廓的区域即为鞭毛摇摆活动的区域或者对 检测出的轮廓进行最小外接直立矩形的拟合得到鞭毛摇摆活动的矩形区域。
本发明的有益效果是：
本发明方法能有效检出多种形态的滴虫、多个滴虫之间相互交叉堆叠同时运动的滴虫、滴虫整体不运动但是其鞭毛摇摆活动的滴虫，总体上提升滴虫的检出率，具有较好的实际应用价值和推广价值。
附图说明
下面结合附图对基于卷积神经网络和摇摆活动特征的滴虫检测方法作进一步说明：
图1为本发明整个过程的流程示意图；
图2（a）为检测整体运动的滴虫示意图；
图2（b）为检测整体不运动但是其鞭毛摇摆活动的滴虫的示意图；
图3（a）为存在数量较少且整体在运动的滴虫的视频的示例图；
图3（b）为3（a）视频中的前四帧图像的示例图；
图3（c）为采用二帧差法得到的图3（b）中的运动目标的前景示例图；
图3（d）为图3（c）的三帧前景图进行或运算的结果的示例图；
图3（e）为从3（a）视频中间隔取得的三帧图像的示例图；
图3（f）为AI目标检测模型检测图3（e）的三帧图像结果的示例图；
图3（g）为图3（f）检测出的目标的二值化掩码展示的示例图；
图3（h）为图3（g）的二值化图与或运算及其腐蚀操作后的结果的示例图；
图3（i）为图3（f）的第1个图的14个目标物的二值化掩码展示的示例图；
图3（j）为图3（i）与图3（j）与或运算的结果的示例图；
图3（k）为视频3（a）中检测出的整体运动的滴虫的示例图；
图4（a）为存在数量较多且整体在运动的滴虫的视频的示例图；
图4（b）为4（a）视频中的前四帧图像的示例图；
图4（c）为采用二帧差法得到的图4（b）中的运动目标的前景示例图；
图4（d）为图4（c）的三帧前景图进行或运算的结果的示例图；
图4（e）为从4（a）视频中间隔取得的三帧图像的示例图；
图4（f）为AI目标检测模型检测图4（e）的三帧图像结果的示例图；
图4（g）为图4（f）检测出的目标的二值化掩码展示的示例图；
图4（h）为图4（g）的二值化图与或运算及其腐蚀操作后的结果的示例图；
图4（i）为视频4（a）中检测出的整体运动的滴虫的示例图；
图5（a）为存在数量较多且整体不运动但是其鞭毛摇摆活动的滴虫的视频的示例图；
图5（b）为5（a）视频中的前四帧图像的示例图；
图5（c）为采用二帧差法得到的图5（b）中的运动目标的前景示例图；
图5（d）为图5（c）的三帧前景图进行或运算的结果的示例图；
图5（e）为从5（a）视频中间隔取得的三帧图像的示例图；
图5（f）为AI目标检测模型检测图5（e）的三帧图像结果的示例图；
图5（g）为图5（f）检测出的目标的二值化掩码展示的示例图；
图5（h）为图5（g）的二值化图与或运算及其腐蚀操作后的结果的示例图；
图5（i）为视频5（a）的两组视频帧中运动目标经过的区域的示例图；
图5（j）为图5（i）的两个图与运算的结果的示例图；
图5（k）为视频5（a）中滴虫的鞭毛摇摆活动的区域的示例图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本发明的总体过程的示意图如图1所示，具体步骤如下：
步骤1：训练检测湿片中的中等大小目标物的AI检测模型。白细胞、脓细胞、红细胞和滴虫在大小上是差别不大的，这四个类别相比湿片中的其他类别在大小上属于中等的，将这四类利用外接直立矩形进行人工标注，并且这四个类别使用同一个类别标签，设定标签记为“medium”，构建出一个类内差距小的有效训练集。本实施例中，以ResNet-50为主干网络结合单阶段目标检测方法RetinaNet训练检测“medium”目标物的AI目标检测模型。
步骤2：采集显微视野固定的湿片视频。切换显微视野后，首先固定视野，再开始采 集湿片视频，不要将切换视野的过程录制进检测滴虫的视频。本实施例中采集的湿片视频 的分辨率为
Figure 699471DEST_PATH_IMAGE001
，其中宽
Figure 251544DEST_PATH_IMAGE100
，高
Figure 733341DEST_PATH_IMAGE101
。为了清楚的展现本发明的具体过程和提升 效果，采集了三类常见的滴虫场景：如图3（a）所示的存在在数量较少且整体在运动的滴虫 的视频，如图4（a）所示的是存在数量较多且整体在运动的滴虫的视频，如图5（a）所示的是 存在数量较多且整体不运动但是其鞭毛摇摆活动的滴虫的视频。
步骤3：判断湿片视频中是否存在大幅度运动的目标。本实施例中利用视频的二帧 差背景建模方法提取视频前
Figure 819108DEST_PATH_IMAGE102
帧图像的
Figure 564735DEST_PATH_IMAGE103
帧前景图像
Figure 710546DEST_PATH_IMAGE104
，
Figure 335431DEST_PATH_IMAGE105
前景的像素值设置 为
Figure 959310DEST_PATH_IMAGE069
，背景设置为
Figure 431880DEST_PATH_IMAGE024
。二帧差背景建模方法提取前景的过程如下：将视频帧图像灰度化的 结果减去前一帧图像灰度化的结果，然后取绝对值，最后进行阈值二值化分割处理，本实施 例中阈值取值为17。设定阈值
Figure 997859DEST_PATH_IMAGE106
。
图3（b）显示的是视频3（a）的前四帧图像，图3（c）为通过二帧差法根据这前四帧图 像提取的运动目标前景的结果，图3（d）为图3（c）的三帧前景图的或运算的结果
Figure 64035DEST_PATH_IMAGE011
，计算图3（d）的前景的像素点的个数为
Figure 740873DEST_PATH_IMAGE107
，前景像素点占整 张图面积的比例
Figure 333529DEST_PATH_IMAGE108
，判断该视频中 有大幅度运动的目标。
图4（b）显示的是视频4（a）的前四帧图像，图4（c）为通过二帧差法根据这前四帧图 像提取的运动目标前景的结果，图4（d）为图4（c）的三帧前景图的或运算的结果
Figure 758825DEST_PATH_IMAGE011
，计算图4（d）的前景的像素点的个数为
Figure 361232DEST_PATH_IMAGE109
，前景像素点占整 张图的面积的比例
Figure 592493DEST_PATH_IMAGE110
，判断该视频中有 大幅度运动的目标。
图5（b）显示的是视频5（a）的前四帧图像，图5（c）为通过二帧差法根据这前四帧提 取的运动目标前景的结果，图5（d）为图5（c）的三帧前景图的或运算的结果
Figure 39655DEST_PATH_IMAGE011
， 计算图5（d）的前景的像素点的个数为
Figure 947437DEST_PATH_IMAGE111
，前景像素点占整张图的面积的比 例
Figure 722626DEST_PATH_IMAGE112
<
Figure 475688DEST_PATH_IMAGE113
，判断该视频不具备大幅度运动的 目标。
步骤4：检测整体运动的滴虫和整体不运动但是其鞭毛摇摆活动的滴虫。根据步骤3的判断结果，如果判断视频中有大幅度运动的目标，检测是否有整体运动的滴虫，大体流程如图2（a）所示。如果判断视频中不存在大幅度运动的目标，检测是否有整体不运动但是其鞭毛摇摆活动的滴虫。
步骤4-1：通过步骤三判断出视频3（a）和4（a）有大幅度运动的目标，则检测视频3（a）和4（a）中是否有整体运动的滴虫，具体步骤如下：
步骤4-1-1：判断视频中是否有运动的标签为“medium”的目标物。
针对视频3（a），从视频3（a）中间隔取帧图像，从第1帧开始，每隔15帧取一帧，共取 三帧，即从视频3（a）中取第1帧图像、第16帧图像和第31帧图像，如图3（e）所示，利用步骤一 的AI目标检测模型检测这三帧图像中标签为“medium”的目标物，结果如图3（f）所示，将得 到的目标物的检测区域进行二值化图的掩码展示，即将检测出的目标物的目标框内的像素 值设置为
Figure 308514DEST_PATH_IMAGE069
，其他设置为
Figure 872351DEST_PATH_IMAGE024
，结果如图3（g）所示。将图3（g）所示的第1张二值化图和第2张 二值化图的或运算结果减去与运算结果，结果如图3（h）的第1张图所示，对该图进行一次腐 蚀操作，腐蚀操作的核的大小为
Figure 446420DEST_PATH_IMAGE114
，结果如图3（h）的第2张图所示，可以看出前景像素点 （像素值为255的像素点）的个数大于0，因此，在第1帧和第16帧上有运动的标签为“medium” 的目标物。同样，将图3（g）所示的第2张二值化图和第3张二值化图的或运算结果减去其与 运算结果，结果如图3（h）的第3张图所示，对该图进行一次腐蚀操作，腐蚀操作的核的大小 为
Figure 957167DEST_PATH_IMAGE114
，结果如图3（h）的第4张图所示，可以看出前景像素点（像素值为255的像素点）的个 数大于0，因此在第16帧和第31帧上有运动的标签为“medium”的目标物。
针对视频4（a），从视频4（a）中间隔取帧图像，从第1帧开始，每隔15帧取一帧，共取 三帧，即从视频4（a）中取第1帧图像、第16帧图像和第31帧图像，如图4（e）所示，利用步骤一 的AI目标检测模型检测这三帧图像中标签为“medium”的目标物，结果如图4（f）所示，将得 到的目标物的检测区域进行二值化图的掩码展示，即将检测出的目标物的目标框内的像素 值设置为
Figure 644501DEST_PATH_IMAGE069
，其他设置为
Figure 885296DEST_PATH_IMAGE024
，结果如图4（g）所示。将图4（g）所示的第1张二值化图和第2张 二值化图的或运算的结果减去与运算的结果，结果如图4（h）的第1张图所示，对该图进行一 次腐蚀操作，腐蚀操作的核的大小为
Figure 635078DEST_PATH_IMAGE114
，结果如图4（h）的第2张图所示，可以看出前景像 素点（像素值为255的像素点）的个数大于0，因此，在第1帧和第16帧上有运动的标签为 “medium”的目标物。同样，将图4（g）所示的第2张二值化图和第3张二值化图的或运算的结 果减去与运算的结果，结果如图4（h）的第3张图所示，对该图进行一次腐蚀操作，腐蚀操作 的核的大小为
Figure 995521DEST_PATH_IMAGE114
，结果如图4（h）的第4张图所示，可以看出前景像素点（像素值为255的 像素点）的个数大于0，因此在第16帧和第31帧上有运动的标签为“medium”的目标物。
步骤4-1-2：判断标签为“medium”的目标物是否为运动的滴虫。
通过步骤4-1-1已经判断出视频3（a）和4（a）中有运动的标签是“medium”的目标 物，该步骤需要确定哪些标签为“medium”的目标物是运动的且出现在步骤4.1.1间隔取的 哪一帧图像上。以视频3（a）的第1帧和第16帧为例，详细说明该步骤，图3（a）的第一帧共检 测出14个标签为“medium”的目标物，如图3（g）的第一张图所示，将这14个标签为“medium” 的目标物分别用14个二值化图展示，每一个二值化图是将每一个标签为“medium”的目标物 的目标直立矩形框内坐标位置处的像素值设置为
Figure 943885DEST_PATH_IMAGE023
，其他像素值设置为
Figure 442999DEST_PATH_IMAGE024
，如图3（i）的14 个图所示，将图3（i）所示的14个二值化图减去自身与图3（g）的第2个图进行与运算的结果， 图3（i）的第1个图减去自身与图3（g）的第2个图与运算的结果，其结果如图3（j）的第1个图 所示，其他13个二值化图分别减去自身与图3（g）的第二个图与运算的结果，其结果均如图3 （j）的第2个图所示，显然图3（j）的第1个图的前景像素点的个数不为0，图3（j）的第2个图的 前景像素点的个数为0，则确定第
Figure 929344DEST_PATH_IMAGE115
个目标在第
Figure 578632DEST_PATH_IMAGE115
帧图像上针对第16帧是运动，则认为该标 签为“medium”的目标物在第1帧图像上是滴虫，其余的13个目标均为不运动的（静止的）目 标物，不是滴虫，即检测出的滴虫的结果如图3（k）所示，以上过程检测出了第1帧上针对第 16帧运动的标签为“medium”的目标物。同样的过程，可检测出第16帧针对第1帧运动的标签 为“medium”的目标物，可检测出第31帧针对第16帧运动的标签为“medium”的目标物，可检 测出第16帧针对第31帧运动的标签为“medium”的目标物。本发明对比专利CN106483129A、 CN107590805A和CN111931754A，针对视频3（a）检测出的滴虫的数量如下表1所示：
Figure 896349DEST_PATH_IMAGE116
从表1可以看出，本发明同专利CN106483129B、CN107590805A 和CN111931754B均可以检测出数量较少整体运动的滴虫，而且整体运动的滴虫之间不会相互影响。
视频4（a）的第1帧针对第16帧检测出的滴虫的结果如图4（g）所示。本发明对比专利CN106483129A、CN107590805A和CN111931754A，针对视频4（a）检测出的滴虫的数量如下表2所示：
Figure 300786DEST_PATH_IMAGE117
从表2可以看出，专利CN106483129A、 CN107590805A和 CN111931754A无法检测出视频4（a）中数量较多同时运动且有的相互交叉堆叠的滴虫，而且这些滴虫的形态多样，通过圆形度、长宽比等几何特性无法确认是否是滴虫，而本发明可通过是否是运动及是否是中等大小的目标物确认是否是滴虫。
步骤4-2：通过步骤3判断出视频5（a）没有大幅度运动的目标，则检测视频5（a）是否有整体不运动但是其鞭毛摇摆活动的滴虫，大体流程如图2（b）所示，具体步骤如下：
步骤4-2-1：记录活动目标经过的区域。从视频5（a）中取两组连续的61帧图像，第 一组从第1帧到第61帧，第二组从61帧到121帧，利用针对检测滴虫鞭毛设计的像素级的运 动前景方法分别提取两组连续帧的前景，其中设置
Figure 87476DEST_PATH_IMAGE118
，
Figure 995914DEST_PATH_IMAGE119
，
Figure 43504DEST_PATH_IMAGE120
，则两组连续的视频帧图像分别得到46张前景图，分别将每一组的前景图进行 或运算，其结果即为第一组和第二组视频帧中活动物体经过的区域，其结果如图5（i）所示。
步骤4-2-2：计算活动目标经过区域的共同区域。将视频5（a）通过步骤4-2-1得到的第一组和第二组中活动物体经过的区域如图5（i）所示的两个结果进行与运算，与运算的结果如图5（j）所示，该结果即为活动目标经过区域的共同区域。
步骤4-2-3：确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。设定面积比例 阈值
Figure 477897DEST_PATH_IMAGE121
，第一组活动物体经过的区域，如图5（i）的第1个图所示，前景像素点 的个数（前景的面积）为
Figure 958075DEST_PATH_IMAGE122
。第二组活动物体经过的区域，如图5（i）的第2个图所示，前景 像素点的个数（前景的面积）为
Figure 305092DEST_PATH_IMAGE123
。与运算的结果如图5（j）所示，前景像素点的个数（前 景的面积）为
Figure 82555DEST_PATH_IMAGE124
，
计算面积比例
Figure 221937DEST_PATH_IMAGE125
，
Figure 498066DEST_PATH_IMAGE126
，面积比例与
Figure 948639DEST_PATH_IMAGE096
做对比，显然，
Figure 36068DEST_PATH_IMAGE127
且
Figure 671318DEST_PATH_IMAGE128
，
那么确定如图5（j）所示的前景区域是滴虫的鞭毛摇摆活动的区域。 针对图5（j）进行轮廓检测，即可确定滴虫的鞭毛摇摆活动的区域，如图5（k）所示的第2个图，也可对检测出的轮廓进行最小外接直立矩形的拟合，便可得到滴虫的鞭毛活动的矩形区域，如图5（k）的第1个图所示。本发明对比专利CN106483129A、CN107590805A和CN111931754A，针对视频5（a）检测出的滴虫的数量如下表3所示：
Figure 44530DEST_PATH_IMAGE129
从表3可以看出，专利CN106483129A、CN107590805A和CN111931754A无法检测出整体不运动的滴虫，造成了滴虫的漏检，本发明可以根据其鞭毛摇摆运动的特征检测出整体不运动但是其鞭毛摇摆活动的滴虫。
上述具体实施方式仅是本发明的具体个案，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施方式。但是凡是未脱离本发明技术原理的前提下，依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化与改型，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于，包括以下步骤：
S1：训练检测湿片图像中的中等大小目标物的AI检测模型；
S2：采集显微视野固定的湿片视频；
S3：判断S2视频中是否存在大幅度运动的目标：利用视频的背景建模方法对连续的M帧前景图像进行逻辑或运算获取视频具备大幅运动目标的信息从而判断S2视频中是否存在大幅度运动的目标；
S4：根据S3的判断结果，检测是否存在滴虫，步骤如下：
S41：如果判断S2视频中有大幅度运动的目标，首先利用S1的AI检测模型检测中等大小目标物，然后再检测是否存在整体运动的滴虫；
S42：如果判断S2视频中不存在大幅度运动的目标，则检测是否存在整体不运动但是其鞭毛摇摆活动的滴虫，其中检测滴虫的摇摆活动鞭毛采用像素级的运动前景提取方法。
2.如权利要求1所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S42中检测滴虫的摇摆活动鞭毛所采用的像素级的运动前景提取方法具体包括以下步骤：
第1步：初始化背景帧组，其中背景帧组设定为
Figure DEST_PATH_IMAGE001
，对于S2采集的湿片视频， 设定有
Figure 334790DEST_PATH_IMAGE002
帧图像，取
Figure 745567DEST_PATH_IMAGE002
帧图像的前
Figure DEST_PATH_IMAGE003
帧图像作为初始化的背景帧组；
第2步：提取运动前景并更新背景帧组，从第
Figure 630346DEST_PATH_IMAGE004
帧图像开始提取运动前景，利用当前 帧
Figure DEST_PATH_IMAGE005
的前
Figure 461161DEST_PATH_IMAGE003
帧图像作为当前帧的背景帧组，记第
Figure 128903DEST_PATH_IMAGE006
帧的背景帧组
Figure DEST_PATH_IMAGE007
为
Figure 312628DEST_PATH_IMAGE008
，
针对当前帧
Figure 243675DEST_PATH_IMAGE005
的每一个位置
Figure DEST_PATH_IMAGE009
计算以下值：
Figure DEST_PATH_IMAGE011
其中
Figure 391147DEST_PATH_IMAGE012
为当前帧
Figure 393739DEST_PATH_IMAGE005
的每一个位置
Figure 572916DEST_PATH_IMAGE009
的像素值比对应的背景帧组中相同 位置处的像素值的距离差大于某固定阈值的个数，
Figure DEST_PATH_IMAGE013
代表当前帧
Figure 392973DEST_PATH_IMAGE005
的
Figure 900178DEST_PATH_IMAGE009
位 置处的像素值，
Figure 378564DEST_PATH_IMAGE014
代表背景帧组中
Figure DEST_PATH_IMAGE015
的
Figure 615510DEST_PATH_IMAGE009
位置处的像素值，
Figure 128838DEST_PATH_IMAGE016
代表像素值差的2-范数，三目运算符
Figure DEST_PATH_IMAGE017
,代表以下含 义
Figure DEST_PATH_IMAGE019
Figure 716814DEST_PATH_IMAGE020
代表像素值差的2-范数的距离阈值，如果
Figure DEST_PATH_IMAGE021
，则代表当 前帧的
Figure 264470DEST_PATH_IMAGE022
的第
Figure DEST_PATH_IMAGE023
位置为前景像素点，前景像素点的像素值设置为
Figure 355923DEST_PATH_IMAGE024
，否则，代表当前 帧的
Figure 580100DEST_PATH_IMAGE022
的第
Figure 796318DEST_PATH_IMAGE023
位置为背景像素点，背景像素点的像素值设置为
Figure DEST_PATH_IMAGE025
。
3.如权利要求1所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于：所述S1具体步骤为将湿片图像中的白细胞、脓细胞、红细胞和滴虫利用外接直立矩形进行人工标注，并且这四个类别使用同一个类别标签，设定标签记为“medium”，结合该训练集和基于卷积神经网络的目标检测框架训练检测中等大小目标物的AI检测模型。
4.如权利要求1所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S3的具体步骤为：
S31：利用二帧差法或VIBE算法提取S2视频中连续的前
Figure 71966DEST_PATH_IMAGE026
帧图像的共
Figure DEST_PATH_IMAGE027
帧前景图像
Figure 96554DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
前景的像素值设置为255，背景的像素值设置为0；
S32：将上述
Figure 632577DEST_PATH_IMAGE030
帧前景图像进行或运算，或运算的结果记为
Figure DEST_PATH_IMAGE031
，即：
Figure 788621DEST_PATH_IMAGE032
，其中“
Figure DEST_PATH_IMAGE033
”代表二值化图的或运 算；
S33：设定
Figure 802713DEST_PATH_IMAGE034
的前景像素点的个数为，设定采集的湿片视频的分辨率为
Figure DEST_PATH_IMAGE035
，宽为
Figure 744124DEST_PATH_IMAGE036
，高为
Figure 313033DEST_PATH_IMAGE002
，设定阈值
Figure DEST_PATH_IMAGE037
，其中
Figure 831739DEST_PATH_IMAGE038
，如果
Figure DEST_PATH_IMAGE039
>
Figure 524889DEST_PATH_IMAGE037
， 则判断为S2视频中存在大幅度运动的目标，反之，S2视频中不存在大幅度运动的目标。
5.如权利要求3所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S41的步骤为：
S411：从S2中间隔取少量帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物，快速初筛视频中是否有运动的标签为“medium”的目标物；
S412：准确筛选出哪一个标签为“medium”的目标物是运动的滴虫。
6.如权利要求5所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S411的具体步骤如下：
S4111：从S2视频中间隔取少量帧图像，设定从第
Figure 976599DEST_PATH_IMAGE040
帧开始，每隔
Figure DEST_PATH_IMAGE041
帧取一帧图像，即取视 频中的第
Figure 729791DEST_PATH_IMAGE040
帧，第
Figure 798110DEST_PATH_IMAGE042
帧，第
Figure DEST_PATH_IMAGE043
帧，……，第
Figure 294951DEST_PATH_IMAGE044
帧，……，第
Figure DEST_PATH_IMAGE045
帧；
S4112：针对以上隔帧取的帧图像利用S1的AI检测模型检测S2中视频帧图像中的“medium”的目标物；
S4113：将得到的目标物的检测区域进行二值化图的掩码展示，即将检测出的目标物的 目标框内的像素值设置为
Figure 72938DEST_PATH_IMAGE024
，其他设置为
Figure 715141DEST_PATH_IMAGE025
，该二值化图记为
Figure 880543DEST_PATH_IMAGE046
，其中
Figure DEST_PATH_IMAGE047
， 且
Figure 40129DEST_PATH_IMAGE048
，即一共针对
Figure DEST_PATH_IMAGE049
帧图像进行目标检测；
S4114：针对相邻的间隔帧得到的二值化图，将其或运算结果减去与运算结果，即
Figure DEST_PATH_IMAGE051
其中“
Figure 263169DEST_PATH_IMAGE033
”代表二值化图的或运算，“
Figure 30268DEST_PATH_IMAGE052
”代表二值化图的与运算，
Figure DEST_PATH_IMAGE053
；
S4115：对二值化图
Figure 697065DEST_PATH_IMAGE054
进行腐蚀操作，然后计算前景点的像素个数，如果前景点的 像素个数大于0，则确定相邻的间隔帧第
Figure DEST_PATH_IMAGE055
帧和第
Figure 925921DEST_PATH_IMAGE056
帧中有运动的标签为 “medium”的目标物，如果前景点的像素个数等于0，则确定无运动的标签为“medium”的目标 物。
7.如权利要求6所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S412的具体步骤如下：
S4121：利用S1的AI检测模型检测第
Figure 754200DEST_PATH_IMAGE044
帧图像，设定第
Figure 816834DEST_PATH_IMAGE044
帧图像检测出
Figure DEST_PATH_IMAGE057
个标 签为“medium”的目标，设定
Figure 284724DEST_PATH_IMAGE058
代表第
Figure DEST_PATH_IMAGE059
个目标物的目标直立矩形框内坐标位置处的 像素值设置为
Figure 176326DEST_PATH_IMAGE024
，其他像素值设置为
Figure 327953DEST_PATH_IMAGE025
的二值化图，其中
Figure 751368DEST_PATH_IMAGE060
；显然，
Figure 113079DEST_PATH_IMAGE058
与
Figure 27946DEST_PATH_IMAGE046
有如下关系：
Figure DEST_PATH_IMAGE061
；
设定
Figure 486609DEST_PATH_IMAGE062
，其中
Figure DEST_PATH_IMAGE063
，
Figure 343575DEST_PATH_IMAGE053
，该结果 代表第
Figure 67949DEST_PATH_IMAGE055
帧图像中的第
Figure 770195DEST_PATH_IMAGE059
个目标物的位置针对第
Figure 21047DEST_PATH_IMAGE056
帧图像的变化；
S4122：对二值化图
Figure 534068DEST_PATH_IMAGE064
进行腐蚀操作，然后计算前景点的像素个数
Figure DEST_PATH_IMAGE065
，如 果
Figure 201197DEST_PATH_IMAGE066
，则认为第
Figure DEST_PATH_IMAGE067
个目标在第
Figure 972713DEST_PATH_IMAGE068
帧图像上是滴虫，反之，
Figure DEST_PATH_IMAGE069
， 则认为第
Figure 484597DEST_PATH_IMAGE067
个目标在第
Figure 417787DEST_PATH_IMAGE068
帧图像上不是滴虫。
8.如权利要求1或2所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S42的步骤为：
S421：记录活动目标经过的区域：根据像素级的运动前景提取方法分别提取两组视频帧的前景，将前景结果进行或运算，得到或运算结果即为活动目标经过的区域；
S422：计算活动目标经过区域的共同区域；
S423：确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域。
9.如权利要求8所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于所述S421具体步骤如下：
S4211：取两组连续的
Figure 647911DEST_PATH_IMAGE070
帧的图像，设定第一组从视频的第
Figure DEST_PATH_IMAGE071
帧开始，记为
Figure 426380DEST_PATH_IMAGE072
，其 中
Figure DEST_PATH_IMAGE073
第二组从视频的第
Figure 717072DEST_PATH_IMAGE074
帧开始，记为
Figure DEST_PATH_IMAGE075
，其中
Figure 837474DEST_PATH_IMAGE076
S4212：根据像素级的运动前景提取方法分别提取两组视频帧的前景，结果分别记为
Figure DEST_PATH_IMAGE077
,
Figure 476266DEST_PATH_IMAGE078
,
Figure DEST_PATH_IMAGE079
}，
Figure 589585DEST_PATH_IMAGE080
,
Figure DEST_PATH_IMAGE081
,
Figure 731853DEST_PATH_IMAGE082
,
Figure DEST_PATH_IMAGE083
}；
S4213：分别将第一组和第二组的前景结果进行或运算，即第一组的或运算结果记为：
Figure 288736DEST_PATH_IMAGE084
；
第二组的或运算的结果记为：
Figure DEST_PATH_IMAGE085
；
Figure 140456DEST_PATH_IMAGE086
和
Figure DEST_PATH_IMAGE087
的前景区域分别为第一组视频帧图像中活动目标经过的区域和第二组 视频帧图像中活动目标经过的区域。
10.如权利要求9所述的基于卷积神经网络和摇摆活动特征的滴虫检测方法，其特征在于，
所述S422的具体步骤为：将S421记录的两组活动目标经过的区域
Figure 323044DEST_PATH_IMAGE088
和
Figure DEST_PATH_IMAGE089
进行与 运算，设定
Figure 319819DEST_PATH_IMAGE090
，与运算结果
Figure DEST_PATH_IMAGE091
的前景区域即为活动目 标经过区域的共同区域；
所述S423的具体步骤为：
S4231：确认是否是滴虫的鞭毛摇摆活动的区域并定位该区域，设定第一组和第二组视 频帧图像中运动目标经过的区域的面积分别记为
Figure 47604DEST_PATH_IMAGE092
和
Figure DEST_PATH_IMAGE093
，即
Figure 395408DEST_PATH_IMAGE088
和
Figure 398000DEST_PATH_IMAGE089
的前景点 的像素个数；
S4232：设定两组活动目标经过区域的共同区域的面积为
Figure 111265DEST_PATH_IMAGE094
，即与运算结果
Figure 947634DEST_PATH_IMAGE091
的前景点的像素个数；
S4233：设定面积比例阈值
Figure DEST_PATH_IMAGE095
，如果
Figure 641789DEST_PATH_IMAGE096
且
Figure DEST_PATH_IMAGE097
，那么确 定是滴虫的鞭毛摇摆活动的区域，反之，确定不是滴虫的鞭毛摇摆活动的区域；
S4234：如果确定是滴虫的鞭毛摇摆活动的区域，定位该区域的过程如下：对与运算结 果
Figure 775968DEST_PATH_IMAGE091
进行轮廓检测，检测到的轮廓的区域即为鞭毛摇摆活动的区域或者对检测出 的轮廓进行最小外接直立矩形的拟合得到鞭毛摇摆活动的矩形区域。
CN202111000709.8A 2021-08-30 2021-08-30 基于卷积神经网络和摇摆活动特征的滴虫检测方法 Active CN113450354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000709.8A CN113450354B (zh) 2021-08-30 2021-08-30 基于卷积神经网络和摇摆活动特征的滴虫检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000709.8A CN113450354B (zh) 2021-08-30 2021-08-30 基于卷积神经网络和摇摆活动特征的滴虫检测方法

Publications (2)

Publication Number Publication Date
CN113450354A true CN113450354A (zh) 2021-09-28
CN113450354B CN113450354B (zh) 2021-11-16

Family

ID=77819003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000709.8A Active CN113450354B (zh) 2021-08-30 2021-08-30 基于卷积神经网络和摇摆活动特征的滴虫检测方法

Country Status (1)

Country Link
CN (1) CN113450354B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630867A (zh) * 2023-07-25 2023-08-22 深圳市美侨医疗科技有限公司 一种基于Mask R-CNN的白带滴虫检测与跟踪方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304479A (zh) * 2008-06-23 2008-11-12 北京中星微电子有限公司 在视频序列中检测运动的方法及装置
CN101571955A (zh) * 2009-06-02 2009-11-04 山东大学 一种精确实时微变化运动目标检测方法
US20120034637A1 (en) * 2009-03-10 2012-02-09 Zeyu Wang Detection of trichomonas and candida
CN107590805A (zh) * 2017-09-15 2018-01-16 湖南友哲科技有限公司 基于运动矢量的滴虫检测方法
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法
CN108977386A (zh) * 2018-08-08 2018-12-11 大连大学 一种筛选高产低温苹果酸脱氢酶细菌菌株的方法
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN110852241A (zh) * 2019-11-06 2020-02-28 西安交通大学 一种应用于护理机器人的小目标检测方法
CN111751528A (zh) * 2020-07-08 2020-10-09 天津市宝坻区人民医院 核固红染色在抗双链dna检测方法中新用途
CN112215182A (zh) * 2020-10-21 2021-01-12 中国人民解放军火箭军工程大学 一种适用于森林火灾的烟雾识别方法
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN112538480A (zh) * 2020-12-24 2021-03-23 广州市妇女儿童医疗中心（广州市妇幼保健院、广州市儿童医院、广州市妇婴医院、广州市妇幼保健计划生育服务中心） 精子鞭毛多发形态异常疾病动物模型的构建方法和应用
CN113167783A (zh) * 2018-10-18 2021-07-23 加利福尼亚大学董事会 用于流体样本中运动物体的基于运动的无标记检测的设备和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304479A (zh) * 2008-06-23 2008-11-12 北京中星微电子有限公司 在视频序列中检测运动的方法及装置
US20120034637A1 (en) * 2009-03-10 2012-02-09 Zeyu Wang Detection of trichomonas and candida
CN101571955A (zh) * 2009-06-02 2009-11-04 山东大学 一种精确实时微变化运动目标检测方法
CN107590805A (zh) * 2017-09-15 2018-01-16 湖南友哲科技有限公司 基于运动矢量的滴虫检测方法
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法
CN108977386A (zh) * 2018-08-08 2018-12-11 大连大学 一种筛选高产低温苹果酸脱氢酶细菌菌株的方法
CN113167783A (zh) * 2018-10-18 2021-07-23 加利福尼亚大学董事会 用于流体样本中运动物体的基于运动的无标记检测的设备和方法
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN110852241A (zh) * 2019-11-06 2020-02-28 西安交通大学 一种应用于护理机器人的小目标检测方法
CN111751528A (zh) * 2020-07-08 2020-10-09 天津市宝坻区人民医院 核固红染色在抗双链dna检测方法中新用途
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN112215182A (zh) * 2020-10-21 2021-01-12 中国人民解放军火箭军工程大学 一种适用于森林火灾的烟雾识别方法
CN112538480A (zh) * 2020-12-24 2021-03-23 广州市妇女儿童医疗中心（广州市妇幼保健院、广州市儿童医院、广州市妇婴医院、广州市妇幼保健计划生育服务中心） 精子鞭毛多发形态异常疾病动物模型的构建方法和应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈慧岩: "《智能车辆理论与应用》", 31 July 2018 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630867A (zh) * 2023-07-25 2023-08-22 深圳市美侨医疗科技有限公司 一种基于Mask R-CNN的白带滴虫检测与跟踪方法
CN116630867B (zh) * 2023-07-25 2023-11-17 深圳市美侨医疗科技有限公司 一种基于Mask R-CNN的白带滴虫检测与跟踪方法

Also Published As

Publication number Publication date
CN113450354B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112070772B (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN110136149A (zh) 基于深度神经网络的白细胞定位与分割方法
CN104651462B (zh) 基于显微图像分析的稻瘟病菌孢子检测方法
CN105160317B (zh) 一种基于区域分块行人性别识别方法
TW201120806A (en) Method of locating license plate of moving vehicle
CN104198497B (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN101877074A (zh) 基于多元特征的结核杆菌目标识别计数算法
CN109087286A (zh) 一种基于计算机图像处理和模式识别的检测方法及应用
CN106932408B (zh) 一种基于图像处理的方格蔟污染蚕茧检测方法
Hobson et al. Classifying anti-nuclear antibodies HEp-2 images: A benchmarking platform
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN113450354B (zh) 基于卷积神经网络和摇摆活动特征的滴虫检测方法
WO2020114116A1 (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
Park et al. Detection of construction workers in video frames for automatic initialization of vision trackers
Bhavnani et al. Segmentation and counting of WBCs and RBCs from microscopic blood sample images
CN110503637A (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
CN115330795A (zh) 布匹毛刺缺陷检测方法
CN115266732A (zh) 基于机器视觉的碳纤维丝束缺陷检测方法
CN113033417B (zh) 一种妇科微生态中孢子的检测识别方法、设备及存储介质
Laroca et al. A first look at dataset bias in license plate recognition
CN103927517B (zh) 一种基于人体全局特征直方图熵的动作检测方法
CN109344859B (zh) 一种基于混合时间池化算子的有丝分裂定位和识别的方法
Aris et al. Colour component analysis approach for malaria parasites detection based on thick blood smear images
CN110334713A (zh) 一种内衬纸产品类型的智能识别方法
CN113158979B (zh) 一种妇科显微图像大视野下白细胞的检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Trichomonas detection method based on convolutional neural network and swaying activity features

Effective date of registration: 20231109

Granted publication date: 20211116

Pledgee: Industrial and Commercial Bank of China Limited Jinan Licheng Branch

Pledgor: SHANDONG STARS BIOINDUSTRY CO.,LTD.

Registration number: Y2023370000129

PE01 Entry into force of the registration of the contract for pledge of patent right