CN111931754A

CN111931754A - 一种样本中目标物的识别方法、系统和可读存储介质

Info

Publication number: CN111931754A
Application number: CN202011093927.6A
Authority: CN
Inventors: 刘晓康; 许德鹏; 陈齐文; 王雪锋
Original assignee: Shenzhen Reetoo Biotechnology Co Ltd
Current assignee: Shenzhen Reetoo Biotechnology Co Ltd
Priority date: 2020-10-14
Filing date: 2020-10-14
Publication date: 2020-11-13
Anticipated expiration: 2040-10-14
Also published as: CN111931754B

Abstract

本发明提供一种样本中目标物的识别方法、系统和可读存储介质，通过获取样本视频数据；将样本视频数据的一帧或多帧视频图像进行训练，得到视频图像的背景图像；结合背景图像，分析所述一帧或多帧视频图像中每帧所述视频图像中运动的目标物的面积，得到包含有所述目标物的特征区域的特征图像；根据具有所述特征区域的所述特征图像在所述样本视频数据中出现的次数，确定所述样本视频中是否存在所述目标物。通过分析目标物的面积、判断具有特征区域的特征图像在样本视频中出现的次数，提高了目标物识别的准确率。

Description

一种样本中目标物的识别方法、系统和可读存储介质

技术领域

本发明涉及医疗器械领域，具体涉及一种样本中目标物的识别方法、系统和可读存储介质。

背景技术

在妇科检查中，常用的滴虫检测方法有两种。一种是医生采用人工镜检的方式对滴虫进行判别，效率低下。另一种是基于运动建模算法：利用基于时间序列预测模型实现，主要有高斯混合模型，kalman背景重建模型等，该方法通过连续获取样本图像，然后对样本图像进行处理，获取图像的前景与背景，通过对前景图像分析识别出滴虫。此种方式虽然无需人工镜检，但识别滴虫的准确率还有待提高。

发明内容

本发明提供一种样本中目标物的识别方法、系统和可读存储介质，以提高目标物识别的准确率。

一实施例提供一种样本中目标物的识别方法,包括：

获取样本视频数据；

将所述样本视频数据的一帧或多帧视频图像进行训练，得到所述视频图像的背景图像；

结合所述背景图像，分析所述一帧或多帧视频图像中每帧所述视频图像中运动的目标物的面积，得到包含有所述目标物的特征区域的特征图像；

根据具有所述特征区域的所述特征图像在所述样本视频数据中出现的次数，确定所述样本视频中是否存在所述目标物。

一实施例提供的所述的方法中，得到包含有所述目标物的特征区域的特征图像之后，确定所述样本视频中是否存在所述目标物之前，所述方法还包括：

对得到的所述特征图像进行多帧叠加以过滤杂质。

一实施例提供的所述的方法中，所述结合所述背景图像，分析所述一帧或多帧视频图像中每帧所述视频图像中运动的目标物的面积，得到包含有所述目标物的特征区域的特征图像包括：

将所述一帧或多帧视频图像中每帧视频图像中目标物的灰度值减去所述背景图像的灰度值；

计算灰度值减去所述背景图像的灰度值的所述视频图像的前景和背景图像的方差，根据计算得到的所述方差中的最大值，确定最佳灰度值阈值，根据确定的所述最佳灰度值阈值对所述视频图像进行二值化处理得到二值化图像；

从得到的所述二值化图像中分离出所述目标物的特征区域；

计算各个所述特征区域的面积，将计算得到的各个所述特征区域的面积中未处于预设范围内的从所述二值化图像中去除，进而得到包含有所述特征区域的所述特征图像。

一实施例提供的所述的方法中，所述对得到的所述特征图像进行多帧叠加以过滤杂质包括：

对所述特征图像以及取所述特征图像的前后的相同数量的特征图像进行叠加；

判断叠加后的特征图像的特征区域中是否有预设百分比以上的像素点的值均大于第一预设值；若所述特征区域中预设百分比以上的像素点的值均大于第一预设值，则确认叠加的所述特征图像中每一帧特征图像的该特征区域均存在目标物，并保留所述特征区域；否则，将所述特征区域舍弃。

一实施例提供的所述的方法中，所述将所述样本视频数据的一帧或多帧视频图像进行训练，得到所述视频图像的背景图像包括：

将所述样本视频数据的一帧或多帧视频图像通过高斯混合模型进行训练，得到背景图像。

一实施例提供的所述的方法中，所述将所述样本视频数据的一帧或多帧视频图像通过高斯混合模型进行训练，得到背景图像包括：

对所述一帧或多帧视频图像中的每一帧视频图像中的每一个像素Mp分别用由k个高斯分布构成的高斯混合模型进行背景建模, 并对高斯混合模型进行更新迭代，不断修正高斯分布中的权值，最后在训练好的高斯混合模型中获取训练后得到的背景图像。

一实施例提供的所述的方法中，所述样本为白带样本，所述目标物为滴虫。

一实施例提供一种样本中目标物的识别系统，包括：

存储器，用于存储程序；

处理器，与所述存储器藕接，用于通过执行所述存储器存储的程序以实现如上所述的方法。

一实施例提供的所述的系统中，还包括显示器，所述显示器用于显示所述样本特征图像中是否存在所述目标物的结果。

一实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。

依据上述实施例的一种样本中目标物的识别方法、系统和可读存储介质，通过获取样本视频数据；将样本视频数据的一帧或多帧视频图像进行训练，得到视频图像的背景图像；结合背景图像，分析所述一帧或多帧视频图像中每帧所述视频图像中运动的目标物的面积，得到包含有所述目标物的特征区域的特征图像；根据具有所述特征区域的所述特征图像在所述样本视频数据中出现的次数，确定所述样本视频中是否存在所述目标物。通过分析目标物的面积、判断具有特征区域的特征图像在样本视频中出现的次数，提高了目标物识别的准确率。

附图说明

图1为本发明提供的样本中目标物的识别系统一实施例的结构框图；

图2为本发明提供的样本中目标物的识别方法中，一实施例的流程图；

图3为本发明提供的样本中目标物的识别方法中，步骤32一实施例得到的二值化图像；

图4为本发明提供的样本中目标物的识别方法中，步骤33一实施例得到的二值化图像。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

请参考图1，本发明提供的样本中目标物的识别系统，包括：背景图像提取模块110，特征提取模块120和结果优化模块130。

背景图像提取模块110用于获取样本视频数据，即获取样本的视频，将样本视频数据的一帧或多帧视频图像进行训练，得到视频图像的背景图像。本实施例中，从样本视频数据中截取预设时间段的样本视频数据得到样本视频数据段（包括连续多帧视频图像），将样本视频数据段的各帧视频图像通过高斯混合模型进行训练，得到背景图像。预设时间段可根据需要进行设置，例如，选取3-15秒中的一个时间段，如5秒、11秒等作为预设时间段，本实施例中，预设时间段为11秒。

特征提取模块120用于；结合背景图像，分析所述一帧或多帧视频图像中每帧视频图像中运动的目标物的面积，得到包含有目标物的特征区域的特征图像。本实施例中，特征提取模块120结合背景图像分析样本视频数据段的每帧视频图像中运动的目标物的面积，得到特征图像。

结果优化模块130用于根据具有特征区域的特征图像在样本视频数据中出现的次数，确定样本视频中是否存在目标物，即确定样本中是否存在目标物，并输出结果。通过判断具有特征区域的特征图像在样本视频数据中出现的次数，提高了目标物识别的准确率。

本实施例中，以样本为白带样本，目标物为滴虫为例，对滴虫的识别过程进行详细描述，当然也适合应用在其他对静止样本中的运动物体进行识别的场景，如图2所示，其过程包括如下步骤：

步骤1、背景图像提取模块110用于获取样本视频数据。本实施例中，样本视频数据包括白带显微视频。例如，将装有白带样本的玻片放置在电子显微镜下，通过电子显微镜的图像传感器获得在同一视野下连续清晰的白带显微视频。

步骤2、背景图像提取模块110进行背景建模，将样本视频数据的一帧或多帧视频图像通过高斯混合模型进行训练，得到视频图像的背景图像。多帧视频图像可以是连续多帧，例如，从样本视频数据中截取预设时间段的样本视频数据得到样本视频数据段，将样本视频数据段的每帧视频图像通过高斯混合模型进行训练，得到视频图像的背景图像。当然，多帧视频图像也可以是时间上间隔的多帧。本实施例中，至少将白带显微视频片段的每帧视频图像（视频图片）通过高斯混合模型进行训练得到背景图像，采用连续多帧视频图像进行训练效率高。

具体的，背景图像提取模块110对每一帧视频图像中的每一个像素Mp分别用由k个高斯分布构成的高斯混合模型进行背景建模, 并对高斯混合模型进行更新迭代，不断修正高斯分布中的权值，最后在训练好的高斯混合模型中获取训练后得到的背景图像，即：

其中，

表示像素i在p时刻的取值，

表示时刻p混合高斯模型中第i个高斯分布的均值向量，

表示时刻p高斯混合模型中第i个高斯分布的协方差矩阵。

高斯混合模型使用k个模型来表征视频图像中各个像素点的特征，在新一帧视频图像获得后更新高斯混合模型，用当前视频图像中的每个像素点与高斯混合模型匹配，如果匹配成功则判定该像素点为背景点，否则为前景点。以此来更新每帧视频图像的像素点在高斯分布中的权值，最终获得重建的背景图像。k通常为个位数，例如5。

步骤3、特征提取模块120结合背景图像，分析样本视频数据段的每帧视频图像中运动的目标物的面积，得到包含有目标物的特征区域的特征图像。具体的，特征提取模块120根据背景图像，分析白带显微视频片段的每帧视频图像中运动的目标物的面积，得到特征图像。

具体的，步骤3包括：

步骤31、特征提取模块120将样本视频数据段的每帧视频图像中目标物的灰度值减去背景图像的灰度值，对样本视频数据段的每帧视频图像进行二值化处理得到二值化图像。例如，二值化处理采用OTSU阈值分割法(大津阈值分割法)得到出二值化图像，Otsu阈值分割法是一种确定图像分割阈值的算法，利用图像的分割阈值，使前景与背景图像的类间方差最大。

具体的，特征提取模块120计算灰度值已减去背景图像的灰度值的视频图像的前景和背景图像的方差，根据计算得到的方差中的最大值，确定最佳灰度值阈值，根据确定的最佳灰度值阈值对视频图像进行二值化处理得到二值化图像。

例如，设视频图像中前景像素数占该视频图像比例为ω0，平均灰度为u0，视频图像中背景像素数占该视频图像的比例为ω1，平均灰度为u1，则该视频图像的总平均灰度u为：

u=ω0* u0+ω1* u1，

该视频图像的前景和背景图像的方差g为:

g=ω0*（u0-u）²+ω1*（u1-u）²=ω0*ω1*（u1-u0）*（u0-u1），

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度值即为最佳阈值；根据该最佳阈值对视频图像进行二值化处理得到二值化图像。

步骤32、特征提取模块120从得到的二值化图像中分离出目标物的特征区域，即分离出滴虫区域。例如，特征提取模块120将二值化图像进行图像形态学处理。其中图像形态选处理包括腐蚀、膨胀，在消除杂质后突出滴虫，即可有效分割出每一帧视频图像中的滴虫的特征区域，如图3中的白色区域。消除杂质能更好地提高滴虫识别的准确率。

步骤33、特征提取模块120计算各个特征区域的面积，将计算得到的各个特征区域的面积中未处于预设范围内的从二值化图像中去除，进而得到包含有特征区域的特征图像。具体的，特征提取模块120判断特征区域的面积是否处于预设范围内，若是则确定该特征区域是滴虫的特征区域（该特征区域存在目标物），在特征图像中保留该特征区域；否则，确定该特征区域不是滴虫的特征区域，将面积未处于预设范围内的特征区域从特征图像中去除。从而得到的特征图像如图4所示。对比图3可知，通过面积筛选，极大的提高了特征区域的准确性。预设范围与当前倍率下滴虫的常规尺寸相关，通常为400-4000个像素之间的前景区域。由于采用二值化图像，前景区域的像素值为1，背景区域的像素值为0。

现有的自动识别滴虫的方法中，物体间的特征一般会具有空洞、滴虫容易与视野内的其他细胞碰撞，带动其他细胞运动，造成误检。而本发明通过面积对特征图像的特征区域进行筛选，剔除了其他运动的细胞造成的干扰，提高了特征区域提取的准确性，进而提高了滴虫识别的准确率。

步骤4、结果优化模块130用于对得到的特征图像进行多帧叠加以过滤杂质。具体的，结果优化模块130对特征图像以及取特征图像的前后的相同数量的特征图像进行叠加；例如，特征图像为第n张，取其前后各a张特征图进行叠加，即，将第n-a张至第n+a张的特征图像进行叠加。结果优化模块130判断叠加后的特征图像的特征区域中是否有预设百分比以上的像素点的值是否均大于第一预设值；若所述特征区域中预设百分比以上的像素点的值均大于第一预设值，则确认叠加的特征图像中每一帧特征图像的该特征区域均存在目标物，并保留该特征区域；否则，将该特征区域舍弃。在拍摄样本视频的过程中，可能存在轻微的晃动，导致视频图像帧之间有微小的错位，通过预设百分比可将这些微小的错位忽略。预设百分比可选取80%以上的一个百分比，本实施例中，选取85%作为预设百分比。即，叠加后的特征图像的特征区域中，若特征区域85%面积上的像素点的值均大于第一预设值，则确认叠加的特征图像中每一帧特征图像的该特征区域均存在目标物；若特征区域中，值大于第一预设值的像素点的百分比达不到85%，则认为该特征区域中不存在目标物。

第一预设值根据叠加的特征图像（特征图片）的数量而定，其不超过叠加的特征图像的数量。例如，第一预设值与叠加特征图像的数量的比值为70%-90%，较佳的，可选80%，叠加特征图像的数量通常在5-10之间。本实施例中，叠加的特征图像的数量为7，第一预设值为5。具体的，结果优化模块130通过对该帧特征图像以及前后各三帧共7帧特征图像进行叠加并判断叠加后的特征图像中每一个像素点的值是否大于第一预设值；当大于第一预设值时，则认为叠加的特征图像中每一帧特征图像均存在，并保留该特征图像中的滴虫区域。

由于玻片存在厚度，在视频内若滴虫远离聚焦点，则会导致在帧间存在漏检的情况。而本发明通过叠加特征图像后进行判断，排除了帧间遗漏的问题，提高了滴虫识别的准确率。

步骤5、结果优化模块130用于根据具有特征区域的特征图像在样本视频数据中出现的次数，确定样本视频数据中是否存在目标物，即确定样本中是否存在目标物，并输出结果。具体的，结果优化模块130判断具有特征区域的特征图像在样本视频数据中出现的次数是否大于第二预设值，若是则确定样本存在目标物并输出结果，即确定样本中的滴虫为阳性；否则，确定样本中不存在目标物并输出结果，即确定样本中的滴虫为阴性。第二预设值可根据需要设置，其跟样本视频的时长和拍摄的帧率相关，基本在总帧率的75%左右，例如本实施例中为200次。在拍摄样本显微视频时，若显微镜镜头出现晃动，则采用现有技术对拍摄的视频进行识别会存在误检情况，而本发明通过对滴虫区域在视频中出现的次数进行判断，从而可以降低甚至去除镜头晃动带来的影响，提高了滴虫识别的准确率。

综上所述，本发明与现有技术相比，对白带显微视频进行背景建模得到背景图像，然后截取白带显微视频中的其中一时间段的视频，将该时间段的视频的每一帧图像的灰度值与背景图像的灰度值相减并通过图像形态学处理后得到对应的特征图；将部分特征图进行叠加后判断叠加后的特征图中每一个像素点的值是否大于第一预设值；当大于第一预设值时则保留该像素点；最后判断该叠加后的特征图中被保留的像素点在视频中出现的次数是否大于第二预设值；当大于第二预设值时则判断滴虫为阳性；反之则为阴性；具有对运动目标识别灵敏度更高，抗干扰性强。且根据滴虫的特性，分析滴虫的运动时间和运动方式，保证样本的阳性率，从而提高识别的准确率。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims

1.一种样本中目标物的识别方法,其特征在于，包括：

获取样本视频数据；

2.如权利要求1所述的方法，其特征在于，得到包含有所述目标物的特征区域的特征图像之后，确定所述样本视频中是否存在所述目标物之前，所述方法还包括：

对得到的所述特征图像进行多帧叠加以过滤杂质。

3.如权利要求1所述的方法，其特征在于，所述结合所述背景图像，分析所述一帧或多帧视频图像中每帧所述视频图像中运动的目标物的面积，得到包含有所述目标物的特征区域的特征图像包括：

从得到的所述二值化图像中分离出所述目标物的特征区域；

4.如权利要求2所述的方法，其特征在于，所述对得到的所述特征图像进行多帧叠加以过滤杂质包括：

5.如权利要求2所述的方法，其特征在于，所述将所述样本视频数据的一帧或多帧视频图像进行训练，得到所述视频图像的背景图像包括：

6.如权利要求5所述的方法，其特征在于，所述将所述样本视频数据的一帧或多帧视频图像通过高斯混合模型进行训练，得到背景图像包括：

7.如权利要求1所述的方法，其特征在于，所述样本为白带样本，所述目标物为滴虫。

8.一种样本中目标物的识别系统，其特征在于，包括：

存储器，用于存储程序；

处理器，与所述存储器藕接，用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的方法。

9.如权利要求8所述的系统，其特征在于，还包括显示器，所述显示器用于显示所述样本特征图像中是否存在所述目标物的结果。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。