CN114863427A - 一种基于图像融合的体液显微视频精益表达方法 - Google Patents

Abstract

本发明公开了一种基于图像融合的体液显微视频精益表达方法，本发明基于图像融合技术，结合人工智能有形成分识别技术，对每帧图像中有形成分关键信息进行提取、融合、排序、非极大值抑制等技术处理，以包含前后景有效信息的图片表达一个视野的所有视频中有效信息内容，不仅使得检测结果更贴近样本真实状态，进一步提高了仪器的智能化程度，还极大提高检测结果的审核速度，解决体液有形成分检测采用全自动显微镜进行图片或视频拍摄进行分析时因体液样本浓稠不能完全沉淀引起的显微镜焦距定焦困难、难以完全体现样本同一位置不同层面前后景信息、人工审核需查看视频费时费力、不能直接有效表达样本状态等问题。

Description

一种基于图像融合的体液显微视频精益表达方法

技术领域

本发明涉及一种基于图像融合的体液显微视频精益表达方法，特别涉及体液显微检测视频的精益表达方法。

背景技术

目前所有体液有形成分显微镜镜检检测中，多采用全自动显微镜进行图片或视频拍摄，然后进行图像分析。图像分析方式因体液样本浓稠时，样本中的有形成分不能完全沉淀，或沉淀时间较长导致样本检测效率低下，或在光学放大倍数较大时，其图像景深小，显微镜焦距自动控制难以定焦，并且难以实现样本各层面不同有形成分完全检测；视频拍摄虽可以完全检测但人工审核时需要查看视频费时费力，不能很直接表达样本中有形成分状态。

因此拟基于图像融合技术结合人工智能有形成分识别技术，将每视野视频各层面有形成分关键信息进行提取、融合、排序、非最大值抑制等技术处理，研究一种针对体液样本显微检测视频的直观、简洁、全面的表达技术，最终以含有各层面信息的图片表达一个视野的视频信息。不仅使得检测结果更贴近样本真实状态，还进一步提高了仪器的智能化程度，极大提高检测结果的审核速度。

综上所述，一种基于图像融合的体液显微视频精益表达方法是提高体液中有形成分显微镜检智能化程度和提高检测效率的一种有效方法。

发明内容

本发明的目的通过以下技术方案来实现：

本发明提出一种基于图像融合的体液显微视频精益表达方法，具体包括如下步骤：

S1：采集视频，将视频拆分为若干帧图像，依次排序并归纳至待测图像集，设定初始图像为待测图像集内序号一所对应的待测图像；

S2：按序抽取待测图像集内一张待测图像进行识别分析，得到待测图像的数据，并裁剪数据对应待测图像所在的区域作为融合候选图像，按序归纳至融合候选图像集；

S3：对待测图像与初始图像进行清晰度运算，将初始图像替换为运算结果所对应的图像，并作为融合基底输出；

S4：对融合候选图像集进行非极大值抑制运算，并将运算结果所对应的融合候选图像输出为融合候选区，按序归纳至融合候选区集；

S5：对待测图像集内剩余待测图像数量进行判定，若剩余待测图像数量为0，则将融合基底依次与融合候选区集内的融合候选区进行梯度对比融合，并输出融合后的图像，按序归纳至融合结果集，若剩余待测图像数量不为0，则返回执行S2。

进一步的，所述S1中，按照视频采集时间轴来拆分视频。

进一步的，所述S2中，结合深度学习体液有形成分识别算法，分析得到待测图像上的体液中有形成分区域、可信度、类型等参数。

进一步的，包括：

S2.1：将待测图像分割成若干个检测小图，若干个检测小图呈网格状；

S2.2：将从检测小图上识别出的目标再投影到待测图像上，进行非极大值抑制运算，将运算结果作为识别结果输出。

进一步的，所述S3中清晰度运算包括：

S3.1：对待测图像的每个像素采用拉普拉斯梯度算子进行卷积运算，

，其中，I为像素值，L为卷积结果；

S3.2：计算待测图像的平均拉普拉斯梯度值，记为Mi，计算初始图像的平均拉普拉斯梯度值，记为Mmax；

S3.3：比较Mi与Mmax的大小，若Mmax大于Mi，则输出Mmax对应的图像作为初始图像，否则输出Mi对应的图像作为初始图像，并且将输出图像作为融合基底输出。

进一步的，所述S4中非极大值抑制运算包括：

S4.1：对融合候选图像集内每个融合候选图像的置信度进行降序排布，并将置信度最高的融合候选图像命名为图像A，添加至输出列表；

S4.2：计算图像A与所有融合候选图像的重叠区域面积比例，将有形成分类型与图像A属于同类型且交并比大于设定阈值的融合候选图像从融合候选图像集中删除；

S4.3：再次选择剩余融合候选图像中最高置信度的融合候选图像添加至输出列表；

S4.4：重复上述过程直至融合候选图像集中剩余融合候选图像数量为0，将输出列表输出为融合候选区。

进一步的，S5包括：

S5.1：对融合候选区、以及融合基底对应区域进行拉普拉斯梯度运算；

S5.2：对比融合候选区、以及融合基底对应区域的平均拉普拉斯梯度值；

S5.3：若融合候选区的平均拉普拉斯梯度值大于融合基底对应区域的平均拉普拉斯梯度值，则将融合候选区替换融合基底对应区域；

S5.4：对融合的区域进行梯度平滑处理。

本发明提出的一种基于图像融合的体液显微视频精益表达方法，具有以下有益效果：

本发明得到的精益表达图片不仅包含了整个视频图像数据中所有有形成分信息，且各成分可信度高、图片清晰，能够精益的描述反映整个视频图像数据中的有效信息，做到一眼窥全局的效果，不仅使得报告结果更贴近样本真实状态，还进一步提高了仪器的智能化程度，极大提高检测结果的审核速度。

本发明方法切实解决了医疗器械临床上体液样本镜检检测结果审核困难这一顽疾，大大解放了操作人员的劳动强度，提高了审核结果的准确性。

附图说明

图1是本发明涉及的数据采集与处理算法流程图；

图2是本发明中交并比计算示意图；

图3是本发明的一个较佳实施例示意图；

图4是本发明融合前后的对比示意图。

具体实施方式

下文将结合具体实施例对本发明的技术方案做更进一步的详细说明。下列实施例仅为示例性地说明和解释本发明，而不应被解释为对本发明保护范围的限制。凡基于本发明上述内容所实现的技术均涵盖在本发明旨在保护的范围内。

除非另有说明，以下实施例中使用的原料和试剂均为市售商品，或者可以通过已知方法制备。

实施例1

本发明提出一种基于图像融合的体液显微视频精益表达方法，具体包括如下步骤：

S1：采集视频，按照视频采集时间轴来拆分将视频拆分为若干帧图像，依次排序并归纳至待测图像集，待测图像集即为视频拆分后的若干帧图像的集合，设定初始图像为待测图像集内序号一所对应的待测图像；

S2：按序抽取待测图像集内一张待测图像进行识别分析，得到待测图像的数据，结合深度学习体液有形成分识别算法，分析得到待测图像上的体液中有形成分区域、可信度、类型等参数，采用深度学习网络如yolo、faster-CNN、EfficientDet等，首先对实际样本手动采集最清晰、完美的图片进行标注、训练、部署等步骤：

为了提高识别稳定性训练时采用随机缩放、随机裁剪遮挡、随机排布、模糊、随机旋转等方法对待训练目标进行图像增强，以弥补样本稀少、不充分及目标微小结构特征不明显等缺陷；

S2.1：为适应对微小目标的检测，提高微型细胞检出率，将待测图像分割成若干个检测小图，若干个检测小图呈网格状为避免目标被分割截断，设置一定的分割重叠区，从而采用分割后的小图进行识别；

S2.2：将从检测小图上识别出的目标再投影到待测图像上，进行非极大值抑制运算，将运算结果作为识别结果输出，实现体液显微视频有形成分的自动识别，其最高识别速度大于30fps，识全率大于90%，识准率大于95%；

并裁剪数据对应待测图像所在的区域作为融合候选图像，按序归纳至融合候选图像集；样本中有形成分类型有多种，数量也很多，即将样本上含有有形成分的区域裁剪下来作为融合候选图像，而在识别过程中，不同有形成分类型会有多个识别区域，后续非极大值抑制运算时分别运算不同有形成分类型，即融合候选图像集内包含有一张待测图像上的多个不同有形成分类型子集。

S3：对待测图像与初始图像进行清晰度运算，将初始图像替换为运算结果所对应的图像，并作为融合基底输出，每轮清晰度运算完成后下一轮清晰度运算时的初始图像即为本轮的融合基底；

S3.1：对待测图像的每个像素采用拉普拉斯梯度算子进行卷积运算，

，其中，I为像素值，L为卷积结果；

S3.2：计算待测图像的平均拉普拉斯梯度值，记为Mi，计算初始图像的平均拉普拉斯梯度值，记为Mmax；

S3.3：比较Mi与Mmax的大小，若Mmax大于Mi，则输出Mmax对应的图像作为初始图像，即此轮运算后初始图像为初始图像，前一个初始图像可看作是一个存储器，后一个初始图像为视频中拆分出来的一帧图像，否则输出Mi对应的图像作为初始图像，即此轮运算后初始图像为待测图像，并且将输出图像作为融合基底输出；融合基底实际上是按序依次对视频内的两帧图像进行对比，并输出更为清晰的一帧图像，也即是逐一对比视频拆分的所有待测图像，并且输出最清晰的一帧待测图像。而初始图像除第一次清晰度运算时为待测图像集内序号为一所对应的待测图像，后续的清晰度运算时均为上一轮的融合基底，也即是上一轮清晰度运算中两帧图像中更为清晰的一帧。

S4：对融合候选图像集进行非极大值抑制运算，并将运算结果所对应的融合候选图像输出为融合候选区，按序归纳至融合候选区集，排除多次重复识别或可信度较低区域部分，保留置信度最高即特征最明显最可信的区域；

S4.1：对融合候选图像集内每个融合候选图像的置信度进行降序排布，并将置信度最高的融合候选图像命名为图像A，添加至输出列表；

S4.2：计算图像A与所有融合候选图像的重叠区域面积比例，重叠区域面积比例即重叠率，记为IOU值，将有形成分类型与图像A属于同类型且交并比大于设定阈值的融合候选图像从融合候选图像集中删除；此时只是图像A也就是待选图像上的一块区域（融合候选图像）被标记保存。

S4.3：再次选择剩余融合候选图像中最高置信度的融合候选图像添加至输出列表；即再次找出待选图像上另一个区域。

S4.4：重复上述过程直至融合候选图像集中剩余融合候选图像数量为0，将输出列表输出为融合候选区；重复上述过程后即可找出融合候选图像集内置信度最高的区域。可实现去除低置信度区域及同位置重复识别区域，保留最高置信度的融合候选区，也可称为最优待融合区域。

即假设有20个区域，根据分类类别做排序，假设属于类型ABM有6个，并且按照置信度降序排序分别为abm1、abm2、abm3、abm4、abm5、abm6，从最高概率abm1开始，分别判断abm2~abm6中与abm1的重叠率是否大于预设阈值；如果abm2、abm4与abm1的重叠率超过阈值，那么就扔掉abm2、abm4，并且标记abm1是我们保留下来的，添加到输出列表，从剩余的abm3、abm5、abm6三个区域中，选取最高置信度的abm3，然后判断abm5、abm6与abm3的重叠率，并且扔掉重叠率大于预设阈值的区域，并且标记abm3为第二个保留的区域，并且添加至输出列表里，以此重复，找到所有被保留下来的区域。再照样对其余类别进行运算。

S5：对待测图像集内剩余待测图像数量进行判定，若剩余待测图像数量为0，则将融合基底依次与融合候选区集内的融合候选区进行梯度对比融合，并输出融合后的图像，按序归纳至融合结果集，若剩余待测图像数量不为0，则返回执行S2。

当剩余待测图像数量为0时，融合基底为整个视频拆分的若干帧待测图像中最清晰的一帧。

S5.1：对融合候选区、以及融合基底对应区域进行拉普拉斯梯度运算；

S5.2：对比融合候选区、以及融合基底对应区域的平均拉普拉斯梯度值；

S5.3：若融合候选区的平均拉普拉斯梯度值大于融合基底对应区域的平均拉普拉斯梯度值，则将融合候选区的像素替换融合基底对应区域；

S5.4：对融合的区域进行梯度平滑处理，使融合边缘自然过渡，得到体液显微视频的精益表达图片。

通过显微镜对样本进行观察，并通过采集设备采集显微镜的成像，显微镜缓慢上移，焦点随之缓慢上移，从而将样本从底部至顶部都识别到了，从而形成一个视频，将视频按照采集时间轴进行拆分，拆分成若干帧图像，依次排序归纳至待测图像集内。

按序抽取待测图像集内一张待测图像进行识别分析，得到该待测图像上的有形成分类型等数据，并裁剪该待测图像上对应区域作为融合候选图像，按序归纳至融合候选图像集，融合候选图像集内可按序编号，如1（待测图像集内序号一所对应的待测图像）-1（第一张融合候选图像）、2-4（待测图像集内序号二所对应的待测图像的第四张融合候选图像），第一轮时抽取待测图像集内序号一所对应的待测图像，第二轮抽取待测图像集内序号二所对应的待测图像，以此类推。

对抽取的待测图像（第一轮为待测图像集内序号一所对应的待测图像）进行清晰度运算，此时初始图像为待测图像集内序号一所对应的待测图像，对该待测图像的每个像素的拉普拉斯梯度算子进行卷积运算，卷积公式为

，其中，I为像素值，L为卷积结果，再计算待测图像的平均拉普拉斯梯度值，记为Mi，计算初始图像的平均拉普拉斯梯度值，记为Mmax，比较Mi和Mmax的大小，输出两者之间大的数所对应的图像，即当Mmax大于Mi时，输出初始图像作为融合基底，并且将初始图像替换初始图像，当Mmax小于Mi时，输出待测图像作为融合基底，并且将待测图像替换初始图像，即将这一轮输出的融合基底作为下一轮的初始图像。而第一轮的初始图像为待测图像集内序号一对应的待测图像，因此第一轮输出的融合基底为序号一对应的待测图像。第二轮即为选出序号一待测图像与序号二待测图像之间更为清晰的一帧图像。

融合候选图像集内的所有融合候选图像都是本轮抽取的待测图像上裁剪的区域，按照置信度降序排序，选取置信度最高的融合候选图像，命名为图像A，将图像A添加至输出列表中，再将图像A与融合候选图像集内的剩余融合候选图像进行交并比计算，即计算图像A与剩余每张融合候选图像的重叠率，并且删除重叠率大于设定阈值的融合候选图像，再从中抽取置信度最高的融合候选图像，命名为图像B，并重复上述操作，最终直至融合候选图像集内剩余融合候选图像的数量为0。将本轮的输出列表内的融合候选图像作为本轮抽取的待测图像的融合候选区，也可称为最优待融合候选区，按序归纳至融合候选区集内。

第一轮的待测图像处理完成后，对待测图像集内的剩余待测图像数量进行判断，若剩余待测图像数量不为0，则从待测图像集内按序抽取下一帧待测图像进行识别分析、清晰度运算和非极大值抑制运算，直至待测图像集内剩余待测图像数量为0，当待测图像集内剩余待测图像数量为0时，此时融合基底为所有待测图像中最清晰的一帧，而融合候选区集内涵盖有每一帧待测图像的多张融合候选区，将融合候选区集内的每张融合候选区按序依次与融合基底进行梯度对比融合，即按序将每帧待测图像的多张融合候选区与融合基底进行梯度对比融合，一帧待测图像的多张融合候选区与融合基底的融合过程中，先对融合候选区进行拉普拉斯梯度运算，再对融合候选区在融合基底上对应区域进行拉普拉斯梯度运算，再计算出融合候选区、以及融合候选区在融合基底上对应区域的平均拉普拉斯梯度值，对比融合候选区的平均拉普拉斯梯度值与融合候选区在融合基底上对应的区域的平均拉普拉斯梯度值的大小，若融合候选区的平均拉普拉斯梯度值大于融合候选区在融合基底上对应的区域的平均拉普拉斯梯度值，则将融合候选区的像素替换融合候选区在融合基底上对应的区域的像素，即将融合候选区替换融合基底上对应融合候选区的区域，对融合区域进行梯度平滑，使融合边缘自然过渡，得到一帧待测图像基于图像融合的体液显微视频精益表达图片。重复上述操作，直至所有待测图像的融合候选区都与融合基底完成梯度对比融合后，将所有精益表达图片按序归纳至融合结果集内，经外设处理器或其余设备的输出，可将视频与融合结果相对应起来，当播放器播放到视频的某一帧画面的同时输出该帧画面对应的精益表达图片。

本发明是一种针对体液样本中有形成分显微镜检视频的直观、简洁、全面的表达技术，以含有各层面信息的图片表达一个视野的视频信息（包含前后景有效信息的图片表达一个视野的所有视频中有效信息内容），使得检测结果更贴近样本真实状态，进一步提高了仪器的智能化程度，极大提高检测结果的审核速度，切实解决了医疗器械临床上体液样本镜检检测结果审核困难这一顽疾，解决体液有形成分检测采用全自动显微镜进行图片或视频拍摄进行分析时因体液样本浓稠不能完全沉淀引起的显微镜焦距定焦困难、难以完全体现样本同一位置不同层面前后景信息、人工审核需查看视频费时费力、不能直接有效表达样本状态等问题，大大解放了操作人员的劳动强度，提高了审核结果的准确性，在技术上有较大的领先性，具有非常好的市场前景。

本发明基于图像融合技术，结合人工智能有形成分识别技术，将视野视频的每帧图像中各层面有形成分关键信息进行提取、融合、排序、非极大值抑制等技术处理。

以上，仅为本发明较佳的具体实施方式。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像融合的体液显微视频精益表达方法，其特征在于，具体包括如下步骤：

S1：采集视频，将视频拆分为若干帧图像，依次排序并归纳至待测图像集，设定初始图像为待测图像集内序号一所对应的待测图像；

S2：按序抽取待测图像集内一张待测图像进行识别分析，得到待测图像的数据，并裁剪数据对应待测图像所在的区域作为融合候选图像，按序归纳至融合候选图像集；

S3：对待测图像与初始图像进行清晰度运算，将初始图像替换为运算结果所对应的图像，并作为融合基底输出；

S4：对融合候选图像集进行非极大值抑制运算，并将运算结果所对应的融合候选图像输出为融合候选区，按序归纳至融合候选区集；

S5：对待测图像集内剩余待测图像数量进行判定，若剩余待测图像数量为0，则将融合基底依次与融合候选区集内的融合候选区进行梯度对比融合，并输出融合后的图像，按序归纳至融合结果集，若剩余待测图像数量不为0，则返回执行S2。

2.根据权利要求1所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，所述S1中，按照视频采集时间轴来拆分视频。

3.根据权利要求1所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，所述S2中，结合深度学习体液有形成分识别算法，分析得到待测图像上的体液中有形成分区域、可信度、类型等参数。

4.根据权利要求3所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，包括：

S2.1：将待测图像分割成若干个检测小图，若干个检测小图呈网格状；

S2.2：将从检测小图上识别出的目标再投影到待测图像上，进行非极大值抑制运算，将运算结果作为识别结果输出。

5.根据权利要求1所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，所述S3中清晰度运算包括：

S3.1：对待测图像的每个像素采用拉普拉斯梯度算子进行卷积运算，

，其中，I为像素值，L为卷积结果；

S3.2：计算待测图像的平均拉普拉斯梯度值，记为Mi，计算初始图像的平均拉普拉斯梯度值，记为Mmax；

S3.3：比较Mi与Mmax的大小，若Mmax大于Mi，则输出Mmax对应的图像作为初始图像，否则输出Mi对应的图像作为初始图像，并且将输出图像作为融合基底输出。

6.根据权利要求1所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，所述S4中非极大值抑制运算包括：

S4.1：对融合候选图像集内每个融合候选图像的置信度进行降序排布，并将置信度最高的融合候选图像命名为图像A，添加至输出列表；

S4.2：计算图像A与所有融合候选图像的重叠区域面积比例，将有形成分类型与图像A属于同类型且交并比大于设定阈值的融合候选图像从融合候选图像集中删除；

S4.3：再次选择剩余融合候选图像中最高置信度的融合候选图像添加至输出列表；

S4.4：重复上述过程直至融合候选图像集中剩余融合候选图像数量为0，将输出列表输出为融合候选区。

7.根据权利要求1所述的一种基于图像融合的体液显微视频精益表达方法，其特征在于，S5包括：

S5.1：对融合候选区、以及融合基底对应区域进行拉普拉斯梯度运算；

S5.2：对比融合候选区、以及融合基底对应区域的平均拉普拉斯梯度值；

S5.3：若融合候选区的平均拉普拉斯梯度值大于融合基底对应区域的平均拉普拉斯梯度值，则将融合候选区替换融合基底对应区域；

S5.4：对融合的区域进行梯度平滑处理。

Images