CN116051557A - 基于图像匹配的微流控芯片反应孔图像识别方法及系统 - Google Patents

Abstract

本发明公开的基于图像匹配的微流控芯片反应孔图像识别方法及系统，涉及生化实验结果图像分析领域。本发明在对原始图像进行图像分割后，将反应孔模板图像与分割图像进行匹配确定各反应孔的位置；接着，基于各反应孔的位置获取反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；然后，以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点，确定扩充后的像素点的平均像素值，并将平均像素值作为反应孔新的像素值；最后，根据反应孔新的像素值确定微生物浓度，以提高反应孔图像的识别效率、准确性和稳定性，进而解决现有技术存在的结果不准确性、稳定性偏低、适应性差、难以满足实际检测需要等问题。

Description

基于图像匹配的微流控芯片反应孔图像识别方法及系统

技术领域

本发明涉及生化实验结果图像分析领域，特别是涉及一种基于图像匹配的微流控芯片反应孔图像识别方法及系统。

背景技术

目前，微流控芯片在微生物检测领域应用广泛。将含有微生物核酸片段的样本溶液加入反应孔中与特定试剂反应，最终会形成不同的颜色，根据一段时间内其颜色变化情况和深浅程度判断出反应孔中对应的微生物的浓度。

在对图像的研究和处理中，往往图像中包含的信息不是都感兴趣，因此，人体大脑会根据需求自动来判断哪些是需要的图像信息，并且需要的图像信息往往包含想要信息的图像部分对应于图像中具有特殊性质（例如，边缘，形状，颜色等），在生物图像处理中常称为前景，相应的其他图像部分为背景。

目前生物图像处理领域中的图像识别方法主要分为以下几种：

1）人眼识别的方法。

2）利用数字图像处理、拓扑学、统计学、数学等方面来进行图像分割，以此再进行识别的方法。

3）使用深度学习得到样本特征进行图像识别的方法。

其中，人眼识别对实验人员要求太高，同时分析大量芯片结果时，由于工作大，易出错，使得最终检测结果的准确性和稳定性偏低。

传统基于图像分割的方法对拍摄环境的亮度，其图像的像素、色差要求高、适应性差，难以满足实际检测需要。

深度学习方法区别于传统图像识别方法，它基于算力的支持，对大量带有标签的数据集进行训练，让机器自主学习到图像的内在规律及特征。目前的基于深度学习的方法，需要依据大量的带有标签的数据集进行训练，而对于具体的小众领域，相关的图像训练集难以获取。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于图像匹配的微流控芯片反应孔图像识别方法及系统。

为实现上述目的，本发明提供了如下方案：

一种基于图像匹配的微流控芯片反应孔图像识别方法，包括：

获取微流控芯片的原始图像；

对所述原始图像进行图像分割得到分割图像；

获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置；

基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；

以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点；

确定扩充后的像素点的平均像素值，并将所述平均像素值作为反应孔新的像素值；

根据反应孔新的像素值确定微生物浓度。

优选地，对所述原始图像进行图像分割得到分割图像，具体包括：

将所述原始图像转换为HSV图像；

对所述HSV图像进行二值化处理得到二值化图像；

对所述二值化图像进行腐蚀膨胀操作得到膨胀图像；

提取所述膨胀图像的轮廓信息得到图像轮廓；

基于所述图像轮廓确定图像中心点和图像轮廓的外接矩形；

以所述图像中心点作为所述原始图像的中心点，沿所述图像轮廓的外接矩形分割所述原始图像得到所述分割图像。

优选地，获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置，之后还包括：

获取起始点模板图像，并将所述起始点模板图像与所述分割图像进行图像匹配确定起始点的位置；

基于所述起始点的位置和所述反应孔的位置设置反应孔的标签。

优选地，基于所述起始点的位置和所述反应孔的位置设置反应孔的标签，具体包括：

确定所述起始点的位置和每一所述反应孔的位置间的距离；

沿微流控芯片的圆周方向，将所述距离中最小距离对应的反应孔的标签设置为1号，将所述距离中第二小距离对应的反应孔的标签设置为2号，依次类推。

优选地，根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置，具体包括：

判断所述反应孔的像素值是否在预设气泡像素值范围内，得到判断结果；

当所述判断结果为所述反应孔的像素值在预设气泡像素值范围时，以反应孔为中心在预设范围内确定反应孔内溶液位置，将所述反应孔内溶液位置作为新的反应孔的位置；

当所述判断结果为所述反应孔的像素值不在预设气泡像素值范围时，反应孔的位置不变。

优选地，以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点，具体包括：

基于所述反应孔的位置获取反应孔的像素点构建像素集，并确定所述像素集中像素点的平均像素值；

以重新确定的反应孔的位置为原点，沿多个预设方向搜索与所述原点相邻的像素点，当搜索得到的所述像素点与像素集中像素点的平均像素值间的差值满足像素阈值时，将这一搜索得到的像素点添加至所述像素集；

当搜索得到的所述像素点与像素集中像素点的平均像素值间的差值不满足像素阈值时，在这一预设方向停止像素点的搜索。

优选地，所述反应孔新的像素值与所述微生物浓度成正比关系。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的基于图像匹配的微流控芯片反应孔图像识别方法，在对获取的原始图像进行图像分割后，将反应孔模板图像与分割图像进行图像匹配确定各反应孔的位置；接着，基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；然后，在以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点后，确定扩充后的像素点的平均像素值，并将平均像素值作为反应孔新的像素值；最后，根据反应孔新的像素值确定微生物浓度，以能够提高反应孔图像识别的效率、准确性和稳定性，进而解决现有技术存在的检测结果不准确性、稳定性偏低、适应性差、难以满足实际检测需要等问题。

对应于上述提供的基于图像匹配的微流控芯片反应孔图像识别方法，本发明还提供了一种基于图像匹配的微流控芯片反应孔图像识别系统，该系统包括：

图像获取模块，用于获取微流控芯片的原始图像；

图像分割模块，用于对所述原始图像进行图像分割得到分割图像；

位置确定模块，用于获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置；

位置更新模块，用于基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；

像素点扩充模块，用于以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点；

像素值更新模块，用于确定扩充后的像素点的平均像素值，并将所述平均像素值作为反应孔新的像素值；

微生物浓度确定模块，用于根据反应孔新的像素值确定微生物浓度。

因本发明提供的上述系统实现的技术效果与本发明提供的基于图像匹配的微流控芯片反应孔图像识别方法实现的技术效果相同，故在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于图像匹配的微流控芯片反应孔图像识别方法的流程图；

图2为本发明实施例提供的基于图像匹配的微流控芯片反应孔图像识别方法的实施架构图；

图3为本发明实施例提供的起始点模板图像示意图；

图4为本发明实施例提供的各反应颜色取值及阴阳性的UI界面图；

图5为本发明提供的基于图像匹配的微流控芯片反应孔图像识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于图像匹配的微流控芯片反应孔图像识别方法及系统，能够提高反应孔图像识别的效率、准确性和稳定性，进而解决现有技术存在的检测结果不准确性、稳定性偏低、适应性差、难以满足实际检测需要等问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1和图2所示，本发明提供的基于图像匹配的微流控芯片反应孔图像识别方法，包括：

步骤100：获取微流控芯片的原始图像。在本发明中，可以采用摄像头采集微流控芯片的原始图像。

步骤101：对原始图像进行图像分割得到分割图像。由于摄像头拍摄的含有反应孔的原始图像中，既包含微流控芯片，又包含背景环境。而背景环境对反应孔的检测是完全没有作用的，反而会造成不必要的干扰，因此，采用步骤101进行图像分割。在本发明中，将微流控芯片所在的区域从原图像中分割出来，可以采用的方法是轮廓检测，也就是基于边缘的分割，基于此，步骤101的实施过程可以为：

步骤1011：将原始图像转换为HSV图像。该这步骤实质就是进行颜色空间转换。对原始图像进行颜色空间转换，是指将RGB图像转换成HSV图像。其中，RGB图像是指用RGB颜色模式来显示的图像，RGB即是代表红、绿、蓝三个通道的颜色，这三个通道可以组合成任何颜色，摄像头拍摄的原始图像就是RGB图像。HSV是根据颜色的直观特性创建的一种颜色空间，其中，H表示色调，S表示饱和度，V表示明度，三个维度表示一种颜色。转换成HSV图像的目的是HSV可以用更加直观的数据描述需要的颜色，利于颜色区分。

步骤1012：对HSV图像进行二值化处理得到二值化图像。即根据HSV划分的色调区间，将特定区间的像素变成白色，其他区间的像素变成黑色。例如，在本发明中，微流控芯片是由黄铜圈固定的，所以可以分割黄铜圈来达到分割微流控芯片区域的目的。根据HSV划分的色调区间，黄铜的色调区间为0到34和156到180，将符合该区间的像素点变成白色，其他区间的像素点变成黑色。

步骤1013：对二值化图像进行腐蚀膨胀操作得到膨胀图像。腐蚀膨胀是图像处理的一种手段，腐蚀可以消除物体边界点，使目标缩小，消除毛刺。膨胀可以填补目标空洞，是目标增大，增加轮廓的连续性。

步骤1014：提取膨胀图像的轮廓信息得到图像轮廓。基于上述描述，在本发明中，提取轮廓的时候会提取到所有符合色调区间为0到34和156到180的像素点的轮廓，这就需要根据黄铜圈轮廓的面积、形状等信息进一步筛选。黄铜圈的轮廓面积大概占整幅原始图像的十分之一到二分之一，且形状为圆形，基于此，可以根据面积过滤掉太小的轮廓，然后筛选出轮廓为圆形的目标，就可以得到黄铜圈的轮廓，也就是微流控芯片的轮廓。

步骤1015：基于图像轮廓确定图像中心点和图像轮廓的外接矩形。

步骤1016：以图像中心点作为原始图像的中心点，沿图像轮廓的外接矩形分割原始图像得到分割图像。得到的分割图像就是目标区域，比如微流控芯片的区域，这样有利于去除不必要的背景干扰。

步骤102：获取反应孔模板图像，并将反应孔模板图像与分割图像进行图像匹配确定各反应孔的位置。在该步骤匹配过程中，会得到每次匹配的相似度，根据相似度做筛选，相似度从高到低逐次降低，选出所有反应孔的位置。

由于图像匹配是按照相似度做筛选的，偶尔会出现相似度高的非目标区域，为了排除掉这些非目标区域，这些非目标区域往往是芯片中的残留试剂，它们的位置与反应孔不同，因此需要根据反应孔的位置做进一步筛选，这样就可以得到反应孔所有的坐标了。

对于模板图像，在同一种任务下，所要检测的目标不变且图像分辨率不变的情况下，可使用同一种模板图像。而为了设置反应孔的标签，在步骤102确定的各反应孔的位置基础上，本发明还可以进行一下操作：

获取起始点模板图像，并将起始点模板图像与分割图像进行图像匹配确定起始点的位置。识别起始点的作用是为了将反应孔位置与实际标签一一对应。起始点可以设置为蓝色圆点。将起始点的模板图像与步骤101生成的分割图像做图像匹配，找到最匹配的一个位置，并计算中心点，这样便找到了起始点的位置。

基于起始点的位置和反应孔的位置设置反应孔的标签。例如，在1号反应孔位置标记起始点，根据起始点坐标计算它与每个反应孔的距离，距离最小的就是1号反应孔。然后再根据1号反应孔的坐标计算它与其他反应孔的距离，距离最小的就是2号反应孔。依次计算剩余反应孔，直至全部反应孔与真实标签一一对应。在反应孔标签确定过程中，可以沿微流控芯片的圆周方向进行。

例如，采用的起始点模板图像如图3所示。

步骤103：基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置。在图像匹配过程中定位的反应孔的位置，如果落在了反应孔的气泡上，会对结果有很大的影响，因此在步骤103中需要进行气泡识别，判断定位的反应孔的位置是否在气泡上。根据测量了多种气泡的像素值，与反应孔内溶液的像素值，发现它们有明显的偏差。气泡的HSV像素值在第二个通道饱和度通道上，要明显低于溶液的像素值。在气泡检测时，会判断反应孔坐标的像素值是否在气泡的像素值范围内，如果属于气泡的像素范围，就判定为气泡，然后从该点出发，在它的四周小范围寻找反应孔内溶液的位置，以像素值作为判断标准，找到溶液所在位置即结束。这样便可以确保找到的反应孔位置确实落在了作为判断目标的溶液上。基于此，步骤103的具体实施过程可以为：

步骤1031：判断反应孔的像素值是否在预设气泡像素值范围内，得到判断结果。

步骤1032：当判断结果为反应孔的像素值在预设气泡像素值范围时，以反应孔为中心在预设范围内确定反应孔内溶液位置，将反应孔内溶液位置作为新的反应孔的位置。

步骤1033：当判断结果为反应孔的像素值不在预设气泡像素值范围时，反应孔的位置不变。

步骤104：以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点。通过上述步骤，能够得到每个反应孔的坐标（即位置）与标签，但目前每个反应孔只有一个像素点，计算一个像素点的误差较大，因此，需要提取反应孔上尽量多的像素点。由于反应孔边缘会存在少量气泡，而这些气泡会对识别结果造成影响，所以本发明采用广度优先搜索的思想提出了一个搜索算法。采用该搜索算法扩充反应孔的像素点的过程具体为：

步骤1041：基于反应孔的位置获取反应孔的像素点构建像素集，并确定像素集中像素点的平均像素值。

步骤1042：以重新确定的反应孔的位置为原点，沿多个预设方向搜索与原点相邻的像素点，当搜索得到的像素点与像素集中像素点的平均像素值间的差值满足像素阈值时，将这一搜索得到的像素点添加至像素集。

步骤1043：当搜索得到的像素点与像素集中像素点的平均像素值间的差值不满足像素阈值时，在这一预设方向停止像素点的搜索。

例如，从反应孔的坐标点开始，同时朝四个方向搜索，即向上、向下、向左和向右，只要下一个像素点的值与像素集中的平均值差别不大，就加入像素集，并以它为原点继续向四个方向搜索。如果下一个像素点的值与像素集中的平均值差别大于某个阈值，这个方向就终止搜索。直至搜索完全部满足阈值的像素点。

步骤105：确定扩充后的像素点的平均像素值，并将平均像素值作为反应孔新的像素值。在本发明中，将原始图像转换成了HSV图像，HSV的三个通道信息只有第一个通道表示色调，基于此，在该步骤中，只需要将第一个通道的值作为反映反应程度的指标便可。因此在求反应孔内各个像素点的平均像素值时，需要对HSV第一个通道的值求平均，并将它作为每个反应孔的平均像素值。

步骤106：根据反应孔新的像素值确定微生物浓度。其中，反应孔新的像素值与微生物浓度成正比关系，即反应孔新的像素值越低说明检测的微生物浓度越低，反应孔新的像素值越高说明检测的微生物浓度越高。所有超越阈值的反应孔，都认为是有大量微生物存在的。

根据需要，本发明提供了一个展示处理结果的UI界面，如图4所示。

基于上述描述，相对于现有技术本发明具有以下优点：

1、本发明将人眼识别转为计算机图像识别，提升了数据分析效率。

2、本发明利用轮廓检测算法将微流控芯片从拍摄的整体环境中分离出来，去除了不必要的背景，干扰采用的图像匹配算法可以根据检测目标进行精准定位。轮廓检测技术和图像匹配算法连用，提高了识别和定位的准确性和稳定性。

3、本发明开发了一种基于广度优先搜索的像素搜索方法，可以将符合条件的像素点全部囊括，防止丢点，保证实验数据的准确性和稳定性。

4、本发明全流程识别可靠、准确，对运算性能要求低，成本低，易于推广。

此外，对应于上述提供的基于图像匹配的微流控芯片反应孔图像识别方法，本发明还提供了一种基于图像匹配的微流控芯片反应孔图像识别系统，如图5所示，该系统包括：

图像获取模块600，用于获取微流控芯片的原始图像。

图像分割模块601，用于对原始图像进行图像分割得到分割图像。

位置确定模块602，用于获取反应孔模板图像，并将反应孔模板图像与分割图像进行图像匹配确定各反应孔的位置。

位置更新模块603，用于基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置。

像素点扩充模块604，用于以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点。

像素值更新模块605，用于确定扩充后的像素点的平均像素值，并将平均像素值作为反应孔新的像素值。

微生物浓度确定模块606，用于根据反应孔新的像素值确定微生物浓度。

本发明采用图像匹配的方法识别反应孔，可以准确快速地识别到反应孔位置，而且可以用于多种类似的图像识别，只需要更改模板图像即可。且其中基于广度优先搜索思想的像素搜索也使图像颜色的读取更具鲁棒性。本发明的方案，通过自动化的程序，可以完成对实验数据的批量化，可视化处理，提高实验的精度，大大减少实验人员的数据分析时间，并且可以将这种分析方法推广到产品中，提高用户的体验感。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，包括：

获取微流控芯片的原始图像；

对所述原始图像进行图像分割得到分割图像；

获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置；

基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；

以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点；

确定扩充后的像素点的平均像素值，并将所述平均像素值作为反应孔新的像素值；

根据反应孔新的像素值确定微生物浓度。

2.根据权利要求1所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，对所述原始图像进行图像分割得到分割图像，具体包括：

将所述原始图像转换为HSV图像；

对所述HSV图像进行二值化处理得到二值化图像；

对所述二值化图像进行腐蚀膨胀操作得到膨胀图像；

提取所述膨胀图像的轮廓信息得到图像轮廓；

基于所述图像轮廓确定图像中心点和图像轮廓的外接矩形；

以所述图像中心点作为所述原始图像的中心点，沿所述图像轮廓的外接矩形分割所述原始图像得到所述分割图像。

3.根据权利要求1所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置，之后还包括：

获取起始点模板图像，并将所述起始点模板图像与所述分割图像进行图像匹配确定起始点的位置；

基于所述起始点的位置和所述反应孔的位置设置反应孔的标签。

4.根据权利要求3所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，基于所述起始点的位置和所述反应孔的位置设置反应孔的标签，具体包括：

确定所述起始点的位置和每一所述反应孔的位置间的距离；

沿微流控芯片的圆周方向，将所述距离中最小距离对应的反应孔的标签设置为1号，将所述距离中第二小距离对应的反应孔的标签设置为2号，依次类推。

5.根据权利要求1所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置，具体包括：

判断所述反应孔的像素值是否在预设气泡像素值范围内，得到判断结果；

当所述判断结果为所述反应孔的像素值在预设气泡像素值范围时，以反应孔为中心在预设范围内确定反应孔内溶液位置，将所述反应孔内溶液位置作为新的反应孔的位置；

当所述判断结果为所述反应孔的像素值不在预设气泡像素值范围时，反应孔的位置不变。

6.根据权利要求1所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点，具体包括：

基于所述反应孔的位置获取反应孔的像素点构建像素集，并确定所述像素集中像素点的平均像素值；

以重新确定的反应孔的位置为原点，沿多个预设方向搜索与所述原点相邻的像素点，当搜索得到的所述像素点与像素集中像素点的平均像素值间的差值满足像素阈值时，将这一搜索得到的像素点添加至所述像素集；

当搜索得到的所述像素点与像素集中像素点的平均像素值间的差值不满足像素阈值时，在这一预设方向停止像素点的搜索。

7.根据权利要求1所述的基于图像匹配的微流控芯片反应孔图像识别方法，其特征在于，所述反应孔新的像素值与所述微生物浓度成正比关系。

8.一种基于图像匹配的微流控芯片反应孔图像识别系统，其特征在于，包括：

图像获取模块，用于获取微流控芯片的原始图像；

图像分割模块，用于对所述原始图像进行图像分割得到分割图像；

位置确定模块，用于获取反应孔模板图像，并将所述反应孔模板图像与所述分割图像进行图像匹配确定各反应孔的位置；

位置更新模块，用于基于各反应孔的位置获取每一反应孔的像素值，并根据反应孔的像素值和预设气泡像素值范围重新确定反应孔的位置；

像素点扩充模块，用于以重新确定的反应孔的位置为原点，采用搜索算法扩充反应孔的像素点；

像素值更新模块，用于确定扩充后的像素点的平均像素值，并将所述平均像素值作为反应孔新的像素值；

微生物浓度确定模块，用于根据反应孔新的像素值确定微生物浓度。

Images