CN113838089A - 一种基于特征匹配算法的气泡轨迹跟踪方法 - Google Patents

一种基于特征匹配算法的气泡轨迹跟踪方法 Download PDF

Info

Publication number
CN113838089A
CN113838089A CN202111102543.0A CN202111102543A CN113838089A CN 113838089 A CN113838089 A CN 113838089A CN 202111102543 A CN202111102543 A CN 202111102543A CN 113838089 A CN113838089 A CN 113838089A
Authority
CN
China
Prior art keywords
bubble
matching
image
frame
bubbles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111102543.0A
Other languages
English (en)
Other versions
CN113838089B (zh
Inventor
王淑娟
路士超
乔守旭
王淼
刘佳奇
戴运桃
沈继红
谭思超
郭春雨
韩阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202111102543.0A priority Critical patent/CN113838089B/zh
Publication of CN113838089A publication Critical patent/CN113838089A/zh
Application granted granted Critical
Publication of CN113838089B publication Critical patent/CN113838089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域,具体涉及一种基于特征匹配算法的气泡轨迹跟踪方法。本发明基于ORB特征匹配算法,针对气液两相流图像序列数据,提出了一种去离子水中形状发生变化的气泡轨迹跟踪方法。在模型结构上,首先进行图像预处理,包括:图像切割、信号亮度增强、图像去噪;其次,进行图像二值化,识别并输出只含有气泡轮廓的图像。再者,对相邻两帧图像中的同一气泡进行匹配。运用ORB算法对气泡轮廓特征进行提取和匹配,并根据特征匹配的结果找到气泡在下一帧图像中的位置(以气泡的几何中心坐标记录气泡的位置信息)。最后,将每一帧图像与其相邻两帧图像的匹配得到的结果进行综合,得到识别出气泡轨迹。

Description

一种基于特征匹配算法的气泡轨迹跟踪方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于特征匹配算法的气泡轨迹跟踪方法。
背景技术
两相流是指同时存在两种不同相的物质的流动,通常可分为气(汽)体-液体两相流,气体-固体颗粒两相流,液体-固体颗粒两相流。气液两相流现象普遍存在于船舶、动力以及核能等领域,对相关物理现象的认知、预测、操作、控制以及优化研究产生了重要的影响。如在热交换器中,水和空气通常用作热交换介质,而空气在水中呈气泡状态;在水下航行器运动过程中,由于速度较大,会产生超空泡。这些气泡的特性和动态行为,如大小、速度、轨迹、分布、碰撞、破裂等对于能量传递、运动阻力等有显著的影响。作为多领域存在的共性问题,液体中气泡行为的准确把握直接决定了对相关物理现象的认知。
目前,对于流场中粒子的轨迹跟踪一般采用粒子图像测速(PIV)或粒子追踪测速(PTV)算法。粒子追踪测速(PTV)算法包括粒子识别、粒子匹配、速度矢量计算三个步骤。粒子追踪测速(PTV)基于识别粒子图像中的离散粒子,建立曝光图像序列中相同粒子的对应关系,追踪粒子的移动从而确定其运动轨迹。但该算法要求采集的图像序列时间间隔尽可能小,并且未充分考虑粒子在流动过程中的形状变化。
液体中气泡的识别跟踪与PTV算法中的示踪粒子跟踪有显著区别,例如:对气泡的识别要求准确给出气泡边界,但是PTV示踪粒子未考虑边界信息;匹配时气泡要比示踪粒子多考虑轮廓特征变化,匹配难度加大。特征匹配在气泡轨迹识别以及粒子跟踪问题中都起到了关键的作用。与示踪粒子不同,气泡在流动的过程中受压强等因素的影响,外形会有所变化。因此,对气泡匹配时不能只看重位置变化而忽略气泡的形状变化,所以不同图像的同一气泡之间的匹配成为了气泡轨迹跟踪的难点。
发明内容
本发明的目的在于提供可对液体中形状发生变化的气泡的运动轨迹跟踪的一种基于特征匹配算法的气泡轨迹跟踪方法。
本发明的目的通过如下技术方案来实现:包括以下步骤:
步骤1:获取时间连续的气泡图像数据集,进行预处理,包括对气泡图像数据集进行切割、亮度增强、高斯滤波去噪;所述的时间连续的气泡图像数据集包含从第1帧开始至最后第J帧的气泡图像;
步骤2:将预处理后的气泡图像进行二值化,利用边缘检测算法确定气泡的轮廓以及气泡的几何中心;
步骤3:利用ORB算法对图像中的气泡进行特征提取,并对相邻图片中气泡进行匹配;
步骤3.1:图像灰度化;
步骤3.2:在图像中选取像素点p,其灰度值为I(p);设置一个阈值T,以像素点p为中心,选取半径为r的圆;若选取的圆上有连续的N个像素点N={y1,y2,...,ys},满足|I(p)-I(ya)|>T,a=1,2,...,s,则判定像素点p是特征点;
步骤3.3:重复步骤3.2直至遍历每一个像素点,获取所有特征点;
步骤3.4:以特征点p为圆心,以d为半径做圆O,在圆O内选取n个点对;定义操作X,对于第i个点对(a,b),操作如下:
Figure BDA0003271392660000021
其中,I(a),I(b)分别表示a,b两点的灰度值,操作X对a,b两点的灰度值进行比较,得到xi;分别对已选取的n个点对进行X操作,最终得到特征点p的二进制特征描述符x=x1x2...xn
步骤3.5:对相邻两帧图像进行特征点之间的匹配,选择汉明距离来表示特征点的特征描述符之间的距离;从前一帧图像中提取一个特征点,然后再从后一帧图像中根据匹配算法寻找最优匹配点,记录该匹配特征点对;
Figure BDA0003271392660000022
其中,
Figure BDA0003271392660000023
为n维向量,
Figure BDA0003271392660000024
分别代表相邻两帧图像中的特征点的特征描述符的向量形式;
步骤3.6:基于特征点的匹配率实现气泡的匹配;计算后一帧图像中每个气泡的特征点与当前帧给定气泡Bu特征点的匹配数量Num,并计算Num占Bu特征点的比例,作为两个气泡的特征匹配度;在匹配度大于设定阈值M的气泡中,选择匹配度最高的气泡,作为气泡Bu的匹配气泡;若所有的气泡特征匹度都达不到阈值时,按照气泡几何中心位置的最近距离匹配气泡;
步骤4:取相邻的第j帧与第j+1帧两帧图像,将相邻图像中所有匹配气泡对按照从下到上的顺序进行编号,将匹配气泡的几何中心坐标按图片顺序存入列表,并将所有列表按照气泡顺序存储为一个大列表;同理,可获得第j+1帧与第j+2帧图像中匹配气泡中心点坐标列表,将第j+1帧作为第j帧和第j+2帧的链接,获得每个气泡的几何中心的坐标序列,即气泡的运动轨迹。
本发明还可以包括:
所述的步骤4具体为:
步骤4.1:初始化j=1;
步骤4.2:从第j帧图像开始,选取第j+1帧,将同一气泡的几何中心坐标匹配对按照图像顺序存入第一列表,第一列表格式如下:
Figure BDA0003271392660000031
第一列表中每个子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)]代表第j帧、第j+1帧图像中匹配的第p个气泡中心点坐标;mj,j+1表示匹配的气泡数量;
同理,根据第i+1与i+2帧图像得到第二列表:
Figure BDA0003271392660000032
步骤4.3:遍历第二列表中的子列表[(xj+1,q,yj+1,q),(xj+2,q,yj+2,q)]与第一列表中的子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)];若(xj+1,q,yj+1,q)=(xj+1,p,yj+1,p),则将第一列表中子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)]更新为[(xj,p,yj,p),(xj+1,p,yj+1,p),(xj+2,q,yj+2,q)];若第一列表中不存在元素使得(xj+1,q,yj+1,q)=(xj+1,p,yj+1,p),则更新第一列表为:
Figure BDA0003271392660000033
步骤4.4:若j<J,则令j=j+1,返回步骤4.2;
步骤4.5:按顺序遍历至最后一幅图片,便可得到各气泡几何中心坐标序列;在得到气泡中心坐标序列后,根据序列长度筛除不合理轨迹,最终,获得合理的气泡运动轨迹。
本发明的有益效果在于:
传统方法,例如粒子跟踪速度测量(PTV)算法,通过确定气泡的几何中心,并将其视为示踪粒子进行轨迹跟踪。但是该方法忽略了气泡流动过程中形状的变化,然而气泡的运动形态、存在形式对相关工程应用效果具有很大的影响。本发明采用特征匹配算法,通过对气泡的轮廓进行匹配建立轨迹跟踪,充分考虑气泡在流动过程中形状的变化。
附图说明
图1为第一帧原图与气泡轮廓对比图。
图2为第一帧与第二帧气泡特征匹配图。
图3本发明中相邻两帧气泡匹配流程图。
图4(a)为第一幅气泡图像。
图4(b)为第一幅图像中第一个气泡的运动轨迹图。
图4(c)为第一幅图像中第五个气泡的运动轨迹图。
图4(d)为第一幅图像中第一个气泡之后新出现的第一个气泡的运动轨迹图。
图5(a)为第一幅图片中第一个气泡轨迹的3D图。
图5(b)为第一幅图片中第一个气泡轨迹的俯视图。
图5(c)为第一幅图片中第一个气泡轨迹的左视图。
图5(d)为第一幅图片中第一个气泡轨迹的正视图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明涉及一种气液两相流智能识别与跟踪方法,特别是液体中运动气泡的识别与跟踪。具体基于ORB特征匹配算法实现液体中多气泡轨迹跟踪,属于计算机视觉领域。
本发明的目的是跟踪液体中形状可能发生变化的气泡的运动轨迹。采用智能标注法识别气泡的轮廓,确定气泡的几何中心,运用ORB特征匹配算法对气泡轮廓进行匹配,并将几何中心作为示踪粒子进行轨迹跟踪。本发明提出的基于ORB特征匹配算法的气泡匹配方法既考虑到了传统粒子匹配算法的位置信息又兼顾气泡形状的变化,实现了对液体中形状发生变化的气泡的运动轨迹跟踪。
本发明的目的是这样实现的:
步骤一:气泡图像数据预处理。图像质量直接影响识别算法的效果及精度,因此对图片的预处理是必要环节。包括对气泡图像数据集进行切割、亮度增强、高斯滤波去噪。
步骤二:将步骤一中处理后的图像进行二值化,利用边缘检测算法确定气泡的轮廓以及气泡的几何中心。
步骤三:构建基于特征的气泡匹配算法,利用ORB(Oriented FAST and RotatedBRIEF)算法对图像中的气泡进行特征提取,并对相邻图片中气泡进行匹配。具体包括如下内容:
1.图像灰度化。
2.创建特征检测器——用于检测模板和图像上的特征点。具体包括:
(1)在图像中选取像素点p,假设它的灰度值为I(p);
(2)设置一个阈值T;
(3)以像素点p为中心,选取半径为r的圆上的m个像素点;
(4)假如选取的圆上,有连续的N个点,例如N={y1,y2,...,ys},若满足
|I(p)-I(yi)|>T,i=1,2,...,s
那么可以认为像素点p是特征点;
(5)循环以上四步,对每一个像素点执行相同的操作。
3.利用上述特征检测器,获得特征点的特征描述符。具体如下:
(1)以特征点p为圆心,以d为半径做圆O;
(2)在圆O内选取n个点对;
(3)定义操作X,对于第i个点对(a,b),操作如下:
Figure BDA0003271392660000051
其中I(a),I(b)分别表示a,b两点的灰度值,操作X对a,b两点的灰度值进行
比较,得到xi
(4)分别对已选取的n个点对进行X操作,最终得到特征点p的一个二进制特征
描述符x=x1x2...xn
4.创建特征匹配器——对相邻两帧图像进行特征点之间的匹配。选择汉明距离来表示特征点的特征描述符之间的距离。即
Figure BDA0003271392660000052
其中,
Figure BDA0003271392660000053
为n维向量,
Figure BDA0003271392660000054
分别代表相邻两帧图像中的特征点的特征描述符的向量形式。
5.从前一帧图像中提取一个特征点,然后再从后一帧图像中根据匹配算法寻找最优匹配点,记录该匹配特征点对。
6.基于特征点的匹配率实现气泡的匹配。计算后一帧图像中每个气泡的特征点与当前帧给定气泡Bu特征点的匹配数量Num,并计算Num占Bu特征点的比例,作为两个气泡的特征匹配度。在匹配度大于设定阈值M的气泡中,选择匹配度最高的气泡,作为气泡Bu的匹配气泡。若所有的气泡特征匹度都达不到阈值时,按照气泡几何中心位置的最近距离匹配气泡。
步骤四:取相邻两帧图像分别为第i(i≥1)帧与第i+1帧,将相邻图像中所有匹配气泡对按照从下到上的顺序进行编号(bu=1,2,…,m),将匹配气泡的几何中心坐标按图片顺序存入列表,并将所有列表按照气泡顺序存储为一个大列表。同理,可获得,第i+1帧与第i+2帧图像中匹配气泡中心点坐标列表。将第i+1帧作为第i帧和第i+2帧的链接,获得每个气泡的几何中心的坐标序列,即气泡的运动轨迹。
与现有技术相比,本发明的有益效果是:对于液体中运动的气泡流,基于特征匹配算法有效地识别出可能发生形变的气泡的运动轨迹,并对识别轨迹进行可视化及分析。
传统方法,例如粒子跟踪速度测量(PTV)算法,通过确定气泡的几何中心,并将其视为示踪粒子进行轨迹跟踪。但是该方法忽略了气泡流动过程中形状的变化,然而气泡的运动形态、存在形式对相关工程应用效果具有很大的影响。本发明采用特征匹配算法,通过对气泡的轮廓进行匹配建立轨迹跟踪,充分考虑气泡在流动过程中形状的变化。
实施例1:
本实施例中,数据来自模拟闭合回路进行的两相流实验。通过调节管路阀门控制气液两相流竖直上升及竖直下降。一体式空压机产生压缩空气储存于容积300L的压缩空气罐,压缩空气经电磁阀进入气泡发生器,进而进入实验段及气水分离器,最终排入大气。实验段总长约3.7m,由内径50.8mm的不同长度的有机玻璃管段及采集窗口连接组成。采集窗口采用平面设计,可进行高速摄像。采集频率为4000fps,宽*高为256*512像素,水的流速是2m/s,方向竖直向下,气泡流速与水流速相似。
本发明基于ORB特征匹配算法,针对气液两相流图像序列数据,提出了一种去离子水中形状发生变化的气泡轨迹跟踪方法。在模型结构上,首先进行图像预处理,包括:图像切割、信号亮度增强、图像去噪;其次,进行图像二值化,识别并输出只含有气泡轮廓的图像。再者,对相邻两帧图像中的同一气泡进行匹配。运用ORB算法对气泡轮廓特征进行提取和匹配,并根据特征匹配的结果找到气泡在下一帧图像中的位置(以气泡的几何中心坐标记录气泡的位置信息)。最后,将每一帧图像与其相邻两帧图像的匹配得到的结果进行综合,得到识别出气泡轨迹。
一种基于特征匹配算法的气泡轨迹跟踪方法包括以下步骤:
步骤一:预处理。对图像数据集进行切割、亮度增强、使用高斯滤波进行去噪,实现对图片中气泡的信息增强。
步骤二:将图像进行二值化后,利用边缘检测算法确定气泡轮廓以及几何中心。具体利用python中Open CV库中findcounters函数检测出每幅图像中的气泡的轮廓信息。如图1所示,展示了原始气泡图片和只含有气泡轮廓的对比图。根据气泡的轮廓信息便可计算出气泡的几何中心。
在得到的气泡轮廓图中,水面处可能重复出现某一已消失气泡的轮廓。如图1中方框标出的气泡,这是由于气泡在运动到水面之后并没有立即破碎,而是在水面随机漂浮,因此,在到达水面后有可能重新进入识别区域。这类气泡不应该作为一个新的气泡被对待,否则将影响后续气泡轨迹识别过程中特征匹配效果,出现误匹配的现象。针对这一问题,具体解决方案在步骤四中详述。
步骤三:构建基于特征的气泡匹配算法,利用ORB(Oriented FAST and RotatedBRIEF)对图像中的气泡进行特征提取以及特征匹配,得到对气泡的匹配结果。具体操作如下:
1.图像预处理——灰度化。
2.创建特征检测器——用于检测模板和图像上的特征点。关键点提取步骤:
(1)在图像中选取像素点p,它的亮度为I(p);
(2)设置一个与像素亮度有关的阈值T=0.2*I(p);
(3)以像素点p为中心,选取半径为r=3的圆上的16个像素点;
(4)判断像素点p是否是特征点。在选取的圆上,若有不小于N=12个点N={y1,y2,...,ys}(s≥12)都满足:
|I(p)-I(yi)|>T,i=1,2,...,s(s>12)
那么像素点p可以被认为是特征点;
(5)循环以上四步,对每一个像素点执行相同的操作。
3.利用上述特征检测器获得特征点和特征描述符的解释,具体操作如下:
(1)设2中获得的特征点共A个,考虑每个特征点的31×31邻域。用邻域中的每个点的5×5邻域像素平均值来代替该点值,即对图像进行平滑处理;
(2)在31×31的邻域内共有D=(31-5+1)*(31-5+1)=729个这样的子窗口,取点对的方式有
Figure BDA0003271392660000072
种,在所有特征点的31×31邻域内按E种方法取点对,根据操作X比较点对大小。定义操作X:对于第i个点对(a,b),定义
Figure BDA0003271392660000071
形成一个A×E的二进制矩阵F。矩阵的每一列代表A个点按某种取法得到的二进制数;
(3)对F矩阵的每一列求取平均值,按照平均值到0.5的距离大小重新对F矩阵的列向量排序,形成矩阵G;
(4)将G的第一列向量放到R中;
(5)取G的下一列向量和R中的所有列向量计算相关性,如果相关系数小于0.05,则将G中的该列向量移至R中;
(6)按照(5)的方式不断进行操作,直到R中的向量数量为n=256。
4.创建特征匹配器——对相邻两帧图像进行特征点之间的匹配。选择汉明距离来表示特征点的特征描述符之间的距离。即
Figure BDA0003271392660000081
其中,
Figure BDA0003271392660000082
为n维向量,
Figure BDA0003271392660000083
分别代表相邻两帧图像中的特征点的特征描述符的向量形式,n=256。
5.从前一帧图像中提取一个特征点,然后再从后一帧图像中根据匹配算法(匹配度)寻找最优匹配点,记录该匹配点对。
图2给出了某相邻两帧气泡图像,根据匹配算法得到的匹配结果。图像中的每一条连线代表特征点匹配成功,气泡之间的连线越多代表着气泡的相似特征点越多,意味着两个气泡越相似。
6.由匹配的特征点对找到与其相对应的气泡。计算后一帧图像中每个气泡的特征点与当前帧给定气泡A特征点的匹配数量Num,并计算Num占A特征点的比例,作为两个气泡的特征匹配度。设定阈值M=0.5,当两气泡的特征匹配量大于等于M时,认为这两个气泡是同一气泡。当气泡轮廓上的特征匹配量达不到M时,按照气泡中心位置的最近距离匹配气泡。
图3给出了相邻两张图片在进行气泡匹配时的操作流程,将所有相邻的图像都进行如图所示流程就能得到图像中相匹配的气泡。
步骤四:从第i(i≥1)帧图像开始,选取第i+1帧,将同一气泡的几何中心坐标匹配对按照图像顺序存入列表。列表格式如下
[[(xi,1,yi,1),(xi+1,1,yi+1,1)],[(xi,2,yi,2),(xi+1,2,yi+1,2)],...,[(xi,m,yi,m),(xi+1,m,yi+1,m)]] (1)
列表中每个子列表代表第i帧、第i+1帧中匹配的气泡中心点坐标,m表示目前存在的气泡数量。第i+1与i+2帧同理得到列表:
[[(xi+1,1,yi+1,1),(xi+2,1,yi+2,1)],[(xi+1,2,yi+1,2),(xi+2,2,yi+2,2)],...,[(xi+1,n,yi+1,n),(xi+2,n,yi+2,n)]] (2)
遍历(2)中的子列表[(xi+1,q,yi+1,q),(xi+2,q,yi+2,q)]与(1)中的子列表[(xi,p,yi,p),(xi+1,p,yi+1,p)],有以下两种情况:
a.若(xi+1,q,yi+1,q)=(xi+1,p,yi+1,p),则将(1)中子列表[(xi,p,yi,p),(xi+1,p,yi+1,p)]更新为
[(xi,p,yi,p),(xi+1,p,yi+1,p),(xi+2,q,yi+2,q)]
b.若(1)中不存在元素使得(xi+1,q,yi+1,q)=(xi+1,p,yi+1,p),则更新(1)为:
[[(xi,1,yi,1),(xi+1,1,yi+1,1)],[(xi,2,yi,2),(xi+1,2,yi+1,2)],...,[(xi,m,yi,m),(xi+1,m,yi+1,m)],[(xi+1,q,yi+1,q),(xi+2,q,yi+2,q)]]
从i=1开始,按顺序遍历至最后一幅图片,便可得到各气泡几何中心坐标序列。在得到气泡中心坐标序列后,根据序列长度筛除不合理轨迹。如图1中方框所示的气泡,由于其漂浮在液面附近,后又重新进入识别区域,因此,在识别出的轨迹序列中这类气泡的轨迹列表中的元素不会很多。设定一个阈值Q=10,当轨迹列表中元素的个数小于Q时,表示该气泡出现时刻很短暂(最后一张图片里最下方的个别气泡),或属于图1中方框所示一类气泡,可删除其轨迹列表。最终,获得合理的气泡运动轨迹,如图4所示(部分气泡轨迹)。
对气泡轨迹进行可视化,以像素位置的排列方式来定义轨迹图的横纵坐标,向下为y轴正方向,向右为x轴正方向,画出气泡的平面轨迹图。图4(a)为第一幅气泡图像,其中第一个气泡(最下方)和第五个气泡被框出;图4(b)为第一幅图像中第一个气泡的运动轨迹;图4(c)为第一幅图像中第五个气泡的运动轨迹;图4(d)为第一幅图像第一个气泡之后新出现的第一个气泡的运动轨迹。
为方便观察,在气泡平面轨迹的基础上,以时间为z轴,画出第一幅图像中第一个气泡轨迹的3D图(图5(a))及其三视图,依次为俯视图(图5(b))、左视图(图5(c))和正视图(图5(d))。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于特征匹配算法的气泡轨迹跟踪方法,其特征在于,包括以下步骤:
步骤1:获取时间连续的气泡图像数据集,进行预处理,包括对气泡图像数据集进行切割、亮度增强、高斯滤波去噪;所述的时间连续的气泡图像数据集包含从第1帧开始至最后第J帧的气泡图像;
步骤2:将预处理后的气泡图像进行二值化,利用边缘检测算法确定气泡的轮廓以及气泡的几何中心;
步骤3:利用ORB算法对图像中的气泡进行特征提取,并对相邻图片中气泡进行匹配;
步骤3.1:图像灰度化;
步骤3.2:在图像中选取像素点p,其灰度值为I(p);设置一个阈值T,以像素点p为中心,选取半径为r的圆;若选取的圆上有连续的N个像素点N={y1,y2,...,ys},满足|I(p)-I(ya)|>T,a=1,2,...,s,则判定像素点p是特征点;
步骤3.3:重复步骤3.2直至遍历每一个像素点,获取所有特征点;
步骤3.4:以特征点p为圆心,以d为半径做圆O,在圆O内选取n个点对;定义操作X,对于第i个点对(a,b),操作如下:
Figure FDA0003271392650000011
其中,I(a),I(b)分别表示a,b两点的灰度值,操作X对a,b两点的灰度值进行比较,得到xi;分别对已选取的n个点对进行X操作,最终得到特征点p的二进制特征描述符x=x1x2...xn
步骤3.5:对相邻两帧图像进行特征点之间的匹配,选择汉明距离来表示特征点的特征描述符之间的距离;从前一帧图像中提取一个特征点,然后再从后一帧图像中根据匹配算法寻找最优匹配点,记录该匹配特征点对;
Figure FDA0003271392650000012
其中,
Figure FDA0003271392650000013
为n维向量,
Figure FDA0003271392650000014
分别代表相邻两帧图像中的特征点的特征描述符的向量形式;
步骤3.6:基于特征点的匹配率实现气泡的匹配;计算后一帧图像中每个气泡的特征点与当前帧给定气泡Bu特征点的匹配数量Num,并计算Num占Bu特征点的比例,作为两个气泡的特征匹配度;在匹配度大于设定阈值M的气泡中,选择匹配度最高的气泡,作为气泡Bu的匹配气泡;若所有的气泡特征匹度都达不到阈值时,按照气泡几何中心位置的最近距离匹配气泡;
步骤4:取相邻的第j帧与第j+1帧两帧图像,将相邻图像中所有匹配气泡对按照从下到上的顺序进行编号,将匹配气泡的几何中心坐标按图片顺序存入列表,并将所有列表按照气泡顺序存储为一个大列表;同理,可获得第j+1帧与第j+2帧图像中匹配气泡中心点坐标列表,将第j+1帧作为第j帧和第j+2帧的链接,获得每个气泡的几何中心的坐标序列,即气泡的运动轨迹。
2.根据权利要求1所述的一种基于特征匹配算法的气泡轨迹跟踪方法,其特征在于:所述的步骤4具体为:
步骤4.1:初始化j=1;
步骤4.2:从第j帧图像开始,选取第j+1帧,将同一气泡的几何中心坐标匹配对按照图像顺序存入第一列表,第一列表格式如下:
Figure FDA0003271392650000021
第一列表中每个子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)]代表第j帧、第j+1帧图像中匹配的第p个气泡中心点坐标;mj,j+1表示匹配的气泡数量;
同理,根据第i+1与i+2帧图像得到第二列表:
Figure FDA0003271392650000022
步骤4.3:遍历第二列表中的子列表[(xj+1,q,yj+1,q),(xj+2,q,yj+2,q)]与第一列表中的子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)];若(xj+1,q,yj+1,q)=(xj+1,p,yj+1,p),则将第一列表中子列表[(xj,p,yj,p),(xj+1,p,yj+1,p)]更新为[(xj,p,yj,p),(xj+1,p,yj+1,p),(xj+2,q,yj+2,q)];若第一列表中不存在元素使得(xj+1,q,yj+1,q)=(xj+1,p,yj+1,p),则更新第一列表为:
Figure FDA0003271392650000023
步骤4.4:若j<J,则令j=j+1,返回步骤4.2;
步骤4.5:按顺序遍历至最后一幅图片,便可得到各气泡几何中心坐标序列;在得到气泡中心坐标序列后,根据序列长度筛除不合理轨迹,最终,获得合理的气泡运动轨迹。
CN202111102543.0A 2021-09-20 2021-09-20 一种基于特征匹配算法的气泡轨迹跟踪方法 Active CN113838089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102543.0A CN113838089B (zh) 2021-09-20 2021-09-20 一种基于特征匹配算法的气泡轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102543.0A CN113838089B (zh) 2021-09-20 2021-09-20 一种基于特征匹配算法的气泡轨迹跟踪方法

Publications (2)

Publication Number Publication Date
CN113838089A true CN113838089A (zh) 2021-12-24
CN113838089B CN113838089B (zh) 2023-12-15

Family

ID=78960051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102543.0A Active CN113838089B (zh) 2021-09-20 2021-09-20 一种基于特征匹配算法的气泡轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN113838089B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463653A (zh) * 2022-04-12 2022-05-10 浙江大学 一种高浓度微群泡形态识别及轨迹追踪测速方法
CN114882101A (zh) * 2022-07-11 2022-08-09 合肥工业大学 基于深度学习和图像处理的密封容器泄漏量测量方法
CN116563342A (zh) * 2023-05-18 2023-08-08 广东顺德西安交通大学研究院 一种基于图像识别的水泡跟踪方法及装置
CN116580059A (zh) * 2023-05-18 2023-08-11 广东顺德西安交通大学研究院 一种基于智能视觉算法的检测水泡方法及装置
CN117409001A (zh) * 2023-12-14 2024-01-16 合肥晶合集成电路股份有限公司 一种晶圆键合的气泡分析方法及分析装置
CN117496498A (zh) * 2023-11-10 2024-02-02 常熟理工学院 一种特高含水油水两相流油泡识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140241576A1 (en) * 2013-02-28 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for camera tracking
CN105654507A (zh) * 2015-12-24 2016-06-08 北京航天测控技术有限公司 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN109146965A (zh) * 2017-06-16 2019-01-04 精工爱普生株式会社 信息处理装置和计算机程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140241576A1 (en) * 2013-02-28 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for camera tracking
CN105654507A (zh) * 2015-12-24 2016-06-08 北京航天测控技术有限公司 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN109146965A (zh) * 2017-06-16 2019-01-04 精工爱普生株式会社 信息处理装置和计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘泓佚;常天庆;郝娜;戴文君;: "一种基于ORB特征匹配和反投影直方图的目标跟踪方法", 四川兵工学报, no. 10 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463653A (zh) * 2022-04-12 2022-05-10 浙江大学 一种高浓度微群泡形态识别及轨迹追踪测速方法
CN114463653B (zh) * 2022-04-12 2022-06-28 浙江大学 一种高浓度微群泡形态识别及轨迹追踪测速方法
US11875515B2 (en) 2022-04-12 2024-01-16 Zhejiang University Method for morphology identification, trajectory tracking and velocity measurement of high-concentration microbubbles
CN114882101A (zh) * 2022-07-11 2022-08-09 合肥工业大学 基于深度学习和图像处理的密封容器泄漏量测量方法
CN116563342A (zh) * 2023-05-18 2023-08-08 广东顺德西安交通大学研究院 一种基于图像识别的水泡跟踪方法及装置
CN116580059A (zh) * 2023-05-18 2023-08-11 广东顺德西安交通大学研究院 一种基于智能视觉算法的检测水泡方法及装置
CN116563342B (zh) * 2023-05-18 2023-10-27 广东顺德西安交通大学研究院 一种基于图像识别的水泡跟踪方法及装置
CN116580059B (zh) * 2023-05-18 2024-01-23 广东顺德西安交通大学研究院 一种基于智能视觉算法的检测水泡方法及装置
CN117496498A (zh) * 2023-11-10 2024-02-02 常熟理工学院 一种特高含水油水两相流油泡识别方法
CN117409001A (zh) * 2023-12-14 2024-01-16 合肥晶合集成电路股份有限公司 一种晶圆键合的气泡分析方法及分析装置
CN117409001B (zh) * 2023-12-14 2024-04-05 合肥晶合集成电路股份有限公司 一种晶圆键合的气泡分析方法及分析装置

Also Published As

Publication number Publication date
CN113838089B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN113838089A (zh) 一种基于特征匹配算法的气泡轨迹跟踪方法
Chen et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos
CN107977620B (zh) 一种基于全卷积网络的多方向场景文本单次检测方法
Wu et al. Vision-based real-time aerial object localization and tracking for UAV sensing system
Chabot et al. Deep manta: A coarse-to-fine many-task network for joint 2d and 3d vehicle analysis from monocular image
Xiang et al. Subcategory-aware convolutional neural networks for object proposals and detection
Lou et al. 3-D model-based vehicle tracking
CN111476822A (zh) 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN106780557B (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
Liu et al. Recognition methods for coal and coal gangue based on deep learning
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN110491132A (zh) 基于视频帧图片分析的车辆违停检测方法及装置
CN102222341A (zh) 运动特征点检测方法及装置、运动目标检测方法及装置
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN113506318A (zh) 一种车载边缘场景下的三维目标感知方法
CN108416801A (zh) 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法
CN111445497A (zh) 一种基于尺度上下文回归的目标追踪与跟随方法
CN113269049A (zh) 一种用于检测手写汉字区域的方法
Tarchoun et al. Hand-Crafted Features vs Deep Learning for Pedestrian Detection in Moving Camera.
CN117094999A (zh) 一种跨尺度缺陷检测方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN113420648B (zh) 一种具有旋转适应性的目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant