CN104778675B - 一种采煤综掘工作面动态视频图像融合方法 - Google Patents
一种采煤综掘工作面动态视频图像融合方法 Download PDFInfo
- Publication number
- CN104778675B CN104778675B CN201510209570.6A CN201510209570A CN104778675B CN 104778675 B CN104778675 B CN 104778675B CN 201510209570 A CN201510209570 A CN 201510209570A CN 104778675 B CN104778675 B CN 104778675B
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- video
- point
- hash
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003245 coal Substances 0.000 title claims abstract description 32
- 238000005065 mining Methods 0.000 title claims abstract description 24
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000000465 moulding Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
一种采煤综掘工作面动态视频图像融合方法,属于动态视频图像融合方法。该动态视频图像融合方法:选择摄像机放置轴心,围绕摄像机轴心,放置两台或多台高清网络摄像机,将整个采煤综掘工作面完全覆盖;并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域;然后将获得的采煤综掘工作面动态视频进行融合。优点:级联哈希特征匹配算法使用两次哈希映射,保证了特征匹配的精度和匹配速度;视差容忍变换模型使用特征点生长准则结合动态规划算法,提高了视频融合的速度,降低了视频融合过程中对摄像机位置的要求,对于存在较大视差及发生较大旋转的摄像机,仍然能够取得很好的动态视频融合效果。提高了煤矿开采工作效率,保障了煤矿安全生产。
Description
技术领域
本发明涉及一种动态视频图像融合方法,特别是一种采煤综掘工作面动态视频图像融合方法。
背景技术
当前的采煤综掘工作面监控系统,大多采用固定安装的单个摄像机进行监视,但是单个摄像机只能监视某个固定角度的场景,对于有较大视角的综掘工作面,无法做到全面的监控。基于此问题,有些煤矿采用安装多个摄像机的方法,该方法虽然能够监控到全部场景,但是监控过程中需要连续观察多个监视器,频繁更换视角,这会引起视觉疲劳,并且监控人员很容易错过监控中的重要信息;也有一些煤矿采用安装带旋转云台的摄像机的方法,云台摄像机虽然能监视360度的场景,但是无法做到同时对多个角度进行监控,因此也会出现一些监控漏洞。采煤综掘工作面是煤矿生产最前沿的工作环节,也是最复杂的工作环节,但是当前的监控系统无法对采煤综掘面做到全面的监控。
发明内容
本发明的目的是要提供一种采煤综掘工作面动态视频图像融合方法,解决摄像机视角差别较大的情况下融合效果较差的问题。
本发明的目的是这样实现的:该动态视频图像融合方法:选择摄像机放置轴心,围绕摄像机轴心,放置两台或多台高清网络摄像机,将整个采煤综掘工作面完全覆盖;并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域;然后将获得的采煤综掘工作面动态视频进行融合,采煤综掘工作面动态视频进行融合步骤如下:
一、摄像机标定与视频帧图像畸变校正
摄像机获取视频流过程中,对视频帧图像处理之前对摄像机进行标定,以建立二维空间图像与三维空间物体的对应关系,所述的摄像机标定方法是张正友标定方法;
通过摄像机标定,求得摄像机内部参数,找到引起图像畸变的因素,然后对视频帧图像进行畸变校正,得到理想的待处理图像;
二、视频帧图像配准,具体步骤如下:
(1)特征提取
本发明使用通用的尺度不变特征转换算法(SIFT)进行特征提取,先对畸变校正后的视频帧图像构建高斯金字塔,然后得到相应的高斯差分金字塔,求得高斯差分金字塔中的极值点,之后进行关键点精确定位,得到各摄像机获取的帧图像的特征点;最后,用特征向量对每一个特征点进行特征描述;
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (2)
其中,(x,y)表示图像特征点坐标,L是高斯函数与特征点的卷积运算,m(x,y)与θ(x,y)分别表示是特征点的梯度模制与方向;SIFT算法利用关键点的模值与方向生成关键点特征向量(128维的向量)。
(2)特征匹配
特征匹配是一个最近邻搜索的问题,采用级联哈希特征匹配,所述的级联哈希特征匹配有下述三个步骤:
(A)多表哈希查找:首先使用局部敏感哈希(LSH)算法将待匹配的两帧图像的特征点进行一次哈希映射,使得每个特征点都嵌入一个m位的二进制代码;对于目标图像中的待匹配的特征点p,为了精确地找到其在参考图像中的匹配点,使用构建L个哈希表的策略;
先构造满LSH算法的L个哈希函数,将所有的特征点映射到相应的哈希桶内,得到L个哈希表,将每个哈希表中与特征点p处于同一个哈希桶的特征点作为p的候选匹配特征点;
(B)哈希重映射:由于通过第一次哈希映射之后得到的候选特征点的数量较多,如果使用计算欧氏距离的算法查找最佳匹配点,需要较长的时间。所以本发明进行第二次哈希映射,将特征点映射到汉明空间,通过计算待匹配点p与候选匹配特征点之间的汉明距离,进一步缩小候选匹配特征点的数目;保留汉明距离等于0与1的候选匹配特征点,得到精确候选匹配特征点;
(C)精确匹配:在得到精确的候选匹配特征点之后,在欧式空间中找到特征点p的匹配点,也就是找到距离p欧氏距离最近的特征点;
(3)计算变换矩阵:得到匹配的特征点对之后,使用现有的随机采样一致性算法(RANSAC)去除错配的特征点对,利用内点求得相应的投影变换矩阵
其中,都是RANSAC算法求得的系数;
三、视差容忍的视频融合变换模型
在图像配准过程求得了投影变换采用视差容忍的视频融合变换模型;所述的视差容忍的视频融合变换模型,首先使用最佳变换矩阵对帧图像做粗调整,在粗调整之后再使用特征点生长准则找到一个特征点密集生长区域,在该区域使用动态规划算法,查找最佳拼接缝,最后使用内容保护变形算法对帧图像做变形处理;具体步骤如下:
(1)特征点生长准则:
(A)随机选择一个特征点作为种子节点,然后生长该节点的邻域,直到生长的邻域不再满足单应矩阵预定义的阀值时停止生长,标记出生长区域;
(B)重复执行过程(A),如果新的生长区域中特征点密集程度更高,则用新的生长区域替代原来区域;直到生长区域中特征点个数达到特征点总数的1/3,或者执行次数达到特征点个数时,执行过程(C);
(C)将最终得到的生长区域标记为特征点密集生长区域;
(2)动态规划算法查找最佳接缝:
首先定义最优缝合线的特征:两源图像的颜色强度上差值最小,并且几何结构上最相似;定义最佳缝合线准则:
E(x,y)=Edif(x,y)-λEedge(x,y)(4)
其中:
Eedge=min(g1(x,y),g2(x,y))(6)
I1与I2表示两原始帧图像,g1与g2表示两原始帧图像的梯度图像;Edif体现了两源图像的颜色强度差异,Eedge体现了两原始帧图像的机构差异;
使用该准则找到特征点密集生长区域的最佳缝合线;
(3)内容保护变形算法
用m*n个均一的网格划分视频的帧图像,将图像变形问题转变成网格变形问题;使用I、分别表示原始帧图像、预变形帧图像、最终变形图像,用Vi、分别表示I、对应的顶点;网格变形问题被定义为最优化问题,将预变形的帧图像调整到参考图像,同时避免一些显著的变形,一共有两个优化的能量项;
第一、局部调整能量项:
其中,n表示特征点集中特征点的个数,αj,k是双线性组合的系数,是包含的网格的顶点,是相应的参考图像中的特征点,要求的未知量就是
第二、圩全局调整能量项:
该能量项是针对没有特征点的网格区域,与分别是最终变形之后的图像与预变形图像的顶点,τi是一个布尔值,当Vi邻域有特征点的时候取1,否则取0;
最终的优化表达式为:
E=Ep+0.01Eg(9)
最终的问题是一个二次表达式,通过标准的稀疏线性方法求解,求得变形之后的网格的坐标就得到了最终的变形图像;
四、视频帧图像融合
利用视差容忍的视频融合变换模型对帧图像进行几何变换,然后对变形之后的帧图像进行融合,融合过程对速度有较高要求,在融合过程中采用简单有效的方法为线性加权过渡法,所述的线性加权过渡法对重叠区域进行加权叠加再平均处理,使得重叠区域有较强的连续性,同时具有较快的速度。线性加权过渡法如公式(4):
其中,d1为中间重合部分中点到重叠区域左边界的距离,d2为到其右边界的距离,Ileft(x,y)为左图在图像坐标(x,y)处的像素值,Iright(x,y)为右图在图像坐标(x,y)处的像素值。
有益效果,由于采用了上述方案,利用采煤综掘工作面动态视频图像融合方法,可以将采煤工作面的场景完全地传输到地面调度中心,便于调度员对煤壁、滚筒、支架、顶板、采煤机、运载机等设备的运行和工作环境了如指掌,并及时发出准确的生产调度指令。
综掘工作面是煤矿生产最前沿的工作环节,也是最复杂的工作环节。针对目前多视频全景融合技术的发展中遇到的相关问题,如拍摄时产生的图像视差、序列混乱、运动物体等对全景图像生成的影响,结合综掘工作面特点与特殊需求,通过系统研究高效率高质量的算法,提供了鲁棒的综掘工作面多视频全景融合方法,保障煤矿安全生产的顺利进行发挥了重要的作用。
级联哈希特征匹配算法优点是使用了两次哈希映射,既保证了特征匹配的精度,又极大地提高了匹配速度;视差容忍变换模型的优点是使用了特征点生长准则结合动态规划算法,解决了摄像机视角差别较大的情况下融合效果较差的问题,达到了本发明的目的。
优点:该发明应用于采煤综掘工作面,提高了视频融合的速度,降低了视频融合过程中对摄像机位置的要求,对于存在较大视差及发生较大旋转的摄像机,仍然能够取得很好的动态视频融合效果。对提高煤矿开采工作效率与保障煤矿安全生产发挥了重要的作用。
具体实施方式
实施例1:该动态视频图像融合方法:选择摄像机放置轴心,围绕摄像机轴心,放置两台或多台高清网络摄像机,将整个采煤综掘工作面完全覆盖;并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域;然后将获得的采煤综掘工作面动态视频进行融合,采煤综掘工作面动态视频进行融合步骤如下:
一、摄像机标定与视频帧图像畸变校正
摄像机获取视频流过程中,对视频帧图像处理之前对摄像机进行标定,以建立二维空间图像与三维空间物体的对应关系,所述的摄像机标定方法是张正友标定方法;
通过摄像机标定,求得摄像机内部参数,找到引起图像畸变的因素,然后对视频帧图像进行畸变校正,得到理想的待处理图像;
二、视频帧图像配准,具体步骤如下:
(1)特征提取
本发明使用通用的尺度不变特征转换算法(SIFT)进行特征提取,先对畸变校正后的视频帧图像构建高斯金字塔,然后得到相应的高斯差分金字塔,求得高斯差分金字塔中的极值点,之后进行关键点精确定位,得到各摄像机获取的帧图像的特征点;最后,用特征向量对每一个特征点进行特征描述;
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (11)
其中,(x,y)表示图像特征点坐标,L是高斯函数与特征点的卷积运算,m(x,y)与θ(x,y)分别表示是特征点的梯度模制与方向;SIFT算法利用关键点的模值与方向生成关键点特征向量(128维的向量)。
(2)特征匹配
特征匹配是一个最近邻搜索的问题,采用级联哈希特征匹配算法,该算法不仅速度快,而且匹配准确率很高,所述的级联哈希特征匹配有下述三个步骤:
(A)多表哈希查找:首先使用LSH算法将待匹配的两帧图像的特征点进行一次哈希映射,使得每个特征点都嵌入一个m位的二进制代码;对于目标图像中的待匹配的特征点p,为了精确地找到其在参考图像中的匹配点,使用构建L个哈希表的策略;
先构造满足LSH算法的L个哈希函数,将所有的特征点映射到相应的哈希桶内,得到L个哈希表,将每个哈希表中与特征点p处于同一个哈希桶的特征点作为p的候选匹配特征点;
(B)哈希重映射:由于通过第一次哈希映射之后得到的候选特征点的数量较多,如果使用计算欧氏距离的算法查找最佳匹配点,需要较长的时间。所以本发明进行第二次哈希映射,将特征点映射到汉明空间,通过计算待匹配点p与候选匹配特征点之间的汉明距离,进一步缩小候选匹配特征点的数目;保留汉明距离等于0与1的候选匹配特征点,得到精确候选匹配特征点;
(C)精确匹配:在得到精确的候选匹配特征点之后,在欧式空间中找到特征点p的匹配点,也就是找到距离p欧氏距离最近的特征点;
(3)计算变换矩阵:得到匹配的特征点对之后,使用现有的随机采样一致性算法(RANSAC)去除错配的特征点对,利用内点求得相应的投影变换矩阵
其中,都是RANSAC算法求得的系数;
三、视差容忍的视频融合变换模型
在图像配准过程求得了投影变换传统的视频融合方法是直接使用作为变换模型,但是该变换模型对摄像机的位置要求比较高,有比较大的局限性,因此,采用视差容忍的视频融合变换模型;所述的视差容忍的视频融合变换模型,首先使用最佳变换矩阵对帧图像做粗调整,在粗调整之后再使用特征点生长准则找到一个特征点密集生长区域,在该区域使用动态规划算法,查找最佳拼接缝,最后使用内容保护变形算法对帧图像做变形处理;具体步骤如下:
(1)特征点生长准则:
(A)随机选择一个特征点作为种子节点,然后生长该节点的邻域,直到生长的邻域不再满足单应矩阵预定义的阀值时停止生长,标记出生长区域;
(B)重复执行过程(A),如果新的生长区域中特征点密集程度更高,则用新的生长区域替代原来区域;直到生长区域中特征点个数达到特征点总数的1/3,或者执行次数达到特征点个数时,执行过程(C);
(C)将最终得到的生长区域标记为特征点密集生长区域;
(2)动态规划算法查找最佳接缝:
首先定义最优缝合线的特征:两源图像的颜色强度上差值最小,并且几何结构上最相似;定义最佳缝合线准则:
E(x,y)=Edif(x,y)-λEedge(x,y)(13)
其中:
Eedge=min(g1(x,y),g2(x,y))(15)
I1与I2表示两原始帧图像,g1与g2表示两原始帧图像的梯度图像;Edif体现了两源图像的颜色强度差异,Eedge体现了两原始帧图像的机构差异;
使用该准则找到特征点密集生长区域的最佳缝合线;
(3)内容保护变形算法
用m*n个均一的网格划分视频的帧图像,将图像变形问题转变成网格变形问题;使用I、分别表示原始帧图像、预变形帧图像、最终变形图像,用Vi、分别表示I、对应的顶点;网格变形问题被定义为最优化问题,将预变形的帧图像调整到参考图像,同时避免一些显著的变形,一共有两个优化的能量项;
第一、局部调整能量项:
其中,n表示特征点集中特征点的个数,αj,k是双线性组合的系数,是包含的网格的顶点,是相应的参考图像中的特征点,要求的未知量就是
第二、圩全局调整能量项:
该能量项是针对没有特征点的网格区域,与分别是最终变形之后的图像与预变形图像的顶点,τi是一个布尔值,当Vi邻域有特征点的时候取1,否则取0;
最终的优化表达式为:
E=Ep+0.01Eg(18)
最终的问题是一个二次表达式,通过标准的稀疏线性方法求解,求得变形之后的网格的坐标就得到了最终的变形图像;
四、视频帧图像融合
利用视差容忍的视频融合变换模型对帧图像进行几何变换,然后对变形之后的帧图像进行融合,融合过程对速度有较高要求,在融合过程中采用简单有效的方法为线性加权过渡法,所述的线性加权过渡法对重叠区域进行加权叠加再平均处理,使得重叠区域有较强的连续性,同时具有较快的速度。线性加权过渡法如公式(4):
其中,d1为中间重合部分中点到重叠区域左边界的距离,d2为到其右边界的距离,Ileft(x,y)为左图在图像坐标(x,y)处的像素值,Iright(x,y)为右图在图像坐标(x,y)处的像素值。
具体的:
在采煤综掘工作面安装摄像机,调度中心获取视频信号。对各摄像机获取的视频信号进行处理,根据视角的不同及传感器的差异对存在重合区域的多组视频图像序列进行重新融合,组成一组配准的分辨率高的无缝视频图像序列,生成视频中的每幅图像包含所有视频序列在同一时刻捕获的部分采煤面图像数据的宽视野大型图像,即采煤面视频全景成像技术。
各摄像机获取的视频经几何变换与帧图像融合得到一个大视角视频。
特征匹配使用级联哈希特征匹配算法。
几何变换模型是视差容忍的视频融合变换模型,结合了投影变形与内容保护变形。
摄像机位置可以是平行拍摄模式,也可以是同一轴心拍摄模式。
图像融合过程可以采用拼接缝查找与多波段融合方法,也可以采用加权平均融合方法。
视频帧图像特征提取可以使用尺度不变特征转换算法(SIFT),也可以使快速鲁棒特征算法(SURF),也可以使用焦点检测算法(HARRIS)。
计算变换矩阵过程中,使用随机采样一致性算法(RANSAC)。
视频融合过程中可以将任意一个摄像机获取的帧图像作为地参考图像。
摄像机可以是网络摄像机,也可以是USB摄像机,可以是有线摄像机,也可以是无线摄像机。
Claims (1)
1.一种采煤综掘工作面动态视频图像融合方法,其特征是:该动态视频图像融合方法:选择摄像机放置轴心,围绕摄像机轴心,放置两台或多台高清网络摄像机,将整个采煤综掘工作面完全覆盖;并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域;然后将获得的采煤综掘工作面动态视频进行融合,采煤综掘工作面动态视频进行融合步骤如下:
一、摄像机标定与视频帧图像畸变校正
摄像机获取视频流过程中,对视频帧图像处理之前对摄像机进行标定,以建立二维空间图像与三维空间物体的对应关系,所述的摄像机标定方法是张正友标定方法;
通过摄像机标定,求得摄像机内部参数,找到引起图像畸变的因素,然后对视频帧图像进行畸变校正,得到理想的待处理图像;
二、视频帧图像配准,具体步骤如下:
(1)特征提取
本发明使用通用的尺度不变特征转换算法(SIFT)进行特征提取,先对畸变校正后的视频帧图像构建高斯金字塔,然后得到相应的高斯差分金字塔,求得高斯差分金字塔中的极值点,之后进行关键点精确定位,得到各摄像机获取的帧图像的特征点;最后,用特征向量对每一个特征点进行特征描述;
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (2)
其中,(x,y)表示图像特征点坐标,L是高斯函数与特征点的卷积运算,m(x,y)与θ(x,y)分别表示是特征点的梯度模制与方向;SIFT算法利用关键点的模值与方向生成关键点特征向量即128维的向量;
(2)特征匹配
特征匹配是一个最近邻搜索的问题,采用级联哈希特征匹配,所述的级联哈希特征匹配有下述三个步骤:
(A)多表哈希查找:首先使用局部敏感哈希(LSH)算法将待匹配的两帧图像的特征点进行一次哈希映射,使得每个特征点都嵌入一个m位的二进制代码;对于目标图像中的待匹配的特征点p,为了精确地找到其在参考图像中的匹配点,使用构建L个哈希表的策略;
先构造满足LSH算法的L个哈希函数,将所有的特征点映射到相应的哈希桶内,得到L个哈希表,将每个哈希表中与特征点p处于同一个哈希桶的特征点作为p的候选匹配特征点;
(B)哈希重映射:由于通过第一次哈希映射之后得到的候选特征点的数量较多,如果使用计算欧氏距离的算法查找最佳匹配点,需要较长的时间;所以进行第二次哈希映射,将特征点映射到汉明空间,通过计算待匹配点p与候选匹配特征点之间的汉明距离,进一步缩小候选匹配特征点的数目;保留汉明距离等于0与1的候选匹配特征点,得到精确候选匹配特征点;
(C)精确匹配:在得到精确的候选匹配特征点之后,在欧式空间中找到特征点p的匹配点,也就是找到距离p欧氏距离最近的特征点;
(3)计算变换矩阵:得到匹配的特征点对之后,使用现有的随机采样一致性算法(RANSAC)去除错配的特征点对,利用内点求得相应的投影变换矩阵
其中,都是RANSAC算法求得的系数;
三、视差容忍的视频融合变换模型
在图像配准过程求得了投影变换采用视差容忍的视频融合变换模型;所述的视差容忍的视频融合变换模型,首先使用最佳变换矩阵对帧图像做粗调整,在粗调整之后再使用特征点生长准则找到一个特征点密集生长区域,在该区域使用动态规划算法,查找最佳拼接缝,最后使用内容保护变形算法对帧图像做变形处理;具体步骤如下:
(1)特征点生长准则:
(A)随机选择一个特征点作为种子节点,然后生长该节点的邻域,直到生长的邻域不再满足单应矩阵预定义的阀值时停止生长,标记出生长区域;
(B)重复执行过程(A),如果新的生长区域中特征点密集程度更高,则用新的生长区域替代原来区域;直到生长区域中特征点个数达到特征点总数的1/3,或者执行次数达到特征点个数时,执行过程(C);
(C)将最终得到的生长区域标记为特征点密集生长区域;
(2)动态规划算法查找最佳接缝:
首先定义最优缝合线的特征:两源图像的颜色强度上差值最小,并且几何结构上最相似;定义最佳缝合线准则:
E(x,y)=Edif(x,y)-λEedge(x,y) (4)
其中:
Eedge=min(g1(x,y),g2(x,y)) (6)
I1与I2表示两原始帧图像,g1与g2表示两原始帧图像的梯度图像;Edif体现了两源图像的颜色强度差异,Eedge体现了两原始帧图像的机构差异;
使用该准则找到特征点密集生长区域的最佳缝合线;
(3)内容保护变形算法
用m*n个均一的网格划分视频的帧图像,将图像变形问题转变成网格变形问题;使用I、分别表示原始帧图像、预变形帧图像、最终变形图像,用Vi、分别表示I、对应的顶点;网格变形问题被定义为最优化问题,将预变形的帧图像调整到参考图像,同时避免一些显著的变形,一共有两个优化的能量项;
第一、局部调整能量项:
其中,n表示特征点集中特征点的个数,αj,k是双线性组合的系数,是包含的网格的顶点,是相应的参考图像中的特征点,要求的未知量就是
第二、全局调整能量项:
该能量项是针对没有特征点的网格区域,与分别是最终变形之后的图像与预变形图像的顶点,τi是一个布尔值,当Vi邻域有特征点的时候取1,否则取0;
最终的优化表达式为:
E=Ep+0.01Eg (9)
最终的问题是一个二次表达式,通过标准的稀疏线性方法求解,求得变形之后的网格的坐标就得到了最终的变形图像;
四、视频帧图像融合
利用视差容忍的视频融合变换模型对帧图像进行几何变换,然后对变形之后的帧图像进行融合,融合过程对速度有较高要求,在融合过程中采用简单有效的方法为线性加权过渡法,所述的线性加权过渡法对重叠区域进行加权叠加再平均处理,使得重叠区域有较强的连续性,同时具有较快的速度;线性加权过渡法如公式(10):
其中,d1为中间重合部分中点到重叠区域左边界的距离,d2为到其右边界的距离,Ileft(x,y)为左图在图像坐标(x,y)处的像素值,Iright(x,y)为右图在图像坐标(x,y)处的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510209570.6A CN104778675B (zh) | 2015-04-28 | 2015-04-28 | 一种采煤综掘工作面动态视频图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510209570.6A CN104778675B (zh) | 2015-04-28 | 2015-04-28 | 一种采煤综掘工作面动态视频图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104778675A CN104778675A (zh) | 2015-07-15 |
CN104778675B true CN104778675B (zh) | 2017-07-28 |
Family
ID=53620123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510209570.6A Expired - Fee Related CN104778675B (zh) | 2015-04-28 | 2015-04-28 | 一种采煤综掘工作面动态视频图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104778675B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105554447B (zh) * | 2015-12-11 | 2018-10-23 | 北京天地玛珂电液控制系统有限公司 | 一种基于图像处理技术的采煤工作面实时视频拼接系统 |
CN106933861A (zh) * | 2015-12-30 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 一种支持特征自定义的跨镜头目标检索方法 |
CN105787876B (zh) * | 2015-12-31 | 2019-01-04 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
CN106485781A (zh) * | 2016-09-30 | 2017-03-08 | 广州博进信息技术有限公司 | 基于实时视频流的三维场景构建方法及其系统 |
CN107645646A (zh) * | 2017-07-07 | 2018-01-30 | 罗普特(厦门)科技集团有限公司 | 一种区域监控系统实现方法 |
CN107580186B (zh) * | 2017-07-31 | 2020-07-07 | 北京理工大学 | 一种基于缝合线时空优化的双摄像机全景视频拼接方法 |
CN109934409B (zh) * | 2019-03-18 | 2022-12-27 | 西安科技大学 | 一种大采高煤壁工作面片帮预测网络及其预测方法 |
CN111260597B (zh) * | 2020-01-10 | 2021-12-03 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
CN112215925A (zh) * | 2020-11-05 | 2021-01-12 | 中国矿业大学 | 自适应采煤机随动跟踪多摄像头视频拼接方法 |
CN116452426B (zh) * | 2023-06-16 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种全景图拼接方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201023093A (en) * | 2008-12-15 | 2010-06-16 | Nat Univ Tsing Hua | A method for composing a confocal microscopy image with a higher resolution |
CN103533266A (zh) * | 2013-10-01 | 2014-01-22 | 中国人民解放军国防科学技术大学 | 垂直方向宽视域的360度拼接式全景摄像机 |
CN103997609A (zh) * | 2014-06-12 | 2014-08-20 | 四川川大智胜软件股份有限公司 | 基于cuda的多视频实时全景融合拼接方法 |
CN104081435A (zh) * | 2014-04-29 | 2014-10-01 | 中国科学院自动化研究所 | 一种基于级联二值编码的图像匹配方法 |
CN104077769A (zh) * | 2014-06-06 | 2014-10-01 | 华南理工大学 | 一种图像配准中的误匹配点对剔除算法 |
-
2015
- 2015-04-28 CN CN201510209570.6A patent/CN104778675B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201023093A (en) * | 2008-12-15 | 2010-06-16 | Nat Univ Tsing Hua | A method for composing a confocal microscopy image with a higher resolution |
CN103533266A (zh) * | 2013-10-01 | 2014-01-22 | 中国人民解放军国防科学技术大学 | 垂直方向宽视域的360度拼接式全景摄像机 |
CN104081435A (zh) * | 2014-04-29 | 2014-10-01 | 中国科学院自动化研究所 | 一种基于级联二值编码的图像匹配方法 |
CN104077769A (zh) * | 2014-06-06 | 2014-10-01 | 华南理工大学 | 一种图像配准中的误匹配点对剔除算法 |
CN103997609A (zh) * | 2014-06-12 | 2014-08-20 | 四川川大智胜软件股份有限公司 | 基于cuda的多视频实时全景融合拼接方法 |
Non-Patent Citations (2)
Title |
---|
A robust dynamic programming algorithm for motion detection and estimation;M.Mozerov et al.;《Pattern Recognition and Image Analysis》;20070630;第17卷;全文 * |
图像拼接技术研究;方贤勇;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20060415(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104778675A (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104778675B (zh) | 一种采煤综掘工作面动态视频图像融合方法 | |
CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及系统 | |
CN104732482B (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 | |
CN103854291B (zh) | 四自由度双目视觉系统中的摄像机标定方法 | |
CN105118055A (zh) | 摄影机定位修正标定方法及系统 | |
CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
CN107424118A (zh) | 基于改进径向畸变校正的球状全景拼接方法 | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN105654476B (zh) | 基于混沌粒子群优化算法的双目标定方法 | |
CN103997609A (zh) | 基于cuda的多视频实时全景融合拼接方法 | |
CN104299261A (zh) | 人体三维成像方法及系统 | |
CN103150724B (zh) | 一种基于分段模型的摄像机标定方法 | |
CN104506828B (zh) | 一种无有效重叠变结构的定点定向视频实时拼接方法 | |
CN104881869A (zh) | 一种移动平台上的实时全景跟踪与拼接方法 | |
CN110033407B (zh) | 一种盾构隧道表面图像标定方法、拼接方法及拼接系统 | |
CN104966063A (zh) | 基于gpu与cpu协同计算的矿井多摄像机视频融合方法 | |
CN110232655A (zh) | 一种用于煤场的红外-可见光双光图像拼接与融合方法 | |
CN102982516A (zh) | 一种基于半球环形全景镜头实现全景图像的方法 | |
CN105046649A (zh) | 一种去除运动视频中运动物体的全景图拼接方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN107509055A (zh) | 一种旋转式全景焦点识别光电跟踪仪及其实施方法 | |
CN108038893A (zh) | 一种基于混合相机阵列的十亿像素视频的生成方法 | |
CN112258588A (zh) | 一种双目相机的标定方法、系统及存储介质 | |
CN113159466A (zh) | 一种短时光伏发电功率预测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170728 |