CN117974435A - 一种多源影像拼接方法、设备和存储介质 - Google Patents
一种多源影像拼接方法、设备和存储介质 Download PDFInfo
- Publication number
- CN117974435A CN117974435A CN202311838358.7A CN202311838358A CN117974435A CN 117974435 A CN117974435 A CN 117974435A CN 202311838358 A CN202311838358 A CN 202311838358A CN 117974435 A CN117974435 A CN 117974435A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- video
- target
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007499 fusion processing Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 32
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000011282 treatment Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及视频图像处理技术领域，并具体公开了一种多源影像拼接方法、设备和存储介质，包括：校准第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息并确定拼接边缘。再根据所述拼接边缘进行拼接，获取初步拼接图像，对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像。本发明使得不同源的视频图像的空间维度和时间维度完成完整的同步，同时基于拼接边缘拼接，解决了现有技术中拼接产生的图像撕裂问题，采用多频段融合算法使得初步拼接图像的几何畸变得到最大程度上的校正，进而使得最终拼接图像从整体上看更加协调。
Description
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种多源影像拼接方法、设备和存储介质。
背景技术
随着网络技术，计算机处理技术的发展，更高分辨率，更大画面的视频备受欢迎。更高的分辨率能够提供更多的视频内容细节，更大画面给用户身临其境的观赏效果，仿佛身处在整个画面中一样。但是，如果直接采用更大视场的摄像头进行采集，不仅分辨率难以满足要求，而且几何畸变非常严重，摄像头造价高。为避免这些问题，现有技术提出了图像拼接方案。
图像拼接，一般是使用两路或以上的摄像头进行图像采集，该两路或以上的摄像头的视野存在重叠部分，然后基于匹配的特征点进行拼接，得到更大视野范围的图像，甚至是全景图像。但是，由于是使用不同摄像头在不同位置和/或角度采集的不同图像，因此拼接图像之间辐射特性、畸变特性都不同，因此会导致拼接图像之间存在辐射差异、几何扭曲、接缝明显等问题。
发明内容
为了解决现有的采集图像拼接中存在辐射差异、几何扭曲、接缝明显等问题，本发明提供了一种多源影像拼接方法、设备和存储介质。
为了实现上述发明目的，本发明提供了以下技术方案：
第一方面，本发明提供了一种多源影像拼接方法，所述方法包括：
根据时序从第一视频的连续多帧图像中获取对应的第一目标图像，以及，从第二视频的连续多帧图像中获取对应的第二目标图像；
根据所述第一目标图像前后的连续多帧图像进行运动物体识别与估计，获取运动矢量，将所述运动矢量映射至所述第二目标图像中，获取位移差；
根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像；
根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘；
根据所述拼接边缘，拼接所述第三目标图像和所述第四目标图像，获取初步拼接图像；
对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像；
其中，所述第一视频和所述第二视频为同一地点的两个视频源采集的，所述两个视频源的采集角度不同。
结合第一方面，在第一方面的一种可能的实现方式中，对所述初步拼接图像在不同频段内进行不同的加权融合处理，包括：
对所述初步拼接图像进行下采样，获取低频图像分量和高频图像分量；
将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，获取高斯金字塔；
将所述高斯金字塔的相邻图像层进行差分处理，得到拉普拉斯金字塔；
对所述拉普拉斯金字塔的每一层进行不同融合权重的图像融合，将所述融合后的拉普拉斯金字塔进行逆向重构，得到最终拼接图像。
结合第一方面，在第一方面的一种可能的实现方式中，将所述融合后的拉普拉斯金字塔进行逆向重构，包括：
步骤1、获取融合后的拉普拉斯金字塔层数i，并将所述高斯金字塔最低层的图层作为重构底板图像；其中，所述高斯金字塔层数为i+1，所述高斯金字塔最低层为高斯金字塔的i+1层；
步骤2、将所述重构底板图像进行上采样，上采样结果尺度与第i层高斯金字塔图层的尺度保持一致，并在上采样后进行平滑处理；
步骤3、将平滑处理后的重构底板图像与所述拉普拉斯金字塔第i层图像相加，得到新的重构底板图像，且i＝i-1；
步骤4、重复所述步骤2至步骤3，获取i＝0时的重构底板图像，作为最终拼接图像。
结合第一方面，在第一方面的一种可能的实现方式中，将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，包括：
对于低频图像分量，将所述高斯核中的平滑程度参数σ调大；
对于高频图像分量，将所述高斯核中的平滑程度参数σ调小。
结合第一方面，在第一方面的一种可能的实现方式中，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，包括：
根据所述运动矢量和所述位移差获取时间误差，根据所述时间误差，获取像素值对应的校准权重，计算公式为：
F1(x,y)＝w·f1(x,y)，F2(x,y)＝(1-w)·f2(x,y)，
w＝Tcycle-ΔT，
其中，F1(x,y)为第三目标图像，F2(x,y)为第四目标图像，w为校准权重，f1(x,y)为第一目标图像中的像素值，f2(x,y)为第二目标图像中的像素值，Tcycle为第一目标图像和第二目标图像之间的时间周期，ΔT为时间误差。
结合第一方面，在第一方面的一种可能的实现方式中，所述时间误差为所述位移差和所述运动矢量的商。
结合第一方面，在第一方面的一种可能的实现方式中，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，包括：
将所述第三目标图像和所述第四目标图像之间的重叠区域沿X轴方向划分为x份，沿Y轴方向划分为y份，得到x*y份重叠子区；
沿所述Y轴方向从每x个所述重叠子区中，选择特征匹配点密度最大的一个所述重叠子区，得到y个目标重叠子区；
从y个目标重叠子区中选取一个特征匹配点，然后对选取的特征匹配点进行连线，得到拼接边缘。
结合第一方面，在第一方面的一种可能的实现方式中，采用特征提取方法从所述重叠子区获取特征匹配点，所述特征提取方法包括Sift算法和Harris角点检测法。
第二方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种多源影像拼接方法。
第三方面，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种多源影像拼接方法。
与现有技术相比，本发明的有益效果：
1.本发明通过对一图像进行运动物体识别与估计，获取运动矢量，再将所述运动矢量映射至另一图像中，获取位移差，根据所述运动矢量和所述位移差校准两图像，使得不同源的视频图像的空间维度和时间维度完成完整的同步，并且不存在任何的误差累积，进而使得在后续的视频图像拼接过程中能够完成精确的高清运动物体重现，在后续的图像拼接及其他图像处理应用中得到更为精确的结果；
2.本发明通过两图像的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，基于拼接边缘进行拼接处理，解决了现有技术中拼接产生的图像撕裂问题，还使得初始拼接图像的拼接缝隙更加平滑，同时，在拼接之后，对初始拼接图像在不同频段内进行不同的加权融合处理，使得最终得到的拼接图像中的拼接接缝得到优化甚至消除，使得初步拼接图像的几何畸变得到最大程度上的校正，进而使得最终拼接图像从整体上看更加协调，有效地解决了因拼接接缝带来的图像质量问题。
附图说明
图1为本发明实施例提供的一种多源影像拼接方法的流程示意图；
图2为本发明实施例提供的图像读取存储的示意图；
图3为本发明实施例提供的电子设备示意图。
图中标记：4000-电子设备，4001-处理器，4002-总线，4003-存储器，4004-收发器。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
本发明实施例中涉及的“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
以及，除非有相反的说明，本发明实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一信息和第二信息，只是为了区分不同的信息，而并不是表示这两种信息的内容、优先级、发送顺序或者重要程度等的不同。
为了描述的方便和简洁，本发明实施例中的方法以两张图像的拼接过程为例，显而易见，本发明实施例中的方法还可以应用于多张图像拼接的图像处理系统，也可以应用于视频领域的图像处理系统。
请参考图1，其示出了本发明实施例提供的一种多源影像拼接方法的流程示意图，所述方法包括：
S100：根据时序从第一视频的连续多帧图像中获取对应的第一目标图像，以及，从第二视频的连续多帧图像中获取对应的第二目标图像；
S200：根据所述第一目标图像前后的连续多帧图像进行运动物体识别和估计，获取运动矢量，将所述运动矢量映射至所述第二目标图像中，获取位移差；
S300：根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像；
S400：根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘；
S500：根据所述拼接边缘，拼接所述第三目标图像和所述第四目标图像，获取初步拼接图像；
S600：对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像；
其中，所述第一视频和所述第二视频为同一地点的两个视频源采集的，所述两个视频源的采集角度不同。
下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明实施例所提供的方案可以适用于任何需要对多源的视频进行拼接的应用场景中。本发明实施例所提供的方案可以由任一电子设备执行，比如，可以是用户的终端设备，包括以下至少一项：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备。该方案可以由上述任一电子设备执行，例如，可以是终端设备，或者由终端设备和服务器共同执行。为描述方便，下面以某一终端设备作为执行主体为例对本发明实施例提供的方法进行说明，该方法可以包括以下步骤：
具体地，如上述步骤S100所述，根据时序从第一视频的连续多帧图像中获取对应的第一目标图像，以及，从第二视频的连续多帧图像中获取对应的第二目标图像。
本步骤具体包括：
S110：将多幅第一图像分别缓存至多个第一存储区域，将多幅第二图像分别缓存至多个第二存储区域，其中，多个所述第一图像为第一视频中连续的多帧图像，多个所述第二图像为第二视频中连续的多帧图像，所述第一视频和所述第二视频为不同视频源的视频。
其中，第一视频和第二视频可以为针对同一个对象的两个视频，则这两个视频之间存在重叠区域。
其中，所述第一存储区域和所述第二存储区域的数量相同或者不同，所述第一视频与所述第二视频为非同步视频源时，读取的所述第一图像对应的帧序号与读取的第二图像的对应的帧序号不同；第一视频与第二视频为同步视频源时，读取的第一图像的对应的帧序号与读取的第二图像的对应的帧序号相同。
可选的，上述第一视频与所述第二视频为非同步视频源；获取的所述第一图像为所述第一视频当前正在缓存至对应的所述第一存储区域中的前一帧图像，获取的所述第二图像为从所述第二视频当前正在缓存至对应所述第二存储区域中的前一帧图像，且获取的所述第一图像和获取的所述第二图像所分别对应的帧序号相同或不同。
作为一个示例，第一视频中的两帧连续的图像A1和图像A2，当前正在缓存至第一存储区域的图像为图像A2，则表示图像A1已完全缓存至对应的第一存储区域中，则获取的第一图像可以为图像A1；同理，对于第二视频中的两帧连续的图像B1和图像B2，当前正在缓存至第二存储区域的图像为图像B2，则表示图像B1已完全缓存至对应的第二存储区域中，则获取的第二图像可以为图像B1。
所述第一视频与所述第二视频为同步视频源；获取的所述第一图像为所述第一视频的当前正在缓存至对应的第一存储区域中的前一帧图像，获取的所述第二图像为所述第二视频的当前正在缓存至对应的第二存储区域中的前一帧图像，且获取的所述第一图像和获取的所述第二图像所分别对应的帧序号相同。
S120：从多个所述第一存储区域中的第一目标存储区域中获取已完整缓存的第一目标图像，从多个所述第二存储区域中的第二目标存储区域中获取已完整缓存的第二目标图像，所述第一目标图像和所述第二目标图像为时序上相互对应的图像。
可选的，上述第一视频与第二视频为非同步视频源，则上述从多个第一存储区域中的第一目标存储区域获取已完整缓存的第一目标图像，包括：
确定当前第一视频正在缓存至多个第一存储区域中相对应的第一存储区域的前一个已经完成存储的第一存储区域；
读取所述已经完成存储的第一存储区域中缓存的第一目标图像；
上述从多个第二存储区域中的第二目标存储区域获取已完整缓存的第二目标图像，包括：
确定当前第二视频正在缓存至多个第二存储区域中相对应的第二存储区域的前一个已经完成存储的第二存储区域；
读取已经完成存储的第二存储区域中缓存的第二目标图像，且读取的第一目标图像和读取的第二目标图像所分别对应的帧序号相同或不同。
可选的，上述第一视频与第二视频为同步视频源；则上述从多个第一存储区域中的第一目标存储区域获取已完整缓存的第一目标图像，包括：
确定当前第一视频正在缓存至所述多个第一存储区域中相对应的第一存储区域之前已经完成存储的第一存储区域；
读取所述已经完成存储的第一存储区域中缓存的第一目标图像；
上述从多个第二存储区域中的第二目标存储区域获取已完整缓存的第二目标图像，包括：
确定当前第二视频正在缓存至所述多个第二存储区域中相对应的第二存储区域之前已经完成存储的第二存储区域；
读取所述已经完成存储的第二存储区域中缓存的第二目标图像，且读取的所述第一目标图像和读取的第二目标图像所分别对应的帧序号相同。
作为一个示例，请参考图2，第一视频为视频源1对应的视频，第二视频为视频源2对应的视频，在存储器上分别为第一视频分配三个不同的存储区域(图2中所述存储器左侧上中下三个存储区域)，左上、左中以及左下具有顺序性的三个存储区域均能缓存第一视频的一个完整的帧图像数据，同样的，在所述存储器上为第二视频分配三个不同的存储区域(图2中所述存储器右侧上中下三个存储区域)，右上、右中以及右下三个具有顺序性的存储区域均能缓存第二视频的一个完整的帧图像数据。
按照第一视频的帧时序，从所述左上存储区域开始缓存第一视频的帧图像数据，具体是：将第一视频的第N帧图像数据缓存至所述左上存储区域中，然后按照第一视频对应的三个存储区域的顺序，将第一视频的第N+1帧图像数据缓存至所述左中存储区域中，再将第一视频的第N+2帧图像数据缓存至所述左下存储区域中。与此类似的，从所述右上存储区域开始缓存第二视频的第N帧图像数据、第N+1帧图像数据以及第N+2帧图像数据，此处不再赘述。
具体地，如上述步骤S200所述，根据所述第一目标图像前后的连续多帧图像进行运动物体识别和估计，获取运动矢量，将所述运动矢量映射至所述第二目标图像中，获取位移差。
本步骤具体包括：
S210：以所述第一视频为基准，连续获取所述第一视频中的当前帧图像的前后的连续多帧图像；可以理解的是，如果当前帧图像为第一帧图像，则当前帧图像的前后的连续多帧图像指的是第一帧图像之后的连续几帧图像，当前帧图像为最后一帧图像，则当前帧图像的前后的连续多帧图像指的是最后一帧图像之前的连续几帧图像。
S220：对所述当前帧图像和所述当前帧图像的前后的连续多帧图像进行运动物体识别与估计(具体指的是对图像中的运动物体进行识别，以及该运动物体在这几帧图像中对应的运动矢量的估计)，得到所述当前帧图像中运动物体的运动矢量(运动速度)
S230：将所述第二视频中与所述当前帧图像对应的第二图像中的运动物体映射到所述当前帧图像中，得到所述运动物体映射后的位移差，该位移差反映的是同一个运动物体在当前帧图像和第三图像中运动所产生的位移误差。
具体地，如上述S300所述，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像。
本步骤具体包括：
S310：根据所述运动矢量和所述位移差，确定所述当前帧图像与所述第三图像之间的时间误差，通常时间误差＝位移差/运动矢量。
S320：根据所述时间误差，分别对所述第一目标图像和所述第二目标图像进行校准，得到第三目标图像和第四目标图像，第三目标图像和第四目标图像在时序上进行了对齐，以使得后续基于第三目标图像和第四目标图像进行图像拼接过程中，不受时序不对齐的影响。
可选的，上述S2305中，根据所述时间误差，分别对所述第一目标图像和所述第二目标图像进行校准，得到第三目标图像和第四目标图像，包括：
根据所述时间误差，确定像素值对应的校准权重；
根据所述校准权重，通过第一公式分别对所述第一目标图像和所述第二目标图像进行像素级的校准，得到第三目标图像和第四目标图像，其中，所述第一公式为：
F1(x,y)＝w·f1(x,y)，F2(x,y)＝(1-w)·f2(x,y)，
w＝Tcycle-ΔT，
其中，F1(x,y)为第三目标图像，F2(x,y)为第四目标图像，w为校准权重，f1(x,y)为第一目标图像中的像素值，f2(x,y)为第二目标图像中的像素值，Tcycle为第一目标图像和第二目标图像之间的时间周期，ΔT为时间误差。
考虑到两张图像来源于两个不同的视频源，两张图像之间可能存在时间差，如果有运动物体存在的话，当前帧的不同视频源时间差的效果就会表现出来，在拼接操作过程中就会引起物体的形变误差，甚至在不该出现运动物体的地方出现了物体，产生重影。
因此，本申请实施例采用了分别对所述第一目标图像和所述第二目标图像进行时间上的校准的处理方式，以使得不同源的视频图像的空间维度和时间维度完成完整的同步，使得在后续的图像拼接及其他图像处理应用中得到更为精确的结果。
可以理解的是，对于从同源的视频图像中获取到的第一目标图像和第二目标图像，可以不经上述步骤的校准而直接进入到下一步骤。
具体地，如上述步骤S400所述，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘。
其中，所述第三目标图像和所述第四目标图像之间的特征匹配点指的是两张图像中表征相同对象的特征点，基于特征匹配点可以实现两张图像在空间上的匹配。可选的，在本申请方案中，可采用现有技术中的特征提取方法实现特征匹配点的提取，比如，Sift算法、Harris角点检测法等，在此不再赘述。
在得到两张图像之间的特征匹配点后，可基于该特征匹配点，确定所述第三目标图像和所述第四目标图像对应的密度信息，密度信息反映的是特征匹配点占整张图像的特征点的密度，由于图像边缘的密度相对其他区域的密度较大，则基于第一目标图像和所述第二目标图像对应的密度信息可以确定出拼接边缘，即两张图像之间的拼接边缘。
可选的，上述针对所述第三目标图像和所述第四目标图像之间的特征匹配点确定密度信息，并根据所述密度信息确定拼接边缘，包括：
将所述第三目标图像和所述第四目标图像之间的重叠区域沿X轴方向划分为x份，沿Y轴方向划分为y份，得到x*y份重叠子区，其中，所述X轴方向和所述Y轴方向相互垂直，且所述Y轴方向与所述第三目标图像和所述第四目标图像像拼接时的接缝走向一致；
确定每个所述重叠子区中的特征匹配点的密度信息；
沿所述Y轴方向从每x个所述重叠子区中，选择特征匹配点密度最大的一个所述重叠子区，得到y个目标重叠子区；
从y个所述目标重叠子区中选取所述拼接边缘。具体的，可以从y个目标重叠子区中选取一个特征匹配点，然后对选取的特征匹配点进行连线得到的线条即作为所述拼接边缘。
上述步骤基于所述第三目标图像和所述第四目标图像之间的重叠区域确定拼接边缘，可减少计算量，同时，基于对重叠区域沿X轴方向和Y轴方向划分得到的x*y份重叠子区进行拼接边缘的确定，可以更加准确的确定出拼接边缘。
具体地，如上述步骤S500所述，根据所述拼接边缘，拼接所述第三目标图像和所述第四目标图像，获取初步拼接图像。
具体地，如上述步骤S600所述，对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像。
多频段融合算法是指在图像的不同频段使用不同的融合权重进行加权融合处理。在采用多频段融合算法对所述初步拼接图像进行处理时，先将所述初步拼接图像进行不同频段的分解，得到不同频段对应的图像分量，然后再对不同频段对应的图像分量分别进行不同的加权融合处理。需要说明的是，由于多频段融合算法对不同频段对应的图像分量分别进行不同的加权融合处理，因此，多频段融合算法不会造成细节的丢失，采用多频段融合算法能够消除图像中的色彩过渡不自然现象。因此，本步骤在对初步拼接图像采用多频段融合算法将所述初步拼接图像在不同频段内进行不同的加权融合处理后，得到的最终拼接图像中的拼接接缝可以得到优化甚至消除，从而有效地解决了因拼接接缝带来的图像质量问题。
可选的，上述采用多频段融合算法，对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像，包括：
对所述初步拼接图像进行下采样，并将下采样后的初步拼接图像与高斯核进行卷积处理，得到所述初步拼接图像的高斯金字塔；
对所述高斯金字塔的相邻图像层进行差分处理得到所述初步拼接图像的拉普拉斯金字塔；
对所述拉普拉斯金字塔的每一层进行不同融合权重的图像融合操作，获取融合后的拉普拉斯金字塔；
将所述融合后的拉普拉斯金字塔进行逆向重构后得到最终拼接图像。
在本实施例中，需要说明的是，由于多频段融合算法是对初步拼接图像在不同频段内进行不同的加权融合处理，因此需要将初步拼接图像分解成不同频率的图像分量，然后对不同频率的图像分量采用不同的融合权重进行加权融合，例如，对于低频分量应该使用波长较宽的加权信号，例如高斯核函数中，平滑程度参数σ调大σ比较大；在高频部分应该使用波长较窄的加权信号，例如高斯核函数中，平滑程度参数σ调大σ比较小。
在本实施例中，为了将所述初步拼接图像在不同频段内进行不同的加权融合处理，先获取初步拼接图像的高斯金字塔，然后再根据高斯金字塔获取初步拼接图像的拉普拉斯金字塔，在得到拉普拉斯金字塔以后，对拉普拉斯金字塔的每一层进行不同融合权重的图像融合操作，获取融合后的拉普拉斯金字塔，最后对融合后的拉普拉斯金字塔进行逆向重构后得到最终拼接图像。
可选的，上述将所述融合后的拉普拉斯金字塔进行逆向重构后得到最终拼接图像，包括：
步骤1、获取融合后的拉普拉斯金字塔层数i，并将所述高斯金字塔最低层的图层作为重构底板图像；其中，所述高斯金字塔层数为i+1，所述高斯金字塔最低层为高斯金字塔的i+1层；
步骤2、将所述重构底板图像进行上采样，上采样结果尺度与第i层高斯金字塔图层的尺度保持一致，并在上采样后进行平滑处理；
步骤3、将平滑处理后的重构底板图像与所述拉普拉斯金字塔第i层图像相加，得到新的重构底板图像，且i＝i-1；
步骤4、重复所述步骤2至步骤3，获取i＝0时的重构底板图像，作为最终拼接图像。
在本实施例中，给出了将所述融合后的拉普拉斯金字塔进行逆向重构后得到最终拼接图像的具体过程，根据上面的描述可知，通过对所述融合后的拉普拉斯金字塔进行逆向重构后，即可得到最终拼接图像。
上述步骤基于上述将所述融合后的拉普拉斯金字塔进行逆向重构后得到最终拼接图像的具体方案，可通过对所述融合后的拉普拉斯金字塔进行逆向重构后，准确的得到最终拼接图像。
通过本发明实施例的方法，将待拼接的每个视频的多个连续帧图像分别缓存至对应的多个存储区域(第一视频对应的多个第一存储区域，第二视频对应的多个第二存储区域)，然后从目标存储区域(第一目标存储区域以及第二目标存储区域)中读取每个所述视频的完整的图像数据(第一视频的第一目标图像以及第二视频的第二目标图像)，将读取的完整的帧图像基于拼接边缘进行拼接处理，不但解决了现有技术中拼接产生的图像撕裂问题，还可以使得初始拼接图像的拼接缝隙更加平滑，同时，在拼接之后，对初始拼接图像采用多频段融合算法进行几何校正，使得初步拼接图像的几何畸变得到最大程度上的校正，进而使得最终拼接图像从整体上看更加协调。
进一步地，本发明实施例通过对一图像进行运动物体识别与估计，获取运动矢量，再将所述运动矢量映射至另一图像中，获取位移差，根据所述运动矢量和所述位移差校准两图像，使得不同源的视频图像的空间维度和时间维度完成完整的同步，并且不存在任何的误差累积，进而使得在后续的视频图像拼接过程中能够完成精确的高清运动物体重现，在后续的图像拼接及其他图像处理应用中得到更为精确的结果；
进一步地，本发明实施例通过两图像的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，基于拼接边缘进行拼接处理，解决了现有技术中拼接产生的图像撕裂问题，还使得初始拼接图像的拼接缝隙更加平滑，同时，在拼接之后，对初始拼接图像在不同频段内进行不同的加权融合处理，使得最终得到的拼接图像中的拼接接缝得到优化甚至消除，使得初步拼接图像的几何畸变得到最大程度上的校正，进而使得最终拼接图像从整体上看更加协调，有效地解决了因拼接接缝带来的图像质量问题。
基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。
在一个可选实施例中提供了一种电子设备，如图3所示，图3所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(CentralProcessingUnit，中央处理器)，通用处理器，DSP(DigitalSignalProcessor，数据信号处理器)，ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)，FPGA(FieldProgrammableGateArray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(ExtendedIndustryStandardArchitecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(ReadOnlyMemory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(RandomAccessMemory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(ElectricallyErasableProgrammableReadOnlyMemory，电可擦可编程只读存储器)、CD-ROM(CompactDiscReadOnlyMemory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备也可以是终端设备，图3示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
根据本发明的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施例实现方式中提供的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解的是，附图中的流程图和框图，图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种多源影像拼接方法，其特征在于，所述方法包括：
根据时序从第一视频的连续多帧图像中获取对应的第一目标图像，以及，从第二视频的连续多帧图像中获取对应的第二目标图像；
根据所述第一目标图像前后的连续多帧图像进行运动物体识别和估计，获取运动矢量，将所述运动矢量映射至所述第二目标图像中，获取位移差；
根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像；
根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘；
根据所述拼接边缘，拼接所述第三目标图像和所述第四目标图像，获取初步拼接图像；
对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像；
其中，所述第一视频和所述第二视频为同一地点的两个视频源采集的，所述两个视频源的采集角度不同。
2.根据权利要求1所述的一种多源影像拼接方法，其特征在于，对所述初步拼接图像在不同频段内进行不同的加权融合处理，包括：
对所述初步拼接图像进行下采样，获取低频图像分量和高频图像分量；
将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，获取高斯金字塔；
将所述高斯金字塔的相邻图像层进行差分处理，得到拉普拉斯金字塔；
对所述拉普拉斯金字塔的每一层进行不同融合权重的图像融合，将所述融合后的拉普拉斯金字塔进行逆向重构，得到最终拼接图像。
3.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述融合后的拉普拉斯金字塔进行逆向重构，包括：
步骤1、获取融合后的拉普拉斯金字塔层数i，并将所述高斯金字塔最低层的图层作为重构底板图像；其中，所述高斯金字塔层数为i+1，所述高斯金字塔最低层为高斯金字塔的i+1层；
步骤2、将所述重构底板图像进行上采样，上采样结果尺度与第i层高斯金字塔图层的尺度保持一致，并在上采样后进行平滑处理；
步骤3、将平滑处理后的重构底板图像与所述拉普拉斯金字塔第i层图像相加，得到新的重构底板图像，且i＝i-1；
步骤4、重复所述步骤2至步骤3，获取i＝0时的重构底板图像，作为最终拼接图像。
4.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，包括：
对于低频图像分量，将所述高斯核中的平滑程度参数σ调大；
对于高频图像分量，将所述高斯核中的平滑程度参数σ调小。
5.根据权利要求1所述的一种多源影像拼接方法，其特征在于，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，包括：
根据所述运动矢量和所述位移差获取时间误差，根据所述时间误差，获取像素值对应的校准权重，计算公式为：
F1(x,y)＝w·f1(x,y)，F2(x,y)＝(1-w)·f2(x,y)，
w＝Tcycle-ΔT，
其中，F1(x,y)为第三目标图像，F2(x,y)为第四目标图像，w为校准权重，f1(x,y)为第一目标图像中的像素值，f2(x,y)为第二目标图像中的像素值，Tcycle为第一目标图像和第二目标图像之间的时间周期，ΔT为时间误差。
6.根据权利要求5所述的一种多源影像拼接方法，其特征在于，所述时间误差为所述位移差和所述运动矢量的商。
7.根据权利要求1所述的一种多源影像拼接方法，其特征在于，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，包括：将所述第三目标图像和所述第四目标图像之间的重叠区域沿X轴方向划分为x份，沿Y轴方向划分为y份，得到x*y份重叠子区；
沿所述Y轴方向从每x个所述重叠子区中，选择特征匹配点密度最大的一个所述重叠子区，得到y个目标重叠子区；
从y个目标重叠子区中选取一个特征匹配点，然后对选取的特征匹配点进行连线，得到拼接边缘。
8.根据权利要求7所述的一种多源影像拼接方法，其特征在于，采用特征提取方法从所述重叠子区获取特征匹配点，所述特征提取方法包括Sift算法和Harris角点检测法。
9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器包括多个第一存储区域，及多个第二存储区域；
所述第一存储区域用于缓存第一视频的连续多帧图像，所述第二存储区域用于缓存第二视频的连续多帧图像；
所述存储器还存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，
所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311838358.7A CN117974435A (zh) | 2023-12-28 | 2023-12-28 | 一种多源影像拼接方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311838358.7A CN117974435A (zh) | 2023-12-28 | 2023-12-28 | 一种多源影像拼接方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117974435A true CN117974435A (zh) | 2024-05-03 |
Family
ID=90862248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311838358.7A Pending CN117974435A (zh) | 2023-12-28 | 2023-12-28 | 一种多源影像拼接方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974435A (zh) |
-
2023
- 2023-12-28 CN CN202311838358.7A patent/CN117974435A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111557016B (zh) | 用于生成包括模拟的运动模糊的图像的方法和设备 | |
| Patwardhan et al. | Video inpainting under constrained camera motion | |
| US20220148129A1 (en) | Image fusion method and portable terminal | |
| WO2016164166A1 (en) | Automated generation of panning shots | |
| Parihar et al. | A comprehensive survey on video frame interpolation techniques | |
| Bätz et al. | High dynamic range video reconstruction from a stereo camera setup | |
| CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| An et al. | Single-shot high dynamic range imaging via deep convolutional neural network | |
| US20160048951A1 (en) | Enhancing motion pictures with accurate motion information | |
| CN111553841A (zh) | 一种基于最佳缝合线更新的实时视频拼接算法 | |
| CN108270945B (zh) | 一种运动补偿去噪方法及装置 | |
| CN115883988A (zh) | 视频图像拼接方法、系统、电子设备及存储介质 | |
| Wu et al. | LiTMNet: A deep CNN for efficient HDR image reconstruction from a single LDR image | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| Luo et al. | Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors | |
| Park et al. | Improvement of optical flow estimation by using the hampel filter for low-end embedded systems | |
| Jin et al. | Event-guided low light image enhancement via a dual branch GAN | |
| Vien et al. | Exposure-aware dynamic weighted learning for single-shot HDR imaging | |
| CN117974435A (zh) | 一种多源影像拼接方法、设备和存储介质 | |
| US20230098437A1 (en) | Reference-Based Super-Resolution for Image and Video Enhancement | |
| Wang et al. | Superpixel-based color–depth restoration and dynamic environment modeling for Kinect-assisted image-based rendering systems | |
| Jung et al. | Visual discomfort visualizer using stereo vision and time-of-flight depth cameras | |
| CN112954454B (zh) | 一种视频帧生成方法及装置 | |
| Lee et al. | An image-guided network for depth edge enhancement | |
| CN112884877A (zh) | 光场显示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |