CN115883988A - 视频图像拼接方法、系统、电子设备及存储介质 - Google Patents
视频图像拼接方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115883988A CN115883988A CN202310127479.4A CN202310127479A CN115883988A CN 115883988 A CN115883988 A CN 115883988A CN 202310127479 A CN202310127479 A CN 202310127479A CN 115883988 A CN115883988 A CN 115883988A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- algorithm
- fused
- gradual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000000746 purification Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000000750 progressive effect Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000011410 subtraction method Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000009958 sewing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- JREYOWJEWZVAOR-UHFFFAOYSA-N triazanium;[3-methylbut-3-enoxy(oxido)phosphoryl] phosphate Chemical compound [NH4+].[NH4+].[NH4+].CC(=C)CCOP([O-])(=O)OP([O-])([O-])=O JREYOWJEWZVAOR-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种视频图像拼接方法、系统、电子设备及存储介质，属于图像处理技术领域；所述方法包括将待拼接的若干视频进行帧图抓取以获取对应的多个帧图像；将多个帧图像进行图像预处理获取目标图像；利用ORB算法从目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对特征点进行粗匹配以及提纯优化得到单应性变换矩阵；通过单应性变换矩阵针对目标图像进行配准得到待融合图像；采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的待融合图像进行图像融合，得到全景视频图像。通过本申请，可以满足视频拼接对高分辨率图像的快速及稳定处理的需求。
Description
技术领域
本发明属于图像处理的技术领域，具体地涉及一种视频图像拼接方法、系统、电子设备及存储介质。
背景技术
随着电子技术、多媒体技术的飞速发展，越来越多的人使用数码相机、摄像机、摄像头等设备来获取视频。单个设备获取的视野范围相对较小，即使可以通过调节焦距增大视野，但是所能捕获的视场大小一般在60度左右。传统的用来扩大视频视场的方案有：借助旋转云台和单个摄像机来拍摄，使用多个摄像头对准不同方位进行拍摄，使用超广角镜头或鱼眼镜头采集视频。传统的用来拓宽视频视场的改进方案各有其缺点，为了满足人们对于高分辨率和宽视场的视频的需求，视频拼接技术应运而生。由于视频是由一帧一帧的视频图像构成的，因此视频拼接技术也是以图像拼接技术为基础的。图像拼接是将由多目摄像机系统在同一时刻从不同视角采集的具有一定重叠区域的图像组经配准对齐再融合成具有良好视觉效果的宽视场拼接图像的一种技术。
随着拍摄设备的快速发展，高分辨率图像的获取越来越容易，也更加普遍。然而，现有的图像拼接技术所处理图像的分辨率依旧较低，往往只能处理较低分辨率的图像，无法达到实际应用的高分辨率的需求。并且，现有的图像拼接技术往往过于注重图像拼接的准确性，对图像拼接处理的处理速度较慢，无法达到实时性及稳定性的要求。因此，现有的图像拼接技术无法满足对高分辨率图像的快速及稳定处理的需求，应用推广仍存在很大的限制。
因此，如何针对现有图像拼接技术进行技术改进，以使其适于快速且稳定处理高分辨率图像的拼接操作，显得尤为重要。
发明内容
为了解决上述技术问题，本发明提供了一种视频图像拼接方法、系统、电子设备及存储介质，通过将滤波去噪及畸变校正的目标图像利用ORB算法提取特征点，并基于汉明距离算法及一致性算法针对特征点进行粗匹配以及提纯优化得到配准的待融合图像，再采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对待融合图像进行图像融合得到全景视频图像，以使满足视频拼接对高分辨率图像的快速及稳定处理的需求。
第一方面，该申请提供了一种视频图像拼接方法，其包括：
将待拼接的若干视频进行帧图抓取以获取所述若干视频对应的多个帧图像；
将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵；
通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像；
采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
在一些实施例中，所述将待拼接的若干视频进行帧图抓取以获得到所述若干视频对应的多个帧图像的步骤具体包括：
基于OpenCV构造视频捕获器指针；
将待拼接的若干视频通过所述视频捕获器指针读取视频帧数、帧图片高及帧图片宽；
遍历所述若干视频的所有帧，并利用函数cvQueryFrame抓取所有帧图像，得到所述若干视频对应的多个帧图像。
在一些实施例中，所述将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正的步骤具体包括：
将所述多个帧图像进行灰度化处理得到灰度化图像；
针对所述灰度化图像增添相应的图像噪声；
采用滤波处理方式对添加图像噪声后的所述灰度化图像进行滤波去噪处理得到待校正图像；
通过相机标定求解所述待校正图像固有的内参矩阵及畸变系数；
基于所述内参矩阵及畸变系数，并采用双线性差值算法针对所述待校正图像进行畸变校正以获取目标图像。
在一些实施例中，所述利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵的步骤具体包括：
采用FAST算法针对所述目标图像进行特征点检测，并将检测出的特征点进行BRIEF算法描述，以提取所述目标图像的特征点；
通过汉明距离算法进行XOR运算以使通过模式匹配器针对所述特征点进行粗匹配；
基于渐进采样一致性算法针对粗匹配后的特征点进行提纯及优化处理以获取单应性变换矩阵。
在一些实施例中，所述渐进采样一致性算法的具体步骤包括：
基于最大迭代次数Nmax判断内点的误差极限Elim，并设定内点数目阈值Tnum；
按照粗匹配点对将最近邻和次近邻的比值结果作为匹配质量，进行降序排列，选取匹配质量排列前m个粗匹配点对，计算其余粗匹配点对与投影点的误差；
比较误差与误差极限Elim的大小，以使计算出所有粗匹配点对中的内点数量；
当内点数量不小于阈值Tnum时，则输出当前内点集合以完成粗匹配点的提纯优化。
在一些实施例中，所述通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像的步骤具体包括：
从所述目标图像中选取基准图像；
以所述基准图像为基础，将剩余的所述目标图像通过所述单应性变换矩阵全都映射变换到所述基准图像所在的平面，以进行配准对齐处理得到待融合图像。
在一些实施例中，所述采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像的步骤具体包括：
基于混合高斯模型的背景减除法检测所述待融合图像中的运动物体，得到所述待融合图像对应的前景图像；
根据所述前景图像判断其对应的所述待融合图像是否需动态更新缝合线，以使确定所述待融合图像的最佳缝合线；
依据所述最佳缝合线将所述待融合图像的重叠区域划分成三个部分，并针对第一部分和第三部分采取渐入渐出法进行融合，再加上第二部分得到具有视觉一致性的全景视频图像；其中，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。
第二方面，该申请提供了一种视频图像拼接系统，包括：
抓取模块，用于将待拼接的若干视频进行帧图抓取以获得到所述若干视频对应的多个帧图像；
预处理模块，用于将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
匹配优化模块，用于利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵；
图像配准模块，用于通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像；
图像融合模块，用于采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
在一些实施例中，所述抓取模块包括：
构造单元，用于基于OpenCV构造视频捕获器指针；
读取单元，用于将待拼接的若干视频通过所述视频捕获器指针读取视频帧数、帧图片高及帧图片宽；
抓取单元，用于遍历所述若干视频的所有帧，并利用函数cvQueryFrame抓取所有帧图像，得到所述若干视频对应的多个帧图像。
在一些实施例中，所述预处理模块包括：
灰度单元，用于将所述多个帧图像进行灰度化处理得到灰度化图像；
增添单元，用于针对所述灰度化图像增添相应的图像噪声；
去噪单元，用于采用滤波处理方式对添加图像噪声后的所述灰度化图像进行滤波去噪处理得到待校正图像；
标定单元，用于通过相机标定求解所述待校正图像固有的内参矩阵及畸变系数；
校正单元，用于基于所述内参矩阵及畸变系数，并采用双线性差值算法针对所述待校正图像进行畸变校正以获取目标图像。
在一些实施例中，所述匹配优化模块包括：
提取单元，用于采用FAST算法针对所述目标图像进行特征点检测，并将检测出的特征点进行BRIEF算法描述，以提取所述目标图像的特征点；
匹配单元，用于通过汉明距离算法进行XOR运算以使通过模式匹配器针对所述特征点进行粗匹配；
优化单元，用于基于渐进采样一致性算法针对粗匹配后的特征点进行提纯及优化处理以获取单应性变换矩阵。
在一些实施例中，所述图像配准模块包括：
选取单元，用于从所述目标图像中选取基准图像；
配准单元，用于以所述基准图像为基础，将剩余的所述目标图像通过所述单应性变换矩阵全都映射变换到所述基准图像所在的平面，以进行配准对齐处理得到待融合图像。
在一些实施例中，所述图像融合模块包括：
检测单元，用于基于混合高斯模型的背景减除法检测所述待融合图像中的运动物体，得到所述待融合图像对应的前景图像；
确定单元，用于根据所述前景图像判断其对应的所述待融合图像是否需动态更新缝合线，以使确定所述待融合图像的最佳缝合线；
融合单元，用于依据所述最佳缝合线将所述待融合图像的重叠区域划分成三个部分，并针对第一部分和第三部分采取渐入渐出法进行融合，再加上第二部分得到具有视觉一致性的全景视频图像；其中，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。
第三方面，本申请提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频图像拼接方法。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频图像拼接方法。
相比于现有技术，本申请提供的一种视频图像拼接方法、系统、电子设备及存储介质，具有以下有益效果：
1.根据采用的图像传感器主要噪声类型增添相应的图像噪声，再选用相应的滤波处理方式进行滤波去噪处理，以使能够保持图像的清晰度。并且，对滤波去噪处理的图像进行相机标定求得其固有的内参矩阵和畸变系数，进而结合畸变校正模型对其采集的视频进行校正，得到具有良好视觉效果的目标图像用于后序的视频处理。
2.先利用特征点检测速度快的优势，实现对目标图像进行快速准确的特征点提取，后对特征点对使用汉明距离实现快速粗匹配且匹配准确度高，再通过具有更高的稳健性及计算效率的渐进采样一致性算法进行优化，剔除图像特征点误匹配点对之后，求解单应性变换矩阵，得到清晰度高的配准图像。
3.通过基于混合高斯模型的背景减除法检测视频中的运动物体，得到每一帧视频图像的前景图像，依据当前帧的前景图像判断当前帧是否需要动态地更新最佳缝合线，有效地避免运动物体经过缝合线的情况，接着采用改进的渐入渐出融合算法消除缝合线所产生的拼接缝，能够对高分辨率图像实现快速准确拼接最终得到具有良好视觉效果的全景视频图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的视频图像拼接方法的流程图；
图2是本发明实施例2提供的与实施例1方法对应的视频图像拼接系统结构框图；
图3是本发明实施例3提供的电子设备的硬件结构示意图。
附图标记说明：
10-抓取模块、11-构造单元、12-读取单元、13-抓取单元；
20-预处理模块、21-灰度单元、22-增添单元、23-去噪单元、24-标定单元、25-校正单元；
30-匹配优化模块、31-提取单元、32-匹配单元、33-优化单元；
40-图像配准模块、41-选取单元、42-配准单元；
50-图像融合模块、51-检测单元、52-确定单元、53-融合单元；
60-总线、61-处理器、62-存储器、63-通信接口。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
实施例1
具体而言，图1所示为本实施例所提供的一种基于视频图像拼接方法的流程示意图。
如图1所示，本实施例的视频图像拼接方法包括以下步骤：
S101，将待拼接的若干视频进行帧图抓取以获取所述若干视频对应的多个帧图像。
具体地，当每秒连续显示的图像超过一定帧数(一般为大于24 帧)，人眼就无法再区分这些连续图像中的每一幅静态图像；即只要将连续的图像以小于0.04s 的显示占用时间进行顺序播放，那么人眼接受并传递到大脑中的画面就是连续画面。由此可知视频是由一帧一帧的图像组成的，所以视频拼接的本质就是图像拼接。
进一步地，步骤S101的具体步骤包括：
S1011，基于OpenCV构造视频捕获器指针。
具体地，OpenCV通过优化的C代码的编写对其执行速度带来可观的提升，且可通过购买IPP高性能多媒体函数库得到更快的处理速度。视频捕获器指针CvCapture*capture（cvQueryFrame）表示从摄像头或者文件中抓取并返回一帧。函数cvQueryFrame从摄像头或者文件中抓取一帧，然后解压并且返回这一帧。函数cvQueryFrame仅仅是函数cvGrabFrame和函数cvRetrieveFrame在一起调用的组合。返回的图像不可以被用户释放或者修改。CvCapture是一个结构体，用来保存图像捕获的信息，就像一种数据类型（如int、char等）只是存放的内容不一样，在OpenCv中，它最大的作用就是处理视频时（程序是按一帧一帧读取），让程序读下一帧的位置，CvCapture结构中，每获取一帧后，这些信息都将被更新，获取下一帧回复。
S1012，将待拼接的若干视频通过所述视频捕获器指针读取视频帧数、帧图片高及帧图片宽。
具体地，python用OpenCV读取视频时如果想要获取帧数、高度宽度等视频信息，可用用OpenCV的常量获取。诸如：
读取视频帧数采用如下格式：
frame_count= capture.get(cv2.CAP_PEOP_FRAME_COUNT)；
读取视频高度和宽度采用如下格式：
frame_height = capture.get(cv2.CAP_PEOP_FRAME_HEIGHT)
frame_width = capture.get(cv2.CAP_PEOP_FRAME_WIDTH)。
S1013，遍历所述若干视频的所有帧，并利用函数cvQueryFrame抓取所有帧图像，得到所述若干视频对应的多个帧图像。
具体地，cvQueryFrame的参数为CvCapture结构的指针。用来将下一帧视频文件载入内存，返回一个对应当前帧的指针。与cvLoadImage（cvLoadImage是一个计算机函数，用途是图像处理）不同的是cvLoadImage为图像分配内存空间，而cvQueryFrame使用已经在CvCapture结构中分配好的内存。当CvCapture结构被释放后，每一帧图像所对应的内存空间即会被释放。
S102，将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
具体地，图像的预处理工作是我们在图像的拼接前期所需要做的一个工作，进行图像预处理操作，能够降低甚至去除因为拍摄的原因给后续的处理造成的影响。图像预处理技术主要包括了图像的滤波以及图像失真处理等方面，由于各方面的因素，拍摄采集到的图像会或多或少存有图像信号噪声，这些噪声会对整张图像的真实性带来不好的影响；此外，采集视频所使用的摄像机镜头通常会存在畸变，比如常见的超广角镜头和鱼眼镜头。噪音及失真的存在会直接影响图像配准之后的处理结果。
进一步地，步骤S102的具体步骤包括：
S1021，将所述多个帧图像进行灰度化处理得到灰度化图像。
具体地，图像灰度化相较于彩色图像灰度图像占内存更小，运行速度更快；灰度图像后可以在视觉上增加对比，突出目标区域。在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值。因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255，当灰度为255的时候，表示最亮（纯白）；当灰度为0的时候，表示最暗（纯黑）。
S1022，针对所述灰度化图像增添相应的图像噪声。
具体地，对多幅图像的正确去噪处理效果直接地就会影响后续对图像进行拼接的匹配速度和精准性。高斯噪声和椒盐噪声是最常见的数字图像噪声。通过使用MATLAB软件进行编程实现，在同一张采集图像中，在原始图像上增添不同的图像噪声，然后对加噪图像采用对应滤波处理。
S1023，采用滤波处理方式对添加图像噪声后的所述灰度化图像进行滤波去噪处理得到待校正图像。
具体地，均值函数滤波处理主要是广泛应用于去除高斯噪声；中值函数滤波处理是一种非线性滤波，对于消除椒盐噪声非常有效，且不会带来图像模糊，能够保持图像清晰度。本实施例因采用的图像传感器主要噪声为时域暗噪声，选用中值函数滤波处理对拍摄捕获到的图像进行处理。需要说明的是，为防止丢失图像的边缘信息，在去噪之前提取图像中目标的边缘并保存，与去噪后的图像进行叠加以达到去噪保边的效果。
S1024，通过相机标定求解所述待校正图像固有的内参矩阵及畸变系数。
具体地，相机标定的实质就是将物体在三维空间中的点与其在相机二维成像平面上的对应点进行一一映射，进而获得三维空间到二维平面的映射变换关系，该过程涉及到的参数有相机的内外参和畸变系数。摄像机成像过程共涉及到四种坐标系之间的变换，包括世界、摄像机、图像以及像素四种坐标系。
S1025，基于所述内参矩阵及畸变系数，并采用双线性差值算法针对所述待校正图像进行畸变校正以获取目标图像。
具体地，摄像机成像几何模型的推导过程基于理想无畸变的小孔成像模型，但是在实际的应用场景中，采集视频所使用的摄像机镜头通常会存在畸变，所谓镜头畸变，简单来说就是镜头拍摄出来的事物相对于事物本身发生了失真。由于数字图像中的像素点坐标并不连续，因此一个整数坐标处的像素点在经过映射变换之后，得到的对应点并不一定也在整数坐标处，本实施例采用双线性差值算法将畸变图像中的像素点与目标图像中对应的像素点进行一一映射，经过畸变校正之后的视频图像具有良好的视觉效果，恢复了摄像机的共线特性，为下一步的图像处理工作提供了便捷。
S103，利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵。
具体地，现有传统ORB图像拼接算法处理速度较慢，往往只能处理较低分辨率的图像，无法达到实际应用的高分辨率的需求。本实施例针对现有图片拼接方法其处理速度慢，准确率低，无法快速拼接高分辨率图像的不足，提出一种高分辨率图像拼接改进算法。具体首先利用特征点检测速度快的优势，对图像进行特征点提取，然后对特征点对使用汉明距离实现快速粗匹配，再采用基于渐进采样一致性进行优化，剔除误匹配点对之后，求解单应性变换矩阵。
进一步地，步骤S103的具体步骤包括：
S1031，采用FAST算法针对所述目标图像进行特征点检测，并将检测出的特征点进行BRIEF算法描述，以提取所述目标图像的特征点。
具体地，FAST算法能够快速的检测特征点，在数字图像中，它通过对比某一点像素灰度值与其一定的邻域范围内灰度值大小，一般该像素点为中心，选取圆形邻域区域，当区域内有足够多像素点的灰度值与该像素点的灰度值差异大于阈值，则判断该像素点为特征点。对图像中检测到的FAST特征点，进行BRIEF算法描述，解决其不具备旋转不变性的严重缺陷。BRIEF算法描述存储空间占用较小，运算比较简单并且处理速度快，一般选取强度比较少量的图像邻域对比进行表达。
S1032，通过汉明距离算法进行XOR运算以使通过模式匹配器针对所述特征点进行粗匹配；
其中，传统ORB算法采用最近邻匹配特征点对表示为正确匹配，会引入大量的特征匹配对，其中会存在很多错误匹配，匹配准确度低。本实施例使用汉明距离判别描述子之间相似度(XOR 运算)，关键点匹配将变为二值分类问题，计算出两个描述串按位与运算后的累和，作为汉明距离。汉明距离的值越小则说明两描述串相关性越高，否则两描述串差异比较大。最后利用模式匹配器对所有特征点进行粗匹配。
S1033，基于渐进采样一致性算法针对粗匹配后的特征点进行提纯及优化处理以获取单应性变换矩阵。
其中，所述渐进采样一致性算法的具体步骤包括：
基于最大迭代次数Nmax判断内点的误差极限Elim，并设定内点数目阈值Tnum；
按照粗匹配点对将最近邻和次近邻的比值结果作为匹配质量，进行降序排列，选取匹配质量排列前m个粗匹配点对，计算其余粗匹配点对与投影点的误差；
比较误差与误差极限Elim的大小，以使计算出所有粗匹配点对中的内点数量；
当内点数量不小于阈值Tnum时，则输出当前内点集合以完成粗匹配点的提纯优化。
具体地，渐进采样一致性算法是一种补偿RANSAC算法具有随机性的算法。采用渐进采样一致性算法对图像匹配特征点对的进行优化，其将样本集中的点对按照匹配质量进行排序，选择其中靠前位置的样本作为假设集，生成一个较高匹配概率的子集，即在质量高的粗匹配子集中进行采样计算，可避免选择样本初始假设集的盲目性，很大成程度上提高算法运行效率，较大的减少迭代次数，加快计算速度的同时，匹配准确率也得到提高。
S104，通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像。
具体地，不同图像间映射的关键就在于图像间的单应性变换矩阵，单应性矩阵的精确度直接影响图像配准的效果。
进一步地，步骤S104的具体步骤包括：
S1041，从所述目标图像中选取基准图像。
具体地，在多张图像的配准对齐中，如果各张图像不在同一个平面上，那么需要先将所有图像映射到同一个基准平面上，然后再将其投影变换到一个大的公共面上进行融合拼接，此过程涉及到各个摄像机的内外参数。为了求解摄像机的内外参数，需要借助摄像机的成像模型和图像间的映射关系。
S1042，以所述基准图像为基础，将剩余的所述目标图像通过所述单应性变换矩阵全都映射变换到所述基准图像所在的平面，以进行配准对齐处理得到待融合图像。
具体地，针对绕固定轴旋转的摄像机系统，由于其在不同方位上拍摄得到的图像并不在同一个平面上，如果直接使用平面作为最终的全景拼接图像的成像面，那么画面中将会出现畸变，严重影响视觉效果，面对这种情况，可以将所有图像先进行柱面投影，之后再融合拼接。另外，有的时候摄像机在水平方向上和垂直方向上都存在旋转运动，此时要想得到具有视觉一致性的全景拼接图像，则需要先对所有图像作球面投影。所谓球面投影是指平面图像与球面相互映射的过程。
S105，采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
具体地，在进行图像获取的过程中，由于图像采集设备本身参数不可能完全相同，另外存在光照、视野、角度等差异，使得待拼接图像在重叠区域会有差异。如果不对图像做任何处理，只是简单的将图像进行叠加，那么这时得到的拼接图像中就会存在非常明显的拼接缝隙，使得图像看起来非常不自然。图像融合目的是使配准后的图像经过拼接得到的最终图像无明显拼接缝隙，使得图像在重叠区域实现平滑的过渡，让人看起来觉得舒服。本步骤所采用的视频融合算法通过基于混合高斯模型的背景减除法来检测运动物体，实现了最佳缝合线的动态更新，并使用对重叠区域进行平滑，最终有效地解决因为运动物体的存在而导致的融合图像中出现重影、错位、模糊和拼接缝的问题，在得到具有良好视觉效果的无缝融合视频图像同时保证了视频融合的速度。
进一步地，步骤S105的具体步骤包括：
S1051，基于混合高斯模型的背景减除法检测所述待融合图像中的运动物体，得到所述待融合图像对应的前景图像。
具体地，运动物体检测是指在一系列连续的视频帧中检测出画面中的变化区域并将其从整幅图像中分割出来的过程，运动物体的检测一般分为静态背景和动态背景两种，由于本实施例使用的摄像机系统采集视频时位置固定，不存在空间上的运动，因此仅考虑静态背景的情况。对于一段视频来说，如果视频中的背景画面基本上保持固定不变，那么就可以用一个高斯分布来近似描述该视频背景中的每一个像素点在一定时间间隔内的分布情况。然而，实际采集到的视频往往会受到光照、抖动、噪声等多种外界不确定因素的影响，导致视频中的背景画面常常有较大的变化，此时背景中的像素点分布已经不能再由一个高斯分布进行描述。面对这种情况，可以使用多个高斯分布混合（即混合高斯模型）描述背景中任意像素点的分布排列情况。
S1052，根据所述前景图像判断其对应的所述待融合图像是否需动态更新缝合线，以使确定所述待融合图像的最佳缝合线。
具体地，通过背景减除法得到标记前景区域的二值图像之后，就可以判断当前视频图像是否可以沿用前一帧视频图像中计算出的最佳缝合线，如果前一帧计算的最佳缝合线上有像素点落在了前景区域之中，那么就需要对当前的视频图像重新计算最佳缝合线，即更新最佳缝合线，反之，当前的视频图像继续沿用前一帧中计算出的最佳缝合线。
S1053，依据所述最佳缝合线将所述待融合图像的重叠区域划分成三个部分，并针对第一部分和第三部分采取渐入渐出法进行融合，再加上第二部分得到具有视觉一致性的全景视频图像。
具体地，现有的渐入渐出融合算法实现简单，复杂度低，运行速度快，但是融合过程中图像细节会模糊，当有运动物体在重叠区域移动时会出现重影。本实施例采用改进的渐入渐出融合算法克服现有渐入渐出融合算法的缺点，该算法基于动态最佳缝合线；首先，依据最佳缝合线将重叠区域划分成三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。然后，对第一和第三两个部分依旧根据现有的渐入渐出法进行融合，之后再加上最佳缝合线即可实现图像融合，最终可以达到消除重影、模糊、和拼接缝等问题。
综上所述，通过将待拼接的若干视频进行帧图抓取以获取对应的多个帧图像，并将多个帧图像进行图像预处理获取具有良好视觉效果的目标图像用于后序的视频处理；利用ORB算法从目标图像快速准确提取特征点，并基于汉明距离算法及一致性算法分别针对特征点进行高匹配准确度的粗匹配以及具有更高的稳健性及计算效率的提纯优化得到单应性变换矩阵；通过单应性变换矩阵针对目标图像进行配准得到待融合图像；采用缝合线动态更新法有效地避免运动物体经过缝合线的情况，以及采用改进的渐入渐出法相结合的视频融合算法针对下采样处理后的待融合图像进行图像融合，能够对高分辨率图像实现快速准确拼接最终得到具有良好视觉效果的全景视频图像。
实施例2
本实施例提供了与实施例1所述方法相对应的系统的结构框图。图2是根据本实施例的视频图像拼接系统的结构框图，如图2所示，该系统包括：
抓取模块10，用于将待拼接的若干视频进行帧图抓取以获得到所述若干视频对应的多个帧图像；
预处理模块20，用于将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
匹配优化模块30，用于利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵；
图像配准模块40，用于通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像；
图像融合模块50，用于采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
进一步地，所述抓取模块10包括：
构造单元11，用于基于OpenCV构造视频捕获器指针；
读取单元12，用于将待拼接的若干视频通过所述视频捕获器指针读取视频帧数、帧图片高及帧图片宽；
抓取单元13，用于遍历所述若干视频的所有帧，并利用函数cvQueryFrame抓取所有帧图像，得到所述若干视频对应的多个帧图像。
进一步地，所述预处理模块20包括：
灰度单元21，用于将所述多个帧图像进行灰度化处理得到灰度化图像；
增添单元22，用于针对所述灰度化图像增添相应的图像噪声；
去噪单元23，用于采用滤波处理方式对添加图像噪声后的所述灰度化图像进行滤波去噪处理得到待校正图像；
标定单元24，用于通过相机标定求解所述待校正图像固有的内参矩阵及畸变系数；
校正单元25，用于基于所述内参矩阵及畸变系数，并采用双线性差值算法针对所述待校正图像进行畸变校正以获取目标图像。
进一步地，所述匹配优化模块30包括：
提取单元31，用于采用FAST算法针对所述目标图像进行特征点检测，并将检测出的特征点进行BRIEF算法描述，以提取所述目标图像的特征点；
匹配单元32，用于通过汉明距离算法进行XOR运算以使通过模式匹配器针对所述特征点进行粗匹配；
优化单元33，用于基于渐进采样一致性算法针对粗匹配后的特征点进行提纯及优化处理以获取单应性变换矩阵；其中，所述渐进采样一致性算法的具体步骤包括：
基于最大迭代次数Nmax判断内点的误差极限Elim，并设定内点数目阈值Tnum；
按照粗匹配点对将最近邻和次近邻的比值结果作为匹配质量，进行降序排列，选取匹配质量排列前m个粗匹配点对，计算其余粗匹配点对与投影点的误差；
比较误差与误差极限Elim的大小，以使计算出所有粗匹配点对中的内点数量；
当内点数量不小于阈值Tnum时，则输出当前内点集合以完成粗匹配点的提纯优化。
进一步地，所述图像配准模块40包括：
选取单元41，用于从所述目标图像中选取基准图像；
配准单元42，用于以所述基准图像为基础，将剩余的所述目标图像通过所述单应性变换矩阵全都映射变换到所述基准图像所在的平面，以进行配准对齐处理得到待融合图像。
进一步地，所述图像融合模块50包括：
检测单元51，用于基于混合高斯模型的背景减除法检测所述待融合图像中的运动物体，得到所述待融合图像对应的前景图像；
确定单元52，用于根据所述前景图像判断其对应的所述待融合图像是否需动态更新缝合线，以使确定所述待融合图像的最佳缝合线；
融合单元53，用于依据所述最佳缝合线将所述待融合图像的重叠区域划分成三个部分，并针对第一部分和第三部分采取渐入渐出法进行融合，再加上第二部分得到具有视觉一致性的全景视频图像；其中，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
结合图1所描述的视频图像拼接方法可以由电子设备来实现。图3为根据本实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器（Hard DiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性（Non-Volatile）存储器。在特定实施例中，存储器62包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（ElectricallyErasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date OutDynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例1的视频图像拼接方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图3所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信接口63用于实现本申请中各模块、装置、单元和/或设备之间的通信。通信接口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线60可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（MicroChannelArchitecture，简称为MCA）总线、外围组件互连（PeripheralComponentInterconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SerialAdvanced Technology Attachment，简称为SATA）总线、视频电子标准协会局部（VideoElectronics Standards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以获取到视频图像拼接系统，执行本实施例1的视频图像拼接方法。
另外，结合上述实施例1中的视频图像拼接方法，本申请可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例1的视频图像拼接方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频图像拼接方法，其特征在于，包括：
将待拼接的若干视频进行帧图抓取以获取所述若干视频对应的多个帧图像；
将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵；
通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像；
采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
2.根据权利要求1所述的视频图像拼接方法，其特征在于，所述将待拼接的若干视频进行帧图抓取以获得到所述若干视频对应的多个帧图像的步骤具体包括：
基于OpenCV构造视频捕获器指针；
将待拼接的若干视频通过所述视频捕获器指针读取视频帧数、帧图片高及帧图片宽；
遍历所述若干视频的所有帧，并利用函数cvQueryFrame抓取所有帧图像，得到所述若干视频对应的多个帧图像。
3.根据权利要求1所述的视频图像拼接方法，其特征在于，所述将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正的步骤具体包括：
将所述多个帧图像进行灰度化处理得到灰度化图像；
针对所述灰度化图像增添相应的图像噪声；
采用滤波处理方式对添加图像噪声后的所述灰度化图像进行滤波去噪处理得到待校正图像；
通过相机标定求解所述待校正图像固有的内参矩阵及畸变系数；
基于所述内参矩阵及畸变系数，并采用双线性差值算法针对所述待校正图像进行畸变校正以获取目标图像。
4.根据权利要求1所述的视频图像拼接方法，其特征在于，所述利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵的步骤具体包括：
采用FAST算法针对所述目标图像进行特征点检测，并将检测出的特征点进行BRIEF算法描述，以提取所述目标图像的特征点；
通过汉明距离算法进行XOR运算以使通过模式匹配器针对所述特征点进行粗匹配；
基于渐进采样一致性算法针对粗匹配后的特征点进行提纯及优化处理以获取单应性变换矩阵。
5.根据权利要求4所述的视频图像拼接方法，其特征在于，所述渐进采样一致性算法的具体步骤包括：
基于最大迭代次数Nmax判断内点的误差极限Elim，并设定内点数目阈值Tnum；
按照粗匹配点对将最近邻和次近邻的比值结果作为匹配质量，进行降序排列，选取匹配质量排列前m个粗匹配点对，计算其余粗匹配点对与投影点的误差；
比较误差与误差极限Elim的大小，以使计算出所有粗匹配点对中的内点数量；
当内点数量不小于阈值Tnum时，则输出当前内点集合以完成粗匹配点的提纯优化。
6.根据权利要求1所述的视频图像拼接方法，其特征在于，所述通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像的步骤具体包括：
从所述目标图像中选取基准图像；
以所述基准图像为基础，将剩余的所述目标图像通过所述单应性变换矩阵全都映射变换到所述基准图像所在的平面，以进行配准对齐处理得到待融合图像。
7.根据权利要求1所述的视频图像拼接方法，其特征在于，所述采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像的步骤具体包括：
基于混合高斯模型的背景减除法检测所述待融合图像中的运动物体，得到所述待融合图像对应的前景图像；
根据所述前景图像判断其对应的所述待融合图像是否需动态更新缝合线，以使确定所述待融合图像的最佳缝合线；
依据所述最佳缝合线将所述待融合图像的重叠区域划分成三个部分，并针对第一部分和第三部分采取渐入渐出法进行融合，再加上第二部分得到具有视觉一致性的全景视频图像；其中，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。
8.一种视频图像拼接系统，其特征在于，包括：
抓取模块，用于将待拼接的若干视频进行帧图抓取以获得到所述若干视频对应的多个帧图像；
预处理模块，用于将所述多个帧图像进行图像预处理获取目标图像；其中，所述图像预处理包括滤波去噪及畸变校正；
匹配优化模块，用于利用ORB算法从所述目标图像提取特征点，并基于汉明距离算法及一致性算法分别针对所述特征点进行粗匹配以及提纯优化，得到单应性变换矩阵；
图像配准模块，用于通过所述单应性变换矩阵针对所述目标图像进行配准得到待融合图像；
图像融合模块，用于采用缝合线动态更新法及渐入渐出法相结合的视频融合算法针对下采样处理后的所述待融合图像进行图像融合，得到全景视频图像。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的视频图像拼接方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的视频图像拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310127479.4A CN115883988A (zh) | 2023-02-17 | 2023-02-17 | 视频图像拼接方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310127479.4A CN115883988A (zh) | 2023-02-17 | 2023-02-17 | 视频图像拼接方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115883988A true CN115883988A (zh) | 2023-03-31 |
Family
ID=85761276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310127479.4A Pending CN115883988A (zh) | 2023-02-17 | 2023-02-17 | 视频图像拼接方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115883988A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579964A (zh) * | 2023-05-22 | 2023-08-11 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
| CN117746513A (zh) * | 2024-02-19 | 2024-03-22 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221665A (zh) * | 2021-04-19 | 2021-08-06 | 东南大学 | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 |
| CN115202696A (zh) * | 2022-07-26 | 2022-10-18 | 南昌航天广信科技有限责任公司 | 基于视频编程软件的升级方法、系统、电子设备及存储介质 |
| CN115205114A (zh) * | 2022-06-24 | 2022-10-18 | 长春理工大学 | 一种基于orb特征的高分辨率图像拼接改进算法 |
-
2023
- 2023-02-17 CN CN202310127479.4A patent/CN115883988A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221665A (zh) * | 2021-04-19 | 2021-08-06 | 东南大学 | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 |
| CN115205114A (zh) * | 2022-06-24 | 2022-10-18 | 长春理工大学 | 一种基于orb特征的高分辨率图像拼接改进算法 |
| CN115202696A (zh) * | 2022-07-26 | 2022-10-18 | 南昌航天广信科技有限责任公司 | 基于视频编程软件的升级方法、系统、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘闯: "实时视频全景拼接系统的设计与实现", 《万方平台》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579964A (zh) * | 2023-05-22 | 2023-08-11 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
| CN116579964B (zh) * | 2023-05-22 | 2024-02-02 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
| CN116612390B (zh) * | 2023-07-21 | 2023-10-03 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
| CN117746513A (zh) * | 2024-02-19 | 2024-03-22 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
| CN117746513B (zh) * | 2024-02-19 | 2024-04-30 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| Wu et al. | Deep high dynamic range imaging with large foreground motions | |
| Sen et al. | Robust patch-based hdr reconstruction of dynamic scenes. | |
| CN115883988A (zh) | 视频图像拼接方法、系统、电子设备及存储介质 | |
| JP6371553B2 (ja) | 映像表示装置および映像表示システム | |
| CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| CN108230245B (zh) | 图像拼接方法、图像拼接装置及电子设备 | |
| CN107945111B (zh) | 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法 | |
| Zhang et al. | Robust metric reconstruction from challenging video sequences | |
| CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
| KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| CN110175011B (zh) | 一种全景影像无缝拼接方法 | |
| TW201926244A (zh) | 即時視訊畫面拼接方法 | |
| Yan et al. | High dynamic range imaging via gradient-aware context aggregation network | |
| KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| CN114511449A (zh) | 图像增强方法、装置及计算机可读存储介质 | |
| KR20220111203A (ko) | 스티칭된 이미지들의 정렬을 평가하기 위한 방법 및 이미지 프로세싱 디바이스 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN116132610A (zh) | 一种综采面视频拼接方法及系统 | |
| CN112634298B (zh) | 图像处理方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230331 |