CN109327712A - 固定场景的视频消抖方法 - Google Patents
固定场景的视频消抖方法 Download PDFInfo
- Publication number
- CN109327712A CN109327712A CN201811090368.6A CN201811090368A CN109327712A CN 109327712 A CN109327712 A CN 109327712A CN 201811090368 A CN201811090368 A CN 201811090368A CN 109327712 A CN109327712 A CN 109327712A
- Authority
- CN
- China
- Prior art keywords
- point
- characteristic point
- frame image
- video
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 22
- 238000005457 optimization Methods 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 239000000463 material Substances 0.000 abstract description 3
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000006467 substitution reaction Methods 0.000 description 10
- 230000006641 stabilisation Effects 0.000 description 9
- 238000011105 stabilization Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001028 reflection method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数字图像处理和视频监控技术领域，具体涉及一种固定场景的视频消抖方法。本发明的视频消抖方法首先通过Harris角点检测算法、贪心算法以及特征点亚像素化以获得数量合理且分布均匀且定位精准的特征点，通过金字塔LK光流法跟踪特征点以实现特征点对的精准匹配，利用RANSAC算法筛选出背景特征点并且利用单纯形法优化背景特征点的运动参数从而进一步提高稳像效果。在运动补偿过程中，采用逆映射法以避免直接映射产生的“缝隙”问题，使用双线性插值以解决了图像坐标非整数的问题，使生成的图像内容间均匀一致。本发明的视频消抖方法计算复杂度较低，容易实现，在保证计算精度的同时又不增加时间开销。
Description
技术领域
本发明涉及数字图像处理和视频监控技术领域，具体涉及一种固定场景的视频消抖方法。
背景技术
近年来，随着视频监控硬件的发展和信息化的快速推进，户外视频监控产品种类越来越多，应用场合也越来越广泛。固定场景的视频监控产品是其中一类较为常见的产品，它们具有工作时无大幅移动、监控固定区域的特点。该类产品对特定地点监控时，容易受到外界环境因素的干扰。例如，风力过大或载重车辆从附近经过时，摄像头会震颤，导致成像视频画面的抖动。抖动的视频会使观察者产生视觉疲劳感，同时也对判断视频内容造成干扰。而且，随着监控产品中加入越来越多的视频图像处理技术，抖动的视频会严重干扰后期应用的处理效果。因此，消除监控视频的抖动已成为一个亟待解决的问题。
解决视频抖动问题也被称为稳像问题。现阶段存在一些用于解决视频抖动问题的方法，从补偿抖动量成分的角度出发，可以将这些方法大致分为两类：基于帧间偏差的稳像方法和基于帧间运动的稳像方法。其中，基于帧间偏差的稳像方法适用于以平移变化量为主的抖动场景，这类方法的计算复杂度较低，容易实现，多应用于实时性要求高的场合。但由于这类方法只考虑了平移变化量，适用场景受限，精度也偏低。基于帧间运动的稳像方法能够适用于同时包含平移、旋转、尺度等多种变化量的抖动场景，这类方法既能够处理固定场景的视频抖动，又能够处理更复杂的运动场景的视频抖动。但是这类方法的计算复杂度高，时间开销难以令人满意。
相应地，本领域需要一种新的固定场景的视频消抖方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即现有的稳像方法在处理固定场景的消抖问题时无法兼顾计算精度和处理时间的问题，本发明提供了一种固定场景的视频消抖方法，所述方法包括：提取参考帧图像和当前帧图像的特征点；将所述参考帧图像和所述当前帧图像的特征点进行匹配得到特征点对；从所述特征点对中筛选出背景特征点对；基于所述背景特征点对确定全局运动参数；根据所述全局运动参数对所述当前帧图像进行运动补偿。
在上述视频消抖方法的优选技术方案中，“提取参考帧图像和当前帧图像的特征点”的具体步骤包括：根据Harris角点检测算法在所述当前帧图像和所述参考帧图像中提取备选特征点；根据贪心算法在所述备选特征点中选取所述参考帧图像和所述当前帧图像的特征点；用二次多项式逼近的方法计算出所述参考帧图像和所述当前帧图像的特征点的亚像素坐标。
在上述视频消抖方法的优选技术方案中，“用二次多项式逼近的方法计算出所述参考帧图像和所述当前帧的特征点的亚像素坐标”的具体步骤包括：按照下式所示公式计算所述特征点的亚像素坐标：
其中，q是特征点，以特征点q为中心确定一个设定区域，p是所述设定区域内的点，(p-q)表示由点p到点q的矢量，表示p的灰度值梯度；通过在所述设定区域内选取若干个点p的坐标分别代入上式，构成超定方程组，并采用最小二乘法求解该超定方程组即可获得特征点q的亚像素坐标。
在上述视频消抖方法的优选技术方案中，“将所述参考帧图像和所述当前帧图像的特征点进行匹配得到特征点对”的具体步骤包括：采用金字塔LK光流法在所述当前帧图像中跟踪所述参考帧图像的特征点以得到匹配的特征点对。
在上述视频消抖方法的优选技术方案中，“从所述特征点对中筛选出背景特征点对”的具体步骤包括：采用RANSAC算法在特征点对中筛选出背景特征点对。
在上述视频消抖方法的优选技术方案中，“采用RANSAC算法在特征点对中筛选出背景特征点对”的具体步骤包括：
步骤S1：预先设定采样次数的最大值Kmax、判别阈值t和背景特征点数量的最大值NinnerMax；
步骤S2：在特征点对的集合D中选取若干组特征点对；
步骤S3：利用单应性模型得出所述若干组特征点对的当前预估运动参数；
步骤S4：基于所述当前预估运动参数计算集合D中每组特征点对的误差值，并记录误差值小于判别阈值的特征点对的数量Ninner；
步骤S5：判断Ninner是否小于NinnerMAX；
若是，执行步骤6；若否，则执行步骤S7；
步骤S6：将当前预估运动参数H作为最优运动参数Hbest，同时更新NinnerMAX为Ninner，并记录NinnerMAX对应的背景特征点对；
步骤S7：判断采样次数K是否大于采样次数的最大值Kmax；
若否，令K＝K+1，随后返回步骤S2；若是，执行步骤S8；
步骤S8：保存并输出最优运动参数Hbest和NinnerMAX对应的背景特征点对。
在上述视频消抖方法的优选技术方案中，所述单应性模型根据下式构建：
Pdst＝H·Psrc
其中，Pdst与Psrc为对应的特征点，Psrc代表当前帧的特征点；Pdst代表参考帧的特征点；H为3×3的单应性矩阵；
“利用单应性模型获取若干组所述特征点对的当前预估运动参数”的具体步骤包括：
将特征点对的坐标代入上述单应性模型中以求解单应性矩阵，将所述单应性矩阵作为所述预估运动参数。
在上述视频消抖方法的优选技术方案中，“基于所述背景特征点对确定全局运动参数”的步骤具体包括：利用单纯形法优化所述背景特征点的运动参数以确定全局运动参数。
在上述视频消抖方法的优选技术方案中，“根据所述全局运动参数对所述当前帧图像进行运动补偿”的具体步骤包括：根据所述全局运动参数校正当前帧图像的像素点的坐标；根据校正后的当前帧图像的像素点的坐标计算校正后的当前帧图像中像素点的像素值。
在上述视频消抖方法的优选技术方案中，“根据校正后的当前帧图像的像素点的坐标对所述当前帧图像进行运动补偿”的步骤还包括：采用逆映射法和双线性插值算法计算校正后的当前帧图像的像素值。
本发明的固定场景的视频消抖方法是通过特征点来建立当前帧图像和参考帧图像之间的对应关系，将当前帧图像和参考帧图像中的特征点进行匹配，并且在匹配的特征点对中筛选出能够真正反映拍摄设备运动量的背景特征点对，利用背景特征点对确定全局运动参数，最后利用全局运动参数对当前帧图像进行运动补偿以实现图像重构从而起到稳像效果。本发明的视频消抖方法计算复杂度较低，容易实现，在保证计算精度的同时又不增加时间开销。
在本发明的优选技术方案中，在特征点的提取过程中，本发明的视频消抖方法通过Harris角点检测算法和贪心算法来提取数量合理且分布均匀的特征点，从而可以充分的描述整幅图像的变化。并且通过将特征点的坐标提到至亚像素坐标以便于实现特征点的精准定位，从而提高匹配的精度。在提取特征点之后，利用RANSAC算法筛选出能够反映相机抖动的背景特征点，从而排除前景运动目标对稳像过程造成干扰。随后，利用单纯形法优化背景特征点的运动参数以便于降低当前帧特征点透视变换后与参考帧相应特征点的坐标误差，从而进一步提高稳像效果。在运动补偿过程中，本发明的视频消抖方法采用逆映射法以避免直接映射产生的“缝隙”问题，使用双线性插值以解决了图像坐标非整数的问题，使生成的图像内容间均匀一致。
附图说明
下面参照附图来描述本发明的固定场景的视频消抖方法。附图中：
图1为本发明的一种实施例的固定场景的视频消抖方法的流程示意图；
图2为本发明的一种实施例的固定场景的视频消抖方法中提取特征点的流程示意图；
图3a为本发明的一种实施例的固定场景的视频消抖方法中局部筛选出的备选特征点的位置示意图；
图3b为本发明的一种实施例的固定场景的视频消抖方法中局部筛选出的特征点的位置示意图；
图4a为未进行特征点布局优化的图片；
图4b为已完成特征点布局优化后的图片；
图5a为在特征点坐标亚像素化过程中特征点q与设定区域内的点p的位置示意图一，图中示出的点p位于纹理变化均匀的平坦区域；
图5b为在特征点坐标亚像素化过程中特征点q与设定区域内的点p的位置示意图二，图中示出的点p位于边缘处；
图6为本发明的一种实施例的固定场景的视频消抖方法中筛选背景特征点的流程示意图；
图7a、7b、7c和7d分别为本发明的一种实施例的固定场景的视频消抖方法中通过反射、扩展、压缩、收缩的手段生成新点的示意图；
图8为本发明的一种实施例的固定场景的视频消抖方法中运动参数优化过程的流程示意图；
图9为本发明的一种实施例的固定场景的视频消抖方法中利用单纯形法更新关联内点集的流程示意图；
图10为利用结构相似性(SSIM)评价指标对稳像优化前的视频和稳像优化后的视频的评价结果；
图11a为采用直接映射法补偿后的图像；
图11b为采用逆映射法补偿后的图像；
图12a、12b、12c分别为视频经过稳像处理前的第28、52、315帧图像；
图12d、12e、12f分别为视频经过本发明的视频防抖方法进行稳像处理后的第28、52、315帧图像。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。例如，尽管本申请中按照特定顺序描述了本发明的方法的各个步骤，但是这些顺序并不是限制性的，在不偏离本发明的基本原理的前提下，本领域技术人员可以按照不同的顺序来执行所述步骤。
本实施例以固定场景的监控视频为处理对象为例来对本发明的固定场景的视频消抖方法进行介绍，其中，监控视频包括若干帧图像，将其中一帧图像为当前帧图像，那么该帧图像的前一帧图像则作为该帧图像的参考帧图像，通过将每一帧图像作为当前帧图像进行稳像处理，从而实现对整个视频的消抖处理。下面将详细介绍本发明的固定场景的视频消抖方法的具体步骤。
首先参照图1，图1为本发明的一种实施例的固定场景的视频消抖方法的流程示意图。如图1所示，本发明的固定场景的视频消抖方法主要包括如下步骤：
步骤S10：提取参考帧图像和当前帧图像的特征点。
本发明的固定场景的视频消抖方法是通过特征点来建立两幅图像之间的对应关系以充分描述整幅图像的变化。由于同一幅图像不同区域的变化并不完全一致，因此筛选的特征点应当尽可能的分布均匀，也就是说，需要在参考帧图像和当前帧图像中提取稳定、准确、重复检测率高的特征点。
参照图2，图2为本发明的一种实施例的固定场景的视频消抖方法的提取特征点的流程示意图。如图2所示，本发明的视频消抖方法主要是结合Harris角点检测算法和贪心算法来实现特征点的提取，并且对特征点进行亚像素化以获取特征点亚像素坐标以便于实现特征点的精准定位。具体过程包括如下步骤：
步骤S101：根据Harris角点检测算法在当前帧图像和参考帧图像中提取备选特征点。
首先用经典的Harris角点检测算法对当前帧图像和参考帧图像中的像素点进行角点量计算。
定义Harris角点响应函数R如下：
R＝det(M)-k*trace2(M)＞T (1)
在公式(1)和公式(2)中，R可归一化到0-255，M为自相关矩阵，λ1、λ2为自相关矩阵M的特征值；T为判定角点的检测阈值，本领域技术人员可以根据待处理的视频内容进行预先设定；k为经验常量，取值范围为0.04～0.06，如示例性的，在本实施例中，可以将k设定为0.04。
自相关矩阵M具体公式如下：
在公式(3)中，Ix、Iy为每个像素点的梯度坐标，W(x,y)为窗口函数用以赋予像素点的权重，常选用高斯平滑函数。
统的Harris角点检测算法会设定一个移动窗口，根据公式(1)、公式(2)和公式(3)计算窗口内的像素点的角点响应值，将角点响应值与预先设定好的检测阈值进行比较；角点响应值大于T的像素点则被判定为备选特征点。
Harris角点检测算法提取的特征点数主要取决于设定的检测阈值T和窗口的大小，如果检测阈值T设置得较小，将导致提取的特征点很多，耗时显著增加；如果检测阈值T设置得过大，随着检测阈值T的增大远处的特征点减少的要比近处的快，就丧失了图像全局的代表性。
参照图3a，图3a为本发明的一种实施例的局部筛选出的备选特征点的位置示意图。如图3a所示，本发明通过设定相对偏小的窗口和较小的检测阈值，提取较多的像素点作为备选特征点，然后根据后续步骤S102来控制特征点数量和优化特征点布局。
步骤S102：根据贪心算法在备选特征点中选取参考帧图像和当前帧图像的特征点。
参照图3b，图3b为本发明的一种实施例的局部筛选出的特征点的位置示意图。如图3b所示，将所有备选特征点按照角点响应值进行快速排序，选定角点响应值最大的点作为特征点，同时取消该特征点预设距离范围内的其他备选特征点的备选资格。这里需要说明的是，本领域技术人员可以根据实际需求对该距离范围大小进行设定；之后，再重新对剩余备选特征点按照角点响应值进行快速排序，选定角点响应值最大的点作为特征点，同时取消该特征点所在的窗口内其他备选特征点的备选资格，由此依次进行，从而挑选出特征突出、距离适中且数量合理的特征点。
参照图4a和图4b，其中，图4a为未进行特征点布局优化的图片；图4b为已完成特征点布局优化后的图片。如图4a和图4b所示，将未进行特征点布局优化前的图片和已完成特征点布局优化后的图片进行对比，图4a中灰色圆圈标记的特征点的数量较多且分布不均匀，而图4b中灰色圆圈标记的特征点的数量比图4a中灰色圆圈标记的特征点的数量少且特征点的分布均匀。可以看出，通过此方法优化后的图像中的特征点的数量明显减少且分布均匀。
步骤S103：计算出参考帧图像和当前帧图像的特征点的亚像素坐标。
在Harris角点检测算法提取参考帧图像和当前帧图像的特征点的整数坐标值的基础上，用二次多项式逼近的方法计算出整数坐标之间亚像素的灰度变化峰值，从而获得特征点的亚像素坐标。具体过程如下：
参照图5a和5b，其中，图5a为在特征点坐标亚像素化过程中特征点q与设定区域内的点p的位置示意图一，图中示出的点p位于纹理变化均匀的平坦区域；5b为在特征点坐标亚像素化过程中特征点q与设定区域内的点p的位置示意图二，图中示出的点p位于边缘处。以q为特征点，点p是以点q为中心的设定区域内的任意点，(p-q)代表由点p到点q的矢量。如图5a所示，若点p位于纹理变化均匀的平坦区域，则点p的灰度值梯度如图5b所示，若点p位于边缘处，则有与(p-q)相互垂直。因此，可以得到如下公式：
由于公式(4)是一个无定解的方程，因此需要选取若干个点p的坐标代入公式(4)中，就可以构成一个超定方程组。通过最小二乘法求解上述超定方程组即可得到特征点q的坐标(x,y)。这样一来，可以将提取到的特征点的坐标提高到小数位，从而有利于提高后续匹配的精度。
步骤S20：将参考帧图像和当前帧图像的特征点进行匹配得到特征点对。
采用金字塔LK光流法在当前帧图像中跟踪在参考帧图像筛选出的特征点，从而将当前帧中的特征点与参考帧中的特征点进行匹配，从而形成特征点对。匹配的特征点对之间的图像坐标变化情况反映了视频拍摄设备(如相机)的运动量。
步骤S30：从特征点对中筛选出背景特征点对。
虽然金字塔LK光流法能够准确地跟踪绝大多数特征点，但是由于噪声等原因可能会存在一些误匹配的特征点对。而且对于户外固定场景抖动的视频而言，因摄像机震动会导致背景内容如建筑、绿化带等抖动，而前景目标(如行人、移动车辆等)会在抖动的叠加下运动的更剧烈。视频中这些运动的前景目标上的特征点不能反映摄像机的抖动量，只有背景内容上的特征点，即背景特征点的抖动才真实地反映摄像机的抖动。因此需要在特征点对中筛选出背景特征点对。
首先如下式所示建立单应性模型：
Pdst＝H·Psrc (5)
在公式(5)中，Psrc与Pdst分别为特征点对中当前帧图像的特征点的坐标和参考帧图像的特征点的坐标。H为3×3的单应性矩阵，具体如下：
假设从视频中提取和跟踪的特征点对的集合为D，给单应性矩阵H中每个元素乘以1/h22，就可以使得单应性矩阵H仅具有8个未知参数，此时最少需要4组特征点对即可确定单应性矩阵H。
将公式(5)变换成矢量叉乘形式，即：
Pdst×H·Psrc＝0 (7)
将n组(n≥4)特征点对的当前帧图像的特征点坐标和参考帧图像的特征点坐标代入公式(7)中，由此可以推出H的一个简单线性解。计算得到的单应性矩阵H即为特征点对的运动参数。
在上述模型建立的基础上，本发明采用RANSAC算法在特征点对中筛选出背景特征点对。RANSAC算法是通过随机抽取若干组特征点对并根据这些特征点对计算出预估运动参数，然后验证在该预估运动参数下每组特征点对的匹配情况，从而反馈预估运动参数的精度。通过多次迭代、比较的过程，找到精度最高的运动参数。
参照图6，图6为本发明的一种实施例的固定场景的视频消抖方法中筛选背景特征点的流程示意图。如图6所示，作为一种可能的示例，采用RANSAC算法筛选背景特征点的过程具体包括如下步骤：
步骤S300：预先设定Kmax、t、NinnerMax。
其中Kmax为采样次数的最大值，即迭代次数的最大值；t为背景特征点的判别阈值；NinnerMAX为背景特征点数量的最大值，NinnerMax初始值设置为0。
步骤S301：在集合D中随机选取4组特征点对。
其中，4组特征点对包括彼此对应的4个当前帧图像的特征点和4个参考帧图像的特征点。
步骤S302：计算当前预估运动参数。
将4组特征点对的坐标代入公式(7)中计算得到的单应性矩阵H作为当前预估运动参数。
步骤S303：计算每组特征点对的误差值并记录误差值小于判别阈值t的特征点对的数量Ninner。
根据当前预估运动参数验证集合D中所有特征点对的匹配情况。如作为一种可能的示例，将每组特征点对和当前预估运动参数分别代入下式：
T＝Pdst-H·Psrc (8)
在公式(8)中，Psrc与Pdst分别为特征点对中当前帧图像和参考帧图像中的特征点的坐标，H为当前预估运动参数，通过求取误差值T，并判断误差值T是否小于判别阈值t：
若是，则认为该特征点对为背景特征点；若否，则判定该特征点对不是背景特征点。然后记录误差值T小于判别阈值t的特征点对的数量Ninner。
步骤S304：判断Ninner是否小于NinnerMAX。
若是，转入步骤S305；若否，转入步骤S306。
步骤S305：令NinnerMAX＝Ninner，Hbest＝H。
在Ninner小于NinnerMAX的情况下，将此次迭代过程中求得的当前预估运动参数H作为最优运动参数Hbest，同时更新NinnerMAX为Ninner，并记录NinnerMAX对应的背景特征点对。
步骤S306：判断采样次数K是否等于采样次数的最大值Kmax。
若是，则直接执行步骤S307；若否，令K＝K+1，随后返回步骤S301；
步骤S307：保存并输出最优运动参数Hbest和NinnerMAX对应的背景特征点对。
步骤S40：基于背景特征点确定全局运动参数。
由步骤S30得到背景特征点对及背景特征点的运动参数，即单应性矩阵Hbest，根据背景特征点的运动参数Hbest来对当前帧图像中的所有背景特征点的坐标进行运动补偿以获得校正后的当前帧图像的预估特征点，考虑到预估特征点与参考帧中对应的特征点之间会存在误差，为了进一步降低校正后的当前帧的预估特征点的坐标与参考帧中对应的特征点的坐标的误差，本发明的视频消抖方法采用单纯形法来优化运动参数，从而使得校正后的当前帧的预估特征点逼近参考帧中对应的特征点。
通过将背景特征点的坐标误差和作为函数值，然后利用单纯形法来求解函数最小值，从而起到优化背景特征点的运动参数的目的。对于二维变量，单纯形法通过比较三角形三个顶点函数值，将三个顶点的函数值中最大的点为W点，通过四种手段产生新点，通过比较寻找函数值小于顶点的最大函数值的新点，然后用新点替换W点，从而生成一个新的三角形，然后继续下一轮搜索。在搜索过程会产生一系列三角形，每个三角形的三个顶点的函数值也会越来越小，最终逼近函数的最小值。
参照图7a、7b、7c和7d，图7a至图7d为本发明的一种实施例的固定场景的视频消抖方法中通过反射、扩展、压缩、收缩的手段形成新点的示意图。如图7a、7b、7c和7d所示，获取新点的手段主要包括反射、扩展、压缩、收缩这四种，生成新点的过程具体如下：首先令各点含义与二维空间一致，其中，B，G，W分别表示误差平方和(即函数值)最小点、次大点和最大点。M表示线段BG的中点，R表示延长线段WM至等距的R点，R点又称为反射点。E点为延长MR至与其等距的点，又被称之为扩展点。C点称之为压缩点，分为内压缩点C1和外压缩点C2，C1和C2分别是线段WM和MR的中点。S为线段WB的中点，在收缩过程中被称之为收缩点。
参照图8，图8为本发明的一种实施例的固定场景的视频消抖方法中运动参数优化过程的流程示意图。如图8所示，作为一种可能的示例，运动参数优化过程主要包括如下步骤：
步骤S401：将单应性矩阵的参数作为变量，构建当前帧图像的背景特征点透视变化后与参考帧中相应的背景特征点的坐标误差平方和函数。
将当前帧图像中的背景特征点透视变化后与参考帧中相应的背景特征点的坐标误差平方和函数用f(X)表示。
步骤S402：通过单纯形法更新关联内点集。
依据单纯形算法的思想，将步骤S30得到的背景特征点的运动参数，即单应性矩阵Hbest的8个参数作为变量，逐个变量拓展后形成8+1边形的单纯形，它的9个顶点分别代表9个单应性矩阵将当前帧中所有背景特征点投影变化后与参考帧图像中对应的特征点的坐标误差平方和。
参照图9，图9为本发明的一种实施例的固定场景的视频消抖方法中利用单纯形法更新关联内点集的流程示意图。如图9所示，利用单纯形法更新关联内点集的具体步骤如下：
步骤S4021：输入初始单应性矩阵和关联内点集。
关联内点集包含当前帧图像中所有背景特征点；初始单应性矩阵为步骤S30获得的背景特征点的运动参数。
步骤S4022：依次微调8个参数，得到9个单应性矩阵。
将单应性矩阵的8个参数作为变量，逐个变量微调形成9个单应性矩阵，分别记为H1、H2、H3、…..、H9。
步骤S4023：分别计算相应内点集坐标误差平方和f(X)。
分别将9个单应性矩阵对当前帧图像中的所有背景特征点进行投影变换，并计算每一个单应性矩阵对应的当前帧图像中的所有背景特征点投影变换后与参考帧图像中对应的背景特征点的坐标误差平方和，具体地，以9个单应性矩阵中每一个单应性矩阵为运动参数，分别计算当前帧图像中的每一个背景特征点投影变换后与参考帧图像中对应的背景特征点的坐标误差平方和，组成坐标误差平方和集合Un(n＝1～9)。如示例性地，当前帧图像中背景特征点的数量为3000个，计算每一个单应性矩阵对应的当前帧图像中的所有背景特征点投影变换后与参考帧图像中对应的背景特征点的坐标误差平方和，就可以得到集合U1、集合U2……集合U9，其中，每一个集合Un(n＝1～9)中包含3000个误差平方和。下面的迭代过程是根据每一个单应性矩阵及其对应的坐标误差平方和集合Un对关联内点集内的点进行更新优化。下面将以第一个单应性矩阵H1及其对应的集合U1为例，对关联内点集更新过程进行介绍。
步骤S4024：判断迭代次数是否低于迭代上限值，以及参数误差是否大于预设阈值：
若是，则执行步骤S4025；若否，则执行步骤S4038。
需要说明的是，参数误差指的是集合U1中所有背景特征点的坐标误差和，也就是说，判断过程是将集合U1每一个背景特征点的坐标误差和与预设阈值进行比较。
步骤S4025：将f(X)快速排序，选出f(W)、f(G)、f(B)。
将步骤S4023获得的所有误差平方和进行排序，选出误差平方和最大值、次大值和最小值，并分别记作f(W)、f(G)、f(B)。将与误差平方和最大值、次大值以及最小值对应的点分别作为W点、G点和B点，需要说明的是，W点、G点和B点对应的是当前帧中的特征点。
步骤S4026：计算反射点R和中点M，并计算f(R)和f(M)。
根据W点、G点和B点获取反射点R和中点M，并计算与反射点R、中点M对应的误差平方和f(R)和f(M)，其中，中点M表示线段BG的中点，反射点R表示延长线段WM至等距的点。需要说明的是，由于反射点R和中点M是根据W点、G点和B点求得的，因此在当前帧图像中，反射点R和中点M有可能是背景特征点，也可能是非背景特征点。
步骤S4027：判断f(R)是否小于f(G)：
若是，则转入步骤S4028；若否，即转入步骤S4033。
步骤S4028：判断f(B)是否小于f(R)：
若是，转入步骤S4029；若否，转入步骤S4030。
步骤S4029：用反射点R替换点W，随后返回步骤S4024。
这里需要说明的是，这里的“替换”指的是，将本次迭代过程中的点W和点W对应的f(W)分别从关联内点集和集合U1中剔除，将本次迭代过程中获得的反射点R和反射点R对应的f(R)分别补充到关联内点集和集合U1中，而下一次迭代过程的点W仍然需要通过步骤S4025确定，即需要将集合U1中所有误差平方和重新排序来筛选出f(W)和对应的点W。
步骤S4030：计算扩展点E和f(E)，并判断f(E)是否小于f(B)。
计算扩展点E，扩展点E为延长MR至与其等距的点，并计算扩展点E对应的误差平方和f(E)，然后判断f(E)是否小于f(B)：
若是，转入步骤S4031；若否，转入步骤S4032。
步骤S4031：用扩展点E替换点W，随后返回步骤S4024。
这里需要说明的是，这里的“替换”代表的是，将本次迭代过程中的点W和点W对应的f(W)分别从关联内点集和集合U1中剔除，将本次迭代过程中获得的扩展点E和对应的f(E)分别补充到关联内点集和集合U1中，而下一次迭代过程的点W仍然需要通过步骤S4025确定，即需要将集合U1中误差平方和重新排序来筛选出f(W)和对应的点W。
步骤S4032：用反射点R替换点W，随后返回步骤S4024；
步骤S4033：判断f(R)是否小于f(W)：
若是，转入步骤S4034；若否，转入步骤S4035。
步骤S4034：用反射点R替换点W，并返回步骤S4024。
步骤S4035：计算压缩点C和f(C)，并判断f(C)是否小于f(W)
计算压缩点C，压缩点C包括内压缩点C1和外压缩点C2，内压缩点C1和外压缩点C2分别为线段WM和MR的中点。分别计算内压缩点C1和外压缩点C2对应的误差平方和f(C1)、f(C2)，判断f(C1)或f(C2)是否小于f(W)：若是，转入步骤S4036；若否，转入步骤S4037。
步骤S4036：用压缩点C(C1或C2)替换点W，并返回步骤S4024。
这里需要说明的是，若f(C1)、f(C2)两个均小于f(W)，则比较f(C1)、f(C2)的大小，选择误差平方和小的点替换点W。此外，这里的“替换”代表的是，将本次迭代过程中的点W和对应的f(W)分别从关联内点集和集合U1中剔除，将本次迭代过程中获得的内压缩点C1(或外压缩点C2)和对应的f(C1)(或f(C2))分别补充到关联内点集和集合U1中，而下一次迭代过程的点W仍然需要通过步骤S4025确定，即需要将集合U1中所有误差平方和重新排序来筛选出f(W)和对应的点W。
步骤S4037：计算收缩点S和f(S)，用收缩点S替换点W，用中点M替换点G，并返回步骤S4024。
收缩点S为线段WB的中点，计算收缩点S对应的误差平方和f(S)，然后用收缩点S直接替换点W，并用中点M替换点G，并返回步骤S4024。
步骤S4038：停止迭代，输出关联内点集。
步骤S403：根据更新后的关联内点集计算全局运动参数。
经过步骤S402可得到更新后的关联内点集，根据更新后的关联内点集可以计算获得一个新的单应性矩阵H1’。
以此类推，根据单应性矩阵H2、H3、…..、H9及其对应的集合U2、U3、…..、U9对关联内点集完成上述迭代过程从而获取更新后的关联内点集，然后分别根据更新后的关联内点集获得一个新的单应性矩阵H2’、H3’、…..、H9’。
由于原有的9个单应性矩阵是由单应性矩阵Hbest中的8个参数作为变量，逐个变量拓展后形成的九边形的单纯形，因此可以用优化后的H1’、H2’、H3’、…..、H9’求得新的单应性矩阵Hbest’，新的单应性矩阵Hbest’即为全局运动参数。
上述采用单纯形法来优化运动参数的过程能够有效地降低当前帧图像的背景特征点透视变化后与参考帧图像相应的背景特征点的坐标误差，从而提高图像的匹配效果，提高稳像效果。
为了更好地体现单纯形法对稳像效果的影响，发明人对同一个视频分别进行三种处理方式：第一种处理方式是对视频不进行稳像处理；第二种处理方式是采用不包含单纯形法的稳像算法对视频进行稳像处理；第三种处理方式是采用包含单纯形法的稳像算法对视频进行稳像处理。然后采用SSIM评价指标对这三种手段处理的视频进行评价。参照图10，图10为利用结构相似性(SSIM)评价指标对稳像优化前的视频和稳像优化后的视频的评价结果。如图10所示，图10的右下角的三种线段分别对应着经过第一种、第二种和第三种处理方式得到的视频的评价结果，可以明显看到，稳像处理前的视频的SSIM值分布不均匀且普遍较小；稳像处理后的视频的SSIM值普遍较大，其中，采用包含单纯形法的稳像算法处理后的视频的SSIM值的大小和分布情况明显优于采用不包含单纯形法的稳像算法处理后的视频的SSIM值，可以看出，单纯型法的优化效果十分明显。
步骤S50：根据全局运动参数对当前帧图像进行运动补偿。
用单纯形法进一步提高运动参数精度以得到全局运动参数之后，便可以利用全局运动参数对当前帧图像进行运动补偿，从而实现视频稳像目的。运动补偿是根据全局运动参数对当前帧图像中的像素点进行坐标变换，然后重构图像的过程。具体包括如下步骤：
步骤S501：根据全局运动参数校正当前帧图像的像素点的坐标。
当前帧图像的特征点与匹配的参考帧图像的特征点满足公式(5)的关系。同样的，校正前的当前帧图像的像素点坐标(xn,yn)和校正后的当前帧图像的像素点坐标(x'n,y'n)之间也存在如下关系：
(x'n,y'n)＝H·(xn,yn) (9)
在已知全局运动参数和当前帧图像的像素点的坐标的情况下，将全局运动参数和当前帧图像的像素点的坐标作为H和(xn,yn)代入公式(9)中，即可求得校正后的当前帧图像的像素点坐标(x'n,y'n)。
步骤S502：根据校正后的当前帧图像的像素点的坐标计算校正后的当前帧图像的像素点的像素值；
校正前的当前帧图像的像素点的像素值为I(xn,yn)，校正后的当前帧图像的像素点的像素值为g(xn’,yn’)，那么由坐标变换关系可得像素值存在如下关系：
g(x'n,y'n)＝I(xn,yn) (10)
现有技术中通常会采用直接映射的方法去计算校正后的当前帧图像的像素点的像素值，但是由于映射是非线性的，若采用直接映射的方法会导致校正后的图像存在“缝隙”。
为了避免图像存在“缝隙”，本发明采用的是逆映射法。逆映射法是通过获取校正前的当前帧图像的像素点的坐标(xn,yn)和该像素点的像素值及相邻坐标对应的像素值，然后利用这些像素值计算出校正后的当前帧图像的像素点的坐标(x'n,y'n)的像素值g(x'n,y'n)。
但是，由于单应性模型是一种精确的映射关系，全局运动参数都是非整数，所以逆映射法计算出的校正前的当前帧图像的像素点的坐标(xn,yn)一般也是非整数。但实际图像的像素点的坐标只能是整数，这就需要用插值算法处理公式(10)的等价关系。考虑处理效果和时间开销，本发明采用双线性插值解决当前帧图像的像素点的坐标非整数的问题。
双线性插值算法对校正前的当前帧图像的像素点的非整数坐标紧邻的四个整数坐标的像素值加权求和，得到校正后的图像的像素值。
令符号表示向下取整，其中xn和yn分别表示像素的横坐标和纵坐标，u和v分别表示像素坐标纵向和横向的小数部分，则像素值的对应关系如下：
在公式(11)中，width为常数，通常取值为1。
参照图11a和图11b，其中，图11a为采用直接映射法补偿后的图像；图11b为采用逆映射法补偿后的图像。如图11a和图11b所示，在图11a中灰色圆圈内能看到明显的“缝隙”，在图11b中相应区域并无“缝隙”存在。可以看出，采用逆映射法能够有效避免“缝隙”的产生。
通过将每一帧图像作为当前帧图像，按照上述步骤S10至S50对当前帧图像进行稳像处理，就可以完成整个视频的稳像处理。
参照图12a至12f图，图12a、12b、12c分别为视频经过稳像处理前的第28、52、315帧图像；图12d、12e、12f分别为视频经过本发明的视频防抖方法进行稳像处理后的第28、52、315帧图像。如图12a至图12f所示，参照稳像前图像中灰色定位框的周边内容可以发现树梢等位置发生了移动；而稳像后图像中同样位置背景内容几乎完全一致。这个视频中有多辆同时运动的车辆，可以看出，本发明的视频消抖方法对前景目标移动具有较强的容忍性。
综上所述，本发明的固定场景的视频消抖方法用特征点来建立两帧图像之间的变化关系，本发明的视频消抖方法首先通过Harris角点检测算法和贪心算法来提取数量合理、分布均匀、定位精准的特征点，并且将特征点的坐标提到至亚像素坐标，从而进一步提高匹配的精度。接着，通过金字塔LK光流法跟踪特征点以实现特征点对的精准匹配。然后利用RANSAC算法筛选出反映相机抖动的背景特征点，从而排除前景运动目标对稳像过程造成干扰。之后，利用单纯形法优化背景特征点的运动参数从而进一步提高稳像效果。最后，在运动补偿过程中，采用逆映射法以避免直接映射产生的“缝隙”问题，使用双线性插值以解决了图像坐标非整数的问题，使生成的图像内容间均匀一致。本发明的视频消抖方法可以消除视频序列偏移幅度在±6％以内的视频抖动，通过采用上述多种稳像措施以便于在尽量压缩时间开销的前提下，提高计算精度，保证稳像效果。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种固定场景的视频消抖方法，其特征在于，所述方法包括：
提取参考帧图像和当前帧图像的特征点；
将所述参考帧图像和所述当前帧图像的特征点进行匹配得到特征点对；
从所述特征点对中筛选出背景特征点对；
基于所述背景特征点对确定全局运动参数；
根据所述全局运动参数对所述当前帧图像进行运动补偿。
2.根据权利要求1所述的视频消抖方法，其特征在于，“提取参考帧图像和当前帧图像的特征点”的具体步骤包括：
根据Harris角点检测算法在所述当前帧图像和所述参考帧图像中提取备选特征点；
根据贪心算法在所述备选特征点中选取所述参考帧图像和所述当前帧图像的特征点；
用二次多项式逼近的方法计算出所述参考帧图像和所述当前帧图像的特征点的亚像素坐标。
3.根据权利要求2所述的视频消抖方法，其特征在于，“用二次多项式逼近的方法计算出所述参考帧图像和所述当前帧的特征点的亚像素坐标”的具体步骤包括：
按照下式所示公式计算所述特征点的亚像素坐标：
其中，q是特征点，以特征点q为中心确定一个设定区域，p是所述设定区域内的点，(p-q)表示由点p到点q的矢量，表示p的灰度值梯度；
通过在所述设定区域内选取若干个点p的坐标分别代入上式，构成超定方程组，并采用最小二乘法求解该超定方程组即可获得特征点q的亚像素坐标。
4.根据权利要求1所述的视频消抖方法，其特征在于，“将所述参考帧图像和所述当前帧图像的特征点进行匹配得到特征点对”的具体步骤包括：
采用金字塔LK光流法在所述当前帧图像中跟踪所述参考帧图像的特征点以得到匹配的特征点对。
5.根据权利要求1所述的视频消抖方法，其特征在于，“从所述特征点对中筛选出背景特征点对”的具体步骤包括：
采用RANSAC算法在特征点对中筛选出背景特征点对。
6.根据权利要求5所述的视频消抖方法，其特征在于，“采用RANSAC算法在特征点对中筛选出背景特征点对”的具体步骤包括：
步骤S1：预先设定采样次数的最大值Kmax、判别阈值t和背景特征点数量的最大值NinnerMax；
步骤S2：在特征点对的集合D中选取若干组特征点对；
步骤S3：利用单应性模型得出所述若干组特征点对的当前预估运动参数；
步骤S4：基于所述当前预估运动参数计算集合D中每组特征点对的误差值，并记录误差值小于判别阈值的特征点对的数量Ninner；
步骤S5：判断Ninner是否小于NinnerMAX；
若是，执行步骤S6；若否，则执行步骤S7；
步骤S6：将当前预估运动参数H作为最优运动参数Hbest，同时更新NinnerMAX为Ninner，并记录NinnerMAX对应的背景特征点对；
步骤S7：判断采样次数K是否等于采样次数的最大值Kmax；
若否，令K＝K+1，随后返回步骤S2；若是，执行步骤S8；
步骤S8：保存并输出最优运动参数Hbest和NinnerMAX对应的背景特征点对。
7.根据权利要求6所述的视频消抖方法，其特征在于，所述单应性模型根据下式构建：
Pdst＝H·Psrc
其中，Pdst与Psrc为对应的特征点，Psrc代表当前帧的特征点；Pdst代表的参考帧的特征点；H为3×3的单应性矩阵；
“利用单应性模型获取若干组所述特征点对的当前预估运动参数”的具体步骤包括：
将特征点对的坐标代入上述单应性模型中以求解单应性矩阵，将所述单应性矩阵作为所述预估运动参数。
8.根据权利要求1所述的视频消抖方法，其特征在于，“基于所述背景特征点对确定全局运动参数”的步骤具体包括：
利用单纯形法优化所述背景特征点的运动参数以确定全局运动参数。
9.根据权利要求1所述的视频消抖方法，其特征在于，“根据所述全局运动参数对所述当前帧图像进行运动补偿”的具体步骤包括：
根据所述全局运动参数校正当前帧图像的像素点的坐标；
根据校正后的当前帧图像的像素点的坐标计算校正后的当前帧图像中像素点的像素值。
10.根据权利要求9所述的视频消抖方法，其特征在于，“根据校正后的当前帧图像的像素点的坐标对所述当前帧图像进行运动补偿”的步骤还包括：
采用逆映射法和双线性插值算法计算校正后的当前帧图像的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811090368.6A CN109327712A (zh) | 2018-09-18 | 2018-09-18 | 固定场景的视频消抖方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811090368.6A CN109327712A (zh) | 2018-09-18 | 2018-09-18 | 固定场景的视频消抖方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109327712A true CN109327712A (zh) | 2019-02-12 |
Family
ID=65266338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811090368.6A Pending CN109327712A (zh) | 2018-09-18 | 2018-09-18 | 固定场景的视频消抖方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109327712A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215782A (zh) * | 2020-10-29 | 2021-01-12 | 中国科学院长春光学精密机械与物理研究所 | 一种卷帘快门成像装置图像校正方法及装置 |
| WO2021004038A1 (en) * | 2019-07-05 | 2021-01-14 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video stabilization |
| CN113905147A (zh) * | 2021-09-30 | 2022-01-07 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
| CN115174811A (zh) * | 2022-06-30 | 2022-10-11 | Oppo广东移动通信有限公司 | 相机抖动检测方法、装置、设备、存储介质和程序产品 |
| WO2024051591A1 (zh) * | 2022-09-09 | 2024-03-14 | 北京字跳网络技术有限公司 | 用于估算视频旋转的方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572277A (zh) * | 2010-12-23 | 2012-07-11 | 三星电子株式会社 | 数字图像稳定设备和方法 |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| CN106550174A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 一种基于单应性矩阵的实时视频稳像方法 |
| US20170294210A1 (en) * | 2016-04-07 | 2017-10-12 | Intel Corporation | Automatic cinemagraph |
-
2018
- 2018-09-18 CN CN201811090368.6A patent/CN109327712A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572277A (zh) * | 2010-12-23 | 2012-07-11 | 三星电子株式会社 | 数字图像稳定设备和方法 |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| US20170294210A1 (en) * | 2016-04-07 | 2017-10-12 | Intel Corporation | Automatic cinemagraph |
| CN106550174A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 一种基于单应性矩阵的实时视频稳像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘刚: ""基于DSP的固定场景视频消抖快速算法研究与实现"", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004038A1 (en) * | 2019-07-05 | 2021-01-14 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video stabilization |
| US11363202B2 (en) | 2019-07-05 | 2022-06-14 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video stabilization |
| CN112215782A (zh) * | 2020-10-29 | 2021-01-12 | 中国科学院长春光学精密机械与物理研究所 | 一种卷帘快门成像装置图像校正方法及装置 |
| CN113905147A (zh) * | 2021-09-30 | 2022-01-07 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
| CN113905147B (zh) * | 2021-09-30 | 2023-10-03 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
| CN115174811A (zh) * | 2022-06-30 | 2022-10-11 | Oppo广东移动通信有限公司 | 相机抖动检测方法、装置、设备、存储介质和程序产品 |
| WO2024051591A1 (zh) * | 2022-09-09 | 2024-03-14 | 北京字跳网络技术有限公司 | 用于估算视频旋转的方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109327712A (zh) | 固定场景的视频消抖方法 | |
| WO2018161775A1 (zh) | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 | |
| US20130315470A1 (en) | Body measurement | |
| CN109741356B (zh) | 一种亚像素边缘检测方法及系统 | |
| CN109949349B (zh) | 一种多模态三维图像的配准及融合显示方法 | |
| Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
| CN107194959A (zh) | 基于切片进行图像配准的方法和装置 | |
| JPWO2004063991A1 (ja) | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム | |
| US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
| US9165341B2 (en) | Method for generating super-resolution images having improved image resolution and measuring device | |
| CN111062866A (zh) | 一种基于变换矩阵的全景图像拼接的方法 | |
| CN113810611B (zh) | 一种事件相机的数据模拟方法和装置 | |
| CN109360144B (zh) | 一种基于手机平台的图像实时校正改进方法 | |
| CN107014313A (zh) | 基于s变换脊值的加权最小二乘相位展开的方法及系统 | |
| JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
| Chen et al. | Optical flow estimation for motion-compensated compression | |
| CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
| JP6645442B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
| CN112132971B (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
| CN107016695B (zh) | 一种亚像素级影像配准方法及系统 | |
| CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
| CN113284081B (zh) | 深度图超分辨率优化方法、装置、处理设备及存储介质 | |
| CN112581460B (zh) | 扫描规划方法、装置、计算机设备和存储介质 | |
| Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190212 |
|
| WD01 | Invention patent application deemed withdrawn after publication |