CN113923369A - 一种用于船舶的视频防抖方法和系统 - Google Patents

一种用于船舶的视频防抖方法和系统 Download PDF

Info

Publication number
CN113923369A
CN113923369A CN202111514018.XA CN202111514018A CN113923369A CN 113923369 A CN113923369 A CN 113923369A CN 202111514018 A CN202111514018 A CN 202111514018A CN 113923369 A CN113923369 A CN 113923369A
Authority
CN
China
Prior art keywords
image
motion estimation
images
estimation matrix
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111514018.XA
Other languages
English (en)
Other versions
CN113923369B (zh
Inventor
杨凌波
刘烨
文婷
程辉
段泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Highlandr Digital Technology Co ltd
Original Assignee
Beijing Highlandr Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Highlandr Digital Technology Co ltd filed Critical Beijing Highlandr Digital Technology Co ltd
Priority to CN202111514018.XA priority Critical patent/CN113923369B/zh
Publication of CN113923369A publication Critical patent/CN113923369A/zh
Application granted granted Critical
Publication of CN113923369B publication Critical patent/CN113923369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种用于船舶的视频防抖方法,包括:对图像缓存区中的所有图像分别进行语义分割得到天空部分、陆地部分、水面部分和船舶部分;分别去除所有图像的水面部分得到新的图像;提取新的图像中相邻两帧图像的匹配特征点,根据提取出的特征点确定相邻两帧图像变换的运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列;以运动估计矩阵队列的中间位置为中心,基于各个运动估计矩阵的高斯权重得到变换矩阵;通过变换矩阵对中间帧图像进行变换得到抖动补偿图像;去除抖动补偿图像的黑边放大至中间帧图像的尺寸得到输出图像。本发明有益效果:降低水面波浪对防抖计算法的影响,提升了电子防抖用于船舶的视频防抖效果。

Description

一种用于船舶的视频防抖方法和系统
技术领域
本发明涉及船舶瞭望系统技术领域,具体而言,涉及一种用于船舶的视频防抖方法和系统。
背景技术
目前视频防抖技术主要有光学防抖和电子防抖。光学防抖需要使用额外的部件实现防抖效果,而船舶运行环境复杂恶劣,精密的光学防抖部件容易出现故障或损坏,导致光学防抖无法适用于船舶系统的视频防抖。同时船舶在运行过程中,除了因为机械设备导致的高频振动外,水面波浪会对电子防抖带来很大的干扰,因此传统的电子防抖技术对船舶系统的视频防抖不能达到理想的效果。
发明内容
为解决传统电子防抖技术对船舶系统视频防抖效果不理想的问题,本发明的目的在于提供一种用于船舶的视频防抖方法和系统。
本发明提供了一种用于船舶的视频防抖方法,所述方法包括:
对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分;
分别去除所述所有图像的水面部分,得到新的图像;
提取所述新的图像中相邻两帧图像的匹配特征点,并根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列;
以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵;
通过所述变换矩阵对所述估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像;
去除所述抖动补偿图像的黑边,并放大至所述中间帧图像的尺寸,得到输出图像。
作为本发明进一步的改进,所述提取所述新的图像中相邻两帧图像的匹配特征点,包括:
通过角点检测算法提取所述相邻两帧图像的前一帧图像的特征点;
基于所述前一帧图像的特征点,通过Lucas-Kanade光流算法得到所述相邻两帧图像的后一帧图像的特征点。
作为本发明进一步的改进,所述运动估计矩阵队列的长度为2N+1,N为正整数。
作为本发明进一步的改进,还包括得到输出图像后,对所述运动估计矩阵队列和图像缓存区进行更新。
本发明还提供了一种用于船舶的视频防抖系统,包括信号连接的图像采集终端和图像处理器,所述图像处理器包括:
图像处理模块,用于对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分,并分别去除所述所有图像的水面部分,得到新的图像;
特征点计算模块,用于提取所述新的图像中相邻两帧图像的匹配特征点;
变换矩阵计算模块,用于根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列,以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵;
图像补偿模块,用于通过所述变换矩阵对所述运动估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像;
图像输出模块,用于去除所述抖动补偿图像的黑边,并放大至所述中间帧图像的尺寸,得到输出图像。
作为本发明进一步的改进,所述特征点计算模块包括:
前一帧图像特征点计算模块,其通过角点检测算法提所述相邻两帧图像的前一帧图像的特征点;
后一帧图像特征点计算模块,其根据所述前一帧图像的特征点,通过Lucas-Kanade光流算法,得到所述相邻两帧图像的后一帧图像的特征点。
作为本发明进一步的改进,所述运动估计矩阵队列的长度为2N+1,N为正整数。
作为本发明进一步的改进,还包括:
路由器和显示终端;
所述图像采集终端通过所述路由器与所述图像处理器信号连接;
所述图像处理器通过所述路由器与所述显示终端信号连接。
作为本发明进一步的改进,得到输出图像后,对所述运动估计矩阵队列和图像缓存区进行更新。
本发明还提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被处理器执行以实现所述的方法。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现所述的方法。
本发明的有益效果为:通过对图像进行分割并对去除水面部分后的图像进行特征点提取,以此降低水面波浪对防抖计算法的影响,提升了电子防抖用于船舶的视频防抖效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的一种用于船舶的视频防抖方法的流程图;
图2为本发明实施例所述的某船舶瞭望系统的视频防抖处理流程图;
图3为本发明实施例所述的一种用于船舶的视频防抖系统的结构示意图。
图中:
1、摄像头;2、路由器;3、图像处理器;4、显示器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明的描述中,所用术语仅用于说明目的,并非旨在限制本发明的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在,但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件,不代表顺序,且不对这些元件起限定作用。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图,这些和/或其他方面变得显而易见,并且,本领域普通技术人员更容易理解关于本发明所述实施例的说明。附图仅出于说明的目的用来描绘本发明所述实施例。本领域技术人员将很容易地从以下说明中认识到,在不背离本发明所述原理的情况下,可以采用本发明所示结构和方法的替代实施例。
相关技术中,当视频采集设备安装在如汽车、船舶等运动的交通工具上时,设备会出现高频率的无规则抖动,导致录制的视屏画面不稳定,影响使用体验。因此,能够使视频画面稳定的视频防抖技术非常重要。目前视频防抖技术主要分为两类:光学防抖和电子防抖。光学防抖是通过可移动式的部件对手震的光路进行补偿,从而实现减轻照片模糊的效果。搭载光学防抖系统的镜头售价较为昂贵,导致光学防抖系统成本高居不下。所谓电子防抖,就是说防抖的全过程都没有任何元部件的辅助和参与,依靠数字处理的技术去实现的防抖。当前电子防抖主要有通过提高相机感光度(ISO)而实现的自然防抖,和通过像素补偿或其他运算方式而实现的数码防抖。电子防抖成本较低,但其只是对采集到的数据进行后期处理,对画质有一定程度的破坏。
如图1所示,本发明实施例所述的一种用于船舶的视频防抖方法,所述方法包括:
对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分。
对图像进行语义分割时可以采用适合的图像语义分割算法,例如可以选用传统的基于阈值的图像语义分割方法、基于区域的图像语义分割方法、基于边缘检测的图像语义分割方法、基于小波分析和小波变换的图像语义分割方法或者是选用基于深度学习的图像语义分割算法。其中,基于深度学习的图像语义分割算法包括:基于特征编码的图像语义分割方法,如VGGNet和ResNet等;基于区域选择的图像语义分割方法,如R-CNN、Fast R-CNN和Mask R-CNN等;基于RNN的图像语义分割方法,如ReSeg和MDRNNs等。本实施例中选用的是一种新的神经网络架构(ENet模型)对图像进行语义分割。采用ENet模型进行图像语义分割优化了模型参数,可以在速度块、浮点计算量少,保持了模型的高精度和快速向前推理时间。克服了传统深度神经网络需要大量的浮点运算,导致运行时间长,时效性较低的缺陷。
分别去除所述所有图像的水面部分,得到新的图像。将分割后的天空部分、陆地部分和船舶部分组成新的图像,对新的图像进行特征点提取,可以排除水面部分的波浪变化对运动估计中特征点提取的不利影响,使得后续的运动估计更加精确。水面的波动属于无序随机的,属于船舶防抖处理的“噪声”部分,使用分割算法将水面部分去除后,消除了水面部分对防抖算法的影响。
提取所述新的图像中相邻两帧图像的匹配特征点,并根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列。
以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵。可以理解的是,当运动估计矩阵队列的长度为2N+1时,将第N+1个运动估计矩阵作为中心,其余运动估计矩阵分布在第N+1个运动估计矩阵的两侧。根据运动估计矩阵队列的长度,结合高斯分布图可以确定每个运动估计矩阵所对应的权重,将每个运动估计矩阵分别乘以其所对应的高斯分布权重,再进行叠加即可得到平均运动估计矩阵。
通过所述变换矩阵对所述估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像。当以第N+1个运动估计矩阵作为中心时,其所对应的第N+1帧图像即为中间帧图像,通过变换矩阵对第N+1帧图像进行图像变换得到抖动补偿图像。
一种可选的实施方式,所述提取所述新的图像中相邻两帧图像的匹配特征点,包括:
通过角点检测算法提取所述相邻两帧图像的前一帧图像的特征点。可以通过FAST角点检测算法或Harris角点检测算法对相邻两帧图像的前一帧图像中的天空部分、陆地部分和船舶部分进行特征点提取,也可以通过其他合适的角点检测算法对前一帧图像的特征点进行提取,本申请不做具体限定。
基于所述前一帧图像的特征点,通过Lucas-Kanade光流算法得到所述相邻两帧图像的后一帧图像的特征点。利用Lucas-Kanade光流算法在相邻两帧图像的后一帧图像上找到与新的前一帧图像的特征点相对应的特征点,即为新的后一帧图像的特征点。
一种可选的实施方式,所述运动估计矩阵队列的长度为2N+1,N为正整数。一般通过防抖效果和计算时间来进行确定,例如,为了得到较好的防抖效果或者允许的较长的计算时间,N的取值可是适当扩大;如计算时间有限,可以将N的取值适当缩小,防抖效果会随之降低。在实际使用过程中,综合防抖效果和计算时间,N的取值一般为3-7,既可以有效控制计算时间,同时还能够得到较好的防抖效果。
一种可选的实施方式,还包括得到输出图像后,对所述运动估计矩阵队列和图像缓存区进行更新。对运动估计矩阵队列进行更新是去除2N+1个运动估计矩阵队列中的第一个运动估计矩阵,以第二个运动估计矩阵为起始进行新一轮的图像变换。对图像缓存区进行更是为了去除图像缓存区中的第一帧图像,以第二帧图像作为起始图像进行新一轮的图像变换。
举例说明,如图2所示,以某船舶瞭望系统的视频防抖为例说明上述适用于船舶的视频防抖方法的处理过程:
当得到启动视频防抖功能指令时,图像处理器使用ENet模型对缓存在图像缓存区中的第一帧图像和第二帧图像进行图像语义分割,将图像分割为天空部分、陆地部分、水面部分和船舶部分;之后将分割后的天空部分、陆地部分和船舶部分重组为新的相邻的两帧图像;通过FAST角点检测算法提取重组后前一帧图像的特征点;再根据重组后前一帧图像的特征点,利用Lucas-Kanade光流算法在重组后的后一帧图像上找出与前一帧图像的特征点相对应的特征点;通过重组后前一帧图像的特征点和重组后的后一帧图像的特征点得到一个单应矩阵作为第一个运动估计矩阵并存入运动估计矩阵队列中;之后再对图像缓存区中的第二帧和第三帧图像进行上述处理过程,依次类推直至运动估计矩阵队列存满;当运动估计矩阵存满之后,以运动估计矩阵队列的中间位置为中心,根据运动估计矩阵在队列中的分布位置,确定每个运动估计矩阵对应的高斯权重,使每个运动估计矩阵乘以各自对应的高斯权重,叠加后得到图像缓存区中间帧图像对应的平均运动估计矩阵,即为该帧图像对应的变换矩阵;通过变换矩阵对运动估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像,去除抖动补偿图像中的黑边,将抖动补偿图像放大回原图像的尺寸,得到输出图像,同时更新运动估计矩阵和图像缓存区。
本发明实施例所述的一种用于船舶的视频防抖系统,包括信号连接的图像采集终端和图像处理器,所述图像处理器包括:
图像处理模块,用于对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分,并分别去除所述所有图像的水面部分,得到新的图像;
特征点计算模块,用于提取所述新的图像中相邻两帧图像的匹配特征点;
变换矩阵计算模块,用于根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列,以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵;
图像补偿模块,用于通过所述变换矩阵对所述运动估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像;
图像输出模块,用于去除所述抖动补偿图像的黑边,并放大至所述中间帧图像的尺寸,得到输出图像。
一种可选的实施方式,所述特征点计算模块包括:
前一帧图像特征点计算模块,其通过角点检测算法提所述相邻两帧图像的前一帧图像的特征点。可以通过FAST角点检测算法或Harris角点检测算法对相邻两帧图像的前一帧图像中的天空部分、陆地部分和船舶部分进行特征点提取,也可以通过其他合适的角点检测算法对前一帧图像的特征点进行提取,本申请不做具体限定。
后一帧图像特征点计算模块,其根据所述前一帧图像的特征点,通过Lucas-Kanade光流算法,得到所述相邻两帧图像的后一帧图像的特征点。利用Lucas-Kanade光流算法在相邻两帧图像的后一帧图像上找到与新的前一帧图像的特征点相对应的特征点,即为新的后一帧图像的特征点。
一种可选的实施方式,所述运动估计矩阵队列的长度为2N+1,N为正整数。一般通过防抖效果和计算时间来进行确定,例如,为了得到较好的防抖效果或者允许的较长的计算时间,N的取值可是适当扩大;如计算时间有限,可以将N的取值适当缩小,防抖效果会随之降低。在实际使用过程中,综合防抖效果和计算时间,N的取值一般为3-7,既可以有效控制计算时间,同时还能够得到较好的防抖效果。
一种可选的实施方式,还包括得到输出图像后,对所述运动估计矩阵队列和图像缓存区进行更新。对运动估计矩阵队列进行更新是去除2N+1个运动估计矩阵队列中的第一个运动估计矩阵,以第二个运动估计矩阵为起始进行新一轮的图像变换。对图像缓存区进行更是为了去除图像缓存区中的第一帧图像,以第二帧图像作为起始图像进行新一轮的图像变换。
一种可选的实施方式,还包括:
路由器和显示终端;
所述图像采集终端通过所述路由器与所述图像处理器信号连接;
所述图像处理器通过所述路由器与所述显示终端信号连接。
举例说明,如图3所示,上述用于船舶系统的视频防抖系统包括摄像头、路由器、图像处理器和显示器。其中,摄像头用于获取图像,摄像头可以根据需求选用市场上单目、多目或者全景摄像头,摄像头根据捕捉图像的方位可以安装在船舶的船艏、船艉或船桥等位置上,本申请不做具体限定;路由器用于实现摄像头和图像处理器之间以及图像处理器与显示器之间的信号连接,摄像头采集的图像或视频通过路由器传输至图像处理其中,图像处理器运行防抖算法后,将防抖处理后的图像组播至网络中,通过路由器传输至显示器上予以显示;图像处理器可以适用各类服务器、台式机或微型计算器等。
本公开还涉及一种电子设备,包括服务器、终端等。该电子设备包括:至少一个处理器;与至少一个处理器通信连接的存储器;以及与存储介质通信连接的通信组件,所述通信组件在处理器的控制下接收和发送数据;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行以实现上述实施例中的用于船舶的视频防抖方法。
在一种可选的实施方式中,存储器作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述用于船舶的视频防抖方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中,当被一个或者多个处理器执行时,执行上述任意方法实施例中的用于船舶的视频防抖方法。
上述产品可执行本申请实施例所提供的人用于船舶的视频防抖方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的用于船舶的视频防抖方法。
本公开还涉及一种计算机可读存储介质,用于存储计算机可读程序,所述计算机可读程序用于供计算机执行上述部分或全部的用于船舶的视频防抖方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
此外,本领域普通技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解,尽管已经参考示例性实施例描述了本发明,但是在不脱离本发明的范围的情况下,可进行各种改变并可用等同物替换其元件。另外,在不脱离本发明的实质范围的情况下,可进行许多修改以使特定情况或材料适应本发明的教导。因此,本发明不限于所公开的特定实施例,而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (10)

1.一种用于船舶的视频防抖方法,其特征在于,所述方法包括:
对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分;
分别去除所述所有图像的水面部分,得到新的图像;
提取所述新的图像中相邻两帧图像的匹配特征点,并根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列;
以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵;
通过所述变换矩阵对所述估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像;
去除所述抖动补偿图像的黑边,并放大至所述中间帧图像的尺寸,得到输出图像。
2.根据权利要求1所述的方法,其特征在于,所述提取所述新的图像中相邻两帧图像的匹配特征点,包括:
通过角点检测算法提取所述相邻两帧图像的前一帧图像的特征点;
基于所述前一帧图像的特征点,通过Lucas-Kanade光流算法得到所述相邻两帧图像的后一帧图像的特征点。
3.根据权利要求1所述的方法,其特征在于,所述运动估计矩阵队列的长度为2N+1,N为正整数。
4.根据权利要求1所述的方法,其特征在于,还包括得到输出图像后,对所述运动估计矩阵队列和图像缓存区进行更新。
5.一种用于船舶的视频防抖系统,包括信号连接的图像采集终端和图像处理器,其特征在于,所述图像处理器包括:
图像处理模块,用于对图像缓存区中的所有图像分别进行语义分割,得到天空部分、陆地部分、水面部分和船舶部分,并分别去除所述所有图像的水面部分,得到新的图像;
特征点计算模块,用于提取所述新的图像中相邻两帧图像的匹配特征点;
变换矩阵计算模块,用于根据提取出的特征点确定所述相邻两帧图像变换的单应矩阵,所述单应矩阵作为一个运动估计矩阵,得到包括多个运动估计矩阵的运动估计矩阵队列,以所述运动估计矩阵队列的中间位置为中心,基于所述运动估计矩阵队列中各个运动估计矩阵的高斯权重,得到平均运动估计矩阵,作为变换矩阵;
图像补偿模块,用于通过所述变换矩阵对所述运动估计矩阵队列的中间位置对应的中间帧图像进行图像变换,得到抖动补偿图像;
图像输出模块,用于去除所述抖动补偿图像的黑边,并放大至所述中间帧图像的尺寸,得到输出图像。
6.根据权利要求5所述的系统,其特征在于,所述特征点计算模块包括:
前一帧图像特征点计算模块,其通过角点检测算法提所述相邻两帧图像的前一帧图像的特征点;
后一帧图像特征点计算模块,其根据所述前一帧图像的特征点,通过Lucas-Kanade光流算法,得到所述相邻两帧图像的后一帧图像的特征点。
7.根据权利要求5所述的系统,其特征在于,所述运动估计矩阵队列的长度为2N+1,N为正整数。
8.根据权利要求5所述的系统,其特征在于,还包括:
路由器和显示终端;
所述图像采集终端通过所述路由器与所述图像处理器信号连接;
所述图像处理器通过所述路由器与所述显示终端信号连接。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被处理器执行以实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行以实现如权利要求1-4中任一项所述的方法。
CN202111514018.XA 2021-12-13 2021-12-13 一种用于船舶的视频防抖方法和系统 Active CN113923369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111514018.XA CN113923369B (zh) 2021-12-13 2021-12-13 一种用于船舶的视频防抖方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111514018.XA CN113923369B (zh) 2021-12-13 2021-12-13 一种用于船舶的视频防抖方法和系统

Publications (2)

Publication Number Publication Date
CN113923369A true CN113923369A (zh) 2022-01-11
CN113923369B CN113923369B (zh) 2022-03-15

Family

ID=79248621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111514018.XA Active CN113923369B (zh) 2021-12-13 2021-12-13 一种用于船舶的视频防抖方法和系统

Country Status (1)

Country Link
CN (1) CN113923369B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629988A (en) * 1993-06-04 1997-05-13 David Sarnoff Research Center, Inc. System and method for electronic image stabilization
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN104517292A (zh) * 2014-12-25 2015-04-15 杭州电子科技大学 基于平面单应矩阵约束的多摄像机高密度人群分割方法
CN104796580A (zh) * 2014-01-16 2015-07-22 北京亿羽舜海科技有限公司 一种基于选择集成的实时稳像视频巡检系统
CN106550174A (zh) * 2016-10-28 2017-03-29 大连理工大学 一种基于单应性矩阵的实时视频稳像方法
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629988A (en) * 1993-06-04 1997-05-13 David Sarnoff Research Center, Inc. System and method for electronic image stabilization
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN104796580A (zh) * 2014-01-16 2015-07-22 北京亿羽舜海科技有限公司 一种基于选择集成的实时稳像视频巡检系统
CN104517292A (zh) * 2014-12-25 2015-04-15 杭州电子科技大学 基于平面单应矩阵约束的多摄像机高密度人群分割方法
CN106550174A (zh) * 2016-10-28 2017-03-29 大连理工大学 一种基于单应性矩阵的实时视频稳像方法
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法

Also Published As

Publication number Publication date
CN113923369B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
US9615039B2 (en) Systems and methods for reducing noise in video streams
US8891625B2 (en) Stabilization method for vibrating video frames
Zhong et al. Towards rolling shutter correction and deblurring in dynamic scenes
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US11436440B2 (en) Method and system for DNN based imaging
US10600158B2 (en) Method of video stabilization using background subtraction
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
US20180070013A1 (en) Method and system for stabilizing video frames
CA3172605A1 (en) Video jitter detection method and device
CN109949234B (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
Gao et al. Atmospheric turbulence removal using convolutional neural network
WO2014069103A1 (ja) 画像処理装置
Kejriwal et al. A hybrid filtering approach of digital video stabilization for UAV using kalman and low pass filter
CN113905147A (zh) 一种船用监控视频画面去抖方法、装置以及存储介质
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
CN111213179A (zh) 一种图像数据处理方法、装置及系统
Xue Blind image deblurring: a review
CN113923369B (zh) 一种用于船舶的视频防抖方法和系统
CN107734294A (zh) 监控图像复原系统及方法
CN117014726A (zh) 基于多角度处理的视频稳像方法及系统
CN112465728B (zh) 视频图像处理方法、系统、电子设备及存储介质
Vlahović et al. Deep learning in video stabilization homography estimation
US20240029386A1 (en) Video stitching method and system
EP1876564B1 (en) Image processing device, image processing method, and information terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant