CN109089015A - 视频防抖显示方法及装置 - Google Patents

视频防抖显示方法及装置 Download PDF

Info

Publication number
CN109089015A
CN109089015A CN201811120356.3A CN201811120356A CN109089015A CN 109089015 A CN109089015 A CN 109089015A CN 201811120356 A CN201811120356 A CN 201811120356A CN 109089015 A CN109089015 A CN 109089015A
Authority
CN
China
Prior art keywords
video image
pixel
frame video
transformation matrix
affine transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811120356.3A
Other languages
English (en)
Other versions
CN109089015B (zh
Inventor
陈烨炜
王旭
张伟
洪炜冬
许清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201811120356.3A priority Critical patent/CN109089015B/zh
Publication of CN109089015A publication Critical patent/CN109089015A/zh
Application granted granted Critical
Publication of CN109089015B publication Critical patent/CN109089015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Abstract

本申请提供一种视频防抖显示方法及装置,应用于显示设备,所述方法包括:对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点;将当前帧视频图像中的角点与上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵;根据多个仿射变换矩阵对当前帧视频图像的每个像素点对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对当前帧视频图像中对应像素点进行矩阵变换,得到与当前帧视频图像对应的目标帧视频图像;将目标帧视频图像进行显示,以实现视频防抖显示。所述方法实现成本低,无需性能极好的硬件支持,可进行效果良好的视频防抖显示。

Description

视频防抖显示方法及装置
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种视频防抖显示方法及装置。
背景技术
现有的显示设备(例如,摄像机、智能手机等)在对视频进行显示的过程中,通常有两种方式来实现视频防抖显示。其中一种方式是通过显示设备上安装的陀螺仪检测每一帧视频图像的抖动程度,并相应地对每帧视频图像进行画面补偿,对抖动的视频图像进行移动以达到视频平滑的效果,从而实现防抖显示。这种方式需要依赖于硬件的支持,要求硬件具有极好的性能,实现成本较高。而另一种方式是对每帧视频图像的特征点进行匹配以针对每帧视频图像计算出一个变换矩阵,再根据多帧视频图像各自对应的变换矩阵求均值后得到的平均变化均值对视频进行平滑处理,以实现视频防抖显示。这种方式实现简单且实现成本低,但防抖显示效果较差。
发明内容
为了克服现有技术中的上述不足,本申请的目的在于提供一种视频防抖显示方法及装置,所述视频防抖显示方法实现成本低,无需性能极好的硬件支持,并能够达到良好的视频防抖显示效果。
就方法而言,本申请实施例提供一种视频防抖显示方法,应用于显示设备,所述方法包括:
对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点;
将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵;
根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像,其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成;
将所述目标帧视频图像进行显示,以实现视频防抖显示。
可选地,在本申请实施例中,上述将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对的步骤包括:
根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算;
针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
可选地,在本申请实施例中,上述根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算的步骤包括:
针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重;
根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
可选地,在本申请实施例中,上述计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重的步骤包括:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
可选地,在本申请实施例中,上述根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵的步骤包括:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
就装置而言,本申请实施例提供一种视频防抖显示装置,应用于于显示设备,所述装置包括:
角点检测模块,用于对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点;
匹配计算模块,用于将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵;
像素变换模块,用于根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像,其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成;
图像显示模块,用于将所述目标帧视频图像进行显示,以实现视频防抖播放。
可选地,在本申请实施例中,上述匹配计算模块具体用于:
根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算;
针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
可选地,在本申请实施例中,上述像素变换模块包括:
权重计算子模块,用于针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重;
矩阵计算子模块,用于根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
可选地,在本申请实施例中,上述权重计算子模块具体用于:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
可选地,在本申请实施例中,上述矩阵计算子模块具体用于:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
相对于现有技术而言,本申请实施例提供的视频防抖显示方法及装置具有以下有益效果:所述视频防抖显示方法实现成本低,无需性能极好的硬件支持,并能够达到良好的视频防抖显示效果。首先,所述方法通过对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点。接着,所述方法将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵。然后,所述方法根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像。最后,所述方法通过将所述目标帧视频图像进行显示,以实现效果良好的视频防抖显示,并确保所述当前帧视频图像中各放射变换矩阵对应区域内的像素点在所述目标帧图像中映射显示时也能保持在稳定显示状态。其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成,即所述当前帧视频图像中每个像素点在所述目标帧视频图像中都存在匹配的用于映射显示的目标像素点。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举本申请较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对本申请权利要求保护范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的显示设备的一种方框示意图。
图2为本申请实施例提供的视频防抖显示方法的流程示意图。
图3为图2中所示的步骤S220包括的子步骤的流程示意图。
图4为图2中所示的步骤S230包括的子步骤的流程示意图。
图5为本申请实施例提供的图1中所示的视频防抖显示装置的方框示意图。
图6为图5中所示的像素变换模块的方框示意图。
图标:10-显示设备;11-存储器;12-处理器;13-通信单元;14-显示单元;100-视频防抖显示装置;110-角点检测模块;120-匹配计算模块;130-像素变换模块;131-权重计算子模块;132-矩阵计算子模块;140-图像显示模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,是本申请实施例提供的显示设备10的一种方框示意图。在本申请实施例中,所述显示设备10能够对视频进行效果良好的防抖显示,其中所述视频可以是由所述显示设备10通过摄像器件拍摄的视频,也可以是由所述显示设备10从其他电子设备处获取到的视频。其中,所述显示设备10可以是,但不限于,摄像机、智能手机、个人电脑(personalcomputer,PC)、平板电脑、个人数字助理(personal digital assistant,PDA)、移动上网设备(mobile Internet device,MID)等。在本实施例的一种实施方式中,所述显示设备10为智能手机。
在本实施例中,所述显示设备10包括视频防抖显示装置100、存储器11、处理器12、通信单元13及显示单元14。所述存储器11、处理器12、通信单元13及显示单元14各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中,所述存储器11可用于存储所述显示设备10进行播放显示的视频所包括的各帧视频图像。在本实施例中,所述存储器11还可以存储程序,所述处理器12在接收到执行指令后,可相应地执行所述程序。
在本实施例中,所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中,所述通信单元13用于通过网络建立所述显示设备10与其他外部设备之间的通信连接,并通过所述网络收发数据。
在本实施例中,所述显示单元14包括显示屏,所述显示单元14通过所述显示屏对视频图像进行显示。
在本实施例中,所述视频防抖显示装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述显示设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块,例如所述视频防抖显示装置100所包括的软件功能模块及计算机程序等。所述显示设备10通过所述视频防抖显示装置100对所述存储器11中存储的视频的待显示的当前帧视频图像进行防抖显示处理,以使所述显示单元14对与所述当前帧视频图像匹配的目标帧视频图像进行显示,从而针对所述当前帧视频图像实现效果良好的防抖显示。其中所述视频防抖显示装置100可确保所述当前帧视频图像中各放射变换矩阵对应区域内的像素点在所述目标帧图像中映射显示时也能保持在稳定显示状态,所述目标帧视频图像中的每个像素点为所述当前帧视频图像中每个像素点经各放射变换矩阵进行防抖显示处理后对应得到的用于映射显示的目标像素点,所述目标帧视频图像的具体内容与所述当前帧视频图像的具体内容相互匹配。
可以理解的是,图1所示的框图仅为显示设备10的一种结构组成示意图,所述显示设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,是本申请实施例提供的视频防抖显示方法的流程示意图。在本申请实施例中,所述视频防抖显示方法实现成本低,无需性能极好的硬件支持,并能够达到良好的视频防抖显示效果。所述视频防抖显示方法应用于上述的显示设备10,下面对图2所示的视频防抖显示方法的具体流程和步骤进行详细阐述。
步骤S210,对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点。
在本实施例中,所述显示设备10通过对视图窗口中视频图像的各像素点在该视图窗口发生滑动偏移时的灰度值变化情况进行检测的方式,对该视频图像中用于表示该视频图像特征的角点进行获取,得到该视频图像对应的角点。所述显示设备10在针对待显示的当前帧视频图像进行防抖显示时,需通过上述方式对所述当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点。
步骤S220,将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵。
在本实施例中,每个角点对所对应的仿射变换矩阵用于表示所述上一帧视频图像中的角点坐标与所述当前帧视频图像中对应的角点坐标之间的位置变换关系,每个仿射变换矩阵在所述当前帧视频图像中均对应有一个像素区域,该像素区域内的像素点在转换为目标帧视频图像中的对应目标像素点时的位置变换关系,与该仿射变换矩阵的关联性最强。
可选地,请参照图3,是图2中所示的步骤S220包括的子步骤的流程示意图。在本实施例中,所述步骤S220中的将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对的步骤包括子步骤S221及子步骤S222。
子步骤S221,根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算。
子步骤S222,针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
在本实施例中,所述上一帧视频图像中各角点周围的像素点在所述当前帧视频图像对应目标角点周围必定存在与该像素点之间的欧式距离最小的像素点,所述显示设备10可通过上述步骤对两帧视频图像进行像素点聚类,以在所述当前帧视频图像中针对每个仿射变换矩阵各自对应的像素区域进行划分。
步骤S230,根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像。
在本实施例中,所述目标帧视频图像由所述当前帧视频图像中每个像素点经多个仿射变换矩阵联合得到的目标变换矩阵变换后的目标像素点组成,即所述当前帧视频图像中各放射变换矩阵对应区域内的像素点在所述目标帧视频图像中均对应有一个能够在进行图像显示时保持在稳定稳定显示状态的目标像素点。所述显示设备10通过对所述当前帧视频图像中每个像素点进行多个仿射变换矩阵联合变换,并显示输出与该当前帧视频图像匹配的目标帧视频图像的方式,实现视频防抖显示。
可选地,请参照图4,是图2中所示的步骤S230包括的子步骤的流程示意图。在本实施例中,所述步骤S230中的根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算的步骤包括子步骤S231及子步骤S232。
子步骤S231,针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重。
在本实施例中,所述显示设备10通过对所述当前帧视频图像中每个像素点与各仿射变换矩阵之间的欧式距离,得到各仿射变换矩阵在每个像素点处对应的矩阵权重,其中所述计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重的步骤包括:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
子步骤S232,根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
在本实施例中,所述显示设备10会针对所述当前帧视频图像中每个像素点计算该像素点匹配的目标变换矩阵,并通过对应目标变换举证对该像素点进行矩阵变换,得到该像素点在目标帧视频图像中的目标像素点。其中所述根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵的步骤包括:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
请再次参照图2,步骤S240,将所述目标帧视频图像进行显示,以实现视频防抖显示。
在本实施例中,所述显示设备10通过在所述显示单元14的显示屏上将得到的所述目标帧视频图像对待显示的所述当前帧视频图像进行替换显示的方式,实现效果良好的防抖显示,并确保所述当前帧视频图像中各放射变换矩阵对应区域内的像素点在所述目标帧图像中映射显示时也能保持在稳定显示状态。
请参照图5,是本申请实施例提供的图1中所示的视频防抖显示装置100的方框示意图。在本申请实施例中,所述视频防抖显示装置100包括角点检测模块110、匹配计算模块120、像素变换模块130及图像显示模块140。
所述角点检测模块110,用于对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点。
在本实施例中,所述角点检测模块110可以执行图2中的步骤S210,具体的描述可参照上文中对步骤S210的详细描述。
所述匹配计算模块120,用于将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵。
在本实施例中,所述匹配计算模块120具体用于:
根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算;
针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
其中,所述匹配计算模块120可以执行图2中的步骤S220以及图3中的子步骤S221及子步骤S222,具体的描述可参照上文中对步骤S220、子步骤S221及子步骤S222的详细描述。
所述像素变换模块130,用于根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像,其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成。
请参照图6,是图5中所示的像素变换模块130的方框示意图。在本实施例中,所述像素变换模块130包括权重计算子模块131及矩阵计算子模块132。
所述权重计算子模块131,用于针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重。
在本实施例中,所述权重计算子模块131具体用于:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
所述矩阵计算子模块132,用于根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
在本实施例中,所述矩阵计算子模块132具体用于:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
请再次参照图5,所述图像显示模块140,用于将所述目标帧视频图像进行显示,以实现视频防抖播放。
在本实施例中,所述图像显示模块140可以执行图2中所示的步骤S240,具体的执行过程可参照上文中对步骤S240的详细描述。
综上所述,在本申请例提供的视频防抖显示方法及装置中,所述视频防抖显示方法实现成本低,无需性能极好的硬件支持,并能够达到良好的视频防抖显示效果。首先,所述方法通过对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点。接着,所述方法将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵。然后,所述方法根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像。最后,所述方法通过将所述目标帧视频图像进行显示,以实现效果良好的视频防抖显示,并确保所述当前帧视频图像中各放射变换矩阵对应区域内的像素点在所述目标帧图像中映射显示时也能保持在稳定显示状态。其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成,即所述当前帧视频图像中每个像素点在所述目标帧视频图像中都存在匹配的用于映射显示的目标像素点。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频防抖显示方法,其特征在于,应用于显示设备,所述方法包括:
对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点;
将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵;
根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像,其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成;
将所述目标帧视频图像进行显示,以实现视频防抖显示。
2.根据权利要求1所述的方法,其特征在于,所述将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对的步骤包括:
根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算;
针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
3.根据权利要求1所述的方法,其特征在于,所述根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算的步骤包括:
针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重;
根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
4.根据权利要求3所述的方法,其特征在于,所述计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重的步骤包括:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
5.根据权利要求3或4所述的方法,其特征在于,所述根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵的步骤包括:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
6.一种视频防抖显示装置,其特征在于,应用于显示设备,所述装置包括:
角点检测模块,用于对待显示的当前帧视频图像及已显示的上一帧视频图像进行角点检测,得到两帧视频图像各自对应的角点;
匹配计算模块,用于将所述当前帧视频图像中的角点与所述上一帧视频图像中的角点进行角点匹配,得到匹配的多个角点对,并计算每个角点对所对应的仿射变换矩阵;
像素变换模块,用于根据得到的多个仿射变换矩阵对所述当前帧视频图像的每个像素点各自对应的目标变换矩阵进行计算,并以计算得到的目标变换矩阵对所述当前帧视频图像中对应像素点进行矩阵变换,得到与所述当前帧视频图像对应的目标帧视频图像,其中所述目标帧视频图像由所述当前帧视频图像中每个像素点经矩阵变换后对应得到的目标像素点组成;
图像显示模块,用于将所述目标帧视频图像进行显示,以实现视频防抖播放。
7.根据权利要求6所述的装置,其特征在于,所述匹配计算模块具体用于:
根据光流金字塔算法对所述当前帧视频图像中每个角点与所述上一帧视频图像中每个角点之间的欧氏距离进行计算;
针对所述当前帧视频图像中的每个角点,在所述上一帧视频图像中选取对应欧式距离最小的角点作为与所述当前帧视频图像中的该角点匹配的目标角点,得到多个角点对。
8.根据权利要求6所述的装置,其特征在于,所述像素变换模块包括:
权重计算子模块,用于针对所述当前帧视频图像中每个像素点,计算多个所述仿射变换矩阵各自在该像素点处对应的矩阵权重;
矩阵计算子模块,用于根据多个所述仿射变换矩阵及各所述仿射变换矩阵在该像素点处对应的矩阵权重,计算得到该像素点对应的目标变换矩阵。
9.根据权利要求8所述的装置,其特征在于,所述权重计算子模块具体用于:
对每个仿射变换矩阵与该像素点之间的欧式距离进行计算,得到每个仿射变换矩阵在该像素点处对应的欧式距离;
将每个仿射变换矩阵对应的欧式距离与所有仿射变换矩阵在该像素点处的欧式距离之和进行比值运算,得到每个仿射变换矩阵在该像素点处对应的矩阵权重。
10.根据权利要求8或9所述的装置,其特征在于,所述矩阵计算子模块具体用于:
将每个所述仿射变换矩阵及该仿射变换矩阵在该像素点处对应的矩阵权重进行乘积运算,得到该仿射变换矩阵在所述像素点对应的所述目标变换矩阵处的分量矩阵;
将所有仿射变换矩阵各自在所述像素点对应的所述目标变换矩阵处的分量矩阵进行相加运算,得到该像素点对应的所述目标变换矩阵。
CN201811120356.3A 2018-09-19 2018-09-19 视频防抖显示方法及装置 Active CN109089015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811120356.3A CN109089015B (zh) 2018-09-19 2018-09-19 视频防抖显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811120356.3A CN109089015B (zh) 2018-09-19 2018-09-19 视频防抖显示方法及装置

Publications (2)

Publication Number Publication Date
CN109089015A true CN109089015A (zh) 2018-12-25
CN109089015B CN109089015B (zh) 2020-12-22

Family

ID=64842440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811120356.3A Active CN109089015B (zh) 2018-09-19 2018-09-19 视频防抖显示方法及装置

Country Status (1)

Country Link
CN (1) CN109089015B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059605A (zh) * 2019-04-10 2019-07-26 厦门美图之家科技有限公司 一种神经网络训练方法、计算设备及存储介质
CN112565605A (zh) * 2020-12-02 2021-03-26 维沃移动通信有限公司 图像显示方法、装置和电子设备
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN113923340A (zh) * 2020-07-09 2022-01-11 武汉Tcl集团工业研究院有限公司 一种视频处理方法、终端以及存储介质
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115209031A (zh) * 2021-04-08 2022-10-18 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729763A (zh) * 2009-12-15 2010-06-09 中国科学院长春光学精密机械与物理研究所 数字视频电子稳像方法
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电(苏州)有限公司 基于红外热像仪的电子稳像方法
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、系统及拍摄终端
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端
CN107241544A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 视频稳像方法、装置及摄像终端
US20180084196A1 (en) * 2012-11-12 2018-03-22 Omni Ai, Inc. Image stabilization techniques for video surveillance systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729763A (zh) * 2009-12-15 2010-06-09 中国科学院长春光学精密机械与物理研究所 数字视频电子稳像方法
US20180084196A1 (en) * 2012-11-12 2018-03-22 Omni Ai, Inc. Image stabilization techniques for video surveillance systems
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电(苏州)有限公司 基于红外热像仪的电子稳像方法
CN107241544A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 视频稳像方法、装置及摄像终端
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、系统及拍摄终端
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUIXUAN FU 等: "Electronic image stabilization based on SIFT corner detection", 《2017 36TH CHINESE CONTROL CONFERENCE (CCC)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059605A (zh) * 2019-04-10 2019-07-26 厦门美图之家科技有限公司 一种神经网络训练方法、计算设备及存储介质
CN113923340A (zh) * 2020-07-09 2022-01-11 武汉Tcl集团工业研究院有限公司 一种视频处理方法、终端以及存储介质
CN113923340B (zh) * 2020-07-09 2023-12-29 武汉Tcl集团工业研究院有限公司 一种视频处理方法、终端以及存储介质
CN112565605A (zh) * 2020-12-02 2021-03-26 维沃移动通信有限公司 图像显示方法、装置和电子设备
CN115209031A (zh) * 2021-04-08 2022-10-18 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质
CN115209031B (zh) * 2021-04-08 2024-03-29 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN113794842B (zh) * 2021-11-16 2022-02-08 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115049698B (zh) * 2022-08-17 2022-11-04 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置

Also Published As

Publication number Publication date
CN109089015B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN109089015A (zh) 视频防抖显示方法及装置
US10924729B2 (en) Method and device for calibration
US20210019912A1 (en) Dynamic detection and correction of light field camera array miscalibration
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
CN107621932B (zh) 显示图像的局部放大方法和装置
US11423510B2 (en) System and method for providing dolly zoom view synthesis
US20200126315A1 (en) Method and apparatus for generating information
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN113256742B (zh) 界面展示方法、装置、电子设备和计算机可读介质
CN111325792B (zh) 用于确定相机位姿的方法、装置、设备和介质
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN114742866A (zh) 图像配准方法、装置、存储介质及电子设备
CN112634366B (zh) 位置信息的生成方法、相关装置及计算机程序产品
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
US11120269B2 (en) Method and apparatus for determining target rotation direction, computer readable medium and electronic device
US20090180033A1 (en) Frame rate up conversion method and apparatus
CN115393423A (zh) 目标检测方法和装置
CN111223105B (zh) 图像处理方法和装置
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
CN111815683B (zh) 目标定位方法及装置、电子设备和计算机可读介质
CN113643350B (zh) 在视频画面上进行立体测量的方法、装置、终端设备
US11176682B2 (en) Enhanced optical flow estimation using a varied scan order
US20230254437A1 (en) Perspective de-skewing of electronic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant