CN115705651A - 视频运动估计方法、装置、设备和计算机可读存储介质 - Google Patents
视频运动估计方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115705651A CN115705651A CN202110902554.0A CN202110902554A CN115705651A CN 115705651 A CN115705651 A CN 115705651A CN 202110902554 A CN202110902554 A CN 202110902554A CN 115705651 A CN115705651 A CN 115705651A
- Authority
- CN
- China
- Prior art keywords
- video frame
- point
- motion estimation
- feature point
- target video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种视频运动估计方法、装置、设备和计算机可读存储介质，该方法包括：针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。本申请的基准特征点的位置相较于参照特征点来说，更接近运动后的参照特征点的位置，基于该基准特征点对参照特征点进行光流运动估计，实现了针对于视频的更为稳定、精度更高的运动估计。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种视频运动估计方法、装置、设备和计算机可读存储介质。
背景技术
现今，对于面向广大用户推出的终端设备，或者说用户设备(User Equipment，UE)，在设备上一般可配置有摄像头，以提供设备的摄像功能，甚至的，部分UE上还配置了多个的摄像头以形成摄像头矩阵来提高摄像清晰度等成像质量。
用户可通过设备上的摄像头，完成个人自拍，或者拍摄其他期望拍摄的视野，摄像头拍摄到的图像，可以为单张图片，也可以为视频，例如，当工作人员通过个人数字助理(Personal Digital Assistance，PDA)进行办公时，可通过PDA上的摄像头，拍摄工作现场的视频。
而在现有的相关技术的研究过程中，发明人发现，当对视频进行防抖动处理或者说视频稳定处理时，存在防抖动效果不稳定的情况，也就是说，现有的防抖动处理机制或运动估计机制，存在运动估计精度不高的情况，对于存在复杂抖动情况或较大旋转情况的视频，难以满足用户的防抖动需求。
发明内容
本申请提供了一种视频运动估计方法、装置、设备和计算机可读存储介质，旨在解决现有技术中对于视频的防抖动处理机制或运动估计机制，存在运动估计精度不高、防抖动效果不稳定的问题。
第一方面，本申请提供了一种视频运动估计方法，该视频运动估计方法包括：
针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；
在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；
根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。
在本申请一种可能的实现方式中，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点，包括：
对目标视频帧对应的角运动参数进行姿态解算，得到旋转矩阵；
根据旋转矩阵与相机内参矩阵，确定目标视频帧对应的拍摄旋转变换矩阵；其中，相机内参矩阵与待处理视频相关联的拍摄设备相对应，相机内参矩阵是表征空间坐标变换为平面坐标的一个参数矩阵；
根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一种可能的实现方式中，根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点，包括：
根据相机内参矩阵的转置矩阵，将参照特征点从平面坐标系映射到空间坐标系，得到第一映射点；
根据旋转矩阵对第一映射点进行旋转变换处理，得到空间坐标系中与第一映射点相对应的第二映射点；
根据相机内参矩阵将第二映射点从空间坐标系映射到平面坐标系，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一种可能的实现方式中，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果，包括：
以基准特征点为中心，根据预设的搜索范围，在目标视频帧中搜索像素值与参照特征点的像素值相等的特征点；
将像素值与参照特征点的像素值相等的特征点作为目标视频帧中与参照特征点相匹配的目标特征点；
根据目标特征点和参照特征点，得到目标视频帧的运动估计结果。
在本申请一种可能的实现方式中，根据目标特征点和参照特征点，得到目标视频帧的运动估计结果，包括：
根据目标特征点的坐标和参照特征点的坐标，确定目标特征点相对于参照特征点的移动距离；
根据移动距离，得到目标视频帧的运动估计结果。
在本申请一种可能的实现方式中，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果之后，视频运动估计方法还包括：
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
根据目标特征点和对比特征点，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，根据目标特征点和对比特征点，判断参照特征点是否为前景特征点，包括：
根据参照特征点的坐标和目标特征点的坐标，得到第一位移数据；
根据参照特征点的坐标和对比特征点的坐标，得到第二位移数据；
根据第一位移数据和第二位移数据，判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若第二位移数据大于预设第一倍数的第一位移数据，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，根据目标特征点和对比特征点，判断参照特征点是否为前景特征点，包括：
计算目标特征点和对比特征点两者之间的欧氏距离；
根据欧式距离判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若欧式距离大于预设第一阈值，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果之后，视频运动估计方法还包括：
获取与目标视频帧相邻的前N个视频帧各自分别对应的N个角运动参数，分别根据N个角运动参数确定目标视频帧中的N个参考特征点；其中，N个参考特征点中的第i个参考特征点是根据N个角运动参数中的第i个角运动参数对参照特征点进行位置变换得到的一个点，第i个角运动参数是目标视频帧相邻的前第i个视频帧对应的角运动参数，N为大于0的正整数，i为大于0且小于或者等于N的正整数；
在目标视频帧中，分别基于N个参考特征点对参照特征点进行光流运动估计，得到目标视频帧中分别与参照特征点相匹配的N个匹配特征点；
根据参照特征点的坐标和N个匹配特征点的坐标，得到参照特征点对应的N个位移数据，将N个位移数据中满足预设条件的一个位移数据作为第三位移数据；
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
根据参照特征点的坐标和对比特征点的坐标，得到第四位移数据；
根据第三位移数据和第四位移数据，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
第二方面，本申请提供了一种视频运动估计装置，该视频运动估计装置包括：
特征点确定模块，用于针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；
运动估计模块，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；
结果确定模块，用于根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。
在本申请一种可能的实现方式中，特征点确定模块具体用于：
对目标视频帧对应的角运动参数进行姿态解算，得到旋转矩阵；
根据旋转矩阵与相机内参矩阵，确定目标视频帧对应的拍摄旋转变换矩阵；其中，相机内参矩阵与待处理视频相关联的拍摄设备相对应，相机内参矩阵是表征空间坐标变换为平面坐标的一个参数矩阵；
根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一种可能的实现方式中，特征点确定模块具体还用于：
根据相机内参矩阵的转置矩阵，将参照特征点从平面坐标系映射到空间坐标系，得到第一映射点；
根据旋转矩阵对第一映射点进行旋转变换处理，得到空间坐标系中与第一映射点相对应的第二映射点；
根据相机内参矩阵将第二映射点从空间坐标系映射到平面坐标系，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一种可能的实现方式中，运动估计模块具体用于：
以基准特征点为中心，根据预设的搜索范围，在目标视频帧中搜索像素值与参照特征点的像素值相等的特征点；
将像素值与参照特征点的像素值相等的特征点作为目标视频帧中与参照特征点相匹配的目标特征点；
根据目标特征点和参照特征点，得到目标视频帧的运动估计结果。
在本申请一种可能的实现方式中，运动估计模块具体还用于：
根据目标特征点的坐标和参照特征点的坐标，确定目标特征点相对于参照特征点的移动距离；
根据移动距离，得到目标视频帧的运动估计结果。
在本申请一种可能的实现方式中，视频运动估计装置还包括优化模块；
运动估计模块还用于对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
优化模块用于根据目标特征点和对比特征点，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，优化模块具体还用于：
根据参照特征点的坐标和目标特征点的坐标，得到第一位移数据；
根据参照特征点的坐标和对比特征点的坐标，得到第二位移数据；
根据第一位移数据和第二位移数据，判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若第二位移数据大于预设第一倍数的第一位移数据，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，优化模块具体还用于：
计算目标特征点和对比特征点两者之间的欧氏距离；
根据欧式距离判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若欧式距离大于预设第一阈值，则删除参照特征点，得到优化图像。
在本申请一种可能的实现方式中，特征点确定模块具体还用于获取与目标视频帧相邻的前N个视频帧各自分别对应的N个角运动参数，分别根据N个角运动参数确定目标视频帧中的N个参考特征点；其中，N个参考特征点中的第i个参考特征点是根据N个角运动参数中的第i个角运动参数对参照特征点进行位置变换得到的一个点，第i个角运动参数是目标视频帧相邻的前第i个视频帧对应的角运动参数，N为大于0的正整数，i为大于0且小于或者等于N的正整数；
运动估计模块具体还用于在目标视频帧中，分别基于N个参考特征点对参照特征点进行光流运动估计，得到目标视频帧中分别与参照特征点相匹配的N个匹配特征点；以及
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
优化模块具体还用于根据参照特征点的坐标和N个匹配特征点的坐标，得到参照特征点对应的N个位移数据，将N个位移数据中满足预设条件的一个位移数据作为第三位移数据；以及
根据参照特征点的坐标和对比特征点的坐标，得到第四位移数据；
根据第三位移数据和第四位移数据，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
第三方面，本申请还提供了一种视频运动估计设备，该视频运动估计设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本申请第一方面或者本申请第一方面任一种可能的实现方式提供的视频运动估计方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现本申请第一方面或者本申请第一方面任一种可能的实现方式提供的视频运动估计方法中的步骤。
从以上内容可得出，本申请具有以下的有益效果：
针对于视频中的运动估计，本申请首先根据目标视频帧对应的角运动参数确定基准特征点，该基准特征点是与参照视频帧中的参照特征点相对应的点，然后再基于该基准特征点对参照特征点进行光流运动估计，相较于现有技术直接根据参照特征点的坐标进行光流运动估计来说，由于基准特征点是根据目标视频帧对应的角运动参数确定的，因此，目标视频帧中基准特征点的位置相较于参照特征点来说，更贴近视频的运动轨迹，即基准特征点的位置更接近运动后的参照特征点的位置，然后再基于该基准特征点对参照特征点进行光流运动估计，便可以实现在较小的搜索范围内对参照特征点进行精准跟踪，如此便确保了对参照特征点的跟踪精度，提高了目标视频帧运动估计结果的精度，进而实现了针对于视频的更为稳定、精度更高的运动估计，从而可提高后续的视频防抖动效果。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对本申请描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的视频运动估计方法的一个流程示意图；
图2是本申请实施例中位置变换处理的一个场景示意图；
图3是本申请实施例中提供的视频运动估计装置的一个结构示意图；
图4是本申请实施例中提供的视频运动估计设备的一个结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请提供一种视频运动估计方法、装置、设备和计算机可读存储介质，以下分别进行详细说明。
本申请提供的视频运动估计方法、装置和计算机可读存储介质，可应用于视频运动估计设备上，用于为视频的防抖动处理，提供更为稳定、精度更高的运动估计，从而可提高后续的防抖动处理效果。
本申请提及的视频运动估计方法，其执行主体可以为视频运动估计装置，或者集成了该视频运动估计装置的服务器设备、物理主机或者UE等不同类型的视频运动估计设备，其中，视频运动估计装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者PDA等终端设备，另外，视频运动估计设备还可以以设备集群的形式配置。
首先，本申请提供一种视频运动估计方法，该视频运动估计方法可以包括：
针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。
请参阅图1，图1是本申请实施例中提供的视频运动估计方法的一个流程示意图。需要说明的是，虽然在流程示意图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本申请提供的视频运动估计方法，具体可包括如下步骤：
步骤S101、针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点。
步骤S102、在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；
步骤S103、在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果。
可以理解的，待处理视频即为需要进行运动估计的视频，对该待处理视频进行运动估计的目的可以是为了对该待处理视频进行视频稳化，即使待处理视频稳定、达到防抖动的效果。
本申请实施例中，待处理视频可以由若干连续的视频帧组成，对待处理视频进行运动估计，实际上可以分解为对待处理视频中的每一视频帧进行运动估计，然后将所有视频帧的运动估计结果结合起来，便可以得到针对于待处理视频的运动估计结果。
对于视频帧的运动估计，可以理解，一般是以视频帧中的特征点为单位进行的，对于相邻视频帧中都出现的同一个特征点，根据其运动数据如位移向量描述的运动情况，进行适当的变形，使其在视频帧中位置的波动趋于平缓，达到平滑效果，如此减少特征点的波动情况，达到待处理视频稳定、防抖动效果。
当针对待处理视频中的某一视频帧进行运动估计时，可以将该视频帧视为目标视频帧，而参照视频帧则可以是待处理视频中位于目标视频帧前方的视频帧，此处的位于目标视频帧前方可以理解为参照视频帧的拍摄时间早于目标视频帧，其中，参照视频帧可以是与目标视频帧相邻的前一视频帧，也可以是与目标视频帧之间相隔多个视频帧的视频帧。为了叙述的简便以及便于理解，本实施例以参照视频帧是与目标视频帧相邻的前一视频帧进行说明。
因此，对目标视频帧进行运动估计涉及到在参照视频帧和目标视频帧这两相邻视频帧中识别同一个的特征点，并对其进行运动估计，与此同时需要注意的是，在实际的运动估计处理过程中，可能会涉及到大量的特征点的处理，为便于理解本申请，下面则都以一特征点的运动估计处理进行说明。
参照特征点是参照视频帧中的一个特征点，对目标视频帧进行运动估计则是在目标视频帧中找到该参照特征点的位置，现有技术的运动估计方法是直接以参照特征点在参照视频帧中的位置为搜索中心，按照一定的搜索范围对目标视频帧中的参照特征点进行搜索，但是这种方法对于存在较大旋转运动的视频帧来说，可能会由于参照特征点运动到搜索范围之外，而导致无法在目标视频帧中找到正确的参照特征点。
基于此，本申请实施例根据目标视频帧对应的角运动参数，确定目标视频帧中与参照特征点相对应的基准特征点，该角运动参数可以是目标视频帧在拍摄时的一组旋转运动数据，而基准特征点则是根据角运动参数将参照特征点的位置进行旋转变换后得到的一个点。
可以理解的，本申请中的基准特征点由于已经根据角运动参数进行了一定的位置变换，因此，该基准特征点的位置相对于参照视频帧中参照特征点的位置来说，更接近运动后的参照特征点的位置。
然后再基于该基准特征点在目标视频帧中对参照特征点进行光流运动估计，即在目标视频帧中，以基准特征点的位置为搜索中心，按照一定的搜索范围搜索与参照特征点匹配的点，在光流运动估计中，此处所提及的与参照特征点匹配的点可以是像素值的大小与参照特征点的像素值相同的点，找到与该参照特征点匹配的点之后，便可以根据参照视频帧中参照特征点的位置和目标视频帧中与该参照特征点匹配的点的位置得到目标视频帧的运动估计结果，该运动估计结果可以是指参照特征点从参照视频帧到目标视频帧的位移数据。
可以理解的，基于上述的方法对每一目标视频帧进行处理，可以得到每一目标视频帧对应的运动估计结果，最后综合每一目标视频帧的运动估计结果便可以确定整个待处理视频的运动估计结果。
从上述图1所示实施例可看出，针对于视频中的运动估计，本申请首先根据目标视频帧对应的角运动参数确定基准特征点，该基准特征点是与参照视频帧中的参照特征点相对应的点，然后再基于该基准特征点对参照特征点进行光流运动估计，相较于现有技术直接根据参照特征点的坐标进行光流运动估计来说，由于基准特征点是根据目标视频帧对应的角运动参数确定的，因此，目标视频帧中基准特征点的位置相较于参照特征点来说，更贴近视频的运动轨迹，即基准特征点的位置更接近运动后的参照特征点的位置，然后再基于该基准特征点对参照特征点进行光流运动估计，便可以实现在较小的搜索范围内对参照特征点进行精准跟踪，如此便确保了对参照特征点的跟踪精度，提高了目标视频帧运动估计结果的精度，进而实现了针对于视频的更为稳定、精度更高的运动估计，从而可提高后续的视频防抖动效果。
继续对图1所示的各步骤以及在实际应用中可能采用的具体实施方式进行详细阐述：
在本申请实施例中，视频运动估计设备，可以是任意具有数据处理功能的设备，视频运动估计设备可以在对拍摄设备拍摄得到的视频进行视频稳定处理(防抖动处理)的过程中，通过本申请实施例提供的视频运动估计方法，提供强有力的运动数据即运动估计结果的数据支持。
当然，视频运动估计设备，也可以通过本申请提供的视频运动估计方法，为其他执行视频稳定处理的设备提供运动数据即运动估计结果的数据支持。
此外，视频运动估计设备，在实际应用中，还可以是拍摄视频的摄像设备本身，例如用户频繁使用的智能手机、平板电脑等。
由此可见，视频运动估计设备，其设备形式，可随实际应用中的具体应用场景进行适应性的调整，具体在此不做限定。
对于参照特征点的识别，可以理解为从参照视频帧中识别出的图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，例如可通过方向梯度直方图(Histogram ofOriented Gradient，HOG)特征点提取算法、局部二值模式(Local Binary Pattern，LBP)特征点提取算法、哈尔(Haar-like)特征点提取算法、角点检测(Features From AcceleratedSegment Test，FAST)特征点提取算法等进行参照视频帧中参照特征点的提取。
可以理解，本申请应用的参照特征点的提取算法，可以为现有技术中采用的算法，当然，在实际应用中也可对现有的提取算法进行优化改良。
在本申请一些实施例中，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点，可以进一步包括：
对目标视频帧对应的角运动参数进行姿态解算，得到旋转矩阵；根据旋转矩阵与相机内参矩阵，确定目标视频帧对应的拍摄旋转变换矩阵；其中，相机内参矩阵与待处理视频相关联的拍摄设备相对应，相机内参矩阵是表征空间坐标变换为平面坐标的一个参数矩阵；根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点。
可以理解的，角运动参数是描述目标视频帧拍摄时的角运动的参数，此处，角运动可以指旋转运动，目标视频帧拍摄时的角运动可以理解为拍摄目标视频帧的拍摄设备的角运动，即拍摄设备在拍摄目标视频帧的过程中进行的旋转运动。
举例而言，本申请在实际应用中，可以通过传感器采集目标视频帧对应的角运动参数，采集角运动参数的传感器，具体可以为陀螺仪传感器。
对应的，可以为拍摄待处理视频的拍摄设备配置陀螺仪传感器，以使得该陀螺仪传感器可以在拍摄设备拍摄待处理视频的过程中，获取该拍摄设备的角运动参数，即可以得到待处理视频的每一视频帧所对应的角运动参数。
本申请实施例中，角运动参数可以是指角速度，陀螺仪传感器可以在拍摄设备做旋转运动时，感知该拍摄设备各方向上的旋转运动，即感知拍摄设备各方向上的角速度，对目标视频帧对应的角运动参数进行姿态解算，则可以是基于各方向上的角速度进行积分得到拍摄设备在拍摄目标视频帧时在各方向上的旋转角度，然后根据各方向上的旋转角度便可以得到对应的旋转矩阵。
可以理解的，陀螺仪传感器可以采集三轴坐标系上各轴的角速度，基于各轴的角速度如ω1、ω2和ω3可以得到各轴所对应的绕单轴旋转的旋转矩阵，例如，三轴坐标系包括X轴、Y轴和Z轴，则X轴对应有仅绕X轴旋转的旋转矩阵RX，Y轴对应有仅绕Y轴旋转的旋转矩阵RY，Z轴对应有仅绕Z轴旋转的旋转矩阵RZ，然后将该三轴各自对应的旋转矩阵相乘，便可以得到最终整体的一个旋转矩阵，设定最终整体的旋转矩阵为R(qgyro)，则其计算式可以表示为：
R(qgyro)＝RX·RY·RZ
可以理解，相机内参矩阵是与拍摄设备一一对应的，其是拍摄设备出厂时便已经确定的一个参数矩阵，相机内参矩阵可以将空间坐标系上的坐标变换到目标视频帧所在的平面坐标系上。
结合旋转矩阵如R(qgyro)与相机内参矩阵，便可以得到拍摄设备在拍摄目标视频帧时的拍摄旋转变换矩阵，然后再根据该拍摄旋转变换矩阵对参照特征点进行位置变换处理，便可以得到基准特征点。
另外，除了陀螺仪传感器，本申请实施例中还可以为拍摄设备配置加速度传感器，通过该加速度传感器可以采集拍摄设备在拍摄过程中加速度数据。
可以理解，加速度传感器主要是通过测量线性加速度的方式达到测量拍摄设备姿态变化的效果，而陀螺仪传感器主要是通过测量角速度的方式达到测量拍摄设备姿态变化的效果。
在实际应用中，相较于加速度传感器，陀螺仪传感器测得的角运动参数，可以更好地反应相邻两视频帧之间的特征点的位置变化，而加速度传感器，则可以更好地反应多组连续的、相邻的两视频帧之间的特征点的位置变化。
如图2所示，图2是本申请实施例中位置变换处理的一个场景示意图，在本申请一些实施例中，根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点，可以进一步包括：
根据相机内参矩阵的转置矩阵，将参照特征点从平面坐标系映射到空间坐标系，得到第一映射点；根据旋转矩阵对第一映射点进行旋转变换处理，得到空间坐标系中与第一映射点相对应的第二映射点；根据相机内参矩阵将第二映射点从空间坐标系映射到平面坐标系，得到目标视频帧中与参照特征点相对应的基准特征点。
由于旋转矩阵R(qgyro)针对的是空间坐标系，而相机内参矩阵(如“K”)针对的是平面坐标系，因此，可以将相机内参矩阵K的行列互换得到其对应的转置矩阵K-1，由于相机内参矩阵K可以将空间坐标系上的坐标变换到目标视频帧所在的平面坐标系上，则相应的，该相机内参矩阵K的转置矩阵K-1可以将平面坐标系上的坐标变换到空间坐标系上，因此，首先可以根据转置矩阵K-1将参照特征点从平面坐标系映射到空间坐标系，得到对应的第一映射点；然后再根据旋转矩阵R(qgyro)对该第一映射点进行旋转变换处理，使得第一映射点跟随拍摄设备的旋转而变换位置，得到对应的第二映射点；最后再根据相机内参矩阵K将该第二映射点从空间坐标系映射到平面坐标系，从而得到与参照特征点对应的基准特征点。
请继续参阅图2，假设图像I为参照视频帧，图像J为目标视频帧，图像I中的点x为参照特征点，针对图像I中的参照特征点x，对其进行光流运动估计则是需要在图像J中找到与参照特征点x对应的点y。
若如现有技术中直接将参照特征点x的坐标作为搜索的中心位置，若视频运动为较大的旋转运动，则对应的正确的特征点位置很可能不在有效搜索范围内，则算法无法计算出正确的位移。
而本申请实施例则考虑引入角运动参数，由于该角运动参数描述了拍摄设备在拍摄目标视频帧时的姿态变化，该角运动参数同样可体现出视频视角的姿态变化，因此可根据该角运动参数，对搜索的中心位置进行优化，不直接以参照特征点x的坐标作为中心位置，而是对其进行位置变换，将变换后点的坐标x′作为中心位置，x′的计算方法为：
x′＝wgyro(x)
其中，wgyro为根据角运动参数和相机内参矩阵得到的拍摄旋转变换矩阵。
从这可看出，本申请所提出的视频运动估计方法，对待处理视频的运动估计，不仅可以根据相邻的视频帧拆分为多个连续的运动估计结果，也可以将多个甚至全部的视频帧作为估计单位进行一个整体层面上的运动估计。
通过引入角运动参数，对参照视频帧中的参照特征点进行位置变换，例如可根据陀螺仪传感器采集的角运动参数对参照特征点进行旋转变换，得到基准特征点，显然，基于该基准特征点所展开的搜索范围更佳地符合拍摄设备的姿态变化，即，基准特征点更逼近该参照特征点在往后的视频帧中的所在位置。
在本申请一些实施例中，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果，可以进一步包括：
以基准特征点为中心，根据预设的搜索范围，在目标视频帧中搜索像素值与参照特征点的像素值相等的特征点；将像素值与参照特征点的像素值相等的特征点作为目标视频帧中与参照特征点相匹配的目标特征点；根据目标特征点和参照特征点，得到目标视频帧的运动估计结果。
对于参照特征点的运动估计，也可以称为光流运动估计，涉及的光流运动估计算法可以是基于亮度恒定假设，即假设两视频帧中同一特征点的像素值大小相同，因此，在找到基准特征点之后，可以以基准特征点的位置为中心，在目标视频帧中搜索像素值与参照特征点的像素值相等的特征点，即可以找到目标特征点，该目标特征点的位置则是参照特征点在目标视频帧中的位置。
进一步的，根据目标特征点和参照特征点，得到目标视频帧的运动估计结果，具体可以包括：
根据目标特征点的坐标和参照特征点的坐标，确定目标特征点相对于参照特征点的移动距离；根据移动距离，得到目标视频帧的运动估计结果。
具体的，同样以图2所示的图像I和图像J为例，对参照特征点的光流运动估计进行说明，对参照特征点的光流运动估计可构造一运动估计问题的目标函数：
其中，
为待估计的位移向量，wx、wy分别为预设的搜索范围的水平和垂直长度参数，x＝(x,y)为图像I中待跟踪的参照特征点x的坐标，
为图像J中对应的跟踪结果，I(x)表示图像I中参照特征点x处的像素值，
表示图像J中跟踪结果的像素值。
由于光流运动估计算法可基于亮度恒定假设，即假设相邻的两帧图像中同一特征点的像素值大小相同，因此，光流运动估计的目标就是估计出位移向量v的值，使得上述目标函数的值最小。
由上述光流运动估计算法的计算过程可知，该算法是在参照特征点x的一个邻域窗口内进行搜索，窗口大小为(2wx+1)×(2wy+1)。若视频运动为简单的位移运动，则该算法可得到不错的估计精度，但当视频中存在较大的旋转运动时，则估计精度会下降很多，一方面，在旋转运动的情况下，每个像素点的位移方向并不相同，无法使用同一个位移参数来描述窗口内所有像素点的运动，即在搜索窗口内计算上述目标函数的值时，无论怎样调整位移向量v的值，都会得到较大的目标函数值，导致算法无法收敛；另一方面，该算法将前一视频帧中待跟踪特征点的坐标即参照特征点的坐标作为搜索的中心坐标，当视频运动为较大的旋转运动时，该中心坐标所描述的位置与当前帧中正确的特征点位置相距较远，甚至可能超过算法有效的搜索范围，导致算法无法计算出正确的特征点位置。
因此，本申请实施例根据角运动参数对参照特征点x进行位置变换，得到基准特征点x′之后，以基准特征点x′的坐标为中心坐标，对参照特征点x进行光流运动估计，由于基准特征点x′已经进行了旋转运动，则其距离正确的特征点的位置更近，此时再基于基准特征点x′进行光流运动估计，便能够使上述光流运动估计算法收敛，确保在一个较小的搜索范围内计算出正确的位移向量，而该位移向量是基准特征点x′与目标特征点y之间的位移向量，由于基准特征点x′的位置是已知的，则可以反推得到目标特征点y的位置。
此时，由于搜索范围得到了进一步的优化，不仅保证了特征点的跟踪精度，同时也可实现较小的搜索范围，从而可提供更为稳定、精度更高的视频运动估计。
其中，该搜索范围，可以理解，考虑到本申请引入的位置变换处理，尤其是基于陀螺仪传感器的旋转变换处理，在搜索上具有更高的灵活性，而为了更好地适应该变换处理，相较于现有技术中的矩形搜索窗口，本申请可调整为圆形搜索窗口，即，搜索范围是以基准特征点为圆心、预设半径的圆形范围，从而可更高概率的覆盖住对比特征点，以确保提高特征点的搜索精度。
本申请实施例中，运动估计结果可以用参照特征点的移动距离和运动方向进行表征，当找到目标特征点之后，便可以根据目标特征点的坐标和参照特征点的坐标，确定目标特征点相对于参照特征点的移动距离，此处可以首先得到一个由参照特征点指向目标特征点的位移向量，而该位移向量的长度便可以表征为参照特征点的移动距离，可以理解，位移向量的长度可以根据目标特征点和参照特征点两个点的坐标计算得到，该位移向量的方向便可以表征参照特征点的运动方向，如此，便可以得到目标视频帧中参照特征点的运动估计结果，进而便得到目标视频帧的运动估计结果。
此外，本申请提供的视频运动估计方法，还为视频处理额外配置了另一种数据支持。
即，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果之后，视频运动估计方法还可以进一步包括：
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；根据目标特征点和对比特征点，判断参照特征点是否为前景特征点；若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
可以理解，对于视频中可能出现的前景物体，其拍摄进入视频帧中的前景图像，在现有的光流运动估计方案中，与本申请优化过的视频运动估计方法相比，反应出位移上的不同，即，位移距离存在更大的情况，从而，可为图像处理的前后景分割，提供一种数据支持手段。
可以理解，在实际应用中，图像中的物体识别，可通过前后景分割筛选出无意义或者无价值的图像区域，例如人物图像可覆盖滚动的弹幕、可删除背景图像等。
此外，对应于视频稳定场景，前景图像一般还可认为是无价值的处理范围，前景图像由于具有自身的运动，因此其一般较少或者很难因为拍摄设备的抖动进行图像的抖动，因此，在视频运动估计过程中，可对前景图像进行忽略，剔除与视频稳化无效的前景特征点，如此也可进一步提高视频运动估计的精度。
因此，可以根据现有的光流运动估计算法在目标视频帧中对参照特征点进行光流运动估计，找到与参照特征点匹配的对比特征点，然后根据对比特征点和目标特征点的坐标，判断该参照特征点是否是前景特征点。
在本申请一些实施例中，根据目标特征点和对比特征点，判断参照特征点是否为前景特征点，可以进一步包括：
根据参照特征点的坐标和目标特征点的坐标，得到第一位移数据；根据参照特征点的坐标和对比特征点的坐标，得到第二位移数据；根据第一位移数据和第二位移数据，判断参照特征点是否为前景特征点；相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：若第二位移数据大于预设第一倍数的第一位移数据，则删除参照特征点，得到优化图像。
若基于现有的光流运动估计算法得到参照特征点的位移数据与基于本申请的视频运动估计方法得到的位移数据两者相差较大，由于本申请的方法结合有角运动参数，则可以认为该参照特征点的运动与拍摄设备的旋转运动无关，因此，可以确定该参照特征点是前景特征点。
因此，可以根据参照特征点和目标特征点两者的坐标，得到参照特征点基于本申请的视频运动估计方法的第一位移数据，该第一位移数据即为参照特征点的第一移动距离，也即为上述实施例中位移向量的长度；再根据参照特征点和对比特征点两者的坐标，得到参照特征点基于现有的光流运动估计算法的第二位移数据，该第二位移数据即为参照特征点的第二移动距离；当第二位移数据远大于第一位移数据时，则可以确定参照特征点是前景特征点，进而可以删除该参照特征点，得到优化图像，以进一步提高视频运动估计的精度和效率。
具体的，第二位移数据远大于第一位移数据，可以是第二位移数据大于预设第一倍数的第一位移数据，此处，预设第一倍数可以根据目标视频帧的图像大小进行确定，例如可以设定为大于目标视频帧的图像宽度或图像高度的三分之一的数值，需要说明的是，预设第一倍数可以根据实际应用场景进行选择，具体此处不做限定。
另外，在本申请一些实施例中，根据目标特征点和对比特征点，判断参照特征点是否为前景特征点，还可以进一步包括：
计算目标特征点和对比特征点两者之间的欧氏距离；根据欧式距离判断参照特征点是否为前景特征点；相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：若欧式距离大于预设第一阈值，则删除参照特征点，得到优化图像。
可以理解，上述实施例中对前景特征点的判断采用的是一种基于自适应阈值的前景特征点识别方法，另外也可以采用固定阈值的前景特征点识别方法，例如，预先设定一个固定阈值如预设第一阈值，然后根据目标特征点和对比特征点两者的坐标计算目标特征点和对比特征点两者之间的欧氏距离，欧氏距离也称为欧几里得距离，其衡量的是多维空间中两个点之间的实际距离，而本实施例中则是用于衡量目标视频帧中目标特征点与对比特征点两者之间的实际距离，如果目标特征点和对比特征点两者之间的欧氏距离即实际距离大于预设第一阈值，则可以删除参照特征点，得到优化图像，以进一步提高视频运动估计的精度和效率。
需要说明的是，预设第一阈值可以是整数、小数等任一大于0的数值，若识别精度要求高，则可以将预设第一阈值调小，反之，若识别精度要求不高，则可以将预设第一阈值适度增大，预设第一阈值的数值大小可以根据实际应用场景进行设定，具体此处不做限定。
另外，在本申请一些实施例中，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果之后，视频运动估计方法还可以进一步包括：
获取与目标视频帧相邻的前N个视频帧各自分别对应的N个角运动参数，分别根据N个角运动参数确定目标视频帧中的N个参考特征点；其中，N个参考特征点中的第i个参考特征点是根据N个角运动参数中的第i个角运动参数对参照特征点进行位置变换得到的一个点，第i个角运动参数是目标视频帧相邻的前第i个视频帧对应的角运动参数，N为大于0的正整数，i为大于0且小于或者等于N的正整数；在目标视频帧中，分别基于N个参考特征点对参照特征点进行光流运动估计，得到目标视频帧中分别与参照特征点相匹配的N个匹配特征点；根据参照特征点的坐标和N个匹配特征点的坐标，得到参照特征点对应的N个位移数据，将N个位移数据中满足预设条件的一个位移数据作为第三位移数据；
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；根据参照特征点的坐标和对比特征点的坐标，得到第四位移数据；根据第三位移数据和第四位移数据，判断参照特征点是否为前景特征点；若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
为了进一步提高前景特征点的识别准确率，本申请实施例中，还可以根据目标视频帧相邻的前N个视频帧的角运动参数对参照特征点进行位置变换，例如，假设N为3，则可以分别获取到3个角运动参数，其中，目标视频帧相邻前一帧的视频帧的角运动参数为Z1，目标视频帧相邻前第二帧的视频帧的角运动参数为Z2，目标视频帧相邻前第三帧的视频帧的角运动参数为Z3，则基于Z1、Z2和Z3分别对参照特征点进行位置变换，得到对应的3个参考特征点，如参考特征点R1、R2和R3。
然后可以在目标视频帧中，分别基于参考特征点R1、R2和R3对参照特征点进行光流运动估计，得到对应的3个匹配特征点，如匹配特征点P1、P2和P3，可以理解，匹配特征点P1、P2和P3是分别与参照特征点相匹配的点，最后根据参照特征点的坐标和匹配特征点P1、P2和P3的坐标，可以计算得到参照特征点对应的3个位移数据，即根据参照特征点和匹配特征点P1两者的坐标计算得到位移数据S1，根据参照特征点和匹配特征点P2两者的坐标计算得到位移数据S2，根据参照特征点和匹配特征点P3两者的坐标计算得到位移数据S3，然后将这3个位移数据中满足预设条件的一个位移数据作为第三位移数据。
此处，预设条件可以是指位移数据达到一定值，若3个位移数据都超过预设条件所设定的值，则可以从3个位移数据中任选一个位移数据作为第三位移数据。
优选的，预设条件可以是指所有位移数据中的最大值，即将3个位移数据中最大的一个位移数据作为第三位移数据。
可以理解的，虽然上述描述中记载了第三位移数据和第四位移数据的计算顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，例如，也可以先计算第四位移数据，后计算第三位移数据，或者同时计算第三位移数据和第四位移数据。
本实施例中，对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点，可以参照上述实施例中得到对比特征点的记载，此处不再赘述。
另外，本实施例中，根据参照特征点的坐标和对比特征点的坐标，得到第四位移数据的方法与上述实施例中计算第二位移数据的方法相同，具体可以参见上述实施例中的描述，此处不再赘述。
同样的，本实施例中，根据第三位移数据和第四位移数据，判断参照特征点是否为前景特征点，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，与上述实施例中根据第一位移数据和第二位移数据判断参照特征点是否为前景特征点的方法相同，具体可以参见上述实施例中的描述，此处不再赘述。
具体的，可参考下面示出的一组实例：
1、根据当前视频帧光流运动估计结果统计每个光流点即特征点在相邻两帧间移动的距离dis_optflow，计算公式如下：
其中，(xt+1,yt+1)和(xt,yt)分别为当前视频帧和前一视频帧中同一特征点的位置坐标。
2、根据过去三帧陀螺仪传感器运动估计结果，找到出每个特征点的最大移动距离max_dis_gyro，计算公式为：
其中，
为根据过去三帧传感器运动估计结果中第i个拍摄旋转变换矩阵计算得到的当前视频帧特征点位置坐标。
每个特征点都可以有一个dis_optflow的值和一个max_dis_gyro的值。
3、对于每个特征点，比较dis_optflow的值和max_dis_gyro的值两者的大小，即：
dis_optflow>k·max_dis_gyro，
其中，k为设定的比例系数，即预设第一倍数。
若满足上述关系，则可说明光流运动估计结果与陀螺仪传感器运动估计结果相差较大，而陀螺仪传感器的角运动参数反映的是拍摄设备的旋转运动信息，因此，可认为该特征点为前景物体的特征点，该点的运动信息与拍摄设备的运动无关，需要剔除掉，若不满足上述关系，则说明光流运动估计结果与陀螺仪传感器运动估计结果一致，可将该特征点的运动估计结果保留下来。
在完成运动估计后，则可将运动估计结果，输出至后续的视频稳定处理环节，即，可根据运动估计结果，对当前视频帧往后相邻的视频帧进行运动补偿处理，以达到防抖效果。
可以理解的是，该运动补偿处理，可以采用现有技术中运动补偿算法，当然，在实际应用中也可对现有的运动补偿算法进行优化改良。
而获得稳定处理后的视频，或者说构成稳定处理的视频的视频帧后，还可向用户展示。
该展示，具体还可以为实时的展示，即，在拍摄视频的过程中，实时展示其经过视频稳定处理后的视频，如此，用户可直观地查看当前拍摄的视频成像效果。
与上述提及的内容类似的，视频运动估计设备，自身可配置有显示屏，或者，也可连接有其他具有显示屏的设备。
如此，可实时在显示屏上展示进行运动补偿处理的视频帧往后相邻的视频帧，供用户查看。
以上是本申请实施例的视频运动估计方法的说明，为便于更好实施本申请提供的视频运动估计方法，本申请还提供了一种视频运动估计装置。
请参阅图3，图3是本申请实施例中提供的视频运动估计装置的一个结构示意图，在本申请中，视频运动估计装置300具体可包括如下结构：
特征点确定模块301，用于针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；
运动估计模块302，在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；
结果确定模块303，用于根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。
在本申请一些实施例中，特征点确定模块301具体可以用于：
对目标视频帧对应的角运动参数进行姿态解算，得到旋转矩阵；
根据旋转矩阵与相机内参矩阵，确定目标视频帧对应的拍摄旋转变换矩阵；其中，相机内参矩阵与待处理视频相关联的拍摄设备相对应，相机内参矩阵是表征空间坐标变换为平面坐标的一个参数矩阵；
根据拍摄旋转变换矩阵对参照特征点进行位置变换处理，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一些实施例中，特征点确定模块301具体还可以用于：
根据相机内参矩阵的转置矩阵，将参照特征点从平面坐标系映射到空间坐标系，得到第一映射点；
根据旋转矩阵对第一映射点进行旋转变换处理，得到空间坐标系中与第一映射点相对应的第二映射点；
根据相机内参矩阵将第二映射点从空间坐标系映射到平面坐标系，得到目标视频帧中与参照特征点相对应的基准特征点。
在本申请一些实施例中，运动估计模块302具体可以用于：
以基准特征点为中心，根据预设的搜索范围，在目标视频帧中搜索像素值与参照特征点的像素值相等的特征点；
将像素值与参照特征点的像素值相等的特征点作为目标视频帧中与参照特征点相匹配的目标特征点；
根据目标特征点和参照特征点，得到目标视频帧的运动估计结果。
在本申请一些实施例中，运动估计模块302具体还可以用于：
根据目标特征点的坐标和参照特征点的坐标，确定目标特征点相对于参照特征点的移动距离；
根据移动距离，得到目标视频帧的运动估计结果。
在本申请一些实施例中，视频运动估计装置300还可以包括优化模块304；
运动估计模块302还可以用于对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
优化模块304可以用于根据目标特征点和对比特征点，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
在本申请一些实施例中，优化模块304具体还可以用于：
根据参照特征点的坐标和目标特征点的坐标，得到第一位移数据；
根据参照特征点的坐标和对比特征点的坐标，得到第二位移数据；
根据第一位移数据和第二位移数据，判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若第二位移数据大于预设第一倍数的第一位移数据，则删除参照特征点，得到优化图像。
在本申请一些实施例中，优化模块304具体还可以用于：
计算目标特征点和对比特征点两者之间的欧氏距离；
根据欧式距离判断参照特征点是否为前景特征点；
相应地，若参照特征点是前景特征点，则删除参照特征点，得到优化图像，包括：
若欧式距离大于预设第一阈值，则删除参照特征点，得到优化图像。
在本申请一些实施例中，特征点确定模块301具体还可以用于获取与目标视频帧相邻的前N个视频帧各自分别对应的N个角运动参数，分别根据N个角运动参数确定目标视频帧中的N个参考特征点；其中，N个参考特征点中的第i个参考特征点是根据N个角运动参数中的第i个角运动参数对参照特征点进行位置变换得到的一个点，第i个角运动参数是目标视频帧相邻的前第i个视频帧对应的角运动参数，N为大于0的正整数，i为大于0且小于或者等于N的正整数；
运动估计模块302具体还可以用于在目标视频帧中，分别基于N个参考特征点对参照特征点进行光流运动估计，得到目标视频帧中分别与参照特征点相匹配的N个匹配特征点；以及
对参照特征点进行光流运动估计，得到目标视频帧中与参照特征点相匹配的对比特征点；
优化模块304具体还可以用于根据参照特征点的坐标和N个匹配特征点的坐标，得到参照特征点对应的N个位移数据，将N个位移数据中满足预设条件的一个位移数据作为第三位移数据；以及
根据参照特征点的坐标和对比特征点的坐标，得到第四位移数据；
根据第三位移数据和第四位移数据，判断参照特征点是否为前景特征点；
若参照特征点是前景特征点，则删除参照特征点，得到优化图像。
需要说明的是，本申请中，特征点确定模块301、运动估计模块302、结果确定模块303和优化模块304的相关内容与上述一一对应，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的视频运动估计装置及其相应模块、单元的具体工作过程，可以参考如图1至图2对应任意实施例中视频运动估计方法的说明，具体在此不再赘述。
本申请还提供了视频运动估计设备，请参阅图4，图4示出了本申请实施例中提供的视频运动估计设备的一个结构示意图，具体的，本申请视频运动估计设备可以包括处理器401、存储器402以及输入输出设备403，处理器401用于执行存储器402中存储的计算机程序时实现如图1对应实施例中视频运动估计方法的各步骤；或者，处理器401用于执行存储器402中存储的计算机程序时实现如图3对应实施例中各单元的功能，存储器402用于存储处理器401执行上述图1对应实施例中视频运动估计方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
视频运动估计设备可包括，但不仅限于处理器401、存储器402、输入输出设备403。本领域技术人员可以理解，示意仅仅是视频运动估计设备的示例，并不构成对视频运动估计设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如视频运动估计设备还可以包括网络接入设备、总线等，处理器401、存储器402、输入输出设备403以及网络接入设备等通过总线相连。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是视频运动估计设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器402可用于存储计算机程序和/或模块，处理器401通过运行或执行存储在存储器402内的计算机程序和/或模块，以及调用存储在存储器402内的数据，实现计算机装置的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据视频运动估计设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器401用于执行存储器402中存储的计算机程序时，具体可实现以下功能：
针对待处理视频中的每一目标视频帧，根据目标视频帧对应的角运动参数，确定目标视频帧中的基准特征点；其中，基准特征点是与参照特征点相对应的点，参照特征点为目标视频帧对应的参照视频帧中的一个特征点；
在目标视频帧中，基于基准特征点对参照特征点进行光流运动估计，得到目标视频帧的运动估计结果；
根据待处理视频的目标视频帧的运动估计结果，确定待处理视频的运动估计结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的视频运动估计装置、设备及其相应单元的具体工作过程，可以参考如图1至图2对应任意实施例中视频运动估计方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图2对应任意实施例中视频运动估计方法中的步骤，具体操作可参考如图1至图2对应任意实施例中视频运动估计方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图2对应任意实施例中视频运动估计方法中的步骤，因此，可以实现本申请如图1至图2对应任意实施例中视频运动估计方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的视频运动估计方法、装置、设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种视频运动估计方法，其特征在于，所述方法包括：
针对待处理视频中的每一目标视频帧，根据所述目标视频帧对应的角运动参数，确定所述目标视频帧中的基准特征点；其中，所述基准特征点是与参照特征点相对应的点，所述参照特征点为所述目标视频帧对应的参照视频帧中的一个特征点；
在所述目标视频帧中，基于所述基准特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧的运动估计结果；
根据所述待处理视频的目标视频帧的运动估计结果，确定所述待处理视频的运动估计结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频帧对应的角运动参数，确定所述目标视频帧中的基准特征点，包括：
对所述目标视频帧对应的角运动参数进行姿态解算，得到旋转矩阵；
根据所述旋转矩阵与相机内参矩阵，确定所述目标视频帧对应的拍摄旋转变换矩阵；其中，所述相机内参矩阵与所述待处理视频相关联的拍摄设备相对应，所述相机内参矩阵是表征空间坐标变换为平面坐标的一个参数矩阵；
根据所述拍摄旋转变换矩阵对所述参照特征点进行位置变换处理，得到所述目标视频帧中与所述参照特征点相对应的基准特征点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述拍摄旋转变换矩阵对所述参照特征点进行位置变换处理，得到所述目标视频帧中与所述参照特征点相对应的基准特征点，包括：
根据所述相机内参矩阵的转置矩阵，将所述参照特征点从平面坐标系映射到空间坐标系，得到第一映射点；
根据所述旋转矩阵对所述第一映射点进行旋转变换处理，得到所述空间坐标系中与所述第一映射点相对应的第二映射点；
根据所述相机内参矩阵将所述第二映射点从所述空间坐标系映射到所述平面坐标系，得到所述目标视频帧中与所述参照特征点相对应的基准特征点。
4.根据权利要求1所述的方法，其特征在于，所述在所述目标视频帧中，基于所述基准特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧的运动估计结果，包括：
以所述基准特征点为中心，根据预设的搜索范围，在所述目标视频帧中搜索像素值与所述参照特征点的像素值相等的特征点；
将所述像素值与所述参照特征点的像素值相等的特征点作为所述目标视频帧中与所述参照特征点相匹配的目标特征点；
根据所述目标特征点和所述参照特征点，得到所述目标视频帧的运动估计结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标特征点和所述参照特征点，得到所述目标视频帧的运动估计结果，包括：
根据所述目标特征点的坐标和所述参照特征点的坐标，确定所述目标特征点相对于所述参照特征点的移动距离；
根据所述移动距离，得到所述目标视频帧的运动估计结果。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述在所述目标视频帧中，基于所述基准特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧的运动估计结果之后，所述方法还包括：
对所述参照特征点进行光流运动估计，得到所述目标视频帧中与所述参照特征点相匹配的对比特征点；
根据所述目标特征点和所述对比特征点，判断所述参照特征点是否为前景特征点；
若所述参照特征点是前景特征点，则删除所述参照特征点，得到优化图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标特征点和所述对比特征点，判断所述参照特征点是否为前景特征点，包括：
根据所述参照特征点的坐标和所述目标特征点的坐标，得到第一位移数据；
根据所述参照特征点的坐标和所述对比特征点的坐标，得到第二位移数据；
根据所述第一位移数据和所述第二位移数据，判断所述参照特征点是否为前景特征点；
相应地，所述若所述参照特征点是前景特征点，则删除所述参照特征点，得到优化图像，包括：
若所述第二位移数据大于预设第一倍数的所述第一位移数据，则删除所述参照特征点，得到优化图像。
8.根据权利要求6所述的方法，其特征在于，所述根据所述目标特征点和所述对比特征点，判断所述参照特征点是否为前景特征点，包括：
计算所述目标特征点和所述对比特征点两者之间的欧氏距离；
根据所述欧式距离判断所述参照特征点是否为前景特征点；
相应地，所述若所述参照特征点是前景特征点，则删除所述参照特征点，得到优化图像，包括：
若所述欧式距离大于预设第一阈值，则删除所述参照特征点，得到优化图像。
9.根据权利要求1-5所述的方法，其特征在于，所述在所述目标视频帧中，基于所述基准特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧的运动估计结果之后，所述方法还包括：
获取与所述目标视频帧相邻的前N个视频帧各自分别对应的N个角运动参数，分别根据所述N个角运动参数确定所述目标视频帧中的N个参考特征点；其中，所述N个参考特征点中的第i个参考特征点是根据所述N个角运动参数中的第i个角运动参数对所述参照特征点进行位置变换得到的一个点，所述第i个角运动参数是所述目标视频帧相邻的前第i个视频帧对应的角运动参数，N为大于0的正整数，i为大于0且小于或者等于N的正整数；
在所述目标视频帧中，分别基于所述N个参考特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧中分别与所述参照特征点相匹配的N个匹配特征点；
根据所述参照特征点的坐标和所述N个匹配特征点的坐标，得到所述参照特征点对应的N个位移数据，将所述N个位移数据中满足预设条件的一个位移数据作为第三位移数据；
对所述参照特征点进行光流运动估计，得到所述目标视频帧中与所述参照特征点相匹配的对比特征点；
根据所述参照特征点的坐标和所述对比特征点的坐标，得到第四位移数据；
根据所述第三位移数据和所述第四位移数据，判断所述参照特征点是否为前景特征点；
若所述参照特征点是前景特征点，则删除所述参照特征点，得到优化图像。
10.一种视频运动估计装置，其特征在于，所述装置包括：
特征点确定模块，用于针对待处理视频中的每一目标视频帧，根据所述目标视频帧对应的角运动参数，确定所述目标视频帧中的基准特征点；其中，所述基准特征点是与参照特征点相对应的点，所述参照特征点为所述目标视频帧对应的参照视频帧中的一个特征点；
运动估计模块，在所述目标视频帧中，基于所述基准特征点对所述参照特征点进行光流运动估计，得到所述目标视频帧的运动估计结果；
结果确定模块，用于根据所述待处理视频的目标视频帧的运动估计结果，确定所述待处理视频的运动估计结果。
11.一种视频运动估计设备，其特征在于，所述视频运动估计设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至9任一项所述的视频运动估计方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至9任一项所述的视频运动估计方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110902554.0A CN115705651A (zh) | 2021-08-06 | 2021-08-06 | 视频运动估计方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110902554.0A CN115705651A (zh) | 2021-08-06 | 2021-08-06 | 视频运动估计方法、装置、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115705651A true CN115705651A (zh) | 2023-02-17 |
Family
ID=85179090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110902554.0A Pending CN115705651A (zh) | 2021-08-06 | 2021-08-06 | 视频运动估计方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115705651A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193257A (zh) * | 2023-04-21 | 2023-05-30 | 成都华域天府数字科技有限公司 | 一种消除手术视频图像画面抖动的方法 |
| CN116228817A (zh) * | 2023-03-10 | 2023-06-06 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
-
2021
- 2021-08-06 CN CN202110902554.0A patent/CN115705651A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228817A (zh) * | 2023-03-10 | 2023-06-06 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
| CN116228817B (zh) * | 2023-03-10 | 2023-10-03 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
| CN116193257A (zh) * | 2023-04-21 | 2023-05-30 | 成都华域天府数字科技有限公司 | 一种消除手术视频图像画面抖动的方法 |
| CN116193257B (zh) * | 2023-04-21 | 2023-09-22 | 成都华域天府数字科技有限公司 | 一种消除手术视频图像画面抖动的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| CN112017216B (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN107230225B (zh) | 三维重建的方法和装置 | |
| CN110111388B (zh) | 三维物体位姿参数估计方法及视觉设备 | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| JP7192582B2 (ja) | 物体追跡装置および物体追跡方法 | |
| CN115705651A (zh) | 视频运动估计方法、装置、设备和计算机可读存储介质 | |
| WO2022083038A1 (zh) | 视觉定位方法及相关装置、设备和计算机可读存储介质 | |
| CN112017215B (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN110111364B (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
| CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| CN113298870B (zh) | 一种物体的姿态跟踪方法、装置、终端设备和存储介质 | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| CN115104126A (zh) | 图像处理方法、设备、装置和介质 | |
| CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
| WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN115435790A (zh) | 一种视觉定位与视觉里程计位姿融合的方法及系统 | |
| CN116266356A (zh) | 全景视频转场渲染方法、装置和计算机设备 | |
| CN115086625A (zh) | 投影画面的校正方法、装置、系统、校正设备和投影设备 | |
| CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 | |
| CN114937250A (zh) | 车身相对位姿计算方法、装置、车辆、设备及存储介质 | |
| WO2021114883A1 (zh) | 图像配准方法、终端及存储介质 | |
| CN114004839A (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 | |
| CN114697542A (zh) | 视频处理方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |