CN115393761A - 视频关键帧提取方法、装置、设备和存储介质 - Google Patents

视频关键帧提取方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115393761A
CN115393761A CN202210994534.5A CN202210994534A CN115393761A CN 115393761 A CN115393761 A CN 115393761A CN 202210994534 A CN202210994534 A CN 202210994534A CN 115393761 A CN115393761 A CN 115393761A
Authority
CN
China
Prior art keywords
key frame
determining
video
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210994534.5A
Other languages
English (en)
Inventor
罗德海
胡良军
洪毅强
苏宗涛
徐夏丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd, MIGU Comic Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210994534.5A priority Critical patent/CN115393761A/zh
Publication of CN115393761A publication Critical patent/CN115393761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频关键帧提取方法、装置、设备和存储介质，所述方法包括：在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。本发明有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题。

Description

视频关键帧提取方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频关键帧提取方法、装置、设备和存储介质。
背景技术
相机、摄像机及手机等电子产品用于获取影像数据，逐渐成为人们生活的必需品。影像数据是表达现实世界的有效载体，影像数据可以对历史风貌、环境变迁、场景描述进行真实再现。影像数据对真实世界进行再现，需要充分挖掘影像数据包含的三维几何信息，而对三维几何信息的挖掘，对影像数据中关键帧的选取尤为关键，如果关键帧选取不当，会导致三维几何信息的冗余或者缺失。
当前关键帧提取的方案中，根据影像数据中每一视频帧的相机位姿进行先验判断，相较于上个关键帧，若当前帧的相机位姿平移量或旋转角度超过阈值，则将当前帧确定为关键帧，由于过度依赖于相机的位姿先验，可能会导致部分区域关键帧过于密集，部分区域关键帧太过稀疏的情况，导致三维几何信息的冗余或者缺失。
发明内容
本发明的主要目的在于提供一种视频关键帧提取方法、装置、设备和存储介质，旨在解决如何筛选视频的关键帧的问题。
为实现上述目的，本发明提供的一种视频关键帧提取方法，所述视频关键帧提取方法包括以下步骤：
在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
可选地，所述根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前视频帧与每一所述候选视频帧之间的模型适应度评分的步骤包括：
根据所述特征点匹配均匀度、所述特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；
根据所述特征点匹配均匀度、所述特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；
根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分。
可选地，所述根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分的步骤包括：
确定所述第一适应度评分和所述第二适应度评分的差值；
确定所述差值和所述第一适应度评分的比值为所述模型适应度评分。
可选地，所述根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧的步骤之后，还包括：
获取所述关键帧序列，并提取所述关键帧序列的图像特征；
根据所述图像特征确定所述关键帧之间的匹配度；
将匹配度最大的关键帧确定为两帧目标关键帧；
根据两帧所述目标关键帧确定待处理视频对应的三维模型。
可选地，所述根据两帧所述目标关键帧确定待处理视频对应的三维模型的步骤包括：
根据两帧所述目标关键帧确定相机的位置信息和姿态信息；
根据两帧所述目标关键帧的图像特征的像素位置信息，和相机的位置信息和姿态信息确定所述图像特征对应的三维坐标点；
根据所述图像特征对应的三维坐标点确定所述待处理视频的三维模型。
可选地，所述在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧的步骤包括：
获取所述视频帧序列中各个视频帧的特征点信息；
确定当前关键帧和所述视频帧的特征点匹配率；
确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。
可选地，所述确定当前关键帧和所述视频帧的特征点匹配率的步骤包括：
确定所述当前关键帧与每一所述视频帧的特征点总数，和匹配特征点的数量；
根据所述特征点总数和所述匹配特征点的数量，确定所述特征点匹配率。
为实现上述目的，本发明还提供一种视频关键帧提取装置，所述装置包括：
获取模块，用于在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
计算模块，用于根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
确定模块，用于根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
为实现上述目的，本发明还提供一种视频关键帧提取设备，所述视频关键帧提取设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视频关键帧提取程序，所述视频关键帧提取程序被所述处理器执行时实现如上所述的视频关键帧提取方法的各个步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有视频关键帧提取程序，所述视频关键帧提取程序被处理器执行时实现如上所述的视频关键帧提取方法的各个步骤。
本发明提供的一种视频关键帧提取方法、装置、设备和存储介质，在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；根据当前关键帧和每一候选视频帧之间的特征点匹配均匀度，及候选视频帧的特征点分布特性，确定当前视频帧与每一候选视频帧之间的模型适应度评分；根据模型适应度评分，确定当前关键帧对应的下一关键帧。通过在对待处理视频进行关键帧提取时，加入评分机制，确定当前关键帧和候选视频帧之间的模型适应度评分，根据模型适应度评分在所述候选视频帧中筛选关键帧，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
附图说明
图1为本发明实施例涉及的视频关键帧提取设备的硬件结构示意图；
图2为本发明视频关键帧提取方法的第一实施例的流程示意图；
图3为本发明视频关键帧提取方法的第一实施例的关键帧选取的流程示意图；
图4为本发明视频关键帧提取方法的第二实施例的步骤S20的细化流程示意图；
图5为本发明视频关键帧提取方法的第三实施例的流程示意图；
图6为本发明视频关键帧提取方法的第四实施例的步骤S10的细化流程示意图；
图7为本发明视频关键帧提取方法的第四实施例的特征匹配的示意图；
图8为本发明实施例涉及的视频关键帧提取装置的逻辑结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；根据当前关键帧和每一候选视频帧之间的特征点匹配均匀度，及候选视频帧的特征点分布特性，确定当前视频帧与每一候选视频帧之间的模型适应度评分；根据模型适应度评分，确定当前关键帧对应的下一关键帧。
通过在对待处理视频进行关键帧提取时，加入评分机制，确定当前关键帧和候选视频帧之间的模型适应度评分，根据模型适应度评分在所述候选视频帧中筛选关键帧，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
作为一种实现方案，视频关键帧提取设备可以如图1所示。
本发明实施例方案涉及的是视频关键帧提取设备，视频关键帧提取设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括视频关键帧提取程序；而处理器101可以用于调用存储器102中存储的视频关键帧提取程序，并执行以下操作：
在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
根据所述特征点匹配均匀度、所述特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；
根据所述特征点匹配均匀度、所述特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；
根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
确定所述第一适应度评分和所述第二适应度评分的差值；
确定所述差值和所述第一适应度评分的比值为所述模型适应度评分。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
获取所述关键帧序列，并提取所述关键帧序列的图像特征；
根据所述图像特征确定所述关键帧之间的匹配度；
将匹配度最大的关键帧确定为两帧目标关键帧；
根据两帧所述目标关键帧确定待处理视频对应的三维模型。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
根据两帧所述目标关键帧确定相机的位置信息和姿态信息；
根据两帧所述目标关键帧的图像特征的像素位置信息，和相机的位置信息和姿态信息确定所述图像特征对应的三维坐标点；
根据所述图像特征对应的三维坐标点确定所述待处理视频的三维模型。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
获取所述视频帧序列中各个视频帧的特征点信息；
确定当前关键帧和所述视频帧的特征点匹配率；
确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。
可选地，处理器101可以用于调用存储器102中存储的数字资产管理程序，并执行以下操作：
确定所述当前关键帧与每一所述视频帧的特征点总数，和匹配特征点的数量；
根据所述特征点总数和所述匹配特征点的数量，确定所述特征点匹配率。
基于上述视频关键帧提取设备的硬件构架，提出本发明视频关键帧提取方法的实施例。
参照图2，图2为本发明视频关键帧提取方法的第一实施例，所述视频关键帧提取方法包括以下步骤：
步骤S10，在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
可选地，获取待处理视频，待处理视频为需要进行三维重建的视频流，示例性的，可以对待处理视频中的场景或者人物进行三维重建。
可选地，将待处理视频划分为多个视频帧，得到视频帧序列。可选地，根据预设的采样频率对待处理视频进行采样，得到视频帧序列。
如果对待处理视频中的每一视频帧进行三维重建，需要处理的数据十分庞大，三维重建效率低下，因此需要在视频帧序列选取出关键帧，关键帧用于待处理视频的三维重建。
可选地，待处理视频的第一帧为首帧关键帧，依次确定首帧关键帧之后的关键帧。
可选地，与当前关键帧匹配的候选视频帧，可以是在当前关键帧之后的视频帧序列中按照预设采样频率进行采样得到的，可选地，与当前关键帧匹配的候选视频帧，可以是在当前关键帧之后的视频帧序列中，确定与当前视频帧的特征匹配率大于预设阈值的视频帧，其中，特征匹配率由当前关键帧与视频帧匹配的特征点的数量，以及当前关键帧与视频帧的特征点的总数量确定的。
步骤S20，根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
在进行模型适应度评分计算的时候，考虑到特征点匹配均匀性的问题，引入根据各候选视频帧与当前关键帧的特征点匹配信息，计算出的特征点匹配均匀度，可选地，当前关键帧和每一候选视频帧之间的特征点匹配均匀度，可选地，特征点匹配均匀度根据匹配的特征点在网格划分后的图像中的网格占比确定。通过对视频帧进行网格化划分，根据匹配的特征点分布的网格在所有网格中的占比，示例性的，将视频帧分为8*8的网格，特征点匹配均匀度S为匹配的特征点填充的网格个数。特征点匹配均匀度对视频帧的特征点匹配均匀性进行评估，能够简单高效的在模型对图像信息的适应性检测中，引入图像特征点匹配均匀性的信息，进一步提升筛选出的下一关键帧的图像信息质量。
可选地，候选视频帧的特征点分布特性ei表示特征点在单应性平面H上与其匹配的特征点的欧式距离。
根据特征点匹配均匀度和特征点分布特性确定当前关键帧与每一候选视频帧之间的模型适应度评分。可选地，模型适应度评分用于对候选视频帧进行选择，由二维层面的第一运动模型的第一适应度得分，以及三维层面的第二运动模型的第二适应度得分确定。可选地，模型适应度评分的模型包括二维层面的第一运动模型即H运动模型，以及三维层面的第二运动模型即F运动模型。可选地，第一运动模型和第二运动模型用于待处理视频的三维重建。基础矩阵F和单应性矩阵H两个模型都可以用来描述两幅图间的关系，其中，单应性矩阵H更适用于描述短基线情况，当基线距离较长时，基础矩阵F更适合用来描述两幅图像的关系。
步骤S30，根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
可选地，本申请注重F运动模型对图像信息的适应能力，并且关注不同运动模型对图像信息适配能力的差异，以筛选出三维信息尽可能多，二维信息尽可能少的视频帧，从而提高三维重建效率。可选地，确定最大模型适应度评分的候选视频帧为下一关键帧。
可选地，如图3所示，确定待处理视频的第一帧视频帧为首帧关键帧，依次确定首帧关键帧之后的关键帧。在首帧关键帧之后的视频帧序列中，确定第二帧关键帧。确定第二帧关键帧之后，在第二帧关键帧之后的视频帧序列中，确定第三帧关键帧，以此类推，直至确定待处理视频的最后一帧关键帧。
在本实施例的技术方案中，在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；根据当前关键帧和每一候选视频帧之间的特征点匹配均匀度，及候选视频帧的特征点分布特性，确定当前视频帧与每一候选视频帧之间的模型适应度评分；根据模型适应度评分，确定当前关键帧对应的下一关键帧。通过在对待处理视频进行关键帧提取时，加入评分机制，确定当前关键帧和候选视频帧之间的模型适应度评分，根据模型适应度评分在所述候选视频帧中筛选关键帧，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
参照图4，图4为本发明视频关键帧提取方法的第二实施例，基于第一实施例，所述步骤S20包括：
步骤S21，根据所述特征点匹配均匀度、所述特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；
步骤S22，根据所述特征点匹配均匀度、所述特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；
步骤S23，根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分。
可选地，根据特征点匹配均匀度、特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分，如下公式所示：
Figure BDA0003805032860000091
Figure BDA0003805032860000093
其中，d表示建模的维数，可选地，对于H运动模型的单应性矩阵，d＝2，n表示匹配的特征总数；k表示模型中的自由度，可选地，对于H运动模型的单应性矩阵，k＝7；r表示特征点数据的维数，例如两帧之间的二维点对应的r＝4；σ2是误差的方差，λ1＝log(r)，λ2＝log(rn)，λ3表示残差。S表示匹配点均匀度。ei表示特征点在单应性平面H上与其匹配的特征点的欧式距离。
根据特征点匹配均匀度、特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分，如下公式所示：
Figure BDA0003805032860000092
Figure BDA0003805032860000101
其中，d表示建模的维数，可选地，对于F运动模型的基本矩阵，d＝3，n表示匹配的特征总数；k表示模型中的自由度，可选地，对于F运动模型的基本矩阵，k＝8；r表示特征点数据的维数，例如两帧之间的二维点对应的r＝4；σ2是误差的方差，λ1＝log(r)，λ2＝log(rn)，λ3表示残差。S表示匹配点均匀度。ei表示特征点在基本平面上与其匹配的特征点的欧式距离。
可选地，通过对GRICH值和GRICF值做差，获取不同运动模型对同一视频帧的图像信息适配能力的差别；将差值与GRICH值求比值，实现对图像信息适配能力差别的量化。可选地，候选视频帧依次与当前关键帧计算，得到候选视频帧的模型适应度评分fg，fg(i,j)表示评价当前关键帧i和候选关键帧j好坏的目标函数，确定第一适应度评分和第二适应度评分的差值；确定差值和第一适应度评分的比值为模型适应度评分。示例性的，模型适应度评分fg计算公式如下：
Figure BDA0003805032860000102
其中，GRICH(i,j)是单应性矩阵的GRIC(Geometric Robust InfromationCriterion，模型鲁棒选择准则)值，表征H运动模型(二维层面)对视频帧中的图像信息的适应度；GRICF(i,j)为基础矩阵的GRIC值，表征F运动模型(三维层面)对视频帧中的图像信息的适应度。
可选地，确定fg值最高的候选视频帧作为当前关键帧的下一关键帧。
可选地，当视频的第一帧作为首帧关键帧，第二个关键帧将由首帧关键帧以后的每帧依次与首帧进行计算fg值，并求出fg最大值的那个候选关键帧作为第二个关键帧，依次类推进行关键帧的提取。示例性的，如下公式所示：
ki+1＝argmax(fg(ki,j)；
其中，ki表示第i个关键帧，j表示关键帧i以后的第j个候选关键帧，ki+1表示第i个关键帧的下一关键帧。
可选地，进行候选关键帧评分计算时，可以选取一定数量的候选视频帧进行计算，也可以对后续所有候选视频帧进行计算。
在本实施例的技术方案中，根据特征点匹配均匀度、特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；根据特征点匹配均匀度、特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；根据第一适应度评分和第二适应度评分确定模型适应度评分。通过模型适应度评分实现对图像信息适配能力差别的量化，根据模型适应度评分在候选视频帧中筛选关键帧，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
参照图5，图5为本发明视频关键帧提取方法的第三实施例，基于第一或第二实施例，所述步骤S30之后，还包括：
步骤S40，获取所述关键帧序列，并提取所述关键帧序列的图像特征；
步骤S50，根据所述图像特征确定所述关键帧之间的匹配度；
步骤S60，将匹配度最大的关键帧确定为两帧目标关键帧；
步骤S70，根据两帧所述目标关键帧确定待处理视频对应的三维模型。
可选地，在筛选出待处理视频的全部关键帧的关键帧序列之后，获取所述关键帧序列，并提取关键帧序列的图像特征，可选地，采用SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法提取图像特征。根据所述图像特征确定所述关键帧之间的匹配度，可选地，采用FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻搜索包)匹配算法对图像特征进行快速匹配。
根据特征匹配结果构建一个数据库，数据库中保存了各个关键帧之间的匹配关系。选取匹配关系最优的图像对，将匹配度最大的关键帧确定为两帧目标关键帧，并利用光束平差法降低重投影误差。
可选地，根据两帧所述目标关键帧确定相机的位置信息和姿态信息；根据两帧所述目标关键帧的图像特征的像素位置信息，和相机的位置信息和姿态信息确定所述图像特征对应的三维坐标点；根据所述图像特征对应的三维坐标点确定所述待处理视频的三维模型。
可选地，得到三维坐标点后，需要通过光束平差法对三维坐标点进行重投影误差优化，依次循环完成所有关键帧处理即完成三维重建的过程并输出三维模型。
在本实施例的技术方案中，根据关键帧对三维模型进行重建，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
参照图6，图6为本发明视频关键帧提取方法的第四实施例，基于第一至第三中任一实施例，所述步骤S10包括：
步骤S11，获取所述视频帧序列中各个视频帧的特征点信息；
步骤S12，确定当前关键帧和所述视频帧的特征点匹配率；
步骤S13，确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。
可选地，确定所述当前关键帧与每一所述视频帧的特征点总数，和匹配特征点的数量；根据所述特征点总数和所述匹配特征点的数量，确定所述特征点匹配率。计算最新关键帧与后续帧的Rc值，Rc值的计算公式如下：
Rc＝Tc/Tall；
其中，Tc表示两帧之间匹配的特征点的数量，Tall表示两帧特征点总个数，如图7所示，两帧图像点表示所计算得到的特征点，线表示两帧之间的特征点匹配关系。
特征点匹配率与摄像机的运动状况呈反比关系，特征点匹配率越大，说明两幅图像的重叠度越高，也就说明摄像机运动距离较小，两幅图的基线距离较短。为防止两帧对应的特征点较少而造成相机姿态估计精度降低的影响，将对Rc值进行阈值判断，以此进行关键帧的过滤筛选。对Rc进行过滤的阈值区间设为T1～T2，阈值大小可以根据场景进行不同选择。在Rc值属于T1～T2区间，确定当前视频帧为候选视频帧，若不在阈值区间内，则过滤重新筛选下一帧。
在本实施例的技术方案中，获取所述视频帧序列中各个视频帧的特征点信息；确定当前关键帧和所述视频帧的特征点匹配率；确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。通过对候选视频帧的筛选，提高了关键帧计算的效率和准确度，根据关键帧对三维模型进行重建，有效解决了关键帧提取冗余度高以及造成后续三维重建重投影误差高的问题，提高了视频三维重建的准确度和效率。
参照图8，本发明还提供一种视频关键帧提取装置，所述装置包括：
获取模块100，用于在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
计算模块200，用于根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
确定模块300，用于根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
可选地，所述根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前视频帧与每一所述候选视频帧之间的模型适应度评分的步骤包括：
根据所述特征点匹配均匀度、所述特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；
根据所述特征点匹配均匀度、所述特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；
根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分。
可选地，所述根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分的步骤包括：
确定所述第一适应度评分和所述第二适应度评分的差值；
确定所述差值和所述第一适应度评分的比值为所述模型适应度评分。
可选地，所述根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧的步骤之后，还包括：
获取所述关键帧序列，并提取所述关键帧序列的图像特征；
根据所述图像特征确定所述关键帧之间的匹配度；
将匹配度最大的关键帧确定为两帧目标关键帧；
根据两帧所述目标关键帧确定待处理视频对应的三维模型。
可选地，所述根据两帧所述目标关键帧确定待处理视频对应的三维模型的步骤包括：
根据两帧所述目标关键帧确定相机的位置信息和姿态信息；
根据两帧所述目标关键帧的图像特征的像素位置信息，和相机的位置信息和姿态信息确定所述图像特征对应的三维坐标点；
根据所述图像特征对应的三维坐标点确定所述待处理视频的三维模型。
可选地，所述在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧的步骤包括：
获取所述视频帧序列中各个视频帧的特征点信息；
确定当前关键帧和所述视频帧的特征点匹配率；
确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。
可选地，所述确定当前关键帧和所述视频帧的特征点匹配率的步骤包括：
确定所述当前关键帧与每一所述视频帧的特征点总数，和匹配特征点的数量；
根据所述特征点总数和所述匹配特征点的数量，确定所述特征点匹配率。
本发明还提供一种视频关键帧提取设备，所述视频关键帧提取设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视频关键帧提取程序，所述视频关键帧提取程序被所述处理器执行时实现如上实施例所述的视频关键帧提取方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有视频关键帧提取程序，所述视频关键帧提取程序被处理器执行时实现如上实施例所述的视频关键帧提取方法的各个步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、系统、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，停车管理设备，空调器，或者网络设备等)执行本发明各个实施例所述的系统。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频关键帧提取方法，其特征在于，所述方法包括：
在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
2.如权利要求1所述的视频关键帧提取方法，其特征在于，所述根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前视频帧与每一所述候选视频帧之间的模型适应度评分的步骤包括：
根据所述特征点匹配均匀度、所述特征点分布特性和第一运动模型的自由度，确定预设第一运动模型的第一适应度评分；
根据所述特征点匹配均匀度、所述特征点分布特性和第二运动模型的自由度，确定预设第二运动模型的第二适应度评分；
根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分。
3.如权利要求2所述的视频关键帧提取方法，其特征在于，所述根据所述第一适应度评分和所述第二适应度评分确定所述模型适应度评分的步骤包括：
确定所述第一适应度评分和所述第二适应度评分的差值；
确定所述差值和所述第一适应度评分的比值为所述模型适应度评分。
4.如权利要求1所述的视频关键帧提取方法，其特征在于，所述根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧的步骤之后，还包括：
获取所述关键帧序列，并提取所述关键帧序列的图像特征；
根据所述图像特征确定所述关键帧之间的匹配度；
将匹配度最大的关键帧确定为两帧目标关键帧；
根据两帧所述目标关键帧确定待处理视频对应的三维模型。
5.如权利要求4所述的视频关键帧提取方法，其特征在于，所述根据两帧所述目标关键帧确定待处理视频对应的三维模型的步骤包括：
根据两帧所述目标关键帧确定相机的位置信息和姿态信息；
根据两帧所述目标关键帧的图像特征的像素位置信息，和相机的位置信息和姿态信息确定所述图像特征对应的三维坐标点；
根据所述图像特征对应的三维坐标点确定所述待处理视频的三维模型。
6.如权利要求1所述的视频关键帧提取方法，其特征在于，所述在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧的步骤包括：
获取所述视频帧序列中各个视频帧的特征点信息；
确定当前关键帧和所述视频帧的特征点匹配率；
确定所述特征点匹配率大于预设阈值的视频帧为所述候选视频帧。
7.如权利要求1所述的视频关键帧提取方法，其特征在于，所述确定当前关键帧和所述视频帧的特征点匹配率的步骤包括：
确定所述当前关键帧与每一所述视频帧的特征点总数，和匹配特征点的数量；
根据所述特征点总数和所述匹配特征点的数量，确定所述特征点匹配率。
8.一种视频关键帧提取装置，其特征在于，所述装置包括：
获取模块，用于在当前关键帧之后的视频帧序列中，确定与当前关键帧匹配的候选视频帧；
计算模块，用于根据所述当前关键帧和每一所述候选视频帧之间的特征点匹配均匀度，及所述候选视频帧的特征点分布特性，确定所述当前关键帧与每一所述候选视频帧之间的模型适应度评分；
确定模块，用于根据所述模型适应度评分，在所述候选视频帧中确定所述当前关键帧对应的下一关键帧。
9.一种视频关键帧提取设备，其特征在于，所述视频关键帧提取设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视频关键帧提取程序，所述视频关键帧提取程序被所述处理器执行时实现如权利要求1-7任一项所述的视频关键帧提取方法的各个步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有视频关键帧提取程序，所述视频关键帧提取程序被处理器执行时实现如权利要求1-7任一项所述的视频关键帧提取方法的各个步骤。
CN202210994534.5A 2022-08-18 2022-08-18 视频关键帧提取方法、装置、设备和存储介质 Pending CN115393761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210994534.5A CN115393761A (zh) 2022-08-18 2022-08-18 视频关键帧提取方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210994534.5A CN115393761A (zh) 2022-08-18 2022-08-18 视频关键帧提取方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115393761A true CN115393761A (zh) 2022-11-25

Family

ID=84120683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210994534.5A Pending CN115393761A (zh) 2022-08-18 2022-08-18 视频关键帧提取方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115393761A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115717A (zh) * 2023-10-19 2023-11-24 深圳市鑫环宇网络科技有限公司 互联网网络数据解析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115717A (zh) * 2023-10-19 2023-11-24 深圳市鑫环宇网络科技有限公司 互联网网络数据解析方法及系统
CN117115717B (zh) * 2023-10-19 2024-02-02 深圳市鑫环宇网络科技有限公司 互联网网络数据解析方法及系统

Similar Documents

Publication Publication Date Title
Chen et al. Single-image super-resolution algorithm based on structural self-similarity and deformation block features
WO2020003037A1 (en) Motion compensation of geometry information
CN107729809B (zh) 一种自适应生成视频摘要的方法、装置及其可读存储介质
US7334191B1 (en) Segmentation and detection of representative frames in video sequences
CN112967341B (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
CN112200041B (zh) 视频动作识别方法、装置、存储介质与电子设备
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
JP2004350283A (ja) 圧縮ビデオから３次元オブジェクトをセグメント化する方法
CN110944201A (zh) 一种视频去重压缩的方法、装置、服务器及存储介质
CN112270755A (zh) 三维场景构建方法、装置、存储介质与电子设备
CN111402412A (zh) 数据采集方法及装置、设备、存储介质
CN114140346A (zh) 一种图像处理方法及装置
CN115630236A (zh) 无源遥感影像的全球快速检索定位方法、存储介质及设备
CN111382305A (zh) 一种视频去重方法、装置、计算机设备和存储介质
CN115393761A (zh) 视频关键帧提取方法、装置、设备和存储介质
JP2018124990A (ja) モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN107194961B (zh) 群体图像编码中多参考图像的确定方法
CN113256484B (zh) 一种对图像进行风格化处理的方法及装置
CN111488476B (zh) 图像推送方法、模型训练方法及对应装置
CN111601108B (zh) 监控视频处理方法、装置及视频监控终端
Sehli et al. WeLDCFNet: Convolutional Neural Network based on Wedgelet Filters and Learnt Deep Correlation Features for depth maps features extraction
US20050231507A1 (en) Topological image model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination