CN112927142A - 一种基于时域插值的高速高分辨率视频生成方法和装置 - Google Patents

一种基于时域插值的高速高分辨率视频生成方法和装置 Download PDF

Info

Publication number
CN112927142A
CN112927142A CN202110359253.8A CN202110359253A CN112927142A CN 112927142 A CN112927142 A CN 112927142A CN 202110359253 A CN202110359253 A CN 202110359253A CN 112927142 A CN112927142 A CN 112927142A
Authority
CN
China
Prior art keywords
speed
video data
resolution video
data
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110359253.8A
Other languages
English (en)
Other versions
CN112927142B (zh
Inventor
于起峰
张文龙
李璋
关棒磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110359253.8A priority Critical patent/CN112927142B/zh
Publication of CN112927142A publication Critical patent/CN112927142A/zh
Application granted granted Critical
Publication of CN112927142B publication Critical patent/CN112927142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Abstract

本申请涉及一种基于时域插值的高速高分辨率视频生成方法和装置。所述方法包括，获取对预设区域进行拍摄的高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致。对亮度调节高速视频和高分辨率视频进行配准，并获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据，高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。本申请以高速视频的时域信息为参考，对高分辨率的低速视频图像进行时域插值处理，将高速相机获得的同一场景图像转换为高空间分辨率图像，能够不受成像硬件限制，得到拍摄场景真实信息的高速高分辨率视频。

Description

一种基于时域插值的高速高分辨率视频生成方法和装置
技术领域
本申请涉及视频图像处理技术领域，特别是涉及一种基于时域插值的高速高分辨率视频生成方法和装置。
背景技术
在使用高速相机对场景进行拍摄成像时，因为传输速率和相机硬件的限制，高速相机的空间分辨率一般不能太高，而高分辨率相机的时间分辨率较低，因此难以直接通过硬件装置拍摄获取高时空分辨率的视频图像。常用的图像超分和图像序列插帧算法，由于没有真实场景的高分辨率信息作为参考，因此得到的高时空分辨率视频与真实场景之间存在较大差异。本申请通过软件处理算法，以高速相机拍摄视频的时域信息为参考，对分辨率相机拍摄的视频图像进行时域差异处理，得到同一场景高分辨率的视频，生成的高速高分辨视频与真实场景具有较高的相似性，提供一种高时空分辨率视频的获取方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够得到拍摄场景真实信息的高速高分辨率的一种基于时域插值的高速高分辨率视频生成方法和装置。
一种基于时域插值的高速高分辨率视频生成方法，所述方法包括：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
其中一个实施例中，获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤之后，还包括：
去除高速高分辨率视频数据的差值图像中的异常像素点。
其中一个实施例中，将高速视频数据的亮度分布调节为与高分辨率视频数据一致的方式包括：
使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致。
其中一个实施例中，对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间的方式包括：
使用SURF(Speeded Up Robust Features)特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。
使用随机抽样一致性(RANSAC，RANdom SAmple Consensus)算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间。
其中一个实施例中，获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤包括：
获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。
计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。
根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
其中一个实施例中，去除高速高分辨率视频数据的差值图像中的异常像素点的方式包括：
通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间。
一种基于时域插值的高速高分辨率视频生成装置，所述装置包括：
亮度调节模块，用于获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
视频配准模块，用于对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
时域插值模块，用于获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
其中一个实施例中，所述装置还包括异常像素点去除模块，用于去除高速高分辨率视频数据的差值图像中的异常像素点。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
与现有技术相比，上述一种基于时域插值的高速高分辨率视频生成方法、装置、计算机设备和存储介质，对于同一区域的高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，将高分辨率视频数据投影到亮度调节后的高速视频数据对应的图像空间，并根据高速视频的时域梯度数据，以获得的时域梯度数据为参考，对高分辨率视频进行时域插值，使插值获得的高速高分辨率视频数据的时域梯度和高速视频的时域梯度尽可能接近。本申请以高速视频的时域信息为参考，对高分辨率的低速视频图像进行时域插值处理，将高速相机获得的同一场景图像转换为高空间分辨率图像，能够不受成像硬件限制，得到拍摄场景真实信息的高速高分辨率视频。
附图说明
图1为一个实施例中一种基于时域插值的高速高分辨率视频生成方法的步骤图；
图2为另一个实施例中一种基于时域插值的高速高分辨率视频生成方法的流程示意图；
图3为高速相机和高分辨率相机的安装硬件图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
高分辨率视频数据是指分辨率较高的视频数据，其图像帧的分辨率高，但由于受到硬件和数据处理能力的限制，但其帧率较低。与之相对，高速视频数据是指帧率较高的视频数据，能够提供流畅的时域信息(如目标运动等因素引起的像素值变化信息)，但同样受到硬件和数据处理能力限制，其各图像帧的分辨率较低。本申请的构思是结合上述二者的优势，对同一区域获取上述两种视频数据，基于高速视频数据的时域梯度信息，对高分辨率视频数据中对应的像素点进行时域插值处理，使插值后的高分辨率视频数据具有和高速视频数据一致的时域梯度信息，即得到了高分辨率高速视频数据。
在一个实施例中，如图1所示，提供了一种基于时域插值的高速高分辨率视频生成方法，包括以下步骤：
步骤102，获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
进行处理时，将高分辨率视频数据和高速视频数据进行时间对齐，将其中对应的视频图像进行处理。处理时，以高分辨率视频图像的亮度分布为参考，使用预先定义的图像亮度映像函数处理与该高分辨率视频图像时间对齐的高速视频图像，使处理后的高速视频图像的亮度分布和高分辨率视频图像一致。
步骤104，对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
将高分辨率视频和亮度分布调节后的高速视频进行配准，可采用各种现有的配准方式。根据配准结果，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
步骤106，获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
获取亮度调节后得到的高速视频的时域梯度数据，即获得亮度调节后的高速视频中相邻帧中对应的像素(位置)的像素值，进而计算得到该视频在时域上的梯度数据。以对高分辨率视频中的像素A进行时域插值为例：首先，根据步骤104获得的投影结果，获取像素A在高速视频中对应的像素B，并获得高速视频中像素B处的时域梯度值。随后，在高分辨率视频中对像素A进行时域插值，并计算插值后的高分辨率视频在像素A处的时域梯度值，使其与像素B处的时域梯度值尽量接近，如小于预设值，或等于零。
本实施例对高分辨率视频和高速视频进行了亮度匹配、时域对准和空间配准，然后以高速视频的时域上的梯度信息为参考，对高分辨率视频中的低速视频图像进行时域插值处理，将高速相机获得的同一场景图像转换为高空间分辨率图像，能够不受成像硬件限制，得到拍摄场景真实信息的高速高分辨率视频。
其中一个实施例中，如图2所示，提供了一种基于时域插值的高速高分辨率视频生成方法，包括以下步骤：
步骤202，获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
具体地，高速视频的图像亮度计算方式为：
z＝G-1(T(r)) (1)
式(1)中，r、z分别为亮度调整前后高速视频图像的灰度值，G(·)、T(·)分别为高分辨率视频图像和高速视频图像的直方图均衡化函数，可以通过相应累积直方图得到，其具体计算方法为：
Figure BDA0003004805950000061
Figure BDA0003004805950000062
式(2)、(3)中，Pz(·)、Pr(·)分别为高分辨率视频图像和高速视频图像的概率直方图。
步骤204，使用surf特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。
步骤206，使用RANSAC算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
本申请通过一个分光镜头301分光的方式通过高速相机302和高分辨率相机303采集高速和高分辨率的视频，如图3所示，可以确保本实施例可以使用单应变换对同一时刻的高速视频图像和高分辨率视频图像进行配准，将高分辨率视频图像投影变换到高速视频图像对应的空间，投影变换的表达式为：
Figure BDA0003004805950000071
式(4)中，H为单应变换矩阵，(x,y)为原始高分辨率视频图像的坐标(u,v)为变换后图像的坐标。
为了准确快速地进行配准，本实施例采用SURF特征点检测和描述算子，分别提取高速图像和高分辨率图像中的响应特征，并根据描述子对特征点进行初始匹配。之后，采用RANSAC算法对初始匹配的结果进行提纯，计算出变换的单应矩阵H。
步骤208，获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。
步骤210，计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
本实施例获取高分辨率视频中连续的两帧图像，即第一图像帧数据和第二图像帧数据，根据上述单应变换矩阵将高分辨率视频图像的各个像素变换到高速视频图像的空间中，找到其各自对应的高速视频图像坐标。第一图像帧数据和第二图像帧数据在高速视频中在时域上对应于第一对应图像帧数据和第二对应图像帧数据。根据高速视频中视频图像间的时域梯度信息，获得在高分辨率视频的第一图像帧数据和第二图像帧数据之间进行时域插值时时域梯度值。
具体实施时，首先以高分辨率视频中相邻两帧同一位置的像素值为准，并获取位置对应的高速视频图像坐标，计算高速视频图像在该坐标处的时域梯度，期望插值后的高分辨率视频在对应位置的梯速信息尽可能与高速图像的梯度保持一致。假设从高速视频中的第一对应图像帧到第二对应图像帧共有n+2帧高速视频图像，则有：
Figure BDA0003004805950000081
式(5)中，f为时域插值后的高分辨率图像的像素值序列，(x,y)为高分辨率视频图像坐标，F为对应位置的高速视频图像的像素值序列，(x′,y′)为根据单应变换计算出的高速视频图像中的坐标。I0和I1分别为连续的两帧高分辨率图像，
Figure BDA0003004805950000082
为时间方向上的一阶微分算子(梯度算子)。
由式(5)可得：
Figure BDA0003004805950000083
其中
Figure BDA0003004805950000084
为二阶微分算子。
式(6)为二阶线性常微分方程中的两点边值问题，通过微分方程数值解的方法可对其进行求解，得到高分辨率视频图像的时域插值结果。根据微分方程数值解中两点边值问题的差分格式进行求解，可以得到如下方程：
Figure BDA0003004805950000085
式(7)中，gi(x',y')＝2·ΔFi(x',y')(i＝1,2,...,n)。
gi(x',y')＝Fi+1(x',y')+Fi-1(x',y')-2Fi(x',y') (8)
对高分辨视频图像的每一个像素，求解式(7)就可以得到高分辨率图像f在时域上的插值结果。
步骤212，去除高速高分辨率视频数据的差值图像中的异常像素点。
本实施例通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间[0,255]，以避免插值后的高速高分辨率视频图像中出现异常的像素值。具体计算方式为：
Figure BDA0003004805950000091
其中，F*为亮度映射后的高速高分辨率视频的图像。
本实施例以真实的高速视频为参考，对高分辨率视频进行时域插值，真正增加高分辨率视频的时域信息，生成真实的高速高分辨率视频。插值时，在保持原始高分辨率视频图像亮度不变的情况下，尽可能保持高速视频在时域上的梯度信息，通过微分方程数值解的相关方法进行求解，得到的高速高分辨率视频具有较高的可信度和保真度。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于时域插值的高速高分辨率视频生成装置，包括：
亮度调节模块，用于获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
视频配准模块，用于对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
时域插值模块，用于获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
其中一个实施例中，所述装置还包括异常像素点去除模块，用于去除高速高分辨率视频数据的差值图像中的异常像素点。
其中一个实施例中，亮度调节模块用于使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致。
其中一个实施例中，视频配准模块用于使用SURF特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。使用RANSAC算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间。
其中一个实施例中，时域插值模块用于获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
其中一个实施例中，异常像素点去除模块用于通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间。
关于基于时域插值的高速高分辨率视频生成装置的具体限定可以参见上文中对于基于时域插值的高速高分辨率视频生成方法的限定，在此不再赘述。上述基于时域插值的高速高分辨率视频生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于时域插值的高速高分辨率视频生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：去除高速高分辨率视频数据的差值图像中的异常像素点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：使用SURF特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。使用RANSAC算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：去除高速高分辨率视频数据的差值图像中的异常像素点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：使用SURF特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。使用RANSAC算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于时域插值的高速高分辨率视频生成方法，其特征在于，所述方法包括：
获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将所述高速视频数据的亮度分布调节为与所述高分辨率视频数据一致，得到亮度调节高速视频数据；
对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据；
获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据；所述高速高分辨率视频数据和所述亮度调节高速视频的时域梯度差值小于预设值。
2.根据权利要求1所述的方法，其特征在于，获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤之后，还包括：
去除所述高速高分辨率视频数据的差值图像中的异常像素点。
3.根据权利要求1所述的方法，其特征在于，将所述高速视频数据的亮度分布调节为与所述高分辨率视频数据一致的方式包括：
使用直方图规定化技术将所述高速视频图像的亮度分布调节为与所述高分辨率视频数据一致。
4.根据权利要求1所述的方法，其特征在于，对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间的方式包括：
使用SURF特征点检测和描述算子技术，分别提取所述高分辨率视频数据和所述亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据；
使用随机抽样一致性算法对所述初始匹配数据进行提纯，得到对应的单应变换矩阵，根据所述单应变换矩阵对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤包括：
获取所述高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取所述第一图像帧数据和所述第二图像帧数据在所述亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据；
计算所述第一对应图像帧数据和所述第二对应图像帧数据在预设位置的参考时域梯度值；
根据所述第一图像帧数据和第二图像帧数据在所述预设位置的像素值进行时域插值，使时域插值后在所述预设位置的时域梯度值和所述参考时域梯度值的差小于预设值。
6.根据权利要求2所述的方法，其特征在于，去除所述高速高分辨率视频数据的差值图像中的异常像素点的方式包括：
通过线性映射的方式将所述高速高分辨率视频数据中的像素值映射到预设的取值空间。
7.一种基于时域插值的高速高分辨率视频生成装置，其特征在于，所述装置包括：
亮度调节模块，用于获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将所述高速视频数据的亮度分布调节为与所述高分辨率视频数据一致，得到亮度调节高速视频数据；
视频配准模块，用于对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据；
时域插值模块，用于获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据；所述高速高分辨率视频数据和所述亮度调节高速视频的时域梯度差值小于预设值。
8.根据权利要求7所述的装置，其特征在于，还包括异常像素点去除模块，用于去除所述高速高分辨率视频数据的差值图像中的异常像素点。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
CN202110359253.8A 2021-04-02 2021-04-02 一种基于时域插值的高速高分辨率视频生成方法和装置 Active CN112927142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110359253.8A CN112927142B (zh) 2021-04-02 2021-04-02 一种基于时域插值的高速高分辨率视频生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110359253.8A CN112927142B (zh) 2021-04-02 2021-04-02 一种基于时域插值的高速高分辨率视频生成方法和装置

Publications (2)

Publication Number Publication Date
CN112927142A true CN112927142A (zh) 2021-06-08
CN112927142B CN112927142B (zh) 2022-11-11

Family

ID=76173904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110359253.8A Active CN112927142B (zh) 2021-04-02 2021-04-02 一种基于时域插值的高速高分辨率视频生成方法和装置

Country Status (1)

Country Link
CN (1) CN112927142B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070189386A1 (en) * 2005-06-22 2007-08-16 Taro Imagawa Image generation apparatus and image generation method
US20070247151A1 (en) * 2006-04-20 2007-10-25 Yuval Zur Method and apparatus of mr imaging with two dimensional phase and magnitude correction
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
CN104166967A (zh) * 2014-08-15 2014-11-26 西安电子科技大学 提升视频图像清晰度的方法
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法
CN108460721A (zh) * 2018-01-04 2018-08-28 中国船舶重工集团公司第七0九研究所 一种基于硬件加速卡的全景视频拼接系统及方法
CN109167924A (zh) * 2018-10-24 2019-01-08 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN109375648A (zh) * 2018-12-07 2019-02-22 北京理工大学 一种多约束条件下椭圆轨道卫星编队构形初始化方法
CN111294545A (zh) * 2019-03-13 2020-06-16 展讯通信（上海）有限公司 图像数据插值方法及装置、存储介质、终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070189386A1 (en) * 2005-06-22 2007-08-16 Taro Imagawa Image generation apparatus and image generation method
US20070247151A1 (en) * 2006-04-20 2007-10-25 Yuval Zur Method and apparatus of mr imaging with two dimensional phase and magnitude correction
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
CN104166967A (zh) * 2014-08-15 2014-11-26 西安电子科技大学 提升视频图像清晰度的方法
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法
CN108460721A (zh) * 2018-01-04 2018-08-28 中国船舶重工集团公司第七0九研究所 一种基于硬件加速卡的全景视频拼接系统及方法
CN109167924A (zh) * 2018-10-24 2019-01-08 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN109375648A (zh) * 2018-12-07 2019-02-22 北京理工大学 一种多约束条件下椭圆轨道卫星编队构形初始化方法
CN111294545A (zh) * 2019-03-13 2020-06-16 展讯通信（上海）有限公司 图像数据插值方法及装置、存储介质、终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜浩: "计算视觉中三维重建、图像增强及模式分类问题的新方法", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Also Published As

Publication number Publication date
CN112927142B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US8290212B2 (en) Super-resolving moving vehicles in an unregistered set of video frames
CN109005334B (zh) 一种成像方法、装置、终端和存储介质
WO2019042404A1 (zh) 一种图像处理方法、终端和存储介质
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
KR20200116138A (ko) 안면 인식을 위한 방법 및 시스템
US11538175B2 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
WO2021258579A1 (zh) 图像拼接方法、装置、计算机设备和存储介质
US9317909B2 (en) Image subsystem including image feature detection hardware component and image processing system including the same
CN111080571B (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN112435223B (zh) 目标检测方法、装置及存储介质
US20230401855A1 (en) Method, system and computer readable media for object detection coverage estimation
WO2022267939A1 (zh) 图像处理方法及装置、计算机可读存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN113628259A (zh) 图像的配准处理方法及装置
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN112927142B (zh) 一种基于时域插值的高速高分辨率视频生成方法和装置
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN113223185B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
CN111754417A (zh) 视频图像的降噪方法、视频抠像方法、装置和电子系统
CN114143442B (zh) 图像虚化方法、计算机设备、计算机可读存储介质
CN117456097B (zh) 一种三维模型构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant