CN111629262A - 视频图像处理方法和装置、电子设备及存储介质 - Google Patents

视频图像处理方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111629262A
CN111629262A CN202010382194.1A CN202010382194A CN111629262A CN 111629262 A CN111629262 A CN 111629262A CN 202010382194 A CN202010382194 A CN 202010382194A CN 111629262 A CN111629262 A CN 111629262A
Authority
CN
China
Prior art keywords
frame
image
processed
current frame
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010382194.1A
Other languages
English (en)
Other versions
CN111629262B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010382194.1A priority Critical patent/CN111629262B/zh
Publication of CN111629262A publication Critical patent/CN111629262A/zh
Application granted granted Critical
Publication of CN111629262B publication Critical patent/CN111629262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种视频图像处理方法，包括：获取待处理视频；从待处理视频中确定当前帧和参考帧，参考帧为当前帧的前向原始图像帧；基于当前帧和参考帧的差异识别当前帧的帧状态；当当前帧的帧状态为关键帧时，使用第一图像处理方式对当前帧进行处理得到所述当前帧对应的已处理图像帧；当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧，将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧；各个已处理图像帧组成待处理视频对应的已处理视频。还公开了一种视频图像处理装置、电子设备以及计算机可读存储介质，在保证图像质量的情况下降低了运算复杂度。

Description

视频图像处理方法和装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频图像处理方法和装置、电子设备以及计算机可读存储介质。
背景技术
近年来，用户对高品质影像的追求，以及飞速增长的硬件计算资源，促进了图像算法的蓬勃发展。然而应用到视频时，算法复杂度与高帧率之间存在矛盾。高性能的图像算法，如基于深度学习的图像处理算法，虽然算法能呈现好效果，但应用到手机、电视等消费电子产品中时，受限于计算资源、功耗、实时性等因素，难以落地。
传统的视频图像处理方法在生成高质量的视频时，对各个图像采用相同的高性能算法进行处理，这种方式复杂度高，不具有自适应性。
发明内容
本申请实施例提供一种视频图像处理方法和装置、电子设备以及计算机可读存储介质，对视频的关键帧和非关键帧采用不同的方式进行处理，在提升画质的同时，降低了每帧的平均成本，满足系统的功耗或实时性需求，对于视频的非关键帧，参考前向帧的处理结果，充分利用了视频的连贯特性，可将关键帧的图像处理算法的效果扩展到多帧，保证视频的整体质量，在保证图像质量的情况下降低了运算复杂度。
一种视频图像处理方法，包括：
获取待处理视频；
从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
基于所述当前帧和参考帧的差异识别当前帧的帧状态；
当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
各个已处理图像帧组成所述待处理视频对应的已处理视频。
一种视频图像处理装置，包括：
确定模块，用于获取待处理视频，从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
识别模块，用于基于所述当前帧和参考帧的差异识别当前帧的帧状态；
第一处理模块，用于当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
第二处理模块，用于当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
视频生成模块，用于各个已处理图像帧组成所述待处理视频对应的已处理视频。
一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取待处理视频；
从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
基于所述当前帧和参考帧的差异识别当前帧的帧状态；
当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
各个已处理图像帧组成所述待处理视频对应的已处理视频。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取待处理视频；
从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
基于所述当前帧和参考帧的差异识别当前帧的帧状态；
当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
各个已处理图像帧组成所述待处理视频对应的已处理视频。
上述视频图像处理方法、装置、电子设备以及计算机可读存储介质，对视频的关键帧和非关键帧采用不同的方式进行处理，在提升画质的同时，降低了每帧的平均成本，满足系统的功耗或实时性需求，对于视频的非关键帧，参考前向帧的处理结果，充分利用了视频的连贯特性，可将关键帧的图像处理算法的效果扩展到多帧，保证视频的整体质量，在保证图像质量的情况下降低了运算复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中视频图像处理方法的应用环境图；
图2为一个实施例中视频图像处理方法的流程示意图；
图3为一个实施例中得到已处理图像帧的示意图；
图4为一个实施例中得到已处理图像帧的系统示意图；
图5为另一个实施例中得到已处理图像帧的系统示意图；
图6为一个实施例中视频图像处理装置的结构框图；
图7为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中视频图像处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110获取待处理视频，将包括待处理视频的视频处理请求发送至服务器120，服务器120从待处理视频中确定当前帧和参考帧，参考帧为当前帧的前向原始图像帧，基于当前帧和参考帧的差异识别当前帧的帧状态；当当前帧的帧状态为关键帧时，使用第一图像处理方式对当前帧进行处理得到当前帧对应的已处理图像帧；当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧，将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧；各个已处理图像帧组成待处理视频对应的已处理视频，服务器120将已处理视频返回终端110。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以从服务器下载、应用各类型的图像资源作为待处理视频。其中服务器120可以为一个服务器或服务器集群。
在一些实施例中，视频图像处理方法可以应用于终端110，由终端110直接执行上述步骤生成已处理视频。
图2为一个实施例中视频图像处理方法的流程图。图2所示的视频图像处理方法可应用于上述终端110或服务器120中，包括：
步骤202，获取待处理视频，从待处理视频中确定当前帧和参考帧，参考帧为当前帧的前向原始图像帧。
其中，待处理视频可以是终端实时拍摄的视频，也可以是预先配置的视频，如网络中下载的视频，直播视频，好友发送的视频等。待处理视频可以为一个或多个。
具体地，当前帧和参考帧都是待处理视频中的原始图像帧，当前帧是当前待处理的图像帧，参考帧是用于作为当前帧的参考图像确定当前帧的图像处理方式。当前帧的前向原始图像帧是指图像的时间发生在当前帧之前的原始图像帧。参考帧一般是具有关键图像信息的图像帧或与当前帧在图像内容上相似度高具有在图像内容上连续的图像帧。参考帧可以为一个或多个。如参考帧可以为与当前帧之前的邻近的前N帧，其中N可自定义。
在一个实施例中，参考帧为当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧。
具体地，当前帧相邻的前向原始图像帧就是当前帧的上一帧，关键帧是指具有图像关键信息的图像帧，如场景切换时间点对应的图像帧，视频的首帧，出现新的图像内容的帧，如出现新的图像主体，与上个关键帧间隔超过预设间隔阈值的帧等。
本实施例中，参考帧为当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧，相邻的前向原始图像帧与当前帧在时间上连续，充分利用了视频中图像之间的连续性，关键帧具有关键图像信息，使用当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧作为参考帧能为后续确定当前帧的帧状态提供准确的识别依据，从而提高当前帧的处理结果的图像质量。
步骤204，基于当前帧和参考帧的差异识别当前帧的帧状态。
其中，帧状态包括关键帧和非关键帧两种状态，差异指统计信息上的差异，可以通过多个不同维度的统计信息来体现差异，不同的维度可以是频域的维度或像素域的维度，可以通过不同的特征提取算法在不同的维度对当前帧和参考帧提取特征并进行统计得到对应的差异。可以直接对当前帧和参考帧提取特征或将当前帧和参考帧变换到频域，在频域提取特征。
具体地，可以将当前帧和参考帧输入对应维度的已训练的特征提取网络提取特征，计算差异。计算差异的维度包括但不限于颜色特征、纹理特征、形状特征、空间关系特征、图像高层语义特征，其中纹理特征包括纹理复杂度、纹理主方向、纹理类型等，形状特征包括边缘特征、轮廓特征等。
可以通过不同的统计算法计算差异，如全图的最大差异值，将当前帧与参考帧的全图的各个像素点计算像素差值，全图差值的绝对值的最大值作为当前帧和参考帧的差异。可通过SSIM算法计算形状特征的差异，可通过神经网络提取特征层差异，或神经网络的识别结果计算差异。
当差异超过预设阈值时，当前帧识别为关键帧，否则，当前帧识别为非关键帧。
步骤206，当当前帧的帧状态为关键帧时，使用第一图像处理方式对当前帧进行处理得到当前帧对应的已处理图像帧。
其中，第一图像处理方式指提升图像画质的算法，包含但不限于降噪算法，超分辨率算法，图像的增强算法，饱和度增强算法，深度学习类算法，卷积神经网络算法等。其中，图像的增强算法包括锐化，平滑，去噪，去模糊，去雾，修复等操作之一，或组合。其中超分辨率处理方式可以包括以下类型：传统算法：如方向性插值，主成分分析等。神经网络算法：如SRCNN(Image Super-resolution Using Deep Convolutional Networks)，EDVR(VideoRestoration with Enhanced Deformable Convolutional Networks)，VDSR(Very Deepnetwork for Super-Resolution)等。字典法：如RAISR(Rapid and Accurate Super ImageResolution)等。以上三种的结合，或其他。
第一图像处理方式可以为多个不同的图像处理算法的组合，其处理顺序可以为任意指定。第一图像处理方式可以为高性能图像处理算法，高性能图像处理算法的性能佳，运算量相对较高、功耗相对较大、运行时间相对较长、占用带宽相对较高等。
可以根据目标处理结果指标信息确定第一图像处理方式，目标处理结果指标信息是指描述处理结果需求的信息，可以包括不同维度上的指标描述，如图像质量、图像质量的稳定性、图像运算复杂度等。可以以块为单位描述各个扩充图像块对应的目标处理结果指标信息，不同的当前帧中的图像块对应的目标处理结果指标信息的种类和数量可以不同，也可以以图像为单位描述整个图像对应的目标处理结果指标信息。
具体地，使用第一图像处理方式对当前帧进行处理得到当前帧对应的已处理图像帧，当第一图像处理方式包括多个时，可以依次将当前帧通过多个不同的图像处理方式进行处理，最终得到的结果作为当前帧对应的已处理图像帧。当当前帧的各个图像块对应不同的第一图像处理方式时，可分别对各个图像块通过匹配的第一图像处理方式进行处理，最后得到的图像作为当前帧对应的已处理图像帧。
步骤208，当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧，将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧。
具体地，参考处理帧用于与当前帧进行融合，以使得参考处理帧的图像信息融合进已处理图像帧，提高已处理图像帧的图像质量。参考处理帧一般为图像质量较高的已处理图像帧，或与当前帧在图像内容上相似度高的已处理图像帧。参考处理帧可以为参考帧对应的已处理图像帧，或其它的已处理图像帧。参考处理帧可以为一个或多个。
将参考处理帧与当前帧进行融合的算法可自定义，可以先将当前帧进行图像处理后再与参考处理帧进行融合，也可以先将参考处理帧与当前帧进行融合，再将融合后的图像进行图像处理得到已处理图像帧。还可以根据参考处理帧与当前帧的图像特征选择部分区域进行图像处理，将处理后的参考处理帧作为已处理图像帧。还可以根据参考处理帧与当前帧的图像特征选择部分融合区域，其它区域保持原图像不变，将部分区域融合后的参考处理帧或当前帧作为已处理图像帧。还可以通过已训练的神经网络模型对参考处理帧与当前帧进行融合。在一个实施例中，融合前，先对待融合的图像进行图像配准，然后计算当前帧与参考处理帧的整帧相似度或区域相似度，最后加权融合。相似度越高，则参考处理帧的权重越高，反之，相似度越低，则参考处理帧的权重越低。其中计算相似度的算法可自定义。
在融合时，对图像进行的处理一般指轻量级的画质提升算法，对于超分辨率，可为双线性插值或双三次插值；对于降噪，可为平滑滤波；对于对比度增强、饱和度增强，可为全局映射算法；对于深度学习类算法，可为运算量较小的神经网络。
步骤210，各个已处理图像帧组成待处理视频对应的已处理视频。
具体地，待处理视频中的各个原始图像帧经过处理后则形成已处理视频，已处理视频的图像质量相比待处理视频进行了提升，能满足不同的需求。根据不同的需求，同一个待处理视频可得到不同的已处理视频。不同的需求包括图像分辨率需求、图像质量需求、带宽需求等。
本实施例中的视频图像处理方法，通过获取待处理视频，从待处理视频中确定当前帧和参考帧，参考帧为所述当前帧的前向原始图像帧，基于当前帧和参考帧的差异识别当前帧的帧状态，当当前帧的帧状态为关键帧时，使用第一图像处理方式对当前帧进行处理得到所述当前帧对应的已处理图像帧；当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧，将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧；各个已处理图像帧组成待处理视频对应的已处理视频，对视频的关键帧和非关键帧采用不同的方式进行处理，在提升画质的同时，降低了每帧的平均成本，满足系统的功耗或实时性需求，对于视频的非关键帧，参考前向帧的处理结果，充分利用了视频的连贯特性，可将关键帧的图像处理算法的效果扩展到多帧，保证视频的整体质量，在保证图像质量的情况下降低了运算复杂度。
如图3所示，为一个具体的实施例中，得到已处理图像帧的示意图。为了实时处理视频或降低移动端功耗，仅用高性能算法处理视频的关键帧，而对于非关键帧，可用快速算法处理，并融合前帧的输出结果。此处的关键帧，为场景突变的帧，或者与上个关键帧的帧间隔超过预设帧间隔阈值的帧。
如图4所示，为一个具体的实施例中，得到已处理图像帧的系统示意图。将当前帧和上一帧输入判别模块；如果当前帧被判别为关键帧，则用高性能算法提升画质，如果当前帧被判别为非关键帧，则联合前一帧或前多帧的输出，通过快速算法提升画质。
如图5所示，为一个具体的实施例中，得到已处理图像帧的系统示意图。将当前帧和上个关键帧输入判别模块，如果当前帧被判别为关键帧，则用高性能算法提升画质；如果当前帧被判别为非关键帧，则联合上个关键帧的输出，通过快速算法提升画质。
在一个实施例中，步骤204包括：生成当前帧对应的第一灰度直方图，将第一灰度直方图转换为第一向量；生成参考帧对应的第二灰度直方图，将第二灰度直方图转换为第二向量；根据第一向量与第二向量各个相同维度上的向量值、当前帧和参考帧的图像分辨率计算当前帧和参考帧的差异度；当差异度超过预设阈值时，识别当前帧为关键帧，否则，识别当前帧为非关键帧。
具体地，对当前帧和参考帧进行直方图统计，第一灰度直方图和第二灰度直方图，灰度直方图是灰度级的函数，描述的是图像中具有该灰度级的像素的个数。确定图像像素的灰度值范围，以适当的灰度间隔为单位将其划分为若干等级，以横轴表示灰度级，以纵轴表示每一灰度级具有的像素数或该像元数占总像元数的比例值，做出的条形统计图即为灰度直方图，通过灰度直方图进行转换得到直方图对应的统计向量，分别为第一向量和第二向量，各个向量的第N个元素，代表图像中等于灰阶(N-1)的像素数目，N的取值范围为[1,256]，将第一向量和第二向量分别记为v1、v2，图像尺寸记为H、W，其中H代表图像高度，W代表宽图像度，当前帧和参考帧的差异度通过以下表达式计算得到，
Figure BDA0002482574050000051
其中i为向量的第i个元素。
在一个实施例中，当该差异度大于10％，判断为场景突变，识别当前帧为关键帧，否则，识别当前帧为非关键帧。
本实施例中，通过当前帧与参考帧的直方图统计数据，快速计算得到当前帧和参考帧的差异度，根据差异度识别关键帧，简单方便。
在一个实施例中，步骤204包括：将当前帧进行分块，得到对应的各个第一图像块，将参考帧进行分块，得到对应的各个第二图像块，分别对各个第一图像块和各个第二图像块转换至频域得到对应的各个第一频域图像块和各个第二频域图像块，获取匹配的第一频域图像块和第二频域图像块，根据匹配的第一频域图像块和第二频域图像块中对应预设位置的像素值计算得到频域差异度，统计差异度超过预设阈值的图像块的比例，当比例超过预设比例阈值时，识别当前帧为关键帧，否则，识别当前帧为非关键帧。
其中，分块大小，频域转换方式，预设位置，频域差异度的计算方法、预设比例阈值都可自定义。
具体地，对图像设置水平和垂直遍历步长，水平和垂直遍历步长可以相同或不相同，并根据两个遍历步长遍历整个当前帧和参考帧从而得到分块后的各个第一图像块和各个第二图像块，各个第一图像块和各个第二图像块的长和宽分别与水平和垂直遍历步长对应。各个第一图像块的大小可以一致或不一致，各个第二图像块的大小可以一致或不一致，且大小可设定。但相同位置上的匹配的第一图像块和第二图像块的大小一致。在一个实施例中，图像块的尺寸为NxN，N为8或16或64。
分别对各个第一图像块和各个第二图像块转换至频域得到对应的各个第一频域图像块和各个第二频域图像块，其中频域转换算法可以自定义，在一个实施例中，采用DCT变换。匹配的第一频域图像块和第二频域图像块中对应预设位置可以自定义，在一个实施例中，将两帧图像的相同位置图像块的DCT变换结果的第一行、第一列进行比较。如果将两张图像中DCT变换得到的矩阵分别记为m1、m2，将矩阵的行坐标记为i，矩阵的列坐标记为j，频域差异度为
Figure BDA0002482574050000061
其中N表示块的边长，当delta_block大于阈值t_block时，认为该位置的图像块存在视觉差异。统计所有区图像块中，delta_block大于阈值t_block的区块比例，当该比例大于阈值t_ratio时，判断为场景突变，在一个实施例中t_block为1，t_ratio为10％。在一个实施例中，根据图像的纹理复杂度确定t_ratio。
本实施例中，通过频域特征计算当前帧和参考帧的差异，可根据图像的纹理复杂度确定预设比例阈值，从而可高效准确的识别关键帧。
在一个实施例中，步骤204之前还包括：获取当前处理终端的允许处理资源值，获取关键帧对应的第一图像处理方式对应的第一消耗资源值，获取非关键帧对应的第二图像处理方式对应的第二消耗资源值，第二消耗资源值小于第一消耗资源值，根据允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值；当当前帧与上一个关键帧的帧间隔超过预设帧间隔阈值时，进入步骤204，否则，确定当前帧为非关键帧。
具体地，当前处理终端的允许处理资源值是系统允许的资源，第一图像处理方式比第二图像处理方式的算法复杂度高，得到的图像质量更高，所以消耗的资源更多。第一消耗资源值为性能算法消耗的资源，第二消耗资源值为低性能算法消耗的资源。可以理解的是，当第一图像处理方式不同时对应的第一消耗资源值为不同，当第二图像处理方式不同时，对应的第二消耗资源值也不同，从而计算出的预设帧间隔阈值与关键帧和非关键帧的图像处理方式相关，可适应的进行调整。其中算法消耗的资源可指耗时，功耗，带宽等。根据允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值，其中计算方式可自定义，可包括多种不同的运算方法。
本实施例中，预设帧间隔阈值随着关键帧和非关键帧的图像处理方式的变化自适应的变化，只有当前帧与上一个关键帧的帧间隔超过所述预设帧间隔阈值，才会进入下一步识别关键帧的步骤，提高了关键帧识别的准确度。
在一个实例中，根据允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值包括：基于允许处理资源值、第一消耗资源值计算得到第一资源差距；基于第二消耗资源值、允许处理资源值计算得到第二资源差距；根据第一资源差距与第二资源差距的比值确定预设帧间隔阈值。
具体地，一般第一消耗资源值大于允许处理资源值，第二消耗资源值小于允许处理资源值，从而需要计算在使用了第一图像处理方式处理关键帧之后，使得当前消耗资源值即第一消耗资源值，大于了允许处理资源值之后，需要通过第二图像处理方式处理多少个图像来使得平均消耗资源与允许处理资源值相匹配。第一资源差距表示超出了多少资源消耗，第二资源差距表示可以减少多资源消耗。通过以下公式计算得到预设帧间隔阈值Frame_inter：
Frame_inter＝(s_plan-s_low)/(s_high-s_plan)
其中，s_plan为允许处理资源值，s_low为第二消耗资源值，s_high为第一消耗资源值。s_plan-s_low表示第一资源差距，s_high-s_plan表示第二资源差距。
本实施例中，根据第一资源差距与第二资源差距的比值确定预设帧间隔阈值，可快速方便地计算出预设帧间隔阈值。
在一个实施例中步骤208中包括当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧包括：当参考帧为关键帧时，获取参考帧对应的已处理图像帧作为参考处理帧。当参考帧为非关键帧时，获取参考帧对应的已处理图像帧作为参考处理帧或获取与参考帧邻近的预设范围内的前向原始图像帧对应的已处理图像帧作为参考处理帧。
具体地，因为关键帧具有关键图像信息，所以当参考帧为关键帧时，只需要获取参考帧对应的已处理图像帧作为参考处理帧，则后续将参考处理帧与当前帧进行融合，则可将关键信息融合入已处理图像帧，从而将关键帧的图像处理算法的效果扩展到多帧。当参考帧为非关键帧时，获取参考帧对应的已处理图像帧作为参考处理帧，因为能被选为参考帧，说明是与当前帧存在一定相关性的，如图像内容上的相关性或图像时间上的相关性，从而将参考帧对应的已处理图像帧作为参考处理帧，可提高融合后得到的已处理图像帧的图像质量。还可获取与参考帧邻近的预设范围内的前向原始图像帧对应的已处理图像帧作为参考处理帧，与参考帧邻近的预设范围内的前向原始图像帧对应的已处理图像帧也可能存在与当前帧的相关性，多选择几帧参考处理帧，便于在融合时参考多个不同的图像帧，从而提高融合的可靠性，进行融合时，对于不同的参考处理帧，可设置不同的融合权重，进一步提高融合得到的已处理图像帧的图像质量。
本实施例中，参考处理帧的选取与参考帧相关，体现了图像间内容的相关性，可快速选取参考处理帧，且提高已处理图像帧的图像质量。
在一个实施例中，步骤208中将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧包括：将参考处理帧与当前帧进行像素融合得到第一中间图像帧，将中间图像帧采用第二图像处理方式进行处理得到当前帧对应的已处理图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗。
具体地，当参考处理帧与当前帧大小相同时，可直接对参考处理帧与当前帧进行像素融合。当参考处理帧与当前帧大小不相同时，如参考处理帧为超分辨率处理后得到的图像帧，则需要先调整当前帧与参考处理帧的大小一致，再进行像素融合。进行像素融合时，具体的算法可自定义，可进行像素级的加权融合，具体的融合公式为：
Pi＝(wC×Pi C+wR1×Pi R1+……+wRk×Pi Rk)
其中i为该图像的第i个位置的像素，Pi C表示当前帧的第i个位置的像素值，wC为当前帧的融合权重，Rk表示为第k个参考处理帧，Pi Rk表示第k个参考处理帧的第i个位置的像素值，wRk为第k个参考处理帧的融合权重，且w不能全为0，w的设置方法不限定。
将参考处理帧与当前帧进行像素融合得到第一中间图像帧后，再将中间图像帧采用第二图像处理方式进行处理得到当前帧对应的已处理图像帧，由于第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗，可快速得到已处理图像帧。
本实施例中，先将参考处理帧与当前帧进行像素融合，再将融合得到的图像帧采用轻量级的画质提升算法进行处理得到当前帧对应的已处理图像帧，在保证图像质量的同时，提高了图像处理的效率。
在一个实施例中，步骤208中将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧包括：将当前帧采用第二图像处理方式进行处理得到第二中间图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗；将第二中间图像帧与参考处理帧进行像素融合得到当前帧对应的已处理图像帧。
具体地，先将当前帧采用第二图像处理方式进行处理得到第二中间图像帧，第二中间图像帧的大小与参考处理帧的大小一致。然后再将第二中间图像帧与参考处理帧进行像素融合得到当前帧对应的已处理图像帧。具体的像素融合的方式不限定，可参考上述实施例中的公式进行融合。其中由于第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗，可快速得到已处理图像帧。
本实施例中，先采用轻量级的画质提升算法进行处理得到中间图像帧，再将中间图像帧与参考处理帧进行像素融合得到当前帧对应的已处理图像帧，先进行处理保证了中间图像帧与参考处理帧的大小一致，在保证图像质量的同时，提高了图像处理的效率。
在一个实施例中，将第二中间图像帧与参考处理帧进行像素融合得到当前帧对应的已处理图像帧包括：将参考处理帧与第二中间图像帧进行配准，计算参考处理帧与配准后的第二中间图像帧之间的相似度；根据相似度确定参考处理帧对应的第一融合权重和配准后的第二中间图像帧对应的第二融合权重，第一融合权重与相似度成正比关系；根据第一融合权重与第二融合权重将参考处理帧与配准后的第二中间图像帧进行像素融合得到当前帧对应的已处理图像帧。
具体地，配准时，首先在参考处理帧与第二中间图像帧中分别检测特征点,例如ORB(Oriented FAST and Rotated BRIEF)特征点，计算特征点的特征值，然后根据特征值的相似性，将两张图像中的特征点一一匹配，接下来根据匹配的特征点计算单应性矩阵，最后根据单应性矩阵，对图片进行整体的扭转，使第二中间图像帧与参考处理帧配准。计算参考处理帧与配准后的第二中间图像帧之间的相似度，相似度的计算方法可自定义，在一个实施例中，将两幅图像都划分为相同大小的块，计算两幅图像中相应块的均方偏差，通过均方偏差反映相似度。相似度越大，参考处理帧对应的第一融合权重越大，配准后的第二中间图像帧对应的第二融合权重越小。在一个实施例中，第一融合权重与第二融合权重的和为1。根据第一融合权重与第二融合权重将参考处理帧与配准后的第二中间图像帧进行像素融合得到当前帧对应的已处理图像帧。
本实施例中，通过配准实现图像间的匹配，且通过相似度自适应的确定融合权重，提高了已处理图像帧的图像质量。
在一个实施例中，需要融合多帧图像得到已处理图像帧，参考处理帧有多个，首先将多个参考处理帧分别与当前帧进行图像配准，然后计算参考处理帧与当前帧的整帧相似度或区域相似度，最后加权融合，相似度越高，则参考处理帧的权重越高，反之，相似度越低，则参考处理帧的权重越低。
本实施例中，将多个参考处理帧依次分别与当前帧进行融合，再将融合后得到的图像进行融合得到已处理图像帧，使得已处理图像帧能融合多个图像特征，在一些适合多帧融合的场景提高已处理图像帧的图像质量。
在一个实施例中，步骤208中将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧包括：计算参考处理帧与当前帧之间的差异，将差异超过预设差异阈值的区域作为待调整区域；将参考处理帧中的待调整区域采用第二图像处理方式进行处理，处理后的参考处理帧作为当前帧对应的已处理图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗。
具体地，可以先对参考处理帧与当前帧进行分块，然后分块计算差异，得到以图像块为单位的差异，然后将差异超过预设差异阈值的图像块作为待调整区域，这种方式得到的待调整区域是规则形状的区域。也可以直接整帧图像计算差异，然后将差异超过预设差异阈值的区域识别出来得到待调整区域，这种方式得到的待调整区域可以是不规则形状的区域。将参考处理帧中的待调整区域采用低资源消耗的第二图像处理方式进行处理，处理后的参考处理帧作为当前帧对应的已处理图像帧。
本实施例中，通过差异识别待调整区域，只需要对参考处理帧中的待调整区域采用低资源消耗的第二图像处理方式进行处理，处理后的参考处理帧作为当前帧对应的已处理图像帧，提高了图像处理效率，尤其在差异较小时，只需要对范围有限的待调整区域进行处理，大大提高了图像处理速度。
在一个实施例中，步骤208中将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧包括：将参考处理帧与当前帧组合形成输入数据，将输入数据输入已训练的融合网络模型，融合网络模型输出当前帧对应的已处理图像帧。
具体地，融合网络模型可以是深度神经网络，包括卷积层，池化层、连接层等网络结构。融合网络模型包括了融合算法，通过输入参考处理帧与当前帧的组合数据，可以输出已融合的已处理图像帧。在进行模型训练时，可以采用有监督的训练方法训练融合网络模型，可以通过反向传播调整处理方式判定网络模型的网络参数，以得到已训练的融合网络模型。
本实施例中，通过已训练的融合网络模型直接得到已处理图像帧，使得已处理图像帧的确定通过融合网络模型来完成，高效准确。
在一个具体的实施例中，提供一种视频图像处理方法，将视频的分辨率提升为2倍，即视频的宽度、高度各提升为原先的2倍。已知用卷积神经网络可保留丰富细节，处理1帧需50ms。用双线性插值算法相对模糊，处理1帧需5ms。视频帧率为30Hz，即处理1帧的允许时间为33ms以内。
具体过程如下：
1、获取待处理视频，从待处理视频中确定当前帧和参考帧，参考帧为当前帧的上一帧。
2、将待处理视频的当前帧与上一帧，输入到判别模块，计算帧间隔阈值＝(33-5)/(50-33)＝1.64，进行四舍五入＝2，如果当前帧与上一个关键帧的间隔大于2帧，且当前帧与上一帧的SSIM低于0.9，则将当前帧判别为关键帧，否则，当前帧判别为非关键帧。
3、当当前帧为关键帧时，用卷积神经网络进行处理。
4、将当前帧判别为非关键帧，先用双线性插值算法进行处理，然后将处理结果与上一帧对应的已处理图像帧配准，将两幅图像都划分为尺寸8*8的块，计算两幅图中相应块的均方偏差，将均方偏差映射为各块的权重值；当均方偏差等于0时权重值为1，当均方偏差大于1时权重值为0；输出图为两幅图像按块融合的结果，融合计算式为mix＝f1*w+f2*(1-w)，式中f1为上一帧对应的已处理图像帧中一个8*8块，f2为当前帧的双线性插值结果的对应块，w为该块的权重，mix为该块的处理结果。
5、各个已处理图像帧组成待处理视频对应的已处理视频。
本实施例中，对视频的关键帧和非关键帧采用不同的方式进行处理，用高性能算法处理视频的关键帧，用快速算法处理其他帧，在提升画质的同时，降低了每帧的平均成本，满足系统的功耗或实时性需求，对于视频的非关键帧，参考上一帧的处理结果，充分利用了视频的连贯特性，保证视频的整体质量，在保证图像质量的情况下降低了运算复杂度。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图6为一个实施例的视频图像处理装置300的结构框图。如图6所示，一种视频图像处理装置300，包括：确定模块302、识别模块304、第一处理模块306、第二处理模块308和视频生成模块310。其中：
确定模块302，用于获取待处理视频，从待处理视频中确定当前帧和参考帧，参考帧为当前帧的前向原始图像帧。
识别模块304，用于基于当前帧和参考帧的差异识别当前帧的帧状态。
第一处理模块306，用于当当前帧的帧状态为关键帧时，使用第一图像处理方式对当前帧进行处理得到当前帧对应的已处理图像帧。
第二处理模块308，用于当当前帧的帧状态为非关键帧时，从待处理视频的已处理图像帧中确定参考处理帧，将参考处理帧与当前帧进行融合得到当前帧对应的已处理图像帧。
视频生成模块310，用于各个已处理图像帧组成待处理视频对应的已处理视频。
本实施中的视频图像处理装置300，对视频的关键帧和非关键帧采用不同的方式进行处理，在提升画质的同时，降低了每帧的平均成本，满足系统的功耗或实时性需求，对于视频的非关键帧，参考前向帧的处理结果，充分利用了视频的连贯特性，可将关键帧的图像处理算法的效果扩展到多帧，保证视频的整体质量，在保证图像质量的情况下降低了运算复杂度。
在一个实施例中，参考帧为当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧。
本实施中的视频图像处理装置300，参考帧为当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧，相邻的前向原始图像帧与当前帧在时间上连续，充分利用了视频中图像之间的连续性，关键帧具有关键图像信息，使用当前帧相邻的前向原始图像帧或当前帧对应的上一个关键帧作为参考帧能为后续确定当前帧的帧状态提供准确的识别依据，从而提高当前帧的处理结果的图像质量。
在一个实施例中，识别模块304还用于生成当前帧对应的第一灰度直方图，将第一灰度直方图转换为第一向量；生成参考帧对应的第二灰度直方图，将第二灰度直方图转换为第二向量；根据第一向量与第二向量各个相同维度上的向量值、当前帧和参考帧的图像分辨率计算当前帧和参考帧的差异度；当差异度超过预设阈值时，识别当前帧为关键帧，否则，识别当前帧为非关键帧。
本实施中的视频图像处理装置300，通过当前帧与参考帧的直方图统计数据，快速计算得到当前帧和参考帧的差异度，根据差异度识别关键帧，简单方便。
在一个实施例中，识别模块304还用于将当前帧进行分块，得到对应的各个第一图像块；将参考帧进行分块，得到对应的各个第二图像块；分别对各个第一图像块和各个第二图像块转换至频域得到对应的各个第一频域图像块和各个第二频域图像块；获取匹配的第一频域图像块和第二频域图像块；根据匹配的第一频域图像块和第二频域图像块中对应预设位置的像素值计算得到频域差异度；统计差异度超过预设阈值的图像块的比例，当比例超过预设比例阈值时，识别当前帧为关键帧，否则，识别当前帧为非关键帧。
本实施例中，通过频域特征计算当前帧和参考帧的差异，可根据图像的纹理复杂度确定预设比例阈值，从而可高效准确的识别关键帧。
在一个实施例中，装置还包括：判断模块，用于获取当前处理终端的允许处理资源值；获取关键帧对应的第一图像处理方式对应的第一消耗资源值；获取非关键帧对应的第二图像处理方式对应的第二消耗资源值，第二消耗资源值小于所述第一消耗资源值；根据所述允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值；当当前帧与上一个关键帧的帧间隔超过所述预设帧间隔阈值时，进入识别模块304，否则，确定当前帧为非关键帧。
本实施中的视频图像处理装置300，预设帧间隔阈值随着关键帧和非关键帧的图像处理方式的变化自适应的变化，只有当前帧与上一个关键帧的帧间隔超过所述预设帧间隔阈值，才会进入下一步识别关键帧的步骤，提高了关键帧识别的准确度。
在一个实施例中，判断模块还用于基于允许处理资源值、第一消耗资源值计算得到第一资源差距；基于第二消耗资源值、允许处理资源值计算得到第二资源差距；根据第一资源差距与第二资源差距的比值确定预设帧间隔阈值。
本实施例中，根据第一资源差距与第二资源差距的比值确定预设帧间隔阈值，可快速方便地计算出预设帧间隔阈值。
在一个实施例中，第二处理模块308还用于当参考帧为关键帧时，获取参考帧对应的已处理图像帧作为参考处理帧；当参考帧为非关键帧时，获取参考帧对应的已处理图像帧作为参考处理帧或获取与参考帧邻近的预设范围内的前向原始图像帧对应的已处理图像帧作为参考处理帧。
本实施例中，参考处理帧的选取与参考帧相关，体现了图像间内容的相关性，可快速选取参考处理帧，且提高已处理图像帧的图像质量。
在一个实施例中，第二处理模块308还用于将参考处理帧与当前帧进行像素融合得到第一中间图像帧；将中间图像帧采用第二图像处理方式进行处理得到当前帧对应的已处理图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗。
本实施例中，先将参考处理帧与当前帧进行像素融合，再将融合得到的图像帧采用轻量级的画质提升算法进行处理得到当前帧对应的已处理图像帧，在保证图像质量的同时，提高了图像处理的效率。
在一个实施例中，第二处理模块308还用于将当前帧采用第二图像处理方式进行处理得到第二中间图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗；将第二中间图像帧与所述参考处理帧进行像素融合得到当前帧对应的已处理图像帧。
本实施例中，先采用轻量级的画质提升算法进行处理得到中间图像帧，再将中间图像帧与参考处理帧进行像素融合得到当前帧对应的已处理图像帧，先进行处理保证了中间图像帧与参考处理帧的大小一致，在保证图像质量的同时，提高了图像处理的效率。
在一个实施例中，第二处理模块308还用于将参考处理帧与第二中间图像帧进行配准；计算参考处理帧与配准后的第二中间图像帧之间的相似度；根据相似度确定参考处理帧对应的第一融合权重和配准后的第二中间图像帧对应的第二融合权重，第一融合权重与相似度成正比关系；根据第一融合权重与第二融合权重将所述参考处理帧与配准后的第二中间图像帧进行像素融合得到当前帧对应的已处理图像帧。
本实施例中，通过配准实现图像间的匹配，且通过相似度自适应的确定融合权重，提高了已处理图像帧的图像质量。
在一个实施例中，第二处理模块308还用于计算参考处理帧与当前帧之间的差异，将差异超过预设差异阈值的区域作为待调整区域；将参考处理帧中的待调整区域采用第二图像处理方式进行处理，处理后的参考处理帧作为当前帧对应的已处理图像帧，第二图像处理方式的资源消耗小于第一图像处理方式的资源消耗。
本实施例中，通过差异识别待调整区域，只需要对参考处理帧中的待调整区域采用低资源消耗的第二图像处理方式进行处理，处理后的参考处理帧作为当前帧对应的已处理图像帧，提高了图像处理效率，尤其在差异较小时，只需要对范围有限的待调整区域进行处理，大大提高了图像处理速度。
在一个实施例中，第二处理模块308还用于将参考处理帧与当前帧组合形成输入数据，将输入数据输入已训练的融合网络模型，融合网络模型输出当前帧对应的已处理图像帧。
本实施例中，通过已训练的融合网络模型直接得到已处理图像帧，使得已处理图像帧的确定通过融合网络模型来完成，高效准确。
关于视频图像处理装置的具体限定可以参见上文中对于视频图像处理方法的限定，在此不再赘述。上述视频图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的视频图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。
本申请实施例中提供的视频图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的视频图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本申请实施例中所描述的视频图像处理方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例中所描述的视频图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种视频图像处理方法，其特征在于，包括：
获取待处理视频；
从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
基于所述当前帧和参考帧的差异识别当前帧的帧状态；
当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
各个已处理图像帧组成所述待处理视频对应的已处理视频。
2.根据权利要求1所述的方法，其特征在于，所述参考帧为所述当前帧相邻的前向原始图像帧或所述当前帧对应的上一个关键帧。
3.根据权利要求1所述的方法，其特征在于，所述基于所述当前帧和参考帧的差异识别当前帧的帧状态包括：
生成所述当前帧对应的第一灰度直方图，将所述第一灰度直方图转换为第一向量；
生成所述参考帧对应的第二灰度直方图，将所述第二灰度直方图转换为第二向量；
根据所述第一向量与第二向量各个相同维度上的向量值、所述当前帧和参考帧的图像分辨率计算所述当前帧和参考帧的差异度；
当所述差异度超过预设阈值时，识别所述当前帧为关键帧，否则，识别所述当前帧为非关键帧。
4.根据权利要求1所述的方法，其特征在于，所述基于所述当前帧和参考帧的差异识别当前帧的帧状态包括：
将所述当前帧进行分块，得到对应的各个第一图像块；
将所述参考帧进行分块，得到对应的各个第二图像块；
分别对所述各个第一图像块和各个第二图像块转换至频域得到对应的各个第一频域图像块和各个第二频域图像块；
获取匹配的第一频域图像块和第二频域图像块；
根据匹配的第一频域图像块和第二频域图像块中对应预设位置的像素值计算得到频域差异度；
统计所述差异度超过预设阈值的图像块的比例，当所述比例超过预设比例阈值时，识别所述当前帧为关键帧，否则，识别所述当前帧为非关键帧。
5.根据权利要求3或4所述的方法，其特征在于，所述基于所述当前帧和参考帧的差异识别当前帧的帧状态之前，还包括：
获取当前处理终端的允许处理资源值；
获取关键帧对应的所述第一图像处理方式对应的第一消耗资源值；
获取非关键帧对应的第二图像处理方式对应的第二消耗资源值，所述第二消耗资源值小于所述第一消耗资源值；
根据所述允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值；
当所述当前帧与上一个关键帧的帧间隔超过所述预设帧间隔阈值时，进入所述基于所述当前帧和参考帧的差异识别当前帧的帧状态的步骤，否则，确定所述当前帧为非关键帧。
6.根据权利要求5所述的方法，其特征在于，所述根据所述允许处理资源值、第一消耗资源值和第二消耗资源值计算得到预设帧间隔阈值包括：
基于所述允许处理资源值、第一消耗资源值计算得到第一资源差距；
基于所述第二消耗资源值、允许处理资源值计算得到第二资源差距；
根据所述第一资源差距与第二资源差距的比值确定所述预设帧间隔阈值。
7.根据权利要求1所述的方法，其特征在于，所述当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧包括：
当所述参考帧为关键帧时，获取所述参考帧对应的已处理图像帧作为所述参考处理帧；
当所述参考帧为非关键帧时，获取所述参考帧对应的已处理图像帧作为所述参考处理帧或获取与所述参考帧邻近的预设范围内的前向原始图像帧对应的已处理图像帧作为所述参考处理帧。
8.根据权利要求1所述的方法，其特征在于，所述将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧包括：
将所述参考处理帧与所述当前帧进行像素融合得到第一中间图像帧；
将所述中间图像帧采用第二图像处理方式进行处理得到所述当前帧对应的已处理图像帧，所述第二图像处理方式的资源消耗小于所述第一图像处理方式的资源消耗。
9.根据权利要求1所述的方法，其特征在于，所述将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧包括：
将所述当前帧采用第二图像处理方式进行处理得到第二中间图像帧，所述第二图像处理方式的资源消耗小于所述第一图像处理方式的资源消耗；
将所述第二中间图像帧与所述参考处理帧进行像素融合得到所述当前帧对应的已处理图像帧。
10.根据权利要求9所述的方法，其特征在于，所述将所述第二中间图像帧与所述参考处理帧进行像素融合得到所述当前帧对应的已处理图像帧包括：
将所述参考处理帧与所述第二中间图像帧进行配准；
计算所述参考处理帧与配准后的第二中间图像帧之间的相似度；
根据所述相似度确定参考处理帧对应的第一融合权重和配准后的第二中间图像帧对应的第二融合权重，所述第一融合权重与所述相似度成正比关系；
根据所述第一融合权重与所述第二融合权重将所述参考处理帧与配准后的第二中间图像帧进行像素融合得到所述当前帧对应的已处理图像帧。
11.根据权利要求1所述的方法，其特征在于，所述将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧包括：
计算参考处理帧与所述当前帧之间的差异，将差异超过预设差异阈值的区域作为待调整区域；
将所述参考处理帧中的待调整区域采用第二图像处理方式进行处理，处理后的参考处理帧作为所述当前帧对应的已处理图像帧，所述第二图像处理方式的资源消耗小于所述第一图像处理方式的资源消耗。
12.根据权利要求1所述的方法，其特征在于，所述将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧包括：
将所述参考处理帧与所述当前帧组合形成输入数据，将输入数据输入已训练的融合网络模型，所述融合网络模型输出所述当前帧对应的已处理图像帧。
13.一种视频图像处理装置，其特征在于，包括：
确定模块，用于获取待处理视频，从所述待处理视频中确定当前帧和参考帧，所述参考帧为所述当前帧的前向原始图像帧；
识别模块，用于基于所述当前帧和参考帧的差异识别当前帧的帧状态；
第一处理模块，用于当所述当前帧的帧状态为关键帧时，使用第一图像处理方式对所述当前帧进行处理得到所述当前帧对应的已处理图像帧；
第二处理模块，用于当所述当前帧的帧状态为非关键帧时，从所述待处理视频的已处理图像帧中确定参考处理帧，将所述参考处理帧与所述当前帧进行融合得到所述当前帧对应的已处理图像帧；
视频生成模块，用于各个已处理图像帧组成所述待处理视频对应的已处理视频。
14.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的视频图像处理方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的视频图像处理方法。
CN202010382194.1A 2020-05-08 2020-05-08 视频图像处理方法和装置、电子设备及存储介质 Active CN111629262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010382194.1A CN111629262B (zh) 2020-05-08 2020-05-08 视频图像处理方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010382194.1A CN111629262B (zh) 2020-05-08 2020-05-08 视频图像处理方法和装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111629262A true CN111629262A (zh) 2020-09-04
CN111629262B CN111629262B (zh) 2022-04-12

Family

ID=72259072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010382194.1A Active CN111629262B (zh) 2020-05-08 2020-05-08 视频图像处理方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111629262B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258527A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
CN112675531A (zh) * 2021-01-05 2021-04-20 深圳市欢太科技有限公司 数据同步方法、装置、计算机存储介质及电子设备
CN113194324A (zh) * 2021-04-27 2021-07-30 广州虎牙科技有限公司 一种视频帧画质增强方法、直播服务端及电子设备
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质
CN113375808A (zh) * 2021-05-21 2021-09-10 武汉博宇光电系统有限责任公司 一种基于场景的红外图像非均匀性校正方法
CN113781336A (zh) * 2021-08-31 2021-12-10 Oppo广东移动通信有限公司 图像处理的方法、装置、电子设备与存储介质
CN114155254A (zh) * 2021-12-09 2022-03-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN115115822A (zh) * 2022-06-30 2022-09-27 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片
CN115361582A (zh) * 2022-07-19 2022-11-18 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
WO2022247406A1 (en) * 2021-05-26 2022-12-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining key frame images of video data
CN115604462A (zh) * 2022-09-07 2023-01-13 天津市国瑞数码安全系统股份有限公司（Cn） 一种应用成分分析的视频压缩方法和系统
CN116249018A (zh) * 2023-05-11 2023-06-09 深圳比特微电子科技有限公司 图像的动态范围压缩方法、装置、电子设备和存储介质
CN116701707A (zh) * 2023-08-08 2023-09-05 成都市青羊大数据有限责任公司 一种教育大数据管理系统
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226331A1 (en) * 2004-03-31 2005-10-13 Honeywell International Inc. Identifying key video frames
CN101360184A (zh) * 2008-09-22 2009-02-04 腾讯科技（深圳）有限公司 提取视频关键帧的系统及方法
US20160063343A1 (en) * 2014-09-02 2016-03-03 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement
CN108184126A (zh) * 2017-12-27 2018-06-19 生迪智慧科技有限公司 快照图像的视频编码及解码方法、编码器及解码器
CN108810549A (zh) * 2018-06-06 2018-11-13 天津大学 一种面向低功耗的流媒体播放方法
CN109246332A (zh) * 2018-08-31 2019-01-18 北京达佳互联信息技术有限公司 视频流降噪方法和装置、电子设备及存储介质
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110087096A (zh) * 2019-04-15 2019-08-02 北京奇艺世纪科技有限公司 视频处理方法、装置及计算机可读存储介质
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
US20190266409A1 (en) * 2017-12-13 2019-08-29 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing video and training, electronic device and medium
US20190327463A1 (en) * 2016-12-30 2019-10-24 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
CN110430446A (zh) * 2019-07-26 2019-11-08 东软集团股份有限公司 视频处理方法、装置、设备和计算机可读存储介质
CN110738108A (zh) * 2019-09-09 2020-01-31 北京地平线信息技术有限公司 目标物体检测方法、装置、存储介质及电子设备
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226331A1 (en) * 2004-03-31 2005-10-13 Honeywell International Inc. Identifying key video frames
CN101360184A (zh) * 2008-09-22 2009-02-04 腾讯科技（深圳）有限公司 提取视频关键帧的系统及方法
US20160063343A1 (en) * 2014-09-02 2016-03-03 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement
US20190327463A1 (en) * 2016-12-30 2019-10-24 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
US20190266409A1 (en) * 2017-12-13 2019-08-29 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing video and training, electronic device and medium
CN108184126A (zh) * 2017-12-27 2018-06-19 生迪智慧科技有限公司 快照图像的视频编码及解码方法、编码器及解码器
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN108810549A (zh) * 2018-06-06 2018-11-13 天津大学 一种面向低功耗的流媒体播放方法
CN109246332A (zh) * 2018-08-31 2019-01-18 北京达佳互联信息技术有限公司 视频流降噪方法和装置、电子设备及存储介质
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110087096A (zh) * 2019-04-15 2019-08-02 北京奇艺世纪科技有限公司 视频处理方法、装置及计算机可读存储介质
CN110430446A (zh) * 2019-07-26 2019-11-08 东软集团股份有限公司 视频处理方法、装置、设备和计算机可读存储介质
CN110738108A (zh) * 2019-09-09 2020-01-31 北京地平线信息技术有限公司 目标物体检测方法、装置、存储介质及电子设备
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡育涛: ""基于压缩感知的分布式视频编码技术研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
CN112258527A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112675531A (zh) * 2021-01-05 2021-04-20 深圳市欢太科技有限公司 数据同步方法、装置、计算机存储介质及电子设备
CN113194324A (zh) * 2021-04-27 2021-07-30 广州虎牙科技有限公司 一种视频帧画质增强方法、直播服务端及电子设备
CN113375808A (zh) * 2021-05-21 2021-09-10 武汉博宇光电系统有限责任公司 一种基于场景的红外图像非均匀性校正方法
CN113375808B (zh) * 2021-05-21 2023-06-02 武汉博宇光电系统有限责任公司 一种基于场景的红外图像非均匀性校正方法
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质
WO2022247406A1 (en) * 2021-05-26 2022-12-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining key frame images of video data
CN113781336A (zh) * 2021-08-31 2021-12-10 Oppo广东移动通信有限公司 图像处理的方法、装置、电子设备与存储介质
CN113781336B (zh) * 2021-08-31 2024-02-02 Oppo广东移动通信有限公司 图像处理的方法、装置、电子设备与存储介质
CN114155254B (zh) * 2021-12-09 2022-11-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN114155254A (zh) * 2021-12-09 2022-03-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN115115822A (zh) * 2022-06-30 2022-09-27 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片
CN115115822B (zh) * 2022-06-30 2023-10-31 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片
CN115361582A (zh) * 2022-07-19 2022-11-18 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN115604462A (zh) * 2022-09-07 2023-01-13 天津市国瑞数码安全系统股份有限公司（Cn） 一种应用成分分析的视频压缩方法和系统
CN116249018A (zh) * 2023-05-11 2023-06-09 深圳比特微电子科技有限公司 图像的动态范围压缩方法、装置、电子设备和存储介质
CN116249018B (zh) * 2023-05-11 2023-09-08 深圳比特微电子科技有限公司 图像的动态范围压缩方法、装置、电子设备和存储介质
CN116701707A (zh) * 2023-08-08 2023-09-05 成都市青羊大数据有限责任公司 一种教育大数据管理系统
CN116701707B (zh) * 2023-08-08 2023-11-10 成都市青羊大数据有限责任公司 一种教育大数据管理系统
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质
CN116758058B (zh) * 2023-08-10 2023-11-03 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质

Also Published As

Publication number Publication date
CN111629262B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111629262B (zh) 视频图像处理方法和装置、电子设备及存储介质
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
US20230196837A1 (en) Action recognition method and apparatus, and device and storage medium
CN112258528B (zh) 图像处理方法和装置、电子设备
CN109816615B (zh) 图像修复方法、装置、设备以及存储介质
CN111598779B (zh) 图像超分辨率处理方法和装置、电子设备及存储介质
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
US11429817B2 (en) Neural network model training method and device, and time-lapse photography video generating method and device
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
CN111754429A (zh) 运动矢量后处理方法和装置、电子设备及存储介质
CN112132769A (zh) 图像融合方法、装置以及计算机设备
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN111598806B (zh) 图像滤波方法和装置、电子设备及存储介质
CN114998814B (zh) 目标视频生成方法、装置、计算机设备和存储介质
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN110705513A (zh) 视频特征提取方法、装置、可读存储介质和计算机设备
CN116309729A (zh) 目标追踪方法、装置、终端、系统及可读存储介质
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113111770B (zh) 一种视频处理方法、装置、终端及存储介质
CN112584146B (zh) 帧间相似度评估方法和系统
CN114049288A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN113781346A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant