CN111277815A - 一种插帧质量评估方法和装置 - Google Patents

一种插帧质量评估方法和装置 Download PDF

Info

Publication number
CN111277815A
CN111277815A CN201811473021.XA CN201811473021A CN111277815A CN 111277815 A CN111277815 A CN 111277815A CN 201811473021 A CN201811473021 A CN 201811473021A CN 111277815 A CN111277815 A CN 111277815A
Authority
CN
China
Prior art keywords
pixel point
pixel
optical flow
determining
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811473021.XA
Other languages
English (en)
Inventor
肖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811473021.XA priority Critical patent/CN111277815A/zh
Publication of CN111277815A publication Critical patent/CN111277815A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Television Systems (AREA)

Abstract

本公开涉及一种插帧质量评估方法和装置。该方法包括：基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。本公开可以对内插帧图像中任一内插像素点的像素质量进行有效评估。

Description

一种插帧质量评估方法和装置
技术领域
本公开涉及视频处理技术领域，尤其涉及一种插帧质量评估方法和装置。
背景技术
视频帧率提升是一种将低帧率视频转换为高帧率视频的视频后处理方 法，利用相邻帧原始图像之间的时域相关性确定内插帧图像，然后将内插帧 图像插入相邻帧原始图像之间以达到增加帧率的目的。例如，将视频帧率从 30fps(Frames per Second，帧每秒)提升至60fps。视频帧率越高，视频画面 中动作越流畅，用户观看体验越好。
目前常用的视频帧率提升方法为基于光流的光流插帧法，通过计算视频 中相邻帧原始图像之间的光流，进而生成相邻帧原始图像之间的内插帧图像。 实际应用中，由于无法确保相邻帧原始图像之间的光流是否准确，导致光流 插帧之后的高帧率视频中可能会出现物体边缘破碎等影响用户观看体验的 现象。
因此，亟需一种插帧质量评估方法。
发明内容
有鉴于此，本公开提出了一种插帧质量评估方法和装置，用于实现对基 于光流插帧法得到的内插帧图像进行插帧质量评估。
根据本公开的第一方面，提供了一种插帧质量评估方法，包括：基于光 流插帧法，确定相邻两帧原始图像之间的内插帧图像；针对所述内插帧图像 中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像 素点对应的权重；根据所述映射像素点对应的权重，判断所述内插像素点的 像素质量是否达标。
在一种可能的实现方式中，确定所述内插像素点在所述相邻两帧原始图 像中的映射像素点对应的权重，包括：在所述相邻两帧原始图像中的任一帧 原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；根据所 述第一像素点的光流，确定所述内插像素点对应的映射像素点；确定所述第 一像素点的光流质量；根据所述第一像素点的光流质量，确定所述映射像素 点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的 权重成正比。
在一种可能的实现方式中，确定所述第一像素点的光流质量，包括：根 据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素 点之间的像素值一致性，确定所述第一像素点的光流质量。
在一种可能的实现方式中，根据所述第一像素点与所述第一像素点在相 邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素 点的光流质量，包括：根据所述第一像素点的光流，确定所述第一像素点在 相邻帧原始图像中对应的所述第二像素点；确定所述第一像素点与所述第二 像素点之间的像素值一致性误差；根据所述像素值一致性误差，确定所述第 一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光 流质量成反比。
在一种可能的实现方式中，确定所述第一像素点的光流质量，包括：根 据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素 点之间的光流一致性，确定所述第一像素点的光流质量。
在一种可能的实现方式中，根据所述第一像素点与所述第一像素点在相 邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点 的光流质量，包括：根据所述第一像素点的光流，确定所述第一像素点在相 邻帧原始图像中对应的所述第二像素点；确定所述第一像素点与所述第二像 素点之间的光流一致性误差；根据所述光流一致性误差，确定所述第一像素 点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成 反比。
在一种可能的实现方式中，所述内插像素点在所述相邻两帧原始图像中 的映射像素点为多个；根据所述映射像素点对应的权重，判断所述内插像素 点的像素质量是否达标，包括：当至少一个映射像素点对应的权重大于第一 阈值时，确定所述内插像素点的像素质量达标。
在一种可能的实现方式中，还包括：当所述内插帧图像中像素质量达标 的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。
根据本公开的第二方面，提供了一种插帧质量评估装置，包括：第一确 定模块，用于基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像； 第二确定模块，用于针对所述内插帧图像中的内插像素点，确定所述内插像 素点在所述相邻两帧原始图像中的映射像素点对应的权重；判断模块，用于 根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。
在一种可能的实现方式中，所述第二确定模块包括：第一确定子模块， 用于在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素 点的坐标位置相同的第一像素点；第二确定子模块，用于根据所述第一像素 点的光流，确定所述内插像素点对应的映射像素点；第三确定子模块，用于 确定所述第一像素点的光流质量；第四确定子模块，用于根据所述第一像素 点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的 光流质量与所述映射像素点对应的权重成正比。
在一种可能的实现方式中，所述第三确定子模块具体用于：根据所述第 一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的 像素值一致性，确定所述第一像素点的光流质量。
在一种可能的实现方式中，所述第三确定子模块包括：第一确定单元， 用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中 对应的所述第二像素点；第二确定单元，用于确定所述第一像素点与所述第 二像素点之间的像素值一致性误差；第三确定单元，用于根据所述像素值一 致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差 与所述第一像素点的光流质量成反比。
在一种可能的实现方式中，所述第三确定子模块具体用于：根据所述第 一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的 光流一致性，确定所述第一像素点的光流质量。
在一种可能的实现方式中，所述第三确定子模块包括：第四确定单元， 用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中 对应的所述第二像素点；第五确定单元，用于确定所述第一像素点与所述第 二像素点之间的光流一致性误差；第六确定单元，用于根据所述光流一致性 误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述 第一像素点的光流质量成反比。
在一种可能的实现方式中，所述内插像素点在所述相邻两帧原始图像中 的映射像素点为多个；所述判断模块具体用于：当至少一个映射像素点对应 的权重大于第一阈值时，确定所述内插像素点的像素质量达标。
在一种可能的实现方式中，所述判断模块还用于：当所述内插帧图像中 像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的 插帧质量达标。
根据本公开的第三方面，提供了一种插帧质量评估装置，包括：处理器； 用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述 第一方面所述的插帧质量评估方法。
根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其 上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现 上述第一方面所述的插帧质量评估方法。
基于光流插帧法确定相邻两帧原始图像之间的内插帧图像之后，针对内 插帧图像中的内插像素点，确定内插像素点在相邻两帧原始图像中的映射像 素点对应的权重，进而根据映射像素点对应的权重，判断内插像素点的像素 质量是否达标，从而可以对内插帧图像中任一内插像素点的像素质量进行有 效评估。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方 面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了 本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本公开一实施例的插帧质量评估方法的流程示意图；
图2示出本公开一实施例的基于光流插帧法确定相邻两帧原始图像之间 的内插帧图像的示意图；
图3示出本公开一实施例的插针质量评估装置的结构示意图；
图4示出本公开一实施例的电子设备的结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附 图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施 例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为 “示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的 具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以 实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路 未作详细描述，以便于凸显本公开的主旨。
图1示出本公开一实施例的插帧质量评估方法的流程示意图。如图1所示， 该方法可以包括：
步骤S11，基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像。
步骤S12，针对内插帧图像中的内插像素点，确定内插像素点在相邻两 帧原始图像中的映射像素点对应的权重。
步骤S13，根据映射像素点对应的权重，判断内插像素点的像素质量是 否达标。
在一种可能的实现方式中，基于光流插帧法，确定相邻两帧原始图像之 间的内插帧图像，包括：基于光流插帧法，针对内插帧图像中的任一内插像 素点，确定内插像素点在相邻两帧原始图像中的多个映射像素点；确定多个 映射像素点中任一映射像素点对应的权重；根据任一映射像素点对应的权重 和像素值，确定内插像素点对应的像素值。
图2示出本公开一实施例的基于光流插帧法确定相邻两帧原始图像之间 的内插帧图像的示意图。
如图2所示，基于光流插帧法，确定第t帧原始图像和第t+1帧原始图像 之间的第t+0.5帧内插帧图像，即确定第t+0.5帧内插帧图像中任一内插像素 点对应的像素值。
确定第t+0.5帧内插帧图像中内插像素点(i,j)对应的像素值，具体地：
首先，针对第t+0.5帧内插帧图像中的内插像素点(i,j)，根据第t帧原始 图像中的像素点(i,j)的前向光流，确定内插像素点(i,j)在第t+1帧原始图像 中的第一映射点(a,b)；根据第t帧原始图像中的像素点(i,j)的后向光流，确 定内插像素点(i,j)在第t帧原始图像中的第二映射点(c,d)；根据第t+1帧原始 图像中的像素点(i,j)的后向光流，确定内插像素点(i,j)在第t帧原始图像中 的第三映射点(e,f)；根据第t+1帧原始图像中的像素点(i,j)的前向光流，确 定内插像素点(i,j)在第t+1帧原始图像中的第四映射点(g,h)；
其次，确定第一映射点(a,b)对应的权重w1、第二映射点(c,d)对应的权重 w2、第三映射点(e,f)对应的权重w3、第四映射点(g,h)对应的权重w4；
最后，根据下述加权平均算法确定内插像素点(i,j)对应的像素值
Figure BDA0001891470860000061
Figure BDA0001891470860000062
其中，
Figure BDA0001891470860000063
为第一映射点(a,b)对应的像素值，
Figure BDA0001891470860000064
为第二映射点(c,d)对应的 像素值，
Figure BDA0001891470860000065
为第三映射点(e,f)对应的像素值，
Figure BDA0001891470860000066
为第四映射点(g,h)对应 的像素值。
在一种可能的实现方式中，确定内插像素点在相邻两帧原始图像中的映 射像素点对应的权重，包括：在相邻两帧原始图像中的任一帧原始图像中， 确定与内插像素点的坐标位置相同的第一像素点；根据第一像素点的光流， 确定内插像素点对应的映射像素点；确定第一像素点的光流质量；根据第一 像素点的光流质量，确定映射像素点对应的权重，其中，第一像素点的光流 质量与映射像素点对应的权重成正比。
第一像素点的光流质量越好，映射像素点对应的权重越大，进而根据映 射像素点的权重得到的内插像素点的像素质量越高。因此，通过确定第一像 素点的光流质量，可以确定映射像素点对应的权重，进而有效判断内插像素 点的像素值量是否达标。
仍以上述图2为例，确定第t+0.5帧内插帧图像中内插像素点(i,j)在第t帧 原始图像和/或第t+1帧原始图像中的映射像素点对应的权重的过程包括下 述至少一个步骤。
确定第t+0.5帧内插帧图像中的内插像素点(i,j)在第t+1帧原始图像中 的第一映射像素点(a,b)对应的权重w1，具体地：确定第t帧原始图像中的第 一像素点(i,j)的前向光流值(vx_a,vy_a)，也即第一映射像素点
Figure BDA0001891470860000071
确定第一像素点(i,j)的前向光流(vx_a,vy_a)的光 流质量；根据第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质量，确定第一 映射像素点
Figure BDA0001891470860000072
对应的权重w1，其中，第一像素点(i,j)的前向 光流(vx_a,vy_a)的光流质量与第一映射像素点
Figure BDA0001891470860000073
对应的权 重w1成正比，即第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质量越好，第 一映射像素点
Figure BDA0001891470860000074
对应的权重w1越大。
确定第t+0.5帧内插帧图像中的内插像素点(i,j)在第t帧原始图像中的第 二映射像素点(c,d)对应的权重w2，具体地：确定第t帧原始图像中的第一像 素点(i,j)的后向光流值(-vx_b,-vy_b)，也即第二映射像素点
Figure BDA0001891470860000081
确定第一像素点(i,j)的后向光流(-vx_b,-vy_b)的 光流质量；根据第一像素点(i,j)的后向光流(-vx_b,-vy_b)的光流质量，确定 第二映射像素点
Figure BDA0001891470860000082
对应的权重w2，其中，第一像素点(i,j)的 后向光流(-vx_b,-vy_b)的光流质量与第二映射像素点
Figure BDA0001891470860000083
对 应的权重w2成正比，即第一像素点(i,j)的后向光流(-vx_b,-vy_b)的光流质量 越好，第二映射像素点
Figure BDA0001891470860000084
对应的权重w2越大。
确定第t+0.5帧内插帧图像中的内插像素点(i,j)在第t帧原始图像中的第 三映射像素点(e,f)对应的权重w3，具体地：确定第t+1帧原始图像中的第一 像素点(i,j)的后向光流值(-vx_c,-vy_c)，也即第三映射像素点
Figure BDA0001891470860000085
确定第一像素点(i,j)的后向光流(-vx_c,-vy_c)的光 流质量；根据第一像素点(i,j)的后向光流(-vx_c,-vy_c)的光流质量，确定第 三映射像素点
Figure BDA0001891470860000086
对应的权重w3，其中，第一像素点(i,j)的后 向光流(-vx_c,-vy_c)的光流质量与第三映射像素点
Figure BDA0001891470860000087
对应的 权重w3成正比，即第一像素点(i,j)的后向光流(-vx_c,-vy_c)的光流质量越好， 第三映射像素点
Figure BDA0001891470860000088
对应的权重w3越大。
确定第t+0.5帧内插帧图像中的内插像素点(i,j)在第t+1帧原始图像中 的第四映射像素点(g,h)对应的权重w4，具体地：确定第t+1帧原始图像中的 第一像素点(i,j)的前向光流值(vx_d,vy_)d，也即第四映射像素点
Figure BDA0001891470860000091
确定第一像素点(i,j)的前向光流(vx_d,vy_d)的光 流质量；根据第一像素点(i,j)的前向光流(vx_d,vy_d)的光流质量，确定第四 映射像素点
Figure BDA0001891470860000092
对应的权重w4，其中，第一像素点(i,j)的前向 光流(vx_d,vy_d)的光流质量与第四映射像素点
Figure BDA0001891470860000093
对应的权 重w4成正比，即第一像素点(i,j)的前向光流(vx_d,vy_d)的光流质量越好，第 四映射像素点
Figure BDA0001891470860000094
对应的权重w4越大。
确定第一像素点的光流质量的方式包括但不限于下述两种。
第一种：
在一种可能的实现方式中，确定第一像素点的光流质量，包括：根据第 一像素点与第一像素点在相邻帧原始图像中对应的第二像素点之间的像素 值一致性，确定第一像素点的光流质量。
当第一像素点的光流质量较好时，第一像素点与第一像素点在相邻帧原 始图像中对应的第二像素点为相同特征点，即第一像素点与第二像素点之间 具有像素值一致性。因此，通过判断第一像素点与第一像素点在相邻帧原始 图像中对应的第二像素点之间的像素值一致性，可以有效确定第一像素点的 光流质量。
在一种可能的实现方式中，根据第一像素点与第一像素点在相邻帧原始 图像中对应的第二像素点之间的像素值一致性，确定第一像素点的光流质量， 包括：根据第一像素点的光流，确定第一像素点在相邻帧原始图像中对应的 第二像素点；确定第一像素点与第二像素点之间的像素值一致性误差；根据 像素值一致性误差，确定第一像素点的光流质量，其中，像素值一致性误差 与第一像素点的光流质量成反比。
例如，第一像素点(i,j)为第t帧原始图像中的像素点，则确定第一像素 点(i,j)的光流质量的过程包括下述至少一个步骤。
确定第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质量，具体地：根据 第一像素点(i,j)的前向光流(vx_a,vy_a)，确定第一像素点(i,j)在第t+1帧原 始图像中对应的第二像素点(i+vx_a,j+vy_a)；确定第一像素点(i,j)与第二像 素点(i+vx_a,j+vy_a)之间的像素值一致性误差；根据第一像素点(i,j)与第二 像素点(i+vx_a,j+vy_a)之间的像素值一致性误差，确定第一像素点(i,j)的前 向光流(vx_a,vy_a)的光流质量，其中，第一像素点(i,j)与第二像素点 (i+vx_a,j+vy_a)之间的像素值一致性误差与第一像素点(i,j)的前向光流 (vx_a,vy_a)的光流质量成反比，即第一像素点(i,j)与第二像素点 (i+vx_a,j+vy_a)之间的像素值一致性误差越小，第一像素点(i,j)的前向光流 (vx_a,vy_a)的光流质量越好。
确定第一像素点(i,j)的后向光流(vx_b,vy_b)的光流质量，具体地：根据 第一像素点(i,j)的后向光流(vx_b,vy_b)，确定第一像素点(i,j)在第t-1帧原始 图像中对应的第二像素点(i-vx_b,j-vy_b)；确定第一像素点(i,j)与第二像素 点(i-vx_b,j-vy_b)之间的像素值一致性误差；根据第一像素点(i,j)与第二像 素点(i-vx_b,j-vy_b)之间的像素值一致性误差，确定第一像素点(i,j)的后向 光流(vx_b,vy_b)的光流质量，其中，第一像素点(i,j)与第二像素点 (i-vx_b,j-vy_b)之间的像素值一致性误差与第一像素点(i,j)的后向光流 (vx_b,vy_b)的光流质量成反比，即第一像素点(i,j)与第二像素点(i-vx_b,j-vy_b)之间的像素值一致性误差越小，第一像素点(i,j)的后向光流 (vx_b,vy_b)的光流质量越好。
同理，可以确定第t+1帧原始图像中的第一像素点(i,j)的前向光流和后 向光流的光流质量，这里不再赘述。
确定第一像素点和第二像素点之间的像素值一致性误差，包括但不限于 下述两种方式。
A、在一种可能的实现方式中，确定第一像素点和第二像素点之间的像 素值一致性误差，包括：
将第一像素点和第二像素点之间的像素值之差确定为该像素值一致性 误差。
例如，第一像素点的像素值为30，第二像素点的像素值为28，则第一像 素点和第二像素点之间的像素值一致性误差为2。
B、在一种可能的实现方式中，确定第一像素点和第二像素点之间的像 素值一致性误差，包括：
以第一像素点为中心确定第一邻域窗口，以及以第二像素点为中心确定 第二邻域窗口；
将所述第一邻域窗口与所述第二邻域窗口内像素点的像素值绝对差之 和(SAD，Sum of Absolute Differences)确定为该像素值一致性误差。
例如，以第一像素点为中心确定3×3的第一邻域窗口
Figure BDA0001891470860000111
以第二像 素点为中心确定3×3的第二邻域窗口
Figure BDA0001891470860000112
第一邻域窗口与第二邻域窗口 中对应像素点的像素值绝对差为
Figure BDA0001891470860000121
则第一邻域窗口与第二邻域窗口的 SAD为17，即第一像素点和第二像素点之间的像素值一致性误差为17。
第二种：
在一种可能的实现方式中，确定第一像素点的光流质量，包括：根据第 一像素点与第一像素点在相邻帧原始图像中对应的第二像素点之间的光流 一致性，确定第一像素点的光流质量。
当第一像素点的光流质量较好时，第一像素点与第一像素点在相邻帧原 始图像中对应的第二像素点为相同特征点，第一像素点的前向光流与第二像 素点的后向光流的相同，或第一像素点的后向光流与第二像素点的前向光流 的相同，即第一像素点与第二像素点之间具有光流一致性。因此，通过判断 第一像素点与第一像素点在相邻帧原始图像中对应的第二像素点之间的光 流一致性，可以有效确定第一像素点的光流质量。
在一种可能的实现方式中，根据第一像素点与第一像素点在相邻帧原始 图像中对应的第二像素点之间的光流一致性，确定第一像素点的光流质量， 包括：根据第一像素点的光流，确定第一像素点在相邻帧原始图像中对应的 第二像素点；确定第一像素点与第二像素点之间的光流一致性误差；根据光 流一致性误差，确定第一像素点的光流质量，其中，光流一致性误差与第一 像素点的光流质量成反比。
例如，第一像素点(i,j)为第t帧原始图像中的像素点，则确定第一像素 点(i,j)的光流质量的过程包括下述至少一个步骤。
确定第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质量，具体地：根据 第一像素点(i,j)的前向光流(vx_a,vy_a)，确定第一像素点(i,j)在第t+1帧原 始图像中对应的第二像素点(i+vx_a,j+vy_a)；确定第二像素点 (i+vx_a,j+vy_a)的后向光流(vx_e,vy_e)；确定前向光流(vx_a,vy_a)与后向光 流(vx_e,vy_e)之间的光流一致性误差；根据前向光流(vx_a,vy_a)与后向光流 (vx_e,vy_e)之间的光流一致性误差，确定第一像素点(i,j)的前向光流 (vx_a,vy_a)的光流质量，其中，前向光流(vx_a,vy_a)与后向光流(vx_e,vy_e) 之间的光流一致性误差与第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质 量成反比，即前向光流(vx_a,vy_a)与后向光流(vx_e,vy_e)之间的光流一致性 误差越小，第一像素点(i,j)的前向光流(vx_a,vy_a)的光流质量越好。
确定第一像素点(i,j)的后向光流(vx_b,vy_b)的光流质量，具体地：根据 第一像素点(i,j)的后向光流(vx_b,vy_b)，确定第一像素点(i,j)在第t-1帧原始 图像中对应的第二像素点(i-vx_b,j-vy_b)；确定第二像素点 (i-vx_b,j-vy_b)的前向光流(vx_f,vy_f)；确定后向光流(vx_b,vy_b)与前向 光流(vx_f,vy_f)之间的光流一致性误差；根据后向光流(vx_b,vy_b)与前向 光流(vx_f,vy_f)之间的光流一致性误差，确定第一像素点(i,j)的后向光流 (vx_b,vy_b)的光流质量，其中，后向光流(vx_b,vy_b)与前向光流(vx_f,vy_f) 之间的光流一致性误差与第一像素点(i,j)的后向光流(vx_b,vy_b)的光流质 量成反比，即后向光流(vx_b,vy_b)与前向光流(vx_f,vy_f)之间的光流一致 性误差越小，第一像素点(i,j)的后向光流(vx_b,vy_b)的光流质量越好。
同理，可以确定第t+1帧原始图像中的第一像素点(i,j)的前向光流和后 向光流的光流质量，这里不再赘述。
在一种可能的实现方式中，确定前向光流与后向光流之间的光流一致性 误差，包括：
将前向光流与后向光流之间的光流值之差的绝对值确定为该光流一致 性误差。
例如，前向光流为(2,3)，后向光流为(-1,-3)，则前向光流与后向光流之 间的光流值之差的绝对值为
Figure BDA0001891470860000141
即前向光流与后向光流 之间的光流一致性误差为
Figure BDA0001891470860000142
在一种可能的实现方式中，所述内插像素点在所述相邻两帧原始图像中 的映射像素点为多个；根据映射像素点对应的权重，判断内插像素点的像素 质量是否达标，包括：当至少一个映射像素点对应的权重大于第一阈值时， 确定内插像素点的像素质量达标。
针对内插像素点在相邻帧原始图像中的多个映射像素点，当至少有一个 映射像素点对应的权重大于第一阈值时，则可以确定该内插像素点的像素质 量达标。本公开对第一阈值的具体取值不作限定。
在一种可能的实现方式中，还包括：当内插帧图像中像素质量达标的内 插像素点的数目大于第二阈值时，确定内插帧图像的插帧质量达标。
确定内插帧图像中包括的像素质量达标的内插像素点的数目，当像素质 量达标的内插像素点的数目大于第二阈值时，可以确定该内插帧图像的插帧 质量达标。本公开对第二阈值的具体取值不作限定。
基于光流插帧法确定相邻两帧原始图像之间的内插帧图像之后，针对内 插帧图像中的内插像素点，确定内插像素点在相邻两帧原始图像中的映射像 素点对应的权重，进而根据映射像素点对应的权重，判断内插像素点的像素 质量是否达标，从而可以对内插帧图像中任一内插像素点的像素质量进行有 效评估。
图3示出本公开一实施例的插帧质量评估装置的结构示意图。图3所示的 装置30可以用于执行上述图1所示方法实施例的步骤，装置30包括：
第一确定模块31，用于基于光流插帧法，确定相邻两帧原始图像之间的 内插帧图像；
第二确定模块32，用于针对内插帧图像中的内插像素点，确定内插像素 点在相邻两帧原始图像中的映射像素点对应的权重；
判断模块33，用于根据映射像素点对应的权重，判断内插像素点的像素 质量是否达标。
在一种可能的实现方式中，第二确定模块32包括：
第一确定子模块，用于在相邻两帧原始图像中的任一帧原始图像中，确 定与内插像素点的坐标位置相同的第一像素点；
第二确定子模块，用于根据第一像素点的光流，确定内插像素点对应的 映射像素点；
第三确定子模块，用于确定第一像素点的光流质量；
第四确定子模块，用于根据第一像素点的光流质量，确定映射像素点对 应的权重，其中，第一像素点的光流质量与映射像素点对应的权重成正比。
在一种可能的实现方式中，第三确定子模块具体用于：
根据第一像素点与第一像素点在相邻帧原始图像中对应的第二像素点 之间的像素值一致性，确定第一像素点的光流质量。
在一种可能的实现方式中，第三确定子模块包括：
第一确定单元，用于根据第一像素点的光流，确定第一像素点在相邻帧 原始图像中对应的第二像素点；
第二确定单元，用于确定第一像素点与第二像素点之间的像素值一致性 误差；
第三确定单元，用于根据像素值一致性误差，确定第一像素点的光流质 量，其中，像素值一致性误差与第一像素点的光流质量成反比。
在一种可能的实现方式中，第三确定子模块具体用于：
根据第一像素点与第一像素点在相邻帧原始图像中对应的第二像素点 之间的光流一致性，确定第一像素点的光流质量。
在一种可能的实现方式中，第三确定子模块包括：
第四确定单元，用于根据第一像素点的光流，确定第一像素点在相邻帧 原始图像中对应的第二像素点；
第五确定单元，用于确定第一像素点与第二像素点之间的光流一致性误 差；
第六确定单元，用于根据光流一致性误差，确定第一像素点的光流质量， 其中，光流一致性误差与第一像素点的光流质量成反比。
在一种可能的实现方式中，内插像素点在相邻两帧原始图像中的映射像 素点为多个；
判断模块33具体用于：
当至少一个映射像素点对应的权重大于第一阈值时，确定内插像素点的 像素质量达标。
在一种可能的实现方式中，判断模块33还用于：
当内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确 定内插帧图像的插帧质量达标。
本公开提供的装置30能够实现图1所示方法实施例中的各个步骤，并实 现相同的技术效果，为避免重复，这里不再赘述。
图4示出本公开一实施例的电子设备的结构示意图。如图4所示，在硬件 层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。 其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例 如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的 硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可 以是ISA(Industry Standard Architecture，工业标准体系结构)总线、 PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或 EISA(Extended IndustryStandard Architecture，扩展工业标准结构)总线等。 所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中 仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包 括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提 供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行， 在逻辑层面上形成插帧质量评估装置。处理器，执行存储器所存放的程序， 并具体执行图1所示方法实施例的步骤。
上述如图1所示方法可以应用于处理器中，或者由处理器实现。处理器 可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法 的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完 成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信 号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分 立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及 逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处 理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码 处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软 件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电 可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于 存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备可执行图1所示方法实施例执行的方法，并实现上述图1所示 方法实施例的功能，本说明书实施例在此不再赘述。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储 介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多 个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中的 改善插帧效果的方法，并具体执行图1所示方法实施例的步骤。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包 括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计 算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指 令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设 备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的 任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包 括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、 便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软 盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及 上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时 信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输 媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的 电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到 各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无 线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传 输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每 个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序 指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计 算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数 据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述 编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过 程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可 以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立 的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在 远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以 通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算 机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特 网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个 性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或 可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而 实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的 流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的 每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指 令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可 编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计 算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框 图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读 程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据 处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介 质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规 定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、 或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行 一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编 程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或 多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或 框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、 程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行 指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图 中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行， 它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可 以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专 用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性 的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和 精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显 而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际 应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员 能理解本文披露的各实施例。

Claims (18)

1.一种插帧质量评估方法，其特征在于，包括：
基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；
针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；
根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。
2.根据权利要求1所述的方法，其特征在于，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重，包括：
在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；
根据所述第一像素点的光流，确定所述内插像素点对应的映射像素点；
确定所述第一像素点的光流质量；
根据所述第一像素点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的权重成正比。
3.根据权利要求2所述的方法，其特征在于，确定所述第一像素点的光流质量，包括：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量。
4.根据权利要求3所述的方法，其特征在于，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量，包括：
根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
确定所述第一像素点与所述第二像素点之间的像素值一致性误差；
根据所述像素值一致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光流质量成反比。
5.根据权利要求2所述的方法，其特征在于，确定所述第一像素点的光流质量，包括：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量。
6.根据权利要求5所述的方法，其特征在于，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量，包括：
根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
确定所述第一像素点与所述第二像素点之间的光流一致性误差；
根据所述光流一致性误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成反比。
7.根据权利要求1所述的方法，其特征在于，所述内插像素点在所述相邻两帧原始图像中的映射像素点为多个；
根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标，包括：
当至少一个映射像素点对应的权重大于第一阈值时，确定所述内插像素点的像素质量达标。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。
9.一种插帧质量评估装置，其特征在于，包括：
第一确定模块，用于基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；
第二确定模块，用于针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；
判断模块，用于根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。
10.根据权利要求9所述的装置，其特征在于，所述第二确定模块包括：
第一确定子模块，用于在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；
第二确定子模块，用于根据所述第一像素点的光流，确定所述内插像素点对应的映射像素点；
第三确定子模块，用于确定所述第一像素点的光流质量；
第四确定子模块，用于根据所述第一像素点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的权重成正比。
11.根据权利要求10所述的装置，其特征在于，所述第三确定子模块具体用于：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量。
12.根据权利要求11所述的装置，其特征在于，所述第三确定子模块包括：
第一确定单元，用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
第二确定单元，用于确定所述第一像素点与所述第二像素点之间的像素值一致性误差；
第三确定单元，用于根据所述像素值一致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光流质量成反比。
13.根据权利要求10所述的装置，其特征在于，所述第三确定子模块具体用于：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量。
14.根据权利要求13所述的装置，其特征在于，所述第三确定子模块包括：
第四确定单元，用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
第五确定单元，用于确定所述第一像素点与所述第二像素点之间的光流一致性误差；
第六确定单元，用于根据所述光流一致性误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成反比。
15.根据权利要求9所述的装置，其特征在于，所述内插像素点在所述相邻两帧原始图像中的映射像素点为多个；
所述判断模块具体用于：
当至少一个映射像素点对应的权重大于第一阈值时，确定所述内插像素点的像素质量达标。
16.根据权利要求9所述的装置，其特征在于，所述判断模块还用于：
当所述内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。
17.一种插帧质量评估装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-8中任一项所述的插帧质量评估方法。
18.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-8中任一项所述的插帧质量评估方法。
CN201811473021.XA 2018-12-04 2018-12-04 一种插帧质量评估方法和装置 Withdrawn CN111277815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811473021.XA CN111277815A (zh) 2018-12-04 2018-12-04 一种插帧质量评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811473021.XA CN111277815A (zh) 2018-12-04 2018-12-04 一种插帧质量评估方法和装置

Publications (1)

Publication Number Publication Date
CN111277815A true CN111277815A (zh) 2020-06-12

Family

ID=71001318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811473021.XA Withdrawn CN111277815A (zh) 2018-12-04 2018-12-04 一种插帧质量评估方法和装置

Country Status (1)

Country Link
CN (1) CN111277815A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473040A (zh) * 2021-06-29 2021-10-01 北京紫光展锐通信技术有限公司 视频分割方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200729953A (en) * 2005-09-30 2007-08-01 Sharp Kk Image display device and method
JP2010087754A (ja) * 2008-09-30 2010-04-15 Kddi Corp 画質評価装置
CN102163332A (zh) * 2010-02-19 2011-08-24 斯耐尔有限公司 客观图像质量测量
CN103037217A (zh) * 2011-10-04 2013-04-10 想象技术有限公司 检测内插图像中的图像损坏
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200729953A (en) * 2005-09-30 2007-08-01 Sharp Kk Image display device and method
JP2010087754A (ja) * 2008-09-30 2010-04-15 Kddi Corp 画質評価装置
CN102163332A (zh) * 2010-02-19 2011-08-24 斯耐尔有限公司 客观图像质量测量
CN103037217A (zh) * 2011-10-04 2013-04-10 想象技术有限公司 检测内插图像中的图像损坏
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473040A (zh) * 2021-06-29 2021-10-01 北京紫光展锐通信技术有限公司 视频分割方法和设备

Similar Documents

Publication Publication Date Title
CN111277895B (zh) 一种视频插帧方法和装置
CN108171677B (zh) 一种图像处理方法及相关设备
CA3027764C (en) Intra-prediction video coding method and device
WO2021179826A1 (zh) 图像处理方法及相关产品
CN108989804B (zh) 图像的编码方法及装置
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN109035257B (zh) 人像分割方法、装置及设备
US10708499B2 (en) Method and apparatus having a function of constant automatic focusing when exposure changes
CN112272832A (zh) 用于基于dnn的成像的方法和系统
CN110213479B (zh) 一种视频拍摄防抖方法和装置
US10964028B2 (en) Electronic device and method for segmenting image
CN111415371B (zh) 一种稀疏光流确定方法和装置
CN111277780B (zh) 一种改善插帧效果的方法和装置
CN110689565B (zh) 一种深度图确定的方法、装置及电子设备
CN111277815A (zh) 一种插帧质量评估方法和装置
CN113436068B (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN113438386B (zh) 一种应用于视频处理的动静判定方法及装置
CN111325671A (zh) 网络训练方法、装置、图像处理方法及电子设备
CN111784580B (zh) 图像的超分辨率方法、装置和服务器
CN111277863B (zh) 一种光流插帧方法和装置
CN109543557B (zh) 视频帧的处理方法、装置、设备以及存储介质
CN107818584B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN113628192B (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
US9036909B2 (en) Pyramid collapse color interpolation
KR102098322B1 (ko) 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200612

WW01 Invention patent application withdrawn after publication