CN116723355B - 视频插帧的处理方法、装置、设备及存储介质 - Google Patents

视频插帧的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116723355B
CN116723355B CN202311012205.7A CN202311012205A CN116723355B CN 116723355 B CN116723355 B CN 116723355B CN 202311012205 A CN202311012205 A CN 202311012205A CN 116723355 B CN116723355 B CN 116723355B
Authority
CN
China
Prior art keywords
image
frame
video
pixel block
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311012205.7A
Other languages
English (en)
Other versions
CN116723355A (zh
Inventor
郭健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuanqu Network Technology Co ltd
Original Assignee
Shenzhen Chuanqu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chuanqu Network Technology Co ltd filed Critical Shenzhen Chuanqu Network Technology Co ltd
Priority to CN202311012205.7A priority Critical patent/CN116723355B/zh
Publication of CN116723355A publication Critical patent/CN116723355A/zh
Application granted granted Critical
Publication of CN116723355B publication Critical patent/CN116723355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种视频插帧的处理方法、装置、设备及存储介质，用于提高视频的播放流畅度。视频插帧的处理方法包括：当接收到待处理视频时，判断待处理视频是否允许进行插帧处理；若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像；基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量；基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型；基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。

Description

视频插帧的处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频插帧的处理方法、装置、设备及存储介质。
背景技术
回放比赛现场的视频能够让裁判员、教练员和运动员获得即点即播的比赛视频，通过这些比赛视频，不仅能够让教练员获得相关的数据材料，为运动员提高运动水平和比赛成提供有力的数据参考，而且能够让裁判员及时获得比赛信息，从而保证比赛的公平公正。
但是，由于传输或者拍摄丢帧等原因，导致比赛视频在回放时的实际帧率较低，视频出现卡顿感，从而导致了视频的播放流畅度较低，降低了裁判员根据比赛视频进行判决的公平性。
发明内容
本发明提供了一种视频插帧的处理方法、装置、设备及存储介质，用于提高视频的播放流畅度。
本发明第一方面提供了一种视频插帧的处理方法，包括：当接收到待处理视频时，判断所述待处理视频是否允许进行插帧处理，所述待处理视频为裁判员无法准确进行判决的比赛视频；若所述待处理视频允许进行插帧处理，则在所述待处理视频中选取出第一图像和第二图像，所述第一图像和所述第二图像为所述待处理视频数据中时间轴上相邻的两帧图像，所述第一图像在时间轴上早于所述第二图像；基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，所述目标区域用于指示所述第一图像和所述第二图像之间的发生位置变化的像素块；基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，所述图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，直至所述待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
在一种可行的实施方式中，所述基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，包括：获取目标帧间位移，所述目标帧间位移为目标移动物体在所述第一图像和所述第二图像中进行移动所对应的位移；若所述目标帧间位移小于第一预设值，则确定在所述第一图像和所述第二图像之间插入帧的数量为一帧，并对目标区域中各个像素块进行运动向量估计，得到各个像素块的双向运动向量；若所述目标帧间位移大于或等于所述第一预设值，则确定所述插入帧的数量为三帧，并对所述目标区域中各个像素块进行运动向量估计，得到在三帧插入帧的第一插入帧中各个像素块的前向运动向量，在所述三帧插入帧的第二插入帧中各个像素块的双向运动向量，在所述三帧插入帧的第三插入帧中各个像素块的后向运动向量。
在一种可行的实施方式中，所述基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，包括：若所述第一图像和所述第二图像之间插入帧的数量为三帧，则将三帧插入帧中具有前向运动向量的各个像素块的图像块类型确定为后遮挡类型；将所述三帧插入帧中具有后向运动向量的各个像素块的图像块类型确定为前遮挡类型；基于所述第一图像和所述第二图像，对所述三帧插入帧中具有双向运动向量的各个像素块进行相似度判断，得到具有双向运动向量的各个像素块的图像块类型。
在一种可行的实施方式中，所述基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；若各个像素块的图像块类型为前遮挡类型，则对所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；若各个像素块的图像块类型为无遮挡类型，则分别对所述第一图像和所述第二图像进行平均取值，生成所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：若各个像素块的图像块类型为后遮挡类型，则将后遮挡类型的各个像素块确定为预设网络中的查询值，将所述第一图像确定为所述预设网络中的键值；基于各个像素块对应的查询值、所述第一图像对应的键值，以及预设公式进行计算，生成各个像素块与所述第一图像之间的初始图像；对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧，包括：通过所述预设网络中的第一子网络对所述初始图像进行提取，得到初始分辨率的特征图；通过所述预设网络中的第二子网络对所述初始分辨率的特征图进行分辨率的增加处理，得到所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述判断所述待处理视频是否允许进行插帧处理，包括：基于所述待处理视频进行移动物体识别，所述待处理视频数据包括在时间轴上连续的多帧待处理图像；若所述多帧待处理图像中存在至少一个移动物体，则记录所述至少一个移动物体在各帧待处理图像中的速度信息；基于各帧待处理图像中的速度信息进行位移计算，得到所述至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；判断所述至少一个移动物体在目标图像集中帧间位移之间的差值是否小于或等于预设值，所述目标图像集为所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像，所述预设值为所述目标图像集中前两帧之间的帧间位移与预设占比的乘积；若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均小于或等于所述预设值，则确定所述待处理视频数据允许进行插帧处理；若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均大于所述预设值，则确定所述待处理视频数据不允许进行插帧处理。
本发明第二方面提供了一种视频插帧的处理装置，包括：判断模块，用于当接收到待处理视频时，判断所述待处理视频是否允许进行插帧处理，所述待处理视频为裁判员无法准确进行判决的比赛视频；选取模块，用于若所述待处理视频允许进行插帧处理，则在所述待处理视频中选取出第一图像和第二图像，所述第一图像和所述第二图像为所述待处理视频数据中时间轴上相邻的两帧图像，所述第一图像在时间轴上早于所述第二图像；运动估计模块，用于基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，所述目标区域用于指示所述第一图像和所述第二图像之间的发生位置变化的像素块；确定模块，用于基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，所述图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；生成模块，用于基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，直至所述待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
在一种可行的实施方式中，所述运动估计模块包括：获取单元，用于获取目标帧间位移，所述目标帧间位移为目标移动物体在所述第一图像和所述第二图像中进行移动所对应的位移；第一估计单元，用于若所述目标帧间位移小于第一预设值，则确定在所述第一图像和所述第二图像之间插入帧的数量为一帧，并对目标区域中各个像素块进行运动向量估计，得到各个像素块的双向运动向量；第二估计单元，用于若所述目标帧间位移大于或等于所述第一预设值，则确定所述插入帧的数量为三帧，并对所述目标区域中各个像素块进行运动向量估计，得到在三帧插入帧的第一插入帧中各个像素块的前向运动向量，在所述三帧插入帧的第二插入帧中各个像素块的双向运动向量，在所述三帧插入帧的第三插入帧中各个像素块的后向运动向量。
在一种可行的实施方式中，所述确定模块具体用于：若所述第一图像和所述第二图像之间插入帧的数量为三帧，则将三帧插入帧中具有前向运动向量的各个像素块的图像块类型确定为后遮挡类型；将所述三帧插入帧中具有后向运动向量的各个像素块的图像块类型确定为前遮挡类型；基于所述第一图像和所述第二图像，对所述三帧插入帧中具有双向运动向量的各个像素块进行相似度判断，得到具有双向运动向量的各个像素块的图像块类型。
在一种可行的实施方式中，所述生成模块具体用于：若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；若各个像素块的图像块类型为前遮挡类型，则对所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；若各个像素块的图像块类型为无遮挡类型，则分别对所述第一图像和所述第二图像进行平均取值，生成所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述生成模块具体还用于：若各个像素块的图像块类型为后遮挡类型，则将后遮挡类型的各个像素块确定为预设网络中的查询值，将所述第一图像确定为所述预设网络中的键值；基于各个像素块对应的查询值、所述第一图像对应的键值，以及预设公式进行计算，生成各个像素块与所述第一图像之间的初始图像；对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述生成模块具体还用于：通过所述预设网络中的第一子网络对所述初始图像进行提取，得到初始分辨率的特征图；通过所述预设网络中的第二子网络对所述初始分辨率的特征图进行分辨率的增加处理，得到所述第一图像和所述第二图像之间的插入帧。
在一种可行的实施方式中，所述判断模块具体用于：基于所述待处理视频进行移动物体识别，所述待处理视频数据包括在时间轴上连续的多帧待处理图像；若所述多帧待处理图像中存在至少一个移动物体，则记录所述至少一个移动物体在各帧待处理图像中的速度信息；基于各帧待处理图像中的速度信息进行位移计算，得到所述至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；判断所述至少一个移动物体在目标图像集中帧间位移之间的差值是否小于或等于预设值，所述目标图像集为所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像，所述预设值为所述目标图像集中前两帧之间的帧间位移与预设占比的乘积；若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均小于或等于所述预设值，则确定所述待处理视频数据允许进行插帧处理；若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均大于所述预设值，则确定所述待处理视频数据不允许进行插帧处理。
本发明第三方面提供了一种视频插帧的处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频插帧的处理设备执行上述的视频插帧的处理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的视频插帧的处理方法。
本发明提供的技术方案中，当接收到待处理视频时，判断待处理视频是否允许进行插帧处理，待处理视频为裁判员无法准确进行判决的比赛视频；若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像，第一图像和第二图像为待处理视频数据中时间轴上相邻的两帧图像，第一图像在时间轴上早于第二图像；基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块；基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。本发明实施例中，在允许进行插帧处理的待处理视频中选取出第一图像和第二图像，基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频，能够提高视频的播放流畅度，从而提高了在比赛中裁判员根据比赛视频进行判决的公平性。
附图说明
图1为本发明实施例中视频插帧的处理方法的一个实施例示意图；
图2为本发明实施例中视频插帧的处理方法的另一个实施例示意图；
图3为本发明实施例中视频插帧的处理装置的一个实施例示意图；
图4为本发明实施例中视频插帧的处理装置的另一个实施例示意图；
图5为本发明实施例中视频插帧的处理设备的一个实施例示意图。
具体实施方式
本发明提供了一种视频插帧的处理方法、装置、设备及存储介质，用于提高视频的播放流畅度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中视频插帧的处理方法的一个实施例包括：
101、当接收到待处理视频时，判断待处理视频是否允许进行插帧处理，待处理视频为裁判员无法准确进行判决的比赛视频；
可以理解的是，本发明的执行主体可以为视频插帧的处理装置，还可以是终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。
由于待处理视频的实际帧数较低，从而导致了视频出现卡顿，进而导致了裁判员无法根据卡顿的比赛视频进行准确的判决，例如，待处理视频为网球比赛中对于网球是否出界存在争议的比赛视频，且该比赛视频出现卡顿，从而导致裁判员无法根据该比赛视频进行准确判决。
在一种可行的实施方式中，判断待处理视频是否允许进行插帧处理，具体包括：（1）终端基于待处理视频进行移动物体识别，待处理视频数据包括在时间轴上连续的多帧待处理图像；（2）若多帧待处理图像中存在至少一个移动物体，则终端对至少一个移动物体进行位移计算，得到至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；（3）终端基于至少一个移动物体在待处理视频中的多个帧间位移确定插帧处理结果，插帧处理结果用于指示待处理视频是否允许进行插帧处理。
通过对待处理视频进行是否允许插帧的判断，能够避免对存在高于预设速度的移动物体的视频进行插帧而导致插帧效果较差的问题。
102、若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像，第一图像和第二图像为待处理视频数据中时间轴上相邻的两帧图像，第一图像在时间轴上早于第二图像；
例如，待处理视频的时长为10秒，相邻的两帧图像之间的时间间隔为0.1秒，若第一图像在时间轴上的时刻为2.1秒，则第二图像在时间轴上的时刻为2.2秒。
103、基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块；
运动向量为前向运动向量、双向运动向量或后向运动向量，其中，前向运动向量用于指示目标区域中的像素块指向第一图像的运动矢量，后向运动向量用于指示目标区域中的像素块指向第二图像的运动矢量，双向运动向量用于指示目标区域中的像素块分别指向第一图像和第二图像的运动矢量。
104、基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
可以理解的是，后遮挡类型的图像块在第一图像中正常显示，而在第二图像中由于物体的移动而导致被覆盖且不显示；前遮挡类型的图像块在第一图像中被物体覆盖而不显示，而在第二图像中由于物体的移动而导致不被覆盖且显示；无遮挡类型的图像块在第一图像中正常显示，且在第二图像中正常显示。
105、基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
当像素块的图像块类型为后遮挡类型时，由于在第一图像中正常显示，因而，可以从第一图像中提取对应的图像块，进而生成第一图像和第二图像之间的插入帧。
当像素块的图像块类型为前遮挡类型时，由于在第二图像中正常显示，因而，可以从第二图像中提取对应的图像块，进而生成第一图像和第二图像之间的插入帧。
当像素块的图像块类型为无遮挡类型时，由于在第一图像和第二图像中均正常显示，因而，可以在第一图像与第二图像之间相同的图像块进行取平均值，进而生成第一图像和第二图像之间的插入帧。
本发明实施例中，在允许进行插帧处理的待处理视频中选取出第一图像和第二图像，基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频，能够提高视频的播放流畅度，从而提高了在比赛中裁判员根据比赛视频进行判决的公平性。
请参阅图2，本发明实施例中视频插帧的处理方法的另一个实施例包括：
201、当接收到待处理视频时，判断待处理视频是否允许进行插帧处理，待处理视频为裁判员无法准确进行判决的比赛视频；
在一种可行的实施方式中，判断待处理视频是否允许进行插帧处理，具体包括：（1）终端基于待处理视频进行移动物体识别，待处理视频数据包括在时间轴上连续的多帧待处理图像；（2）若多帧待处理图像中存在至少一个移动物体，则终端记录至少一个移动物体在各帧待处理图像中的速度信息；（3）终端基于各帧待处理图像中的速度信息进行位移计算，得到至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；（4）终端判断至少一个移动物体在目标图像集中帧间位移之间的差值是否小于或等于预设值，目标图像集为至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像，预设值为目标图像集中前两帧之间的帧间位移与预设占比的乘积；（5）若至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均小于或等于预设值，则终端确定待处理视频数据允许进行插帧处理；（6）若至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均大于预设值，则终端确定待处理视频数据不允许进行插帧处理。
作为示例而非限定的是，基于待处理视频进行移动物体识别的方式，可以是通过跨平台计算机视觉库（Open Source Computer Vision Library，OpenCV）对待处理视频进行移动物体识别，也可以是其他能够实现移动物体识别的算法或者模型，此处不作限定。
位移计算的位移公式为：，/>，/>用于表示移动物体在前一帧图像的速度信息，/>用于表示移动物体在后一帧图像的速度信息，x用于表示帧间位移，t用于表示前一帧图像与后一帧图像之间的时间间隔，a用于表示移动物体的加速度，其中，时间间隔可以根据实际场景进行设置，此处不作限定，前一帧图像与后一帧图像为相邻的两帧图像，且前一帧图像在时间轴上早于后一帧图像。
作为示例而非限定的是，预设占比可以是30%，还可以是40%，具体的预设占比可以根据实际应用场景进行设置。
通过位移公式进行位移计算，不仅能够计算匀速直线运动场景下移动物体的位移，而且能够计算匀变速运动场景下移动物体的位移，从而满足了多种场景下对移动物体的位移计算。
202、若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像，第一图像和第二图像为待处理视频数据中时间轴上相邻的两帧图像，第一图像在时间轴上早于第二图像；
步骤202的执行步骤和步骤102的执行步骤相同，此处不再赘述。
203、获取目标帧间位移，目标帧间位移为目标移动物体在第一图像和第二图像中进行移动所对应的位移；
获取目标帧间位移的方式与步骤201中位移计算的方式相同，此处不再赘述。
204、若目标帧间位移小于第一预设值，则确定在第一图像和第二图像之间插入帧的数量为一帧，并对目标区域中各个像素块进行运动向量估计，得到各个像素块的双向运动向量；
其中，双向运动向量用于指示目标区域中的像素块分别指向第一图像和第二图像的运动矢量。
205、若目标帧间位移大于或等于第一预设值，则确定插入帧的数量为三帧，并对目标区域中各个像素块进行运动向量估计，得到在三帧插入帧的第一插入帧中各个像素块的前向运动向量，在三帧插入帧的第二插入帧中各个像素块的双向运动向量，在三帧插入帧的第三插入帧中各个像素块的后向运动向量；
在三帧插入帧的第一插入帧中各个像素块的前向运动向量，可以理解为，第一插入帧中各个像素块指向第一图像的运动矢量。第二插入帧中各个像素块的双向运动向量，可以理解为，第二插入帧中各个像素块分别指向第一图像和第二图像的运动矢量。第三插入帧中各个像素块的后向运动向量，可以理解为，第三插入帧中各个像素块指向第二图像的运动矢量。
通过帧间位移确定第一图像和第二图像之间插入帧的数量，能够提高插帧数量的准确度，从而提高了视频的流畅度。
206、基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
在一种可行的实施方式中，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，具体包括：（1）若第一图像和第二图像之间插入帧的数量为三帧，则终端将三帧插入帧中具有前向运动向量的各个像素块的图像块类型确定为后遮挡类型；（2）终端将三帧插入帧中具有后向运动向量的各个像素块的图像块类型确定为前遮挡类型；（3）终端基于第一图像和第二图像，对三帧插入帧中具有双向运动向量的各个像素块进行相似度判断，得到具有双向运动向量的各个像素块的图像块类型。
当第一图像和第二图像之间插入帧的数量为三帧时，通过不同运动向量确定不同的图像块类型，能够提高插入帧与原图像之间的相似度，进而提高视频的流畅度。
在一种可行的实施方式中，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，具体包括：若第一图像和第二图像之间插入帧的数量为一帧，则终端对各个像素块进行相似度判断，得到目标区域中各个像素块的图像块类型。
在一种可行的实施方式中，若第一图像和第二图像之间插入帧的数量为一帧，则终端对各个像素块进行相似度判断，得到目标区域中各个像素块的图像块类型，具体包括：（1）若第一图像和第二图像之间插入帧的数量为一帧，则终端基于各个像素块的双向运动向量中第一运动方向向量与发生位置变化前的各个像素块在第一图像中的方向向量进行计算，得到目标区域中各个像素块与第一图像中发生位置变化前的各个像素块之间的第一相似度；（2）终端基于各个像素块的双向运动向量中第二运动方向向量与发生位置变化前的各个像素块在第二图像中的方向向量进行计算，得到目标区域中各个像素块与第二图像中发生位置变化前的各个像素块之间的第二相似度；（3）若第一相似度大于或等于第一预设阈值，且第二相似度小于或等于第二预设阈值，则终端确定目标区域中各个像素块的图像块类型为后遮挡类型，其中，第一预设阈值大于第二预设阈值；（4）若第二相似度大于或等于第一预设阈值，且第一相似度小于或等于第二预设阈值，则终端确定目标区域中各个像素块的图像块类型为前遮挡类型；（5）若第一相似度和第二相似度满足预设条件，则终端确定目标区域中各个像素块的图像块类型为无遮挡类型，预设条件为第一相似度大于第二预设阈值且小于第一预设阈值，或第二相似度大于第二预设阈值且小于第一预设阈值。
作为示例而非限定的是，第一预设阈值可以是50，还可以是60，第二预设阈值可以是30，还可以是40，只需满足第一预设阈值大于第二预设阈值即可。
需要说明的是，相似度是通过计算两个方向向量之间的夹角，夹角越小，相似度越大。
需要说明的是，终端基于第一图像和第二图像，对三帧插入帧中具有双向运动向量的各个像素块进行相似度判断的执行步骤，与若第一图像和第二图像之间插入帧的数量为一帧，则终端对各个像素块进行相似度判断，得到目标区域中各个像素块的图像块类型的执行步骤是相同的，此处不再赘述。
通过像素块与发生位置变化前的像素块之间的相似度以确定像素块的图像块类型，能够提高插入帧与原图像的相似度，从而提高了视频的流畅度。
207、基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
在一种可行的实施方式中，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，具体包括：（1）若各个像素块的图像块类型为后遮挡类型，则终端对第一图像进行运动补偿，生成第一图像和第二图像之间的插入帧；（2）若各个像素块的图像块类型为前遮挡类型，则终端对第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧；（3）若各个像素块的图像块类型为无遮挡类型，则终端分别对第一图像和第二图像进行平均取值，生成第一图像和第二图像之间的插入帧。
通过图像块类型对对应的图像进行补偿，能够提高插入帧的准确度，进而提高视频的流畅度。
在一种可行的实施方式中，若各个像素块的图像块类型为后遮挡类型，则对第一图像进行运动补偿，生成第一图像和第二图像之间的插入帧，具体包括：（1）若各个像素块的图像块类型为后遮挡类型，则终端将后遮挡类型的各个像素块确定为预设网络中的查询值，将第一图像确定为预设网络中的键值；（2）终端基于各个像素块对应的查询值、第一图像对应的键值，以及预设公式进行计算，生成各个像素块与第一图像之间的初始图像；（3）终端对初始图像进行处理，得到第一图像和第二图像之间的插入帧。
其中，预设网络为具有注意力机制（Attention Mechanism）的卷积神经网络，预设公式为：，其中，S用于表示初始图像中的每个像素块，SotfMax用于指示归一化指数函数，/>用于表示查询值，/>用于表示键值的矩阵转置，i用于表示像素块的横坐标，j用于表示像素块的纵坐标，n用于表示第一图像中像素块的数量，C用于表示卷积神经网络的层数。/>，其中，/>用于表示目标区域中像素块的特征值，/>用于表示目标区域中像素块的线性投影矩阵。，其中，/>用于表示第一图像中像素块的特征值，/>用于表示第一图像中像素块的线性投影矩阵。
通过对第一图像进行运动补偿，能够提高插入帧与第一图像的相似度，从而提高了视频的流畅度。
在一种可行的实施方式中，对初始图像进行处理，得到第一图像和第二图像之间的插入帧，具体包括：（1）终端通过预设网络中的第一子网络对初始图像进行提取，得到初始分辨率的特征图；（2）终端通过预设网络中的第二子网络对初始分辨率的特征图进行分辨率的增加处理，得到第一图像和第二图像之间的插入帧。
第一子网络为多层级的卷积神经网络，第二子网络为变压器（transform）网络。
在一种可行的实施方式中，若各个像素块的图像块类型为前遮挡类型，则对第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，具体包括：（1）若各个像素块的图像块类型为前遮挡类型，则终端将前遮挡类型的各个像素块确定为预设网络中的查询值，将第二图像确定为预设网络中的键值；（2）终端基于各个像素块对应的查询值、第二图像对应的键值，以及预设公式进行计算，生成各个像素块与第二图像之间的初始图像；（3）终端对初始图像进行处理，得到第一图像和第二图像之间的插入帧。
具体的执行步骤和步骤207中对第一图像进行运动补偿的执行步骤相同，此处不再赘述。
通过对第二图像进行运动补偿，能够提高插入帧与第二图像的相似度，从而提高了视频的流畅度。
在一种可行的实施方式中，若各个像素块的图像块类型为无遮挡类型，则分别对第一图像和第二图像进行平均取值，生成第一图像和第二图像之间的插入帧，具体包括：（1）若各个像素块的图像块类型为无遮挡类型，则终端对第一图像进行灰度化处理，得到灰度化的第一图像，并对第二图像进行灰度化处理，得到灰度化的第二图像，灰度化的第一图像包括多个第一灰度化像素块，灰度化的第二图像包括多个第二灰度化像素块；（2）终端将各个第一灰度化像素块与对应的第二灰度化像素块进行灰度化平均取值，得到各目标像素块；（3）终端基于各目标像素块生成第一图像和第二图像之间的插入帧。
通过对第一图像和第二图像进行平均取值，能够提高插入帧的准确度，从而提高了视频的流畅度。
本发明实施例中，在允许进行插帧处理的待处理视频中选取出第一图像和第二图像，基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频，能够提高视频的播放流畅度，从而提高了在比赛中裁判员根据比赛视频进行判决的公平性。
上面对本发明实施例中视频插帧的处理方法进行了描述，下面对本发明实施例中视频插帧的处理装置进行描述，请参阅图3，本发明实施例中视频插帧的处理装置一个实施例包括：
判断模块301，用于当接收到待处理视频时，判断待处理视频是否允许进行插帧处理，待处理视频为裁判员无法准确进行判决的比赛视频；
选取模块302，用于若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像，第一图像和第二图像为待处理视频数据中时间轴上相邻的两帧图像，第一图像在时间轴上早于第二图像；
运动估计模块303，用于基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块；
确定模块304，用于基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
生成模块305，用于基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
本发明实施例中，在允许进行插帧处理的待处理视频中选取出第一图像和第二图像，基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频，能够提高视频的播放流畅度，从而提高了在比赛中裁判员根据比赛视频进行判决的公平性。
请参阅图4，本发明实施例中视频插帧的处理装置的另一个实施例包括：
判断模块301，用于当接收到待处理视频时，判断待处理视频是否允许进行插帧处理，待处理视频为裁判员无法准确进行判决的比赛视频；
选取模块302，用于若待处理视频允许进行插帧处理，则在待处理视频中选取出第一图像和第二图像，第一图像和第二图像为待处理视频数据中时间轴上相邻的两帧图像，第一图像在时间轴上早于第二图像；
运动估计模块303，用于基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块；
确定模块304，用于基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
生成模块305，用于基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频。
可选的，运动估计模块303包括：
获取单元3031，用于获取目标帧间位移，目标帧间位移为目标移动物体在第一图像和第二图像中进行移动所对应的位移；
第一估计单元3032，用于若目标帧间位移小于第一预设值，则确定在第一图像和第二图像之间插入帧的数量为一帧，并对目标区域中各个像素块进行运动向量估计，得到各个像素块的双向运动向量；
第二估计单元3033，用于若目标帧间位移大于或等于第一预设值，则确定插入帧的数量为三帧，并对目标区域中各个像素块进行运动向量估计，得到在三帧插入帧的第一插入帧中各个像素块的前向运动向量，在三帧插入帧的第二插入帧中各个像素块的双向运动向量，在三帧插入帧的第三插入帧中各个像素块的后向运动向量。
可选的，确定模块304具体用于：
若第一图像和第二图像之间插入帧的数量为三帧，则将三帧插入帧中具有前向运动向量的各个像素块的图像块类型确定为后遮挡类型；
将三帧插入帧中具有后向运动向量的各个像素块的图像块类型确定为前遮挡类型；
基于第一图像和第二图像，对三帧插入帧中具有双向运动向量的各个像素块进行相似度判断，得到具有双向运动向量的各个像素块的图像块类型。
可选的，生成模块305具体用于：
若各个像素块的图像块类型为后遮挡类型，则对第一图像进行运动补偿，生成第一图像和第二图像之间的插入帧；
若各个像素块的图像块类型为前遮挡类型，则对第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧；
若各个像素块的图像块类型为无遮挡类型，则分别对第一图像和第二图像进行平均取值，生成第一图像和第二图像之间的插入帧。
可选的，生成模块305具体还用于：
若各个像素块的图像块类型为后遮挡类型，则将后遮挡类型的各个像素块确定为预设网络中的查询值，将第一图像确定为预设网络中的键值；
基于各个像素块对应的查询值、第一图像对应的键值，以及预设公式进行计算，生成各个像素块与第一图像之间的初始图像；
对初始图像进行处理，得到第一图像和第二图像之间的插入帧。
可选的，生成模块305具体还用于：
通过预设网络中的第一子网络对初始图像进行提取，得到初始分辨率的特征图；
通过预设网络中的第二子网络对初始分辨率的特征图进行分辨率的增加处理，得到第一图像和第二图像之间的插入帧。
可选的，判断模块301具体用于：
基于待处理视频进行移动物体识别，待处理视频数据包括在时间轴上连续的多帧待处理图像；
若多帧待处理图像中存在至少一个移动物体，则记录至少一个移动物体在各帧待处理图像中的速度信息；
基于各帧待处理图像中的速度信息进行位移计算，得到至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；
判断至少一个移动物体在目标图像集中帧间位移之间的差值是否小于或等于预设值，目标图像集为至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像，预设值为目标图像集中前两帧之间的帧间位移与预设占比的乘积；
若至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均小于或等于预设值，则确定待处理视频数据允许进行插帧处理；
若至少一个移动物体在多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均大于预设值，则确定待处理视频数据不允许进行插帧处理。
本发明实施例中，在允许进行插帧处理的待处理视频中选取出第一图像和第二图像，基于第一图像和第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，目标区域用于指示第一图像和第二图像之间的发生位置变化的像素块，基于第一图像、第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，基于各个像素块的图像块类型对第一图像和第二图像进行运动补偿，生成第一图像和第二图像之间的插入帧，直至待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频，能够提高视频的播放流畅度，从而提高了在比赛中裁判员根据比赛视频进行判决的公平性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的视频插帧的处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中视频插帧的处理设备进行详细描述。
图5是本发明实施例提供的一种视频插帧的处理设备的结构示意图，该视频插帧的处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对视频插帧的处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在视频插帧的处理设备500上执行存储介质530中的一系列指令操作。
视频插帧的处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的视频插帧的处理设备结构并不构成对视频插帧的处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种视频插帧的处理设备，所述视频插帧的处理设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述视频插帧的处理方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述视频插帧的处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种视频插帧的处理方法，其特征在于，所述视频插帧的处理方法包括：
当接收到待处理视频时，判断所述待处理视频是否允许进行插帧处理，所述待处理视频为裁判员无法准确进行判决的比赛视频；
若所述待处理视频允许进行插帧处理，则在所述待处理视频中选取出第一图像和第二图像，所述第一图像和所述第二图像为所述待处理视频数据中时间轴上相邻的两帧图像，所述第一图像在时间轴上早于所述第二图像；
基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，所述目标区域用于指示所述第一图像和所述第二图像之间的发生位置变化的像素块；
基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，所述图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，直至所述待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频；
所述基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：
若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；
若各个像素块的图像块类型为前遮挡类型，则对所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；
若各个像素块的图像块类型为无遮挡类型，则分别对所述第一图像和所述第二图像进行平均取值，生成所述第一图像和所述第二图像之间的插入帧；
所述若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：
若各个像素块的图像块类型为后遮挡类型，则将后遮挡类型的各个像素块确定为预设网络中的查询值，将所述第一图像确定为所述预设网络中的键值；
基于各个像素块对应的查询值、所述第一图像对应的键值，以及预设公式进行计算，生成各个像素块与所述第一图像之间的初始图像；
对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧。
2.根据权利要求1所述的视频插帧的处理方法，其特征在于，所述基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，包括：
获取目标帧间位移，所述目标帧间位移为目标移动物体在所述第一图像和所述第二图像中进行移动所对应的位移；
若所述目标帧间位移小于第一预设值，则确定在所述第一图像和所述第二图像之间插入帧的数量为一帧，并对目标区域中各个像素块进行运动向量估计，得到各个像素块的双向运动向量；
若所述目标帧间位移大于或等于所述第一预设值，则确定所述插入帧的数量为三帧，并对所述目标区域中各个像素块进行运动向量估计，得到在三帧插入帧的第一插入帧中各个像素块的前向运动向量，在所述三帧插入帧的第二插入帧中各个像素块的双向运动向量，在所述三帧插入帧的第三插入帧中各个像素块的后向运动向量。
3.根据权利要求1所述的视频插帧的处理方法，其特征在于，所述基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，包括：
若所述第一图像和所述第二图像之间插入帧的数量为三帧，则将三帧插入帧中具有前向运动向量的各个像素块的图像块类型确定为后遮挡类型；
将所述三帧插入帧中具有后向运动向量的各个像素块的图像块类型确定为前遮挡类型；
基于所述第一图像和所述第二图像，对所述三帧插入帧中具有双向运动向量的各个像素块进行相似度判断，得到具有双向运动向量的各个像素块的图像块类型。
4.根据权利要求1所述的视频插帧的处理方法，其特征在于，所述对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧，包括：
通过所述预设网络中的第一子网络对所述初始图像进行提取，得到初始分辨率的特征图；
通过所述预设网络中的第二子网络对所述初始分辨率的特征图进行分辨率的增加处理，得到所述第一图像和所述第二图像之间的插入帧。
5.根据权利要求1-4中任一项所述的视频插帧的处理方法，其特征在于，所述判断所述待处理视频是否允许进行插帧处理，包括：
基于所述待处理视频进行移动物体识别，所述待处理视频数据包括在时间轴上连续的多帧待处理图像；
若所述多帧待处理图像中存在至少一个移动物体，则记录所述至少一个移动物体在各帧待处理图像中的速度信息；
基于各帧待处理图像中的速度信息进行位移计算，得到所述至少一个移动物体在相邻的两帧待处理图像之间的帧间位移；
判断所述至少一个移动物体在目标图像集中帧间位移之间的差值是否小于或等于预设值，所述目标图像集为所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像，所述预设值为所述目标图像集中前两帧之间的帧间位移与预设占比的乘积；
若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均小于或等于所述预设值，则确定所述待处理视频数据允许进行插帧处理；
若所述至少一个移动物体在所述多帧待处理图像中任意的连续三帧待处理图像中帧间位移之间的差值均大于所述预设值，则确定所述待处理视频数据不允许进行插帧处理。
6.一种视频插帧的处理装置，其特征在于，所述视频插帧的处理装置包括：
判断模块，用于当接收到待处理视频时，判断所述待处理视频是否允许进行插帧处理，所述待处理视频为裁判员无法准确进行判决的比赛视频；
选取模块，用于若所述待处理视频允许进行插帧处理，则在所述待处理视频中选取出第一图像和第二图像，所述第一图像和所述第二图像为所述待处理视频数据中时间轴上相邻的两帧图像，所述第一图像在时间轴上早于所述第二图像；
运动估计模块，用于基于所述第一图像和所述第二图像进行运动向量估计，得到目标区域中各个像素块的运动向量，所述目标区域用于指示所述第一图像和所述第二图像之间的发生位置变化的像素块；
确定模块，用于基于所述第一图像、所述第二图像和各个像素块的运动向量确定目标区域中各个像素块的图像块类型，所述图像块类型为后遮挡类型、前遮挡类型或无遮挡类型；
生成模块，用于基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，直至所述待处理视频中所有相邻的两帧图像之间均生成对应的插入帧，得到目标视频；
所述基于各个像素块的图像块类型对所述第一图像和所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：
若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；
若各个像素块的图像块类型为前遮挡类型，则对所述第二图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧；
若各个像素块的图像块类型为无遮挡类型，则分别对所述第一图像和所述第二图像进行平均取值，生成所述第一图像和所述第二图像之间的插入帧；
所述若各个像素块的图像块类型为后遮挡类型，则对所述第一图像进行运动补偿，生成所述第一图像和所述第二图像之间的插入帧，包括：
若各个像素块的图像块类型为后遮挡类型，则将后遮挡类型的各个像素块确定为预设网络中的查询值，将所述第一图像确定为所述预设网络中的键值；
基于各个像素块对应的查询值、所述第一图像对应的键值，以及预设公式进行计算，生成各个像素块与所述第一图像之间的初始图像；
对所述初始图像进行处理，得到所述第一图像和所述第二图像之间的插入帧。
7.一种视频插帧的处理设备，其特征在于，所述视频插帧的处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频插帧的处理设备执行如权利要求1-5中任一项所述的视频插帧的处理方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述视频插帧的处理方法。
CN202311012205.7A 2023-08-11 2023-08-11 视频插帧的处理方法、装置、设备及存储介质 Active CN116723355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311012205.7A CN116723355B (zh) 2023-08-11 2023-08-11 视频插帧的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311012205.7A CN116723355B (zh) 2023-08-11 2023-08-11 视频插帧的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116723355A CN116723355A (zh) 2023-09-08
CN116723355B true CN116723355B (zh) 2023-11-28

Family

ID=87864775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311012205.7A Active CN116723355B (zh) 2023-08-11 2023-08-11 视频插帧的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116723355B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101444094A (zh) * 2006-05-12 2009-05-27 索尼德国有限责任公司 用于对输入图像序列的先前和后继图像插值的方法
CN110933497A (zh) * 2019-12-10 2020-03-27 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN111327926A (zh) * 2020-02-12 2020-06-23 北京百度网讯科技有限公司 视频插帧方法、装置、电子设备及存储介质
CN113014928A (zh) * 2021-02-08 2021-06-22 北京奇艺世纪科技有限公司 一种补偿帧生成方法及装置
CN114979619A (zh) * 2021-02-25 2022-08-30 北京达佳互联信息技术有限公司 用于视频数据的帧率上转换中的遮挡检测的系统和方法
CN115049878A (zh) * 2022-06-17 2022-09-13 平安科技（深圳）有限公司 基于人工智能的目标检测优化方法、装置、设备及介质
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140245350A1 (en) * 2013-02-27 2014-08-28 Blendagram, Inc. System for and method of processing a video clip to identify an occluding object
WO2018006095A2 (en) * 2016-07-01 2018-01-04 Digimarc Corporation Image-based pose determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101444094A (zh) * 2006-05-12 2009-05-27 索尼德国有限责任公司 用于对输入图像序列的先前和后继图像插值的方法
CN110933497A (zh) * 2019-12-10 2020-03-27 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN111327926A (zh) * 2020-02-12 2020-06-23 北京百度网讯科技有限公司 视频插帧方法、装置、电子设备及存储介质
CN113014928A (zh) * 2021-02-08 2021-06-22 北京奇艺世纪科技有限公司 一种补偿帧生成方法及装置
CN114979619A (zh) * 2021-02-25 2022-08-30 北京达佳互联信息技术有限公司 用于视频数据的帧率上转换中的遮挡检测的系统和方法
CN115049878A (zh) * 2022-06-17 2022-09-13 平安科技（深圳）有限公司 基于人工智能的目标检测优化方法、装置、设备及介质
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法

Also Published As

Publication number Publication date
CN116723355A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US7796781B2 (en) Content generation, extraction and distribution of image region segments from video images
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
EP3008696B1 (en) Tracker assisted image capture
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
CN112584234B (zh) 视频图像的补帧方法及相关装置
US20050104964A1 (en) Method and apparatus for background segmentation based on motion localization
JP2006512029A (ja) セグメントベース動き推定
US6816551B1 (en) Method for comparing two moving pictures and retrieval system using the method
US20060045365A1 (en) Image processing unit with fall-back
CN109598744A (zh) 一种视频跟踪的方法、装置、设备和存储介质
JP2007506333A (ja) 動きベクトルフィールド再タイミング
KR102201297B1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
JP2005528708A (ja) 現動きベクトルを推定するユニット及び方法
EP1514241A2 (en) Unit for and method of estimating a motion vector
CN113784014A (zh) 一种图像处理方法、装置及设备
JP2005341580A (ja) 動き推定および補償に基づいた画像補間システムのための方法と装置
CN114419102A (zh) 一种基于帧差时序运动信息的多目标跟踪检测方法
CN116723355B (zh) 视频插帧的处理方法、装置、设备及存储介质
CN109271854B (zh) 基于视频处理方法及装置、视频设备及存储介质
CN114095780A (zh) 一种全景视频剪辑方法、装置、存储介质及设备
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备
CN115720252A (zh) 用于在事件保留的情况下缩短视频的设备和方法
CN114266744A (zh) 图像模糊度评估方法、装置、电子设备和存储介质
US20050249286A1 (en) Method and device for generating candidate vectors for image interpolation systems
CN114007134B (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant