CN112272311B - 花屏修复方法、装置、终端、服务器及介质 - Google Patents

花屏修复方法、装置、终端、服务器及介质 Download PDF

Info

Publication number
CN112272311B
CN112272311B CN202011135402.4A CN202011135402A CN112272311B CN 112272311 B CN112272311 B CN 112272311B CN 202011135402 A CN202011135402 A CN 202011135402A CN 112272311 B CN112272311 B CN 112272311B
Authority
CN
China
Prior art keywords
screen
video frame
optical flow
video
splash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011135402.4A
Other languages
English (en)
Other versions
CN112272311A (zh
Inventor
夏爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN202011135402.4A priority Critical patent/CN112272311B/zh
Publication of CN112272311A publication Critical patent/CN112272311A/zh
Application granted granted Critical
Publication of CN112272311B publication Critical patent/CN112272311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种花屏修复方法、装置、终端、服务器及介质，属于视频处理技术领域。该方法包括：对目标视频进行花屏检测，得到所述目标视频中的花屏视频帧；获取所述目标视频中的参考视频帧的光流信息；根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复。这种先检测再进行修复的方式，对花屏视频帧的修复周期较短，提高了修复效率。

Description

花屏修复方法、装置、终端、服务器及介质
技术领域
本申请实施例涉及视频处理技术领域，特别涉及一种花屏修复方法、装置、终端、服务器及介质。
背景技术
在播放视频的过程中，由于网络质量较差、视频渲染出错、视频帧丢失或者视频解码出错等影响，会导致视频出现花屏现象，影响用户观看。因此，如何修复视频中的花屏视频帧成为亟待解决的问题。
目前，用户在观看视频的过程中，发现花屏现象之后可以上报给技术人员，由技术人员对花屏视频帧进行修复。但是，技术人员只有在接收到用户反馈之后才进行修复，修复周期长，修复效率低。
发明内容
本申请实施例提供了一种花屏修复方法、装置、终端、服务器及介质，较少了修复周期，提高了修复效率。所述技术方案如下：
一方面，提供了一种花屏修复方法，所述方法包括：
对目标视频进行花屏检测，得到所述目标视频中的花屏视频帧；
获取所述目标视频中的参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一视频帧，所述光流信息表示所述参考视频帧中的像素点移动到所述花屏视频帧的移动情况；
根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复。
可选地，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像和样本花屏图像；
根据所述样本非花屏图像和所述样本花屏图像，训练所述花屏检测模型。
可选地，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；
根据所述样本非花屏图像、所述多个样本花屏图像和所述每个样本花屏图像所属的花屏类型，训练所述花屏检测模型。
可选地，所述对目标视频进行花屏检测，得到所述目标视频中的花屏视频帧之前，所述方法还包括：
向服务器发送所述目标视频的视频播放请求，所述服务器用于根据所述视频播放请求返回所述目标视频及所述目标视频的光流信息，所述目标视频的光流信息中包括所述目标视频中每个视频帧的光流信息；
所述获取所述目标视频中的参考视频帧的光流信息，包括：
从所述目标视频的光流信息中，查询所述参考视频帧的光流信息。
另一方面，提供了一种花屏修复方法，所述方法包括：
对目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，所述光流信息表示所述视频帧中的像素点移动到所述视频帧的下一视频帧的移动情况；
接收终端发送的光流获取请求，所述光流获取请求携带所述目标视频的视频标识和花屏视频帧的位置信息，其中，所述花屏视频帧是将所述目标视频发送给所述终端后，在所述终端播放所述目标视频的过程中产生的；
根据所述光流获取请求，向所述终端发送参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一帧，所述终端用于根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复。
可选地，所述光流预测模型的训练过程包括以下步骤：
获取第一样本视频帧和第二样本视频帧，所述第一样本视频帧和所述第二样本视频帧为同一样本视频中相邻的两个视频帧；
根据所述第一样本视频帧和所述第二样本视频帧，训练所述光流预测模型。
另一方面，提供了一种花屏修复装置，所述装置包括：
花屏检测模块，用于对目标视频进行花屏检测，得到所述目标视频中的花屏视频帧；
光流获取模块，用于获取所述目标视频中的参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一视频帧，所述光流信息表示所述参考视频帧中的像素点移动到所述花屏视频帧的移动情况；
花屏修复模块，用于根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复。
可选地，所述花屏检测模块，用于调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果，所述检测结果表示对应的视频帧是否为花屏视频帧。
可选地，所述装置还包括：
模型获取模块，用于获取服务器下发的花屏检测模型；
格式转换模块，用于对所述花屏检测模型进行格式转换，以使转换后所述花屏检测模型的格式满足终端对目标格式的要求。
可选地，花屏视频帧的检测结果中包括所述花屏视频帧所属的花屏类型，所述装置还包括：
花屏信息获取模块，用于获取所述目标视频的视频标识和所述花屏视频帧在所述目标视频中的位置信息；
花屏信息上报模块，用于将所述视频标识、所述花屏视频帧所属的花屏类型和所述位置信息上报给服务器。
可选地，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像和样本花屏图像；
根据所述样本非花屏图像和所述样本花屏图像，训练所述花屏检测模型。
可选地，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；
根据所述样本非花屏图像、所述多个样本花屏图像和所述每个样本花屏图像所属的花屏类型，训练所述花屏检测模型。
可选地，所述光流获取模块，包括：
光流请求单元，用于向服务器发送光流获取请求，所述光流获取请求携带所述目标视频的视频标识和所述花屏视频帧的位置信息，所述服务器用于根据所述光流获取请求，返回所述参考视频帧的光流信息；
光流接收单元，用于接收所述服务器发送的所述光流信息。
可选地，所述装置还包括：
播放请求模块，用于向服务器发送所述目标视频的视频播放请求，所述服务器用于根据所述视频播放请求返回所述目标视频及所述目标视频的光流信息，所述目标视频的光流信息中包括所述目标视频中每个视频帧的光流信息；
所述光流获取模块，用于从所述目标视频的光流信息中，查询所述参考视频帧的光流信息。
可选地，所述花屏修复模块，用于：
根据所述参考视频帧的像素信息和所述光流信息，确定所述花屏视频帧的目标像素信息；
将所述花屏视频帧的像素信息更新为所述目标像素信息。
可选地，所述光流信息包括所述参考视频帧中每个像素点的偏移距离和偏移方向，所述花屏修复模块，用于将所述参考视频帧中的每个像素点按照对应的偏移距离和偏移方向进行移动，将移动后得到的视频帧确定为所述花屏视频帧的修复视频帧。
另一方面，提供了一种花屏修复装置，所述装置包括：
光流预测模块，用于对目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，所述光流信息表示所述视频帧中的像素点移动到所述视频帧的下一视频帧的移动情况；
请求接收模块，用于接收终端发送的光流获取请求，所述光流获取请求携带所述目标视频的视频标识和花屏视频帧的位置信息，其中，所述花屏视频帧是将所述目标视频发送给所述终端后，在所述终端播放所述目标视频的过程中产生的；
光流发送模块，用于根据所述光流获取请求，向所述终端发送参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一帧，所述终端用于根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复。
可选地，所述光流预测模块，用于调用光流预测模型，对所述目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息。
可选地，所述光流预测模型包括多个光流预测子模型；所述光流预测模块，用于：
将第一视频帧和第二视频帧输入至第一个光流预测子模型，得到所述第一个光流预测子模型输出的第一光流信息，所述第一视频帧和所述第二视频帧为所述目标视频中相邻的任两个视频帧，所述第一视频帧在所述第二视频帧之前，所述第一光流信息表示所述第一视频帧中的像素点移动到所述第二视频帧的移动情况；
将所述第一视频帧、所述第二视频帧和所述第一光流信息输入至下一个光流预测子模型，得到所述下一个光流预测子模型输出的下一个光流信息，直至得到最后一个光流预测子模型输出的光流信息；
将所述最后一个光流预测子模型输出的光流信息，确定为所述第一视频帧的光流信息。
可选地，所述光流预测模型的训练过程包括以下步骤：
获取第一样本视频帧和第二样本视频帧，所述第一样本视频帧和所述第二样本视频帧为同一样本视频中相邻的两个视频帧；
根据所述第一样本视频帧和所述第二样本视频帧，训练所述光流预测模型。
另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现上述方面所述的花屏修复方法中所执行的操作。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如上述方面所述的花屏修复方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述方面所述的花屏修复方法中所执行的操作。
另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述计算机设备实现如上述方面所述的花屏修复方法中所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的方法，先对目标视频进行花屏检测，然后根据光流信息对检测出的花屏视频帧进行修复，与人工修复相比，这种根据光流信息进行修复的方式修复周期短，提高了修复效率。并且，这种先检测再修复的方式，能够自动进行花屏检测，无需用户进行反馈，简化了用户操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种花屏修复方法的流程图；
图3是本申请实施例提供的另一种花屏修复方法的流程图；
图4是本申请实施例提供的另一种花屏修复方法的流程图；
图5是本申请实施例提供的一种花屏检测方法的流程图；
图6是本申请实施例提供的一种花屏检测模型训练过程的示意图；
图7是本申请实施例提供的另一种花屏修复方法的流程图；
图8是本申请实施例提供的一种花屏修复装置的结构示意图；
图9是本申请实施例提供的另一种花屏修复装置的结构示意图；
图10是本申请实施例提供的另一种花屏修复装置的结构示意图；
图11是本申请实施例提供的一种终端的结构示意图；
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一视频帧称为第二视频帧，将第二视频帧称为第一视频帧。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个视频帧包括3个视频帧，而每个视频帧是指这3个视频帧中的每一个视频帧，任一是指这3个视频帧中的任意一个，可以是第一个，可以是第二个，也可以是第三个。
为了便于理解本申请实施例，对本申请实施例涉及到的关键词进行解释：
光流：光流是指图像中对象的移动，该移动是拍摄设备移动或者对象移动引起的。光流从物理意义的角度看，能够描述视频中的对象在时间维度上的关联性，建立视频中相邻视频帧之间的关联关系，对视频中的对象进行关键特征点的光流跟踪，能够获取到目标对象的光流信息，光流信息表示视频中对象的运动或时序信息。
光流在计算机视觉中定义为描述视频中对象的移动，即当前视频帧中的对象移动到下一视频帧的移动情况，可以用二维向量表示，二维向量中的一个值表示移动方向，另一个值表示移动距离，通过该二维向量表示物体三维运动的速度场，能够反映微小时间间隔内由于运动形成的视频帧变化。
花屏现象：花屏现象是指视频播放过程中，由于网络质量较差、视频渲染出错、视频帧丢失或者视频解码出错等影响，导致视频帧中缺少像素点或像素点位置不正常，使显示的视频帧出错的现象。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术，具体通过如下实施例进行说明。
本申请实施例提供的花屏修复方法，能够应用于视频播放场景下。
例如，用户在观看视频的过程中，由于对视频解码出错，导致解码出的部分视频帧不准确，该视频帧在播放时出现花屏，而采用本申请实施例提供的方法，对视频进行花屏检测，检测出花屏视频帧，然后在播放该花屏视频帧之前，采用对应的光流信息对花屏视频帧进行修复，从而不再显示花屏视频帧，而是显示修复后的视频帧，这样能使用户看到正常的视频帧，保证了视频的正常播放。
图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括至少一个终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。
终端101上安装由服务器102提供服务的目标应用，终端101能够通过该目标应用从服务器102获取目标视频，然后播放目标视频。可选地，终端101为电脑、手机、平板电脑或者其他终端。可选地，目标应用为终端101操作系统中的目标应用，或者为第三方提供的目标应用，例如，目标应用为视频播放应用。
可选地，服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图2是本申请实施例提供的一种花屏修复方法的流程图。本申请实施例的执行主体为终端。参见图2，该方法包括以下步骤：
201、终端对目标视频进行花屏检测，得到目标视频中的花屏视频帧。
本申请实施例中，终端对目标视频进行花屏检测，可选地分别对目标视频中的每个视频帧进行花屏检测，得到花屏视频帧。其中，目标视频为终端播放的任一视频，花屏视频帧是指目标视频中的任一出现花屏现象的视频帧。
终端在播放目标视频的过程中，对目标视频进行花屏检测，确定目标视频中的花屏视频帧，且检测到的花屏视频帧为还未播放的视频帧，即在播放视频帧之前，先对视频帧进行花屏检测，检测出花屏视频帧，便于后续及时对花屏视频帧进行修复，向用户播放修复后的视频帧，避免用户看到花屏视频帧，影响视频播放效果。
202、终端获取目标视频中的参考视频帧的光流信息。
终端检测出花屏视频帧之后，确定该花屏视频帧的参考视频帧，获取参考视频帧的光流信息。其中，参考视频帧为花屏视频帧的前一视频帧，光流信息表示参考视频帧中的像素点移动到参考视频帧的下一视频帧的移动情况，即光流信息表示参考视频帧中的像素点移动到花屏视频帧的移动情况。
203、终端根据参考视频帧和光流信息，对花屏视频帧进行修复。
对于连续两个视频帧来说，两个视频帧对应的场景或者两个视频帧中的对象变化不会太大，因此能够通过光流信息，对参考视频帧中的像素点进行移动，将像素点移动后得到的视频帧作为修复视频帧。采用修复视频帧替换目标视频帧中的花屏视频帧，实现对花屏视频帧的修复。
需要说明的一点是，本申请实施例仅是以一个花屏视频帧为例进行说明，在另一实施例中，如果目标视频中包括多个花屏视频帧，能够采用类似的实施例方式对目标视频中的其他花屏视频帧进行修复。
需要说明的另一点是，本申请实施例仅是以执行主体为终端为例进行说明，在另一实施例中，还可以由终端和服务器协同执行上述方法，即终端检测出花屏视频帧之后，向服务器请求对应的参考视频帧的光流信息，服务器向终端发送参考视频帧的光流信息，然后终端根据参考视频帧和获取的光流信息，对花屏视频帧进行修复。
本申请实施例提供的方法，先对目标视频进行花屏检测，然后根据光流信息对检测出的花屏视频帧进行修复，与人工修复相比，这种根据光流信息进行修复的方式修复周期短，提高了修复效率。并且，这种先检测再修复的方式，能够自动进行花屏检测，无需用户进行反馈，简化了用户操作。
上述图2所示的实施例是从终端的角度对花屏修复过程进行说明，在花屏修复过程中，还需要服务器为终端提供光流信息，下面从服务器的角度对花屏修复过程进行说明。
图3是本申请实施例提供的一种花屏修复方法的流程图。本申请实施例的执行主体为服务器。参见图3，该方法包括以下步骤：
301、服务器对目标视频进行光流预测，得到目标视频中每个视频帧的光流信息。
服务器在向终端传输目标视频的过程中，会由于网络质量较差或视频帧丢失等影响，或者是终端在接收到目标视频之后，对目标视频的渲染出错或者对目标视频的解码出错等影响，导致目标视频中出现花屏视频帧。但是对于服务器来说，服务器中存储的目标视频不会有花屏视频帧，因此能够由服务器对目标视频进行光流检测，得到目标视频中每个视频帧的光流信息。
在一种可能实现方式中，服务器调用光流预测模型，对目标视频进行光流预测，得到目标视频中每个视频帧的光流信息。其中，调用光流预测模型进行光流预测时，对于目标视频中相邻的任两个视频帧，对该相邻的两个视频帧进行光流预测，得到该相邻的两个视频帧中第一个视频帧的光流信息。
在一种可能实现方式中，光流预测模型包括多个光流预测子模型。服务器获取目标视频中的第一视频帧和第二视频帧，该第一视频帧和第二视频帧为相邻的任两个视频帧，且第一视频帧在第二视频帧之前，即第一视频帧为第二视频帧的上一个视频帧；将第一视频帧和第二视频帧输入至第一个光流预测子模型，得到第一个光流预测子模型输出的第一光流信息，其中，第一光流信息表示第一视频帧中的像素点移动到第二视频帧的移动情况。
然后，服务器将第一视频帧、第二视频帧和第一光流信息输入至第二个光流预测子模型，得到第二个光流预测子模型输出的第二光流信息，该第二光流信息也是表示第一视频帧中的像素点移动到第二视频帧的移动情况，与第一光流信息相比较，第二光流信息能够更加准确的表示像素点的移动情况。服务器再将第一视频帧、第二视频帧和第二光流信息输入至下一个光流预测子模型，得到下一个光流预测子模型输出的下一个光流信息，直至得到最后一个光流预测子模型输出的光流信息；将最后一个光流预测子模型输出的光流信息，确定为第一视频帧的光流信息。
采用上述多个光流预测子模型的方式进行光流预测，对上一个光流预测子模型输出的光流信息进行进一步的处理，提高了预测的光流信息的准确率。并且，这种方式的处理速度较快，提高了处理速度，降低了时间成本。
在使用光流预测模型之前，需要训练光流预测模型。服务器获取第一样本视频帧和第二样本视频帧，第一样本视频帧和第二样本视频帧为同一样本视频中相邻的两个视频帧；根据第一样本视频帧和第二样本视频帧，训练光流预测模型。
例如，将第一样本视频帧和第二样本视频帧输入至光流预测模型中，得到输出的第一样本视频帧的预测光流信息，然后根据第一样本视频帧和预测光流信息，得到预测视频帧，根据该预测视频帧和第二样本视频帧之间的差异，调整光流预测模型的各项参数，以使预测视频帧和第二样本视频帧之间的差异减小，从而使光流预测模型学习到根据相邻的两个视频帧得到光流信息的能力。
在一种可能实现方式中，服务器采用光流预测模型对第一视频帧和第二视频帧进行光流预测之后，能够将第一视频帧和第二视频帧作为样本视频帧，继续训练光流预测模型。
在一种可能实现方式中，服务器获取到目标视频中每个视频帧的光流信息之后，存储每个视频帧的光流信息，便于后续终端从服务器获取参考视频帧的光流信息。其中，在存储时，将目标视频的视频标识和每个视频帧的位置信息与光流信息对应存储。
需要说明的是，上述图2所示的实施例中，终端播放的目标视频中包括花屏视频帧，而本申请实施例中，服务器中存储的目标视频为不包括花屏视频帧的视频。
302、服务器接收终端发送的光流获取请求。
终端在检测到目标视频中存在花屏视频帧后，向服务器发送光流获取请求，服务器接收该光流获取请求。其中，光流获取请求携带目标视频的视频标识和花屏视频帧的位置信息。视频标识用于指示花屏视频帧所属的视频，位置信息用于指示花屏视频帧为目标视频中的哪个视频帧，花屏视频帧是将目标视频发送给终端后，在终端播放目标视频的过程中产生的。
可选地，花屏视频帧的位置信息采用视频时间戳表示，即视频帧在目标视频中的播放时间，例如，花屏视频帧为目标视频中33分45秒对应的视频帧；或者采用花屏视频在目标视频中的视频帧序号表示。
303、服务器根据光流获取请求，向终端发送参考视频帧的光流信息。
服务器根据光流获取请求中的视频标识，确定目标视频，然后根据花屏视频帧的位置信息，确定该花屏视频帧对应的参考视频帧，查询存储的该参考视频帧的光流信息，向终端发送该参考视频帧的光流信息。后续终端接收到参考视频帧的光流信息之后，根据参考视频帧和该光流信息，对花屏视频帧进行修复。
本申请实施例提供的方法，能够提前获取到目标视频的光流信息，在终端需要对花屏视频帧进行修复时，能够为终端提供需要的光流信息，使终端根据光流信息对花屏视频帧进行修复。并且，能够根据光流获取请求，仅向终端发送参考视频帧的光流信息，无需发送全部的光流信息，传输的数据量较少，提高了传输速率。
图4是本申请实施例提供的一种花屏修复方法的流程图。本申请实施例的交互主体为终端和服务器。参见图4，该方法包括以下步骤：
401、终端对目标视频进行花屏检测，得到目标视频中的花屏视频帧。
在一种可能实现方式中，终端安装有目标应用，终端通过该目标应用播放目标视频，通过目标应用对目标视频进行花屏检测，得到目标视频中的花屏视频帧。其中，目标应用为视频播放应用或其他应用。
在一种可能实现方式中，终端调用花屏检测模型，分别对目标视频中的每个视频帧进行花屏检测，得到每个视频帧的检测结果，检测结果表示对应的视频帧是否为花屏视频帧。例如，检测结果采用0和1表示，如果检测结果为1，则表示视频帧为花屏视频帧，如果检测结果为0，则表示视频帧为非花屏视频帧。
在另一种可能实现方式中，该花屏检测模型还能够检测花屏视频帧所属的花屏类型，则得到的检测结果还包括视频帧所属的花屏类型。其中，花屏类型包括马赛克花屏、色彩分量异常、画面错位等类型。马赛克花屏是指视频帧中的某些部分会以马赛克的形式显示；色彩分量异常是指显示的视频帧颜色出错，例如视频帧显示为绿色；画面错位是指视频帧中的像素点的位置不正确，例如视频帧中下半部分的像素点向左移动了三个像素点的位置。
其中，花屏检测模型为卷积神经网络、超轻量级网络(Squeezenet)等网络。
在一种可能实现方式中，终端获取服务器下发的花屏检测模型；对花屏检测模型进行格式转换，以使转换后花屏检测模型的格式满足终端对目标格式的要求。例如，将花屏转换模型的格式转换为TFLite(TensorFlow Lite，一种轻量级机器学习系统)格式。其中，花屏检测模型为服务器训练并存储的，或者是由其他计算机设备训练之后，发送给服务器的。
例如，参见图5，终端对目标视频的检测过程包括：
1、获取目标视频。
2、读取目标视频中每个视频帧的纹理数据。其中，纹理数据是指视频帧的像素信息。
3、对花屏检测模型进行格式转换。
4、将读取的纹理数据输入至转换后的花屏检测模型中，得到每个视频帧的检测结果。
在使用花屏检测模型之前，需要对花屏检测模型进行训练。在一种可能实现方式中，获取样本非花屏图像和样本花屏图像；根据样本非花屏图像和样本花屏图像，训练花屏检测模型，采用这种方式训练得到的花屏检测模型，仅是能够检测出花屏视频帧和非花屏视频帧。
在另一种可能实现方式中，获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；根据样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型，训练花屏检测模型，采用这种方式训练得到的花屏检测模型，不仅能够检测出花屏视频帧和非花屏视频帧，还能够检测出花屏视频帧所属的花屏类型。例如，参见图6，将非花屏图像、马赛克花屏图像、色彩分量异常的图像(图6中的图像没有示出异常的颜色)和画面错位的图像输入至花屏检测模型，输出为预测的花屏类型，对花屏检测模型进行训练。
例如，将样本非花屏图像和个样本花屏图像输入至花屏检测模型中，得到输出的每个图像的预测结果，然后根据预测结果和每个样本花屏图像所属的花屏类型之间的差异，调整花屏检测模型的各项参数，以使预测结果和每个样本花屏图像所属的花屏类型之间的差异减小，从而使花屏检测模型学习到根据输入的图像得到图像所属的类型的能力。
在一种可能实现方式中，终端采用花屏检测模型对目标视频中的每个视频帧进行检测之后，能够将目标视频中的每个视频帧作为样本视频帧，继续训练花屏检测模型。
402、终端向服务器发送光流获取请求。
终端在检测出花屏视频帧之后，向服务器发送光流获取请求。其中，光流获取请求携带目标视频的视频标识和花屏视频帧的位置信息。视频标识用于指示包括该花屏视频帧的目标视频，使服务器能够查询该目标视频的光流信息，位置信息用于指示花屏视频帧为目标视频中的哪一帧，使服务器能够确定花屏视频帧对应的参考视频帧。
403、服务器根据光流获取请求，返回参考视频帧的光流信息。
404、终端接收服务器发送的光流信息。
服务器根据视频标识，查询该视频标识对应的目标视频的光流信息，然后根据花屏视频帧的位置信息，确定该花屏视频帧的参考视频帧，从目标视频的光流信息中查询参考视频帧的光流信息，将查询到的参考视频帧的光流信息发送给终端，终端获取到参考视频帧的光流信息。
上述步骤402-步骤403中是在确定花屏视频帧之后，获取参考视频帧的光流信息，这种获取方式，能够针对花屏视频帧获取需要的光流信息，而无需获取目标视频全部的光流信息，减少了传输的数据量。
在一种可能实现方式中，如果终端检测出目标视频中的多个花屏视频帧，则终端能够向服务器发送一次光流获取请求，该光流获取请求中携带目标视频的视频标识和每个花屏视频帧的位置信息，对应的，服务器同时返回多个参考视频帧的光流信息和每个参考视频帧的位置信息。或者，终端能够发送多次光流获取请求，每次发送的光流获取请求中携带目标视频的视频标识和一个花屏视频帧的位置信息。
在另一实施例中，终端在获取待播放的目标视频时，能够同时获取目标视频的光流信息。终端向服务器发送目标视频的视频播放请求，服务器根据视频播放请求返回目标视频及目标视频的光流信息，当终端检测出花屏视频帧之后，从目标视频的光流信息中，查询参考视频帧的光流信息。这种获取方式，在检测到花屏视频帧之后，能够直接从终端获取需要的光流信息，能够减少传输过程。
405、终端根据参考视频帧和光流信息，对花屏视频帧进行修复。
在一种可能实现方式中，终端根据参考视频帧的像素信息和光流信息，确定花屏视频帧的目标像素信息；将目标视频中花屏视频帧的像素信息更新为目标像素信息，在播放花屏视频帧是按照更新后的目标像素信息播放。其中，像素信息包括每个像素点的像素值和位置，目标像素信息中像素点和参考视频帧的像素信息中对应的像素点的像素值相同，像素点的位置可能不同。
例如，采用下述公式计算花屏视频帧的目标像素信息：
Imagei+1＝Imagei+Flowi；
其中，Imagei+1为花屏视频帧的目标像素信息，Imagei为参考视频帧的像素信息，Flowi为参考视频帧的光流信息。
在另一种可能实现方式中，光流信息包括参考视频帧中每个像素点的偏移距离和偏移方向，终端将参考视频帧中的每个像素点按照对应的偏移距离和偏移方向进行移动，将移动后得到的视频帧确定为花屏视频帧的修复视频帧。即对于参考视频帧中的每个像素点，将该像素点向偏移方向移动偏移距离，得到移动后像素点的位置，从而完成对每个像素点的移动，得到修复视频帧。其中，在对像素点进行移动的过程中，像素点的像素值不发生变化。
另外，在一种可能实现方式中，如果目标视频中连续多个视频帧均为花屏视频帧，则第一个花屏视频帧对应的参考视频帧为非花屏视频帧，能够直接根据该参考视频帧和对应的光流信息对第一个花屏视频帧进行修复；除第一个花屏视频帧之外的花屏视频帧对应的参考视频帧也为花屏视频帧，需要将花屏视频帧的修复视频帧作为参考视频帧，这种情况下，需要按照花屏视频帧在目标视频中的位置，依次进行修复，以便将得到的修复视频帧作为下一个花屏视频帧的参考视频帧。
另外，在一种可能实现方式中，花屏视频帧的检测结果中还包括花屏视频帧所属的花屏类型，终端获取目标视频的视频标识和花屏视频帧在目标视频中的位置信息；将视频标识、花屏视频帧所属的花屏类型和位置信息上报给服务器。然后服务器对多个终端上报的信息进行处理，得到出现花屏次数较多的视频，以及视频中出现花屏的视频帧，并根据花屏视频帧所属的花屏类型，确定需要进行人工修复的花屏视频帧。服务器确定导致出现花屏的原因，如果是由于视频渲染出错、视频编码或解码出错引起的，则由技术人员进行人工修复，但是如果是由于终端网络质量较差引起的，则不需要由技术人员进行修复。
例如，参见图7所示的流程图：
1、终端获取目标视频。
2、终端对目标视频进行花屏检测，得到花屏信息，该花屏信息包括目标视频的视频标识、花屏视频帧的位置信息和所属的花屏类型。
3、终端将花屏信息上报给服务器。
4、服务器对接收到的多个终端上报的花屏信息进行处理，确定需要进行人工修复的花屏视频帧。
5、服务器获取修复后的视频帧。
与相关技术中，仅采用人工修复相比较，上述修复方式将自动修复和人工修复相结合，能够保证在进行人工修复过程中，采用自动修复的方式对花屏视频帧进行修复，避免了人工修复周期长，导致在人工修复期间，用户观看的目标视频仍然存在花屏视频帧的问题。
需要说明的是，本申请实施例中的终端是指任一终端，对于不同的终端，在播放目标视频的过程中，可选地，目标视频中的花屏视频帧相同或者不同。其中，如果花屏是由于编码或解码出错引起的，则播放该目标视频的终端均会出现花屏视频帧，但是如果是由于网络质量较差引起的，那么目标视频中的花屏视频帧仅是偶然情况，并不会播放该目标视频的每个终端都出现花屏视频帧。
本申请实施例提供的方法，先对目标视频进行花屏检测，然后根据光流信息对检测出的花屏视频帧进行修复，与人工修复相比，这种根据光流信息进行修复的方式修复周期短，提高了修复效率。并且，这种先检测再修复的方式，能够自动进行花屏检测，无需用户进行反馈，简化了用户操作。
并且，在目标视频的播放过程中，能够提高目标应用的容错率，通过根据光流信息进行修复的方式缓解人工修复的压力。
并且，本申请实施例中，在确定花屏视频帧之后，获取参考视频帧的光流信息，这种获取方式，能够针对花屏视频帧获取需要的光流信息，而无需获取目标视频全部的光流信息，减少了传输的数据量。
并且，相关技术中的人工修复方式，对由于网络质量较差导致的花屏无法进行修复，而本申请实施例中根据光流信息进行修复的方式，能够对任意的花屏类型进行修复，扩展了应用范围。
图8是本申请实施例提供的一种花屏修复装置的结构示意图。参见图8，该装置包括：
花屏检测模块801，用于对目标视频进行花屏检测，得到目标视频中的花屏视频帧；
光流获取模块802，用于获取目标视频中的参考视频帧的光流信息，参考视频帧为花屏视频帧的前一视频帧，光流信息表示参考视频帧中的像素点移动到花屏视频帧的移动情况；
花屏修复模块803，用于根据参考视频帧和光流信息，对花屏视频帧进行修复。
本申请实施例提供的装置，先对目标视频进行花屏检测，然后根据光流信息对检测出的花屏视频帧进行修复，与人工修复相比，这种根据光流信息进行修复的方式修复周期短，提高了修复效率。并且，这种先检测再修复的方式，能够自动进行花屏检测，无需用户进行反馈，简化了用户操作。
可选地，花屏检测模块801，用于调用花屏检测模型，分别对目标视频中的每个视频帧进行花屏检测，得到每个视频帧的检测结果，检测结果表示对应的视频帧是否为花屏视频帧。
可选地，参见图9，该装置还包括：
模型获取模块804，用于获取服务器下发的花屏检测模型；
格式转换模块805，用于对花屏检测模型进行格式转换，以使转换后花屏检测模型的格式满足终端对目标格式的要求。
可选地，参见图9，花屏视频帧的检测结果中包括花屏视频帧所属的花屏类型，该装置还包括：
花屏信息获取模块806，用于获取目标视频的视频标识和花屏视频帧在目标视频中的位置信息；
花屏信息上报模块807，用于将视频标识、花屏视频帧所属的花屏类型和位置信息上报给服务器。
可选地，花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像和样本花屏图像；
根据样本非花屏图像和样本花屏图像，训练花屏检测模型。
可选地，花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；
根据样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型，训练花屏检测模型。
可选地，参见图9，光流获取模块802，包括：
光流请求单元8021，用于向服务器发送光流获取请求，光流获取请求携带目标视频的视频标识和花屏视频帧的位置信息，服务器用于根据光流获取请求，返回参考视频帧的光流信息；
光流接收单元8022，用于接收服务器发送的光流信息。
可选地，参见图9，该装置还包括：
播放请求模块808，用于向服务器发送目标视频的视频播放请求，服务器用于根据视频播放请求返回目标视频及目标视频的光流信息，目标视频的光流信息中包括目标视频中每个视频帧的光流信息；
光流获取模块802，用于从目标视频的光流信息中，查询参考视频帧的光流信息。
可选地，花屏修复模块803，用于：
根据参考视频帧的像素信息和光流信息，确定花屏视频帧的目标像素信息；
将花屏视频帧的像素信息更新为目标像素信息。
可选地，光流信息包括参考视频帧中每个像素点的偏移距离和偏移方向，花屏修复模块803，用于将参考视频帧中的每个像素点按照对应的偏移距离和偏移方向进行移动，将移动后得到的视频帧确定为花屏视频帧的修复视频帧。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的花屏修复装置在进行花屏修复时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的花屏修复装置与花屏修复方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10是本申请实施例提供的一种花屏修复装置的结构示意图。参见图10，该装置包括：
光流预测模块1001，用于对目标视频进行光流预测，得到目标视频中每个视频帧的光流信息，光流信息表示视频帧中的像素点移动到视频帧的下一视频帧的移动情况；
请求接收模块1002，用于接收终端发送的光流获取请求，光流获取请求携带目标视频的视频标识和花屏视频帧的位置信息，其中，花屏视频帧是将目标视频发送给终端后，在终端播放目标视频的过程中产生的；
光流发送模块1003，用于根据光流获取请求，向终端发送参考视频帧的光流信息，参考视频帧为花屏视频帧的前一帧，终端用于根据参考视频帧和光流信息，对花屏视频帧进行修复。
可选地，光流预测模块1001，用于调用光流预测模型，对目标视频进行光流预测，得到目标视频中每个视频帧的光流信息。
可选地，光流预测模型包括多个光流预测子模型；光流预测模块1001，用于：
将第一视频帧和第二视频帧输入至第一个光流预测子模型，得到第一个光流预测子模型输出的第一光流信息，第一视频帧和第二视频帧为目标视频中相邻的任两个视频帧，第一视频帧在第二视频帧之前，第一光流信息表示第一视频帧中的像素点移动到第二视频帧的移动情况；
将第一视频帧、第二视频帧和第一光流信息输入至下一个光流预测子模型，得到下一个光流预测子模型输出的下一个光流信息，直至得到最后一个光流预测子模型输出的光流信息；
将最后一个光流预测子模型输出的光流信息，确定为第一视频帧的光流信息。
可选地，光流预测模型的训练过程包括以下步骤：
获取第一样本视频帧和第二样本视频帧，第一样本视频帧和第二样本视频帧为同一样本视频中相邻的两个视频帧；
根据第一样本视频帧和第二样本视频帧，训练光流预测模型。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的花屏修复装置在进行花屏修复时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的花屏修复装置与花屏修复方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图11是本申请实施例提供的一种终端1100的结构示意图。该终端1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1101所执行以实现本申请中方法实施例提供的花屏修复方法。
在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1116，也称距离传感器，设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图12是本申请实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)1201和一个或一个以上的存储器1202，其中，存储器1202中存储有至少一条程序代码，该至少一条程序代码由处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1200可以用于执行上述花屏修复方法中服务器所执行的步骤。
本申请实施例还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的花屏修复方法中所执行的操作。
本申请实施例还提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的花屏修复方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的花屏修复方法中所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得计算机设备实现上述实施例的花屏修复方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (27)

1.一种花屏修复方法，其特征在于，所述方法包括：
在播放目标视频的过程中，调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果，所述检测结果表示对应的视频帧是否为花屏视频帧，所述花屏视频帧为所述目标视频中还未播放的视频帧，所述花屏视频帧的检测结果中包括所述花屏视频帧所属的花屏类型；
获取所述目标视频的视频标识和所述花屏视频帧在所述目标视频中的位置信息；
将所述视频标识、所述花屏视频帧所属的花屏类型和所述位置信息上报给服务器；
其中，所述服务器用于根据所述花屏视频帧所属的花屏类型，确定出现所述花屏视频帧的原因，并根据所述原因确定人工修复的所述花屏视频帧和非人工修复的所述花屏视频帧，所述非人工修复的所述花屏视频帧包括由网络质量引起的所述花屏视频帧；对于所述人工修复的所述花屏视频帧，获取人工修复后的所述花屏视频帧；
对于所述服务器确定的所述非人工修复的所述花屏视频帧，获取所述目标视频中的参考视频帧的光流信息，所述参考视频帧为所述非人工修复的所述花屏视频帧的前一视频帧，所述光流信息表示所述参考视频帧中的像素点移动到所述非人工修复的所述花屏视频帧的移动情况；根据所述参考视频帧和所述光流信息，对所述非人工修复的所述花屏视频帧进行修复。
2.根据权利要求1所述的方法，其特征在于，所述调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果之前，所述方法还包括：
获取所述服务器下发的所述花屏检测模型；
对所述花屏检测模型进行格式转换，以使转换后所述花屏检测模型的格式满足终端对目标格式的要求。
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标视频中的参考视频帧的光流信息，包括：
向所述服务器发送光流获取请求，所述光流获取请求携带所述目标视频的视频标识和所述花屏视频帧的位置信息，所述服务器用于根据所述光流获取请求，返回所述参考视频帧的光流信息；
接收所述服务器发送的所述光流信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述参考视频帧和所述光流信息，对所述花屏视频帧进行修复，包括：
根据所述参考视频帧的像素信息和所述光流信息，确定所述花屏视频帧的目标像素信息；
将所述花屏视频帧的像素信息更新为所述目标像素信息。
5.根据权利要求1所述的方法，其特征在于，所述光流信息包括所述参考视频帧中每个像素点的偏移距离和偏移方向，所述根据所述参考视频帧和所述光流信息，对所述非人工修复的所述花屏视频帧进行修复，包括：
将所述参考视频帧中的每个像素点按照对应的偏移距离和偏移方向进行移动，将移动后得到的视频帧确定为所述非人工修复的所述花屏视频帧的修复视频帧。
6.根据权利要求1所述的方法，其特征在于，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像和样本花屏图像；
根据所述样本非花屏图像和所述样本花屏图像，训练所述花屏检测模型。
7.根据权利要求1所述的方法，其特征在于，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；
根据所述样本非花屏图像、所述多个样本花屏图像和所述每个样本花屏图像所属的花屏类型，训练所述花屏检测模型。
8.根据权利要求1所述的方法，其特征在于，所述在播放目标视频的过程中，调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果之前，所述方法还包括：
向所述服务器发送所述目标视频的视频播放请求，所述服务器用于根据所述视频播放请求返回所述目标视频及所述目标视频的光流信息，所述目标视频的光流信息中包括所述目标视频中每个视频帧的光流信息；
所述获取所述目标视频中的参考视频帧的光流信息，包括：
从所述目标视频的光流信息中，查询所述参考视频帧的光流信息。
9.一种花屏修复方法，其特征在于，所述方法包括：
对目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，所述光流信息表示所述视频帧中的像素点移动到所述视频帧的下一视频帧的移动情况；
接收终端发送的光流获取请求，所述光流获取请求携带所述目标视频的视频标识和花屏视频帧的位置信息，其中，所述花屏视频帧是将所述目标视频发送给所述终端后，在所述终端播放所述目标视频的过程中产生的，且为所述目标视频中还未播放的视频帧；
根据所述光流获取请求，向所述终端发送参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一帧，所述终端用于根据所述参考视频帧和所述光流信息，对由网络质量引起的所述花屏视频帧进行修复；
其中，所述终端用于在播放所述目标视频的过程中，调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果，所述检测结果表示对应的视频帧是否为所述花屏视频帧，所述花屏视频帧的检测结果中包括所述花屏视频帧所属的花屏类型；获取所述目标视频的视频标识和所述花屏视频帧在所述目标视频中的位置信息；将所述视频标识、所述花屏视频帧所属的花屏类型和所述位置信息上报给服务器；
所述方法还包括：
根据所述终端上报的所述花屏视频帧所属的花屏类型，确定出现所述花屏视频帧的原因，并根据所述原因确定人工修复的所述花屏视频帧和非人工修复的所述花屏视频帧，所述非人工修复的所述花屏视频帧包括所述由网络质量引起的所述花屏视频帧；
对于所述人工修复的所述花屏视频帧，获取人工修复后的所述花屏视频帧。
10.根据权利要求9所述的方法，其特征在于，所述对目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，包括：
调用光流预测模型，对所述目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息。
11.根据权利要求10所述的方法，其特征在于，所述光流预测模型包括多个光流预测子模型；所述调用光流预测模型，对所述目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，包括：
将第一视频帧和第二视频帧输入至第一个光流预测子模型，得到所述第一个光流预测子模型输出的第一光流信息，所述第一视频帧和所述第二视频帧为所述目标视频中相邻的任两个视频帧，所述第一视频帧在所述第二视频帧之前，所述第一光流信息表示所述第一视频帧中的像素点移动到所述第二视频帧的移动情况；
将所述第一视频帧、所述第二视频帧和所述第一光流信息输入至下一个光流预测子模型，得到所述下一个光流预测子模型输出的下一个光流信息，直至得到最后一个光流预测子模型输出的光流信息；
将所述最后一个光流预测子模型输出的光流信息，确定为所述第一视频帧的光流信息。
12.根据权利要求10所述的方法，其特征在于，所述光流预测模型的训练过程包括以下步骤：
获取第一样本视频帧和第二样本视频帧，所述第一样本视频帧和所述第二样本视频帧为同一样本视频中相邻的两个视频帧；
根据所述第一样本视频帧和所述第二样本视频帧，训练所述光流预测模型。
13.一种花屏修复装置，其特征在于，所述装置包括：
花屏检测模块，用于在播放目标视频的过程中，调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果，所述检测结果表示对应的视频帧是否为花屏视频帧，所述花屏视频帧为所述目标视频中还未播放的视频帧，所述花屏视频帧的检测结果中包括所述花屏视频帧所属的花屏类型；
花屏信息获取模块，用于获取所述目标视频的视频标识和所述花屏视频帧在所述目标视频中的位置信息；
花屏信息上报模块，用于将所述视频标识、所述花屏视频帧所属的花屏类型和所述位置信息上报给服务器；
其中，所述服务器用于根据所述花屏视频帧所属的花屏类型，确定出现所述花屏视频帧的原因，并根据所述原因确定人工修复的所述花屏视频帧和非人工修复的所述花屏视频帧，所述非人工修复的所述花屏视频帧包括由网络质量引起的所述花屏视频帧；对于所述人工修复的所述花屏视频帧，获取人工修复后的所述花屏视频帧；
光流获取模块，用于对于所述服务器确定的所述非人工修复的所述花屏视频帧，获取所述目标视频中的参考视频帧的光流信息，所述参考视频帧为所述非人工修复的所述花屏视频帧的前一视频帧，所述光流信息表示所述参考视频帧中的像素点移动到所述非人工修复的所述花屏视频帧的移动情况；
花屏修复模块，用于根据所述参考视频帧和所述光流信息，对所述非人工修复的所述花屏视频帧进行修复。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
模型获取模块，用于获取所述服务器下发的所述花屏检测模型；
格式转换模块，用于对所述花屏检测模型进行格式转换，以使转换后所述花屏检测模型的格式满足终端对目标格式的要求。
15.根据权利要求13所述的装置，其特征在于，所述光流获取模块，包括：
光流请求单元，用于向所述服务器发送光流获取请求，所述光流获取请求携带所述目标视频的视频标识和所述花屏视频帧的位置信息，所述服务器用于根据所述光流获取请求，返回所述参考视频帧的光流信息；
光流接收单元，用于接收所述服务器发送的所述光流信息。
16.根据权利要求13所述的装置，其特征在于，所述花屏修复模块，用于：
根据所述参考视频帧的像素信息和所述光流信息，确定所述花屏视频帧的目标像素信息；
将所述花屏视频帧的像素信息更新为所述目标像素信息。
17.根据权利要求13所述的装置，其特征在于，所述光流信息包括所述参考视频帧中每个像素点的偏移距离和偏移方向，所述花屏修复模块，用于将所述参考视频帧中的每个像素点按照对应的偏移距离和偏移方向进行移动，将移动后得到的视频帧确定为所述非人工修复的所述花屏视频帧的修复视频帧。
18.根据权利要求13所述的装置，其特征在于，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像和样本花屏图像；
根据所述样本非花屏图像和所述样本花屏图像，训练所述花屏检测模型。
19.根据权利要求13所述的装置，其特征在于，所述花屏检测模型的训练过程包括以下步骤：
获取样本非花屏图像、多个样本花屏图像和每个样本花屏图像所属的花屏类型；
根据所述样本非花屏图像、所述多个样本花屏图像和所述每个样本花屏图像所属的花屏类型，训练所述花屏检测模型。
20.根据权利要求13所述的装置，其特征在于，所述装置还包括：
播放请求模块，用于向所述服务器发送所述目标视频的视频播放请求，所述服务器用于根据所述视频播放请求返回所述目标视频及所述目标视频的光流信息，所述目标视频的光流信息中包括所述目标视频中每个视频帧的光流信息；
所述光流获取模块，用于从所述目标视频的光流信息中，查询所述参考视频帧的光流信息。
21.一种花屏修复装置，其特征在于，所述装置包括：
光流预测模块，用于对目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息，所述光流信息表示所述视频帧中的像素点移动到所述视频帧的下一视频帧的移动情况；
请求接收模块，用于接收终端发送的光流获取请求，所述光流获取请求携带所述目标视频的视频标识和花屏视频帧的位置信息，其中，所述花屏视频帧是将所述目标视频发送给所述终端后，在所述终端播放所述目标视频的过程中产生的，且为所述目标视频中还未播放的视频帧；
光流发送模块，用于根据所述光流获取请求，向所述终端发送参考视频帧的光流信息，所述参考视频帧为所述花屏视频帧的前一帧，所述终端用于根据所述参考视频帧和所述光流信息，对由网络质量引起的所述花屏视频帧进行修复；
其中，所述终端用于在播放所述目标视频的过程中，调用花屏检测模型，分别对所述目标视频中的每个视频帧进行花屏检测，得到所述每个视频帧的检测结果，所述检测结果表示对应的视频帧是否为所述花屏视频帧，所述花屏视频帧的检测结果中包括所述花屏视频帧所属的花屏类型；获取所述目标视频的视频标识和所述花屏视频帧在所述目标视频中的位置信息；将所述视频标识、所述花屏视频帧所属的花屏类型和所述位置信息上报给服务器；
用于执行以下步骤的模块：
根据所述终端上报的所述花屏视频帧所属的花屏类型，确定出现所述花屏视频帧的原因，并根据所述原因确定人工修复的所述花屏视频帧和非人工修复的所述花屏视频帧，所述非人工修复的所述花屏视频帧包括所述由网络质量引起的所述花屏视频帧；对于所述人工修复的所述花屏视频帧，获取人工修复后的所述花屏视频帧。
22.根据权利要求21所述的装置，其特征在于，所述光流预测模块，用于调用光流预测模型，对所述目标视频进行光流预测，得到所述目标视频中每个视频帧的光流信息。
23.根据权利要求22所述的装置，其特征在于，所述光流预测模型包括多个光流预测子模型；所述光流预测模块，用于：
将第一视频帧和第二视频帧输入至第一个光流预测子模型，得到所述第一个光流预测子模型输出的第一光流信息，所述第一视频帧和所述第二视频帧为所述目标视频中相邻的任两个视频帧，所述第一视频帧在所述第二视频帧之前，所述第一光流信息表示所述第一视频帧中的像素点移动到所述第二视频帧的移动情况；
将所述第一视频帧、所述第二视频帧和所述第一光流信息输入至下一个光流预测子模型，得到所述下一个光流预测子模型输出的下一个光流信息，直至得到最后一个光流预测子模型输出的光流信息；
将所述最后一个光流预测子模型输出的光流信息，确定为所述第一视频帧的光流信息。
24.根据权利要求22所述的装置，其特征在于，所述光流预测模型的训练过程包括以下步骤：
获取第一样本视频帧和第二样本视频帧，所述第一样本视频帧和所述第二样本视频帧为同一样本视频中相邻的两个视频帧；
根据所述第一样本视频帧和所述第二样本视频帧，训练所述光流预测模型。
25.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至8任一项权利要求所述的花屏修复方法中所执行的操作。
26.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求9至12任一权利要求所述的花屏修复方法中所执行的操作。
27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至8任一权利要求所述的花屏修复方法中所执行的操作，或者以实现如权利要求9至12任一项权利要求所述的花屏修复方法中所执行的操作。
CN202011135402.4A 2020-10-21 2020-10-21 花屏修复方法、装置、终端、服务器及介质 Active CN112272311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135402.4A CN112272311B (zh) 2020-10-21 2020-10-21 花屏修复方法、装置、终端、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135402.4A CN112272311B (zh) 2020-10-21 2020-10-21 花屏修复方法、装置、终端、服务器及介质

Publications (2)

Publication Number Publication Date
CN112272311A CN112272311A (zh) 2021-01-26
CN112272311B true CN112272311B (zh) 2022-08-26

Family

ID=74342838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135402.4A Active CN112272311B (zh) 2020-10-21 2020-10-21 花屏修复方法、装置、终端、服务器及介质

Country Status (1)

Country Link
CN (1) CN112272311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177529B (zh) * 2021-05-27 2024-04-23 腾讯音乐娱乐科技（深圳）有限公司 识别花屏的方法、装置、设备及存储介质
CN115412763B (zh) * 2021-05-28 2024-09-27 中国移动通信有限公司研究院 视频数据的传输方法、终端及服务器
CN114092359B (zh) * 2021-11-29 2024-07-19 咪咕互动娱乐有限公司 花屏处理方法、装置和电子设备
CN114268832B (zh) * 2021-12-20 2024-05-28 杭州逗酷软件科技有限公司 一种修复方法、电子设备及计算机存储介质
CN114595021B (zh) * 2022-03-10 2023-12-12 Oppo广东移动通信有限公司 花屏修复方法、装置、电子设备、芯片及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827272A (zh) * 2009-03-06 2010-09-08 株式会社日立制作所 视频错误修复装置
CN107945124A (zh) * 2017-11-17 2018-04-20 上海大学 一种运动路径指引的老电影黑帧修复方法
CN109522822A (zh) * 2018-10-30 2019-03-26 北京奇虎科技有限公司 一种视频检测方法及装置
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN110503619A (zh) * 2019-06-27 2019-11-26 北京奇艺世纪科技有限公司 图像处理方法、装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827272A (zh) * 2009-03-06 2010-09-08 株式会社日立制作所 视频错误修复装置
CN107945124A (zh) * 2017-11-17 2018-04-20 上海大学 一种运动路径指引的老电影黑帧修复方法
CN109522822A (zh) * 2018-10-30 2019-03-26 北京奇虎科技有限公司 一种视频检测方法及装置
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN110503619A (zh) * 2019-06-27 2019-11-26 北京奇艺世纪科技有限公司 图像处理方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN112272311A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112272311B (zh) 花屏修复方法、装置、终端、服务器及介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111738220A (zh) 三维人体姿态估计方法、装置、设备及介质
CN112598686B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN110413837B (zh) 视频推荐方法和装置
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN113706440A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111768507B (zh) 图像融合方法、装置、计算机设备及存储介质
CN110152293B (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN110807769B (zh) 图像显示控制方法及装置
CN115223248A (zh) 手部姿态识别方法、手部姿态识别模型的训练方法及装置
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN113763931A (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN112489006A (zh) 图像处理方法、装置、存储介质及终端
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN111179628A (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037433

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant