CN114092359A - 花屏处理方法、装置和电子设备 - Google Patents

花屏处理方法、装置和电子设备 Download PDF

Info

Publication number
CN114092359A
CN114092359A CN202111432667.5A CN202111432667A CN114092359A CN 114092359 A CN114092359 A CN 114092359A CN 202111432667 A CN202111432667 A CN 202111432667A CN 114092359 A CN114092359 A CN 114092359A
Authority
CN
China
Prior art keywords
video frame
area
screen
target
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111432667.5A
Other languages
English (en)
Inventor
岳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Interactive Entertainment Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111432667.5A priority Critical patent/CN114092359A/zh
Publication of CN114092359A publication Critical patent/CN114092359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种花屏处理方法、装置和电子设备，属于计算机技术领域。其中，所述方法包括：获取目标视频帧；确定所述目标视频帧是否包括花屏区域；在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；基于所述补偿值对所述花屏区域进行处理。本申请提供的方案能够解决相关技术中视频画面花屏的问题。

Description

花屏处理方法、装置和电子设备
技术领域
本申请属于计算机技术领域，具体涉及一种花屏处理方法、装置和电子设备。
背景技术
目前，云游戏、云视频等技术通过云端服务器采集视频画面，然后进行压缩后通过网络传输到客户端，客户端对接收到的视频帧数据解码后进行显示。然而，视频画面在传输过程中，会遇到网络传输的波动等因素，导致传输数据的丢失，可能会造成客户端画面的瞬时花屏的现象，从而影响了视频画面的显示效果。
发明内容
本申请实施例的目的是提供一种花屏处理方法、装置和电子设备，能够解决相关技术中视频画面花屏的问题。
第一方面，本申请实施例提供了一种花屏处理方法，所述方法包括：
获取目标视频帧；
确定所述目标视频帧是否包括花屏区域；
在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
基于所述补偿值对所述花屏区域进行处理。
第二方面，本申请实施例提供了一种花屏处理装置，包括：
第一获取模块，用于获取目标视频帧；
确定模块，用于确定所述目标视频帧是否包括花屏区域；
第二获取模块，用于在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
处理模块，用于基于所述补偿值对所述花屏区域进行处理。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的花屏处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的花屏处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的花屏处理方法的步骤。
在本申请实施例中，电子设备在获取到目标视频帧后，若所述目标视频帧中包括花屏区域，则基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，并基于所述补偿值对花屏区域进行处理，以使得所述目标视频帧中的花屏区域得到处理。这样，也就使得电子设备在接收到视频帧后，能够对出现花屏的视频帧进行处理，避免因网络传输不稳定导致的视频画面花屏的问题，确保客户端显示的视频画面具有较好的显示效果，保障用户的视频观看和操控体验。
附图说明
图1是本申请实施例提供的一种花屏处理方法的流程图；
图2是本申请实施例提供的一种花屏处理装置的结构图；
图3是本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的花屏处理方法、装置及相关设备进行详细地说明。
请参照图1，图1是本申请实施例提供的一种花屏处理方法的流程图。如图1所示，所述花屏处理方法包括以下步骤：
步骤101、获取目标视频帧。
需要说明地，本申请实施例中的所述花屏可以是指电子设备上视频画面所出现的花屏，例如手机、计算机、电视等电子设备播放视频画面时出现的花屏，花屏的具体定义可以是参照相关技术，本申请对此不做赘述。其中，视频画面可以是云游戏的视频画面，或者是云视频的视频画面。例如，以云游戏为例，游戏的运行过程在服务端进行，服务端将游戏视频画面发送给客户端，客户端接收游戏视频帧数据后进行显示。
本申请实施例提供的所述花屏处理方法可以是应用于花屏处理装置，或者是应用于部署在用户侧的边缘节点，或者是应用于终端等电子设备。为更好地理解，以下将以所述方法应用于电子设备为例对本申请提供的技术方案进行具体说明，所述电子设备可以是显示视频画面的客户端，或者也可以是与显示视频画面的客户端通信连接的实体设备。
本申请实施例中，电子设备可以是获取服务端发送的目标视频帧，例如云游戏的服务端发送的目标视频帧。其中，所述目标视频帧可以是服务端发送的除首帧视频帧之外的任一视频帧，所述首帧视频帧可以是针对于一段视频而言，例如首帧视频帧为某视频游戏启动后的第一帧，又如首帧视频帧为某电影视频的第一帧，此处不做过多列举。
步骤102、确定所述目标视频帧是否包括花屏区域。
例如，以云游戏为例，游戏的运行过程在服务端进行，电子设备需要不断地从服务端接收游戏画面，以保证游戏过程中画面显示的流畅度，进而电子设备会接收到服务端发送的大量的视频帧。可选地，电子设备获取服务端发送的目标视频帧，可以是预设时间段内电子设备接收到的除第一帧视频帧以外的任一视频帧。
本申请实施例中，电子设备在获取到目标视频帧后，确定目标视频帧中是否包括花屏区域。例如，电子设备在接收到第一帧视频帧后，每接收到一帧视频帧，则需要确定该视频帧中是否包括花屏区域，也即电子设备需要对接收到的每帧视频帧是否包括花屏区域都进行识别和判断，以确保电子设备显示的视频画面的流畅度。
可选地，电子设备可以是通过比对目标视频帧与前一帧视频帧的亮度值或明度值，来确定目标视频帧是否包括花屏区域。例如，若目标视频帧中的区域A与前一帧视频帧中的区域A’的亮度值超过预设值，则认为目标视频帧中的区域A出现了花屏，目标视频帧也就包括花屏区域；其中，区域A在目标视频帧中的位置与区域A’在前一帧视频帧中的位置相同。
步骤103、在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值。
其中，所述补偿区域在每一个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数。
本申请实施例中，若所述目标视频帧包括花屏区域，获取所述花屏区域在目标视频帧中的位置，并基于所述花屏区域的位置确定该目标视频帧的前N帧中每一帧的补偿区域的位置。例如花屏区域为所述目标视频帧中的区域A，N为3，则获取该目标视频帧的前3帧中，每一帧中与区域A对应的区域A’，也即获取这前3帧的每一帧中的区域A’，并获取每一帧中区域A’的亮度值，也就会获取到三个区域A’的亮度值，基于这三个亮度值来计算花屏区域的补偿值。例如，所述补偿值可以是这三个亮度值的平均值。
可选地，所述补偿值还可以是其他的参数值，例如所述补偿值包括花屏区域内每一个像素点的色调值、饱和度值和明度值。例如，以色调值为例，在确定目标视频帧中的花屏区域后，确定目标视频帧的前N帧中每一帧中对应于所述花屏区域的补偿区域，例如N为3，则获取前3帧的每一帧中补偿区域内目标像素点的色调值，目标像素点为补偿区域内的任一像素点，基于获取到的3个色调值来计算色调值对应的补偿值；通过这样的方式也就能够计算得到花屏区域内每一个像素点的色调值的补偿值。基于相同的原理，可以得到花屏区域内每一个像素点的色调值的补偿值、饱和度值的补偿值和明度值的补偿值。
步骤104、基于所述补偿值对所述花屏区域进行处理。
可选地，在获得目标视频帧中花屏区域的补偿值后，可以是将所述花屏区域原来的参数值替换为所述补偿值。例如，所述补偿值为色调值的补偿值，则可以是将所述花屏区域原来的色调值替换为所述色调值的补偿值，进而以实现对花屏区域的处理，以使得所述目标视频帧中不再包括花屏区域。当然，所述补偿值还可以是指其他参数，例如饱和度值的补偿值、明度值的补偿值等，本申请不做具体限定。
本申请实施例中，电子设备在获取到目标视频帧后，若所述目标视频帧中包括花屏区域，则基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，并基于所述补偿值对所述目标视频帧的花屏区域进行处理，以使得所述目标视频帧中不再包括花屏区域。这样，也就使得电子设备在获取到视频帧后，能够对出现花屏的视频帧进行处理，避免因网络传输不稳定导致的视频画面花屏的问题，确保客户端显示的视频画面的具有较好的显示效果，保障用户的视频观看和操控体验。
可选地，所述步骤102还可以包括以下步骤：
基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，所述相邻的两帧视频帧包括所述目标视频帧及所述目标视频帧的前一视频帧；
根据所述相似度函数获取亮度相似度值；
基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域。
本申请实施例中，电子设备在获取到服务端发送的视频帧后，获取所述目标视频帧中像素点的亮度值和所述目标视频帧的前一视频帧中像素点的亮度值。其中，所述像素点的亮度值可以是基于像素点的红绿蓝(Red Green Blue，RGB)值转换得到。
可选地，电子设备获取所述相邻的两帧视频帧每一帧视频帧中像素点的RGB值，基于像素点的RGB值计算该像素点对应的亮度值(lightness)，具体的计算公式如下：
max＝max(R,G,B)；
min＝min(R,G,B)；
Figure BDA0003380848710000061
其中，l表示亮度值，max表示像素点的RGB值中的最大值，min表示像素点的RGB值中的最小值。
可选地，基于上述方式获取目标视频帧中像素点的亮度值和所述目标视频帧的前一视频帧中像素点的亮度值，基于这两帧的亮度值构造相似度函数。例如，相邻的两帧视频帧分别为视频帧1和视频帧2，可以是分别获取视频帧1中像素点B的亮度值，以及视频帧2中像素点B’的亮度值，像素点B在视频帧1中的位置与像素点B’在视频帧2中的位置相同，基于像素点B的亮度值和像素点B’的亮度值构造相似度函数；根据所述相似度函数获取亮度相似度值，例如所述亮度相似度值可以是两个像素点亮度值的比值。
本申请实施例中，可以是基于上述方式构造目标视频帧中每一个像素点的亮度值的相似度函数，进而得到目标视频帧中每一个像素点的亮度相似度值，基于所述亮度相似度值确定目标视频帧中是否包括花屏区域。例如，可以是分别判断每一个亮度相似度值是否大于预设阈值，若目标视频帧中某个区域内的亮度相似度值均大于预设阈值，则判定该区域出现了花屏，目标视频帧也即包括花屏区域。
可选地，所述基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，包括：
将所述相邻的两帧视频帧的每一视频帧均划分为M个区域，获取目标区域中每一个像素点的亮度值，所述目标区域为所述M个区域中的任一个，M为正整数；
基于所述相邻的两帧视频帧的目标区域中每一个像素点的亮度值，构造所述相邻的两帧视频帧中对应的目标区域之间的相似度函数；
所述根据所述相似度函数获取亮度相似度值，包括：
根据所述相邻的两帧视频帧中对应的目标区域之间的相似度函数，获取所述目标区域的亮度相似度值。
本申请实施例中，将目标视频帧和所述目标视频帧的前一视频帧均划分为M个区域，并获取目标区域中每一个像素点的亮度值。例如，F为目标视频帧，对目标视频帧进行区域划分，得到目标视频帧的区域集合如下：
Figure BDA0003380848710000071
其中，将目标视频帧F划分成了K×N个区域，K与N的乘积为M，也就是将目标视频帧划分成了M个区域。可选地，K与N的取值可以是预设的经验值，或者可以是通过特定的模型训练得到。例如，若目标视频帧的像素点数量越多，则K与N的取值可以越大，若目标视频帧的像素点数量越少，则K与N的取值可以越小。
将目标视频帧中任一个区域作为目标区域，例如以目标视频帧F中的区域Fij为例，获取该区域内每一个像素点的亮度值，得到该区域所有像素点的亮度值集合如下：
Figure BDA0003380848710000081
其中，区域Fij表示一共包括a行b列的像素点，lij表示该区域Fij中任意像素点的亮度值，i≤a，j≤b。
进一步地，基于该区域Fij中每一个像素点的亮度值，构造目标视频帧的区域Fij与目标视频帧的前一视频帧的区域Fij’之间的相似度函数，其中，区域Fij在目标视频帧中的位置与区域Fij’在目标视频帧的前一视频帧中的位置相同。进而，根据区域Fij中的像素点的亮度值与区域Fij’中的像素点的亮度值构造的相似度函数，也就能够获取区域Fij的的亮度相似度值。
例如，基于上述方式对第n帧视频帧构造的相似度函数如下：
Figure BDA0003380848710000082
其中，Sn表示第n帧视频帧中区域
Figure BDA00033808487100000818
与第n-1帧视频帧中区域
Figure BDA0003380848710000083
的亮度相似度值，
Figure BDA0003380848710000084
当亮度相似度值等于1表示第n帧视频帧与第n-1帧视频帧的画面完全一致；
Figure BDA0003380848710000085
表示第一相似度函数，
Figure BDA0003380848710000086
表示第二相似度函数，
Figure BDA0003380848710000087
表示第三相似度函数。
所述第一相似度函数
Figure BDA0003380848710000088
可以通过如下公式表征：
Figure BDA0003380848710000089
Figure BDA00033808487100000810
其中，x用于表征区域
Figure BDA00033808487100000811
y用于表征区域
Figure BDA00033808487100000812
C1为大于0的常数，N与区域
Figure BDA00033808487100000813
中ij的乘积相关，μx表示区域
Figure BDA00033808487100000814
的亮度平均值，μy表示区域
Figure BDA00033808487100000815
的亮度平均值，μy计算方式与μx的计算方式相同。
第二相似度函数
Figure BDA00033808487100000816
可以通过如下公式表征：
Figure BDA00033808487100000817
Figure BDA0003380848710000091
其中，x用于表征区域
Figure BDA0003380848710000092
y用于表征区域
Figure BDA0003380848710000093
C2为大于0的常数，N与区域
Figure BDA0003380848710000094
中ij的乘积相关，σx表示区域
Figure BDA0003380848710000095
的亮度平均值协方差，σy表示区域
Figure BDA0003380848710000096
的亮度平均值协方差，σy的计算方式与σx的计算方式相同。
第三相似度函数
Figure BDA0003380848710000097
可以通过如下公式表征：
Figure BDA0003380848710000098
令
Figure BDA0003380848710000099
则
Figure BDA00033808487100000910
其中，x用于表征区域
Figure BDA00033808487100000911
y用于表征区域
Figure BDA00033808487100000912
C3为大于0的常数，N与区域
Figure BDA00033808487100000913
中ij的乘积相关，σy的计算方式与σx的计算方式相同，μy的计算方式与μx的计算方式相同。基于上述的第一相似度函数、第二相似度函数和第三相似度函数，得到最终的相似度函数
Figure BDA00033808487100000914
其中，x用于表征区域
Figure BDA00033808487100000915
y用于表征区域
Figure BDA00033808487100000916
C1为大于0的常数，C2为大于0的常数，μx、μy、σx、σy可以是参照上述第一相似度函数和第二相似度函数的相关公式，此处不再赘述。
本申请实施例中，通过上述计算方式能够得到目标区域的亮度相似度值；进而基于相同的计算方式，能够得到目标视频帧的M个区域中每一个区域的亮度相似度值。基于目标视频帧中每一个区域的亮度相似度值来确定目标视频帧中是否包括出现花屏的花屏区域。
可选地，所述基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域，包括：
基于目标视频帧的所述M个区域中每一个区域的亮度相似度值，获取所述目标视频帧的相似区域占比；
基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域。
其中，相似区域可以是指该区域的亮度相似度值大于预设阈值，基于目标视频帧的M个区域中每一个区域的亮度相似度值，也就能够确定这些区域中哪些区域属于相似区域；所述相似区域占比可以是指目标视频帧中相似区域的数量在M个区域中的占比。
进一步地，基于目标视频帧中每一个区域的亮度相似度值及所述相似区域占比，可以确定所述目标视频帧中是否包括花屏区域。例如，若相似区域占比大于设定值，且目标视频帧中包括非相似区域，则可以认为目标视频帧中出现了花屏。
可选地，所述基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域，包括：
在所述目标视频帧的所述相似区域占比大于或等于第二预设值，且所述目标视频帧中包括亮度相似度值小于第一预设值的区域的情况下，确定所述目标视频帧中包括花屏区域；其中，相似区域的亮度相似度值大于或等于所述第一预设值且小于等于1，所述目标视频帧的所述M个区域中亮度相似度值小于所述第一预设值的区域为花屏区域。
本申请实施例中，在基于前述方式构造的相似度函数，得到目标视频帧中每一个区域的亮度相似度值后，将亮度相似度值大于等于第一预设值且小于等于1的区域确定为相似区域，将亮度相似度值小于所述第一预设值的区域确定为花屏区域，这样也就能够得到目标视频帧中的相似区域的数量和位置以及花屏区域数量和位置，基于所述相似区域的数量也就能够得到目标视频帧所对应的相似区域占比。
其中，若目标视频帧的相似区域占比大于或等于第二预设值，则说明所述目标视频帧与目标视频帧的前一视频帧属于相似画面，这样也就能够避免因画面差异较大而导致的误判，例如目标视频帧可能是画面变化较大，而导致相似区域占比较小。
本申请实施例中，在目标视频帧的相似区域占比大于或等于第二预设值的情况下，若目标视频帧中包括亮度相似度值小于第一预设值的区域(也即花屏区域)，则说明目标视频帧与目标视频帧的前一视频帧属于相似画面，且目标视频帧中包括花屏区域。
例如，将目标视频帧划分为M×N个区域，基于上述计算方式得到每一个区域的亮度相似度值，进而也就能够得到目标视频帧S的亮度相似度集合如下：
Figure BDA0003380848710000111
当φ≤Sij≤1,i＝{1,2...K},j＝{1,2,...L}，且
Figure BDA0003380848710000112
C4为大于0的常数；
其中，Sij为区域ij的亮度相似度值，
Figure BDA0003380848710000113
表征第一预设值，C4表征第二预设值。
可以理解地，当目标视频帧中包括亮度相似度值大于等于
Figure BDA0003380848710000114
且小于等于1的相似区域，且相似区域的占比大于C4，进一步获取所述目标视频帧中的亮度相似度值Sij＜φ的区域，并将这些区域确定为花屏区域，这样也就能够准确地获知目标视频帧中花屏区域的位置。
本申请实施例中，在确定目标视频帧中包括花屏区域的情况下，可以获取所述花屏区域对应的补偿值，以基于该补偿值对所述目标视频帧中的花屏区域进行处理。可选地，所述步骤103可以包括如下步骤：
在所述目标视频帧包括花屏区域的情况下，获取所述目标视频帧的前N帧中补偿区域内每一个像素点的目标参数；
基于所述前N帧中补偿区域内每一个像素点的目标参数构建目标参数对应的插值函数；
根据所述目标参数对应的插值函数，获取所述花屏区域内每一个像素点的目标参数对应的补偿值；
其中，所述目标参数包括色度值、饱和度值和明度值。
本申请实施例中，在确定目标视频帧中包括花屏区域且确定了花屏区域的位置后，获取目标视频帧的前N帧中对应于花屏区域的补充区域内每一个像素点的目标参数。例如以目标参数为色度值为例，获取目标视频帧中花屏区域的目标像素点的色度值，以及目标视频帧的前N帧中每一帧中与该目标像素点位置相同的像素点的色度值，构造目标像素点的样本点：(x0,y0),(x1,y1),...(xN-1,yN-1)，其中，xi＝{i|i＝0,1,...N-1}表示目标视频帧的前N-i帧的顺序值，yi,i＝0,1,2....N-1表示不同帧中与所述目标像素点位置相同的像素点的色度值。其中，目标像素点为花屏区域内的任一像素点。
进一步地，基于上述样本点构建目标像素点的色度值对应的插值函数：
Figure BDA0003380848710000121
其中
Figure BDA0003380848710000122
其中，yi,i＝0,1,2....N-1表示不同帧中与所述目标像素点位置相同的像素点的色度值，xi＝{i|i＝0,1,...N-1}表示目标视频帧的前N-i帧的顺序值，xk表示集合中Dn除i帧以外的视频帧的顺序值。
进而基于上述插值函数得到目标像素点的色度值的补偿值HN：
Figure BDA0003380848710000123
其中，N表示目标视频帧的顺序值。
基于上述方式，也就能够计算得到花屏区域中目标像素点的色度值的补偿值，基于同样的计算方式，也就能够得到花屏区域中每一个像素点的色度值的补偿值。
本申请实施例中，所述目标参数包括色度值(Hue)、饱和度值(Saturation)和明度值(Value)，其中饱和度值的补偿值和明度值的补偿值的计算方式与上述色度值的补偿值的计算方式相同，也就是将上述公式中的色度值替换为饱和度值或明度值来进行计算。
其中，所述色度值、饱和度值和明度值也可以是基于像素点的RGB值换算得到，具体换算公式如下：
max＝max(R,G,B)；
min＝min(R,G,B)；
V＝max(R,G,B)；
Figure BDA0003380848710000131
if(R＝max)
Figure BDA0003380848710000132
if(G＝max)
Figure BDA0003380848710000133
if(B＝max)
Figure BDA0003380848710000134
if(H＜0)
H＝H+360
其中，max表示像素点的RGB值中的最大值，min表示像素点的RGB值中的最小值，V表示明度值(Value)，S表示饱和度值(Saturation)，H表示色度值(Hue)。
本申请实施例中，基于目标视频帧的前N帧中，与花屏区域内像素点位置相同的像素点的目标参数来获取花屏区域内像素点的补偿值，这样也就能够基于目标视频帧的前N帧视频画面来对目标视频帧的花屏区域进行处理，以确保目标视频帧的画面流畅度。
可选地，所述步骤104可以包括以下步骤：
将所述花屏区域内目标像素点的目标参数对应的原始参数值替换为所述目标像素点的目标参数对应的所述补偿值；其中，所述目标像素点为所述花屏区域内的任一像素点。
可以理解地，在基于上述方式得到花屏区域内每一个像素点的目标参数的补偿值后，则将花屏区域内像素点的原始参数值替换为所述目标参数对应的补偿值。例如，以色度值为例，在计算得到花屏区域内目标像素点的色度值的补偿值后，则将花屏区域中目标像素点原来的色度值替换为所述色度值的补偿值。基于同样的方式，可以将花屏区域内每一个像素点对应的色度值、饱和度值和明度值分别替换为对应的补偿值，进而以实现对花屏区域的处理，使得处理后的目标视频帧不再包括花屏区域，以确保目标视频帧的画面流畅度。
本申请实施例提供的技术方案，电子设备在接收到视频帧后，能够对出现花屏的视频帧进行处理，确保客户端显示的视频画面的流畅度，保障用户的视频观看和操控体验。
需要说明的是，本申请实施例提供的花屏处理方法，执行主体可以为花屏处理装置，或者该花屏处理装置中的用于执行花屏处理方法的控制模块。本申请实施例中以花屏处理装置执行花屏处理方法为例，说明本申请实施例提供的花屏处理装置。
请参照图2，图2是本申请实施例提供的一种花屏处理装置的结构图，所述花屏处理装置200包括：
第一获取模块201，用于获取目标视频帧；
确定模块202，用于确定所述目标视频帧是否包括花屏区域；
第二获取模块203，用于在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
处理模块204，用于基于所述补偿值对所述花屏区域进行处理。
可选地，所述确定模块202包括：
第一获取单元，用于基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，所述相邻的两帧视频帧包括所述目标视频帧及所述目标视频帧的前一视频帧；
第二获取单元，用于根据所述相似度函数获取亮度相似度值；
确定单元，用于基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域。
可选地，所述第一获取单元还用于：
将所述相邻的两帧视频帧的每一视频帧均划分为M个区域，获取目标区域中每一个像素点的亮度值，所述目标区域为所述M个区域中的任一个，M为正整数；
基于所述相邻的两帧视频帧的目标区域中每一个像素点的亮度值，构造所述相邻的两帧视频帧中对应的目标区域之间的相似度函数；
所述第二获取单元还用于：
根据所述相邻的两帧视频帧中对应的目标区域之间的相似度函数，获取所述目标区域的亮度相似度值。
可选地，所述确定单元还用于：
基于目标视频帧的所述M个区域中每一个区域的亮度相似度值，获取所述目标视频帧的相似区域占比；
基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域。
可选地，所述确定单元还用于：
在所述目标视频帧的所述相似区域占比大于或等于第二预设值，且所述目标视频帧中包括亮度相似度值小于第一预设值的区域的情况下，确定所述目标视频帧中包括花屏区域；其中，相似区域的亮度相似度值大于或等于所述第一预设值且小于等于1，所述目标视频帧的所述M个区域中亮度相似度值小于所述第一预设值的区域为花屏区域。
可选地，所述第二获取模块203还用于：
在所述目标视频帧包括花屏区域的情况下，获取所述目标视频帧的前N帧中补偿区域内每一个像素点的目标参数；
基于所述前N帧中补偿区域内每一个像素点的目标参数构建目标参数对应的插值函数；
根据所述目标参数对应的插值函数，获取所述花屏区域内每一个像素点的目标参数对应的补偿值；
其中，所述目标参数包括色度值、饱和度值和明度值。
可选地，所述处理模块204还用于：
将所述花屏区域内目标像素点的目标参数对应的原始参数值替换为所述目标像素点的目标参数对应的所述补偿值；
其中，所述目标像素点为所述花屏区域内的任一像素点。
本申请实施例提供的花屏处理装置200，在获取到目标视频帧后，若所述目标视频帧中包括花屏区域，则基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，并基于所述补偿值对所述目标视频帧的花屏区域进行处理，以使得所述目标视频帧中不再包括花屏区域。这样，也就使得花屏处理装置200能够对出现花屏的视频帧进行处理，避免因网络传输不稳定导致的视频画面花屏的问题，确保客户端显示的视频画面具有较好的显示效果，保障用户的视频观看和操控体验。
本申请实施例提供的花屏处理装置200能够实现图1所述方法实施例实现的各个过程，为避免重复，这里不再赘述。
请参见图3，图3是本申请实施例提供的一种电子设备的结构图，如图3所示，所述电子设备包括：处理器300、存储器320及存储在所述存储器320上并可在所述处理器300上运行的程序或指令，处理器300，用于读取存储器320中的程序或指令；所述电子设备还包括总线接口和收发机310。
收发机310，用于在处理器300的控制下接收和发送数据。
其中，在图3中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器300代表的一个或多个处理器和存储器320代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机310可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器300负责管理总线架构和通常的处理，存储器320可以存储处理器300在执行操作时所使用的数据。
其中，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
获取目标视频帧；
确定所述目标视频帧是否包括花屏区域；
在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
基于所述补偿值对所述花屏区域进行处理。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，所述相邻的两帧视频帧包括所述目标视频帧及所述目标视频帧的前一视频帧；
根据所述相似度函数获取亮度相似度值；
基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
将所述相邻的两帧视频帧的每一视频帧均划分为M个区域，获取目标区域中每一个像素点的亮度值，所述目标区域为所述M个区域中的任一个，M为正整数；
基于所述相邻的两帧视频帧的目标区域中每一个像素点的亮度值，构造所述相邻的两帧视频帧中对应的目标区域之间的相似度函数；
所述根据所述相似度函数获取亮度相似度值，包括：
根据所述相邻的两帧视频帧中对应的目标区域之间的相似度函数，获取所述目标区域的亮度相似度值。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
基于目标视频帧的所述M个区域中每一个区域的亮度相似度值，获取所述目标视频帧的相似区域占比；
基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
在所述目标视频帧的所述相似区域占比大于或等于第二预设值，且所述目标视频帧中包括亮度相似度值小于第一预设值的区域的情况下，确定所述目标视频帧中包括花屏区域；其中，相似区域的亮度相似度值大于或等于所述第一预设值且小于等于1，所述目标视频帧的所述M个区域中亮度相似度值小于所述第一预设值的区域为花屏区域。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
在所述目标视频帧包括花屏区域的情况下，获取所述目标视频帧的前N帧中补偿区域内每一个像素点的目标参数；
基于所述前N帧中补偿区域内每一个像素点的目标参数构建目标参数对应的插值函数；
根据所述目标参数对应的插值函数，获取所述花屏区域内每一个像素点的目标参数对应的补偿值；
其中，所述目标参数包括色度值、饱和度值和明度值。
可选地，处理器300，用于读取存储器320中的程序或指令，执行如下步骤：
将所述花屏区域内目标像素点的目标参数对应的原始参数值替换为所述目标像素点的目标参数对应的所述补偿值；
其中，所述目标像素点为所述花屏区域内的任一像素点。
本申请实施例中，电子设备在获取到目标视频帧后，若所述目标视频帧中包括花屏区域，则基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，并基于所述补偿值对所述目标视频帧的花屏区域进行处理，以使得所述目标视频帧中不再包括花屏区域。这样，也就使得电子设备在获取到视频帧后，能够对出现花屏的视频帧进行处理，避免因网络传输不稳定导致的视频画面花屏的问题，确保客户端显示的视频画面具有较好的显示效果，保障用户的视频观看和操控体验。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图1所述花屏处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图1所述花屏处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种花屏处理方法，其特征在于，所述方法包括：
获取目标视频帧；
确定所述目标视频帧是否包括花屏区域；
在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
基于所述补偿值对所述花屏区域进行处理。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频帧是否包括花屏区域，包括：
基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，所述相邻的两帧视频帧包括所述目标视频帧及所述目标视频帧的前一视频帧；
根据所述相似度函数获取亮度相似度值；
基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标视频帧获取相邻的两帧视频帧中像素点的亮度值，基于所述亮度值构造相似度函数，包括：
将所述相邻的两帧视频帧的每一视频帧均划分为M个区域，获取目标区域中每一个像素点的亮度值，所述目标区域为所述M个区域中的任一个，M为正整数；
基于所述相邻的两帧视频帧的目标区域中每一个像素点的亮度值，构造所述相邻的两帧视频帧中对应的目标区域之间的相似度函数；
所述根据所述相似度函数获取亮度相似度值，包括：
根据所述相邻的两帧视频帧中对应的目标区域之间的相似度函数，获取所述目标区域的亮度相似度值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述亮度相似度值确定所述目标视频帧中是否包括花屏区域，包括：
基于目标视频帧的所述M个区域中每一个区域的亮度相似度值，获取所述目标视频帧的相似区域占比；
基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述M个区域中每一个区域的亮度相似度值及所述相似区域占比，确定所述目标视频帧中是否包括花屏区域，包括：
在所述目标视频帧的所述相似区域占比大于或等于第二预设值，且所述目标视频帧中包括亮度相似度值小于第一预设值的区域的情况下，确定所述目标视频帧中包括花屏区域；其中，相似区域的亮度相似度值大于或等于所述第一预设值且小于等于1，所述目标视频帧的所述M个区域中亮度相似度值小于所述第一预设值的区域为花屏区域。
6.根据权利要求1所述的方法，其特征在于，所述在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，包括：
在所述目标视频帧包括花屏区域的情况下，获取所述目标视频帧的前N帧中补偿区域内每一个像素点的目标参数；
基于所述前N帧中补偿区域内每一个像素点的目标参数构建目标参数对应的插值函数；
根据所述目标参数对应的插值函数，获取所述花屏区域内每一个像素点的目标参数对应的补偿值；
其中，所述目标参数包括色度值、饱和度值和明度值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述补偿值对所述花屏区域进行处理，包括：
将所述花屏区域内目标像素点的目标参数对应的原始参数值替换为所述目标像素点的目标参数对应的所述补偿值；
其中，所述目标像素点为所述花屏区域内的任一像素点。
8.一种花屏处理装置，其特征在于，包括：
第一获取模块，用于获取目标视频帧；
确定模块，用于确定所述目标视频帧是否包括花屏区域；
第二获取模块，用于在所述目标视频帧包括花屏区域的情况下，基于所述目标视频帧的前N帧中的补偿区域获取所述花屏区域的补偿值，所述补偿区域在每个前一帧中的位置与所述花屏区域在所述目标视频帧中的位置相同，N为正整数；
处理模块，用于基于所述补偿值对所述花屏区域进行处理。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的花屏处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的花屏处理方法的步骤。
CN202111432667.5A 2021-11-29 2021-11-29 花屏处理方法、装置和电子设备 Pending CN114092359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111432667.5A CN114092359A (zh) 2021-11-29 2021-11-29 花屏处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111432667.5A CN114092359A (zh) 2021-11-29 2021-11-29 花屏处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114092359A true CN114092359A (zh) 2022-02-25

Family

ID=80305558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111432667.5A Pending CN114092359A (zh) 2021-11-29 2021-11-29 花屏处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114092359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595021A (zh) * 2022-03-10 2022-06-07 Oppo广东移动通信有限公司 花屏修复方法、装置、电子设备、芯片及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657591A (zh) * 2017-09-05 2018-02-02 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2018214693A1 (zh) * 2017-05-22 2018-11-29 中兴通讯股份有限公司 视频通信系统的检测方法、装置、存储介质和计算机设备
CN112272311A (zh) * 2020-10-21 2021-01-26 腾讯科技（北京）有限公司 花屏修复方法、装置、终端、服务器及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214693A1 (zh) * 2017-05-22 2018-11-29 中兴通讯股份有限公司 视频通信系统的检测方法、装置、存储介质和计算机设备
CN107657591A (zh) * 2017-09-05 2018-02-02 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112272311A (zh) * 2020-10-21 2021-01-26 腾讯科技（北京）有限公司 花屏修复方法、装置、终端、服务器及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595021A (zh) * 2022-03-10 2022-06-07 Oppo广东移动通信有限公司 花屏修复方法、装置、电子设备、芯片及存储介质
CN114595021B (zh) * 2022-03-10 2023-12-12 Oppo广东移动通信有限公司 花屏修复方法、装置、电子设备、芯片及存储介质

Similar Documents

Publication Publication Date Title
Ma et al. Objective quality assessment for color-to-gray image conversion
CN110971929B (zh) 云游戏视频处理方法、电子设备及存储介质
US20200034997A1 (en) An image processing method and apparauts
CN110910333B (zh) 图像处理方法和图像处理设备
CN113766341A (zh) 电视画质调整方法、装置和系统及电视机设备
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
US20170161875A1 (en) Video resolution method and apparatus
CN114626967A (zh) 一种数字水印嵌入与提取方法、装置、设备及存储介质
CN115022679B (zh) 视频处理方法、装置、电子设备和介质
CN112907457A (zh) 图像处理方法、图像处理装置及计算机设备
CN114092359A (zh) 花屏处理方法、装置和电子设备
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
CN110858388B (zh) 一种增强视频画质的方法和装置
CN113163202B (zh) 图像帧的压缩方法及装置
US10026201B2 (en) Image classifying method and image displaying method
CN110858389B (zh) 一种增强视频画质的方法、装置、终端及转码设备
CN113436086B (zh) 非均匀光照视频的处理方法、电子设备及存储介质
CN113706665B (zh) 一种图像处理方法和装置
CN113132703B (zh) 图像处理方法和设备
CN113440843B (zh) 云游戏启动控制方法、装置、云服务器和终端设备
CN113259745B (zh) 视频播放页面的处理方法、装置、电子设备和存储介质
CN113194267B (zh) 图像处理方法及装置、拍照方法及装置
CN112053277B (zh) 一种图像换肤的方法、装置、设备及存储介质
US20240062351A1 (en) Method for evaluating video quality, electronic device, and storage medium
CN117389669A (zh) 一种窗口显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination