CN112118457B - 直播数据处理方法、装置、可读存储介质和计算机设备 - Google Patents

直播数据处理方法、装置、可读存储介质和计算机设备 Download PDF

Info

Publication number
CN112118457B
CN112118457B CN201910537814.1A CN201910537814A CN112118457B CN 112118457 B CN112118457 B CN 112118457B CN 201910537814 A CN201910537814 A CN 201910537814A CN 112118457 B CN112118457 B CN 112118457B
Authority
CN
China
Prior art keywords
target
definition
region
video
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910537814.1A
Other languages
English (en)
Other versions
CN112118457A (zh
Inventor
陈兴
黄晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910537814.1A priority Critical patent/CN112118457B/zh
Publication of CN112118457A publication Critical patent/CN112118457A/zh
Application granted granted Critical
Publication of CN112118457B publication Critical patent/CN112118457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种直播数据处理方法、装置、计算机可读存储介质和计算机设备，该方法包括：获取直播流数据；从直播流数据中获取目标视频，目标视频包括至少一个视频帧；从视频帧中确定目标对象对应的目标区域；计算目标区域的像素点对应的像素点清晰度；根据像素点清晰度确定目标区域对应的区域清晰度；根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种；根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。本申请提供的方案能够提高直播质量清晰度监控的准确性。

Description

直播数据处理方法、装置、可读存储介质和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种直播数据处理方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术的发展，网络视频直播由于综合了图像、声音和文字的优点，特别是向用户提供即时与互动的交流和沟通方式而受到用户的青睐，网络视频直播的活跃用户数量不断增加，观众的观看需求也不断多样化，越来越多的人不仅作为网络视频直播的观众，而且开始作为主播进入直播行业。其中，直播行业的质量是影响网络视频直播的关键因素，传统直播质量的监控通常从码率、视频分辨率、帧率等容易量化的维度进行监控，然而当调整直播某些特定的处理参数时，例如调整直播美颜的算法，观众主观感受上画面清晰度变差，但传统的直播质量监控参数却不会发生变化，因此导致网络视频直播的清晰度监控准确性低。
发明内容
基于此，有必要针对上述技术问题，提供一种提高直播质量清晰度监控的准确性的直播数据处理方法、装置、计算机可读存储介质和计算机设备。
一种直播数据处理方法，包括：
获取直播流数据；
从直播流数据中获取目标视频，目标视频包括至少一个视频帧；
从视频帧中确定目标对象对应的目标区域；
计算目标区域的像素点对应的像素点清晰度；
根据像素点清晰度确定目标区域对应的区域清晰度；
根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种；
根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
一种直播数据处理装置，该装置包括：
直播流数据获取模块，用于获取直播流数据；
目标视频获取模块，用于从直播流数据中获取目标视频，目标视频包括至少一个视频帧；
目标区域确定模块，用于从视频帧中确定目标对象对应的目标区域；
像素点清晰度计算模块，用于计算目标区域的像素点对应的像素点清晰度；
区域清晰度计算模块，用于根据像素点清晰度确定目标区域对应的区域清晰度；
目标调整处理方式确定模块，用于根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种；
清晰度调整模块，用于根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现以下步骤：
获取直播流数据；
从直播流数据中获取目标视频，目标视频包括至少一个视频帧；
从视频帧中确定目标对象对应的目标区域；
计算目标区域的像素点对应的像素点清晰度；
根据像素点清晰度确定目标区域对应的区域清晰度；
根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种；
根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取直播流数据；
从直播流数据中获取目标视频，目标视频包括至少一个视频帧；
从视频帧中确定目标对象对应的目标区域；
计算目标区域的像素点对应的像素点清晰度；
根据像素点清晰度确定目标区域对应的区域清晰度；
根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种；
根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
上述直播数据处理方法、装置、计算机可读存储介质和计算机设备，在直播应用场景中，获取直播流数据，从直播流数据中获取到目标视频，再从目标视频中选取感兴趣区域为目标区域，根据目标区域中各个像素点的像素点清晰度确定目标区域的区域清晰度，再根据区域清晰度对目标区域匹配合适的目标调整处理方式，根据目标调整处理方式对目标区域的清晰度进行调整，其中目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。因此，将目标区域的各个像素点的像素点清晰度作为清晰度监控参数能够更好的符合直播观众的主观感受，通过目标区域的各个像素点的像素点清晰度确定目标区域的清晰度进行准确监控，能够避免出现清晰度监控参数未发生变化但与直播观众的主观感受不同的现象，从而提高直播过程中清晰度监控的准确性。
附图说明
图1为一个实施例中直播数据处理方法的应用环境图；
图2为一个实施例中直播数据处理方法的流程示意图；
图3为一个实施例中目标视频的获取步骤的流程示意图；
图4为一个实施例中目标区域确定步骤的流程示意图；
图5为一个实施例中目标区域确定步骤的流程示意图；
图5A为一个实施例中脸部区域直方分布图的示意图；
图6为一个实施例中像素点清晰度计算步骤的流程示意图；
图7为一个实施例中区域清晰度确定步骤的流程示意图；
图8为一个实施例中目标调整处理方式确定步骤的流程示意图；
图9为一个实施例中编码调整处理方式处理步骤的流程示意图；
图10为一个实施例中美颜调整处理方式处理步骤的流程示意图；
图11为一个实施例中直播数据处理方法的原理示意图；
图11A为一个实施例中目标视频未进行清晰度调整的示意图；
图11B为一个实施例中目标视频已进行清晰度调整的示意图；
图12为一个实施例中直播数据处理装置的结构框图；
图13为一个实施例中目标视频获取模块的结构框图；
图14为一个实施例中目标区域确定模块的结构框图；
图15为另一个实施例中目标区域确定模块的结构框图；
图16为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中直播数据处理方法的应用环境图。参照图1，该直播数据处理方法应用于直播数据处理系统。该直播数据处理系统包括终端110、直播流服务器120和监控服务器130。终端110和直播流服务器120、监控服务器130通过网络连接，直播流服务器120和监控服务器130通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。直播流服务器120和监控服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中，终端110安装有直播相关的客户端，直播流服务器120从正在进行直播的终端110拉取直播流数据，通过网络连接将拉取到直播流数据发送至监控服务器130。其中，直播流服务器120和监控服务器130可以为同一服务器。
具体地，直播流服务器120从正在进行直播的终端110拉取直播流数据，将拉取得到的直播流数据通过网络连接发送至监控服务器130。监控服务器130获取到直播流数据后，从直播流数据中获取目标视频，目标视频包括至少一个视频帧，从视频帧中确定目标对象对应的目标区域，计算目标区域的像素点对应的像素点清晰度，根据像素点清晰度确定目标区域对应的区域清晰度，根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种，根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。进一步地，监控服务器130通过网络连接将调整后的目标视频通过直播流服务器120返回至终端110。
如图2所示，在一个实施例中，提供了一种直播数据处理方法。本实施例主要以该方法应用于上述图1中的终端110或直播流服务器120或后台监控服务器130来举例说明。参照图2，该直播数据处理方法具体包括如下步骤：
步骤202，获取直播流数据。
其中，直播流数据是直播过程中与直播相关的数据，包括但不限于直播过程中产生的直播视频数据和对应的直播音频数据组成的直播数据块以及对应的信息数据、直播视频帧或者直播音频帧本身和对应的信息数据等等。应当说明的是，这里的直播流数据中的关键帧时间间隔可在接收到直播流数据之前对其进行设置，且直播流数据中的携带了对应的时间戳。进一步地，直播流数据不仅包括直播音视频数据，还包括各个直播音视频数据对应的信息数据，信息数据是直播过程中直播所需相关的信息数据，包括但不限于直播过程所需题目信息、文本内容信息、数值转移信息或者直播资源信息等等，其中，这里的信息数据可以用但不限于一些私有字段进行表示。其中，直播流数据可以是但不限于由直播音视频数据和对应的信息数据组成，或者直播视频数据中的直播视频帧先和对应的直播音频帧组成直播数据块后，直播数据块再和对应的信息数据组成直播流数据等等。为了能进行直播，需接收直播相关的直播流数据，具体可从其他服务器接收到该直播流数据或者从其他终端接收到该直播流数据，其中其他服务器可以为图1中的直播服务器。
步骤204，从直播流数据中获取目标视频，目标视频包括至少一个视频帧。
其中，目标视频是从直播流数据中筛选得到的，具体可根据预设筛选条件从直播流数据中筛选得到的，其中预设筛选条件可自定义，自定义可以是根据视频截图请求从直播流数据中获取到目标视频，或者还可以是根据直播视频图像组GOP从直播流数据中获取到目标视频，视频图像组GOP是两个直播视频关键帧之间的直播视频帧，也可以说是两个I帧之间直播视频帧为一个视频图像组，视频图像组也可称为GOP。或者还可以是根据预设时间间隔从直播流数据中获取到目标视频等等。从直播流数据中获取到的目标视频中包括至少一个视频帧，帧是视频中的画面，一帧即一个画面，一帧可包括直播视频帧及其对应的直播音频数据。
在一个实施例中，播放直播流数据，在直播流数据的播放过程中获取视频截图请求，其中视频截图请求可手动点击视频截图按钮触发生成视频截图请求，还可以是预先设定视频截图时间点，当到达预先设定视频截图时间点后，自动触发生成视频截图请求。进一步地，根据视频截图请求所在的时间点得到目标视频。
在另一个实施例中，获取预设数量个视频图像组GOP，每隔预设数量个视频图像组GOP则从直播流数据中获取目标视频。例如，预设数量个视频图像组GOP为1个，则直播流数据中出现1个GOP时，则将该GOP所在的视频帧作为目标视频，或者将该GOP附近的预设数量个视频帧组成目标视频。
在又一个实施例中，在播放直播流数据过程中，根据预设时间间隔从直播流数据中自动获取目标视频，例如预设时间间隔为1s，则直播流数据播放每隔1s则从直播流数据中获取目标视频。其中，预设时间间隔可根据直播应用所在的终端设备性能信息设定，也可以根据人为经验值设定。
步骤206，从视频帧中确定目标对象对应的目标区域。
其中，目标区域是从目标视频中的视频帧中提取得到的，由于目标区域的清晰度与观众的主观感受最接近，因此从目标视频中的视频帧中确定与直播关注的主观感受最相近的目标区域。其中，目标区域的具体确定方式可自定义，自定义可以是从视频帧中提取直播主播的脸部区域作为目标区域，由于直播的过程中，主播脸部的清晰度是直播观众关注度最高的部位，因此可将视频帧中直播主播的脸部区域作为目标区域。目标区域的确定方式自定义还可以是，先从视频帧中提取直播主播的脸部区域，由于直播过程使用的美颜处理只对直播主播的肤色区域进行美颜处理，而其他非肤色区域如眼睛、嘴巴所在的区域并不进行美颜处理，因此再从脸部区域确定肤色区域为目标区域。或者目标区域的确定方式自定义还可以是，某些特定的直播场景的背景区域的清晰度为直播观众重点关注的区域，因此从视频帧中提取直播主播的脸部区域，再将脸部区域进行过滤后得到背景区域，将背景区域作为目标区域。
在一个实施例中，由于直播的过程中，主播脸部的清晰度是直播观众关注度最高的部位，因此可将视频帧中直播主播的脸部区域作为目标区域，具体可以是通过脸部检测算法检测得倒视频帧中的脸部特征点，当检测到该视频帧存在脸部特征点时，则根据脸部特征点确定脸部区域，将脸部区域作为目标区域。
在另一个实施例中，由于直播过程使用的美颜处理通常只对直播主播的肤色区域进行美颜处理，而其他非肤色区域如眼睛、嘴巴所在的区域并不进行美颜处理，因此可将脸部区域中确定肤色区域为目标区域，具体可以是通过脸部检测算法检测得倒视频帧中的脸部特征点，当检测到该视频帧存在脸部特征点时，则根据脸部特征点确定脸部区域，将脸部区域转换为灰度图，根据灰度图对应的直方图上的色度值分布情况确定脸部区域的肤色区域，将肤色区域作为目标区域。
步骤208，计算目标区域的像素点对应的像素点清晰度。
其中，像素点清晰度是指像素点对应的清晰度值，像素点是指目标区域的点数，即表示目标区域是由多少个像素点构成的。而清晰度是用来衡量目标区域所在的目标视频的直播质量，清晰度越高说明直播质量越好，反之则说明直播质量越差，这里的像素点清晰度是用来衡量目标区域中的像素点的质量。因此，通过计算目标区域的各个像素点对应的像素点清晰度确定目标区域对应的清晰度。其中，计算目标区域的各个像素点对应的像素点清晰度的计算方式可自定义，自定义可以根据拉普拉斯梯度算子、像素点对应的预设权重系数或者清晰度梯度函数计算目标区域中各个像素点对应的像素点清晰度。
在一个实施例中，自定义计算方式可以是通过拉普拉斯梯度算子对目标区域进行卷积计算，得到目标区域对应的纹理图，由于纹理图描述了各个像素点对应的像素点清晰度，因此可通过纹理图获取目标区域的各个像素点对应的像素点清晰度。其中，拉普拉斯梯度算子是N维欧几里德空间中的一个二阶微分算子。
在另一个实施例中，像素点清晰度的计算方式还可以是获取各个像素点对应的预设权重系数，根据预设权重系数和各个像素点对应的像素值进行加权求和，得到目标区域的各个像素点对应的像素点清晰度。
在又一个实施例中，像素点清晰度的计算方式还可以是获取清晰度梯度函数，如Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、SMD(灰度方差)函数、SMD2(灰度方差乘积)函数等，根据清晰度计算梯度函数计算得到目标区域的各个像素点对应的像素点清晰度。
步骤210，根据像素点清晰度确定目标区域对应的区域清晰度。
其中，这里的区域清晰度是用来衡量目标区域所在的视频帧的直播质量的，区域清晰度越高说明直播质量越高，反之则说明直播质量越差。由于目标区域是由多个像素点构成的，因此可根据各个像素点对应的像素点清晰度计算得到目标区域对应的区域清晰度。其中，区域清晰度的计算方式可自定义，自定义可以是将各个像素点对应的像素点清晰度进行统计得到目标区域对应的区域清晰度，或者还可以根据预设清晰度权重对各个像素点清晰度进行加权求和得到目标区域对应的区域清晰度，或者还可以是根据目标区域各个像素点的像素点清晰度进行均值计算得到目标区域对应的区域清晰度等等。其中，均值计算包括但不限于平均值计算和方差计算等等。
在一个实施例中，在计算得到目标区域的各个像素点对应的像素点清晰度后，统计各个像素点对应的像素点清晰度得到目标区域对应的清晰度统计值，根据各个像素点清晰度和清晰度统计值计算得到目标区域对应的区域清晰度。其中，具体可以通过以下公式统计各个像素点对应的像素点清晰度得到目标区域对应的清晰度统计值：
Figure BDA0002101731180000091
其中，I代表区域清晰度，目标区域的像素点组成矩阵，M代表横坐标方向的像素点总数，m代表横坐标方向的像素点，N代表纵坐标方向的像素点总数，n代表纵坐标方向的像素点，
Figure BDA0002101731180000092
代表目标区域对应的清晰度统计值，L(m，n)代表各个像素点对应的像素点清晰度。
在另一个实施例中，在计算得到目标区域的各个像素点对应的像素点清晰度后，根据各个像素点对应的像素点清晰度进行均值计算得到目标区域对应的清晰度统计值，均值计算包括但不限于平均值计算或者方差计算等等。进一步地，再根据各个像素点的像素点清晰度和清晰度统计值进行加权求和计算得到目标区域对应的区域清晰度。
步骤212，根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。
其中，目标调整处理方式是指与目标区域匹配的清晰度调整的处理方式，当目标区域的画面出现模糊时或者清晰度降低时，可通过匹配的目标调整处理方式对目标区域的清晰度进行清晰度调整，使得目标区域对应的画面清晰。其中，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。这里的编码调整处理方式是指与目标区域的编码相关的处理方式，通过编码调整处理方式可以调整目标区域对应的编码参数，编码参数包括但不限于分辨率参数、码率参数和量化参数。而美颜处理方式是指与目标区域所使用的美颜相关的处理方式，通过美颜调整处理方式可以调整目标区域对应的美颜参数，美颜参数包括但不限于美颜算法、肤色处理等级和磨皮等级。然而，目标区域匹配的目标调整处理方式可以是编码调整处理方式、可以是美颜调整处理方式或者还可以即是编码调整处理方式又是美颜调整处理方式。
其中，目标调整处理方式可以是根据目标区域对应的区域清晰度确定匹配的调整处理方式，在一个实施例中，具体可以是通过预设的第一清晰度和第二清晰度确定目标区域匹配的目标调整处理方式，例如当目标区域对应的区域清晰度小于第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式，当目标区域对应的区域清晰度大于第一清晰度且在第二清晰度以内时，则确定目标区域对应的目标调整处理方式为美颜调整处理方式，其中第一清晰度小于第二清晰度，当区域清晰度为第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式，其中第一清晰度和第二清晰度的具体划分可以根据实际需要或者业务场景具体设置，也可以根据大量的训练数据划分得到的。
在另一个实施例中，目标调整处理方式的匹配过程具体还可以是获取预设的第一清晰度、第二清晰度和第三清晰度，第一清晰度小于第二清晰度小于第三清晰度，当目标区域对应的区域清晰度小于第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式，当目标区域对应的区域清晰度大于第一清晰度且在第二清晰度以内时，则确定目标区域对应的目标调整处理方式为美颜调整处理方式，当目标区域对应的区域清晰度大于第二清晰度且在第三清晰度以内时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
步骤214，根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
其中，在根据区域清晰度确定目标区域对应的目标调整处理方式后，可通过目标调整处理方式对目标区域的清晰度进行调整，得到调整后的目标视频。调整后的目标视频的清晰度比调整前的目标视频的清晰度更加清楚。
在一个实施例中，当目标调整处理方式为编码调整处理方式时，由于编码调整处理方式是指与目标区域的编码相关的处理方式，通过编码调整处理方式可以调整目标区域对应的编码参数，编码参数包括但不限于分辨率参数、码率参数和量化参数，因此可根据目标区域的区域清晰度确定更新分辨率参数、更新码率参数和更新量化参数，可将当前分辨率参数调整为更新分辨率参数、或者将当前码率参数调整为更新码率参数或者将当前量化参数调整为更新量化参数，对目标区域的清晰度进行调整，从而得到调整后的目标视频。其中，在根据目标区域的区域清晰度确定更新分辨率参数、更新码率参数和更新量化参数，可以借助直播应用所在的设备性能信息、当前带宽状况等因素确定更新后的编码参数。
在另一个实施例中，当目标调整处理方式为美颜调整处理方式时，由于美颜调整处理方式是指与目标区域所使用的美颜相关的处理方式，通过美颜调整处理方式可以调整目标区域对应的美颜参数，美颜参数包括但不限于美颜算法、肤色处理等级和磨皮等级，因此可根据目标区域的区域清晰度确定更新美颜算法、更新肤色处理等级和更新磨皮等级，再将目标区域的当前美颜算法调整为更新美颜算法、或者将目标区域的当前肤色处理等级调整为更新肤色处理等级、或者将目标区域的当前磨皮等级调整为更新磨皮等级，对目标区域的清晰度进行调整，从而得到调整后的目标视频。其中，肤色处理等级可以是但不限于美白等级、滤镜等级。
上述直播数据处理方法，在直播应用场景中，获取直播流数据，从直播流数据中获取到目标视频，再从目标视频中选取感兴趣区域为目标区域，根据目标区域中各个像素点的像素点清晰度确定目标区域的区域清晰度，再根据区域清晰度对目标区域匹配合适的目标调整处理方式，根据目标调整处理方式对目标区域的清晰度进行调整，其中目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。因此，将目标区域的各个像素点的像素点清晰度作为清晰度监控参数能够更好的符合直播观众的主观感受，通过目标区域的各个像素点的像素点清晰度确定目标区域的清晰度进行准确监控，能够避免出现清晰度监控参数未发生变化但与直播观众的主观感受不同的现象，从而提高直播过程中清晰度监控的准确性。
在一个实施例中，如图3所示，从直播流数据中获取目标视频，目标视频包括至少一个视频帧，包括：
步骤302，播放直播流数据，在播放直播流数据过程中获取视频截图请求。
具体地，在获取到直播流数据后，可通过相关直播应用播放直播流数据或者通过可播放的软件播放直播流数据，在播放直播流数据过程中，获取视频截图请求，视频截图请求是用于请求进行截图的，视频截图请求可通过点击播放界面上设置的相关截图按钮触发生成视频截图请求或者还可以通过预先设定截图时间，达到设定的截图时间时可自动触发生成视频截图请求。
步骤304，获取与视频截图请求对应的视频播放时间点。
其中，视频播放时间点是指播放应用中视频播放的时间点，而与视频截图请求对应的视频播放时间点是指当触发生成视频截图请求所在的时间点时，播放应用正在播放视频画面的时间点。具体地，可通过播放界面相关截图按钮触发生成视频截图请求，一旦播放应用检测到视频截图请求的生成后，则立马获取与视频截图请求对应的视频播放时间点。也可通过单独的服务触发生成视频截图请求，同样地，单独的服务根据视频截图请求所在的时间点从播放应用获取正在播放视频画面的时间点。
步骤306，根据视频播放时间点获取预设回退时间间隔内的前向视频流数据。
步骤308，根据视频播放时间点获取预设前进时间间隔内的后向视频流数据。
其中，前向视频流数据是由以与视频截图请求对应的视频播放时间点向前回退第一预设时间间隔内的视频流数据组成的，而后向视频流数据是由以与视频截图请求对应的视频播放时间点向后前进第二预设间隔内的视频流数据组成。其中，第一预设时间间隔和第二预设时间间隔可根据实际需要进行设置。
具体地，在获取到与视频截图请求对应的视频播放时间点后，获取预设回退时间间隔，以该视频播放时间点为起始点，向前回退预设回退时间间隔得到第一播放时间点，将第一播放时间点至视频截图请求对应的视频播放时间点之间的视频流数据作为前向视频流数据。同样地，获取预设前进时间间隔，以该视频播放时间点为起始点，向后前进预设前进时间间隔得到第二播放时间点，将第二播放时间点至视频截图请求对应的视频播放时间点之间的视频流数据作为后向视频流数据。其中，第一预设时间间隔和预设回退时间间隔可设置成相同，第二预设时间间隔和预设前进时间间隔可设置成相同。
步骤310，将前向视频流数据和后向视频流数据进行拼接得到目标视频，目标视频包括至少一个视频帧。
其中，目标视频是根据前向视频流数据和后向视频流数据得到的，具体可以将前向视频流数据和后向视频流数据组合形成目标视频，也可以从前向视频流数据中提取部分视频流数据作为目标前向视频流数据，再从后向视频流数据中提取部分视频流数据作为目标后向视频流数据，将目标前向视频流数据和目标后向视频流数据组合形成目标视频。
例如，假设预设回退时间间隔为30秒,预设前进时间间隔为60秒，播放的视频的播放时长总共为1小时，在播放应用播放到当前视频10分钟时，终端用户通过点击操作播放应用上设置的截图按钮触发生成视频截图请求，播放应用获取与视频截图请求对应的视频播放点为10分钟，以该视频播放点为参考点，获取预设回退时间间隔30秒内的前向视频流数据，再获取预设前进时间间隔60秒内的后向视频流数据，将获取到的前向视频流数据和后向视频流数据组合形成目标视频，目标视频为90秒内的所有视频流数据。
在一个实施例中，如图4所示，从视频帧中确定目标对象对应的目标区域，包括：
步骤402，根据脸部检测算法检测脸部特征点。
其中，由于直播观众对视频帧中的脸部区域更加关注，因此视频帧中的脸部区域的清晰度对直播观众来说更为重要。因此可通过脸部检测算法检测视频帧中是否存在脸部区域，若存在脸部区域则保留视频帧进行清晰度处理，若不存在脸部区域则将该视频帧进行丢弃，无需进行任何清晰度处理。
其中，这里的脸部检测算法是用来精确找出脸部特征点所在的位置的算法，可通过脸部检测算法检测视频帧是否存在脸部特征点，如果视频帧中包括脸部特征点，则可精确找出脸部特征点所在的位置，进一步根据脸部特征点所在的位置确定脸部区域。其中，脸部特征点是脸部一些具有表征能力的关键点，脸部包括但不限于人脸、动物脸部等。脸部特征点可以是但不限于眼睛、鼻子、嘴巴、眉毛和脸部轮廓等。其中，可单独通过脸部检测算法对视频帧进行检测得到脸部特征点，或者还可以通过特征点检测模型检测视频帧中的脸部特征点，其中特征点检测模型中包括脸部检测算法，特征点检测模型用来进行视频帧中的脸部特征点识别的模型。
步骤404，当检测到脸部特征点时，根据脸部特征点确定对应的脸部区域。
步骤406，将脸部区域作为目标区域。
具体地，当通过脸部检测算法检测到视频帧中存在脸部特征点时，可根据脸部特征点确定对应的脸部区域。其中，这里的脸部区域可以为矩形、圆形或者椭圆等形状。其中，在根据脸部检测算法检测待检测图像对应的脸部区域时，可按照预设配置对生成的脸部区域进行调整，预设配置可以是脸部区域的大小，预设配置可以根据实际需求进行设置。其中，由于直播观众对视频帧中的脸部区域关注度高，因此视频帧中的脸部区域的清晰度对直播观众来说更为重要，可直接关注脸部区域的清晰度即可，进一步可将脸部区域作为目标区域，对视频帧中的脸部区域的清晰度进行处理。
在一个实施例中，如图5所示，在图4示出的目标区域的确定步骤还包括：
步骤502，获取脸部区域对应的区域色度值。
步骤504，根据区域色度值生成与脸部区域对应的脸部区域灰度图，将脸部区域灰度图转换成对应的脸部区域直方分布图。
其中，区域色度值是指脸部区域对应的色调，具体可将脸部区域转换成为HSV色域图，HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的，在HSV色域图中包括色调(H)，饱和度(S)，明度(V)。具体地，将脸部区域转换成对应的HSV色域图，根据HSV色域图中获取脸部区域对应的色调，将获取到的色调作为脸部区域对应的区域色度值。
进一步地，根据脸部区域对应的区域色度值生成对应的脸部区域灰度图，在生成脸部区域灰度图可通过相关软件生成脸部区域对应的脸部区域灰度图，再根据脸部区域灰度图中的区域色度值转换成脸部区域直方分布图，直方分布图能够清楚地表示目标区域各个像素点的区域色度值的分布情况。其中直方分布图中横坐标是目标区域的像素点的连续可取数值，而纵坐标是像素点对应的区域色度值，可如图5A所示，图5A示出一个实施例中脸部区域直方分布图的示意图。
步骤506，根据脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为脸部区域中的非肤色区域，将非肤色区域进行过滤。
步骤508，将脸部区域中过滤后得到的区域作为目标区域。
具体地，在得到脸部区域对应的脸部区域直方分布图后，由于脸部区域直方分布图能够清楚地表示目标区域各个像素点的区域色度值的分布情况，因此可根据脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为脸部区域中的非肤色区域，将非肤色区域进行过滤。其中稀疏条件可自定义，自定义可以是区域色度值集中程度确定得到的。例如，根据脸部区域脂肪分布图的区域色度值分布状况，将区域色度值分布稀疏的区域确定为脸部区域中的非肤色区域，所谓非肤色区域是指不包括肤色的区域，包括眼睛、眉毛、嘴巴所在的区域。由于直播过程直播主播使用美颜处理，通常的美颜处理不包括对非肤色区域进行美颜处理，通常对脸部区域的肤色区域进行美颜处理。因此，可将脸部区域中的非肤色区域进行过滤，将脸部区域中过滤后得到的区域作为目标区域。
例如，如图5A所示，可从图5A示出的脸部区域直方分布图中得知，纵坐标对应的区域色度值占比最高即为肤色区域，而纵坐标对应的区域色度值占比较低即为非肤色区域，根据图5A示出的脸部区域直方分布图的区域色度值分布状况，将区域色度值分布集中的区域作为脸部区域的肤色区域，将区域色度值分布稀疏的区域作为脸部区域的非肤色区域，进一步地，将脸部区域中的非肤色区域进行过滤掉，保留肤色区域，将肤色区域作为清晰度调整的目标区域。
在一个实施例中，如图6所示，计算目标区域的像素点对应的像素点清晰度，包括:
步骤602，获取拉普拉斯梯度算子。
步骤604，根据拉普拉斯梯度算子对目标区域进行卷积计算，得到区域纹理图。
步骤606，根据区域纹理图获取目标区域的各个像素点对应的像素点清晰度。
其中，拉普拉斯梯度算子是N维欧几里德空间中的一个二阶微分算子，可通过拉普拉斯梯度算子对目标区域进行卷积计算，得到目标区域对应的区域纹理图。这里的区域纹理图描述了目标区域的各个像素点对应的像素点清晰度。具体可以是通过拉普拉斯梯度算子对目标区域进行归一化操作，其中，计算区域纹理图具体可以通过以下公式计算得到：
Figure BDA0002101731180000161
其中,X代表区域纹理图，目标区域的像素点组成矩阵P，
Figure BDA0002101731180000162
为拉普拉斯梯度算子。应当说明的是，拉普拉斯梯度算子不限于
Figure BDA0002101731180000163
进一步地，由于区域纹理图描述了目标区域的各个像素点对应的像素点清晰度，因此可直接根据区域纹理图获取目标区域中各个像素点对应的像素点清晰度。
在一个实施例中，如图7所示，根据像素点清晰度确定目标区域对应的区域清晰度,包括：
步骤702，统计各个像素点清晰度得到目标区域对应的清晰度统计值。
步骤704，根据各个像素点清晰度和清晰度统计值计算得到目标区域对应的区域清晰度。
具体地，在获取得到目标区域的各个像素点对应的像素点清晰度后，可根据各个像素点对应的像素点清晰度计算得到目标区域对应的清晰度统计值，具体可以是统计各个像素点清晰度得到目标区域对应的清晰度统计值，其中统计计算包括但不限于平均值计算、方差计算、加权求和计算等。例如，在得到目标区域的各个像素点对应的像素点清晰度后，将各个像素点对应的像素点清晰度进行平均值计算，将各个像素点对应的像素点清晰度的均值作为清晰度统计值。
进一步地，再根据各个像素点清晰度和清晰度统计值计算得到目标区域对应的区域清晰度，具体可以是先根据各个像素点清晰度和清晰度统计值计算得到对应的中间清晰度统计值，再根据各个像素点对应的中间清晰度统计值求和计算得到目标区域对应的区域清晰度，具体可如以下公式计算：
Figure BDA0002101731180000164
其中，I代表区域清晰度，目标区域的像素点组成矩阵，M代表横坐标方向的像素点总数，m代表横坐标方向的像素点，N代表纵坐标方向的像素点总数，n代表纵坐标方向的像素点，
Figure BDA0002101731180000171
代表目标区域对应的清晰度统计值，L(m，n)代表各个像素点对应的像素点清晰度。
在一个实施例中，如图8所示，根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种，包括：
步骤802，当区域清晰度小于第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式。
其中，第一清晰度是用来划分编码调整处理方式的界限，第一清晰度可根据实际业务需求或者应用场景预先设置，或者还可以根据大量训练数据训练确定得到。具体地，获取第一清晰度，将目标区域的区域清晰度与第一清晰度进行比较，当目标区域的区域清晰度小于第一清晰度时，说明目标区域的清晰度调整与编码调整有关系，通过编码调整处理方式调整目标区域的清晰度更加适合，因此可确定目标区域对应的目标调整处理方式为编码调整处理方式。
步骤804，当区域清晰度大于第一清晰度且小于等于第二清晰度时，则确定目标区域对应的目标调整处理方式为美颜调整处理方式，第一清晰度小于第二清晰度。
其中，第二清晰度是用来划分美颜调整处理方式的界限，通过第一清晰度和第二清晰度来确定目标区域匹配的目标调整处理方式为美颜调整处理方式，其中第一清晰度小于第二清晰度，第二清晰度可根据实际业务需求或者应用场景预先设置，或者还可以根据大量训练数据训练确定得到。具体地，获取第一清晰度和第二清晰度，将目标区域的区域清晰度与第一清晰度和第二清晰度进行比较，当区域清晰度大于第一清晰度且在第二清晰度以内时，说明目标区域的清晰度调整与美颜调整有关系，通过美颜调整处理方式调整目标区域的清晰度更加适合，因此可确定目标区域对应的目标调整处理方式为美颜调整处理方式。
进一步地，当目标区域的区域清晰度大于第二清晰度时，则说明目标区域的清晰度无需任何调整，则直接播放目标视频即可。
步骤806，当区域清晰度为第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
具体地，获取第一清晰度和第二清晰度，当目标区域清晰度为第一清晰度时，说明目标区域的清晰度调整可以是编码调整处理方式和美颜处理方式调整能够达到最大的效果，因此，当区域清晰度为第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。其中，当目标区域的区域清晰度为第一清晰度时，通过编码调整处理方式和美颜处理方式对目标区域的清晰度调整比只单独使用编码调整处理方式或者美颜处理方式的清晰度效果更佳。
在一个实施例中，如图9所示，目标调整处理方式为编码调整处理方式，编码调整处理方式包括以下处理方式中的至少一种，根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频，包括：
步骤902，获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种。
其中，当前编码参数是指目标区域所在的视频帧当前使用的编码参数,当前编码参数包括当前分辨率参数、当前码率参数或者当前量化参数中的至少一种,这里的分辨率参数是指与分辨率相关的参数,分辨率决定了视频帧对应的图像细节的精细程度,分辨率越高,图像越清晰。码率参数是指与码率相关的参数，码率是指数据传输时单位时间传送的数据位数，单位时间内传送数据越多，图像越清晰。而量化参数是指空间细节压缩情况，量化参数越高，图像越模糊。具体地，获取目标区域所在的视频帧的当前编码参数，通过当前编码参数来调整目标区域对应的清晰度。
步骤904，获取直播应用所在的设备信息。
步骤906，根据区域清晰度、设备信息和当前分辨率参数确定更新分辨率参数，根据更新分辨率参数对目标区域进行分辨率参数调整，得到调整后的目标视频。
其中，设备信息是指与直播应用所在的设备性能有关的信息，可以包括但不限于直播应用所在的设备性能参数、设备显示区域大小等。由于分辨率参数与设备信息有关，由于直播应用所在的设备信息无法支持高分辨参数的目标区域，因此在调整目标区域的清晰度时应该考虑直播应用所在的设备信息，例如考虑设备显示区域大小，才能达到最大的效果。具体地，获取直播应用所在的设备信息，根据目标区域的区域清晰度、设备信息和当前分辨率参数确定更新分辨率参数，例如，直播应用所在的设备性能参数比较好，设备显示区域比较大，但目标区域的区域清晰度比较小时，则可根据设备性能参数、设备显示区域大小将目标区域的当前分辨率参数调大得到更新分辨率参数。反之，若直播应用所在的设备性能参数比较差，但目标区域的区域清晰度比较大时，则可根据设备性能参数将目标区域的当前分辨率参数调小得到更新分辨率参数。
进一步地，再根据更新分辨率参数将目标区域的当前分辨率参数调整为更新分辨率参数，从而进行目标区域的清晰度调整，最后得到调整后的目标视频。其中，更新分辨率参数可以根据区域清晰度、设备信息在当前分辨率参数的基础上进行调整得到的，还可以根据区域清晰度、设备信息和当前分辨率参数直接确定得到的。
步骤908，获取目标区域的当前带宽状况。
步骤910，根据区域清晰度、当前带宽状况和当前码率参数确定更新码率参数，根据更新码率参数对目标区域进行码率参数调整，得到调整后的目标视频。
其中，当前带宽状况是指目标区域所在的目标视频所在的带宽情况，由于目标区域的当前码率参数与当前带宽状况有关，当前带宽状况越好，码率参数越高，图像越清晰，因此提高目标视频的清晰度同时保证目标视频的播放流畅性，在调整目标区域的码率参数时应当考虑目标区域的当前带宽状况。具体地，获取目标区域的当前带宽状况，根据当前带宽状况、区域清晰度和当前码率参数确定更新码率参数，例如，当目标区域的当前带宽状况比较好，能够传输更多的数据，但目标区域的区域清晰度比较小时，则可根据当前带宽状况将目标区域的当前码率参数调大得到更新码率参数。反之，若目标区域的当前带宽状况出现问题时，如果保持当前的码率参数可能出现无法播放、清晰度降低等问题，因此可根据当前带宽状况将目标区域的当前码率参数调小得到更新码率参数。
进一步地，再根据更新码率参数将目标区域的当前码率参数调整为更新码率参数，从而进行目标区域的清晰度调整，从而最后得到调整后的目标视频。其中，更新码率参数可以根据区域清晰度、当前带宽状况在当前码率参数的基础上进行调整得到的，还可以根据区域清晰度、当前带宽状况和当前码率参数直接确定得到的。
步骤912，根据区域清晰度和当前量化参数确定更新量化参数，根据量化参数对目标区域进行量化参数调整，得到调整后的目标视频。
其中，编码调整处理方式还可以根据量化参数进行清晰度调整，可以是根据区域清晰度和当前量化参数确定更新量化参数，例如，当目标区域的区域清晰度对应的画面出现模糊、很多画面的细节丢失时，可能是由于目标区域的量化参数过大导致目标区域的清晰度出现问题，因此可调整目标区域的当前量化参数，将目标区域的当前量化参数调小得到更新量化参数。
进一步地，再根据量化参数将目标区域的当前量化参数调整为更新量化参数，从而进行目标区域的清晰度调整，最后得到调整后的目标视频。其中，更新量化参数可以根据区域清晰度在当前量化参数的基础上进行调整得到的，还可以根据区域清晰度、当前量化参数直接确定得到的。
应当说明的是，步骤904和步骤906组成一种编码调整处理方式，步骤908和步骤910组成一种编码调整处理方式，步骤912为一种编码调整处理方式，当目标调整处理方式为编码调整处理方式时，目标视频的调整处理方式可以为上述三种编码调整处理方式中的至少一种。
在一个实施例中，如图10所示，目标调整处理方式为美颜调整处理方式，美颜调整处理方式包括以下处理方式中的至少一种，根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频，包括：
步骤1002，获取目标区域的当前美颜算法。
步骤1004，根据区域清晰度和当前美颜算法确定更新美颜算法，根据更新美颜算法对目标区域进行美颜处理，得到调整后的目标视频。
其中，由于在直播过程中，为了提高直播主播的美化效果，通常会在直播过程中开启美颜处理功能，因此获取目标区域的当前美颜算法，这里的美颜算法用于美颜处理的。因为目标区域使用的美颜算法也会影响到目标区域的清晰度，因此可通过调整美颜算法来调整目标区域的清晰度。具体地，获取目标区域的当前美颜算法，根据区域清晰度和当前美颜算法确定匹配的更新美颜算法，美颜算法可用来调整目标区域的肤色、磨皮等级、滤镜等。当根据区域清晰度确定引起目标区域的清晰度发生变化的是目标区域的肤色，则可通过更新美颜算法调整目标区域的肤色参数，例如，目标区域的当前肤色参数比较大，导致目标区域的肤色过白，从而影响到了目标区域的清晰度，则可通过更新美颜算法将目标区域的当前肤色参数调小，从而对目标区域的进行肤色处理，提高目标区域的清晰度。
当根据区域清晰度确定引起目标区域的清晰度发生变化的是目标区域的磨皮等级，则可通过更新美颜算法调整目标区域的磨皮参数，例如，目标区域的当前磨皮参数比较大，导致目标区域的画面出现失真，清晰度降低，则可通过更新美颜算法将目标区域的当前磨皮参数调小，从而对目标区域进行磨皮处理。
当根据区域清晰度确定引起目标区域的清晰度发生变化的是目标区域的滤镜参数，则可通过更新美颜算法调整目标区域的滤镜参数，例如，目标区域的当前滤镜参数比较大导致目标区域的画面出现模糊，则可通过更新美颜算法将目标区域的当前滤镜参数调小，从而对目标区域进行滤镜处理。
进一步地，根据更新美颜算法对目标区域进行美颜处理，即目标区域使用更新美颜算法进行美颜处理，对目标区域的清晰度进行调整，从而得到调整后的目标视频。其中，更新美颜算法可以是根据区域清晰度在当前美颜算法的基础上调整得到，还可以是根据区域清晰度和当前美颜算法直接确定得到的。
步骤1006，获取目标区域的当前磨皮等级。
步骤1008，根据区域清晰度和当前磨皮等级确定更新磨皮等级，根据更新磨皮等级对目标区域进行磨皮处理，得到调整后的目标视频。
其中，当前磨皮等级是指目标区域当前使用的磨皮程度，通过调整磨皮等级可对目标区域的清晰度。具体地，获取目标区域的当前磨皮等级，根据目标区域的区域清晰度和当前磨皮等级确定匹配的更新磨皮等级，例如，当目标区域的当前磨皮等级比较大，导致目标区域的画面出现失真，直播观众的主观感受觉得画面与真实情况差的太远了，因此可将当前磨皮等级调低一个等级得到更新磨皮等级。
进一步地，根据更新磨皮等级对目标区域进行磨皮处理，即目标区域使用更新磨皮等级进行磨皮处理，对目标区域的清晰度进行调整，从而得到调整后的目标视频。其中，更新磨皮等级可以是根据区域清晰度在当前磨皮等级的基础上调整得到的，还可以是根据区域清晰度和当前磨皮等级直接确定得到的。其中，目标区域的磨皮等级越高，目标区域的清晰度越高。
步骤1010，获取目标区域的当前肤色处理等级。
步骤1012，根据区域清晰度和当前肤色处理等级确定肤色更新处理等级，根据肤色更新处理等级对目标区域进行肤色处理，得到调整后的目标视频。
其中，当前肤色处理等级是指目标区域当前使用的肤色处理程度，肤色处理包括美白处理、滤镜处理等等。通过调整目标区域的美白处理等级，可以对目标区域的清晰度进行调整，同样地，通过调整目标区域的滤镜处理等级，也可以对目标区域的清晰度进行调整。其中，不同的肤色处理等级的清晰程度不同。
具体地，获取目标区域的当前肤色处理等级，当前肤色处理等级为美白处理等级、滤镜处理等级中的至少一种，根据目标区域的区域清晰度和当前肤色处理等级确定匹配的肤色更新处理等级，例如，当目标区域的当前肤色处理等级比较高，导致目标区域画面出现失真，而直播观众的主观感受觉得画面与真实情况差别较大，因此可将当前肤色处理等级调低得到更新处理等级。其中，肤色处理包括但不限于美白处理和滤镜处理。
进一步地，根据肤色更新处理等级对目标区域进行肤色处理，即目标区域使用肤色更新处理等级，对目标区域的清晰度进行调整，从而得到调整后的目标视频。其中，肤色更新处理等级可以是根据区域清晰度在当前肤色处理等级的基础上调整得到的，还可以是根据区域清晰度和当前肤色处理等级直接确定得到的。
应当说明的是，步骤1002和步骤1004组成一种美颜调整处理方式，步骤1006和步骤1008组成一种美颜调整处理方式，步骤1010和步骤1012为一种美颜调整处理方式，当目标调整处理方式为美颜调整处理方式时，目标视频的调整处理方式可以为上述三种美颜调整处理方式中的至少一种。
在一个具体的实施例中，提供了一种直播数据处理方法，具体包括以下步骤：
1、获取直播流数据。
2、从直播流数据中获取目标视频，目标视频包括至少一个视频帧。
2-1、播放直播流数据，在播放直播流数据过程中获取视频截图请求。
2-2、获取与视频截图请求对应的视频播放时间点。
2-3、根据视频播放时间点获取预设回退时间间隔内的前向视频流数据。
2-4、根据视频播放时间点获取预设前进时间间隔内的后向视频流数据。
2-5、将前向视频流数据和后向视频流数据进行拼接得到目标视频，目标视频包括至少一个视频帧。
3、从视频帧中确定目标对象对应的目标区域。
3-1、根据脸部检测算法检测脸部特征点，当检测到脸部特征点时，根据脸部特征点确定对应的脸部区域，将脸部区域作为目标区域。
3-2、获取脸部区域对应的区域色度值，根据区域色度值生成与脸部区域对应的脸部区域灰度图，将脸部区域灰度图转换成对应的脸部区域直方分布图，根据脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为脸部区域中的非肤色区域，将非肤色区域进行过滤，将脸部区域中过滤后得到的区域作为目标区域。
4、计算目标区域的像素点对应的像素点清晰度。
4-1、获取拉普拉斯梯度算子。
4-2、根据拉普拉斯梯度算子对目标区域进行卷积计算，得到区域纹理图。
4-3、根据区域纹理图获取目标区域的各个像素点对应的像素点清晰度。
5、根据像素点清晰度确定目标区域对应的区域清晰度。
5-1、统计各个像素点清晰度得到目标区域对应的清晰度统计值。
5-2、根据各个像素点清晰度和清晰度统计值计算得到目标区域对应的区域清晰度。
6、根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。
6-1、当区域清晰度小于第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式。
6-2、当区域清晰度大于第一清晰度且小于等于第二清晰度时，则确定目标区域对应的目标调整处理方式为美颜调整处理方式，第一清晰度小于第二清晰度。
6-3、当区域清晰度为第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
7、根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
7-1、目标调整处理方式为编码调整处理方式，编码调整处理方式包括以下处理方式的至少一种：
7-1-1、获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，获取直播应用所在的设备信息，根据区域清晰度和设备信息确定更新分辨率参数，将更新分辨率参数通过分辨率参数更新指令调整当前分辨率参数，得到调整后的目标视频。
7-1-2、获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，获取目标区域的当前带宽状况，根据区域清晰度和当前带宽状况确定更新码率参数，将更新码率参数通过码率参数更新指令调整当前码率参数，得到调整后的目标视频。
7-1-3、获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，根据区域清晰度确定更新量化参数，将更新量化参数通过量化参数更新指令调整当前量化参数，得到调整后的目标视频。
7-2、目标调整处理方式为美颜调整处理方式，美颜调整处理方式包括以下处理方式的至少一种：
7-2-1、获取目标区域的当前美颜算法，根据区域清晰度确定更新美颜算法，将更新美颜算法通过美颜算法更新指令调整当前美颜算法，根据更新美颜算法对目标区域进行美颜处理，得到调整后的目标视频。
7-2-2、获取目标区域的当前磨皮等级，根据区域清晰度确定更新磨皮等级，将更新磨皮等级通过磨皮等级更新指令调整当前磨皮等级，根据更新磨皮等级对目标区域进行磨皮处理，得到调整后的目标视频。
7-2-3、获取目标区域的当前肤色处理等级，根据区域清晰度确定肤色更新处理等级，将肤色更新处理等级通过肤色处理更新指令调整当前肤色处理等级，根据肤色更新处理等级对目标区域进行肤色处理，得到调整后的目标视频。
在一个直播应用场景中，如图11所示，图11示出一个实施例中直播数据处理方法的原理示意图。终端或者服务器执行以下步骤实现直播数据处理：
1、根据需要监控的主播列表，拉取其对应的直播地址。
2、根据直播流地址，检测主播是否开始直播。
3、如开始直播，则按照设定的周期进行截图，得到目标视频，其中当根据直播流地址获取到对应的直播流数据则认为开始直播。
4、判定目标视频中是否存在脸部部位，进一步截取其脸部区域。
5、通过提取脸部纹理锐度，计算脸部锐度值方差，得到脸部清晰度。
6、保存清晰度结果，并汇总多主播/多日数据进行分析。
7、如波动较大，超出设定阈值，则触发告警。
8、根据脸部清晰度，确定编码调整配置，例如分辨率/码率/QP范围。
9、根据脸部清晰度，确定美颜调整配置，例如美颜算法/磨皮值/美白值。
10、将调整配置下发至主播端APP，继续监测后续变化情况。
在一个实施例中，可如图11A和图11B所示，图11A示出一个实施例中未进行清晰度调整的示意图，图11B示出一个实施例中已进行清晰度调整的示意图，图11A示出的目标视频的画面出现模糊或者清晰度降低时，可通过上述直播数据处理方法对目标视频的清晰度进行调整，得到调整后的目标视频，如图11B所示，图11B所示的目标视频的清晰度比图11A所示的目标视频的清晰度更加清晰。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种直播数据处理装置1200，包括：
直播流数据获取模块1202，用于获取直播流数据。
目标视频获取模块1204，用于从直播流数据中获取目标视频，目标视频包括至少一个视频帧。
目标区域确定模块1206，用于从视频帧中确定目标对象对应的目标区域。
像素点清晰度计算模块1208，用于计算目标区域的像素点对应的像素点清晰度。
区域清晰度计算模块1210，用于根据像素点清晰度确定目标区域对应的区域清晰度。
目标调整处理方式确定模块1212，用于根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。
清晰度调整模块1214，用于根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
在一个实施例中，如图13所示，目标视频获取模块1204包括：
直播流数据播放单元1204a，用于播放直播流数据，在播放直播流数据过程中获取视频截图请求。
播放时间点获取单元1204b，用于获取与视频截图请求对应的视频播放时间点。
前向视频流数据获取单元1204c，用于根据视频播放时间点获取预设回退时间间隔内的前向视频流数据。
后向视频流数据获取单元1204d，用于根据视频播放时间点获取预设前进时间间隔内的后向视频流数据。
目标视频拼接单元1204e，用于将前向视频流数据和后向视频流数据进行拼接得到目标视频，目标视频包括至少一个视频帧。
在一个实施例中，如图14所示，目标区域确定模块1206包括：
特征点检测单元1206a，用于根据脸部检测算法检测脸部特征点。
脸部区域确定单元1206b，用于当检测到脸部特征点时，根据脸部特征点确定对应的脸部区域，将脸部区域作为目标区域。
在一个实施例中，如图15所示，目标区域确定模块1206还包括：
区域色度值获取单元1206c，用于获取脸部区域对应的区域色度值。
区域灰度图生成单元1206d，用于根据区域色度值生成与脸部区域对应的脸部区域灰度图，将脸部区域灰度图转换成对应的脸部区域直方分布图。
目标区域处理单元1206e，用于根据脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为脸部区域中的非肤色区域，将非肤色区域进行过滤，将脸部区域中过滤后得到的区域作为目标区域。
在一个实施例中，像素点清晰度计算模块还用于获取拉普拉斯梯度算子，根据拉普拉斯梯度算子对目标区域进行卷积计算，得到区域纹理图，根据区域纹理图获取目标区域的各个像素点对应的像素点清晰度，区域清晰度计算模块还用于统计各个像素点清晰度得到目标区域对应的清晰度统计值，根据各个像素点清晰度和清晰度统计值计算得到目标区域对应的区域清晰度。
在一个实施例中，目标调整处理方式确定模块1212还用于当区域清晰度小于第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式，当区域清晰度大于第一清晰度且小于等于第二清晰度时，则确定目标区域对应的目标调整处理方式为美颜调整处理方式，第一清晰度小于第二清晰度，当区域清晰度为第一清晰度时，则确定目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
在一个实施例中，目标调整处理方式为编码调整处理方式，清晰度调整模块1214还用于获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，获取直播应用所在的设备信息，根据区域清晰度和设备信息确定更新分辨率参数，将更新分辨率参数通过分辨率参数更新指令调整当前分辨率参数，得到调整后的目标视频。
在一个实施例中，目标调整处理方式为编码调整处理方式，清晰度调整模块1214还用于获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，获取目标区域的当前带宽状况，根据区域清晰度和当前带宽状况确定更新码率参数，将更新码率参数通过码率参数更新指令调整当前码率参数，得到调整后的目标视频。
在一个实施例中，目标调整处理方式为编码调整处理方式，清晰度调整模块1214还用于获取目标区域的当前编码参数，当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，根据区域清晰度确定更新量化参数，将更新量化参数通过量化参数更新指令调整当前量化参数，得到调整后的目标视频。
在一个实施例中，目标调整处理方式为美颜调整处理方式，清晰度调整模块1214还用于获取目标区域的当前美颜算法，根据区域清晰度确定更新美颜算法，将更新美颜算法通过美颜算法更新指令调整当前美颜算法，根据更新美颜算法对目标区域进行美颜处理，得到调整后的目标视频。
在一个实施例中，目标调整处理方式为美颜调整处理方式，清晰度调整模块1214还用于获取目标区域的当前磨皮等级，根据区域清晰度确定更新磨皮等级，将更新磨皮等级通过磨皮等级更新指令调整当前磨皮等级，根据更新磨皮等级对目标区域进行磨皮处理，得到调整后的目标视频。
在一个实施例中，目标调整处理方式为美颜调整处理方式，清晰度调整模块1214还用于获取目标区域的当前肤色处理等级，根据区域清晰度确定肤色更新处理等级，将肤色更新处理等级通过肤色处理更新指令调整当前肤色处理等级，根据肤色更新处理等级对目标区域进行肤色处理，得到调整后的目标视频。
图16示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或直播流服务器120或后台监控服务器130。如图16所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现直播数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行直播数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的直播数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图16所示的计算机设备上运行。计算机设备的存储器中可存储组成该直播数据处理装置的各个程序模块，比如，图12所示的直播流数据获取模块、目标视频获取模块、目标区域确定模块、像素点清晰度计算模块、区域清晰度计算模块、目标调整处理方式确定模块和清晰度调整模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的直播数据处理方法中的步骤。
例如，图16所示的计算机设备可以通过如图12所示的直播数据处理装置中的直播流数据获取模块执行获取直播流数据。计算机设备可通过目标视频获取模块执行从直播流数据中获取目标视频，目标视频包括至少一个视频帧。计算机设备可通过目标区域确定模块执行从视频帧中确定目标对象对应的目标区域。计算机设备可通过像素点清晰度计算模块执行计算目标区域的像素点对应的像素点清晰度。计算机设备可通过区域清晰度计算模块执行根据像素点清晰度确定目标区域对应的区域清晰度。计算机设备可通过目标调整处理方式确定模块执行根据区域清晰度确定目标区域对应的目标调整处理方式，目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种。计算机设备可通过清晰度调整模块执行根据目标调整处理方式对目标区域的清晰度进行调整得到调整后的目标视频。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述直播数据处理方法的步骤。此处直播数据处理方法的步骤可以是上述各个实施例的直播数据处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述直播数据处理方法的步骤。此处直播数据处理方法的步骤可以是上述各个实施例的直播数据处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种直播数据处理方法，包括：
获取直播流数据；
从所述直播流数据中获取目标视频，所述目标视频包括至少一个视频帧；
从所述视频帧中确定目标对象对应的目标区域；
计算所述目标区域的像素点对应的像素点清晰度；
统计各个所述像素点清晰度得到所述目标区域对应的清晰度统计值；
根据各个所述像素点清晰度和所述清晰度统计值计算得到所述目标区域对应的区域清晰度；
当所述区域清晰度与历史清晰度之间的差异大于预设阈值时，根据所述区域清晰度确定所述目标区域对应的目标调整处理方式，所述目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种，所述历史清晰度是指在历史直播流数据中目标对象对应的区域的清晰度；
根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频。
2.根据权利要求1所述的方法，其特征在于，所述从所述直播流数据中获取目标视频，所述目标视频包括至少一个视频帧，包括：
播放所述直播流数据，在播放所述直播流数据过程中获取视频截图请求；
获取与所述视频截图请求对应的视频播放时间点；
根据所述视频播放时间点获取预设回退时间间隔内的前向视频流数据；
根据所述视频播放时间点获取预设前进时间间隔内的后向视频流数据；
将所述前向视频流数据和所述后向视频流数据进行拼接得到所述目标视频，所述目标视频包括至少一个视频帧。
3.根据权利要求1所述的方法，其特征在于，所述从所述视频帧中确定目标对象对应的目标区域，包括：
根据脸部检测算法检测脸部特征点；
当检测到脸部特征点时，根据脸部特征点确定对应的脸部区域；
将所述脸部区域作为所述目标区域。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述脸部区域对应的区域色度值；
根据所述区域色度值生成与所述脸部区域对应的脸部区域灰度图，将所述脸部区域灰度图转换成对应的脸部区域直方分布图；
根据所述脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为所述脸部区域中的非肤色区域，将所述非肤色区域进行过滤；
将所述脸部区域中过滤后得到的区域作为所述目标区域。
5.根据权利要求1所述的方法，其特征在于，所述计算所述目标区域的像素点对应的像素点清晰度，包括:
获取拉普拉斯梯度算子；
根据所述拉普拉斯梯度算子对所述目标区域进行卷积计算，得到区域纹理图；
根据所述区域纹理图获取所述目标区域的各个像素点对应的像素点清晰度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述区域清晰度确定所述目标区域对应的目标调整处理方式，所述目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种，包括：
当所述区域清晰度小于第一清晰度时，则确定所述目标区域对应的目标调整处理方式为编码调整处理方式；
当所述区域清晰度大于所述第一清晰度且小于等于第二清晰度时，则确定所述目标区域对应的目标调整处理方式为美颜调整处理方式，所述第一清晰度小于所述第二清晰度；
当所述区域清晰度为所述第一清晰度时，则确定所述目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
7.根据权利要求1所述的方法，其特征在于，所述目标调整处理方式为编码调整处理方式，所述编码调整处理方式包括以下处理方式的至少一种，所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
获取所述目标区域的当前编码参数，所述当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种；
获取直播应用所在的设备信息；
根据所述区域清晰度、所述设备信息和所述当前分辨率参数确定更新分辨率参数，根据所述更新分辨率参数对所述目标区域进行分辨率参数调整，得到调整后的目标视频；
所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
获取所述目标区域的当前带宽状况；
根据所述区域清晰度、所述当前带宽状况和所述当前码率参数确定更新码率参数，根据所述更新码率参数对所述目标区域进行码率参数调整，得到调整后的目标视频；
所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
根据所述区域清晰度和所述当前量化参数确定更新量化参数，根据所述量化参数对所述目标区域进行量化参数调整，得到调整后的目标视频。
8.根据权利要求1所述的方法，其特征在于，所述目标调整处理方式为美颜调整处理方式，所述美颜调整处理方式包括以下处理方式的至少一种，所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
获取所述目标区域的当前美颜算法；
根据所述当前美颜算法和所述区域清晰度确定更新美颜算法，根据所述更新美颜算法对所述目标区域进行美颜处理，得到调整后的目标视频；
所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
获取所述目标区域的当前磨皮等级；
根据所述当前磨皮等级和所述区域清晰度确定更新磨皮等级，根据所述更新磨皮等级对所述目标区域进行磨皮处理，得到调整后的目标视频；
所述根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频，包括：
获取所述目标区域的当前肤色处理等级；
根据所述当前肤色处理等级和所述区域清晰度确定肤色更新处理等级，根据所述肤色更新处理等级对所述目标区域进行肤色处理，得到调整后的目标视频。
9.一种直播数据处理装置，其特征在于，所述装置包括：
直播流数据获取模块，用于获取直播流数据；
目标视频获取模块，用于从所述直播流数据中获取目标视频，所述目标视频包括至少一个视频帧；
目标区域确定模块，用于从所述视频帧中确定目标对象对应的目标区域；
像素点清晰度计算模块，用于计算所述目标区域的像素点对应的像素点清晰度；
区域清晰度计算模块，用于统计各个所述像素点清晰度得到所述目标区域对应的清晰度统计值，根据各个所述像素点清晰度和所述清晰度统计值计算得到所述目标区域对应的区域清晰度；
目标调整处理方式确定模块，用于当所述区域清晰度与历史清晰度之间的差异大于预设阈值时，根据所述区域清晰度确定所述目标区域对应的目标调整处理方式，所述目标调整处理方式为编码调整处理方式和美颜调整处理方式中的至少一种，所述历史清晰度是指在历史直播流数据中目标对象对应的区域的清晰度；
清晰度调整模块，用于根据所述目标调整处理方式对所述目标区域的清晰度进行调整得到调整后的目标视频。
10.根据权利要求9所述的装置，其特征在于，所述目标视频获取模块包括：
直播流数据播放单元，用于播放所述直播流数据，在播放所述直播流数据过程中获取视频截图请求；
播放时间点获取单元，用于获取与所述视频截图请求对应的视频播放时间点；
前向视频流数据获取单元，用于根据所述视频播放时间点获取预设回退时间间隔内的前向视频流数据；
后向视频流数据获取单元，用于根据所述视频播放时间点获取预设前进时间间隔内的后向视频流数据；
目标视频拼接单元，用于将所述前向视频流数据和所述后向视频流数据进行拼接得到所述目标视频，所述目标视频包括至少一个视频帧。
11.根据权利要求9所述的装置，其特征在于，所述目标区域确定模块包括：
特征点检测单元，用于根据脸部检测算法检测脸部特征点；
脸部区域确定单元，用于当检测到脸部特征点时，根据脸部特征点确定对应的脸部区域，将所述脸部区域作为所述目标区域。
12.根据权利要求11所述的装置，其特征在于，所述目标区域确定模块还包括：
区域色度值获取单元，用于获取所述脸部区域对应的区域色度值；
区域灰度图生成单元，用于根据所述区域色度值生成与所述脸部区域对应的脸部区域灰度图，将所述脸部区域灰度图转换成对应的脸部区域直方分布图；
目标区域处理单元，用于根据所述脸部区域直方分布图的区域色度值分布状况，将区域色度值分布满足稀疏条件对应的区域确定为所述脸部区域中的非肤色区域，将所述非肤色区域进行过滤，将所述脸部区域中过滤后得到的区域作为所述目标区域。
13.根据权利要求9所述的装置，其特征在于，所述像素点清晰度计算模块还用于获取拉普拉斯梯度算子，根据所述拉普拉斯梯度算子对所述目标区域进行卷积计算，得到区域纹理图，根据所述区域纹理图获取所述目标区域的各个像素点对应的像素点清晰度。
14.根据权利要求9所述的装置，其特征在于，所述目标调整处理方式确定模块还用于当所述区域清晰度小于第一清晰度时，则确定所述目标区域对应的目标调整处理方式为编码调整处理方式，当所述区域清晰度大于所述第一清晰度且小于等于第二清晰度时，则确定所述目标区域对应的目标调整处理方式为美颜调整处理方式，所述第一清晰度小于所述第二清晰度，当所述区域清晰度为所述第一清晰度时，则确定所述目标区域对应的目标调整处理方式为编码调整处理方式和美颜处理方式。
15.根据权利要求9所述的装置，其特征在于，所述目标调整处理方式为编码调整处理方式，所述编码调整处理方式包括以下处理方式的至少一种；
所述目标调整处理方式确定模块还用于获取所述目标区域的当前编码参数，所述当前编码参数为当前分辨率参数、当前码率参数或者当前量化参数中的至少一种，获取直播应用所在的设备信息，根据所述区域清晰度、所述设备信息和所述当前分辨率参数确定更新分辨率参数，根据所述更新分辨率参数对所述目标区域进行分辨率参数调整，得到调整后的目标视频；
所述目标调整处理方式确定模块还用于获取所述目标区域的当前带宽状况，根据所述区域清晰度、所述当前带宽状况和所述当前码率参数确定更新码率参数，根据所述更新码率参数对所述目标区域进行码率参数调整，得到调整后的目标视频；
所述目标调整处理方式确定模块还用于根据所述区域清晰度和所述当前量化参数确定更新量化参数，根据所述量化参数对所述目标区域进行量化参数调整，得到调整后的目标视频。
16.根据权利要求9所述的装置，其特征在于，所述目标调整处理方式为美颜调整处理方式，所述美颜调整处理方式包括以下处理方式的至少一种；所述目标调整处理方式确定模块还用于获取所述目标区域的当前美颜算法，根据所述当前美颜算法和所述区域清晰度确定更新美颜算法，根据所述更新美颜算法对所述目标区域进行美颜处理，得到调整后的目标视频；
所述目标调整处理方式确定模块还用于获取所述目标区域的当前磨皮等级，根据所述当前磨皮等级和所述区域清晰度确定更新磨皮等级，根据所述更新磨皮等级对所述目标区域进行磨皮处理，得到调整后的目标视频；
所述目标调整处理方式确定模块还用于获取所述目标区域的当前肤色处理等级，根据所述当前肤色处理等级和所述区域清晰度确定肤色更新处理等级，根据所述肤色更新处理等级对所述目标区域进行肤色处理，得到调整后的目标视频。
17.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
CN201910537814.1A 2019-06-20 2019-06-20 直播数据处理方法、装置、可读存储介质和计算机设备 Active CN112118457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910537814.1A CN112118457B (zh) 2019-06-20 2019-06-20 直播数据处理方法、装置、可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537814.1A CN112118457B (zh) 2019-06-20 2019-06-20 直播数据处理方法、装置、可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN112118457A CN112118457A (zh) 2020-12-22
CN112118457B true CN112118457B (zh) 2022-09-09

Family

ID=73795968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537814.1A Active CN112118457B (zh) 2019-06-20 2019-06-20 直播数据处理方法、装置、可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN112118457B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781963B (zh) * 2023-08-16 2024-01-12 浙江印象软件有限公司 直播清晰度切换防卡死方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413356A (zh) * 2011-12-30 2012-04-11 武汉烽火众智数字技术有限责任公司 视频清晰度检测系统及其检测方法
CN105657479A (zh) * 2014-11-10 2016-06-08 腾讯数码（天津）有限公司 一种视频处理方法及装置
CN107909542A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108881780A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
CN108921806A (zh) * 2018-08-07 2018-11-30 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN109191428A (zh) * 2018-07-26 2019-01-11 西安理工大学 基于掩蔽纹理特征的全参考型图像质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413356A (zh) * 2011-12-30 2012-04-11 武汉烽火众智数字技术有限责任公司 视频清晰度检测系统及其检测方法
CN105657479A (zh) * 2014-11-10 2016-06-08 腾讯数码（天津）有限公司 一种视频处理方法及装置
CN107909542A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108881780A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
CN109191428A (zh) * 2018-07-26 2019-01-11 西安理工大学 基于掩蔽纹理特征的全参考型图像质量评价方法
CN108921806A (zh) * 2018-08-07 2018-11-30 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备

Also Published As

Publication number Publication date
CN112118457A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US11949891B2 (en) Systems and methods for region-of-interest tone remapping
Orduna et al. Video multimethod assessment fusion (VMAF) on 360VR contents
Liu et al. Visual attention in objective image quality assessment: Based on eye-tracking data
US7873231B2 (en) Determining sharpness predictors for digital images
Ahn et al. Deep blind video quality assessment based on temporal human perception
Hadizadeh et al. Video error concealment using a computation-efficient low saliency prior
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN112435244A (zh) 直播视频的质量评价方法、装置、计算机设备和存储介质
CN110310231B (zh) 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法
CN112118457B (zh) 直播数据处理方法、装置、可读存储介质和计算机设备
Sabet et al. A novel objective quality assessment method for perceptually-coded cloud gaming video
Testolina et al. On the performance of subjective visual quality assessment protocols for nearly visually lossless image compression
Yang et al. Just-noticeable-difference based coding and rate control of mobile 360° video streaming
CN110796689B (zh) 一种视频处理方法、电子设备及存储介质
Farias Video quality metrics
JP2001292449A (ja) 画像処理装置、画像処理方法、及び記録媒体
Leveque et al. Subjective assessment of image quality induced saliency variation
Banitalebi-Dehkordi et al. Visual saliency aided High Dynamic Range (HDR) video quality metrics
Alers et al. Quantifying the importance of preserving video quality in visually important regions at the expense of background content
Osherger et al. A technique for image quality assessment based on a human visual system model
US10904499B2 (en) Information processing system, information processing device and program
Zhang et al. The quest for the integration of visual saliency models in objective image quality assessment: A distraction power compensated combination strategy
Ahn et al. No-reference video quality assessment based on convolutional neural network and human temporal behavior
Koh et al. Color preference and perceived color naturalness of digital videos
CN108093302B (zh) 一种视频流文件压缩传输的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant