CN110213587A - 视频编码方法、装置、电子设备及存储介质 - Google Patents

视频编码方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110213587A
CN110213587A CN201910610948.1A CN201910610948A CN110213587A CN 110213587 A CN110213587 A CN 110213587A CN 201910610948 A CN201910610948 A CN 201910610948A CN 110213587 A CN110213587 A CN 110213587A
Authority
CN
China
Prior art keywords
video
area
video frame
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910610948.1A
Other languages
English (en)
Inventor
张元尊
郑云飞
闻兴
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910610948.1A priority Critical patent/CN110213587A/zh
Publication of CN110213587A publication Critical patent/CN110213587A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开关于一种视频编码方法、装置、电子设备及存储介质，属于视频处理技术领域。所述方法包括：获取待编码的视频，所述视频包括多个第一视频帧；对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异；对所述多个第二视频帧进行编码，得到编码后的视频。本公开可以节省编码比特数，减少传输时网络带宽的消耗。

Description

视频编码方法、装置、电子设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频编码方法、装置、电子设备及存储介质。
背景技术
视频直播目前已经有很多的受众，利用视频编码技术提供清晰、画面流畅的直播视频对用户的观看体验至关重要。
相关技术中，视频编码方法如下：终端在获取待编码的视频时，对视频的视频帧直接采用一定的编码比特数进行编码，得到的视频整体上能够呈现出比较清晰的画面。
上述技术对视频帧进行编码时，采用的编码比特数较多，在传输时需要消耗较多的网络带宽。
发明内容
本公开提供一种视频编码方法、装置、电子设备及存储介质，以至少解决相关技术中编码比特数较多、需要消耗较多的网络带宽的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频编码方法，包括：
获取待编码的视频，所述视频包括多个第一视频帧；
对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异；
对所述多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，包括：
对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到所述多个第二视频帧。
在一种可能实现方式中，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到所述多个第二视频帧，包括：
对所述多个第一视频帧进行低通滤波处理，得到多个第三视频帧；
对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；
其中，第一视频帧中感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大，第三视频帧中感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越小。
在一种可能实现方式中，所述除感兴趣区域以外的区域的局部区域用于显示文字，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧之后，所述方法还包括：
对所述多个第二视频帧中的所述局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑程度越重；
所述对所述多个第二视频帧进行编码，得到编码后的视频，包括：
对所述加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，所述对所述多个第二视频帧中的所述局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，包括：
将所述多个第二视频帧乘以加黑系数，得到加黑处理后的多个第二视频帧；
其中，所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1，所述多个第二视频帧中所述局部区域内的像素点的加黑系数小于1，且所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
在一种可能实现方式中，所述低通滤波为高斯滤波，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，包括：
采用不同标准差的高斯滤波，对所述多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
在一种可能实现方式中，所述视频为任一用户的直播视频，所述感兴趣区域为所述用户的显示区域。
根据本公开实施例的第二方面，提供一种视频编码装置，包括：
获取单元，被配置为执行获取待编码的视频，所述视频包括多个第一视频帧；
处理单元，被配置为执行对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异；
编码单元，被配置为执行对所述多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，所述处理单元被配置为执行对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到所述多个第二视频帧。
在一种可能实现方式中，所述处理单元被配置为执行：
对所述多个第一视频帧进行低通滤波处理，得到多个第三视频帧；
对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；
其中，第一视频帧中感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大，第三视频帧中感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越小。
在一种可能实现方式中，所述除感兴趣区域以外的区域的局部区域用于显示文字，所述处理单元还被配置为执行对所述多个第二视频帧中的所述局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑程度越重；
所述编码单元被配置为执行对所述加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，所述处理单元被配置为执行将所述多个第二视频帧乘以加黑系数，得到加黑处理后的多个第二视频帧；
其中，所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1，所述多个第二视频帧中所述局部区域内的像素点的加黑系数小于1，且所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
在一种可能实现方式中，所述低通滤波为高斯滤波，所述处理单元被配置为执行采用不同标准差的高斯滤波，对所述多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
在一种可能实现方式中，所述视频为任一用户的直播视频，所述感兴趣区域为所述用户的显示区域。
根据本公开实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行所述指令，以实现如第一方面或第一方面的任一种可能实现方式所述的视频编码方法。
根据本公开实施例的第四方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面或第一方面的任一种可能实现方式所述的视频编码方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面或第一方面的任一种可能实现方式所述的视频编码方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过在对视频进行编码之前，对视频中感兴趣区域以外的区域进行平滑处理，使得该区域内的每个像素点与邻域像素点之间的像素值差异变小，这样在编码时由于非感兴趣区域内的各个像素点与邻域像素点之间的像素值差异变小，也即是，高频信息减少，从而可以使用较少的比特数来编码，从整体上可以节省编码比特数，减少传输时网络带宽的消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频编码方法的流程图。
图2是根据一示例性实施例示出的一种视频编码方法的流程图。
图3是根据一示例性实施例示出的一种用户界面的示意图。
图4是根据一示例性实施例示出的一种用户界面中区域划分的示意图。
图5是根据一示例性实施例示出的一种视频编码装置的框图。
图6是根据一示例性实施例示出的一种终端600的框图。
图7是根据一示例性实施例示出的一种服务器700的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频编码方法的流程图，如图1所示，视频编码方法用于电子设备中，该电子设备可以是终端，也可以是服务器，包括以下步骤：
在步骤S11中，获取待编码的视频，该视频包括多个第一视频帧。
在步骤S12中，对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，该平滑处理用于减小该区域内的每个像素点与邻域像素点之间的像素值差异。
在步骤S13中，对该多个第二视频帧进行编码，得到编码后的该视频。
本公开实施例提供的方法，通过在对视频进行编码之前，对视频中感兴趣区域以外的区域进行平滑处理，使得该区域内的每个像素点与邻域像素点之间的像素值差异变小，这样在编码时由于非感兴趣区域内的各个像素点与邻域像素点之间的像素值差异变小，也即是，高频信息减少，从而可以使用较少的比特数来编码，从整体上可以节省编码比特数，减少传输时网络带宽的消耗。
在一种可能实现方式中，该对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，包括：
对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到该多个第二视频帧。
在一种可能实现方式中，该对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到该多个第二视频帧，包括：
对该多个第一视频帧进行低通滤波处理，得到多个第三视频帧；
对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；
其中，第一视频帧中感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大，第三视频帧中感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越小。
在一种可能实现方式中，该除感兴趣区域以外的区域的局部区域用于显示文字，该对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧之后，该方法还包括：
对该多个第二视频帧中的该局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度越重；
该对该多个第二视频帧进行编码，得到编码后的视频，包括：
对该加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，该对该多个第二视频帧中的该局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，包括：
将该多个第二视频帧乘以加黑系数，得到加黑处理后的多个第二视频帧；
其中，该多个第二视频帧中该感兴趣区域内的像素点的加黑系数为1，该多个第二视频帧中该局部区域内的像素点的加黑系数小于1，且该局部区域内与该感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
在一种可能实现方式中，该低通滤波为高斯滤波，该对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，包括：
采用不同标准差的高斯滤波，对该多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与该感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
在一种可能实现方式中，该视频为任一用户的直播视频，该感兴趣区域为该用户的显示区域。
图2是根据一示例性实施例示出的一种视频编码方法的流程图，如图2所示，视频编码方法用于电子设备中，该电子设备可以是终端，也可以是服务器，以视频编码方法用于终端中为例，包括以下步骤：
在步骤S21中，获取待编码的视频，该视频包括多个第一视频帧。
本公开实施例中，以直播场景为例，待编码的视频可以是任一用户的直播视频，如主播用户可以利用终端上安装的直播应用进行直播，在直播过程中，终端可以进行视频采集，得到待编码的视频，例如，终端可以按照一定的帧率，采集连续的多个视频帧，为了便于描述，将终端采集到的视频帧称为第一视频帧，将多个第一视频帧构成的视频作为待编码的视频。
对于每个第一视频帧，该第一视频帧中包括感兴趣区域(Region of Interest，ROI)和感兴趣区域以外的区域，该感兴趣区域为感兴趣对象的显示区域，针对该视频为任一用户的直播视频，该感兴趣对象可以为该用户(主播用户)，相应地，该感兴趣区域为该用户的显示区域。
参见图3，示出了一种用户界面的示意图，图3所示的用户界面(User Interface，UI)是直播视频的显示界面，也称为直播界面，直播视频的每个视频帧均可以呈现图3所示的直播界面，该直播界面的顶部区域可以包括主播标识区域和在线观众头像区域，其中，主播标识区域一般显示的是主播的头像、用户名、被点赞次数等信息。在线观众头像区域则可以包括当前在线观看的部分观众的头像、在线观看人数、退出直播按钮等。该直播界面的中间区域是直播界面中较为显著的区域(主播显著区域)，即用户关注的区域。该直播界面的底部区域包括留言评论区域、点赞显示区域和功能按钮区域，其中，留言评论区域可以包括平台公告、观众用户的文字留言、观众用户送礼物的提示、观众用户输入文字的输入框等，功能按钮区域则包括分享直播的按钮、送礼物的按钮等，点赞显示区域则显示点赞信息，点赞的用户越多此区域画面被遮挡的越多。
在图4中，用户关注的区域是直播界面的中间区域，其余的几个区域都会对画面造成遮挡，观看直播的用户对画面被遮挡的区域并不会显著的关注，所以被遮挡的部分是用户不感兴趣的区域。基于此，参见图4，提供了一种用户界面中区域划分的示意图，如图4所示，可以将直播界面中的中间部分划分为用户感兴趣的区域，也称为显著区域，将直播界面中的顶部和底部划分为用户不感兴趣的区域，也称为非显著区域，基于这种划分方式，感兴趣区域为图4中的显著区域，除感兴趣区域以外的区域为图4中的两个非显著区域。
在步骤S22中，对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到多个第二视频帧。
其中，低通滤波处理用于减少高频信息，也即是减小像素点与邻域像素点之间的像素值差异。
本公开实施例中，对于多个第一视频帧中的每个第一视频帧，终端可以采用低通滤波，如高斯滤波，对该第一视频帧中除感兴趣区域以外的区域进行处理，使得该区域的高频信息减少，从而可以使用较少的比特数来进行编码。
低通滤波处理的原理是将像素点的像素值用该像素点和其邻域像素点的像素值的加权平均结果来代替，相应地，在一种可能实现方式中，该对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，包括：将该多个第一视频帧中除感兴趣区域以外的区域内的像素点的像素值调整为加权平均像素值，该加权平均像素值通过对像素点和邻域像素点的像素值进行加权平均得到。
对于除感兴趣区域以外的区域内的每个像素点，终端可以采用低通滤波函数，使用该像素点和其邻域像素点的像素值的加权平均结果来代替该像素点的像素值，使得各个像素点与其邻域像素点的像素值差异不会太大。
考虑到终端对除感兴趣区域以外的区域直接进行低通滤波处理会使得感兴趣区域(图4中的显著区域)和除感兴趣区域以外的区域(图4中的非显著区域)的边界过渡不自然，因此，终端可以在除感兴趣区域以外的区域采用渐变的低通滤波进行处理。
针对渐变的低通滤波处理，在一种可能实现方式中，该步骤S22可以包括：对该多个第一视频帧进行低通滤波处理，得到多个第三视频帧；对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；其中，第一视频帧中该感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域的距离越近加权系数越大，第三视频帧中该感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离该感兴趣区域越近加权系数越小。
对于多个第一视频帧中的每个第一视频帧，终端可以采用某一标准差的低通滤波，对该第一视频帧进行处理，将得到的视频帧作为第三视频帧，终端可以对该第一视频帧和该第三视频帧进行加权求和，第一视频帧和第三视频帧均可以作为一个像素矩阵，相应地，第一视频帧和第三视频帧的加权系数均可以是一个加权系数矩阵，该加权系数矩阵中的每个元素用于表示视频帧中一个像素点的加权系数。对于第一视频帧而言，该第一视频帧中越靠近感兴趣区域的像素点的加权系数越大，越远离感兴趣区域的像素点的加权系数越小，以图4所示的区域分布为例，越靠近显著区域的像素点的加权系数越大，越靠近顶部或底部的像素点的加权系数越小。由于第一视频帧和第二视频帧中对应像素点的加权系数之后为1，对于第二视频帧而言，该第二视频帧中越靠近感兴趣区域的像素点的加权系数越小，越靠近顶部或底部的像素点的加权系数越大。
在一种可能实现方式中，该除感兴趣区域以外的区域包括第一区域和第二区域，该第一区域的下边界与该感兴趣区域的上边界重合，该第二区域的上边界与该感兴趣区域的下边界重合，该第一区域、该第二区域和该感兴趣区域的左边界和右边界分别重合；
相应地，该对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧，包括：应用下述公式，得到每个第一视频帧对应的第二视频帧：
Iout1＝Wl(h)*I+(1-Wl(h))*G(I,σ)
其中，Iout1为第二视频帧，I为第一视频帧，Wl(h)为第一视频帧中像素点的加权系数，G(I,σ)为第三视频帧，(1-Wl(h))为第三视频帧中像素点的加权系数，σ为滤波参数，h为像素点在二维坐标系中y轴的坐标，该二维坐标系的原点位于该第一区域的左上角，该第一区域的上边界位于该二维坐标系的x轴上，该第一区域的左边界位于该二维坐标系的y轴上；
其中，Wl(h)表示如下：
其中，H1为该第一区域的下边界到该二维坐标系的x轴的距离，H2为该第二区域的上边界到该二维坐标系的x轴的距离，H为该第二区域的下边界到该二维坐标系的x轴的距离。
如图4所示，感兴趣区域为图4中间的显著区域，第一区域为显著区域上面的一个非显著区域，第二区域为显著区域下面的一个非显著区域。在图4中，将直播画面放入到二维坐标系中，左上角为坐标系的原点，横向向右为x轴，纵向向下为y轴，视频帧所呈现的画面的宽度为w、高度为H，第一区域、第二区域和感兴趣区域的宽度为w，第一区域的高度为H1，第二区域的高度为H-H2。
通过采用低通滤波处理后的视频帧与原始视频帧进行加权处理，加权参数根据像素点所在位置进行变化，从而实现渐变的低通滤波处理，可以保证处理后的视频帧中感兴趣区域和除感兴趣区域以外的区域的边界过渡较自然。
在一种可能实现方式中，该除感兴趣区域以外的区域的局部区域用于显示文字，终端对该多个第一视频帧中除感兴趣区域以外的区域内像素点的像素值进行调整，得到多个第二视频帧之后，还可以对该多个第二视频帧中的该局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度越重。
考虑到除感兴趣区域以外的区域的局部区域可能用于显示文字，如图1中的留言评论区域，为了使用户(如观看直播的用户)能够更清楚的观看该区域内显示的文字，终端可以对该区域进行渐变的加黑处理，即越靠近感兴趣区域加黑程度越轻，越远离感兴趣区域加黑程度越重。然后，终端再对加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
终端对局部区域进行加黑处理是指降低该局部区域内像素点的亮度值，使得该局部区域内的亮度降低，能够更突出在该区域内显示的文字。考虑到终端对该局部区域直接进行加黑处理会使得感兴趣区域(图4中的显著区域)和该局部区域(图4中的非显著区域)的边界过渡不自然，因此，终端可以在该局部区域进行渐变的加黑处理。
具体地，该对该多个第二视频帧中的该局部区域进行加黑处理，得到加黑处理后的该多个第二视频帧，包括：将该多个第二视频帧乘以加黑系数，得到加黑处理后的该多个第二视频帧，该多个第二视频帧中该感兴趣区域内的像素点的加黑系数为1，该多个第二视频帧中该局部区域内的像素点的加黑系数小于1，且该局部区域内与该感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
第二视频帧可以作为一个像素矩阵，相应地，第二视频帧乘以的加黑系数可以是一个加黑系数矩阵，该加权系数矩阵中的每个元素用于表示视频帧中一个像素点的加黑系数。第二视频帧的该局部区域内越靠近感兴趣区域的像素点的加黑系数越大，也即是，加黑程度越轻，越远离感兴趣区域的像素点的加黑系数越小，也即是，加黑程度越重。以图4所示的区域分布为例，越靠近显著区域的像素点的加黑系数越大，越靠近顶部或底部的像素点的加黑系数越小。
在一种可能实现方式中，该局部区域可以是上述的第二区域，相应地，终端将该多个第二视频帧乘以加黑系数，得到加黑处理后的该多个第二视频帧，包括：应用下述公式，得到加黑处理后的该多个第二视频帧：
Iout2＝Wd(h)*Wl(h)*I+1-Wl(h))*G(I,σ))
其中，Iout2为加黑处理后的第二视频帧，Wd(h)为加黑系数，Wd(h)表示如下：
其中，p为预设加黑权重，取值范围为0至1(一般选取为0.7)。
通过在除感兴趣区域以外的区域内对用于显示文字的局部区域进行渐变的加黑处理，不仅能够便于用户更清楚的看到该区域内显示的文字，还能够保证感兴趣区域和该局部区域的边界过渡较自然。
针对渐变的低通滤波处理，在另一种可能实现方式中，低通滤波可以为高斯滤波，该步骤S22可以包括：采用不同标准差的高斯滤波，对该多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与该感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
以高斯滤波为例，终端可以对除感兴趣区域以外的区域内靠近感兴趣区域的像素点采用标准差较小的高斯滤波，在远离感兴趣区域的像素点采用标准差较大的高斯滤波。通过根据像素点所在位置，采用不同标准差的高斯滤波进行处理，从而实现渐变的低通滤波处理，可以保证处理后的视频帧中感兴趣区域和除感兴趣区域以外的区域的边界过渡较自然。
需要说明的是，该步骤S22是对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，该平滑处理用于减小该区域内的每个像素点与邻域像素点之间的像素值差异的一种可能实现方式。通过对非感兴趣区域内的像素点进行低通滤波处理，使得该区域内的高频信息减少，从而可以使用较少的比特数来编码，从整体上可以节省编码比特数。
在步骤S23中，对多个第二视频帧进行编码，得到编码后的该视频。
其中，编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，如将视频帧转换为视频流。
本公开实施例中，终端对视频的原始的多个第一视频帧进行处理，得到多个第二视频帧后，可以对该多个第二视频帧进行编码。由于多个第二视频帧经过低通滤波处理得到，除感兴趣区域以外的区域内的高频信息减少，这样可以采用较少的编码比特数进行编码。
针对步骤S21中对第二视频帧进行加黑处理，在该步骤S23中终端可以对加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
以直播场景为例，该终端为主播用户所在终端，该终端在得到编码后的直播视频后，可以将直播视频发送给提供直播服务的服务器，由服务器将直播视频发送给各个观众用户所在终端进行播放。
上述技术方案介绍了一种基于用户界面中感兴趣区域的视频处理技术，该技术应用在直播场景时，可以提升直播视频编码后的画面质量并节省直播的带宽，该技术通过对视频中除感兴趣区域以外的区域进行低通滤波处理，使得编码时较多的码率分配给用户感兴趣的区域，较少的码率分配给用户不感兴趣的区域，可以从整体上节省编码比特数，进而减少直播的带宽。同时相比于除感兴趣区域以外的区域，分配较多码率的感兴趣区域能呈现出更清晰的画面。如图4所示，提供了一种直播界面的示意图，图4中左边的图为未应用本方案的直播界面，右边的图是应用了本方案的直播界面。在本方案的直播界面中，顶部区域和低部区域显得较为模糊，中间区域较为清晰，另外，对应步骤S22中进行加黑处理的方式，越靠近界面底部的地方加黑效果越重。
本公开实施例提供的方法，通过在对视频进行编码之前，对视频中感兴趣区域以外的区域进行平滑处理，使得该区域内的每个像素点与邻域像素点之间的像素值差异变小，这样在编码时由于非感兴趣区域内的各个像素点与邻域像素点之间的像素值差异变小，也即是，高频信息减少，从而可以使用较少的比特数来编码，从整体上可以节省编码比特数，减少传输时网络带宽的消耗。
图5是根据一示例性实施例示出的一种视频编码装置的框图。参照图5，该装置包括获取单元501、处理单元502和编码单元503。
该获取单元501被配置为执行获取待编码的视频，该视频包括多个第一视频帧；
该处理单元502被配置为执行对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，该平滑处理用于减小该区域内的每个像素点与邻域像素点之间的像素值差异；
该编码单元503被配置为执行对该多个第二视频帧进行编码，得到编码后的该视频。
在一种可能实现方式中，该处理单元被配置为执行对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到该多个第二视频帧。
在一种可能实现方式中，该处理单元被配置为执行：
对该多个第一视频帧进行低通滤波处理，得到多个第三视频帧；
对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；
其中，第一视频帧中感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大，第三视频帧中感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越小。
在一种可能实现方式中，该除感兴趣区域以外的区域的局部区域用于显示文字，该处理单元还被配置为执行对该多个第二视频帧中的该局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度越重；
该编码单元被配置为执行对该加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
在一种可能实现方式中，该处理单元被配置为执行将该多个第二视频帧乘以加黑系数，得到加黑处理后的多个第二视频帧；
其中，该多个第二视频帧中该感兴趣区域内的像素点的加黑系数为1，该多个第二视频帧中该局部区域内的像素点的加黑系数小于1，且该局部区域内与该感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
在一种可能实现方式中，该低通滤波为高斯滤波，该处理单元被配置为执行采用不同标准差的高斯滤波，对该多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与该感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
在一种可能实现方式中，该视频为任一用户的直播视频，该感兴趣区域为该用户的显示区域。
本公开实施例中，通过在对视频进行编码之前，对视频中感兴趣区域以外的区域进行平滑处理，使得该区域内的每个像素点与邻域像素点之间的像素值差异变小，这样在编码时由于非感兴趣区域内的各个像素点与邻域像素点之间的像素值差异变小，也即是，高频信息减少，从而可以使用较少的比特数来编码，从整体上可以节省编码比特数，减少传输时网络带宽的消耗。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种终端600的框图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的视频编码方法。
在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由终端600的处理器601执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品中的指令可由终端600的处理器601执行以完成上述方法。
图7是根据一示例性实施例示出的一种服务器700的框图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)701和一个或一个以上的存储器702，其中，该存储器702中存储有至少一条指令，该至少一条指令由该处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器702，上述指令可由服务器700的处理器701执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品中的指令可由服务器700的处理器701执行以完成上述方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频编码方法，其特征在于，包括：
获取待编码的视频，所述视频包括多个第一视频帧；
对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异；
对所述多个第二视频帧进行编码，得到编码后的视频。
2.根据权利要求1所述的视频编码方法，其特征在于，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，包括：
对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到所述多个第二视频帧。
3.根据权利要求2所述的视频编码方法，其特征在于，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，得到所述多个第二视频帧，包括：
对所述多个第一视频帧进行低通滤波处理，得到多个第三视频帧；
对每个第一视频帧以及对应的第三视频帧进行加权处理，得到每个第一视频帧对应的第二视频帧；
其中，第一视频帧中感兴趣区域内的像素点的加权系数为1，且第一视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大，第三视频帧中感兴趣区域内的像素点的加权系数为0，且第三视频帧中除感兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越小。
4.根据权利要求1至3任一项所述的视频编码方法，其特征在于，所述除感兴趣区域以外的区域的局部区域用于显示文字，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧之后，所述方法还包括：
对所述多个第二视频帧中的所述局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑程度越重；
所述对所述多个第二视频帧进行编码，得到编码后的视频，包括：
对所述加黑处理后的多个第二视频帧进行编码，得到编码后的视频。
5.根据权利要求4所述的视频编码方法，其特征在于，所述对所述多个第二视频帧中的所述局部区域进行加黑处理，得到加黑处理后的多个第二视频帧，包括：
将所述多个第二视频帧乘以加黑系数，得到加黑处理后的多个第二视频帧；
其中，所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1，所述多个第二视频帧中所述局部区域内的像素点的加黑系数小于1，且所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑系数越小，加黑系数越小加黑程度越重。
6.根据权利要求2所述的视频编码方法，其特征在于，所述低通滤波为高斯滤波，所述对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理，包括：
采用不同标准差的高斯滤波，对所述多个第一视频帧中除感兴趣区域以外的区域内的不同像素点进行处理，与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。
7.根据权利要求1所述的视频编码方法，其特征在于，所述视频为任一用户的直播视频，所述感兴趣区域为所述用户的显示区域。
8.一种视频编码装置，其特征在于，包括：
获取单元，被配置为执行获取待编码的视频，所述视频包括多个第一视频帧；
处理单元，被配置为执行对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理，得到多个第二视频帧，所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异；
编码单元，被配置为执行对所述多个第二视频帧进行编码，得到编码后的视频。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频编码方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的视频编码方法。
CN201910610948.1A 2019-07-08 2019-07-08 视频编码方法、装置、电子设备及存储介质 Pending CN110213587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610948.1A CN110213587A (zh) 2019-07-08 2019-07-08 视频编码方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610948.1A CN110213587A (zh) 2019-07-08 2019-07-08 视频编码方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110213587A true CN110213587A (zh) 2019-09-06

Family

ID=67796663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610948.1A Pending CN110213587A (zh) 2019-07-08 2019-07-08 视频编码方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110213587A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050190A (zh) * 2019-12-31 2020-04-21 广州酷狗计算机科技有限公司 直播视频流的编码方法、装置、设备及存储介质
CN112261408A (zh) * 2020-09-16 2021-01-22 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN114339222A (zh) * 2021-12-20 2022-04-12 杭州当虹科技股份有限公司 视频编码方法
CN114565966A (zh) * 2022-04-26 2022-05-31 全时云商务服务股份有限公司 一种人脸视频图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN103152569A (zh) * 2013-02-28 2013-06-12 哈尔滨工业大学 一种基于深度信息的视频感兴趣区域压缩方法
CN104967914A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN103152569A (zh) * 2013-02-28 2013-06-12 哈尔滨工业大学 一种基于深度信息的视频感兴趣区域压缩方法
CN104967914A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
能有伦等: "《机器人学 建模、控制与视觉》", 31 March 2018 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050190A (zh) * 2019-12-31 2020-04-21 广州酷狗计算机科技有限公司 直播视频流的编码方法、装置、设备及存储介质
CN111050190B (zh) * 2019-12-31 2022-02-18 广州酷狗计算机科技有限公司 直播视频流的编码方法、装置、设备及存储介质
CN112261408A (zh) * 2020-09-16 2021-01-22 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
WO2022057782A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
CN112261408B (zh) * 2020-09-16 2023-04-25 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN112954398B (zh) * 2021-02-07 2023-03-24 杭州网易智企科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN114339222A (zh) * 2021-12-20 2022-04-12 杭州当虹科技股份有限公司 视频编码方法
CN114565966A (zh) * 2022-04-26 2022-05-31 全时云商务服务股份有限公司 一种人脸视频图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN110213587A (zh) 视频编码方法、装置、电子设备及存储介质
CN110062252A (zh) 直播方法、装置、终端及存储介质
EP3742727B1 (en) Video encoding method, device, apparatus and storage medium
CN110244998A (zh) 页面背景、直播页面背景的设置方法、装置及存储介质
CN110139142A (zh) 虚拟物品显示方法、装置、终端及存储介质
CN109191549A (zh) 显示动画的方法及装置
CN108401124A (zh) 视频录制的方法和装置
CN112533017B (zh) 直播方法、装置、终端及存储介质
CN108966008A (zh) 直播视频回放方法及装置
CN110427110A (zh) 一种直播方法、装置以及直播服务器
CN109120933B (zh) 动态调整码率的方法、装置、设备及存储介质
CN108449641A (zh) 播放媒体流的方法、装置、计算机设备和存储介质
CN109285178A (zh) 图像分割方法、装置及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN112363660B (zh) 封面图像的确定方法、装置、电子设备及存储介质
CN110149517A (zh) 视频处理的方法、装置、电子设备及计算机存储介质
CN109035180A (zh) 视频播放方法、装置、设备及存储介质
CN109168032B (zh) 视频数据的处理方法、终端、服务器及存储介质
CN111586413B (zh) 视频调整方法、装置、计算机设备及存储介质
CN109325924A (zh) 图像处理方法、装置、终端及存储介质
CN110139143A (zh) 虚拟物品显示方法、装置、计算机设备以及存储介质
CN108965711B (zh) 视频处理方法及装置
CN107911738A (zh) 一种制作表情礼物的方法和装置
CN113230655A (zh) 虚拟对象的控制方法、装置、设备、系统及可读存储介质
CN108848405A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication