CN110784716B - 媒体数据处理方法、装置及介质 - Google Patents
媒体数据处理方法、装置及介质 Download PDFInfo
- Publication number
- CN110784716B CN110784716B CN201910763507.5A CN201910763507A CN110784716B CN 110784716 B CN110784716 B CN 110784716B CN 201910763507 A CN201910763507 A CN 201910763507A CN 110784716 B CN110784716 B CN 110784716B
- Authority
- CN
- China
- Prior art keywords
- media data
- macro block
- target
- saliency
- saliency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 80
- 238000004891 communication Methods 0.000 claims description 24
- 238000013139 quantization Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 241000272194 Ciconiiformes Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Abstract
本发明实施例公开了媒体数据处理方法、装置及介质，所述方法包括：对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，各个宏块的显著度信息用于指示该宏块所包含的各个像素点的重要等级；根据目标宏块的显著度信息，获取目标宏块的编码参数，目标宏块为至少一个宏块中的任一宏块；根据目标宏块的编码参数，对目标宏块进行编码，得到编码后的媒体数据。采用本发明实施例，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同宏块进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
Description
技术领域
本发明涉及互联网技术领域，具体涉及媒体数据处理方法、装置及介质。
背景技术
随着技术的发展和内容的更新，如今视频或图像等媒体数据已经成为人们日常娱乐生活中不可或缺的一部分。人们对上述媒体数据的质量要求越来越高。以媒体数据为视频为例，在视频的清晰度不断提升的同时，视频的数据量也越来越大，通信网络中视频的数据量正在几何式增长。当通信网络状况不佳时，视频的码率过高会引起卡顿。但是，如果降低视频的码率，会导致视频的质量较差。基于此，提出了如下技术方案：对媒体数据进行目标检测，检测出目标对象，然后将媒体数据中目标对象所在的区域作为人眼感兴趣的区域，即感兴趣区域(Region of Interest，ROI)，然后通过对ROI进行编码增强，以及降低非ROI的质量的方式，减小媒体数据的数据量。
但是上述方式忽略了ROI内部的信息特征，例如一个人物，我们可能更关注其面部和一些装饰，而忽略其衣服上的一些纹理特征。但目标检测并不能将ROI内部的不同像素点区分对待，也就更难做到精确性的画面增强，因此其压缩后的媒体数据更容易导致用户关注的区域模糊，或者无法压缩至足够小的数据量。
发明内容
本发明实施例提供了媒体数据处理方法、装置及介质，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同宏块进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
为了解决上述技术问题，第一方面，本发明实施例提供了一种媒体数据处理方法，所述方法包括：
对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，各个所述宏块的显著度信息用于指示所述宏块所包含的各个像素点的重要等级；
根据目标宏块的显著度信息，获取所述目标宏块的编码参数，所述目标宏块为所述至少一个宏块中的任一宏块；
根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据。
第二方面，本发明实施例提供了一种媒体数据处理装置，所述装置包括用于执行第一方面所述的方法的单元。
第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的方法。
第四方面，本发明实施例提供了一种媒体数据处理装置，该装置包括：处理器、存储器和通信接口，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以用于执行如第一方面所述的方法。
实施本发明实施例，通过对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，根据目标宏块的显著度信息，获取目标宏块的编码参数，根据目标宏块的编码参数，对目标宏块进行编码，得到编码后的媒体数据，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同宏块进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种媒体数据处理装置的架构示意图；
图2为本发明实施例提供的一种媒体数据的示意图；
图3为本发明实施例提供的一种显著度信息的示意图；
图4为本发明实施例提供的一种媒体数据处理方法的流程示意图；
图5为本发明实施例提供的另一种媒体数据处理方法的流程示意图；
图6为本发明实施例提供的一种媒体数据处理的场景示意图；
图7为本发明实施例提供的另一种媒体数据处理的场景示意图；
图8为本发明实施例提供的一种媒体数据处理装置的结构示意图；
图9为本发明实施例提供的另一种媒体数据处理装置的结构示意图。
具体实施方式
以图1所示的媒体数据处理装置的架构示意图为例，媒体数据处理装置可以包括显著度检测模块101，数据处理模块102以及编码模块103。
显著度检测模块101对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，然后显著度检测模块101将各个宏块的显著度信息发送给数据处理模块102。数据处理模块102根据各个宏块的显著度信息，获取该宏块的编码参数，然后数据处理模块102将各个宏块的编码参数发送给编码模块103。编码模块103根据各个宏块的编码参数对该宏块进行编码，得到编码后的媒体数据。
其中，媒体数据可以为视频数据或者图像数据。当媒体数据为视频数据时，媒体数据处理装置可以对视频数据进行帧切割，得到多帧图像数据，然后将每帧图像数据分别输入至显著度检测模块101。当媒体数据为图像数据时，媒体数据处理装置可以直接将该图像数据输入至显著度检测模块101。
其中，显著度检测指的是根据颜色、亮度、方位以及运动特征等维度，通过智能算法模拟人的视觉特点，提取媒体数据中各个像素点的显著特性。
其中，各个宏块的显著度信息可以用于指示该宏块中各个像素点的重要等级。显著度信息可以为灰度值图片，热度值图片，或用于表征媒体数据中各个像素点的重要等级的信息。以显著度信息为灰度值图片为例，灰度值图片中的灰度值在0-256范围内，灰度值图片中某一区域的灰度值越大，表示该区域对应的像素点对用户的观看体验越重要。
其中，媒体数据处理装置可以运行在终端设备中，也可以运行在终端设备安装的客户端中，还可以运行在服务器中，服务器可以为视频播放服务器、游戏服务器或者图库等，例如腾讯视频服务器或者企鹅电竞服务器等。例如，终端设备在显示屏幕中显示视频、图片或者游戏等数据时，终端设备中安装的客户端可以通过屏幕截图的方式获取媒体数据，进而通过本申请实施例公开的媒体数据处理方法对该媒体数据进行处理，得到编码后的媒体数据，客户端在接收到该媒体数据的获取请求时，可以输出编码后的媒体数据。又如，服务器中存储了大量媒体数据，服务器可以通过本申请实施例公开的媒体数据处理方法对任一媒体数据进行处理，得到编码后的媒体数据，服务器在接收到客户端发送的媒体数据的获取请求时，可以向客户端发送编码后的媒体数据。
以图2所示的媒体数据的示意图为例，该媒体数据为图像数据，图像数据包括一头大象，树木，以及大地。通过模拟人的视觉特点，可以发现用户较为关注大象及其细节，容易忽略树木、大地、大象的轮廓及其阴影部分。通过显著度检测得到的媒体数据的显著度信息可以如图3所示，图3中的显著度信息以灰度值图片呈现，在该灰度值图片中，某一像素点的灰度值越大，表示用户对该像素点的观看体验越重要，即该像素点的重要等级越高。图3所示的灰度值图片中偏白色的区域所包含的像素点对用户的观看体验的重要程度较高，偏黑色的区域所包含的像素点对用户的观看体验的重要程度较低。
传统的媒体数据处理方法对媒体数据进行目标检测，检测出目标对象，然后将媒体数据中目标对象所在的区域作为人眼感兴趣的区域，即ROI，然后通过对ROI进行编码增强，以及降低非ROI的质量的方式，减小媒体数据的数据量。但是上述方式对于ROI内部不进行区分，即ROI内部的重要程度相同。这实际上就忽略了ROI内部的信息特征，例如一个人物，我们可能更关注其面部和一些装饰，而忽略其衣服上的一些纹理特征。但目标检测并不能将ROI内部的不同特征部分区分对待，也就更难做到精确性的画面增强。此外，同一个目标的摆放位置，背景色彩都会影响对这个目标的关注程度，而上述方式并没有考虑这些因素，因此其压缩后的媒体数据更容易导致用户关注的区域模糊或者无法压缩至足够小的体积。
随着对媒体数据的深入研究，发现用户在观看媒体数据时，往往只关注媒体数据的某些部分，而自动会忽略媒体数据的其他部分，例如在一副人物肖像图片中，人们会更关注这个人物和其细节，而忽略其背景的天空细节等。在观看这样的媒体数据中，人的视觉也会对人物部分的质量要求更高，而对天空部分的质量要求不高。基于此，本申请实施例通过对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，根据目标宏块的显著度信息，获取目标宏块的编码参数，根据目标宏块的编码参数，对目标宏块进行编码，得到编码后的媒体数据。由于显著度检测指的是根据颜色、亮度、方位以及运动特征等维度，通过智能算法模拟人的视觉特点，提取媒体数据中各个像素点的显著特性，因此通过显著度检测可区分出各ROI的重要程度，也能在同一个ROI中表征出各个不同像素点的重要程度，使得媒体数据中用户更关注的画面区域质量更高，降低用户不关注的区域质量。优化后的媒体数据在视觉效果不变的情况下，减小了媒体数据的数据量，或者在相同码率下，用户的体验质量(Quality of Experience，QoE)更高。
基于上述描述，本发明实施例提出一种如图4所示的媒体数据处理方法，该媒体数据处理方法可以包括以下步骤S401-S403：
S401，对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，各个所述宏块的显著度信息用于指示所述宏块中各个像素点的重要等级。
宏块(Macro Block，MB)是视频编码技术中的一个基本概念，通过将画面分成一个个大小不同的块来对不同位置实行不同的编码策略，即不同宏块的编码参数不完全相同。在图像编码过程中，媒体数据处理装置以宏块为单位，逐个宏块进行编码，得到编码后的媒体数据。
在一种实现方式中，媒体数据处理装置获取到媒体数据之后，可以对媒体数据进行显著度检测，得到该媒体数据的显著度信息。然后媒体数据处理装置可以将所述媒体数据的显著度信息转换为至少一个宏块的显著度信息。
在一种实现方式中，媒体数据处理装置获取到媒体数据之后，可以获取媒体数据的至少一个宏块，对各个宏块进行显著度检测，得到该宏块的显著度信息。
在一种实现方式中，媒体数据处理装置对媒体数据进行显著度检测，得到至少一个宏块的显著度信息之前，可以获取媒体数据的颜色模式，当媒体数据的颜色模式与预设颜色模式不相同时，媒体数据处理装置可以将媒体数据的颜色模式转换为预设颜色模式，得到转换后的媒体数据，进而对转换后的媒体数据进行显著度检测，得到转换后的媒体数据的至少一个宏块的显著度信息。当媒体数据的颜色模式与预设颜色模式相同时，媒体数据处理装置可以直接对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息。
例如，预设颜色模式为YUV格式，当媒体数据为未经过编码的YUV格式的媒体数据时，媒体数据处理装置可以确定媒体数据的颜色模式为预设颜色模式，进而直接对媒体数据进行显著度检测，得到至少一个宏块的显著度信息。
又如，预设颜色模式为RGB格式，当媒体数据为编码后的MP4格式时，媒体数据处理装置可以确定媒体数据的颜色模式和预设颜色模式不相同，那么媒体数据处理装置可以将媒体数据进行解码处理，得到转换后的媒体数据，转换后的媒体数据的颜色模式为RGB格式，进而媒体数据处理装置可以对转换后的媒体数据进行显著度检测，得到至少一个宏块的显著度信息。
S402，根据目标宏块的显著度信息，获取所述目标宏块的编码参数，所述目标宏块为所述至少一个宏块中的任一宏块。
在一种实现方式中，媒体数据处理装置可以根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
具体实现中，媒体数据处理装置根据当前通信网络的网络质量以及目标宏块的显著度信息，获取目标宏块的编码参数的方式可以包括如下两种：
一、媒体数据处理装置获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；媒体数据处理装置根据所述网络质量以及所述目标宏块的显著度信息，在所述预设编码参数区间中选择所述目标宏块的编码参数，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数。
其中，预设编码参数区间是预先设定的。例如，游戏开发平台希望指定游戏的编码参数在指定编码参数区间内变动，那么游戏开发平台可以在媒体数据处理装置中预先设定编码参数区间，即预设编码参数区间。又如，视频播放服务器希望指定视频的编码参数在指定编码参数区间内变动，那么视频播放服务器可以在媒体数据处理装置中预先设定编码参数区间，即预设编码参数区间。
二、目标宏块的编码参数包括码率、压缩率和量化参数(QuantizationParameter，QP)。媒体数据处理装置通过预设编码参数获取算法对所述网络质量以及所述目标宏块的显著度信息进行处理，得到所述目标宏块的编码参数，其中，所述码率与所述网络质量以及所述目标宏块的显著度信息呈正比例关系，所述压缩率与所述网络质量以及所述目标宏块的显著度信息呈反比例关系，所述量化参数与所述网络质量以及所述目标宏块的显著度信息呈反比例关系。
例如，当网络质量较差时，媒体数据处理装置可以降低码率，并将QP范围的上限提高，降低非关注区域的质量。当网络质量较好时，媒体数据处理装置可以提升码率，并将QP范围的下限降低，提升关注区域的质量。其中关注区域的重要等级高于非关注区域的重要等级。
在一种实现方式中，媒体数据处理装置可以根据所述媒体数据的数据类型以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
具体实现中，媒体数据处理装置根据所述媒体数据的数据类型以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数的方式可以包括如下两种：
一、媒体数据处理装置获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；媒体数据处理装置根据所述媒体数据的数据类型以及所述目标宏块的显著度信息，在所述预设编码参数区间中选择所述目标宏块的编码参数，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数。
二、目标宏块的编码参数包括码率、压缩率和量化参数。媒体数据处理装置通过预设编码参数获取算法对所述媒体数据的数据类型以及所述目标宏块的显著度信息进行处理，得到所述目标宏块的编码参数，其中，所述码率与所述目标宏块的显著度信息呈正比例关系，不同数据类型对应的码率各不相同；所述压缩率与所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的压缩率各不相同；所述量化参数与所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的量化参数各不相同。
在一种实现方式中，媒体数据处理装置可以根据所述媒体数据的数据类型、当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
具体实现中，媒体数据处理装置根据所述媒体数据的数据类型、当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数的方式可以包括如下两种：
一、媒体数据处理装置获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；媒体数据处理装置根据所述媒体数据的数据类型、当前通信网络的网络质量以及所述目标宏块的显著度信息，在所述预设编码参数区间中选择所述目标宏块的编码参数，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数。
二、目标宏块的编码参数包括码率、压缩率和量化参数。媒体数据处理装置通过预设编码参数获取算法对所述媒体数据的数据类型以及所述目标宏块的显著度信息进行处理，得到所述目标宏块的编码参数，其中，所述码率与当前通信网络的网络质量以及所述目标宏块的显著度信息呈正比例关系，不同数据类型对应的码率各不相同；所述压缩率与当前通信网络的网络质量以及所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的压缩率各不相同；所述量化参数与当前通信网络的网络质量以及所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的量化参数各不相同。
传统的媒体数据处理方法没有考虑网络质量对媒体数据播放的影响，无论网络质量较好或者网络质量较差，均采用相同的编码策略，在网络质量较差或者网络质量不稳定的情况下，容易出现抖动卡顿等现象。
而本申请实施例根据当前通信网络的网络质量以及所述目标宏块的显著度信息这两个维度，获取所述目标宏块的编码参数，可自适应地基于网络状况去调节画面中编码参数的分配情况，避免在网络质量较差或者网络质量不稳定的情况下，出现抖动卡顿等现象，有效提升了媒体数据的质量。
S403，根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据。
传统的媒体数据处理方法中，如果需要增强媒体数据中某些区域的细节特征，则需要专门的画面增强处理模块。具体过程为：通过目标识别确定媒体数据中的目标对象之后，通过图像分割技术分割出目标对象的轮廓，并判断其细节特征，再对目标对象进行修复增强，为了达到较高的视觉效果，需要百毫秒以上的处理时间，在对于时延敏感的视频业务，如实时直播、云游戏等系统中则不适用。本申请实施例无需分割出目标对象的轮廓，可通过对媒体数据进行显著性检测，得到各个宏块的显著度信息，根据各个宏块的显著度信息得到该宏块的编码参数，进而根据各个宏块的编码参数对该宏块进行编码，可在确保媒体数据的质量的情况下，减小处理延时。
在一种实现方式中，媒体数据处理装置可以通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
在一种实现方式中，媒体数据处理装置可以根据所述媒体数据，获取转换后的媒体数据，所述转换后的媒体数据的颜色模式为预设颜色模式，然后媒体数据处理装置通过编码器按照所述媒体数据对应的编码模式对所述转换后的媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
在图4所示的实施例中，对媒体数据进行显著度检测，得到媒体数据的至少一个宏块的显著度信息，根据目标宏块的显著度信息，获取目标宏块的编码参数，根据目标宏块的编码参数，对目标宏块进行编码，得到编码后的媒体数据，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同宏块进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
基于上述描述，本发明实施例提出一种如图5所示的媒体数据处理方法，该媒体数据处理方法可以包括以下步骤S501-S505：
S501，获取媒体数据的颜色模式。
S502，当所述媒体数据的颜色模式与预设颜色模式不相同时，将所述媒体数据的颜色模式转换为所述预设颜色模式，得到转换后的媒体数据。
S503，对所述转换后的媒体数据进行显著度检测，得到至少一个宏块的显著度信息。
S504，根据媒体数据的数据类型、当前通信网络的网络质量以及目标宏块的显著度信息，获取目标宏块的编码参数。
S505，通过编码器按照所述媒体数据对应的编码模式对所述转换后的媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
在图5所示的实施例中，将媒体数据的颜色模式转换为预设颜色模式，得到转换后的媒体数据，对转换后的媒体数据进行显著度检测，得到媒体数据的显著度信息，将媒体数据的显著度信息转换为至少一个宏块的显著度信息，根据媒体数据的数据类型、当前通信网络的网络质量以及目标宏块的显著度信息，获取目标宏块的编码参数，通过编码器按照媒体数据对应的编码模式对转换后的媒体数据和目标宏块的编码参数进行处理，得到编码后的媒体数据，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同像素点进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
图4和图5所示的媒体数据处理方法可以应用于视频业务中，包括但不限于腾讯视频、企鹅电竞、微视、各种视频直播或者云游戏等。
以图6所示的媒体数据处理场景示意图为例，针对腾讯视频或者微视等视频业务，媒体数据可以为视频文件，媒体数据处理装置可以为服务器。服务器将获取到的视频文件输入至显著度检测模块，显著度检测模块对视频文件进行处理，输出显著度信息至数据处理模块，服务器获取到的视频文件可以是通过互联网下载得到的，或者是从服务器的本地存储器中获取到的。数据处理模块根据当前网络的网络质量，媒体数据的数据类型以及显著度信息，得到各个宏块的编码参数，数据处理模块将各个宏块的编码参数输入至编码器。编码器根据各个宏块的编码参数对媒体数据进行编码，得到编码后的媒体数据，即优化后的媒体数据。
以图7所示的媒体数据处理场景示意图为例，针对云游戏等视频业务，媒体数据可以为视频文件，媒体数据处理装置可以为客户端。终端设备在显示屏幕中播放视频文件时，客户端可以通过截屏模块对显示屏幕中播放的视频文件进行截屏，得到媒体数据。客户端将获取到的媒体数据输入至显著度检测模块，显著度检测模块对视频文件进行处理，输出显著度信息至数据处理模块。数据处理模块根据当前网络的网络质量，媒体数据的数据类型以及显著度信息，得到各个宏块的编码参数，数据处理模块将各个宏块的编码参数输入至编码器。编码器根据各个宏块的编码参数对媒体数据进行编码，得到编码后的媒体数据，即优化后的媒体数据。
请参见图8，图8是本发明实施例中提供的一种媒体数据处理装置的结构示意图，如图所示本发明实施例中的媒体数据处理装置至少可以包括显著度信息获取单元801、编码参数获取单元802和编码单元803，其中：
显著度信息获取单元801对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，各个所述宏块的显著度信息用于指示所述宏块所包含的各个像素点的重要等级；
编码参数获取单元802根据目标宏块的显著度信息，获取所述目标宏块的编码参数，所述目标宏块为所述至少一个宏块中的任一宏块；
编码单元803根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据。
在一种实现方式中，编码参数获取单元802根据目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
在一种实现方式中，编码参数获取单元802根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；
根据所述网络质量以及所述目标宏块的显著度信息，在所述预设编码参数区间中选择所述目标宏块的编码参数，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数。
在一种实现方式中，所述目标宏块的编码参数包括码率、压缩率和量化参数；
编码参数获取单元802根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
通过预设编码参数获取算法对所述网络质量以及所述目标宏块的显著度信息进行处理，得到所述目标宏块的编码参数，其中，所述码率与所述网络质量以及所述目标宏块的显著度信息呈正比例关系，所述压缩率与所述网络质量以及所述目标宏块的显著度信息呈反比例关系，所述量化参数与所述网络质量以及所述目标宏块的显著度信息呈反比例关系。
在一种实现方式中，编码参数获取单元802根据目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
根据所述媒体数据的数据类型以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
在一种实现方式中，媒体数据处理装置还可以包括颜色模式获取单元804以及转换单元805，其中
颜色模式获取单元804在显著度信息获取单元801对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息之前，获取所述媒体数据的颜色模式；
当所述媒体数据的颜色模式与预设颜色模式不相同时，转换单元805将所述媒体数据的颜色模式转换为所述预设颜色模式，得到转换后的媒体数据；
所述显著度信息获取单元801对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，包括：
对所述转换后的媒体数据进行显著度检测，得到所述转换后的媒体数据的至少一个宏块的显著度信息。
在一种实现方式中，编码单元803根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据，包括：
通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
在一种实现方式中，所述编码单元803通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据，包括：
根据所述媒体数据，获取转换后的媒体数据，所述转换后的媒体数据的颜色模式为预设颜色模式；
通过编码器按照所述媒体数据对应的编码模式对所述转换后的媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
本发明实施例中，显著度信息获取单元801对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，编码参数获取单元802根据目标宏块的显著度信息，获取所述目标宏块的编码参数，编码单元803根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据，可根据媒体数据中各个像素点的重要等级，使用不同编码参数对不同像素点进行编码，在确保媒体数据的质量的情况下，有效减少媒体数据的数据量。
请参见图9，图9为本发明实施例提供的另一种媒体数据处理装置的结构示意图，本发明实施例提供的媒体数据处理装置可以用于实施上述图4或图5所示的本发明实施例实现的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照图4或图5所示的本发明实施例。
如图9所示，该媒体数据处理装置包括：至少一个处理器901，例如CPU，，存储器902，至少一个通信总线903。其中，通信总线903用于实现这些组件之间的连接通信。其中，存储器902可能包含高速RAM存储器，也可能还包括非不稳定的存储器，例如至少一个磁盘存储器，具体用于存储媒体数据等。存储器902可选的可以包含至少一个位于远离前述处理器901的存储装置。存储器902中存储一组程序代码，且处理器901调用存储器902中存储的程序代码，用于执行以下操作：
对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，各个所述宏块的显著度信息用于指示所述宏块所包含的各个像素点的重要等级；
根据目标宏块的显著度信息，获取所述目标宏块的编码参数，所述目标宏块为所述至少一个宏块中的任一宏块；
根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据。
在一种实现方式中，所述处理器901根据目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
在一种实现方式中，所述处理器901根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；
根据所述网络质量以及所述目标宏块的显著度信息，在所述预设编码参数区间中选择所述目标宏块的编码参数，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数。
在一种实现方式中，所述目标宏块的编码参数包括码率、压缩率和量化参数；
所述处理器901根据当前通信网络的网络质量以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
通过预设编码参数获取算法对所述网络质量以及所述目标宏块的显著度信息进行处理，得到所述目标宏块的编码参数，其中，所述码率与所述网络质量以及所述目标宏块的显著度信息呈正比例关系，所述压缩率与所述网络质量以及所述目标宏块的显著度信息呈反比例关系，所述量化参数与所述网络质量以及所述目标宏块的显著度信息呈反比例关系。
在一种实现方式中，所述处理器901根据目标宏块的显著度信息，获取所述目标宏块的编码参数，包括：
根据所述媒体数据的数据类型以及所述目标宏块的显著度信息，获取所述目标宏块的编码参数。
在一种实现方式中，所述处理器901对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息之前，还包括：
获取所述媒体数据的颜色模式；
当所述媒体数据的颜色模式与预设颜色模式不相同时，将所述媒体数据的颜色模式转换为所述预设颜色模式，得到转换后的媒体数据；
所述处理器901对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，包括：
对所述转换后的媒体数据进行显著度检测，得到所述转换后的媒体数据的至少一个宏块的显著度信息。
在一种实现方式中，所述处理器901根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据，包括：
通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
在一种实现方式中，所述处理器901通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据，包括：
根据所述媒体数据，获取转换后的媒体数据，所述转换后的媒体数据的颜色模式为预设颜色模式；
通过编码器按照所述媒体数据对应的编码模式对所述转换后的媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
具体的，本发明实施例中介绍的客户端可以用以实施本发明结合图4或图5介绍的方法实施例中的部分或全部流程。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (6)
1.一种媒体数据处理方法，其特征在于，所述方法包括：
对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，各个所述宏块的显著度信息用于指示所述宏块所包含的各个像素点的重要等级；
获取预设编码参数区间，所述编码参数区间包括最小编码参数和最大编码参数；
通过预设编码参数获取算法对当前通信网络的网络质量以及目标宏块的显著度信息进行处理，在所述预设编码参数区间中选择所述目标宏块的编码参数，其中，所述目标宏块的编码参数包括码率、压缩率和量化参数，所述码率与所述网络质量以及所述目标宏块的显著度信息呈正比例关系，不同数据类型对应的码率各不相同，所述压缩率与所述网络质量以及所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的压缩率各不相同，所述量化参数与所述网络质量以及所述目标宏块的显著度信息呈反比例关系，不同数据类型对应的量化参数各不相同，所述目标宏块的编码参数大于或等于所述最小编码参数，且小于或等于所述最大编码参数，所述目标宏块为所述至少一个宏块中的任一宏块；
根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据。
2.如权利要求1所述的方法，其特征在于，所述对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息之前，还包括：
获取所述媒体数据的颜色模式；
当所述媒体数据的颜色模式与预设颜色模式不相同时，将所述媒体数据的颜色模式转换为所述预设颜色模式，得到转换后的媒体数据；
所述对媒体数据进行显著度检测，得到所述媒体数据的至少一个宏块的显著度信息，包括：
对所述转换后的媒体数据进行显著度检测，得到所述转换后的媒体数据的至少一个宏块的显著度信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述目标宏块的编码参数，对所述目标宏块进行编码，得到编码后的媒体数据，包括：
通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
4.如权利要求3所述的方法，其特征在于，所述通过编码器按照所述媒体数据对应的编码模式对所述媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据，包括：
根据所述媒体数据，获取转换后的媒体数据，所述转换后的媒体数据的颜色模式为预设颜色模式；
通过编码器按照所述媒体数据对应的编码模式对所述转换后的媒体数据和所述目标宏块的编码参数进行处理，得到所述编码后的媒体数据。
5.一种媒体数据处理装置，其特征在于，所述装置包括用于执行如权利要求1-4任一项所述的方法的单元。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910763507.5A CN110784716B (zh) | 2019-08-19 | 2019-08-19 | 媒体数据处理方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910763507.5A CN110784716B (zh) | 2019-08-19 | 2019-08-19 | 媒体数据处理方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110784716A CN110784716A (zh) | 2020-02-11 |
| CN110784716B true CN110784716B (zh) | 2023-11-17 |
Family
ID=69383307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910763507.5A Active CN110784716B (zh) | 2019-08-19 | 2019-08-19 | 媒体数据处理方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110784716B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164281A (zh) * | 2011-03-30 | 2011-08-24 | 武汉大学 | 一种基于视觉显著度模型的视频编码码率控制方法 |
| CN103458238A (zh) * | 2012-11-14 | 2013-12-18 | 深圳信息职业技术学院 | 一种结合视觉感知的可伸缩视频码率控制方法、装置 |
| CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| CN103828369A (zh) * | 2011-06-10 | 2014-05-28 | 茨特里克斯系统公司 | 质量感知视频优化中的宏块级自适应量化 |
| CN109151479A (zh) * | 2018-08-29 | 2019-01-04 | 南京邮电大学 | 基于h.264压缩域模式和空时特征的显著度提取方法 |
-
2019
- 2019-08-19 CN CN201910763507.5A patent/CN110784716B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164281A (zh) * | 2011-03-30 | 2011-08-24 | 武汉大学 | 一种基于视觉显著度模型的视频编码码率控制方法 |
| CN103828369A (zh) * | 2011-06-10 | 2014-05-28 | 茨特里克斯系统公司 | 质量感知视频优化中的宏块级自适应量化 |
| CN103458238A (zh) * | 2012-11-14 | 2013-12-18 | 深圳信息职业技术学院 | 一种结合视觉感知的可伸缩视频码率控制方法、装置 |
| CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| CN109151479A (zh) * | 2018-08-29 | 2019-01-04 | 南京邮电大学 | 基于h.264压缩域模式和空时特征的显著度提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110784716A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220014819A1 (en) | Video image processing | |
| CN102625106B (zh) | 场景自适应的屏幕编码码率控制方法及其系统 | |
| CN105472205B (zh) | 编码过程中的实时视频降噪方法和装置 | |
| US20020051491A1 (en) | Extraction of foreground information for video conference | |
| EP3482566A1 (en) | Systems and methods for region-of-interest tone remapping | |
| CN113766341A (zh) | 电视画质调整方法、装置和系统及电视机设备 | |
| WO2008116400A1 (fr) | Terminal, procédé et système pour réaliser une communication vidéo | |
| CN113301342B (zh) | 视频编码方法、网络直播方法、装置和终端设备 | |
| CN114786040B (zh) | 数据通信方法、系统、电子设备和存储介质 | |
| CN113556582A (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| CN112435244A (zh) | 直播视频的质量评价方法、装置、计算机设备和存储介质 | |
| CN113068034A (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
| CN107818553B (zh) | 图像灰度值调整方法和装置 | |
| US10142664B2 (en) | Method and device for determining properties of a graphical overlay for a video stream | |
| CN111476866B (zh) | 视频优化与播放方法、系统、电子设备及存储介质 | |
| WO2021047177A1 (zh) | 数据编码方法及装置 | |
| CN110784716B (zh) | 媒体数据处理方法、装置及介质 | |
| CN110796689B (zh) | 一种视频处理方法、电子设备及存储介质 | |
| CN116980604A (zh) | 视频编码方法、视频解码方法及相关设备 | |
| CN104754367A (zh) | 一种多媒体信息处理方法及设备 | |
| US20210360236A1 (en) | System and method for encoding a block-based volumetric video having a plurality of video frames of a 3d object into a 2d video format | |
| CN113542864B (zh) | 视频的花屏区域检测方法、装置、设备及可读存储介质 | |
| CN112887293A (zh) | 流媒体的处理方法、装置及电子设备 | |
| CN113613024A (zh) | 视频预处理方法及设备 | |
| CN110378973B (zh) | 图像信息处理方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022040 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |