CN110620924A - 编码数据的处理方法、装置、计算机设备及存储介质 - Google Patents

编码数据的处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110620924A
CN110620924A CN201910900448.1A CN201910900448A CN110620924A CN 110620924 A CN110620924 A CN 110620924A CN 201910900448 A CN201910900448 A CN 201910900448A CN 110620924 A CN110620924 A CN 110620924A
Authority
CN
China
Prior art keywords
target area
image
target
quantization offset
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910900448.1A
Other languages
English (en)
Other versions
CN110620924B (zh
Inventor
洪旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN201910900448.1A priority Critical patent/CN110620924B/zh
Publication of CN110620924A publication Critical patent/CN110620924A/zh
Application granted granted Critical
Publication of CN110620924B publication Critical patent/CN110620924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种编码数据的处理方法、装置、计算机设备及存储介质，该方法包括：对目标图像进行目标区域检测，得到目标区域；获取目标区域的边缘数据；根据边缘数据对目标区域进行图像增强；根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。

Description

编码数据的处理方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及数字信号处理技术，尤其涉及一种编码数据的处理方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的快速发展，伴随着用户对高清视频的需求量的增加，视频多媒体的视频数据量也在不断加大。如果未经压缩，这些视频很难应用于实际的存储和传输。视频压缩解码技术可以帮助有效地去除视频数据中冗余信息，实现视频数据在互联网中快速传输和离线的存储。因此，视频压缩解码技术是视频应用中的一项关键技术。
目前，视频压缩编码技术已十分普遍，例如使用x264编码器进行编码。x264编码器是基于H.264/MPEG-4AVC视频压缩标准的视频压缩编码器,它提供了多种可以设置的参数来控制其编码效率。
在直播过程中，例如主播进行直播时，若当前画面是主播唱歌，那么观众端更为关心主播的头像所在的区域，而其余背景区域并不是观众关心的重点，但目前的编码法方式中主播头像区域与背景区域使用同样的码率，造成资源浪费，码率控制效率低。
发明内容
本申请提供一种编码数据的处理方法、装置、计算机设备及存储介质，以实现提高视频码率控制效率，节约资源。
第一方面，本申请实施例提供了一种编码数据的处理方法，包括：
对目标图像进行目标区域检测，得到目标区域；
获取目标区域的边缘数据；
根据边缘数据对目标区域进行图像增强；
根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
第二方面，本申请实施例还提供了一种编码数据的处理装置，包括：
目标区域检测模块，用于对目标图像进行目标区域检测，得到目标区域；
边缘数据获取模块，用于获取目标区域的边缘数据；
图像增强模块，用于根据边缘数据对目标区域进行图像增强；
量化偏移表生成模块，用于根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
第三方面，本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面所示的编码数据的处理方法。
第四方面，本申请实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如第一方面所示的编码数据的处理方法。
本申请实施例提供的编码数据的处理方法，能够对目标图像进行目标区域检测，得到目标区域；然后，获取目标区域的边缘数据，根据边缘数据对目标区域进行图像增强；最后，根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中目标区域与背景区域采用相同的码率，本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。
附图说明
图1是本申请实施例一中的一种编码数据的处理方法的流程示意图；
图2是本申请实施例二中的一种编码数据的处理方法的流程示意图；
图2a是本申请实施例二中的一种像素点分布示意图；
图3是本申请实施例三中的一种编码数据的处理方法的流程示意图；
图4是本申请实施例四中的一种编码数据的处理方法的流程示意图；
图5是本申请实施例三中的一种编码数据的处理装置的结构示意图；
图6是本申请实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
X264编码器提供了多种优化功能，其中包括码率控制算法。X264主要显示支持三种码率控制算法，分别为恒定量化参数CQP(X264_RC_CQP)，恒定码率系数Rate Factor(CRF)(X264_RC_CRF)，恒定平均目标码率ABR(X264_RC_ABR)。其中CQP是指对于某种帧类型(I，P，B)采用固定的量化步长QP对该帧进行编码，CQP编码出来的视频大小不固定，且能够提供较为平均的客观失真度，不过一般CQP码控算法很少在实时视频直播中采用，更多的是用于学术研究。CRF是恒定质量码控模式，主要是对编码后的视频流提供较为恒定的主观质量，通常把更多的码率分配给人眼更为集中的帧，而用较低的码率编码人眼不易察觉的帧，这种码控模式也是X264默认推荐的编码方式，但编码后的码率依然未知。ABR是平均码率模式，使得输出的码流尽可能的保持一个恒定的码率，这对于网络受限的情形下是一种良好的码控方案。同时X264还提供了视频缓冲检验器(VBV)提供更严格的码控方式。但x264所有的码控模式都是帧级的，并没有考虑视频内容进行更合理的码率分配，因此有必要针对人眼感兴趣的视频内容提出更好的码控模式以提升主观质量。
如前，X264主要显示支持三种码率控制算法，分别为CQP，CRF，ABR。但x264的码控算法并没有考虑视频内容。例如，当主播唱进行直播时，直播画面汇总以主播人物画面为主，观众用户更为关心的主播的头像所在的区域，而其余背景区域并不是观众关心的重点。基于此种考虑，本申请实施例提供了一种编码数据的处理方法，基于x264的码率控制算法进行优化，提出更高效的码控策略，具体方案如下所示：
实施例一
图1为本申请实施例一提供的编码数据的处理方法的流程示意图，本实施例可适用于进行视频编码数据处理的情况，该方法可以由视频编码器来执行，也可以由为视频编码提供预处理数据的设备执行，视频编码器或前述设备可位于服务器端或用户终端内，该方法具体包括如下步骤：
步骤110、对目标图像进行目标区域检测，得到目标区域。
目标图像为视频编码数据中的任意一个帧画面。在编码前可以读取视频流中的任意一个帧画面，该帧画面为目标图像。分别对每个目标图像进行处理，已达到优化编码策略的效果。
可选的，在得到目标帧画面时，可使用感兴趣区域识别算法对目标区域进行识别。可以根据使用场景的不同配置不同的算法，例如直播画面中主播头像较多，此时可通过面部的轮廓识别算法识别人脸区域，人脸区域即为目标区域。
可选的，除了上述使用边缘检测的方式进行感兴趣区域(目标区域)的识别，还可以使用人工智能AI的方式进行机器学习。例如，将目标图像输入已训练的一阶的YOLO模型或二阶的区域卷积神经网络(Region-CNN，RCNN)模型，得到目标区域。
经过试验得出，使用YOLO模型相较于RCNN模型运行速度更快，RCNN模型相较于YOLO模型的检测精度更高。在进行直播过程中，由于画面特征较为明显，可以优选采用YOLO模型进行模型检测。
可以使用获取的训练集合以及训练集合中每个训练图像上标记的标签对模型进行训练，得到已训练的YOLO模型或RCNN模型。
通过使用模型对感兴趣区域进行识别，能够提高目标区域的易用性。随着训练集合的不断增加，模型能够适应越来越多的目标图像，对目标图像进行感兴趣区域(目标区域)的检测。
步骤120、获取目标区域的边缘数据。
在确定目标区域后，可根据目标区域边缘上的像素确定边缘数据。边缘数据用于表示目标区域边缘上的像素点的像素值。
步骤130、根据边缘数据对目标区域进行图像增强。
使用边缘数据对目标区域进行增强时，将边缘区域的像素点与目标区域原始像素点进行叠加，实现增强。
步骤130和步骤140执行步骤不分先后。
步骤140、根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
在对目标图像进行图像增强后，根据边缘数据对目标区域和背景区域上的像素点的量化偏移值进行配置，生成量化偏移表。后续的视频编码会基于量化偏移表中记载的量化偏移值进行编码，完成视频编码。可选的，可使用X264编码器进行视频编码。
本申请实施例提供的编码数据的处理方法，能够对目标图像进行目标区域检测，得到目标区域；然后，获取目标区域的边缘数据，根据边缘数据对目标区域进行图像增强；最后，根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中目标区域与背景区域采用相同的码率，本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。同时，本申请实施例可应用于开源编码器x264，通过使用YOLO模型实现机器自动检测目标区域，并针对目标区域和背景区域动态分配码率，再结合x264本身的码控算法(如CQP、CRF或ABR)，提供更为高效准确的码率控制方案。
实施例二
图2为本申请实施例二提供的一种编码数据的处理方法的流程示意图，作为上述实施例的进一步说明，包括：
步骤210、对目标图像进行目标区域检测，得到目标区域。
步骤220、对目标图像进行模糊处理，得到模糊图像。
在对图像进行加强时，步骤220和步骤230可参考《Image Edge Enhancement AndDenoising Techniques For Computer Vision Applications》提供的Unsharp MaskingTechnique算法。该算法将模糊核(高斯核，box)作用与目标图像上，得到模糊图像最后将差值图像叠加到原图像上得到增强后的图像
步骤230、根据目标图像和模糊图像确定差值图像。
在步骤220得到模糊图像后，再将目标图像减去模糊图像得到差值图像(也叫作MASK)。在上述文献中，得到差值图像后，会将差值图像叠加到原图像上得到增强后的图像。但是，此种算法在直播场景中使用时，采用该算法虽然能够得到较好的主观增强后的图像，但客观质量PSNR降低得十分明显，增强效果不佳，不适于直播场景。因此，本申请实施例中，在得到差值图像后取消将差值图像叠加到目标图像，并执行步骤240。
步骤240、根据差值图像确定边缘数据。
可选的，可以通过边缘加测算法确定差值图像中的边缘像素点。
可选的，步骤240还可通过下述步骤进行实施：
1)按照预设遍历顺序便利差值图像中的每个像素点；2)根据遍历的当前像素点以及与其相邻的构成最小矩形的其他像素点，计算当前像素点的对角差值的绝对值；3)根据对角差值的绝对值的大小判断当前像素点是否为边缘像素点；4)遍历全部像素点，对边缘像素点进行记录，得到边缘数据。
可以根据像素点的左边，逐行逐列的遍历每个像素点。如图2a所示，若当前遍历的像素点为像素点a，则获取与像素点a在横坐标相邻的像素点b、与像素点a在纵坐标相邻的像素点c，以及与像素点b纵坐标相邻并与像素点横坐标相邻的像素点d，像素点a、像素点b、像素点c、像素点d组成最小矩形。像素点b、像素点c、像素点d为其他像素点。
通过下属公式计算对角差值的绝对值：Diff＝||a+d|-|b+c||
其中，a为像素点a中的像素值，b为像素点b中的像素值，c为像素点c中的像素值，d为像素点d中的像素值。Diff为对角差值的绝对值。若Diff超过一定的阈值，则认为图像的当前点是边缘值，并记录该边缘值，遍历完图像所有像素点得到图像区域的所有边缘值。
步骤250、根据边缘数据对目标区域进行图像增强。
将边缘数据中边缘像素的像素值叠加到目标图像相同位置的像素点上，完成图像增强。叠加差值图像到原图像时只对边缘像素进行叠加，其余部分保持原图像像素值。这样在既保证PSNR的情况下也提升了图像主观效果，同时由于边缘检测算法的特性，可以方便采用指令集优化提升运行速度。
步骤260、根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
本申请实施例提供的编码数据的处理方法，能够对目标图像进行目标区域检测，得到目标区域；然后，获取目标区域的边缘数据，根据边缘数据对目标区域进行图像增强；最后，根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中目标区域与背景区域采用相同的码率，本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。此外，能够通过像素点的对角差值确定差值图像中的边缘数据，简化边缘数据的获取流程，提高数据处理效率。
实施例三
图3为本申请实施例二提供的一种编码数据的处理方法的流程示意图，作为上述实施例的进一步说明，包括：
步骤310、对目标图像进行目标区域检测，得到目标区域。
步骤320、获取目标区域的边缘数据。
步骤330、为第一像素点配置第一量化偏移值，第一像素点为目标区域外的像素点，第一量化偏移值为大于零。
通过使用差值图像得到边缘数据后，可以区分出第一像素点和第二像素点。第一像素点为目标区域外的像素点。
可以设计量化偏移表(qp offset table)用于记载各像素点的量化偏移值。对于直播场景，在量化偏移表中的背景区域填充正的量化偏移值，而在量化偏移表中的人脸区域填充负的量化偏移值(一般来说正的量化偏移值会导致量化步长增加，编码码率更小，质量更差)。根据经验，为第一像素点配置的正的量化偏移值可以选取qpp＝+3。
步骤340、为第二像素点配置第二量化偏移值，第二像素点为目标区域以内的像素点，第二量化偏移值为小于零。
对于直播场景，可以为目标区域配置负的量化偏移值。进一步的，目标区域(如人脸区域)的量化偏移值设置为固定的负值时，容易导致人脸区域的边界值的qp值差距过大，会导致视觉上的突变效果。可通过下述方式为分别计算每个像素点的量化偏移值：
可选的，根据第二像素点的坐标、目标区域的中心点坐标、目标区域的宽度值和目标区域的高度值计算第二像素点的量化偏移值。
示例性的，假设通过目标检测的目标区域(如人脸区域)的宽和高分别是W和H，同时令负量化偏移值qpn＝-2，目标区域的中心点坐标为(w0,h0)。那么对于目标区域的任意点(w,h)，对应的qp偏移值为：
其中(这是因为高斯函数在3σ之后几乎衰减为0)。
步骤330和步骤340执行顺序不分先后。
步骤350、根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
本申请实施例提供的编码数据的处理方法，能够对目标图像进行目标区域检测，得到目标区域；然后，获取目标区域的边缘数据，根据边缘数据对目标区域进行图像增强；最后，根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中目标区域与背景区域采用相同的码率，本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。此外，能够根据目标区域中心点坐标以及目标区域内像素点的坐标配置目标区域内的像素点的量化偏移值，更加精准。
实施例四
图4为本申请实施例二提供的一种编码数据的处理方法的流程示意图，在一个使用场景中可以将上述实施例中的优选方式组合使用，具体方式如下所示，包括：
步骤410、将目标图像输入已训练的一阶的YOLO模型或二阶的RCNN模型进行人脸区域检测，得到人脸区域。
其中，目标图像为直播图像视频中的任意一帧。
步骤420、对目标图像进行模糊处理，得到模糊图像，根据目标图像和模糊图像确定差值图像。
步骤430、按照预设遍历顺序便利差值图像中的每个像素点。
步骤440、根据遍历的当前像素点以及与其相邻的构成最小矩形的其他像素点，计算当前像素点的对角差值的绝对值。
步骤450、根据对角差值的绝对值的大小判断当前像素点是否为边缘像素点。
步骤460、遍历全部像素点，对边缘像素点进行记录，得到边缘数据。
步骤470、为第一像素点配置第一量化偏移值，第一像素点为人脸区域外的像素点，第一量化偏移值为大于零。
步骤480、根据第二像素点的坐标、人脸区域的中心点坐标、人脸区域的宽度值和人脸区域的高度值计算第二像素点的量化偏移值，第二量化偏移值为小于零。
步骤490、根据边缘数据和人脸区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
本申请实施例提供的编码数据的处理方法，能够对目标图像进行人脸区域检测，得到人脸区域；然后，获取人脸区域的边缘数据，根据边缘数据对人脸区域进行图像增强；最后，根据边缘数据和人脸区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中人脸区域与背景区域采用相同的码率，本申请实施例能够识别人脸区域，对人脸区域的便于进行加强，并对人脸区域和背景区域配置不同的偏移量化值，进而使人脸区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。
实施例五
图5为本申请实施例五提供的一种编码数据的处理装置，应用于视频编码器来执行，或为视频编码提供预处理数据的设备，该装置包括：目标区域检测模块501、边缘数据获取模块502、图像增强模块503以及量化偏移表生成模块504。其中：
目标区域检测模块501，用于对目标图像进行目标区域检测，得到目标区域；
边缘数据获取模块502，用于获取目标区域的边缘数据；
图像增强模块503，用于根据边缘数据对目标区域进行图像增强；
量化偏移表生成模块504，用于根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
进一步的，边缘数据获取模块502用于：
对目标图像进行模糊处理，得到模糊图像；
根据目标图像和模糊图像确定差值图像；
根据差值图像确定边缘数据。
进一步的，边缘数据获取模块502用于：
按照预设遍历顺序便利差值图像中的每个像素点；
根据遍历的当前像素点以及与其相邻的构成最小矩形的其他像素点，计算当前像素点的对角差值的绝对值；
根据对角差值的绝对值的大小判断当前像素点是否为边缘像素点；
遍历全部像素点，对边缘像素点进行记录，得到边缘数据。
进一步的，图像增强模块503用于：
根据差值图像中的边缘数据，将差值图像叠加到目标图像上；
其余像素点保留目标图像的像素，其余像素点为目标图像中除边缘数据覆盖的像素点以外的像素点。
进一步的，量化偏移表生成模块504用于：
为第一像素点配置第一量化偏移值，第一像素点为目标区域外的像素点，第一量化偏移值为大于零；
为第二像素点配置第二量化偏移值，第二像素点为目标区域以内的像素点，第二量化偏移值为小于零。
进一步的，量化偏移表生成模块504用于：
根据第二像素点的坐标、目标区域的中心点坐标、目标区域的宽度值和目标区域的高度值计算第二像素点的量化偏移值。
进一步的，目标区域检测模块501用于：
将目标图像输入已训练的一阶的YOLO模型或二阶的RCNN模型，得到目标区域。
本申请实施例提供的编码数据的处理装置，目标区域检测模块501对目标图像进行目标区域检测，得到目标区域；边缘数据获取模块502获取目标区域的边缘数据，图像增强模块503根据边缘数据对目标区域进行图像增强；量化偏移表生成模块504根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。相对于目前图像中目标区域与背景区域采用相同的码率，本申请实施例能够识别目标区域，对目标区域的便于进行加强，并对目标区域和背景区域配置不同的偏移量化值，进而使目标区域比背景区域具有更高的码率，提高视频码率控制效率，节约资源。
本申请实施例所提供的编码数据的处理装置可执行本申请任意实施例所提供的编码数据的处理方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6为本申请实施例六提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器60、存储器61、输入装置62和输出装置63；计算机设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；计算机设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的编码数据的处理方法对应的程序指令/模块(例如，目标区域检测模块501、边缘数据获取模块502、图像增强模块503以及量化偏移表生成模块504)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的编码数据的处理方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
实施例七
本申请实施例七还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种编码数据的处理方法，该方法包括：
对目标图像进行目标区域检测，得到目标区域；
获取目标区域的边缘数据；
根据边缘数据对目标区域进行图像增强；
根据边缘数据和目标区域生成量化偏移表，以便根据量化偏移表进行编码，量化偏移表包含目标图像中像素点的量化偏移值。
进一步的，获取目标区域的边缘数据，包括：
对目标图像进行模糊处理，得到模糊图像；
根据目标图像和模糊图像确定差值图像；
根据差值图像确定边缘数据。
进一步的，根据差值图像确定边缘数据，包括：
按照预设遍历顺序便利差值图像中的每个像素点；
根据遍历的当前像素点以及与其相邻的构成最小矩形的其他像素点，计算当前像素点的对角差值的绝对值；
根据对角差值的绝对值的大小判断当前像素点是否为边缘像素点；
遍历全部像素点，对边缘像素点进行记录，得到边缘数据。
进一步的，根据边缘数据对目标区域进行图像增强，包括：
根据差值图像中的边缘数据，将差值图像叠加到目标图像上；
其余像素点保留目标图像的像素，其余像素点为目标图像中除边缘数据覆盖的像素点以外的像素点。
进一步的，根据边缘数据和目标区域生成量化偏移表，包括：
为第一像素点配置第一量化偏移值，第一像素点为目标区域外的像素点，第一量化偏移值为大于零；
为第二像素点配置第二量化偏移值，第二像素点为目标区域以内的像素点，第二量化偏移值为小于零。
进一步的，为第二像素点配置第二量化偏移值，包括：
根据第二像素点的坐标、目标区域的中心点坐标、目标区域的宽度值和目标区域的高度值计算第二像素点的量化偏移值。
进一步的，对目标图像进行目标区域检测，得到目标区域，包括：
将目标图像输入已训练的一阶的YOLO模型或二阶的RCNN模型，得到目标区域。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本申请任意实施例所提供的编码数据的处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种编码数据的处理方法，其特征在于，包括：
对目标图像进行目标区域检测，得到目标区域；
获取目标区域的边缘数据；
根据边缘数据对目标区域进行图像增强；
根据边缘数据和目标区域生成量化偏移表，以便根据所述量化偏移表进行编码，所述量化偏移表包含所述目标图像中像素点的量化偏移值。
2.根据权利要求1所述的编码数据的处理方法，其特征在于，所述获取目标区域的边缘数据，包括：
对目标图像进行模糊处理，得到模糊图像；
根据所述目标图像和所述模糊图像确定差值图像；
根据所述差值图像确定边缘数据。
3.根据权利要求2所述的编码数据的处理方法，其特征在于，所述根据所述差值图像确定边缘数据，包括：
按照预设遍历顺序便利所述差值图像中的每个像素点；
根据遍历的当前像素点以及与其相邻的构成最小矩形的其他像素点，计算所述当前像素点的对角差值的绝对值；
根据所述对角差值的绝对值的大小判断所述当前像素点是否为边缘像素点；
遍历全部像素点，对边缘像素点进行记录，得到边缘数据。
4.根据权利要求3所述的编码数据的处理方法，其特征在于，所述根据边缘数据对目标区域进行图像增强，包括：
根据差值图像中的边缘数据，将所述差值图像叠加到所述目标图像上；
其余像素点保留目标图像的像素，所述其余像素点为目标图像中除边缘数据覆盖的像素点以外的像素点。
5.根据权利要求1所述的编码数据的处理方法，其特征在于，所述根据边缘数据和目标区域生成量化偏移表，包括：
为第一像素点配置第一量化偏移值，所述第一像素点为目标区域外的像素点，所述第一量化偏移值为大于零；
为第二像素点配置第二量化偏移值，所述第二像素点为目标区域以内的像素点，所述第二量化偏移值为小于零。
6.根据权利要求5所述的编码数据的处理方法，其特征在于，所述为第二像素点配置第二量化偏移值，包括：
根据第二像素点的坐标、目标区域的中心点坐标、目标区域的宽度值和目标区域的高度值计算所述第二像素点的量化偏移值。
7.根据权利要求1所述的编码数据的处理方法，其特征在于，对目标图像进行目标区域检测，得到目标区域，包括：
将目标图像输入已训练的一阶的YOLO模型或二阶的RCNN模型，得到目标区域。
8.一种编码数据的处理装置，其特征在于，包括：
目标区域检测模块，用于对目标图像进行目标区域检测，得到目标区域；
边缘数据获取模块，用于获取目标区域的边缘数据；
图像增强模块，用于根据边缘数据对目标区域进行图像增强；
量化偏移表生成模块，用于根据边缘数据和目标区域生成量化偏移表，以便根据所述量化偏移表进行编码，所述量化偏移表包含所述目标图像中像素点的量化偏移值。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的编码数据的处理方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的编码数据的处理方法。
CN201910900448.1A 2019-09-23 2019-09-23 编码数据的处理方法、装置、计算机设备及存储介质 Active CN110620924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910900448.1A CN110620924B (zh) 2019-09-23 2019-09-23 编码数据的处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910900448.1A CN110620924B (zh) 2019-09-23 2019-09-23 编码数据的处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110620924A true CN110620924A (zh) 2019-12-27
CN110620924B CN110620924B (zh) 2022-05-20

Family

ID=68923999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910900448.1A Active CN110620924B (zh) 2019-09-23 2019-09-23 编码数据的处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110620924B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068034A (zh) * 2021-03-25 2021-07-02 Oppo广东移动通信有限公司 视频编码方法及装置、编码器、设备、存储介质
CN113117334A (zh) * 2021-04-14 2021-07-16 广州虎牙科技有限公司 目标点的可见区域的确定方法及相关装置
CN113473137A (zh) * 2021-06-29 2021-10-01 Oppo广东移动通信有限公司 编码方法、终端及存储介质
CN113489993A (zh) * 2021-07-22 2021-10-08 Oppo广东移动通信有限公司 编码方法、装置、编码器、设备及计算机可读存储介质
CN114554204A (zh) * 2022-01-20 2022-05-27 珠海全志科技股份有限公司 一种编码图像画质调节方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035003A (zh) * 2012-12-11 2013-04-10 华为技术有限公司 一种实现增强现实的方法及装置
CN105898174A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 用于提高视频清晰度的方法及设备
CN106530237A (zh) * 2016-09-19 2017-03-22 中山大学 一种图像增强方法
US20180139450A1 (en) * 2016-11-15 2018-05-17 City University Of Hong Kong Systems and methods for rate control in video coding using joint machine learning and game theory
CN109949381A (zh) * 2019-03-15 2019-06-28 深圳市道通智能航空技术有限公司 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
CN110049324A (zh) * 2019-04-12 2019-07-23 深圳壹账通智能科技有限公司 视频编码方法、系统、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035003A (zh) * 2012-12-11 2013-04-10 华为技术有限公司 一种实现增强现实的方法及装置
CN105898174A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 用于提高视频清晰度的方法及设备
CN106530237A (zh) * 2016-09-19 2017-03-22 中山大学 一种图像增强方法
US20180139450A1 (en) * 2016-11-15 2018-05-17 City University Of Hong Kong Systems and methods for rate control in video coding using joint machine learning and game theory
CN109949381A (zh) * 2019-03-15 2019-06-28 深圳市道通智能航空技术有限公司 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
CN110049324A (zh) * 2019-04-12 2019-07-23 深圳壹账通智能科技有限公司 视频编码方法、系统、设备及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068034A (zh) * 2021-03-25 2021-07-02 Oppo广东移动通信有限公司 视频编码方法及装置、编码器、设备、存储介质
CN113068034B (zh) * 2021-03-25 2022-12-30 Oppo广东移动通信有限公司 视频编码方法及装置、编码器、设备、存储介质
CN113117334A (zh) * 2021-04-14 2021-07-16 广州虎牙科技有限公司 目标点的可见区域的确定方法及相关装置
CN113473137A (zh) * 2021-06-29 2021-10-01 Oppo广东移动通信有限公司 编码方法、终端及存储介质
CN113489993A (zh) * 2021-07-22 2021-10-08 Oppo广东移动通信有限公司 编码方法、装置、编码器、设备及计算机可读存储介质
CN114554204A (zh) * 2022-01-20 2022-05-27 珠海全志科技股份有限公司 一种编码图像画质调节方法及装置

Also Published As

Publication number Publication date
CN110620924B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
US20200007872A1 (en) Video decoding method, video decoder, video encoding method and video encoder
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
KR20080085182A (ko) 비디오 프레임들로부터 키 프레임들의 선택
CN113518185A (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN113297937B (zh) 一种图像处理方法、装置、设备及介质
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN106791850A (zh) 视频编码方法及装置
CN115022629B (zh) 云游戏视频的最优编码模式确定方法与装置
CN112672149A (zh) 一种视频处理方法、装置、存储介质及服务器
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN112449182A (zh) 视频编码方法、装置、设备及存储介质
CN113556544A (zh) 基于场景自适应的视频编码方法和装置、设备及存储介质
CN113452996A (zh) 一种视频编码、解码方法及装置
CN112929668A (zh) 一种视频编码的方法、装置、设备和存储介质
De Praeter et al. Simultaneous encoder for high-dynamic-range and low-dynamic-range video
CN116471262A (zh) 视频质量评估方法、装置、设备、存储介质及程序产品
CN111767428A (zh) 视频推荐方法、装置、电子设备及存储介质
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN113628121B (zh) 数据处理、训练多媒体数据的方法和装置
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant