CN114205583A - 一种基于h265的视频编码方法、系统及电子设备 - Google Patents
一种基于h265的视频编码方法、系统及电子设备 Download PDFInfo
- Publication number
- CN114205583A CN114205583A CN202210065958.3A CN202210065958A CN114205583A CN 114205583 A CN114205583 A CN 114205583A CN 202210065958 A CN202210065958 A CN 202210065958A CN 114205583 A CN114205583 A CN 114205583A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- mean value
- mask
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000006835 compression Effects 0.000 claims abstract description 16
- 238000007906 compression Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 abstract description 9
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种基于H265的视频编码方法、系统及电子设备，本发明通过对视频帧的图像分别进行图像质量优化以及QP处理，并将优化图像以及QP矩阵共同作为H265编码器的输入，H265编码器根据QP矩阵中具体的QP值设置编码器输出帧中对应位置的QP值，从而达到在保证输出图像质量的情况下降低带宽，本方案在标准H265编码器的基础上进行图像帧质量增强并按照人眼注意力机制对输出码率进行帧内分配，能够实现比标准H265视频编码器更高的压缩率，且与现有技术相比，本发明能够将视频质量优化模型和掩膜生成模型集成进标准H265编码框架，不需要再在解码端部署深度学习模型，能够兼容绝大部分移动端设备。
Description
技术领域
本发明涉及视频压缩技术领域，特别涉及一种基于H265的视频编码方法、系统及电子设备。
背景技术
随着各视频平台的普及，人们在工作生活中与视频的接触越来越密切，这对于视频的传输和存储带来了挑战，同时也促使视频压缩技术得到了更进一步的发展。同时，随着人工智能和大数据技术的逐渐成熟，其在安防、娱乐、工业等方面的应用越来越广泛，结合深度学习的视频编码技术也越来越受到重视。
现阶段在深度学习视频编解码方面，主流的方法为端到端的视频编解码结构，其在视频编码端采用深度学习模型进行视频压缩，对应的在视频解码端采用深度学习进行视频解码。主流的端到端视频压缩框架有基于卷积神经网络自编码器结构的视频压缩框架等。
现有基于深度学习的视频压缩框架主要为端到端类型的，其在视频编码端采用深度学习模型进行视频压缩，对应的在视频解码端采用深度学习模型进行视频解码。在应用端到端视频编解码框架时，需要在视频传输端和视频接收端同时部署深度学习模型，其不具备兼容H264、H265等标准视频编解码框架的能力。
而现今视频接收端主要为手机、平板电脑等移动设备。移动设备种类参差不齐，而且在移动端部署深度学习模型会占用大量计算资源，这限制了端到端编解码框架在移动端的应用场景。
发明内容
为了克服目前现有的视频压缩方法中需要占用大量计算资源导致限制了在移动端的应用的问题，本发明提供基于H265的视频编码方法、系统及电子设备。
本发明为解决上述技术问题，提供一技术方案如下：一种基于H265的视频编码方法，包括如下步骤:
获取视频帧对应的原始图像；
对所述原始图像进行优化，获得优化图像；
对所述原始图像进行掩膜处理，获得掩膜图像；
对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数，基于QP设置参数获得最终的QP值；
依次处理其他图块，获得所有图块对应的QP值，整合获得QP矩阵；
将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
优选地，对所述掩膜图像进行分割具体包括以下步骤：
基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
基于ROI区域矩阵的尺寸，对掩膜图像进行分割，获得映射矩阵；
基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
优选地，所述优化图像为RGB3通道彩色图像，所述掩膜图像为单通道灰度图像。
优选地，所述原始图像与所述优化图像为同尺寸的3通道彩色图像。
本发明还提供一种基于H265的视频编码系统，包括：
图像获取单元，用于获取视频帧对应的原始图像；
图像优化单元，用于对所述原始图像进行优化，获得优化图像；
掩膜处理单元，用于对所述原始图像进行掩膜处理，获得掩膜图像；
图像分割单元，用于对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
QP计算单元，用于从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数；
矩阵获取单元，用于依次处理其他图块，获得所有图块对应的QP设置参数，整合获得QP矩阵；
图像压缩单元，用于将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
优选地，所述图像分割单元还包括：
区域矩阵获取单元，用于基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
映射单元，用于基于ROI区域矩阵，对掩膜图像进行分割，获得映射矩阵；
图块获取单元，用于基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的基于H265的视频编码方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的基于H265的视频编码方法。
与现有技术相比，本发明提供的一种基于H265的视频编码方法、系统及电子设备，具有以下优点：
本发明通过对视频帧的图像分别进行图像质量优化以及QP处理，并将优化图像以及QP矩阵共同作为H265编码器的输入，H265编码器根据QP矩阵中具体的QP值设置编码器输出帧中对应位置的QP值，从而达到在保证输出图像质量的情况下降低带宽。本方案在标准H265编码器的基础上进行图像帧质量增强并按照人眼注意力机制对输出码率进行帧内分配，能够实现比标准H265视频编码器更高的压缩率，且与现有技术相比，本发明能够将视频质量优化模型和掩膜生成模型集成进标准H265编码框架，不需要再在解码端部署深度学习模型，能够兼容绝大部分移动端设备，为用户节省视频传输带宽和视频存储空间，具有较高的应用前景。
附图说明
图1为本发明第一实施例提供的一种基于H265的视频编码方法的流程图。
图2为本发明第一实施例提供的一种基于H265的视频编码方法中QP值计算的一种示例的流程图。
图3为本发明第一实施例提供的一种基于H265的视频编码方法中步骤S4的细节流程图。
图4为本发明第二实施例提供的一种基于H265的视频编码系统的模块图。
图5为本发明第二实施例提供的一种基于H265的视频编码系统中图像分割单元的模块图。
图6为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明：
1、图像获取单元；2、图像优化单元；3、掩膜处理单元；4、图像分割单元；5、QP计算单元；6、矩阵获取单元；7、图像压缩单元；
41、区域矩阵获取单元；42、映射单元；43、图块获取单元；
10、存储器；20、处理器。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种基于H265的视频编码方法，包括以下步骤：
步骤S1：获取视频帧对应的原始图像；
步骤S2：对所述原始图像进行优化，获得优化图像；
步骤S3：对所述原始图像进行掩膜处理，获得掩膜图像；
步骤S4：对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
步骤S5：从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数，基于QP设置参数获得最终的QP值；
步骤S6：依次处理其他图块，获得所有图块对应的QP值，整合获得QP矩阵；
步骤S7：将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
可以理解，在步骤S1中，一个视频具有多个帧数图片组成，从视频中第一帧开始获取图像并进行处理，以完成对整个视频的编码。
可以理解，在步骤S2中，对原始图像进行优化，具体可以为对原始图像进行质量优化，常见的方式可以包括图像增辩、图像去噪声、图像去模糊等流程。在本实施例中，对原始图像进行质量优化为基于mobilenet基础模型，采用Unet结构。模型由mobilenet中的前5层卷积层块、4层concat层和4层上采样层组成。模型采用3通道彩色图像作为输入，输出与原始图像同尺寸的3通道彩色图像。在步骤S2中的优化图像作为H265编码器的输入对象之一。
可以理解，在步骤S3中，对原始图像进行掩膜处理，掩膜生成模型同样采用基于mobilenet的Unet结构模型，与前述的质量优化采用的基础模型不同的是，质量优化的模型输出3通道彩色图像，而在本步骤中的掩膜处理采用的模型输出单通道灰度图像，灰度图像中的像素值大小表征注意力大小。
可以理解，在步骤S4中，基于H265编码器以及输入的原始图像的尺寸对掩膜图像进行分割成多个尺寸相同的图块。对每一个图块的像素求均值，获得多个图块的多个像素均值，并在多个像素均值中筛选出最大值与最小值。
可以理解，在步骤S5中，掩膜图像分割的每个图块均为灰度图，像素值大小为0-255，在未归一化时，每一帧生成的掩膜图像的像素值会产生波动。归一化后将灰度图的像素值从0-255归一化到0-1的区间，该操作能够消除掩膜图像的像素值的波动。将归一化的像素值(像素均值)乘于5，而像素值乘以5则可以将掩膜图像的像素值分成5个级别，便于H265编码器精细化控制输入视频流每块ROI区域的QP值大小，减小因为相邻ROI区域QP值差距过大导致的块效应。
可以理解，在步骤S5中，掩膜图像中像素值的最大均值Vmax和最小均值Vmin，掩膜图像素值值域为[0,255]，而基于最大均值Vmax与最小均值Vmax将当前图块的像素均值V1进行归一化获得归一化像素值V2可以基于下述公式进行：
V2＝floor((V1-Vmin)/(Vmax-Vmin))
其中，floor为向下取整，归一化后像素值V2的值域为[0,1]。
可以理解，获得的归一化像素值V2即作为QP设置参数，按照该QP设置参数设置最终的QP，例如，如图2中所示的QP设置参数后进行处理获得最终的QP值，该QP值即可作为最终QP矩阵中的数值。由于QP处理为常见的方式，故在此不再展开描述。
可以理解，在步骤S6中，在处理剩余的所有图块后，即可获得所有图块对应的QP值，并基于计算的位置整合获得最终的QP矩阵。
可以理解，在步骤S7中，本发明的H265编码器进行修改后用于接收优化图片以及QP矩阵，可以完成在输入视频流图片不同的ROI区域设置不同的QP值的操作。
请参阅图3，在步骤S4中，对所述掩膜图像进行分割具体包括以下步骤：
步骤S41：基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
步骤S42：基于ROI区域矩阵的尺寸，对掩膜图像进行分割，获得映射矩阵；
步骤S43：基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
可以理解，在步骤S41中，H265编码器中ROI区域的尺寸对原始图像进行分割，例如，标准H265编码器的每个ROI区域大小是长宽32*32，输入视频流图像按照32对长和宽进行等分，得到原始图像的所有ROI区域矩阵，例如输入视频流的原始图像长宽分别为1920*1080，长宽分别除以32之后取整得到原始图像的ROI区域矩阵长宽分别为60*33。
可以理解，在步骤S42中，根据获得的ROI区域矩阵的尺寸，对掩膜图像进行分割，例如，掩膜图像长宽分别为256*256，长宽分别除以ROI区域矩阵长宽60*33后取整得到映射矩阵长宽分别为4*7。
可以理解，在步骤S43中，基于映射矩阵的尺寸，对所述掩膜图像进行分割，例如，掩膜图像长宽256*256按照映射矩阵长宽4*7进行分割，获得多个尺寸相同的图块，由于掩膜图像为灰度图，故分割获得的图块也为灰度图。
请参阅图4，本发明第二实施例还提供一种基于H265的视频编码系统。用于执行上述第一实施例中基于H265的视频编码方法，该基于H265的视频编码系统可以包括：
图像获取单元1，用于实施上述步骤S1，用于获取视频帧对应的原始图像；
图像优化单元2，用于实施上述步骤S2，用于对所述原始图像进行优化，获得优化图像；
掩膜处理单元3，用于实施上述步骤S3，用于对所述原始图像进行掩膜处理，获得掩膜图像；
图像分割单元4，用于实施上述步骤S4，用于对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
QP计算单元5，用于实施上述步骤S5，用于从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数；
矩阵获取单元6，用于实施上述步骤S6，用于依次处理其他图块，获得所有图块对应的QP设置参数，整合获得QP矩阵；
图像压缩单元7，用于实施上述步骤S7，用于将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
请参阅图5，所述图像分割单元4还包括：
区域矩阵获取单元41，用于实施上述步骤S41，用于基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
映射单元42，用于实施上述步骤S42，用于基于ROI区域矩阵，对掩膜图像进行分割，获得映射矩阵；
图块获取单元43，用于实施上述步骤S43，用于基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
请参阅图6，本发明第三实施例提供一种用于实施上述基于H265的视频编码方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项基于H265的视频编码方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于H265的视频编码方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
与现有技术相比，本发明提供的一种基于H265的视频编码方法、系统及电子设备，具有以下优点：
本发明通过对视频帧的图像分别进行图像质量优化以及QP处理，并将优化图像以及QP矩阵共同作为H265编码器的输入，H265编码器根据QP矩阵中具体的QP值设置编码器输出帧中对应位置的QP值，从而达到在保证输出图像质量的情况下降低带宽。本方案在标准H265编码器的基础上进行图像帧质量增强并按照人眼注意力机制对输出码率进行帧内分配，能够实现比标准H265视频编码器更高的压缩率，且与现有技术相比，本发明能够将视频质量优化模型和掩膜生成模型集成进标准H265编码框架，不需要再在解码端部署深度学习模型，能够兼容绝大部分移动端设备，为用户节省视频传输带宽和视频存储空间，具有较高的应用前景。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像优化单元、掩膜处理单元、图像分割单元、QP计算单元、矩阵获取单元以及图像压缩单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“获取视频帧对应的原始图像的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取视频帧对应的原始图像；对所述原始图像进行优化，获得优化图像；对所述原始图像进行掩膜处理，获得掩膜图像；对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数，基于QP设置参数获得最终的QP值；依次处理其他图块，获得所有图块对应的QP值，整合获得QP矩阵；将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
Claims (7)
1.一种基于H265的视频编码方法，其特征在于：包括如下步骤:
获取视频帧对应的原始图像；
对所述原始图像进行优化，获得优化图像；
对所述原始图像进行掩膜处理，获得掩膜图像；
对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数，基于QP设置参数获得最终的QP值；
依次处理其他图块，获得所有图块对应的QP值，整合获得QP矩阵；
将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
2.如权利要求1中所述基于H265的视频编码方法，其特征在于：对所述掩膜图像进行分割具体包括以下步骤：
基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
基于ROI区域矩阵的尺寸，对掩膜图像进行分割，获得映射矩阵；
基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
3.如权利要求1中所述基于H265的视频编码方法，其特征在于：所述优化图像为RGB3通道彩色图像，所述掩膜图像为单通道灰度图像。
4.如权利要求3中所述基于H265的视频编码方法，其特征在于：所述原始图像与所述优化图像为同尺寸的3通道彩色图像。
5.一种基于H265的视频编码系统，其特征在于，包括：
图像获取单元，用于获取视频帧对应的原始图像；
图像优化单元，用于对所述原始图像进行优化，获得优化图像；
掩膜处理单元，用于对所述原始图像进行掩膜处理，获得掩膜图像；
图像分割单元，用于对所述掩膜图像进行分割，获得多个图块，计算每一个图块的像素均值，获取所有图块中像素均值对应的最大均值与最小均值；
QP计算单元，用于从第一个图块开始，基于最大均值与最小均值，将当前图块的像素均值进行归一化，并将归一化后的像素值乘于5，获得当前图块的QP设置参数；
矩阵获取单元，用于依次处理其他图块，获得所有图块对应的QP设置参数，整合获得QP矩阵；
图像压缩单元，用于将QP矩阵和优化图像作为H265编码器的输入，完成当前视频帧的处理。
6.如权利要求5中所述基于H265的视频编码系统，其特征在于，所述图像分割单元还包括：
区域矩阵获取单元，用于基于H265编码器中ROI区域的尺寸，对原始图像进行分割，获得ROI区域矩阵；
映射单元，用于基于ROI区域矩阵，对掩膜图像进行分割，获得映射矩阵；
图块获取单元，用于基于映射矩阵的尺寸，对所述掩膜图像进行分割，获得多个等尺寸的图块。
7.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述基于H265的视频编码方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至4任一项中所述基于H265的视频编码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210065958.3A CN114205583B (zh) | 2022-01-20 | 2022-01-20 | 一种基于h265的视频编码方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210065958.3A CN114205583B (zh) | 2022-01-20 | 2022-01-20 | 一种基于h265的视频编码方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114205583A true CN114205583A (zh) | 2022-03-18 |
| CN114205583B CN114205583B (zh) | 2024-01-16 |
Family
ID=80658726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210065958.3A Active CN114205583B (zh) | 2022-01-20 | 2022-01-20 | 一种基于h265的视频编码方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114205583B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080193014A1 (en) * | 2005-07-26 | 2008-08-14 | Tissue Gnostics Gmbh | Method and Device for the Segmentation of Regions and Related Computer Program Product |
| CN107454413A (zh) * | 2017-08-25 | 2017-12-08 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种保留特征的视频编码方法 |
| CN107451970A (zh) * | 2017-07-28 | 2017-12-08 | 电子科技大学 | 一种基于单帧图像的高动态范围图像生成方法 |
| US20190020879A1 (en) * | 2017-07-14 | 2019-01-17 | Sony Interactive Entertainment Inc. | Negative region-of-interest video coding |
| CN111582166A (zh) * | 2020-05-07 | 2020-08-25 | 深圳市瑞驰信息技术有限公司 | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 |
| CN111683248A (zh) * | 2020-04-30 | 2020-09-18 | 北京奥维视讯科技有限责任公司 | 基于roi的视频编码方法以及视频编码系统 |
| CN111901595A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种基于深度神经网络的视频编码方法及装置、介质 |
-
2022
- 2022-01-20 CN CN202210065958.3A patent/CN114205583B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080193014A1 (en) * | 2005-07-26 | 2008-08-14 | Tissue Gnostics Gmbh | Method and Device for the Segmentation of Regions and Related Computer Program Product |
| US20190020879A1 (en) * | 2017-07-14 | 2019-01-17 | Sony Interactive Entertainment Inc. | Negative region-of-interest video coding |
| CN107451970A (zh) * | 2017-07-28 | 2017-12-08 | 电子科技大学 | 一种基于单帧图像的高动态范围图像生成方法 |
| CN107454413A (zh) * | 2017-08-25 | 2017-12-08 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种保留特征的视频编码方法 |
| CN111683248A (zh) * | 2020-04-30 | 2020-09-18 | 北京奥维视讯科技有限责任公司 | 基于roi的视频编码方法以及视频编码系统 |
| CN111582166A (zh) * | 2020-05-07 | 2020-08-25 | 深圳市瑞驰信息技术有限公司 | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 |
| CN111901595A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种基于深度神经网络的视频编码方法及装置、介质 |
Non-Patent Citations (3)
| Title |
|---|
| GUILHERME CORREA ET AL.: "Perfoemance and Computational Complexity Assessment of High Efficiency Video Encoders", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 梁博等: "基于卷积神经网络的多任务图像语义分割", 《万方》 * |
| 王超等: "基于优化ROI的医学图像分割与压缩方法研究", 《重庆邮电大学学报(自然科学版)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114205583B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111193923B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| Minnen et al. | Spatially adaptive image compression using a tiled deep network | |
| CN110798690B (zh) | 视频解码方法、环路滤波模型的训练方法、装置和设备 | |
| CN111182303A (zh) | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 | |
| WO2017084258A1 (zh) | 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质 | |
| CN108600783B (zh) | 一种帧率调节方法、装置及终端设备 | |
| CN111080595A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN107027031A (zh) | 一种用于视频图像的编码方法和装置 | |
| US20180314916A1 (en) | Object detection with adaptive channel features | |
| MX2015003457A (es) | Sistema y metodo de reduccion de ancho de banda. | |
| CN113205011B (zh) | 图像掩膜确定方法及装置、存储介质和电子设备 | |
| CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
| CN113225590A (zh) | 视频超分增强方法、装置、计算机设备和存储介质 | |
| CN114205583A (zh) | 一种基于h265的视频编码方法、系统及电子设备 | |
| CN110097520B (zh) | 图像处理方法和装置 | |
| WO2023124461A1 (zh) | 面向机器视觉任务的视频编解码方法、装置、设备及介质 | |
| CN115567712A (zh) | 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置 | |
| CN110555799A (zh) | 用于处理视频的方法和装置 | |
| US11582464B2 (en) | Using morphological operations to process frame masks in video content | |
| CN113014745B (zh) | 视频图像降噪方法及装置、存储介质及电子设备 | |
| CN118138770A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN114677464A (zh) | 图像处理方法、图像处理装置、计算机设备及存储介质 | |
| CN114677719A (zh) | 图像信号处理的方法、装置和计算机可读存储介质 | |
| CN117097913A (zh) | 视频编码方法、装置、设备及存储介质 | |
| US20240095878A1 (en) | Method, electronic device, and computer program product for video processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |