CN113905240A - 视频编码方法及装置、服务器、存储介质 - Google Patents

视频编码方法及装置、服务器、存储介质 Download PDF

Info

Publication number
CN113905240A
CN113905240A CN202010572771.3A CN202010572771A CN113905240A CN 113905240 A CN113905240 A CN 113905240A CN 202010572771 A CN202010572771 A CN 202010572771A CN 113905240 A CN113905240 A CN 113905240A
Authority
CN
China
Prior art keywords
image
yuv
pixel
frame
pixel change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010572771.3A
Other languages
English (en)
Inventor
马宏宝
周一南
翟纪东
史美康
高珍珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010572771.3A priority Critical patent/CN113905240A/zh
Publication of CN113905240A publication Critical patent/CN113905240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开一种视频编码方法及装置、服务器、存储介质，属于图像处理技术。视频编码方法，包括：获取视频图像数据中相邻的两帧图像；将两帧图像进行对比，得到至少一个像素变化区域；将两帧图像中的后一帧图像转换为YUV图像；基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。本发明实施例的技术方案，提升了视频编码效率，降低了视频图像数据的传输延时，提升了用户体验。

Description

视频编码方法及装置、服务器、存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种视频编码方法及装置、服务器、存储介质。
背景技术
在智慧家庭业务中，云化机顶盒(Virtual Set Top Box，简称VSTB)，是指虚拟化的数字视频变换盒，其能够将终端上耗费资源的业务放在云端进行虚拟化处理，直接降低了终端设备的硬件成本，使得终端的生命周期得到有效延长；同时避免了智慧家庭业务快速迭代与各种机顶盒对接适配工作量巨大的矛盾。
云化机顶盒对设备进行虚拟化、业务进行云化，UI/APP业务运行在云端上，以视频流形式下发至作为终端的物理机顶盒，物理机顶盒能够进行转发遥控器指令、UI展示、媒体播放等功能。
云化机顶盒上视频码流的规模非常巨大，一般需要对其进行视频编码再发送到物理机顶盒，以免直接传输原始视频码流占用过多的带宽资源。然而，传统的视频编码方式的编码效率较低，导致视频码流的传输延迟较高，用户体验较差。
发明内容
本发明实施例的主要目的在于提出一种视频编码方法及装置、服务器、存储介质，提升了视频编码效率，降低了视频图像数据的传输延时，提升了用户体验。
为实现上述目的，本发明实施例提供了一种视频编码方法，包括：获取视频图像数据中相邻的两帧图像；将两帧图像进行对比，得到至少一个像素变化区域；将两帧图像中的后一帧图像转换为YUV图像；基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。
为实现上述目的，本发明实施例还提出了一种视频编码装置，包括：差分计算模块、YUV转换模块与视频编码模块；差分计算模块用于获取视频图像数据中相邻的两帧图像；差分计算模块还用于将两帧图像进行对比，得到至少一个像素变化区域；YUV转换模块用于将两帧图像中的后一帧图像转换为YUV图像；视频编码模块用于基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。
为实现上述目的，本发明实施例还提出了一种服务器，服务器包括存储器、处理器、存储在存储器上并可在处理器上运行的程序、以及用于实现处理器与存储器之间的连接通信的数据总线，程序被处理器执行时实现如上述的视频编码方法的步骤。
为实现上述目的，本发明实施例还提出了一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述的视频编码方法的步骤。
本发明提供的视频编码方法中，在对视频图像数据进行编码时，获取视频图像数据中相邻的两帧图像，并将这两帧图像进行对比，得到至少一像素变化区域，像素变化区域能够表征这两帧图像中像素值发生变化的区域，然后将两帧图像中的后一帧图像转换为YUV图像，在基于两帧图像中的前一帧图像的编码图像与至少一像素变化区域对YUV图像进行编码时，能够仅对该YUV图像上像素值发生变化的区域进行重新编码，然后利用前一帧图像的编码图像补全后一帧图像的编码图像，避免了视频图像数据中前后两帧图像上像素值相同区域的重复编码，提升了视频编码效率，降低了视频图像数据的传输延时，提升了用户体验。
附图说明
图1是本发明第一实施例的视频编码方法的具体流程图；
图2是本发明第一实施例的视频帧图像中像素变化区域的示意图；
图3是本发明第二实施例的视频编码方法的具体流程图；
图4是图2中步骤203的具体流程图；
图5是本发明第三实施例的视频编码方法的具体流程图；
图6是本发明第四实施例的视频编码方法的具体流程图；
图7是本发明第五实施例的视频编码装置的示意图；
图8是本发明第九实施例的服务器的示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明第一实施例提供了一种视频编码方法，应用于服务器，服务器可以为云化机顶盒，云化机顶盒连接于作为用户终端的物理机顶盒。
本实施例的视频编码方法的具体流程如图1所示。
步骤101，获取视频图像数据中相邻的两帧图像。
具体而言，用户可以通过物理机顶盒选定待播放视频，云化机顶盒在接收到用户选定的待播放视频后，从该视频的IP地址获取相应的视频码流，该视频码流即为待编码的视频图像数据。视频图像数据包括N帧图像，遍历这N帧图像，依次获取视频图像数据中相邻的两帧图像，并执行编码步骤，以对获取的两帧图像进行编码，即在遍历的过程中，得到N-1个相邻帧图像，并执行了N-1次编码以对各相邻帧图像进行编码，N为大于1的整数。具体的，从第一帧图像开始，首先选取第一帧图像与第二帧图像，并对第一帧图像与第二帧图像进行编码，然后选定第二帧图像与第三帧图像，并对第二帧图像与第三帧图像进行编码，重复上述过程，直至N帧图像均完成编码。
编码步骤，包括以下的步骤102至步骤104：
步骤102，将两帧图像进行对比，得到至少一个像素变化区域。
具体而言，将前一帧图像中各像素的像素值与后一帧图像中各像素的像素值进行对比，得到像素值发生变化的至少一目标像素，然后根据各目标像素的坐标，得到至少一个像素变化区域，每个像素变化区域包括至少一目标像素。具体的，对于像素值发生变化的多个目标像素，若相邻的多个目标像素能够组成矩形(正方形是一种特殊的矩形)，则将该矩形作为一个像素变化区域，并利用矩形像素变化区域的左上角的目标像素的坐标(Xn，Yn)和右下角的像素的坐标(Xm，Ym)，得到该像素变化区域的坐标((Xn，Yn)，(Xm，Ym))；需要说明的是，此处也可以利用矩形像素变化区域的左下角的目标像素的坐标与右上角的目标像素的坐标来表示该像素变化区域，在此不再赘述。若目标像素不存在相邻的目标像素，则将该目标像素作为一个像素变化区域，该目标像素的坐标即为像素变化区域的坐标。
示例性的，请参考图2，以(0,0)表示一帧图像左上角的像素的坐标、以(width,height)表示一帧图像右下角的像素的坐标，图2中包括四个像素变化区域，分别为((X1，Y1)，(X2，Y2))、((X3，Y3)，(X4，Y4))、((X5，Y5)，(X6，Y6))、((X7，Y7)，(X8，height))，各像素变化区域之间不存在重叠；在一个例子中，还可以将这四个像素坐标区域进行合并得到一个大的像素变化区域((X1，Y3)，(X6，height))，图2中的虚线框即为合并后的像素变化区域，另外还可以对该像素变化区域的面积的限定，即在合并后的像素变化的面积小于预设值时对其进行合并；反之，则不对这多个像素变化区域进行合并。另外，若任一像素变化区域的坐标((Xn，Yn)，(Xm，Ym))为((0,0)，(width,height))，判定这两帧图像完全相同；若各像素变化区域的坐标((Xn，Yn)，(Xm，Ym))均为((0,0)，(0,0))，判定这两帧图像完全不相同。
需要说明的是，本实施方式还可以在得到多个像素变化区域后，对这多个像素变化区域进行排序，排序方式按照左上、左右、下左、下右的顺序进行，以便与后续按照该顺序进行编码。
步骤103，将两帧图像中的后一帧图像转换为YUV图像。
具体而言，将两帧图像中的后一帧图像转换为YUV图像，即将后一帧图像由RGB格式转换为YUV格式，得到YUV图像；例如，利用预配置的LIBYUV库来对后一帧图像进行转换，LIBYUV库是用于实现各种YUV图像与RGB图像之间相互转换、旋转、缩放的库。
步骤104，基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。
具体而言，基于步骤102得到的像素变化区域，像素变化区域表征两帧图像中像素的像素值发生变化的区域，说明需要对各像素变化区域进行重新编码，此时先对后一帧图像的YUV图像中各像素变化区域内的图像进行编码，得到后一帧图像在像素变化区域内的编码图像；而两帧图像中像素变化区域以外的像素的像素值是不变，对于后一帧图像的编码图像上像素值不变的区域，则可以直接利用前一帧图像的编码图像来补充，从而能够后一帧图像的完整编码图像。其中，图像编码的方式包括帧间及帧内预测、量化及熵编码处理等流程，视频编码标准可以为ITU-U标准、JVT标准或MPEG标准。
需要说明的是，若两帧图像中的前一帧图像为视频图像数据中的第一帧图像，则需要先对第一帧图像进行编码，然后再利用第一帧图像的编码图像来补全后一帧图像；若两帧图像中的前一帧图像不是视频图像数据中的第一帧图像，则在前一次执行编码步骤的过程中，已对该帧图像进行编码，即该帧图像的编码图像已存在，可以直接利用该帧图像的编码图像来补全后一帧图像。
本实施例中，云化机顶盒在利用本实施例中的视频编码方法对视频图像数据中的N帧图像进行编码结束后，加上音频编码，然后一起封装，并将封装之后的视频发送到用户侧的物理机顶盒进行播放。
本实施方式相对于现有技术而言，获取视频图像数据中相邻的两帧图像，并将这两帧图像进行对比，得到至少一像素变化区域，像素变化区域能够表征这两帧图像中像素值发生变化的区域，然后将两帧图像中的后一帧图像转换为YUV图像，在基于两帧图像中的前一帧图像的编码图像与至少一像素变化区域对YUV图像进行编码时，能够仅对该YUV图像上像素值发生变化的区域进行重新编码，然后利用前一帧图像的编码图像补全后一帧图像的编码图像，避免了视频图像数据中前后两帧图像上像素值相同区域的重复编码，提升了视频编码效率，降低了视频图像数据的传输延时，提升了用户体验。
本发明第二实施例提供了一种视频编码方法，本实施方式是在第一实施方式基础上的改进，主要改进之处在于：仅对各像素变化区域内的图像进行YUV转换。
本实施例的视频编码方法的具体流程如图3所示。
步骤201，获取视频图像数据中相邻的两帧图像。与第一实施方式中的步骤101大致相同，在此不再赘述。
编码步骤，包括以下的步骤202至步骤204：
步骤202，将两帧图像进行对比，得到至少一个像素变化区域。与第一实施方式中的步骤102大致相同，在此不再赘述。
步骤203，根据前一帧图像的YUV图像与各像素变化区域对后一帧图像进行转换，得到后一帧图像的YUV图像。
请参考图4，步骤2023包括以下子步骤：
子步骤2031，对各像素变化区域进行差分计算，得到各像素变化区域的差分坐标范围。
具体而言，对各像素变化区域的坐标进行差分计算，以任一像素变化区域((Xn，Yn)，(Xm，Ym))为例，差分计算方式如下：Xn’＝Xn&0xfffffffe，Yn’＝Yn&0xfffffffe，Xm’＝(Xm+1)&0xfffffffe，Ym’＝(Ym+1)&0xfffffffe，能够将各坐标转换为偶数，以便于后续的编码操作，然后计算得到该像素变化区域的差分坐标范围，差分坐标范围包括宽度变化范围与高度变化范围，宽度变化范围widthnm＝Xm’-Xn’，高度变化范围heightnm＝Ym’-Yn’。
子步骤2032，根据后一帧图像与各像素变化区域，得到各像素变化区域的RGB图像。
具体而言，基于后一帧图像的原始RGB图像与各像素变化区域的坐标，得到该原始RBG图像在像素变化区域内的RGB图像，其中若视频图像中各帧图像为ARGB图像，则得到的是各像素变化区域的ARGB图像。
以任一像素变化区域((Xn，Yn)，(Xm，Ym))为例，可以根据如下的公式来计算该像素变化区域的RGB图像，RGB＝frame+Xn*bpp+Yn*stride；其中，RGB表示像素变化区域((Xn，Yn)，(Xm，Ym))的RGB图像，frame表示后一帧图像的原始RGB图像，bpp表示视频图像的像素深度，stride表示视频图像的步长，stride＝bpp*width，width表示视频图像的像素宽度。
子步骤2033，根据前一帧图像的YUV地址与各像素变化区域，得到各像素变化区域的YUV地址。
具体而言，基于前一帧图像的YUV地址，由于像素变化区域以外的像素的像素值未发生变化，则说明书后一帧图像在像素未变化区域的像素可以与前一帧图像复用，此时这部分区域的YUV地址与基于前一帧图像的YUV地址相同，而并以这部分区域的YUV地址作为偏移量生成各像素变化区域的YUV地址。
以任一像素变化区域为((Xn，Yn)，(Xm，Ym))，且YUV转换后包括Y通道与UV通道为例，此时该像素变化区域的YUV地址的Y通道地址YUV[0]＝plane[0]+Xn’+Yn’*stride[0]、UV通道地址YUV[1]＝plane[1]+Xn’+Yn’*stride[1]；其中，plane[0]表示前一帧图像的YUV地址中像素未变化区域的Y通道地址，plane[1]表示前一帧图像的YUV地址中像素未变化区域的UV通道地址，stride[0]表示Y通道的平面跨度，stride[1]表示UV通道的平面跨度。
需要说明的是，若两帧图像中的前一帧图像为视频图像数据中的第一帧图像，则需要先对第一帧图像转换为YUV图像并存储到相应的YUV地址，然后再利用第一帧图像的YUV图像来生成后一帧图像的YUV图像；若两帧图像中的前一帧图像不是视频图像数据中的第一帧图像，则在前一次编码步骤的过程中，已经生成了该帧图像的YUV图像与YUV地址，从而可以直接利用该帧图像的YUV地址来生成后一帧图像的YUV图像。
子步骤2034，根据各像素变化区域的差分坐标范围、RGB图像以及YUV地址，得到后一帧图像的YUV图像。
具体而言，由于后一帧图像在像素未变化区域的像素可以与前一帧图像复用，从而可以复用前一帧图像在像素未变化区域的YUV地址，并且像素未变化区域的YUV地址已存有对应的图像；对于每个像素变化区域来说，在前述过程中已经获取了该像素变化区域的差分坐标范围、RGB图像以及YUV地址，图像的步长stride也是已知的，从而可以利用现有YUV转换方法，将该差分坐标范围内的RGB图像进行YUV转换并存储到对应的YUV地址中；综上，可以得到后一帧图像的YUV图像。
步骤204，基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。与第一实施方式中的子步骤104大致相同，在此不再赘述。
本实施方式相对于第一实施方式而言，在像素未变化区域中，后一帧图像的YUV图像可以复用前一帧图像的YUV图像，从而可以仅对后一帧图像中各像素变化区域内的图像进行YUV转换，提升了YUV的转换效率，从而进一步提升了视频编码效率。
本发明第三实施例提供了一种视频编码方法，本实施方式是在第一实施方式基础上的改进，主要改进之处在于：增加了对后一帧图像是否为帧内编码帧的判断。
本实施例的视频编码方法的具体流程如图5所示。
步骤301，获取视频图像数据中相邻的两帧图像。与第一实施方式中的步骤101大致相同，在此不再赘述。
编码步骤，包括以下的步骤302至步骤305：
步骤302，将两帧图像进行对比，得到至少一个像素变化区域。与第一实施方式中的步骤102大致相同，在此不再赘述。
步骤303，将两帧图像中的后一帧图像转换为YUV图像。与第一实施方式中的步骤103大致相同，在此不再赘述。
步骤304，判断后一帧图像是否为帧内编码帧图像；若是，则进入步骤305。若否，则直接结束。
具体而言，视频图像数据的各帧图像可以分为三类，分别为：帧内编码帧(I帧)，前向预测编码帧(P帧)，双向预测编码帧(B帧)。其中，I帧表示关键帧，其为全帧压缩编码帧，在编码时需要对全帧图像信息进行编码，视频图像数据的第一帧为I帧；P帧是根据本帧与前一帧(I帧或P帧)的不同点来编码本帧数据的；B帧是根据本帧前一帧图像以及后一帧图像的不同点来编码本帧数据的。
若两帧图像的后一帧图像为I帧图像，则需要对该帧图像进行帧内编码。若两帧图像的后一帧图像不是I帧图像，即其为P帧图像或B帧图像，则进入步骤305。
步骤305，基于前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。与第一实施方式中的步骤104大致相同，在此不再赘述。
本实施方式相对于第一实施方式而言，增加了对后一帧图像是否为帧内编码帧的判断，从而能够避免对帧内编码帧进行误编码，提升了视频编码的准确度。
本发明第四实施例提供了一种视频编码方法，本实施方式是在第一实施方式基础上的改进，主要改进之处在于：利用宏块划分进行视频编码。
本实施例的视频编码方法的具体流程如图6所示。
步骤401，获取视频图像数据中相邻的两帧图像。与第一实施方式中的步骤101大致相同，在此不再赘述。
编码步骤，包括以下的步骤402至步骤404：
步骤402，将两帧图像进行对比，得到至少一个像素变化区域。与第一实施方式中的步骤102大致相同，在此不再赘述。
步骤403，将两帧图像中的后一帧图像转换为YUV图像。与第一实施方式中的步骤103大致相同，在此不再赘述。
步骤404，包括以下子步骤：
子步骤4041，将各像素变化区域进行转换，得到各像素变化区域的宏块坐标范围。
具体而言，对于每个像素变化区域进行宏块坐标范围转换，以任一像素变化区域(Xn，Yn，Xm，Ym)为例，可以根据下面的公式来进行转换。
Xn转换后的坐标Mbxn＝Xn*Imbw/Iw，Yn转换后的坐标Mbyn＝Yn*Imbh/Ih，Xm转换后的坐标Mbxm＝Xm*Imbw/Iw，Ym转换后的坐标Mbym＝Ym*Imbh/Ih；其中，Imbw表示预设的单位宏块的宽，Imbh表示预设的单位宏块的高，Iw表示单位分辨率的宽(即图像的width)，Ih表示单位分辨率的高(即图像的height)。
该像素变化区域的宏块坐标范围即为((Mbxn，Mbyn)，(Mbxm，Mbym))。
需要说明的是，在执行子步骤4041之前，若存在任一像素变化区域的坐标不在(0,0，0,0)至(0,0，width,height)以内，则基于其超出的大小与当前分辨率的大小，将其等比例缩放至当前分辨率。
子步骤4042，根据宏块坐标范围对YUV图像进行编码，得到后一帧图像在各宏块坐标范围内的编码图像。
子步骤4043，利用前一帧图像的编码图像补充后一帧图像在宏块坐标范围以外的编码图像。
具体而言，在对图像编码时，可以将图像切割为多个不同的宏块，以基于宏块进行编码，宏块可以为正方形，例如为16像素*16像素大小。在完成宏块的划分后，每个宏块的坐标是已知的，对于每个宏块坐标范围，将其与各宏块的坐标进行对比，只要二者存在相交，则认为该宏块在宏块坐标范围内，从而能够得到该宏块坐标范围所涉及的所有宏块，然后对这些宏块进行标记，在对后一帧图像的YUV图像进行编码时，仅对标记的宏块内的YUV图像进行编码，从而能够得到后一帧图像在各宏块坐标范围以内的编码图像。
对于后一帧图像在各宏块坐标范围以外的宏块内的图像，即未标记的宏块内的图像，由于其与前一帧图像相同，可以直接跳过编码，然后利用前一帧图像在宏块坐标范围以外的编码图像来补全后一帧图像，从而能够得到后一帧图像的完整编码图像。
以宏块坐标范围为((Mbxn，Mbyn)，(Mbxm，Mbym))、宏块坐标为(Mb_x,Mb_y)为例，若宏块坐标满足以下不等式时，则说明其在宏块坐标范围内，对其进行标记；若其不满足任一不等式，则说明其在宏块坐标范围外，无需对其进行标记；不等式包括：Mbxn＜Mb_x＜Mbxm且Mbyn＜Mb_y＜Mbym。
需要说明的是，本实施例中对子步骤4042与子步骤4043的执行顺序不作任何限定。
本实施方式相对于第一实施方式而言，利用宏块编码方式对视频图像进行编码，进一步提升了视频编码效率。
本发明第五实施例提供了一种视频编码装置，应用于服务器，服务器可以为云化机顶盒，云化机顶盒连接于作为用户终端的物理机顶盒。
请参考图7，视频编码装置包括：差分计算模块1、YUV转换模块2与视频编码模块3。需要说明的是，图中以差分计算模块1、YUV转换模块2与视频编码模块3依次连接为例，然不限于此，这三个模块也可以通过一根总线连接，本实施方式对这三个模块的连接方式不作任何限制。
差分计算模块1用于获取视频图像数据中相邻的两帧图像。
差分计算模块1还用于将两帧图像进行对比，得到至少一个像素变化区域。
在一个例子中，差分计算模块1用于将前一帧图像中各像素的像素值与后一帧图像中各像素的像素值进行对比，得到像素值发生变化的至少一目标像素，并根据各目标像素的坐标，得到至少一个像素变化区域；其中每个像素变化区域包括至少一目标像素。
YUV转换模块2用于将两帧图像中的后一帧图像转换为YUV图像。
视频编码模块3用于基于两帧图像中的前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。
由于第一实施例与本实施例相互对应，因此本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，在第一实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。
本实施方式相对于现有技术而言，获取视频图像数据中相邻的两帧图像，并将这两帧图像进行对比，得到至少一像素变化区域，像素变化区域能够表征这两帧图像中像素值发生变化的区域，然后将两帧图像中的后一帧图像转换为YUV图像，在基于两帧图像中的前一帧图像的编码图像与至少一像素变化区域对YUV图像进行编码时，能够仅对该YUV图像上像素值发生变化的区域进行重新编码，然后利用前一帧图像的编码图像补全后一帧图像的编码图像，避免了视频图像数据中前后两帧图像上像素值相同区域的重复编码，提升了视频编码效率，降低了视频图像数据的传输延时，提升了用户体验。
本发明第六实施例提供了一种视频编码装置，本实施方式是在第五实施方式基础上的改进，主要改进之处在于：仅对各像素变化区域内的图像进行YUV转换。
本实施方式中，请参考图7，YUV转换模块2用于根据前一帧图像的YUV图像与各像素变化区域对后一帧图像进行转换，得到后一帧图像的YUV图像。
具体的，YUV转换模块2用于对各像素变化区域进行差分计算，得到各像素变化区域的差分坐标范围。
YUV转换模块用于根据后一帧图像与各像素变化区域，得到各像素变化区域的RGB图像，并根据前一帧图像的YUV地址与各像素变化区域，得到各像素变化区域的YUV地址。
YUV转换模块用于根据各像素变化区域的差分坐标范围、RGB图像以及YUV地址，得到后一帧图像的YUV图像。
由于第二实施例与本实施例相互对应，因此本实施例可与第二实施例互相配合实施。第二实施例中提到的相关技术细节在本实施例中依然有效，在第二实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第二实施例中。
本实施方式相对于第五实施方式而言，在像素未变化区域中，后一帧图像的YUV图像可以复用前一帧图像的YUV图像，从而可以仅对后一帧图像中各像素变化区域内的图像进行YUV转换，提升了YUV的转换效率，从而进一步提升了视频编码效率。
本发明第七实施例提供了一种视频编码装置，本实施方式是在第一实施方式基础上的改进，主要改进之处在于：增加了对后一帧图像是否为帧内编码帧的判断。
本实施例中，请参考图7，视频编码模块3还用于在后一帧图像不是帧内编码帧图像时，基于前一帧图像的编码图像与至少一个像素变化区域对YUV图像进行编码，得到后一帧图像的编码图像。
由于第三实施例与本实施例相互对应，因此本实施例可与第三实施例互相配合实施。第三实施例中提到的相关技术细节在本实施例中依然有效，在第三实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第三实施例中。
本实施方式相对于第五实施方式而言，增加了对后一帧图像是否为帧内编码帧的判断，从而能够避免对帧内编码帧进行误编码，提升了视频编码的准确度。
本发明第八实施例提供了一种视频编码装置，本实施方式是在第五实施方式基础上的改进，主要改进之处在于：利用宏块划分进行视频编码。
本实施方式中，请参考图7，视频编码模块3用于将各像素变化区域进行转换，得到各像素变化区域的宏块坐标范围。
视频编码模块3用于根据宏块坐标范围对YUV图像进行编码，得到后一帧图像在各宏块坐标范围内的编码图像，并利用前一帧图像的编码图像补充后一帧图像在宏块坐标范围以外的编码图像。
由于第四实施例与本实施例相互对应，因此本实施例可与第四实施例互相配合实施。第四实施例中提到的相关技术细节在本实施例中依然有效，在第四实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第四实施例中。
本实施方式相对于第五实施方式而言，利用宏块编码方式对视频图像进行编码，进一步提升了视频编码效率。
本发明第九实施例提供了一种服务器，请参考图8，该服务器包括存储器11、处理器12、存储在该存储器上并可在该处理器上运行的程序、以及用于实现处理器11与存储器12之间的连接通信的数据总线13。该程序被该处理器执行时，以实现以下如图第一至第四实施方式中的视频编程方法的具体步骤。
本发明第十实施例提供了一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (14)

1.一种视频编码方法，包括：
获取视频图像数据中相邻的两帧图像；
将所述两帧图像进行对比，得到至少一个像素变化区域；
将所述两帧图像中的后一帧图像转换为YUV图像；
基于所述两帧图像中的前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像。
2.根据权利要求1所述的视频编码方法，其特征在于，所述将所述两帧图像中的后一帧图像转换为YUV图像，包括：
根据所述前一帧图像的YUV图像与各所述像素变化区域对所述后一帧图像进行转换，得到所述后一帧图像的YUV图像。
3.根据权利要求2所述的视频编码方法，其特征在于，所述根据所述前一帧图像的YUV图像与各所述像素变化区域对所述后一帧图像进行转换，得到所述后一帧图像的YUV图像，包括：
对各所述像素变化区域进行差分计算，得到各所述像素变化区域的差分坐标范围；
根据所述后一帧图像与各所述像素变化区域，得到各所述像素变化区域的RGB图像；
根据所述前一帧图像的YUV地址与各所述像素变化区域，得到各所述像素变化区域的YUV地址；
根据各所述像素变化区域的所述差分坐标范围、所述RGB图像以及所述YUV地址，得到所述后一帧图像的YUV图像。
4.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述两帧图像中的前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像，包括：
若所述后一帧图像不是帧内编码帧图像，基于所述前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像。
5.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述两帧图像中的前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像，包括：
将各所述像素变化区域进行转换，得到各所述像素变化区域的宏块坐标范围；
根据所述宏块坐标范围对所述YUV图像进行编码，得到所述后一帧图像在各所述宏块坐标范围内的编码图像；
利用所述前一帧图像的编码图像补充所述后一帧图像在所述宏块坐标范围以外的编码图像。
6.根据权利要求1所述的视频编码方法，其特征在于，所述将所述两帧图像进行对比，得到至少一个像素变化区域，包括：
将所述前一帧图像中各像素的像素值与所述后一帧图像中各像素的像素值进行对比，得到像素值发生变化的至少一目标像素；
根据各所述目标像素的坐标，得到至少一个所述像素变化区域；其中每个所述像素变化区域包括至少一所述目标像素。
7.一种视频编码装置，包括：差分计算模块、YUV转换模块与视频编码模块；
所述差分计算模块用于获取视频图像数据中相邻的两帧图像；
所述差分计算模块还用于将所述两帧图像进行对比，得到至少一个像素变化区域；
所述YUV转换模块用于将所述两帧图像中的后一帧图像转换为YUV图像；
所述视频编码模块用于基于所述两帧图像中的前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像。
8.根据权利要求7所述的视频编码装置，其特征在于，所述YUV转换模块用于根据所述前一帧图像的YUV图像与各所述像素变化区域对所述后一帧图像进行转换，得到所述后一帧图像的YUV图像。
9.根据权利要求8所述的视频编码装置，其特征在于，所述YUV转换模块用于对各所述像素变化区域进行差分计算，得到各所述像素变化区域的差分坐标范围；
所述YUV转换模块用于根据所述后一帧图像与各所述像素变化区域，得到各所述像素变化区域的RGB图像，并根据所述前一帧图像的YUV地址与各所述像素变化区域，得到各所述像素变化区域的YUV地址；
所述YUV转换模块用于根据各所述像素变化区域的所述差分坐标范围、所述RGB图像以及所述YUV地址，得到所述后一帧图像的YUV图像。
10.根据权利要求7所述的视频编码装置，其特征在于，所述视频编码模块在所述后一帧图像不是帧内编码帧图像时，基于所述前一帧图像的编码图像与所述至少一个像素变化区域对所述YUV图像进行编码，得到所述后一帧图像的编码图像。
11.根据权利要求7所述的视频编码装置，其特征在于，所述视频编码模块用于将各所述像素变化区域进行转换，得到各所述像素变化区域的宏块坐标范围；
所述视频编码模块用于根据所述宏块坐标范围对所述YUV图像进行编码，得到所述后一帧图像在各所述宏块坐标范围内的编码图像，并利用所述前一帧图像的编码图像补充所述后一帧图像在所述宏块坐标范围以外的编码图像。
12.根据权利要求7所述的视频编码装置，其特征在于，所述差分计算模块用于将所述前一帧图像中各像素的像素值与所述后一帧图像中各像素的像素值进行对比，得到像素值发生变化的至少一目标像素，并根据各所述目标像素的坐标，得到至少一个所述像素变化区域；其中每个所述像素变化区域包括至少一所述目标像素。
13.一种服务器，其特征在于，所述服务器包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序、以及用于实现所述处理器与所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的视频编码方法的步骤。
14.一种存储介质，其特征在于，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的视频编码方法的步骤。
CN202010572771.3A 2020-06-22 2020-06-22 视频编码方法及装置、服务器、存储介质 Pending CN113905240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010572771.3A CN113905240A (zh) 2020-06-22 2020-06-22 视频编码方法及装置、服务器、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010572771.3A CN113905240A (zh) 2020-06-22 2020-06-22 视频编码方法及装置、服务器、存储介质

Publications (1)

Publication Number Publication Date
CN113905240A true CN113905240A (zh) 2022-01-07

Family

ID=79186087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010572771.3A Pending CN113905240A (zh) 2020-06-22 2020-06-22 视频编码方法及装置、服务器、存储介质

Country Status (1)

Country Link
CN (1) CN113905240A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098715A1 (zh) * 2022-11-11 2024-05-16 苏州元脑智能科技有限公司 一种基板管理控制芯片的视频压缩方法、系统及相关组件

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061443A1 (en) * 2008-09-10 2010-03-11 Maman Eran Method and system for video streaming of a graphical display of an application
JP2013017128A (ja) * 2011-07-06 2013-01-24 Nippon Hoso Kyokai <Nhk> イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
EP3493543A1 (en) * 2010-12-17 2019-06-05 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061443A1 (en) * 2008-09-10 2010-03-11 Maman Eran Method and system for video streaming of a graphical display of an application
EP3493543A1 (en) * 2010-12-17 2019-06-05 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method
JP2013017128A (ja) * 2011-07-06 2013-01-24 Nippon Hoso Kyokai <Nhk> イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张培君;金小娟;戴蒙;林涛;: "近似像素合并优化的HEVC屏幕视频编码算法", 小型微型计算机系统, no. 09, 15 September 2017 (2017-09-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098715A1 (zh) * 2022-11-11 2024-05-16 苏州元脑智能科技有限公司 一种基板管理控制芯片的视频压缩方法、系统及相关组件

Similar Documents

Publication Publication Date Title
US11943451B2 (en) Chroma block prediction method and apparatus
KR101717510B1 (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
WO2020119449A1 (zh) 色度块的预测方法和装置
WO2020088324A1 (zh) 一种视频图像预测方法及装置
JP4895400B2 (ja) 画像フレームの非フレームエッジブロックの表現における改良された圧縮
JP7143512B2 (ja) ビデオ復号方法およびビデオデコーダ
US11343513B2 (en) Image encoding method and decoding method, encoder, decoder, and storage medium
CN111385572B (zh) 预测模式确定方法、装置及编码设备和解码设备
US20150379659A1 (en) Method and device for determining a set of modifiable elements in a group of pictures
JP7507913B2 (ja) 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム
JP2013532926A (ja) 複数のプロセッサを使用してビデオフレームを符号化するための方法およびシステム
CN115361582B (zh) 一种视频实时超分辨率处理方法、装置、终端及存储介质
US20240283930A1 (en) Systems and methods for video encoding using image segmentation
CN110300302B (zh) 一种视频编码方法、装置和存储介质
CN115134629A (zh) 视频传输方法、系统、设备及存储介质
CN113259663B (zh) 一种图像块划分方法及装置
CN116250240A (zh) 图像编码方法、图像解码方法及相关装置
CN113905240A (zh) 视频编码方法及装置、服务器、存储介质
WO2023092256A1 (zh) 一种视频编码方法及其相关装置
CN114846789B (zh) 用于指示条带的图像分割信息的解码器及对应方法
KR101678138B1 (ko) 동화상 부호화 방법, 장치 및 프로그램
CN116320486A (zh) 编码器、解码器及对应的使用帧内模式译码进行帧内预测的方法
RU2778993C2 (ru) Способ и аппаратура предсказания видеоизображений
RU2787812C2 (ru) Способ и аппаратура предсказания видеоизображений
RU2783337C2 (ru) Способ декодирования видео и видеодекодер

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination