CN111031319A - 一种局部光照补偿预测方法、终端设备及计算机存储介质 - Google Patents

一种局部光照补偿预测方法、终端设备及计算机存储介质 Download PDF

Info

Publication number
CN111031319A
CN111031319A CN201911286359.9A CN201911286359A CN111031319A CN 111031319 A CN111031319 A CN 111031319A CN 201911286359 A CN201911286359 A CN 201911286359A CN 111031319 A CN111031319 A CN 111031319A
Authority
CN
China
Prior art keywords
sub
block
illumination compensation
compensation prediction
local illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911286359.9A
Other languages
English (en)
Other versions
CN111031319B (zh
Inventor
曾飞洋
江东
林聚财
殷俊
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911286359.9A priority Critical patent/CN111031319B/zh
Publication of CN111031319A publication Critical patent/CN111031319A/zh
Application granted granted Critical
Publication of CN111031319B publication Critical patent/CN111031319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种局部光照补偿预测方法、终端设备及计算机存储介质，该局部光照补偿预测方法包括：将当前块划分为多个子块，所述子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻；利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用至少部分参考像素为第二子块构建局部光照补偿预测模型；分别利用每个子块的局部光照补偿预测模型进行预测。通过上述局部光照补偿预测方法，本申请能够提高帧间预测的准确性，降低预测像素值与原始像素值之间的残差，进而降低编码残差的码流大小。

Description

一种局部光照补偿预测方法、终端设备及计算机存储介质
技术领域
本申请涉及视频编解码技术领域，特别是涉及一种局部光照补偿预测方法、终端设备以及计算机存储介质。
背景技术
近年来，在各种领域中存在对于具有高分辨率和高质量图像，诸如高清(HD)视频和超高清(UHD)视频的增长需求。与现有的图像数据相比，高分辨率和高质量图像数据需要相对巨大的信息量或者比特量。因此，当通过使用介质诸如现有的有线/无线宽带线路发送图像数据的时候，或者当图像数据通过使用现有的存储介质存储的时候，传输费用和存储费用升高。为了解决这些问题，可以使用高效的图像压缩技术。
现有的图像压缩技术中采用局部光照补偿(Local illumination compensation，LIC)对帧间编码块进行预测的方法。现有的LIC预测方法采用编码块的参考像素构建以及对应的参考块的邻近像素构建线性预测模型，再利用线性预测模型与编码块进行预测。编码块中的像素与参考像素的距离越远，相关性越低，则线性模型对该预测像素点的预测越不准确，影响LIC预测整体的准确率。
发明内容
本申请提供一种局部光照补偿预测方法、终端设备以及计算机存储介质，以解决现有技术中LIC模型预测准确性低的问题。
为解决上述技术问题，本申请采用的一个技术方案是提供一种局部光照补偿预测方法，所述局部光照补偿预测方法包括：
将当前块划分为多个子块，所述子块分为第一子块和第二子块，所述第一子块与所述当前块的参考像素相邻，所述第二子块与所述参考像素不相邻；
利用与所述第一子块相邻的所述参考像素为所述第一子块构建局部光照补偿预测模型，并利用至少部分所述参考像素为所述第二子块构建局部光照补偿预测模型；
分别利用每个所述子块的局部光照补偿预测模型进行预测。
其中，所述利用至少部分所述参考像素为所述第二子块构建局部光照补偿预测模型包括：
利用至少部分所述参考像素以及对应的参考块的邻近像素计算所述第二子块局部光照补偿预测模型的参数。
其中，所述至少部分所述参考像素包括所述第二子块水平和/或垂直方向上的所述参考像素。
其中，所述至少部分所述参考像素进一步包括所述第二子块对角方向上的所述参考像素。
其中，所述将当前块划分为多个子块包括：
采用垂直划分、水平划分和对角划分中的至少一种将所述当前块划分为多个所述子块。
其中，利用所述局部光照补偿预测模型对所述当前块进行编码得到所述当前块的码流，所述当前块的码流中包括子块局部光照补偿预测标记，所述子块局部光照补偿预测标记用于表示所述当前块是否划分子块及划分方式。
为解决上述技术问题，本申请采用的一个技术方案是提供一种局部光照补偿预测方法，所述局部光照补偿预测方法包括：
将当前块划分为多个子块，所述子块分为第一子块和第二子块，所述第一子块与所述当前块的参考像素相邻，所述第二子块与所述参考像素不相邻；
利用与所述第一子块相邻的所述参考像素为所述第一子块构建局部光照补偿预测模型，并利用与所述第二子块相邻的其他子块的局部光照补偿预测模型为所述第二子块构建局部光照补偿预测模型；
分别利用每个所述子块的所述局部光照补偿预测模型进行预测。
为解决上述技术问题，本申请采用的一个技术方案是提供一种终端设备，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述局部光照补偿预测方法的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如上述局部光照补偿预测方法的步骤。
区别于现有技术，本申请的有益效果是：将当前块划分为多个子块，所述子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻；利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用至少部分参考像素为第二子块构建局部光照补偿预测模型；分别利用每个子块的局部光照补偿预测模型进行预测。通过上述局部光照补偿预测方法，本申请能够提高帧间预测的准确性，降低预测像素值与原始像素值之间的残差，进而降低编码残差的码流大小。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的局部光照补偿预测方法第一实施例的流程示意图；
图2是本申请提供的局部光照补偿预测方法第二实施例的流程示意图；
图3是图2中划分子块一实施例的示意图；
图4是图2中划分子块另一实施例的示意图；
图5是图2中划分子块又一实施例的示意图；
图6是图3中划分子块以及参考像素一实施例的示意图；
图7是图5中划分子块以及参考像素一实施例的示意图；
图8是本申请提供的局部光照补偿预测方法第三实施例的流程示意图；
图9是图3中划分子块以及参考像素另一实施例的示意图；
图10是图5中划分子块以及参考像素另一实施例的示意图；
图11是本申请提供的终端设备一实施例的结构示意图；
图12是本申请提供的终端设备另一实施例的结构示意图；
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请采用LIC预测方法基于参考帧对当前帧进行预测，其中，LIC是为了补偿参考帧与当前帧在亮度上的差异而提出的帧间编码工具。进一步地，LIC可与多种帧间编码模式和编码工具结合，如常规AMVP模式，常规merge模式，MMVD模式等，可以应用于亮度预测和色度预测。
具体地，LIC预测方法采用当前帧中当前块的相邻重建像素与参考帧中参考块的相邻重建像素，构建一个线性模型，通过参考块的重建像素值结合线性模型预测当前块的像素值。线性模型的具体公式如下：
P(x,y)＝α·Pr(x+vx,y+vy)+β
其中，P(x,y)为当前块的预测像素值，Pr(x+vxy+vy)为参考块同位重建像素值。
上述线性模型的公式中，线性模型缩放因子α和补偿因子β的计算方法为：
Figure BDA0002318076270000051
Figure BDA0002318076270000052
其中，ref(s)为下采样后的参考块相邻重建像素，cur(r)为下采样后的当前块相邻重建像素，N为相邻重建像素个数。
下面结合上述相关技术中LIC预测方法的介绍，对本申请各实施例进行说明。
请参阅图1，图1是本申请提供的局部光照补偿预测方法第一实施例的流程示意图。本实施例的局部光照补偿预测方法应用于一种终端设备，通过对LIC预测方法进行改进，将采用线性模型预测的编码块进一步划分为多个字块并分别进行预测，每个子块可采用其相邻重建像素构建新的线性预测模型，并对该子块进行预测和重建。
如图1所示，本实施例的局部光照补偿预测方法具体包括以下步骤：
S101：将当前块划分为多个子块，子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻。
其中，终端设备获取需要进行局部光照补偿的当前帧，并选择当前帧中的当前块，以将当前块划分为多个子块，例如划分为第一子块和第二子块。其中，当前块的参考像素位于当前块的左侧和上侧。第一子块可以为第一子块集，第一子块集包括所有与当前块的参考像素相邻的子块，第二子块可以为第二子块集，第二子块集包括所有当前块的参考像素不相邻的子块。
进一步地，终端设备可以按照预设规则对当前块进行划分，预设规则可以包括划分的方式，划分的子块数量、划分的子块尺寸等。
需要说明的是，终端设备还需要为根据预设的运动矢量为当前帧选择参考帧，并在按照预设规则对当前帧的当前块进行划分时，按照同一预设规则对参考帧中与当前块位置相同的参考块进行划分。
S102：利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用至少部分参考像素为第二子块构建局部光照补偿预测模型。
其中，终端设备在为第一子块构建局部光照补偿预测模型时，利用与第一子块相邻的参考像素以及参考帧中与当前块位置相同的参考块的邻近像素计算第一子块的局部光照补偿预测模型。预测模型的表现形式，以及线性模型缩放因子α和补偿因子β的计算方式具体如上，在此不再赘述。其中，用于计算预测模型的与第一子块相邻的参考像素和参考块的邻近像素的数量相同。
其中，终端设备在为第二子块构建局部光照补偿预测模型时，利用至少部分参考像素以及参考帧中与当前块位置相同的参考块的邻近像素计算第二子块的局部光照补偿预测模型。需要说明的是，至少部分参考像素包括第二子块水平和/或垂直方向上的参考像素。
在为第二子块构建局部光照补偿预测模型时，终端设备可以选择第二子块水平方向上第一比例的参考像素和垂直方向上第二比例的参考像素。例如，终端设备可以选择第二子块水平方向上50％的参考像素和垂直方向上50％的参考像素，或者，也可以选择第二子块水平方向上80％的参考像素和垂直方向上30％的参考像素。第一比例的取值可以与第二子块的尺寸正相关，第二比例的取值可以与第二子块的尺寸正相关。
S103：分别利用每个子块的局部光照补偿预测模型进行预测。
构建完第一子块的局部光照补偿预测模型和第二子块的局部光照补偿预测模型后，终端设备利用参考帧中与第一子块位置相同的重建像素，通过第一子块的局部光照补偿预测模型映射出第一子块的预测值；终端设备利用参考帧中与第而子块位置相同的重建像素，通过第二子块的局部光照补偿预测模型映射出第二子块的预测值。
需要说明的是，由于第一子块的局部光照补偿预测模型与第一子块的相关性越高，第二子块的局部光照补偿预测模型与第二子块的相关性越高，终端设备得到的第一子块的预测值和第二子块的预测值越准确，当前块的预测值，即预测像素值与当前块的原始像素值的残差越小。在对当前帧以及其中的当前块进行编码时，编码器仅需要对上述计算得到的残差进行编码，解码端即可根据这些码流信息解码出残差相应的原始像素值，这样可以大大降低编码所需的码字。
在本实施例中，将当前块划分为多个子块，所述子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻；利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用至少部分参考像素为第二子块构建局部光照补偿预测模型；分别利用每个子块的局部光照补偿预测模型进行预测。通过上述局部光照补偿预测方法，本申请能够提高帧间预测的准确性，降低预测像素值与原始像素值之间的残差，进而降低编码残差的码流大小。
为了解决现有技术的技术问题，本申请还提供了另一种局部光照补偿预测方法，具体请参阅图2，图2是本申请提供的局部光照补偿预测方法第二实施例的流程示意图。如图2所示，本实施例的局部光照补偿预测方法具体包括以下步骤：
S201：采用垂直划分、水平划分和对角划分中的至少一种将所述当前块划分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻。
其中，本申请提供的局部光照补偿预测方法第一实施例中划分子块的预设规则中的划分方式包括但不限于以下方式：垂直划分、水平划分和对角划分。
例如，假设当前块为32X32的亮度块，采用merge模式+LIC模式预测。终端设备可以将当前块采用十字型划分为4个子块A,B,C和D，如图3所示。其中，子块A、子块B和子块C为第一子块，子块D为第二子块。
其中，子块A的宽度和高度均为当前块的1/4；子块B的宽度为当前块的3/4，高度为当前块的1/4；子块C的宽度为当前块的1/4，高度为当前块的3/4；子块D的宽度和高度均为当前块的3/4。
又例如，假设当前块为64X64的亮度块，采用AMVP模式+LIC模式预测。终端设备可以将当前块中与左边界相邻的像素均分为4个16X16的子块，当前块中与上边界相邻的像素均分为4个16X16的子块，剩余48X48的子块作为单独一子块，如图4所示。其中，子块A、子块B、子块C、子块D、子块E、子块F和子块G为第一子块，子块H为第二子块。
在例如，假设当前块为16X8的亮度块，采用AMVP模式+LIC模式预测。终端设备可以将当前块采用135度对角划分为A和B两个子块，如图5所示。其中，子块A和子块B均为第一子块。
S202：利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用第二子块水平和/或垂直方向上的参考像素为第二子块构建局部光照补偿预测模型。
其中，终端设备将当前块按照S201中的任意一种划分方式划分为N个子块后，采用与子块相邻的参考像素以及参考帧中对应参考块的同位相邻参考像素构建M个线性预测模块用于对N个子块的预测，其中，M和N均为正整数，且N大于或等于M。
例如，结合上述图3继续参阅图6，终端设备对参考帧中的参考块采用相同的划分方式进行划分，并获取参考帧中参考块的同位相邻参考像素。
终端设备利用子块A左侧和上侧的相邻重建像素以及参考块的同位邻近像素，即区域1邻近像素，采用上述计算方式构建线性模型1。终端设备采用参考块中与子块A同位的重建像素，通过线性模型1映射得到子块A的预测值。
终端设备利用子块B上侧的相邻重建像素以及参考块的同位邻近像素，即区域2邻近像素，采用上述计算方式构建线性模型2。终端设备采用参考块中与子块B同位的重建像素，通过线性模型2映射得到子块B的预测值。
终端设备利用子块C左侧的相邻重建像素以及参考块的同位邻近像素，即区域3邻近像素，采用上述计算方式构建线性模型3。终端设备采用参考块中与子块C同位的重建像素，通过线性模型3映射得到子块C的预测值。
终端设备采用当前块左侧和上侧的相邻重建像素及参考块的同位邻近像素，即区域1邻近像素、区域2邻近像素以及区域3邻近像素，采用上述计算方式构建线性模型4。终端设备采用参考块中与子块D同位的重建像素，通过线性模型4映射得到子块D的预测值。
又例如，结合上述图5继续参阅图7，终端设备对参考帧中的参考块采用相同的划分方式进行划分，并获取参考帧中参考块的同位相邻参考像素。
终端设备利用子块A上侧的相邻重建像素以及参考块的同位邻近像素，即区域1邻近像素，采用上述计算方式构建线性模型1。终端设备采用参考块中与子块A同位的重建像素，通过线性模型1映射得到子块A的预测值。
终端设备利用子块B左侧的相邻重建像素以及参考块的同位邻近像素，即区域2邻近像素，采用上述计算方式构建线性模型2。终端设备采用参考块中与子块B同位的重建像素，通过线性模型2映射得到子块B的预测值。
S203：分别利用每个子块的局部光照补偿预测模型进行预测。
其中，步骤S203与上述实施例中的步骤103基本一致，在此不再赘述。
S204：利用局部光照补偿预测模型对当前块进行编码得到当前块的码流，当前块的码流中包括子块局部光照补偿预测标记，子块局部光照补偿预测标记用于表示当前块是否划分子块及划分方式。
其中，终端设备根据S203计算得到的残差对当前帧的当前块进行编码，得到当前块的码流。终端设备根据线形模型子块预测句法元素表达方案，用于表明当前块采用LIC工具进行预测时是否需要进行LIC多模型预测，即需要划分子块。
具体地，在当前块的尺寸大于预设阈值时，终端设备运行采用LIC多模型预测。编码块将新增一个句法元素作为标志位来标识当前块采用LIC工具进行预测时是否需要进行分子块多模型预测，或者记录采用的子块划分方式。
例如，在当前块的尺寸大于16x16，且采用LIC模式时，终端设备允许采用LIC多模型模式。编码块新增一个句法元素LIC_SUB_PRED来表示当前块在采用LIC工具进行预测时是否需要进行分子块多模型预测。
LIC_SUB_PRED为0说明当前块在采用LIC时按现有技术进行预测，即不需要进行分子块多模型预测。
LIC_SUB_PRED为1说明当前块在采用LIC预测时需要进行一次十字划分，分为4个子块A，B，C和D。其中，子块A的宽和高均为当前块的1/4；子块B的宽为当前块的3/4，子块高度为当前块的1/4；子块C的宽为当前块的1/4，高度为当前块的3/4；子块D的宽和高均为当前块的3/4，如图3所示。
子块A、子块B、子块C都采用子块相邻重建像素和参考块对应的相邻重建像素构建线性模型进行预测，子块D采用现有技术构建的线性模型进行预测。
LIC_SUB_PRED为2说明当前块在采用LIC预测时需要进行135度对角划分，分为子块A和子块B，如图5所示。
子块A和子块B都采用子块相邻重建像素和参考块对应的相邻重建像素构建线性模型进行预测。
进一步地，终端设备还可增加LIC_SUB_PRED的值分别对应其他划分及预测方式，在此不再赘述。
为了解决现有技术的技术问题，本申请还提供了另一种局部光照补偿预测方法，具体请参阅图8，图8是本申请提供的局部光照补偿预测方法第三实施例的流程示意图。如图8所示，本实施例的局部光照补偿预测方法具体包括以下步骤：
S301：将当前块划分为多个子块，子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻。
其中，本实施例的步骤301的具体过程请参阅上述实施例中的步骤101和步骤201，在此不再赘述。
S302：利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用与第二子块相邻的其他子块的局部光照补偿预测模型为第二子块构建局部光照补偿预测模型。
其中，终端设备利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型的具体过程请参阅上述实施例中的步骤102和步骤202，在此不再赘述。
终端设备利用与第二子块相邻的其他子块的局部光照补偿预测模型为第二子块构建局部光照补偿预测模型时，计算与第二子块相邻的其他子块的局部光照补偿预测模型参数的加权平均值作为第二子块的局部光照补偿预测模型参数。
例如，结合上述图3继续参阅图9，终端设备对参考帧中的参考块采用相同的划分方式进行划分，并获取参考帧中参考块的同位相邻参考像素。
根据第二实施例中的线性模型构建方法和像素预测方法，设子块B的线性模型2为：
P(x,y)＝α2·Pr(x+vx,y+vy)+β2
设子块C的线形模型3为：
P(x,y)＝α3·Pr(x+vx,y+vy)+β3
子块D采用子块B的线性模型2和子块C的线形模型3进行加权预测，且线性模型2和线形模型3的加权值相同，则子块D的线形模型4为：
P(x,y)＝0.5*(α2·Pr(x+vx,y+vy)+β2)+0.5*(α3·Pr(x+vx,y+vy)+β3)
其中，线性模型2和线形模型3的加权值也可以不相同，在此不再赘述。
进一步地，终端设备还可以将第二子块划分为多个第二单元，每个第二单元的线形模型由其余子块的线形模型加权预测。其中，至少两个第二单元的加权权重不同，模型权重为第二单元的局部光照补偿预测模型参数计算过程中不同的其他子块的局部光照补偿预测模型参数的权重。在本实施例中，每个第二单元的模型权重设置与该第二单元与其他子块之间的距离相关。
又例如，结合上述图7继续参阅图10，终端设备对参考帧中的参考块采用相同的划分方式进行划分，并获取参考帧中参考块的同位相邻参考像素。
根据第二实施例中的线性模型构建方法和像素预测方法，设子块B的线性模型2为：
P(x,y)＝α2·Pr(x+vx,y+vy)+β2
设子块C的线形模型3为：
P(x,y)＝α3·Pr(x+vx,y+vy)+β3
终端设备将子块D进一步划分为9个尺寸为4X4的第二单元，并采用子块B的线形模型2和子块C的线形模型3对第二单元的线形模型进行加权预测。图10中每个第二单元中的数字代表线形模型2的权重w，相应地，该第二单元中线形模型3的权重为1-w。
则子块D中每个第二单元的线形模型计算方法为：
P(x,y)＝w*(α2·Pr(x+vx,y+vy)+β2)+(1-w)*(α3·Pr(x+vx,y+vy)+β3)
S303：分别利用每个子块的局部光照补偿预测模型进行预测。
其中，终端设备利用局部光照补偿预测模型对当前块进行编码得到当前块的码流，当前块的码流中包括子块局部光照补偿预测标记，子块局部光照补偿预测标记用于表示当前块是否划分子块及划分方式。
本申请提出了通过构建多个线性模型对LIC进行子块预测的方法。和现有技术相比，本申请提出的方法让LIC的预测过程更精细，采用与各个子块更接近，相关性更强的重建像素，为各子块构建独立的线性模型。让每个子块的预测都能采用更适合当前子块的线性模型，提高了帧间预测的准确性。帧间预测越准确，产生的预测值与原始像素值间的残差越小，编码残差所需码流越低，从而达到降低码流大小的目的。
为实现上述实施例的局部光照补偿预测方法，本申请提出了一种终端设备，具体请参阅图11，图11是本申请提供的终端设备一实施例的结构示意图。
终端设备400包括子块划分模块41、预测模型构建模块42以及模型预测模块43。
其中，子块划分模块41，用于将当前块划分为多个子块，子块分为第一子块和第二子块，第一子块与当前块的参考像素相邻，第二子块与参考像素不相邻。
预测模型构建模块42，用于利用与第一子块相邻的参考像素为第一子块构建局部光照补偿预测模型，并利用至少部分参考像素为第二子块构建局部光照补偿预测模型。
模型预测模块43，用于分别利用每个子块的局部光照补偿预测模型进行预测。
为实现上述实施例的局部光照补偿预测方法，本申请提出了另一种终端设备，具体请参阅图12，图12是本申请提供的终端设备另一实施例的结构示意图。
终端设备500包括存储器51以及处理器52，其中，存储器51与处理器52耦接。
存储器51用于存储计算机程序，处理器52用于执行计算机程序以实现上述实施例的局部光照补偿预测方法。
在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图13，图13是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有计算机程序61，该计算机程序61在被处理器执行时，用以实现上述实施例的局部光照补偿预测方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种局部光照补偿预测方法，其特征在于，包括：
将当前块划分为多个子块，所述子块分为第一子块和第二子块，所述第一子块与所述当前块的参考像素相邻，所述第二子块与所述参考像素不相邻；
利用与所述第一子块相邻的所述参考像素为所述第一子块构建局部光照补偿预测模型，并利用至少部分所述参考像素为所述第二子块构建局部光照补偿预测模型；
分别利用每个所述子块的局部光照补偿预测模型进行预测。
2.根据权利要求1所述的方法，其特征在于，
所述利用至少部分所述参考像素为所述第二子块构建局部光照补偿预测模型包括：
利用至少部分所述参考像素以及对应的参考块的邻近像素计算所述第二子块局部光照补偿预测模型的参数。
3.根据权利要求1所述的方法，其特征在于，
所述至少部分所述参考像素包括所述第二子块水平和/或垂直方向上的所述参考像素。
4.根据权利要求3所述的方法，其特征在于，
所述至少部分所述参考像素进一步包括所述第二子块对角方向上的所述参考像素。
5.根据权利要求1所述的方法，其特征在于，
所述将当前块划分为多个子块包括：
采用垂直划分、水平划分和对角划分中的至少一种将所述当前块划分为多个所述子块。
6.根据权利要求1所述的方法，其特征在于，进一步包括：
利用所述局部光照补偿预测模型对所述当前块进行编码得到所述当前块的码流，所述当前块的码流中包括子块局部光照补偿预测标记，所述子块局部光照补偿预测标记用于表示所述当前块是否划分子块及划分方式。
7.一种局部光照补偿预测方法，其特征在于，包括：
将当前块划分为多个子块，所述子块分为第一子块和第二子块，所述第一子块与所述当前块的参考像素相邻，所述第二子块与所述参考像素不相邻；
利用与所述第一子块相邻的所述参考像素为所述第一子块构建局部光照补偿预测模型，并利用与所述第二子块相邻的其他子块的局部光照补偿预测模型为所述第二子块构建局部光照补偿预测模型；
分别利用每个所述子块的所述局部光照补偿预测模型进行预测。
8.根据权利要求7所述的方法，其特征在于，
所述利用与所述第二子块相邻的其他子块的局部光照补偿预测模型为所述第二子块构建局部光照补偿预测模型包括：
计算与所述第二子块相邻的其他子块的局部光照补偿预测模型参数的加权平均值作为所述第二子块的局部光照补偿预测模型参数。
9.根据权利要求8所述的方法，其特征在于，
所述第二子块被划分为多个第二单元，至少两个所述第二单元的模型权重不同，所述模型权重为所述第二单元的局部光照补偿预测模型参数计算过程中不同的所述其他子块的局部光照补偿预测模型参数的权重。
10.根据权利要求9所述的方法，其特征在于，
所述模型权重与所述第二单元与所述其他子块之间的距离相关。
11.根据权利要求7所述的方法，其特征在于，进一步包括：
利用所述局部光照补偿预测模型对所述当前块进行编码得到所述当前块的码流，所述当前块的码流中包括子块局部光照补偿预测标记，所述子块局部光照补偿预测标记用于表示所述当前块是否划分子块及划分方式。
12.一种终端设备，其特征在于，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1～11中任一项所述局部光照补偿预测方法的步骤。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1～11中任一项所述局部光照补偿预测方法的步骤。
CN201911286359.9A 2019-12-13 2019-12-13 一种局部光照补偿预测方法、终端设备及计算机存储介质 Active CN111031319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911286359.9A CN111031319B (zh) 2019-12-13 2019-12-13 一种局部光照补偿预测方法、终端设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911286359.9A CN111031319B (zh) 2019-12-13 2019-12-13 一种局部光照补偿预测方法、终端设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111031319A true CN111031319A (zh) 2020-04-17
CN111031319B CN111031319B (zh) 2022-04-19

Family

ID=70210777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911286359.9A Active CN111031319B (zh) 2019-12-13 2019-12-13 一种局部光照补偿预测方法、终端设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111031319B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203085A (zh) * 2020-09-30 2021-01-08 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质
CN112801112A (zh) * 2021-01-29 2021-05-14 厦门树冠科技有限公司 一种图像二值化处理方法、装置、介质及设备
WO2022116119A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 一种帧间预测方法、编码器、解码器及存储介质
WO2022116246A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 帧间预测方法、视频编解码方法、装置及介质
WO2023117861A1 (en) * 2021-12-21 2023-06-29 Interdigital Vc Holdings France, Sas Local illumination compensation with multiple linear models
WO2023197229A1 (zh) * 2022-04-13 2023-10-19 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541507A (zh) * 2012-07-11 2015-04-22 Lg电子株式会社 处理视频信号的方法和装置
CN107147911A (zh) * 2017-07-05 2017-09-08 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
CN109792518A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 适应性地确定用于照明补偿的模板大小的系统和方法
CN109997359A (zh) * 2016-11-21 2019-07-09 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
US20190215522A1 (en) * 2018-01-08 2019-07-11 Qualcomm Incorporated Multiple-model local illumination compensation
CN110089116A (zh) * 2017-01-09 2019-08-02 高通股份有限公司 通过光照补偿和整数运动向量限制进行编码优化
US20190273921A1 (en) * 2018-03-01 2019-09-05 Panasonic Intellectual Property Corporation Of America Encoder, and decoder, encoding method, decoding method
CN110446044A (zh) * 2019-08-21 2019-11-12 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
WO2019217383A1 (en) * 2018-05-09 2019-11-14 Interdigital Vc Holdings, Inc. Motion compensation for video encoding and decoding
CN110463203A (zh) * 2017-03-31 2019-11-15 松下电器（美国）知识产权公司 图像编码装置、图像解码装置、图像编码方法及图像解码方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541507A (zh) * 2012-07-11 2015-04-22 Lg电子株式会社 处理视频信号的方法和装置
CN109792518A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 适应性地确定用于照明补偿的模板大小的系统和方法
CN109997359A (zh) * 2016-11-21 2019-07-09 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN110089116A (zh) * 2017-01-09 2019-08-02 高通股份有限公司 通过光照补偿和整数运动向量限制进行编码优化
CN110463203A (zh) * 2017-03-31 2019-11-15 松下电器（美国）知识产权公司 图像编码装置、图像解码装置、图像编码方法及图像解码方法
CN107147911A (zh) * 2017-07-05 2017-09-08 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
US20190215522A1 (en) * 2018-01-08 2019-07-11 Qualcomm Incorporated Multiple-model local illumination compensation
US20190273921A1 (en) * 2018-03-01 2019-09-05 Panasonic Intellectual Property Corporation Of America Encoder, and decoder, encoding method, decoding method
WO2019217383A1 (en) * 2018-05-09 2019-11-14 Interdigital Vc Holdings, Inc. Motion compensation for video encoding and decoding
CN110446044A (zh) * 2019-08-21 2019-11-12 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOHEI ISECHI: "Acceleration of Local Intensity Compensation using sparse representation with parallel processing", 《2014 IEEE 3RD GLOBAL CONFERENCE ON CONSUMER ELECTRONICS (GCCE)》 *
王海洋: "LIC纹理可视化技术在流场中的研究与应用", 《中国优秀硕士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203085A (zh) * 2020-09-30 2021-01-08 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质
CN112203085B (zh) * 2020-09-30 2023-10-17 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质
WO2022116119A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 一种帧间预测方法、编码器、解码器及存储介质
WO2022116246A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 帧间预测方法、视频编解码方法、装置及介质
CN112801112A (zh) * 2021-01-29 2021-05-14 厦门树冠科技有限公司 一种图像二值化处理方法、装置、介质及设备
CN112801112B (zh) * 2021-01-29 2023-08-04 厦门树冠科技有限公司 一种图像二值化处理方法、装置、介质及设备
WO2023117861A1 (en) * 2021-12-21 2023-06-29 Interdigital Vc Holdings France, Sas Local illumination compensation with multiple linear models
WO2023197229A1 (zh) * 2022-04-13 2023-10-19 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Also Published As

Publication number Publication date
CN111031319B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN111031319B (zh) 一种局部光照补偿预测方法、终端设备及计算机存储介质
US11178421B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
US20200244986A1 (en) Picture prediction method and related apparatus
US20160373767A1 (en) Encoding and Decoding Methods and Apparatuses
US20180160113A1 (en) Method and device for encoding and decoding intra-frame prediction
RU2559737C2 (ru) Способ и устройство для кодирования/декодирования вектора движения
US10091526B2 (en) Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same
CN110933424A (zh) 一个帧内编码块的多个预测块
CN110637462B (zh) 视频编解码的方法及装置
CN110446044B (zh) 线性模型预测方法、装置、编码器及存储装置
US11638029B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
US11711543B2 (en) Method and apparatus for low-complexity bidirectional intra prediction in video encoding and decoding
CN111131837B (zh) 运动补偿修正方法、编码方法、编码器及存储介质
CN115037946A (zh) 编码或解码视频数据的方法和装置
JPWO2011099468A1 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US11245905B2 (en) Method and apparatus for blended intra prediction
CN103596003A (zh) 高性能视频编码的帧间预测快速模式选择方法
JP7180679B2 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
JP6992825B2 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP2020167729A (ja) 符号化装置、復号装置及びプログラム
WO2023044916A1 (zh) 帧内预测的方法、编码器、解码器和编解码系统
WO2023044917A1 (zh) 帧内预测的方法、编码器、解码器和编解码系统
WO2023044918A1 (zh) 帧内预测的方法、编码器、解码器和编解码系统
JP7323014B2 (ja) 映像復号方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant