CN113992916A - 图像分量预测方法、编码器、解码器以及存储介质 - Google Patents
图像分量预测方法、编码器、解码器以及存储介质 Download PDFInfo
- Publication number
- CN113992916A CN113992916A CN202111193882.4A CN202111193882A CN113992916A CN 113992916 A CN113992916 A CN 113992916A CN 202111193882 A CN202111193882 A CN 202111193882A CN 113992916 A CN113992916 A CN 113992916A
- Authority
- CN
- China
- Prior art keywords
- current block
- reference pixel
- pixels
- block
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 description 90
- 230000002159 abnormal effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 241000023320 Luma <angiosperm> Species 0.000 description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种图像分量预测方法、编码器、解码器以及存储介质,该方法包括:确定当前块的待预测图像分量的第一参考像素集合(S101);从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素(S102);利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理(S103)。
Description
本申请是申请日为2019年10月28日的PCT国际专利申请PCT/CN2019/113765进入中国国家阶段的中国专利申请号201980093368.8、发明名称为“图像分量预测方法、编码器、解码器以及存储介质”的分案申请。
相关申请的交叉引用
本申请基于申请号为62/823,609、申请日为2019年3月25日的美国专利申请提出,并要求该美国专利申请的优先权,该美国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像分量预测方法、编码器、解码器以及存储介质。
背景技术
由于视频图像的色彩信息经常受到光源、采集设备的色彩偏差等因素的影响从而导致整体上色彩向某一方向移动,也是我们经常所见的偏冷、照片偏黄等现象。为了抵消这种整个视频图像中存在的色彩偏差,目前提出了光照补偿(Illumination Compensation,IC)技术或者局部光照补偿(Local Illumination Compensation,LIC)技术,以对视频图像进行色彩修正。
无论是IC技术或者LIC技术,均需要使用到预测模型构造,然后由构造的预测模型推导出视频图像在视频编解码中的预测值。然而在预测模型的构造过程中,目前用于模型参数推导的样本点数量较大,计算复杂度和内存带宽偏高;同时在这些样本点中还可能存在异常样本点,导致预测模型构造不准确。
发明内容
本申请实施例提供一种图像分量预测方法、编码器、解码器以及存储介质,通过减少参考像素集合中的像素个数,不仅降低了计算复杂度和内存带宽,而且提高了预测模型的精确度,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
本申请实施例的技术方案可以如下实现:
第一方面,本申请实施例提供了一种图像分量预测方法,该方法包括:
确定当前块的待预测图像分量的第一参考像素集合;
从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从第一参考像素集合中选择的一个或多个候选像素;
利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
第二方面,本申请实施例提供了一种编码器,该编码器包括第一确定单元和第一计算单元,其中,
第一确定单元,配置为确定当前块的待预测图像分量的第一参考像素集合;
第一确定单元,还配置为从所述第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从第一参考像素集合中选择的一个或多个候选像素;
第一计算单元,配置为利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
第三方面,本申请实施例提供了一种编码器,该编码器包括第一存储器和第一处理器,其中,
第一存储器,用于存储能够在第一处理器上运行的计算机程序;
第一处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。
第四方面,本申请实施例提供了一种解码器,该解码器包括第二确定单元和第二计算单元,其中,
第二确定单元,配置为确定当前块的待预测图像分量的第一参考像素集合;
第二确定单元,还配置为从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从第一参考像素集合中选择的一个或多个候选像素;
第二计算单元,配置为利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
第五方面,本申请实施例提供了一种解码器,该解码器包括第二存储器和第二处理器,其中,
第二存储器,用于存储能够在第二处理器上运行的计算机程序;
第二处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。
第六方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有图像分量预测程序,图像分量预测程序被第一处理器或第二处理器执行时实现如第一方面所述的方法。
本申请实施例提供了一种图像分量预测方法、编码器、解码器以及存储介质,确定当前块的待预测图像分量的第一参考像素集合;从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
附图说明
图1为本申请实施例提供的一种图像分量预测方法的流程示意图;
图2A为本申请实施例提供的一种参考像素点位置的结构示意图;
图2B为本申请实施例提供的另一种参考像素点位置的结构示意图;
图3为本申请实施例提供的一种当前块上侧边相邻参考像素子集选取的结构示意图;
图4为本申请实施例提供的另一种当前块上侧边相邻参考像素子集选取的结构示意图;
图5为本申请实施例提供的一种预测模型的对比结构示意图;
图6为本申请实施例提供的另一种图像分量预测方法的流程示意图;
图7为本申请实施例提供的一种编码器的组成结构示意图;
图8为本申请实施例提供的一种编码器的具体硬件结构示意图;
图9为本申请实施例提供的一种解码器的组成结构示意图;
图10为本申请实施例提供的一种解码器的具体硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征编码块(Coding Block,CB);其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量,具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb或者U表示,红色色度分量通常使用符号Cr或者V表示;这样,视频图像可以用YCbCr格式表示,也可以用YUV格式表示。
在本申请实施例中,第一图像分量可以为亮度分量,第二图像分量可以为蓝色色度分量,第三图像分量可以为红色色度分量,但是本申请实施例不作具体限定。
在当前的视频图像或者视频编解码过程中,不仅跨分量预测技术需要使用到预测模型的构建,而且图像分量内的预测技术同样需要使用到预测模型的构建。其中,对于跨分量预测技术,主要包括跨分量线性模型预测(Cross-component Linear ModelPrediction,CCLM)模式和多方向线性模型预测(Multi-Directional Linear ModelPrediction,MDLM)模式,这里的CCLM模式和MDLM模式所构建的预测模型,可以实现第一图像分量到第二图像分量、第二图像分量到第一图像分量、第一图像分量到第三图像分量、第三图像分量到第一图像分量、第二图像分量到第三图像分量、或者第三图像分量到第二图像分量等图像分量间的预测。而对于图像分量内的预测技术,主要包括色度分量补偿技术和亮度分量补偿技术,比如IC技术和LIC技术,利用图像分量内的预测技术所构建的预测模型,可以实现第一图像分量对第一图像分量的预测、第二图像分量对第二图像分量的预测、或者第三图像分量对第三图像分量的预测等图像分量内的预测技术。在本申请实施例中,下面将主要以图像分量内的预测技术所构建的预测模型为例进行描述。
为了保证预测模型中所使用模型参数的准确性,则用于推导模型参数所构造的参考像素集合需要更为准确。基于此,本申请实施例提供了一种图像分量预测方法,通过确定当前块的待预测图像分量的第一参考像素集合;从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度,进而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
需要说明的是,本申请实施例的图像分量预测方法,既可以应用于视频编码系统,又可以应用于视频解码系统,甚至还可以同时应用于视频编码系统和视频解码系统,本申请实施例不作具体限定。还需要说明的是,当该方法应用于视频编码系统时,“当前块”具体是指帧内预测中的当前编码块;当该方法应用于视频解码系统时,“当前块”具体是指帧内预测中的当前解码块。
下面将结合附图对本申请各实施例进行详细描述。
参见图1,其示出了本申请实施例提供的一种图像分量预测方法的流程示意图,该方法可以包括:
S101:确定当前块的待预测图像分量的第一参考像素集合;
S102:从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;
S103:利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
需要说明的是,视频图像可以划分为多个图像块,每个当前待编码的图像块可以称为当前块。其中,每个当前块可以包括第一图像分量、第二图像分量和第三图像分量;而当前块为视频图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的当前块。其中,当需要通过预测模型对第一图像分量进行预测时,待预测图像分量为第一图像分量;当需要通过预测模型对第二图像分量进行预测时,待预测图像分量为第二图像分量;当需要通过预测模型对第三图像分量进行预测时,待预测图像分量为第三图像分量。
还需要说明的是,第一参考像素集合为当前相关技术方案中构建预测模型所对应的参考像素集合。在该第一参考像素集合中,可能会存在部分不重要的参考像素点(比如这些参考像素点的相关性较差)或者部分异常的参考像素点,为了保证预测模型的准确性,需要将这些参考像素点剔除掉,从而得到了参考像素子集;根据参考像素子集,可以保证预测模型的准确性,使得待预测图像分量的预测效率高。
在本申请实施例中,首先定当前块的待预测图像分量的第一参考像素集合;然后从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;再利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度,进而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
进一步地,针对第一参考像素集合的确定,可以是根据当前块周边相邻的参考像素得到的,也可以是重建块内部相邻的参考像素得到的,本申请实施例不作具体限定,下面将分别对其进行描述。
可选地,在一些实施例中,对于S101来说,所述确定当前块的待预测图像分量的第一参考像素集合,可以包括:
在所述当前块之外,获取与所述当前块的至少一个边相邻的参考像素;其中,所述当前块的至少一个边包括下述至少之一:上侧边、左侧边、右上侧边和左下侧边;
根据获取的参考像素,得到所述第一参考像素集合。
示例性地,参见图2A,其示出了本申请实施例提供的一种参考像素点位置的结构示意图。在图2A中,参考像素点位于当前块的周围,也即与当前块至少一个边相邻的参考像素点,而当前块至少一个边可以是指当前块的左侧边,也可以是指当前块的上侧边,甚至也可以是指当前块的左侧边和上侧边;本申请实施例不作具体限定。
可以理解,如果当前块的至少一个边为左侧边和/或上侧边,那么对于S101来说,所述确定当前块的待预测图像分量的第一参考像素集合,可以包括:
获取与所述当前块的至少一个边相邻的参考像素点;其中,所述至少一个边包括所述当前块的左侧边和/或所述当前块的上侧边;
根据获取的参考像素,得到所述第一参考像素集合。
需要说明的是,当前块的至少一个边可以包括当前块的左侧边和/或当前块的上侧边;即当前块的至少一个边可以是指当前块的上侧边,也可以是指当前块的左侧边,甚至还可以是指当前块的上侧边和左侧边,本申请实施例不作具体限定。
这样,当左侧相邻区域和上侧相邻区域全部为有效区域时,这时候第一参考像素集合可以是由与当前块的左侧边相邻的参考像素点和与当前块的上侧边相邻的参考像素点组成的,当左侧相邻区域为有效区域、而上侧相邻区域为无效区域时,这时候第一参考像素集合可以是由与当前块的左侧边相邻的参考像素点组成的;当左侧相邻区域为无效区域、而上侧相邻区域为有效区域时,这时候第一参考像素集合可以是由与当前块的上侧边相邻的参考像素点组成的。
可以理解,如果当前块的至少一个边为左侧边和左下侧边组成的相邻列、和/或上侧边和右上侧边组成的相邻行,那么对于S101来说,所述确定当前块的待预测图像分量的第一参考像素集合,可以包括:
获取与所述当前块相邻的参考行或者参考列中的参考像素点;其中,所述参考行是由所述当前块的上侧边以及右上侧边所相邻的行组成的,所述参考列是由所述当前块的左侧边以及左下侧边所相邻是列组成的;
根据获取的参考像素,得到所述第一参考像素集合。
需要说明的是,与当前块相邻的参考行可以是由所述当前块的上侧边以及右上侧边所相邻的行组成的,与当前块相邻的参考列可以是由所述当前块的左侧边以及左下侧边所相邻的列组成的;与当前块相邻的参考行或参考列可以是指与当前块上侧边相邻的参考行,也可以是指与当前块左侧边相邻的参考列,甚至还可以是指与当前块其他边相邻的参考行或参考列,本申请实施例不作具体限定。为了方便描述,在本申请实施例中,当前块相邻的参考行将以上侧边相邻的参考行为例进行描述,当前块相邻的参考列将以左侧边相邻的参考列为例进行描述。
其中,与当前块相邻的参考行中的参考像素点可以包括与上侧边以及右上侧边相邻的参考像素点(也称之为上侧边以及右上侧边所对应的相邻参考像素点),其中,上侧边表示当前块的上侧边,右上侧边表示当前块上侧边向右水平扩展出的与当前块高度相同的边长;与当前块相邻的参考列中的参考像素点还可以包括与左侧边以及左下侧边相邻的参考像素点(也称之为左侧边以及左下侧边所对应的相邻参考像素点),其中,左侧边表示当前块的左侧边,左下侧边表示当前块左侧边向下垂直扩展出的与当前解码块宽度相同的边长;但是本申请实施例也不作具体限定。
这样,当左侧相邻区域和左下侧相邻区域为有效区域时,这时候第一参考像素集合可以是由与当前块相邻的参考列中的参考像素点组成的;当上侧相邻区域和右上侧相邻区域为有效区域时,这时候第一参考像素集合可以是由与当前块相邻的参考行中的参考像素点组成的。
可选地,在一些实施例中,对于S101来说,所述确定当前块的待预测图像分量的第一参考像素集合,可以包括:
在重建块之内,获取所述重建块的至少一个边相邻的参考像素;其中,所述重建块为与所述当前块相邻且已完成编码重构建的图像块,所述重建块的至少一个边包括:下侧边、右侧边、或者下侧边和右侧边;
根据获取的参考像素,得到所述第一参考像素集合。
示例性地,参见图2B,其示出了本申请实施例提供的一种参考像素点位置的结构示意图。在图2B中,参考像素点位于重建块的内部,也即与重建块至少一个边相邻的参考像素点,而重建块至少一个边可以是指重建块的右侧边,也可以是指重建块的下侧边,甚至也可以是指重建块的右侧边和下侧边,本申请实施例不作具体限定。
需要说明的是,从构建预测模型的角度,参考像素点可以称为“构建预测模型所使用的像素点”,当前块已经处于编码且重建完毕阶段,这时候构建一个预测模型,该预测模型可以方便后续图像中的其他编码块使用。另外,针对重建块来说,一方面可以利用重建块内相邻的参考像素来得到第一参考像素集合,便于后续构建当前块的预测模型;另一方面还可以直接借用重建块对应的预测模型,将其作为当前块的预测模型;也就是说,对于正在编码的当前块,相邻区域的重建块的相关信息使用,是可以通过直接利用其对应的预测模型的,而不需要通过重建块相邻的参考像素再来构建预测模型。
进一步地,在得到第一参考像素集合之后,该第一参考像素集合中可能会存在部分不重要的参考像素点(比如这些参考像素点的相关性较差)或者部分异常的参考像素点,为了保证模型参数推导的准确性,需要将这些参考像素点剔除掉,从而得到了参考像素子集;这样,根据参考像素子集,可以保证预测模型的准确性,使得待处理图像分量的预测效率高。
在一些实施例中,对于S102来说,所述根据所述第一参考像素集合,确定参考像素子集,可以包括:
基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置;
从所述第一参考像素集合中选取与所述候选位置对应的参考像素,将选取得到的参数像素组成所述参考像素子集。
进一步地,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
基于所述至少一个边相邻的参考像素对应的像素位置,确定所述候选位置。
进一步地,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
基于所述至少一个边相邻的参考像素对应的图像分量强度值,确定所述候选位置。
进一步地,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
基于所述至少一个边相邻的参考像素对应的像素位置和图像分量强度值,确定所述候选位置。
需要说明的是,图像分量强度可以用图像分量值来表示,比如亮度值、色度值等;这里,图像分量值越大,表明了图像分量强度越高。本申请实施例所选取的参考像素,可以是通过候选像素的候选位置来进行选取的;其中,候选位置可以是根据像素位置确定,也可以是根据图像分量强度值(比如亮度值、色度值等)确定,本申请实施例不作具体限定。
还需要说明的是,参考像素子集是通过对第一参考像素集合进行筛选处理,然后选取部分参考像素点所组成的;而模型参数是根据参考像素子集进行计算得到的;这样,由于参考像素子集中样本数量减少,也就减少了计算模型参数所需的样本数量,从而可以达到减少降低计算复杂度和内存带宽(或称为存储器带宽)的目的。
可以理解,本申请实施例所选取的部分参考像素点,可以是通过参考像素对应的像素位置来选取的,也可以是根据参考像素对应的图像分量强度值(比如亮度值、色度值等)来选取的,本申请实施例不作具体限定。其中,无论是通过参考像素对应的像素位置,还是通过参考像素对应的图像分量强度值对第一参考像素集合进行筛选以选取出合适的参考像素点,进而组成参考像素子集;这样,根据参考像素子集推导得到的模型参数更准确,使得根据该模型参数所构建的预测模型也可以更精确。
在一些实施例中,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
确定预设候选像素数;其中,所述预设候选像素数表示从所述至少一个边相邻的参考像素中所采样的像素数量;
根据所述预设候选像素数和所述至少一个边的长度,确定所述候选位置;其中,所述至少一个边的长度等于所述至少一个边所包含的像素数量。
需要说明的是,针对重建块的相关信息使用,是可以通过直接利用其对应的预测模型的,而不需要通过重建块相邻的参考像素再来构建预测模型;因此,本申请实施例将主要以当前块的至少一个边为例进行描述如何确定候选像素的候选位置。
还需要说明的是,预设候选像素数表示预先设定的待采样的像素点个数,即参考像素子集中所包含的像素个数。以像素位置为例,可以在确定出预设候选像素数之后,根据至少一个边的边长和预设候选像素数来计算出候选像素的候选位置;然后根据候选位置,从第一参考像素集合中选取合适的参考像素点来组成参考像素子集。这样,根据参考像素子集所计算的模型参数更为准确,从而构建的预测模型也可以更精确,进而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
进一步地,对于候选位置的确定,可以先计算第一采样间隔,然后根据第一采样间隔对该至少一个边进行采样处理,以确定出该至少一个边对应的候选像素的候选位置。因此,在一些实施例中,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
根据所述预设候选像素数和所述至少一个边的长度,计算第一采样间隔;
从所述至少一个边中确定一基准点,按照所述第一采样间隔确定所述候选位置。
需要说明的是,基准点可以是所述至少一个边的中点,也可以是所述至少一个边的中点偏左的第一个参考像素点位置,还可以是所述至少一个边的中点偏右的第一参考像素点位置,甚至还可以是所述至少一个边的其他参考像素点位置,本申请实施例不作具体限定。
具体地,可以根据所述至少一个边的长度,确定所述至少一个边的中点,然后将所述至少一个边的中点作为所述基准点。其中,基准点可以是所述至少一个边的中点,也可以是所述至少一个边的中点偏左的第一个参考像素点位置,还可以是所述至少一个边的中点偏右的第一参考像素点位置,甚至还可以是所述至少一个边的其他参考像素点位置,本申请实施例不作具体限定。
需要说明的是,考虑到与当前块的至少一个边相邻的参考像素点的重要性与其对应的位置有关,为了使得参考像素子集中的参考像素点能够代表整个相邻边的特性,需要尽可能选取处于该边中心位置的参考像素点,以将重要性比较低的点(比如该边的两侧边缘的参考像素点)进行剔除。在本申请实施例中,如果以当前块的上侧边为例进行说明,那么可以将中间位置偏右或者偏左的第一个参考像素点位置作为该边的基准点;如果以当前块的左侧边为例进行说明,那么可以将中间位置偏下或者偏上的第一个参考像素点位置作为该边的基准点。
除此之外,在确定基准点之前,还可以首先删除当前块其中一个边的末端位置对应的预设数量个参考像素点,或者针对该边从末端位置开始按照预设偏移量进行初始偏移,以偏移后的参考像素点位置作为起始点,得到新的边,然后将新的边对应的中间位置作为基准点;相应的,也可以首先删除当前块其中一个边的起始位置对应的预设数量个参考像素点,或者针对该边从起始位置开始按照预设偏移量进行初始偏移,以偏移后的参考像素点位置作为起始点,得到新的边,然后再将新的边对应的中间位置作为基准点。
在实际应用中,由于当前块的左侧边或者上侧边的边长都是2的整数倍,那么当前块的左侧边或者上侧边的中间位置均是处于两个点之间。在图3的示例中,是以中间位置偏左的第一个像素点作为该边的中点;但是本申请实施例也可以将中间位置偏右的第一个像素点作为该边的中点,如图4所示。在图3中,以将中间位置偏左的第一个像素点(如图3中的3)作为该边的中点,由于预设采样个数为2,那么可以确定出待选择参考像素点位置(如图3中灰色点示例)为1和5,根据这些参考像素点位置也可以选取出与之对应的参考像素点,以此组成参考像素子集。因此,在本申请实施例中,针对当前块的上侧边,既可以将中间位置偏右的第一个像素点作为该边的中点,也可以将中间位置偏左的第一个像素点作为该边的中点,本申请实施例不作具体限定;另外,针对当前块的左侧边,既可以将中间位置偏下的第一个像素点作为该边的中点,也可以将中间位置偏上的第一个像素点作为该边的中点,本申请实施例也不作具体限定。
除特别说明外,下文中将以当前块的上侧边为例进行说明,但是本申请实施例的图像分量预测方法同样适用于当前块的左侧边,甚至是重建块的右侧边或者重建块的下侧边,本申请实施例不作具体限定。
可以理解地,如果不考虑与当前块的左侧边或者上侧边相邻的参考像素点的存在性,那么还可以根据式(1)和式(2)进行第二参考像素集合的构造,
Δ=length/(N2/2) (1)
shift=Δ/2 (2)
其中,Δ表示采样间隔,length表示与当前块的上侧边相邻的一行参考像素点的个数、或者与当前块的左侧边相邻的一列参考像素点的个数,N2表示当前块所期望的构成参考像素子集中参考像素点个数(一般来说,左侧边和上侧边各自为二分之一,但是本申请实施例不作具体限定),shift表示选取参考像素点的起始点位置。这里,当当前块的左侧边或者上侧边的中间位置均是处于两个点之间时,此时如果以中间位置偏右的第一个像素点作为该边的中点,那么起始点位置shift=Δ/2;此时如果以中间位置偏左的第一个像素点作为该边的中点,那么起始点位置shift=Δ/2-1。
示例性地,以图3所示的上侧边为例,length等于8,N2等于4,假定左侧边和上侧边各自为二分之一,即上侧边的预设采样个数为2,那么根据式(1)和式(2)分别计算得到Δ=length/(N2/2)=4,shift=Δ/2=2,即以1为起始点位置、4为采样间隔,首先可以确定出待选择参考像素点位置,比如为1和5,进而可以选取到对应的参考像素点,以组成参考像素子集。这里,需要注意的是,左侧边对应的预设采样个数和上侧边对应的预设采样个数,两者的取值可以相同,也可以不同,本申请实施例不作具体限定。
还需要说明的是,根据预设候选像素数和当前块一个边的长度,可以计算得到该边对应的第一采样间隔。另外,由于当前块的左侧边或者上侧边的边长都是2的整数倍,那么当前块的左侧边或者上侧边的中间位置均是处于两个点之间,此时计算得到的中点值为非整数,计算得到的参考像素点位置也为非整数;然而如果当前块的左侧边或者上侧边的边长不是2的整数倍,那么当前块的左侧边或者上侧边的中间位置不会处于两个点之间,此时计算得到的中点值为整数,计算得到的参考像素点位置也为整数;也就是说,计算得到的中点值可以为整数,也可以为非整数;对应地,计算得到的参考像素点位置也可以为整数,也可以为非整数;本申请实施例不作具体限定。
这样,当计算得到的中点值为整数时,对应地,计算得到的参考像素点位置也为整数,此时可以直接将计算得到的参考像素点位置作为候选位置;当计算得到的中点值为非整数时,对应地,计算得到的参考像素点位置也为非整数,此时可以通过向大取整或者向小取整来确定出候选位置。
进一步地,在一些实施例中,在计算第一采样间隔之后,该方法还可以包括:
对所述第一采样间隔进行调整,得到第二采样间隔;
基于所述基准点,按照所述第二采样间隔确定所述候选位置。
需要说明的是,当计算得到第一采样间隔之后,还可以对第一采样间隔进行微调,比如对第一采样间隔进行加1或者减1的操作,以此得到第二采样间隔。例如,第一采样间隔为4,那么调整后的第二采样间隔可以为3或者5。在本申请实施例中,针对第一采样间隔的调整,可以进行小幅度(比如,加1或者减1)的调整,但是针对调整幅度的具体设定,本申请实施例不作具体限定。
进一步地,在一些实施例中,得到第二采样间隔之后,该方法还可以包括:
基于所述基准点,按照所述第一采样间隔确定所述基准点一侧对应的候选位置,按照所述第二采样间隔确定所述基准点另一侧对应的候选位置。
也就是说,当确定出当前块至少一条边的基准点之后,可以按照第一采样间隔或者第二采样间隔进行均匀采样;也可以按照第一采样间隔和第二采样间隔进行非均匀采样,而且采样后所确定的候选位置可以对称分布在基准点两侧,也可以非对称分布在基准点两侧;本申请实施例不作具体限定。
进一步地,由于第一参考像素集合中与当前块的待预测图像分量比较相关的是位于至少一个边的中间位置的参考像素点,那么可以将该中间位置附近连续的预设采样个数的参考像素点位置作为待选择参考像素点位置,该方法可以称之为中间位置连续取点方案。具体地,假定与当前块的上侧边或者左侧边相邻的一行/一列上的参考像素点位置从0开始编号,那么本实施例中所组成的参考像素子集中相邻参考像素点个数以及对应的待选择参考像素点位置如表1所示。这时候可以将中间位置附近连续的预设采样个数的参考像素点位置作为候选位置,以此组成参考像素子集。
表1
当前块的至少一个边的边长 | 候选位置 | 预设候选像素数 |
2 | 0,1 | 2 |
4 | 1,2 | 2 |
8 | 2,3,4(或3,4,5) | 3 |
16 | 6,7,8,9 | 4 |
32 | 13,14,15,16,17,18,19,20 | 8 |
进一步地,对于第一参数像素集合的筛选处理,还可以对至少一个边的参考像素点进行跳点处理,即将不重要的参考像素点或存在异常的参考像素点跳过去(也可以看作是删除处理),从而得到参考像素子集;也可以在此基础上,即至少一个边的部分参考像素点跳过之后,得到第二参考像素集合,在对第二参考像素集合在进行筛选处理,以得到参考像素子集。因此,在一些实施例中,所述基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置,可以包括:
确定所述至少一个边对应的预设跳过像素数K,其中,K为大于或等于1的正整数;
从所述至少一个边的起始位置和/或末端位置开始,确定K个待跳过像素点对应的位置;
基于所述K个待跳过像素点对应的位置,从所述至少一个边的起始位置和/或末端位置开始连续跳过K个待跳过像素点,得到至少一个新边;
基于所述至少一个新边以及所述预设候选像素数,确定所述候选位置。
需要说明的是,预设跳过像素数表示预先设定的待删除或者待跳过的像素点个数。另外,至少一个边的起始位置表示当前块的上侧边的最左边缘位置或者当前块的左侧边的最上边缘位置,至少一个边的末端位置表示当前块的上侧边的最右边缘位置或者当前块的左侧边的最下边缘位置。
还需要说明的是,K的取值可以是预先设置的参考像素点个数,比如1、2或者4等;还可以是根据当前块的边长以及与之对应的预设比例进行计算得到;但是在实际应用中,仍然根据实际情况进行设定,本申请实施例不作具体限定。其中,与当前块的上侧边对应的预设比例可以用第一预设比例表示,与当前块的左侧边对应的预设比例可以用第二预设比例表示,第一预设比例与第二预设比例的取值可以相同,也可以不相同,本申请实施例也不作具体限定。
这样,假定从至少一个边的起始位置开始,如果至少一个边为当前块的上侧边(也可以称为当前块的参考行),那么可以从至少一个边的最左边缘位置开始,确定出K个待跳过像素点对应的位置;如果至少一个边为当前块的左侧边(也可以称为当前块的参考列),那么可以从至少一个边的最上边缘位置开始,确定出K个待跳过像素点对应的位置;假定从至少一个边的末端位置开始,如果至少一个边为当前块的上侧边,那么可以从至少一个边的最右边缘位置开始,确定出K个待跳过像素点对应的位置;如果至少一个边为当前块的左侧边,那么可以从至少一个边的最下边缘位置开始,确定出K个待跳过像素点对应的位置;在实际应用中,根据实际情况进行设定,本申请实施例不作具体限定。
在确定出K个待跳过像素点对应的位置之后,假定从至少一个边的起始位置开始,如果至少一个边为当前块的上侧边,那么可以从该上侧边的最左边缘位置开始,向右确定出连续的K个待跳过像素点所对应的位置,然后连续跳过这K个待跳过像素点,得到新的上侧边;这时候可以根据新的上侧边的边长以及预设候选像素数,确定出该新的上侧边对应的候选位置,从而将选取得到的候选像素组成参考像素子集;如果至少一个边为当前块的左侧边,那么可以从该左侧边的最上边缘位置开始,向下确定出连续的K个待跳过像素点所对应的位置,然后连续跳过这K个待跳过像素点,得到新的左侧边;这时候可以根据新的左侧边的边长以及预设候选像素数,确定出该新的左侧边对应的候选位置,从而将选取得到的候选像素组成参考像素子集。或者,假定从至少一个边的末端位置开始,如果至少一个边为当前块的上侧边,那么可以从该上侧边的最右边缘位置开始,向左确定出连续的K个待跳过像素点所对应的位置,然后连续跳过这K个待跳过像素点,得到新的上侧边;这时候可以根据新的上侧边的边长以及预设候选像素数,确定出该新的上侧边对应的候选位置,从而将选取得到的候选像素组成参考像素子集;如果至少一个边为当前块的左侧边,那么可以从该左侧边的最下边缘位置开始,向上确定出连续的K个待跳过像素点所对应的位置,然后连续跳过这K个待跳过像素点,得到新的左侧边;这时候可以根据新的左侧边的边长以及预设候选像素数,确定出该新的左侧边对应的候选位置,从而将选取得到的候选像素组成参考像素子集。
这样,本申请实施例使用当前块相邻的参考像素点所得到的第一参考像素集合中的部分像素(即参考像素子集)来推导复杂模型(比如非线性模型或者多模型)对应的模型参数。由于所得到的子集(即参考像素子集)中已经剔除了不重要的参考像素点或者存在异常的参考像素点,从而使其具有更少的参考像素点个数,这样不仅降低了计算复杂度和内存带宽,而且还提高了复杂模型的精确度,从而可以达到提升待处理图像分量的预测准确性和视频图像的预测效率的目的。
进一步地,在确定出参考像素子集之后,可以根据该参考像素子集,计算预测模型的模型参数,便于构建预测模型。因此,在一些实施例中,对于S103来说,所述利用所述参考像素子集,计算预测模型的模型参数,可以包括:
基于所述参考像素子集,获取所述当前块对应的待预测图像分量的相邻像素重建值和参考块对应的待预测图像分量的相邻像素重建值;其中,所述当前块位于第N帧视频图像,所述参考块位于第N-1帧视频图像;
根据所述当前块对应的待预测图像分量的相邻像素重建值以及所述参考块对应的待预测图像分量的相邻像素重建值,计算得到模型参数。
需要说明的是,参考块与当前块并不是位于同一帧内,两者之间属于帧间关系。其中,参考块与当前块位于不同帧的视频图像中,且参考块所处的帧为当前块所处帧的前一帧,也即当前块处于第N帧视频图像,而参考块处于第N-1帧视频图像;另外,当前块在第N帧视频图像中的位置与参考块在第N-1帧视频图像中的位置会存在运动向量(MotionVector,MV)的偏移。
另外,模型参数包括第一模型参数α和第二模型参数β。而针对α和β的计算具有多种方式,可以是以最小二乘法构造的预设因子计算模型,也可以是以最大值与最小值构造的预设因子计算模型,甚至还可以是其他方式构造的预设因子计算模型,本申请实施例不作具体限定。
以最小二乘法构造的预设因子计算模型为例,假定该预测模型主要是用于对亮度分量的预测处理,比如IC技术或者LIC技术;这时候α和β可以通过当前块对应的亮度分量相邻像素重建值和参考块对应的亮度分量相邻像素重建值进行最小化回归误差来推导得到,具体地,如式(3)所示的预设因子计算模型:
其中,L(n)表示参考块对应的亮度分量相邻像素重建值,C(n)表示当前块对应的亮度分量相邻像素重建值,N为当前块对应的亮度分量相邻像素个数,n=1,2,...,2N。这样,通过式(3)的计算,可以得到第一模型参数α和第二模型参数β。
以最大值与最小值构造的预设因子计算模型为例,它提供了一种简化版模型参数的推导方法,具体地,可以通过在参考块对应的亮度分量相邻像素重建值中搜索最大值和最小值,根据“两点确定一线”原则来推导出α和β,如式(4)所示的预设因子计算模型:
其中,Lmax和Lmin表示在参考块对应的亮度分量相邻像素重建值中搜索得到的最大值和最小值,Cmax和Cmin表示Lmax和Lmin对应位置的参考像素点在当前块对应的亮度分量相邻像素重建值中所对应的亮度分量相邻像素重建值。根据Lmax和Lmin以及Cmax和Cmin,通过式(4)的计算,也可以得到第一模型参数α和第二模型参数β。
在得到第一模型参数α和第二模型参数β之后,可以构建预测模型。具体地,基于α和β,假设根据参考块对应的亮度分量预测值来预测当前块对应的亮度分量预测值,那么所构建的预测模型如式(5)所示,
Pred1[i,j]=α·Pred[i,j]+β (5)
其中,i,j表示当前块中像素点的位置坐标,i表示水平方向,j表示竖直方向,Pred1[i,j]表示当前块中位置坐标为[i,j]的像素点对应的亮度分量预测值,Pred[i,j]表示参考块中位置坐标为[i,j]的像素点对应的亮度分量预测值。
还需要说明的是,本申请实施例中的预测模型可以是线性模型,也可以是非线性模型。而非线性模型可以是二次曲线等非线性形式,也可以是多个线性模型构成的非线性形式;其中,多模型CCLM(Multiple Model CCLM,MMLM)的跨分量预测技术,它就是由多个线性模型所构成的非线性形式。参见图5,其示出了本申请实施例提供的一种预测模型的对比结构示意图。在图5中,(a)表示了预测模型为线性模型,它是根据第二参考像素集合中所有参考像素点推导得到的;(b)表示了预测模型仍为线性模型,它是根据第二参考像素集合中的最大值和最小值推导得到的;(c)表示了预测模型为非线性模型,它是根据两个线性模型所组成的非线性模型示例。需特别说明的是,本申请实施例将以预测模型为线性模型为例进行描述,但是本申请实施例的图像分量预测方法同样可以适用于非线性模型。
还需要说明的是,本申请实施例中的预测模型不仅可以用于对亮度分量的预测处理,还可以用于对色度分量的预测处理。而且通过该预测模型,可以实现对待预测图像分量(比如亮度分量或者色度分量)的预测值进行更新,从而使得图像分量的预测更为准确,可以达到提升待预测图像分量的预测准确性和视频图像的预测效率的目的。
进一步地,在一些实施例中,在所述利用所述参考像素子集,计算预测模型的模型参数之后,该方法还可以包括:
根据所述模型参数,构建所述预测模型;
通过所述预测模型对所述当前块的待预测图像分量进行预测处理,得到所述待预测图像分量对应的预测值。
需要说明的是,在构建出预测模型之后,可以根据该预测模型对待预测图像分量进行预测处理。一方面,可以利用参考块的第一图像分量预测当前块的第一图像分量,比如利用参考块的亮度分量来预测当前块的亮度分量,实现对亮度分量预测值的更新;另一方面,还可以利用参考块的第二图像分量预测当前块的第二图像分量,比如利用参考块的蓝色色度分量来预测当前块的蓝色色度分量,实现对蓝色色度分量预测值的更新;再一方面,也可以利用参考块的第三图像分量预测当前块的第三图像分量,比如利用参考块的红色色度分量来预测当前块的红色色度分量,实现对红色色度分量预测值的更新;本申请实施例不作具体限定。
本实施例提供了一种图像分量预测方法,通过确定当前块的待预测图像分量的第一参考像素集合;从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
参见图6,其示出了本申请实施例提供的另一种图像分量预测方法的流程示意图。如图6所示,该方法可以包括:
S601:从所述第一参考像素集合中选取部分参考像素点,组成参考像素子集;
S602:根据所述参考像素子集,计算预测模型的模型参数。
需要说明的是,参考像素子集是从第一参考像素集合中选取部分参考像素点所得到的;而模型参数是根据参考像素子集进行计算得到的;这样,由于参考像素子集中的样本数量减少,也就减少了计算模型参数所需的样本数量,从而可以达到减少降低计算复杂度和内存带宽(或称为存储器带宽)的目的。
在一些实施例中,所述确定当前块的待预测图像分量的第一参考像素集合,可以包括:
将所述当前块的一个或多个第一相邻像素作为所述第一参考像素集合;其中,所述第一相邻像素是位于与所述当前块竖直边、与所述当前块水平边、或者与所述当前块竖直边和水平边相邻的像素。
进一步地,在一些实施例中,该方法还可以包括:
若所述第一相邻像素位于所述当前块外,则确定所述当前块竖直边是所述当前块外左相邻列,所述当前块水平边是所述当前块外上相邻行。
进一步地,在一些实施例中,该方法还可以包括:
若所述第一相邻像素位于所述当前块内,则确定所述当前块竖直边是所述当前块内右侧边列,所述当前块水平边是所述当前块内下侧边行。
需要说明的是,当第一相邻像素位于当前块之外时,当前块竖直边可以看作当前块的左侧边,当前块水平边可以看作当前块的上侧边;当第一相邻像素位于当前块之内时,当前块竖直边可以看作当前块的右侧边,当前块水平边可以看作当前块的下侧边。
这样,在得到当前块的一个或多个第一相邻像素之后,可以组成第一参考像素集合。由于该第一参考像素集合中可能会存在部分不重要的参考像素点(比如这些参考像素点的相关性较差)或者部分异常的参考像素点,为了保证模型参数推导的准确性,需要将这些参考像素点剔除掉,从而可以得到参考像素子集。因此,在一些实施例中,所述确定参考像素子集,可以包括:
在所述当前块的边上,确定所述候选像素的候选位置,其中,所述当前块的边是所述当前块的竖直边或水平边;
从所述第一参考像素集合中选择位于所述候选位置的像素,将所选择的像素组成所述参考像素子集。
进一步地,所述确定候选像素的候选位置,可以包括:
根据所述第一参考像素集合中像素的位置,确定所述候选像素的候选位置。
进一步地,所述确定候选像素的候选位置,可以包括:
根据所述第一参考像素集合中像素的图像分量强度,确定所述候选像素的候选位置。
进一步地,所述确定候选像素的候选位置,可以包括:
根据所述第一参考像素集合中像素的位置和图像分量强度,确定所述候选像素的候选位置。
需要说明的是,图像分量强度可以用图像分量值来表示,比如亮度值、色度值等;这里,图像分量值越大,表明了图像分量强度越高。本申请实施例所选取的参考像素,可以是通过候选像素的候选位置来进行选取的;其中,候选位置可以是根据像素位置确定,也可以是根据图像分量强度值(比如亮度值、色度值等)确定,本申请实施例不作具体限定。
还需要说明的是,参考像素子集是通过对第一参考像素集合进行筛选处理,然后选取部分参考像素点所组成的;而模型参数是根据参考像素子集进行计算得到的;这样,由于参考像素子集中样本数量减少,也就减少了计算模型参数所需的样本数量,从而可以达到减少降低计算复杂度和内存带宽(或称为存储器带宽)的目的。
可以理解,本申请实施例所选取的部分参考像素点,可以是通过参考像素对应的像素位置来选取的,也可以是根据参考像素对应的图像分量强度值(比如亮度值、色度值等)来选取的,本申请实施例不作具体限定。其中,无论是通过参考像素对应的像素位置,还是通过参考像素对应的图像分量强度值对第一参考像素集合进行筛选以选取出合适的参考像素点,进而组成参考像素子集;这样,根据参考像素子集推导得到的模型参数更准确,使得根据该模型参数所构建的预测模型也可以更精确。
在一些实施例中,所述确定所述候选像素的候选位置,可以包括:
确定预设候选像素数,其中,所述预设候选像素数指示从所述当前块的边上选取的像素数;
根据所述第一预设像素数和所述当前块的边的长度,确定所述候选像素的候选位置;其中,所述当前块的边的长度等于所述第一参考像素集合中位于所述当前块的边上的参考像素的数量。
需要说明的是,预设候选像素数表示预先设定的待采样的像素点个数,即参考像素子集中所包含的像素个数。以像素位置为例,可以在确定出预设候选像素数之后,根据至少一个边的边长和预设候选像素数来计算出候选像素的候选位置;然后根据候选位置,从第一参考像素集合中选取合适的参考像素点来组成参考像素子集。这样,根据参考像素子集所计算的模型参数更为准确,从而构建的预测模型也可以更精确,进而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
进一步地,对于候选位置的确定,可以先计算第一采样间隔,然后根据第一采样间隔对该至少一个边进行采样处理,以确定出该至少一个边对应的候选像素的候选位置。因此,在一些实施例中,所述确定所述候选像素的候选位置,可以包括:
根据所述当前块的边的长度和所述预设候选像素数,计算第一采样间隔。
进一步地,所述确定候选像素的候选位置,可以包括:
对所述第一采样间隔进行调整,得到第二采样间隔。
需要说明的是,当计算得到第一采样间隔之后,还可以对第一采样间隔进行微调,比如对第一采样间隔进行加1或者减1的操作,以此得到第二采样间隔。例如,第一采样间隔为4,那么调整后的第二采样间隔可以为3或者5。在本申请实施例中,针对第一采样间隔的调整,可以进行小幅度(比如,加1或者减1)的调整,但是针对调整幅度的具体设定,本申请实施例不作具体限定。
在一些实施例中,可选地,在所述计算第一采样间隔之后,该方法还可以包括:
在所述当前块的边上确定基准点,从所述基准点起,以所述第一采样间隔确定所述当前块的边上的候选位置。
进一步地,在所述计算第一采样间隔之后,该方法还可以包括:
在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点两侧的候选位置。
在一些实施例中,可选地,在所述得到第二采样间隔之后,该方法还可以包括:
在所述当前块的边上确定基准点,从所述基准点起,以所述第二采样间隔确定所述当前块的边上的候选位置。
进一步地,在所述得到第二采样间隔之后,该方法还可以包括:
在所述当前块的边上确定基准点,以所述第二采样间隔确定所述基准点两侧的候选位置。
需要说明的是,基准点可以是所述至少一个边的中点,也可以是所述至少一个边的中点偏左的第一个参考像素点位置,还可以是所述至少一个边的中点偏右的第一参考像素点位置,甚至还可以是所述至少一个边的其他参考像素点位置,本申请实施例不作具体限定。
具体地,可以根据所述至少一个边的长度,确定所述至少一个边的中点,然后将所述至少一个边的中点作为所述基准点。其中,基准点可以是所述至少一个边的中点,也可以是所述至少一个边的中点偏左的第一个参考像素点位置,还可以是所述至少一个边的中点偏右的第一参考像素点位置,甚至还可以是所述至少一个边的其他参考像素点位置,本申请实施例不作具体限定。
进一步地,在一些实施例中,在所述得到第二采样间隔之后,该方法还可以包括:
在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点一侧对应的候选位置,以所述第二采样间隔确定所述基准点另一侧对应的候选位置。
也就是说,当确定出当前块至少一条边的基准点之后,可以按照第一采样间隔或者第二采样间隔进行均匀采样;也可以按照第一采样间隔和第二采样间隔进行非均匀采样,而且采样后所确定的候选位置可以对称分布在基准点两侧,也可以非对称分布在基准点两侧;本申请实施例不作具体限定。
进一步地,对于第一参数像素集合的选取处理,还可以对至少一个边的参考像素点进行跳点处理,即将不重要的参考像素点或存在异常的参考像素点跳过去(也可以看作是删除处理),从而得到参考像素子集;也可以在此基础上,即至少一个边的部分参考像素点跳过之后,得到第二参考像素集合,在对第二参考像素集合在进行筛选处理,以得到参考像素子集。因此,该方法还可以包括:
确定所述当前块的边的预设跳过像素数K,其中,K是非负整数;
从所述当前块的边的端位置起,将第K个像素位置设置为所述基准点;
其中,所述当前块的边的端位置是所述当前块的边的起始像素位置或末端像素位置。
需要说明的是,预设跳过像素数表示预先设定的待删除或者待跳过的像素点个数。另外,至少一个边的起始位置表示当前块的上侧边的最左边缘位置或者当前块的左侧边的最上边缘位置,至少一个边的末端位置表示当前块的上侧边的最右边缘位置或者当前块的左侧边的最下边缘位置。
还需要说明的是,K的取值可以是预先设置的参考像素点个数,比如1、2或者4等;还可以是根据当前块的边长以及与之对应的预设比例进行计算得到;但是在实际应用中,仍然根据实际情况进行设定,本申请实施例不作具体限定。其中,与当前块的上侧边对应的预设比例可以用第一预设比例表示,与当前块的左侧边对应的预设比例可以用第二预设比例表示,第一预设比例与第二预设比例的取值可以相同,也可以不相同,本申请实施例也不作具体限定。
在确定出参考像素子集之后,还可以根据该参考像素子集,计算预测模型的模型参数,便于构建预测模型。因此,在一些实施例中,所述利用所述参考像素子集,计算预测模型的模型参数,可以包括:
利用所述参考像素子集中的参考像素和所述当前块的参考块的位于所述参考像素子集中参考像素的同位置的像素,计算预测模型的模型参数;
其中,所述参考像素子集中参考像素的同位置的像素是位于所述参考块所在图像中、与参考块之间的相对位置与所述第二参考像素集合中的参考像素与所述当前块之间相对位置相同的像素。
进一步地,在所述计算预测模型的模型参数之后,该方法还可以包括:
根据所述预测模型和所述当前块的参考块,计算所述当前块的待预测图像分量的预测值。
需要说明的是,参考块可以是当前块的帧间预测参数指示的图像块。这样,在计算得到模型参数(比如第一模型参数α和第二模型参数β)之后,可以构建出预测模型,如前述的式(5)所示。根据该预测模型以及当前块的参考块,可以进一步计算当前块的待预测图像分量的预测值。
另外,本申请实施例中,当该图像分量预测方法应用于编码器侧时,可以从当前块的第一参考像素集合中选取部分像素构造参考像素子集,然后根据该参考像素子集计算预测模型的模型参数,并将计算得到的模型参数写入码流中;该码流由编码器侧传输到解码器侧;对应地,当该图像分量预测方法应用于解码器侧时,可以通过解析码流来直接获得预测模型的模型参数;或者在解码器侧,也可以从当前块的第一参考像素集合中选取部分像素构造参考像素子集,然后根据该参考像素子集计算预测模型的模型参数,从而构建出预测模型,利用该预测模型对当前块的至少一个图像分量进行跨分量预测处理。
本实施例提供了一种图像分量预测方法,对前述实施例的具体实现进行了详细阐述,通过前述实施例的技术方案可以看出,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
基于前述实施例相同的发明构思,参见图7,其示出了本申请实施例提供的一种编码器70的组成结构示意图。如图7所示,编码器70可以包括:第一确定单元701和第一计算单元702,其中,
所述第一确定单元701,配置为确定当前块的待预测图像分量的第一参考像素集合;
所述第一确定单元701,还配置为从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;
所述第一计算单元702,配置为利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
在上述方案中,参见图7,编码器70还可以包括第一获取单元703,配置为在所述当前块之外,获取与所述当前块的至少一个边相邻的参考像素;其中,所述当前块的至少一个边包括下述至少之一:上侧边、左侧边、右上侧边和左下侧边;以及根据获取的参考像素,得到所述第一参考像素集合。
在上述方案中,所述第一获取单元703,还配置为在重建块之内,获取所述重建块的至少一个边相邻的参考像素;其中,所述重建块为与所述当前块相邻且已完成编码重构建的图像块,所述重建块的至少一个边包括:下侧边、右侧边、或者下侧边和右侧边;以及根据获取的参考像素,得到所述第一参考像素集合。
在上述方案中,参见图7,编码器70还可以包括第一选取单元704,其中,
所述第一确定单元701,还配置为基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置;
所述第一选取单元704,配置为从所述第一参考像素集合中选取与所述候选位置对应的参考像素,将选取得到的参数像素组成所述参考像素子集。
在上述方案中,所述第一确定单元701,还配置为基于所述至少一个边相邻的参考像素对应的像素位置,确定所述候选位置。
在上述方案中,所述第一确定单元701,还配置为基于所述至少一个边相邻的参考像素对应的图像分量强度值,确定所述候选位置。
在上述方案中,所述第一确定单元701,还配置为基于所述至少一个边相邻的参考像素对应的像素位置和图像分量强度值,确定所述候选位置。
在上述方案中,所述第一确定单元701,还配置为确定预设候选像素数;其中,所述预设候选像素数表示从所述至少一个边相邻的参考像素中所采样的像素数量;以及根据所述预设候选像素数和所述至少一个边的长度,确定所述候选位置;其中,所述至少一个边的长度等于所述至少一个边所包含的像素数量。
在上述方案中,所述第一计算单元702,还配置为根据所述预设候选像素数和所述至少一个边的长度,计算第一采样间隔;
所述第一确定单元701,还配置为从所述至少一个边中确定一基准点,按照所述第一采样间隔确定所述候选位置。
在上述方案中,参见图7,编码器70还可以包括第一调整单元705,配置为所述第一确定单元701,还配置为对所述第一采样间隔进行调整,得到第二采样间隔;
所述第一确定单元701,还配置为基于所述基准点,按照所述第二采样间隔确定所述候选位置。
在上述方案中,所述第一确定单元701,还配置为基于所述基准点,按照所述第一采样间隔确定所述基准点一侧对应的候选位置,按照所述第二采样间隔确定所述基准点另一侧对应的候选位置。
在上述方案中,所述第一确定单元701,还配置为确定所述至少一个边对应的预设跳过像素数K,其中,K为大于或等于1的正整数;以及从所述至少一个边的起始位置和/或末端位置开始,确定K个待跳过像素点对应的位置;以及基于所述K个待跳过像素点对应的位置,从所述至少一个边的起始位置和/或末端位置开始连续跳过K个待跳过像素点,得到至少一个新边;以及基于所述至少一个新边以及所述预设候选像素数,确定所述候选位置。
在上述方案中,所述第一选取单元704,还配置为基于所述参考像素子集,获取所述当前块对应的待预测图像分量的相邻像素重建值和参考块对应的待预测图像分量的相邻像素重建值;其中,所述当前块位于第N帧视频图像,所述参考块位于第N-1帧视频图像;
所述第一计算单元702,还配置为根据所述当前块对应的待预测图像分量的相邻像素重建值以及所述参考块对应的待预测图像分量的相邻像素重建值,计算得到所述模型参数。
在上述方案中,参见图7,编码器70还可以包括第一构建单元706和第一预测单元707,其中,
所述第一构建单元706,配置为根据所述模型参数,构建所述预测模型;
所述第一预测单元707,配置为通过所述预测模型对所述当前块的待预测图像分量进行预测处理,得到所述待预测图像分量对应的预测值。
在上述方案中,所述第一确定单元701,还配置为将所述当前块的一个或多个第一相邻像素作为所述第一参考像素集合;其中,所述第一相邻像素是位于与所述当前块竖直边、与所述当前块水平边、或者与所述当前块竖直边和水平边相邻的像素。
在上述方案中,所述第一确定单元701,还配置为若所述第一相邻像素位于所述当前块外,则确定所述当前块竖直边是所述当前块外左相邻列,所述当前块水平边是所述当前块外上相邻行。
在上述方案中,所述第一确定单元701,还配置为若所述第一相邻像素位于所述当前块内,则确定所述当前块竖直边是所述当前块内右侧边列,所述当前块水平边是所述当前块内下侧边行。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上,确定所述候选像素的候选位置,其中,所述当前块的边是所述当前块的竖直边或水平边;以及从所述第一参考像素集合中选择位于所述候选位置的像素,将所选择的像素组成所述参考像素子集。
在上述方案中,所述第一确定单元701,还配置为根据所述第一参考像素集合中像素的位置,确定所述候选像素的候选位置。
在上述方案中,所述第一确定单元701,还配置为根据所述第一参考像素集合中像素的图像分量强度,确定所述候选像素的候选位置。
在上述方案中,所述第一确定单元701,还配置为根据所述第一参考像素集合中像素的位置和图像分量强度,确定所述候选像素的候选位置。
在上述方案中,所述第一确定单元701,还配置为确定预设候选像素数,其中,所述预设候选像素数指示从所述当前块的边上选取的像素数;
根据所述第一预设像素数和所述当前块的边的长度,确定所述候选像素的候选位置;其中,所述当前块的边的长度等于所述第一参考像素集合中位于所述当前块的边上的参考像素的数量。
在上述方案中,所述第一计算单元702,还配置为根据所述当前块的边的长度和所述预设候选像素数,计算第一采样间隔。
在上述方案中,所述第一调整单元705,配置为对所述第一采样间隔进行调整,得到第二采样间隔。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上确定基准点,从所述基准点起,以所述第一采样间隔确定所述当前块的边上的候选位置。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点两侧的候选位置。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上确定基准点,从所述基准点起,以所述第二采样间隔确定所述当前块的边上的候选位置。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上确定基准点,以所述第二采样间隔确定所述基准点两侧的候选位置。
在上述方案中,所述第一确定单元701,还配置为在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点一侧对应的候选位置,以所述第二采样间隔确定所述基准点另一侧对应的候选位置。
在上述方案中,所述第一确定单元701,还配置为确定所述当前块的边的预设跳过像素数K,其中,K是非负整数;以及从所述当前块的边的端位置起,将第K个像素位置设置为所述基准点;其中,所述当前块的边的端位置是所述当前块的边的起始像素位置或末端像素位置。
在上述方案中,所述第一计算单元702,还配置为利用所述参考像素子集中的参考像素和所述当前块的参考块的位于所述参考像素子集中参考像素的同位置的像素,计算预测模型的模型参数;其中,所述参考像素子集中参考像素的同位置的像素是位于所述参考块所在图像中、与参考块之间的相对位置与所述第二参考像素集合中的参考像素与所述当前块之间相对位置相同的像素。
在上述方案中,所述第一计算单元702,还配置为根据所述预测模型和所述当前块的参考块,计算所述当前块的待预测图像分量的预测值。
在上述方案中,所述参考块是当前块的帧间预测参数指示的图像块。
可以理解地,在本申请实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有图像分量预测程序,所述图像分量预测程序被至少一个处理器执行时实现前述实施例所述方法的步骤。
基于上述编码器70的组成以及计算机存储介质,参见图8,其示出了本申请实施例提供的编码器70的具体硬件结构示例,可以包括:第一通信接口801、第一存储器802和第一处理器803;各个组件通过第一总线系统804耦合在一起。可理解,第一总线系统804用于实现这些组件之间的连接通信。第一总线系统804除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图8中将各种总线都标为第一总线系统804。其中,
第一通信接口801,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第一存储器802,用于存储能够在第一处理器803上运行的计算机程序;
第一处理器803,用于在运行所述计算机程序时,执行:
确定当前块的待预测图像分量的第一参考像素集合;
从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;
利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
可以理解,本申请实施例中的第一存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请描述的系统和方法的第一存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
而第一处理器803可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过第一处理器803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器803可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器802,第一处理器803读取第一存储器802中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现,可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,作为另一个实施例,第一处理器803还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
本实施例提供了一种编码器,该编码器可以包括第一确定单元和第一计算单元,其中,第一确定单元配置为确定当前块的待预测图像分量的第一参考像素集合;还配置为从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;第一计算单元配置为利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
基于前述实施例相同的发明构思,参见图9,其示出了本申请实施例提供的一种解码器90的组成结构示意图。如图9所示,解码器90可以包括:第二确定单元901和第二计算单元902,其中,
所述第二确定单元901,配置为确定当前块的待预测图像分量的第一参考像素集合;
所述第二确定单元901,还配置为从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;
所述第二计算单元902,配置为利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
在上述方案中,参见图9,解码器90还可以包括第二获取单元903,配置为在所述当前块之外,获取与所述当前块的至少一个边相邻的参考像素;其中,所述当前块的至少一个边包括下述至少之一:上侧边、左侧边、右上侧边和左下侧边;以及根据获取的参考像素,得到所述第一参考像素集合。
在上述方案中,所述第二获取单元903,还配置为在重建块之内,获取所述重建块的至少一个边相邻的参考像素;其中,所述重建块为与所述当前块相邻且已完成编码重构建的图像块,所述重建块的至少一个边包括:下侧边、右侧边、或者下侧边和右侧边;以及根据获取的参考像素,得到所述第一参考像素集合。
在上述方案中,参见图9,解码器90还可以包括第二选取单元904,其中,
所述第二确定单元901,还配置为基于所述当前块或所述重建块的至少一个边,确定候选像素的候选位置;
所述第二选取单元904,配置为从所述第一参考像素集合中选取与所述候选位置对应的参考像素,将选取得到的参数像素组成所述参考像素子集。
在上述方案中,所述第二确定单元901,还配置为基于所述至少一个边相邻的参考像素对应的像素位置,确定所述候选位置。
在上述方案中,所述第二确定单元901,还配置为基于所述至少一个边相邻的参考像素对应的图像分量强度值,确定所述候选位置。
在上述方案中,所述第二确定单元901,还配置为基于所述至少一个边相邻的参考像素对应的像素位置和图像分量强度值,确定所述候选位置。
在上述方案中,所述第二确定单元901,还配置为确定预设候选像素数;其中,所述预设候选像素数表示从所述至少一个边相邻的参考像素中所采样的像素数量;以及根据所述预设候选像素数和所述至少一个边的长度,确定所述候选位置;其中,所述至少一个边的长度等于所述至少一个边所包含的像素数量。
在上述方案中,所述第二计算单元902,还配置为根据所述预设候选像素数和所述至少一个边的长度,计算第一采样间隔;
所述第二确定单元901,还配置为从所述至少一个边中确定一基准点,按照所述第一采样间隔确定所述候选位置。
在上述方案中,参见图9,解码器90还可以包括第二调整单元905,配置为所述第二确定单元901,还配置为对所述第一采样间隔进行调整,得到第二采样间隔;
所述第二确定单元901,还配置为基于所述基准点,按照所述第二采样间隔确定所述候选位置。
在上述方案中,所述第二确定单元901,还配置为基于所述基准点,按照所述第一采样间隔确定所述基准点一侧对应的候选位置,按照所述第二采样间隔确定所述基准点另一侧对应的候选位置。
在上述方案中,所述第二确定单元901,还配置为确定所述至少一个边对应的预设跳过像素数K,其中,K为大于或等于1的正整数;以及从所述至少一个边的起始位置和/或末端位置开始,确定K个待跳过像素点对应的位置;以及基于所述K个待跳过像素点对应的位置,从所述至少一个边的起始位置和/或末端位置开始连续跳过K个待跳过像素点,得到至少一个新边;以及基于所述至少一个新边以及所述预设候选像素数,确定所述候选位置。
在上述方案中,所述第二选取单元904,还配置为基于所述参考像素子集,获取所述当前块对应的待预测图像分量的相邻像素重建值和参考块对应的待预测图像分量的相邻像素重建值;其中,所述当前块位于第N帧视频图像,所述参考块位于第N-1帧视频图像;
所述第二计算单元902,还配置为根据所述当前块对应的待预测图像分量的相邻像素重建值以及所述参考块对应的待预测图像分量的相邻像素重建值,计算得到所述模型参数。
在上述方案中,参见图9,解码器90还可以包括第二构建单元906和第二预测单元907,其中,
所述第二构建单元906,配置为根据所述模型参数,构建所述预测模型;
所述第二预测单元907,配置为通过所述预测模型对所述当前块的待预测图像分量进行预测处理,得到所述待预测图像分量对应的预测值。
在上述方案中,所述第二确定单元901,还配置为将所述当前块的一个或多个第一相邻像素作为所述第一参考像素集合;其中,所述第一相邻像素是位于与所述当前块竖直边、与所述当前块水平边、或者与所述当前块竖直边和水平边相邻的像素。
在上述方案中,所述第二确定单元901,还配置为若所述第一相邻像素位于所述当前块外,则确定所述当前块竖直边是所述当前块外左相邻列,所述当前块水平边是所述当前块外上相邻行。
在上述方案中,所述第二确定单元901,还配置为若所述第一相邻像素位于所述当前块内,则确定所述当前块竖直边是所述当前块内右侧边列,所述当前块水平边是所述当前块内下侧边行。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上,确定所述候选像素的候选位置,其中,所述当前块的边是所述当前块的竖直边或水平边;以及从所述第一参考像素集合中选择位于所述候选位置的像素,将所选择的像素组成所述参考像素子集。
在上述方案中,所述第二确定单元901,还配置为根据所述第一参考像素集合中像素的位置,确定所述候选像素的候选位置。
在上述方案中,所述第二确定单元901,还配置为根据所述第一参考像素集合中像素的图像分量强度,确定所述候选像素的候选位置。
在上述方案中,所述第二确定单元901,还配置为根据所述第一参考像素集合中像素的位置和图像分量强度,确定所述候选像素的候选位置。
在上述方案中,所述第二确定单元901,还配置为确定预设候选像素数,其中,所述预设候选像素数指示从所述当前块的边上选取的像素数;
根据所述第一预设像素数和所述当前块的边的长度,确定所述候选像素的候选位置;其中,所述当前块的边的长度等于所述第一参考像素集合中位于所述当前块的边上的参考像素的数量。
在上述方案中,所述第二计算单元902,还配置为根据所述当前块的边的长度和所述预设候选像素数,计算第一采样间隔。
在上述方案中,所述第二调整单元905,配置为对所述第一采样间隔进行调整,得到第二采样间隔。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上确定基准点,从所述基准点起,以所述第一采样间隔确定所述当前块的边上的候选位置。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点两侧的候选位置。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上确定基准点,从所述基准点起,以所述第二采样间隔确定所述当前块的边上的候选位置。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上确定基准点,以所述第二采样间隔确定所述基准点两侧的候选位置。
在上述方案中,所述第二确定单元901,还配置为在所述当前块的边上确定基准点,以所述第一采样间隔确定所述基准点一侧对应的候选位置,以所述第二采样间隔确定所述基准点另一侧对应的候选位置。
在上述方案中,所述第二确定单元901,还配置为确定所述当前块的边的预设跳过像素数K,其中,K是非负整数;以及从所述当前块的边的端位置起,将第K个像素位置设置为所述基准点;其中,所述当前块的边的端位置是所述当前块的边的起始像素位置或末端像素位置。
在上述方案中,所述第二计算单元902,还配置为利用所述参考像素子集中的参考像素和所述当前块的参考块的位于所述参考像素子集中参考像素的同位置的像素,计算预测模型的模型参数;其中,所述参考像素子集中参考像素的同位置的像素是位于所述参考块所在图像中、与参考块之间的相对位置与所述第二参考像素集合中的参考像素与所述当前块之间相对位置相同的像素。
在上述方案中,所述第二计算单元902,还配置为根据所述预测模型和所述当前块的参考块,计算所述当前块的待预测图像分量的预测值。
在上述方案中,所述参考块是当前块的帧间预测参数指示的图像块。
可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本实施例提供了一种计算机存储介质,该计算机存储介质存储有图像分量预测程序,所述图像分量预测程序被第二处理器执行时实现前述实施例中任一项所述的方法。
基于上述解码器90的组成以及计算机存储介质,参见图10,其示出了本申请实施例提供的解码器90的具体硬件结构,可以包括:第二通信接口1001、第二存储器1002和第二处理器1003;各个组件通过第二总线系统1004耦合在一起。可理解,第二总线系统1004用于实现这些组件之间的连接通信。第二总线系统1004除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图10中将各种总线都标为第二总线系统1004。其中,
第二通信接口1001,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第二存储器1002,用于存储能够在第二处理器1003上运行的计算机程序;
第二处理器1003,用于在运行所述计算机程序时,执行:
确定当前块的待预测图像分量的第一参考像素集合;
从所述第一参考像素集合中,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;
利用所述参考像素子集,计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理。
可选地,作为另一个实施例,第二处理器1003还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
可以理解,第二存储器1002与第一存储器802的硬件功能类似,第二处理器1003与第一处理器803的硬件功能类似;这里不再详述。
本实施例提供了一种解码器,该解码器可以包括第二确定单元和第二计算单元,其中,第二确定单元配置为确定当前块的待预测图像分量的第一参考像素集合;还配置为从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;第二计算单元配置为利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中,首先确定当前块的待预测图像分量的第一参考像素集合;然后从第一参考像素集合中,确定参考像素子集;其中,参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素;再利用参考像素子集,计算预测模型的模型参数;其中,预测模型用于对所述当前块的待预测图像分量进行跨分量预测处理;这样,由于对第一参考像素集合进行筛选处理,可以去掉不重要的参考像素点或者存在异常的参考像素点,从而减少了第一参考像素集合中的像素个数,不仅可以降低计算复杂度和内存带宽,而且还可以提高预测模型的精确度;由于所述预测模型是用于通过所述模型参数实现对所述待预测图像分量的预测处理,从而提升了待预测图像分量的预测准确性,提高了视频图像的预测效率。
Claims (23)
1.一种图像分量预测方法,应用于解码器,所述方法包括:
确定当前块的待预测图像分量的第一参考像素集合;
根据所述第一参考像素集合中参考像素点的位置计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行预测处理。
2.根据权利要求1所述的方法,其中,所述方法还包括:
根据所述预测模型的模型参数和所述当前块的参考块,计算所述当前块的待预测图像分量的预测值。
3.根据权利要求2所述的方法,其中,所述参考块是所述当前块的帧间预测参数指示的图像块。
4.根据权利要求1所述的方法,其中,所述确定当前块的待预测图像分量的第一参考像素集合,包括:
获取与所述当前块的至少一个边相邻的参考像素,并根据获取的参考像素,得到所述第一参考像素集合;或者,
将所述当前块的一个或多个第一相邻像素作为所述第一参考像素集合。
5.根据权利要求4所述的方法,其中,所述当前块的至少一个边包括下述至少之一:上侧边、左侧边、右上侧边和左下侧边。
6.根据权利要求1所述的方法,其中,所述确定当前块的待预测图像分量的第一参考像素集合,包括:
在重建块之内,获取所述重建块的至少一个边相邻的参考像素;其中,所述重建块为与所述当前块相邻的图像块,所述重建块的至少一个边包括:下侧边、右侧边、或者下侧边和右侧边;
根据获取的参考像素,得到所述第一参考像素集合。
7.根据权利要求1所述的方法,其中,所述方法还包括:
根据所述第一参考像素集合,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素。
8.根据权利要求7所述的方法,其中,所述根据所述第一参考像素集合,确定参考像素子集,包括:
基于所述当前块或重建块的至少一个边,确定候选像素的候选位置;
从所述第一参考像素集合中选取与所述候选位置对应的参考像素,将选取得到的参数像素组成所述参考像素子集。
9.根据权利要求1至8中任一项所述的方法,其中,所述计算预测模型的模型参数,包括:
获取所述当前块对应的待预测图像分量的相邻像素重建值和参考块对应的待预测图像分量的相邻像素重建值;其中,所述当前块位于第N帧视频图像,所述参考块位于第N-1帧视频图像;
根据所述当前块对应的待预测图像分量的相邻像素重建值以及所述参考块对应的待预测图像分量的相邻像素重建值,计算得到所述模型参数。
10.一种解码器,所述解码器包括确定单元和计算单元,其中,
所述确定单元,配置为确定当前块的待预测图像分量的第一参考像素集合;
所述计算单元,配置为根据所述第一参考像素集合中参考像素点的位置计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行预测处理。
11.一种解码器,所述解码器包括存储器和处理器,其中,
所述存储器,用于存储能够在所述处理器上运行的计算机程序;
所述处理器,用于在运行所述计算机程序时,执行根据权利要求1至9中任一项所述的方法。
12.一种图像分量预测方法,应用于编码器,所述方法包括:
确定当前块的待预测图像分量的第一参考像素集合;
根据所述第一参考像素集合中参考像素点的位置计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行预测处理。
13.根据权利要求12所述的方法,其中,所述方法还包括:
根据所述预测模型的模型参数和所述当前块的参考块,计算所述当前块的待预测图像分量的预测值。
14.根据权利要求13所述的方法,其中,所述参考块是所述当前块的帧间预测参数指示的图像块。
15.根据权利要求12所述的方法,其中,所述确定当前块的待预测图像分量的第一参考像素集合,包括:
获取与所述当前块的至少一个边相邻的参考像素,并根据获取的参考像素,得到所述第一参考像素集合;或者,
将所述当前块的一个或多个第一相邻像素作为所述第一参考像素集合。
16.根据权利要求15所述的方法,其中,所述当前块的至少一个边包括下述至少之一:上侧边、左侧边、右上侧边和左下侧边。
17.根据权利要求12所述的方法,其中,所述确定当前块的待预测图像分量的第一参考像素集合,包括:
在重建块之内,获取所述重建块的至少一个边相邻的参考像素;其中,所述重建块为与所述当前块相邻且已完成编码重构建的图像块,所述重建块的至少一个边包括:下侧边、右侧边、或者下侧边和右侧边;
根据获取的参考像素,得到所述第一参考像素集合。
18.根据权利要求12所述的方法,其中,所述方法还包括:
根据所述第一参考像素集合,确定参考像素子集;其中,所述参考像素子集包含从所述第一参考像素集合中选择的一个或多个候选像素。
19.根据权利要求18所述的方法,其中,所述根据所述第一参考像素集合,确定参考像素子集,包括:
基于所述当前块或重建块的至少一个边,确定候选像素的候选位置;
从所述第一参考像素集合中选取与所述候选位置对应的参考像素,将选取得到的参数像素组成所述参考像素子集。
20.根据权利要求12至19中任一项所述的方法,其中,所述计算预测模型的模型参数,包括:
获取所述当前块对应的待预测图像分量的相邻像素重建值和参考块对应的待预测图像分量的相邻像素重建值;其中,所述当前块位于第N帧视频图像,所述参考块位于第N-1帧视频图像;
根据所述当前块对应的待预测图像分量的相邻像素重建值以及所述参考块对应的待预测图像分量的相邻像素重建值,计算得到所述模型参数。
21.一种编码器,所述编码器包括确定单元和计算单元,其中,
所述确定单元,配置为确定当前块的待预测图像分量的第一参考像素集合;
所述计算单元,配置为根据所述第一参考像素集合中参考像素点的位置计算预测模型的模型参数;其中,所述预测模型用于对所述当前块的待预测图像分量进行预测处理。
22.一种编码器,所述编码器包括存储器和处理器,其中,
所述存储器,用于存储能够在所述处理器上运行的计算机程序;
所述处理器,用于在运行所述计算机程序时,执行根据权利要求12至20中任一项所述的方法。
23.一种计算机存储介质,其中,所述计算机存储介质存储有图像预测程序,所述图像预测程序被处理器执行时实现根据权利要求1至9中任一项所述的方法或者实现根据权利要求12至20中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111193882.4A CN113992916B (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962823609P | 2019-03-25 | 2019-03-25 | |
US62/823,609 | 2019-03-25 | ||
CN202111193882.4A CN113992916B (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
CN201980093368.8A CN113508584A (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
PCT/CN2019/113765 WO2020192109A1 (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093368.8A Division CN113508584A (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113992916A true CN113992916A (zh) | 2022-01-28 |
CN113992916B CN113992916B (zh) | 2023-06-27 |
Family
ID=72609614
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093368.8A Pending CN113508584A (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
CN202111193882.4A Active CN113992916B (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093368.8A Pending CN113508584A (zh) | 2019-03-25 | 2019-10-28 | 图像分量预测方法、编码器、解码器以及存储介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220007011A1 (zh) |
EP (1) | EP3930324A4 (zh) |
JP (2) | JP2022528331A (zh) |
KR (1) | KR20210138760A (zh) |
CN (2) | CN113508584A (zh) |
WO (1) | WO2020192109A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240236297A9 (en) * | 2022-10-20 | 2024-07-11 | Tencent America LLC | Local illumination compensation |
WO2024090923A1 (ko) * | 2022-10-26 | 2024-05-02 | 주식회사 윌러스표준기술연구소 | 휘도 샘플 기반 색차 샘플 예측을 사용하는 비디오 신호 처리 방법 및 이를 위한 장치 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103200401A (zh) * | 2012-01-06 | 2013-07-10 | 索尼公司 | 图像处理装置和图像处理方法 |
CN106210747A (zh) * | 2016-07-19 | 2016-12-07 | 北京工业大学 | 一种基于四叉树概率预测的低复杂度视频编码方法 |
US20170127081A1 (en) * | 2014-07-18 | 2017-05-04 | Panasonic Intellectual Property Corporation Of America | Coding method using motion model information |
CN107580222A (zh) * | 2017-08-01 | 2018-01-12 | 北京交通大学 | 一种基于线性模型预测的图像或视频编码方法 |
JP2018056685A (ja) * | 2016-09-27 | 2018-04-05 | 株式会社ドワンゴ | 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム |
CN108600749A (zh) * | 2015-08-29 | 2018-09-28 | 华为技术有限公司 | 图像预测的方法及设备 |
CN109417619A (zh) * | 2016-04-29 | 2019-03-01 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和设备 |
US10225573B1 (en) * | 2017-01-31 | 2019-03-05 | Google Llc | Video coding using parameterized motion models |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664184B2 (en) * | 2004-07-21 | 2010-02-16 | Amimon Ltd. | Interpolation image compression |
CN103096055B (zh) * | 2011-11-04 | 2016-03-30 | 华为技术有限公司 | 一种图像信号帧内预测及解码的方法和装置 |
US9998742B2 (en) * | 2015-01-27 | 2018-06-12 | Qualcomm Incorporated | Adaptive cross component residual prediction |
JP6781340B2 (ja) * | 2016-09-22 | 2020-11-04 | エルジー エレクトロニクス インコーポレイティド | 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置 |
US10798404B2 (en) * | 2016-10-05 | 2020-10-06 | Qualcomm Incorporated | Systems and methods of performing improved local illumination compensation |
-
2019
- 2019-10-28 JP JP2021556936A patent/JP2022528331A/ja active Pending
- 2019-10-28 EP EP19921790.2A patent/EP3930324A4/en active Pending
- 2019-10-28 WO PCT/CN2019/113765 patent/WO2020192109A1/zh unknown
- 2019-10-28 CN CN201980093368.8A patent/CN113508584A/zh active Pending
- 2019-10-28 KR KR1020217034571A patent/KR20210138760A/ko active Search and Examination
- 2019-10-28 CN CN202111193882.4A patent/CN113992916B/zh active Active
-
2021
- 2021-09-21 US US17/480,865 patent/US20220007011A1/en active Pending
-
2024
- 2024-07-12 JP JP2024112963A patent/JP2024138498A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103200401A (zh) * | 2012-01-06 | 2013-07-10 | 索尼公司 | 图像处理装置和图像处理方法 |
US20170127081A1 (en) * | 2014-07-18 | 2017-05-04 | Panasonic Intellectual Property Corporation Of America | Coding method using motion model information |
CN108600749A (zh) * | 2015-08-29 | 2018-09-28 | 华为技术有限公司 | 图像预测的方法及设备 |
CN109417619A (zh) * | 2016-04-29 | 2019-03-01 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和设备 |
CN106210747A (zh) * | 2016-07-19 | 2016-12-07 | 北京工业大学 | 一种基于四叉树概率预测的低复杂度视频编码方法 |
JP2018056685A (ja) * | 2016-09-27 | 2018-04-05 | 株式会社ドワンゴ | 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム |
US10225573B1 (en) * | 2017-01-31 | 2019-03-05 | Google Llc | Video coding using parameterized motion models |
CN107580222A (zh) * | 2017-08-01 | 2018-01-12 | 北京交通大学 | 一种基于线性模型预测的图像或视频编码方法 |
Non-Patent Citations (4)
Title |
---|
JIANLE CHEN等: ""Algorithm Description of Joint Exploration Test Model 7 (JEM 7)"", 《JVET MEETING》 * |
KAIZHANG: ""Multi-model Based Cross-component Linear Model Chroma Intra-prediction for Video Coding"", 《IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING》 * |
KAIZHANG等: ""Enhanced Cross Component Linear Model for Chroma Intra Prediction in Video Coding"", 《IEEE TTANSACTIONS ON IMAGE PROCESSING》 * |
XIANGUO ZHANG等: ""Fast and Efficient Transcoding Based on Low-Complexity Background Modeling and Adaptive Block Classification"", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
Also Published As
Publication number | Publication date |
---|---|
KR20210138760A (ko) | 2021-11-19 |
US20220007011A1 (en) | 2022-01-06 |
CN113508584A (zh) | 2021-10-15 |
JP2022528331A (ja) | 2022-06-10 |
WO2020192109A1 (zh) | 2020-10-01 |
EP3930324A1 (en) | 2021-12-29 |
CN113992916B (zh) | 2023-06-27 |
EP3930324A4 (en) | 2022-07-20 |
JP2024138498A (ja) | 2024-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11115655B2 (en) | Neighboring sample selection for intra prediction | |
US11930185B2 (en) | Multi-parameters based intra prediction | |
US10939128B2 (en) | Parameter derivation for intra prediction | |
US11166040B2 (en) | Video signal processing method and apparatus using adaptive motion vector resolution | |
CN118354073A (zh) | 对图像的一个或多个部分进行编码和解码的方法和装置以及存储介质 | |
US11438581B2 (en) | Conditions in parameter derivation for intra prediction | |
JP2024138498A (ja) | 画像成分予測方法、エンコーダー、デコーダー及び記憶媒体 | |
US20230388491A1 (en) | Colour component prediction method, encoder, decoder and storage medium | |
JP6295805B2 (ja) | 画像符号化方法、画像符号化装置および画像符号化プログラム | |
CN116325727A (zh) | 一种帧内预测方法、编码器、解码器及存储介质 | |
WO2020258052A1 (zh) | 图像分量预测方法、装置及计算机存储介质 | |
CN113395520A (zh) | 解码预测方法、装置及计算机存储介质 | |
CN113840142B (zh) | 图像分量预测方法、装置及计算机存储介质 | |
WO2024153241A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
WO2023123358A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |