CN111988605B - 模式选择方法、装置、计算机可读存储介质及电子设备 - Google Patents
模式选择方法、装置、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN111988605B CN111988605B CN202010761465.4A CN202010761465A CN111988605B CN 111988605 B CN111988605 B CN 111988605B CN 202010761465 A CN202010761465 A CN 202010761465A CN 111988605 B CN111988605 B CN 111988605B
- Authority
- CN
- China
- Prior art keywords
- mode
- candidate
- angle
- alternative
- modes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims description 84
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 abstract description 31
- 230000008569 process Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- QEDQZYNGDXULGO-UHFFFAOYSA-N 3-methyl-2-(3-methylphenyl)morpholine Chemical compound CC1NCCOC1C1=CC=CC(C)=C1 QEDQZYNGDXULGO-UHFFFAOYSA-N 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种模式选择方法、装置、计算机可读存储介质及电子设备,属于视频编码技术领域。该方法通过从预设编码标准提供的角度模式中,选择m个角度代表模式,m小于预设编码标准提供的角度模式的数量,将角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个角度代表模式下的编码效果参数,从备选方向中选择当前PU对应的第一方向,接着根据第一方向,从备选方向中选择候选方向。根据候选方向,从预设编码标准提供的模式中选择候选模式。这样,在针对多种角度模式筛选时,仅以候选方向周围的模式,即,部分模式为筛选基础,这样,一定程度上可以减小筛选候选模式时整体需要判断的模式数量,进而降低计算量以及耗时,提高效率。
Description
技术领域
本发明属于视频编码技术领域,特别是涉及一种模式选择方法、装置、计算机可读存储介质及电子设备。
背景技术
为了提高视频传输的速度,经常会利用预设视频编码标准对视频进行编码,以减少所需传输的数据量。在使用预设编码标准进行编码时,往往会先将视频图像划分为编码树单元(coding tree unit,CTU),将CTU划分为编码单元(Coding unit,CU),CU划分为预测单元(prediction,unit,PU)。对于每个PU,需要利用预设编码标准提供的每种模式对当前PU进行遍历计算,并基于遍历计算的结果从中选择候选模式。接着根据候选模式生成候选列表,并将与当前PU相邻的已编码PU对应的最优模式也加入候选列表。最后,利用候选列表中的候选模式对当前PU进行遍历,以选择出对于当前PU而言,编码效果较好的模式,例如,最优模式,并利用该模式完成对当前PU的编码。
在选择候选模式的环节中,相关技术中往往是以所有模式为筛选基础,依次计算当前CU在每一种模式下的编码效果参数,例如,计算率失真代价,然后根据每一种模式对应的编码效果参数筛选候选模式。这样,在存在较多PU的情况下,或者,预设编码标注提供了多种模式的情况下,例如,HEVC标准提供两种非角度模式及33种角度模式的情况下,对每一个PU遍历计算所有模式下的编码效果参数的方式,会导致计算量较大,耗时较长,效率较低。
发明内容
有鉴于此,本发明提供一种模式选择方法、装置、计算机可读存储介质及电子设备,在一定程度上解决了进行模式选择时,计算量较大,耗时较长,效率较低的问题。
第一方面,本发明提供了一种模式选择方法,该方法可以包括:
从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量;
将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件;
根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向;
基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式。
第二方面,本发明提供了一种模式选择装置,该装置可以包括:
第一选择模式,用于从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量;
第一确定模式,用于将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件;
第二选择模式,用于根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向;
第三选择模式,用于基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的模式选择方法。
第四方面,本发明提供了一种电子设备包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如第一方面所述的模式选择方法。
针对在先技术,本发明具备如下优点:
通过从预设编码标准提供的角度模式中,选择m个角度代表模式,m小于预设编码标准提供的角度模式的数量,将角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个角度代表模式下的编码效果参数,从备选方向中选择当前PU对应的第一方向,接着根据第一方向,从备选方向中选择候选方向,候选方向中至少包括第一方向。最后,根据候选方向,从预设编码标准提供的模式中选择候选模式。这样,通过先选择角度代表模式确定出最优模式可能在的候选方向,并仅在该候选方向周围的模式上选择候选模式,即,排除掉存在编码效果较好模式的概率较小的方向,在针对多种角度模式筛选时,仅以候选方向周围的模式,即,部分模式为筛选基础,这样,一定程度上可以减小筛选候选模式时整体需要判断的模式数量,进而降低计算量以及耗时,提高效率。
附图说明
图1是本发明实施例提供的一种模式示意图;
图2-1是本发明实施例提供的一种模式选择方法的步骤流程图;
图2-2是本发明实施例提供的另一种模式示意图;
图3-1是本发明实施例提供的另一种模式选择方法的步骤流程图;
图3-2是本发明实施例提供的一种划分示意图;
图3-3是本发明实施例提供的一种计算块的梯度方向示意图;
图3-4是本发明实施例提供的一种PU的梯度方向示意图;
图4是本发明实施例提供的一种模式选择装置的框图;
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
首先对本发明实施例中涉及的应用场景进行说明。具体的,在信息大爆炸时代,数字视频作为人们日常生活中获取信息的重要媒介,在网络社会中扮演了十分重要的角色。然而视频信息所携带的巨大的信息量对视频数据的传输造成了很大的困难。根据现代编码的理论和方法,由于视频数据中包含大量的冗余信息,对视频数据进行编码压缩,去除其中的冗余信息,就可以减少数据量,从而实现对视频信息的有效获取和利用。
为了实现对视频数据的编码,诞生了多种视频编码标准。例如,H.264视频编码标准、高效视频编码(High Efficiency Video Coding,HEVC)标准,等等。一个视频编码标准可以提供多种编码预测模式。使用每种模式对视频图像中的同一PU进行编码时,图像失真度和编码码率会不同。进一步地,由于不同视频的不同视频图像所包含的图像内容不同,受到内容差异的影响,使用同一模式对不同PU进行编码时,图像失真度和编码码率也会不同。因为,为了平衡编码时的图像失真度和编码码率,在对视频进行编码时,就需要选择对于当前PU而言,编码效果较好的模式,例如,选择出最优模式,然后利用该模式对当前PU进行编码。
以采用HEVC标准为例,HEVC标准作为常用的新一代视频编码标准,其目的是解决人们对视觉和听觉质量日益增加的需求。它所提供的帧内预测技术就是为了消除视频数据中的空间相关性而设计的。根据空间上相隔越近的像素点之间的相关性越强的原理,它可以根据像素点之间的相关性,使用相邻像素加权预测当前像素的原理进行编码,这样,只需要对预测残差进行变换量化,所需传输的数据量就可以较大的减少。而为了达到更好的编码性能,HEVC标准提供了大量的模式,具体的,HEVC标准提供的模式包含了两种非角度模式以33种角度模式。示例的,图1是本发明实施例提供的一种模式示意图,如图1所示,“0Intra_Planar”以及“1Intra_DC”分别表示两种非角度模式:planar模式及DC模式,2~34分别表示33中角度模式。在采用HEVC标准进行视频编码的编码场景中,就需要针对每个PU,从这35种模式中先选择出候选模式,然后基于候选模式选择出最优模式。
进一步地,相关技术中往往需要遍历这35种模式,计算当前PU在每种模式下的率失真代价,然后根据每种模式对应的率失真代价,选择出部分模式作为候选模式,例如,选择出前n个模式作为候选模式。由于使用HEVC标准进行视频编码时,往往是采用四叉树结构的划分方式,对视频图像进行划分,以划分出多个PU。这种划分方式中,一帧视频图像中往往会划分多大量的PU。如果采用这种方式筛选候选模式,就会导致编码过程中,需要对大量的PU均遍历35种模式,产生较大的计算量以及较长耗时,使得编码器负荷较重且长时间被占用,进而对编码器的性能造成较大限制。
为此本发明实施例提出了一种模式选择方法,以简化筛选。
图2-1是本发明实施例提供的一种模式选择方法的步骤流程图,如图2-1所示,该方法可以包括:
步骤201、从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量。
本发明实施例中,预设编码标准可以是用于对待编码视频进行编码的标准。具体的,预设编码标准可以是根据实际需求选定的,例如,预设编码标准可以为HEVC标准。
进一步地,由于视频编码提供的模式中往往会存在大量的角度模式,且预设编码标准提供的角度模式中,不同角度模式表示的角度不同,但是角度近似的角度模式所指示的方向大体近似。例如,从图1可以看出,指示水平方向的角度模式11,相较于其两侧邻近的其他角度模式,例如角度模式10,角度模式12而言,角度模式11所指示的水平方向相较于角度模式10、12所指示的水平方向更加精准,但是三者大体也都指向水平方向。再例如,指示竖直方向的角度模式26,相较于其两侧邻近的其他角度模式,例如角度模式25,角度模式27而言,角度模式26所指示的竖直方向相较于角度模式25、27所指示的竖直方向更加精准,但是三者大体也都指向水平方向。因此,本步骤中,可以先选择出部分角度模式作为角度代表模式,一个角度代表模式代表该角度可以代表模式所指示方向周围的其他模式,即,表示一个角度模式区间,进而实现利用这m个角度代表模式代表该预设编码标准提供的角度模式。
其中,m的具体数值可以是根据实际情况设定。例如,由于m越大,选出的角度代表模式少,后续所需处理的模式相对就会越少,即,计算量会越少,但是相应地,角度代表模式的代表性会越弱,筛选精度会越小。反之,m越小,选出的角度代表模式多,后续所需处理的模式相对就会越多,即,计算量会越多,但是相应地,角度代表模式的代表性会越强,筛选精度会越高。因此,本发明实施例中可以根据编码器的处理能力以及对筛选精度的要求,选择相匹配的数值作为m。进一步地,由于m小于预设编码标准提供的角度模式的数量,这样一定程度上可以确保通过选择部分角度模式作为角度代表模式,来确定候选模式的方式,所带来的计算量较小,耗时较小,进而一定程度上提高计算效率。
步骤202、将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件。
本发明实施例中,可以将一个角度代表模式表示的方向作为一个备选方向,进而得到m个备选方向。示例的,假设选择了4个角度代表模式:10,26,2,18,它们各自表示的方向可以分别为:水平方向、垂直方向、左下方向、左上方向。那么相应地,可以将这四个方向,确定为备选方向。需要说明的是,每个角度代表模式表示的方向可以为相对的方向,在不同表示形式的模式中,同一角度代表模式对应的方向可以不同,角度代表模式表示的方向也可以为它反向延伸的方向。但各个角度代表模式表示的方向的相对关系是确定。示例的,图2-2是本发明实施例提供的另一种模式示意图,如图2-2所示,角度代表模式18此时对应的方向为右下方向,即,可以将18表示的方向理解为右下方向。
进一步地,当前PU在角度代表模式下的编码效果参数可以是能够反映出利用该角度代表模式对当前PU进行编码,图像失真程度及编码码率大小的参数。由于视频编码的主要目的往往是保证一定视频质量的条件下尽可能的减小码率,或保证一定码率的条件下尽可能的减小失真。因此,可以采用率失真代价作为编码效果参数,进而体现利用该角度代表模式对当前PU进行编码时的效果。
第一方向可以是对应的角度代表模式下的编码效果参数较好的备选方向。第一预设条件可以是根据实际情况设定,只要确保利用满足该第一预设条件的编码效果参数对应的角度代表模式,对当前PU进行编码时的效果较好即可。示例的,该第一预设条件可以为编码效果参数小于预设参数阈值,或者是,为编码效果参数表示的编码效果最好。以编码效果参数为率失真代价参数为例,由于率失真代价越小,表示编码性能越好,因此,可以将对应的率失真代价小于预设参数阈值的备选方向确定为第一方向,或者是将对应的率失真代价最小的备选方向确定为第一方向,即采用备选方向中的最小率失真代价方向作为第一方向。
步骤203、根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向。
本发明实施例中,由于第一方向对应的角度代表模式下的编码效果参数满足第一预设条件,即,利用第一方向对应的角度代表模式对当前PU进行编码时,编码效果较好。因此,可以认为该第一方向周围的模式中很有可能存在对于当前PU而言,编码效果较好的模式。相应地,可以根据第一方向从备选方向中选择候选方向。具体的,可以根据第一方向选择周围的模式中存在编码效果较好的模式的概率较大的方向作为候选方向。
步骤204、基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式。
本发明实施例中,由于候选方向是根据第一方向确定且至少包括第一方向,因此可以认为候选方向周围的模式中很有可能存在对于当前PU而言,编码效果较好的模式。相应地,可以基于候选方向周围的模式,从预设编码标准提供的模式中选择候选模式。其中,该候选方向周围的角度模式可以是预设编码标准提供的部分角度模式,即候选方向周围的角度模式的数量小于预设编码标准提供的角度模式的数量。这样,仅需对部分角度模式进行计算,即可确定出角度模式中包含的候选模式,进而一定程度上可以减少计算量。
本发明实施例提供的模式选择方法,通过从预设编码标准提供的角度模式中,选择m个角度代表模式,m小于预设编码标准提供的角度模式的数量,将角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个角度代表模式下的编码效果参数,从备选方向中选择当前PU对应的第一方向,接着根据第一方向,从备选方向中选择候选方向,候选方向中至少包括第一方向。最后,根据候选方向,从预设编码标准提供的模式中选择候选模式。这样,通过先选择角度代表模式确定出最优模式可能在的候选方向,并仅在该候选方向周围的模式上选择候选模式,即,排除掉存在编码效果较好模式的概率较小的方向,在针对多种角度模式筛选时,仅以候选方向周围的模式,即,部分模式为筛选基础,这样,一定程度上可以减小筛选候选模式时整体需要判断的模式数量,进而降低计算量以及耗时,提高效率。
图3-1是本发明实施例提供的另一种模式选择方法的步骤流程图,如图3-1所示,该方法可以包括:
步骤301、从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量。
具体的,本步骤可以通过下述操作实现:以预设角度模式为起点,按照第二预设步长依次从所述预设编码标准提供的角度模式中等间距选择m个角度模式;将所选择的所述m个角度模式作为所述角度代表模式。
在进行选择时,可以抽取起点处的角度模式,然后从抽取出来的第一个角度模式处出发,抽取经过第二预设步长之后所到达处的角度模式,接着从当前抽取的角度模式出发,抽取经过第二预设步长之后所到达处的角度模式,以此类推,直至抽取够m个角度模式位置。其中,预设角度模式以及第二预设步长可以是根据实际情况预先设定的。示例的,可以将角度模式2作为预设角度模式,或者是将角度模式34作为预设角度模式,设置第二预设步长为8。以预设角度模式为角度模式2,第二预设步长为8,m为4为例,可以先抽取角度模式2,然后从角度模式2出发,抽取经过8个步长之后所到达处的角度模式10,接着,从角度模式10出发,抽取经过8个步长之后所到达处的角度模式18,从角度模式18出发,抽取经过8个步长之后所到达处的角度模式26,得到四个角度模式:角度模式2、角度模式10、角度模式18、角度模式26。最后,可以将这四个角度模式确定为角度代表模式。本发明实施例中,通过第二预设步长等间距的进行抽取,这样,可以确保最后得到的角度代表模式均匀的分布在角度模式中,进而可以确保每个角度代表模式能够均匀代表其周围的角度模式,提高基于角度代表模式进行选择的可靠性。
步骤302、将所述角度代表模式表示的方向作为备选方向,并计算所述当前PU在各个所述角度代表模式下的率失真代价。
本步骤中,针对每个角度代表模式,可以分别执行下述操作来实现计算当前PU在各个角度代表模式下的率失真代价:
使用该角度代表模式定义的编码参数,计算对当前PU的残差进行哈德曼变换后的系数绝对和(Sum of Absolute Transformed Difference,SATD)以及相应的编码比特率(R),以SATD表示当前PU在该角度代表模式下的失真程度D。然后将两者带入下述公式,得到当前PU在该角度代表模式下的率失真代价(J(mode)):
J(mode)=SATD+λ*R;
其中,λ为预设系数。
由于使用模式进行编码的计算量较大,因此,相较于直接使用该角度代表模式对当前PU进行编码,来获取当前PU在该角度代表模式下的失真程度D,结合该失真程度D计算当前PU在该角度代表模式下的率失真代价的方式。本步骤中,以SATD表示D,使得无需进行编码即可计算出当前PU在该角度代表模式下的率失真代价,因此,一定程度上可以减小率失真代价的计算代价,提高率失真代价的计算效率。当然,也可以直接使用失真程度D进行计算,或者是使用其他参数表示D参与计算,例如,使用绝对误差和(Sum of AbsoluteDifference,SAD)、差值的平方和(Sum of Squared Difference,SSD),等等,本发明实施例对此不做限定。
步骤303、将率失真代价最小的角度代表模式对应的备选方向,确定为所述第一方向。
本步骤中,可以将每个角度代表模式对应的率失真代价的大小进行比对,然后选择出数值最小的率失真代价,接着,将该最小的率失真代价对应的角度代表模式对应的备选方向,确定为第一方向。示例的,假设最小的率失真代价对应的角度代表模式对应的备选方向为水平方向,那么可以将水平方向确定为第一方向。
本发明实施例中,通过选择率失真代价最小的角度代表模式对应的备选方向作为第一方向,即,选择最小率失真代价方向,可以使得选择的第一方向是对当前PU的编码效果最好的方向,进而可以确保后续步骤中基于该第一方向选择的候选方向的可靠性。
步骤304、根据所述当前PU在各个所述备选方向上的梯度强度,从所述备选方向中选择当前PU对应的第二方向;所述第二方向上的梯度强度满足第二预设条件。
本步骤中,梯度可以是一个具有大小和方向的矢量,梯度的方向可以是指示像素值变化的方向,即,可以表征图像的纹理方向。大小可以是梯度强度的大小,它可以表征像素点的像素值在该方向上发生变化的快慢程度。备选方向上的梯度强度可以表征梯度的大小,即,可以用于表征当前PU中像素点的像素值在该备选方向上发生变化的快慢程度。梯度强度越小,快慢程度越小即像素点的像素值在该备选方向上越缓慢变化。其中,像素值在该备选方向上发生变化的快慢程度,可以体现当前PU中的图像纹理在该备选方向上的纹理性。变化的越慢,纹理性越强。纹理性越强,当前PU中的图像纹理在该方向上越规律,反之,纹理性越弱,当前PU中的图像纹理在该方向上越杂乱。
进一步地,第二方向可以是对应的梯度强度较小的备选方向,即,变化较为缓慢,图像纹理的纹理性较强的备选方向。第二预设条件可以是根据实际情况设定,只要确保满足该第二预设条件的方向上的像素值的变化较为缓慢即可。示例的,该第二预设条件可以为梯度强度小于预设梯度阈值,或者是,梯度强度最小,即采用备选方向中的最小梯度方向作为第二方向。
具体的,本步骤中可以通过下述步骤3041~步骤3044实现:
步骤3041、将所述当前PU划分为至少两个计算块;其中,一个所述计算块包含至少两个像素点。
本步骤中,计算块中包含的像素点的个数可以是根据备选方向设定的,示例的,在备选方向为一个的情况下,设置个数不小于2,在备选方向为两个的情况下,设置个数不小于3,在备选方向为3个以上的情况下,设置个数不小于4,计算块的形状可以为正方形,长方形,等等,本发明实施例对此不做限定。具体的,在划分时,可以从预设位置开始,例如,从当前PU的左上角开始,依次选择至少两个像素点作为一个计算块,进而得到多个计算块。示例的,以当前PU为一个8*8的区域为例,图3-2是本发明实施例提供的一种划分示意图,如图3-2所示,可以将每16个像素组成的正方向区域划分为一个计算块,进而得到4个计算块,其中,这4个计算块分别为:斜线覆盖的4*4像素块、黑色点覆盖的4*4像素块、横线覆盖的4*4像素块以及竖线覆盖的4*4像素块。需要说明的是,划分时,可以控制划分得到的计算块之间不存在重合部分。这样,相较于采用四叉树结构进行划分,导致出现重合部分的方式,本发明实施例中可以避免由于存在重复部分,导致重复计算的问题。
步骤3042、对于任一所述备选方向,根据各个所述计算块中包含的像素点的像素值,计算所述计算块在所述备选方向上的梯度强度。
具体的,计算计算块在所述备选方向上的梯度强度就是以备选方向作为梯度方向,计算该计算块在该梯度方向上的梯度强度。对于任一计算块,可以通过下述操作实现计算该计算块在备选方向上的梯度强度:按照所述备选方向,从所述计算块中间隔选择n对像素点对,作为参考像素点对;基于所述参考像素点对中包含的像素点进行差分计算;将所述差分计算的结果,确定为所述计算块在所述备选方向上的梯度强度。
本步骤中,n可以是根据实际情况设定的。n越大,选择的参考像素点对越多,相应地,基于这些参考像素点对计算出来的计算块的梯度强度越精确。具体的,在选择参考像素点对时,可以在该备选方向上间隔选择不相邻的两个像素点组成一个参考像素点对。其中,像素点不相邻可以指的是在上下左右不相邻,即,确保参考像素点对中不存在互为4邻域像素的像素点,也可以指的是在上下左右、左上左下及右上右下不相邻,即,确保参考像素点对中不存在互为8邻域像素的像素点。由于相近像素点之间存在相似性,因此,相较于直接使用相邻像素点进行计算的方式,本发明实施例中,通过使用间隔选择的像素点组成参考像素点对,一定程度上可以减少这种相似性带来的干扰,使得该梯度强度能够更好的反应在该备选方向上的纹理走向,更准确的刻画纹理,进而可以提高计算得到的梯度强度对该计算块的纹理性的表示精度。
接着,基于参考像素点对进行差分计算。其中,差分又名差分函数或差分运算,差分的结果可以反映离散量之间的一种变化。具体的,计算时,可以计算每个参考像素点对中两个像素点的像素值差值的绝对值,然后计算所有绝对值之和,得到差分结果。最后,将该备选方向上的差分结果,作为该计算块在该备选方向上的梯度强度。
示例的,假设计算块为图3-2中划分的4*4的计算块,n为4。从计算块的任一顶点为原点,分别沿着水平的X轴方向以及竖直的Y轴方向依次按照0,1,2,3为像素编号,那么,一个计算块在水平方向上的梯度强度GH可以表示为:
GH=|p(0,3)-p(0,1)|+|p(1,2)-p(1,0)|+|p(2,3)-p(2,1)|+|p(3,2)-p(3,0)|
在垂直方向上的梯度强度Gv可以表示为:
GV=|p(3,0)-p(1,0)|+|p(2,1)-p(0,1)|+|p(3,2)-p(1,2)|+|p(2,3)-p(0,3)|
在右下方向上的梯度强度Grd可以表示为:
Grd=|p(0,0)-p(2,2)|+|p(1,1)-p(3,3)|+|p(2,0)-p(3,1)|+|p(0,2)-p(1,3)|
在左下方向上的梯度强度Gld可以表示为:
Gld=|p(0,3)-p(2,1)|+|p(1,2)-p(3,0)|+|p(0,1)-p(1,0)|+|p(2,3)-p(3,2)|进一步地,图3-3是本发明实施例提供的一种计算块的梯度方向示意图,可以看出,计算块的梯度方向包括(3a)示出的水平方向、(3b)示出的垂直方向、(3c)示出的右下方向及(3d)示出的左下方向。
步骤3043、根据所述备选方向上的计算块的梯度强度,计算所述当前PU在所述备选方向上对应的梯度强度。
具体的,可以计算所有计算块在该备选方向的计算块的梯度强度之和,将该梯度强度之和,确定为当前PU在该备选方向上对应的梯度强度。进一步地,图3-4是本发明实施例提供的一种PU的梯度方向示意图,可以看出,PU的梯度方向包括(4a)示出的水平方向、(4b)示出的垂直方向、(4c)示出的右下方向及(4d)示出的左下方向。
本发明实施例中,通过将当前PU划分为多个计算块,以计算块为梯度计算对象,仅需计算这些计算块在备选方向上的梯度强度,基于这些计算块的梯度强度即可计算出当前PU在该备选方向上对应的梯度强度。这样,一定程度上可以简化梯度计算过程,降低梯度计算带来的计算量,继而提高计算效率。示例的,以图3-2中的当前PU为例,如果采用常规的计算方式,不进行划分的话,就需要分别针对64个像素点计算这64个像素点在备选方向上的梯度强度,得到64个梯度强度。然后对这64个梯度强度进行计算,才能得到当前PU在备选方向上的梯度强度,例如,计算该备选方向上所有像素点的梯度强度之和,即计算SAG=Σ(G(x,y))。而采用本发明实施例提供的计算方式,仅需计算4个计算块在备选方向上的梯度强度,得到4个梯度强度。然后对这4个梯度强度进行计算,即可得到当前PU在备选方向上的梯度强度。由此可见,相较于现有技术中,在备选方向上针对当前PU中的像素点,逐个点做差分的方式,本发明实施例提供的方式可以简化梯度计算过程,降低梯度计算带来的计算量,进而提高计算效率。
同时,本发明实施例中,在计算计算块的梯度强度时,通过间隔抽取像素点参与计算,可以减少参与计算的像素点的数量,进而进一步降低计算量。同时,相较于现有技术中,逐个点进行差分的方式,本发明实施例中,通过间隔抽取像素点参与计算的方式,也可以避免相近点的差值过小,导致最终计算结果不能够准确反映纹理的问题。当然,也可以采用其他方式计算梯度强度,例如,通过二维离散函数求导数的方式计算,等等,本发明实施例对此不做限定。
需要说明的是,本发明实施例中,在计算当前PU的梯度强度,即,进行纹理检测之前,还可以先对视频图像进行低通滤波,以降低视频图像中包含的干扰信息,进而提高纹理检测的效果。
步骤3044、将对应的梯度强度最小的备选方向,确定为所述第二方向。
本步骤中,可以将每个备选方向对应的梯度强度的大小进行比对,然后选择出数值最小的梯度强度,接着,将该最小的梯度强度对应的备选方向,确定为第二方向。示例的,假设最小的梯度强度对应的备选方向为水平方向,那么可以将水平方向确定为第二方向。本发明实施例中,通过选择梯度最小的备选方向作为第二方向,即,选择最小梯度方向,可以使得选择的第二方向是当前PU纹理性最强的方向,进而可以确保该第二方向的可信赖程度。
步骤305、根据所述第一方向与所述第二方向之间的相对关系,从所述备选方向中选择所述候选方向。
实际应用场景中,视频图像的纹理方向,即,纹理性较强的方向,往往与编码效果较好的模式的方向,例如,最优模式的方向存在相似性,编码效果较好的模式的方向往往也会具有较强的纹理性。且利用不同模式对图像编码时,编码效果会受到图像纹理的影响,而第二方向可以表征当前PU的图像纹理的规律性较强的方向,因此,本发明实施例中,可以结合第一方向和第二方向,即,结合最小代价方向和最小梯度方向,选择候选方向。
具体的,若所述第一方向与所述第二方向平行,则将所述第一方向表示的备选方向,确定为所述候选方向。如果第一方向与第二方向平行,则说明最小代价方向和最小梯度方向一致,当前PU表示的图像具有较强的纹理性,纹理检测的结果可信赖,参考性较高,即,确定的第二方向可信赖。而由于第一方向与第二方向具有相似性,因此,在第二方向可信赖的情况下,可以认为第一方向是可信赖的,进而可以仅将第一方向表示的备选方向确定为候选方向。即,仅在第二方向上确定为候选方向。本发明实施例中,通过在最小代价方向和最小梯度方向一致,可信赖程度较高的情况下,选择两者表示的备选方向作为候选方向的方式,可以在确保后续能够基于候选方向较为准确的筛选候选模式的同时,尽可能减少候选方向的数量,进而降低后续处理的处理量。
进一步地,如果两者不平行,可以进一步判断两者是否垂直,若所述第一方向与所述第二方向垂直,则选择至少两个所述备选方向,作为所述候选方向。如果第一方向与第二方向垂直行,则说明最小代价方向和最小梯度方向存在较大差异,当前PU表示的图像的纹理性较弱,纹理检测的结果可信赖程度较低,即,可以认为第一方向可信赖程度较低,参考性较低高。且纹理性较弱往往是由于图像的纹理比较复杂杂乱,或者纹理细节很少导致的,这种情况下,如果仅在单一方向上确定候选模式,可能会导致最终基于候选模式筛选出来的模式不能较好的对当前PU进行编码。因此,可以选择多个备选方向作为候选方向,这样,可以确保后续基于该候选方向筛选的候选模式确定出的最优模式能够较好的对当前PU进行编码,进而确保后续的编码效果。同时,选择的至少两个备选方向中可以包含第一方向表示的备选方向。由于第一方向是对应的角度代表模式下的编码效果参数较好的备选方向,因此,将第一方向选中,一定程度上可以进一步确保后续基于该候选方向筛选的候选模式确定出的最优模式的编码效果。进一步地,可以选择所有备选方向,作为候选方向。以备选方向为4为例,可以将这4个备选方向确定为候选方向,在这4个方向上候选。这样,通过将所有备选防线确定为候选方向,可以较大程度的提高覆盖方向,进而确保后续基于该候选方向筛选的候选模式确定出的最优模式的编码效果。
进一步地,若所述第一方向与所述第二方向之间形成预设角度的夹角,则将所述第一方向表示的备选方向及所述第二方向表示的备选方向,确定为候选方向;其中,所述预设角度为除0度及90度之外的角度。
如果第一方向与第二方向之间形成预设角度的夹角,即,两者即不平行,也不垂直。则说明最小代价方向和最小梯度方向存在一些差异,但纹理检测的结果具有一定的可信赖程度,具有一定的参考性。因此,可以选择第一方向表示的备选方向及第二方向表示的备选方向作为候选方向。这样,通过同时选择第一方向及第二方向表示的备选方向作为候选方向,一定程度上可以弥补参考性较低的问题,进而提高候选方向的准确性。
本发明实施例中,通过结合第一方向和第二方向,即结合最小代价方向和最小梯度方向进行双重验证判断,通过最小梯度方向辅助判断,并根据判断结果,有针对性的选择候选方向,进而可以提高初步筛选出的候选方向的准确度。由于初步筛选的候选方向,对方案最终选中的模式影响较大,因此,发明实施例中,通过提高该准确度,可以确保方案整体的精度。
步骤306、对于任一所述候选方向,以所述候选方向对应的角度模式为中心,按照第一预设步长,从所述对应的角度模式两侧的模式中,等间距选择p个模式,作为第一备选模式。
本步骤中,第一预设步长可以是根据实际情况预先设定的,第一预设步长可以大于1,可以通过设置第一预设步长大于1,可以确保在候选方向较多的情况下,最终选出的候选模式的数量不会太多,进而可以避免计算量较大。示例的,该第一预设步长可以为2。进一步地,p的具体值也可以是根据实际情况预先设定的,例如,p可以为4。具体的选择时,可以以候选方向对应的角度模式为中心,将该对应的角度模式及其两侧的模式作为选择对象。按照第一预设步长开始等间距选择。
假设在第一预设步长为2,p为4。在候选方向为水平方向,候选方向对应的角度模式为角度模式10,从对应的角度模式的两侧的模式中,等间距选择p个模式时,可以以先角度模式7或者角度模式13为起点,先抽取起点处的角度模式,然后从抽取出来的角度模式处出发,抽取经过第以预设步长之后所到达处的角度模式,以此类推,可以得到第一备选模式:角度模式7、角度模式9、角度模式11、角度模式13。相应地,在候选方向为垂直方向,候选方向对应的角度模式为角度模式26时,从对应的角度模式的两侧,等间距选择p个模式,可以得到第一备选模式:角度模式23、角度模式25、角度模式27、角度模式29。在候选方向为右下方向,候选方向对应的角度模式为角度模式18时,从对应的角度模式的两侧,等间距选择p个模式,可以得到第一备选模式:角度模式15、角度模式17、角度模式19、角度模式21。在候选方向为左下方向,候选方向对应的角度模式为角度模式2时,从对应的角度模式的两侧,等间距选择p个模式,可以得到第一备选模式:角度模式3、角度模式5、角度模式31、角度模式33。本发明实施例中,通过第一预设步长等间距的进行选择抽取,这样,可以确保最后得到的第一备选模式均匀分布,进而方便后续在第一备选模式的基础上进一步选取。
步骤307、根据所述第一备选模式确定第一候选模式,以及将所述预设编码标准提供的非角度模式确定为第二候选模式。
具体的根据第一备选模式确定第一候选模式的操作,可以通过下述操作实现:计算所述当前PU在各个所述第一备选模式下的率失真代价;将前q个最大的率失真代价对应的第一备选模式,作为第二备选模式;将所述第二备选模式两侧相邻的角度模式,确定为所述第一候选模式。
其中,计算当前PU在各个第一备选模式下的率失真代价的具体实现方式,可以参照前述步骤中计算率失真代价的相关描述,本发明实施例在此不做赘述。进一步地,q的具体值根据实际情况设置,示例的,q可以为2。可以将率失真代价由大至小进行排序,然后选择前2个率失真代价对应的第一备选模式作为第二备选模式。假设第二备选角度模为角度模式7及角度模式13,那么选择的第一候选模式可以为角度模式6、角度模式8,角度模式12、角度模式14。需要说明的是,在确定出第一候选模式之后,可以对第一候选模式进行去重处理,以精简第一候选模式的数量,进而减小后续的计算量。或者也可以直接将第一备选模式确定为第一候选模式,即省略进一步筛选的操作,进而减小计算量。
进一步地,由于非角度模式的方向性很弱,在针对候选方向周围模式的选择过程中,很难被覆盖到,因此,本步骤中可以直接将非角度模式确定为第二候选模式,即,确保非角度模式也可以加入筛选,进而可以在提高筛选效率的同时,确保能够全面覆盖,全面筛选,进而提高筛选结果的准确性。示例的,以预设编码标准为HEVC标准为例,们可以将planar模式和dc模式确定为第二候选模式。
步骤308、将所述第一候选模式及所述第二候选模式,确定为所述候选模式,以及,将所述角度代表模式及所述第一备选模式,加入所述候选模式。
本发明实施例中,通过多级筛选得到第一候选模式及第二候选模式,最后将第一候选模式及第二候选模式确定为候选模式,一定程度上可以确保最终筛选出的候选模式的准确性。进一步地,通过将所述角度代表模式及所述第一备选模式,也加入候选模式中,即,以角度代表模式作为一级候选模式,将第一备选模式及非角度模式作为二级候选模式,将第一候选模式作为三级候选模式,通过采用多级候选模式,可以避免层层筛选,导致最终筛选结果陷入局部最优,进而导致筛选结果不理想的问题。
进一步地,需要说明的是,本发明实施例在确定出候选模式之后,还可以执行下述操作:确定所述候选模式对应的率失真代价;若所述候选模式对应的率失真代价大于预设率失真代价阈值,则剔除所述候选模式。其中,如果前述步骤中针对该候选模式计算过其对应的率失真代价,则可以直接从前述步骤的计算结果中获取其对应的率失真代价,这样,可以减少计算量。若没有,则可以参考前述步骤中有关计算方式的描述进行计算。进一步地,预设率失真代价阈值可以是根据实际应用场景中,不会成为最优模式的模式所对应的率失真代价设置。或者,也可以是根据实验过程中计算出的最小率失真代价设置,例如,将该阈值设置为最小率失真代价的1.2倍。其中,该最小率失真代价可以是基于SATD计算的率失真代价的。
相应地,若候选模式对应的率失真代价大于该预设率失真代价阈值,则可以认为该候选模式大概率不会成为最优模式,因此,可以将其剔除。这样,通过对候选模式选择性的进行剔除,可以精简候选模式的数量,进而降低后续从候选模式中进行筛选时的计算量。
实际应用场景中,在上述操作之后,即完成粗略模式选择(RoughMode Decision,RMD)阶段之后,可以继续执行添加最有可能模式(Most Possible Modes,MPM)阶段,精确模式选择(Fine Mode Decision,FMD)阶段。具体的,由于相邻PU之间往往具有很强的相关性,已编码的相邻PU的最优模式对当前块也是有参考价值的。因此,本发明实施例中,可以基于前述选择的候选模式生成候选列表,根据当前PU周围的已编码PU的最优模式确定MPM模式,然后将MPM模式也加入为候选列表,参与后续的选择。其中,MPM模式可以是依据已编码的相邻PU的空间相关性由已编码的相邻PU,例如,上方与左侧的已编码的相邻PU的最优模式得到确定的。具体MPM模式的具体个数可以根据实际情况来设置,例如,在仿真平台HM16.0中,MPM的个数可以为3,具体再确定时,可以先获取上方和左侧的已编码相邻PU的最优模式,然后根据这两个最优模式自身的特性以及相互之间的关系,依次对三个MPM进行赋值,进而得到3个MPM模式。
接着,可以对候选列表中的所有模式依次计算基于RDO的率失真代价,选择率失真代价最小的预测模式作为最优模式。其中,RDO代价的求解包含了一次完整的编码过程,因此可以精确地选出最优模式,但该过程需要对预测像素的残差进行DCT变换、量化得到残差系数、熵编码得到该预测模式下编码的比特数,另一方面需要对残差系数进行反量化、反变换得到重建图像以获得失真度,最后依据比特数和失真度才能计算该预测模式的率失真代价,复杂度极高。因此,实际应用中,也可以采用其他方式计算率失真代价,并进行选择,进而最优模式选择的复杂度。需要说明的是,进行FMD阶段之前,还可以对候选列表中包含的模式进行去重处理,以精简FMD阶段需要计算的对象数量,进而减小计算量。
本发明实施例提供的模式选择方法,通过从预设编码标准提供的角度模式中,选择m个角度代表模式,m小于预设编码标准提供的角度模式的数量,将角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个角度代表模式下的编码效果参数,从备选方向中选择当前PU对应的第一方向,根据当前PU在各个备选方向上的梯度强度,从备选方向中选择当前PU对应的第二方向。接着结合这两个方向,从备选方向中选择候选方向。最后,根据候选方向,从角度模式中确定第一候选模式,将非角度模式确定为第二候选模式,最后将第一候选模式及第二候选模式确定为候选模式。这样,通过先选择角度代表模式确定出最优模式可能在的候选方向,并仅在该候选方向周围的模式上选择候选模式,一定程度上可以减小筛选候选模式时需要判断的模式数量,进而降低计算量以及耗时,提高效率。同时,由于非角度模式的方向性很弱,在针对候选方向周围模式的选择过程中,很难被覆盖到,因此,通过直接将非角度模式确定为第二候选模式,即,让非角度模式也可以加入筛选,可以在提高筛选效率的同时,确保能够全面覆盖,进而提高筛选结果的准确性。进一步地,通过结合第一方向和第二方向,即结合最小代价方向和最小梯度方向进行双重验证判断,通过最小梯度方向辅助判断,并根据判断结果,有针对性的选择候选方向,进而可以提高初步筛选出的候选方向的准确度。
图4是本发明实施例提供的一种模式选择装置的框图,如图4所示,该装置40可以包括:
第一选择模式401,用于从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量;
第一确定模式402,用于将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件;
第二选择模式403,用于根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向;
第三选择模式404,用于基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式。
可选的,所述第二选择模式403,具体用于:
根据所述当前PU在各个所述备选方向上的梯度强度,从所述备选方向中选择当前PU对应的第二方向;所述第二方向上的梯度强度满足第二预设条件。
根据所述第一方向与所述第二方向之间的相对关系,从所述备选方向中选择所述候选方向。
可选的,所述第二选择模式403,还具体用于:
将所述当前PU划分为至少两个计算块;其中,一个所述计算块包含至少两个像素点。
对于任一所述备选方向,根据各个所述计算块中包含的像素点的像素值,计算所述计算块在所述备选方向上的梯度强度。
根据所述备选方向上的计算块的梯度强度,计算所述当前PU在所述备选方向上对应的梯度强度。
将对应的梯度强度最小的备选方向,确定为所述第二方向。
可选的,所述第二选择模式403,还具体用于:
对于任一所述计算块,按照所述备选方向,从所述计算块中间隔选择n对像素点对,作为参考像素点对。
基于所述参考像素点对中包含的像素点进行差分计算。
将所述差分计算的结果,确定为所述计算块在所述备选方向上的梯度强度。
可选的,所述第二选择模式403,还具体用于:
若所述第一方向与所述第二方向平行,则将所述第一方向表示的备选方向,确定为所述候选方向。
若所述第一方向与所述第二方向垂直,则选择至少两个所述备选方向,作为所述候选方向。
若所述第一方向与所述第二方向之间形成预设角度的夹角,则将所述第一方向表示的备选方向及所述第二方向表示的备选方向,确定为所述候选方向;其中,所述预设角度为除0度及90度之外的角度。
可选的,所述第二选择模式403,还具体用于:
选择所有所述备选方向,确定为所述候选方向。
可选的,所述第三选择模式404,具体用于:
对于任一所述候选方向,以所述候选方向对应的角度模式为中心,按照第一预设步长,从所述对应的角度模式两侧的模式中,等间距选择p个模式,作为第一备选模式。
根据所述第一备选模式确定第一候选模式,以及将所述预设编码标准提供的非角度模式确定为第二候选模式。
将所述第一候选模式及所述第二候选模式,确定为所述候选模式。
可选的,所述第三选择模式404,还具体用于:
计算所述当前PU在各个所述第一备选模式下的率失真代价。
将前q个最大的率失真代价对应的第一备选模式,作为第二备选模式。
将所述第二备选模式两侧相邻的角度模式,确定为所述第一候选模式。
可选的,所述装置40还包括:
加入模块,用于将所述角度代表模式及所述第一备选模式,加入所述候选模式。
可选的,所述装置40还包括:
第二确定模块,用于确定所述候选模式对应的率失真代价。
剔除模块,用于若所述候选模式对应的率失真代价大于预设率失真代价阈值,则剔除所述候选模式。
可选的,所述第一选择模式401,具体用于:
以预设角度模式为起点,按照第二预设步长依次从所述预设编码标准提供的角度模式中等间距选择m个角度模式。
将所选择的所述m个角度模式作为所述角度代表模式。
可选的,所述第一确定模式402,具体用于:
计算所述当前PU在各个所述角度代表模式下的率失真代价。
将率失真代价最小的角度代表模式对应的备选方向,确定为所述第一方向。
综上所述,本发明实施例提供的模式选择装置,通过从预设编码标准提供的角度模式中,选择m个角度代表模式,m小于预设编码标准提供的角度模式的数量,将角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个角度代表模式下的编码效果参数,从备选方向中选择当前PU对应的第一方向,接着根据第一方向,从备选方向中选择候选方向,候选方向中至少包括第一方向。最后,根据候选方向,从预设编码标准提供的模式中选择候选模式。这样,通过先选择角度代表模式确定出最优模式可能在的候选方向,并仅在该候选方向周围的模式上选择候选模式,即,排除掉存在编码效果较好模式的概率较小的方向,在针对多种角度模式筛选时,仅以候选方向周围的模式,即,部分模式为筛选基础,这样,一定程度上可以减小筛选候选模式时整体需要判断的模式数量,进而降低计算量以及耗时,提高效率。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可选的,本发明实施例还提供一种电子设备,电子设备可以包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述模式选择方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
可选的,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述模式选择方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
例如,图5示出了可以一种电子设备的结构示意图。该电子设备传统上包括处理器510和存储器520。存储器520可以是诸如闪存、电可擦除可编程只读存储器、硬盘、随机存取存储器(Random Access Memory,RAM)、磁碟、光盘或只读存储器(Read-Only Memory,ROM)之类的电子存储器。存储器520具有用于程序代码的存储空间530。用于程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与电子设备中的存储器520类似布置的存储段、存储空间等。通常,存储单元包括计算机可读代码,即可以由例如诸如处理器510之类的处理器读取的代码,这些代码当由计算处理设备运行时,导致该计算处理设备执行上面所描述的方法中的各个步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (13)
1.一种模式选择方法,其特征在于,所述方法包括:
从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量;
将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件;
根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向;
基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式;
其中,所述根据所述第一方向从所述备选方向中选择候选方向,包括:
根据所述当前PU在各个所述备选方向上的梯度强度,从所述备选方向中选择当前PU对应的第二方向;所述第二方向上的梯度强度满足第二预设条件;所述第二预设条件用于确保满足所述第二预设条件的方向上的像素值的变化较为缓慢;
若所述第一方向与所述第二方向平行,则将所述第一方向表示的备选方向,确定为所述候选方向;
若所述第一方向与所述第二方向垂直,则选择至少两个所述备选方向,作为所述候选方向;
若所述第一方向与所述第二方向之间形成预设角度的夹角,则将所述第一方向表示的备选方向及所述第二方向表示的备选方向,确定为所述候选方向;其中,所述预设角度为除0度及90度之外的角度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前PU在各个所述备选方向上的梯度强度,从所述备选方向中选择当前PU对应的第二方向,包括:
将所述当前PU划分为至少两个计算块;其中,一个所述计算块包含至少两个像素点;
对于任一所述备选方向,根据各个所述计算块中包含的像素点的像素值,计算所述计算块在所述备选方向上的梯度强度;
根据所述备选方向上的计算块的梯度强度,计算所述当前PU在所述备选方向上对应的梯度强度;
将对应的梯度强度最小的备选方向,确定为所述第二方向。
3.根据权利要求2所述的方法,其特征在于,所述根据各个所述计算块中包含的像素点的像素值,计算所述计算块在所述备选方向上的梯度强度,包括:
对于任一所述计算块,按照所述备选方向,从所述计算块中间隔选择n对像素点对,作为参考像素点对;
基于所述参考像素点对中包含的像素点进行差分计算;
将所述差分计算的结果,确定为所述计算块在所述备选方向上的梯度强度。
4.根据权利要求1所述的方法,其特征在于,所述选择至少两个所述备选方向,作为所述候选方向,包括:
选择所有所述备选方向,确定为所述候选方向。
5.根据权利要求1所述的方法,其特征在于,所述基于所述候选方向周围的模式,从预设编码标准提供的模式中选择候选模式,包括:
对于任一所述候选方向,以所述候选方向对应的角度模式为中心,按照第一预设步长,从所述对应的角度模式两侧的模式中,等间距选择p个模式,作为第一备选模式;
根据所述第一备选模式确定第一候选模式,以及将所述预设编码标准提供的非角度模式确定为第二候选模式;
将所述第一候选模式及所述第二候选模式,确定为所述候选模式。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一备选模式确定第一候选模式,包括:
计算所述当前PU在各个所述第一备选模式下的率失真代价;
将前q个最大的率失真代价对应的第一备选模式,作为第二备选模式;
将所述第二备选模式两侧相邻的角度模式,确定为所述第一候选模式。
7.根据权利要求5所述的方法,其特征在于,所述将所述第一候选模式及所述第二候选模式,确定为所述候选模式之后,所述方法还包括:
将所述角度代表模式及所述第一备选模式,加入所述候选模式。
8.根据权利要求5-7任一所述的方法,其特征在于,所述根据所述候选方向周围的模式,从预设编码标准提供的模式中选择候选模式之后,所述方法还包括:
确定所述候选模式对应的率失真代价;
若所述候选模式对应的率失真代价大于预设率失真代价阈值,则剔除所述候选模式。
9.根据权利要求1所述的方法,其特征在于,所述从预设编码标准提供的角度模式中,选择m个角度代表模式,包括:
以预设角度模式为起点,按照第二预设步长依次从所述预设编码标准提供的角度模式中等间距选择m个角度模式;
将所选择的所述m个角度模式作为所述角度代表模式。
10.根据权利要求1或9所述的方法,其特征在于,所述根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向,包括:
计算所述当前PU在各个所述角度代表模式下的率失真代价;
将率失真代价最小的角度代表模式对应的备选方向,确定为所述第一方向。
11.一种模式选择装置,其特征在于,所述装置包括:
第一选择模式,用于从预设编码标准提供的角度模式中,选择m个角度代表模式;所述m小于所述预设编码标准提供的角度模式的数量;
第一确定模式,用于将所述角度代表模式表示的方向作为备选方向,并根据当前预测单元PU在各个所述角度代表模式下的编码效果参数,从所述备选方向中确定当前PU对应的第一方向;所述第一方向对应的角度代表模式下的编码效果参数满足第一预设条件;
第二选择模式,用于根据所述第一方向从所述备选方向中选择候选方向;所述候选方向中至少包括所述第一方向;
第三选择模式,用于基于所述候选方向周围的模式,从所述预设编码标准提供的模式中选择候选模式;
其中,所述第二选择模式,还用于根据所述当前PU在各个所述备选方向上的梯度强度,从所述备选方向中选择当前PU对应的第二方向;所述第二方向上的梯度强度满足第二预设条件;所述第二预设条件用于确保满足所述第二预设条件的方向上的像素值的变化较为缓慢;若所述第一方向与所述第二方向平行,则将所述第一方向表示的备选方向,确定为所述候选方向;若所述第一方向与所述第二方向垂直,则选择至少两个所述备选方向,作为所述候选方向;若所述第一方向与所述第二方向之间形成预设角度的夹角,则将所述第一方向表示的备选方向及所述第二方向表示的备选方向,确定为所述候选方向;其中,所述预设角度为除0度及90度之外的角度。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10任一所述的模式选择方法。
13.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-10任一所述的模式选择方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010761465.4A CN111988605B (zh) | 2020-07-31 | 2020-07-31 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
PCT/CN2021/094198 WO2022022013A1 (zh) | 2020-07-31 | 2021-05-17 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010761465.4A CN111988605B (zh) | 2020-07-31 | 2020-07-31 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111988605A CN111988605A (zh) | 2020-11-24 |
CN111988605B true CN111988605B (zh) | 2023-11-21 |
Family
ID=73445001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010761465.4A Active CN111988605B (zh) | 2020-07-31 | 2020-07-31 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111988605B (zh) |
WO (1) | WO2022022013A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988605B (zh) * | 2020-07-31 | 2023-11-21 | 广州市百果园信息技术有限公司 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
CN115550645A (zh) * | 2022-12-02 | 2022-12-30 | 杭州未名信科科技有限公司 | 帧内预测模式的确定方法、装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104284186A (zh) * | 2014-09-24 | 2015-01-14 | 复旦大学 | 一种适用于hevc标准帧内预测模式判决过程的快速算法 |
CN104954788A (zh) * | 2014-03-27 | 2015-09-30 | 浙江大华技术股份有限公司 | Hevc帧内预测模式选择方法及装置 |
CN110049339A (zh) * | 2018-01-16 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 图像编码中的预测方向选取方法、装置和存储介质 |
CN110198442A (zh) * | 2018-12-27 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 一种用于视频编码的帧内预测方法、装置和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10142626B2 (en) * | 2014-10-31 | 2018-11-27 | Ecole De Technologie Superieure | Method and system for fast mode decision for high efficiency video coding |
KR101621358B1 (ko) * | 2015-04-16 | 2016-05-17 | 아주대학교 산학협력단 | Hevc 부호화 장치 및 그 인트라 예측 모드 결정 방법 |
CN111988605B (zh) * | 2020-07-31 | 2023-11-21 | 广州市百果园信息技术有限公司 | 模式选择方法、装置、计算机可读存储介质及电子设备 |
-
2020
- 2020-07-31 CN CN202010761465.4A patent/CN111988605B/zh active Active
-
2021
- 2021-05-17 WO PCT/CN2021/094198 patent/WO2022022013A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104954788A (zh) * | 2014-03-27 | 2015-09-30 | 浙江大华技术股份有限公司 | Hevc帧内预测模式选择方法及装置 |
CN104284186A (zh) * | 2014-09-24 | 2015-01-14 | 复旦大学 | 一种适用于hevc标准帧内预测模式判决过程的快速算法 |
CN110049339A (zh) * | 2018-01-16 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 图像编码中的预测方向选取方法、装置和存储介质 |
CN110198442A (zh) * | 2018-12-27 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 一种用于视频编码的帧内预测方法、装置和存储介质 |
Non-Patent Citations (2)
Title |
---|
Andreas Heindel,et al.Two-stage exclusion of angular intra prediction modes for fast mode decision in HEVC.2016 IEEE International Conference on Image Processing (ICIP).2016,529-533. * |
李伟 ; 王让定 ; 王家骥 ; .一种HEVC帧内预测模式快速选择算法.计算机工程与应用.2016,(第14期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111988605A (zh) | 2020-11-24 |
WO2022022013A1 (zh) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110572655B (zh) | 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备 | |
US11483572B2 (en) | Video encoding and decoding method | |
US9451266B2 (en) | Optimal intra prediction in block-based video coding to calculate minimal activity direction based on texture gradient distribution | |
CN107071416B (zh) | 一种hevc帧内预测模式快速选择方法 | |
US10003792B2 (en) | Video encoder for images | |
CN111242997A (zh) | 一种基于滤波器的点云属性预测方法及设备 | |
CN107925759A (zh) | 用于编码和解码帧内预测的方法和设备 | |
KR20180118254A (ko) | 신규한 평면 예측 모드 | |
CN111988605B (zh) | 模式选择方法、装置、计算机可读存储介质及电子设备 | |
CN108989799B (zh) | 一种编码单元参考帧的选择方法、装置及电子设备 | |
CN110708551B (zh) | 视频编码方法、装置、计算机可读存储介质和计算机设备 | |
CN115118977B (zh) | 针对360度视频的帧内预测编码方法、系统及介质 | |
US11704840B2 (en) | Attribute information prediction method, encoder, decoder and storage medium | |
CN102685506B (zh) | 帧内预测的方法和预测装置 | |
CN102611881A (zh) | 参考运动矢量获取方法、模块及编、解码装置 | |
CN112449181B (zh) | 一种编解码方法、装置及其设备 | |
CN102215391B (zh) | 视频数据编码、解码方法及装置、变换处理方法及装置 | |
CN113747166B (zh) | 一种编解码方法、装置及其设备 | |
CN112004099B (zh) | 一种帧内块复制预测方法、装置及计算机可读存储介质 | |
CN112689145B (zh) | 一种vvc帧内编码的快速帧内模式选择方法 | |
KR20130049707A (ko) | 인트라 예측 방법 및 장치 | |
CN110446048B (zh) | 帧内预测场景中预测模式的选取方法及装置 | |
CN115834882A (zh) | 一种帧内预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |