CN115002463A - 图像处理方法、智能终端及存储介质 - Google Patents
图像处理方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN115002463A CN115002463A CN202210832482.1A CN202210832482A CN115002463A CN 115002463 A CN115002463 A CN 115002463A CN 202210832482 A CN202210832482 A CN 202210832482A CN 115002463 A CN115002463 A CN 115002463A
- Authority
- CN
- China
- Prior art keywords
- template
- partition
- current
- image
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
Abstract
本申请公开了一种图像处理方法、智能终端及存储介质,该图像处理方法包括以下步骤:S1:获取或确定图像块的目标预测模式;S2:根据所述目标预测模式确定所述图像块的预测结果。通过本申请实施例,可以灵活地使用目标预测模式,保证预测结果的准确度。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、智能终端及存储介质。
背景技术
随着视频编解码标准的不断更迭,视频编解码技术越来越成熟。在视频编码或解码中,对图像块进行预测是一项十分核心的技术。通常,在编码端,通过预测可以得到实际像素值与预测像素值的差值,该值为预测残差进行编码,以高效地进行传输;在解码端,解码端可以解码得到预测残差,并采用和编码端相同的预测方式得到相同的预测值,进而基于预测残差和预测值重建图像。
在构思及实现本申请过程中,发明人发现至少存在如下问题:一些预测模式的灵活度不高,预测处理方式受限。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种图像处理方法、智能终端及存储介质,可以灵活地使用目标预测模式,保证预测结果的准确性。
为解决上述技术问题,本申请提供一种图像处理方法,可应用于智能终端,包括以下步骤:
S1:获取或确定图像块的目标预测模式;
S2:根据所述目标预测模式确定所述图像块的预测结果。
可选地,所述目标预测模式包括基于模板匹配的几何划分模式,所述图像块在所述基于模板匹配的几何划分模式下被划分为第一分区和第二分区。
可选地,包括以下至少一项:所述基于模板匹配的几何划分模式的类型包括:基于模板匹配的帧内预测和/或基于模板匹配的帧间预测;所述第一分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测;所述第二分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测。
在一个实施例中,所述目标预测模式包括基于模板匹配的几何划分模式,所述S2步骤,包括:通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板;根据所述相似模板确定所述图像块的预测结果。
在一个实施例中,所述通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板,包括:根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板。
可选地,所述预定搜索范围基于参考块对应的相似模板和/或参考块的预测候选块的位置确定。
在一个实施例中,所述方法还包括:根据所述参考块和所述图像块之间的位置关系、所述参考块对应的相似模板的位置,确定所述预定搜索范围;和/或,根据所述参考块和所述图像块之间的位置关系、所述参考块的预测候选块的位置,确定所述预定搜索范围。
在一个实施例中,所述根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板,包括:若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则从所述图像块所在的图像中确定当前模板对应的至少一个相似模板;和/或,若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板。
在一个实施例中,所述从所述图像块所在的图像中确定当前模板对应的至少一个相似模板,包括:按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板;根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
在一个实施例中,所述从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板,包括:从所述图像块所在的图像对应的第一参考图像中确定当前模板对应的第一相似模板,和/或,从所述图像块所在的图像对应的第二参考图像中确定当前模板对应的第二相似模板,将所述第一相似模板和/或所述第二相似模板确定为所述当前模板对应的至少一个相似模板;和/或,根据至少一个初始运动矢量从所述图像块所在的图像对应的参考图像中确定至少一个初始相似模板,在包括任一个所述初始相似模板的预定范围内搜索与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
可选地,包括以下至少一项:
所述按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板,包括:在对在所述图像块所在的图像中的重建图像区域进行搜索的过程中,当出现预设数量个满足匹配条件的目标区域,则将各个满足匹配条件的目标区域确定为与当前模板匹配的相似模板;和/或,当所述重建图像区域搜索完毕之后,将满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板;
所述根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板,包括:确定所匹配的相似模板与所述当前模板之间的模板代价,将满足预设模板条件的模板代价对应的所匹配的相似模板确定为所述当前模板对应的至少一个相似模板。
在一个实施例中,所述根据所述相似模板确定所述图像块的预测结果,包括:根据对应分区的至少一个相似模板确定该分区的至少一个预测候选块;根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果。
在一个实施例中,所述方法还包括:获取所述图像块的初始当前模板;将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板。
在一个实施例中,S1步骤,包括以下至少一项:通过第一标志确定所述图像块的目标预测模式;将最小率失真代价对应的预测模式确定为所述图像块的目标预测模式。
可选地,若所述目标预测模式是基于模板匹配的几何划分模式,则在确定所述预测结果的过程中,利用第一标志指示所述图像块使用所述基于模板匹配的几何划分模式,以及利用至少一第二标志指示所述图像块的第一分区和/或第二分区各自使用的预测处理。
在一个实施例中,所述S2步骤,包括:根据所述目标预测模式,确定所述图像块的至少一个分区中的每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
在一个实施例中,若所述目标预测模式为基于模板匹配的几何划分模式,则所述S2步骤包括:确定所述图像块的初始当前模板,以用于通过所述初始当前模板确定所述图像块的预测结果;可选地,所述初始当前模板包括分区模板区域和非分区模板区域。
可选地,分区模板区域包括第一分区对应的第一当前模板以及第二分区对应的第二当前模板。
可选地,初始当前模板包括与所述图像块的上边界相邻的区域、与所述图像块的左边界相邻的区域、与所述图像块左上方的相邻区域中的至少一个区域;所述初始当前模板包括所述第一分区对应的当前模板和所述第二分区对应的当前模板。
可选地,所述第一分区对应的当前模板的横坐标范围与所述第二分区对应的当前模板的横坐标范围不同;或者,所述第一分区对应的当前模板的纵坐标范围与所述第二分区对应的当前模板的纵坐标范围不同;或者,所述第一分区对应的当前模板的长和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的长不相等;或者,所述第一分区对应的当前模板的宽和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的宽不相等。
可选地,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界,所述至少一边界位于所述图像块使用的分割线所在的直线上;或者,
所述初始当前模板包括所述图像块的第一分区对应的当前模板、所述图像块的第二分区对应的当前模板、以及非分区模板区域,其中所述图像块使用的分割线所在的直线经过所述非分区模板区域;或者所述非分区模板区域与所述图像块的第一分区对应的当前模板与所述图像块的第二分区对应的当前模板中的至少一个相邻。
可选地,所述当前模板的类型包括斜边模板和/或非斜边模板,所述至少一个相似模板的类型和所述当前模板的类型相同;当所述当前模板的类型为所述斜边模板时,所述斜边模板的斜边位置和斜率根据划分所述图像块的分割线设置;当所述当前模板的类型为所述非斜边模板时,所述非斜边模板的位置根据所述分割线所在直线经过所述初始当前模板的区域进行设置。
本申请还提供了一种装置,包括:
获取模块,用于获取或确定图像块的目标预测模式;
确定模块,用于根据所述目标预测模式确定所述图像块的预测结果。
本申请还提供一种智能终端,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。
本申请还提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。
如上,本申请的图像处理方法,可应用于智能终端,包括步骤:S1:获取或确定图像块的目标预测模式;S2:根据所述目标预测模式确定所述图像块的预测结果。图像块所使用的目标预测模式为任一种符合条件的预测模式,该预测模式可以是从至少一种预测模式中确定的,选择灵活性高;目标预测模式可以对应一种或多种预测处理方式,通过目标预测模式可对图像块进行灵活地预测,保证图像块的预测结果的准确性。可见,采用本方案可以实现灵活使用地目标预测模式,保证预测结果的准确性的功能,解决预测模式不灵活,预测处理方式受限的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络系统架构图;
图3a是根据第一实施例示出的图像处理方法的流程示意图;
图3b是根据第一实施例示出的一种分割线划分图像块的效果示意图;
图4a是根据第二实施例示出的图像处理方法的流程示意图;
图4b是根据第二实施例示出的一种角度划分的示意图;
图4c是根据第二实施例示出的一种在角度φi下对应的多种偏移的示意图;
图4d是根据第二实施例示出的一种划分模式的示意图;
图5a是根据第二实施例示出的一种初始当前模板的示意图;
图5b是根据第二实施例示出的一种划分初始当前模板的效果示意图;
图5c是根据第二实施例示出的另一种划分初始当前模板的效果示意图;
图6是根据第三实施例示出的一种图像处理方法的流程示意图;
图7a是根据第三实施例示出的图像块所在图像中的重建图像区域;
图7b是根据第三实施例示出的一种基于模板匹配的帧内预测的示意图;
图7c是根据第三实施例示出的一种基于模板匹配的帧间预测的示意图;
图7d是根据第三实施例示出的一种运动矢量候选列表的相邻块位置示意图;
图7e是根据第三实施例示出的一种运动矢量候选列表的示意图;
图7f是根据第三实施例示出的另一种基于模板匹配的帧间预测的示意图;
图7g是根据第三实施例示出的一种各个分区采用基于模板匹配的帧间预测的示意图;
图7h是根据第三实施例示出的采用的基于模板匹配的几何划分模式的类型不同时的预测示意图;
图8是根据第四实施例示出的一种图像处理方法的流程示意图;
图9是本申请实施例示出的一种图像处理装置的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S301、S302等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S302后执行S301等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing- Long Term Evolution,频分双工长期演进)、TDD-LTE (Time DivisionDuplexing- Long Term Evolution,分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201,E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述移动终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031, HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033,SGW(Serving Gate Way,服务网关)2034,PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统(如5G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络系统,提出本申请各个实施例。
第一实施例
请参阅图3a,图3a是根据第一实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。
S301,获取或确定图像块的目标预测模式。
步骤S301中的图像块是指输入视频图像(即视频帧)中当前正在编码的图像块,也可称为当前块,或者当前图像块,或者当前编码块。图像块可以是输入视频图像中的一个编码树单元(Coding Tree Units,CTU),或者是一个编码单元(Coding Unit,CU),或者是变换单元(Transform Unit,TU)等等。对此不做限制。图像块可以是方形块(即图像块的尺寸为正方形),也可以非方形块。非方形块可以是矩形尺寸的图像块,包括水平块(宽度大于高度)和/或垂直块(高度大于宽度),举例来说,当图像块为CU时,CU可以是方形块或者是非方形块。在此不做限制。本申请中,在不做特别说明之下,图像块和当前块是等同的。
在视频编码或解码的过程中,通常可以使用一种预测模式来进行指示具体的预测处理方式。广义上看,对图像块的预测处理一般包括帧内预测以及帧间预测,但是在此基础上,还可以通过多种变形组合构成其他新的预测模式,以应对不同的视频编解码场景。举例来说,为了实现更加准确的预测,针对图像中运动物体的边界部分,采用几何划分模式(Geometric Partition Mode ,简称GPM模式),该几何划分模式通过使用贴合物体边界的分割线将图像块划分为不同分区来进行帧间预测。
目标预测模式可以是图像块所支持的至少一种预测模式中的任一种预测模式。该预测模式用于对图像块进行预测以得到预测结果。在一种实现方式中,目标预测模式包括基于模板匹配的几何划分模式。基于模板匹配的几何划分模式是一种新型的几何划分模式,也可称为具有模板匹配(Template Matching,TM)的GPM模式。其不仅具备几何划分模式的功能,即通过分割线将图像块划分为不同图像区域,还可以结合模板进行预测。模板匹配是指通过使用模板确定的预测候选块来对图像块进行预测,模板是指与图像块关联的区域,例如与图像块左边界相邻的像素点所在的已编码区域。基于模板匹配的几何划分模式将模板匹配应用于GPM模式,可以对GPM模式下的图像块的不同图像区域进行相应预测处理,从而得到整个图像块的预测结果。
可选地,图像块在所述基于模板匹配的几何划分模式下被划分为第一分区和第二分区。由于基于模板匹配的几何划分模式本质上也是一种几何划分模式,依据几何划分模式的原理,图像块使用的预测模式为该基于模板匹配的几何划分模式时,可以由GPM模式下的分割线划分图像块以得到不同图像区域,此处图像区域包括第一分区和第二分区。第一分区和第二分区是图像块中的矩形或者是非矩形区域,且第一分区和第二分区是相对而言的。第一分区和第二分区可以是关于图像块的矩形、三角形、或梯形区域。举例来说,如图3b中的(1)所示,使用水平方向的分割线划分图像块,在水平方向的分割线上方的图像区域可以称为第一分区,在水平方向的分割线下方的图像区域可以称为第二分区。反之,也可以将在水平方向的分割线下方的图像区域称为第一分区,在水平方向的分割线上方的图像区域称为第二分区,且两个分区都是矩形区域。如图3b中的(2)所示,分割线划分的图像块得到的两个分区中,一个为三角形区域,另一个为非矩形区域。
基于模板匹配的几何划分模式可以包括至少一种类型,每种类型都可指示在几何划分模式下利用模板匹配的规则进行预测处理的逻辑。对于图像块至少一个分区(如第一分区和/或第二分区)中的各个分区,每个分区均可采用基于模板匹配的几何划分模式,但具体的类型可自由选择,预测灵活性高。可选地,所述第一分区和所述第二分区采用的基于模板匹配的几何划分模式的类型相同或者不同。
若图像块中各个分区采用的基于模板匹配的几何划分模式的类型相同,则各个分区使用相同预测处理的逻辑确定图像块的预测结果;若图像块中各个分区采用的基于模板匹配的几何划分模式的类型不同,则各个分区使用不同的预测处理的逻辑确定图像块的预测结果。可见,对于基于模板匹配的几何划分模式提供至少一种类型,并且不同分区可使用的类型支持灵活地进行组合,进而可增加具有TM的GPM模式预测的灵活性。
可选地,基于模板匹配的几何划分模式的类型包括:基于模板匹配的帧内预测和/或基于模板匹配的帧间预测。基于模板匹配的帧内预测是利用帧内图像块的相关性来进行预测的方式,基于模板匹配的帧间预测是利用帧间图像的相关性来进行预测的方式。基于模板匹配的帧内预测可在几何划分模式下,在当前编码的图像块所在的已编码图像中查找与当前编码的图像块的模板所匹配的模板进行预测;基于模板匹配的帧间预测可在几何划分模式下,在当前编码的图像块所对应的参考帧中查找与当前编码的图像块的模板所匹配的模板进行预测,上述图像块的模板可以是图像块中任一分区对应的模板。基于模板匹配的帧间预测具体是基于模板匹配的帧间预测的几何划分模式,基于模板匹配的帧内预测具体是基于模板匹配的帧内预测的几何划分模式。通过提供这两种类型,基于模板匹配的GPM模式不仅支持帧间预测,还支持帧内预测,同一预测模式对应的预测处理方式丰富多样,灵活度高。
可选地,对于图像块中由基于模板匹配的几何划分模式所划分的各个分区,具体可以采用以上任一种基于模板匹配的几何划分模式的类型,即:所述第一分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测;所述第二分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测。第一分区和第二分区采用的基于模板匹配的几何划分模式的类型相同,包括:①第一分区和第二分区均采用基于模板匹配的帧内预测,②第一分区和第二分区均采用基于模板匹配的帧间预测。第一分区和第二分区采用的基于模板匹配的几何划分模式的类型不同,包括:①第一分区采用基于模板匹配的帧间预测,第二分区采用基于模板匹配的帧内预测;②第一分区采用基于模板匹配的帧内预测,第二分区采用基于模板匹配的帧间预测。对于整个图像块来说,当采用的基于模板匹配的几何划分模式的类型不同时,基于模板匹配的GPM模式具体是一种基于模板匹配的帧内预测和帧间预测相结合的GPM模式,当采用的基于模板匹配的几何划分模式的类型相同时,基于模板匹配的GPM模式具体是一种基于模板匹配的帧内预测的GPM模式,或者是一种基于模板匹配的帧间预测的GPM模式。可见,不同分区支持至少一种基于模板匹配的几何划分模式的类型,同一图像块在相同预测模式下可使用至少一种预测处理方式(包括帧间预测和/或帧内预测)进行预测,这样,图像块对基于模板匹配的几何划分模式的使用可以更加灵活和多样,从而增加具有模板匹配的GPM模式预测的灵活性。
对于图像块的目标预测模式的确定方式或获取方式可以有多种,例如根据各个预测模式应用于图像块的率失真代价确定,又例如,基于与当前块相邻的图像块所使用的预测模式确定等等。对于目标预测模式的获取或确定方式,可参见下述实施例,在此先不做详述。
S302,根据所述目标预测模式确定所述图像块的预测结果。
目标预测模式可指示对图像块进行预测处理的方式,例如,目标预测模式为基于模板匹配的几何划分模式,对于图像块的预测处理包括对图像块的分割处理以及模板匹配处理。基于目标预测模式对图像块进行预测可得到预测结果。举例来说,目标预测模式为基于模板匹配的几何划分模式,具体为基于模板匹配的帧间预测的几何划分模式,此预测模式下,可从图像块所在图像所对应的参考帧中查找与当前编码的图像块的模板所匹配的模板,基于所匹配的模板确定预测候选块,进而基于预测候选块确定出预测结果。
可选地,可根据目标预测模式和预设策略确定图像块的预测结果。预设策略用于指示在目标预测模式下对图像块的处理策略,该预设策略可与目标预测模式相匹配。例如,目标预测模式为基于模板匹配的几何划分模式,该预设策略可以是指示模板匹配的策略,具体用于查找出与图像块的模板所匹配的模板。
本申请实施例所提供的图像处理方法,可确定或获取图像块的目标预测模式,目标预测模式可从至少一种预测模式中选择,选择范围广且灵活性高。由于目标预测模式可指示对图像块进行预测处理的至少一种方式,通过目标预测模式可灵活地使用相应的预测处理方式对当前编码的图像块进行预测,保证预测结果的准确性。在此基础上,当目标预测模式包括基于模板匹配的几何划分模式时,由于基于模板匹配的几何划分模式的类型不仅包括基于模板匹配的帧间预测,还包括基于模板匹配的帧内预测,而图像块中不同分区可以采用相同或不同类型的基于模板匹配的几何划分模式,图像块可以组合至少一种类型的基于模板匹配的几何划分模式,使用不同的预测处理方式进行预测,从而使得图像块使用基于模板匹配的几何划分模式更加灵活。
第二实施例
请参阅图4a,图4a是根据第二实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。
S401,获取或确定图像块的目标预测模式。
本申请实施例可以应用于编码器和/或解码器,对于编码端和解码端,S401的处理方式可以相同或不同。在一个实施例中,S401包括:通过第一标志确定所述图像块的目标预测模式。第一标志可以是传输于比特流中的标志,也可以是传输于CTU或者CU中的标志。可选地,所述目标预测模式包括基于模板匹配的几何划分模式,所述第一标志用于指示所述图像块是否使用基于模板匹配的几何划分模式(或者说,对于所述图像块是否将模板应用于几何划分模式)。举例来说,第一标志为1,表示图像块使用基于模板匹配的几何划分模式,和/或,第二标志为0,表示图像块不使用基于模板匹配的几何划分模式,而是使用其他预测模式。此方式可应用于解码端或编码端。
在一种实现方式中,若所述第一标志指示所述图像块使用基于目标匹配的划分模式,则利用至少一第二标志指示所述图像块的第一分区和第二分区是否使用基于模板匹配的帧内预测和基于模板匹配的帧间预测中的至少一个。第二标志可以是一编码单元级的标志,第二标志用于指示图像块各分区使用基于模板匹配的帧内预测以及基于模板匹配的帧间预测中的至少一个。例如第二标志指示图像块中第一分区使用基于模板匹配的帧内预测,以及第二分区使用基于模板匹配的帧间预测。可以使用一个或多个第二标志来指示以上内容,在一种方式中,第二标志以二进制表示,具体使用两位“1”和“0”的排列组合来表示,例如00、01,第一位表示图像块中一分区(例如第一分区)使用基于模板匹配的帧内预测或基于模板匹配的帧间预测,第二位表示图像块另一分区(例如第二分区))使用基于模板匹配的帧内预测或基于模板匹配的帧间预测,1代表使用基于模板匹配的帧内预测,和/或,0代表使用基于模板匹配的帧间预测。例如第二标志为00表示第一分区和第二分区均使用基于模板匹配的帧间预测,此方式下可通过一个第二标志指示图像块中各个分区采用的基于模板匹配的几何划分模式的类型。在另一种方式中,第二标志也可以通过其他字符表示,例如数字和字母的组合,数字1代表第一分区的基于模板匹配的几何划分模式的类型,和/或,0代表第二分区的基于模板匹配的几何划分模式的类型,字母a表示使用基于模板匹配的帧间预测,字母b表示使用基于模板匹配的帧内预测。例如1-a可用于表示第一分区采用基于模板匹配的帧间预测,此方式下可通过多个第二标志指示图像块中各个分区采用的基于模板匹配的几何划分模式的类型。可以理解的是,第二标志的表示并不局限于上述所介绍的方式。可见,通过第一标志和第二标志结合的指示,可以快速便捷地确定出图像块所使用的预测模式,十分简单方便。
在一个实施例中,若所述目标预测模式是基于模板匹配的几何划分模式,则在确定所述预测结果的过程中,利用第一标志指示所述图像块使用所述基于模板匹配的几何划分模式,以及利用至少一第二标志指示所述图像块的第一分区和/或第二分区各自使用的预测处理。
第一分区和/或第二分区使用的预测处理包括:基于模板匹配的帧内预测和基于模板匹配的帧间预测。至少一第二标志指示所述图像块的第一分区和/或第二分区是否使用基于模板匹配的帧内预测和基于模板匹配的帧间预测中的至少一个。此处第一标志和第二标志可以同前述介绍的内容,在此不做赘述。在确定预测结果的过程中,通过各种标志的指示可以直接快速地确定出基于模板匹配的GPM模式以及此种预测模式下对应分区的预测处理是何种。应用于编码端或解码端时是一种十分高效的方式,可以快速地确定出预测结果,提高编码或解码效率。
在另一个实施例中,S401包括:将最小率失真代价对应的预测模式确定为所述图像块的目标预测模式。此方式可应用于编码端,首先可确定至少一种预测模式中每种预测模式应用于图像块的率失真代价,再通过各种预测模式的率失真代价的比较,确定出最小率失真代价对应的预测模式,并将其作为图像块的目标预测模式。
编码器可确定当前块的颜色分量(包括,亮度分量和/或色度分量);基于当前块的参数,利用至少一种预测模式(如帧内预测和/或帧间预测)分别对颜色分量进行预测编码,计算每一种预测模式对应的率失真代价,以从至少一种预测模式分别对应的率失真代价中确定最小率失真代价。最后,将最小率失真代价对应的预测模式确定为当前块的目标预测模式。当最小率失真代价对应的预测模式为基于模板匹配的GPM模式时,则将基于模板匹配的GPM模式确定为当前块的目标预测模式。需要说明的是,在计算基于模板匹配的GPM模式的率失真代价时,可确定每种GMP模式的分割线类型下的当前块各分区对应的模板。在此条件下,进一步分别在各个分区采用基于模板匹配的帧内预测和基于模板匹配的帧间预测的情况下,可确定当前块的预测结果对应的率失真代价,以用于同其他预测模式下当前块的预测结果对应的率失真代价进行比较,从而确定出当前块各个分区中基于模板匹配的几何划分模式的类型。
在一种实现方式中,由于基于模板匹配的GPM模式是一种将模板应用于GPM模式的预测模式,因此,可以先确定出GPM模式的分割线类型。具体包括如下内容:通过遍历GPM模式对应的64种划分模型,确定出率失真代价最小的划分模式。之后,将出率失真代价最小的划分模式作为当前块的目标划分模式。示例性地,64种划分模型如表1所示。表1为GPM分割索引gpm_partition_idx、角度索引angleIdx和距离索引distanceIdx的映射表。最后,确定出率失真代价最小的划分模式包括确定该划分模式(即,当前块的目标划分模式)对应的目标GPM分割索引gpm_partition_idxT、目标角度索引angleIdxT和目标距离索引distanceIdxT。
表1、64种划分模型
gpm_partition_idx | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
angleIdx | 0 | 0 | 2 | 2 | 2 | 2 | 3 | 3 | 3 | 3 | 4 | 4 | 4 | 4 | 5 | 5 |
distanceIdx | 1 | 3 | 0 | 1 | 2 | 3 | 0 | 1 | 2 | 3 | 0 | 1 | 2 | 3 | 0 | 1 |
gpm_partition_idx | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 |
angleIdx | 5 | 5 | 8 | 8 | 11 | 11 | 11 | 11 | 12 | 12 | 12 | 12 | 13 | 13 | 13 | 13 |
distanceIdx | 2 | 3 | 1 | 3 | 0 | 1 | 2 | 3 | 0 | 1 | 2 | 3 | 0 | 1 | 2 | 3 |
gpm_partition_idx | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 |
angleIdx | 14 | 14 | 14 | 14 | 16 | 16 | 18 | 18 | 18 | 19 | 19 | 19 | 20 | 20 | 20 | 21 |
distanceIdx | 0 | 1 | 2 | 3 | 1 | 3 | 1 | 2 | 3 | 1 | 2 | 3 | 1 | 2 | 3 | 1 |
gpm_partition_idx | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 |
angleIdx | 21 | 21 | 24 | 24 | 27 | 27 | 27 | 28 | 28 | 28 | 29 | 29 | 29 | 30 | 30 | 30 |
distanceIdx | 2 | 3 | 1 | 3 | 1 | 2 | 3 | 1 | 2 | 3 | 1 | 2 | 3 | 1 | 2 | 3 |
需要说明的是,角度索引angleIdx取不同值时,对应于如图4b所示的不同角度φi,此处i为1~24。距离索引distanceIdx取不同值时,对应于如图4c中的ρj,此处j为0~3。如表1中的角度索引angleIdx以及距离索引distanceIdx的不同取值的组合分别构成不同的划分方式。具体可如图4d所示。
在一种可行的实现方式中,可以利用一查找表来表示GPM分割索引gpm_partition_idx与角度索引angleIdx,距离索引distanceIdx之间的关系。例如,如下表2所示。
表2、查找表
gpm_partition_idx | 0 | 1 | 2 | 3 | 4 | ... | ... | 59 | 60 | 61 | 62 | 63 |
angleIdx | a1 | a2 | a3 | a4 | a5 | ... | ... | a59 | a60 | a61 | a62 | a63 |
distanceIdx | ρ0 | ρ1 | ρ2 | ρ3 | ρ0 | ... | ... | ρ1 | ρ2 | ρ3 | ρ0 | ρ1 |
通过查找表可基于所记录的某一种索引(例如角度索引)快捷地查找到对应的数据,从而高效地确定出GPM模式的分割线类型。
在一个实施例中,角度索引angleIdx对应于角度的正弦值,距离索引distanceIdx对应于ρj。在一种实施方式中,可以设置关于angleIdx与cos(φ)的映射表,如表3所示。在另一实施方式中,还可以设置关于angleIdx的中间变量与cos(φ)的映射表。
表3、角度参数映射表
angleIdx | 0 | 1 | 2 | ... | ... | n |
cos(φ) | a1 | a2 | a3 | ... | ... | an |
通过角度映射表的设置,可以着重关注角度参数的变化,通过角度参数的更新来更新角度索引,进而更新查找表中的距离索引和/或角度索引。
在一个实施例中,编码器可将目标预测模式对应的预测模式参数封装至比特流中进行传输。例如目标预测模式为基于模板匹配的GPM模式,可将基于模板匹配的GPM模式对应的基于模板匹配的GPM参数二值化后,打包至比特流中进行传输。此处基于模板匹配的GPM参数是一种预测模式参数。
当所述目标预测模式为基于模板匹配的几何划分模式时,所述预测模式参数包括以下至少一种:用于指示是否使用基于模板匹配的几何划分模式的信息(即,预测模式信息)、用于指示基于模板匹配的几何划分模式的类型的预测模式类型信息以及用于指示所述划分模式的分割线类型的划分模式类型信息。预测模式参数为基于模板匹配的GPM参数,通过该预测模式参数所包括的信息,基于模板匹配的GPM参数可用于指示图像块是否采用基于模板匹配的GPM模式、GPM模式的分割线类型、基于模板匹配的GPM模式类型中的至少一个。
在解码端,可以通过解析接收到的比特流获取预测模式参数。在一个实施例中,若预测模式参数包括指示当前块(即当前编码的图像块)是否采用基于模板匹配的GPM模式的参数,具体是指示当前块采用基于模板匹配的GPM模式的参数,则确定当前块的GPM参数。当前块的GPM参数包括指示GPM模式的分割线类型的信息。在一实施例中,GPM模式的分割线类型可以由关于GPM参数的GPM分割索引gpm_partition_idx来表示。在此实施例中,可以通过GPM分割索引gpm_partition_idx确定对应的角度索引angleIdx,距离索引distanceIdx(也称为步长索引)。可选地,GPM参数还可以包括其他参数。例如,GPM参数还可以包括第一分区使用的预测类型的标记或索引(即,第一分区对应的基于模板匹配的GPM模式的类型),第二分区使用的预测类型的标记或索引(即,第二分区对应的基于模板匹配的GPM模式的类型)。可选地,GPM参数还可以包括GPM模式下的运动矢量索引。例如,gpm_idx0[x0][y0]和gpm_idx1[x0][y0]。gpm_idx0[x0][y0],表示第一运动矢量在合并候选列表中的位置,gpm_idx1[x0][y0],表示第二运动矢量在合并候选列表中的位置。第一运动矢量和第二运动矢量可以是第一分区的运动矢量,或者第一运动矢量和第二运动矢量可以是第二分区的运动矢量。举例来说,当第一分区使用的预测类型的标记或索引指示第一分区采用基于模板匹配的帧间预测模式,第二分区使用的预测类型的标记或索引指示第二分区采用基于模板匹配的帧内预测模式时,第一运动矢量和第二运动矢量是第一分区的运动矢量。当第一分区使用的预测类型的标记或索引指示第一分区采用基于模板匹配的帧内预测模式,第二分区使用的预测类型的标记或索引指示第二分区采用基于模板匹配的帧间预测模式时,第一运动矢量和第二运动矢量是第二分区的运动矢量。可见,解码端通过解析预测模式参数可以直接获取和编码端相同的预测处理方式,从而实现快捷地解码处理。
在解码端基于模板匹配的GPM模式的预测方式可以包括以下步骤:(1)自比特流中获取或确定预测模式信息,该预测模式信息用于指示图像块是否采用基于模板匹配的GPM模式。(2)若确定采用基于模板匹配的GPM模式,则进一步确定GPM模式的分割线类型、当前块的模板、以及基于模板匹配的GPM预测模式类型。在一种实现方式中,确定基于模板匹配的GPM模式类型包括确定是否使用基于模板匹配的帧内预测模式,和/或确定是否使用基于模板匹配的帧间预测模式,可以自比特流中获取或确定基于模板匹配的GPM预测模式类型信息,该基于模板匹配的GPM预测模式类型信息用于指示图像块是否使用基于模板匹配的帧内预测模式,和/或是否使用基于模板匹配的帧间预测模式;确定图像块的模板包括确定模板的大小、形状、以及各模板对应的分区。模板的确定和分割线的类型相关联。例如,可以依据分割线的位置确定模板的位置,形状,以及对应的分区。之后可以按照S402和S403介绍的内容确定图像块的预测结果。
由于GPM模式的分割线类型包含至少一种,模板也有至少一种设计样式,具体的预测处理还包括帧内预测和帧间预测,通过组合这些内容可以构建基于模板匹配的GPM模式,对基于模板匹配的GPM模式可以划分出许多更加细致的类型,例如以64种分割线类型、2种预测模式为准可以组合出128种类型。由此,基于模板匹配的GPM模式极大地扩展了预测模式的种类,从而使得图像块中各分区使用的预测模式选择性更广,有助于增加基于模板匹配的几何划分模式的灵活性。
在一个实施例中,目标预测模式包括基于模板匹配的几何划分模式。在此种预测模式下,根据目标预测模式确定图像块的预测结果的实现方式可以包括以下S402和S403中所描述的内容。
在一个可行的实施例中,若所述目标预测模式为基于模板匹配的几何划分模式,根据目标预测模式确定图像块的预测结果的实现方式还可以是:确定所述图像块的初始当前模板,以用于通过所述初始当前模板确定所述图像块的预测结果。针对此方式下的具体实现内容,也可以采用S402~S403所描述方案实现。
S402,通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板。
图像块在使用基于模板匹配的几何划分模式时,可以基于所述模板匹配的几何划分模式包括的分割线类型所对应的分割线,对图像块进行划分得到多个图像区域,并将其作为图像块的各个分区。图像块中每个分区均具备相应的模板,在此称为当前模板,该当前模板包括与图像块对应分区相邻的已编码像素点所在的区域。当前模板的形状可以是矩形,也可以是其他形状,例如梯形。此处预设策略可用于指示其他模板与图像块的当前模板进行匹配的准则,基于该准则可查找出与图像块的当前模板所匹配的相似模板。
在一个可行的实施例中,执行S402之前,可确定图像块中各个分区对应的当前模板。图像块的各个分区包括第一分区和第二分区,在一种实现方式中,各个分区对应的当前模板的确定方式可以为:获取图像块的初始当前模板;基于分割线对所述初始当前模板进行划分,得到图像块的第一分区对应的当前模板以及图像块的第二分区对应的当前模板。
初始当前模板是对于当前编码的图像块而言的,可选地,初始当前模板包括与图像块的上边界相邻的区域、与图像块的左边界相邻的区域、与图像块左上方的相邻区域中的至少一个区域。在一种实现方式中,初始当前模板可以包括图像块的上边界相邻的区域、与图像块的左边界相邻的区域、与图像块左上方的相邻区域;在另一种实现方式中,初始当前模板可以包括与图像块的上边界相邻的区域、与图像块的左边界相邻的区域。示例性地,如图5a所示的初始当前模板的示意图,包括以上两种实现方式下的初始当前模板。可以理解的是,以上仅为示例内容,还可以包括其他区域的组合方式,例如初始当前模板包括与图像块的上边界相邻的区域以及与图像块左上方的相邻区域。对于初始当前模板的区域的其他组合方式,在此不一一列举出。
在一种实现方式中,基于分割线对所述初始当前模板进行划分,得到图像块的第一分区对应的当前模板以及图像块的第二分区对应的当前模板,可以包括以下内容:通过所述图像块使用的分割线所在的直线,将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和所述图像块的第二分区对应的当前模板。可选地,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界位于所述图像块使用的分割线所在的直线上。第一分区对应的当前模板和第二分区对应的当前模板的至少一边界可以是两个分区各自对应的当前模板的相邻边。
在一种方式下,按照GPM模式下的分割线对初始当前模板进行划分,可以得到分区模板区域,该分区模板区域包括各个分区对应的模板区域,即包括第一分区对应的当前模板(可称为第一当前模板)和第二分区对应的当前模板(可称为第二当前模板)。初始当前模板与各分区的当前模板之间的关系,可以为:初始当前模板包括第一分区对应的当前模板、第二分区对应的当前模板。此时,第一分区对应的当前模板和第二分区对应的当前模板是相邻的,并且相邻边与分割线所在的直线重合。
示例性地,请参见图5b所示的划分初始当前模板的效果示意图。如图5b中的(1)和(2)所示,在当前块中包括第一分区和第二分区,第一分区对应的当前模板为当前模板A,第二分区对应的当前模板为当前模板B,当前模板A和当前模板B相邻,且相邻边位于分割线所在的直线上。图5b中的(1)和(2)不同之处在于初始当前模板所包含的区域不同。与图5a中的示例(1)相比,图5b中的示例(2)中的第一分区的当前模板A和第二分区的当前模板B均不包含与图像块左上方的相邻区域。可选地,图5b中的示例(1)的初始当前模板包含与图像块的上边界相邻的区域、与图像块的左边界相邻的区域,以及图像块左上方的相邻区域,而图5b中的(2)的初始当前模板仅包含与图像块的上边界相邻的区域、与图像块的左边界相邻的区域。因此,对于不同的初始当前模板,第一分区的当前模板A和第二分区的当前模板B包括的区域不同。
此外,对于不同的GPM分割模式,第一分区的当前模板A和第二分区的当前模板B包括的区域也不同。如图5b中的示例(1)所示,第一分区的当前模板A包括与图像块的上边界相邻的区域、与图像块的左边界相邻的区域、图像块左上方的相邻区域,并且第二分区的当前模板B包括与图像块的上边界相邻的区域。需要说明的是,图5b中的示例(1)仅用于说明本发明的基本思想。第一分区的当前模板A和第二分区的当前模板B包括的区域不是固定不变的,而会根据不同的GPM分割模式(即,对应不同的分割线),第一分区的当前模板A和第二分区的当前模板B包括的区域不同。例如,若GPM分割模式对应于分割线位于右上45度对角线上,则在图5b中的示例(1)中第一分区的当前模板A包括与图像块的左边界相邻的区域和一部分图像块左上方的相邻区域,并且第二分区的当前模板B包括与图像块的上边界相邻的区域和一部分图像块左上方的相邻区域,在图5b的示例(2)中第一分区的当前模板A仅包括与图像块的左边界相邻的区域,并且第二分区的当前模板B仅包括与图像块的上边界相邻的区域。在其他实施方式中,对于图5b的示例(1),根据不同的GPM分割模式,当前模块A和当前模板B可以包括至少一部分当前块正上方的相邻区域、至少一部分当前块左侧的相邻区域、和至少一部分当前块左上方的相邻区域中的至少一个或其组合;对于图5b的示例(2),根据不同的GPM分割模式,当前模块A和当前模板B可以包括至少一部分当前块正上方的相邻区域、至少一部分当前块左侧的相邻区域中的至少一个或其组合。在一实施例中,当前模块A和当前模板B中间的一个包括至少一部分当前块正上方的相邻区域和至少一部分当前块左侧的相邻区域,当前模块A和当前模板B中间的另一个仅包括至少一部分当前块正上方的相邻区域或至少一部分当前块左侧的相邻区域。可选地,当前模块A和当前模板B中间的另一个仅包括一部分当前块正上方的相邻区域或一部分当前块左侧的相邻区域,或者当前模块A和当前模板B中间的另一个仅包括整个当前块正上方的相邻区域或整个当前块左侧的相邻区域。
在另一种方式下,按照GPM模式下的分割线对初始当前模板进行划分,可以得到分区模板区域和非分区模板区域。非分区模板区域是不作为任一个分区的模板区域,属于不可用区域,图像块所使用的分割线所在的直线经过该非分区模板区域,并且非分区模板区域和分区模板区域是相邻的。初始当前模板与各分区的当前模板之间的关系可以为:初始当前模板包括所述图像块的第一分区对应的当前模板、所述图像块的第二分区对应的当前模板、以及非分区模板区域。可选地,在初始当前模板中部分模板区域并不能作为分区对应的当前模板。此时,第一分区的当前模板和第二分区对应的当前模板是不相邻的。
示例性地,请参见图5c所示另一种划分初始当前模板的效果示意图,如图5b中的(1)和(2)所示,在当前块中包括第一分区和第二分区,第一分区对应的当前模板为当前模板A,第二分区对应的当前模板为当前模板B,当前模板A和当前模板B不相邻,当前模板A和当前模板B的坐标范围(例如横坐标范围)不重合,当前模板A和当前模板B中间有间隔区域。由于分割线所在的直线经过该间隔区域,因此该间隔区域中可能包含物体边缘,为不可用区域。当前模板A和当前模板B均与不可用区域相邻,该不可用区域即非分区模板。同图5b,图5c中示例(1)和示例(2)中的初始当前模板所包含的区域不同。即,图5c中示例(1)包含左上方相邻区域,而图5c中示例(2)不包含左上方相邻区域。具体可对照图5b介绍的内容,在此不做赘述。
可以理解的是,如前述图5b、图5c等示出的图像块中各分区所对应的当前模板仅是示例性的内容,由于几何划分模式包括的分割线类型的不同,该分割线的类型指示了分割线对图像块划分的分割方式,各个分区的当前模板又依据分割线的类型而确定,并且初始当前模板所包含区域对当前模板的最终确定也有影响,因此,各个分区分别对应的当前模板有非常多的种类,在此不一一示出,但均属于本申请所保护的范围。
可见,上述方式中都不直接将初始当前模板作为分区的模板,而对各个分区分别设置分区对应的当前模板,这样对于某个分区而言,可以减小初始当前模板中和另一分区相似的部分对模板匹配计算存在的影响。因此,针对各个分区单独设置每个分区对应的当前模板,由于当前模板是与对应分区相似的部分,在进行模板匹配计算时并没有其他分区的模板信息的参与,基于当前模板能够更好地匹配出相似模板,提高相似模板与当前模板之间的模板匹配度,进而提升预测结果计算的准确度。
可选地,当前模板的类型包括斜边模板和/或非斜边模板。图像块中各个分区对应的当前模板可以包括斜边模板和非斜边模板中的任一种或两种。例如第一分区的当前模板和第二分区的当前模板均属于斜边模板,或者均属于非斜边模板。当所述当前模板的类型为所述斜边模板时,所述斜边模板的斜边位置和斜率根据划分所述图像块的分割线设置。由于图像块使用的分割线是基于拟合的物体边界,通过分割线设置斜边模板的斜边位置和斜率,可以使得基于分割线划分出的当前模板对于图像边缘的贴合度高。斜边模板的斜边边界和分割线所在的直线是重合的,示例性地,如上述图5b中的(1)所示的当前模板均为斜边模板,且当前模板A或者当前模板B的斜边是与分割线所在的直线重合。当所述当前模板的类型为所述非斜边模板时,所述非斜边模板的位置根据所述分割线所在直线经过所述初始当前模板的区域进行设置。分割线所在直线与初始当前模板的上下边界或者左右边界之间存在交点,以交点为起始点,作一条垂线与模板相交于另一点,可以划定该分割线所在直线经过的模板区域,该模板区域既不是第一分区的当前模板,也不是第二分区的当前模板,属于非分区模板区域。示例性地,如前述图5c所示的当前模板,当前模板A和当前模板B均属于非斜边模板,该非斜边模板具体为矩形形状的模板。由于非斜边模板是规整的模板,垂直线比斜线的坐标计算量小,因此可以有效简化分区对应模板的坐标的计算量。
由于至少一个相似模板是与当前模板对应的,因此,相似模板的类型和当前模板的类型也可以相同,例如当前模板属于斜边模板,则相似模板也属于斜边模板。只是相似模板和当前模板在图像中的位置有所不同。
可选地,当前模板还具备以下特点:当前模板的横坐标取值范围与图像块的长和/宽不相等;当前模板纵坐标取值范围与图像块的长和/宽不相等。仍旧以图5b所示出的内容为例,例如图5b中的(1)所示的当前模板B的横坐标取值范围小于图像块的长,当前模板A的纵坐标取值范围大于图像块的宽。这是由于分割线划分而引起的,当前模板的形状根据分割线的位置而设置,可以避免将不必要的采样作为模板,从而使得根据此当前模板查找到的内容和分区的相似度更高,进而提高预测结果的准确度。
相似模板是指与当前模板相似的模板,该相似模板的位置不同于当前模板,但和当前模板具有相同的形状、大小(具体是指图像区域大小)、类型等。因此,相似模板也可以具备以下特点:相似模板的横坐标取值范围与图像块的长和/宽不相等;相似模板纵坐标取值范围与图像块的长和/宽不相等。任一相似模板的类型包括斜边模板和/或非斜边模板。
按照预设策略可以确定图像块各个分区的当前模板各自对应的至少一个相似模板。也即,对于每个分区的当前模板来说,都可以确定出与其对应的至少一个相似模板。由于预设策略的存在,对于图像块中任一分区可匹配更合适该分区的规则来确定相似模板,从而保证相似模板的准确性。
在一个实施例中,S402的实现方式可以包括以下内容:根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板。
基于模板匹配的几何划分模式的类型包括基于模板匹配的帧内预测和/或基于模板匹配的帧间预测。预定搜索范围用于确定相似模板的图像区域。预定搜索范围可以是与基于模板匹配的几何划分模式的类型匹配的搜索范围,例如图像块使用基于模板匹配的帧内预测,图像块为当前编码的CU,预定搜索范围可以是与CU所在的CTU相邻的已编码CTU。可以理解的是,在目标预测模式为基于模板匹配的几何划分模式时,对于图像块中任一个分区对应的当前模板,均可以按照如S402所述的方式确定该分区的当前模板对应的至少一个相似模板。不同分区采用的基于模板匹配的几何划分模式的类型不同(或相同)时,预定搜索范围可以不同(或相同)。
对于不同类型的基于模板匹配的几何划分模式,可以匹配相应的预定搜索范围,并从中确定出当前模板对应的至少一个相似模板,从而使得相似模板与当前模板的适配度更高。可选地,可以基于模板代价计算与当前模板对应的至少一个相似模板,至少一个相似模板是各个相似模板中满足匹配要求的相似模板,匹配要求例如是模板代价满足代价阈值,或者是模板代价最小,当前模板可对应一个相似模板,当前模板也可对应多个(即至少两个)相似模板。
可选地,所述预定搜索范围基于参考块对应的相似模板和/或参考块的预测候选块的位置确定。所述参考块是在图像块所在图像中的已编码块或所述图像块所在的图像对应的参考图像中的图像块。在一实施例中,所述参考块是步骤S301~步骤S302中的图像块或者步骤S401~步骤S403中的图像块的相邻块,或者所述参考块是步骤S301~步骤S302中的图像块或者步骤S401~步骤S403中的图像块对应的初始运动矢量确定的参考图像中的图像块。
换而言之,可以根据参考块对应的相似模板和/或参考块的预测候选块的位置确定预定搜索范围。展开来说,可以根据参考块对应的相似模板的位置确定预定搜索范围,也可以根据参考块的预测候选块的位置确定预定搜索范围,还可以根据参考块对应的相似模板的位置和参考块的预测候选块的位置确定预定搜索范围。此处预定搜索范围是与当前编码的图像块或者图像块中一分区对应的搜索范围,在该搜索范围内可以查找与该图像块对应的相似模板,从而确定出该图像的预测候选块以用于预测得到预测结果。
由于参考块对应的相似模板、预测候选块等均是可以确定的数据,并且参考块和当前编码的图像块是存在关联关系的,因此,基于这些数据可以保证预定搜索范围确定的准确性,并且可以提高确定的效率。
在一种实现方式中,根据参考块对应的相似模板的位置确定预定搜索范围,包括:根据参考块和图像块之间的位置关系、参考块对应的相似模板的位置,确定预定搜索范围。参考块与图像块的位置关系包括相邻关系(例如左相邻、上相邻),参考块的相似模板的位置可以指示当前块最终的预定搜索范围。举例来说,若参考块为当前块的左相邻块,则在参考块的相似模板的右侧,可以确定一个预定大小的搜索范围来作为当前块的预定搜索范围。若参考块为当前块上相邻的块,则在参考块的相似模板的下方,确定一个预定大小的搜索范围来作为当前块的预定搜索范围。由于参考块与图像块之间的相关性,相似模板也可能是相关的,基于参考块的相似模板的位置锁定当前编码的图像块的预定搜索范围,是一种具备参考性且方便的方式。
在另一种实现方式中,根据参考块的预测候选块的位置确定预定搜索范围,包括:根据参考块和图像块之间的位置关系、参考块的预测候选块的位置,确定预定搜索范围。参考块的预测候选块是指参考块对应的用于预测的候选块。参考块的预测候选块的位置可以是在参考块所在图像中的位置,也可以是在该图像对应的参考图像中的位置,这取决于参考块中各个分区所使用的基于模板匹配的几何划分模式的类型。例如,若基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则预测候选块的位置可以在图像块所在图像的重建图像区域内,若基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则预测候选块的位置可以在图像块所在图像对应的参考图像内。在一实施例中,参考块与图像块的位置关系包括相邻关系。结合不同图像块之间的位置关系和预测候选块的位置可确定出预定搜索范围,举例来说,若参考块为当前块左相邻的块,则在参考块的预测候选块的左侧,确定一个预定大小的搜索范围来作为当前块的预定搜索范围。若参考块为当前块上相邻的块,则在参考块的预测候选块的下方,确定一个预定大小的搜索范围来作为当前块的预定搜索范围。由于预测候选块是与参考块对应的,基于预测候选块同样可以锁定当前块的预定搜索范围,也是一种具备参考性的便捷方式。
在又一种实现方式中,根据参考块对应的相似模板的位置和参考块的预测候选块的位置确定预定搜索范围,包括:根据参考块和图像块之间的位置关系、参考块的预测候选块的位置以及参考块对应的相似模板的位置,确定预定搜索范围。其中所包含的相关释义可以参见前述描述,举例来说,若参考块为当前块左相邻的块,则在预测候选块左侧以及相似模板的右侧,确定一个预定大小的搜索范围来作为当前块的预定搜索范围。这样可以综合关联数据丰富的位置信息等更精准地确定出预定搜索范围。
以上方式中,参考块可以是在图像块所在图像中的已编码块,例如当前编码的图像块相邻的图像块。当一副图像中具有的重复元素较多时,依据参考块最终确定的相似模板和/或预测候选块的位置确定预定搜索范围,可以大大地缩小相似模板的搜索范围,提高搜索效率。参考块也可以是图像块所在的图像对应的参考图像中的图像块,例如图像块所在的图像对应的参考图像可以是在图像块所在图像的前一帧已编码图像,参考帧的数量可以包括一个或多个,参考图像中图像块对应的相似模板的位置均可以作为确定预定搜索范围的参考数据,在此方式下,可以不用统计当前块的运动矢量,在图像块的运动矢量不可用或者丢失时,此方式也可以作为一种备用方式,从而基于已知数据快速地确定出预定搜索范围,提高处理速度。
可选地,预定搜索范围(或者说预定搜索区域)的尺寸可以与图像块的尺寸成正比,以使得每个像素具有固定数量的模板代价的比较结果,例如SAD(Sum of absolutedifferences,一种匹配代价函数,差的绝对值之和)比较结果。预定搜索范围的宽度=a*BlkW,搜索范围的高度SearchRange_h = a * BlkH,其中,a是用于控制增益和复杂度之间的平衡的常数。在实际中,a可以取5,BlkW和BlkH分别表示图像块的宽度和高度。本申请中,“*”表示执行乘法计算。
在一种可行的实现方式中,所述预定搜索范围与所述基于模板匹配的几何划分模式的类型匹配:若基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则预定搜索范围为图像块所在的图像;若基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则预定搜索范围为图像块所在的图像对应的参考图像。
基于参考块对应的相似模板和/或参考块的预测候选块的位置可以进一步缩小与基于模板匹配的几何划分模式的类型匹配的预定搜索范围,即在图像块所在的图像或者是图像块所在图像对应的参考图像中锁定更小的搜索范围,并从中确定出相似模板。举例来说,图像块中一分区使用基于模板匹配的帧间预测的几何划分模式,可以确定出预定搜索范围为图像块所在的图像的已编码区域,若参考块最终确定的相似模板/预测候选块的位置在该已编码区域内,则根据参考块和当前块的位置关系以及参考块的相似模板的位置,从该已编码区域内再次确定当前块的预定搜索范围,此时预定搜索范围是缩小后的搜索范围。
S403,根据所述相似模板确定所述图像块的预测结果。
根据图像块中各个分区对应的当前模板的相似模板,确定第一预测结果集合和第二预测结果集合,该第一预测结果集合和第二预测结果集合可以是基于对应分区的相似模板定位的预测候选块,之后可以根据分区的权重值集合,对第一预测结果集合和第二预测结果集合进行融合,得到图像块的预测结果。第一预测结果集合和第二预测结果集合中的至少一个可以是通过基于模板匹配的帧内预测模式而确定的。
在一个实施例中,S403的实现方式包括如下内容:根据对应分区的至少一个相似模板确定该分区的至少一个预测候选块;根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果。
由于图像块的每个分区都对应有当前模板,对于每个分区的当前模板都可以按照上述方式确定出至少一个相似模板,因此,相似模板可以是对于分区而言的,每个分区的当前模板对应的相似模板的数量可以相同或者不同,例如第一分区的当前模板对应3个相似模板,第二分区的当前模板对应2个相似模板。对应分区可以是图像块的任一分区,对于图像块中任一分区,可以根据任一分区的至少一个相似模板确定出该分区的至少一个预测候选块,一个相似模板对应一个预测候选块。举例来说,第一分区的3个相似模板可以确定出3个预测候选块。基于预测候选块与相似模板之间的相邻关系,可以将与相似模板相邻的左侧或者下侧区域中,与图像块形状、大小相等的图像区域作为预测候选块,该预测候选块是一个重建图像块。
在一种实现方式中,根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果,包括:根据预设权重对对应分区的至少一个预测候选块进行加权处理,得到所述图像块对应分区的目标预测候选块;根据分区权重和所述图像块中各个分区的目标预测候选块,确定所述图像块的预测结果。
对于图像块的至少一个分区中的每个分区,可以确定至少一个预测候选块,基于预设权重对该分区的至少一个预测候选块进行加权处理,进而得到关于该分区最终的预测候选块(即目标预测候选块)。每个预测候选块都配置有一个预设权重,各个预测候选块中的像素值可以和预设权重相乘求和得到目标预测候选块。举例来说,对于图像块中的分区A,至少一个预测候选块包括预测候选块A1和预测候选块A2,利用预测候选块A1以及预测候选块A2可以得到关于分区A的最终预测候选块,即:
目标预测候选块=预测候选块A1*W1+预测候选块A2*W2。
其中,W1和W2为预设权重。同理,也可以通过上述方式,对分区B对应的至少一个预测候选块(包括预测候选块B1和预测候选块B2),得到关于分区B的最终预测候选块。通过确定至少一个预测候选块,并采用加权的形式来得到最终的预测候选块,综合参考图像中的已知信息,可以使得预测的精度更高,对应的残差越小,从而有利于提高压缩效率。
可选地,每个预测候选块配置有预设权重,所述预设权重的设置策略包括以下至少一种:根据所述预测候选块与所述图像块之间的距离设置;根据所述预测候选块的数量设置;根据权重更新标志设置。
在一个实现方式中,预设权重的设置策略包括:根据传输于已编码图像块中的权重更新标志设置。权重更新标志wight_flag可以传输于CTU或者是CU中,该权重更新标志可以指示对于该CTU或CU采用更新的权重。举例来说,若权重更新标志为1,则指示该CTU或CU采用更新的权重,和/或,若权重更新标志为0,则权重不更新。
如果权重更新标志不存在于比特流中,则默认权重更新标志为0,该CTU或CU不采用更新的权重。若权重更新标志为1,则在解码端进一步解析权重值。新解析出的权重值可用于当前CTU或CU,也可用于当前CTU或CU编码顺序后的CTU或CU,以及可以用于利用四叉树划分当前CTU或CU得到的CU。
在另一种实现方式中,预设权重的设置策略包括:根据预测候选块距离图像块之间的距离设置。例如与图像块中一分区距离近的预测候选块的预设权重可以大于与该分区距离远的预测候选块的预设权重,此时,不同预测候选块对应的预设权重可能不相等或者是相等。举例来说,若预设权重W1为0.6,W2为0.4,则预设权重W1为与分区空间位置距离较近的预测候选块的权重,预设权重W2为与分区空间位置距离较远的预测候选块的权重。在此规则下,通过预设权重的解析,也可以判断出对应预测候选块与分区距离的远近。通常情况下,距离分区较近的预测候选块与分区的相似度较高,通过对空间位置距离较近的预测候选块分配较大的权重,可以提供预测的准确度。
在又一种实现方式中,预设权重的设置策略包括:根据所述预测候选块的数量设置。此处预测候选块的数量是指当前模板对应的至少一个预测候选块的数量。可以基于预测候选块的数量对各个预测候选块设置相同的权重。举例来说,在上述示例中,若通过两个预测候选块来确定目标预测候选块,则可以设置两个预测候选块分别对应的预设权重W1=W2=0.5,,若通过三个预测候选块来确定目标预测候选块,则可以设置预设权重W1= W2=W3=0.33。也可以基于预测候选块的数量对各个预测候选块设置不同的权重,例如预测候选块对应的相似模板与当前模板相似度高的,该预测候选块设置的权重更大。
预设权重可以是预先设置的,也可以是基于权重更新标志来更新的。基于权重更新标识可以解析预设权重,举例来说,当wight_flag为1时,解析出预设权重W1 和W2,可以将该预设权重应用于当前CTU或者CU。当权重更新标志wight_flag为1时,在使用相等数值权重的情况下,首先可以解析出预设权重数目wight_number,若预设权重数目wight_number为2,则存在2个预设权重,且各个预设权重均为0.5,若预设权重数目wight_number为4,则存在4个预设权重,且各个预设权重为0.25,进一步可以将这些预设权重作为当前块的预测候选块的权重来使用。
在一个可行的实施例中,如上介绍的基于预测候选块确定预测结果的方式,也可以直接作为如图3a对应实施例中对应S301的具体实现方式。即,根据目标预测模式确定图像块的预测结果的实现方式可以是:根据所述目标预测模式和预设策略,确定所述图像块的至少一个分区中的每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
详细地说,可以根据所述图像块的至少一个分区中的每一个分区对应的至少一个预测候选块的各自的权重对所述至少一个预测候选块进行加权处理,得到每一个分区对应的加权处理后的预测候选块,以用于确定所述图像块的预测结果;其中,所述目标预测模式用于确定所述至少一个分区,所述预设策略用于确定所述至少一个分区各自对应的至少一个相似模板。此处的权重同上述介绍的预设权重,对应的处理方式可参考前述介绍的内容,在此不做赘述。
本申请实施例提供的图像处理方法,可以在目标预测模式包括基于模板匹配的几何划分模式的情况下,通过预设策略确定图像块中各个分区对应当前模板的至少一个相似模板,从而基于相似模板确定图像块的预测结果。由于预设策略可指示与图像块的当前模板匹配的相似模板的确定准则,该预设策略可以与对应分区所使用的基于模板匹配的几何划分模式相适配,提升相似模板与当前模板之间的匹配度,有助于提高预测准确度。在此基础上,图像块各个分区也可以使用相同或不同类型的基于模板匹配的几何划分模式,预设策略具体与该基于模板匹配的GPM模式的类型适配,进而可确定采用对应类型的基于模板匹配的GPM模式的分区的相似模板,该相似模板是匹配度更佳的相似模板,基于匹配度更高的相似模板可以得到更准确的预测结果。
第三实施例
请参阅图6,图6是根据第三实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。
在图4a所介绍的实施例的基础之上,根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板的可选实现方式包括以下S601和/或S602。需要说明的是,对于图像块的至少一个分区(包括第一分区和第二分区)中的每个分区,都可以采用如下述S601或S602的方式来确定该分区的当前模板对应的至少一个相似模板。
S601,若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则从所述图像块所在的图像中确定当前模板对应的至少一个相似模板。
针对图像块中任一分区,若该分区使用的基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,说明使用基于模板匹配的几何划分模式的分区可以参考帧内预测的处理方式匹配出相应的相似模板,具体可以从图像块所在的图像中确定该分区的当前模板对应的至少一个相似模板。基于模板匹配的帧内预测是一种特殊的帧内预测模式,可简称为模板帧内预测。模板帧内预测可以在当前图像中确定分区的当前模板对应的相似模板。
基于模板匹配的帧内预测是从当前图像(即当前块所在的图像)的重建部分复制预测候选块,预测候选块的相似模板与当前模板相匹配。在当前图像的重建部分的预定的范围内,可以搜索当前模板的最佳相似模板,并将最佳相似模板作为使用基于模板匹配的帧内预测的分区的当前模板对应的相似模板。在编码器中,编码器可以发送一标志指示基于模板匹配的帧内预测的使用情况。此处的使用情况是指基于模板匹配的帧内预测被图像块哪个分区使用,在解码器中,解码器会解析该标志而决定是否启用基于模板匹配的帧内预测。举例来说,在编码端图像块第一分区使用了基于模板匹配的帧内预测,而第二分区未使用,在解码端通过解析出来的标志决定启用基于模板匹配的帧内预测,并将基于模板匹配的帧内预测应用于图像块的第一分区。
在一个实施例中,S601的实现内容包括:按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板;根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
图像块所在的图像中的重建图像区域是已编码区域,该重建图像区域可以作为预定搜索范围,并从中搜索出至少一个相似模板,至少一个相似模板是当前模板的最佳相似模板。示例性地,请参见图7a所示出的图像块所在图像中的重建图像区域,包括R1、R2、R3、R4。R1是图像块CU左上角位置相邻的当前CTU内的重建区域,R2是当前CTU左上角位置相邻的重建区域,R3是与CTU上边界相邻的重建区域,R4是与当前CTU左边界相邻的重建区域。在这些重建区域中可以按照预设搜索规则搜索与当前模板大小相同的区域,确定出与当前模板匹配的相似模板,进而从所匹配的相似模板中确定出当前模板的至少一个相似模板。如图7a所示,在重建区域R1中确定出与第一分区的当前模板A对应的相似模板A1,以及在重建区域R2中确定出与第一分区的当前模板A所匹配的相似模板A2,在重建区域R3中确定出与第二分区的当前模板B所匹配的相似模板B1,以及在重建区域R2中确定出与第二分区的当前模板B所匹配的相似模板B2。这些与对应当前模板所匹配的相似模板都与对应的当前模板有相同的形状。
预设搜索规则是指在重建图像区域中搜索出与当前模板匹配的相似模板的规则,该预设搜索规则例如是在搜索到指定数量的相似模板时停止搜索,或者是指定搜索方式。通过预设搜索规则的设定,可以从图像块所在的图像中的重建图像区域中有规律的查找与当前模板匹配的相似模板,可基于预设搜索规则的具体内容设定,在一定程度上提升查找效率和/或查找全面性。
在一种实现方式中,预设搜索规则包括以下至少一种:①在对在所述图像块所在的图像中的重建图像区域进行搜索的过程中,当出现预设数量个满足匹配条件的目标区域,则将各个满足匹配条件的目标区域确定为与当前模板匹配的相似模板;②当所述重建图像区域搜索完毕之后,将满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板。
对于预设搜索规则①,可以在重建图像区域搜索的过程中,当出现第一个满足匹配条件的目标区域,可以将该区域作为与当前模板匹配的相似模板,当出现第二个满足匹配条件的目标区域,也可以将该区域作为与当前模板匹配的相似模板,这些目标区域是与当前编码的图像块形状大小相同的重建块。按照此种方式,在出现预设数量个满足匹配条件的目标区域,无论重建图像区域是否搜索完毕,均可以停止搜索,并得到各个满足匹配条件的目标区域作为当前模板匹配的各个相似模板。这样,对于相似模板的搜索可能无需搜索完重建图像区域就可确定出与当前模板匹配的相似模板,搜索效率高,搜索所需的资源少,由于所匹配的相似模板是满足匹配条件的,因此可以在保证后续预测结果精确度的同时提高整体编码效率。对于预设搜索规则②,在重建图像区域搜索的过程中,可以将各个区域与当前块的匹配度记录下来,等到重建图像区域搜索完毕之后,再将记录的各个区域的匹配度中满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板。举例来说,当搜索完重建图像区域之后,出现满足匹配条件的两个(预设数量即为2)目标区域,那么可以将这两个目标区域均作为当前模板匹配的相似模板。这样可以对整个重建图像区域进行完整全面的搜索,并通过全面的比对确定出与当前模板匹配的相似模板,有利于提供匹配度高的相似模板,从而有助于提升预测结果的精确性。
预设数量个是对与当前模板匹配的相似模板的数量限定,可以是1个,或者是2个,或者是3个,等等,在此不做限制。满足匹配条件可以是指目标区域与图像块之间的匹配度符合要求,该匹配度可以通过目标区域与图像块之间的模板代价来衡量,匹配度符合要求可以是模板代价最小,或者是模板代价小于等于模板代价阈值。可选地,模板代价可以是当前模板与所搜索的模板之间的SSD(Sum of Squared Difference,差值均方和),也可以是SAD(Sum of Absolute Difference,绝对误差和),或者是其他计算函数。模板代价小,说明匹配度高,所搜索的模板与当前模板之间的相似度大,模板代价大,说明匹配度低,所搜索的模板与当前模板之间的相似度小。
举例来说,可以在一个或多个预定范围内搜索一个相似模板,使得该相似模板与当前模板之间的SAD最小。在搜索过程中,对于与当前模板大小相同的区域,可以计算该区域与当前模板之间的SSD,可以将搜索出现SSD小于阈值的目标区域作为与当前模板匹配的相似模板,或者是将搜索出现的SSD最小的目标区域作为与当前模板匹配的相似模板。通过SSD值的大小可以确定该区域和当前模板之间的相似程度,如果在该SSD小于一阈值,可以认为该区域为与当前模板匹配的相似模板,当前模板与相似模板之间的相似程度较高。
在一种实现方式中,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板,包括以下内容:确定所匹配的相似模板与所述当前模板之间的模板代价,将满足预设模板条件的模板代价对应的所匹配的相似模板确定为所述当前模板对应的至少一个相似模板。
在与当前模板匹配的相似模板的数量包括多个的情况下,针对多个所匹配的相似模板中的每一个相似模板,均可以计算所匹配的相似模板与当前模板之间的模板代价。模板代价可以表示率失真代价或者是模板之间的相似度,模板之间的相似度可以采用所匹配的相似模板与当前模板之间的差值均方和SSD来衡量,也可以采用例如绝对误差和SAD,或者是其他方式来衡量。可选地,所述满足预设模板条件包括以下至少一种:模板代价最小,模板代价小于或等于预设代价阈值。该预设代价阈值是用于判别所匹配的相似模板是否为当前模板的最佳相似模板。模板代价最小,说明所匹配的相似模板和当前模板是匹配度最高的,将其作为最佳相似模板可以提高预测结果的准确性。模板代价小于或等于预设代价阈值,说明所匹配的相似模板和当前模板是匹配度较高,也可以将其作为当前模板的最佳相似模板,此时最佳相似模板的数量可能包括多个,确定预测结果的过程中参考的信息更多。可以将最小模板代价对应的与当前模板匹配的相似模板确定为当前模板最终对应的相似模板,也可以将小于或等于预设代价阈值的模板代价对应的与当前模板匹配的相似模板确定为当前模板最终对应的相似模板。需要说明的是,前述预设搜索规则中也可模板代价阈值选定与当前模板匹配的相似模板,为保证从所匹配的相似模板中筛选出匹配度更高的相似模板,此处设置的预设代价阈值大于前述的模板代价阈值。
通过这样的方式,可以从初始筛选出来所匹配的相似模板中进一步进行筛选,可以基于模板代价对相似度模板是否满足预设模板条件进行再次判别,以从中确定出匹配度更高的相似模板,提高相似模板与当前模板之间的相似度,减小预测过程中的残差,进而得到更还原输入的原始图像块的预测结果。
在一个实施例中,相似模板可用于确定图像块的预测结果。可以按照如图4a实施例中S403所介绍的实现方式。在图像块中一分区使用基于模板匹配的帧内预测时,可以基于相似模板确定预测候选块,可以从中确定出一个预测候选块直接作为图像块的预测结果,或者是从中确定至少一个预测候选块进行加权求和之后,确定图像块的预测结果。
可以理解的是,此处当前模板为图像块中使用基于模板匹配的帧内预测的分区所对应的当前模板。当前模板相关介绍可以参见前述图4a实施例中所介绍的内容。示例性地,此处以当前模板为非斜边模板为例,且第一分区和第二分区均使用基于模板匹配的帧内预测,如图7b示出了基于模板匹配的帧内预测的示意图。如图7b所示,在当前块所在图像的重建图像区域中确定出当前模板A对应的相似模板A1和相似模板A2,当前模板B对应的相似模板B1和相似模板B1,基于这些相似模板可分别确定出对应的预测候选块,包括预测候选块A11、预测候选块A22、预测候选块B11以及预测候选块B22,之后再基于这几个预测候选块可以进一步确定出图像块的预测结果。
S602,若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板。
针对图像块中任一分区,若该分区使用的基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,说明使用基于模板匹配的几何划分模式的分区可以参考帧间预测的处理方式匹配出相应的相似模板,具体可以从图像块所在的图像对应的参考图像中确定该分区的当前模板对应的至少一个相似模板。
在一个实施例中, S602包括以下方式一和方式二:
方式一:根据至少一个初始运动矢量从所述图像块所在的图像对应的参考图像中确定至少一个初始相似模板,在包括任一个所述初始相似模板的预定范围内搜索与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
对于图像块中的任一分区,在该分区使用基于模板匹配的帧间预测(可简称为模板帧间预测)时,可以基于运动矢量在参考图像中确定当前模板对应的相似模板。首先,可以从运动矢量候选列表中选取一个或多个运动矢量作为初始运动矢量,然后,根据选取的初始运动矢量可以确定初始相似模板,接着,可以在包括初始相似模板的预定范围内搜索与当前模板相匹配的相似模板,当运动矢量只有一个时,所匹配的相似模板即为最佳相似模板,可以直接将其确定为当前块对应的一个相似模板,并根据该相似模板的位置确定对应的预测候选块。示例性地,请参见图7c所示的基于模板匹配的帧间预测,分区A采用基于模板匹配的帧间预测,基于初始运动矢量MV1在参考图像1中搜索与当前模板A最匹配的相似模板A1,并基于该相似模板A1确定出预测候选块A11。
优选地,也可以在运动矢量列表中选取多个运动矢量分别作为初始运动矢量mv1,mv2,...,mvn(n大于等于2)。然后,根据初始运动矢量mv1,mv2,..., mvn分别确定n个初始相似模板。在根据n个初始相似模板在预定范围内搜索与当前模板A相匹配的n个相似模板,这些相似模板为较佳相似模板,最后,在所匹配的n相似模板中确定最佳相似模板,并将最佳相似模板作为当前模板对应的相似模板。通过多个所匹配的相似模板的筛选,可以在更大的选择范围内为当前模板更全面地挑选最匹配的相似模板。
在一个可行的实施例中,基于模板匹配的帧间预测使用的运动矢量候选列表的构建过程如下。如图7d所示为运动矢量候选列表的相邻块位置示意图,图7e为运动矢量候选列表。空域合并候选列表最多可选出4个候选运动矢量,构造顺序为:上侧相邻块B1、左侧相邻块A1、右上侧相邻块B0、左下侧相邻块A0、左上侧相邻块B2,参考图像对应位置块Col的运动矢量依次排列,并将这些运动矢量作为当前块的运动矢量候选。需要说明的是,其他位置不可用时才考虑B2。在添加左下侧相邻块A0之后,需要进行冗余检测,以确保列表中不具有相同运动矢量候选。此外,合并候选列表中还可以添加历史参考块his,第一候选运动矢量、第二候选运动矢量的平均运动矢量 avg,以及零运动矢量0。
方式二:所述参考图像包括第一参考图像和/或第二参考图像,从所述图像块所在的图像对应的第一参考图像中确定当前模板对应的第一相似模板,和/或,从所述图像块所在的图像对应的第二参考图像中确定当前模板对应的第二相似模板,将所述第一相似模板和/或所述第二相似模板确定为所述当前模板对应的至少一个相似模板。
图像块中任一分区采用基于模板匹配的帧间预测,可以在参考图像中确定相似模板。参考图像可以包括第一参考图像和第二参考图像,此时,可以在当前块所在的图像的前后两帧参考图像中确定相似模板,也可以在一帧参考图像中确定相似模板。即可以从第一参考图像中确定当前模板对应的第一相似模板以及从第二参考图像中确定当前模板对应的第二相似模板,并且第一相似模板和第二相似模板为当前模板对应的至少一个相似模板。也可以仅从第一参考图像中确定第一相似模板,并将该第一相似模板作为当前模板对应的至少一个相似模板。还可以仅从第二参考图像中确定第二相似模板,并将该第二相似模板作为当前模板对应的至少一个相似模板。图像块所在的图像的帧类型可以为I帧或者是P帧,并基于不同的帧类型从第一参考图像和/或第二参考图像中确定相似模板。举例来说,图像块为P Slice(单向帧间编码的条带),则可以从一个参考图像中确定,例如从第一参考图像或者第二参考图像中确定当前模板对应的至少一个相似模板。图像块为B Slice(双向帧间编码的条带),则可以从两个参考图像,包括第一参考图像和第二参考图像中确定当前模板对应的至少一个相似模板。对不同帧类型对应不同的帧间编码方式匹配相适应的参考图像,可以更有效地利用相关资源得到当前模板对应的至少一个相似模板,实现对图像块的高效压缩或解压缩。需要说明的是,从所述图像块所在的图像对应的第一参考图像(或者第二参考图像)中确定当前模板对应的第一相似模板(第二相似模板),均可以采用如方式一所描述的内容,即通过运动矢量确定相似模板。
示例性地,请参见图7f所示出的另一种基于模板匹配的帧间预测的示意图。分区B采用基于模板匹配的帧间预测,可以基于初始运动矢量MV1在参考图像1中确定出当前模板B对应的相似模板B1,并基于该相似模板B1确定出预测候选块B11,基于初始运动矢量MV2在参考图像2中确定出当前模板B对应的相似模板B2,并基于该相似模板B2确定出预测候选块B22。
在一种实施例中,若图像块中第一分区和第二分区采用的基于模板匹配的几何划分模式的类型相同,例如第一分区和第二分区均采用基于模板匹配的帧内预测,则各个分区可按照S601的方式确定出对应分区的至少一个相似模板;例如第一分区和第二分区均采用基于模板匹配的帧间预测,则可按照S602的方式确定出对应分区的至少一个相似模板。如图7g所示的各个分区采用基于模板匹配的帧间预测的示意图,如图7g所示,当前图像中当前块的两个分区均是采用基于模板匹配的帧间预测,基于初始运动矢量MV1可以在参考图像1中确定出当前模板A对应的相似模板A1,并基于该相似模板A1确定出预测候选块A11,基于初始运动矢量MV2在参考图像2中确定出当前模板B对应的相似模板B1,并基于该相似模板B1确定出预测候选块B11,之后,再基于预测候选块A11和预测候选块B11确定出当前块的预测结果。
需要说明的是,以上S601~S602所描述的内容也可以直接作为通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板的具体实现方式。
可以理解的是,若图像块中第一分区和第二分区采用的基于模板匹配的几何划分模式的类型不同,例如第一分区采用基于模板匹配的帧内预测,第二分区采用基于模板匹配的帧间预测,则第一分区可按照S601的方式确定出第一分区的至少一个相似模板,第二分区可按照S601的方式确定出第二分区的至少一个相似模板。反之,第一分区采用基于模板匹配的帧间预测,第二分区采用基于模板匹配的帧内预测,则第一分区可按照S602的方式确定出第一分区的至少一个相似模板,第二分区可按照S601的方式确定出第二分区的至少一个相似模板。
示例性地,请参见图7h所示出的采用的基于模板匹配的几何划分模式的类型不同时的预测示意图。如图7h,当前图像中当前块的分区B采用基于模板匹配的帧间预测,分区A使用基于模板匹配的帧内预测,基于初始运动矢量MV1在参考图像1中确定出当前模板B对应的相似模板B1,基于初始运动矢量MV2在参考图像2中确定出当前模板B对应的相似模板B2,相似模板B2和相似模板B1均可作为当前模板的至少一个相似模板,进而基于相似模板B1确定出预测候选块B11,基于相似模板B2确定出预测候选块B22,预测候选块B11和B22可以进一步加权求和得到分区B对应的目标预测块。分区A采用基于模板匹配的帧内预测,在当前CTU相邻的重建区域内,搜索出与当前模板A对应的相似模板A1和相似模板A2,进而基于相似模板A1确定出预测候选块A11,以及基于相似模板A2确定出预测候选块A21,预测候选块A11和预测候选块A21可以进一步加权求和得到分区A对应的目标预测块,最后可以基于分区权重对两个分区的目标预测块进行加权,得到图像块的预测结果。
由此,在基于模板匹配的GPM模式中,支持使用基于模板匹配的帧间预测和基于模板匹配的帧内预测这两种类型。当图像块使用基于模板匹配的GPM模式,图像块各个分区可以灵活地组合不同或相同类型的基于模板匹配的GPM模式,丰富了对同一图像块的预测处理方式,使得预测更加灵活。图像块各分区使用的基于模板匹配的GPM模式的类型不同时,不仅可以在参考图像中搜索匹配的相似模板,也可以在当前图像的已编码区域中搜索匹配的相似模板,从而可以更好地搜索出最佳匹配的相似模板,有利于提升图像块的预测结果的精确性,减小图像失真,以更好地还原真实图像。
本申请实施例提供的图像处理方法,对于基于模板匹配的几何划分模式的不同类型,采用了不同的预测处理方式得到当前模板对应的至少一个相似模板。该预测处理方式是与基于模板匹配的几何划分模式的类型相匹配的,从而可以更好地针对每个分区搜索匹配度更佳的相似模板,基于匹配度更佳的相似模板可为预测结果提供更准确的处理依据。
第四实施例
请参阅图8,图8是根据第四实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。
S801,获取或确定图像块的目标预测模式。
若目标预测模式为基于模板匹配的几何划分模式,则根据目标预测模式确定图像块的预测结果的实现方式可以包括S802所描述的内容。或者说,根据目标预测模式和预设策略确定图像块的预测结果的实现方式可以包括S802所描述的内容。
S802,确定所述图像块的初始当前模板,以用于通过所述初始当前模板确定所述图像块的预测结果。
图像块的初始当前模板包括与图像块相邻的已编码图像区域。可选地,所述初始当前模板包括分区模板区域和非分区模板区域。分区模板区域包括第一分区对应的当前模板以及第二分区对应的当前模板。
在一种实现方式中,所述初始当前模板包括与所述图像块的上边界相邻的区域、与所述图像块的左边界相邻的区域、与所述图像块左上方的相邻区域中的至少一个区域;所述初始当前模板包括所述第一分区对应的当前模板和所述第二分区对应的当前模板。具体可以参见前述图5a所示出的初始当前模板。
各个分区对应的当前模板具备以下特点:所述第一分区对应的当前模板的横坐标范围与所述第二分区对应的当前模板的横坐标范围不同;或者,所述第一分区对应的当前模板的纵坐标范围与所述第二分区对应的当前模板的纵坐标范围不同;或者,所述第一分区对应的当前模板的长和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的长不相等;或者,所述第一分区对应的当前模板的宽和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的宽不相等。
在一个实现方式中,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界,所述至少一边界位于所述图像块使用的分割线所在的直线上;或者,所述初始当前模板包括所述图像块的第一分区对应的当前模板、所述图像块的第二分区对应的当前模板、以及非分区模板区域,所述图像块使用的分割线所在的直线经过所述非分区模板区域;或者所述非分区模板区域与所述图像块的第一分区对应的当前模板与所述图像块的第二分区对应的当前模板中的至少一个相邻。具体可以参见前述图5b所示出各个分区的当前模板。对于以上内容的详细介绍,可以参见图4a对应实施例中的相关内容。
通过初始当前模板可确定图像块的预测结果,在确定过程中,首先可通过对图像块的初始当前模板进行划分可得到各个分区各自对应的当前模板,在一种实现方式中,可以通过所述图像块使用的分割线所在的直线,将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和所述图像块的第二分区对应的当前模板;其中,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界位于所述图像块使用的分割线所在的直线上。然后可以基于每个分区所使用的基于模板匹配的GPM模式的类型,从图像块所在的图像中确定该分区的当前模板对应的至少一个相似模板,或者是从图像块所在的图像对应的参考图像中确定分区的当前模板对应的至少一个相似模板,进而根据至少一个相似模板确定预测候选块,最终确定出图像块的预测结果。相关步骤中更详细的方式可以参见前述实施例中的相关介绍,在此不做赘述。
此方式下,通过确定初始当前模板,可以首先确定出用于预测处理过程中用于匹配的相似模板,以便于利用该初始当前模板更准确地确定预测结果。
在另一实施例中,根据目标预测模式确定图像块的预测结果的实现方式也可以采用以下S803所描述的内容。或者说,根据目标预测模式和预设策略确定图像块的预测结果的实现方式可以包括S803所描述的内容。
S803,根据所述目标预测模式和预设策略,确定所述图像块的至少一个分区中的每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
可选地,目标预测模式包括基于模板匹配的几何划分模式。在此预测模式下,图像块被划分为至少一个分区,包括第一分区和第二分区。可以确定出图像块各个分区加权后的预测候选块,进而基于预测候选块确定图像块的预测结果。其中,预设策略用于指示在基于模板匹配的几何划分模式下进行模板匹配的准则,通过此预设策略可查找出与图像块的当前模板匹配的相似模板。
在一种实现方式中,根据目标预测模式确定图像块的预测结果,可以包括以下实施步骤:根据所述目标预测模式和预设策略,确定所述图像块的至少一个分区中的每一个分区对应的至少一个预测候选块;对所述至少一个预测候选块进行加权处理,得到所述每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
对于图像块中的每个分区,都可以确定出至少一个预测候选块,每个预测候候选块可配置一预设权重。对于图像块中的任一分区,都可以基于该预设权重对各个预测候选块进行加权处理,得到该分区加权后的预测候选块,为便于描述,可称为目标预测候选块。每个分区都对应一个目标预测候选块,图像块的分区包括第一分区和第二分区,基于第一分区的目标预测候选块和第二分区的预测候选块可确定出该图像块的预测结果。
在一种实现方式中,确定预测候选块的过程包括:先确定出图像块的初始当前模板,并基于初始当前模板确定图像块各个分区的当前模板,然后,在确定各个分区的当前模板对应的多个相似模板,最终基于多个相似模板分别确定至少一个预测候选块,一个相似模板可确定一个预测候选块。需要说明的是,此过程更详细的实现内容可以参见前述实施例中的相关介绍,在此不做赘述。
此方式下,基于目标预测模式和预设策略可以灵活、准确地确定出图像块的预测候选块,从而有助于提升图像块的预测结果的准确度。
需要说明的是,以上步骤S802可以和S801组合为一个方案用于确定图像块的预测结果,步骤S803也可以和S801组合为一个方案用于确定图像块的预测结果。这两个方案可以是并列的方案。
请参见图9,图9是本申请实施例示出的一种图像处理装置的结构示意图,该图像处理装置可以是运行于服务器中的一个计算机程序(包括程序代码),例如图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。该图像处理装置900包括:获取模块901和确定模块902。
获取模块901,用于获取或确定图像块的目标预测模式;
确定模块902,用于根据所述目标预测模式确定所述图像块的预测结果。
可选地,所述目标预测模式包括基于模板匹配的几何划分模式,所述图像块在所述基于模板匹配的几何划分模式下被划分为第一分区和第二分区。
可选地,包括以下至少一项:所述基于模板匹配的几何划分模式的类型包括:基于模板匹配的帧内预测和/或基于模板匹配的帧间预测;所述第一分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测;所述第二分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测。
在一个实施例中,所述目标预测模式包括基于模板匹配的几何划分模式,确定模块902,用于:通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板;根据所述相似模板确定所述图像块的预测结果。
在一个实施例中,确定模块902,用于:根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板。
可选地,所述预定搜索范围基于参考块对应的相似模板和/或参考块的预测候选块的位置确定。
在一个实施例中,确定模块902,还用于:根据所述参考块和所述图像块之间的位置关系、所述参考块对应的相似模板的位置,确定所述预定搜索范围;和/或,根据所述参考块和所述图像块之间的位置关系、所述参考块的预测候选块的位置,确定所述预定搜索范围。
在一个实施例中,确定模块902,用于:若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则从所述图像块所在的图像中确定当前模板对应的至少一个相似模板;和/或,若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板。
在一个实施例中,确定模块902,用于:按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板;根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
在一个实施例中,确定模块902,用于:从所述图像块所在的图像对应的第一参考图像中确定当前模板对应的第一相似模板,和/或,从所述图像块所在的图像对应的第二参考图像中确定当前模板对应的第二相似模板,将所述第一相似模板和/或所述第二相似模板确定为所述当前模板对应的至少一个相似模板;和/或,根据至少一个初始运动矢量从所述图像块所在的图像对应的参考图像中确定至少一个初始相似模板,在包括任一个所述初始相似模板的预定范围内搜索与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
可选地,包括以下至少一项:确定模块902,用于:在对在所述图像块所在的图像中的重建图像区域进行搜索的过程中,当出现预设数量个满足匹配条件的目标区域,则将各个满足匹配条件的目标区域确定为与当前模板匹配的相似模板;和/或,当所述重建图像区域搜索完毕之后,将满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板。
可选地,确定模块902,用于:确定所匹配的相似模板与所述当前模板之间的模板代价,将满足预设模板条件的模板代价对应的所匹配的相似模板确定为所述当前模板对应的至少一个相似模板。
在一个实施例中,确定模块902,用于:根据对应分区的至少一个相似模板确定该分区的至少一个预测候选块;根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果。
在一个实施例中,确定模块902,用于:获取所述图像块的初始当前模板;将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板。
在一个实施例中,获取模块901,用于以下至少一项:通过第一标志确定所述图像块的目标预测模式;将最小率失真代价对应的预测模式确定为所述图像块的目标预测模式。
可选地,若所述目标预测模式是基于模板匹配的几何划分模式,则在确定所述预测结果的过程中,利用第一标志指示所述图像块使用所述基于模板匹配的几何划分模式,以及利用至少一第二标志指示所述图像块的第一分区和/或第二分区各自使用的预测处理。
在一个实施例中,确定模块902,用于:根据所述目标预测模式和所述预设策略,确定所述图像块的至少一个分区中的每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
在一个实施例中,若所述目标预测模式为基于模板匹配的几何划分模式,则确定模块902,用于:确定所述图像块的初始当前模板,以用于通过所述初始当前模板确定所述图像块的预测结果;可选地,所述初始当前模板包括分区模板区域和非分区模板区域。
可选地,分区模板区域包括第一分区对应的第一当前模板以及第二分区对应的第二当前模板。
可选地,初始当前模板包括与所述图像块的上边界相邻的区域、与所述图像块的左边界相邻的区域、与所述图像块左上方的相邻区域中的至少一个区域;所述初始当前模板包括所述第一分区对应的当前模板和所述第二分区对应的当前模板。
可选地,所述第一分区对应的当前模板的横坐标范围与所述第二分区对应的当前模板的横坐标范围不同;或者,所述第一分区对应的当前模板的纵坐标范围与所述第二分区对应的当前模板的纵坐标范围不同;或者,所述第一分区对应的当前模板的长和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的长不相等;或者,所述第一分区对应的当前模板的宽和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的宽不相等。
可选地,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界,所述至少一边界位于所述图像块使用的分割线所在的直线上;或者,
所述初始当前模板包括所述图像块的第一分区对应的当前模板、所述图像块的第二分区对应的当前模板、以及非分区模板区域,其中所述图像块使用的分割线所在的直线经过所述非分区模板区域;或者所述非分区模板区域与所述图像块的第一分区对应的当前模板与所述图像块的第二分区对应的当前模板中的至少一个相邻。
可选地,所述当前模板的类型包括斜边模板和/或非斜边模板,所述至少一个相似模板的类型和所述当前模板的类型相同;当所述当前模板的类型为所述斜边模板时,所述斜边模板的斜边位置和斜率根据划分所述图像块的分割线设置;当所述当前模板的类型为所述非斜边模板时,所述非斜边模板的位置根据所述分割线所在直线经过所述初始当前模板的区域进行设置。
本申请实施例还提供一种智能终端,包括存储器、处理器,存储器上存储有图像处理程序,该图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。该智能终端可以是如图1所示的移动终端100。
在一可行的实施例中,如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序,以执行如下操作:S1:获取或确定图像块的目标预测模式;S2:根据所述目标预测模式确定所述图像块的预测结果。
可选地,所述目标预测模式包括基于模板匹配的几何划分模式,所述图像块在所述基于模板匹配的几何划分模式下被划分为第一分区和第二分区。
可选地,包括以下至少一项:所述基于模板匹配的几何划分模式的类型包括:基于模板匹配的帧内预测和/或基于模板匹配的帧间预测;所述第一分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测;所述第二分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测。
在一个实施例中,所述目标预测模式包括基于模板匹配的几何划分模式,处理器110,用于:通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板;根据所述相似模板确定所述图像块的预测结果。
在一个实施例中,处理器110,用于:根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板。
可选地,所述预定搜索范围基于参考块对应的相似模板和/或参考块的预测候选块的位置确定。
在一个实施例中,处理器110,还用于:根据所述参考块和所述图像块之间的位置关系、所述参考块对应的相似模板的位置,确定所述预定搜索范围;和/或,根据所述参考块和所述图像块之间的位置关系、所述参考块的预测候选块的位置,确定所述预定搜索范围。
在一个实施例中,处理器110,用于:若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则从所述图像块所在的图像中确定当前模板对应的至少一个相似模板;和/或,若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板。
在一个实施例中,处理器110,用于:按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板;根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
在一个实施例中,处理器110,用于:从所述图像块所在的图像对应的第一参考图像中确定当前模板对应的第一相似模板,和/或,从所述图像块所在的图像对应的第二参考图像中确定当前模板对应的第二相似模板,将所述第一相似模板和/或所述第二相似模板确定为所述当前模板对应的至少一个相似模板;根据至少一个初始运动矢量从所述图像块所在的图像对应的参考图像中确定至少一个初始相似模板,在包括任一个所述初始相似模板的预定范围内搜索与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
可选地,包括以下至少一项:处理器110,用于:在对在所述图像块所在的图像中的重建图像区域进行搜索的过程中,当出现预设数量个满足匹配条件的目标区域,则将各个满足匹配条件的目标区域确定为与当前模板匹配的相似模板;和/或,当所述重建图像区域搜索完毕之后,将满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板。
可选地,处理器110,用于:确定所匹配的相似模板与所述当前模板之间的模板代价,将满足预设模板条件的模板代价对应的所匹配的相似模板确定为所述当前模板对应的至少一个相似模板。
在一个实施例中,处理器110,用于:根据对应分区的至少一个相似模板确定该分区的至少一个预测候选块;根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果。
在一个实施例中,处理器110,用于:获取所述图像块的初始当前模板;将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板。
在一个实施例中,处理器110,用于以下至少一项:通过第一标志确定所述图像块的目标预测模式;将最小率失真代价对应的预测模式确定为所述图像块的目标预测模式。
可选地,若所述目标预测模式是基于模板匹配的几何划分模式,则在确定所述预测结果的过程中,利用第一标志指示所述图像块使用所述基于模板匹配的几何划分模式,以及利用至少一第二标志指示所述图像块的第一分区和/或第二分区各自使用的预测处理。
在一个实施例中,处理器110,用于:根据所述目标预测模式和所述预设策略,确定所述图像块的至少一个分区中的每一个分区对应的加权后的预测候选块,以用于确定所述图像块的预测结果。
在一个实施例中,若所述目标预测模式为基于模板匹配的几何划分模式,则处理器110,用于:确定所述图像块的初始当前模板,以用于通过所述初始当前模板确定所述图像块的预测结果;可选地,所述初始当前模板包括分区模板区域和非分区模板区域。
可选地,分区模板区域包括第一分区对应的第一当前模板以及第二分区对应的第二当前模板。
可选地,初始当前模板包括与所述图像块的上边界相邻的区域、与所述图像块的左边界相邻的区域、与所述图像块左上方的相邻区域中的至少一个区域;所述初始当前模板包括所述第一分区对应的当前模板和所述第二分区对应的当前模板。
可选地,所述第一分区对应的当前模板的横坐标范围与所述第二分区对应的当前模板的横坐标范围不同;或者,所述第一分区对应的当前模板的纵坐标范围与所述第二分区对应的当前模板的纵坐标范围不同;或者,所述第一分区对应的当前模板的长和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的长不相等;或者,所述第一分区对应的当前模板的宽和/或所述第二分区对应的当前模板的长与所述图像块和/或所述图像块的预测候选块的宽不相等。
可选地,所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板包括至少一边界,所述至少一边界位于所述图像块使用的分割线所在的直线上;或者,
所述初始当前模板包括所述图像块的第一分区对应的当前模板、所述图像块的第二分区对应的当前模板、以及非分区模板区域,其中所述图像块使用的分割线所在的直线经过所述非分区模板区域;或者所述非分区模板区域与所述图像块的第一分区对应的当前模板与所述图像块的第二分区对应的当前模板中的至少一个相邻。
可选地,所述当前模板的类型包括斜边模板和/或非斜边模板,所述至少一个相似模板的类型和所述当前模板的类型相同;当所述当前模板的类型为所述斜边模板时,所述斜边模板的斜边位置和斜率根据划分所述图像块的分割线设置;当所述当前模板的类型为所述非斜边模板时,所述非斜边模板的位置根据所述分割线所在直线经过所述初始当前模板的区域进行设置。
应当理解,本申请实施例中所描述的移动终端可执行上述任一实施例的方法描述,也可执行上述所对应实施例中对该图像处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,存储介质上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
在本申请实施例提供的智能终端和计算机可读存储介质的实施例中,可以包含任一上述图像处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (15)
1.一种图像处理方法,其特征在于,包括以下步骤:
S1:获取或确定图像块的目标预测模式;
S2:根据所述目标预测模式确定所述图像块的预测结果。
2.如权利要求1所述的方法,其特征在于,所述目标预测模式包括基于模板匹配的几何划分模式,所述图像块在所述基于模板匹配的几何划分模式下被划分为第一分区和第二分区。
3.如权利要求2所述的方法,其特征在于,包括以下至少一项:
所述基于模板匹配的几何划分模式的类型包括:基于模板匹配的帧内预测和/或基于模板匹配的帧间预测;
所述第一分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测;
所述第二分区采用所述基于模板匹配的帧内预测或者所述基于模板匹配的帧间预测。
4.如权利要求1至3中任一项所述的方法,其特征在于,所述目标预测模式包括基于模板匹配的几何划分模式,所述S2步骤,包括:
通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板;
根据所述相似模板确定所述图像块的预测结果。
5.如权利要求4所述的方法,其特征在于,所述通过预设策略确定所述图像块中各个分区对应当前模板中的至少一个相似模板,包括:
根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板。
6.如权利要求5所述的方法,其特征在于,所述预定搜索范围基于参考块对应的相似模板和/或参考块的预测候选块的位置确定。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述参考块和所述图像块之间的位置关系、所述参考块对应的相似模板的位置,确定所述预定搜索范围;和/或,
根据所述参考块和所述图像块之间的位置关系、所述参考块的预测候选块的位置,确定所述预定搜索范围。
8.如权利要求5至7中任一项所述的方法,其特征在于,所述根据基于模板匹配的几何划分模式的类型从预定搜索范围内确定当前模板对应的至少一个相似模板,包括:
若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧内预测,则从所述图像块所在的图像中确定当前模板对应的至少一个相似模板;和/或,
若所述基于模板匹配的几何划分模式的类型为基于模板匹配的帧间预测,则从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板。
9.如权利要求8所述的方法,其特征在于,包括以下至少一项:
所述从所述图像块所在的图像中确定当前模板对应的至少一个相似模板,包括:按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板;
所述从所述图像块所在的图像对应的参考图像中确定当前模板对应的至少一个相似模板,包括:从所述图像块所在的图像对应的第一参考图像中确定当前模板对应的第一相似模板,和/或,从所述图像块所在的图像对应的第二参考图像中确定当前模板对应的第二相似模板,将所述第一相似模板和/或所述第二相似模板确定为所述当前模板对应的至少一个相似模板;和/或,根据至少一个初始运动矢量从所述图像块所在的图像对应的参考图像中确定至少一个初始相似模板,在包括任一个所述初始相似模板的预定范围内搜索与当前模板匹配的相似模板,根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板。
10.如权利要求9所述的方法,其特征在于,包括以下至少一项:
所述按照预设搜索规则从所述图像块所在的图像中的重建图像区域中,确定与当前模板匹配的相似模板,包括:在对在所述图像块所在的图像中的重建图像区域进行搜索的过程中,当出现预设数量个满足匹配条件的目标区域,则将各个满足匹配条件的目标区域确定为与当前模板匹配的相似模板;和/或,当所述重建图像区域搜索完毕之后,将满足匹配条件的预设数量个目标区域确定为与当前模板匹配的相似模板;
所述根据所匹配的相似模板确定所述当前模板对应的至少一个相似模板,包括:确定所匹配的相似模板与所述当前模板之间的模板代价,将满足预设模板条件的模板代价对应的所匹配的相似模板确定为所述当前模板对应的至少一个相似模板。
11.如权利要求4所述的方法,其特征在于,所述根据所述相似模板确定所述图像块的预测结果,包括:
根据对应分区的至少一个相似模板确定该分区的至少一个预测候选块;
根据所述图像块中各个分区的所述至少一个预测候选块确定所述图像块的预测结果。
12.如权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述图像块的初始当前模板;
将所述初始当前模板划分为所述图像块的第一分区对应的当前模板和/或所述图像块的第二分区对应的当前模板。
13.如权利要求1所述的方法,其特征在于,所述S1步骤,包括以下至少一项:
通过第一标志确定所述图像块的目标预测模式;
将最小率失真代价对应的预测模式确定为所述图像块的目标预测模式。
14.一种智能终端,其特征在于,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如权利要求1至13中任一项所述的图像处理方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的图像处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210832482.1A CN115002463B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、智能终端及存储介质 |
PCT/CN2023/095627 WO2024012054A1 (zh) | 2022-07-15 | 2023-05-22 | 图像处理方法、智能终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210832482.1A CN115002463B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、智能终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115002463A true CN115002463A (zh) | 2022-09-02 |
CN115002463B CN115002463B (zh) | 2023-01-13 |
Family
ID=83022180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210832482.1A Active CN115002463B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、智能终端及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115002463B (zh) |
WO (1) | WO2024012054A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116909718A (zh) * | 2023-09-13 | 2023-10-20 | 北京谷器数据科技有限公司 | 一种基于线程等待和异步报工的并行计算方法 |
WO2024012054A1 (zh) * | 2022-07-15 | 2024-01-18 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130208794A1 (en) * | 2011-04-21 | 2013-08-15 | Industry-University Cooperation Foundation Hanyang University | Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering |
US20170134726A1 (en) * | 2014-03-31 | 2017-05-11 | Intellectual Discovery Co., Ltd. | Template-matching-based method and apparatus for encoding and decoding intra picture |
WO2021015581A1 (ko) * | 2019-07-23 | 2021-01-28 | 한국전자통신연구원 | 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
CN112291558A (zh) * | 2019-07-23 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113596475A (zh) * | 2021-06-24 | 2021-11-02 | 浙江大华技术股份有限公司 | 图像/视频编码方法、装置、系统及计算机可读存储介质 |
WO2022063729A1 (en) * | 2020-09-28 | 2022-03-31 | Interdigital Vc Holdings France, Sas | Template matching prediction for versatile video coding |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019228660A1 (en) * | 2018-06-01 | 2019-12-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video codec using template matching prediction |
CN111246212B (zh) * | 2020-02-21 | 2022-06-03 | 北京大学 | 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端 |
WO2021196235A1 (zh) * | 2020-04-03 | 2021-10-07 | Oppo广东移动通信有限公司 | 帧间预测方法、编码器、解码器及存储介质 |
KR20220089685A (ko) * | 2020-12-21 | 2022-06-28 | 한국전자통신연구원 | 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
CN114598880B (zh) * | 2022-05-07 | 2022-09-16 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
CN115002463B (zh) * | 2022-07-15 | 2023-01-13 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
-
2022
- 2022-07-15 CN CN202210832482.1A patent/CN115002463B/zh active Active
-
2023
- 2023-05-22 WO PCT/CN2023/095627 patent/WO2024012054A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130208794A1 (en) * | 2011-04-21 | 2013-08-15 | Industry-University Cooperation Foundation Hanyang University | Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering |
US20170134726A1 (en) * | 2014-03-31 | 2017-05-11 | Intellectual Discovery Co., Ltd. | Template-matching-based method and apparatus for encoding and decoding intra picture |
WO2021015581A1 (ko) * | 2019-07-23 | 2021-01-28 | 한국전자통신연구원 | 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
CN112291558A (zh) * | 2019-07-23 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
WO2022063729A1 (en) * | 2020-09-28 | 2022-03-31 | Interdigital Vc Holdings France, Sas | Template matching prediction for versatile video coding |
CN113596475A (zh) * | 2021-06-24 | 2021-11-02 | 浙江大华技术股份有限公司 | 图像/视频编码方法、装置、系统及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024012054A1 (zh) * | 2022-07-15 | 2024-01-18 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
CN116909718A (zh) * | 2023-09-13 | 2023-10-20 | 北京谷器数据科技有限公司 | 一种基于线程等待和异步报工的并行计算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115002463B (zh) | 2023-01-13 |
WO2024012054A1 (zh) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115002463B (zh) | 图像处理方法、智能终端及存储介质 | |
CN112822491B (zh) | 一种图像数据的编码、解码方法及装置 | |
CN114598880B (zh) | 图像处理方法、智能终端及存储介质 | |
US10986332B2 (en) | Prediction mode selection method, video encoding device, and storage medium | |
CN114422781B (zh) | 图像处理方法、智能终端及存储介质 | |
CN115988206B (zh) | 图像处理方法、处理设备及存储介质 | |
WO2019169997A1 (zh) | 视频运动估计方法、装置、终端及存储介质 | |
CN115834897B (zh) | 处理方法、处理设备及存储介质 | |
CN109151477B (zh) | 一种图像数据的编码、解码方法及装置 | |
CN116668704B (zh) | 处理方法、处理设备及存储介质 | |
CN116456102B (zh) | 图像处理方法、处理设备及存储介质 | |
US10827198B2 (en) | Motion estimation method, apparatus, and storage medium | |
CN115379214B (zh) | 图像处理方法、智能终端及存储介质 | |
CN116847088B (zh) | 图像处理方法、处理设备及存储介质 | |
CN115955565B (zh) | 处理方法、处理设备及存储介质 | |
CN117176959B (zh) | 处理方法、处理设备及存储介质 | |
CN116095322B (zh) | 图像处理方法、处理设备及存储介质 | |
CN115422986B (zh) | 处理方法、处理设备及存储介质 | |
CN110213593B (zh) | 一种运动矢量的确定方法、编码压缩方法和相关装置 | |
CN117597930A (zh) | 图像处理方法、移动终端及存储介质 | |
CN111654708A (zh) | 一种运动矢量获取方法、装置及电子设备 | |
CN115802031A (zh) | 处理方法、处理设备及存储介质 | |
CN115205323A (zh) | 一种前景图像的提取方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |