CN115955565A - 处理方法、处理设备及存储介质 - Google Patents
处理方法、处理设备及存储介质 Download PDFInfo
- Publication number
- CN115955565A CN115955565A CN202310246090.1A CN202310246090A CN115955565A CN 115955565 A CN115955565 A CN 115955565A CN 202310246090 A CN202310246090 A CN 202310246090A CN 115955565 A CN115955565 A CN 115955565A
- Authority
- CN
- China
- Prior art keywords
- prediction
- block
- area
- region
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出了一种处理方法、处理设备及存储介质,处理方法可应用于处理设备,包括以下步骤:将编码块划分为至少一目标区域;对所述目标区域进行预测,确定或生成编码块的预测块。本申请技术方案可以提高视频编解码预测精度和/或效率。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种处理方法、处理设备及存储介质。
背景技术
现有高效率视频编码标准协议(H.266/VVC)提出了一种视频帧的编码技术,以实现在不显著提高计算复杂度的情况下提高编码性能。
在构思及实现本申请过程中,发明人发现至少存在如下问题:在进行视频帧的编解码时,协议将每个帧划分为不同的块,并进行预测处理,再进行编解码处理,但是划分的块存在局限性,或者预测方式存在局限性,导致在非竖直或非水平物体边缘的情形下,其预测处理的预测精度低,降低了编解码效率。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种处理方法、处理设备及存储介质,旨在解决如何提高视频编解码预测精度和/或效率的技术问题。
本申请提供一种处理方法,可应用于处理设备(如智能终端或服务器等),包括步骤:
S10:将编码块划分为至少一目标区域;
S20:对所述目标区域进行预测,确定或生成编码块的预测块。
可选地,所述目标区域中包含一预设区域。
可选地,所述步骤S10,包括以下至少一项:
在编码块内确定或生成至少一条分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
在编码块内选择至少一个位置点作为分割点,并以分割点为起点向所述编码块的边延伸至少两条不重合的分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
将编码块划分为包括至少一个由至少两个非预设区域组成的预设区域。
可选地,所述步骤S20包括:
对每个目标区域进行预测,确定或生成至少一个预测区域;
合并所有所述预测区域,确定或生成编码块的预测块。
可选地,所述对每个目标区域进行预测,包括以下至少一项:
根据至少一种预测模式对每个目标区域进行预测;
对每个目标区域进行帧间预测和/或帧内预测;
根据至少一种预测模式和每个区域对应的预测顺序对每个目标区域进行预测。
本申请还提供一种处理方法,可应用于处理设备(如智能终端或服务器等),包括步骤:
S100:根据块划分模式确定或生成至少一个目标区域;
S200:对所述目标区域进行重构,确定或生成解码块。
可选地,所述目标区域包含一预设区域,所述步骤S100,包括以下至少一项:
在解码块对应的区域内确定或生成至少一条分割线,根据所述分割线将所述区域划分为至少一目标区域;
在解码块对应的区域内选择至少一个位置点为分割点,并以分割点为起点向所述区域的边延伸至少两条不重合的分割线,根据所述分割线将所述区域划分为至少一目标区域;
将解码块对应的区域划分为包括至少一个由至少两个非预设区域组成的预设区域;
根据至少一种块划分模式确定或生成至少一个目标区域;
确定或生成每个块划分模式对应的目标区域。
可选地,所述步骤S200,包括:
对所述目标区域进行重构,确定或生成预测区域,合并每个预测区域,确定或生成解码块。
可选地,对所述目标区域进行重构的方式,包括以下至少一项:
根据预测模式对每个目标区域进行重构;
根据帧间预测和/或帧内预测对每个目标区域进行重构;
根据至少一种预测模式和每个区域对应的预测顺序对每个区域进行重构。
本申请还提供一种处理装置,包括:
编码模块,用于将编码块划分为至少一目标区域;对所述目标区域进行预测,确定或生成编码块的预测块。
本申请还提供一种处理装置,包括:
解码模块,用于根据块划分模式确定或生成至少一个目标区域;对所述目标区域进行重构,确定或生成解码块。
本申请还提供一种处理设备,包括:存储器、处理器,其中,所述存储器上存储有处理程序,所述处理程序被所述处理器执行时实现如上任一所述处理方法的步骤,本申请中提及的处理设备,可以是智能终端,也可以是服务器等。
本申请还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述处理方法的步骤。
如上所述,本申请的处理方法,可应用于处理设备,包括步骤:将编码块划分为至少一目标区域;对所述目标区域进行预测,确定或生成编码块的预测块。通过上述技术方案,可以实现在对编码块进行编码前,对编码块划分后的目标区域进行帧内预测和/或帧间预测,以确定或生成更加精准的预测块,实现了后续根据预测块进行编码时,编码效率得到显著提升,并且还包括步骤:根据块划分模式确定或生成至少一个目标区域;对所述目标区域进行重构,确定或生成解码块。可以实现在解码前,对根据块划分模式确定或生成的目标区域进行重构,以便更加精准的恢复编码时的编码块,即解码端的预测块,实现了后续根据得到的预测块确定或生成解码块时,解码效率得到显著提升。解决了如何提高视频编解码预测精度和/或效率的问题,进而提升了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络系统架构图;
图3是根据第一实施例示出的处理方法的流程示意图;
图4是根据第一实施例示出的处理方法中基于块划分的块预测框架示意图;
图5是根据第一实施例示出的处理方法中编码场景示意图;
图6是根据第一实施例示出的处理方法中基于几何角度α的块划分示意图;
图7是根据第一实施例示出的处理方法中块划分的多种偏移量d示意图;
图8是根据第一实施例示出的处理方法中以一划分点进行块划分的示意图;
图9是根据第一实施例示出的处理方法中帧内预测示意图;
图10是根据第一实施例示出的处理方法中权重示意图;
图11是根据第一实施例示出的处理方法中另一帧内预测示意图;
图12是根据第一实施例示出的处理方法中帧内预测和帧间预测示意图;
图13是根据第一实施例示出的处理方法中非长方形非斜线划分示意图;
图14是根据第一实施例示出的处理方法中另一非长方形非斜线划分示意图;
图15是根据第一实施例示出的处理方法中又一非长方形非斜线划分示意图;
图16是根据第二实施例示出的处理方法的流程示意图;
图17是根据第三实施例示出的处理方法的流程示意图;
图18是根据第四实施例示出的处理方法的流程示意图;
图19是根据第五实施例示出的处理方法的流程示意图;
图20是根据处理装置示出的编码模块示意图;
图21是根据处理装置示出的解码模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
本申请中提及的处理设备,可以是智能终端,也可以是服务器等,智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括: RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;可选地,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM (Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access, 宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing- Long Term Evolution,频分双工长期演进)、TDD-LTE (Time DivisionDuplexing- Long Term Evolution,分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode, OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201, E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031, HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033, SGW(Serving GateWay,服务网关)2034, PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络系统(如6G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络系统,提出本申请各个实施例。
第一实施例
参照图3,图3是根据第一实施例示出的处理方法的流程示意图,本申请实施例的处理方法可应用于处理设备(如智能终端或服务器),包括以下步骤:
S10:将编码块划分为至少一目标区域,可选地,所述目标区域中包含一预设区域;
S20:对所述目标区域进行预测,确定或生成编码块的预测块。
在本实施例中,处理设备可以先确定待进行预测的编码块。编码块可以为一帧图像,还可以是一帧图像进行切割后的图像块,在此不做限制。可选地,处理设备可以是智能终端,如手机、电脑等,也可以是服务器,还可以是云服务器。
可选地,处理设备可以提前存储各个图像和视频,并可以在各个图像中选择一个待进行预测的图像作为编码块,或者将选择的图像进行切割,并将切割后的图像块作为编码块。或者在视频的视频序列中抽取一帧图像作为编码块,或者将抽取的一帧图像进行切割处理,得到的图像块作为编码块。或者,处理设备接收输入的图像或视频,并在图像或视频中抽取一帧图像作为编码块,或者将抽取的一帧图像进行切割处理,得到的图像块作为编码块。或者,处理设备接收由其它网络设备发送的图像或视频,并在图像或视频中抽取一帧图像作为编码块,或者将抽取的一帧图像进行切割处理,得到的图像块作为编码块,此时处理设备预先与所处移动通信系统网络侧中的网络设备建立通信连接,从而,网络设备即可通过该通信连接向该终端设备下发图像或视频,该终端设备即接收得到图像或视频。
可选地,通过制定划分规则将待编码的编码块划分为至少一个非长方形区域。并通过分别对这些区域进行帧内预测和/或帧间预测,并合并最终的结果,得到更加精确的块预测结果,即预测块,然后每一个图像块与预测块相减得到残差块,残差块经过变换和量化处理,再由熵编码器进行编码,并发送至解码端。
可选地,对于步骤S10:将编码块划分为至少一目标区域,可选地,所述目标区域中包含一预设区域。
可选地,在处理设备获取到编码块后,可以对编码块进行划分处理,在进行划分时,可以根据提前设置的块划分模式将编码块划分为至少一目标区域,且目标区域中包括至少一预设区域。可选地,块划分模式可以是提前设置的划分规则,且根据划分规则能将编码块划分为至少一目标区域,且目标区域中包含至少一预设区域,可选地,目标区域可以不局限于预设区域,也可以包含非预设区域。
可选地,预设区域可以包括非长方形区域。可选地,非长方形区域可以包括三角形区域、非长方形四边形区域、五边形区域或者由至少两个长方形区域组成的非长方形多边形区域等。此外,非长方形区域还可以是非规则形状的区域,在此不做限制。
可选地,目标区域可以是待进行预测的区域。在本实施例中,可以选择将编码块划分后形成的所有区域都作为目标区域,也可以在各个区域中选择一个或多个作为目标区域,并且选择的目标区域需要包括至少一预设区域。
可选地,在对编码块进行划分时,可以对编码块进行至少一次划分,并且每次进行划分时所选择的块划分模式可以相同,也可以不同。可选地,在对编码块进行多次划分时,可以选择几何划分方式与块划分模式相结合的方式进行划分,直至最终划分得到的区域是包括至少一目标区域,且目标区域包括至少一预设区域。几何划分方式可以包括通过几何定位的分割线对编码块进行划分。
可选地,假设存在10种块划分模式,编码端可以对所有的块划分模式或者其中几种块划分模式进行选择,并根据选择的块划分模式对编码块进行划分,得到至少一目标区域,且目标区域中包含至少一预设区域。并且在进行块划分模式选择时,可以是对选择的块划分模式进行计算RDCost值(率失真代价值),然后在计算的各个RDCost值中选择最小的RDCost值,并将最小的RDCost值对应的块划分模式作为选择的块划分模式,再根据选择的块划分模式对编码块进行划分,得到至少一目标区域,且目标区域中包含至少一预设区域。
可选地,假设需要将编码块划分为三个及以上区域,可以对编码块实施两次以上划分。第一次将编码块划分为两个区域,第二次对其中一个区域进行划分,将其进一步划分为两个区域。并且划分的三个区域中至少有一个预设区域,如非长方形区域。
可选地,对于步骤S20:对所述目标区域进行预测,确定或生成编码块的预测块。
可选地,当将编码块划分为至少一目标区域后,就可以对目标区域进行预测。比如,通过预测模块对目标区域进行预测,或者通过提前设置的预测模式对目标区域进行预测。并根据对目标区域预测的预测结果确定或生成编码块的预测块。
可选地,还可以是对编码块划分后的所有区域进行预测,所有区域包括目标区域。并对所有区域预测的预测结果进行合并,将合并结果作为编码块的预测块。
可选地,如图4所示,图4中的D为原始待预测的像素块,即编码块。D1为由D分割出的第一个区域。D2为由D分割出的第二个区域。Dn为由D分割出的第n个区域。为对D1进行预测的预测结果。为对D2进行预测的预测结果。为对Dn进行预测的预测结果。为对D进行预测的预测结果。假设编码块为D,通过块划分模块将D划分为n个非长方形区域,即,。块划分模块可以包括块划分模式,如基于几何直线的块划分模式,也可以包括其他可选的块划分模式。其对编码块的分割结果为:
确定或生成的区域为,将其输入进后续的“区域预测”模块。该模块可以包含至少一种预测模式,例如帧内预测、帧间预测等。可选地,帧内预测可以为角度预测模式、直流预测模式、平面预测模式、帧内拷贝(Intra-Block Copy, IBC)、矩阵加权预测技术等。帧间预测可以包括空域MV预测、时域MV预测、帧间和帧内联合预测等。可选地,图4中的“模式i”、“模式j”和“模式k”既可以是某帧间预测模式,也可以是某帧间预测模式。“区域预测”模块将输出预测结果;分别对应为。“区域合并”模块可以认为是“块划分”的逆过程,其将预测的区域拼接成。也就是:
可选地,请参照图5,在图5的编码场景中,待预测的编码块为D,其尺寸为25x32像素,可以为任意长方形形状(包括正方形),并且编码块D的上方邻居信息为B(包括有至少一行像素)。编码块D的左侧邻居信息为C(包括有至少一列像素)。编码块D的左上邻居信息为A(包括有至少一个像素)。可选地,如图5所示,编码块D还有两个与之对应的参考帧RF1和RF2。需要说明的是,编码块D的邻居像素块A、B、C,并不是一定需要存在的。同理,参考帧RF1和参考帧RF2也不是一定需要存在的。可选地,假设存在A、B、C、RF1和RF2中的至少一个时,对编码块D进行分割、预测,以得到编码块D对应的预测块。
可选地,在对编码块D进行分割划分时,可以如图6所示,以编码块D对应的长方形D的中心为圆心,将360度按照α等分,得到180/α条分割直线。例如,在α=22.5时,能得到180/22.5=8条分割直线,并基于此对编码块D进行分割划分。
可选地,还可以基于图6中计算得到的分割直线,从中任意选择一条分割直线,将其进行等间隔上下偏移d。则该分割直线可以衍生出多条分割直线。如图7所示,该条分割直线经过等间隔上下偏移d=5.75像素,得到7种不同的分割直线,并基于此对编码块D进行分割划分。
可选地,还可以对图6中所有的分割直线进行等间隔上下偏移d。因此在α=22.5,d=5.75时,可以得到8*7=56条分割直线。每一条分割直线都可以将编码块D划分为至少两个区域。此时可以根据56条分割直线对编码块进行划分。
可选地,如图8所示,以编码块D对应的长方形D的任一点为线段的一个端点,并将360度按照α等分,得到360/α条线段。在α=22.5时,得到360/22.5=16条分割线段。然后取图7中的n个线段,将长方形D分割为n+1个非长方形区域。
可选地,如图9所示,假设编码块D的邻居信息包括邻居像素块A、B、C。若以一条中斜线(如图9中的虚线)作为分割线对长方形D进行划分,得到D1和D2两个区域。并且在图9中,X1表示与D1块匹配的帧内预测模式/方向,对D执行帧内预测模式X1,得到。该帧内预测模式X1可以为但不限于如下帧内预测模式,Planar模式、DC模式及65个角度预测模式;跨分量预测模式;基于神经网络的帧内预测等。类似于X1,X2表示与D2块匹配的帧内预测模式/方向,对D执行帧内预测模式X2,得到。此时可以利用权重矩阵合并和,得到对D的预测结果。合并公式可以为:
可选地,如图11所示,假设编码块D的邻居信息包括邻居像素块A、B、C。若以长方形D中的一个划分点出发的三条线段(如图11中的虚线)分割为D1、D2和D3三个区域。在图11中,X1表示与D1块匹配的帧内预测模式/方向,对D执行帧内预测模式X1,得到。该帧内预测模式X1可以为但不限于如下帧内预测模式,Planar模式、DC模式及65个角度预测模式;跨分量预测模式;基于神经网络的帧内预测等。类似于X1,X2表示与D2块匹配的帧内预测模式/方向,对D执行帧内预测模式X2,得到。类似于X1和X2,X3表示与D3块匹配的帧内预测模式/方向,对D执行帧内预测模式X3,得到。
可选地,如图12所示,待预测的编码块为D,可以为任意长方形形状(包括正方形),并且编码块D的上方邻居信息为B(包括有至少一行像素)。编码块D的左侧邻居信息为C(包括有至少一列像素)。编码块D的左上邻居信息为A(包括有至少一个像素)。可选地,如图12所示,编码块D还有两个与之对应的参考帧RF1和RF2。若以长方形D中的一个划分点出发的三条线段分割为D1、D2和D3三个区域。可以对D执行MV1帧间预测,得到,运动向量(Motion Vector, MV)1代表与D1块匹配的帧间预测运动向量。类似于MV1,MV2代表与D2块匹配的帧间预测运动向量,对D执行MV2帧间预测,得到。X3代表与D3块匹配的帧内预测模式/方向,对D执行帧内预测模式X3,得到。
可选地,如图13所示,待预测的编码块为D,可以为任意长方形形状(包括正方形),并且编码块D的上方邻居信息为B(包括有至少一行像素)。编码块D的左侧邻居信息为C(包括有至少一列像素)。编码块D的左上邻居信息为A(包括有至少一个像素)。可选地,如图13所示,编码块D还有两个与之对应的参考帧RF1和RF2。在图13中,将编码块D划分为两个区域,且两个区域分别为D1和D2。运动向量MV1表示与D1块匹配的帧间预测运动向量,对D执行MV1预测,得到。X2表示与D2块匹配的帧内预测模式/方向,对D执行帧内预测模式X2,得到。然后再利用权重矩阵,合并和,得到对D的预测结果。合并公式可以为:
可选地,如图14所示,待预测的编码块为D,可以为任意长方形形状(包括正方形),并且编码块D的上方邻居信息为B(包括有至少一行像素)。编码块D的左侧邻居信息为C(包括有至少一列像素)。编码块D的左上邻居信息为A(包括有至少一个像素)。可选地,如图14所示,编码块D还有两个与之对应的参考帧RF1和RF2。在图14中,将编码块D划分为两个区域,且两个区域分别为D1和D2。运动向量MV1表示与D1块匹配的帧间预测运动向量,对D执行MV1预测,得到。X2表示与D2块匹配的帧内预测模式/方向,对D执行帧内预测模式X2,得到。然后再利用权重矩阵,合并和,得到对D的预测结果。合并公式可以为:
可选地,如图15所示,待预测的编码块为D,可以为任意长方形形状(包括正方形),并且编码块D的上方邻居信息为B(包括有至少一行像素)。编码块D的左侧邻居信息为C(包括有至少一列像素)。编码块D的左上邻居信息为A(包括有至少一个像素)。可选地,如图15所示,编码块D还有两个与之对应的参考帧RF1和RF2。将编码块D对应的长方形区域划分为三个非长方形区域,分别为D1、D2和D3。运动向量MV1表示与D1块匹配的帧间预测运动向量,对编码块D执行MV1帧间预测,得到。MV2代表与D2块匹配的帧间预测运动向量,对编码块D执行MV2帧间预测,得到。X3表示与D3块匹配的帧内预测模式/方向,对编码块D执行帧内预测模式X3,得到。此时可以利用权重矩阵合并、和,得到对D的预测结果。合并公式可以为:
在本实施例中,通过上述技术方案,可以实现在对编码块进行编码前,对编码块划分后的目标区域进行帧内预测和/或帧间预测,以确定或生成更加精准的预测块,实现了后续根据预测块进行编码时,编码效率得到显著提升,进而提升了用户体验。
第二实施例,请参照图16,图16为本申请处理方法第一实施例中步骤S10的具体流程示意图。在本实施例中,基于任一上述实施例,处理方法的步骤S10,可以包括以下至少一项:
方式一:在编码块内确定或生成至少一条分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
可选地,非预设区域可以包括长方形区域(包括正方形区域)。预设区域可以包括非长方形区域。目标区域可以是对编码块进行划分后产生的待进行预测的区域。
可选地,在对编码块进行划分时,可以先在编码块内确定或生成至少一条分割线。并且确定或生成至少一条分割线的方式可以是在编码块内随机生成至少一条分割线。还可以是基于预设规则在编码块内生成至少一条分割线。还可以是根据编码块内的边缘线来生成至少一条分割线。分割线可以是直线,可以是线段,可以是曲线等。
可选地,在需要对非预设区域进行多次划分时,可以先确定所有的分割线,以及每个分割线的分割顺序,然后依照分割顺序选择各个分割线对编码块进行划分。还可以是在每次进行划分前先进行分割线的确定,也就是确定一条分割线,就根据分割线对编码块进行划分,然后再确定另一条分割线,根据另一条分割线对划分后的非预设区域再次进行划分处理,直至达到一定的划分次数,且划分后的区域中存在有至少一预设区域。
可选地,在确定至少一条分割线之后,可以通过分割线对编码块进行划分,以得到至少一个目标区域,且目标区域中包含一预设区域。例如,假设非预设区域为编码块对应的长方形区域,此时可以以长方形区域的两个对角顶点为端点进行连接形成分割线,并通过分割线将长方形区域划分为两个三角形区域。此时预设区域可以是三角形区域,目标区域可以是两个三角形区域。
方式二:在编码块内选择至少一个位置点作为分割点,并以分割点为起点向所述编码块的边延伸至少两条不重合的分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
可选地,在对编码块进行划分时,可以选择在编码块内选择至少一个为位置点,以便根据位置点来生成分割线。可选地,在选择位置点时,可以在编码块内的任意位置进行选择,如编码块内的中心位置,或者边缘位置等。并且选择的位置点的数量可以是一个也可以是多个。
可选地,在选择至少一个位置点之后,可以将选择的位置点作为分割点,并以分割点为起点向编码块的边延伸至少两条不重合的分割线。可选地,在选择的位置点为编码块内的任意一点时,可以以选择的位置点为分割点,并以分割点为起点向编码块的边延伸至少一条分割线,再以选择的位置点为圆心,将360度按照一定角度进行等分,以确定等分角度,再以选择的位置点为起点,并根据分割线和等分角度在编码块内生成多条分割线。
可选地,在选择的位置点为编码块的边缘位置点,可以将选择的位置点作为分割点,并以分割点为起点延伸至少一条分割线到另一个边缘位置点。例如,假设编码块对应的非预设区域为长方形区域,并且长方形区域的四条边分别为a、b、c、d。若选择的位置点在边a上的任意一点,则将选择的位置点为分割点(如中心点),并以分割点为起点延伸至边b上的任意一点,和/或延伸至边c上的任意一点,和/或延伸至边d上的任意一点,形成至少一条分割线。
可选地,在确定至少一条分割线之后,就可以根据分割线对编码块进行划分,以确定或得到至少一目标区域。并且在对编码块进行划分时,可以先在编码块中选择至少一个位置点作为分割点,并以分割点为起点向编码块的边延伸至少两条不重合的分割线,并根据分割线对编码块进行划分,并在划分后的所有区域中至少选择一个区域再次执行选择至少一个位置点作为分割点,并以分割点为起点向所述非预设区域的边延伸至少两条不重合的分割线的步骤,直至不再进行划分处理。
方式三:将编码块划分为包括至少一个由至少两个非预设区域组成的预设区域。
可选地,在对编码块进行划分时,先确定编码块对应的非预设区域,如长方形区域,此时可以复制长方形区域,并对复制的长方形区域的长和宽进行一定比例的缩小处理,长方形的长和宽的缩小比例可以相同也可以不同,得到缩小后的长方形区域。可选地,可以对复制的长方形区域进行多次缩小处理,并且每次缩小处理的比例可以不一定相同。然后将多个缩小后的长方形区域进行拼接,得到拼接区域。可选地,拼接区域的面积小于长方形区域的面积,且拼接区域可以是非长方形区域。然后将拼接区域放置在长方形区域上,此时长方形区域完全覆盖了拼接区域。可以确定长方形区域中与拼接区域的所有边重合的线段,并将重合的线段作为分割线,再根据分割线对长方形区域进行划分,得到包括有至少一个由至少两个长方形区域组成的非长方形区域,并将组成的非长方形区域作为预设区域。
可选地,在将编码块对应的非预设区域划分为包括至少一个由至少两个非预设区域组成的预设区域时,可以先确定至少两个非预设区域,如两个尺寸大小不一致的长方形,然后将两个非预设区域组成一个预设区域,如将两个尺寸大小不一致的长方形组成非长方形,如凸形。并根据预设区域对编码块对应的非预设区域进行划分,如可以按照预设区域的形状进行划分,以便将编码块对应的非预设区域划分为包括至少一个由至少两个非预设区域组成的预设区域。
可选地,还可以将编码块对应的长方形区域按照预设规则划分为至少两个区域,可选地,至少一个区域由至少两个长方形区域组成的非长方形区域。预设规则可以是提前设置的划分规则。
在本实施例中,通过根据编码块对应的非预设区域内的至少一条分割线将非预设区域划分为至少一目标区域,目标区域包含一预设区域,或者,通过以编码块内任一个位置点为分割点,并以分割点为起点向编码块的边延伸至少两条不重合的分割线,再根据分割线将编码块划分为至少一目标区域,且目标区域包含一预设区域,或者,将编码块划分为包括至少一个由至少两个非预设区域组成的预设区域,从而可以实现通过多种方式来对编码块进行划分,以保障获取到的目标区域的有效性。
第三实施例,请参照图17,图17为本申请处理方法第一实施例中步骤S20的具体流程示意图。在本实施例中,基于任一上述实施例,处理方法的步骤S20,可以包括:
对每个目标区域进行预测,确定或生成至少一个预测区域;
合并所有所述预测区域,确定或生成编码块的预测块。
在本实施例中,在对编码块进行划分,得到目标区域后,可以根据目标区域进行预测,以确定或生成编码块的预测块。可选地,在确定或生成至少一个目标区域后,可以选择一个或多个目标区域进行预测。
可选地,在对目标区域进行预测时,至少需要对预设区域进行预测。可选地,可以对每个目标区域进行预测,以确定或生成至少一个预测区域。可选地目标区域可以包括编码块划分后的至少一个具有至少一预设区域的区域。
可选地,在对目标区域进行预测时,可以按照提前设置的预测规则对每个目标区域进行预测,以确定或者生成至少一个预测区域。
可选地,预测规则可以为帧间预测和/或帧内预测,也可以为其他类型的用于进行预测的规则。
可选地,在对多个目标区域进行预测时,可以针对每个目标区域选择一个与之对应的预测规则进行预测,选择的预测规则可以相同也可以不同。例如,存在三个目标区域,前两个目标区域选择的帧内预测,最后一个目标区域选择的帧间预测。
可选地,对每个目标区域进行预测,包括以下至少一项:
方式一:根据至少一种预测模式对每个目标区域进行预测;
可选地,在对每个目标区域进行预测时,可以选择至少一种预测模式对每个目标区域进行预测。可选地,预测模式可以为角度预测模式、直流预测模式、平面预测模式、基于子块的帧间预测模式等,以及用户基于自身需求设置的预测模式,具体地,在此不做限制。
可选地,在对每个目标区域进行预测之前,需要先在提前设置的多个预测模式中选择至少一个预测模式。并且在进行预测模式选择时,可以根据待进行预测的目标区域来在多个预测模式中选择至少一个预测模式。然后再根据选择的至少一个预测模式对每个目标区域进行预测。并且在对一个目标区域进行预测时,可以同时选择多种预测模式共同对一个目标区域进行预测,也可以只选择一种预测模式对一个目标区域进行预测。例如,假设存在三个目标区域需要进行预测,可以针对第一个目标区域选择一种预测模式进行预测,针对第二个目标区域选择两种预测模式进行预测,针对第三个目标区域选择三种预测模式进行预测。
方式二:对每个目标区域进行帧间预测和/或帧内预测;
可选地,在确定编码块划分后形成的目标区域之后,可以对每个目标区域进行帧间预测,也可以进行帧内预测,还可以同时进行帧间预测和帧内预测。
可选地,帧内预测可以是利用图像的空间相关性,以此空间相关性为依据,通过一些邻居图像块的块信息来预测当前编码块。并且块信息是编码之后生成的重构块,去除空间信息的冗余来实现数据的压缩。帧内预测的流程可以获取待预测的编码块的已重构邻居信息(例如当前编码块的左侧、上侧、左上侧、右上侧、右下侧像素等),然后根据已重构邻居信息进行计算,并对计算结果进行滤波处理,以得到预测结果。
可选地,帧间预测可以是通过将已编码的图像作为当前图像的参考图像,来获得当前图像的各个块在参考图像中的运动信息,可以通过运动矢量和参考帧索引表示。并且参考图像可以是前向、后向或者双向的,并且获取当前块的运动信息的过程可以是从邻居块直接继承运动信息,如通过运动估计在参考图像中搜索匹配的块以得到对应的运动信息,再通过运动补偿过程得到当前块的预测值,也就是预测结果。
可选地,帧内预测可以包含角度预测模式、直流预测模式、平面预测模式、帧内拷贝(Intra-Block Copy, IBC)、矩阵加权预测技术等。帧间预测可以包括空域MV预测、时域MV预测、帧间加权预测、帧间和帧内联合预测等。
方式三:根据至少一种预测模式和每个区域对应的预测顺序对每个目标区域进行预测。
可选地,在对每个目标区域进行预测之前,需要先提前获取每个目标区域对应的至少一种预测模式,并确定获取的至少一种预测模式进行预测时的预测顺序。
可选地,在进行预测模式选择时,可以先确定提前设置的至少一个预测模式,并根据待进行预测的目标区域遍历计算至少一个预测模式对应的RDCost值,并在各个RDCost值中选择最小的RDCost值,及其对应的预测模式,并根据选择的预测模式对待进行预测的目标区域进行预测。可选地,若需要选择多个预测模式共同对待进行预测的目标区域进行预测时,也可以根据RDCost值在各个预测模式中进行选择。
可选地,在确定预测顺序时,可以根据每个目标区域对应的大小、或者每个目标区域对应的位置来确定进行预测的预测顺序。并在确定预测顺序以及每个目标区域对应的至少一种预测模式之后,就可以进行每个目标区域的预测。
可选地,对每个目标区域进行预测之后,会得到与之对应的预测区域。预测区域可以是对目标区域进行预测之后产生的预测结果。并且每个进行过预测的目标区域都有与之对应的预测区域。当获取到所有的预测区域之后,就可以合并各个预测区域,以确定或生成编码块的预测块。
可选地,在对各个预测区域进行合并处理时,可以是基于权重的相加处理,比如针对每个预测区域设置不同的权重比例,再根据每个预测区域对应的权重比例对每个预测区域进行相加处理,以确定或生成编码块的预测块。或者是进行各个预测区域的预测像素值的拼接,以确定或生成编码块的预测块。
在本实施例中,通过根据至少一种预测模式对每个目标区域进行预测,或者对每个目标区域进行帧间预测和/或帧内预测,或者根据至少一种预测模式和每个区域对应的预测顺序对每个目标区域进行预测,以确定或生成至少一个预测区域,再合并所有预测区域,确定或生成编码块的预测块,从而可以提高获取到的预测块的精度。
第四实施例
请参照图18,图18为本申请处理方法第四实施例的流程示意图。在本实施例中,本申请处理方法可应用于处理设备(如服务器或智能终端),包括以下步骤:
S100:根据块划分模式确定或生成至少一个目标区域;
可选地,在处理设备为解码端时,可以从码流中解码得到至少一种块划分模式,再根据块划分模式确定或生成至少一个目标区域。可选地,可以从码流中解码得到多种块划分模式,或者多种块划分模式和预测顺序。并且在解码端通过码流解码得到块划分模式后,会确定与之对应的至少一个目标区域。目标区域可以是解码端基于块划分模式在非预设区域内确定或生成的区域。
可选地,所述目标区域包含一预设区域,所述步骤S100,包括以下至少一项:
方式一:在解码块对应的区域内确定或生成至少一条分割线,根据所述分割线将所述区域划分为至少一目标区域;
可选地,非预设区域可以包括长方形区域(包括正方形区域)。预设区域可以包括非长方形区域。可选地,非长方形区域可以包括三角形区域、非长方形四边形区域、五边形区域或者由至少两个长方形区域组成的非长方形多边形区域等。此外,非长方形区域还可以是非规则形状的区域,在此不做限制。
在解码端解码得到块划分模式后,可以根据块划分模式在解码块对应的区域内确定或生成至少一条分割线。可选地,解码块对应的区域可以是非预设区域。并且确定或生成至少一条分割线的方式可以是在解码块对应的区域内随机生成至少一条分割线。还可以是基于预设规则在解码块对应的区域内生成至少一条分割线。还可以是根据解码块对应的区域内的边缘线来生成至少一条分割线。分割线可以是直线,可以是线段,可以是曲线等。
可选地,在需要对解码块对应的区域进行多次划分时,可以先确定所有的分割线,以及每个分割线的分割顺序,然后依照分割顺序选择各个分割线对解码块对应的区域进行划分。还可以是在每次进行划分前先进行分割线的确定,也就是确定一条分割线,就根据分割线对解码块对应的区域进行划分,然后再确定另一条分割线,根据另一条分割线对划分后的非预设区域再次进行划分处理,直至达到一定的划分次数,且划分后的区域包含预设区域。
可选地,在确定至少一条分割线之后,可以通过分割线对解码块对应的区域进行划分,以得到至少一个目标区域。例如,假设非预设区域为解码块对应的长方形区域,此时可以以长方形区域的两个对角顶点为端点进行连接形成分割线,并通过分割线将长方形区域划分为两个三角形区域。此时预设区域可以是三角形区域,目标区域可以是两个三角形区域。
方式二:在解码块对应的区域内选择至少一个位置点为分割点,并以分割点为起点向所述区域的边延伸至少两条不重合的分割线,根据所述分割线将所述区域划分为至少一目标区域;
可选地,可以选择在解码块对应的区域内选择至少一个位置点,以便根据位置点来生成分割线。可选地,在选择位置点时,可以在解码块对应的区域内的任意位置进行选择,如解码块对应的区域内的中心位置,或者边缘位置等。并且选择的位置点的数量可以是一个也可以是多个。
可选地,在选择至少一个位置点之后,可以将选择的位置点作为分割点,并以分割点为起点向解码块对应的区域的边延伸至少两条不重合的分割线。可选地,在选择的位置点为解码块对应的区域内的任意一点时,可以以选择的位置点为分割点,并以分割点为起点向解码块对应的区域的边延伸至少一条分割线,再以选择的位置点为圆心,将360度按照一定角度进行等分,以确定等分角度,再以选择的位置点为起点,并根据分割线和等分角度在解码块对应的区域内生成多条分割线。
可选地,在选择的位置点为解码块对应的区域的边缘位置点,可以将选择的位置点作为分割点,并以分割点为起点延伸至少一条分割线到另一个边缘位置点。例如,假设解码块对应的区域为长方形区域,并且长方形区域的四条边分别为a、b、c、d。若选择的位置点在边a上的任意一点,则将选择的位置点为分割点,并以分割点为起点延伸至边b上的任意一点,和/或延伸至边c上的任意一点,和/或延伸至边d上的任意一点,形成至少一条分割线。
可选地,在确定至少一条分割线之后,就可以根据分割线对解码块对应的区域进行划分,以确定或得到至少一个目标区域,且目标区域包含至少一预设区域。并且在对解码块对应的区域进行划分时,可以先在解码块对应的区域中选择至少一个位置点作为分割点,并以分割点为起点向所述解码块对应的区域的边延伸至少两条不重合的分割线,并根据分割线对解码块对应的区域进行划分,并在划分后的所有区域中至少选择一个区域再次执行选择至少一个位置点作为分割点,并以分割点为起点向所述区域的边延伸至少两条不重合的分割线的步骤,直至不再进行划分处理。
方式三:将解码块对应的区域划分为包括至少一个由至少两个非预设区域组成的预设区域;
可选地,在通过解码端解码得到解码块对应的区域,如长方形区域,此时可以复制长方形区域,并对复制的长方形区域的长和宽进行一定比例的缩小处理,得到缩小后的长方形区域。可选地,可以对复制的长方形区域进行多次缩小处理,并且每次缩小处理的比例可以不一定相同。然后将多个缩小后的长方形区域进行拼接,得到拼接区域。可选地,拼接区域的面积小于长方形区域的面积,且拼接区域可以是非长方形区域。然后将拼接区域放置在长方形区域上,此时长方形区域完全覆盖了拼接区域。可以确定长方形区域中与拼接区域的所有边重合的线段,并将重合的线段作为分割线,再根据分割线对长方形区域进行划分,得到包括有至少一个由至少两个长方形区域组成的非长方形区域,其中,目标区域可以包括组成的非长方形区域。
可选地,在将解码块对应的区域划分为包括至少一个由至少两个非预设区域组成的预设区域时,可以先确定至少两个非预设区域,如两个尺寸大小不一致的长方形,然后将两个非预设区域组成一个预设区域,如将两个尺寸大小不一致的长方形组成非长方形,如凸形。并根据预设区域对解码块对应的非预设区域进行划分,如可以按照预设区域的形状进行划分,以便将解码块对应的非预设区域划分为包括至少一个由至少两个非预设区域组成的预设区域。
方式四:根据至少一种块划分模式确定或生成至少一个目标区域;
可选地,在解码端通过码流解码得到至少一种块划分模式时,可以在解码端中直接确定编码端根据该块划分模式对编码块进行划分后得到的目标区域,并将其作为解码端中的目标区域。可选的,还可以是在块划分模式对应的所有区域中选择至少一个目标区域。
方式五:确定或生成每个块划分模式对应的目标区域。
可选地,在解码端通过码流解码得到至少一种块划分模式后,由于基于每种块划分模式生成或确定的目标区域的数量可能存在多个。因此需要在解码端确定或者生成每个块划分模式对应的目标区域。
S200:对所述目标区域进行重构,确定或生成解码块。
可选地,在解码端确定所有的目标区域后,就可以对各个目标区域进行重构处理,得到原编码块的预测块,然后再对预测块进行滤波等一系列处理,以确定或生成解码块。
在本实施例中,通过根据解码块对应的非预设区域内的至少一条分割线将非预设区域划分为包括至少一预设区域的至少一目标区域,或者,通过以解码块对应的非预设区域内任一个位置点为分割点,并以分割点为起点向非预设区域的边延伸至少两条不重合的分割线,再根据分割线将非预设区域划分为包括至少一预设区域的至少一目标区域,或者,将解码块对应的非预设区域划分为包括至少一个由至少两个非预设区域组成的预设区域的目标区域,或者,根据至少一种块划分模式确定或生成至少一个目标区域,或者,确定或生成每个块划分模式对应的目标区域,然后再对目标区域进行重构,确定或生成解码块,从而可以实现在解码前,对根据块划分模式确定或生成的目标区域分别进行重构,以便更加精准的恢复这些目标区域,再将这些恢复的目标区域合并,得到根据精准的编码时的编码块,即解码端的预测块,实现了后续根据得到的预测块确定或生成解码块时,解码效率得到显著提升,确定或生成的解码块也更加准确。
第五实施例,请参照图19,图19为本申请处理方法第四实施例中步骤S200的具体流程示意图。在本实施例中,基于任一上述实施例,处理方法的步骤S200,可以包括:
对所述目标区域进行重构,确定或生成预测区域,合并每个预测区域,确定或生成解码块。
可选地,在解码端确定各个目标区域之后,可以对每个目标区域进行重构处理,以确定或生成预测区域。并且在对目标区域进行重构处理时,可以是通过帧间预测和/或帧内预测,或者是其他预测模式进行。并且每个目标区域在完成重构处理后,至少会确定或生成一个预测区域,然后再合并所有的预测区域,得到原编码块的预测块,对预测块进行滤波等一系列处理,确定或生成解码块。
可选地,对所述目标区域进行重构的方式,包括以下至少一项:
方式一:根据预测模式对每个目标区域进行重构;
可选地,预测模式可以为角度预测模式、直流预测模式、平面预测模式、基于子块的帧间预测模式等,以及用户基于自身需求设置的预测模式,具体地,在此不做限制。
可选地,在对每个目标区域进行重构之前,需要可以通过码流解码获取得到编码端中对该目标区域进行预测时所采用的至少一个预测模式,然后再根据至少一个预测模式对该目标区域进行重构。并且在对一个目标区域进行重构时,可以同时选择多种预测模式共同对一个目标区域进行重构,也可以只选择一种预测模式对一个目标区域进行重构。
方式二:根据帧间预测和/或帧内预测对每个目标区域进行重构;
可选地,可以通过帧间预测对每个目标区域进行重构,也可以通过帧内预测对每个目标区域进行重构,还可以通过帧间预测和帧内预测共同对每个目标区域进行重构。
方式三:根据至少一种预测模式和每个目标区域对应的预测顺序对每个目标区域进行重构。
可选地,在对每个目标区域进行重构之前,解码端可以通过码流解码确定每个目标区域对应的至少一种预测模式,以及每个目标区域对应的预测顺序,并根据预测顺序确定重构顺序。可选地,重构顺序可以和预测顺序相同,也可以不同。然后再按照重构顺序并根据至少一种预测模式依次对每个目标区域进行重构。
在本实施例中,通过根据预测模式对每个目标区域进行重构,或者,根据帧间预测和/或帧内预测对每个目标区域进行重构,或者,根据至少一种预测模式和预测顺序对每个目标区域进行重构,以确定或生成目标区域的预测区域,再合并预测区域,确定或者生成解码块,从而可以实现在解码前,对根据块划分模式确定或生成的目标区域分别进行重构,以便更加精准的恢复这些目标区域,再将这些恢复的目标区域合并,得到更加精准的恢复的编码时的编码块,即解码端的预测块,实现了后续根据得到的预测块确定或生成解码块时,解码效率得到显著提升,确定或生成的解码块也更加准确。
本申请实施例还提供一种处理装置,请参照图20,图20为本申请处理装置的功能模块示意图,可设置于处理设备或者就是处理设备,本申请处理装置包括:
编码模块A10,用于将编码块划分为至少一目标区域,可选地,所述目标区域中包含一预设区域;对所述目标区域进行预测,确定或生成编码块的预测块。
可选地,将编码块划分为至少一目标区域,可选地,所述目标区域中包含一预设区域,包括以下至少一项:
在编码块内确定或生成至少一条分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
在编码块内选择至少一个位置点作为分割点,并以分割点为起点向所述编码块的边延伸至少两条不重合的分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
将编码块划分为包括至少一个由至少两个非预设区域组成的预设区域。
可选地,编码模块A10,用于:
对每个目标区域进行预测,确定或生成至少一个预测区域;
合并所有所述预测区域,确定或生成编码块的预测块。
可选地,对每个目标区域进行预测,包括以下至少一项:
根据至少一种预测模式对每个目标区域进行预测;
对每个目标区域进行帧间预测和/或帧内预测;
根据至少一种预测模式和每个区域对应的预测顺序对每个目标区域进行预测。
本申请实施例还提供一种处理装置,参照图21,本申请处理装置包括:
解码模块A20,用于根据块划分模式确定或生成至少一个目标区域;对所述目标区域进行重构,确定或生成解码块。
可选地,所述目标区域包含一预设区域,根据块划分模式确定或生成至少一个目标区域,包括以下至少一项:
在解码块对应的区域内确定或生成至少一条分割线,根据所述分割线将所述区域划分为至少一目标区域;
在解码块对应的区域内选择至少一个位置点为分割点,并以分割点为起点向所述区域的边延伸至少两条不重合的分割线,根据所述分割线将所述区域划分为至少一目标区域;
将解码块对应的区域划分为包括至少一个由至少两个非预设区域组成的预设区域;
根据至少一种块划分模式确定或生成至少一个目标区域;
确定或生成每个块划分模式对应的目标区域。
可选地,解码模块A20,用于:
对所述目标区域进行重构,确定或生成预测区域,合并每个预测区域,确定或生成解码块。
可选地,对所述目标区域进行重构的方式,包括以下至少一项:
根据预测模式对每个目标区域进行重构;
根据帧间预测和/或帧内预测对每个目标区域进行重构;
根据至少一种预测模式和每个目标区域对应的预测顺序对每个目标区域进行重构。
本申请实施例还提供一种处理设备,包括存储器、处理器,存储器上存储有处理程序,处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。
本申请实施例还提供一种存储介质,存储介质上存储有处理程序,处理程序被处理器执行时实现上述任一实施例中的处理方法的步骤。
在本申请提供的智能终端和存储介质的实施例中,可以包含任一上述处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在存储介质中,或者从一个存储介质向另一个存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种处理方法,其特征在于,包括以下步骤:
S10:将编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
S20:对所述目标区域进行预测,确定或生成编码块的预测块。
2.如权利要求1所述的方法,其特征在于,所述步骤S10,包括以下至少一项:
在编码块内确定或生成至少一条分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
在编码块内选择至少一个位置点作为分割点,并以分割点为起点向所述编码块的边延伸至少两条不重合的分割线,根据所述分割线将所述编码块划分为至少一目标区域,所述目标区域中包含一预设区域;
将编码块划分为包括至少一个由至少两个非预设区域组成的预设区域。
3.如权利要求1所述的方法,其特征在于,所述步骤S20包括:
对每个目标区域进行预测,确定或生成至少一个预测区域;
合并所有所述预测区域,确定或生成编码块的预测块。
4.如权利要求3所述的方法,其特征在于,所述对每个目标区域进行预测,包括以下至少一项:
根据至少一种预测模式对每个目标区域进行预测;
对每个目标区域进行帧间预测和/或帧内预测;
根据至少一种预测模式和每个区域对应的预测顺序对每个目标区域进行预测。
5.一种处理方法,其特征在于,包括以下步骤:
S100:根据块划分模式确定或生成至少一个目标区域;
S200:对所述目标区域进行重构,确定或生成解码块。
6.如权利要求5所述的方法,其特征在于,所述目标区域包含一预设区域,所述步骤S100,包括以下至少一项:
在解码块对应的区域内确定或生成至少一条分割线,根据所述分割线将所述区域划分为至少一目标区域;
在解码块对应的区域内选择至少一个位置点为分割点,并以分割点为起点向所述区域的边延伸至少两条不重合的分割线,根据所述分割线将所述区域划分为至少一目标区域;
将解码块对应的区域划分为包括至少一个由至少两个非预设区域组成的预设区域;
根据至少一种块划分模式确定或生成至少一个目标区域;
确定或生成每个块划分模式对应的目标区域。
7.如权利要求5所述的方法,其特征在于,所述步骤S200,包括:
对所述目标区域进行重构,确定或生成预测区域,合并每个预测区域,确定或生成解码块。
8.如权利要求7所述的方法,其特征在于,对所述目标区域进行重构的方式,包括以下至少一项:
根据预测模式对每个目标区域进行重构;
根据帧间预测和/或帧内预测对每个目标区域进行重构;
根据至少一种预测模式和每个目标区域对应的预测顺序对每个目标区域进行重构。
9.一种处理设备,其特征在于,包括:存储器、处理器,其中,所述存储器上存储有处理程序,所述处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310246090.1A CN115955565B (zh) | 2023-03-15 | 2023-03-15 | 处理方法、处理设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310246090.1A CN115955565B (zh) | 2023-03-15 | 2023-03-15 | 处理方法、处理设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115955565A true CN115955565A (zh) | 2023-04-11 |
CN115955565B CN115955565B (zh) | 2023-07-04 |
Family
ID=85891484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310246090.1A Active CN115955565B (zh) | 2023-03-15 | 2023-03-15 | 处理方法、处理设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115955565B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869404A (zh) * | 2010-07-09 | 2015-08-26 | 三星电子株式会社 | 对视频编码的方法和设备以及对视频解码的方法和设备 |
CN111886861A (zh) * | 2018-02-22 | 2020-11-03 | Lg电子株式会社 | 根据图像编码系统中的块划分结构的图像解码方法和设备 |
JP2021027463A (ja) * | 2019-08-05 | 2021-02-22 | 日本放送協会 | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム |
JP2021027429A (ja) * | 2019-08-01 | 2021-02-22 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
CN113473141A (zh) * | 2020-03-31 | 2021-10-01 | Oppo广东移动通信有限公司 | 帧间预测方法、编码器、解码器及计算机可读存储介质 |
CN114598880A (zh) * | 2022-05-07 | 2022-06-07 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
CN115022639A (zh) * | 2019-09-05 | 2022-09-06 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
-
2023
- 2023-03-15 CN CN202310246090.1A patent/CN115955565B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869404A (zh) * | 2010-07-09 | 2015-08-26 | 三星电子株式会社 | 对视频编码的方法和设备以及对视频解码的方法和设备 |
CN111886861A (zh) * | 2018-02-22 | 2020-11-03 | Lg电子株式会社 | 根据图像编码系统中的块划分结构的图像解码方法和设备 |
JP2021027429A (ja) * | 2019-08-01 | 2021-02-22 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
JP2021027463A (ja) * | 2019-08-05 | 2021-02-22 | 日本放送協会 | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム |
CN115022639A (zh) * | 2019-09-05 | 2022-09-06 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113473141A (zh) * | 2020-03-31 | 2021-10-01 | Oppo广东移动通信有限公司 | 帧间预测方法、编码器、解码器及计算机可读存储介质 |
CN114598880A (zh) * | 2022-05-07 | 2022-06-07 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Non-Patent Citations (1)
Title |
---|
吴一全 等: "图像阈值分割方法研究进展20年(1994―2014)", 数据采集与处理 * |
Also Published As
Publication number | Publication date |
---|---|
CN115955565B (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10986332B2 (en) | Prediction mode selection method, video encoding device, and storage medium | |
CN114422781B (zh) | 图像处理方法、智能终端及存储介质 | |
CN108198150B (zh) | 一种图像坏点的消除方法、终端及存储介质 | |
CN115988206B (zh) | 图像处理方法、处理设备及存储介质 | |
CN115834897B (zh) | 处理方法、处理设备及存储介质 | |
CN115002463B (zh) | 图像处理方法、智能终端及存储介质 | |
CN114598880A (zh) | 图像处理方法、智能终端及存储介质 | |
CN110213591B (zh) | 一种视频运动估计方法、装置及存储介质 | |
CN113709504B (zh) | 图像处理方法、智能终端及可读存储介质 | |
CN107610057B (zh) | 一种深度图修复方法、终端及计算机可读存储介质 | |
CN116668704B (zh) | 处理方法、处理设备及存储介质 | |
CN108320265B (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
CN116456102B (zh) | 图像处理方法、处理设备及存储介质 | |
WO2024087604A1 (zh) | 图像处理方法、智能终端及存储介质 | |
CN113393398A (zh) | 一种图像降噪处理方法、设备及计算机可读存储介质 | |
CN115422986A (zh) | 处理方法、处理设备及存储介质 | |
CN115955565B (zh) | 处理方法、处理设备及存储介质 | |
CN114723645A (zh) | 图像处理方法、智能终端及存储介质 | |
CN114092366A (zh) | 图像处理方法、移动终端及存储介质 | |
CN107948571B (zh) | 视频录制的方法、装置及计算机可读存储介质 | |
CN116847088B (zh) | 图像处理方法、处理设备及存储介质 | |
CN111866389A (zh) | 一种视频跟踪拍摄方法、设备及计算机可读存储介质 | |
CN115802031A (zh) | 处理方法、处理设备及存储介质 | |
WO2023019567A1 (zh) | 图像处理方法、移动终端及存储介质 | |
CN117176959B (zh) | 处理方法、处理设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |