CN113542739B - 图像编码方法及装置、图像解码方法及装置、介质、设备 - Google Patents
图像编码方法及装置、图像解码方法及装置、介质、设备 Download PDFInfo
- Publication number
- CN113542739B CN113542739B CN202110802717.8A CN202110802717A CN113542739B CN 113542739 B CN113542739 B CN 113542739B CN 202110802717 A CN202110802717 A CN 202110802717A CN 113542739 B CN113542739 B CN 113542739B
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- filtering
- target
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001914 filtration Methods 0.000 claims abstract description 284
- 230000004927 fusion Effects 0.000 claims description 38
- 230000005540 biological transmission Effects 0.000 claims description 35
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000011282 treatment Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供一种图像编码方法、图像解码方法、图像编码装置、图像解码装置、计算机可读存储介质与电子设备,涉及通信技术领域。所述图像编码方法包括:获取待编码图像;利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像;基于所述多张滤波图像生成所述待编码图像的多张纹理图像;对所述多张滤波图像中的至少一张目标滤波图像与所述多张纹理图像中的至少一张目标纹理图像进行编码,生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据。本公开通过对待编码图像的多层滤波图像和纹理图像进行编码,为解码端对其进行解码处理和图像增强处理提供了便捷。
Description
技术领域
本公开涉及通信技术领域,尤其涉及一种图像编码方法、图像解码方法、图像编码装置、图像解码装置、计算机可读存储介质与电子设备。
背景技术
随着互联网技术的迅速发展,为了给用户在不同的终端设备中提供图像或视频相关的多媒体服务,常常需要在多个终端设备之间进行图像或视频数据的传输。然而,如果图像或视频数据以未被压缩的形式进行储存或传输时,其储存或传输带宽需求通常是非常大的。因此,图像或视频数据在传输时,往往需要使用特定的视频编码技术进行处理,以压缩格式被储存或传输。
现有技术通常采用特定的视频编码方式,例如H.264/AVC编码方式,对图像或视频数据直接进行编码,生成包括多个子码流的码流数据传输至解码端,解码端为了保证视频流畅性,往往需要对所有码流数据进行解码处理,解码过程的复杂度较高,且不便于进行图像增强处理,影响编解码效率。因此,如何对图像或视频进行编码,以在解码端进行高效且方便的解码过程,恢复出图像或视频数据,是现有技术亟待解决的问题。
发明内容
本公开提供了一种图像编码方法、图像解码方法、图像编码装置、图像解码装置、计算机可读存储介质与电子设备,进而至少在一定程度上改善现有技术中图像编解码复杂程度高、影响效率的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种图像编码方法,包括:获取待编码图像;利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像;基于所述多张滤波图像生成所述待编码图像的多张纹理图像;对所述多张滤波图像中的至少一张目标滤波图像与所述多张纹理图像中的至少一张目标纹理图像进行编码,生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据。
根据本公开的第二方面,提供一种图像解码方法,包括:获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,所述目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,所述目标纹理图像是基于所述多张滤波图像所生成的所述原始图像的多张纹理图像中的至少一张纹理图像;对所述第一码流数据进行解码,得到所述目标滤波图像,对所述第二码流数据进行解码,得到所述目标纹理图像;根据所述目标滤波图像和所述目标纹理图像生成所述原始图像对应的目标图像。
根据本公开的第三方面,提供一种图像编码装置,包括:待编码图像获取模块,用于获取待编码图像;滤波图像获取模块,用于利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像;纹理图像生成模块,用于基于所述多张滤波图像生成所述待编码图像的多张纹理图像;码流数据生成模块,用于对所述多张滤波图像中的至少一张目标滤波图像与所述多张纹理图像中的至少一张目标纹理图像进行编码,生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据。
根据本公开的第四方面,提供一种图像解码装置,包括:码流数据获取模块,用于获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,所述目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,所述目标纹理图像是基于所述多张滤波图像所生成的所述原始图像的多张纹理图像中的至少一张纹理图像;码流数据解码模块,用于对所述第一码流数据进行解码,得到所述目标滤波图像,对所述第二码流数据进行解码,得到所述目标纹理图像;目标图像生成模块,用于根据所述目标滤波图像和所述目标纹理图像生成所述原始图像对应的目标图像。
根据本公开的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的图像编码方法或者图像解码方法及其可能的实现方式。
根据本公开的第六方面,提供一种电子设备,包括:处理器;存储器,用于存储所述处理器的可执行指令。其中,所述处理器配置为经由执行所述可执行指令,来执行上述第一方面的图像编码方法或者图像解码方法及其可能的实现方式。
本公开的技术方案具有以下有益效果:
获取待编码图像;利用滤波强度依次变化的多组滤波参数对待编码图像进行滤波处理,得到与多组滤波参数一一对应的多张滤波图像;基于多张滤波图像生成待编码图像的多张纹理图像;对多张滤波图像中的至少一张目标滤波图像与多张纹理图像中的至少一张目标纹理图像进行编码,生成目标滤波图像的码流数据与目标纹理图像的码流数据。一方面,通过不同的滤波参数,对待编码图像进行滤波处理,从不同程度上过滤图像信息,得到多张滤波图像,使得解码端可以根据不同的需求,恢复不同场景需求的滤波图像,在网络性能较差的环境下,能够以传输低频滤波图像的方式来保障视频的流畅性;另一方面,本示例性实施例基于滤波图像,生成待编码图像的多张纹理图像进行编码,生成对应的码流数据进行传输,使得解码端还可以基于该码流数据,恢复得到不同频段的纹理图像,以便于采用不同纹理细节程度的纹理图像进行灵活、有效的图像增强处理;再一方面,本示例性实施例通过对滤波图像和纹理图像进行分别编码的方式,相比于直接对待编码图像直接进行编码的方式,降低了解码端对于码流数据进行解码的复杂度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种系统架构的示意图;
图2示出本示例性实施方式中一种电子设备的结构图;
图3示出本示例性实施方式中一种图像编码方法的流程图;
图4示出本示例性实施方式中另一种图像编码方法的流程图;
图5示出本示例性实施方式中一种图像解码方法的流程图;
图6示出本示例性实施方式中一种图像解码方法的子流程图;
图7示出本示例性实施方式中另一种图像解码方法的流程图;
图8示出本示例性实施方式中一种图像编码装置的结构图;
图9示出本示例性实施方式中一种图像解码装置的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
鉴于上述一个或多个问题,本公开的示例性实施方式提供一种图像编码方法。图1示出了本示例性实施方式运行环境的系统架构图。如图1所示,该系统架构100可以包括第一终端110和第二终端120,两者之间通过网络形成通信交互,例如第一终端110对图像数据进行编码后,将码流数据发送至第二终端120,或者第二终端120对图像数据进行编码后,将码流数据发送至第一终端110。其中,第一终端110或第二终端120可以是用户终端,例如用户使用的智能手机、平板电脑、游戏机、可穿戴设备等,当第一终端110为编码端时,则第二终端120可以是解码端,当第一终端110为解码端时,第二终端120可以是编码端,本公开对此不做具体限定。
应当理解,图1中各装置的数量仅是示例性的。根据实现需要,可以设置任意数量的第一终端或者第二终端。
本公开的示例性实施方式提供一种用于实现图像编码方法的电子设备,其可以是图1中的第一终端110或第二终端120。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像编码方法。
下面以图2中的移动终端200为例,对上述电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus,通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module,用户标识模块)卡接口295等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括AP(Application Processor,应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit,图形处理器)、ISP(Image Signal Processor,图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor,数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit,神经网络处理器)等。
编码器可以对图像或视频数据进行编码(即压缩),例如对美颜处理后得到的美颜图像进行编码,形成对应的码流数据,以减少数据传输所占的带宽,具体在编码时,可以对图像或视频数据的滤波图像和纹理图像进行分开编码,以生成滤波图像的第一码流数据和纹理图像的第二码流数据;解码器可以对图像或视频的码流数据进行解码(即解压缩),以还原出图像或视频数据,例如对待美颜的视频进行解码,以得到视频中每一帧的图像数据,提取其中的一帧或多帧进行美颜处理,具体在解码时,可以通过对滤波图像的第一码流数据和纹理图像的第二码流数据进行分开解码,并根据实际需要进行图像融合的方式,得到最终的目标图像。移动终端100可以支持一种或多种编码器和解码器。这样,移动终端100可以处理多种编码格式的图像或视频,例如:JPEG(Joint Photographic Experts Group,联合图像专家组)、PNG(Portable Network Graphics,便携式网络图形)、BMP(Bitmap,位图)等图像格式,MPEG(Moving Picture Experts Group,动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency Video Coding,高效率视频编码)等视频格式。
在一些实施方式中,处理器210可以包括一个或多个接口,通过不同的接口和移动终端200的其他部件形成连接。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
外部存储器接口222可以用于连接外部存储器,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信,实现数据存储功能,例如存储音乐,视频等文件。
USB接口230是符合USB标准规范的接口,可以用于连接充电器为移动终端200充电,也可以连接耳机或其他电子设备。
充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为设备供电;电源管理模块241还可以监测电池的状态。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在移动终端200上的包括WLAN(Wireless LocalArea Networks,无线局域网)(如Wi-Fi(Wireless Fidelity,无线保真)网络)、BT(Bluetooth,蓝牙)、GNSS(Global Navigation Satellite System,全球导航卫星系统)、FM(Frequency Modulation,调频)、NFC(Near Field Communication,近距离无线通信技术)、IR(Infrared,红外技术)等无线通信解决方案。
移动终端200可以通过GPU、显示屏幕290及AP等实现显示功能,显示用户界面。
移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能,还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。
传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等,以实现不同的感应检测功能。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。马达293可以产生振动提示,也可以用于触摸振动反馈等。按键294包括开机键,音量键等。
移动终端200可以支持一个或多个SIM卡接口295,用于连接SIM卡,以实现通话以及数据通信等功能。
图3示出了图像编码方法的示例性流程,可以由上述第一终端110或第二终端120执行,可以包括以下步骤S310至S340:
步骤S310,获取待编码图像。
其中,待编码图像可以是任意图像,例如在服务器端向用户终端进行图像或视频传输的场景中,待编码图像可以是视频流中的任意一帧图像,或者传输的当前帧图像等;在用户终端向用户终端进行图像或视频传输的场景中,待编码图像可以是用户指定或截取的图像或视频流中的特定图像帧等等,本公开对此不做具体限定。
步骤S320,利用滤波强度依次变化的多组滤波参数对待编码图像进行滤波处理,得到与多组滤波参数一一对应的多张滤波图像。
在获取待编码图像后,本示例性实施例可以采用不同的滤波强度依次变化的多组滤波参数,对待编码图像进行滤波处理,以从不同程度上过滤掉待编码图像的信息,得到多张滤波图像,例如以滤波强度由大到小逐渐减小的多组滤波参数,对待编码图像进行滤波处理,或者以滤波强度由小到大逐渐升高的多组滤波参数,对待编码图像进行滤波处理,得到多张频段不同的滤波图像。
其中,每张滤波图像与一组滤波参数对应,该滤波参数可以根据具体的滤波方式确定,例如采用高斯滤波方法时,滤波参数可以是指滤波半径或者高斯核的尺寸等。具体滤波参数的设置可以根据滤波强度需求确定,滤波强度越大,过滤掉的信息就越多,例如可以采用不同尺寸的高斯核,对待编码图像进行高斯滤波处理,得到不同的滤波图像。此外,除了高斯滤波处理的方式,本示例性实施例还可以采用均值滤波、双边滤波等滤波方式,来对待编码图像进行滤波处理,本公开对此不做具体限定。
在一示例性实施例中,上述步骤S320可以包括:
利用尺寸依次变化的多个高斯核对待编码图像进行卷积,得到与多个高斯核一一对应的多张滤波图像。
以高斯滤波进行举例说明,上述多组滤波参数可以是指不同尺寸的高斯核,采用尺寸依次变化的多个高斯核对待编码图像进行卷积,可以例如采用3*3、5*5或者7*7等尺寸的高斯核对待编码图像进行卷积计算,可以分别得到滤波图像1、滤波图像2和滤波图像3。其中,高斯核的尺寸越大,滤波强度越大,得到的滤波图像的细节也就越少,例如滤波图像3相比滤波图像1,过滤掉的细节更多,往往会更模糊。
步骤S330,基于多张滤波图像生成待编码图像的多张纹理图像。
进一步的,本示例性实施例可以基于多张滤波图像进行计算,来确定待编码图像的多张纹理图像,其中纹理图像是指根据待处理图像的纹理分量生成的图像,不同的纹理图像具有不同的频段,例如高频纹理图像相比于低频纹理图像,灰度变化比较大,边缘和纹理表现的更明显。
具体的,本示例性实施例可以通过计算不同滤波图像之间对应像素点的像素值的差值,来确定纹理图像,例如可以确定一基准滤波图像,并计算该基准滤波图像与其他滤波图像对应像素点的像素值的差值,确定多张纹理图像;也可以计算滤波强度逐渐降低的相邻两张滤波图像之间的像素点的像素值的差值,确定多张纹理图像等,本公开对此不做具体限定。
步骤S340,对多张滤波图像中的至少一张目标滤波图像与多张纹理图像中的至少一张目标纹理图像进行编码,生成目标滤波图像的码流数据与目标纹理图像的码流数据。
其中,目标滤波图像可以是多张滤波图像中的任意一张图像,例如为了避免数据传输量大,或者保证视频播放的流畅性,可以采用高频滤波的滤波图像,即滤波强度最大的图像作为目标滤波图像。目标纹理图像可以是多张纹理图像中的一张或多张,例如可以采用一张纹理图像进行编码,也可以采用所有纹理图像进行编码。然后对目标滤波图像和目标纹理图像进行编码,生成对应的码流数据传输至解码端进行图像解码处理。由于纹理图像和滤波图像均是基于待编码图像得到分量图像,画面中的对象以及对象的运动状态通常是相同的,因此,在进行视频编码时,运动矢量等预测信息可以共用,从而能够实现对视频数据的高效编码。
在本示例性实施例中,可以先生成目标滤波图像和目标纹理图像的码流数据,再根据网络或终端的性能等因素,选择需要传输的码流数据;也可以先根据网络或终端的性能等因素,选择需要传输的滤波图像作为目标滤波图像,需要传输的纹理图像作为目标纹理图像,进而再对目标滤波图像和目标纹理图像进行编码,生成码流数据等,本公开对此不做具体限定。
需要说明的是,本示例性实施例可以将目标滤波图像的码流数据与目标纹理图像的码流数据一起进行数据传输,以便于解码端还原图像或视频,或者对图像或视频进行图像增强处理;在网络性能较差的环境下,还可以仅将目标滤波图像的码流数据,例如第一滤波图像的码流数据,传输至解码端,以保证恢复的图像或视频能够流畅播放。
综上,本示例性实施方式中,获取待编码图像;利用滤波强度依次变化的多组滤波参数对待编码图像进行滤波处理,得到与多组滤波参数一一对应的多张滤波图像;基于多张滤波图像生成待编码图像的多张纹理图像;对多张滤波图像中的至少一张目标滤波图像与多张纹理图像中的至少一张目标纹理图像进行编码,生成目标滤波图像的码流数据与目标纹理图像的码流数据。一方面,通过不同的滤波参数,对待编码图像进行滤波处理,从不同程度上过滤图像信息,得到多张滤波图像,使得解码端可以根据不同的需求,恢复不同场景需求的滤波图像,在网络性能较差的环境下,能够以传输低频滤波图像的方式来保障视频的流畅性;另一方面,本示例性实施例基于滤波图像,生成待编码图像的多张纹理图像进行编码,生成对应的码流数据进行传输,使得解码端还可以基于该码流数据,恢复得到不同频段的纹理图像,以便于采用不同纹理细节程度的纹理图像进行灵活、有效的图像增强处理;再一方面,本示例性实施例通过对滤波图像和纹理图像进行分别编码的方式,相比于直接对待编码图像直接进行编码的方式,降低了解码端对于码流数据进行解码的复杂度。
在一示例性实施例中,上述多组滤波参数可以包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;
目标滤波图像为第一滤波图像。
本示例性实施例中,多组滤波参数可以包括第一组滤波参数、第二组滤波参数至第n组滤波参数,其中,第一组滤波参数强度最大,第n组滤波参数强度最小,n可以根据具体的实际需要进行自定义设置,例如n可以为3、5、7等等,不同组滤波参数强度的变化量,可以相同,也可以不同。根据不同的滤波参数,可以确定对应的滤波图像,由于第一组滤波参数的强度值最大,因此,得到第一滤波参数的滤波效果也最明显。以高斯滤波为例进行解释说明,多组滤波参数可以包括第一滤波半径r0、第二滤波半径r1以及第三滤波半径r2,滤波半径可以反映滤波强度,其中,第一滤波半径r0大于第二滤波半径r1大于第三滤波半径r2,采用第一滤波半径r0对待编码图像进行滤波,可以得到第一滤波图像Img0,采用第二滤波半径r1对待编码图像进行滤波,可以得到第二滤波图像Img1,采用第三滤波半径r2对待编码图像进行滤波,可以得到第三滤波图像Img2。其中,第一滤波图像Img0为最强的滤波结果,其过滤掉的图像信息最多,图像效果最模糊。
为了避免网络状态不佳或数据传输压力过大,导致数据传输异常,解码端无法呈现流畅视频或完整图像的情况,本示例性实施例可以从多张滤波图像中选取一张滤波图像作为目标滤波图像,例如考虑到第一滤波图像为滤波效果最好的基础图像,因此,可以将第一滤波图像作为目标滤波图像,以保证图像的有效传输和视频的流畅播放等。
在一示例性实施例中,上述步骤S330可以包括:
依次根据n张滤波图像中相邻两张滤波图像的差值,生成待编码图像的第一纹理图像至第n-1纹理图像,其中第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;
目标纹理图像为包括第一纹理图像在内的至少一张纹理图像。
在本示例性实施例中,根据滤波强度依次降低的滤波参数对待编码图像进行滤波处理后,可以对应得到滤波效果从强到弱的第一滤波图像至第n滤波图像,则相邻的两张滤波图像,也即相邻滤波强度的两组滤波参数分别对待编码图像进行滤波处理得到的两张滤波图像。基于相邻两张滤波图像的差值,可以生成待编码图像的第一纹理图像至第n-1纹理图像,其中,计算两张滤波图像的差值,实际上,就是计算两张滤波图像对应像素点的像素值之差,例如第二滤波图像与第一滤波图像的像素差值可以确定第一纹理图像,第三滤波图像与第二滤波图像的像素差值可以确定第二纹理图像等。
由于第一滤波图像为滤波强度的滤波参数得到的较低频的滤波图像,则根据第二滤波图像与第一滤波图像的差值,生成的第一纹理图像,也可以作为低频纹理图像,之后第二纹理图像至第n-1纹理图像的频段将逐渐增加。
本示例性实施例可以选择包括第一纹理图像在内的至少一张纹理图像作为目标纹理图像,以便于在解码端进行图像增强等处理,例如可以将第一纹理图像、第二纹理图像以及第三纹理图像作为目标纹理图像,也可以将所有的纹理图像都作为目标纹理图像等。另外,考虑到第一纹理图像为最低频纹理图像,具有更好的传输效率,能够在多种场景下保证图像和视频的基础流畅性,因此,也可以仅选择第一纹理图像作为目标纹理图像进行图像编码和传输等,目标纹理图像的具体设置可以根据实际需要以及网络或设备的性能确定,本公开对此不做具体限定。
在一示例性实施例中,上述步骤S330还可以包括:
根据第n滤波图像与待编码图像的差值,生成待编码图像的第n纹理图像。
在本示例性实施例中,原始的待编码图像具有最完整的图像信息,第n滤波图像为滤波强度最小的滤波参数得到的高频滤波图像,因此,基于第n滤波图像与待编码图像的像素差值,可以确定频段较高、纹理信息较好的第n纹理图像。
为了保证解码端能够得到不同频段效果的图像,或者在不同频段需求下提供对应的增强图像,在一示例性实施例中,上述目标纹理图像可以包括第一纹理图像至第n纹理图像,即可以将得到的所有纹理图像进行编码,形成码流数据进行数据传输。
在一示例性实施例中,上述目标滤波图像的码流数据可以包括第一滤波图像的码流数据,目标纹理图像的码流数据可以包括第一纹理图像的码流数据至第n纹理图像的码流数据;
在上述步骤S340之后,图像编码方法还可以包括以下步骤:
根据传输配置信息和/或解码配置信息,在第一纹理图像的码流数据至第n纹理图像的码流数据中依次选取至少一张纹理图像的码流数据;
将第一滤波图像的码流数据以及所选取的至少一张纹理图像的码流数据传输至解码端。
本示例性实施例可以先对所有纹理图像进行编码,生成码流数据之后,再根据传输配置信息、解码配置、传输配置信息和解码配置信息,确定需要传输的码流数据。其中,传输配置信息是指根据编码端与解码端之间数据传输的性能确定的配置信息,例如单位时间内能够传输的数据量、单位时间能够处理的数据量或者可承载传输的数据能力等等,基于该传输配置信息可以确定当前选取几张纹理图像的码流数据进行传输。解码配置信息可以从两方面确定,其一,根据编码端与解码端之间数据传输的性能确定,例如解码的能力;其二,根据解码端的用户的设置或权限等信息确定,例如当用户希望获取高质量的图像时,可以选择多张纹理图像的码流数据或者纹理信息更好的纹理图像的码流数据;当用户权限较低或没有图像质量要求时,可以获取普通质量的纹理图像的码流数据,如第一纹理图像的码流数据等等。
进一步,可以将将选取的至少一张纹理图像的码流数据和第一滤波图像的码流数据传输至解码端,以进行图像解码还原图像并显示。
在一示例性实施例中,上述图像编码方法还可以包括:
根据传输配置信息和/或解码配置信息,在第一纹理图像至第n纹理图像中依次选取至少一张纹理图像,作为目标纹理图像。
为了进行有效编码,本示例性实施例还可以先根据传输配置信息、解码配置、或者传输配置信息和解码配置信息,选取至少一张纹理图像作为目标纹理图像,之后,再对目标纹理图像进行编码处理,生成码流数据进行传输,这样先确定图像再进行编码的方式,可以避免生成无效的码流数据,进一步提高数据的传输效率。
图4示出了本示例性实施例中另一种图像编码方法的示意图,以通过滤波强度由大到小的三组滤波参数进行处理,得到三张滤波图像为例进行说明,具体可以包括以下步骤:
步骤S410,获取待编码图像Pn 402;
步骤S420,利用不同滤波强度依次降低的三组滤波参数F0 404、F1406、F2 408对待编码图像Pn 402进行滤波处理,得到与多组滤波参数一一对应的第一滤波图像Img0 410、第二滤波图像Img1 412以及第三滤波图像Img2 414;
其中,F0、F1、F2可以是指不同滤波半径r0、r1、r2下的滤波强度,其中r0>r1>r2,也即滤波强度F0>F1>F2;第一滤波图像Img0 410为滤波强度最强的滤波结果;
步骤S430,依次根据相邻两张滤波图像的差值,生成待编码图像的第一纹理图像Diff0 416、第二纹理图像Diff1 418;
可以表示为:Diff0=Img1-Img0;Diff1=Img2–Img1;
步骤S440,根据第三滤波图像Img2 414与待编码图像Pn 402的差值,生成第三纹理图像Diff2 420;
可以表示为:Diff2=Pn–Img2;
步骤S450,通过复合编码器422对第一滤波图像Img0 410、第一纹理图像Diff0416、第二纹理图像Diff1 418以及第三纹理图像Diff2 420进行编码,生成目标滤波图像的码流数据与目标纹理图像的码流数据424,进行数据传输。
上述滤波参数的数量仅为示意性说明,根据具体需要,还可以设置其他多组滤波参数,例如4组或5组等滤波参数,具体过程与上述过程类似,在此不做具体说明。
本公开的示例性实施方式还提供一种图像解码方法,如图5所示,可以包括以下步骤S510~S530:
步骤S510,获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,目标纹理图像是基于多张滤波图像所生成的原始图像的多张纹理图像中的至少一张纹理图像;
步骤S520,对第一码流数据进行解码,得到目标滤波图像,对第二码流数据进行解码,得到目标纹理图像;
步骤S530,根据目标滤波图像和目标纹理图像生成原始图像对应的目标图像。
其中,第一码流数据,是指基于上述图像编码方法中步骤S320得到的多张滤波图像中的至少一张滤波图像的码流数据,例如可以是第一滤波图像的码流数据,也可以是第一滤波图像至第n滤波图像的码流数据等。第二码流数据,是指上述步骤S330得到的,基于多张滤波图像所生成的原始图像的多张纹理图像中的至少一张纹理图像的码流数据,例如可以是第一纹理图像的码流数据,或者第一纹理图像至第n纹理图像的码流数据等,原始图像即可以认为是待编码图像。需要说明的是,这里的第一码流数据与第二码流数据,仅表示滤波图像与纹理图像两类码流数据,并不限定码流数据的具体数目,例如可以有一条或多条第一码流数据,或者一条或多条第二码流数据等。
进一步,对第一码流数据进行解码,可以还原目标滤波图像,对第二码流数据进行解码,可以还原目标纹理图像,基于目标滤波图像和目标纹理图像的融合,可以得到原始图像对应的目标图像。其中,目标图像可以根据用户的不同需求、不同场景或者不同用户的权限,进行调整,例如可以根据目标滤波图像和全部纹理图像生成高质量的目标图像,也可以根据目标滤波图像与少量纹理图像生成低质量的目标图像等。本示例性实施例可以对不同的纹理图像设置不同的融合系数,在融合时,通过采用不同的纹理图像,以及纹理图像对应的融合系数,可以灵活控制目标图像的图像增强效果。
需要说明的是,为了保证图像或视频的完整性和流畅性,本示例性实施例在进行解码时,可以只对目标滤波图像,例如仅对第一滤波图像的码流数据进行解码,并基于恢复的第一滤波图像生成对应的目标图像,在忽略视频质量的基础上,先确保视频的流畅性。
综上,本示例性实施方式中,获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,目标纹理图像是基于多张滤波图像所生成的原始图像的多张纹理图像中的至少一张纹理图像;对第一码流数据进行解码,得到目标滤波图像,对第二码流数据进行解码,得到目标纹理图像;根据目标滤波图像和目标纹理图像生成原始图像对应的目标图像。一方面,本示例性实施例提出一种新的图像解码方式,由于滤波图像是基于不同滤波强度得到的,且纹理图像也是基于不同滤波图像生成的,具有不同的频段,因此,通过对滤波图像和纹理图像分别解码再融合的方式,可以根据实际的场景需求,恢复出不同效果的目标图像,能够灵活运用于针对同一视频源具有不同观看需求或观看权限等多样化需求的场景中,且分别解码再重合的方式也降低了解码端对码流数据进行解码的复杂度;另一方面,编码端通过不同的滤波参数,对待编码图像进行滤波处理,从不同程度上过滤图像信息,得到多张滤波图像,解码端可以根据不同的网络需求,恢复滤波图像,例如在网络性能较差的环境下,以传输低频滤波图像的方式来保障视频的流畅性;再一方面,本示例性实施例基于恢复的滤波图像和多张纹理图像,合成目标图像,由于不同频段的纹理图像具有不同的纹理细节,因此,使用不同的纹理图像能够根据需求对目标图像叠加不同程度的纹理细节,也对解码端进行图像增强提供了便捷。
在一示例性实施例中,上述多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;目标滤波图像为第一滤波图像;
多张纹理图像包括第一纹理图像至第n-1纹理图像,其中的第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;目标纹理图像为包括第一纹理图像在内的至少一张纹理图像;
上述步骤S530,可以包括:
从目标纹理图像中的第一纹理图像开始,将第一滤波图像与目标纹理图像依次进行融合,生成目标图像。
本示例性实施例中,多组滤波参数可以包括第一组滤波参数、第二组滤波参数至第n组滤波参数,其中,第一组滤波参数强度最大,第n组滤波参数强度最小,n可以根据具体的实际需要进行自定义设置,例如n可以为3、5、7等等,不同组滤波参数强度的变化量,可以相同,也可以不同。根据不同的滤波参数,可以确定对应的滤波图像,由于第一组滤波参数的强度值最大,因此,得到第一滤波参数的滤波效果也最明显。为了保障视频或图像的完整流畅性,本示例性实施例可以将第一滤波图像作为目标滤波图像,因此,在对目标滤波图像的码流数据进行解码时,可以对第一滤波图像进行还原。
第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数,是指基于相邻两张滤波图像的像素值的差值,可以确定对应的纹理图像,例如第二滤波图像与第一滤波图像的像素差值可以确定第一纹理图像,第三滤波图像与第二滤波图像的像素差值可以确定第二纹理图像等。这里,目标纹理图像为包括第一纹理图像在内的至少一张纹理图像,对目标纹理图像的码流数据进行解码时,对应可以还原一张或多张纹理图像。
进一步,基于第一滤波图像与目标纹理图像中的一张或多张纹理图像进行融合,可以得到多张目标图像,根据实际需要,可以确定不同图像增项效果的目标图像。
在一示例性实施例中,上述多张纹理图像还包括第n纹理图像,对应于第n滤波图像与原始图像的差值;目标纹理图像包括第一纹理图像至第n纹理图像;
上述从目标纹理图像中的第一纹理图像开始,将第一滤波图像与目标纹理图像依次进行融合,生成目标图像,可以包括:
将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,生成目标图像。
除了基于相邻滤波图像生成的纹理图像之外,本示例性实施例还可以包括第n滤波图像与原始图像的差值确定的第n纹理图像,第n纹理图像相比于第一纹理图像至第n-1纹理图像,其纹理细节较强,纹理效果较好。则目标纹理图像可以包括第一纹理图像至第n纹理图像,通过对第二码流数据的解码,可以恢复第一纹理图像至第n纹理图像,进一步,在进行目标图像的合成时,也能够基于更多更丰富的频段下的纹理图像进行图像融合,来确定不同程度纹理效果或图像增强效果的目标图像。
在一示例性实施例中,如图6所示,上述将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,生成目标图像,可以包括以下步骤:
步骤S610,获取与第一纹理图像至第n纹理图像一一对应的第一融合系数至第n融合系数;
步骤S620,根据第一融合系数至第n融合系数,将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,生成目标图像。
本示例性实施例可以对不同频段的纹理图像分别设置对应的融合系数,例如对解码恢复的第一纹理图像Delta0、第二纹理图像Delta1至第n纹理图像Delatan-1分别设置第一融合系数α0、第二融合系数α1至第n融合系数αn-1。然后根据第一融合系数至第n融合系数,可以将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,例如将不同频段的纹理图像乘以对应的融合系数,进行叠加,以生成目标图像。具体融合时,可以根据不同的融合需求,采用不同的纹理图像或者不同数量的纹理图像进行叠加,来生成不同图像增强效果的目标图像。
在本示例性实施例中,生成的目标图像可以通过以下公式表示:
Layern=Layern-1+Deltan-1*αn-1
其中,n=1、2、3、…,Layern表示叠加得到的目标图像,Deltan-1表示解码恢复的第n纹理图像,αn-1表示第n纹理图像对应的融合系数。
举例说明,对第一码流数据解码后,可以恢复第一滤波图像Imge0的图像,这里可以将恢复后的图像作为基础层图像Layer0,当目标纹理图像包括第一纹理图像、第二纹理图像与第三纹理图像时,对第二码流数据解码后,可以恢复第一纹理图像、第二纹理图像与第三纹理图像,分别表示为Delta0、Delta1、Delta2。
当基于上述第一滤波图像与第一纹理图像进行合成时,确定的目标图像可以表示为:Layer1=Layer0+Delta0*α0;当基于上述第一滤波图像与第一纹理图像和第二纹理图像进行合成时,确定的目标图像可以表示为:Layer2=Layer1+Delta1*α1;当基于上述第一滤波图像与第一纹理图像至第三纹理图像进行合成时,确定的目标图像可以表示为:Layer3=Layer2+Delta2*α2,该式也可以表示为:Layer3=Layer0+Delta0*α0+Delta1*α1+Delta2*α2,也即,将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成得到。其中,融合系数α可以根据需要进行自定义设置,当α为1时,表示对个频段的纹理图像都不进行增强处理,当α大于1时,表示对纹理图像进行细节增强,例如在Layer3=Layer2+Delta2*α2中,第三纹理图像相比于第一纹理图像与第二纹理图像,具有较高的频段,若α2=1.5,则相当于对第三纹理图像进行了增强处理,也即对图像的高频细节进行了整体的增强,图像具有锐化的效果。
本示例性实施例通过对每张纹理图像设置对应的融合系数,可以对不同频段的纹理图像进行不同的增强处理,从而实现得到不同细节增强效果的目标图像。需要说明的是,每张纹理图像对应的融合系数可以是固定的,例如第一纹理图像中,每个像素点的融合系数都是相同的。另外,考虑到图像中可能存在平坦区域或非平坦区域,为了避免平坦区域增加不必要的噪声,也可以根据纹理图像中像素点的变化采用变化的融合系数,即同一纹理图像对应的融合系数可以根据像素点的不同进行调整。
另外,除了对上述纹理图像设置对应的融合系数之外,本示例性实施例还可以对基础层图像设置基础融合系数,其中,基础层是指当前融合的目标图像层的前一图像层,可以表示为:Layern=Layern-1*β+Deltan-1*αn-1等,以在对纹理图像进行细节增强的同时,对基础层图像进行调整,实现调整图像亮度变化的同时保持纹理细节的清晰效果,可以应用于解码端在进行亮度或对比度等动态提升调整而纹理保持不变的场景中。
图7示出了本示例性实施例中另一种图像解码方法的示意图,以图4所示的编码方法中得到的编码图像进行举例说明,目标滤波图像为第一滤波图像,目标纹理图像为第一纹理图像、第二纹理图像和第三纹理图像,具体可以包括以下步骤:
步骤S710,获取目标滤波图像的第一码流数据702与目标纹理图像的第二码流数据704,其中,目标滤波图像为第一滤波图像,目标纹理图像为第一纹理图像、第二纹理图像和第三纹理图像;
步骤S720,对第一码流数据702进行解码,恢复得到目标滤波图像,目标滤波图像为第一滤波图像Layer0 706;
步骤S730,对第二码流数据704进行解码,恢复得到目标纹理图像,目标纹理图像包括第一纹理图像Delta0 708、第二纹理图像Delta1 710以及第三纹理图像Delta2 712;
步骤S740,将第一滤波图像与第一纹理图像至第三纹理图像依次进行合成,根据实际需要生成第一目标图像Layer1 714、第二目标图像Layer2716或者第三目标图像Layer3718。
上述滤波图像与纹理图像的数量仅为示意性说明,根据具体需要,解码端还可以对更多的滤波图像和纹理图像进行解码或处理,具体过程与上述过程类似,在此不做具体说明。
本公开的示例性实施方式还提供一种图像编码装置。如图8所示,该图像编码装置800可以包括:待编码图像获取模块810,用于获取待编码图像;滤波图像获取模块820,用于利用滤波强度依次变化的多组滤波参数对待编码图像进行滤波处理,得到与多组滤波参数一一对应的多张滤波图像;纹理图像生成模块830,用于基于多张滤波图像生成待编码图像的多张纹理图像;码流数据生成模块840,用于对多张滤波图像中的至少一张目标滤波图像与多张纹理图像中的至少一张目标纹理图像进行编码,生成目标滤波图像的码流数据与目标纹理图像的码流数据。
在一示例性实施例中,多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;目标滤波图像为第一滤波图像。
在一示例性实施例中,纹理图像生成模块包括:第一计算单元,用于依次根据n张滤波图像中相邻两张滤波图像的差值,生成待编码图像的第一纹理图像至第n-1纹理图像,其中第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;目标纹理图像为包括第一纹理图像在内的至少一张纹理图像。
在一示例性实施例中,纹理图像生成模块包括:第二计算单元,用于根据第n滤波图像与待编码图像的差值,生成待编码图像的第n纹理图像。
在一示例性实施例中,目标纹理图像包括第一纹理图像至第n纹理图像。
在一示例性实施例中,目标滤波图像的码流数据包括第一滤波图像的码流数据,目标纹理图像的码流数据包括第一纹理图像的码流数据至第n纹理图像的码流数据;图像编码装置还包括:码流数据选择模块,用于在生成目标滤波图像的码流数据与目标纹理图像的码流数据后,根据传输配置信息和/或解码配置信息,在第一纹理图像的码流数据至第n纹理图像的码流数据中依次选取至少一张纹理图像的码流数据;码流数据传输模块,用于将第一滤波图像的码流数据以及所选取的至少一张纹理图像的码流数据传输至解码端。
在一示例性实施例中,图像编码装置还包括:图像取模块,用于根据传输配置信息和/或解码配置信息,在第一纹理图像至第n纹理图像中依次选取至少一张纹理图像,作为目标纹理图像。
在一示例性实施例中,滤波图像获取模块包括:高斯滤波单元,用于利用尺寸依次变化的多个高斯核对待编码图像进行卷积,得到与多个高斯核一一对应的多张滤波图像。
本公开的示例性实施方式还提供一种图像解码装置。如图9所示,该图像解码装置900可以包括:码流数据获取模块910,用于获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,目标纹理图像是基于多张滤波图像所生成的原始图像的多张纹理图像中的至少一张纹理图像;码流数据解码模块920,用于对第一码流数据进行解码,得到目标滤波图像,对第二码流数据进行解码,得到目标纹理图像;目标图像生成模块930,用于根据目标滤波图像和目标纹理图像生成原始图像对应的目标图像。
在一示例性实施例中,多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;目标滤波图像为第一滤波图像;多张纹理图像包括第一纹理图像至第n-1纹理图像,其中的第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;目标纹理图像为包括第一纹理图像在内的至少一张纹理图像;目标图像生成模块包括:图像融合单元,用于从目标纹理图像中的第一纹理图像开始,将第一滤波图像与目标纹理图像依次进行融合,生成目标图像。
在一示例性实施例中,多张纹理图像还包括第n纹理图像,对应于第n滤波图像与原始图像的差值;目标纹理图像包括第一纹理图像至第n纹理图像;图像融合单元包括:目标图像生成子单元,用于将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,生成目标图像。
在一示例性实施例中,目标图像生成子单元包括:融合系数获取子单元,用于获取与第一纹理图像至第n纹理图像一一对应的第一融合系数至第n融合系数;图像合成子单元,用于根据第一融合系数至第n融合系数,将第一滤波图像与第一纹理图像至第n纹理图像依次进行合成,生成目标图像。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质,可以实现为程序产品的形式,包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3、图4、图5、图6或图7中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (14)
1.一种图像编码方法,其特征在于,包括:
获取待编码图像;
利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像;
基于所述多张滤波图像生成所述待编码图像的多张纹理图像;
对所述多张滤波图像中的至少一张目标滤波图像与所述多张纹理图像中的至少一张目标纹理图像进行编码,生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据;所述目标滤波图像的码流数据与所述目标纹理图像的码流数据根据网络或终端的性能生成;
所述多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于所述多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;
所述目标滤波图像为所述第一滤波图像;
所述基于所述多张滤波图像生成所述待编码图像的多张纹理图像,包括:
依次根据所述n张滤波图像中相邻两张滤波图像的差值,生成所述待编码图像的第一纹理图像至第n-1纹理图像,其中第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;
所述目标纹理图像为包括所述第一纹理图像在内的至少一张纹理图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多张滤波图像生成所述待编码图像的多张纹理图像,还包括:
根据所述第n滤波图像与所述待编码图像的差值,生成所述待编码图像的第n纹理图像。
3.根据权利要求2所述的方法,其特征在于,所述目标纹理图像包括所述第一纹理图像至所述第n纹理图像。
4.根据权利要求3所述的方法,其特征在于,所述目标滤波图像的码流数据包括所述第一滤波图像的码流数据,所述目标纹理图像的码流数据包括所述第一纹理图像的码流数据至所述第n纹理图像的码流数据;
在生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据后,所述方法还包括:
根据传输配置信息和/或解码配置信息,在所述第一纹理图像的码流数据至所述第n纹理图像的码流数据中依次选取至少一张纹理图像的码流数据;
将所述第一滤波图像的码流数据以及所选取的至少一张纹理图像的码流数据传输至解码端。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据传输配置信息和/或解码配置信息,在所述第一纹理图像至所述第n纹理图像中依次选取至少一张纹理图像,作为所述目标纹理图像。
6.根据权利要求1所述的方法,其特征在于,所述利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像,包括:
利用尺寸依次变化的多个高斯核对所述待编码图像进行卷积,得到与所述多个高斯核一一对应的多张滤波图像。
7.一种图像解码方法,其特征在于,包括:
获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,所述目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,所述目标纹理图像是基于所述多张滤波图像所生成的所述原始图像的多张纹理图像中的至少一张纹理图像;所述目标滤波图像的第一码流数据与所述目标纹理图像的第二码流数据根据网络或终端的性能生成;
对所述第一码流数据进行解码,得到所述目标滤波图像,对所述第二码流数据进行解码,得到所述目标纹理图像;
根据所述目标滤波图像和所述目标纹理图像生成所述原始图像对应的目标图像;
所述多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于所述多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;所述目标滤波图像为所述第一滤波图像;
所述多张纹理图像包括第一纹理图像至第n-1纹理图像,其中的第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;所述目标纹理图像为包括所述第一纹理图像在内的至少一张纹理图像。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标滤波图像和所述目标纹理图像生成所述原始图像对应的目标图像,包括:
从所述目标纹理图像中的所述第一纹理图像开始,将所述第一滤波图像与所述目标纹理图像依次进行融合,生成所述目标图像。
9.根据权利要求8所述的方法,其特征在于,所述多张纹理图像还包括第n纹理图像,对应于所述第n滤波图像与所述原始图像的差值;所述目标纹理图像包括所述第一纹理图像至所述第n纹理图像;
所述从所述目标纹理图像中的所述第一纹理图像开始,将所述第一滤波图像与所述目标纹理图像依次进行融合,生成所述目标图像,包括:
将所述第一滤波图像与所述第一纹理图像至所述第n纹理图像依次进行合成,生成所述目标图像。
10.根据权利要求9所述的方法,其特征在于,所述将所述第一滤波图像与所述第一纹理图像至所述第n纹理图像依次进行合成,生成所述目标图像,包括:
获取与所述第一纹理图像至所述第n纹理图像一一对应的第一融合系数至第n融合系数;
根据所述第一融合系数至第n融合系数,将所述第一滤波图像与所述第一纹理图像至所述第n纹理图像依次进行合成,生成所述目标图像。
11.一种图像编码装置,其特征在于,包括:
待编码图像获取模块,用于获取待编码图像;
滤波图像获取模块,用于利用滤波强度依次变化的多组滤波参数对所述待编码图像进行滤波处理,得到与所述多组滤波参数一一对应的多张滤波图像;
纹理图像生成模块,用于基于所述多张滤波图像生成所述待编码图像的多张纹理图像;
码流数据生成模块,用于对所述多张滤波图像中的至少一张目标滤波图像与所述多张纹理图像中的至少一张目标纹理图像进行编码,生成所述目标滤波图像的码流数据与所述目标纹理图像的码流数据;所述目标滤波图像的码流数据与所述目标纹理图像的码流数据根据网络或终端的性能生成;
所述多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于所述多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;
所述目标滤波图像为所述第一滤波图像;
所述纹理图像生成模块,被配置为:
依次根据所述n张滤波图像中相邻两张滤波图像的差值,生成所述待编码图像的第一纹理图像至第n-1纹理图像,其中第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;
所述目标纹理图像为包括所述第一纹理图像在内的至少一张纹理图像。
12.一种图像解码装置,其特征在于,包括:
码流数据获取模块,用于获取目标滤波图像的第一码流数据与目标纹理图像的第二码流数据,所述目标滤波图像是利用滤波强度依次变化的多组滤波参数对原始图像进行滤波处理后所得到的多张滤波图像中的至少一张滤波图像,所述目标纹理图像是基于所述多张滤波图像所生成的所述原始图像的多张纹理图像中的至少一张纹理图像;所述目标滤波图像的第一码流数据与所述目标纹理图像的第二码流数据根据网络或终端的性能生成;
码流数据解码模块,用于对所述第一码流数据进行解码,得到所述目标滤波图像,对所述第二码流数据进行解码,得到所述目标纹理图像;
目标图像生成模块,用于根据所述目标滤波图像和所述目标纹理图像生成所述原始图像对应的目标图像;
所述多组滤波参数包括滤波强度依次降低的第一组滤波参数至第n组滤波参数,分别对应于所述多张滤波图像中的第一滤波图像至第n滤波图像;n为不小于2的正整数;所述目标滤波图像为所述第一滤波图像;
所述多张纹理图像包括第一纹理图像至第n-1纹理图像,其中的第i纹理图像对应于第i+1滤波图像与第i滤波图像的差值,i为[1,n-1]内的任意正整数;所述目标纹理图像为包括所述第一纹理图像在内的至少一张纹理图像。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像编码方法或权利要求7至10任一项所述的图像解码方法。
14.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任一项所述的图像编码方法或权利要求7至10任一项所述的图像解码方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802717.8A CN113542739B (zh) | 2021-07-15 | 2021-07-15 | 图像编码方法及装置、图像解码方法及装置、介质、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802717.8A CN113542739B (zh) | 2021-07-15 | 2021-07-15 | 图像编码方法及装置、图像解码方法及装置、介质、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113542739A CN113542739A (zh) | 2021-10-22 |
CN113542739B true CN113542739B (zh) | 2023-10-20 |
Family
ID=78099587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110802717.8A Active CN113542739B (zh) | 2021-07-15 | 2021-07-15 | 图像编码方法及装置、图像解码方法及装置、介质、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113542739B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709504B (zh) * | 2021-10-27 | 2022-02-15 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010763A (ja) * | 2007-06-28 | 2009-01-15 | Sony Corp | 画像処理装置、及び、画像処理方法 |
CN101626509A (zh) * | 2009-08-10 | 2010-01-13 | 北京工业大学 | 三维网格编码、解码方法及编码、解码装置 |
CN109120937A (zh) * | 2017-06-26 | 2019-01-01 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
CN109640084A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 视频流降噪方法、装置及存储介质 |
WO2020097836A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市欢太科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN111771380A (zh) * | 2018-03-13 | 2020-10-13 | 谷歌有限责任公司 | 有损图像压缩中的混合噪声和细致纹理合成 |
CN112070657A (zh) * | 2020-08-14 | 2020-12-11 | 昀光微电子(上海)有限公司 | 图像处理方法、装置、系统、设备及计算机存储介质 |
CN112714925A (zh) * | 2018-11-19 | 2021-04-27 | 深圳市欢太科技有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816764B (zh) * | 2019-02-02 | 2021-06-25 | 深圳市商汤科技有限公司 | 图像生成方法及装置、电子设备和存储介质 |
-
2021
- 2021-07-15 CN CN202110802717.8A patent/CN113542739B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010763A (ja) * | 2007-06-28 | 2009-01-15 | Sony Corp | 画像処理装置、及び、画像処理方法 |
CN101626509A (zh) * | 2009-08-10 | 2010-01-13 | 北京工业大学 | 三维网格编码、解码方法及编码、解码装置 |
CN109120937A (zh) * | 2017-06-26 | 2019-01-01 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
CN111771380A (zh) * | 2018-03-13 | 2020-10-13 | 谷歌有限责任公司 | 有损图像压缩中的混合噪声和细致纹理合成 |
WO2020097836A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市欢太科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN112714925A (zh) * | 2018-11-19 | 2021-04-27 | 深圳市欢太科技有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
CN109640084A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 视频流降噪方法、装置及存储介质 |
CN112070657A (zh) * | 2020-08-14 | 2020-12-11 | 昀光微电子(上海)有限公司 | 图像处理方法、装置、系统、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113542739A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111580765B (zh) | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 | |
US20230353786A1 (en) | Image processing apparatus and image processing method | |
CN111295884B (zh) | 图像处理装置及图像处理方法 | |
US10075732B2 (en) | Image processing apparatus and method | |
TWI705702B (zh) | 圖像處理裝置及方法 | |
TWI519133B (zh) | 影像處理裝置及方法 | |
TWI723849B (zh) | 圖像解碼裝置、方法及電腦可讀取記錄媒體 | |
JP6030230B2 (ja) | パノラマベースの3dビデオコーディング | |
US8810628B2 (en) | Image processing apparatus and image processing method | |
KR20110126616A (ko) | 화상 처리 장치 및 방법 | |
CN113313776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
KR20020068272A (ko) | 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치 | |
CN110463206A (zh) | 图像滤波方法及装置 | |
US9491476B2 (en) | Method and apparatus for deciding a video prediction mode | |
CN113542739B (zh) | 图像编码方法及装置、图像解码方法及装置、介质、设备 | |
CN113409203A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
AU2010231544A1 (en) | System and format for encoding data and three-dimensional rendering | |
US20110128355A1 (en) | Image processing apparatus and image processing method | |
CN117440194A (zh) | 一种投屏画面的处理方法及相关装置 | |
CN115623215A (zh) | 一种播放视频的方法、电子设备和计算机可读存储介质 | |
CN111626931B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN113658070A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
US12039702B2 (en) | Motion compensation for neural network enhanced images | |
WO2020181540A1 (zh) | 一种视频处理方法、装置、编码设备及解码设备 | |
CN117097913A (zh) | 视频编码方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |