CN111402165B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111402165B
CN111402165B CN202010192107.6A CN202010192107A CN111402165B CN 111402165 B CN111402165 B CN 111402165B CN 202010192107 A CN202010192107 A CN 202010192107A CN 111402165 B CN111402165 B CN 111402165B
Authority
CN
China
Prior art keywords
image
sharpening
definition
component
processing information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010192107.6A
Other languages
English (en)
Other versions
CN111402165A (zh
Inventor
沈珈立
罗小伟
林福辉
张晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010192107.6A priority Critical patent/CN111402165B/zh
Publication of CN111402165A publication Critical patent/CN111402165A/zh
Application granted granted Critical
Publication of CN111402165B publication Critical patent/CN111402165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

本申请提供了一种图像处理方法、装置、设备及存储介质,其中,所述方法包括:对视频进行解码,得到所述视频的分辨率、码率和解码图像;根据所述分辨率和所述码率确定平滑处理信息和锐化处理信息;利用所述平滑处理信息对所述解码图像进行平滑处理,得到去块效应图像;利用所述锐化处理信息对所述去块效应图像进行锐化处理,得到锐化图像。通过实施本申请,可以根据视频的分辨率和码率自适应确定锐化处理和平滑处理的强度,提高视频画面的画质。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及信号处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在移动设备和个人电脑上观看视频,已经成为大众主要的娱乐方式。但是由于网络带宽、设备储存容量的限制,视频的清晰度、对比度和色彩表现往往难以令人满意。因此需要对视频画面进行画质增强,画质增强主要包括提升画面对比度,去除块效应,提升清晰度,增强色彩表现等方面。
目前,在进行画质增强处理时,可能存在对视频画面处理过度,反而导致块效应变得更加明显,或者导致画面中的对象(如物体等)的边缘模糊等,从而使得视频画面的画质更为劣化。
发明内容
本申请公开了一种图像处理方法、装置、设备及存储介质,可以提高视频画面的画质。
本申请提供了一种图像处理方法,该方法包括:
对视频进行解码,得到视频的分辨率、码率和解码图像;
根据分辨率和码率确定平滑处理信息和锐化处理信息;
利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像;
利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
本申请提供了一种图像处理装置,该图像处理装置包括:
视频解码模块,用于对视频进行解码,得到视频的分辨率、码率和解码图像;
强度计算模块,用于根据分辨率和码率确定平滑处理信息和锐化处理信息;
去块效应模块,用于利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像;
锐化处理模块,用于利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
本申请提供了一种图像处理设备,该图像处理设备包括:
存储器,所述存储器包括计算机可读指令;
与所述存储器相连的处理器,所述处理器用于执行所述计算机可读指令,从而使得图像处理设备执行上述图像处理方法。
本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行上述图像处理方法。
本申请中,通过对视频进行解码,得到视频的分辨率、码率;根据分辨率和码率确定视频的清晰度,根据清晰度确定平滑处理信息和锐化处理信息;从而确定对视频画面进行平滑处理的强度,和进行锐化处理的强度。因此,通过实施本申请,可以根据视频的分辨率和码率自适应确定锐化处理和平滑处理的强度,提高了视频画面的画质。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法流程示意图;
图2是本申请实施例提供的一种确定平滑处理信息和锐化处理信息的流程示意图;
图3是本申请实施例提供的一种图像平滑处理的流程示意图;
图4是本申请实施例提供的一种图像锐化处理的流程示意图;
图5是本申请实施例提供的一种图像处理方法流程示意图;
图6是本申请实施例提供的一种对比度提升处理的流程示意图;
图7是本申请实施例提供的一种色彩增强处理的流程示意图;
图8是本申请实施例提供的一种可能的四面体的类型示意图;
图9是本申请实施例提供的一种图像处理应用场景示意图;
图10是本申请实施例提供的一种图像处理装置结构示意图;
图11是本申请实施例提供的一种图像处理设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。另外,在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本申请使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。应当理解的是,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
请参见图1,图1是本申请实施例提供的一种图像处理方法流程示意图,该方法包括但不限于步骤S101-S104:
S101:终端设备对视频进行解码,得到视频的分辨率、码率和解码图像。
其中,视频可以为终端设备的存储介质中存储的视频,也可以为终端设备在利用应用软件播放视频时,从视频源位置实时下载的视频。解码图像可以为对视频解码后的当前帧画面。进而对视频解码的方式不做限制,例如可以采用视频解码器进行解码。
其中,终端设备可以包括但不限于:智能手机(如Android手机、iOS手机等)、平板电脑、计算机、便携式个人计算机、移动互联网设备(Mobile Internet Devices,MID)等,本申请实施例不做限定。
S102:终端设备根据分辨率和码率确定平滑处理信息和锐化处理信息。
其中,平滑处理信息为对图像进行平滑处理时采用的参数,用于指示平滑处理的强度;锐化处理信息为对图像进行锐化处理时采用的参数信息,用于指示锐化处理的强度。确定平滑处理信息和锐化处理信息的具体实施方式不做限制。
终端设备根据分辨率和码率确定视频的清晰度;若清晰度小于或等于清晰度阈值,则在低清晰度平滑参数查找表中查询平滑处理信息,在低清晰度锐化参数查找表中查询锐化处理信息。其中,清晰度阈值由系统自定义设置,低清晰度平滑参数查找表和低清晰度锐化参数查找表都可预先配置在终端设备中。低清晰度平滑参数查找表中的平滑信息为系统根据清晰度预先设置,清晰度越低则平滑处理信息指示的平滑处理强度越强;低清晰度锐化参数查找表中的锐化处理信息为系统根据清晰度预先设置的,清晰度越低则锐化处理信息指示的锐化处理强度越强。
若清晰度大于清晰度阈值,则在高清晰度锐化参数查找表中查询锐化处理信息;并基于在高清晰度锐化参数查找表中查找到的锐化处理信息对解码图像进行锐化处理;其中,低清晰度锐化参数查找表中的锐化处理信息的锐化处理强度高于高清晰度锐化参数查找表中的锐化处理信息的锐化处理强度。进而高清晰度锐化参数查找表可预先配置在终端设备中,该高清晰度锐化参数查找表中的锐化处理信息为系统根据清晰度预先设置的,清晰度越高则锐化处理信息指示的锐化处理强度越低。
请参见图2,图2是本申请实施例提供的一种确定平滑处理信息和锐化处理信息的流程示意图。如图所示,若清晰度小于或等于清晰度阈值,则表示解码图像的画质较差,可能存在块效应,视频清晰度较低。因此终端设备在低清晰度平滑参数查找表中查询当前清晰度对应的平滑处理信息,以使终端设备利用该平滑处理信息对图像进行平滑处理。终端设备可在低清晰度锐化参数查找表中查询当前清晰度对应的锐化处理信息,以使终端设备利用该锐化处理信息对图像进行锐化处理。
若视频的清晰度大于清晰度阈值,则表示解码图像较平滑,为高清视频。终端设备可跳过对解码图像进行平滑处理,防止对高清视频过度处理。终端设备可直接在高清晰度锐化参数查找表中查询当前清晰度对应的锐化处理信息,以使终端设备利用该锐化处理信息对解码图像进行锐化处理。因此,终端设备根据视频的分辨率和码率,自适应决定平滑处理和锐化处理的强度。如果视频是高清高码率视频,可以跳过平滑处理,同时适当调整锐化处理的强度。如果视频清晰度和分辨率较低,则会增强平滑处理的强度,尽量消除图像中的块效应;同时增强锐化处理的强度,使视频具有更清晰的边缘效果。
S103:终端设备利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像。
其中,平滑处理信息包括第一阈值、第一增益、第二增益和第一限幅参数,该平滑信息可以为从低清晰度平滑参数查找表中查询的信息。终端设备获取解码图像的第一高频分量和低频分量;终端设备将第一高频分量中的弱边缘分量乘以第一增益,得到抑制弱边缘分量,该弱边缘分量为第一高频分量中频率小于第一阈值的分量;终端设备将第一高频分量中的强边缘分量乘以第二增益,得到抑制强边缘分量,该强边缘分量为第一高频分量中频率大于或等于第一阈值的分量;终端设备采用第一限幅参数对第一目标分量进行限幅,得到第一限幅高频分量,该第一目标分量为根据抑制强边缘分量和抑制弱边缘分量得到;终端设备将低频分量和第一限幅高频分量合并,得到去块效应图像。
终端设备可通过低通滤波器将图像分为高频分量和低频分量。其中图像的高频分量通常是该图像的块效应的方块边缘,除此之外噪声也是高频分量;因此针对该高频分量进行抑制,就能减少画面中的块效应,并达到去噪的效果。其具体地实施方式请参见图3,图3是本申请实施例提供的一种图像平滑处理的流程示意图。如图所示,平滑处理信息还包括第一低通滤波器的滤波参数。
终端设备将解码图像输入第一低通滤波器后,可获得该图像的低频分量。进而终端设备利用解码图像减去低频分量,获取该图像的第一高频分量。
终端设备根据第一阈值将第一高频分量分类为强边缘分量和弱边缘分量;其中,该弱边缘分量为第一高频分量中频率小于第一阈值的分量,该强边缘分量为第一高频分量中频率大于或等于第一阈值的分量。
终端设备分别采用不同的增益对该强边缘分量和弱边缘分量进行抑制;终端设备将第一高频分量中的弱边缘分量乘以第一增益,得到抑制弱边缘分量;终端设备将第一高频分量中的强边缘分量乘以第二增益,得到抑制强边缘分量。
块效应的方块边缘通过增益得到抑制后,还需要采用第一限幅参数限制其幅度,防止过度抑制导致的画质劣化。终端设备将抑制强边缘分量和抑制弱边缘分量合并,得到第一目标分量;终端设备采用第一限幅参数对第一目标分量进行限幅,得到第一限幅高频分量。
终端设备将低频分量和第一限幅高频分量合并,得到去块效应图像。由于第一低通滤波器的滤波参数、第一阈值、第一增益、第二增益和第一限幅参数是根据视频的清晰度得到的,因此针对不同清晰度的视频,终端设备可以自适应确定平滑处理的强度,消除视频画面中的块效应。
S104:终端设备利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
其中,锐化处理信息包括第二阈值、第三增益、第四增益和第二限幅参数,该锐化处理信息可以为从低清晰度锐化参数查找表中查询的信息,也可以为从高清晰度锐化参数查找表中查询的信息。终端设备获取去块效应图像的第二高频分量;终端设备将第二高频分量中的第一分量乘以第三增益,得到第一增强高频分量,该第一分量为第二高频分量中频率小于第二阈值的分量;终端设备将第二高频分量中的第二分量乘以第四增益,得到第二增强高频分量,该第二分量为高频分量中频率大于或等于第二阈值的分量;终端设备采用第二限幅参数对第二目标分量进行限幅,得到第二限幅高频分量,该第二目标分量为根据第一增强高频分量和第二增强高频分量得到;终端设备将第二限幅高频分量叠加到去块效应图像,得到锐化图像。
终端设备可通过低通滤波器将图像的中高频分量分离出来,这部分中高频分量通常是图像中的对象(如物体)的边缘。针对该中高频分量进行增强,就能获得较为锐利的对象边缘,使图像中的对象更清晰。其具体地实施方式请参见图4,图4是本申请实施例提供的一种图像锐化处理的流程示意图。如图所示,锐化处理信息还包括第二低通滤波器的滤波参数。
方式一,终端设备将去块效应图像输入第二低通滤波器后,可获得该图像的低频分量。进而终端设备利用去块效应图像减去低频分量,获取该图像的第二高频分量。
终端设备根据第二阈值将第二高频分量分类为第一分量和第二分量;其中,该第一分量为第二高频分量中频率小于第二阈值的分量,该第二分量为高频分量中频率大于或等于第二阈值的分量。
终端设备分辨采用不同的增益对该第一分量和第二分量进行增强;终端设备将第二高频分量中的第一分量乘以第三增益,得到第一增强高频分量;终端设备将第二高频分量中的第二分量乘以第四增益,得到第二增强高频分量。
对图像中的对象边缘进行增强后,还需要采用第二限幅参数限制其幅度,防止过度增强导致的画质劣化。终端设备将第一增强高频分量和第二增强高频分量合并得到第二目标分量;终端设备采用第二限幅参数对第二目标分量进行限幅,得到第二限幅高频分量。
终端设备将第二限幅高频分量叠加到去块效应图像,得到锐化图像。由于第二低通滤波器的滤波参数、第二阈值、第三增益、第四增益和第二限幅参数是根据视频的清晰度得到的,因此针对不同清晰度的视频,终端设备可以自适应确定锐化处理的强度,使视频画面的清晰度得到提升。
方式二,终端设备将解码图像输入第二低通滤波器后,可获得该图像的低频分量。进而终端设备利用解码图像减去低频分量,获取该图像的第二高频分量。进而终端设备可对该解码图像的第二高频分量进行增强,请具体地实施方式可参照方式一,这里不再赘述。
本申请实施例中,通过对视频进行解码,得到视频的分辨率、码率;根据分辨率和码率确定视频的清晰度,根据清晰度确定平滑处理信息和锐化处理信息;从而确定对视频画面进行平滑处理的强度,和进行锐化处理的强度。因此,通过实施本申请实施例,可以根据视频的分辨率和码率自适应确定锐化处理和平滑处理的强度,提高了视频画面的画质。
请参见图5,图5是本申请实施例提供的一种图像处理方法流程示意图,该方法包括但不限于步骤S501-S506:
S501:终端设备对视频进行解码,得到视频的分辨率、码率和解码图像;
S502:终端设备根据分辨率和码率确定平滑处理信息和锐化处理信息;
S503:终端设备利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像;
S504:终端设备利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
步骤S501-S504请参见图1所述的图像处理方法,这里不再赘述。
S505:终端设备根据局部色调映射算法对锐化图像进行对比度提升处理,得到对比度提升图像。
其中,锐化图像包括至少一个子分区,该子分区由终端设备对锐化图像进行分割而成;子分区为目标像素及该像素领域内的领域像素的集合,领域像素的大小可根据实际情况自定义设置;例如以目标像素为圆心,半径为16的圆形区域内的所有像素。终端设备统计至少一个子分区中各个子分区的亮度分布;终端设备根据各个子分区的亮度分布和局部色调映射算法生成各个子分区对应的亮度映射曲线;终端设备根据亮度映射曲线对应改变各个子分区内目标像素的亮度,得到对比度提升图像。
终端设备通过统计图像局部的像素亮度信息,使图像局部亮度重新分布,从而获得更好的对比度。同时为了消除局部亮度映射导致的画面闪烁,需要参考视频前几帧画面的亮度映射曲线,计算出当前帧画面的目标像素的亮度,使亮度变化变得平滑。其具体地实施方式请参见图6,图6是本申请实施例提供的一种对比度提升的流程示意图,如图所示。以目标子分区为例进行阐述,该目标子分区为锐化图像中至少一个子分区中的任一子分区。
终端设备获取目标子分区中目标像素p(i,j)及其领域像素的原有亮度,得到该目标子分区的亮度分布。
终端设备根据目标子分区的亮度分部和局部色调映射算法,生成目标子分区对应的目标亮度映射曲线。
终端设备根据目标亮度映射曲线,查询目标像素p(i,j)映射后的亮度,得到目标亮度。进而终端设备根据视频前n帧画面中目标子分区对应位置的亮度映射曲线,查询目标像素p(i,j)对应位置在这n个亮度映射曲线内映射后的亮度,得到n个亮度。其中,n的取值可根据实际应用自定义设置。
终端设备根据目标亮度和n个亮度,计算目标像素p(i,j)的最终亮度。示例性地,采用以下公式(1)计算该最终亮度。
p`(i,j)=f0(p_0`(i,j))+f1(p_1`(i,j))+…+fn(p_n`(i,j))公式(1)其中,p`(i,j)表示最终亮度,p_0`(i,j)表示目标像素的目标亮度,p_1`(i,j)至p_n`(i,j)表示前n帧画面中目标像素p(i,j)对应位置的亮度,f0至fn表示权重。可选地,f0的取值比f1至fn的取值都大,即视频当前帧画面的目标亮度占的权重最大。
终端设备用最终亮度替换目标像素p(i,j)的原有亮度。同理对锐化图像中的所有子分区都执行上述流程,最后得到对比度提升图像。通过采用局部色调映射算法提升画面对比度,可以提升图像暗区和中间亮度区域的亮度,保护图像亮区不过曝。
S506:终端设备调用三维查找表对对比度提升图像进行色彩增强处理,得到色彩增强图像。
其中,三维查找表中存储了色域转换数据,并可将该表预先配置在终端设备中。该色域转换数据可通过采用专用工具(如SPRD PQ tuning tool软件工具)针对终端设备的屏幕进行调色得到。例如调整各个色彩的色相和饱和度,针对特定色彩进行保护,分离特定色彩通道等。请参见图7,当终端设备播放视频时,可调用三维查找表,并配合如图7所示的专用电路,实现对比度提升图像中的色彩值到色彩增强图像中的色彩值的转换。如图7所示,专用电路包括地址解码器、三维查找表、数据顺序调整器和四面体插值模块。
终端设备将对比度提升图像输入地址解码器,得到对比度提升图像中每个像素的色彩值对应的色域转换数据在三维查找表中的地址信息;终端设备根据地址信息从三维查找表中获取色域转换数据;终端设备采用数据顺序调整器对色域转换数据进行排列,得到排列数据;终端设备根据排列数据和四面体插值算法对对比度提升图像中每个像素的色彩值进行色域转换,得到色彩增强图像。
具体地,如图7所示,以目标像素的色彩值(RGB_in)为例,该色彩值(RGB_in)可以分解为R_in、G_in、B_in。其中,目标像素为对比度提升图像中任一像素点。终端设备将R_in、G_in、B_in输入地址解码器,地址解码器根据该R_in、G_in、B_in得到对应的色域转换数据在三维查找表中的地址信息。
终端设备根据地址信息从三维查找表中获取色域转换数据。
终端设备采用数据顺序调整器对该色域转换数据进行排列,得到排列数据,以方便四面体插值模块进行插值运算。其中,控制信号表示了一种四面体的类型,本申请实施例并不对四面体的类型进行限制。示例性的,图8是本申请实施例提供的一种可能的四面体的类型示意图。
终端设备根据排列数据和四面体插值算法对目标像素的色彩值进行色域转换,得到输出色彩值(RGB_out),该RGB_out可由R_out、G_out、B_out表示。
举例来说,请参见图9,图9是本申请实施例提供的一种图像处理应用场景示意图。如图9所示,以视频显示的画面为例,执行上述图5所述的图像处理方法。并与未进行图像处理的图像进行对比,可以看出本申请实施例提供的图像处理方法提升了视频画面的画质。
本申请实施例中,在对图像进行平滑处理和锐化处理后,终端设备采用局部色调映射算法来提升画面的对比度。在提升画面对比度的同时,不会引入负面的效果。进而终端设备通过采用三维查找表来实现画面色彩增强。该三维查找表可以将输入的色彩值精确的转换到另一个色彩上。这样就可以针对部分重点色彩进行增强,例如蓝天和草地可以变得更鲜艳。同时对部分色彩进行保护,比如人的肤色就不应被改变,保持原来的色调和饱和度。
请参见图10,图10是本申请实施例提供的一种图像处理装置100的结构示意图,该图像处理装置100可以搭载在上述方法实施例中的终端设备上。图7所示的图像处理装置100可以用于执行上述图1和图9所描述的方法实施例中的部分或全部功能。其中,各个单元的详细描述如下:
视频解码模块101,用于对视频进行解码,得到视频的分辨率、码率和解码图像;
强度计算模块102,用于根据分辨率和码率确定平滑处理信息和锐化处理信息;
去块效应模块103,用于利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像;
锐化处理模块104,用于利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
在一实施方式中,强度计算模块102用于根据分辨率和码率确定平滑处理信息和锐化处理信息时,具体用于:
根据分辨率和码率确定视频的清晰度;
若清晰度小于或等于清晰度阈值,则在低清晰度平滑参数查找表中查询平滑处理信息,在低清晰度锐化参数查找表中查询锐化处理信息;
还用于:
若清晰度大于清晰度阈值,则在高清晰度锐化参数查找表中查询锐化处理信息;并基于在高清晰度锐化参数查找表中查找到的锐化处理信息对解码图像进行锐化处理;
其中,低清晰度锐化参数查找表中的锐化处理信息的锐化处理强度高于高清晰度锐化参数查找表中的锐化处理信息的锐化处理强度。
在一实施方式中,所述图像处理装置100还包括对比度提升模块105和色彩增强模块106,具体用于
对比度提升模块105,用于根据局部色调映射算法对锐化图像进行对比度提升处理,得到对比度提升图像;
色彩增强模块106,用于调用三维查找表对对比度提升图像进行色彩增强处理,得到色彩增强图像。
在一实施方式中,平滑处理信息包括第一阈值、第一增益、第二增益和第一限幅参数,去块效应模块103在用于利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像时,具体用于:
获取解码图像的第一高频分量和低频分量;
将第一高频分量中的弱边缘分量乘以第一增益,得到抑制弱边缘分量,弱边缘分量为第一高频分量中频率小于第一阈值的分量;
将第一高频分量中的强边缘分量乘以第二增益,得到抑制强边缘分量,强边缘分量为第一高频分量中频率大于或等于第一阈值的分量;
采用第一限幅参数对第一目标分量进行限幅,得到第一限幅高频分量,第一目标分量为根据抑制强边缘分量和抑制弱边缘分量得到;
将低频分量和第一限幅高频分量合并,得到去块效应图像。
在一实施方式中,锐化处理信息包括第二阈值、第三增益、第四增益和第二限幅参数,锐化处理模块104,利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像时,具体用于:
获取去块效应图像的第二高频分量;
将第二高频分量中的第一分量乘以第三增益,得到第一增强高频分量,第一分量为第二高频分量中频率小于第二阈值的分量;
将第二高频分量中的第二分量乘以第四增益,得到第二增强高频分量,第二分量为高频分量中频率大于或等于第二阈值的分量;
采用第二限幅参数对第二目标分量进行限幅,得到第二限幅高频分量,第二目标分量为根据第一增强高频分量和第二增强高频分量得到;
将第二限幅高频分量和叠加到去块效应图像,得到锐化图像。
在一实施方式中,锐化图像包括至少一个子分区,对比度提升模块105在用于根据局部色调映射算法对锐化图像进行对比度提升处理,得到对比度提升图像时,具体用于:
统计至少一个子分区中各个子分区的亮度分布;
根据各个子分区的亮度分布和局部色调映射算法生成各个子分区对应的亮度映射曲线;
根据亮度映射曲线对应改变各个子分区内目标像素的亮度,得到对比度提升图像。
在一实施方式中,色彩增强模块106在用于调用三维查找表对对比度提升图像进行色彩增强处理,得到色彩增强图像时,具体用于:
将对比度提升图像输入地址解码器,得到对比度提升图像中每个像素的色彩值对应的色域转换数据在三维查找表中的地址信息;
根据地址信息从三维查找表中获取色域转换数据;
采用数据顺序调整器对色域转换数据进行排列,得到排列数据;
根据排列数据和四面体插值算法对对比度提升图像中每个像素的色彩值进行色域转换,得到色彩增强图像。
根据本申请的一个实施例,图1至图9所示的图像处理方法所涉及的部分步骤可由图10所示的图像处理装置中的各个模块来执行。例如,图1中所示的步骤S101可由图10所示的解码模块101执行,步骤S102可由图10所示的强度计算模块102执行。图10所示的图像处理装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成,或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个模块来实现,或者多个模块的功能由一个模块实现。在本申请的其它实施例中,图像处理装置也可以包括其它模块,在实际应用中,这些功能也可以由其它模块协助实现,并且可以由多个模块协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图1至图9中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图10中所示的图像处理装置,以及来实现本申请实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算装置中,并在其中运行。
基于同一发明构思,本申请实施例中提供的图像处理装置解决问题的原理与有益效果与本申请方法实施例中图像处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
请参阅图11,图11是本申请实施例提供的一种图像处理设备的结构示意图,所述图像处理设备可为方法实施例中的终端设备。所述图像处理设备至少包括处理器111、通信接口112和存储器113。其中,处理器111、通信接口112和存储器113可通过总线或其他方式连接,本申请实施例以通过总线连接为例。其中,处理器111(或称中央处理器(CentralProcessing Unit,CPU))是设备的计算核心以及控制核心,其可以解析设备内的各类指令以及处理设备的各类数据,例如:CPU可以用于解析用户向设备所发送的开关机指令,并控制设备进行开关机操作;再如:CPU可以在设备内部结构之间传输各类交互数据,等等。通信接口112可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器111的控制可以用于收发数据;通信接口112还可以用于设备内部数据的传输以及交互。存储器113(Memory)是设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器113既可以包括设备的内置存储器,当然也可以包括设备所支持的扩展存储器。存储器113提供存储空间,该存储空间存储了设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定。
在本申请实施例中,处理器111通过运行存储器113中的可执行程序代码,执行如下操作:
对视频进行解码,得到视频的分辨率、码率和解码图像;
根据分辨率和码率确定平滑处理信息和锐化处理信息;
利用平滑处理信息对解码图像进行平滑处理,得到去块效应图像;
利用锐化处理信息对去块效应图像进行锐化处理,得到锐化图像。
作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
根据分辨率和码率确定视频的清晰度;
若清晰度小于或等于清晰度阈值,则在低清晰度平滑参数查找表中查询平滑处理信息,在低清晰度锐化参数查找表中查询锐化处理信息;
还用于:
若清晰度大于清晰度阈值,则在高清晰度锐化参数查找表中查询锐化处理信息;并基于在高清晰度锐化参数查找表中查找到的锐化处理信息对解码图像进行锐化处理;
其中,低清晰度锐化参数查找表中的锐化处理信息的锐化处理强度高于高清晰度锐化参数查找表中的锐化处理信息的锐化处理强度。
作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
根据局部色调映射算法对锐化图像进行对比度提升处理,得到对比度提升图像;
调用三维查找表对对比度提升图像进行色彩增强处理,得到色彩增强图像。
作为一种可选的实施方式,平滑处理信息包括第一阈值、第一增益、第二增益和第一限幅参数,作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
获取解码图像的第一高频分量和低频分量;
将第一高频分量中的弱边缘分量乘以第一增益,得到抑制弱边缘分量,弱边缘分量为第一高频分量中频率小于第一阈值的分量;
将第一高频分量中的强边缘分量乘以第二增益,得到抑制强边缘分量,强边缘分量为第一高频分量中频率大于或等于第一阈值的分量;
采用第一限幅参数对第一目标分量进行限幅,得到第一限幅高频分量,第一目标分量为根据抑制强边缘分量和抑制弱边缘分量得到;
将低频分量和第一限幅高频分量合并,得到去块效应图像。
作为一种可选的实施方式,锐化处理信息包括第二阈值、第三增益、第四增益和第二限幅参数,作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
获取去块效应图像的第二高频分量;
将第二高频分量中的第一分量乘以第三增益,得到第一增强高频分量,第一分量为第二高频分量中频率小于第二阈值的分量;
将第二高频分量中的第二分量乘以第四增益,得到第二增强高频分量,第二分量为高频分量中频率大于或等于第二阈值的分量;
采用第二限幅参数对第二目标分量进行限幅,得到第二限幅高频分量,第二目标分量为根据第一增强高频分量和第二增强高频分量得到;
将第二限幅高频分量和叠加到去块效应图像,得到锐化图像。
作为一种可选的实施方式,锐化图像包括至少一个子分区,作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
统计至少一个子分区中各个子分区的亮度分布;
根据各个子分区的亮度分布和局部色调映射算法生成各个子分区对应的亮度映射曲线;
根据亮度映射曲线对应改变各个子分区内目标像素的亮度,得到对比度提升图像。
作为一种可选的实施方式,作为一种可选的实施方式,处理器111通过运行存储器113中的可执行程序代码执行如下操作:
将对比度提升图像输入地址解码器,得到对比度提升图像中每个像素的色彩值对应的色域转换数据在三维查找表中的地址信息;
根据地址信息从三维查找表中获取色域转换数据;
采用数据顺序调整器对色域转换数据进行排列,得到排列数据;
根据排列数据和四面体插值算法对对比度提升图像中每个像素的色彩值进行色域转换,得到色彩增强图像。
基于同一发明构思,本申请实施例中提供的图像处理设备解决问题的原理与有益效果与本申请方法实施例中图像处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行上述方法实施例所述的图像处理方法。
本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例所述的图像处理方法。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (9)

1.一种图像处理方法,其特征在于,所述方法包括:
对视频进行解码,得到所述视频的分辨率、码率和解码图像;
根据所述分辨率和所述码率确定平滑处理信息和锐化处理信息;
利用所述平滑处理信息对所述解码图像进行平滑处理,得到去块效应图像;
利用所述锐化处理信息对所述去块效应图像进行锐化处理,得到锐化图像;
其中,所述根据所述分辨率和所述码率确定平滑处理信息和锐化处理信息包括:
根据所述分辨率和所述码率确定所述视频的清晰度;
若所述清晰度小于或等于所述清晰度阈值,则在低清晰度平滑参数查找表中查询所述平滑处理信息,在低清晰度锐化参数查找表中查询所述锐化处理信息;清晰度越低则平滑处理信息指示的平滑处理强度越强,清晰度越低则锐化处理信息指示的锐化处理强度越强;
所述方法还包括:
若所述清晰度大于清晰度阈值,则在高清晰度锐化参数查找表中查询所述锐化处理信息;并基于在所述高清晰度锐化参数查找表中查找到的锐化处理信息对所述解码图像进行锐化处理;
其中,所述低清晰度锐化参数查找表中的锐化处理信息的锐化处理强度高于所述高清晰度锐化参数查找表中的锐化处理信息的锐化处理强度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据局部色调映射算法对所述锐化图像进行对比度提升处理,得到对比度提升图像;
调用三维查找表对所述对比度提升图像进行色彩增强处理,得到色彩增强图像。
3.根据权利要求1所述的方法,其特征在于,所述平滑处理信息包括第一阈值、第一增益、第二增益和第一限幅参数,所述利用所述平滑处理信息对所述解码图像进行平滑处理,得到去块效应图像包括:
获取所述解码图像的第一高频分量和低频分量;
将所述第一高频分量中的弱边缘分量乘以所述第一增益,得到抑制弱边缘分量,所述弱边缘分量为所述第一高频分量中频率小于所述第一阈值的分量;
将所述第一高频分量中的强边缘分量乘以所述第二增益,得到抑制强边缘分量,所述强边缘分量为所述第一高频分量中频率大于或等于所述第一阈值的分量;
采用所述第一限幅参数对第一目标分量进行限幅,得到第一限幅高频分量,所述第一目标分量根据所述抑制强边缘分量和所述抑制弱边缘分量得到;
将所述低频分量和所述第一限幅高频分量合并,得到所述去块效应图像。
4.根据权利要求1所述的方法,其特征在于,所述锐化处理信息包括第二阈值、第三增益、第四增益和第二限幅参数,所述利用所述锐化处理信息对所述去块效应图像进行锐化处理,得到锐化图像包括:
获取所述去块效应图像的第二高频分量;
将所述第二高频分量中的第一分量乘以所述第三增益,得到第一增强高频分量,所述第一分量为所述第二高频分量中频率小于所述第二阈值的分量;
将所述第二高频分量中的第二分量乘以所述第四增益,得到第二增强高频分量,所述第二分量为所述高频分量中频率大于或等于所述第二阈值的分量;
采用所述第二限幅参数对第二目标分量进行限幅,得到第二限幅高频分量,所述第二目标分量根据所述第一增强高频分量和所述第二增强高频分量得到;
将所述第二限幅高频分量和叠加到所述去块效应图像,得到所述锐化图像。
5.根据权利要求2所述的方法,其特征在于,所述锐化图像包括至少一个子分区,所述根据局部色调映射算法对所述锐化图像进行对比度提升处理,得到对比度提升图像包括:
统计所述至少一个子分区中各个子分区的亮度分布;
根据所述各个子分区的亮度分布和所述局部色调映射算法生成所述各个子分区对应的亮度映射曲线;
根据所述亮度映射曲线对应改变所述各个子分区内目标像素的亮度,得到所述对比度提升图像。
6.根据权利要求2所述的方法,其特征在于,所述调用三维查找表对所述对比度提升图像进行色彩增强处理,得到色彩增强图像包括:
将所述对比度提升图像输入地址解码器,得到所述对比度提升图像中每个像素的色彩值对应的色域转换数据在所述三维查找表中的地址信息;
根据所述地址信息从所述三维查找表中获取所述色域转换数据;
采用数据顺序调整器对所述色域转换数据进行排列,得到排列数据;
根据所述排列数据和四面体插值算法对所述对比度提升图像中每个像素的色彩值进行色域转换,得到所述色彩增强图像。
7.一种图像处理装置,其特征在于,所述装置包括:
视频解码模块,用于对视频进行解码,得到所述视频的分辨率、码率和解码图像;
强度计算模块,用于根据所述分辨率和所述码率确定平滑处理信息和锐化处理信息;
去块效应模块,用于利用所述平滑处理信息对所述解码图像进行平滑处理,得到去块效应图像;
锐化处理模块,用于利用所述锐化处理信息对所述去块效应图像进行锐化处理,得到锐化图像;
其中,所述强度计算模块具体用于:
根据所述分辨率和所述码率确定所述视频的清晰度;
若所述清晰度小于或等于所述清晰度阈值,则在低清晰度平滑参数查找表中查询所述平滑处理信息,在低清晰度锐化参数查找表中查询所述锐化处理信息;清晰度越低则平滑处理信息指示的平滑处理强度越强,清晰度越低则锐化处理信息指示的锐化处理强度越强;
若所述清晰度大于清晰度阈值,则在高清晰度锐化参数查找表中查询所述锐化处理信息;并基于在所述高清晰度锐化参数查找表中查找到的锐化处理信息对所述解码图像进行锐化处理;
其中,所述低清晰度锐化参数查找表中的锐化处理信息的锐化处理强度高于所述高清晰度锐化参数查找表中的锐化处理信息的锐化处理强度。
8.一种图像处理设备,其特征在于,所述设备包括:
存储器,所述存储器包括计算机可读指令;
与所述存储器相连的处理器,所述处理器用于执行所述计算机可读指令,从而使得所述图像处理设备执行权利要求1~6任一项所述的图像处理方法。
9.一种计算机可读存储介质,其特征在于,计算机存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1~6中任一项所述的图像处理方法。
CN202010192107.6A 2020-03-18 2020-03-18 图像处理方法、装置、设备及存储介质 Active CN111402165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010192107.6A CN111402165B (zh) 2020-03-18 2020-03-18 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010192107.6A CN111402165B (zh) 2020-03-18 2020-03-18 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111402165A CN111402165A (zh) 2020-07-10
CN111402165B true CN111402165B (zh) 2022-12-09

Family

ID=71436477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010192107.6A Active CN111402165B (zh) 2020-03-18 2020-03-18 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111402165B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222864B (zh) * 2021-06-09 2022-09-27 广州计量检测技术研究院 基于限幅滤波的图像边缘去噪方法及装置、设备
CN113507643B (zh) * 2021-07-09 2023-07-07 Oppo广东移动通信有限公司 视频处理方法、装置、终端及存储介质
CN113507572A (zh) * 2021-07-09 2021-10-15 Oppo广东移动通信有限公司 视频画面的显示方法、装置、终端及存储介质
CN113808038A (zh) * 2021-09-08 2021-12-17 瑞芯微电子股份有限公司 图像处理方法、介质及电子设备
CN114040156B (zh) * 2021-11-03 2022-08-16 西安交通大学 一种视频格式与画质处理的fpga系统及方法
CN114219730A (zh) * 2021-12-14 2022-03-22 深圳Tcl新技术有限公司 用户界面海报图片的处理方法、装置、存储介质及电子设备
CN114862427B (zh) * 2022-07-06 2022-11-22 一物一码数据(广州)实业有限公司 基于二维码的质量检测跟踪的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201726464U (zh) * 2010-05-05 2011-01-26 深圳市优视技术有限公司 一种新的视频图像锐化处理装置
CN106910168B (zh) * 2017-01-09 2020-02-28 中国科学院自动化研究所 并行图像色彩增强方法
CN108198155B (zh) * 2017-12-27 2021-11-23 合肥君正科技有限公司 一种自适用色调映射方法及系统
CN109168065B (zh) * 2018-10-15 2021-03-12 Oppo广东移动通信有限公司 视频增强方法、装置、电子设备及存储介质
CN109697738A (zh) * 2018-12-28 2019-04-30 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及存储介质
CN110149554B (zh) * 2019-05-31 2021-06-15 Oppo广东移动通信有限公司 视频图像处理的方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN111402165A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402165B (zh) 图像处理方法、装置、设备及存储介质
KR102234092B1 (ko) 이미지의 역 톤 매핑을 위한 방법
US7020332B2 (en) Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image
KR101069975B1 (ko) 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법
US9978121B2 (en) Adaptive sharpening in image processing and display
US9918095B1 (en) Pixel processing and encoding
US9165210B1 (en) Systems and methods for localized contrast enhancement
US10839495B2 (en) Computing devices and methods of image processing with input image data and reference tone mapping strength data
EP2059902B1 (en) Method and apparatus for image enhancement
EP3136736A1 (en) Method for inverse tone mapping of a sequence of images
CN111292269B (zh) 图像色调映射方法、计算机装置及计算机可读存储介质
CN113507598B (zh) 视频画面的显示方法、装置、终端及存储介质
KR20190035602A (ko) 이미지의 컬러들을 확장하기 위한 저비용 컬러 확장 모듈
CN110858388B (zh) 一种增强视频画质的方法和装置
US7978910B2 (en) Method and apparatus for adaptively filtering input image in color domains
US10122936B2 (en) Dynamic noise reduction for high dynamic range in digital imaging
JP2015088918A (ja) 情報処理装置及び情報処理方法
KR20180045056A (ko) 백색 팝-아웃을 통해 이미지를 강화하는 방법 및 장치
US10438328B1 (en) Chroma blurring reduction in video and images
CN111652816B (zh) 图像处理方法及相关设备
US10349087B2 (en) Methods, systems, and computer readable media for reconstructing images using blurring and noise-enhanced pixel intensity resampling
CN113507572A (zh) 视频画面的显示方法、装置、终端及存储介质
CN115797223A (zh) 降低图像噪声的方法及装置、计算机可读存储介质、终端
KR20230019250A (ko) Sl-hdrx 시스템용 신호에 조정되는 sdr 및 hdr 디스플레이상에서의 크로마 부스트
Lee et al. Context-Based Tone Reproduction for High Dynamic Range Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant