CN110782413B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110782413B
CN110782413B CN201911043561.9A CN201911043561A CN110782413B CN 110782413 B CN110782413 B CN 110782413B CN 201911043561 A CN201911043561 A CN 201911043561A CN 110782413 B CN110782413 B CN 110782413B
Authority
CN
China
Prior art keywords
image
noise
image block
intensity level
noise type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911043561.9A
Other languages
English (en)
Other versions
CN110782413A (zh
Inventor
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911043561.9A priority Critical patent/CN110782413B/zh
Publication of CN110782413A publication Critical patent/CN110782413A/zh
Application granted granted Critical
Publication of CN110782413B publication Critical patent/CN110782413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像处理方法、装置、设备及存储介质,其中,方法可以包括:获取待处理图像中的第一图像块;确定第一图像块对应的优化处理信息,其中,优化处理信息用于指示第一图像块的图像质量;根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块,其中,优化处理与第一图像块的图像质量相关联;根据第二图像块,得到目标图像。通过本发明实施例提供的图像处理方法、装置、设备及存储介质,能够提高图像处理后的图像质量。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、设备及存储介质。
背景技术
伴随互联网的发展,不同来源的各种图片和视频广泛传播,在图像传递系统中,主要包括采集、压缩、编码、存储、通信、显示等过程,而其中每一过程都有可能在实际应用中导致图像质量变差。如因为采集设备的不同、压缩方法和要求不同、对分辨率格式的需求差异等,导致很多图像的质量或多或少存在各类噪声失真,如采集设备导致的采集噪声、为了传输而压缩后形成的压缩噪声、环境光线导致的过暗或过曝、多次上采样、下采样导致的画面模糊等。因而,对图像进行优化处理,改善图像质量,来满足人们对高清图像日益增加的需求,是非常有必要的。
发明内容
本发明实施例的目的在于提供一种图像处理方法、装置、设备及存储介质,以提高图像处理后的图像质量。具体技术方案如下:
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取待处理图像中的第一图像块;
确定所述第一图像块对应的优化处理信息,其中,所述优化处理信息用于指示所述第一图像块的图像质量;
根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,其中,所述优化处理与所述第一图像块的图像质量相关联;
根据所述第二图像块,得到目标图像。
可选的,所述根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,包括:
根据所述优化处理信息中的噪声信息所指示的第一噪声类型,确定与所述第一噪声类型对应的去噪算法;
通过所述去噪算法对所述第一图像块进行噪声处理,得到所述第二图像块。
可选的,所述根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,包括:
根据所述优化处理信息中的噪声信息所指示的第一噪声类型,确定与所述第一噪声类型对应的去噪算法;
根据所述噪声信息所指示的第一噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定所述第一图像块对应的去噪参数;
通过所述去噪算法和所述去噪参数对所述第一图像块进行噪声处理,得到所述第二图像块。
可选的,所述确定所述第一图像块对应的优化处理信息,包括:
将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别,其中,所述图像质量评估模型用于对输入的图像块中的噪声类型和噪声强度级别进行识别;
根据所述图像质量评估模型输出的噪声类型和噪声强度级别,生成所述优化处理信息。
可选的,所述图像质量评估模型包括:特征提取层、噪声类型识别层和噪声强度级别确定层;所述将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别,包括:将所述第一图像块输入至所述图像质量评估模型,其中,所述图像质量评估模型中的所述特征提取层提取所述第一图像块中的图像特征,并将所述图像特征分别输入至所述噪声类型识别层和所述噪声强度级别确定层,所述噪声类型识别层根据所述图像特征确定所述第一图像块对应的噪声类型,所述噪声强度级别确定层根据所述图像特征确定所述第一图像块对应的噪声强度级别。
可选的,在将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别之前,所述方法还包括:
获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签;将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签输入预设质量分类模型,通过对所述预设质量分类模型进行训练得到所述图像质量评估模型;所述预设质量分类模型包括特征提取层、噪声类型识别层和噪声强度级别确定层。
可选的,所述噪声类型识别层的输出连接所述噪声强度级别确定层的输入;
所述将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别输入预设质量分类模型,通过对所述预设质量分类模型进行训练得到所述图像质量评估模型,包括:
通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对所述预设质量分类模型中的所述特征提取层和所述噪声类型识别层进行训练,并保存训练得到的所述特征提取层和噪声类型识别层的模型参数;
在对所述特征提取层和噪声类型识别层训练完成后,通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对所述预设质量分类模型中的所述噪声强度级别确定层进行训练,得到包括训练好的特征提取层和噪声类型识别层,以及训练好的噪声强度级别确定层的所述图像质量评估模型;其中,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对所述预设质量分类模型中的所述噪声强度级别确定层进行训练的过程中,调整噪声类型识别层的模型参数。
可选的,在所述根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块之后,所述方法还包括:对所述第二图像块进行图像增强处理,得到增强后的第二图像块;
所述根据所述第二图像块,得到目标图像,包括:根据所述增强后的第二图像块,得到所述目标图像。
第二方面,本发明实施例提供了一种图像处理装置,包括:
获取模块,用于获取待处理图像中的第一图像块;
确定模块,用于确定所述第一图像块对应的优化处理信息,其中,所述优化处理信息用于指示所述第一图像块的图像质量;
处理模块,用于根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,其中,所述优化处理与所述第一图像块的图像质量相关联;
目标图像得到模块,用于根据所述第二图像块,得到目标图像。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述第一方面所述方法的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述方法的方法步骤。
本发明实施例提供的图像处理方法、装置、设备及存储介质,可以获取待处理图像中的第一图像块;确定第一图像块对应的优化处理信息,其中,优化处理信息用于指示第一图像块的图像质量;根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块,其中,优化处理与第一图像块的图像质量相关联;根据第二图像块,得到目标图像。本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的一种流程图;
图2为本发明实施例提供的对图像块进行优化处理的一种流程图;
图3为本发明实施例提供的对图像块进行优化处理的另一种流程图;
图4为本发明实施例提供的得到图像质量评估模型的流程图;
图5为本发明实施例提供的确定训练数据集的流程图;
图6为本发明实施例提供的图像处理方法的另一种流程图;
图7为本发明实施例提供的对图像块进行噪声处理的流程图;
图8为本发明实施例提供的预设质量分类模型的框架示意图;
图9为本发明实施例提供的预设质量分类模型的网络架构示意图;
图10为本发明实施例提供的图像处理装置的一种结构示意图;
图11为本发明实施例提供的图像处理装置的另一种结构示意图;
图12为本发明实施例提供的图像处理装置的另一种结构示意图;
图13为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种图像处理方法,本发明实施例提供的图像处理方法可以应用于电子设备。其中,电子设备可以是处理器、终端如电脑等。如图1所示,可以包括如下步骤:
S101,获取待处理图像中的第一图像块。
本发明实施例中可以对待处理图像进行划分得到多个图像块。第一图像块可以是划分得到的任一图像块。
可以通过基于固定大小区域方式、基于图分割区域方式、或基于连通域分割方式,基于像素级别计算整个图像的质量热点图的方式等等,将待处理图像进行划分,得到多个图像块。
一种可实现方式中,可以确定预设大小的窗口,通过滑动窗口,将待处理图像划分为大小与该窗口相同的多个图像块。具体地,窗口的大小可以根据待处理图像的尺寸来确定。如可以采用宽和高均为255的窗口,将待处理图像划分为多个不重合的图像块。
S102,确定第一图像块对应的优化处理信息。
其中,优化处理信息用于指示第一图像块的图像质量。
优化处理信息可以包括用于对图像块进行噪声处理的噪声信息、对图像块进行增强处理的增强处理信息等等。
本发明实施例中,可以通过分析图像空域或频域特征,进而通过这些特征检测图像块的优化处理信息。如可以通过提取多个图像的特征,通过机器学习,训练用于检测图像的优化处理信息的模型,然后,将多个图像块分别输入至该模型,以得到图像块的优化处理信息。
一种可实现方式中,本发明实施例可以基于深度学习,预先用于检测图像噪声信息的图像质量评估模型,通过该质量评估模型得到各个图像块分别对应的优化处理信息。
S103,根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块。
其中,优化处理与第一图像块的图像质量相关联。
优化处理可以包括用于提高图像增量的处理,如去噪处理、增强处理等等。
本发明实施例中,不同的第一图像块对应的优化处理信息可以不同,可以根据不同第一图像块对应的不同优化处理信息,对不同的图像块进行不同的优化处理。
S104,根据第二图像块,得到目标图像。
一种可实现方式中,可以将对待处理图像划分得到的各个图像块分别对应的第二图像块,进行拼接得到待处理图像对应的目标图像。或者,可以将对待处理图像划分得到的各个图像块分别对应的第二图像块,进行拼接,针对拼接得到的图像进一步进行处理得到目标图像,如对拼接得到的图像进一步进行增强处理,等等。
一种可实现方式中,可以对第二图像块进行进一步处理,如对第二图像块进行增强处理,将各个第二图像块进行增强处理后的图像块拼接得到目标图像。
本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
本发明一种可选的实施例中,优化处理信息可以包括用于对图像块进行噪声处理的噪声信息,优化处理可以包括噪声处理。
其中,噪声信息可以包括噪声类型,或者,也可以包括噪声类型和噪声强度级别。一种实现方式中,噪声信息也可以表示图像块不含噪声,等等。
噪声类型可以包括采集噪声、压缩噪声、高斯噪声、泊松噪声、乘性噪声和/或椒盐噪声等等。
不同噪声类型的噪声参数表示的含义有可能是不相同的,如高斯噪声的噪声参数为模糊参数,基于联合图像专家小组(Joint Photographic Experts Group,JPEG)压缩标准的JPEG压缩噪声的噪声参数为质量压缩比,等等。
噪声强度级别用于表示噪声的强度。噪声强度级别可以提供强度分数来表示。
图像的不同区域,即多个图像块有可能包含不同的噪声信息,不同图像块的图像特征分布有可能不同。本发明实施例中,有针对性地根据各个图像块的噪声信息确定与该噪声信息对应的去噪方式,通过与该图像块的噪声信息对应的噪声方式对图像进行去噪。具体地,噪声信息对应的去噪方式可以理解为与该噪声信息匹配的去噪方式,如噪声信息表示图像块的噪声类型属于压缩噪声,则噪声信息对应的去噪方式可以包括去除压缩噪声的去噪方式,等等。
一种可实现方式中,噪声信息包括噪声类型。确定图像块对应的噪声信息,可以包括:确定图像块对应的噪声类型。
具体地,可以将第一图像块输入训练好的图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型。
图像质量评估模型用于对输入的图像块中的噪声类型进行识别。图像质量评估模型是根据多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签训练得到的。其中,图像质量评估模型可以包括特征提取层和噪声类型识别层。
将第一图像块输入训练好的图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型,可以包括:将第一图像块输入至图像质量评估模型。其中,图像质量评估模型中的特征提取层提取第一图像块中的图像特征,并将图像特征分别输入至噪声类型识别层,噪声类型识别层根据图像特征确定第一图像块对应的噪声类型。
一种可选的实现方式中,如图2所示,步骤S103根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块,可以包括如下步骤:
S1031,根据优化处理信息中的噪声信息所指示的第一噪声类型,确定与第一噪声类型对应的去噪算法。
噪声类型对应的去噪算法可以理解为与该噪声类型匹配的去噪算法,如图像块的噪声类型为压缩噪声,则噪声类型对应的去噪算法可以包括去除压缩噪声的去噪方式,如图像块的噪声类型为采集噪声,则噪声类型对应的去噪算法可以包括去除采集噪声的去噪方式,如图像块的噪声类型为模糊噪声,则噪声类型对应的去噪算法可以包括去除模糊噪声的去模糊处理方式,等等。
S1032,通过去噪算法对第一图像块进行噪声处理,得到第二图像块。
不同的图像块对应的优化处理信息中的噪声信息所指示的噪声类型有可能不同,则可以针对图像块的不同噪声类型,确定各个图像块的噪声信息所指示的噪声类型对应的去噪算法,对不同的图像块进行不同的噪声处理。
如此,可以根据不同的图像块的优化处理信息中的噪声信息所指示的噪声类型,确定与噪声类型对应的去噪算法。通过去噪算法对不同图像块进行噪声处理,可以针对待处理图像的各个图像块,有针对性地进行噪声处理。
另一种可选的实施例中,噪声信息可以包括噪声类型和噪声强度级别。可以确定第一图像块对应的噪声类型和噪声强度级别。
本发明实施例中,可以将第一图像块输入图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型和噪声强度级别。其中,图像质量评估模型用于对输入的图像块中的噪声类型和噪声强度级别进行识别;根据图像质量评估模型输出的噪声类型和噪声强度级别,生成优化处理信息。其中,图像质量评估模型可以包括:特征提取层、噪声类型识别层和噪声强度级别确定层。
将第一图像块输入图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型和噪声强度级别,包括:将第一图像块输入至图像质量评估模型,其中,图像质量评估模型中的特征提取层提取第一图像块中的图像特征,并将图像特征分别输入至噪声类型识别层和噪声强度级别确定层,噪声类型识别层根据图像特征确定第一图像块对应的噪声类型,噪声强度级别确定层根据图像特征确定第一图像块对应的噪声强度级别。
一种可实现方式中,步骤S103根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块,如图3所示,可以包括:
S1033,根据优化处理信息中的噪声信息所指示的第一噪声类型,确定与第一噪声类型对应的去噪算法。
在上述噪声信息包括噪声类型的实现方式中的步骤中已进行了详细介绍,这里就不再赘述,参照上述步骤。
S1034,根据噪声信息所指示的第一噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定第一图像块对应的去噪参数。
去噪参数可以理解为通过去噪算法对图像进行去噪处理时所使用的参数,如去噪阈值等。
本发明实施例中,可以预先创建噪声强度级别与去噪参数的映射关系。如此,当确定图像块对应的噪声强度级别后,可以查找该映射关系,确定该噪声强度级别对应的去噪参数。
本发明实施例一种可实现方式中,可以预先创建噪声强度级别与噪声参数的映射关系,其中,噪声参数可以理解为对图像等添加噪声时所使用的参数。可以理解,添加噪声与去除噪声存在关联,即添加哪种噪声类型、噪声参数对应的噪声,对应地采取与该噪声的噪声类型以及噪声参数对应的去噪算法以及去噪参数去除该噪声。即噪声参数与去噪参数之间存在对应关系,如此,可以通过噪声强度级别与噪声参数的映射关系,以及噪声参数与去噪参数的对应关系,确定噪声强度级别对应的去噪参数。
本发明实施例一种可实现方式中,噪声强度级别包括:强度分数为1、强度分数为2、强度分数为3、强度分数为4和强度分数为5。针对不同的噪声类型,各个强度分数可以映射不同的噪声参数。具体地如表1所示。
表1
Figure BDA0002253507200000091
Figure BDA0002253507200000101
其中,JP2K(JPEG 2000)是基于小波变换的图像压缩标准,由联合图像专家小组(Joint Photographic Experts Group,JPEG)组织创建和维护。
本发明实施例中在确定噪声强度级别,即确定强度分数后,可以结合噪声类型,确定去噪参数。
S1035,通过去噪算法和去噪参数对第一图像块进行噪声处理,得到第二图像块。
一种可实现方式中,对于不同噪声强度级别的噪声,在去噪处理过程中,可以针对噪声类型对应的去噪算法,设置与该噪声强度级别对应的去噪参数,通过确定的去噪算法,结合该去噪参数进行去噪,如此能够提高去噪效果,实现更加精准地去噪。具体地,可以根据去噪参数,在使用去噪算法对第一图像块进行处理的过程选择去噪阈值,如将该去噪参数设置为去噪阈值等等,在使用去噪算法的过程中结合去噪阈值对第一图像块进行去噪。
如此,可以根据不同的图像块的优化处理信息中的噪声信息所指示的噪声类型以及噪声强度级别,确定与噪声类型对应的去噪算法以及与噪声强度级别对应的去噪参数。通过去噪算法和去噪参数对不同图像块进行噪声处理,可以针对待处理图像的各个图像块,有针对性地进行噪声处理。
一种可选的实施例中,在将第一图像块输入图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型和噪声强度级别之前,如图4所示,还可以包括:
S401,获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签。
一种可实现方式中,可以通过网络爬虫方式获取多个图像作为训练样本图像,或者可以从已知的开源数据集中获取多个训练样本图像。然后对获取到的多个训练样本图像打标签,如可以通过图像噪声检测方式,确定训练样本图像的噪声信息,并依据该噪声信息得到噪声信息标签。如检测得到训练样本图像的噪声类型为压缩噪声,可以为该训练样本图像添加表示图像含压缩噪声的标签信息,即噪声信息标签,如“压缩类”。或者可以直接将确定的噪声信息确定为该训练样本图像对应的噪声信息标签。其中,噪声信息标签可以包括噪声类型标签和噪声强度级别标签。
另一种可实现方式中,噪声信息标签可以包括噪声类型标签。
在步骤S401获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签之前,如图5所示,本发明实施例提供的方法还可以包括:
S501,获取样本图像。
样本图像可以包括图像质量满足图像质量预设条件的高质量图像。图像质量预设条件可以是分辨率达到预设阈值,具体地,该预设阈值可以根据实际情况来确定,如可以是4K分辨率。或者预设条件可以是清晰度达到预设标准,预设标准可以根据实际情况确定。或者也可以是细节信息的丰富程度满足条件,等等。
S502,分别对样本图像添加噪声,得到添加噪声后的样本图像,并根据添加噪声的信息,确定各个添加噪声后的样本图像的噪声信息标签。
本发明实施例中,可以针对各个样本图像添加不同类型、不同强度的噪声,得到添加不同噪声后的样本图像。
具体地,可以采用matlab(Matrix Laboratory,矩阵实验室)图像工具箱内置函数生成不同类型的失真图像,即添加噪声后的样本图像。例如,可以采用fspecial函数(建立预定义的滤波算子的函数)和imfilter函数(实现线性空间滤波函数)生成含高斯模糊噪声的图像;采用imnoise函数(添加噪声函数)模拟生成含高斯采集噪声的图像;采用imwrite函数可以指定压缩格式的方式模拟生成含有JPEG和JP2K压缩噪声的图像。同时,可以调整不同的噪声参数生成不同噪声强度级别的失真图像。将得到的多个添加噪声后的图像作为训练数据集。
S503,将添加噪声后的样本图像以及各个添加噪声后的样本图像的噪声信息标签作为训练数据集。
同时,可以根据所添加噪声的信息,确定对应添加噪声后的样本图像的噪声信息标签。具体地,可以将所添加噪声的噪声类型,作为添加噪声后的样本图像的噪声类型标签,该噪声类型标签也可以称之为失真类别学习标签。可以将所添加噪声的噪声参数映射到噪声强度级别,具体地可以根据上述表1所示的噪声强度级别与噪声参数的映射关系,得到所添加噪声的噪声参数的噪声强度级别,并将该噪声强度级别作为所添加噪声对应的添加噪声后的样本图像的噪声强度级别标签,该噪声强度级别标签也可以称之为失真强度分数学习标签。
如此,步骤S401可以包括:从训练数据集中获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签。
本发明实施例中,每种噪声类型对应的噪声参数,比如含高斯采集噪声的样本图像的噪声参数为模糊参数,含JPEG压缩噪声的样本图像的噪声参数为质量压缩比,为了将不同噪声类型的噪声参数进行统一映射,进行了上述表1所示的标签映射表,比如:针对高斯模糊噪声,噪声参数(模糊参数)值为2、5、8、11、15分别映射的噪声强度级别标签为1、2、3、4、5;针对JPEG压缩噪声,噪声参数(质量压缩比)值为75、60、45、30、15分别映射的噪声强度级别标签为1、2、3、4、5。如此使得,对不同噪声类型的噪声强度级别标签进行了统一的标注,进而使得模型训练后输出的标签是统一的。
S402,将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型。
噪声信息标签可以理解为参考真值,预设质量分类模型可以包括模型参数,将训练样本图像以及训练样本图像对应的噪声信息标签,输入至该预设质量分类模型,调整模型参数,以使训练样本图像通过该预设质量分类模型后的输出无限逼近于该训练样本图像对应的噪声信息标签,如训练样本图像通过该预设质量分类模型后的输出与该训练样本图像对应的噪声信息标签之间的代价函数收敛时,确定模型参数,得到包括确定的模型参数的预设质量分类模型即为训练好的图像质量评估模型。其中,模型参数可以包括:卷积层和全连接层的神经元权重系数,等等。
一种可实现方式中,噪声类型识别层的输出可以连接噪声强度确定级别确定层的输入。
将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型,包括:
通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对预设质量分类模型中的特征提取层和噪声类型识别层进行训练,并保存训练得到的特征提取层和噪声类型识别层的模型参数。在对特征提取层和噪声类型识别层训练完成后,通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度级别确定层进行训练,得到包括训练好的特征提取层和噪声类型识别层,以及训练好的噪声强度级别确定层的图像质量评估模型。
其中,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度级别确定层进行训练的过程中,可以调整噪声类型识别层的模型参数。
本发明一种可选的实施例中,在S103根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块之后,本发明实施例提供的图像处理方法还可以包括:对第二图像块进行图像增强处理,得到增强后的第二图像块。
可以确定与第二图像块匹配的图像增强算法,通过该图像增强算法对第二图像块进行图像增强处理,得到增强后的第二图像块。其中,可以针对第二图像块进行质量分析,如分析第二图像块的对比度特征和/或颜色特征等,并根据第二图像块的对比度特征和/或颜色特征等自适应地选择与该对比度特征和/或颜色特征匹配的图像增强算法。
S104根据第二图像块,得到目标图像,可以包括:根据增强后的第二图像块,得到目标图像。如可以将待处理图像划分得到的各个第一图像块分别对应的第二图像块,将各个第二图像块进行拼接,得到目标图像。
本发明一种可选的实施例的,图像处理方法可以包括先对图像进行去噪处理,再进行图像增强处理。下面进行详细说明。
图像增强的思路,通常是借助特定的增强算法或者算法集合,来强化图像的有效信息或者感兴趣信息,抑制不需要的信息或者噪声。现有技术中,比较常见的图像增强算法有:灰度变换算法、同态滤波算法、直方图修正算法、频域滤波算法等。其中,灰度变换算法、直方图修正算法属于空域分析算法,而同态滤波算法、频域滤波算法属于频域分析算法。
现有的图像增强算法,基本都是考虑对整个图像采取相同的处理,而实际上图像的不同区域,所需的处理策略是不相同的。极少数方案考虑到对图像不同区域采用不同的增强处理策略,但也只对区域的整体纹理、对比度、亮度等进行分析,并没有区分图像的真实信号和噪声信号,更没有针对不同的噪声采用相应的去噪预处理。因此,在实际应用中,不可避免的会出现对图像增强的同时,也会对噪声信号不同程度的加强,导致最终图像质量较差。
本发明实施例中在图像增强的过程中,对图像进行划分区域,如将图像划分为多个图像块,针对各个图像块进行质量分析,如噪声分析等,根据不同的失真情况,如不同的噪声情况,对不同区域针对性地采用不同的处理技术,优化增强策略,改善对图像采用统一增强处理策略可能导致的负作用及增强效果不足的问题,即降低在图像增强过程中对噪声的增加,提高图像增强后的图像质量,提高图像增强效果。
本发明实施例提供了一种图像处理方法,如图6所示,可以包括:
S601,获取待处理图像。
待处理图像可以包括需图像增强的图像。待处理图像可以是任何格式的图像,本发明实施例不对待处理图像的格式作限制。
本发明实施例中,电子设备可以包括图像采集模块,待处理图像可以包括电子设备中图像采集模块采集得到的图像。或者,待处理图像可以包括电子设备从不同于该电子设备的其他位置获取到的图像。本发明实施例不对获取待处理图像的方式作限制。
S602,将待处理图像进行划分,得到多个图像块。
本发明实施例中,可以通过基于固定大小区域方式、基于图分割区域方式、或基于连通域分割方式,基于像素级别计算整个图像的质量热点图的方式等等,将待处理图像进行划分,得到多个图像块。
一种可实现方式中,可以确定预设大小的窗口,通过滑动窗口,将待处理图像划分为大小与该窗口相同的多个图像块。具体地,窗口的大小可以根据待处理图像的尺寸来确定。如可以采用宽和高均为255的窗口,将待处理图像划分为多个不重合的图像块。
S603,针对各个图像块,确定图像块对应的噪声信息。
噪声信息可以包括噪声类型,或者,也可以包括噪声类型和去噪参数,或者,也可以包括噪声类型和噪声强度级别。一种实现方式中,噪声信息也可以表示图像块不含噪声,等等。
噪声类型可以包括采集噪声、压缩噪声、高斯噪声、泊松噪声、乘性噪声和/或椒盐噪声等等。
不同噪声类型的噪声参数表示的含义有可能是不相同的,如高斯噪声的噪声参数为模糊参数,基于联合图像专家小组(Joint Photographic Experts Group,JPEG)压缩标准的JPEG压缩噪声的噪声参数为质量压缩比,等等。
噪声强度级别用于表示噪声的强度。噪声强度级别可以提供强度分数来表示。
本发明实施例中,可以通过分析图像空域或频域特征,进而通过这些特征检测图像块的噪声信息。如可以通过提取多个图像的特征,通过机器学习,训练用于检测图像的噪声信息的模型,然后,将多个图像块分别输入至该模型,以得到图像块的噪声信息。
一种可实现方式中,本发明实施例可以基于深度学习,预先用于检测图像噪声信息的图像质量评估模型,通过该质量评估模型得到各个图像块分别对应的噪声信息。具体地,训练图像质量评估模型以及通过该图像质量评估模型确定各个图像块分别对应的噪声信息在下面会详细介绍,这里先不赘述。
S604,针对各个图像块,通过与图像块的噪声信息对应的去噪方式,对图像块进行噪声处理,得到去噪后的图像块。
图像的不同区域,即多个图像块有可能包含不同的噪声信息,不同图像块的图像特征分布有可能不同。本发明实施例中,有针对性地根据各个图像块的噪声信息确定与该噪声信息对应的去噪方式,通过与图像块的噪声信息对应的噪声方式对图像进行去噪。具体地,噪声信息对应的去噪方式可以理解为与该噪声信息匹配的去噪方式,如噪声信息表示图像块的噪声类型属于压缩噪声,则噪声信息对应的去噪方式可以包括去除压缩噪声的去噪方式,等等。
一种可实现方式中,噪声信息包括噪声类型。确定图像块对应的噪声信息,可以包括:确定图像块对应的噪声类型。
通过与图像块的噪声信息对应的去噪方式,对图像块进行噪声处理,可以包括:
确定与图像块的噪声类型对应的去噪算法;通过去噪算法对图像块进行去噪。
噪声类型对应的去噪方式可以理解为与该噪声类型匹配的去噪方式,如图像块的噪声类型为压缩噪声,则噪声类型对应的去噪方式可以包括去除压缩噪声的去噪方式,如图像块的噪声类型为采集噪声,则噪声类型对应的去噪方式可以包括去除采集噪声的去噪方式,如图像块的噪声类型为模糊噪声,则噪声类型对应的去噪方式可以包括去除模糊噪声的去模糊处理方式,等等。
如此,可以实现针对图像块的不同噪声类型,对不同的图像块进行不同的去噪处理。
另一种可实现方式中,噪声信息可以包括噪声类型和噪声强度级别。确定图像块分别对应的噪声信息,可以包括:确定图像块对应的噪声类型和噪声强度级别。
通过与图像块的噪声信息对应的去噪方式,对该图像块进行噪声处理,图7所示,可以包括:
S701,确定与图像块的噪声类型对应的去噪算法。
在上述噪声信息包括噪声类型的实现方式中的步骤中已进行了详细介绍,这里就不再赘述,参照上述步骤执行即可。
S702,通过图像块对应的噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定图像块对应的去噪参数。
根据噪声信息所指示的第一噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定图像块对应的去噪参数,在上述图3所示实施例中步骤S1034已进行了详细介绍,这里不再赘述,参照上述步骤。
S703,通过去噪算法和去噪参数对图像块进行去噪。
一种可实现方式中,对于不同噪声强度级别的噪声,在去噪处理过程中,可以针对噪声类型对应的去噪算法,设置与噪声强度级别对应的去噪参数,通过确定的去噪算法,结合去噪参数进行去噪,如此能够提高去噪效果,实现更加精准地去噪。具体地,可以根据去噪参数,在使用去噪算法对图像块进行处理的过程选择去噪阈值,如将去噪参数设置为去噪阈值等等,在使用去噪算法的过程中结合去噪阈值对图像块进行去噪。
S605,针对各个去噪后的图像块,进行图像增强。
一种可实现方式中,针对各个去噪后的图像块,确定与去噪后的图像块匹配的图像增强算法;通过图像增强算法对去噪后的图像块进行图像增强。具体地,可以针对各个图像块进行质量分析,如分析图像块的对比度特征和/或颜色特征等,并根据图像块的对比度特征和/或颜色特征等自适应地选择与该对比度特征和/或颜色特征匹配的图像增强算法,通过各个去噪后的图像块对应的图像增强算法分别对去噪后的图像块进行图像增强。
另一种可实现方式中,可以将多个去噪后的图像块组成一个图像,针对组成得到的图像,确定与该图像匹配的图像增强算法,通过与该图像匹配的图像增强算法对该组成得到的图像进行增强。具体地,可以针对组成得到的图像进行质量分析,如分析该组成得到的图像的对比度特征和/或颜色特征等,并根据该组成得到的图像的对比度特征和/或颜色特征等,自适应地选择与该对比度特征和/或颜色特征匹配的图像增强算法,通过组成得到的图像对应的图像增强算法对组成得到的图像进行图像增强。
本发明实施例中,针对待处理图像划分得到的多个图像块,确定各个图像块对应的噪声信息,根据图像块对应的噪声信息,选择与图像块对应的噪声信息对应的去噪方式,并通过各个图像块对应的去噪方式对图像块进行去噪,对去噪后的图像块进行图像增强。如此,可以在对图像进行增强处理之前,先对图像进行噪声分析,并针对不同图像块进行不同的去噪,如此能够降低在对图像增强的过程中对噪声的加强,提高图像增强后的图像质量。
本发明一种可选的实施例中,步骤S603:针对各个图像块,确定图像块对应的噪声信息,包括:
针对各个图像块,将图像块输入训练好的图像质量评估模型,得到图像块的噪声信息。
其中,图像质量评估模型是根据多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签训练得到的。
具体地,训练图像质量评估模型,可以包括如下步骤:
获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签。
一种可实现方式中,可以通过网络爬虫方式获取多个图像作为训练样本图像,或者可以从已知的开源数据集中获取多个训练样本图像。然后对获取到的多个训练样本图像打标签,如可以通过图像噪声检测方式,确定训练样本图像的噪声信息,并依据该噪声信息得到噪声信息标签。如检测得到训练样本图像的噪声类型为压缩噪声,可以为该训练样本图像添加表示图像含压缩噪声的标签信息,即噪声信息标签,如“压缩类”。或者可以直接将确定的噪声信息确定为该训练样本图像对应的噪声信息标签。
另一种可实现方式中,在获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签之前,还可以包括构建训练数据集的过程,具体如上述图5所示实施例,以使可以从训练数据集中获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签。
将多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型。
噪声信息标签可以包括噪声类型标签,或者噪声信息标签包括噪声类型标签和噪声强度级别标签。
噪声信息标签可以理解为参考真值,预设质量分类模型可以包括模型参数,将训练样本图像以及训练样本图像对应的噪声信息标签,输入至该预设质量分类模型,调整模型参数,以使训练样本图像通过该预设质量分类模型后的输出无限逼近于该训练样本图像对应的噪声信息标签,如训练样本图像通过该预设质量分类模型后的输出与该训练样本图像对应的噪声信息标签之间的代价函数收敛时,确定模型参数,得到包括确定的模型参数的预设质量分类模型即为训练好的图像质量评估模型。其中,模型参数可以包括:卷积层和全连接层的神经元权重系数,等等。
如此,通过该图像质量模型可以输出图像的噪声类型,使得可以使得通过该图像质量模型分别确定待处理图像划分得到的多个图像块分别对应的噪声类型;进而确定分别与各个图像块的噪声类型对应的去噪算法;通过图像块对应的去噪算法对图像块进行去噪,实现在对图像增强之前,先进行有针对性地去噪处理。
鉴于目前深度学习所体现出的强大图像特征提取性能,本发明实施例可以采用基于卷积神经网络(Convolutional Neural Network,CNN)的深度学习模型训练图像质量评估模型。一种可实现方式中,可以采用ResNet系列,根据常见所需分析的噪声类型的个数修改设置模型最终预测输出的类型数目。本发明实施例中训练得到的图像质量评估模型可以包括5类输出,如模糊噪声、采集噪声、JPEG压缩噪声、JP2K压缩噪声以及清晰无噪声。
本发明一种可选的实施例中,预设质量分类模型可以包括特征提取层和噪声类型识别层,其中,特征提取层可以通过共享特征模块实现和噪声类型识别层可以通过噪声类型识别模块实现,也可以理解为预设质量分类模型可以包括共享特征模块和噪声类型识别模块。
本发明实施例中可以采用已有CNN卷积神经网络模型作为共享特征模块,噪声类别识别模块可以是在已有CNN卷积神经网络模型中增加由多个全连接层组成的分支。
一种可实现方式中,获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签,可以包括:
获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签。
将多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型,可以包括:
将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型。
具体地,获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,并将各个训练样本图像以及各个训练样本图像分别对应的噪声类型标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型。具体地,噪声类型标签可以理解为参考真值,预设质量分类模型可以包括模型参数,将训练样本图像以及训练样本图像对应的噪声类型标签,输入至该预设质量分类模型,调整模型参数,以使训练样本图像通过该预设质量分类模型后的输出无限逼近于该训练样本图像对应的噪声类型标签,如训练样本图像通过该预设质量分类模型后的输出与该训练样本图像对应的噪声类型标签之间的代价函数收敛时,确定模型参数,得到包括确定的模型参数的预设质量分类模型即为训练好的图像质量评估模型。
本实施例中,训练得到的图像质量评估模型可以包括特征提取层和噪声类型识别层,用于输出噪声类型。如此,针对各个图像块,将图像块输入图像质量评估模型,可以得到图像块的噪声类型。进而根据各个图像块的噪声类型,选择合适的去噪算法分别对各个图像块进行去噪。
现有技术在图像增强的过程中,没有区分图像的真实信号和噪声,更没有针对不同的噪声采用相应的去噪预处理,如此使得,不可避免地会出现在图像增强的过程中,会对噪声不同程度的加强,导致最终图像质量不理想,也即图像增强后的图像质量较差。
本发明通过增加图像质量预分析,针对性的采用不同处理技术,优化增强策略,来改善目前对图像采用统一增强处理策略可能导致的负作用及增强效果不足的问题,并且通过对图像不同区域进行质量预分析,根据不同的失真情况,对不同区域针对性的采用不同处理技术,优化增强策略,来改善现有对图像增强处理策略可能导致的负作用及增强效果不足的问题。
本发明一种可选的实施例中,预设质量分类模型可以包括特征提取层、噪声类型识别层和噪声强度级别确定层,其中,特征提取层可以通过共享特征模块实现和噪声类型识别层可以通过噪声类型识别模块实现,噪声强度级别确定层可以通过噪声强度确定模块实现,也可以理解为预设质量分类模型包括共享特征模块、噪声类型识别模块和噪声强度确定模块。
同上述实施例,可以采用已有CNN卷积神经网络模型作为共享特征模块,噪声类别识别模块可以是在已有CNN卷积神经网络模型中增加由多个全连接层组成的分支。另外,还可以增加由多个全连接层组成的噪声强度确定模块,该噪声强度确定模块可以理解为确定噪声强度级别的回归分支。
获取多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签,包括:
获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签。
将多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型,包括:
将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型。
具体地,可以通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对预设质量分类模型中的共享特征模块和噪声类型识别模块进行训练,并保存训练得到的共享特征模块和噪声类型识别模块的模型参数;并在对共享特征模块和噪声类型识别模块训练完成后,通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度确定模块进行训练,得到包括训练好的共享特征模块和噪声类型识别模块,以及训练好的噪声强度确定模块的图像质量评估模型。
一种可实现方式中,通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对预设质量分类模型中的共享特征模块和噪声类型识别模块进行训练,并保存训练得到的共享特征模块和噪声类型识别模块的模型参数。也可以理解为冻结已训练好的噪声类型识别模块的模型参数,不再更新该已训练好的噪声类型识别模块的模型参数。
一种可实现方式中,噪声类型识别模块的输出连接噪声强度确定模块的输入。
如图8所示,预设质量分类模型可以包括共享特征模块801、噪声类型识别模块802和噪声强度确定模块803。噪声类型识别模块802输出噪声类型,噪声强度确定模块803输出噪声强度级别。且噪声类型识别模块801的输出连接噪声强度确定模块803的输入。具体地,预设质量分类模型的网络架构如图9所示,共享特征模块可以有多个卷积层,如卷积层1、卷积层2、卷积层3、卷积层4和卷积层5组成。噪声类型识别模块可以由全连接层、归一化层和交叉熵(cross entropy)损失层组成,其中,归一化层中包括归一化函数softmax。softmax用于输出噪声类型的结果,在训练模型阶段,根据softnax的输出值,交叉熵损失层由交叉熵计算其输出值与噪声类型真实值的损失,即噪声类型识别模块的损失函数为交叉熵损失。其中,噪声类型真实值即输入至该预设质量分类模型的训练样本图像对应的噪声类型标签。
噪声强度确定模块包括全连接层和输出层,如f(type,score)以及L1范数损失层,如L1norm。f(type,score)是最终结果输出层,L1 norm是训练噪声强度确定模块回归时,根据score(分数)输出与噪声强度级别真实值计算L1范数损失,与噪声类型识别模块训练时采用交叉熵计算损失一样,都是训练评估的损失函数。其中,噪声强度级别真实值即输入至该预设质量分类模型的训练样本图像对应的噪声强度级别标签。
如此,噪声类别识别模块的输出影响噪声强度确定模块的输出。
将多个训练样本图像以及各个训练样本图像分别对应的噪声信息标签输入如图8所示的预设质量分类模型,通过对该预设质量分类模型进行训练得到图像质量评估模型,该图像质量评估模型包括共享特征模块、噪声类型识别模块和噪声强度确定模块。通过该图像质量评估模型可以得到各个图像块的噪声类型和噪声强度级别。
一种可选的实施例中,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度确定模块进行训练时,调整噪声类型识别模块的模型参数。
即通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对预设质量分类模型中的共享特征模块和噪声类型识别模块进行训练,得到的共享特征模块和噪声类型识别模块的模型参数后,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度确定模块进行训练过程中,有可能会影响噪声类型识别模块的模型参数,则在训练噪声强度确定模块的过程中,可以调整噪声类型识别模块的模型参数。
针对各个图像块,将图像块输入训练好的图像质量评估模型,得到图像块的噪声信息,包括:
针对各个图像块,将图像块输入图像质量评估模型,得到图像块的噪声类型和噪声强度级别。
本实施例中,训练得到的图像质量评估模型可以包括特征提取层、噪声类型识别层和噪声强度级别确定层,用于输出噪声类型和噪声强度级别。如此,针对各个图像块,将图像块输入图像质量评估模型,可以得到图像块的噪声类型和噪声强度级别。进而根据各个图像块的噪声类型,选择合适的去噪算法,并可以根据噪声强度级别确定去噪参数,进而结合去噪算法和去噪参数分别对各个图像块进行去噪。如此,针对各个图像块,也即针对待处理图像的不同区域,根据图像块的噪声类型采用相应的去噪算法,且通过噪声强度级别调整去噪参数,可以更精细化的抑制噪声,且在去噪后再做增强,能够达到更好的自适应图像增强效果,实现图像精细化增强。
对应于上述实施例提供的图像处理方法,本发明实施例提供了一种图像处理装置,如图10所示,可以包括:
获取模块1001,用于获取待处理图像中的第一图像块;
确定模块1002,用于确定第一图像块对应的优化处理信息,其中,优化处理信息用于指示第一图像块的图像质量;
处理模块1003,用于根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块,其中,优化处理与第一图像块的图像质量相关联;
目标图像得到模块1004,用于根据第二图像块,得到目标图像。本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
可选的,处理模块1003,具体用于根据优化处理信息中的噪声信息所指示的第一噪声类型,确定与第一噪声类型对应的去噪算法;通过去噪算法对第一图像块进行噪声处理,得到第二图像块。
可选的,处理模块1003,具体用于根据优化处理信息中的噪声信息所指示的第一噪声类型,确定与第一噪声类型对应的去噪算法;根据噪声信息所指示的第一噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定第一图像块对应的去噪参数;通过去噪算法和去噪参数对第一图像块进行噪声处理,得到第二图像块。
可选的,确定模块1002,具体用于将第一图像块输入图像质量评估模型,得到图像质量评估模型输出的第一图像块对应的噪声类型和噪声强度级别,其中,图像质量评估模型用于对输入的图像块中的噪声类型和噪声强度级别进行识别;根据图像质量评估模型输出的噪声类型和噪声强度级别,生成优化处理信息。
可选的,图像质量评估模型包括:特征提取层、噪声类型识别层和噪声强度级别确定层;
确定模块1002,具体用于将第一图像块输入至图像质量评估模型,其中,图像质量评估模型中的特征提取层提取第一图像块中的图像特征,并将图像特征分别输入至噪声类型识别层和噪声强度级别确定层,噪声类型识别层根据图像特征确定第一图像块对应的噪声类型,噪声强度级别确定层根据图像特征确定第一图像块对应的噪声强度级别。
可选的,如图11所示,装置还包括:
样本获取模块1101,用于获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签;
训练模块1102,用于将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签输入预设质量分类模型,通过对预设质量分类模型进行训练得到图像质量评估模型;预设质量分类模型包括特征提取层、噪声类型识别层和噪声强度级别确定层。
可选的,噪声类型识别层的输出连接噪声强度确定级别确定层的输入;
训练模块1102,具体用于通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对预设质量分类模型中的特征提取层和噪声类型识别层进行训练,并保存训练得到的特征提取层和噪声类型识别层的模型参数;在对特征提取层和噪声类型识别层训练完成后,通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度级别确定层进行训练,得到包括训练好的特征提取层和噪声类型识别层,以及训练好的噪声强度级别确定层的图像质量评估模型;其中,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对预设质量分类模型中的噪声强度级别确定层进行训练的过程中,调整噪声类型识别层的模型参数。
可选的,如图12所示,装置还包括:
增强模块1005,用于在根据第一图像块对应的优化处理信息,对第一图像块进行优化处理,并获得第一图像块经优化处理后的第二图像块之后,对第二图像块进行图像增强处理,得到增强后的第二图像块;
目标图像得到模块1004,具体用于根据增强后的第二图像块,得到目标图像。
对应于上述实施例提供的图像处理方法,本发明实施例还提供了一种电子设备,如图13所示,包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中,处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信。
存储器1303,用于存放计算机程序;
处理器1301,用于执行存储器1303上所存放的程序时,实现上述实施例提供的图像处理方法的方法步骤。
本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
对应于上述实施例提供的图像处理方法,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述实施例提供图像处理方法的方法步骤。
本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
对应于上述实施例提供的图像处理方法,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述图像处理方法的方法步骤。
本发明实施例中针对待处理图像中的图像块进行优化处理,可以根据图像块的优化处理信息,有针对地对图像块采取与图像块的图像质量对应的优化处理,如此,能够提高图像处理后的图像质量。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像中的第一图像块;
将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别,其中,所述图像质量评估模型用于对输入的图像块中的噪声类型和噪声强度级别进行识别;
根据所述图像质量评估模型输出的噪声类型和噪声强度级别,生成优化处理信息,其中,所述优化处理信息用于指示所述第一图像块的图像质量;
根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,其中,所述优化处理与所述第一图像块的图像质量相关联;
对所述第二图像块进行质量分析,得到所述第二图像块的对比度特征和/或颜色特征;
选择与所述第二图像块的对比度特征和/或颜色特征匹配的图像增强算法,对所述第二图像块进行图像增强处理,得到增强后的第二图像块;
根据所述增强后的第二图像块,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,包括:
根据所述优化处理信息中的噪声信息所指示的第一噪声类型,确定与所述第一噪声类型对应的去噪算法;
通过所述去噪算法对所述第一图像块进行噪声处理,得到所述第二图像块。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,包括:
根据所述优化处理信息中的噪声信息所指示的第一噪声类型,确定与所述第一噪声类型对应的去噪算法;
根据所述噪声信息所指示的第一噪声强度级别,以及噪声强度级别与去噪参数的映射关系,确定所述第一图像块对应的去噪参数;
通过所述去噪算法和所述去噪参数对所述第一图像块进行噪声处理,得到所述第二图像块。
4.根据权利要求1所述的方法,其特征在于,所述图像质量评估模型包括:特征提取层、噪声类型识别层和噪声强度级别确定层;
所述将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别,包括:将所述第一图像块输入至所述图像质量评估模型,其中,所述图像质量评估模型中的所述特征提取层提取所述第一图像块中的图像特征,并将所述图像特征分别输入至所述噪声类型识别层和所述噪声强度级别确定层,所述噪声类型识别层根据所述图像特征确定所述第一图像块对应的噪声类型,所述噪声强度级别确定层根据所述图像特征确定所述第一图像块对应的噪声强度级别。
5.根据权利要求1所述的方法,其特征在于,在将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别之前,所述方法还包括:
获取多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签;
将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别标签输入预设质量分类模型,通过对所述预设质量分类模型进行训练得到所述图像质量评估模型;所述预设质量分类模型包括特征提取层、噪声类型识别层和噪声强度级别确定层。
6.根据权利要求5所述的方法,其特征在于,所述噪声类型识别层的输出连接所述噪声强度确定级别确定层的输入;
所述将多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签和噪声强度级别输入预设质量分类模型,通过对所述预设质量分类模型进行训练得到所述图像质量评估模型,包括:
通过多个训练样本图像以及各个训练样本图像分别对应的噪声类型标签,对所述预设质量分类模型中的所述特征提取层和所述噪声类型识别层进行训练,并保存训练得到的所述特征提取层和噪声类型识别层的模型参数;
在对所述特征提取层和噪声类型识别层训练完成后,通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对所述预设质量分类模型中的所述噪声强度级别确定层进行训练,得到包括训练好的特征提取层和噪声类型识别层,以及训练好的噪声强度级别确定层的所述图像质量评估模型;其中,在通过多个训练样本图像以及各个训练样本图像分别对应的噪声强度级别标签对所述预设质量分类模型中的所述噪声强度级别确定层进行训练的过程中,调整噪声类型识别层的模型参数。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像中的第一图像块;
确定模块,用于将所述第一图像块输入图像质量评估模型,得到所述图像质量评估模型输出的所述第一图像块对应的噪声类型和噪声强度级别,根据所述图像质量评估模型输出的噪声类型和噪声强度级别,生成优化处理信息,其中,所述优化处理信息用于指示所述第一图像块的图像质量,所述图像质量评估模型用于对输入的图像块中的噪声类型和噪声强度级别进行识别;
处理模块,用于根据所述第一图像块对应的优化处理信息,对所述第一图像块进行优化处理,并获得所述第一图像块经所述优化处理后的第二图像块,其中,所述优化处理与所述第一图像块的图像质量相关联;
增强模块,用于对所述第二图像块进行质量分析,得到所述第二图像块的对比度特征和/或颜色特征;并选择与所述第二图像块的对比度特征和/或颜色特征匹配的图像增强算法,对所述第二图像块进行图像增强处理,得到增强后的第二图像块;
目标图像得到模块,用于根据所述增强后的第二图像块,得到目标图像。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-6任一所述方法的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述方法的方法步骤。
CN201911043561.9A 2019-10-30 2019-10-30 一种图像处理方法、装置、设备及存储介质 Active CN110782413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911043561.9A CN110782413B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911043561.9A CN110782413B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110782413A CN110782413A (zh) 2020-02-11
CN110782413B true CN110782413B (zh) 2022-12-06

Family

ID=69387650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911043561.9A Active CN110782413B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110782413B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815504A (zh) * 2020-06-30 2020-10-23 北京金山云网络技术有限公司 一种图像的生成方法和装置
CN113177497B (zh) * 2021-05-10 2024-04-12 百度在线网络技术(北京)有限公司 视觉模型的训练方法、车辆识别方法及装置
CN113240964B (zh) * 2021-05-13 2023-03-31 广西英腾教育科技股份有限公司 一种心肺复苏教学机器
CN113592733A (zh) * 2021-07-22 2021-11-02 北京小米移动软件有限公司 图像处理方法、装置、存储介质及电子设备
CN114697468B (zh) * 2022-02-16 2024-04-16 瑞芯微电子股份有限公司 图像信号处理方法和装置、电子设备
CN116132759B (zh) * 2023-04-19 2023-09-12 深圳市保凌影像科技有限公司 一种音视频流同步传输方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897634A (zh) * 2006-06-08 2007-01-17 复旦大学 一种基于超复数奇异值分解的图像质量评估方法
CN101123681A (zh) * 2007-09-20 2008-02-13 宝利微电子系统控股公司 一种数字图像降噪方法及装置
CN102436646A (zh) * 2011-11-07 2012-05-02 天津大学 基于压缩感知的ccd噪声估计方法
CN107092893A (zh) * 2017-04-28 2017-08-25 无锡北斗星通信息科技有限公司 一种基于图像处理的识别方法
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107224359A (zh) * 2017-07-20 2017-10-03 李良 自动控制的轮椅
CN108305230A (zh) * 2018-01-31 2018-07-20 上海康斐信息技术有限公司 一种模糊图像综合处理方法和系统
CN108805840A (zh) * 2018-06-11 2018-11-13 Oppo(重庆)智能科技有限公司 图像去噪的方法、装置、终端及计算机可读存储介质
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技(深圳)有限公司 一种图像清晰度识别方法、装置和存储介质
CN109596076A (zh) * 2019-01-16 2019-04-09 余刚 对象面积分析机构
CN110166708A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897634A (zh) * 2006-06-08 2007-01-17 复旦大学 一种基于超复数奇异值分解的图像质量评估方法
CN101123681A (zh) * 2007-09-20 2008-02-13 宝利微电子系统控股公司 一种数字图像降噪方法及装置
CN102436646A (zh) * 2011-11-07 2012-05-02 天津大学 基于压缩感知的ccd噪声估计方法
CN107092893A (zh) * 2017-04-28 2017-08-25 无锡北斗星通信息科技有限公司 一种基于图像处理的识别方法
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107224359A (zh) * 2017-07-20 2017-10-03 李良 自动控制的轮椅
CN108305230A (zh) * 2018-01-31 2018-07-20 上海康斐信息技术有限公司 一种模糊图像综合处理方法和系统
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技(深圳)有限公司 一种图像清晰度识别方法、装置和存储介质
CN108805840A (zh) * 2018-06-11 2018-11-13 Oppo(重庆)智能科技有限公司 图像去噪的方法、装置、终端及计算机可读存储介质
CN109596076A (zh) * 2019-01-16 2019-04-09 余刚 对象面积分析机构
CN110166708A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN110782413A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110782413B (zh) 一种图像处理方法、装置、设备及存储介质
Gu et al. Learning a no-reference quality assessment model of enhanced images with big data
CN109754391B (zh) 一种图像质量评价方法、装置及电子设备
Guan et al. No-reference blur assessment based on edge modeling
CN108510499B (zh) 一种基于模糊集和Otsu的图像阈值分割方法及装置
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
CN111127387B (zh) 无参考图像的质量的评价方法
Jia et al. Image denoising via sparse representation over grouped dictionaries with adaptive atom size
Wang et al. Gradient-based no-reference image blur assessment using extreme learning machine
CN115713533B (zh) 基于机器视觉的电力设备表面缺陷检测方法及装置
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
Wu et al. Visual structural degradation based reduced-reference image quality assessment
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Song et al. A novel self-learning weighted fuzzy local information clustering algorithm integrating local and non-local spatial information for noise image segmentation
Gui et al. Adaptive single image dehazing method based on support vector machine
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Bahrami et al. Efficient image sharpness assessment based on content aware total variation
Wang et al. An effective algorithm for single image fog removal
Gibson et al. A no-reference perceptual based contrast enhancement metric for ocean scenes in fog
Ma et al. Solid waste surface feature enhancement method based on gamma correction and wavelet transform
Dharmalingam et al. Adaptive frost filtered quantile regressive artificial deep structure learning framework for image quality assessment
John Chemmanam et al. Fused features for no reference image quality assessment
Bokan et al. Blind DIBR-synthesized image quality assessment based on sparsity features in morphological multiscale domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant