CN117522742B - 图像处理方法、架构、装置和计算机设备 - Google Patents

图像处理方法、架构、装置和计算机设备 Download PDF

Info

Publication number
CN117522742B
CN117522742B CN202410011758.9A CN202410011758A CN117522742B CN 117522742 B CN117522742 B CN 117522742B CN 202410011758 A CN202410011758 A CN 202410011758A CN 117522742 B CN117522742 B CN 117522742B
Authority
CN
China
Prior art keywords
level
image data
image
feature map
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410011758.9A
Other languages
English (en)
Other versions
CN117522742A (zh
Inventor
谭兵
周涤非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ouye Semiconductor Co ltd
Original Assignee
Shenzhen Ouye Semiconductor Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ouye Semiconductor Co ltd filed Critical Shenzhen Ouye Semiconductor Co ltd
Priority to CN202410011758.9A priority Critical patent/CN117522742B/zh
Publication of CN117522742A publication Critical patent/CN117522742A/zh
Application granted granted Critical
Publication of CN117522742B publication Critical patent/CN117522742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、架构、装置和计算机设备。方法包括:基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;基于图像信号处理器对修复图像数据进行校正,得到校正图像数据;从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。采用本方法能够降低图像处理的成本。

Description

图像处理方法、架构、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、架构、装置和计算机设备。
背景技术
图像信号处理器 (Image Signal Processor, ISP) 的功能是将图像传感器采集的信号,经过一系列图像处理技术, 转换为符合人眼观感的图像信号。
传统技术中,通过图像信号处理器实现将采集端原始信号到符合人眼的图像信号间的整体流程。由于图像信号处理器的设计和优化需要耗费大量的人力和物力,无法避免成本高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够降低成本的图像处理方法、架构、装置和计算机设备。
第一方面,本申请提供了一种图像处理方法,包括:
基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;
基于图像信号处理器对修复图像数据进行校正,得到校正图像数据;
从校正图像数据中提取出高频信号、亮度信号和色度信号;
将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。
第二方面,本申请还提供了一种图像处理架构包括图像修复网络、图像信号处理器和图像增强网络;
图像修复网络,用于对采集的原始图像数据进行修复,得到修复图像数据;
图像信号处理器,用于对修复图像数据进行校正,得到校正图像数据;
图像增强网络,用于根据高频信号、亮度信号和色度信号对校正图像数据进行增强,得到增强图像数据;高频信号、亮度信号和色度信号是从校正图像数据中提取的。
第三方面,本申请还提供了一种图像处理装置,包括:
修复模块,用于基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;
校正模块,用于基于图像信号处理器对修复图像数据进行校正,得到校正图像数据;
增强模块,用于从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。
第四方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法中的步骤。
第五方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法中的步骤。
第六方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法中的步骤。
上述图像处理方法、架构、装置、计算机设备、存储介质和计算机程序产品,基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;基于图像信号处理器对修复图像数据进行校正,得到校正图像数据;从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。图像修复和图像增强通常针对的是图像本身的内容和属性,而不是受限于采集图像的设备性能,故而能够使用人工智能技术实现图像修复操作和图像增强操作。而图像校正往往受限于采集图像的设备性能,不同的设备具有不同的响应特性,因此需要相较于人工智能技术更加灵活的图像信号处理器针对性地实现图像校正。图像修复网络叠加图像信号处理器再叠加图像增强网络,相较于串联多个不同功能的图像信号处理器的方式,能够达到降低人工成本。
此外,未修复图像中的干扰可能影响校正的性能,以及如果没有进行修复和校正而直接进行增强,可能会导致增强后的图像质量下降,故而基于图像修复网络实现图像的修复、基于图像信号处理器对修复后的图像进行校正、之后基于图像增强网络对校正后的图像进行增强,能够在保证图像处理效果的同时降低成本。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的应用环境图;
图2为本申请实施例提供的一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种图像修复网络的结构示意图;
图4为本申请实施例提供的一种图像增强网络的结构示意图;
图5为本申请实施例提供的一种图像处理架构的示意图;
图6为本申请实施例提供的一种图像处理装置的结构框图;
图7为本申请实施例提供的一种计算机设备的内部结构图;
图8为本申请实施例提供的另一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像处理方法,可以应用于如图1所示的应用环境中。其中,计算机设备102通过接口与图像信号处理器104进行通信。计算机设备102上部署有图像修复网络和图像增强网络。计算机设备102可以基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;计算机设备102可以将修复图像数据发送至图像信号处理器104,以指示图像信号处理器104对修复图像数据进行校正,得到校正图像数据;计算机设备102可以从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。
其中,计算机设备102可以包括终端或服务器的至少一种。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤202至步骤208。其中:
步骤202,基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据。
其中,图像修复网络用于对原始图像数据进行修复。比如,图像修复网络可以对原始图像数据进行去噪、去马赛克、去紫边、超分辨率重建、图像填充或图像去模糊等中的至少一种修复处理。可以理解,图像修复网络具备的修复能力取决于训练数据集,如果需要图像修复网络具备去马赛克、去紫边以及去噪的能力,那么训练数据集中存在包括马赛克的样本图、包括紫边的样本图和包括噪声的样本图,训练数据集中存在相应的去马赛克的标签图像、去紫边的标签图像以及去噪的标签图像。
示例性地,图像采集设备可以采集原始图像数据,将原始图像数据发送至计算机设备。此时,原始图像数据为传感器原始格式,即,未经加工的原始图像格式RAW。原始图像数据经过图像修复网络修复后,得到的是颜色格式的修复图像数据。可以理解,图像信号处理器侧重于对数据本身的优化和改进,而图像修复网络侧重于从数据中提取特征和模式,由于图像修复针对的是图像的内容和属性,故而采用图像修复网络实现图像修复的性能更好。并且,图像信号处理器容易受极低照度、雨雪雾天气等极端环境的影响,导致图像修复的效果不佳,而图像修复网络的性能更加稳定且能够有效提升图像修复的性能。
在一些实施例中,颜色格式可以但不限于是三基色格式。可以理解,输入的原始图像数据是一通道的图像数据,而图像修复网络输出的是三通道的修复图像数据。上述的三通道分别对应三基色,三通道可以包括红色通道、绿色通道和蓝色通道。
在一些实施例中,计算机设备可以通过图像修复网络对采集的原始图像数据进行去马赛克处理,得到修复图像数据。
在一些实施例中,图像修复网络用于对原始图像数据进行去马赛克,并且用于对原始图像数据进行去噪或去紫边等中的至少一种处理。可以理解,去马赛克可以是图像修复网络必有的功能。
在一些实施例中,图像修复网络对原始图像数据进行多层级的编码以及多层级的解码后,输出修复图像数据。
在一些实施例中,图像修复网络中包括第一层级和第二层级。计算机设备可以通过图像修复网络对原始图像数据进行特征提取,得到初始特征图;对初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到第二层级的融合特征图;其中,第二层级是第一层级的上一层级;根据初始特征图和第二层级的融合特征图进行图像重建,得到修复图像数据。
步骤204,基于图像信号处理器对修复图像数据进行校正,得到校正图像数据。
其中,图像信号处理器可以对修复图像数据进行主观校正或客观校正中的至少一种处理。比如,数字增益、白平衡和色域转换通常涉及到根据特定需求对图像进行调整,因此属于主观校正。而伽马校正是用来校正显示器、摄像机和图像处理设备之间的亮度响应关系,是一种客观校正。
示例性地,图像信号处理器对修复图像数据进行主观校正或客观校正中的至少一种处理后,得到校正图像数据。图像信号处理器可以将校正图像数据发送至计算机设备。
步骤206,从校正图像数据中提取出高频信号、亮度信号和色度信号。
示例性地,计算机设备可以将校正图像数据从时域转到频域得到频谱,分析频谱中的高频分量得到高频信号。对校正图像数据进行色彩空间转换得到亮度信号和色度信号。
步骤208,将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。
可以理解,高频信号通常对应着图像中的细节和边缘信息,这些信息在图像中表现为高频振荡的信号。通过对高频信号的提取和分析,可以增强图像的清晰度和细节表现力。亮度信号是图像中像素值的反映,它与图像的明暗程度和对比度密切相关。通过对亮度信号的调整和增强,可以提高图像的对比度和明暗表现力。色度信号是图像中颜色的反映,它与图像的色彩和饱和度密切相关。通过对色度信号的调整和增强,可以提高图像的色彩表现力和饱和度。
示例性地,图像增强网络可以通过增强高频信号、亮度信号和色度信号,实现对校正图像数据的增强,得到增强图像数据。可以理解,图像信号处理器侧重于对数据本身的优化和改进,而图像增强网络侧重于从数据中提取特征和模式,由于图像增强针对的是图像的内容和属性,故而采用图像增强网络实现图像增强的性能更好。并且,图像信号处理器容易受极低照度、雨雪雾天气等极端环境的影响,导致图像增强的效果不佳,而图像增强网络的性能更加稳定且能够有效提升图像增强的性能。
在一些实施例中,图像增强网络可以包括多个特征提取层。高频信号、亮度信号和色度信号分别对应不同的特征提取层。融合多个特征提取层的输出即可得到增强图像数据。
在一些实施例中,图像修复网络、图像信号处理器和图像增强网络可以是独立训练的,也可以是联合训练的。
上述图像处理方法中,基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据;基于图像信号处理器对修复图像数据进行校正,得到校正图像数据;从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。图像修复和图像增强通常针对的是图像本身的内容和属性,而不是受限于采集图像的设备性能,故而能够使用人工智能技术实现图像修复操作和图像增强操作。而图像校正往往受限于采集图像的设备性能,不同的设备具有不同的响应特性,因此需要相较于人工智能技术更加灵活的图像信号处理器针对性地实现图像校正。图像修复网络叠加图像信号处理器再叠加图像增强网络,相较于串联多个不同功能的图像信号处理器的方式,能够达到降低人工成本。
此外,未修复图像中的干扰可能影响校正的性能,以及如果没有进行修复和校正而直接进行增强,可能会导致增强后的图像质量下降,故而基于图像修复网络实现图像的修复、基于图像信号处理器对修复后的图像进行校正、之后基于图像增强网络对校正后的图像进行增强,能够在保证图像处理效果的同时降低成本。
在一些实施例中,基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据,包括:将采集的原始图像数据输入至图像修复网络,通过图像修复网络对原始图像数据进行特征提取,得到初始特征图;对初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到第二层级的融合特征图;其中,第二层级是第一层级的上一层级;从第二层级起,将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理,得到每一层级的上一层级的融合特征图;根据初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据;其中,第三层级位于第一层级之前、且间隔至少一个层级。
在一些实施例中,通过图像修复网络对原始图像数据执行卷积运算后进行非线性映射得到初始特征图。
在一些实施例中,图像修复网络可以包括输入层和卷积层。输入层接收原始图像数据,对原始图像数据进行预处理后经过卷积层得到初始特征图。
在一些实施例中,输入层可以由卷积层和激活层构成,接收传感器原始格式的图像数据。
在一些实施例中,卷积层可以由多个串联的卷积核和激活层组成。可以理解,卷积层中利用卷积核进行卷积运算后会输出至激活层,由激活层实现非线性映射。
在一些实施例中,图像修复网络可以包括下采样块和卷积层。图像修复网络中由下采样块+卷积层实现下采样处理。可以理解,特征依次经过下采样块和卷积层,能够实现对该特征的下采样处理。
在一些实施例中,下采样块用于实现池化操作。
在一些实施例中,图像修复网络可以包括上采样块。特征图经过上采样块后输出上采样后的特征图。
在一些实施例中,图像修复网络中的上采样可以但不限于是双线性插值。
在一些实施例中,对第一层级的降采样特征图上采样后与第二层级的降采样特征图进行通道拼接、卷积运算后非线性映射,得到第二层级的融合特征图。对每一层级的融合特征图与每一层级的上一层级的降采样特征图进行通道拼接、卷积运算后非线性映射,得到每一层级的上一层级的融合特征图。
在一些实施例中,图像修复网络中的融合处理是通过通道拼接+卷积层实现的。
在一些实施例中,如图3所示,提供了图像修复网络的结构示意图。图像修复网络包括输入层、多个下采样层、多个融合层、多个上采样块和输出层。每个下采样层包括下采样块和卷积层。每个融合层包括通道拼接和卷积层。第一层级是指最后一个层级。第二层级是指最后一个层级的上一个层级,即倒数第二个层级。第三层级是指第二个层级。从首个层级到最后一个层级,每个层级对应的分辨率是逐渐下降的。原始图像数据经过首个层级的输入层和卷积层后得到初始特征图,初始特征图经过第二个层级的下采样层后得到第二个层级的降采样特征图。第二个层级的降采样特征图经过第三个层级的下采样层后得到第三个层级的降采样特征图。第三个层级的降采样特征图经过第四个层级的下采样层后得到第四个层级的降采样特征图。第四个层级的降采样特征图经过上采样块后与第三个层级的降采样特征图输入到第三个层级的融合层得到第三个层级的融合特征图。第三个层级的融合特征图经过上采样块后与第二个层级的降采样特征图进输入到第二个层级的融合层得到第二个层级的融合特征图。第二个层级的融合特征图上采样后与第一个层级的初始特征图进行通道拼接后经过卷积层和输出层,得到修复图像数据。
本实施例中,基于图像修复网络逐层下采样能够不断地提取出更细节的特征,通过将更低层的特征与更高层的特征进行融合以恢复分辨率,从而实现对图像的修复。
在一些实施例中,原始图像数据为传感器原始格式;根据初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据,包括:将初始特征图和第三层级的融合特征图拼接后进行特征提取,得到拼接特征图;基于拼接特征图进行像素重排处理,得到三基色格式的修复图像数据。
示例性地,图像修复网络的输出层可以由亚像素卷积(Pixel-shuffle)层实现。可以理解,如果图像修复网络中存在四个层级,那么输出层可以接收12通道特征图,转换成3通道的修复图像数据。将初始特征图和上采样后的第三层级的融合特征图进行通道拼接后进行卷积运算和非线性映射,得到拼接特征图。拼接特征图经过输出层实现像素重排,得到三基色格式的修复图像数据。
本实施例中,将初始特征图和第三层级的融合特征图拼接后进行特征提取,得到拼接特征图;基于拼接特征图进行像素重排处理,得到三基色格式的修复图像数据,通过像素重排,可以改变图像的分辨率和像素排列方式,从而得到质量更好的修复图像数据。
在一些实施例中,从校正图像数据中提取出高频信号、亮度信号和色度信号,包括:对校正图像数据进行滤波处理,得到高频信号;对三基色格式的校正图像数据进行色彩空间转换,得到亮度信号和色度信号。
示例性地,计算机设备可以利用高通滤波从校正图像数据中提取出高频信号。三基色格式的校正图像数据包括三个颜色信号,通过色彩空间转换,得到亮度色度格式的校正图像数据。亮度色度格式的校正图像数据包括亮度信号和色度信号。
本实施例中,通过对校正图像数据进行滤波处理,得到高频信号;对三基色格式的校正图像数据进行色彩空间转换,得到亮度信号和色度信号,后续能够基于这三种信号实现图像增强,提高图像质量。
在一些实施例中,通过图像增强网络对校正图像数据进行增强,得到增强图像数据,包括:通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征;对高频特征、亮度特征和色度特征进行融合处理,得到增强图像数据。
示例性地,图像增强网络可以包括卷积层和输出层。高频信号经过卷积层的特征提取后输出高频特征,亮度信号经过卷积层的特征提取后输出亮度特征,色度信号经过卷积层的特征提取后输出色度特征。高频特征、亮度特征和色度特征被输入至输出层,通过输出层融合后得到增强图像数据。
本实施例中,高频信号与清晰度相关,亮度信号与对比度相关,色度信号与色彩相关,通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征;对高频特征、亮度特征和色度特征进行融合处理,得到增强图像数据,能够实现对图像在清晰度、对比度和色彩维度的多维度增强。
在一些实施例中,通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征,包括:通过图像增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射,得到高频特征、亮度特征和色度特征;对高频特征、亮度特征和色度特征进行融合处理,得到增强图像数据,包括:将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据。
可以理解,为了实现高频信号的增强,可以使用较小的卷积核来提取高频特征。为了实现亮度信号的增强,可以使用中等大小的卷积核来提取亮度特征。为了实现色度信号的增强,可以使用较大的卷积核来提取色度特征。进而融合高频特征、亮度特征和色度特征能够得到质量更高的增强图像数据。
在一些实施例中,对高频特征、亮度特征和色度特征拼接后进行卷积运算以及非线性映射,得到增强图像数据。
在一些实施例中,如图4所示,提供了图像增强网络的结构示意图。图像增强网络包括三个卷积层和一个输出层。对校正图像数据进行信号拆分得到高频信号、亮度信号和色度信号。三个卷积层分别用于对高频信号、亮度信号和色度信号进行特征提取。输出层用于融合高频特征、亮度特征和色度特征。
在一些实施例中,图像增强网络输出的增强图像数据是亮度色度格式的。亮度色度格式包括亮度信号分量和色度信号分量的格式。色度信号分量可以包括至少两种色度,比如,蓝色色度和红色色度。
本实施例中,通过图像增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射,得到高频特征、亮度特征和色度特征;将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据,能够实现对图像的多维度增强,提高图像质量。
在一些实施例中,基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据,包括:基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理,得到修复图像数据;基于图像信号处理器对修复图像数据进行校正,得到校正图像数据,包括:基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理,得到校正图像数据;通过图像增强网络对校正图像数据进行增强,得到增强图像数据,包括:通过图像增强网络对校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理,得到增强图像数据。
可以理解,图像修复网络用于对原始图像数据进行去噪、去马赛克和去紫边。图像信号处理器用于对修复图像数据进行数字增益、白平衡、色域转换和伽马校正。图像增强网络用语对校正图像数据进行对比度增强、色彩增强和清晰度增强。
在一些实施例中,图像信号处理器可以由多个串联的单功能信号处理器组成。其中,每个单功能信号处理器用于实现一种校正处理。可以理解,多个单功能信号处理器分别用于执行数字增益、白平衡、色域转换和伽马校正。
在一些实施例中,图像信号处理器可以对修复图像数据依次执行数字增益、白平衡、色域转换和伽马校正,经过最后一校正处理即伽马校正后即可得到校正图像数据。
在一些实施例中,图像信号处理器的输入是三基色格式的图像数据,输出也是三基色格式的图像数据。
在一些实施例中,如图5所示,提供了一种图像处理架构的示意图。图像处理架构包括图像修复网络、图像信号处理器和图像增强网络。输入到图像处理架构的原始图像数据可以是RAW格式的、图像修复网络输出的修复图像数据可以是RGB格式的、图像信号处理器输出的校正图像数据可以是RGB格式的以及图像增强网络输出的增强图像数据可以是YUV格式的。图像修复网络实现了去噪、去马赛克和去紫边。图像信号处理器实现了数字增益、白平衡、色域转换和伽马校正。图像增强网络实现了对比度增强、色彩增强和清晰度增强。
本实施例中,基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理,得到修复图像数据;基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理,得到校正图像数据;通过图像增强网络对校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理,得到增强图像数据,相较于直接串联多个图像信号处理器的方式,能够有效降低成本。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一个示例性的实施例中,如图6所示,提供了一种图像处理装置600,包括:修复模块602、校正模块604和增强模块606,其中:
修复模块602,用于基于图像修复网络对采集的原始图像数据进行修复,得到修复图像数据。
校正模块604,用于基于图像信号处理器对修复图像数据进行校正,得到校正图像数据。
增强模块606,用于从校正图像数据中提取出高频信号、亮度信号和色度信号;将高频信号、亮度信号和色度信号输入至图像增强网络,通过图像增强网络对校正图像数据进行增强,得到增强图像数据。
在一些实施例中,修复模块602,用于将采集的原始图像数据输入至图像修复网络,通过图像修复网络对原始图像数据进行特征提取,得到初始特征图;对初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到第二层级的融合特征图;其中,第二层级是第一层级的上一层级;从第二层级起,将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理,得到每一层级的上一层级的融合特征图;根据初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据;其中,第三层级位于第一层级之前、且间隔至少一个层级。
在一些实施例中,原始图像数据为传感器原始格式;修复模块602,用于将初始特征图和第三层级的融合特征图拼接后进行特征提取,得到拼接特征图;基于拼接特征图进行像素重排处理,得到三基色格式的修复图像数据。
在一些实施例中,增强模块606,用于对校正图像数据进行滤波处理,得到高频信号;对三基色格式的校正图像数据进行色彩空间转换,得到亮度信号和色度信号。
在一些实施例中,增强模块606,用于通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征;对高频特征、亮度特征和色度特征进行融合处理,得到增强图像数据。
在一些实施例中,增强模块606,用于通过图像增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射,得到高频特征、亮度特征和色度特征;将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据。
在一些实施例中,修复模块602,用于基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理,得到修复图像数据;校正模块604,用于基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理,得到校正图像数据;增强模块606,用于通过图像增强网络对校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理,得到增强图像数据。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储增强图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7或图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
将采集的原始图像数据输入至图像修复网络,通过所述图像修复网络对所述原始图像数据进行特征提取,得到初始特征图;
对所述初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;
将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到所述第二层级的融合特征图;其中,所述第二层级是所述第一层级的上一层级;
从所述第二层级起,将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理,得到所述每一层级的上一层级的融合特征图;
根据所述初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据;其中,所述第三层级位于所述第一层级之前、且间隔至少一个层级;
基于图像信号处理器对所述修复图像数据进行校正,得到校正图像数据;
从所述校正图像数据中提取出高频信号、亮度信号和色度信号;
将所述高频信号、所述亮度信号和所述色度信号输入至图像增强网络,通过所述图像增强网络对所述校正图像数据进行增强,得到增强图像数据。
2.根据权利要求1所述的方法,其特征在于,所述原始图像数据为传感器原始格式;所述根据所述初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据,包括:
将所述初始特征图和第三层级的融合特征图拼接后进行特征提取,得到拼接特征图;
基于所述拼接特征图进行像素重排处理,得到三基色格式的修复图像数据。
3.根据权利要求1所述的方法,其特征在于,所述从所述校正图像数据中提取出高频信号、亮度信号和色度信号,包括:
对所述校正图像数据进行滤波处理,得到高频信号;
对三基色格式的所述校正图像数据进行色彩空间转换,得到亮度信号和色度信号。
4.根据权利要求1所述的方法,其特征在于,所述通过所述图像增强网络对所述校正图像数据进行增强,得到增强图像数据,包括:
通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征;
对所述高频特征、所述亮度特征和所述色度特征进行融合处理,得到增强图像数据。
5.根据权利要求4所述的方法,其特征在于,所述通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行特征提取,得到高频特征、亮度特征和色度特征,包括:
通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行卷积运算和非线性映射,得到高频特征、亮度特征和色度特征;
所述对所述高频特征、所述亮度特征和所述色度特征进行融合处理,得到增强图像数据,包括:
将所述高频特征、所述亮度特征和所述色度特征拼接后进行卷积处理得到增强图像数据。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述图像修复网络,用于对采集的原始图像数据进行去噪、去马赛克或去紫边中的至少一种处理,得到修复图像数据;
所述通过所述图像增强网络对所述校正图像数据进行增强,得到增强图像数据,包括:
通过所述图像增强网络对所述校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理,得到增强图像数据。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述基于图像信号处理器对所述修复图像数据进行校正,得到校正图像数据,包括:
基于图像信号处理器对所述修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理,得到校正图像数据。
8.一种图像处理架构,其特征在于,所述图像处理架构包括图像修复网络、图像信号处理器和图像增强网络;
所述图像修复网络,用于对采集的原始图像数据进行特征提取,得到初始特征图;对所述初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到所述第二层级的融合特征图;其中,所述第二层级是所述第一层级的上一层级;从所述第二层级起,将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理,得到所述每一层级的上一层级的融合特征图;根据所述初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据;其中,所述第三层级位于所述第一层级之前、且间隔至少一个层级;
所述图像信号处理器,用于对所述修复图像数据进行校正,得到校正图像数据;
所述图像增强网络,用于根据高频信号、亮度信号和色度信号对所述校正图像数据进行增强,得到增强图像数据;所述高频信号、所述亮度信号和所述色度信号是从所述校正图像数据中提取的。
9.一种图像处理装置,其特征在于,所述装置包括:
修复模块,用于将采集的原始图像数据输入至图像修复网络,通过所述图像修复网络对所述原始图像数据进行特征提取,得到初始特征图;对所述初始特征图进行逐层级的下采样处理,得到每层级的降采样特征图;将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理,得到所述第二层级的融合特征图;其中,所述第二层级是所述第一层级的上一层级;从所述第二层级起,将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理,得到所述每一层级的上一层级的融合特征图;根据所述初始特征图和第三层级的融合特征图进行图像重建,得到修复图像数据;其中,所述第三层级位于所述第一层级之前、且间隔至少一个层级;
校正模块,用于基于图像信号处理器对所述修复图像数据进行校正,得到校正图像数据;
增强模块,用于从所述校正图像数据中提取出高频信号、亮度信号和色度信号;将所述高频信号、所述亮度信号和所述色度信号输入至图像增强网络,通过所述图像增强网络对所述校正图像数据进行增强,得到增强图像数据。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202410011758.9A 2024-01-04 2024-01-04 图像处理方法、架构、装置和计算机设备 Active CN117522742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410011758.9A CN117522742B (zh) 2024-01-04 2024-01-04 图像处理方法、架构、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410011758.9A CN117522742B (zh) 2024-01-04 2024-01-04 图像处理方法、架构、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN117522742A CN117522742A (zh) 2024-02-06
CN117522742B true CN117522742B (zh) 2024-03-22

Family

ID=89766836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410011758.9A Active CN117522742B (zh) 2024-01-04 2024-01-04 图像处理方法、架构、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN117522742B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330408A (zh) * 2022-03-14 2022-04-12 深圳市联志光电科技有限公司 一种图像增强方法以及图像增强装置
CN115205146A (zh) * 2022-07-14 2022-10-18 桂林电子科技大学 一种弱光照条件下的深度Retinex图像增强方法
WO2023092386A1 (zh) * 2021-11-25 2023-06-01 中国科学院深圳先进技术研究院 一种图像处理方法、终端设备及计算机可读存储介质
CN116468615A (zh) * 2022-01-12 2023-07-21 珠海格力电器股份有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092386A1 (zh) * 2021-11-25 2023-06-01 中国科学院深圳先进技术研究院 一种图像处理方法、终端设备及计算机可读存储介质
CN116468615A (zh) * 2022-01-12 2023-07-21 珠海格力电器股份有限公司 图像处理方法、装置、电子设备及存储介质
CN114330408A (zh) * 2022-03-14 2022-04-12 深圳市联志光电科技有限公司 一种图像增强方法以及图像增强装置
CN115205146A (zh) * 2022-07-14 2022-10-18 桂林电子科技大学 一种弱光照条件下的深度Retinex图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像修复研究进展;刘媛媛 等;《软件导刊》;20230731;第22卷(第7期);第220-226页 *

Also Published As

Publication number Publication date
CN117522742A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US9129445B2 (en) Efficient tone-mapping of high-bit-depth video to low-bit-depth display
CN112419151B (zh) 图像退化处理方法、装置、存储介质及电子设备
US20150363912A1 (en) Rgbw demosaic method by combining rgb chrominance with w luminance
US11388355B2 (en) Multispectral image processing system and method
US20140320602A1 (en) Method, Apparatus and Computer Program Product for Capturing Images
CN113454680A (zh) 图像处理器
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
CN109416831A (zh) 用于扩展图像的色彩的低成本色彩扩展模块
CN111738951B (zh) 图像处理方法及装置
US9858889B2 (en) Color compensation circuit, display apparatus, and color compensation method
CN107220934B (zh) 图像重建方法及装置
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
CN117522742B (zh) 图像处理方法、架构、装置和计算机设备
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN112991209B (zh) 图像处理方法、装置、电子设备及存储介质
CN115082345A (zh) 图像阴影去除方法、装置、计算机设备和存储介质
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN111932459A (zh) 视频图像的处理方法及装置、电子设备、存储介质
CN106651815B (zh) 用于处理Bayer格式视频图像的方法及装置
CN117408872B (zh) 色彩图像数据转换方法、装置、设备及存储介质
WO2018200654A1 (en) Chromatic aberration modeling in image compression and enhancement
JP4037318B2 (ja) 画像処理装置および方法並びにプログラム
CN115063333A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant