CN110555805A - 图像处理的方法、装置、设备及存储介质 - Google Patents
图像处理的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110555805A CN110555805A CN201810552834.1A CN201810552834A CN110555805A CN 110555805 A CN110555805 A CN 110555805A CN 201810552834 A CN201810552834 A CN 201810552834A CN 110555805 A CN110555805 A CN 110555805A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- neural network
- network model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 236
- 238000003062 neural network model Methods 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000007499 fusion processing Methods 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 27
- 238000005070 sampling Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供图像处理的方法、装置、设备及存储介质。所述方法应用于图像设备，所述方法包括步骤：将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。旨在解决现有技术中，ISP芯片图像处理的质量不稳定的技术问题。
Description
技术领域
本申请涉及图像处理技术，特别涉及图像处理的方法、装置、设备及存储介质。
背景技术
ISP(Image Signal Processor)芯片，即图像信号处理芯片，主要作用是对前端图像传感器输出的信号做图像处理。依赖于ISP芯片才能使相机等图像设备在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了相机的成像质量。现有技术中，在相机中采用独立或集成的ISP芯片进行图像处理，但是受不同的ISP芯片处理能力的差异，导致图像处理的质量不稳定。目前，寻找ISP芯片的替代方案成为研究热点。
发明内容
有鉴于此，本申请提供图像处理的方法、装置、设备及存储介质，旨在解决现有技术中，ISP芯片图像处理的质量不稳定的技术问题。
具体地，本申请是通过如下技术方案实现的：
在本申请的第一方面，提供一种图像处理的方法，所述方法包括步骤：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
在一些例子中，所述图像处理神经网络模型通过以下计算层实现所述融合处理：
用于运动估计的第一计算层；
用于将所述第一计算层输出的数据进行运动补偿的第二计算层；
用于将第二计算层输出的图像以及所述第一图像进行信息融合的第三计算层。
在一些例子中，所述第一计算层用于对所述第一图像以及所述历史图像进行运动估计，输出所述第一图像及所述历史图像的各像素点的光流场数据；
所述第二计算层用于根据所述第一计算层输出的所述光流场数据对所述历史图像进行运动补偿输出补偿图像；
所述第三计算层用于将所述第一图像以及所述补偿图像进行融合处理。
在一些例子中，所述图像处理神经网络模型的神经网络为不包括池化层的卷积神经网络，所述池化层用于对特征图进行下采样处理。
在一些例子中，所述将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型，包括：
对本设备当前采集的第一图像执行域处理；
将经由域处理的第一图像以及本设备缓存的的至少一帧历史图像输入至预先生成的图像处理神经网络模型。
在一些例子中，所述图像处理神经网络模型还包括：用于域处理的第四计算层；
所述第四计算层用于在所述图像处理神经网络模型对所述第一图像和所述历史图像进行融合处理之前对输入的所述第一图像进行域处理。
在一些例子中，所述域处理包括以下至少任一：
黑电平校正处理、坏点校正处理、固定模式噪声校正处理、绿通道失衡校正处理、白平衡处理、宽动态合成处理及视频降噪处理。
在一些例子中，所述图像处理神经网络模型还包括：用于图像后处理的第五计算层；
所述第五计算层用于对经由融合处理后输出的图像进行图像后处理。
在一些例子中，所述第一图像的数据格式为第一数据格式，所述第二图像的数据格式为不同于所述第一数据格式的第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
在一些例子中，所述历史图像包括：
本设备之前采集的前N帧数据格式为第一数据格式的图像；或/和，
本设备之前采集的前N帧图像在数据格式从第一数据格式转换为第二数据格式后得到的图像；
其中，N大于等于1。
本申请的第二方面，提供一种图像处理的装置，所述装置包括：
输入模块，用于将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
处理模块，由图像处理神经网络模块组成，用于对输入的所述第一图像和所述历史图像进行融合处理后，输出第二图像。
在一些例子中，所述输入模块还用于：对本设备当前采集的第一图像执行域处理；将经由域处理的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型。
在一些例子中，所述域处理包括以下至少任一：黑电平校正处理、坏点校正处理、固定模式噪声校正处理、绿通道失衡校正处理、白平衡处理、宽动态合成处理及视频降噪处理。
在一些例子中，组成处理模块的图像处理神经网络模型可以包括：
用于运动估计的第一计算层；
用于将所述第一计算层输出的数据进行运动补偿的第二计算层；
用于将第二计算层输出的图像以及所述第一图像进行信息融合的第三计算层。
在一些例子中，所述第一计算层用于对所述第一图像以及所述历史图像进行运动估计，输出所述第一图像及所述历史图像的各像素点的光流场数据；
所述第二计算层用于根据所述第一计算层输出的所述光流场数据对所述历史图像进行运动补偿输出补偿图像；
所述第三计算层用于将所述第一图像以及所述补偿图像进行融合处理。
在一些例子中，组成处理模块的所述图像处理神经网络模型的神经网络为不包括池化层的卷积神经网络，所述池化层用于对特征图进行下采样处理。
在一些例子中，组成处理模块的所述图像处理神经网络模型还包括：用于域处理的第四计算层；
所述第四计算层用于在所述图像处理神经网络模型对所述第一图像和所述历史图像进行融合处理之前对输入的所述第一图像进行域处理。
在一些例子中，组成处理模块的所述图像处理神经网络模型还包括：用于图像后处理的第五计算层；
所述第五计算层用于对经由融合处理后输出的图像进行图像后处理。
本申请的第三方面，提供一种图像设备，包括：
存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
本申请的第四方面，提供一种存储介质，其上存储有程序，该程序被处理器执行如上述第一方面任意一项所述的方法的操作。
本申请通过利用图像处理神经网络模型替代传统的ISP芯片进行图像处理，以至少前后两帧连续图像作为图像处理神经网络模型的输入，使用图像处理神经网络模型进行图像处理，充分利用第一图像与历史图像间的差异信息，大大提升第一图像的信噪比，增加图像效果。
附图说明
图1为本申请实施例示例性示出的一种现有技术中图像处理的方法的示意图；
图2为本申请实施例提供的一种图像处理的方法的流程图；
图3a为本申请实施例提供的图像传感器的示意图；
图3b为本申请实施例示例性示出的一种图像处理的方法的示意图；
图4a为本申请实施例示例性示出的一种预先生成的图像处理神经网络模型320的结构示意图；
图4b为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型320的结构示意图；
图5a为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型的结构示意图；
图5b为申请实施例示例性性示出的一种融合层进行融合处理的示意图；
图6为申请实施例示例性示出的另一图像处理的方法的示意图；
图7为本申请实施例示例性示出的一种宽动态合成的示意图；
图8为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型的示意图；
图9为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型的示意图；
图10是本申请一示例性实施例示出的一种图像处理的装置的结构示意图；
图11是本申请一示例性实施例示出的一种图像设备的硬件结构示意图；
图12是本申请一示例性实施例示出的另一种图像设备的硬件结构示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
为了使本申请更清楚，先对一些技术术语进行描述：
ISP(Image Signal Processor)芯片，即图像信号处理芯片，主要作用是对前端图像感应器输出的信号做图像处理。
第一数据格式：指图像传感器将捕捉到的光源信号转化为数字信号的原始数据，通常包含来自一个或多个光谱波段的感应数据。
第二数据格式：指适于显示或传输的任意一种图像格式，例如RGB格式或YUV格式。
第一采样：指对波长范围380nm-780nm的光谱采样。
第二采样：指对波长范围780nm-2500nm的光谱采样。
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它通常包括卷积层(convolutional layer)和池化层(pooling layer)。
池化层(pooling layer)：卷积神经网络的一种层结构，通常在卷积层之后被立即使用，为减少特征图而进行下采样。常见的运算包括：最大池化(max-pooling)以及平均池化(Mean Pooling)等。
卷积层(convolutional layer)：卷积神经网络的一种层结构，用于对图像进行特征提取，输出特征图。
光流场(Optical flow)，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。
参照图1，本申请实施例示例性示出的一种现有技术中图像处理的方法的示意图，如图1，成像单元110包括镜头111及图像传感器112，所述图像传感器112用于将镜头111采集的光源信号转化为数字信号，所述经由图像传感器112转换得到的数据为第一数据格式的图像；所述ISP芯片120用于对所述第一数据格式的图像进行图像处理，得到第二数据格式的图像，将所述第二数据格式的图像传输到显示模块130进行显示。
但是，上述图像处理的过程中采用独立或集成的ISP芯片，受不同的ISP芯片处理能力的差异，导致图像处理的质量不稳定。目前，寻找ISP芯片的替代方案成为研究热点。
为了解决上述问题，本申请实施例提供一种图像处理的方法、装置、图像设备及存储介质。
参照图2，为本申请实施例提供的一种图像处理的方法的流程图，所述方法应用于图像设备，部分步骤如下：
S210：将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
S220：获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
本申请实施例提出的“图像设备”可以为第一类电子设备，所述第一类电子设备为具有图像采集功能及处理功能的电子设备，所述电子设备可以配置有成像单元，例如智能手机、摄像头模组、相机、集成有成像单元的计算机以及监控设备等。当然可以理解，本申请实施例提出的“图像设备”还可以为第二类电子设备，所述第二类电子设备不配置有成像单元，而是通过外部接口与成像单元所在的图像采集设备进行通信，获取成像单元采集的第一图像，例如：外接摄像头的计算机及监控设备等。本申请并不限制图像设备的类型。
上述图2所述的步骤可以在“图像设备”固有的处理器上执行。当然本申请实施例提出的“图像设备”也可以新增一独立的处理芯片，上述图2所述的步骤可以在上述新增的处理芯片上执行。
本申请实施例提出的“成像单元”可以包括镜头和图像传感器，本申请实施例提出的图像传感器可以包括：Bayer图像传感器、RGBIR图像传感器、RGBW图像传感器及Mono图像传感器等，参照图3a，为本申请实施例示例性示出的图像传感器的示意图。图3a中，图像传感器301为Bayer图像传感器的示意图，图像传感器302为RGBIR图像传感器的示意图，图像传感器303为RGBW图像传感器，图像传感器304为Mono图像传感器的示意图。需要说明的是，本申请并不限制图像传感器的类型。
本申请实施例提出的“第一图像”可以是视频的其中一帧图像或当前帧图像。所述第一图像的格式可以为所述第一数据格式，本申请实施例提出的第一数据格式图像主要来自成像单元的所述第一采样信号和/或第二采样信号。
所述第二图像为第一图像经过图像处理后的图像，在一些例子中中，所述第二数据格式不同于所述第一数据格式；所述第二数据格式适于所述第二图像显示和/或传输。
本申请实施例提出的“本设备缓存的历史图像”可以是上述“第一图像”的前N帧图像，此时历史图像的格式为第一数据格式；或上述“第一图像”的前N帧图像经过图像处理后输出的第二图像，此时所述历史图像的格式为第二数据格式，所述图像处理可以指本申请实施例提出的图像处理的方法，其中，N为正整数。在一些例子中，可以在图像处理神经网络模型中输入多帧历史图像，以提升图像处理的质量。当然可以理解，每次输入的历史图像可以包括上述“第一图像”的前N帧图像以及上述“第一图像”的前N帧图像经过图像处理后输出的第二图像。具体的，在一个例子中，所述图像处理神经网络模型可以通过以下方式训练得到(预先生成)：
获取待训练的样本图像的特征向量，其中，所述样本图像为成像单元采集的第一图像、至少一帧所述历史图像以及标签图像；
对所述特征向量进行卷积处理，获取特征向量卷积结果；
判断所述特征向量卷积结果是否能够满足收敛条件；
若满足，则完成对所述图像处理神经网络模型的训练；
若不满足，则根据所述特征向量卷积结果调整所述图像处理神经网络模型的参数，并根据调整后的所述图像处理神经网络模型的参数对所述图像处理神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。
获得预先生成的图像处理神经网络模型后，可以用所述图像处理神经网络模型替换现有技术中的ISP芯片进行图像处理。具体的，在一个例子中，参照图3b，为本申请实施例示例性示出的一种图像处理的方法的示意图。如图3b所示，成像单元310进行图像采集后，图像设备执行图2所述步骤S210：将采集的第一图像，以图像设备缓存的至少一帧历史图像输入预先生成的图像处理神经网络模型320中，预先生成的图像处理神经网络模型320用于将所述历史图像和所述第一图像融合处理后，输出第二图像；图像设备执行图2所述的步骤S220：获取所述预先生成的图像处理神经网络模型320输出的第二图像。接着图像设备还可以将输出的第二图像传输至显示模块进行显示。
具体的，在一个例子中，参照图4a，所述预先生成的图像处理神经网络模型320可以包括：融合层410以及输出层420。所述融合层410对所述输入的第一图像和历史图像经过融合处理后，输出融合处理后的数据；输出层420根据融合层410输出的融合处理后的数据输出第二图像。
具体的，在一个例子中，参照图4b，所述预先生成的图像处理神经网络模型320可以包括：融合层410以及输出层420。融合层410及输出层420运动时所需的参数预先由神经网络模型400学习(训练)得到，神经网络模型400根据标定数据进行多次迭代训练，获取最优的参数。
参照图4b，图像设备将第一图像和历史图像输入所述融合层410，当成像设备采集的为视频时，第一图像可以是视频中的任一帧，以第一图像为当前帧图像It为例；图像设备获取缓存的历史图像，所述历史图像，可以是It的前N帧图像，或上述It的前N帧图像经过图像处理后输出的第二图像，以所述历史图像为当前帧图像It前k帧图像It-k为例，k为正整数，图像设备可以将所述前帧图像It及前k帧图像It-k输入所述融合层410，所述所述融合层410对前帧图像It及前k帧图像It-k经过融合处理后，输出融合处理后的数据，输出层420根据融合层410输出的融合处理后的数据输出第二图像Ot。接着图像设备可以将输出的第二图像Ot传输至显示模块进行显示。
本申请通过利用图像处理神经网络模型替代传统的ISP芯片进行图像处理，不仅可以适应各种规格以品牌的感应器，以提高图像处理的稳定性，并且本申请以至少前后两帧连续图像作为图像处理神经网络模型的输入，使用图像处理神经网络模型进行图像处理，充分利用第一图像与历史图像间的差异信息，大大提升第一图像的信噪比，增加图像效果。
本申请实施例提出的“图像处理神经网络”可以是卷积神经网络。传统的卷积神经网络会包括卷积层及池化层，在一些例子中，为了保证输出的第二图像的分辨率与采集的第一图像的分辨率一致，本申请实施例提出的“图像处理神经网络”可以不包括对特征图进行下采样处理的池化层。
具体的，参照图5a，为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型的结构示意图。所述预先生成的图像神经网络模型500可以包括：融合层510以及输出层520，其中所述融合层包括：第一计算层511、第二计算层512、第三计算层513。
所述第一计算层511用于对输入的图像进行运动估计(Motion Estimate，ME)。
所述第二计算层512位于所述第一计算层511之后，用于将所述第一计算层511输出的运动估计结果进行运动补偿(Motion Compensation，MC)。
所述第三计算层513位于所述第二计算层512之后，用于将所述第一图像以及所述二计算层512输出的补偿图像进行信息融合处理。
具体的，在一个例子中，参照图5b，第一计算层511将对所述第一图像以及所述历史图像进行运动估计，输出运动估计结果。在一些例子中，所述运动估计结果可以为：所述第一图像以及所述历史图像中像素点的光流场数据。所述第二计算层512位于所述第一计算层511之后，根据所述第一计算层511输出的运动估计结果(可以是上述光流场数据)，对所述历史图像进行运动补偿获得补偿图像。所述第三计算层513按预定比例将第二计算层512输出的补偿图像以及第一图像的对应的像素点的颜色值进行叠加，输出融合图像。接着所述融合图像可以被输入下一层，如输出层或下一计算层。在一个例子中，信息融合处理后的融合图像是第一图像与补偿图像对应像素点颜色值的平均值，具体融合处理的公式如下：
Outt＝(It+I′t-n)/2 (1)
其中，It为当前输入的第一图像；
I't-n为当前输入的历史图像；
Outt为当前输出的融合图像。
需要说明的是本申请实施例提出的“计算层”可以包括若干层卷积层。所述计算层包括本申请实施例提出的第一至第五计算层以及融合层。
在一些例子中，参照图6，为申请实施例示例性示出的另一图像处理的方法的示意图。如图6所示，所述图像设备还包括域处理模块620，所述域处理模块620位于成像单元610及图像处理神经网络模型630之间，用于对成像单元610中的器件进行校正，主要可以对图像传感器进行校正，还用于进行宽动态合成处理等。如图6所示，成像单元610采集第一图像后，发送给域处理模块620对所述第一图像进行域处理后，将历史图像和所述域处理后的第一图像发送给图像处理神经网络模型630进行融合处理后，输出第二图像。其中所述域处理后的第一图像的数据格式为第一数据格式。具体的，在一些例子中域处理过程可以包括如下任一或多个处理：
域处理一：图像传感器校正
图像传感器在生产过程中，由于工艺限制会存在某些物理缺陷，导致图像传感器成像时会出现黑电平、坏点、固定模式噪声、G1/G2绿通道失衡等成像问题。本处理可对上述一个或多个成像问题进行校正，使得校正后的第一数据格式图像能消除不同图像传感器生产工艺的成像问题，以消除设备相关性，使得让后续的图像处理神经网络模型适应不同型号不同厂家的图像传感器，提升图像处理的稳定性及兼容性。
在一些例子中，图像传感器校正可以包括如下(a)至(d)所述校正方法中的一个或多个：
(a)上述黑电平校正方法可以是：消除输入的第一图像中的相应图像传感器的黑电平值。公式如下：
out＝in–blackVal (2)
其中，out为黑电平校正结果；
in为输入的第一图像；
blackVal为相应图像传感器的黑电平值，需要说明的是不同型号的图像传感器具有不同大小的黑电平值，所以本申请实施例提出blackVal根据具体的图像传感器型号确定。
(b)上述坏点校正方法可以是：中值滤波。
(c)上述固定模式噪声校正方法可以是：人工标定出固定模式噪声位置，对该位置像素点采用周围像素点插值的值代替噪声像素。
(d)上述绿通道失衡校正方法可以是：G通道均值滤波。
域处理二：宽动态合成
具体的，参照图7，为本申请实施例示例性示出的一种宽动态合成的示意图。如图7所示，成像单元710采集不同曝光时间的第一数据格式的第一图像，如图中所示的It1……ItN为成像单元710在时刻t下采集的不同曝光时间的第一数据格式的第一图像，其中N≥2。域处理模块720对输入的不同曝光时间的第一数据格式的第一图像进行宽动态合成处理，输出合成后的第一数据格式的图像Jt。通过上述宽动态合成能使一个卷积神经网络同时兼容宽动态模式和线性模式的图像处理。
域处理三：白平衡处理
一个例子中，成像单元采集的第一图像可以是Bayer图像，以所述Bayer图像为常见的‘RGGB’色彩阵列举例，其相应的白平衡处理方法可以是：
outR＝inR×gainR (3)
outG1＝inG1×gainG1 (4)
outG2＝inG2×gainG2 (5)
outB＝inB×gainB (6)
其中，所述inR、inB、inG1及inG2为Bayer图像的不同颜色通道的灰度值；gainR、gainB、gainG1及gainG2为手动配置的不同颜色通道的白平衡增益值；outR、outB、outG1及outG2为白平衡校正后的Bayer图像的不同颜色通道的灰度值。
通过白平衡处理可以降低偏色问题对后续图像处理的影响，提升输入图像处理神经网络模型的图像的质量。
本申请实施例提出的域处理不限于上述三种域处理方式。本申请实施例也不限制上述域处理一、域处理二及域处理三的执行先后顺序。当然，本申请实施例还可以利用其它方式实现域处理。例如如下：
在一些例子中，所述域处理模块可以为预先生成的域处理神经网络模型，具体的，可以是将所述成像单元采集的第一图像输入所述域处理神经网络模型，所述域处理神经网络模型对所述第一图像进行域处理后，输出域处理后的第一图像。
在另外一些例子中，本申请实施例提出的预先生成的图像处理神经网络模型还包括第四计算层，所述第四计算层用于对输入的第一图像进行域处理。参照图8，为本申请实施例示例性示出的另一种预先生成的图像处理神经网络模型的框图。参照图8，所述图像处理神经网络模型800包括用于域处理的第四计算层810、融合层820以及输出层830。具体的，如图8所示，图像设备将第一图像和历史图像输入所述图像处理神经网络模型800，所述第四计算层810将输入的第一图像进行域处理输入融合层820，历史图像也被输入融合层820后，融合层820对输入的第一图像和历史图像进行融合处理后，将融合处理后的图像输入输出层830，以供输出层830根据所述融合处理后的图像输出第二图像。
在一些例子中，本申请实施例提出的预先生成的图像处理神经网络模型还可以包括第五计算层，所述第五计算层用于对融合处理后的图像进行图像后处理，以进一步提升用于显示的第二图像的质量。参照图9，为本申请实施例示例性示出的另一种图像处理神经网络模型的框图。如图9所示，所述图像处理神经网络模型900包括：融合层910、第五计算层920，以及输出层930。
所述第五计算层920位于融合层910及输出层之间，用于对融合处理后的图像进行后处理，输出后处理过的图像，并输入输出层930，输出层930根据所述后处理过的图像输出第二图像。所述后处理可以包括以下任一或多个处理：
后处理一：去马赛克处理。
后处理二：色彩校正处理。
后处理三：Gamma校正处理。
后处理四：降噪声处理。
后处理五：锐化处理。
本申请实施例提出的后处理不限于上述五种后处理方式。本申请实施例也不限制上述各后处理的执行先后顺序。
此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被设备中的处理器执行。
与前述图像处理的方法的实施例相对应，本申请还提供了图像处理的装置及图像设备的实施例。
参见图10，为本申请一种图像处理的装置1000的一个实施例框图，该装置包括：
输入模块1010，用于将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
处理模块1020，由所述图像处理神经网络模型组成，用于获取对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
在一些例子中，所述输入模块1010还用于：对本设备当前采集的第一图像执行域处理；将经由域处理的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型。
在一些例子中，所述域处理包括以下至少任一：黑电平校正处理、坏点校正处理、固定模式噪声校正处理、绿通道失衡校正处理、白平衡处理、宽动态合成处理及视频降噪处理。
在一些例子中，组成处理模块1020的图像处理神经网络模型可以包括：
用于运动估计的第一计算层；
用于将所述第一计算层输出的数据进行运动补偿的第二计算层；
用于将第二计算层输出的图像以及所述第一图像进行信息融合的第三计算层。
在一些例子中，所述第一计算层用于对所述第一图像以及所述历史图像进行运动估计，输出所述第一图像及所述历史图像的各像素点的光流场数据；
所述第二计算层用于根据所述第一计算层输出的所述光流场数据对所述历史图像进行运动补偿输出补偿图像；
所述第三计算层用于将所述第一图像以及所述补偿图像进行融合处理。
在一些例子中，组成处理模块1020的所述图像处理神经网络模型的神经网络为不包括池化层的卷积神经网络，所述池化层用于对特征图进行下采样处理。
在一些例子中，组成处理模块1020的所述图像处理神经网络模型还包括：用于域处理的第四计算层；
所述第四计算层用于在所述图像处理神经网络模型对所述第一图像和所述历史图像进行融合处理之前对输入的所述第一图像进行域处理。
在一些例子中，组成处理模块1020的所述图像处理神经网络模型还包括：用于图像后处理的第五计算层；
所述第五计算层用于对经由融合处理后输出的图像进行图像后处理。
参见图11所示，对应于上述方法，本申请同时提供一种图像处理的设备。如图11所示，该设备可以包括处理器1101以及机器可读存储介质1102，其中，处理器1101和机器可读存储介质1102通常借由内部总线1103相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口1104，以能够与其他设备或者部件进行通信，如：包括成像单元1121的电子设备1120。进一步地，机器可读存储介质1102上存储有图像处理的控制逻辑1105，该控制逻辑1105从功能上划分的逻辑模块，可以是图10所示的图像处理的装置的结构。所述处理器1101用于执行如下步骤：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
参见图12所示，对应于上述方法，本申请同时提供一种图像处理的设备。如图12所示，该设备可以包括处理器1201、机器可读存储介质1202以及成像单元1220，其中，处理器1201和机器可读存储介质1202通常借由内部总线1203相互连接，所述成像单元1220包括镜头及图像感应器，所述图像感应器通过内部总线1203将采集的第一图像发送给处理器1201进行处理。在其他可能的实现方式中，所述设备还可能包括外部接口1204，以能够与其他设备或者部件进行通信。进一步地，机器可读存储介质1202上存储有图像处理的控制逻辑1205，该控制逻辑1205从功能上划分的逻辑模块，可以是图10所示的图像处理的装置的结构。所述处理器1201用于执行如下步骤：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
在不同的例子中，所述图11所述的图像设备的机器可读存储介质1102或所述图12所述的图像设备的12002可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (13)
1.一种图像处理的方法，其特征在于，所述方法应用于图像设备，所述方法包括步骤：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述图像处理神经网络模型通过以下计算层实现所述融合处理：
用于运动估计的第一计算层；
用于将所述第一计算层输出的数据进行运动补偿的第二计算层；
用于将第二计算层输出的图像以及所述第一图像进行信息融合的第三计算层。
3.根据权利要求2所述的方法，其特征在于，
所述第一计算层用于对所述第一图像以及所述历史图像进行运动估计，输出所述第一图像及所述历史图像的各像素点的光流场数据；
所述第二计算层用于根据所述第一计算层输出的所述光流场数据对所述历史图像进行运动补偿输出补偿图像；
所述第三计算层用于将所述第一图像以及所述补偿图像进行融合处理。
4.根据权利要求1所述的方法，其特征在于，
所述图像处理神经网络模型的神经网络为不包括池化层的卷积神经网络，所述池化层用于对特征图进行下采样处理。
5.根据权利要求1所述的方法，其特征在于，所述将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型，包括：
对本设备当前采集的第一图像执行域处理；
将经由域处理的第一图像以及本设备缓存的的至少一帧历史图像输入至预先生成的图像处理神经网络模型。
6.根据权利要求1所述的方法，其特征在于，所述图像处理神经网络模型还包括：用于域处理的第四计算层；
所述第四计算层用于在所述图像处理神经网络模型对所述第一图像和所述历史图像进行融合处理之前对输入的所述第一图像进行域处理。
7.根据权利要求5或6所述的方法，其特征在于，所述域处理包括以下至少任一：
黑电平校正处理、坏点校正处理、固定模式噪声校正处理、绿通道失衡校正处理、白平衡处理、宽动态合成处理及视频降噪处理。
8.根据权利要求1所述的方法，其特征在于，所述图像处理神经网络模型还包括：用于图像后处理的第五计算层；
所述第五计算层用于对经由融合处理后输出的图像进行图像后处理。
9.根据权利要求1所述的方法，其特征在于，所述第一图像的数据格式为第一数据格式，所述第二图像的数据格式为不同于所述第一数据格式的第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输；
所述历史图像包括：
本设备之前采集的前N帧数据格式为第一数据格式的图像；或/和，
本设备之前采集的前N帧图像在数据格式从第一数据格式转换为第二数据格式后得到的图像；
其中，N大于等于1。
10.一种图像处理的装置，其特征在于，所述装置包括：
输入模块，用于将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
处理模块，由图像处理神经网络模块组成，用于对输入的所述第一图像和所述历史图像进行融合处理后，输出第二图像。
11.根据权利要求10所述的装置，其特征在于，所述输入模块还用于：对本设备当前采集的第一图像执行域处理；将经由域处理的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型。
12.一种图像设备，其特征在于，包括：
存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：
将本设备当前采集的第一图像以及本设备缓存的至少一帧历史图像输入至预先生成的图像处理神经网络模型；
获取所述图像处理神经网络模型对输入的所述第一图像和所述历史图像进行融合处理后输出的第二图像。
13.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行如权利要求1至9任意一项所述的方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810552834.1A CN110555805B (zh) | 2018-05-31 | 2018-05-31 | 图像处理的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810552834.1A CN110555805B (zh) | 2018-05-31 | 2018-05-31 | 图像处理的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555805A true CN110555805A (zh) | 2019-12-10 |
| CN110555805B CN110555805B (zh) | 2022-05-31 |
Family
ID=68734489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810552834.1A Active CN110555805B (zh) | 2018-05-31 | 2018-05-31 | 图像处理的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555805B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744119A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片和电子设备 |
| CN113744120A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备和图像处理方法 |
| WO2022032666A1 (zh) * | 2020-08-14 | 2022-02-17 | 华为技术有限公司 | 处理图像的方法和相关装置 |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN106251318A (zh) * | 2016-09-29 | 2016-12-21 | 杭州雄迈集成电路技术有限公司 | 一种序列图像的去噪装置及方法 |
| CN106357958A (zh) * | 2016-10-10 | 2017-01-25 | 山东大学 | 一种基于区域匹配的快速电子稳像方法 |
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN106797437A (zh) * | 2014-09-25 | 2017-05-31 | 英特尔公司 | 使用多个图像的高动态范围图像合成 |
| CN107391609A (zh) * | 2017-07-01 | 2017-11-24 | 南京理工大学 | 一种双向多模态递归网络的图像描述方法 |
| CN107808389A (zh) * | 2017-10-24 | 2018-03-16 | 上海交通大学 | 基于深度学习的无监督视频分割方法 |
-
2018
- 2018-05-31 CN CN201810552834.1A patent/CN110555805B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106797437A (zh) * | 2014-09-25 | 2017-05-31 | 英特尔公司 | 使用多个图像的高动态范围图像合成 |
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN106251318A (zh) * | 2016-09-29 | 2016-12-21 | 杭州雄迈集成电路技术有限公司 | 一种序列图像的去噪装置及方法 |
| CN106357958A (zh) * | 2016-10-10 | 2017-01-25 | 山东大学 | 一种基于区域匹配的快速电子稳像方法 |
| CN107391609A (zh) * | 2017-07-01 | 2017-11-24 | 南京理工大学 | 一种双向多模态递归网络的图像描述方法 |
| CN107808389A (zh) * | 2017-10-24 | 2018-03-16 | 上海交通大学 | 基于深度学习的无监督视频分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| WON HEE LEE等: "Frame rate up conversion via image fusion based on variational approach", 《2010 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 王峰: "海上视频的去抖方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744119A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片和电子设备 |
| CN113744120A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备和图像处理方法 |
| WO2022032666A1 (zh) * | 2020-08-14 | 2022-02-17 | 华为技术有限公司 | 处理图像的方法和相关装置 |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555805B (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741211B (zh) | 图像显示方法和设备 | |
| JP7362284B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
| CN110555805B (zh) | 图像处理的方法、装置、设备及存储介质 | |
| CN110023810B (zh) | 光学系统像差的数字校正 | |
| CN110557584B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN113313661B (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| CN111028137B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN115550570B (zh) | 图像处理方法与电子设备 | |
| CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN112241668A (zh) | 图像处理方法、装置及设备 | |
| CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20230125040A1 (en) | Temporally Consistent Neural Network Processing System | |
| CN113298829B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112241670B (zh) | 图像处理方法及装置 | |
| CN114331893A (zh) | 一种获取图像噪声的方法、介质和电子设备 | |
| JP2022161503A (ja) | 画像処理方法、機械学習モデルの製造方法、画像処理装置、画像処理システム、及びプログラム | |
| CN113379608A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| JP2021189929A (ja) | 画像処理方法、プログラム、画像処理装置、および、画像処理システム | |
| CN112241935A (zh) | 图像处理方法、装置及设备、存储介质 | |
| US20240029321A1 (en) | Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus | |
| Trammer et al. | RGB-Guided Resolution Enhancement of IR Images | |
| JP2017130168A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN118115375A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |