CN112700433A - 图像处理方法、装置、电子设备以及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN112700433A
CN112700433A CN202110034345.9A CN202110034345A CN112700433A CN 112700433 A CN112700433 A CN 112700433A CN 202110034345 A CN202110034345 A CN 202110034345A CN 112700433 A CN112700433 A CN 112700433A
Authority
CN
China
Prior art keywords
channel
preset
color
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110034345.9A
Other languages
English (en)
Other versions
CN112700433B (zh
Inventor
王务仑
白鹏飞
陈小桥
孟南
周功铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Horizon Shanghai Artificial Intelligence Technology Co Ltd
Original Assignee
Horizon Shanghai Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Horizon Shanghai Artificial Intelligence Technology Co Ltd filed Critical Horizon Shanghai Artificial Intelligence Technology Co Ltd
Priority to CN202110034345.9A priority Critical patent/CN112700433B/zh
Publication of CN112700433A publication Critical patent/CN112700433A/zh
Application granted granted Critical
Publication of CN112700433B publication Critical patent/CN112700433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开了一种图像处理方法，包括：基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。能够将插值算法和神经网络的优势进行结合，得到良好的图像。

Description

图像处理方法、装置、电子设备以及计算机可读存储介质
技术领域
本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备以及计算机可读存储介质。
背景技术
现有的去马赛克算法主要包括两种，其中一种是采用插值的方式，通过大量的数学分析以及相关性原理的探究，尝试从逻辑分析以及数学模型的角度恢复丢失的通道信息，但是考虑到现实场景的多样性及复杂性，很难利用单一的算法模型解决全部的插值问题，并且大量数学公式的引入，会导致算法设计复杂度的也随之提升，虽然在插值效果上能够得到优化，但是需要消耗的计算性能也随之不断增加，不利于算法的硬件实现；另一种是通过机器学习的方式实现，这种方式计算效果上相较于传统算法也有不同程度上的提升，但是复杂的神经网络模型也会消耗大量的计算资源，尤其是端到端的模型训练结构，往往会通过不断增加神经网络的层数来提升性能，影响算法的实用性。现有技术中，两种方法均采用单独使用的方式，难以充分发挥两者的优势。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像处理方法、装置、电子设备以及计算机可读存储介质，能够充分发挥插值算法和神经网络的优势，得到良好的图像。
根据本公开的一个方面，提供了一种图像处理方法，包括：
基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
本公开图像处理方法包括两个方面，第一方面是基于传统去马赛克插值算法的改良方案，利用预设通道数据分别与其他通道的相关性作为先验理论，插值得到预设颜色空间中效果较为良好的预设通道数据，再以此为基准，插值其他通道的数据，第二方面是基于神经网络而设计的优化链路，最终目的是能够根据原生图像，计算得到优化参数，并配合去马赛克插值算法得到的各通道数据得到最终的去马赛克结果。
由于两个方面处于并行运算的状态，所以在关闭基于神经网络而设计的优化链路的状态下不会影响马赛克插值算法的工作，只是最终计算的效果不会得到优化，在实际使用过程中可以根据需求考虑是否开启神经网络优化的功能，增加了算法模型的灵活性以及实用性。
根据本公开的第二个方面，提供了一种图像处理装置，包括：
预设通道插值模块，用于基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
剩余通道插值模块，用于基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
第一优化模块，用于通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
第一输出模块，用于基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
第二优化模块，用于通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
第二输出模块，用于基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
本公开图像处理装置包括两个方面，第一方面是基于传统去马赛克插值算法的改良方案，利用预设通道数据分别与其他通道的相关性作为先验理论，插值得到预设颜色空间中效果较为良好的预设通道数据，再以此为基准，插值其他通道的数据，第二方面是基于神经网络而设计的优化链路，最终目的是能够根据原生图像，计算得到优化参数，并配合去马赛克插值算法得到的各通道数据得到最终的去马赛克结果。
由于两个方面处于并行运算的状态，所以在关闭基于神经网络而设计的优化链路的状态下不会影响马赛克插值算法的工作，只是最终计算的效果不会得到优化，在实际使用过程中可以根据需求考虑是否开启神经网络优化的功能，增加了算法模型的灵活性以及实用性。
根据本公开的第三个方面，提供了一种电子设备，包括处理器和存储器；所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上述任一项所述图像处理方法。
根据本公开的第四个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述图像处理方法。
本公开图像处理方法一方面通过插值的方式计算原生图像在预设颜色空间中各通道的每一点的颜色分量，另一方面通过神经网络模型对插值的结果进行优化，从而，能够得到准确的全彩图像。另外，由于两个方面处于并行运算的状态，所以在关闭基于神经网络模型而设计的优化链路的状态下不会影响去马赛克插值算法的工作，只是最终计算的效果不会得到优化，在实际使用过程中可以根据需求考虑是否开启神经网络优化的功能，增加了算法模型的灵活性以及实用性。考虑到预设通道数据在整体数据恢复中的重要性，本公开将插值得到的预设通道的结果输入到第一神经网络模型，从而能够影响到第一神经网络模型训练过程中参数迭代，同时由于预设通道丰富的信息量，添加到第一神经网络模型中也有利于简化模型，加速训练模型的收敛。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本公开示例性实施例的图像处理方法的流程框图；
图2为本公开示例性实施例的图像处理方法中确定预设通道颜色分量的流程图；
图3为本公开示例性实施例的图像处理方法中确定预设通道插值方向的流程图；
图4为本公开示例性实施例的图像处理方法中确定剩余通道颜色分量的流程图；
图5为本公开示例性实施例的图像处理方法中依据插值方向插值的流程图；
图6为本公开示例性实施例的采样区域示意图；
图7为本公开示例性实施例的图像处理方法的具体框图；
图8为本公开示例性实施例的图像处理装置的框图；
图9为本公开示例性实施例的图像处理装置的预设通道插值模块框图；
图10为本公开示例性实施例的图像处理装置的分量确定子模块框图；
图11为本公开示例性实施例的图像处理装置的剩余通道插值模块框图；
图12为本公开示例性实施例的图像处理装置的剩余通道插值模块框图；
图13为本公开示例性实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
对于现代数字摄像头，为了使用方便以及降低成本，图像传感器会采用滤色阵列(color filter array)来获得彩色图像。这种类型的传感器每个单元一次只能接收一种颜色通道的数据信息，所以为了能够获得最终的全彩图像，人们通常会采用插值的形式来重构丢失的其他通道数据信息，而这一恢复色彩的过程被称之为去马赛克。目前去马赛克的方法中，有采用插值算法去马赛克和采用神经网络去马赛克两种方式，但是，两种方法均采用单独使用的方式，难以充分发挥两者的优势。本公开采用在插值算法去马赛克的过程中，通过神经网络对插值算法的参数进行优化，最终形成良好的全彩图形。
示例性方法
如图1所示，本公开提供的示例性实施方式中的图像处理方法包括：
步骤100，基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
在一些实施例中，原生图像为图像传感器获得的图像，在该图像中，每个单元具有一种颜色通道的数据信息，该图像可以为图像传感器即时获得的图像；在另一些实施例中，将图像传感器获得的图像进行存储，在需要对图像进行去马赛克处理时，从存储器中获得该图像。
在一些实施例中，例如预设颜色空间中包含R,G,B三个颜色通道，由于在R,G,B三个通道中，G通道所包含的信息最多，因此，预设通道优选的为G通道；当预设通道为G通道时，首先读取原生图像中的G像素点的值并填充至预设颜色空间的G通道对应的像素点中，然后再利用插值算法计算预设颜色空间中的G通道中其他像素点的值，从而获得原生图像在预设颜色空间中的G通道每一点的颜色分量。
步骤200，基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
在一些实施例中，仍以预设颜色空间包含R,G,B三个颜色通道为例进行说明，当预设通道为G通道时，剩余通道为R通道和B通道，在确定R通道和B通道每一点的颜色分量过程中，为避免使用重构的G通道数据引入新的计算误差，优选的首先将原生图像的B像素点与R像素点读取到预设空间的B通道与R通道对应的位置，然后采用原始的B通道与R通道数据进行差值，并依据该差值确定R通道和B通道每一点的颜色分量。
步骤300，通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
在一些实施例中，第一神经网络模型为预先训练好的神经网络模型，当步骤100中确定预设通道的每一点的颜色分量之后，将预设通道每一点的颜色分量以及原生图像作为第一神经网络模型的输入，即可得到预设通道的优化参数。
步骤400，基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
在一些实施例中，由于在步骤300中得到了优化参数，在步骤100中得到了预设通道每一点的颜色分量，采用在步骤300中得到的优化参数对预设通道每一点的颜色分量进行优化，即可得到预设通道的优化数据。例如，第一神经网络模型为残差神经网络模型时，可以将第一神经网络模型计算得到的残差与预设通道每一点的颜色分量进行求和，即可得到预设通道的优化数据。
步骤500，通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
在一些实施例中，第二神经网络模型为预先训练好的模型，在步骤400中获得了预设通道的优化数据，采用预设通道的优化数据和原生图像作为输入，第二神经网络模型即可输出所有通道的优化参数。例如，以第二神经网络为残差神经网络为例，以预设通道的优化数据和原生图像作为输入，第二神经网络模型能够计算出预设颜色空间中所有通道的优化参数。
步骤600，基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
在一些实施例中，在步骤100中得到了预设通道的每一点的颜色分量，在步骤200中得到了剩余通道中的每一点的颜色分量，从而，通过插值得到了所有通道的数据；在步骤500中得到了预设颜色空间中所有通道的优化参数；采用预设空间中所有通道的优化参数对所有通道的数据进行优化，即可得到最终的全彩图像。仍以第二神经网络模型为残差神经网络模型为例，第二神经网络模型计算得到的所有通道的优化参数为全彩图像的残差，将全彩图像的残差与预设颜色空间的所有通道的每一点的颜色分量进行加和，即可得到最终的全彩图像。
本示例性实施例图像处理方法一方面通过插值的方式计算原生图像在预设颜色空间中各通道的每一点的颜色分量，另一方面通过神经网络模型对插值的结果进行优化，从而，能够得到准确的全彩图像。另外，由于两个方面处于并行运算的状态，所以在关闭基于神经网络模型而设计的优化链路的状态下不会影响去马赛克插值算法的工作，只是最终计算的效果不会得到优化，在实际使用过程中可以根据需求考虑是否开启神经网络优化的功能，增加了算法模型的灵活性以及实用性。考虑到预设通道数据在整体数据恢复中的重要性，本示例性实施例将插值得到的预设通道的结果输入到第一神经网络模型，从而能够影响到第一神经网络模型训练过程中参数迭代，同时由于预设通道丰富的信息量，添加到第一神经网络模型中也有利于简化模型，加速训练模型的收敛。
在图1所示的实施例基础上，如图2所示，步骤100还可以进一步包括如下步骤：
步骤110，提取所述原生图像在预设颜色空间中的所述预设通道的颜色分量；
在一些实施例中，原生图像在预设颜色空间中的所述预设颜色通道的颜色分量有两种可能，其中一种为沿垂直方向计算得到的颜色分量，另一种为沿竖直方向计算得到的颜色分量。如图7所示首先需要计算出G平面通道的方向向量映射g1平面，g1平面中的像素点对应于原G通道相应位置的一组方向向量(GH，GV)，GH为沿水平方向进行插值得到的数值，GV为沿竖直方向进行插值得到的数值。由于原生图像数据中R像素点与B像素点位置计算G平面数据的方式相似，如下以R像素点为例对方向向量(GH，GV)计算过程进行说明，B像素点的处理方式相似，不再进行赘述。以图6所示的情况为例，如图6所示是一个以R像素为中心点的处理区域，需要求得的是R5像素点对应的G通道数据，具体如下：
利用FIR滤波器计算对应点位置的方向向量，计算公式如下：
Figure BDA0002892301350000071
Figure BDA0002892301350000072
由此得到的G通道的方向向量g1(GH，GV)，依据该方向向量即得到R5像素点两个可能的插值数值即GH和GV。
步骤120，将所述预设通道的颜色分量通过方向判断与权重插值的方式确定预设颜色空间中所述预设通道每一点的颜色分量。
在一些实施例中，方向判断是为了更好的保留图像中的边缘信息，例如，当边缘方向是沿着竖直方向时，沿竖直方向进行插值，能够更好的保留边缘的信息，当边缘方向是沿着水平方向时，沿水平方向进行插值，能够更好的保留边缘的信息。
依据上述步骤110中计算的g1平面，计算g1平面与R通道和B通道对应位置的差值，可以得到色差平面数据。依据色差平面的数据，再计算色差平面数据在水平方向和垂直方向上的梯度，当水平方向上的梯度小于竖直方向上的梯度时，表明边缘是沿水平方向的，此时，应当沿水平方向进行插值，即将GH确定为该位置的像素值；当竖直方向上的梯度小于水平方向上的梯度时，表明边缘是沿竖直方向上的，即将GV确定为该位置的像素值。
采用上述插值方式获得在预定颜色空间内的预定颜色通道每一点沿竖直方向进行插值和沿水平方向进行插值的颜色分量，再通过色差平面的梯度信息确定边缘的方向，最后沿边缘方向确定插值方向，能够充分保留图像中的边缘信息，使图像更加准确。以预定颜色空间为RGB颜色空间为例，当预定颜色通道为G通道时，对于采样中心点为R像素点或B像素点时，依据采样中心点周围的同一水平坐标值或同一垂直坐标值的像素点的值，求得采样中心点的G通道沿水平方向插值时和沿竖直方向插值时的颜色分量，得到g1平面；再通过g1平面和R通道以及g1平面和B通道的差值，确定色差平面。依据色差平面的水平梯度和竖直梯度的关系对应位置的颜色分量，从而能够在预设的颜色空间中恢复出G通道每一点的颜色分量。
在上述图2所示的实施例基础上，如图3所示步骤120进一步还包括如下步骤：
步骤121，基于预设空间中预设通道的颜色分量和原生图像的除预设颜色通道的剩余通道颜色分量，得到色差平面数据；
在一些实施例中，可以利用g1平面与原有的R通道和B通道数据进行差值，此处的R通道和B通道为读取了原生图像中对应的R像素点和B像素点得到的R通道和B通道数据。如图7所示的g1-r0和g1-b0，依据g1平面与R通道和B通道数据的差值，能够得到一组方向向量，定义为D，表达式为(DH，DV)，每一个方向向量表示色差平面在对应位置的数据。向量D的计算公式如下：
当中心点为R通道数据，则：
DH(x,y)＝R(x,y)-GH(x,y)，
DV(x,y)＝R(x,y)-GV(x,y)，
当中心点为B通道数据时，则：
DH(x,y)＝B(x,y)-GH(x,y)，
DV(x,y)＝B(x,y)-GV(x,y)，
其中GH与GV是在提取G通道颜色分量时得到的方向向量，R(x,y)为R通道在(x,y)位置的像素值，B(x,y)为B通道在(x,y)位置的像素值，GH(x,y)为预设颜色通道在(x,y)位置沿水平方向进行插值得到的数值，GV(x,y)为预设颜色通道在(x,y)位置沿竖直方向进行插值得到的数值，DH为R(x,y)或B(x,y)与GH(x,y)的像素值差值。
步骤122，基于所述色差平面数据，得到所述色差平面在水平和垂直方向上的梯度；
在一些实施例中，基于色差平面数据，计算色差平面在水平与垂直方向上的梯度，色差平面上的每一个像素位置对应一组表征梯度的方向向量，定义为T，表达形式为(TH，TV)。其中，TH为水平方向的梯度，TV为竖直方向上的梯度，具体的运算表达为：
TH(x,y)＝|DH(x,y)-DH(x,y+2)|+|DH(x,y)-DH(x,y-2)|
TV(x,y)＝|DV(x,y)-DV(x+2,y)|+|DV(x,y)-DV(x-2,y)|
DH为R(x,y)或B(x,y)与GH(x,y)的像素值差值，TH(x,y)为色差平面(x,y)处水平方向的梯度，TV(x,y)为色差平面(x,y)处水平方向的梯度。
步骤123，基于所述水平和垂直方向上的梯度，得到所述预设颜色空间中的所述预设通道的插值方向；
在一些实施例中，上述的水平方向和竖直方向上的梯度信息表征了图像中的边缘信息，当水平方向上的梯度小于竖直方向上的梯度时，表明边缘为沿水平方向，当水平方向上的梯度大于竖直方向上的梯度时，表明边缘为沿竖直方向。当边缘为沿水平方向时，采用水平方向插值能够充分的保留边缘信息，当边缘为沿竖直方向时，采用竖直方向插值能够充分的保留边缘信息。如图7所示，将得到的(TH，TV)作为G通道水平与垂直方向插值结果选择的判据，通过方向判定，确定最终的G通道插值结果，判定规则如下：
Figure BDA0002892301350000091
本实施例中，依据色差平面上的水平和竖直方向的梯度判断插值所选择的数据，当水平梯度小于垂直梯度时，中心点存在水平边缘的概率较大，中心的G通道颜色分量的插值沿水平方向进行；当水平梯度大于垂直梯度时，中心点存在竖直边缘的概率较大，中心的G通道颜色分量的插值沿垂直方向进行。依据不同的情况对不同方向进行插值，从而能够得到效果较好的插值结果。
在上述图1所示的实施例基础上，如图4所示，步骤200进一步包括：
步骤210，提取原生图像在所述预设颜色空间中除预设颜色通道之外的剩余通道的颜色分量；
在一些实施例中，在提取剩余通道的颜色分量时，将原生图像中剩余通道的对应剩余通道的颜色分量进行提取，本步骤中仍以RGB颜色空间为例，如图7中的r1和b1；首先读取原生图像中R像素点和B像素点中的数据，填充形成R通道和B通道中对应位置的值。
步骤220，基于所述剩余通道的颜色分量的差值确定所述预设通道之外的剩余通道在每一点的插值；
在一些实施例中，在计算剩余通道的插值计算过程中，为避免将预设通道插值计算过程中的误差引入到剩余通道的计算过程中，可以依据剩余通道中的其中一个通道的数据对另一个通道的数据进行插值。以RGB颜色空间的R通道插值过程为例，可以利用B通道的数据计算在预定颜色空间中的R通道的插值，其计算公式如下：
Figure BDA0002892301350000101
其中，R(x,y)为R通道在(x,y)位置的插值，B(x,y)为B通道在(x,y)位置的像素值。
在一些实施例中，在采用上述的方式进行剩余通道的插值之后，原生图像中预设通道的像素位置对应的位置仍然未完成插值，为使剩余通道的所有位置均完成插值，可以利用预设通道对剩余通道进行插值，以RGB颜色空间中对R通道的插值计算为例，当原生图像中G像素在Y方向上与R像素相邻时，可以采用如下的计算方式进行计算：
Figure BDA0002892301350000102
其中，G(x,y)为g2平面中(x,y)位置的像素值，R(x,y)为R通道中(x,y)位置的像素值。
在本示例性实施例中，依据剩余通道中的其中一个通道的数据对另一个通道的数据进行插值，避免了预设通道在插值过程中的计算误差引入到剩余通道，从而能够保证剩余通道插值的准确性。以RGB颜色空间中的R通道或B通道的插值过程为例，通过R通道和B通道数据计算R通道或B通道的插值信息，避免了由于采用重构的G通道数据而引入新的计算误差，能够更加精准的重构R通道和B通道数据。
在上述图4所示的实施例基础上，如图5所示，步骤220之后进一步还包括：
步骤230，基于所述预设通道的颜色分量确定所述剩余通道的颜色分量的插值方向；
在一些实施例中，由于在剩余通道的插值过程中也需要确保对图像中的边缘信息进行充分的保留，在本步骤中，可以采用前述步骤122中的梯度向量判断剩余通道的差值方向。
步骤240，依据所述插值方向对所述剩余通道的颜色分量进行插值，得到预设颜色空间中的所述剩余通道在每一点的颜色分量；
在一些实施例中，在步骤230中，通过剩余通道中的其中一个通道计算另一个通道的插值有两个，分别为沿水平方向进行插值的结果和沿竖直方向上进行插值的结果。以RGB颜色空间中的R通道插值为例，依据上述步骤221中的方式确定插值方向，步骤220中的计算公式计算R通道或B通道的插值，从而确定R通道和B通道中的每一点的颜色分量，具体的确定公式如下：
Figure BDA0002892301350000111
TV为色差平面在水平方向上的梯度，TH为色差平面在竖直方向上的梯度，R(x,y)为R通道在(x,y)位置的插值，B(x,y)为B通道在(x,y)位置的像素值。
在本实施方式中，采用色差平面的梯度信息确定边缘的方向，与预设通道中插值过程中保持相同的插值方向，从而，能够充分保留图像的边缘信息，能够确保图像插值的准确性。
在上述各个示例性实施例中，作为可选的方式：所述第一神经网络模型为残差神经网络模型；
所述通过第一神经网络模型，确定原生图像在所述预设通道的优化参数包括：
以所述原生图像和预设颜色空间中的所述预设通道的每一点的颜色分量为所述第一神经网络模型的输入，以对应所述原生图像的预设颜色空间中的所述预设通道的的每一点的标准颜色分量为所述第一神经网络模型的真值，确定所述预设通道的优化参数。
在一些实施例中，如图7所示，在训练的过程中选取适当的原生图像图像作为训练集，利用最终结果图像的G通道作为Groundtruth，开始第一阶段的训练，对应的loss函数如下所示：
Figure BDA0002892301350000121
上式中l1对应于loss_G，Θ1代表第一神经网络模型的参数，F1代表了第一神经网络模型运算，xi,raw代表数据集中原生图像数据，hi代表了通过插值计算的G通道的颜色分量，yi,G代表相应图像的G通道数据Groundtruth。
上述的方式中，由于通过插值得到的G通道每一点的颜色分量对于G通道的Groundtruth的差异，要远小于原生图像数据相对于G通道的Groundtruth的差异，所以训练的难度也会相对较低，有利于神经网络模型的收敛。
在上述各示例性实施例中，作为可选的方式：所述第二神经网络模型为残差神经网络模型；
所述通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数包括：
以所述预设通道的优化数据和所述原生图像在预设颜色空间中所有通道数据为所述第二神经网络模型的输入，以对应原生图像在预设颜色空间中所有通道的标准数据为所述第二神经网络模型的真值，确定所述预设颜色空间所有通道的优化参数。
在一些实施例中，如图7所示，第二神经网络模型采用优化后的G通道优化数据与原生图像数据作为模型输入，用最终的全彩图像作为训练的Groundtruth，目的在于恢复R与B通道数据，对应的Loss函数如下所示：
Figure BDA0002892301350000131
xi,m＝F1(xi,raw；Θ1)+hi
在上式中l2对应于总体框图中的Loss_RGB，xi,m代表了G通道的优化数据，Θ2代表第二阶段的残差神经网络的参数，ki代表了通过插值方法得到的RGB三通道数据，yi代表相应图像的全彩的Groundtruth。
对于上述的实施方式，显然，通过插值得到的三通道数据相对于Groundtruth的差异，要远小于原生图像相对于Groundtruth的差异，能够加速模型的收敛。
示例性装置
如图8所示，本公开提供示例性实施方式中的图像处理装置包括：
预设通道插值模块810，基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
在一些实施例中，原生图像为图像传感器获得的图像，在该图像中，每个单元具有一种颜色通道的数据信息，该图像可以为图像传感器即时获得的图像；在另一些实施例中，将图像传感器获得的图像进行存储，在需要对图像进行去马赛克处理时，从存储器中获得该图像。
在一些实施例中，例如预设颜色空间中包含R,G,B三个颜色通道，由于在R,G,B三个通道中，G通道所包含的信息最多，因此，预设通道优选的为G通道；当预设通道为G通道时，首先读取原生图像中的G像素点的值并填充至预设颜色空间的G通道对应的像素点中，然后再利用插值算法计算预设颜色空间中的G通道中其他像素点的值，从而获得原生图像在预设颜色空间中的G通道每一点的颜色分量。
剩余通道插值模块820，基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
在一些实施例中，仍以预设颜色空间包含R,G,B三个颜色通道为例进行说明，当预设通道为G通道时，剩余通道为R通道和B通道，在确定R通道和B通道每一点的颜色分量过程中，为避免使用重构的G通道数据引入新的计算误差，优选的首先将原生图像的B像素点与R像素点读取到预设空间的B通道与R通道对应的位置，然后采用原始的B通道与R通道数据进行差值，并依据该差值确定R通道和B通道每一点的颜色分量。
第一优化模块830，通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
在一些实施例中，第一神经网络模型为预先训练好的神经网络模型，当预设通道插值模块810中确定预设通道的每一点的颜色分量之后，将预设通道每一点的颜色分量以及原生图像作为第一神经网络模型的输入，即可得到预设通道的优化参数。
第一输出模块840，基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
在一些实施例中，由于在第一优化模块830中得到了优化参数，在预设通道插值模块810中得到了预设通道每一点的颜色分量，采用在第一优化模块830中得到的优化参数对预设通道每一点的颜色分量进行优化，即可得到预设通道的优化数据。例如，第一神经网络模型为残差神经网络模型时，可以将第一神经网络模型计算得到的残差与预设通道每一点的颜色分量进行求和，即可得到预设通道的优化数据。
第二优化模块850，通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
在一些实施例中，第二神经网络模型为预先训练好的模型，在第一输出模块840中获得了预设通道的优化数据，采用预设通道的优化数据和原生图像作为输入，第二神经网络模型即可输出所有通道的优化参数。例如，以第二神经网络为残差神经网络为例，以预设通道的优化数据和原生图像作为输入，第二神经网络模型能够计算出预设颜色空间中所有通道的优化参数。
第二输出模块860，基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
在一些实施例中，在预设通道插值模块810中得到了预设通道的每一点的颜色分量，在剩余通道插值模块820中得到了剩余通道中的每一点的颜色分量，从而，通过插值得到了所有通道的数据；在第二优化模块850中得到了预设颜色空间中所有通道的优化参数；采用预设空间中所有通道的优化参数对所有通道的数据进行优化，即可得到最终的全彩图像。仍以第二神经网络模型为残差神经网络模型为例，第二神经网络模型计算得到的所有通道的优化参数为全彩图像的残差，将全彩图像的残差与预设颜色空间的所有通道的每一点的颜色分量进行加和，即可得到最终的全彩图像。
本示例性实施例图像处理方法一方面通过插值的方式计算原生图像在预设颜色空间中各通道的每一点的颜色分量，另一方面通过神经网络模型对插值的结果进行优化，从而，能够得到准确的全彩图像。另外，由于两个方面处于并行运算的状态，所以在关闭基于神经网络模型而设计的优化链路的状态下不会影响去马赛克插值算法的工作，只是最终计算的效果不会得到优化，在实际使用过程中可以根据需求考虑是否开启神经网络优化的功能，增加了算法模型的灵活性以及实用性。考虑到预设通道数据在整体数据恢复中的重要性，本示例性实施例将插值得到的预设通道的结果输入到第一神经网络模型，从而能够影响到第一神经网络模型训练过程中参数迭代，同时由于预设通道丰富的信息量，添加到第一神经网络模型中也有利于简化模型，加速训练模型的收敛。
在图8所示的实施例基础上，如图9所示，预设通道插值模块810还可以进一步包括如下子模块：
分量提取子模块811，提取所述原生图像在预设颜色空间中的所述预设通道的颜色分量；
在一些实施例中，原生图像在预设颜色空间中的所述预设颜色通道的颜色分量有两种可能，其中一种为沿垂直方向计算得到的颜色分量，另一种为沿竖直方向计算得到的颜色分量。如图7所示首先需要计算出G平面通道的方向向量映射g1平面，g1平面中的像素点对应于原G通道相应位置的一组方向向量(GH，GV)，GH为沿水平方向进行插值得到的数值，GV为沿竖直方向进行插值得到的数值。由于原生图像数据中R像素点与B像素点位置计算G平面数据的方式相似，如下以R像素点为例对方向向量(GH，GV)计算过程进行说明，B像素点的处理方式相似，不再进行赘述。以图6所示的情况为例，如图6所示是一个以R像素为中心点的处理区域，需要求得的是R5像素点对应的G通道数据，具体如下：
利用FIR滤波器计算对应点位置的方向向量，计算公式如下：
Figure BDA0002892301350000151
Figure BDA0002892301350000152
由此得到的G通道的方向向量g1(GH，GV)，依据该方向向量即得到R5像素点两个可能的插值数值即GH和GV。
分量确定子模块812，将所述预设通道的颜色分量通过方向判断与权重插值的方式确定预设颜色空间中所述预设通道每一点的颜色分量。
在一些实施例中，方向判断是为了更好的保留图像中的边缘信息，例如，当边缘方向是沿着竖直方向时，沿竖直方向进行插值，能够更好的保留边缘的信息，当边缘方向是沿着水平方向时，沿水平方向进行插值，能够更好的保留边缘的信息。
依据上述分量提取子模块811中计算的g1平面，计算g1平面与R通道和B通道对应位置的差值，可以得到色差平面数据。依据色差平面的数据，再计算色差平面数据在水平方向和垂直方向上的梯度，当水平方向上的梯度小于竖直方向上的梯度时，表明边缘是沿水平方向的，此时，应当沿水平方向进行插值，即将GH确定为该位置的像素值；当竖直方向上的梯度小于水平方向上的梯度时，表明边缘是沿竖直方向上的，即将GV确定为该位置的像素值。
采用上述插值方式获得在预定颜色空间内的预定颜色通道每一点沿竖直方向进行插值和沿水平方向进行插值的颜色分量，再通过色差平面的梯度信息确定边缘的方向，最后沿边缘方向确定插值方向，能够充分保留图像中的边缘信息，使图像更加准确。以预定颜色空间为RGB颜色空间为例，当预定颜色通道为G通道时，对于采样中心点为R像素点或B像素点时，依据采样中心点周围的同一水平坐标值或同一垂直坐标值的像素点的值，求得采样中心点的G通道沿水平方向插值时和沿竖直方向插值时的颜色分量，得到g1平面；再通过g1平面和R通道以及g1平面和B通道的差值，确定色差平面。依据色差平面的水平梯度和竖直梯度的关系对应位置的颜色分量，从而能够在预设的颜色空间中恢复出G通道每一点的颜色分量。
在上述图9所示的实施例基础上，如图10所示分量确定子模块812进一步还包括如下单元：
色差平面确定单元8121，基于预设空间中预设通道的颜色分量和原生图像的除预设颜色通道的剩余通道颜色分量，得到色差平面数据；
在一些实施例中，可以利用g1平面与原有的R通道和B通道数据进行差值，此处的R通道和B通道为读取了原生图像中对应的R像素点和B像素点得到的R通道和B通道数据。如图7所示的g1-r0和g1-b0，依据g1平面与R通道和B通道数据的差值，能够得到一组方向向量，定义为D，表达式为(DH，DV)，每一个方向向量表示色差平面在对应位置的数据。向量D的计算公式如下：
当中心点为R通道数据，则：
DH(x,y)＝R(x,y)-GH(x,y)，
DV(x,y)＝R(x,y)-GV(x,y)，
当中心点为B通道数据时，则：
DH(x,y)＝B(x,y)-GH(x,y)，
DV(x,y)＝B(x,y)-GV(x,y)，
其中GH与GV是在提取G通道颜色分量时得到的方向向量，R(x,y)为R通道在(x,y)位置的像素值，B(x,y)为B通道在(x,y)位置的像素值，GH(x,y)为预设颜色通道在(x,y)位置沿水平方向进行插值得到的数值，GV(x,y)为预设颜色通道在(x,y)位置沿竖直方向进行插值得到的数值，DH为R(x,y)或B(x,y)与GH(x,y)的像素值差值。
梯度确定单元8122，基于所述色差平面数据，得到所述色差平面在水平和垂直方向上的梯度；
在一些实施例中，基于色差平面数据，计算色差平面在水平与垂直方向上的梯度，色差平面上的每一个像素位置对应一组表征梯度的方向向量，定义为T，表达形式为(TH，TV)。其中，TH为水平方向的梯度，TV为竖直方向上的梯度，具体的运算表达为：
TH(x,y)＝|DH(x,y)-DH(x,y+2)|+|DH(x,y)-DH(x,y-2)|
TV(x,y)＝|DV(x,y)-DV(x+2,y)|+|DV(x,y)-DV(x-2,y)|
DH为R(x,y)或B(x,y)与GH(x,y)的像素值差值，TH(x,y)为色差平面(x,y)处水平方向的梯度，TV(x,y)为色差平面(x,y)处水平方向的梯度。
插值方向确定单元8123，基于所述水平和垂直方向上的梯度，得到所述预设颜色空间中的所述预设通道的插值方向；
在一些实施例中，上述的水平方向和竖直方向上的梯度信息表征了图像中的边缘信息，当水平方向上的梯度小于竖直方向上的梯度时，表明边缘为沿水平方向，当水平方向上的梯度大于竖直方向上的梯度时，表明边缘为沿竖直方向。当边缘为沿水平方向时，采用水平方向插值能够充分的保留边缘信息，当边缘为沿竖直方向时，采用竖直方向插值能够充分的保留边缘信息。如图7所示，将得到的(TH，TV)作为G通道水平与垂直方向插值结果选择的判据，通过方向判定，确定最终的G通道插值结果，判定规则如下：
Figure BDA0002892301350000181
本实施例中，依据色差平面上的水平和竖直方向的梯度判断插值所选择的数据，当水平梯度小于垂直梯度时，中心点存在水平边缘的概率较大，中心的G通道颜色分量的插值沿水平方向进行；当水平梯度大于垂直梯度时，中心点存在竖直边缘的概率较大，中心的G通道颜色分量的插值沿垂直方向进行。依据不同的情况对不同方向进行插值，从而能够得到效果较好的插值结果。
在上述图8所示的实施例基础上，如图11所示，剩余通道插值模块820进一步包括：
剩余通道分量子模块821，提取原生图像在所述预设颜色空间中除预设颜色通道之外的剩余通道的颜色分量；
在一些实施例中，在提取剩余通道的颜色分量时，将原生图像中剩余通道的对应剩余通道的颜色分量进行提取，本模块8中仍以RGB颜色空间为例，如图7中的r1和b1；首先读取原生图像中R像素点和B像素点中的数据，填充形成R通道和B通道中对应位置的值。
剩余通道插值子模块822，基于所述剩余通道的颜色分量的差值确定所述预设通道之外的剩余通道在每一点的插值；
在一些实施例中，在计算剩余通道的插值计算过程中，为避免将预设通道插值计算过程中的误差引入到剩余通道的计算过程中，可以依据剩余通道中的其中一个通道的数据对另一个通道的数据进行插值。以RGB颜色空间的R通道插值过程为例，可以利用B通道的数据计算在预定颜色空间中的R通道的插值，其计算公式如下：
Figure BDA0002892301350000182
其中，R(x,y)为R通道在(x,y)位置的插值，B(x,y)为B通道在(x,y)位置的像素值。
在一些实施例中，在采用上述的方式进行剩余通道的插值之后，原生图像中预设通道的像素位置对应的位置仍然未完成插值，为使剩余通道的所有位置均完成插值，可以利用预设通道对剩余通道进行插值，以RGB颜色空间中对R通道的插值计算为例，当原生图像中G像素在Y方向上与R像素相邻时，可以采用如下的计算方式进行计算：
Figure BDA0002892301350000191
其中，G(x,y)为g2平面中(x,y)位置的像素值，R(x,y)为R通道中(x,y)位置的像素值。
在本示例性实施例中，依据剩余通道中的其中一个通道的数据对另一个通道的数据进行插值，避免了预设通道在插值过程中的计算误差引入到剩余通道，从而能够保证剩余通道插值的准确性。以RGB颜色空间中的R通道或B通道的插值过程为例，通过R通道和B通道数据计算R通道或B通道的插值信息，避免了由于采用重构的G通道数据而引入新的计算误差，能够更加精准的重构R通道和B通道数据。
在上述图11所示的实施例基础上，如图12所示，剩余通道插值模块820进一步还包括：
剩余通道方向子模块823，基于所述预设通道的颜色分量确定所述剩余通道的颜色分量的插值方向；
在一些实施例中，由于在剩余通道的插值过程中也需要确保对图像中的边缘信息进行充分的保留，在本模块8中，可以采用前述模块8122中的梯度向量判断剩余通道的差值方向。
剩余通道确定子模块824，依据所述插值方向对所述剩余通道的颜色分量进行插值，得到预设颜色空间中的所述剩余通道在每一点的颜色分量；
在一些实施例中，在模块8221中，通过剩余通道中的其中一个通道计算另一个通道的插值有两个，分别为沿水平方向进行插值的结果和沿竖直方向上进行插值的结果。以RGB颜色空间中的R通道插值为例，依据上述剩余通道方向子模块823中的方式确定插值方向，剩余通道插值子822中的计算公式计算R通道或B通道的插值，从而确定R通道和B通道中的每一点的颜色分量，具体的确定公式如下：
Figure BDA0002892301350000201
TV为色差平面在水平方向上的梯度，TH为色差平面在竖直方向上的梯度，R(x,y)为R通道在(x,y)位置的插值，B(x,y)为B通道在(x,y)位置的像素值。
在本实施方式中，采用色差平面的梯度信息确定边缘的方向，与预设通道中插值过程中保持相同的插值方向，从而，能够充分保留图像的边缘信息，能够确保图像插值的准确性。
在上述各个示例性实施例中，作为可选的方式：所述第一神经网络模型为残差神经网络模型；
所述通过第一神经网络模型，确定原生图像在所述预设通道的优化参数包括：
以所述原生图像和预设颜色空间中的所述预设通道的每一点的颜色分量为所述第一神经网络模型的输入，以对应所述原生图像的预设颜色空间中的所述预设通道的的每一点的标准颜色分量为所述第一神经网络模型的真值，确定所述预设通道的优化参数。
在一些实施例中，如图7所示，在训练的过程中选取适当的原生图像图像作为训练集，利用最终结果图像的G通道作为Groundtruth，开始第一阶段的训练，对应的loss函数如下所示：
Figure BDA0002892301350000202
上式中l1对应于loss_G，Θ1代表第一神经网络模型的参数，F1代表了第一神经网络模型运算，xi,raw代表数据集中原生图像数据，hi代表了通过插值计算的G通道的颜色分量，yi,G代表相应图像的G通道数据Groundtruth。
上述的方式中，由于通过插值得到的G通道每一点的颜色分量对于G通道的Groundtruth的差异，要远小于原生图像数据相对于G通道的Groundtruth的差异，所以训练的难度也会相对较低，有利于神经网络模型的收敛。
在上述各示例性实施例中，作为可选的方式：所述第二神经网络模型为残差神经网络模型；
所述通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数包括：
以所述预设通道的优化数据和所述原生图像在预设颜色空间中所有通道数据为所述第二神经网络模型的输入，以对应原生图像在预设颜色空间中所有通道的标准数据为所述第二神经网络模型的真值，确定所述预设颜色空间所有通道的优化参数。
在一些实施例中，如图7所示，第二神经网络模型采用优化后的G通道优化数据与原生图像数据作为模型输入，用最终的全彩图像作为训练的Groundtruth，目的在于恢复R与B通道数据，对应的Loss函数如下所示：
Figure BDA0002892301350000211
xi,m＝F1(xi,raw；Θ1)+hi
在上式中l2对应于总体框图中的Loss_RGB，xi,m代表了G通道的优化数据，Θ2代表第二阶段的残差神经网络的参数，ki代表了通过插值方法得到的RGB三通道数据，yi代表相应图像的全彩的Groundtruth。
对于上述的实施方式，显然，通过插值得到的三通道数据相对于Groundtruth的差异，要远小于原生图像相对于Groundtruth的差异，能够加速模型的收敛。
示例性电子设备
下面，参考图13来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图13图示了根据本公开实施例的电子设备的框图。
如图13所示，电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的神经网络计算方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备或第二设备时，该输入装置113可以是上述摄像头，可以获取实施图像。在该电子设备是单机设备时，可以采用设备中存储的图像。
此外，该输入设备113还可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备11中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的神经网络计算方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的神经网络计算方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像处理方法，包括：
基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
2.如权利要求1所述图像处理方法，其中，所述基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道每一点的颜色分量包括：
提取所述原生图像在预设颜色空间中的所述预设通道的颜色分量；
将所述预设通道的颜色分量通过方向判断与权重插值的方式确定预设颜色空间中所述预设通道每一点的颜色分量。
3.如权利要求2所述图像处理方法，其中，所述将所述预设通道的颜色分量通过方向判断与权重插值的方式确定预设颜色空间中所述预设通道每一点的颜色分量包括：
基于预设空间中预设通道的颜色分量和原生图像的除预设颜色通道的剩余通道颜色分量，得到色差平面数据；
基于所述色差平面数据，得到所述色差平面在水平和垂直方向上的梯度；
基于所述水平和垂直方向上的梯度，得到所述预设颜色空间中的所述预设通道的插值方向。
4.如权利要求1所述图像处理方法，其中，基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量包括：
提取原生图像在所述预设颜色空间中除预设颜色通道之外的剩余通道的颜色分量；
基于所述剩余通道的颜色分量的差值确定所述预设通道之外的剩余通道在每一点的插值。
5.如权利要求4所述图像处理方法，其中，基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量还包括；
基于所述预设通道的颜色分量确定所述剩余通道的颜色分量的插值方向；
依据所述插值方向对所述剩余通道的颜色分量进行插值，得到预设颜色空间中的所述剩余通道在每一点的颜色分量。
6.如权利要求1所述图像处理方法，其中，所述第一神经网络模型为残差神经网络模型；
所述通过第一神经网络模型，确定原生图像在所述预设通道的优化参数包括：
以所述原生图像和预设颜色空间中的所述预设通道的每一点的颜色分量为所述第一神经网络模型的输入，以对应所述原生图像的预设颜色空间中的所述预设通道的的每一点的标准颜色分量为所述第一神经网络模型的真值，确定所述预设通道的优化参数。
7.如权利要求1所述图像处理方法，其中，所述第二神经网络模型为残差神经网络模型；
所述通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数包括：
以所述预设通道的优化数据和所述原生图像在预设颜色空间中所有通道数据为所述第二神经网络模型的输入，以对应原生图像在预设颜色空间中所有通道的标准数据为所述第二神经网络模型的真值，确定所述预设颜色空间所有通道的优化参数。
8.一种图像处理装置，包括：
预设通道插值模块，用于基于原生图像在预设颜色空间中的预设通道的颜色分量确定所述预设通道的每一点的颜色分量；
剩余通道插值模块，用于基于所述原生图像在所述预设颜色空间中所述预设通道之外的剩余通道的颜色分量，确定所述剩余通道的每一点的颜色分量；
第一优化模块，用于通过第一神经网络模型，确定原生图像在所述预设通道的优化参数；
第一输出模块，用于基于所述优化参数和所述预设通道每一点的颜色分量，确定所述预设通道的优化数据；
第二优化模块，用于通过第二神经网络模型，确定原生图像在所述预设颜色空间所有通道的优化参数；
第二输出模块，用于基于所述预设颜色空间所有通道优化参数和所述预设颜色空间中的所有通道上的每一点的颜色分量，确定最终全彩图像。
9.一种电子设备，包括处理器和存储器；所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述图像处理方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一所述图像处理方法。
CN202110034345.9A 2021-01-11 2021-01-11 图像处理方法、装置、电子设备以及计算机可读存储介质 Active CN112700433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034345.9A CN112700433B (zh) 2021-01-11 2021-01-11 图像处理方法、装置、电子设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034345.9A CN112700433B (zh) 2021-01-11 2021-01-11 图像处理方法、装置、电子设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112700433A true CN112700433A (zh) 2021-04-23
CN112700433B CN112700433B (zh) 2024-08-23

Family

ID=75514026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034345.9A Active CN112700433B (zh) 2021-01-11 2021-01-11 图像处理方法、装置、电子设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112700433B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259635A (zh) * 2021-06-15 2021-08-13 珠海亿智电子科技有限公司 去马赛克方法、装置、设备及存储介质
CN113658043A (zh) * 2021-07-28 2021-11-16 上海智砹芯半导体科技有限公司 图像处理方法、装置、电子设备和可读存储介质
CN117350985A (zh) * 2023-10-24 2024-01-05 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI CUI等: "Color Image Demosaicking Using a 3-Stage Convolutional Neural Network Structure", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 6 September 2018 (2018-09-06), pages 2177 - 2181 *
王岩: "高效图像质量增强算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 07, 15 July 2020 (2020-07-15), pages 138 - 897 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259635A (zh) * 2021-06-15 2021-08-13 珠海亿智电子科技有限公司 去马赛克方法、装置、设备及存储介质
CN113658043A (zh) * 2021-07-28 2021-11-16 上海智砹芯半导体科技有限公司 图像处理方法、装置、电子设备和可读存储介质
WO2023005115A1 (zh) * 2021-07-28 2023-02-02 爱芯元智半导体(上海)有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN117350985A (zh) * 2023-10-24 2024-01-05 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质
CN117350985B (zh) * 2023-10-24 2024-04-19 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112700433B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN112700433B (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质
CN109670474B (zh) 一种基于视频的人体姿态估计方法、装置及设备
JP6539901B2 (ja) 植物病診断システム、植物病診断方法、及びプログラム
CN108364310A (zh) 立体匹配方法和设备、图像处理设备及其训练方法
TW201833867A (zh) 用於影像處理的神經網路模型的訓練方法及裝置和電腦可讀儲存介質
JP7345664B2 (ja) 不確実性を有するランドマーク位置推定のための画像処理システムおよび方法
EP3308323B1 (en) Method for reconstructing 3d scene as 3d model
CN114187491A (zh) 一种遮挡物体检测方法和装置
US20220067357A1 (en) Full skeletal 3d pose recovery from monocular camera
US20220414908A1 (en) Image processing method
JP7508265B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109635630B (zh) 手部关节点检测方法、装置及存储介质
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
CN112183506A (zh) 一种人体姿态生成方法及其系统
CN107451976A (zh) 一种图像处理方法及装置
US11138759B2 (en) Image processing apparatus and image processing method
CN114782510A (zh) 目标物体的深度估计方法和装置、存储介质、电子设备
CN113592706A (zh) 调整单应性矩阵参数的方法和装置
CN116798127A (zh) 一种基于全卷积的太极拳全身姿态估计方法、设备和介质
CN111126566A (zh) 基于gan模型的异常家具布局数据检测方法
JP2020098575A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR101943097B1 (ko) 가상 특징점을 이용한 이미지 정합 방법 및 그 시스템
CN116912467A (zh) 图像拼接方法、装置、设备及存储介质
CN113298098B (zh) 基础矩阵估计方法及相关产品
CN114596475A (zh) 单应性流估计模型的训练方法、单应性流估计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant