CN111355937B - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和电子设备，涉及图像处理的技术领域，包括：获取待处理的多通道图像；基于多通道图像确定第一目标图像；基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项；根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。本发明方法利用神经网络模型输出初始拜耳图像的R通道和B通道像素点的修正项，实现对初始拜耳图像的修正处理，得到准确度较高的目标拜耳图像，从而有效的缓解了现有技术中的图像处理方法存在的重组图像的准确度低的技术问题。

Description

图像处理方法、装置和电子设备

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像处理方法、装置和电子设备。

背景技术

Remosaic是指一种通过信号处理模块，变换像素结构的方法，将图像传感器回传的图像重排成拜耳图像，便于后续的图像处理流程。现有技术中，通常使用插值的方法实现Remosaic，用缺失的像素周围的像素加权平均来确定缺失像素，但是，插值的方法没有充分利用自然图片的先验信息，导致重排得到的拜耳图像存在伪彩或锯齿等不良现象，特别是对于RGB-IR(Red Green Blue-Infrared Radiation，红绿蓝红外)传感器采集的图像，IR通道的信息难以通过插值整合到拜耳排列中，造成信息丢失。

综上所述，现有技术中的图像处理方法存在重组图像的准确度低的技术问题。

发明内容

本发明的目的在于提供一种图像处理方法、装置和电子设备，以缓解了现有技术中的图像处理方法存在的重组图像的准确度低的技术问题。

第一方面，本实施例提供了一种图像处理方法，包括：获取待处理的多通道图像；其中，所述多通道图像中每个像素点对应多个通道的通道值，且所述多个通道包含：基本色RGB通道和红外通道；基于所述多通道图像确定第一目标图像；所述第一目标图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；基于所述第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对所述第一目标图像进行处理，得到所述初始拜耳图像中R通道像素点和B通道像素点的修正项；根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

在可选的实施方式中，基于所述第一目标图像确定初始拜耳图像包括：对所述第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到所述初始拜耳图像。

在可选的实施方式中，对所述第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到所述初始拜耳图像包括：在所述第一目标图像中提取全部R通道像素点和B通道像素点；在所述第一目标图像中确定第一像素点；所述第一像素点为所述第一目标图像中与所述初始拜耳图像的通道排列方式不相同的像素点；基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值，其中，所述目标通道值包括：R通道值或者B通道值；将所述第一目标图像中第一像素点的通道值替换为所述目标通道值，从而得到所述初始拜耳图像。

在可选的实施方式中，所述多通道图像为RGB-IR图像，所述预设排列格式为RGB-IR传感器的滤色阵列排列格式；所述目标拜耳图像为RGGB图像；基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值包括：当所述第一像素点的通道值为B通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第一目标区域内的第二像素点，其中，所述第二像素点的通道值为R通道值，所述第一目标区域为预先设定的所述第一目标图像中包含第一像素点的像素区域；通过所述第二像素点的通道值计算所述第一像素点的R通道值，并将计算出的R通道值作为所述第一像素点的目标通道值。

在可选的实施方式中，基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值包括：当所述第一像素点的通道值为红外通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第二目标区域内的第三像素点，其中，所述第三像素点的通道值为B通道值，所述第二目标区域为预先设定的所述第一目标图像中包含第一像素点的像素区域；通过所述第三像素点的通道值计算所述第一像素点的B通道值，并将计算出的B通道值作为所述第一像素点的目标通道值。

在可选的实施方式中，基于所述第一目标图像确定目标IR图像包括：在所述第一目标图像中提取全部G通道像素点和红外通道像素点；在提取到的G通道像素点和红外通道像素点中提取全部红外通道像素点；基于提取到的所述全部红外通道像素点确定所述目标IR图像。

在可选的实施方式中，所述修正项包括：初始拜耳图像中各个R通道像素点的第一修正项和初始拜耳图像中各个B通道像素点的第二修正项；根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像包括：通过所述第一修正项对所述初始拜耳图像中各个R通道像素点进行修正处理，并通过所述第二修正项对所述初始拜耳图像中各个B通道像素点进行修正处理，得到所述目标拜耳图像。

在可选的实施方式中，通过所述第一修正项对所述初始拜耳图像中各个R通道像素点进行修正处理包括：将所述初始拜耳图像中各个R通道像素点的通道值和对应的第一修正项进行求和计算；通过所述第二修正项对所述将所述初始拜耳图像中各个B通道像素点进行修正处理包括：将所述初始拜耳图像中各个B通道像素点的通道值和对应的第二修正项进行求和计算。

在可选的实施方式中，所述方法还包括：获取目标训练图集；所述目标训练图集中包括多个多通道图像样本；基于所述多通道图像样本确定第一训练图像，所述第一训练图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；基于所述第一训练图像确定初始训练拜耳图像；并通过初始神经网络模型对所述第一训练图像进行处理，得到所述初始训练拜耳图像中R通道像素点和B通道像素点的修正项；根据修正项对所述初始训练拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标训练拜耳图像；基于所述目标训练拜耳图像中R通道像素点和B通道像素点的通道值，以及所述第一训练图像的标准拜耳图像中R通道像素点和B通道像素点的通道值，计算目标损失函数的函数值；基于所述函数值对所述初始神经网络模型的模型参数进行调整，得到所述神经网络模型。

第二方面，本实施例还提供一种图像处理装置，包括：第一获取模块，用于获取待处理的多通道图像；其中，所述多通道图像中每个像素点对应多个通道的通道值，且所述多个通道包含：基本色RGB通道和红外通道；第一确定模块，用于基于所述多通道图像确定第一目标图像；所述第一目标图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；第二确定模块，用于基于所述第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对所述第一目标图像进行处理，得到所述初始拜耳图像中R通道像素点和B通道像素点的修正项；第一修正模块，用于根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

第三方面，本实施例还提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。

第四方面，本实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面中任一项所述的方法。

一般地，多采用插值的方法将图像传感器回传的图像重排成拜耳图像，因为不能充分利用图片的先验信息，所以难以保证重组图像的准确度。与此相对地，本发明提供了一种图像处理方法，首先，获取待处理的多通道图像；其中，多通道图像中每个像素点对应多个通道的通道值，且多个通道包含：基本色RGB通道和红外通道；然后，基于多通道图像确定第一目标图像；第一目标图像中的每个像素点按照预设排列格式对应多个通道中的一个通道；接下来，基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项；最后，根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

本发明实施例的方法在对待处理的多通道图像进行像素重组的过程中，利用神经网络模型输出初始拜耳图像的R通道和B通道像素点的修正项，实现对初始拜耳图像的修正处理，得到准确度较高的目标拜耳图像，从而有效的缓解了相关技术中的图像处理方法存在的重组图像的准确度低的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的一种RGB-IR传感器的滤色阵列排列格式；

图4为本发明实施例提供的4种拜耳图像的像素点排列格式；

图5为本发明实施例提供的一种具有多个像素点的RGB-IR传感器的滤色阵列排列格式的示意图；

图6为本发明实施例提供的一种获取神经网络模型的流程图；

图7为本发明实施例提供的一种图像处理装置的功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像装置110用于进行获取待处理的多通道图像，其中，摄像装置所采集的数据经过所述图像处理方法得到目标拜耳图像。

实施例2：

一般地，在对图像传感器回传的图像重排成拜耳图像时，由于没有充分利用自然图片的先验信息导致像素重组后得到的拜耳图像准确度不高。有鉴于此，本发明提出了一种图像处理方法，本发明利用已经学习了大量图像的先验信息的神经网络模型输出图像中像素通道的修正项，利用该修正项对未修正的拜耳图像进行修正，得到准确度较高的目标拜耳图像，从而能够有效的提高重组图像的准确度。

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法具体包括如下步骤：

步骤S202，获取待处理的多通道图像。

具体的，在本发明中，首先获取待处理的多通道图像，其中，多通道图像中每个像素点对应多个通道的通道值，且多个通道包含：基本色RGB通道和红外通道。

需要说明的是，在本发明中，该多通道图像可以选择为RGB-IR图像，除此之外，还可以为其他图像，本发明不对多通道图像的具体形式进行限定，用户可以根据实际需要来进行设定。

步骤S204，基于多通道图像确定第一目标图像。

在获取到待处理的多通道图像后，首先根据上述多通道图像确定第一目标图像，且第一目标图像中的每个像素点按照预设排列格式对应多个通道中的一个通道。其中，该预设排列格式可以为目标图像传感器的滤色阵列排列格式，该目标图像传感器为采集该多通道图像的传感器。

例如，当多通道图像为RGB-IR图像时，上述预设排列格式为对应的RGB-IR传感器的滤色阵列排列格式，图3示出了RGB-IR传感器的滤色阵列排列格式，图3中，每一个像素点均对应一个通道，第一行包括4个像素点，分别为R通道像素点，G通道像素点，B通道像素点和G通道像素点，第二行像素点，第三行像素点和第四行像素点以此类推，此处不再一一赘述。

步骤S206，基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项。

一般地，大多数的图像处理方法多是针对拜耳图像进行的开发，因此，为了得到多通道图像对应的目标拜耳图像(还原度高的图像)，首先根据上述第一目标图像确定出其对应的初始拜耳图像和目标IR图像。图4示出了4种拜耳图像的像素点排列格式，虽然拜耳图像的排列格式可以是RGGB，GRBG，GBRG，BGGR，但上述像素点排列方式中，每个像素点周围的像素点均相同，因此下面以拜耳图像遵循RGGB的排列格式进行说明。根据图3中RGB-IR与图4中RGGB的像素点排列格式可知，第一目标图像与拜耳图像的部分像素点存在交集，因此通过一定的技术手段处理，能够得到初始拜耳图像以及IR图像(包括IR通道像素点)。

进一步的，根据上述两种像素点的排列格式可知，G通道像素点从RGB-IR传感器的滤色阵列排列格式转换到拜耳图像的排列格式后未缺失，因此不需要对初始拜耳图像中的G通道像素点进行修正。为了得到图像还原度高的拜耳图像，本发明实施例采用已经学习了大量图像的先验信息的神经网络模型对上述第一目标图像进行处理，进而模型能够输出初始拜耳图像中R通道像素点和B通道像素点的修正项。

步骤S208，根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

在得到初始拜耳图像中R通道像素点和B通道像素点的修正项后，利用上述修正项对初始拜耳图像进行修正，进而能够得到准确度高的目标拜耳图像，有效的提高了像素重组图像的准确度。

一般地，多采用插值的方法将图像传感器回传的图像重排成拜耳图像，因为不能充分利用图片的先验信息，所以难以保证重组图像的准确度。与此相对地，本发明提供了一种图像处理方法，首先，获取待处理的多通道图像；其中，多通道图像中每个像素点对应多个通道的通道值，且多个通道包含：基本色RGB通道和红外通道；然后，基于多通道图像确定第一目标图像；第一目标图像中的每个像素点按照预设排列格式对应多个通道中的一个通道；接下来，基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项；最后，根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

本发明实施例方法在对待处理的多通道图像进行像素重组的过程中，利用神经网络模型输出初始拜耳图像的R通道和B通道像素点的修正项，实现对初始拜耳图像的修正处理，得到准确度较高的目标拜耳图像，从而有效的缓解了相关技术中的图像处理方法存在的重组图像的准确度低的技术问题。

在一个可选的实施方式中，上述步骤S206中，基于第一目标图像确定初始拜耳图像具体包括如下步骤：

步骤S2061，对第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到初始拜耳图像。

通过上述描述可知，由于G通道像素点从RGB-IR传感器的滤色阵列排列格式转换到拜耳图像的排列格式后未出现缺失，因此，在根据第一目标图像确定初始拜耳图像的过程中，可以选择计算缺失的部分R通道像素点和B通道像素点的通道值。本发明实施例可以采用双线性插值算法对缺失像素点的通道值进行计算，用户也可以根据实际需要采用其他方法，本发明实施例不对其进行具体的限制。

具体的，对第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到初始拜耳图像包括如下步骤：

步骤S20611，在第一目标图像中提取全部R通道像素点和B通道像素点。

步骤S20612，在第一目标图像中确定第一像素点。

在本实施例中，定义第一像素点为第一目标图像中与初始拜耳图像的通道排列方式不相同的像素点。以图3和图4中的RGGB像素点的排列格式为例，若第一目标图像的像素点按照图3中像素点排列格式进行排列，要将第一目标图像转换为RGGB排列方式的初始拜耳图像，首先，提取第一目标图像中的全部R通道像素点和B通道像素点，再进一步将第一目标图像中与初始拜耳图像的通道排列方式不相同的像素点记为第一像素点，也即，第一像素点包括：第1行第3列的B通道像素点，第2行第2列的IR通道像素点，第2行第4列的IR通道像素点，第3行第1列的B通道像素点，第4行第2列的IR通道像素点和第4行第4列的IR通道像素点。

步骤S20613，基于提取出的全部R通道像素点和B通道像素点，计算第一像素点的目标通道值。

上述第一像素点的位置，在对应的RGGB排列方式的初始拜耳图像上应为R通道像素点或者B通道像素点，因此，需要根据提取出的全部R通道像素点和B通道像素点，计算第一像素点的目标通道值，其中，目标通道值包括：R通道值或者B通道值。

其中，目标通道值可以根据RGGB的排列方式确定。例如，如图3和图4中的RGGB所示。如果第一像素点为第1行第3列的B通道像素点，那么第一像素点的目标通道值即为R通道值；如果第一像素点为第2行第2列的IR通道像素点，那么第一像素点的目标通道值即为B通道值，也就是说，在计算第一像素点的目标通道值时，可以根据第一像素点在目标拜耳图像的像素通道排列方式中对应位置所对应的通道类型来确定。

步骤S20614，将第一目标图像中第一像素点的通道值替换为目标通道值，从而得到初始拜耳图像。

在得到所有的目标通道值后，将第一目标图像中原有的第一像素点的通道值替换为目标通道值(对应RGGB排列方式中的R通道值或B通道值)，进而得到初始拜耳图像。为了便于理解，以图3中第1行第3列的B通道像素点为例，在RGGB排列方式中，第1行第3列的位置上应为R通道值，因此，为了得到初始拜耳图像，应该通过数据处理得到的该位置的R通道值，并将第1行第3列的原有的B通道值替换为R通道值。

在一个可选的实施方式中，当多通道图像为RGB-IR图像，预设排列格式为RGB-IR传感器的滤色阵列排列格式，目标拜耳图像为RGGB图像时，上述步骤S20613，基于提取出的全部R通道像素点和B通道像素点，计算第一像素点的目标通道值具体包括以下两类：

第一类：

当第一像素点的通道值为B通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第一目标区域内的第二像素点，其中，第二像素点的通道值为R通道值，第一目标区域为预先设定的第一目标图像中包含第一像素点的像素区域。

通过第二像素点的通道值计算第一像素点的R通道值，并将计算出的R通道值作为第一像素点的目标通道值。

具体的，图5示出了具有多个像素点的RGB-IR传感器的滤色阵列排列格式的示意图，第一像素点的数量为多个，且具体可分为两类：第一像素点的通道值为B通道值和第一像素点的通道值为IR(红外)通道值，若第一像素点的通道值为B通道值，结合上文中的分析可知，第一目标图像中的第一像素点为B像素点，则应计算像素点的R通道值作为目标通道值；若第一目标图像中的第一像素点为IR像素点，则应计算像素点的B通道值作为目标通道值。

以图5中第3行第5列的B通道像素点为例，首先提取出位于第一目标区域内的第二像素点，第一目标区域为预先设定的第一目标图像中包含第一像素点的像素区域，且第二像素点应为R通道像素点，为了得到还原度更高的通道值，可以将该B通道像素点上下左右的四个R通道像素点作为第二像素点，具体为第1行第5列的R通道像素点，第3行第3列的R通道像素点，第5行第5列的R通道像素点，第3行第7列的R通道像素点，然后根据上述4个第二像素点的R通道值，利用双线性插值算法计算出该第一像素点的R通道值，并将其作为第一像素点的目标通道值，本发明实施例不对第一目标区域进行具体限制，用户可以根据实际需求进行扩大或缩小。

第二类：

当第一像素点的通道值为红外通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第二目标区域内的第三像素点，其中，第三像素点的通道值为B通道值，第二目标区域为预先设定的第一目标图像中包含第一像素点的像素区域。

通过第三像素点的通道值计算第一像素点的B通道值，并将计算出的B通道值作为第一像素点的目标通道值。

以图5中第6行第4列的IR通道像素点为例，首先提取出位于第二目标区域内的第三像素点，第二目标区域为预先设定的第一目标图像中包含第一像素点的像素区域，且第三像素点应为B通道像素点，为了得到还原度更高的通道值，可以将该IR通道像素点对角上的两个B通道像素点作为第三像素点，具体为第5行第3列的B通道像素点，第7行第5列的B通道像素点，然后根据上述两个第三像素点的B通道值，利用双线性插值算法计算出该第一像素点的B通道值，并将其作为第一像素点的目标通道值，本发明实施例不对第二目标区域进行具体限制，用户可以根据实际需求进行扩大或缩小。

上文中对如何确定初始拜耳图像的过程进行了详细的描述，下面对如何确定目标IR图像的过程进行介绍。

在一个可选的实施方式中，上述步骤S206中，基于第一目标图像确定目标IR图像包括：

步骤S2062，在第一目标图像中提取全部G通道像素点和红外通道像素点。

步骤S2063，在提取到的G通道像素点和红外通道像素点中提取全部红外通道像素点。

步骤S2064，基于提取到的全部红外通道像素点确定目标IR图像。

具体的，在确定多通道图像对应的初始拜耳图像时，由于提取了全部R通道像素点和B通道像素点，剩余像素点也就相当于提取到了全部G通道像素点和红外通道像素点，为了得到目标IR图像，再从全部G通道像素点和红外通道像素点中将红外像通道素点提取出来，最后根据提取到的全部红外通道像素点即可确定目标IR图像。

在一个可选的实施方式中，神经网络模型对第一目标图像进行处理后，输出的修正项包括：初始拜耳图像中各个R通道像素点的第一修正项和初始拜耳图像中各个B通道像素点的第二修正项；上述步骤S208，根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像具体包括如下步骤：

步骤S2081，通过第一修正项对初始拜耳图像中各个R通道像素点进行修正处理，步骤S2082，通过第二修正项对初始拜耳图像中各个B通道像素点进行修正处理，得到目标拜耳图像。

具体的，本发明实施例中的神经网络模型学习了大量的自然图片先验信息，针对初始拜耳图像输出的修正项为初始拜耳图像中各个R通道像素点的第一修正项和初始拜耳图像中各个B通道像素点的第二修正项，初始拜耳图像中的G通道像素点不需要修正，因此不包括其对应的修正项，或者也可以理解为其修正项的通道值为0。在对初始拜耳图像进行修正时，具体为利用第一修正项对初始拜耳图像中各个R通道像素点进行修正，以及利用第二修正项对初始拜耳图像中各个B通道像素点进行修正，进而得到目标拜耳图像，在一些实施例中，修正项为0左右的通道值。

在一个可选的实施方式中，上述步骤S2081，通过第一修正项对初始拜耳图像中各个R通道像素点进行修正处理包括：将初始拜耳图像中各个R通道像素点的通道值和对应的第一修正项进行求和计算。

上述步骤S2082，通过第二修正项对将初始拜耳图像中各个B通道像素点进行修正处理包括：将初始拜耳图像中各个B通道像素点的通道值和对应的第二修正项进行求和计算。

为了便于理解，下面举例说明，若第一目标图像中某个第一像素点的目标通道值为R通道值，且等于189，即第一目标图像对应的初始拜耳图像上该像素点位置为R通道像素点，且通道值为189，神经网络模型对第一目标图像进行处理后，输出了该位置上R通道像素点的第一修正项为+1，则目标拜耳图像上该R通道像素点的通道值为190。对于初始拜耳图像中各个B通道像素点的修正处理过程与上述对R通道像素点的修正处理方式相同，此处不再赘述。

通过上述描述可知，在本发明中将双线性插值算法与神经网络模型结合，输出准确度高的目标拜耳图像的过程进行了详细的描述，下面对如何训练初始神经网络模型以得到能够输出图像中像素通道的修正项的神经网络模型的过程进行介绍。

在一个可选的实施方式中，如图6所示，本发明方法还包括如下步骤：

步骤S301，获取目标训练图集；目标训练图集中包括多个多通道图像样本；

步骤S302，基于多通道图像样本确定第一训练图像，第一训练图像中的每个像素点按照预设排列格式对应多个通道中的一个通道。

步骤S303，基于第一训练图像确定初始训练拜耳图像；并通过初始神经网络模型对第一训练图像进行处理，得到初始训练拜耳图像中R通道像素点和B通道像素点的修正项。

步骤S304，根据修正项对初始训练拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标训练拜耳图像。

具体的，步骤S301至S304中所涉及的图像处理流程与上述步骤S202至步骤S208所使用的图像处理方法相同，且上文已经对其进行了详细的介绍，此处不再赘述，在步骤S304执行完毕后，能够得到多个多通道图像样本对应的多个目标训练拜耳图像。

步骤S305，基于目标训练拜耳图像中R通道像素点和B通道像素点的通道值，以及第一训练图像的标准拜耳图像中R通道像素点和B通道像素点的通道值，计算目标损失函数的函数值。

步骤S306，基于函数值对初始神经网络模型的模型参数进行调整，得到神经网络模型。

在本发明中，首先搭建初始神经网络模型，然后，对该初始神经网络模型进行训练，其中，训练是指对初始神经网络模型中的参数进行优化调整。其中，为了对初始神经网络模型的参数进行优化调整，针对得到的任意一个目标拜耳图像，需要将其与对应的第一训练图像的标准拜耳图像进行比较，具体的，将二者的R通道像素点和B通道像素点的通道值进行比较，从而根据比较结果计算目标损失函数的函数值L1 loss，反向传播L1 loss，并使用梯度下降法对初始神经网络模型的模型参数进行调整，进而得到神经网络模型。

本发明实施例提供的图像处理方法，利用神经网络模型的强大学习能力，对自然图片的先验信息进行学习，得到图像处理过程中使用的神经网络模型，该神经网络模型可以输出针对初始拜耳图像的修正项，经修正得到的目标拜耳图像具有更好的像素重组结果，从而有效提升了重组图像的准确度。

实施例3：

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行上述实施例一所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

图7是本发明实施例提供的一种图像处理装置的功能模块图，如图7所示，该装置主要包括：第一获取模块10，第一确定模块20，第二确定模块30，第一修正模块40，其中：

第一获取模块10，用于获取待处理的多通道图像；其中，多通道图像中每个像素点对应多个通道的通道值，且多个通道包含：基本色RGB通道和红外通道。

第一确定模块20，用于基于多通道图像确定第一目标图像；第一目标图像中的每个像素点按照预设排列格式对应多个通道中的一个通道。

第二确定模块30，用于基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项。

第一修正模块40，用于根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

一般地，多采用插值的方法将图像传感器回传的图像重排成拜耳图像，因为不能充分利用图片的先验信息，所以难以保证重组图像的准确度。与此相对地，本发明提供了一种图像处理装置，首先，获取待处理的多通道图像；其中，多通道图像中每个像素点对应多个通道的通道值，且多个通道包含：基本色RGB通道和红外通道；然后，基于多通道图像确定第一目标图像；第一目标图像中的每个像素点按照预设排列格式对应多个通道中的一个通道；接下来，基于第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对第一目标图像进行处理，得到初始拜耳图像中R通道像素点和B通道像素点的修正项；最后，根据修正项对初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像。

本发明实施例的装置在对待处理的多通道图像进行像素重组的过程中，利用神经网络模型输出初始拜耳图像的R通道和B通道像素点的修正项，实现对初始拜耳图像的修正处理，得到准确度较高的目标拜耳图像，从而有效的缓解了相关技术中的图像处理方法存在的重组图像的准确度低的技术问题。

可选的，第二确定模块30包括：

插值单元，用于对第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到初始拜耳图像。

可选的，插值单元包括：

提取子单元，用于在第一目标图像中提取全部R通道像素点和B通道像素点。

确定子单元，用于在第一目标图像中确定第一像素点；第一像素点为第一目标图像中与初始拜耳图像的通道排列方式不相同的像素点。

计算子单元，用于基于提取出的全部R通道像素点和B通道像素点，计算第一像素点的目标通道值，其中，目标通道值包括：R通道值或者B通道值。

替换子单元，用于将第一目标图像中第一像素点的通道值替换为目标通道值，从而得到初始拜耳图像。

可选的，当多通道图像为RGB-IR图像，预设排列格式为RGB-IR传感器的滤色阵列排列格式；目标拜耳图像为RGGB图像时，计算子单元具体用于：

当第一像素点的通道值为B通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第一目标区域内的第二像素点，其中，第二像素点的通道值为R通道值，第一目标区域为预先设定的第一目标图像中包含第一像素点的像素区域。

通过第二像素点的通道值计算第一像素点的R通道值，并将计算出的R通道值作为第一像素点的目标通道值。

可选的，计算子单元还具体用于：

当第一像素点的通道值为红外通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第二目标区域内的第三像素点，其中，第三像素点的通道值为B通道值，第二目标区域为预先设定的第一目标图像中包含第一像素点的像素区域。

通过第三像素点的通道值计算第一像素点的B通道值，并将计算出的B通道值作为第一像素点的目标通道值。

可选的，第二确定模块30还包括：

第一提取单元，用于在第一目标图像中提取全部G通道像素点和红外通道像素点。

第二提取单元，用于在提取到的G通道像素点和红外通道像素点中提取全部红外通道像素点。

确定单元，用于基于提取到的全部红外通道像素点确定目标IR图像。

可选的，修正项包括：初始拜耳图像中各个R通道像素点的第一修正项和初始拜耳图像中各个B通道像素点的第二修正项。

第一修正模块40包括：

第一修正单元，用于通过第一修正项对初始拜耳图像中各个R通道像素点进行修正处理；第二修正单元，用于通过第二修正项对初始拜耳图像中各个B通道像素点进行修正处理，得到目标拜耳图像。

可选的，第一修正单元，具体用于：将初始拜耳图像中各个R通道像素点的通道值和对应的第一修正项进行求和计算。

第二修正单元，具体用于：将初始拜耳图像中各个B通道像素点的通道值和对应的第二修正项进行求和计算。

可选的，该装置还包括：

第二获取模块，用于获取目标训练图集；目标训练图集中包括多个多通道图像样本。

第三确定模块，用于基于多通道图像样本确定第一训练图像，第一训练图像中的每个像素点按照预设排列格式对应多个通道中的一个通道。

第四确定模块，用于基于第一训练图像确定初始训练拜耳图像；并通过初始神经网络模型对第一训练图像进行处理，得到初始训练拜耳图像中R通道像素点和B通道像素点的修正项。

第二修正模块，用于根据修正项对初始训练拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标训练拜耳图像。

计算模块，用于基于目标训练拜耳图像中R通道像素点和B通道像素点的通道值，以及第一训练图像的标准拜耳图像中R通道像素点和B通道像素点的通道值，计算目标损失函数的函数值。

调整模块，用于基于函数值对初始神经网络模型的模型参数进行调整，得到神经网络模型。

本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取待处理的多通道图像；其中，所述多通道图像中每个像素点对应多个通道的通道值，且所述多个通道包含：基本色RGB通道和红外通道；

基于所述多通道图像确定第一目标图像；所述第一目标图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；所述多通道图像为RGB-IR图像，所述预设排列格式为RGB-IR传感器的滤色阵列排列格式；

基于所述第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对所述第一目标图像进行处理，得到所述初始拜耳图像中R通道像素点和B通道像素点的修正项；

根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像；

其中，基于所述第一目标图像确定初始拜耳图像和目标IR图像，包括：

基于所述第一目标图像中的R通道像素点和B通道像素点确定所述初始拜耳图像，以及基于所述第一目标图像中的红外通道像素点确定所述目标IR图像。

2.根据权利要求1所述的方法，其特征在于，基于所述第一目标图像确定初始拜耳图像包括：

对所述第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到所述初始拜耳图像。

3.根据权利要求2所述的方法，其特征在于，对所述第一目标图像中的R通道像素点和B通道像素点进行双线性插值处理，得到所述初始拜耳图像包括：

在所述第一目标图像中提取全部R通道像素点和B通道像素点；

在所述第一目标图像中确定第一像素点；所述第一像素点为所述第一目标图像中与所述初始拜耳图像的通道排列方式不相同的像素点；

基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值，其中，所述目标通道值包括：R通道值或者B通道值；

将所述第一目标图像中第一像素点的通道值替换为所述目标通道值，从而得到所述初始拜耳图像。

4.根据权利要求3所述的方法，其特征在于，所述目标拜耳图像为RGGB图像；

基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值包括：

当所述第一像素点的通道值为B通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第一目标区域内的第二像素点，其中，所述第二像素点的通道值为R通道值，所述第一目标区域为预先设定的所述第一目标图像中包含第一像素点的像素区域；

通过所述第二像素点的通道值计算所述第一像素点的R通道值，并将计算出的R通道值作为所述第一像素点的目标通道值。

5.根据权利要求4所述的方法，其特征在于，基于提取出的全部R通道像素点和B通道像素点，计算所述第一像素点的目标通道值包括：

当所述第一像素点的通道值为红外通道值时，在提取出的全部R通道像素点和B通道像素点中确定位于第二目标区域内的第三像素点，其中，所述第三像素点的通道值为B通道值，所述第二目标区域为预先设定的所述第一目标图像中包含第一像素点的像素区域；

通过所述第三像素点的通道值计算所述第一像素点的B通道值，并将计算出的B通道值作为所述第一像素点的目标通道值。

6.根据权利要求1或3所述的方法，其特征在于，基于所述第一目标图像确定目标IR图像包括：

在所述第一目标图像中提取全部G通道像素点和红外通道像素点；

在提取到的G通道像素点和红外通道像素点中提取全部红外通道像素点；

基于提取到的所述全部红外通道像素点确定所述目标IR图像。

7.根据权利要求1所述的方法，其特征在于，所述修正项包括：初始拜耳图像中各个R通道像素点的第一修正项和初始拜耳图像中各个B通道像素点的第二修正项；

根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像包括：

通过所述第一修正项对所述初始拜耳图像中各个R通道像素点进行修正处理，并通过所述第二修正项对所述初始拜耳图像中各个B通道像素点进行修正处理，得到所述目标拜耳图像。

8.根据权利要求7所述的方法，其特征在于，

通过所述第一修正项对所述初始拜耳图像中各个R通道像素点进行修正处理包括：将所述初始拜耳图像中各个R通道像素点的通道值和对应的第一修正项进行求和计算；

通过所述第二修正项对所述将所述初始拜耳图像中各个B通道像素点进行修正处理包括：将所述初始拜耳图像中各个B通道像素点的通道值和对应的第二修正项进行求和计算。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标训练图集；所述目标训练图集中包括多个多通道图像样本；

基于所述多通道图像样本确定第一训练图像，所述第一训练图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；

基于所述第一训练图像确定初始训练拜耳图像；并通过初始神经网络模型对所述第一训练图像进行处理，得到所述初始训练拜耳图像中R通道像素点和B通道像素点的修正项；

根据修正项对所述初始训练拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标训练拜耳图像；

基于所述目标训练拜耳图像中R通道像素点和B通道像素点的通道值，以及所述第一训练图像的标准拜耳图像中R通道像素点和B通道像素点的通道值，计算目标损失函数的函数值；

基于所述函数值对所述初始神经网络模型的模型参数进行调整，得到所述神经网络模型。

10.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取待处理的多通道图像；其中，所述多通道图像中每个像素点对应多个通道的通道值，且所述多个通道包含：基本色RGB通道和红外通道；

第一确定模块，用于基于所述多通道图像确定第一目标图像；所述第一目标图像中的每个像素点按照预设排列格式对应所述多个通道中的一个通道；所述多通道图像为RGB-IR图像，所述预设排列格式为RGB-IR传感器的滤色阵列排列格式；

第二确定模块，用于基于所述第一目标图像确定初始拜耳图像和目标IR图像；并通过神经网络模型对所述第一目标图像进行处理，得到所述初始拜耳图像中R通道像素点和B通道像素点的修正项；

第一修正模块，用于根据修正项对所述初始拜耳图像中R通道像素点的通道值和B通道像素点的通道值进行修正，得到目标拜耳图像；

其中，所述第二确定模块具体用于：

基于所述第一目标图像中的R通道像素点和B通道像素点确定所述初始拜耳图像，以及基于所述第一目标图像中的红外通道像素点确定所述目标IR图像。

11.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述的方法的步骤。

12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行权利要求1至9中任一项所述的方法。

Images