CN114359050B - 图像处理方法、装置、计算机设备、存储介质及程序产品 - Google Patents
图像处理方法、装置、计算机设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN114359050B CN114359050B CN202111629574.1A CN202111629574A CN114359050B CN 114359050 B CN114359050 B CN 114359050B CN 202111629574 A CN202111629574 A CN 202111629574A CN 114359050 B CN114359050 B CN 114359050B
- Authority
- CN
- China
- Prior art keywords
- pixel
- guide
- channel
- value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000011084 recovery Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000001914 filtration Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置、计算机设备、存储介质及程序产品，涉及计算机视觉、图像处理技术领域。通过获取拜耳图像的引导图像；基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到RGB图像，能够提高图像质量。
Description
技术领域
本申请涉及计算机视觉、图像处理技术领域，本申请涉及一种图像处理方法、装置、计算机设备、存储介质及程序产品。
背景技术
彩色图像的每一个像素点通常包含R(Red，红)、G(Green，绿)、B(Blue，蓝)三种通道的像素值。然而，光电传感器只能记录光的强度，因此无法同时采集三个通道的图像信息。本领域中，通常采用单个传感器，并在上方叠加一层CFA(Color Filter Array，彩色滤波阵列)，使得光电传感器的每个感光位置上方的滤光片可以透过R、G、B三种颜色中的一种，而过滤掉另外两种。由于每个感光位置只获取了单通道颜色值，若将Bayer(拜耳)图像直接输出，会有明显的马赛克现象。因此拜耳图像需要经过上采样插值操作，恢复出每个通道上缺失的两个颜色值，然后将三通道颜色值合并成一幅完整的彩色RGB图像。目前常用的CFA是拜耳滤波器(Bayer Filter)，而由拜耳图像生成RGB图像的过程称为去马赛克(Demosaicing)。
相关技术中，通常采用双线性插值的方式，得到每个像素点的R、G、B三个通道的图像信息，以生成RGB图像。但是双线性插值的方式去马赛克处理后的图像质量较低，伪彩和拉链效应严重。有些技术中提出采用残差插值方式来提高图像质量，但其中涉及例如乘法、除法等大量复杂运算，使得利用ASIC(Application Specific Integrated Circuit，专用集成电路)的硬件实现时成本高昂，导致该方式实用价值较低。因此，本领域中，亟需一种图像处理方法，能够在较低的硬件成本下，提高图像质量。
发明内容
本申请提供了一种图像处理方法、装置、计算机设备、存储介质及程序产品，可以解决相关技术中图像质量较低的问题。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取拜耳图像的引导图像，所述拜耳图像包括待恢复在目标通道的像素值的目标像素点，所述引导图像包括所述目标像素点和引导像素点，所述引导像素点包括分别在目标通道和引导通道的像素值；
基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，所述第一系数和所述第二系数用于表征所述目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；
基于所述引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定所述至少两组系数值中的目标组系数值；
基于所述目标组系数值，分别确定所述目标像素点和所述引导像素点在目标通道的估计值；
基于所述引导像素点在目标通道的像素值和估计值之间的残差，确定所述目标像素点在目标通道的恢复值，得到所述拜耳图像对应的RGB图像。
另一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取拜耳图像的引导图像，所述拜耳图像包括待恢复在目标通道的像素值的目标像素点，所述引导图像包括所述目标像素点和引导像素点，所述引导像素点包括分别在目标通道和引导通道的像素值；
系数确定模块，用于基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，所述第一系数和所述第二系数用于表征所述目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；
目标组系数确定模块，用于基于所述引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定所述至少两组系数值中的目标组系数值；
估计值确定模块，用于基于所述目标组系数值，分别确定所述目标像素点和所述引导像素点在目标通道的估计值；
恢复值确定模块，用于基于所述引导像素点在目标通道的像素值和估计值之间的残差，确定所述目标像素点在目标通道的恢复值，得到所述拜耳图像对应的RGB图像。
在一个可能实现方式中，所述系数确定模块，用于对于每个第一系数值，确定所述第一系数值与所述引导像素点在引导通道的像素值之间的乘积值；将所述引导像素点在目标通道的像素值与所述乘积值之间的差值，作为所述第一系数值对应的第二系数值。
在一个可能实现方式中，所述目标组系数确定模块，用于基于所述引导像素点在引导通道的像素值，确定每组系数值对应的中间估计值，所述中间估计值是所述引导像素点在目标通道的估计值；基于所述引导像素点在目标通道的像素值和所述中间估计值，确定所述每组系数值对应的估计误差。
在一个可能实现方式中，所述获取模块，用于从所述拜耳图像中获取所述目标像素点所在的窗口区域；确定所述窗口区域中的引导像素点，基于所述引导像素点分别在目标通道和引导通道的像素值，得到所述窗口区域对应的引导区域；
其中，所述第一系数和所述第二系数还用于表征所述引导区域内引导像素点分别在目标通道和引导通道的像素值之间的关联性。
在一个可能实现方式中，所述获取模块，用于从所述拜耳图像中获取所述目标像素点所在的窗口区域；确定所述窗口区域中的引导像素点，并对所述引导像素点的邻域像素点在引导通道的像素值进行插值，得到所述引导像素点在引导通道的像素值；基于所述引导像素点分别在目标通道和引导通道的像素值，得到所述窗口区域对应的引导区域。
在一个可能实现方式中，所述获取模块，还用于确定沿至少两个方向分别与所述引导像素点相邻的邻域像素点，所述至少两个方向包括水平方向和垂直方向；分别对每个方向的邻域像素点的引导通道的像素值进行插值，得到所述引导像素点的引导通道对应至少两个方向的至少两个像素值。
在一个可能实现方式中，所述获取模块，还用于对于所述引导像素点的引导通道对应每个方向的每个像素值，分别执行基于所述引导像素点在引导通道的所述像素值、在目标通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值的步骤；
所述估计值确定模块，用于对于所述引导像素点的引导通道对应的每个方向，分别基于所述目标组系数值、以及所述目标像素点和所述引导像素点的引导通道对应所述每个方向的像素值，分别确定所述目标像素点和所述引导像素点的目标通道对应所述每个方向的估计值。
在一个可能实现方式中，所述恢复值确定模块，用于基于所述引导像素点在目标通道的像素值和至少两个方向的估计值，确定所述目标像素点在目标通道的至少两个方向的候选恢复值；基于所述引导区域中至少两个第一像素点在引导通道的像素值和在目标通道的候选恢复值，确定所述至少两个第一像素点的色差，所述至少两个第一像素点为包括引导通道的像素值的像素点；基于所述至少两个第一像素点的色差，确定所述窗口区域分别在至少两个方向的色差梯度；基于所述至少两个方向的色差梯度和所述至少两个方向的候选恢复值，确定所述目标像素点在目标通道的恢复值。
另一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述的图像处理方法。
另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例提供的图像处理方法，通过获取拜耳图像的引导图像，该拜耳图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值；基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。由于基于至少两个第一系数值结合引导像素点，无需大量复杂的运算，即可得到对应的第二系数值，以利用至少两组系数值，进一步确定估计值，以基于像素值和估计值之间的残差，确定恢复值，以恢复RGB图像，通过采用易于硬件实现的滤波方法，避免了相关技术中的引导滤波过程的大量运算，大大降低了硬件实现成本，同时保留了基于残差的反马赛克方法优点，取得优良的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种实现图像处理方法的流程示意图；
图2为本申请实施例提供的一种窗口的示意图；
图3为本申请实施例提供的一种在水平和垂直方向上分别对R和B通道进行双线性插值的示意图；
图4为本申请实施例提供的一种引导像素点的示意图；
图5为本申请实施例提供的一种G通道引导中心R像素点在B通道像素值的示意图；
图6为本申请实施例提供的一种G通道引导中心Gr像素点在R通道像素值的示意图；
图7为本申请实施例提供的一种G通道引导中心Gr像素点在B通道像素值的示意图；
图8为本申请实施例提供的一种估计值示意图；
图9为本申请实施例提供的一种残差示意图；
图10为本申请实施例提供的一种对残差插值的示意图；
图11为本申请实施例提供的一种水平方向G通道恢复值示意图；
图12为本申请实施例提供的一种整体流程的示意图；
图13为本申请实施例提供的一种恢复不同方向G通道的示意图；
图14为本申请实施例提供的一种色差的示意图；
图15为本申请实施例提供的一种色差梯度的示意图；
图16为本申请实施例提供的一种色差梯度的示意图；
图17为本申请实施例提供的一种恢复G通道的图像示意图；
图18为本申请实施例提供的一种图像处理装置的结构示意图；
图19为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1为本申请实施例提供的一种图像处理方法的流程示意图。该方法的执行主体可以为计算机设备。如图1所示，该方法包括以下步骤。
步骤101、计算机设备获取拜耳图像的引导图像。
该拜耳(Bayer)图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值。
本步骤中，可以选取拜耳图像中R通道、G通道、B通道中的一个通道作为目标通道，另一个通道作为引导通道。其中，该目标通道为待恢复的通道。引导通道是用于对该目标通道的恢复进行引导的通道。
需要说明的是，由于拜耳图像每个像素点只有RGB通道中的一个通道的像素值，由于注意到拜耳图像中在G通道有像素值的像素点占1/2，在R或者B通道有像素值的像素点各占1/4；则可先恢复G通道，再恢复另外R、B通道两个通道。因此，对于待恢复整幅拜耳图像对应的RGB图像，可以先以R和B通道为引导，恢复得到各个像素点在G通道的像素值；再以已恢复的G通道为引导，得到各个像素点在R通道的像素值、以及在B通道的像素值。
在一种可能实现方式中，以R和B通道为引导，恢复得到各个像素点在G通道的像素值时，步骤101可以通过以下步骤201-203实现。
步骤201、计算机设备从该拜耳图像中获取该目标像素点所在的窗口区域。
该目标像素点为拜耳图像中不包括在G通道的像素值的像素点。
对于输入的拜耳图像，计算机设备可以采用“滑动窗”的方式扫描图像，得到该窗口区域；例如，以垂直方向步长为1、水平方向步长为2滑动窗口，相应的，以两个像素点为单位进行滑动。则以R和B通道为引导，恢复得到各个像素点在G通道的像素值时，该目标像素点可以为该两个像素点中不包括在G通道的像素值的像素点。例如，如图2所示，对于每两个像素，中心两像素点为一个包括R通道像素值的像素点和一个包括G通道的像素值的像素点，以它们为中心取一个9*10大小的窗口区域。如图2所示，为区分不同的G通道，可以将与R像素点(即包括R通道像素值的像素点，在此简称为R像素点)左右相邻的G像素点(即包括G通道像素值的像素点，在此简称为G像素点)标记为Gr，与B像素点(即包括B通道像素值的像素点，在此简称为B像素点)左右相邻的G标记为Gb像素点。在该窗口内对中心两像素进行去马赛克处理。
另外，对于位于图像边界的像素点，在采用滑动窗扫描图像时，该窗口区域时可能超出图像区域，此时可以采样采用镜像方式，对窗口区域中落在图像边界之外的区域进行填充，例如，以目标像素点为中心进行左右对称的镜像填充，也即是，基于目标像素点右侧的图像区域中像素点的像素值，作为左侧空白区域中像素点的像素值；当然，也可以目标像素点为中心进行中心对称的镜像填充等，本申请实施例对此不做限制。
步骤202、计算机设备确定该窗口区域中的引导像素点，并对该引导像素点的邻域像素点在引导通道的像素值进行插值，得到该引导像素点在引导通道的像素值。
在一种可能实现方式中，该计算机设备可以确定沿至少两个方向分别与该引导像素点相邻的邻域像素点，该至少两个方向包括水平方向和垂直方向；该计算机设备分别对每个方向的邻域像素点的引导通道的像素值进行插值，得到该引导像素点的引导通道对应至少两个方向的至少两个像素值。
示例性的，如图3所示，对于方框1内的Gr和Gb像素点，在水平和垂直方向上分别对R和B通道进行双线性插值，得到Gr像素点、Gb像素点在引导通道的像素值，也即是，在R、B通道的像素值。其中，得到Gr像素点的和/>Gb像素点的/>和/>其中，H表示水平方向，V表示垂直方向。/>表示在水平方向上对相邻R像素点插值得到的R通道的像素值，/>表示可以在垂直方向上对相邻B像素点插值得到的B通道的像素值。/>表示在垂直方向上对相邻R像素点插值得到的R通道的像素值，/>表示可以在水平方向上对相邻B像素点插值得到的B通道的像素值。
如图3所示。以像素点(4,3)为例，说明双线性插值的计算方法为： 其中，/>表示在水平方向上双线性插值得到(4,3)位置的像素点在R通道的像素值，R4,2表示(4,2)位置的像素点在R通道的像素值，R4,2表示(4,2)位置的像素点在R通道的像素值。/>表示在垂直方向上双线性插值得到(4,3)位置的像素点在B通道的像素值，B3,3表示(3,3)位置的像素点在B通道的像素值，B5,3表示(5,3)位置的像素点在B通道的像素值。
示例性的，对于方框1内，可以分别采用引导得到/>采用/>引导得到/>采用/>引导得到/>采用/>引导得到/> 表示水平方向引导得到像素点在G通道的估计值，/>表示垂直方向引导得到像素点在G通道的估计值。本申请中以如何用/>引导得到/>进行举例说明，也即是，以/>为引导通道，恢复像素点的/>像素值。当然其它引导过程与此类似，此处不再赘述。如图4所示，当以/>为引导通道时，该引导像素点为沿水平方向与该目标像素点相邻的邻域像素点；该窗口区域中的引导像素点可以为6个Gr像素点：(2,3)，(2,5)，(4,3)，(4,5)，(6,3)，(6,5)。该计算机设备可以基于该6个Gr像素点，对水平方向的邻域像素点的引导通道的像素值进行插值，得到该引导像素点在引导通道的像素值。
步骤203、计算机设备基于该引导像素点分别在目标通道和引导通道的像素值，得到该窗口区域对应的引导区域。
该引导区域为包括引导像素点，且该引导像素点分别在目标通道、引导通道的对应有像素值。
在另一种可能实现方式中，以已恢复的G通道为引导，得到各个像素点在R通道的像素值、以及在B通道的像素值时，步骤101可以包括：该计算机设备从该拜耳图像中获取该目标像素点所在的窗口区域；该计算机设备确定该窗口区域中的引导像素点，基于该引导像素点分别在目标通道和引导通道的像素值，得到该窗口区域对应的引导区域。其中，该计算机设备此时无需区分水平方向和垂直方向。例如，如图5所示，以G通道为引导，得到该中心R像素点在B通道的恢复值其中引导像素点(y,x)可选为：(3,3)，(3,5)，(5,3)，(5,5)。例如，如图6所示，以G通道为引导，得到该中心Gr像素点在R通道的恢复值/>其中引导像素点(y,x)可选为：(2,4)，(2,6)，(4,4)，(4,6)，(6,4)，(6,6)。例如，如图7所示，以G通道为引导，得到该中心Gr像素点在R通道的恢复值/>其中引导像素点(y,x)可选为：(2,4)，(2,6)，(4,4)，(4,6)，(6,4)，(6,6)。
步骤102、计算机设备基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值。
一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性。
在一种可能实现方式中，该计算机设备可以对于每个第一系数值，确定该第一系数值与该引导像素点在引导通道的像素值之间的乘积值；该计算机设备将该引导像素点在目标通道的像素值与该乘积值之间的差值，作为该第一系数值对应的第二系数值。
示例性的，对于目标图像p和完整的引导区域I，引导公式为：p＝a*I+b；其中，p为待恢复目标通道的图像，I为引导区域，a为第一系数，b为第二系数。对于每个第一系数a，计算对应的第二系数b。其中，该第一系数和该第二系数还用于表征该引导区域内引导像素点分别在目标通道和引导通道的像素值之间的关联性。
在一种可能实现方式中，以R和B通道为引导，恢复得到各个像素点在G通道的像素值时，对于该引导像素点的引导通道对应每个方向的每个像素值，该计算机设备分别执行基于该引导像素点在引导通道的该像素值、在目标通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值的步骤；示例性的，对于给定的一组M个第一系数a＝[a1,a2,a3,…,aM]，对于每个第一系数值，通过以下公式一，计算目标图像p和引导区域I中目标像素点邻域内N个引导像素点在目标通道和引导通道的像素值的均值mean_p和mean_I，计算得到第二系数b：
公式一：bm＝meanp-am*meanI (m＝1～M)；
其中，mean_p表示N个引导像素点在目标通道的像素值的均值，mean_I表示N个引导像素点在引导通道的像素值的均值，am、bm分别为M个a、b中对应的第m个a、b。
例如，取值为am＝[1/16,1/8,1/4,1/2,1]；如图4所示，分别计算6个Gr像素点的的平均值：/>以及表示6个Gr像素点在G通道的像素值的平均值为：mean_G＝fmean(G)；则第二系数b可代入上述公式一进行计算：
代入公式一：
其中，表示6个Gr像素点的/>的平均值；/>表示计算6个Gr像素点的/>的平均值的函数；mean_G表示6个Gr像素点在G通道的像素值的平均值；fmean(G)表示计算6个Gr像素点在G通道的像素值的平均值的函数；am、bm分别为5个a、b中对应的第m个a、b。
则可以得到每个第一系数值对应的第二系数值。例如，am＝[1/16,1/8,1/4,1/2,1]中5个值各自对应的b值。
步骤103、计算机设备基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值。
在一种可能实现方式中，该计算机设备可以基于该引导像素点在引导通道的像素值，确定每组系数值对应的中间估计值，该中间估计值是该引导像素点在目标通道的估计值；该计算机设备可以基于该引导像素点在目标通道的像素值和该中间估计值，确定该每组系数值对应的估计误差。
示例性的，对于M组(a,b)，计算机设备通过以下公式二，计算N个估计值：
公式二：pm[n]＝am*I[n]+bm (m＝1～M,n＝1～N)；
其中，N为引导像素点的数目，也即是，利用每组(a,b)，计算N个引导像素点在目标通道的中间估计值。pm[n]表示N个引导像素点中第n个引导像素点在第m组(a,b)时对应的目标通道的中间估计值。I[n]表示N个引导像素点中第n个引导像素点在引导通道的像素值。
进一步的，计算机设备将其与真实值之间的差的绝对值之和作为该组的估计误差：
公式三：
其中，errm表示第m组(a,b)所对应的估计误差，N为引导像素点的数目，pm[n]表示N个引导像素点中第n个引导像素点在第m组(a,b)时对应的目标通道的中间估计值，p[n]表示N个引导像素点中第n个引导像素点的目标通道的真实值；当errm取最小值时的即为最佳系数。
示例性的，以R和B通道为引导，恢复得到各个像素点在G通道的像素值时，对于每一组(a,b)，代入公式二计算6个引导像素点对应的估计值：
代入公式二：
其中，表示6个引导像素点中第n个引导像素点在第m组(a,b)时对应的目标通道的估计值，也即是中间估计值；/>表示第n个引导像素点在引导通道的像素值。
进一步的，代入公式二，计算每一组(a,b)对应的6个引导像素点在目标通道的估计值与真实值G之间的差的绝对值，并代入公式三，对这6个值求和，作为该组a和b值的估计误差：
代入公式三：
其中，当errm取最小值时的即为最佳系数。G[n]表示6个引导像素点中第n个引导像素点在G通道的真实值。
步骤104、计算机设备基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值。
计算机设备可以根据目标组系数值，也即是最佳系数和完整的引导区域I，通过以下公式四，计算目标图像在目标通道的估计值/>
公式四：
其中，表示目标图像在目标通道的估计值。
在一种可能实现方式中，以R和B通道为引导，恢复得到各个像素点在G通道的像素值时，该基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值，包括：对于该引导像素点的引导通道对应的每个方向，分别基于该目标组系数值、以及该目标像素点和该引导像素点的引导通道对应该每个方向的像素值，分别确定该目标像素点和该引导像素点的目标通道对应该每个方向的估计值。
示例性的，对于方框1内的R和Gr像素点，由公式四计算目标图像估计值如图8所示。代入以上公式四，计算在G通道的估计值：
代入以上公式四：
其中，表示基于水平方向引导得到的像素点在G通道的估计值。R表示中心R像素点在R通道的像素值。/>表示Gr像素点对应在水平方向的R通道的像素值，是通过在水平方向上对相邻R像素点插值得到的R通道的像素值。如图8所示，还可以计算方框2中每个Gr像素点的估计值/>
步骤105、计算机设备基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。
需要说明的是，由于可以利用目标图像中包括在目标通道的像素值的像素点，能计算得到残差，残差为真实值与估计值之差：因此，可以对残差图进行插值，插值方式可以为：/>再通过以下公式五，将残差插值与估计值相加，得到恢复值：
公式五：
其中，Δp表示残差，p表示真实值，表示估计值。/>表示基于像素点的相邻点的残差进行插值得到的残差，Δpleft表示像素点左侧的相邻像素点的残差，Δpright表示像素点右侧的相邻像素点的残差。/>表示恢复值，/>表示估计值。
在一种可能实现方式中，以R和B通道的像素值为引导，恢复得到各个像素点在G通道的像素值时，由于需要在水平和垂直方向上分别基于相邻点的R和B通道的像素值进行插值，以引导得到水平方向的G通道的像素值和垂直方向的G通道的像素值，因此需要基于插值方向的判断，从水平和垂直方向的G通道的像素值中选择一个，作为最终恢复的像素值，也即是恢复值。该计算机设备基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值的步骤可以包括：该计算机设备基于该引导像素点在目标通道的像素值和至少两个方向的估计值，确定该目标像素点在目标通道的至少两个方向的候选恢复值；该计算机设备基于该引导区域中至少两个第一像素点在引导通道的像素值和在目标通道的候选恢复值，确定该至少两个第一像素点的色差，该至少两个第一像素点为包括引导通道的像素值的像素点；该计算机设备基于该至少两个第一像素点的色差，确定该窗口区域分别在至少两个方向的色差梯度；该计算机设备基于该至少两个方向的色差梯度和该至少两个方向的候选恢复值，确定该目标像素点在目标通道的恢复值。
示例性的，分别计算目标像素点邻域内的像素点的水平和垂直方向的色差。具体为包括R通道像素值的第一像素点的色差、包括B通道像素值的第一像素点的色差。具体包括：
水平方向R与G的色差为：其中，/>表示包括R通道像素值的第一像素点在水平方向上、R通道像素值与G通道像素值之间的色差；R表示该第一像素点在R通道的像素值；GH表示该第一像素点在G通道的水平方向的像素值。
垂直方向R与G色差为：其中，/>表示包括R通道像素值的第一像素点在垂直方向上、R通道像素值与G通道像素值之间的色差；R表示该第一像素点在R通道的像素值；GV表示该第一像素点在G通道的垂直方向的像素值。
水平方向B与G色差为：其中，/>表示包括B通道像素值的第一像素点在水平方向上、B通道像素值与G通道像素值之间的色差；B表示该第一像素点在B通道的像素值；GH表示该第一像素点在G通道的水平方向的像素值。
垂直方向B与G色差为：其中，/>表示包括B通道像素值的第一像素点在垂直方向上、B通道像素值与G通道像素值之间的色差；B表示该第一像素点在B通道的像素值；GV表示该第一像素点在G通道的垂直方向的像素值。
进一步的，计算机设备计算水平和垂直方向的色差梯度。具体包括：
水平方向R与G之间的色差梯度为：
其中，/>表示(y,x)位置的像素点在水平方向上R与G之间的色差梯度；/> 分别表示与(y,x)水平相邻的(y,x-1)、(y,x+1)位置上的两个像素点在水平方向上R通道像素值与G通道像素值之间的色差。
垂直方向上R与G之间的色差梯度为：
其中，/>表示(y,x)位置的像素点在垂直方向上R与G之间的色差梯度；/> 分别表示与(y,x)垂直相邻的(y-1,x)、(y+1,x)位置上的两个像素点在垂直方向上R通道像素值与G通道像素值之间的色差。
水平方向B与G之间的色差梯度为：
其中，/>表示(y,x)位置的像素点在水平方向上B与G之间的色差梯度；/> 分别表示与(y,x)水平相邻的(y,x-1)、(y,x+1)位置上的两个像素点在水平方向上B通道像素值与G通道像素值之间的色差。
垂直方向B与G之间色差梯度为：
其中，/>表示(y,x)位置的像素点在垂直方向上B与G之间的色差梯度；/> 分别表示与(y,x)垂直相邻的(y-1,x)、(y+1,x)位置上的两个像素点在垂直方向上B通道像素值与G通道像素值之间的色差。
为了提高判断的鲁棒性，计算水平和垂直方向的色差梯度和进行比较，选取较小的色差梯度和所代表的方向为插值方向，得到最终的恢复图像。
示例性的，对估计值进行残差插值，以补偿估计误差，得到恢复图像。
对于方框1内的Gr像素点，如图9所示：计算真实值与估计值的差，即可得到残差ΔGH：其中，ΔGH表示Gr像素点水平方向的残差，/>表示Gr像素点或R像素点水平方向的估计值，G表示Gr像素点的真实像素值。
如图10所示，通过对残差进行双线性插值，得到方框2内的R像素点的残差插值 表示R像素点水平方向的残差插值，/>表示像素点左侧的相邻像素点的水平方向的残差，/>表示像素点右侧的相邻像素点的水平方向的残差。
如图11所示，即代入上述公式五，将图8和图10中方框2内的R像素点的值相加，进而得到G通道水平方向的候选恢复值
代入上述公式五：
其中，表示包括R通道像素值的像素点在G通道的水平方向的候选恢复值，/>表示R像素点水平方向的估计值，/>表示R像素点水平方向的残差插值。
图12示出了上述步骤101-105的过程。需要说明的是，上述仅以为引导通道，恢复像素点的/>像素值进行举例说明。如图13所示，基于与上述以/>为引导通道，恢复像素点的/>像素值同理的过程，重复执行上述图12示出的步骤101-105，可以实现不同方向的引导通道来引导，以恢复G通道的像素值，得到R像素点B像素点的/>和/>其中，/>表示水平方向的候选恢复值，/>表示垂直方向的候选恢复值。
示例性的，对于方框2内的所有R和B像素点，分别将R或B值与G值做差，得到该像素点相应的色差值如图14所示，在各个方向上不同通道之间色差可以包括：
水平方向R与G的色差为：其中，/>表示包括R通道像素值的第一像素点在水平方向上、R通道像素值与G通道像素值之间的色差；R表示该第一像素点在R通道的像素值；/>表示该第一像素点在G通道的候选恢复值，/>为基于水平方向引导得到的候选恢复值。
垂直方向R与G色差为：其中，/>表示包括R通道像素值的第一像素点在垂直方向上、R通道像素值与G通道像素值之间的色差；R表示该第一像素点在R通道的像素值；/>表示该第一像素点在G通道的候选恢复值，/>为基于垂直方向引导得到的候选恢复值。
水平方向B与G色差为：其中，/>表示包括B通道像素值的第一像素点在水平方向上、B通道像素值与G通道像素值之间的色差；B表示该第一像素点在B通道的像素值；/>表示该第一像素点在G通道的候选恢复值，/>为基于水平方向引导得到的候选恢复值。
垂直方向B与G色差为：其中，/>表示包括B通道像素值的第一像素点在垂直方向上、B通道像素值与G通道像素值之间的色差；B表示该第一像素点在B通道的像素值；/>表示该第一像素点在G通道的候选恢复值，/>为基于垂直方向引导得到的候选恢复值。
进一步的，对于方框2内的点(y,x)，水平方向上的像素点包括H：(2,3)，(2,5)，(3,4)，(4,3)，(4,5)，(5,4)，(6,3)，(6,5)；垂直方向上的像素点包括V：(3,2)，(3,4)，(3,6)，(4,3)，(4,5)，(5,2)，(5,4)，(5,6)。基于此，计算水平和垂直的色差梯度DH和DV，如图15、图16所示，在各个方向上不同通道色差梯度为：
水平方向R与G的色差梯度：
垂直方向R与G的色差梯度：
其中，DH(y,x)表示水平方向上(y,x)位置的像素点的色差梯度；分别表示与(y,x)水平相邻的(y,x-1)、(y,x+1)位置上的两个像素点在水平方向上R与G通道像素值之间的色差。
其中，DV(y,x)表示垂直水平方向上(y,x)位置的像素点的色差梯度；分别表示与(y,x)垂直相邻的(y-1,x)、(y+1,x)位置上的两个像素点在垂直方向上R与G通道像素值之间的色差。
进一步的，分别将水平和垂直方向的色差梯度相加，计算得到相应的水平方向梯度和sum_DH、垂直方向梯度和sum_DV如下：
sum_DH＝∑(y,x)∈HDH(y,x)；
sum_DV＝∑(y,x)∈VDV(y,x)；
其中，sum_DH表示水平方向梯度和；sum_DV垂直方向梯度和。
若sum_DH<sum_DV，则对于方框2内的所有R和B像素点，在G通道的像素值的取值为水平方向的G通道的候选恢复值，也即是：其中，/>表示在G通道的像素值，也即是最终选择的恢复值；/>表示在G通道的水平方向的候选恢复值。反之则为垂直方向的G通道的像素值，也即是：/> 表示在G通道的垂直方向的候选恢复值。如图17所示，由上述过程可以得到方框1内所有R和B像素点的G通道恢复值/>
需要说明的是，当以G通道作为引导图像，R和B通道作为目标图像时，由于G通道已经被恢复，则可以直接基于上述公式五，得到R通道的像素值、B通道的像素值，无需进行色差、色差梯度的判断即可得到最终的恢复图像；其中，恢复得到G通道的像素值后，该计算机设备可以再以G通道作为引导图像，R和B通道作为目标图像，基于上述步骤101至步骤105的过程，得到R、B通道的像素值，也即是以G通道作为引导图像恢复像素点的R通道像素值、以及以G通道作为引导通道恢复像素点的B通道像素值，此处不再一一赘述。
相关技术中，以R通道为例，B通道与此类似。具体过程包括：
首先，借助其它插值算法插值G通道(如基于局部色差恒定假设的插值算法)，即插值R和B像素点的像素值用插值得到的G通道作为引导图像。定义R通道为目标图像。
然后，以引导图像为参考，对目标图像进行引导滤波上采样，得到目标图像中所有像素的估计值引导方法包括：
假设R和之间的关系为一元一次函数，即：/>则列出中心像素点邻域内R像素点的N个方程。由于方程个数大于未知数个数，方程组无解，但一般可通过最小二乘法求出a和b的最优解。在此过程中需有计算方差、协方差、相关系数等计算过程，然而这些计算过程需包括大量的乘法、除法运算，最终得到中心像素点的R通道的恢复值。综上所述，相关技术中，虽然可完成将拜耳图像上采样为RGB图像的去马赛克过程。但引导滤波中涉及除法运算和大量乘法运算，这在ASIC(Application Specific IntegratedCircuit，专用集成电路)硬件实现成本很高。
需要说明的是，本申请实施例通过上述的步骤101-105，改进了基于残差的去马赛克算法中使用的引导滤波，并通过基于已配置的至少两个第一系数值，确定对应的第二系数值，以得到至少两组系数值，在系数值计算过程中，将除法运算替换为查表计算取最优值的方式，并减少了乘法运算，大大降低了ASIC硬件实现成本，易于实现。同时保留了基于残差的去马赛克算法的优点，取得优良的图像质量。
本申请实施例提供的图像处理方法，通过获取拜耳图像的引导图像，该拜耳图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值；基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。由于基于至少两个第一系数值结合引导像素点，无需大量复杂的运算，即可得到对应的第二系数值，以利用至少两组系数值，进一步确定估计值，以基于像素值和估计值之间的残差，确定恢复值，以恢复RGB图像，通过采用易于硬件实现的滤波方法，避免了相关技术中的引导滤波过程的大量运算，大大降低了硬件实现成本，同时保留了基于残差的反马赛克方法优点，取得优良的图像质量。
图18为本申请实施例提供的一种图像处理装置的结构示意图，如图18所示，该图像处理装置可以包括：
获取模块1801，用于获取拜耳图像的引导图像，该拜耳图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值；
系数确定模块1802，用于基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；
目标组系数确定模块1803，用于基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；
估计值确定模块1804，用于基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；
恢复值确定模块1805，用于基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。
在一个可能实现方式中，该系数确定模块1802，用于对于每个第一系数值，确定该第一系数值与该引导像素点在引导通道的像素值之间的乘积值；将该引导像素点在目标通道的像素值与该乘积值之间的差值，作为该第一系数值对应的第二系数值。
在一个可能实现方式中，该目标组系数确定模块1803，用于基于该引导像素点在引导通道的像素值，确定每组系数值对应的中间估计值，该中间估计值是该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和该中间估计值，确定该每组系数值对应的估计误差。
在一个可能实现方式中，该获取模块1801，用于从该拜耳图像中获取该目标像素点所在的窗口区域；确定该窗口区域中的引导像素点，基于该引导像素点分别在目标通道和引导通道的像素值，得到该窗口区域对应的引导区域；
其中，该第一系数和该第二系数还用于表征该引导区域内引导像素点分别在目标通道和引导通道的像素值之间的关联性。
在一个可能实现方式中，该获取模块1801，用于从该拜耳图像中获取该目标像素点所在的窗口区域；确定该窗口区域中的引导像素点，并对该引导像素点的邻域像素点在引导通道的像素值进行插值，得到该引导像素点在引导通道的像素值；基于该引导像素点分别在目标通道和引导通道的像素值，得到该窗口区域对应的引导区域。
在一个可能实现方式中，该获取模块1801，还用于确定沿至少两个方向分别与该引导像素点相邻的邻域像素点，该至少两个方向包括水平方向和垂直方向；分别对每个方向的邻域像素点的引导通道的像素值进行插值，得到该引导像素点的引导通道对应至少两个方向的至少两个像素值。
在一个可能实现方式中，该获取模块1801，还用于对于该引导像素点的引导通道对应每个方向的每个像素值，分别执行基于该引导像素点在引导通道的该像素值、在目标通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值的步骤；
该估计值确定模块1804，用于对于该引导像素点的引导通道对应的每个方向，分别基于该目标组系数值、以及该目标像素点和该引导像素点的引导通道对应该每个方向的像素值，分别确定该目标像素点和该引导像素点的目标通道对应该每个方向的估计值。
在一个可能实现方式中，该恢复值确定模块1805，用于基于该引导像素点在目标通道的像素值和至少两个方向的估计值，确定该目标像素点在目标通道的至少两个方向的候选恢复值；基于该引导区域中至少两个第一像素点在引导通道的像素值和在目标通道的候选恢复值，确定该至少两个第一像素点的色差，该至少两个第一像素点为包括引导通道的像素值的像素点；基于该至少两个第一像素点的色差，确定该窗口区域分别在至少两个方向的色差梯度；基于该至少两个方向的色差梯度和该至少两个方向的候选恢复值，确定该目标像素点在目标通道的恢复值。
本申请实施例提供的图像处理方法，通过获取拜耳图像的引导图像，该拜耳图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值；基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。由于基于至少两个第一系数值结合引导像素点，无需大量复杂的运算，即可得到对应的第二系数值，以利用至少两组系数值，进一步确定估计值，以基于像素值和估计值之间的残差，确定恢复值，以恢复RGB图像，通过采用易于硬件实现的滤波方法，避免了相关技术中的引导滤波过程的大量运算，大大降低了硬件实现成本，同时保留了基于残差的反马赛克方法优点，取得优良的图像质量。
本实施例的图像处理装置可执行本申请上述实施例所示的图像处理方法，其实现原理相类似，此处不再赘述。
图19是本申请实施例中提供了一种计算机设备的结构示意图。如图19所示，该计算机设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现图像处理方法的步骤，与相关技术相比可实现：
本申请实施例提供的图像处理方法，通过获取拜耳图像的引导图像，该拜耳图像包括待恢复在目标通道的像素值的目标像素点，该引导图像包括该目标像素点和引导像素点，该引导像素点包括分别在目标通道和引导通道的像素值；基于该引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，该第一系数和该第二系数用于表征该目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；基于该引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定该至少两组系数值中的目标组系数值；基于该目标组系数值，分别确定该目标像素点和该引导像素点在目标通道的估计值；基于该引导像素点在目标通道的像素值和估计值之间的残差，确定该目标像素点在目标通道的恢复值，得到该拜耳图像对应的RGB图像。由于基于至少两个第一系数值结合引导像素点，无需大量复杂的运算，即可得到对应的第二系数值，以利用至少两组系数值，进一步确定估计值，以基于像素值和估计值之间的残差，确定恢复值，以恢复RGB图像，通过采用易于硬件实现的滤波方法，避免了相关技术中的引导滤波过程的大量运算，大大降低了硬件实现成本，同时保留了基于残差的反马赛克方法优点，取得优良的图像质量。
在一个可选实施例中提供了一种计算机设备，如图19所示，图19所示的计算机设备1900包括：处理器1901和存储器1903。其中，处理器1901和存储器1903相连，如通过总线1902相连。可选地，计算机设备1900还可以包括收发器1904，收发器1904可以用于该计算机设备与其他计算机设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器1904不限于一个，该计算机设备1900的结构并不构成对本申请实施例的限定。
处理器1901可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1901也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1902可包括一通路，在上述组件之间传送信息。总线1902可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1902可以分为地址总线、数据总线、控制总线等。为便于表示，图19中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1903可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质\其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器1903用于存储执行本申请实施例的计算机程序，并由处理器1901来控制执行。处理器1901用于执行存储器1903中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，计算机设备包括但不限于：终端、摄像机、服务器、手机等。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
获取拜耳图像的引导图像，所述拜耳图像包括待恢复在目标通道的像素值的目标像素点，所述引导图像包括所述目标像素点和引导像素点，所述引导像素点包括分别在目标通道和引导通道的像素值；
基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，所述第一系数和所述第二系数用于表征所述目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；
基于所述引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定所述至少两组系数值中的目标组系数值；
基于所述目标组系数值，分别确定所述目标像素点和所述引导像素点在目标通道的估计值；
基于所述引导像素点在目标通道的像素值和估计值之间的残差，确定所述目标像素点在目标通道的恢复值，得到所述拜耳图像对应的RGB图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，包括：
对于每个第一系数值，确定所述第一系数值与所述引导像素点在引导通道的像素值之间的乘积值；
将所述引导像素点在目标通道的像素值与所述乘积值之间的差值，作为所述第一系数值对应的第二系数值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，包括：
基于所述引导像素点在引导通道的像素值，确定每组系数值对应的中间估计值，所述中间估计值是所述引导像素点在目标通道的估计值；
基于所述引导像素点在目标通道的像素值和所述中间估计值，确定所述每组系数值对应的估计误差。
4.根据权利要求1所述的方法，其特征在于，所述获取拜耳图像的引导图像，包括：
从所述拜耳图像中获取所述目标像素点所在的窗口区域；
确定所述窗口区域中的引导像素点，基于所述引导像素点分别在目标通道和引导通道的像素值，得到所述窗口区域对应的引导区域；
其中，所述第一系数和所述第二系数还用于表征所述引导区域内引导像素点分别在目标通道和引导通道的像素值之间的关联性。
5.根据权利要求1所述的方法，其特征在于，所述获取拜耳图像的引导图像，包括：
从所述拜耳图像中获取所述目标像素点所在的窗口区域；
确定所述窗口区域中的引导像素点，并对所述引导像素点的邻域像素点在引导通道的像素值进行插值，得到所述引导像素点在引导通道的像素值；
基于所述引导像素点分别在目标通道和引导通道的像素值，得到所述窗口区域对应的引导区域。
6.根据权利要求5所述的方法，其特征在于，所述对所述引导像素点的邻域像素点在引导通道的像素值进行插值，得到所述引导像素点在引导通道的像素值，包括：
确定沿至少两个方向分别与所述引导像素点相邻的邻域像素点，所述至少两个方向包括水平方向和垂直方向；
分别对每个方向的邻域像素点的引导通道的像素值进行插值，得到所述引导像素点的引导通道对应至少两个方向的至少两个像素值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，包括：
对于所述引导像素点的引导通道对应每个方向的每个像素值，分别执行基于所述引导像素点在引导通道的所述像素值、在目标通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值的步骤；
所述基于所述目标组系数值，分别确定所述目标像素点和所述引导像素点在目标通道的估计值，包括：
对于所述引导像素点的引导通道对应的每个方向，分别基于所述目标组系数值、以及所述目标像素点和所述引导像素点的引导通道对应所述每个方向的像素值，分别确定所述目标像素点和所述引导像素点的目标通道对应所述每个方向的估计值。
8.根据权利要求7所述的方法，其特征在于，所述基于所述引导像素点在目标通道的像素值和估计值之间的残差，确定所述目标像素点在目标通道的恢复值，包括：
基于所述引导像素点在目标通道的像素值和至少两个方向的估计值，确定所述目标像素点在目标通道的至少两个方向的候选恢复值；
基于所述引导区域中至少两个第一像素点在引导通道的像素值和在目标通道的候选恢复值，确定所述至少两个第一像素点的色差，所述至少两个第一像素点为包括引导通道的像素值的像素点；
基于所述至少两个第一像素点的色差，确定所述窗口区域分别在至少两个方向的色差梯度；
基于所述至少两个方向的色差梯度和所述至少两个方向的候选恢复值，确定所述目标像素点在目标通道的恢复值。
9.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取拜耳图像的引导图像，所述拜耳图像包括待恢复在目标通道的像素值的目标像素点，所述引导图像包括所述目标像素点和引导像素点，所述引导像素点包括分别在目标通道和引导通道的像素值；
系数确定模块，用于基于所述引导像素点分别在目标通道和引导通道的像素值、以及第一系数的至少两个第一系数值，确定至少两组系数值，一组系数值包括一个第一系数值及其对应的第二系数的第二系数值，所述第一系数和所述第二系数用于表征所述目标像素点在目标通道的像素值和在引导通道的像素值之间的关联性；
目标组系数确定模块，用于基于所述引导像素点分别在目标通道和引导通道的像素值，确定每组系数值对应的估计误差，并基于每组系数值对应的估计误差，确定所述至少两组系数值中的目标组系数值；
估计值确定模块，用于基于所述目标组系数值，分别确定所述目标像素点和所述引导像素点在目标通道的估计值；
恢复值确定模块，用于基于所述引导像素点在目标通道的像素值和估计值之间的残差，确定所述目标像素点在目标通道的恢复值，得到所述拜耳图像对应的RGB图像。
10.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629574.1A CN114359050B (zh) | 2021-12-28 | 2021-12-28 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629574.1A CN114359050B (zh) | 2021-12-28 | 2021-12-28 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359050A CN114359050A (zh) | 2022-04-15 |
| CN114359050B true CN114359050B (zh) | 2024-03-29 |
Family
ID=81102870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629574.1A Active CN114359050B (zh) | 2021-12-28 | 2021-12-28 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359050B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115499629B (zh) * | 2022-08-31 | 2023-05-26 | 北京奕斯伟计算技术股份有限公司 | 横向色差校正方法、装置、设备以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102055411B1 (ko) * | 2018-09-18 | 2019-12-12 | 인하대학교 산학협력단 | 적응적 기준 범위 선택에 따른 디모자이킹 방법 |
| CN113436075A (zh) * | 2021-07-14 | 2021-09-24 | 贝壳找房(北京)科技有限公司 | 图像去马赛克方法、装置以及电子设备、介质 |
| CN113454687A (zh) * | 2020-09-28 | 2021-09-28 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和系统，计算机可读存储介质 |
-
2021
- 2021-12-28 CN CN202111629574.1A patent/CN114359050B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102055411B1 (ko) * | 2018-09-18 | 2019-12-12 | 인하대학교 산학협력단 | 적응적 기준 범위 선택에 따른 디모자이킹 방법 |
| CN113454687A (zh) * | 2020-09-28 | 2021-09-28 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和系统，计算机可读存储介质 |
| CN113436075A (zh) * | 2021-07-14 | 2021-09-24 | 贝壳找房(北京)科技有限公司 | 图像去马赛克方法、装置以及电子设备、介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于边缘的实时图像缩放算法研究;刘政林;肖建平;邹雪城;郭旭;;中国图象图形学报;20080229(第02期);第225-229页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359050A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4840468B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US8004588B2 (en) | Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel | |
| US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
| US7499089B2 (en) | Color interpolation method in bayer array | |
| CN101917629B (zh) | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 | |
| EP3416128B1 (en) | Raw image processing system and method | |
| US9111365B2 (en) | Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal | |
| JP2003116060A (ja) | 欠陥画素補正装置 | |
| CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
| US8131110B2 (en) | Reducing signal overshoots and undershoots in demosaicking | |
| WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
| US8730359B2 (en) | Image processing | |
| US20110043671A1 (en) | Signal processing device, imaging device, and signal processing method | |
| CN114359050B (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| WO2006059409A1 (ja) | 画素信号処理装置及び方法 | |
| JP2014042176A (ja) | 画像処理装置および方法、プログラム、並びに、固体撮像装置 | |
| JP2001119705A (ja) | カラー撮像装置 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| CN105046631A (zh) | 图像处理设备和图像处理方法 | |
| CN115471420A (zh) | 图像处理装置、成像设备、方法、电子设备及存储介质 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| CN103384334A (zh) | 图像处理装置、图像处理方法及程序 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| CN116416126A (zh) | 一种Bayer图像插值算法中解决伪彩色问题的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100176 Room 101, 1f, building 3, yard 18, Kechuang 10th Street, Beijing Economic and Technological Development Zone, Beijing Applicant after: Beijing ESWIN Computing Technology Co.,Ltd. Address before: 100176 Room 101, 1f, building 3, yard 18, Kechuang 10th Street, Beijing Economic and Technological Development Zone, Beijing Applicant before: Beijing yisiwei Computing Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |