CN111131798B - 图像处理方法、图像处理装置以及摄像装置 - Google Patents

Abstract

一种图像处理方法，包括：从目标图像传感器获取原始图像(即第一图像)，所述原始图像的像素可以划分为I像素和II像素，其中，所有I像素由亮度像素组成，II像素由青色像素、红色像素以及洋红色像素组成；确定II像素的互补色通道值；然后基于II像素的互补色通道值计算出每个I像素的三个互补色通道值，基于I像素的亮度值计算出每个II像素的亮度通道值，从而得到目标图像。该方案可以在低照度场景下得到色彩清晰的目标图像，并且该目标图像来源是基于单个图像传感器的单幅原始图像确定的，因此易于实现。

Description

图像处理方法、图像处理装置以及摄像装置

本申请要求于2019年10月18日提交中国专利局、申请号为201910996008.0、发明名称为“一种跟踪方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请实施例涉及监控摄像领域，尤其涉及图像处理方法、图像处理装置以及摄像装置。

背景技术

低照度摄像装置，指用于黑夜或者光线不足的场景下的摄像装置，常作为监控摄像装置使用。为了提高该低照度摄像装置输出的图像的清晰程度，研究人员为该低照度摄像装置设置补光功能，即在该低照度摄像装置的摄像头周围设置光源。但是，若采用白光补光，则将产生光污染，使被监控的对象察觉而采取躲避措施；若采用红外光补光，虽然人眼不能感知红外光，但图像传感器捕捉红外光输出的图像为仅显示深浅的灰度图像，不利于对有颜色的监控对象进行识别。因此，目前普遍采用白光和红外光混合补光的方式。为了避免红外光对白光造成干扰以降低图像的清晰度，常采用分光或者分时的方式处理该图像传感器获取的信号。

当采用分光的方式时，需要采用特制的棱镜将可见光与红外光分离，使一个图像传感器记录可见光得到彩色图像，另一个图像传感器记录红外光得到灰度图像；然后，分别对前述彩色图像和前述灰度图像进行处理；最后，将前述彩色图像和前述灰度图像进行融合以获得目标图像。当采用分时的方式时，需要控制一个图像传感器，在前一帧感可见光，在后一帧感红外光；然后，分别对前后两帧数据处理得到记录可见光的彩色图像和记录红外光的灰度图像；最后，将前述彩色图像和前述灰度图像进行融合以获得目标图像。

但是，在前述分光的方案中，需要采用特制的棱镜对光线进行分光处理，导致系统复杂，并且，来自两个图像传感器的两幅图像的配准度较低，导致输出的目标图像的效果不佳。在前述分时的方案中，需使用分时曝光装置，导致系统复杂，并且，在前后两帧的图像进行融合时，易造成运动拖尾问题而难以融合导致获得的目标图像的效果不佳。

发明内容

本申请实施例提供了一种图像处理方法、图像处理装置以及摄像装置，用于保证摄像装置输出的图像色彩丰富且图像清晰的同时，简化系统结构。

第一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：图像处理装置获取来自目标图像传感器的第一图像。其中，该第一图像包括I像素组和II像素组，该I像素组包括多个I像素，该II像素组包括多个II像素。并且，前述每个该I像素携带一个亮度通道值，每个该II像素携带一个色彩通道值。此外，该I像素和该II像素均 为单通道像素。然后，该图像处理装置基于前述色彩通道值确定该色彩通道值的互补色通道值。然后，该图像处理装置根据至少一个该I像素携带的亮度通道值和至少一个该II像素携带的互补色通道值确定目标像素的三个通道值，其中，该目标像素的三个通道值用于指示该目标像素的色彩和亮度。最后，该图像处理装置输出包括多个前述目标像素的目标图像。

本实施例中，前述色彩通道值对应的色彩通道包括青色通道、洋红色通道或黄色通道中的一种；前述互补色通道值对应的色彩通道包括红色通道、绿色通道或蓝色通道中的一种。

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，有利于使该图像处理装置输出的目标图像的细节清晰；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，有利于使该图像处理装置输出的目标图像包含色彩。然后，基于前述I像素组与前述II像素组确定目标图像，有利于使前述图像色彩与前述图像细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。

根据第一方面，本申请实施例第一方面的第一种实施方式中，该方法还包括：图像处理装置基于至少一个该I像素的亮度通道值确定该II像素的亮度通道值。然后，该图像处理装置基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值。

可选的，该图像处理装置可以在获取来自目标图像传感器的第一图像之后，确定该色彩通道值的互补色通道值之前，执行前述步骤。

本实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均有亮度，有利于反映被拍摄物体的轮廓和细节。此外，由于，可以基于II像素的色彩通道值确定I像素的色彩通道值，可以使仅记录了亮度信息的I像素也具备色彩信息，进而可以使该第一图像中的各个像素均有色彩，有利于反映被拍摄物体呈现出色彩。

根据第一方面的第一种实施方式，本申请实施例第一方面的第二种实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道相同。其中，该图像处理装置基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值，包括：基于至少一个该II像素的青色通道值确定该I像素的青色通道值；和，基于至少一个该II像素的洋红色通道值确定该I像素的洋红色通道值；和，基于至少一个该II像素的黄色通道值确定该I像素的黄色通道值。

本实施方式中，提出了一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于相同的色彩通道值进行插值运算，有利于保证插值结果的精度，减少像素错误。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

根据第一方面的第一种实施方式，本申请实施例第一方面的第三种实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道不完全相同。该图像处理装置基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值，包括：基于该II像素组中的洋红色通道值和黄色通道值中的至少一个以及青色通道值，确定该I像素的青色通道值；和，基于该II像素组中的青色通道值和黄色通道值中的至少一个以及洋红色通道值，确定该I像素的洋红色通道值；和，基于该II像素组中的青色通道值和洋红色通道值中的至少一个以及黄色通道值，确定该I像素的黄色通道值。

本实施方式中，提出了另一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于不同的色彩通道值进行插值运算，有利于使得插值后的图像色彩丰富。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

在另一种可选的实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道不相同；该基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值，包括：基于该II像素组中的洋红色通道值和/或黄色通道值确定该I像素的青色通道值；和，基于该II像素组中的青色通道值和/或黄色通道值确定该I像素的洋红色通道值；和，基于该II像素组中的青色通道值和/或洋红色通道值确定该I像素的黄色通道值。

根据第一方面、第一方面的第一种实施方式至第一方面的第三种实施方式，本申请实施例第一方面的第四种实施方式中，该方法还包括：图像处理装置基于位于该第一II像素附近的一个或多个II像素的不同色彩通道值，确定该第一II像素的三个色彩通道值，该第一II像素为该II像素组中任意一个像素。

本实施方式中，由于前述第一图像中的II像素仅有一个色彩通道值，一个色彩通道值无法呈现出色彩。因此，该图像装置需补齐该II像素的三个色彩通道值，以使得该II像素能够反映出色彩。

根据第一方面的第四种实施方式，本申请实施例第一方面的第五种实施方式中，该图像处理装置基于位于该第一II像素附近的一个或多个II像素的不同色彩通道值，确定该第一II像素的三个色彩通道值，包括下述一种或者多种：基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的青色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的洋红色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的黄色通道值。

本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的互补色通道值反映的色彩更加逼真。

根据第一方面、第一方面的第一种实施方式至第一方面的第五种实施方式，本申请实施例第一方面的第六种实施方式中，该图像处理装置基于该I像素的亮度通道值确定该II像素的亮度通道值，包括：根据该第一II像素附近的至少一个I像素的亮度通道值确定该第一II像素的亮度通道值，该第一II像素为该II像素组中任意一个像素。

本实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均由于亮度，有利于反映被拍摄物体的轮廓和细节。

根据第一方面的第四种实施方式至第一方面的第六种实施方式，本申请实施例第一方面的第七种实施方式中，该图像处理装置确定该色彩通道值的互补色通道值，包括：将该II像素的三个色彩通道值分别转换为互补色通道值，得到该II像素的三个互补色通道值；并且，将该I像素的三个色彩通道值分别转换为互补色通道值，得到该I像素的三个互补色通道值。

在一种可选的实施方式中，该图像处理装置可以在补齐前述II像素缺失的色彩通道值之后，将该II像素的三个色彩通道值替换为互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置将先确定这一个II像素的洋红色通道值和黄色通道值，然后，再将前述三个色彩通道值转换为互补色通道值。

在另一种可选的实施方式中，该图像处理装置可以直接将前述第一图像中的各个色彩通道值转换为互补色通道值，然后，再补齐该II像素的其余互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置先将该II像素的青色通道值转换为红色通道值，然后，再确定该II像素的绿色通道值和蓝色通道值。

本实施例方式中，将青色通道值、洋红色通道值、黄色通道值分别转换为红色通道值、绿色通道值和蓝色通道值，有利于在获得较为准确的各个像素的色彩通道值之后，采用使用于RGB像素的处理流程（例如，黑电平、阴影校正、去坏点、白平衡、raw域降噪、去马赛克、颜色校正等处理流程），有利于简化图像处理装置的内部系统。

根据第一方面、第一方面的第一种实施方式至第一方面的第七种实施方式，本申请实施例第一方面的第八种实施方式中，该图像处理装置根据至少一个I像素携带的亮度通道值和至少一个II像素携带的互补色通道值确定目标像素的三个通道值，包括：将第二图像和第三图像融合得到该目标图像，该第二图像携带该I像素的亮度通道值和该II像素的亮度通道值，该第三图像携带该II像素的三个互补色通道值和该I像素的三个互补色通道值。

本实施方式中，由于，前述第二图像仅携带亮度通道值，因此，仅可反映亮度而无法反映色彩；该第三图像仅携带色彩通道值，因此，仅可反映色彩而无法反映亮度。因此，该图像处理装置需要将前述第二图像和第三图像进行融合以确定目标图像。该目标图像中的每个像素均携带亮度信息和色彩信息，因此，该目标图像可以反映该目标图像传感器记录的光线的颜色和亮度的分布情况，有利于获得色彩丰富、细节清晰的目标图像。

根据第一方面、第一方面的第一种实施方式至第一方面的第八种实施方式，本申请实施例第一方面的第九种实施方式中，该目标图像传感器包括无色感应单元组和有色感应单元组，该无色感应单元组用于记录可见光或红外光的亮度信息得到该I像素组，该有色感应单元组用于记录可见光的色彩信息得到该II像素组。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：获取模块，用于获取来自目标图像传感器的第一图像。确定模块，用于基于前述色彩通道值确定该色彩通道值的互补色通道值。该确定模块，还用于根据至少一个该I像素携带的亮度通道值和至少一个该II像素携带的互补色通道值确定目标像素的三个通道值，其中，该目标像素的三个通道值用于指示该目标像素的色彩和亮度。最后，该图像处理装置输出包括多个前述目标像素的目标图像。

应当理解的是，该第一图像包括I像素组和II像素组，该I像素组包括多个I像素，该II像素组包括多个II像素。并且，前述每个该I像素携带一个亮度通道值，每个该II像素携带一个色彩通道值。此外，该I像素和该II像素均为单通道像素。

还应理解的是，前述色彩通道值对应的色彩通道包括青色通道、洋红色通道或黄色通道中的一种；前述互补色通道值对应的色彩通道包括红色通道、绿色通道或蓝色通道中的一种。

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，有利于使该图像处理装置输出的目标图像的细节清晰；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，有利于使该图像处理装置输出的目标图像包含色彩。然后，基于前述I像素组与前述II像素组确定目标图像，有利于使前述图像色彩与前述图像细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。

根据第二方面，本申请实施例第二方面的第一种实施方式中，该确定模块，还用于基于至少一个该I像素的亮度通道值确定该II像素的亮度通道值。该确定模块，还用于基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值。

本实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均由于亮度，有利于反映被拍摄物体的轮廓和细节。此外，由于，可以基于II像素的色彩通道值确定I像素的色彩通道值，可以使仅记录了亮度信息的I像素也具备色彩信息，进而可以使该第一图像中的各个像素均由于色彩，有利于反映被拍摄物体呈现出色彩。

根据第二方面的第一种实施方式，本申请实施例第二方面的第二种实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道相同。该确定模块，具体用于基于至少一个该II像素的青色通道值确定该I像素的青色通道值；和，基于至少一个该II像素的洋红色通道值确定该I像素的洋红色通道值；和，基于至少一个该II像素的黄色通道值确定该I像素的黄色通道值。

本实施方式中，提出了一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于相同的色彩通道值进行插值运算，有利于保证插值结果的精度，减少像素错误。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

根据第二方面的第一种实施方式，本申请实施例第二方面的第三种实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道不完全相同。该确定模块，具体用于基于该II像素组中的洋红色通道值和黄色通道值中的至少一个以及青色通道值，确定该I像素的青色通道值；和，基于该II像素组中的青色通道值和黄色通道值中的至少一个以及洋红色通道值，确定该I像素的洋红色通道值；和，基于该II像素组中的青色通道值和洋红色通道值中的至少一个以及黄色通道值，确定该I像素的黄色通道值。

本实施方式中，提出了另一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于不同的色彩通道值进行插值运算，有利于使得插值后的图像色彩丰富。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

在一种可选的实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道不相同；该确定模块，具体用于：

基于该II像素组中的洋红色通道值和/或黄色通道值确定该I像素的青色通道值；和，基于该II像素组中的青色通道值和/或黄色通道值确定该I像素的洋红色通道值；和，基于该II像素组中的青色通道值和/或洋红色通道值确定该I像素的黄色通道值。

根据第二方面、第二方面的第一种实施方式至第二方面的第三种实施方式，本申请实施例第二方面的第四种实施方式中，该确定模块，还用于基于位于该第一II像素附近的一个或多个II像素的不同色彩通道值，确定该第一II像素的三个色彩通道值，该第一II像素为该II像素组中任意一个像素。

本实施方式中，由于前述第一图像中的II像素仅有一个色彩通道值，一个色彩通道值无法呈现出色彩。因此，该图像装置需补齐该II像素的三个色彩通道值，以使得该II像素能够反映出色彩。

根据第二方面的第四种实施方式，本申请实施例第二方面的第五种实施方式中，该确定模块，具体用于：基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的青色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的洋红色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的黄色通道值。

本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的互补色通道值反映的色彩更加逼真。

根据第二方面、第二方面的第一种实施方式至第二方面的第五种实施方式，本申请实施例第二方面的第六种实施方式中，该确定模块，具体用于：根据该第一II像素附近的至少一个I像素的亮度通道值确定该第一II像素的亮度通道值，该第一II像素为该II像素组中任意一个像素。

本实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均由于亮度，有利于反映被拍摄物体的轮廓和细节。

根据第二方面的第四种实施方式至第二方面的第六种实施方式，本申请实施例第二方面的第七种实施方式中，该确定模块，具体用于：将该II像素的三个色彩通道值分别转换为互补色通道值，得到该II像素的三个互补色通道值；并且，将该I像素的三个色彩通道值分别转换为互补色通道值，得到该I像素的三个互补色通道值。

在一种可选的实施方式中，该图像处理装置可以在补齐前述II像素缺失的色彩通道值之后，将该II像素的三个色彩通道值替换为互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置将先确定这一个II像素的洋红色通道值和黄色通道值，然后，再将前述三个色彩通道值转换为互补色通道值。

在另一种可选的实施方式中，该图像处理装置可以直接将前述第一图像中的各个色彩通道值转换为互补色通道值，然后，再补齐该II像素的其余互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置先将该II像素的青色通道值转换为红色通道值，然后，再确定该II像素的绿色通道值和蓝色通道值。

本实施例方式中，将青色通道值、洋红色通道值、黄色通道值分别转换为红色通道值、绿色通道值和蓝色通道值，有利于在获得较为准确的各个像素的色彩通道值之后，采用使用于RGB像素的处理流程（例如，黑电平、阴影校正、去坏点、白平衡、raw域降噪、去马赛克、颜色校正等处理流程），有利于简化图像处理装置的内部系统。

根据第二方面、第二方面的第一种实施方式至第二方面的第七种实施方式，本申请实施例第二方面的第八种实施方式中，该确定模块，具体用于：将第二图像和第三图像融合得到该目标图像，该第二图像携带该I像素的亮度通道值和该II像素的亮度通道值，该第三图像携带该II像素的三个互补色通道值和该I像素的三个互补色通道值。

本实施方式中，由于，前述第二图像仅携带亮度通道值，因此，仅可反映亮度而无法反映色彩；该第三图像仅携带色彩通道值，因此，仅可反映色彩而无法反映亮度。因此，该图像处理装置需要将前述第二图像和第三图像进行融合以确定目标图像。该目标图像中的每个像素均携带亮度信息和色彩信息，因此，该目标图像可以反映该目标图像传感器记录的光线的颜色和亮度的分布情况，有利于获得色彩丰富、细节清晰的目标图像。

根据第二方面、第二方面的第一种实施方式至第二方面的第八种实施方式，本申请实施例第二方面的第九种实施方式中，该目标图像传感器包括无色感应单元组和有色感应单元组，该无色感应单元组用于记录可见光或红外光的亮度信息得到该I像素组，该有色感应单元组用于记录可见光的色彩信息得到该II像素组。

第三方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：处理器和存储器；该存储器，用于存储该处理器处理的数据或程序；该处理器，用于执行如第一方面以及第一方面的各种实施方式所介绍的方法。

第四方面，本申请实施例提供了一种图像处理装置，该图像处理装置可以是图像处理器，也可以是具有图像处理功能的功能单元或具有图像处理功能的芯片。该图像处理装置可以包括处理单元和存储单元。当图像处理装置可以是图像处理功能的功能单元时，该处理单元可以是处理器，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该图像处理装置执行第一方面或第一方面的任一种实施方式中的方法。当该图像处理装置是具有图像处理功能的芯片时，该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）；该处理单元可以是处理器，该处理单元执行存储单元所存储的指令，以使该终端设备执行第一方面或第一方面的任一种实施方式中的方法。可选的，该图像处理装置还包括通信单元，该通信单元可以是输入/输出接口、管脚或电路等。

第五方面，本申请实施例提供了一种摄像装置，该摄像装置包括：镜头、目标图像传感器和图像处理装置。其中，该镜头，用于将光线汇聚至该目标图像传感器上。该目标图像传感器，用于采用两组感应单元记录该光线得到第一图像，该第一图像包括无色感应单元组确定的I像素组和有色感应单元组确定的II像素组，该I像素组中的每个I像素携带一个亮度通道值，该II像素组中的每个II像素携带一个色彩通道值。该图像处理装置，用于对该第一图像进行处理，以实现如第一方面或第一方面的任一种实施方式中的方法。根据第五方面，本申请实施例第五方面的第一种实施方式中，该摄像装置还包括滤光片，该滤光片位于该镜头与该目标图像传感器之间；该滤光片，用于对该光线进行过滤。

根据第五方面的第一种实施方式，本申请实施例第五方面的第二种实施方式中，该滤光片包括红外截止滤光片或双通滤光片，该红外截止滤光片用于去除红外光，该双通滤光片用于供可见光和预设波段的红外光通过。

第六方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面的各种实施方式所介绍的方法。

第七方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如第一方面以及第一方面的各种实施方式所介绍的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，有利于使该图像处理装置输出的目标图像的细节清晰；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，有利于使该图像处理装置输出的目标图像包含色彩。然后，基于前述I像素组与前述II像素组确定目标图像，有利于使前述图像色彩与前述图像细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为普通摄像装置的一个结构示意图；

图2为本申请实施例中图像处理方法涉及的摄像装置的一个实施例示意图；

图3A为本申请实施例中图像处理方法涉及的目标图像传感器的一个实施例示意图；

图3B为本申请实施例中图像处理方法涉及的目标图像传感器的另一个实施例示意图；

图3C为本申请实施例中图像处理方法涉及的目标图像传感器的另一个实施例示意图；

图4为本申请实施例中图像处理方法的一个流程图；

图5为本申请实施例中图像处理方法的另一个流程图；

图6A为本申请实施例中图像处理方法的一个实施例示意图；

图6B为本申请实施例中图像处理方法的另一个实施例示意图；

图6C为本申请实施例中图像处理方法的另一个实施例示意图；

图6D为本申请实施例中图像处理方法的另一个实施例示意图；

图6E为本申请实施例中图像处理方法的另一个实施例示意图；

图6F为本申请实施例中图像处理方法的另一个实施例示意图；

图6G为本申请实施例中图像处理方法的另一个实施例示意图；

图6H为本申请实施例中图像处理方法的另一个实施例示意图；

图6I为本申请实施例中图像处理方法的另一个实施例示意图；

图6J为本申请实施例中图像处理方法的另一个实施例示意图；

图6K为本申请实施例中图像处理方法的另一个实施例示意图；

图6L为本申请实施例中图像处理方法的另一个实施例示意图；

图6M为本申请实施例中图像处理方法的另一个实施例示意图；

图6N为本申请实施例中图像处理方法的另一个实施例示意图；

图7为本申请实施例中图像处理装置的一个实施例示意图；

图8为本申请实施例中图像处理装置的另一个实施例示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供了一种图像处理方法、图像处理装置以及摄像装置，用于保证摄像装置（例如摄像机）输出的图像色彩丰富且图像清晰的同时，简化系统结构。

为便于理解，下面先对本申请实施例所提出的图像处理方法的应用场景进行介绍：

本申请实施例所提出的图像处理方法和摄像装置可以应用于低照度环境下的监控场景中。具体地，该低照度环境指光照强度低于一定的值的环境，一般由摄像装置的图像传感器的单位面积上接受可见光的能量来衡量，单位为勒克斯（Lux，也简称为Lx）。一般地，可以将大于0Lux且小于1Lux的光照环境称为低照度环境。具体地，该低照度环境可以为室外昏暗的街道，例如，夜晚时的街道、或阴雨天的街道；也可以为仅有微弱灯光的室内，例如，仅有微弱灯光的商店、仓库等，具体此处不做限定。

本实施例中，为便于介绍本申请实施例所提出的摄像装置，下面将对普通摄像装置的结构进行介绍，如图1所示，普通摄像装置包括镜头101、图像传感器102和图像处理器103。其中，该镜头101可以将被拍摄物体发出的或反射的光线汇聚于图像传感器102。然后，该图像传感器102将接收到的光信号转换为图像信号（例如，后文介绍的原始图像或第一图像），并将该图像信号传输至图像处理器103。然后，由该图像处理器103对该图像信号进行处理，以输出记录该被拍摄物体的图像（通常为RGB图像）。在前述过程中，若前述图像传感器102记录的光线为红外光，则该图像处理器103输出的图像可以呈现被拍摄物体的轮廓和细节，但不能显示该被拍摄物体的色彩；若前述图像传感器102记录的光线为可见光，由于低照度环境下的光线微弱而造成图像传感器102的感光效果不佳，则该图像传感器103输出的图像虽然显示色彩但不足够清晰。

对此，本申请实施例所提出的图像处理方法和摄像装置可以将图像传感器感红外光和感可见光的特性相结合，将原始图像处理为记录被拍摄物体的细节和色彩的目标图像。具体地，本申请实施例提出的摄像装置的主要结构如图2所示，该摄像装置20包括镜头201、目标图像传感器202和图像处理装置203。其中，镜头201可以同时将可见光和红外光汇聚于目标图像传感器202，该目标图像传感器202采用了特定排布方式的感光器件，以记录可见光的CMY色彩通道值和红外光的亮度通道值于同一图像信号（例如，后文介绍的原始图像或第一图像）中。然后，该图像处理装置203对该图像信号进行处理，以输出细节清晰且色彩丰富的目标图像。本实施例中，该摄像装置20中仅有一个图像传感器（即目标图像传感器202），也可以理解为，本申请实施例涉及的图像传感器的数量只有一个。相应的，本申请实施例提出的图像处理方法是仅对一个原始图像处理即可获得目标图像。也可以理解为，该目标图像传感器输出的用于确定目标图像的原始图像仅有一个，无需采用多个原始图像确定前述目标图像。可选的，前述摄像装置20中镜头201的数量只有一个。

应当理解的是，前目标图像传感器202与前述图像传感器102不同。于是，在介绍前述图像处理方法之前，下面将先对本申请实施例提出的摄像装置中的目标图像传感器进行介绍。

本申请实施例提供了一种目标图像传感器，该目标传感器包括多个感应单元。其中，每个感应单元包括微透镜、彩膜层和光电二极管，其中，彩膜层位于微透镜和光电二极管之间以过滤该微透镜汇聚的光线中的部分波段的光。其中，该彩膜层由透明的材质制成，以使得特定的光透过该彩膜层到达该光电二极管上。前述每个感应单元与前述原始图像中的一个像素对应。具体地，下面将进行详细介绍：

本实施例中，当彩膜层为无色透明薄膜时，该感应单元为无色感应单元，无色感应单元也可以称为白色（white，W）感应单元。此时，前述彩膜层将不对通过该彩膜层的光线起过滤作用，因此，任何波段的光均可以通过前述彩膜层到达该光电二极管，例如，波段为400nm至750nm的可见光，或者，波段为750nm至1mm的红外光。因此，该无色感应单元可以感应前述任何波段的光。例如，该无色感应单元可以感应白光、红光以及黄光等可见光；该无色感应单元也可以感应红外光等不可见光，具体此处不做限定。此外，当感应单元的彩膜层为有色透明薄膜时，该感应单元为有色感应单元。此时，前述彩膜层将仅允许特定波段的光通过。由于，该彩膜层对不同波段的光的吸收或反射作用不同，通过该彩膜层的光的波段不同，不同波段的光呈现于人眼的颜色不同。一般地，该彩膜层允许与该彩膜层颜色相同的光通过，而反射或吸收其他颜色的光。例如，当前述彩膜层为黄色彩膜层时，仅有黄色光通过前述彩膜层到达该光电二极管。

本实施例中，前述目标图像传感器包括多个无色感应单元和多个有色感应单元，其中，无色感应单元的集合可以称作无色感应单元组，有色感应单元的集合可以称作有色感应单元组。当前述多个无色感应单元和前述多个有色感应单元在前述目标图像传感器中的排布方式不同时，该目标图像传感器中的无色感应单元的数量和有色感应单元的数量之间的比例不同。

具体地，该多个有色感应单元离散地分布于多个无色感应单元之间；也可以理解为，多个无色感应单元离散地分布于多个有色感应单元之间。例如，该目标图像传感器中的无色感应单元和有色感应单元的排布方式可以如图3A所示，其中，带阴影的单元为有色感应单元，无阴影的单元为无色感应单元。进一步地，带阴影的感应单元中不同的纹理代表感应不同颜色的有色感应单元，例如，排布方式一、排布方式三和排布方式四。应当理解的是，图3A仅仅是为了便于理解而列举的四种排布方式的示例，在实际应用中，还可以采用其他的排布方式，本申请实施例中不对该目标图像传感器中的有色感应单元和无色感应单元的排布方式进行限定。

当实施例中的目标图像传感器的彩膜层包括透明彩膜层和三基色的互补色彩膜层时，前述有色感应单元包括青色（cyan，C）感应单元、洋红色（magenta，M）感应单元和黄色（yellow，Y）感应单元中的两种或者三种。其中，青色与红色（red，R）互称为互补色，洋红色与绿色（green，G）互称为互补色，黄色与蓝色（blue，B）互称为互补色，前述红色、绿色和蓝色被称为三基色。也可以理解为，本申请实施例目标图像传感器的有色感应单元组可以仅由青色感应单元和黄色感应单元构成，也可以仅由青色感应单元和洋红色感应单元构成，也可以仅由洋红色感应单元和黄色感应单元构成，还可以由青色感应单元、洋红色感应单元和黄色感应单元三种颜色构成，具体此处不做限定。前述洋红色也被称为品红色。

在实际应用中，由于洋红色感应单元的感光特性优于另外两种颜色的感应单元，在设置目标图像传感器时，可以优先选择采用洋红色感应单元，或增大洋红色感应单元在目标图像传感器中的比例。也就是说，洋红色感应单元的数量大于青色感应单元的数量，且，洋红色感应单元的数量大于黄色感应单元的数量。由此，基于前述目标图像传感器得到的原始图像中的洋红色像素的数量大于青色像素的数量以及黄色像素的数量。可选的，前述洋红色感应单元的数量大于或等于前述青色感应单元的数量与黄色感应单元的数量的和。具体地，当前述目标图像传感器由无色感应单元、有色感应单元共同组成，并且该有色感应单元由青色、洋红色和黄色三种颜色构成时，可以称前述目标图像传感器中彩膜层的集合为CMYW彩膜层。可选的，可以设置青色感应单元：黄色感应单元：洋红色感应单元的比例为1:1:2。

例如，当目标图像传感器中的各个有色感应单元采用前述1:1:2颜色比例时，该目标图像传感器中的各个有色感应单元可以采用如图3B所示的排布方式。取四行四列的感应单元组321为例进行介绍。该感应单元组321包括十二个无色感应单元和四个有色感应单元。其中，青色感应单元和黄色感应单元呈主对角线分布，分别位于三行三列的感应单元组322的左上角和右下角；而两个洋红色感应单元呈副对角线分布，分别位于前述三行三列的感应单元组322的右上角和左下角。

又例如，该目标图像传感器中的各个有色感应单元可以采用如图3C所示的排布方式。其中，两行两列的有色感应单元组331位于四行四列的感应单元组332的几何中心，多个前述四行四列的感应单元组332构成了该目标图像传感器。在该两行两列的有色感应单元组331中，青色感应单元：黄色感应单元：洋红色感应单元的比例为1:1:2，青色感应单元和黄色感应单元呈主对角线分布，分别位于两行两列的有色感应单元组331的左上角和右下角；而两个洋红色感应单元呈副对角线分布，分别位于前述两行两列的有色感应单元组331的右上角和左下角。

应当理解的是，前述目标图像传感器中的青色感应单元、洋红色感应单元和黄色感应单元还可以采用其他的排布方式，本申请实施例并不做限定。在本实施例以及后续实施例中，仅以该目标图像传感器中的彩膜层为CMYW彩膜层为例进行介绍。

可选的，前述目标图像传感器可以为由电荷耦合器件（charged coupled device，CCD）构成的CCD图像传感器，也可以为由互补金属氧化物半导体（complementary metaloxide semiconductor，CMOS）构成的CMOS图像传感器，具体此处不做限定。当该目标图像传感器为CMOS图像传感器时，该目标图像传感器对红外光的敏感度较CCD图像传感器更高，可以使该目标图像传感器记录较多的被拍摄物体的细节。

此外，前述目标图像传感器的结构可以为正照式结构（也称表面照射式结构），也可以为背照式结构，具体此处不做限定。

下面将对本申请实施例中的图像处理方法的主要流程进行介绍，如图4所示，该图像处理装置执行如下步骤。

401、获取来自目标图像传感器的第一图像。

本实施例中，图像处理装置可以从该目标图像传感器中获取第一图像，该第一图像携带该目标图像传感器记录的亮度信息和色彩信息。具体地，该第一图像包括I像素和II像素，称该第一图像中的I像素的集合称为I像素组，称该第一图像中的II像素的集合称为II像素组，该I像素组与该II像素组在位置上不重叠。其中，该I像素组包括多个I像素，该I像素组中的每个I像素携带一个亮度通道值，I像素也可以称为亮度像素；该II像素组包括多个II像素，该II像素组中的每个II像素携带一个色彩通道值，II像素也可以称为色彩像素。另外，由于该第一图像由目标图像传感器处理后得到，没有经过数字信号处理器（digital signal processor，DSP）等器件处理，可以称为原始图像。

此外，该I像素和该II像素均为单通道像素，其中，单通道像素指该像素仅携带一个通道值，并且，该像素的其他通道值缺失。例如，前述I像素仅携带一个亮度通道值，该I像素的三个色彩通道值缺失。又例如，前述II像素携带一个色彩通道值，该II像素的其余两个色彩通道值和亮度通道值缺失，例如：青色像素仅拥有青色通道值，不拥有亮度通道值以及其他颜色通道值。为便于理解，以图3A中的排布方式一为例进行介绍。当该目标图像传感器中的有色感应单元（带阴影的单元）和无色感应单元（无阴影的单元）采用排布方式一时，该图像处理装置获取的第一图像中的多个I像素和多个II像素也采用该排布方式一排布。此时，图3A中的排布方式一中的无阴影的单元表示I像素，有阴影的单元表示II像素。类似的，当该目标图像传感器中的有色感应单元（带阴影的单元）和无色感应单元（无阴影的单元）采用图3A中的排布方式二、排布方式三以及排布方式四也可以确定对应排布方式的第一图像，具体此处不做限定。

进一步的，该色彩通道值对应的色彩通道包括青色通道、洋红色通道或黄色通道中的一种。因此，前述II像素组中的某一个II像素可以仅携带一个青色通道值（此时，该II像素可以被称为青色像素），或者，仅携带一个洋红色通道值（此时，该II像素可以被称为洋红色像素），或者，仅携带一个黄色通道值（此时，该II像素可以被称为黄色像素）。前述II像素组中包括：携带青色通道值的II像素、携带洋红色通道值的II像素和携带黄色通道值的II像素。该青色像素、洋红色像素和黄色像素的排布方式与前述目标图像传感器中青色感应单元、洋红色感应单元和黄色感应单元的排布方式对应。为便于理解，以前述图3B为例进行介绍。其中，无字母的单元表示仅有亮度通道值的I像素，有字母的单元（例如，“C”、“M”或“Y”）表示仅有色彩通道值的II像素。其中，“C”表示仅有青色通道值的II像素，“M”表示仅有洋红色通道值的II像素，“Y”表示仅有黄色通道值的II像素。

应当理解的是，前述I像素组中的每个I像素携带的亮度通道值不完全相同，前述II像素组中的每个II像素携带的色彩通道值不完全相同，具体此处不做限定。

还应理解的是，由于，前述I像素组为该目标图像传感器中的无色感应单元组记录光线而获得的，该II像素组为该目标图像传感器中的有色感应单元组记录该有色感应单元组的彩膜层对应的颜色的光线而获得的。因此，对于同一拍摄场景，不同的目标图像传感器输出的第一图像不同，该目标图像传感器中的多个无色感应单元和多个有色感应单元的排布方式可以参阅前述图3A对应的实施例中的相关描述，具体此处不再赘述。

402、确定该色彩通道值的互补色通道值。

在一种可选的实施方式中，该图像处理装置可以在补齐前述II像素缺失的色彩通道值之后，将该II像素的三个色彩通道值替换为互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置将先确定这一个II像素的洋红色通道值和黄色通道值，然后，再将前述三个色彩通道值转换为互补色通道值。

在另一种可选的实施方式中，该图像处理装置可以直接将前述第一图像中的各个色彩通道值转换为互补色通道值，然后，再补齐该II像素的其余互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置先将该II像素的青色通道值转换为红色通道值，然后，再确定该II像素的绿色通道值和蓝色通道值。

在前述两种实施方式中，该互补色通道值对应的色彩通道包括红色通道、绿色通道或蓝色通道中的一种。也可以理解为，基于前述青色通道值可以确定红色通道值，基于前述洋红色通道值可以确定绿色通道值，基于前述黄色通道值可以确定蓝色通道值。

403、根据至少一个I像素携带的亮度通道值和至少一个II像素携带的互补色通道值确定目标像素的三个通道值。

本实施例中，像素（例如，I像素或II像素）除了拥有通道值，还拥有位置信息。所述目标像素与一个I像素的位置相同，或者与一个II像素的位置相同。

本实施例中，该图像处理装置可以基于前述一个或多个I像素携带的亮度通道值确定该第一图像中的II像素的亮度通道值，与此同时，该图像处理装置可以基于前述一个或多个II像素携带的互补色通道值确定I像素的互补色通道值。此时，前述I像素组中的每个I像素均能够基于三个互补色通道值反映色彩，前述II像素组中的每个II像素均能够基于亮度通道值反映亮度。

该图像处理装置可以基于前述I像素组的亮度，以及前述II像素组的色彩确定目标像素。该目标像素包含三个通道值，这三个通道值是红色（R）通道、绿色（G）通道和蓝色（B）通道，该目标像素的三个通道值用于指示该目标像素的色彩和亮度。确定目标像素三个通道值的过程，例如：对于所述目标像素，使用目标像素的亮度通道值对所述目标像素的RGB三个通道值（无亮度信息）进行调整，得到调整后的RGB三个通道值。调整后的目标像素除了拥有色彩信息，还拥有了亮度信息。

具体而言，在得到所述目标像素的亮度通道值和所述目标像素的三个色彩通道值之后，将亮度和色彩进行融合，从而得到融合后的目标像素色彩通道值。该目标图像拥有丰富的色彩。

404、输出目标图像。

本实施例中，当该图像处理装置确定目标像素之后，该图像处理装置可以输出拥有该目标像素的目标图像。

更进一步的，使用步骤403中的方法，可以获得所有I像素和所有II像素的三个通道值，从而在得到的所述目标图像中，每个像素均经过色彩和亮度的融合。在所述目标图像中，每个像素的三个通道值不完全相同，因此，所述目标图像中每个像素呈现的亮度和色彩不完全相同。因此，该图像处理装置输出的目标图像可以呈现出丰富的色彩和清晰的细节。

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，有利于使该图像处理装置输出的目标图像的细节清晰；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，有利于使该图像处理装置输出的目标图像包含色彩。然后，基于前述I像素组与前述II像素组确定目标图像，有利于使前述图像色彩与前述图像细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。需要特别说明的是，本发明实施例中的目标图像传感器采用的是CMYW彩膜层，而CMY彩膜层比RGB彩膜层拥有更好的感光效果，因此输出的图片质量更高，所述目标图像拥有更多的色彩信息并更易于辨识。

下面将基于前述目标图像传感器对前述图像处理方法进行进一步介绍，如图5所示，该图像处理装置执行的步骤如下。

501、获取来自目标图像传感器的第一图像。

其中，该第一图像（原始图像）包括I像素组和II像素组，并且，该I像素组与该II像素组在位置上不重叠。其中，该I像素组包括多个I像素，该I像素组中的每个I像素携带一个亮度通道值；该II像素组包括多个II像素，该II像素组中的每个II像素携带一个色彩通道值。具体地，可以参阅前述步骤401中的相关描述，此处不再赘述。

本实施例中，该图像处理装置从前述目标图像传感器中获取第一图像之后，将分别对前述第一图像中的I像素组和II像素组进行处理。具体地，该图像处理装置将分别执行步骤502a和步骤502b。

502a、基于该I像素组中各个I像素的亮度通道值确定该II像素组中每个II像素的亮度通道值。

本实施例中，基于前述目标图像传感器可知，该目标图像传感器中的有色感应单元至少与一个无色感应单元相邻，因此，该第一图像中的II像素至少与一个I像素相邻或相近，并且，该I像素组与该II像素组不重叠。此时，由于，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。

具体地，该图像处理装置可以基于该II像素附近的一个或多个I像素的亮度通道值确定前述II像素的亮度通道值。当然，若前述目标图像传感器中的各个无色感应单元与各个有色感应单元之间的排布方式不同，则前述各个I像素和各个II像素在该第一图像中的位置也将不同，进一步地，该II像素附近的I像素的数量不同。

示例性的，当该目标图像传感器中的各个感应单元采用前述图3A中的排布方式一时，该第一图像中的各个I像素和各个II像素也将采用图3A中的排布方式一。此时，该排布方式一中带阴影的单元表示II像素，该排布方式一中无阴影的单元表示I像素。具体地，该图像处理装置可以基于该II像素周围的四个I像素的初始像素值、或该II像素周围的八个I像素的初始像素值、或该II像素周围的十六个I像素的初始像素值确定该II像素的I像素值。

为便于理解，结合图6A和图6B取该第一图像中的一部分像素进行介绍。

如图6A所示，取该第一图像中的一个三行三列的矩形为例进行介绍。其中，包括一个II像素和八个I像素，带阴影的像素为II像素，例如像素612；无阴影的像素为I像素，例如，像素611。为了便于表述图6A中的各个像素之间的方位关系，以该II像素所在位置为中心逆时针记录各个像素所在位置的编号，例如，该II像素所在位置为1号位置，该II像素的正上方的I像素所在位置为2号位置，该II像素的左上方的I像素所在位置为3号位置，该II像素的左方的I像素所在位置为4号位置，该II像素的左下方的I像素所在位置为5号位置，该II像素的下方的I像素所在位置为6号位置，该II像素的右下方的I像素所在位置为7号位置，该II像素的右方的I像素所在位置为8号位置，该II像素的右上方的I像素所在位置为9号位置。但是，应当理解的是，前述编号仅仅是为了便于后续介绍，而非对该I像素或该II像素进行限定。

基于前述图6A的排布方式，当该图像处理装置基于前述II像素周围的四个I像素的亮度通道值确定该II像素的亮度通道值时，该图像处理装置可以基于2号位置、4号位置、6号位置以及8号位置的I像素的亮度通道值确定该II像素的亮度通道值，具体确定方法例如：取这四个I像素亮度通道值的均值（或者加权均值），或者取这四个I像素亮度通道值进行卷积计算；或者，该图像处理装置也可以基于3号位置、5号位置、7号位置以及9号位置的I像素的亮度通道值确定该II像素的亮度通道值，具体此处不做限定。当该图像处理装置基于前述II像素周围的八个I像素的亮度通道值确定该II像素的亮度通道值时，该图像处理装置可以基于2号至9号位置的I像素的亮度通道值确定该II像素的亮度通道值。具体此处不做限定。

下面对本发明实施例中“附近”这个概念进行介绍。一个像素附近的像素，可以是与这个像素相邻的像素；或者是，与这个像素的距离在N个像素之内的像素，N是整数。例如在图6A中，与1号像素相邻的像素是2号像素、3号像素、4号像素、5号像素、6号像素、7号像素、8号像素以及9号像素，这些像素与1号像素的距离是1个像素；1号像素、2号像素、4号像素都是与5号像素的距离在2个像素之内的像素。另外一种解释是：与目标像素的距离在预设范围内的像素，属于所述目标像素附近的像素；例如，以目标像素为圆心若干个像素为半径的圆内的像素为该目标像素附近的像素；也可以选取前圆内的若干个像素作为目标像素附近的像素。本发明实施例中，从2号像素的附近像素中，选择部分或者全部像素的亮度通道值计算得到2号像素的亮度通道值。

此外，如图6B所示，取该第一图像中的一个五行五列的像素组为例进行介绍，其中，包括九个II像素和十六个I像素，带阴影的像素为II像素，例如像素622；无阴影的像素为I像素，例如，像素621。此时，该图像处理装置可以基于该II像素周围的十六个I像素的初始像素值确定该II像素的亮度通道值。

应当理解的是，该图像处理装置基于多个I像素的亮度通道值确定II像素的亮度通道值的方式不仅限于前述示例，在实际应用中可以按需调整。

基于前述实施方式，进一步地，该图像处理装置可以基于该I像素组中多个I像素的亮度通道值和预设对应关系结合卷积运算计算该II像素的亮度通道值。可选的，该预设对应关系为预设卷积核。

更进一步地，该图像处理装置可以采用该预设卷积核对多个该亮度通道值进行卷积运算，得到多个第一插值权重，然后，该图像处理装置再根据该多个插值权重和该第一插值权重对应的I像素的亮度通道值进行加权求和，得到该II像素的亮度通道值。

示例性的，以前述图6A为例进行介绍。其中，图6A中的每个I像素中均包含一个亮度通道值。为便于后续介绍，记2号位置的I像素的亮度通道值为V2，记3号位置的I像素的亮度通道值为V3，以此类推，记9号位置的I像素的亮度通道值为V9，待确定的II像素的亮度通道值为V1。

首先，该图像处理装置分别采用预设卷积核计算各个方向的第一插值权重。该预设卷积核可以为一个或多个卷积核。

例如，该图像处理装置采用8号位置的I像素的亮度通道值和卷积核

和

分别对该II像素做卷积得到该II像素的正右方的边缘强度（0度方向边缘强度）为E8_1和E8_2。此时8号位置的I像素的插值权重为：

。

又例如，该图像处理装置采用4号位置的I像素的亮度通道值和卷积核

和

分别对该II像素做卷积得到该II像素的正左方的边缘强度（180度方向边缘强度）为E4_1和E4_2。此时，前述4号位置的I像素的插值权重为：

。

以此类推，可以计算出该II像素的各个方向的边缘强度以及该边缘强度对应的第一插值权重。然后，该图像处理装置求得前述II像素的亮度通道值为

。

应当理解的是，除了前述插值算法，该图像处理装置还可以采用其他的插值算法进行处理，具体此处不做限定。

502b、基于该II像素组中各个II像素的色彩通道值确定该I像素组中每个I像素的色彩通道值。

本实施例中，由前述介绍可知，该第一图像中的II像素至少与一个I像素相邻，并且，该I像素组与该II像素组不存在位置重叠的像素。由此可以确定，该第一图像中的I像素附近也存在一个或多个II像素。因此，可以基于前述一个或多个II像素的色彩通道值确定该I像素的色彩通道值。

在一种可选的实施方式中，该图像处理装置可以先基于该II像素组中第一II像素附近的一个或多个II像素的色彩通道值确定该II像素组中第一II像素缺失的色彩通道值。然后，该图像处理装置再基于前述一个或多个II像素的三个色彩通道值确定该I像素组中I像素缺失的三个色彩通道值。

为便于理解，如图6C所示，取该第一图像中的一个七行七列的像素组为例进行介绍。其中，“M”单元表示仅有洋红色通道值的II像素，“C”单元表示仅有青色通道值的II像素，“Y”单元表示仅有黄色通道值的II像素。则前述七行七列的像素组中的II像素可以进一步表示为图6D中左侧的图。为了方便说明，图6D省略了I像素，仅展示了II像素。其中，像素631表示一个位于几何中心的仅有洋红色通道值的II像素，该II像素的洋红色通道值为m3，其余的色彩通道值和亮度通道值缺失；类似的，像素632表示一个仅有青色通道值的II像素，该II像素的青色通道值为c1，其余的色彩通道值和亮度通道值缺失。其余像素以此类推，不再赘述。

基于前述示例，由于，像素631的青色通道值是缺失的，而位于像素631正上方的像素632和位于像素631正下方的像素633分别携带青色通道值c1和c2。因此，该图像处理装置可以基于像素632的青色通道值c1和像素633的青色通道值c2确定像素631的青色通道值。例如，如图6D右侧的图可知，可以确定一个新的像素634，该像素634携带青色通道值c3是基于前述青色通道值c1和前述青色通道值c2确定的。以此类推，该图像处理装置可以确定每个II像素的每个色彩通道值，例如图6E所示。此外，基于类似的办法，该图像处理装置还可以确定I像素的色彩通道值。

以图6F为例，该图6F包括前述图6E中省略的I像素和该图6E已展示的II像素。应当理解的是，由于对亮度通道值的处理可以使用该图像处理装置的另一个处理线程，因此，该图6F并没有展示I像素的亮度通道值。该图像处理装置需基于II像素的色彩通道值确定I像素的色彩通道值。例如，当该图像处理装置需确定像素641的色彩通道值时，该图像处理装置可以基于位于该像素641的四个顶角的II像素的青色通道值确定该像素641的青色通道值，例如，基于青色通道值c4、青色通道值c1、青色通道值c6和青色通道值c3中的一个或多个值确定该像素641的青色通道值。类似的，该图像处理装置可以确定该I像素的其他色彩通道的值。例如，图6G所示，该五行五列的像素组中的每个像素均有三个色彩通道值。

在另一种可选的实施方式中，该图像处理装置可以先基于至少一个II像素的不同色彩通道值确定一个II像素的三个色彩通道值。具体地，该图像处理装置可以基于该第一II像素附近的II像素的：青色通道值、洋红色通道值或黄色通道值中的一种或多种确定该第一II像素的青色通道值；该图像处理装置可以基于该第一II像素附近的II像素的：青色通道值、洋红色通道值或黄色通道值中的一种或多种确定该第一II像素的洋红色通道值；该图像处理装置可以基于该第一II像素附近的II像素的：青色通道值、洋红色通道值或黄色通道值中的一种或多种确定该第一II像素的黄色通道值。

为便于理解，取第一图像中的九个II像素为例进行介绍，如图6H所示，当该图像处理装置确定像素651的青色通道值时，可以基于：像素652的青色通道值c1和像素653的青色通道值c2；或者基于像素654的黄色通道值y1和像素655的黄色通道值y2；或者基于像素652的青色通道值c1和像素654的黄色通道值y1。类似的，该图像处理装置还可以基于其他的色彩通道值以确定前述651的青色通道值，以使得确定的色彩通道值反映的色彩更加逼真。

应当理解的是，本步骤中的图6C至图6H仅仅是为了便于介绍而列举的示例，具体本实施例的图像处理方法不限于图6C至图6H的排布方式。

应当理解的是，步骤502a和步骤502b无时间先后顺序的限定。也可以理解为，该图像处理装置可以先执行步骤502a再执行步骤502b，该图像处理装置也可以先执行步骤502b再执行步骤502a，该图像处理装置还可以同时执行步骤502a和步骤502b，具体此处不做限定。

503a、基于该I像素的亮度通道值和该II像素的亮度通道值确定第二图像。

本实施例中，步骤503a为可选的步骤。当该图像处理装置执行了步骤502a之后，该图像处理装置可以执行该步骤503a。

本实施方式中，由于该I像素和该II像素呈现的亮度分别由该I像素的亮度通道值和该II像素的亮度通道值提供，因此，当确定该第一图像中的I像素的亮度通道值和II像素的亮度通道值时，该图像处理装置可以确定该第二图像。

也可以理解为，该第二图像由I像素和II像素组成，I像素的亮度和II像素的亮度均由各自的亮度通道值进行描述。该第二图像的每个像素均可以反映亮度（不反映色彩），可以理解为，该第二图像为呈现出不同亮度的灰度图像。例如，图6I所示为第二图像中每个像素的亮度通道值的分布情况，当该图像处理装置输出前述图6I时，可以呈现出如图6J所示的灰度图。应当理解的是，前述图6I和前述图6J为该第二图像的两种不同形态，本实施例中，不对该第二图像的具体形态进行限定。

可选的，该第二图像中的I像素的数量等于该第一图像中的I像素的数量，该第二图像中的II像素的数量等于该第一图像中的II像素的数量。

503b、基于该II像素的色彩通道值和该I像素的色彩通道值确定第三图像。

本实施例中，步骤503b为可选的步骤。当该图像处理装置执行了步骤502b之后，该图像处理装置可以执行该步骤503b。

可选的，该图像处理装置将确定前述色彩通道值的互补色通道值，也可以理解为，该图像处理装置将前述I像素的色彩通道值转换为对应的互补色通道值，并且，将前述II像素的色彩通道值转换为对应的互补色通道值。然后，该图像处理装置基于前述II像素的互补色通道值和该I像素的互补色通道值确定第三图像。该第三图像由I像素和II像素组成。该第三图像的每个像素均可以反映色彩（不反映亮度），并且，该第三图像的每个像素呈现的色彩不同。

例如，图6K所示为每个像素的三个色彩通道值的分布情况，其中，c代表青色通道值，m代表洋红色通道值，y代表黄色通道值。如图6L所示，将前述不同的色彩通道值转换为对应的互补色通道值，其中，r代表红色通道值，g代表绿色通道值，b代表蓝色通道值。可以理解为，图6L为第三图像中每个像素的互补色通道值的分布情况，当该图像处理装置输出前述图6L时，可以呈现出如图6M所示的含有颜色信息的图像。其中，不同的阴影纹理代表不同的颜色。应当理解的是，前述图6L和前述图6M为该第三图像的两种不同形态，本实施例中，不对该第三图像的具体形态进行限定。

可选的，该第三图像中的I像素的数量等于该第一图像中的I像素的数量，该第三图像中的II像素的数量等于该第三图像中的II像素的数量。

504、将前述第二图像和前述第三图像融合得到该目标图像。

其中，该第二图像携带该I像素的亮度通道值和该II像素的亮度通道值。也可以理解为，该第二图像由I像素组中每个I像素和II像素组中每个II像素组成，该第二图像的每个像素拥有亮度通道值，不拥有色彩通道。该第三图像携带该II像素的三个互补色通道值和该I像素的三个互补色通道值。也可以理解为，该第三图像由I像素组中每个I像素和II像素组中每个II像素组成，该第二图像的每个像素拥有三个互补色通道，不拥有亮度通道。

本实施例中，由于，前述第二图像仅携带亮度通道值，因此，仅可反映亮度而无法反映色彩；该第三图像仅携带色彩通道值，因此，仅可反映色彩而无法反映亮度。因此，该图像处理装置需要将前述第二图像和第三图像进行融合以确定目标图像。例如，将前述图6J所示的第二图像和前述图6M所示的第三图像进行融合，可以得到图6N所示的目标图像。

图像的融合可以理解为是图像中像素的融合。针对目标像素而言，该图像处理装置将前述第二图像中的目标像素的亮度通道值和第三图像中目标像素的色彩通道值进行融合，得到融合后的目标像素。该目标像素包含三通道值（例如三个色彩通道），该目标像素的三个通道值用于指示该目标像素的色彩和亮度。由此，多个目标像素的组合构成前述目标图像。

所述目标像素可以是任意一个I像素或者任意一个II像素。基于该方法，可以获得多个像素的融合后的三通道值。本实施例中，由于，该目标图像中的每个像素均携带亮度信息和色彩信息，因此，该目标图像可以反映该目标图像传感器记录的光线的颜色和亮度的分布情况。

505、输出该目标图像。

本实施例中，该图像处理装置可以输出该目标图像，其中，该目标图像包括前述目标像素。由于，所述目标像素的三个通道值不完全相同，因此，前述多个目标像素中的每个目标像素呈现的亮度和色彩不完全相同。因此，该图像处理装置输出的目标图像可以呈现出丰富的色彩。

此外，使用前面的步骤，由于所述目标像素是任意一个I像素或者任意一个II像素，因此基于该方法，可以对所述第一图像中的多个（或者全部像素）进行前述步骤的处理，从而生成所述目标图像，使得所述目标图像可以呈现出丰富的色彩和清晰的细节。

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，基于前述I像素的亮度通道值可以确定II像素的亮度通道值，有利于使该图像处理装置确定的每个像素均有亮度；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，基于前述II像素的色彩通道值可以确定I像素的色彩通道值，有利于使该图像处理装置确定的每个像素均有色彩。然后，基于前述I像素组和II像素组的亮度通道值以及前述I像素组和II像素组的色彩通道值确定像素，并输出目标图像，有利于使前述图像色彩分布与前述图像亮度细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。而且，本发明实施例可以对CMYW图像（所述第一图像）进行处理，与对RGB图像进行处理获得的图像相比，拥有更好的图像质量。

如图7所示，为本申请实施例提出的图像处理装置70的一种可选的结构，该图像处理装置70可以为摄像装置中的功能单元或片上系统（system on chip，SoC），该图像处理装置70包括：

DSP1 701、DSP2 704、ISP1 702和ISP2 703，其中，DSP1 701和DSP2 704为数字信号处理器（digital signal processor，DSP）是一种专用于数字信号处理的微处理器，包含中央处理器（CPU，central processing unit）或算术逻辑单元（arithmetic and logicunit，ALU）。ISP1 702和ISP2 703为图像处理器（image signal processor，ISP），为管道化的图像处理专用引擎，可以高速处理图像信号包含自动补光（auto exposure）、自动白平衡（auto white balance）等专用电路，以实现对应电路的功能。

可选的，所述图像处理装置70可以使用所述ISP1和所述ISP2，或者将所述ISP1和所述ISP2设置于图像处理装置70的外部。

在本实施例中，前述DSP1 701，用于获取来自目标图像传感器的第一图像。该DSP1701，还用于基于该I像素组中各个I像素的亮度通道值确定该II像素组中每个II像素的亮度通道值，以及基于该II像素组中各个II像素的色彩通道值确定该I像素组中每个I像素的色彩通道值。

该ISP1 702，用于基于前述DSP1 701输出的I像素的亮度通道值和前述DSP1 701输出的II像素的亮度通道值确定第二图像。

可选的，该ISP1 702还可以实现黑电平、阴影校正、去坏点gamma、RGB转YUV、3D降噪、图像锐化、自动对比度等功能。

该ISP2 703，用于基于该II像素的色彩通道值和该I像素的色彩通道值确定第三图像。

可选的，该ISP1 703还可以实现黑电平、阴影校正、去坏点、白平衡、raw域降噪、去马赛克、颜色校正、gamma、RGB转YUV、3D降噪、图像锐化、自动对比度、透雾、图像缩放等功能。

该DSP2 704，用于将前述ISP1 702输出的第二图像和前述ISP2 703输出的第三图像进行融合，得到目标图像。

其余可以参考上述实施例中图像处理装置所执行的步骤，此处不再赘述。

该图像处理装置还包括该存储单元（图未示），该存储单元与前述DSP或ISP相连，用于存储该DSP1 701、DSP2 704、ISP1 702或ISP2 703输出的程序或数据，或者，用于存储DSP1 701、DSP2 704、ISP1 702或ISP2 703获取的数据。该存储单元可以为存储器，该存储器主要用于存储软件程序和数据。该存储器可以是独立存在并与处理器相连。可选的，该存储器可以和该处理器集成于一体，例如集成于一个或多个芯片之内。其中，该存储器能够存储执行本申请实施例的技术方案的程序代码，并由处理器来控制执行，被执行的各类计算机程序代码也可被视为是处理器的驱动程序。

应当理解的是，在实际应用中，该图像处理装置可以存在多个存储器，具体此处不做限定。此外，该存储器也可以称为存储介质或者存储设备等。该存储器可以为与DSP或ISP处于同一芯片上的存储元件，即片内存储元件，或者为独立的存储元件，本申请实施例对此不做限定。

本实施例中，仅在传统的ISP的基础上增加了两个DSP，由前述DSP1对第一图像进行处理，并分别将仅有亮度通道值的信号传输至ISP1处理得到第二图像，将仅有色彩通道值的信号传输至ISP2处理得到第三图像。最后，由前述DSP2对前述第二图像和第三图像进行融合得到目标图像。该图像处理装置仅在传统ISP处理模块（即ISP1和ISP2）的前、后各增加了一个DSP处理模块，不需要更改传统ISP处理链路，使得系统简单易维护。

如图8所示，为本申请实施例提出的图像处理装置80的一种可选的结构，该图像处理装置80可以为摄像装置中的功能单元或片上系统SoC，该图像处理装置80包括：获取模块801、确定模块802和输出模块803。其中，该获取模块801，用于获取来自目标图像传感器的第一图像。确定模块802，用于基于前述色彩通道值确定该色彩通道值的互补色通道值。该确定模块802，还用于根据至少一个该I像素携带的亮度通道值和至少一个该II像素携带的互补色通道值确定目标像素的三个通道值，其中，该目标像素的三个通道值用于指示该目标像素的色彩和亮度。最后，输出模块803输出包括多个前述目标像素的目标图像。

应当理解的是，该第一图像包括I像素组和II像素组，该I像素组包括多个I像素，该II像素组包括多个II像素。并且，前述每个该I像素携带一个亮度通道值，每个该II像素携带一个色彩通道值。此外，该I像素和该II像素均为单通道像素。

还应理解的是，前述色彩通道值对应的色彩通道包括青色通道、洋红色通道或黄色通道中的一种；前述互补色通道值对应的色彩通道包括红色通道、绿色通道或蓝色通道中的一种。

本实施例中，由于，该图像处理装置从目标图像传感器获取的第一图像中的I像素组中的各个I像素携带了亮度通道值，有利于使该图像处理装置输出的目标图像的细节清晰；并且，该第一图像中的II像素组中的各个II像素均携带了色彩通道值，有利于使该图像处理装置输出的目标图像包含色彩。然后，基于前述I像素组与前述II像素组确定目标图像，有利于使前述图像色彩与前述图像细节融合，从而获得色彩丰富且图像清晰的目标图像。此外，在这样的方案中，是将来自一个图像传感器的同一幅图像进行处理，不需要两个图像传感器，也不需要设置分时系统，因此，有利于简化该图像处理装置的内部系统。

在一种可选的实施方式中，该确定模块802，还用于基于至少一个该I像素的亮度通道值确定该II像素的亮度通道值。该确定模块802，还用于基于至少一个该II像素的色彩通道值确定该I像素的色彩通道值。

在这样的实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均由于亮度，有利于反映被拍摄物体的轮廓和细节。此外，由于，可以基于II像素的色彩通道值确定I像素的色彩通道值，可以使仅记录了亮度信息的I像素也具备色彩信息，进而可以使该第一图像中的各个像素均由于色彩，有利于反映被拍摄物体呈现出色彩。

在另一种可选的实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道相同。该确定模块802，具体用于基于至少一个该II像素的青色通道值确定该I像素的青色通道值；和，基于至少一个该II像素的洋红色通道值确定该I像素的洋红色通道值；和，基于至少一个该II像素的黄色通道值确定该I像素的黄色通道值。

在这样的实施方式中，提出了一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于相同的色彩通道值进行插值运算，有利于保证插值结果的精度，减少像素错误。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

在另一种可选的实施方式中，该II像素的色彩通道值对应的色彩通道与该I像素的色彩通道值对应的色彩通道不完全相同。该确定模块802，具体用于基于该II像素组中的青色通道值、洋红色通道值或黄色通道值中的至少一个确定该I像素的青色通道值；和，基于该II像素组中的青色通道值、洋红色通道值或黄色通道值中的至少一个确定该I像素的洋红色通道值；和，基于该II像素组中的青色通道值、洋红色通道值或黄色通道值中的至少一个确定该I像素的黄色通道值。

在这样的实施方式中，提出了另一种可选的确定I像素的色彩通道值的方式。在本实施方式中，该图像处理装置基于不同的色彩通道值进行插值运算，有利于使得插值后的图像色彩丰富。此外，本实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的色彩通道值反映的色彩更加逼真。

在另一种可选的实施方式中，该确定模块802，还用于基于位于该第一II像素附近的一个或多个II像素的不同色彩通道值，确定该第一II像素的三个色彩通道值。

在这样的实施方式中，由于前述第一图像中的II像素仅有一个色彩通道值，一个色彩通道值无法呈现出色彩。因此，该图像装置需补齐该II像素的三个色彩通道值，以使得该II像素能够反映出色彩。

在另一种可选的实施方式中，该确定模块802，具体用于：基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的青色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的洋红色通道值；基于该第一II像素附近的一个或多个II像素的：青色通道值、洋红色通道值或黄色通道值中的至少两种，确定该第一II像素的黄色通道值。

在这样的实施方式是基于青色通道值、洋红色通道值和黄色通道值等色彩通道值进行插值，其中，青色与红色互补，因此，青色可以反映绿色和蓝色的比例；洋红青色与绿色互补，因此，绿色可以反映红色和蓝色的比例；黄色与蓝色互补，因此，蓝色可以反映红色和绿蓝色的比例。因此，可以使插值计算出的互补色通道值反映的色彩更加逼真。

在另一种可选的实施方式中，该确定模块802，具体用于：根据该第一II像素附近的至少一个I像素的亮度通道值确定该第一II像素的亮度通道值。

在这样的实施方式中，由于，该第一图像中的II像素至少与一个I像素相邻或相近，该II像素附近的至少一个I像素携带亮度通道值，因此，可以基于前述至少一个I像素的亮度通道值确定该II像素的亮度通道值。以此类推，基于该I像素组的亮度通道值确定该II像素组中每个II像素的亮度通道值。因此，有利于确定出II像素的亮度信息，使仅记录了色彩信息的II像素也具备亮度信息，进而可以使该第一图像中的各个像素均由于亮度，有利于反映被拍摄物体的轮廓和细节。

在另一种可选的实施方式中，该确定模块802，具体用于：将该II像素的三个色彩通道值分别转换为互补色通道值，得到该II像素的三个互补色通道值；并且，将该I像素的三个色彩通道值分别转换为互补色通道值，得到该I像素的三个互补色通道值。

进一步地，在一种可选的实施方式中，该图像处理装置可以在补齐前述II像素缺失的色彩通道值之后，将该II像素的三个色彩通道值替换为互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置将先确定这一个II像素的洋红色通道值和黄色通道值，然后，再将前述三个色彩通道值转换为互补色通道值。

进一步地，在另一种可选的实施方式中，该图像处理装置可以直接将前述第一图像中的各个色彩通道值转换为互补色通道值，然后，再补齐该II像素的其余互补色通道值。例如，若某一个II像素仅有青色通道值，则该图像处理装置先将该II像素的青色通道值转换为红色通道值，然后，再确定该II像素的绿色通道值和蓝色通道值。

在这样的实施例方式中，将青色通道值、洋红色通道值、黄色通道值分别转换为红色通道值、绿色通道值和蓝色通道值，有利于在获得较为准确的各个像素的色彩通道值之后，采用使用于RGB像素的处理流程（例如，黑电平、阴影校正、去坏点、白平衡、raw域降噪、去马赛克、颜色校正等处理流程），有利于简化图像处理装置的内部系统。

在另一种可选的实施方式中，该确定模块802，具体用于：将第二图像和第三图像融合得到该目标图像，该第二图像携带该I像素的亮度通道值和该II像素的亮度通道值，该第三图像携带该II像素的三个互补色通道值和该I像素的三个互补色通道值。

在这样的实施方式中，由于，前述第二图像仅携带亮度通道值，因此，仅可反映亮度而无法反映色彩；该第三图像仅携带色彩通道值，因此，仅可反映色彩而无法反映亮度。因此，该图像处理装置需要将前述第二图像和第三图像进行融合以确定目标图像。该目标图像中的每个像素均携带亮度信息和色彩信息，因此，该目标图像可以反映该目标图像传感器记录的光线的颜色和亮度的分布情况，有利于获得色彩丰富、细节清晰的目标图像。

应当理解的是，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。

应当理解的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解的是，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (21)

1.一种图像处理方法，其特征在于，包括：

获取来自目标图像传感器的第一图像，所述第一图像包括I像素组和II像素组，所述I像素组包括多个I像素，所述II像素组包括多个II像素，每个所述I像素携带一个亮度通道值，每个所述I像素不携带色彩通道值，每个所述II像素携带一个色彩通道值，每个所述II像素不携带亮度通道值，所述I像素和所述II像素均为单通道像素，所述色彩通道值对应的色彩通道为青色通道、洋红色通道和黄色通道中的一种；

确定所述色彩通道值的互补色通道值，所述互补色通道值对应的色彩通道为红色通道、绿色通道和蓝色通道中的一种；

根据至少一个所述I像素携带的亮度通道值和至少一个所述II像素的互补色通道值确定目标像素的三个通道值，所述目标像素的三个通道值用于指示所述目标像素的色彩和亮度；

输出目标图像，所述目标图像包括多个所述目标像素。

2.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

基于至少一个所述I像素的亮度通道值确定所述II像素的亮度通道值；

基于至少一个所述II像素的色彩通道值确定所述I像素的色彩通道值。

3.根据权利要求2所述的图像处理方法，其特征在于，所述II像素的色彩通道值对应的色彩通道与所述I像素的色彩通道值对应的色彩通道相同；

所述基于至少一个所述II像素的色彩通道值确定所述I像素的色彩通道值，包括：

基于至少一个所述II像素的青色通道值确定所述I像素的青色通道值；

和，

基于至少一个所述II像素的洋红色通道值确定所述I像素的洋红色通道值；

和，

基于至少一个所述II像素的黄色通道值确定所述I像素的黄色通道值。

4.根据权利要求2所述的图像处理方法，其特征在于，所述II像素的色彩通道值对应的色彩通道与所述I像素的色彩通道值对应的色彩通道不完全相同；

所述基于至少一个所述II像素的色彩通道值确定所述I像素的色彩通道值，包括：

基于所述II像素组中的洋红色通道值和黄色通道值中的至少一个以及青色通道值，确定所述I像素的青色通道值；

和，

基于所述II像素组中的青色通道值和黄色通道值中的至少一个以及洋红色通道值，确定所述I像素的洋红色通道值；

和，

基于所述II像素组中的青色通道值和洋红色通道值中的至少一个以及黄色通道值，确定所述I像素的黄色通道值。

5.根据权利要求2所述的图像处理方法，其特征在于，所述II像素的色彩通道值对应的色彩通道与所述I像素的色彩通道值对应的色彩通道不相同；

所述基于至少一个所述II像素的色彩通道值确定所述I像素的色彩通道值，包括：

基于所述II像素组中的洋红色通道值和/或黄色通道值确定所述I像素的青色通道值；

和，

基于所述II像素组中的青色通道值和/或黄色通道值确定所述I像素的洋红色通道值；

和，

基于所述II像素组中的青色通道值和/或洋红色通道值确定所述I像素的黄色通道值。

6.根据权利要求2至5中任意一项所述的图像处理方法，其特征在于，所述方法还包括：

基于位于第一II像素附近的一个或多个II像素的不同色彩通道值，确定所述第一II像素的三个色彩通道值，所述第一II像素为所述II像素组中任意一个像素。

7.根据权利要求6所述的图像处理方法，其特征在于，所述基于位于第一II像素附近的一个或多个II像素的不同色彩通道值，确定所述第一II像素的三个色彩通道值，包括下述一种或者多种：

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的青色通道值；

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的洋红色通道值；

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的黄色通道值。

8.根据权利要求2至5中任意一项所述的图像处理方法，其特征在于，所述基于至少一个所述I像素的亮度通道值确定所述II像素的亮度通道值，包括：

根据第一II像素附近的至少一个I像素的亮度通道值确定所述第一II像素的亮度通道值，所述第一II像素为所述II像素组中任意一个像素。

9.根据权利要求6所述的图像处理方法，其特征在于，所述确定所述色彩通道值的互补色通道值，包括：

将所述II像素的三个色彩通道值分别转换为互补色通道值，得到所述II像素的三个互补色通道值；并且，将所述I像素的三个色彩通道值分别转换为互补色通道值，得到所述I像素的三个互补色通道值。

10.根据权利要求2至5中任意一项所述的图像处理方法，其特征在于，所述根据至少一个I像素携带的亮度通道值和至少一个II像素的互补色通道值确定目标像素的三个通道值，包括：

将第二图像和第三图像融合得到所述目标图像，所述第二图像携带所述I像素的亮度通道值和所述II像素的亮度通道值，所述第三图像携带所述II像素的三个互补色通道值和所述I像素的三个互补色通道值。

11.根据权利要求1至5中任意一项所述的图像处理方法，其特征在于，所述目标图像传感器包括无色感应单元组和有色感应单元组，所述无色感应单元组用于记录可见光或红外光的亮度信息得到所述I像素组，所述有色感应单元组用于记录可见光的色彩信息得到所述II像素组。

12.一种图像处理装置，其特征在于，包括：

获取模块，用于获取来自目标图像传感器的第一图像，所述第一图像包括I像素组和II像素组，所述I像素组包括多个I像素，所述II像素组包括多个II像素，每个所述I像素携带一个亮度通道值，每个所述I像素不携带色彩通道值，每个所述II像素携带一个色彩通道值，每个所述II像素不携带亮度通道值，所述I像素和所述II像素均为单通道像素，所述色彩通道值对应的色彩通道为青色通道、洋红色通道和黄色通道中的一种；

确定模块，用于确定所述色彩通道值的互补色通道值，所述互补色通道值对应的色彩通道为红色通道、绿色通道和蓝色通道中的一种；

所述确定模块，还用于根据至少一个所述I像素携带的亮度通道值和至少一个所述II像素的互补色通道值确定目标像素的三个通道值，所述目标像素的三个通道值用于指示所述目标像素的色彩和亮度；

输出模块，用于输出目标图像，所述目标图像包括多个所述目标像素。

13.根据权利要求12所述的图像处理装置，其特征在于，所述确定模块，还用于：

基于至少一个所述I像素的亮度通道值确定所述II像素的亮度通道值；

基于至少一个所述II像素的色彩通道值确定所述I像素的色彩通道值。

14.根据权利要求13所述的图像处理装置，其特征在于，所述确定模块，还用于：

基于位于第一II像素附近的一个或多个II像素的不同色彩通道值，确定所述第一II像素的三个色彩通道值，所述第一II像素为所述II像素组中任意一个像素。

15.根据权利要求14所述的图像处理装置，其特征在于，所述确定模块，具体用于：

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的青色通道值；

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的洋红色通道值；

基于所述第一II像素附近的一个或多个II像素的青色通道值、洋红色通道值和黄色通道值中的至少两种，确定所述第一II像素的黄色通道值。

16.根据权利要求13至15中任意一项所述的图像处理装置，其特征在于，所述确定模块，具体用于：

将所述II像素的三个色彩通道值分别转换为互补色通道值，得到所述II像素的三个互补色通道值；并且，将所述I像素的三个色彩通道值分别转换为互补色通道值，得到所述I像素的三个互补色通道值。

17.根据权利要求13至15中任意一项所述的图像处理装置，其特征在于，所述确定模块，具体用于：

将第二图像和第三图像融合得到所述目标图像，所述第二图像携带所述I像素的亮度通道值和所述II像素的亮度通道值，所述第三图像携带所述II像素的三个互补色通道值和所述I像素的三个互补色通道值。

18.一种图像处理装置，其特征在于，包括：

处理器和存储器；

所述存储器，用于存储所述处理器处理的程序；

所述处理器，用于执行所述程序以实现如权利要求1至权利要求11中任意一项所述的方法。

19.一种摄像装置，其特征在于，包括：

镜头、目标图像传感器和图像处理装置；

所述镜头，用于将光线汇聚至所述目标图像传感器上；

所述目标图像传感器，用于采用两组感应单元记录所述光线得到第一图像，所述第一图像包括无色感应单元组确定的I像素组和有色感应单元组确定的II像素组，所述I像素组中的每个I像素携带一个亮度通道值，所述II像素组中的每个II像素携带一个色彩通道值；

所述图像处理装置，用于对所述第一图像进行处理，以实现如权利要求1至11中任意一项所述的方法。

20.根据权利要求19所述的摄像装置，其特征在于，所述摄像装置还包括滤光片，所述滤光片位于所述镜头与所述目标图像传感器之间；

所述滤光片，用于对所述光线进行过滤。

21.根据权利要求20所述的摄像装置，其特征在于，所述滤光片包括红外截止滤光片或双通滤光片，所述红外截止滤光片用于去除红外光，所述双通滤光片用于供可见光和预设波段的红外光通过。

Images