CN114650373A - 成像方法及装置、图像传感器、成像设备和电子设备 - Google Patents

Abstract

本申请公开了一种成像方法及装置、图像传感器、成像设备、电子设备及可读存储介质，涉及图像信号处理技术领域，该方法包括：接收来自图像传感器的图像数据；图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；根据第一感应单元的偏振光获取对应的第一干扰数据及根据第二感应单元的颜色光获取彩色图像数据，根据第一干扰数据识别彩色图像数据中的第二干扰数据，移除彩色图像数据中的第二干扰数据，得到目标成像数据；根据目标成像数据输出显示图像。

Description

成像方法及装置、图像传感器、成像设备和电子设备

技术领域

本申请属于图像信号处理技术领域，具体涉及一种成像方法及装置、图像传感器、成像设备、电子设备及可读存储介质。

背景技术

镜头模组在接收到物体表面的反射光后，可以通过采集该反射光的色彩信息来输出该物体表面的彩色图像。

实际情况中，在物体表面是较为光滑的表面(例如玻璃表面)、或者物体表面存在瑕疵(例如划痕)的情况下，彩色图像中物体表面出现镜面反射的位置或瑕疵的位置可能出现干扰信息。例如用户需要获得物体表面的彩色全息影像，但是彩色图像中物体表面出现镜面反射的位置会由于曝光过度出现影像失常(显示为白色)；又如用户想要去除物体表面的划痕，但是目前在获取物体表面的彩色图像过程中，无法对物体表面的划痕进行消除，给用户带来诸多不便。

发明内容

本申请实施例的目的是提供一种成像方法及装置、图像传感器、成像设备、电子设备及可读存储介质，能够解决现有技术中无法去除彩色图像中由于光噪声出现的干扰信息的问题。

第一方面，本申请实施例提供了一种成像方法，应用于图像传感器，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，该方法包括：接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据；根据第一干扰数据，识别彩色图像数据中的第二干扰数据，移除彩色图像数据中的第二干扰数据，得到目标成像数据；根据目标成像数据输出显示图像。

第二方面，本申请实施例提供了一种成像装置，应用于图像传感器，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，该装置包括：接收模块，用于接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；第一获取模块，用于根据第一感应单元的偏振光获取对应的第一干扰数据；第二获取模块，用于根据第二感应单元的颜色光获取彩色图像数据；识别模块，用于根据第一干扰数据，识别彩色图像数据中的第二干扰数据；移除模块，用于移除彩色图像数据中的第二干扰数据，得到目标成像数据；输出模块，用于根据目标成像数据输出显示图像。

第三方面，本申请实施例提供了一种图像传感器，包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，以使得成像装置接收来自图像传感器的包括来自第一感应单元的偏振光和来自第二感应单元的颜色光的图像数据，根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据，识别彩色图像数据中的第二干扰数据，移除彩色图像数据中的第二干扰数据，得到目标成像数据，根据目标成像数据输出显示图像。

第四方面，本申请实施例提供了一种成像设备，包括如第二方面的成像装置和第三方面的图像传感器。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，本申请实施例可以接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；然后根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据；根据第一干扰数据，识别彩色图像数据中的第二干扰数据；移除彩色图像数据中的第二干扰数据，得到目标成像数据；最后根据目标成像数据输出显示图像，从而解决现有技术中无法去除彩色图像中由于光噪声出现的干扰信息的问题，消除彩色图像中由于光噪声出现的干扰信息，提升图像的清晰度和色彩饱和度。

附图说明

图1是相关技术中的图像传感器中一种像素感应单元的截面图；

图2是相关技术中的偏振传感器中一种像素感应单元的截面图；

图3A是根据本申请一些实施例的一种图像传感器的结构示意图；

图3B是根据本申请一些实施例的另一种图像传感器的结构示意图；

图3C是根据本申请一些实施例的再一种图像传感器中第一传感部的结构示意图；

图3D是根据本申请一些实施例的再一种图像传感器中第二传感部的结构示意图；

图3E是根据本申请一些实施例的再一种图像传感器的结构示意图；

图4是根据本申请一些实施例的一种成像方法的方法流程图；

图5是根据本申请一些实施例的一种成像装置的功能结构框图；

图6是根据本申请一些实施例的一种成像设备的功能结构框图；

图7是根据本申请一些实施例的一种电子设备的功能结构框图；

图8是根据本申请一些实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

目前，镜头模组通过图像传感器获取入射至其上入射光的色彩信息。例如贝叶斯滤波器使得不同的像素点只对红、蓝、绿三原色光中的一种感光，这些像素点交织在一起，通过去马赛克(demosaicing)内插来恢复原始的全彩影像。但在上述过程中，入射光的偏振信息无法被记录。

示例地，目前的镜头模组中，图像传感器中各像素感应单元(后文简称像元)的截面图如图1所示，每个像元由微透镜101，颜色滤光片102，光电二极管103堆叠而成。每个像素元只能感应红(R)、绿(G)、蓝(B)中一种颜色的光信号的光强，四个像元RGGB协同构建出了我们最终看到的全彩视觉图像，但在这一成像过程中，无法获取光的偏振特性，因此光的偏振特性却无法被识别或记录。

偏振图像传感器(Polarization Image Sensor，PIS)能够将人眼无法察觉的光的偏振特性(光波振动方向)可视化，从而实现了目前图像传感器难以做到的任务，例如物体形状识别、消除水或玻璃表面上的干扰反射光、变形检测等，但却无法还原彩色图像。

示例地，PIS的像元截面图如图2所示，核心组件偏振滤光片104位于微透镜101和光电二极管103之间，能够最大限度地减少由像素串扰问题造成的数据误差。偏振滤光片是一种将金属加工成线性狭缝的光栅(超薄金属板等间距排成阵列)，它允许透过某一电矢量振动方向的光(此方向称为偏振化方向，以角度为单位)，而吸收(或反射)与其垂直振动的光。与目前的图像传感器中每个像元只能记录一种颜色的光强类似，PIS的每个像素只能记录0°，45°，90°，或135°其中一种角度的偏振光的强度，为了实现偏振成像需要四个像素块协同工作。由于偏振滤光片104无法对光的波长信息进行过滤筛选，因此PIS能将光的偏振、亮度和传播方向可视化，但无法构建出我们看到的全彩图像。

实际情况中，用户使用手机摄影的场景丰富多样，在制造业、智能交通、医疗、安防等领域中，用户一方面想要获得物体表面的彩色影像，另一方面想要消除物体表面出现镜面反射的位置由于曝光过度出现影像失常、或者物体表面的划痕等干扰因素。然而目前用户的上述两种需求无法同时得到满足。

基于上述存在的问题，本申请实施例提供一种成像方法及装置、图像传感器、成像设备、电子设备及可读存储介质。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像传感器及成像方法进行详细地说明。

本申请实施例中的成像方法应用于图像传感器。因此，在介绍本申请实施例中的成像方法之前，首先介绍本申请实施例中的图像传感器。

如图3A～图3C所示，本申请实施例中的图像传感器300包括多个第一感应单元301和多个第二感应单元302，第一感应单元301用于透射设定角度的偏振光，第二感应单元302用于透射设定颜色的颜色光。

设定角度可以包括以下任一项：0°、45°、90°、以及135°。

设定颜色可以包括以下任一项：第一颜色、第二颜色、第三颜色以及第四颜色。其中第一颜色、第二颜色、第三颜色以及第四颜色能够形成拜尔阵列。

第一颜色、第二颜色、第三颜色以及第四颜色例如可以分别是红色、绿色、绿色以及蓝色。

红色的颜色光为红光，波长范围在615nm～620nm；绿色的颜色光为绿光，波长范围在530nm～540nm；蓝色的颜色光为蓝光，波长范围在460nm～470nm。

第一颜色、第二颜色、第三颜色以及第四颜色又如可以分别是青绿色(Cyan)、黄色(Yellow)、绿色(Green)以及洋红色(Magenta)。

第一颜色、第二颜色、第三颜色以及第四颜色再如可以分别是红色，绿色，蓝色以及翠绿色(Emerald)。

在一些实施例中，多个第一感应单元和多个第二感应单元混合排布在同一平面中。

示例地，如图3A和图3B所示。以第一颜色、第二颜色、第三颜色以及第四颜色例如可以分别是红色(图3A和图3B中标记为R)、绿色(图3A和图3B中标记为G)、绿色以及蓝色(图3A和图3B中标记为B)为例，对图3A和图3B中多个第一感应单元和多个第二感应单元的排布方式进行说明。

如图3A所示，图像传感器中可以设置多个偏振单元组31和色彩单元组32。

如图3A所示，每个偏振单元组31包括四个第一感应单元301，该4个第一感应单元301的设定角度分别为0°、45°、90°、以及135°。每个色彩单元组32包括四个第二感应单元302，该四个第二感应单元302的颜色分别是红色、绿色、绿色以及蓝色，形成拜尔阵列。

在水平方向上，偏振单元组31和色彩单元组32交替排布；在竖直方向上，偏振单元组31和色彩单元组32交替排布。

交替排布即：偏振单元组31和色彩单元组32相邻，且任两个偏振单元组31不相邻，且任两个色彩单元组32不相邻。

可以理解的是，每个色彩单元组32中4个第二感应单元302的颜色也可以分别为青绿色、黄色、绿色以及洋红色，形成拜尔阵列；或者每个色彩单元组32中4个第二感应单元302的颜色可以分别为红色，绿色，蓝色以及翠绿色，形成拜尔阵列。

如图3B所示，图像传感器中设置有多个第一混合单元组33和多个第二混合单元组34。

如图3B所示，第一混合单元组33包括两个第一感应单元301和两个第二感应单元302，第二混合单元组34包括两个第一感应单元301和两个第二感应单元302。

第一混合单元组33和第二混合单元组34仅在水平方向或者竖直方向上交替排布。将第一混合单元组33和第二混合单元组34相覆盖后，第二感应单元302的位置上的颜色形成拜尔阵列。

第一混合单元组33中两个第一感应单元301的设定角度为45°和135°，第二混合单元组34中两个第一感应单元301的设定角度为0°和90°。也就是说，第一混合单元组33和第二混合单元组34包括四个第一感应单元301，该四个第一感应单元301的设定角度包含了0°、45°、90°、以及135°。

第一混合单元组33中两个第二感应单元302的设定颜色为红色和蓝色，第二混合单元组34中两个第二感应单元302的设定颜色为绿色。

图3B仅展示出了设置有两种混合单元组的情况。实际情况中，还可以设置3种、4种甚至更多种混合单元组，只要保证能够根据多种混合单元组获得的偏振光来获取到0°、45°、90°、以及135°对应的偏振图像，以及根据多种混合单元组获得的颜色光获得成像物的原始彩色图像即可。

图3B中混合单元组的设计有利于插值算法的应用，从而改善后续输出图像的准确性(对应步骤S450中输出的图像)。

在一些实施例中，多个第一感应单元排布在第一平面中，多个第二感应单元排布在第二平面中，图像传感器还包括分光元件，用于将入射至其上的入射光的一部分沿第一方向射出至多个第一感应单元上，以及将入射光的另一部分沿第二方向射出至多个第二感应单元上。

示例地，如图3C所示，多个第一感应单元301排布在第一平面中，形成第一感应部304。其中，每相邻的四个第一感应单元301的设定角度为四个不同的设定角度，该四个不同的设定角度包括0°、45°、90°、以及135°；

如图3D所示，多个第二感应单元302排布在第二平面中，形成第二感应部305。多个第二感应单元302形成拜尔阵列。

如图3E所示，图像传感器300还包括分光元件303，分光元件303接收被成像物310反射至分光元件303的入射光，分光元件303将接收到的入射光的一部分沿第一方向射出至多个第一感应单元对应的第一感应部304上，分光元件303将入射光的另一部分沿第一方向射出至多个第二感应单元302对应的第二感应部305上。

图3C中多个第一感应单元301的排布与相关技术中PIS结构相同。图3D中多个第二感应单元302的排布与相关技术中图像传感器相同。在此情况下，采用图3E的设计，能够实现不改变市面现有的图像传感器和PIS结构下，通过分光元件可以把入射至镜头模组的入射光按照一定的比例分别汇聚到多个第一感应单元301和多个第二感应单元302，使得多个第一感应单元301和多个第二感应单元302可以同时对同一成像物成像。在记录了所有必要信息的同时，也确保了更高的图像分辨率。

当然，可以理解的是，多个第二感应单元302的排布还可以基于RGBW阵列(将拜尔阵列的RGGB阵列中的一个绿色像素(G)修改为白色像素(W))、RWB阵列或者RYYB(Y为黄色像素)阵列进行设计，只要能够保证得到获得成像物的原始彩色图像即可。

图4示出了根据本申请一些实施例的一种成像方法的方法流程图。应用于图像传感器的，如图4所示，该方法包括如下步骤S410～S450。

步骤S410：接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光。

步骤S420：根据第一感应单元的偏振光获取设定第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据。

在一些实施例中，可以首先获取第一感应单元的偏振光的偏振角度和第一光强，在所有第一感应单元的偏振光的偏振角度和第一光强为连续的数据的情况下，根据所有第一感应单元的偏振光的偏振角度和第一光强，获取至少一个偏振角度一一对应的偏振图像，例如获取0°偏振光对应的偏振图像、45°偏振光对应的偏振图像、90°偏振光对应的偏振图像、以及135°偏振光对应的偏振图像共四个偏振图像，最后根据上述偏振图像确定设定干扰对应的干扰光强作为第一干扰数据。

第一干扰数据根据设定干扰获取，设定干扰包括以下至少一项：数据镜面反射干扰、以及表面瑕疵干扰。也就是说，第一干扰数据为数据镜面反射干扰形成的图像的数据、和/或表面瑕疵干扰形成的图像的数据。

根据偏振图像确定设定干扰对应的干扰光强作为第一干扰数据的方式可以有多种，例如借助图像清晰度评价方法或卷积神经网络(如灰度熵法、直方图法、能量梯度函数、深度学习等)对偏振图像中的数据进行数据分类，得到对成像无干扰的有效光强和对成像有设定干扰的干扰光强。

借助图像清晰度评价方法或卷积神经网络对偏振空间中的数据进行数据分类的方式可以由本领域技术人员根据实际情况进行设置，本申请实施例对此不作限定。

在根据第二感应单元的颜色光获取彩色图像数据时，可以首先获取各第二感应单元的颜色光的波长和第二光强，在所有第二感应单元的颜色光的波长和第二光强均为连续的数据的情况下，根据各第二感应单元的颜色光的波长和第二光强获取彩色图像数据。

需要说明的是，在一些实施例中，在多个第一感应单元排布在第一平面中，多个第二感应单元排布在第二平面中，所有第一感应单元的偏振光的偏振角度和第一光强为连续的数据、以及所有第二感应单元的偏振光的偏振角度和第二光强为连续的数据。

在一些实施例中，在多个第一感应单元和多个第二感应单元混合排布在同一平面中的情况下，所有第一感应单元的偏振光的偏振角度和第一光强、以及所有第二感应单元的偏振光的偏振角度和第二光强均为离散的数据。即：获取所有第一感应单元的偏振光的偏振角度，得到的数据为离散的数据；获取所有第一感应单元的第一光强，得到的数据为离散的数据；获取所有第二感应单元的偏振光的偏振角度，得到的数据为离散的数据；获取所有第二感应单元的第二光强，得到的数据为离散的数据。在此情况下，在执行步骤S420之前，可以获取所有第一感应单元的偏振光的第一数据以及所有第二感应单元的颜色光的第二数据，然后对第一数据和第二数据进行数据连续化处理，得到第一数据对应的第一连续化数据、以及第二数据对应的第二连续化数据。

上述连续化处理例如可以是采用插值算法补全离散的第一数据和第二数据中的空白信息，得到第一数据对应的第一连续化数据、以及第二数据对应的第二连续化数据。

在获得第一连续化数据和第二连续化数据的情况下，在步骤S420中，可以根据第一连续化数据获取第一干扰数据，以及根据第二连续化数据获取所有第二感应单元的颜色光获取彩色图像数据。

根据第一连续化数据获取对应的第一干扰数据，与上述实施例中介绍的所有第一感应单元的偏振光的偏振角度和第一光强为连续的数据的情况下获取对应的第一干扰数据的方式相同，具体可以参见上述实施例中的对应描述，此处不再赘述。

根据第二连续化数据获取所有第二感应单元的颜色光获取彩色图像数据与上述实施例中介绍的所有第二感应单元的颜色光的波长和第二光强均为连续的数据的情况下获取彩色图像数据的方式相同，具体可以参见上述实施例中的对应描述，此处不再赘述。

步骤S430：根据第一干扰数据，识别彩色图像数据中的第二干扰数据。

可以首先获取出现干扰光强的目标位置以及目标强度比例，偏振图像中各位置上光强的强度比例为光强与设定光强的比值，然后根据目标位置以及目标强度比例，识别彩色图像数据中的第二干扰数据。

根据目标位置以及目标强度比例，识别彩色图像数据中的第二干扰数据时，可以将目标位置以及目标强度比例输入预先建立的函数模型，函数模型的输出结果即移除彩色图像数据中的第二干扰数据后得到目标成像数据。

上述函数模型可以通过预先建立评价函数或使用双流框架进行学习获取。

步骤S440：移除彩色图像数据中的第二干扰数据，得到目标成像数据。

移除彩色图像数据中的第二干扰数据，将移除结果作为目标成像数据。

移除彩色图像数据中的第二干扰数据的方式可以由本领域技术人员根据实际情况进行设置，本申请实施例对此不作限定。

步骤S450：根据目标成像数据输出显示图像。

在一些实施例中，可以直接根据目标成像数据输出显示图像。例如需要能够标记出发生镜面反射的位置的显示图像或者需要标记出物品上所存在的划痕等瑕疵的显示图像。

在另一些实施例中，可以对目标成像数据进行图像重构，输出显示图像。在此情况下，可以恢复原本被镜面反射干扰和/或表面瑕疵干扰遮挡区域中的影像，例如玻璃上的镜面反射干扰光线遮挡了玻璃后面一个物品的一部分，在此情况下，在去除玻璃上的镜面反射干扰光线后，可以根据剩下的数据对被镜面反射干扰光线遮挡的该部分进行恢复，使得输出的图像中能够清楚看到消除反射干扰光线后所能够呈现的景象。又如，物品上的划痕被去除了，在此情况下，可以根据划痕位置周围的图像数据，对划痕位置的图像进行重构，呈现该物品在无划痕下的景象。

对目标成像数据进行图像重构的方式可以由本领域技术人员根据实际情况进行设置，本申请实施例对此不作限定。

在本申请实施例中，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，本申请实施例可以接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；然后根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据；根据第一干扰数据，识别彩色图像数据中的第二干扰数据；移除彩色图像数据中的第二干扰数据，得到目标成像数据；最后根据目标成像数据输出显示图像，从而解决现有技术中无法去除彩色图像中由于光噪声出现的干扰信息的问题，消除彩色图像中由于光噪声出现的干扰信息，提升图像的清晰度和色彩饱和度。

另外，本申请实施例中的多个第一感应单元和多个第二感应单元均可以通过妥善设计微结构并周期排列的方法实现。适合半导体加工工艺，可采用纳米压印技术，结合沉积、刻蚀等半导体工艺技术，实现低成本大面积的传感器加工。

本申请实施例提供的成像方法，执行主体可以为成像装置。本申请实施例中以成像装置执行成像方法为例，说明本申请实施例提供的成像装置。

图5为根据本申请一些实施例的一种成像装置的功能结构框图。应用于图像传感器，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，如图5所示，该成像装置500包括：接收模块501、第一获取模块502、第二获取模块503、识别模块504、移除模块505、以及显示模块506。

接收模块501，用于接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光。

第一获取模块502，用于根据第一感应单元的偏振光获取对应的第一干扰数据。

第二获取模块503，用于根据第二感应单元的颜色光获取彩色图像数据。

识别模块504，用于根据第一干扰数据，识别彩色图像数据中的第二干扰数据。

移除模块505，用于移除彩色图像数据中的第二干扰数据，得到目标成像数据。

显示模块506，用于根据目标成像数据输出显示图像。

可选地，第一干扰数据包括干扰光强，识别模块用于：获取出现干扰光强的目标位置以及目标强度比例，偏振图像中各位置上光强的强度比例为光强与设定光强的比值；根据目标位置以及目标强度比例，识别彩色图像数据中的第二干扰数据。

可选地，第一获取模块用于：获取第一感应单元的偏振光的偏振角度和第一光强；根据第一感应单元的偏振光的偏振角度和第一光强，获取至少一个偏振角度一一对应的偏振图像；根据偏振图像确定对应的干扰光强作为第一干扰数据。

可选地，显示模块用于：对目标成像数据进行图像重构，输出显示图像。

可选地，多个第一感应单元和多个第二感应单元混合排布在同一平面中，该装置还包括：

连续化模块，用于在第一获取模块根据第一感应单元的偏振光获取对应的第一干扰数据、以及第二获取模块根据第二感应单元的颜色光获取彩色图像数据之前，获取第一感应单元的偏振光的第一数据以及所有第二感应单元的颜色光的第二数据；对第一数据和第二数据进行数据连续化处理，得到第一数据对应的第一连续化数据、以及第二数据对应的第二连续化数据；

第一获取模块用于：根据第一连续化数据获取对应的第一干扰数据，第二获取模块用于根据第二连续化数据获取第二感应单元的颜色光获取彩色图像数据。

本申请实施例中的成像装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的成像装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的成像装置能够实现图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。

图6为根据本申请一些实施例提供的一种成像设备的功能结构框图。如图6所示，成像设备600包括成像装置500以及图像传感器300。

在一些实施例中，图像传感器300中第一感应单元301和第二感应单元302混合排布在同一平面中。成像装置500还包括连续化模块，用于在第一获取模块根据第一感应单元的偏振光获取设定干扰对应的第一干扰数据、以及第二获取模块根据第二感应单元的颜色光获取彩色图像数据之前，获取第一感应单元的偏振光的第一数据以及所有第二感应单元的颜色光的第二数据；对第一数据和第二数据进行数据连续化处理，得到第一数据对应的第一连续化数据、以及第二数据对应的第二连续化数据；第一获取模块501用于：根据第一连续化数据获取对应的第一干扰数据，第二获取模块502用于根据第二连续化数据获取第二感应单元的颜色光获取彩色图像数据。

在另一些实施例中，图像传感器300中多个第一感应单元301排布在第一平面中，多个第二感应单元302排布在第二平面中。第一获取模块502用于根据第一感应单元的偏振光获取对应的第一干扰数据。

第一干扰数据可以根据设定干扰获取，设定干扰包括以下至少一项：镜面反射干扰、以及表面瑕疵干扰。

第二获取模块503用于根据第二感应单元的颜色光获取彩色图像数据。

如图7所示，本申请实施例还提供一种电子设备700，包括处理器701和存储器702，存储器702上存储有可在处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述成像方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器810，应用于图像传感器，包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，处理器810用于：接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据；根据第一干扰数据，识别彩色图像数据中的第二干扰数据；移除彩色图像数据中的第二干扰数据，得到目标成像数据；根据目标成像数据输出显示图像。

在本申请实施例中，图像传感器包括多个第一感应单元和多个第二感应单元，第一感应单元用于透射设定角度的偏振光，第二感应单元用于透射设定颜色的颜色光，本申请实施例可以接收来自图像传感器的图像数据；其中，图像数据包括来自第一感应单元的偏振光和来自第二感应单元的颜色光；然后根据第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据；根据第一干扰数据，识别彩色图像数据中的第二干扰数据；移除彩色图像数据中的第二干扰数据，得到目标成像数据；最后根据目标成像数据输出显示图像，从而解决现有技术中无法去除彩色图像中由于光噪声出现的干扰信息的问题，消除彩色图像中由于光噪声出现的干扰信息，提升图像的清晰度和色彩饱和度。

可选地，第一干扰数据包括干扰光强，处理器810进一步用于：获取出现干扰光强的目标位置以及目标强度比例，偏振图像中各位置上光强的强度比例为光强与设定光强的比值；根据目标位置以及目标强度比例，识别彩色图像数据中的第二干扰数据。

可选地，处理器810进一步用于：获取第一感应单元的偏振光的偏振角度和第一光强；根据第一感应单元的偏振光的偏振角度和第一光强，获取至少一个偏振角度一一对应的偏振图像；根据偏振图像确定对应的干扰光强作为第一干扰数据。

可选地，处理器810进一步用于：对目标成像数据进行图像重构，输出显示图像。

可选地，多个第一感应单元和多个第二感应单元混合排布在同一平面中，处理器810还用于：在根据所述第一感应单元的偏振光获取对应的第一干扰数据、以及根据第二感应单元的颜色光获取彩色图像数据之前，获取第一感应单元的偏振光的第一数据以及所有第二感应单元的颜色光的第二数据；对第一数据和第二数据进行数据连续化处理，得到第一数据对应的第一连续化数据、以及第二数据对应的第二连续化数据；处理器810进一步用于：根据第一连续化数据获取对应的第一干扰数据，以及根据第二连续化数据获取所有第二感应单元的颜色光获取彩色图像数据。

可选地，第一干扰数据根据设定干扰获取，设定干扰包括以下至少一项：数据镜面反射干扰、以及表面瑕疵干扰。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述成像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述成像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述成像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种成像方法，其特征在于，应用于图像传感器，所述图像传感器包括多个第一感应单元和多个第二感应单元，所述第一感应单元用于透射设定角度的偏振光，所述第二感应单元用于透射设定颜色的颜色光，所述方法包括：

接收来自所述图像传感器的图像数据；其中，所述图像数据包括来自所述第一感应单元的偏振光和来自所述第二感应单元的颜色光；

根据所述第一感应单元的偏振光获取对应的第一干扰数据、以及根据所述第二感应单元的颜色光获取彩色图像数据；

根据所述第一干扰数据，识别所述彩色图像数据中的第二干扰数据；

移除所述彩色图像数据中的所述第二干扰数据，得到目标成像数据；

根据所述目标成像数据输出显示图像。

2.根据权利要求1所述的方法，其特征在于，所述第一干扰数据包括干扰光强，所述根据所述第一干扰数据，识别所述彩色图像数据中的第二干扰数据，包括：

获取所述干扰光强的目标位置以及目标强度比例，其中，所述偏振图像中各位置上光强的强度比例为所述光强与设定光强的比值；

根据所述目标位置以及目标强度比例，识别所述彩色图像数据中的第二干扰数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一感应单元的偏振光获取对应的第一干扰数据，包括：

获取所述第一感应单元的偏振光的偏振角度和第一光强；

根据所述第一感应单元的偏振光的偏振角度和第一光强，获取至少一个偏振角度一一对应的偏振图像；

根据所述偏振图像确定对应的干扰光强作为所述第一干扰数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标成像数据输出显示图像，包括：

对所述目标成像数据进行图像重构，输出所述显示图像。

5.根据权利要求1所述的方法，其特征在于，所述多个第一感应单元和多个第二感应单元混合排布在同一平面中，所述根据所述第一感应单元的偏振光获取对应的第一干扰数据、以及根据所述第二感应单元的颜色光获取彩色图像数据之前，所述方法还包括：

获取所有所述第一感应单元的偏振光的第一数据以及所有所述第二感应单元的颜色光的第二数据；

对所述第一数据和所述第二数据进行数据连续化处理，得到所述第一数据对应的第一连续化数据、以及所述第二数据对应的第二连续化数据；

所述根据所有所述第一感应单元的偏振光获取对应的第一干扰数据、以及根据所有所述第二感应单元的颜色光获取彩色图像数据，包括：

根据所述第一连续化数据获取对应的第一干扰数据，以及根据所述第二连续化数据获取所有所述第二感应单元的颜色光获取彩色图像数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一干扰数据根据设定干扰获取，所述设定干扰包括以下至少一项：数据镜面反射干扰、以及表面瑕疵干扰。

7.一种成像装置，其特征在于，应用于图像传感器，所述图像传感器包括多个第一感应单元和多个第二感应单元，所述第一感应单元用于透射设定角度的偏振光，所述第二感应单元用于透射设定颜色的颜色光，所述装置包括：

接收模块，用于接收来自所述图像传感器的图像数据；其中，所述图像数据包括来自所述第一感应单元的偏振光和来自所述第二感应单元的颜色光；

第一获取模块，用于根据所述第一感应单元的偏振光获取对应的第一干扰数据；

第二获取模块，用于根据所述第二感应单元的颜色光获取彩色图像数据；

识别模块，用于根据所述第一干扰数据，识别所述彩色图像数据中的第二干扰数据；

移除模块，用于移除所述彩色图像数据中的所述第二干扰数据，得到目标成像数据；

显示模块，用于根据所述目标成像数据输出显示图像。

8.一种图像传感器，其特征在于，包括多个第一感应单元和多个第二感应单元，所述第一感应单元用于透射设定角度的偏振光，所述第二感应单元用于透射设定颜色的颜色光，以使得成像装置接收来自所述图像传感器的包括来自所述第一感应单元的偏振光和来自所述第二感应单元的颜色光的图像数据，根据所述第一感应单元的偏振光获取对应的第一干扰数据、以及根据所述第二感应单元的颜色光获取彩色图像数据，识别所述彩色图像数据中的第二干扰数据，移除所述彩色图像数据中的所述第二干扰数据，得到目标成像数据，根据所述目标成像数据输出显示图像。

9.根据权利要求8所述的图像传感器，其特征在于，所述第一感应单元和所述第二感应单元混合排布在同一平面中。

10.根据权利要求9所述的图像传感器，其特征在于，所述多个第一感应单元排布在第一平面中，所述多个第二感应单元排布在第二平面中，所述图像传感器还包括分光元件，用于将入射至其上的入射光的一部分沿第一方向射出至所述多个第一感应单元上，以及将所述入射光的另一部分沿第二方向射出至所述多个第二感应单元上。

11.一种成像设备，其特征在于，包括如权利要求7所述的成像装置以及如权利要求8所述的图像传感器。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的成像方法的步骤。

13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的成像方法的步骤。

Images