CN114666500A - 信息密度提高方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种信息密度提高方法、装置、电子设备及存储介质，涉及传感器领域，该方法包括：获取第一图像像素阵列，其中，第一图像像素阵列包括第一普通像素子阵列及相位检测像素子阵列；根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，得到第二普通像素子阵列；更新第一图像像素阵列，得到第二图像像素阵列，其中，第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。本申请实施例提供的方法，能够在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，从而既能保证传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

Description

信息密度提高方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及传感器领域，尤其涉及一种信息密度提高方法、装置、电子设备及存储介质。

背景技术

图像传感器是一种采集图像信息的器件。对于不同的应用场景，图像传感器的性能要求也有所不同。为了达到不同的性能要求，图像传感器之间的像素的排布也有所不同。其中，具有彩色滤光阵列像素的图像传感器已经广泛应用于移动通讯设备、安全防护设备、车载设备、家居交互设备等应用场景之中。

为了能使图像传感器获取更加清晰的场景，通常具有自动对焦的功能。自动对焦功能主要分为对比度检测自动对焦(contrast detection auto focus，CDAF)和相位检测自动对焦(phase detection auto focus，PDAF)。PDAF因其速度快的优势，应用越来越广泛。

在PDAF中，由于相位检测像素包含相关信息，因此，相位检测像素需要占用部分彩色滤光阵列像素的位置。若相位检测像素物理密度越高，相位检测结果和自动对焦结果也就越准确，但占用更多彩色滤光阵列像素的位置会使得图像传感器成像质量降低。若相位检测像素物理密度越低，虽然占用彩色滤光阵列像素的位置会减少，但会导致相位检测像素的信息密度也变的越低，由此会导致相位检测结果和自动对焦效果变差。

发明内容

本申请实施例提供了一种信息密度提高方法、装置、电子设备及存储介质，能够在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，从而既能保证图像传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

第一方面，本申请实施例提供了一种信息密度提高方法，包括：

获取第一图像像素阵列，其中，第一图像像素阵列包括第一普通像素子阵列及相位检测像素子阵列；

根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，得到第二普通像素子阵列；

更新第一图像像素阵列，得到第二图像像素阵列，其中，第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。

本申请实施例能够在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，从而既能保证图像传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

其中一种可能的实现方式中，根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，得到第二普通像素子阵列包括：

获取第一相位信息值，其中，第一相位信息值为相位检测像素子阵列的相位检测像素的相位信息值；

构建第一参考值及第二参考值，其中，第一参考值为相位检测像素子阵列的相位信息参考值，第二参考值为第一普通像素子阵列的相位信息参考值；

基于第一参考值及第一相位信息值确定第一相位信息差值，其中，第一相位信息差值为相位检测像素子阵列的相位信息差值；

基于相邻两个相位检测像素子阵列的第一相位信息差值，对相邻两个相位检测像素子阵列间的第一普通像素子阵列进行线性插值，得到第二相位信息差值，其中，第二相位信息差值为第一普通像素子阵列的相位信息差值；

基于所述第二相位信息差值及第二参考值确定第二相位信息值，以构建第二普通像素子阵列，其中，第二相位信息值为第二普通像素子阵列的相位信息值。

本申请实施例中，通过对普通像素构建相位信息，使得本不包含相位信息的普通像素具有了相位信息，从而可以在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度。

其中一种可能的实现方式中，构建第一参考值及第二参考值包括：

获取参考区域中的参考像素；

根据参考区域的参考像素的像素值构建第一参考值及第二参考值。

本申请实施例中，通过计算参考区域的参考像素的像素值可以快速构建相位信息参考值。

其中一种可能的实现方式中，参考区域为与目标区域非相邻的区域，其中，目标区域为包含相位信息的区域。

本申请实施例中，通过将与目标区域非相邻的区域选定为参考区域可以提高相位信息参考值计算的准确性。

其中一种可能的实现方式中，参考区域为与目标区域最靠近的右上及左下两个对角区域。

本申请实施例中，通过将与目标区域最靠近的右上及左下两个对角区域选定为参考区域，可以进一步提高相位信息参考值计算的准确性。

其中一种可能的实现方式中，参考像素为同色普通像素。

本申请实施例中，通过选取同色普通像素作为参考像素，可以进一步提高相位信息参考值计算的准确性。

其中一种可能的实现方式中，第一普通像素子阵列及相位检测像素子阵列由第一图像像素阵列重构后获得。

本申请实施例中，通过重构，可以提高对阵列的处理效率。

第二方面，本申请实施例提供了一种信息密度提高装置，包括：一个或多个功能模块，该一个或多个功能模块用于执行第一方面提供的任意一种的信息密度提高方法。

第三方面，本申请实施例提供了一种图像传感器，包括：处理器和存储器，存储器用于存储计算机程序；处理器用于运行计算机程序，执行如第一方面所述的信息密度提高方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机实现如第一方面所述的信息密度提高方法。

第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，当上述计算机程序被计算机执行时，使得计算机实现如第一方面所述的信息密度提高方法。

在一种可能的实现方式中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

附图说明

图1a为本申请实施例提供物理密度示意图；

图1b为本申请实施例提供信息密度示意图；

图2为本申请实施例提供的信息密度提高方法的流程示意图；

图3为本申请实施例提供的相位信息构建的流程示意图；

图4a为本申请提供的图像像素阵列一个实施例的示意图；

图4b为本申请提供的图像像素阵列另一个实施例的示意图；

图4c为本申请实施例提供的普通像素子阵列示意图；

图4d为本申请实施例提供的相位检测像素子阵列示意图；

图4e为本申请实施例提供的相位信息示意图；

图5a为本申请提供的相位信息参考值一个实施例的示意图；

图5b为本申请提供的相位信息参考值另一个实施例的示意图；

图6为本申请提供的相位信息差值一个实施例的示意图；

图7a为本申请实施例提供的相位信息差值线性插值示意图；

图7b为本申请提供的相位信息差值另一个实施例的示意图；

图8为本申请实施例提供的相位信息终值示意图；

图9为本申请提供的图像像素阵列再一个实施例的示意图；

图10为本申请实施例提供的信息密度提高装置的结构示意图；

图11为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

本申请实施例中，除非另有说明，字符“/”表示前后关联对象是一种或的关系。例如，A/B可以表示A或B。“和/或”描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

需要指出的是，本申请实施例中涉及的“第一”、“第二”等词汇，仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，也不能理解为指示或暗示顺序。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。此外，“以下至少一项(个)”或者其类似表达，是指的这些项中的任意组合，可以包括单项(个)或复数项(个)的任意组合。例如，A、B或C中的至少一项(个)，可以表示：A，B，C，A和B，A和C，B和C，或A、B和C。其中，A、B、C中的每个本身可以是元素，也可以是包含一个或多个元素的集合。

本申请实施例中，“示例的”、“在一些实施例中”、“在另一实施例中”等用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

本申请实施例中的“的(of)”、“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，所要表达的含义是一致的。本申请实施例中，通信、传输有时可以混用，应当指出的是，在不强调其区别时，其所表达的含义是一致的。例如，传输可以包括发送和/或接收，可以为名词，也可以是动词。

本申请实施例中涉及的等于可以与大于连用，适用于大于时所采用的技术方案，也可以与小于连用，适用于小于时所采用的技术方案。需要说明的是，当等于与大于连用时，不能与小于连用；当等于与小于连用时，不与大于连用。

以下对本申请实施例涉及的部分术语进行解释说明，以便于本领域技术人员理解。

1、物理密度。本申请实施例中物理密度指的是彩色滤光阵列中在物理上占用的相位检测像素占所有像素的比例，也可以称之为相位检测像素物理密度。其中，相位检测像素是一种可以用于进行相位检测的像素。图1a为物理密度的示意图，如图1a所示，一个空白格子表示的是一个普通像素子阵列，该普通像素子阵列可以包括多个普通像素，例如，普通像素可以包括红色像素、蓝色像素、绿色像素及其他普通像素，该普通像素不具有相位检测功能。可以理解的是，普通像素子阵列中不包含相位检测像素。一个斜线格子表示的是在物理上占用的一个相位检测像素子阵列，该相位检测像素子阵列可以包括多个相位检测像素及多个普通像素。所有在物理上占用的相位检测像素的总数占所有像素的比例，即为物理密度。其中，所有像素包括所有在物理上占用的相位检测像素及所有普通像素。

2、信息密度。本申请实施例中信息密度指的是彩色滤光阵列中包含相位信息的相位检测像素占所有像素的比例，也可以称之为相位检测像素信息密度。图1b为信息密度的示意图，如图1b所示，一个空白格子表示的是一个普通像素子阵列，该普通像素子阵列可以包括多个普通像素。一个网纹格子表示的是一个包含相位信息的相位检测像素子阵列，该相位检测像素子阵列可以包括多个相位检测像素及多个普通像素。所有包含相位信息的相位检测像素的总数所占所有像素的比例，即为信息密度。其中，所有像素包括所有包含相位信息的相位检测像素及所有普通像素。

通常来说，彩色滤光阵列中每个物理上占用的相位检测像素阵列的相位检测像素都会包含相应的相位信息，也就是说，物理上占用的相位检测像素的总数和包含相位信息的相位检测像素的总数是一致的，换句话说，物理密度和信息密度一致。而信息密度会影响相位检测结果和自动对焦效果。因此，如果为了提升相位检测结果和自动对焦效果，而去提高信息密度，则会导致物理密度也会相应提高，由此会使得在物理上占用相位检测像素的位置增多，从而会使得图像传感器成像质量降低。

基于上述问题，本申请实施例提出了一种信息密度提高方法，应用于图像传感器。能够在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，从而既能保证图像传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

现结合图2-图9对本申请实施例提供的信息密度提高方法进行说明。

如图2所示为本申请提供的信息密度提高方法一个实施例的流程示意图，具体包括以下步骤：

步骤201，获取第一图像像素阵列，其中，第一图像像素阵列包括第一普通像素子阵列及相位检测像素子阵列。

具体地，图像传感器可以获取图像像素阵列，其中，该图像像素阵列可以是图像传感器初始获取的所有像素组成的阵列，上述所有像素包括图像像素阵列中所有在物理上占用的相位检测像素及所有普通像素。为说明方便，本文将初始获取的图像像素阵列称为“第一图像像素阵列”。接着，可以对第一图像像素阵列进行重构，由此可以将第一图像像素阵列重构后得到由普通像素子阵列及相位检测像素子阵列构成的图像像素阵列，并可以在相位检测像素子阵列中获取相位检测像素的相位信息，其中，相位信息可以包括相位检测像素的位置及其对应的相位信息值。为说明方便，本文将第一图像像素阵列中的普通像素子阵列称为“第一普通像素子阵列”。

步骤202，根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，得到第二普通像素子阵列。

具体地，当获取到相位检测像素子阵列的相位信息后，可以根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，由此可以得到第二普通像素子阵列。其中，第二普通像素子阵列包括包含相位信息的普通像素，从而可以使得原本不包含相位信息的第一普通像素子阵列转变成包含相位信息的第二普通像素子阵列，进而可以使得在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度。

步骤203，更新第一图像像素阵列，得到第二图像像素阵列，其中，第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。

具体地，当得到第二普通像素子阵列后，可以更新第一图像像素阵列，由此可以得到第二图像像素阵列。例如，上述更新第一图像像素阵列的方式可以是，保持相位检测像素子阵列不变，并将第二普通像素子阵列替换第一普通像素子阵列，也就是说，更新后得到的第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。

本申请实施例中，通过相位检测像素的相位信息构建普通像素的相位信息，从而可以在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，进而既能保证图像传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

下文以图3-图9为例，进一步对上述信息密度提高方法进行示例性说明。

步骤201中，示例性的，一个第一图像像素阵列的大小可以为6000*8000。可以理解的是，上述第一图像像素阵列的大小并不构成对本申请实施例的限定，在一些实施例中，第一图像像素阵列还可以是其他尺寸。

此外，当得到第一图像像素阵列后，可以对第一图像像素阵列进行重构，由此可以将第一图像像素阵列重构后得到由第一普通像素子阵列及相位检测像素子阵列构成的阵列。

图3为本申请提供的相位信息的构建方式一个实施例的流程示意图，如图3所示，上述步骤202具体包括以下步骤：

步骤301，获取第一相位信息值；其中，第一相位信息值为相位检测像素子阵列的相位检测像素的相位信息值。

具体地，当获取到相位检测像素子阵列后，可以在相位检测像素子阵列中获取相位检测像素及第一相位信息值，其中，该第一相位信息值为相位检测像素子阵列的相位检测像素的相位信息值。

现以阵列大小为6000*8000为例，并结合图4a-图4e对相位检测像素的相位信息的获取进行示例性说明。如图4a所示为第一图像像素阵列400的示意图。该第一图像像素阵列400具有6000行像素及8000列像素。接着，将第一图像像素阵列400进行重构，例如，重构的方式可以是将第一图像像素阵列400中每16*16个像素构成一个子阵列，由此可以得到如图4b所示的375*500个子阵列，也就是说，对第一图像像素阵列400进行重构后，该第一图像像素阵列400由375*500个子阵列构成。该375*500个子阵列包括多个第一普通像素子阵列401及多个相位检测像素子阵列402。

如图4b所示，第一图像像素阵列400包括交错排列的第一普通像素子阵列401及相位检测像素子阵列402。其中，每行子阵列中包括第一普通像素子阵列401及相位检测像素子阵列402；每列子阵列中包括第一普通像素子阵列401及相位检测像素子阵列402。

对于每个第一普通像素子阵列401，该第一普通像素子阵列401具有16*16个像素，也就是256个像素，其中，256个像素中不包含相位检测像素。如图4c所示，在第一普通像素子阵列401中的256个像素中，可以包括红色像素411、绿色像素412、蓝色像素413及白色像素414。

对于每个相位检测像素子阵列402，该相位检测像素子阵列402具有16*16个像素，也就是256个像素，其中，256个像素中除包含普通像素之外，还包含16个相位检测像素。如图4d所示，该16个相位检测像素分布在检测像素子阵列402中的第一区域4021、第二区域4022、第三区域4023及第四区域4024，其中，第一区域4021、第二区域4022、第三区域4023及第四区域4024分别包含4个相位检测像素，每个相位检测像素具有相应的相位信息值，也就是第一相位信息值。示例性的，如图4e所示，第一区域4021中的左上相位检测像素的第一相位信息值为TL1，右上相位检测像素的第一相位信息值为TR1，左下相位检测像素的第一相位信息值为BL1，右下相位检测像素的第一相位信息值为BR1；同样地，第二区域4022中的四个相位检测像素的第一相位信息值分别为TL2、TR2、BL2及BR2；第三区域4023中的四个相位检测像素的第一相位信息值分别为TL3、TR3、BL3及BR3，第四区域4024中的四个相位检测像素的第一相位信息值分别为TL4、TR4、BL4及BR4。

步骤302，构建第一参考值及第二参考值，其中，第一参考值为相位检测像素子阵列的相位信息参考值，第二参考值为第一普通像素子阵列的相位信息参考值。

具体地，当获取到相位检测像素子阵列的相位检测像素后，可以进一步构建第一普通像素子阵列及相位检测像素子阵列的相位信息参考值。其中，该相位信息参考值可以由参考区域的参考像素的像素值计算获得。在具体实现时，上述参考区域可以是与目标区域非相邻的区域，上述参考像素可以是参考区域中确定的普通像素。其中，该目标区域为包含相位信息的区域，例如，图4e中的第一区域4021、第二区域4022、第三区域4023及第四区域4024。为说明方便，本文将相位检测像素子阵列的相位信息参考值称为“第一参考值”，将第一普通像素子阵列的相位信息参考值称为“第二参考值”。

现以图4d所示的相位检测像素子阵列402为例，并结合图5a对第一参考值的构建进行说明。可以理解的是，参考区域及参考像素的确定可以满足以下条件：1、参考像素为相同颜色的像素；2、参考像素位于相位检测像素的非相邻区域；3、参考像素越靠近相位检测像素越好；4、参考像素的几何中心位于相位检测像素的中心。如图5a所示，与相位检测像素子阵列402的第一区域4021相邻的区域为第一区域4021外的上、下、左及右等区域，与相位检测像素子阵列402的第一区域4021非相邻的区域包括第一区域4021外的左上、右上、左下及右下等区域。其中，第一区域4021可以认为是目标区域。由于，第一区域4021外的左上、右上、左下及右下等区域是与相位检测像素最靠近的非相邻区域，因此，第一区域4021外的左上、右上、左下及右下等区域可以认为是参考区域。然而，由于第一区域4021外的右下区域为第二区域4022，该第二区域4022也是包含相位检测像素的区域，因此，该第一区域4021外的右下区域，也就是第二区域4022不能作为参考区域。由于需要满足参考像素的几何中心位于相位检测像素的中心的条件，因此，第一区域4021外的左上区域也不能作为参考区域。而第一区域4021外的右上区域501及左下区域502不包含相位检测像素，且包含同色(例如，绿色)的参考像素，由此，可以将第一区域4021外的右上区域501及左下区域502作为参考区域，并可以将第一区域4021外的右上区域501及左下区域502中的绿色像素作为参考像素。示例性的，可以将第一区域4021外的右上区域501中的两个绿色像素，例如，第一绿色像素5011和第二绿色像素5012，作为参考像素，其中，第一绿色像素5011的像素值为M1，第二绿色像素5012的像素值为M2。此外，还可以将第一区域4021外的左下区域502中的两个绿色像素，例如，第三绿色像素5021和第四绿色像素5022，作为参考像素，其中，第三绿色像素5021的像素值为M3，第四绿色像素5022的像素值为M4。接着，可以根据第一区域4021外的右上区域501及左下区域502中的参考像素的像素值计算获得第一区域4021的第一参考值。可以理解的是，第一区域4021中的四个相位检测像素可以构建相同的第一参考值。示例性的，第一区域4021的第一参考值G1＝(M1+M2+M3+M4)/4。

参考第一区域4021的第一参考值的构建方法，同样地，可以构建第二区域4022、第三区域4023及第四区域4024的第一参考值。示例性的，第二区域4022的第一参考值G2＝(M5+M6+M7+M8)/4，第三区域4023的第一参考值G3＝(M9+M10+M11+M12)/4，第四区域4024的第一参考值G4＝(M13+M14+M15+M16)/4，由此可以得到相位检测像素子阵列402的第一参考值，例如，G1、G2、G3及G4。可以理解的是，上述示例仅示例性的示出了通过均值计算构建第一参考值的方式，但并不构成对本申请实施例的限定，在一些实施例中，还可以通过其他数学方式构建第一参考值。

接着，以图4c所示的第一普通像素子阵列401为例，并结合图5b对第二参考值的构建进行说明。如图5b所示，首先在第一普通像素子阵列401中，确定包含相位信息的像素的位置。其中，第一普通像素子阵列401中包含相位信息的像素的位置可以与相位检测像素子阵列402中的相位检测像素的位置一致。示例性的，第一普通像素子阵列401包括第五区域4011、第六区域4012、第七区域4013及第八区域4014。

可以理解的是，第一普通像素子阵列401的大小与相位检测像素子阵列402的大小一致，第五区域4011、第六区域4012、第七区域4013及第八区域4014在第一普通像素子阵列401中的位置分别与第一区域4021、第二区域4022、第三区域4023及第四区域4024在相位检测像素子阵列402中的位置一致。

接着，可以分别给上述第五区域4011、第六区域4012、第七区域4013及第八区域4014中的像素构建第二参考值。上述第二参考值的计算方式具体可以参考上述第一参考值的计算方式，在此不再赘述。由此可以得到第一普通像素子阵列401的第二参考值，示例性的，第五区域4011中的第二参考值G1’＝(N1+N2+N3+N4)/4，第六区域4012中的第二参考值G2’＝(N5+N6+N7+N8)/4，第七区域4013中的第二参考值G3’＝(N9+N10+N11+N12)/4，第八区域4014中的第二参考值G4’＝(N13+N14+N15+N16)/4。其中，N1、N2、…、N16等为参考像素的像素值。

步骤303，基于第一参考值及第一相位信息值确定第一相位信息差值。

具体地，当获取到第一参考值及第一相位信息值之后，可以基于第一参考值及第一相位信息值确定相位检测像素子阵列的相位信息差值。为说明方便，本文将相位检测像素子阵列的相位信息差值称为“第一相位信息差值”。在具体实现时，第一相位信息差值＝第一相位信息值-第一参考值。

现结合图6对上述第一相位信息差值进行示例性说明。如图6所示，相位检测像素子阵列600包括第九区域6001、第十区域6002、第十一区域6003及第十二区域6004。其中，第九区域6001中包含四个相位检测像素，该四个相位检测像素的第一相位信息差值分别为D1＝TL1-G1，D2＝TR1-G1，D3＝BL1-G1，D4＝BR1-G1。同样地，第十区域6002中的四个相位检测像素的第一相位信息差值分别为D5＝TL2-G2，D6＝TR2-G2，D7＝BL2-G2，D8＝BR2-G2；第十一区域6003中的四个相位检测像素的第一相位信息差值分别为D9＝TL3-G3，D10＝TR3-G3，D11＝BL3-G3，D12＝BR3-G3；第十二区域6004中的四个相位检测像素的第一相位信息差值分别为D13＝TL4-G4，D14＝TR4-G4，D15＝BL4-G4，D16＝BR4-G4。

步骤304，基于相邻两个相位检测像素子阵列的第一相位信息差值，对相邻两个相位检测像素子阵列之间的第一普通像素子阵列进行线性插值，得到第二相位信息差值。

具体地，当获取到第一相位信息差值后，可以基于相邻两个相位检测像素子阵列的第一相位信息差值，对相邻两个相位检测像素子阵列之间的第一普通像素子阵列进行线性插值，由此可以得到第一普通像素子阵列的相位信息差值。为说明方便，本文将第一普通像素子阵列的相位信息差值称为“第二相位信息差值”。

需要说明的是，在进行线性插值时，上述相邻两个相位检测像素子阵列为水平向的相邻两个相位检测像素子阵列。该相邻两个相位检测像素子阵列之间可以包括多个第一普通像素子阵列。

在具体实现时，上述线性插值的方式可以是根据前一个相位检测像素子阵列的第一相位信息差值、后一个相位检测像素子阵列的第一相位信息差值，对两个相邻相位检测像素子阵列之间的第一普通像素子阵列进行线性插值。

现结合图7a和图7b对上述线性插值方式进行示例性说明。如图7a所示，水平方向每两个相邻的相位检测像素子阵列(例如，相位检测像素子阵列701及相位检测像素子阵列702)之间包含2个第一普通像素子阵列(例如第一普通像素子阵列703及第一普通像素子阵列704)。接着，根据前一个相位检测像素子阵列701的第一相位信息差值D_前、后一个相位检测像素子阵列702的第一相位信息差值D_后及L给第一普通像素子阵列703及第一普通像素子阵列704进行线性插值。其中，L＝两个相邻相位检测像素子阵列之间的第一普通像素子阵列的总数+1，L为正整数。示例性的，以图7a为例，由于相位检测像素子阵列701及相位检测像素子阵列702之间包含2个第一普通像素子阵列，因此，L＝3。在进行线性插值后，两个相邻相位检测像素子阵列之间的第i个第二相位信息差值D_{_}i＝D_前+(D_后-D_前)*i/L，其中，i为正整数。

可以理解的是，上述线性插值的方式可以是对两个相邻相位检测像素子阵列之间的所有第一普通像素子阵列进行线性插值，也可以是对两个相邻相位检测像素子阵列之间的部分第一普通像素子阵列进行线性插值，本申请实施例对此不作特殊限定。

示例性的，以两个相邻相位检测像素子阵列之间的第1个第一普通像素子阵列为例，如图7b所示为第1个第一普通像素子阵列的第二相位信息差值。若前一个相位检测像素子阵列701中的16个相位检测像素的第一相位信息差值分别为D1_前、D2_前、…、D16_前；后一个相位检测像素子阵列702中的16个相位检测像素的第一相位信息差值分别为D1_后、D2_后、…、D16_后，则第1个第一普通像素子阵列703中的16个第二相位信息差值分别为D1_1、D2_1、…、D16_1。其中，D1_1＝D1_前+(D1_后-D1_前)/L，D2_1＝D2_前+(D2_后-D2_前)/L，第1个第一普通像素子阵列703中的其余第二相位信息差值，例如D3_1至D16_1可以参考上述D1_1及D2_1的计算方式，在此不再赘述。

步骤305，基于所述第二相位信息差值及第二参考值确定第二相位信息值，以构建第二普通像素子阵列。

具体地，当获取到每个第一普通像素子阵列的第二相位信息差值及第二参考值之后，可以基于所述第二相位信息差值及第二参考值确定第一普通像素子阵列的相位信息值。其中，第一普通像素子阵列的相位信息值可以是第一普通像素子阵列中包含相位信息的普通像素的相位信息的值。需要说明的是，第一普通像素子阵列中的普通像素本身不包含相位信息值，通过给这些普通像素构建相位信息值，可以使得这些普通像素包含相位信息值，从而可以在不增加物理密度的情况下，提高信息密度。

可以理解的是，与相位检测像素子阵列不同的是，相位检测像素子阵列包含相位信息的是在物理上占用的相位检测像素，而第一普通像素子阵列中不包含在物理上占用的相位检测像素，第一普通像素子阵列包含相位信息的是普通像素。在具体实现时，第j个第一普通像素子阵列的第二相位信息值T_j＝D_j+G_j；其中，D_j为第j个第一普通像素子阵列的第二相位信息差值，G_j为第j个第一普通像素子阵列的第二参考值，j为正整数。

现结合图8对上述第二相位信息值进行示例性说明。如图8所示，第一普通像素子阵列800为第j个第一普通像素子阵列，包含第二相位信息差值D_j及第二参考值G_j。基于第二相位信息差值D_j及第二参考值G_j进行求和计算，得到第二相位信息值T_j，由此可以完成对第一普通像素子阵列800的相位信息的构建，从可以得到第二普通像素子阵列801，该第二普通像素子阵列801具有第二相位信息值T_j。

通过构建参考值以及线性差值的方式确定相信信息值，可以快速的构建普通像素的相位信息值，由此可以提高相位信息的构建效率。

步骤203中，当获取到第二普通像素子阵列后，可以基于所述第二普通像素子阵列更新第一图像像素阵列，由此可以得到第二图像像素阵列。其中，第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。

现结合图9对上述第二图像像素阵列进行示例性说明。如图9所示，第二图像像素阵列900包括相位检测像素子阵列901，每两个相邻的相位检测像素子阵列901之间包括多个第二普通像素子阵列902，其中，每个第二普通像素子阵列902包含相位信息。

可见，虽然在普通像素子阵列的普通像素中构建了相位信息，但是没有增加在物理上占用的相位检测像素，因此，不会增加相位检测像素物理密度。然而，通过在普通像素子阵列的普通像素中构建了相位信息，可以提高相位检测像素信息密度，由此可以在在不增加相位检测像素物理密度的情况下，提高相位检测像素的信息密度，从而既能保证图像传感器成像质量，又可以提升相位检测结果和自动对焦结果的准确性。

图10为本申请信息密度提高装置一个实施例的结构示意图，如图10所示，上述信息密度提高装置1000可以包括：获取模块1010、构建模块1020及更新模块1030；其中，

获取模块1010，用于获取第一图像像素阵列，其中，第一图像像素阵列包括第一普通像素子阵列及相位检测像素子阵列；

构建模块1020，用于根据相位检测像素子阵列的相位信息构建第一普通像素子阵列的相位信息，得到第二普通像素子阵列；

更新模块1030，用于更新第一图像像素阵列，得到第二图像像素阵列，其中，第二图像像素阵列包括第二普通像素子阵列及相位检测像素子阵列。

其中一种可能的实现方式中，上述构建模块1020还用于

获取第一相位信息值；其中，第一相位信息值为相位检测像素子阵列的相位检测像素的相位信息值；

构建第一参考值及第二参考值，其中，第一参考值为相位检测像素子阵列的相位信息参考值，第二参考值为第一普通像素子阵列的相位信息参考值；

基于第一参考值及第一相位信息值确定第一相位信息差值，其中，第一相位信息差值为相位检测像素子阵列的相位信息差值；

基于相邻两个相位检测像素子阵列的第一相位信息差值，对相邻两个相位检测像素子阵列间的第一普通像素子阵列进行线性插值，得到第二相位信息差值，其中，第二相位信息差值为第一普通像素子阵列的相位信息差值；

基于所述第二相位信息差值及第二参考值确定第二相位信息值，以构建第二普通像素子阵列，其中，第二相位信息值为第二普通像素子阵列的相位信息值。

其中一种可能的实现方式中，上述构建模块1020还用于

获取参考区域中的参考像素；

根据参考区域的参考像素的像素值构建第一参考值及第二参考值。

其中一种可能的实现方式中，参考区域为与目标区域非相邻的区域，其中，目标区域为包含相位信息的区域。

其中一种可能的实现方式中，参考区域为与目标区域最靠近的右上及左下两个对角区域。

其中一种可能的实现方式中，参考像素为同色普通像素。

其中一种可能的实现方式中，第一普通像素子阵列及相位检测像素子阵列由第一图像像素阵列重构后获得。

图11为本申请实施例提供的一种电子设备1100的结构示意图，上述电子设备1100可以包括：至少一个处理器；以及与上述处理器通信连接的至少一个存储器。上述电子设备1100可以为图像传感器。上述存储器存储有可被上述处理器执行的程序指令，处理器可调用上述程序指令能够执行本申请实施例提供的图像传感器执行的动作。

如图11所示，电子设备1100可以以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：一个或者多个处理器1110，存储器1120，连接不同系统组件(包括存储器1120和处理器1110)的通信总线1140及通信接口1130。

通信总线1140表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnection，PCI)总线。

电子设备1100典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备1100访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器1120可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)和/或高速缓存存储器。电子设备1100可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)、数字多功能只读光盘(Digital Video Disc Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与通信总线1140相连。存储器1120可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器1120中，这样的程序模块包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本申请所描述的实施例中的功能和/或方法。

电子设备1100也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过通信接口1130进行。并且，电子设备1100还可以通过网络适配器(图11中未示出)与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信，上述网络适配器可以通过通信总线1140与电子设备的其它模块通信。应当明白，尽管图11中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays ofIndependent Drives，RAID)系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息密度提高方法，其特征在于，所述方法包括：

获取第一图像像素阵列，其中，所述第一图像像素阵列包括第一普通像素子阵列及相位检测像素子阵列；

根据所述相位检测像素子阵列的相位信息构建所述第一普通像素子阵列的相位信息，得到第二普通像素子阵列；

更新所述第一图像像素阵列，得到第二图像像素阵列，其中，所述第二图像像素阵列包括所述第二普通像素子阵列及所述相位检测像素子阵列。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相位检测像素子阵列的相位信息构建所述第一普通像素子阵列的相位信息，得到第二普通像素子阵列包括：

获取第一相位信息值，其中，所述第一相位信息值为所述相位检测像素子阵列的相位检测像素的相位信息值；

构建第一参考值及第二参考值，其中，所述第一参考值为所述相位检测像素子阵列的相位信息参考值，所述第二参考值为所述第一普通像素子阵列的相位信息参考值；

基于所述第一参考值及所述第一相位信息值确定第一相位信息差值，其中，第一相位信息差值为所述相位检测像素子阵列的相位信息差值；

基于相邻两个相位检测像素子阵列的第一相位信息差值，对相邻两个相位检测像素子阵列间的第一普通像素子阵列进行线性插值，得到第二相位信息差值，其中，所述第二相位信息差值为所述第一普通像素子阵列的相位信息差值；

基于所述第二相位信息差值及所述第二参考值确定第二相位信息值，以构建第二普通像素子阵列，其中，所述第二相位信息值为所述第二普通像素子阵列的相位信息值。

3.根据权利要求2所述的方法，其特征在于，所述构建第一参考值及第二参考值包括：

获取参考区域中的参考像素；

根据所述参考区域的参考像素的像素值构建第一参考值及第二参考值。

4.根据权利要求3所述的方法，其特征在于，所述参考区域为与目标区域非相邻的区域，其中，所述目标区域为包含相位信息的区域。

5.根据权利要求4所述的方法，其特征在于，所述参考区域为与所述目标区域最靠近的右上及左下两个对角区域。

6.根据权利要求5所述的方法，其特征在于，所述参考像素为同色普通像素。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一普通像素子阵列及所述相位检测像素子阵列由所述第一图像像素阵列重构后获得。

8.一种信息密度提高装置，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于运行所述计算机程序，实现如权利要求1-7任一所述的信息密度提高方法。

9.一种图像传感器，包括如权利要求8所述的信息密度提高装置。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，实现如权利要求1-7任一所述的信息密度提高方法。

Images