CN110312089B - 一种图像处理方法、装置和存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理装置、方法和存储介质，该图像处理装置包括：像素单元，用于将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个PD；读出电路，用于依次读出所述像素单元中至少三个PD的电信号。如此，由于像素单元为单个像素对应的光电转换电路，且像素单元包括至少三个PD，通过读出电路可以实现依次读出所述像素单元中至少三个PD的电信号，因此可以通过同一读出电路，实现对像素单元中至少三个PD上电信号的读出，提高了图像处理装置读出电路的空间利用率。

Description

一种图像处理方法、装置和存储介质

技术领域

本申请涉及图像处理技术，尤其涉及一种图像处理方法、装置和存储介质。

背景技术

互补金属氧化物半导体图像传感器(Complementary Metal OxideSemiconductor Image Sensor，CIS)是由像素单元、模拟电路、读出电路和缓存等组成的，现有移动终端中CIS信号读出方式为：多个像素单元共享一个读出电路，目前最多可以做到8个像素单元共享一个读出电路。

然而，由于相关技术中，仅仅可以在一个像素单元包括一个光电二极管(Photo-Diode，PD)时，实现多个像素单元共享一个读出电路，当一个像素单元包括至少3个PD时，一个像素单元中的至少3个PD分别对应至少3个读出电路，读出电路的空间利用率较低，且读出信号的一致性较低。

发明内容

本申请实施例期望提供一种图像处理方法、装置和存储介质。

本申请的技术方案是这样实现的：

本申请实施例提供了一种图像处理装置，所述装置包括：

像素单元，用于将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个PD；

读出电路，用于依次读出所述像素单元中至少三个PD的电信号。

上述方案中，所述装置还包括：

复位电路，所述复位电路用于生成复位信号，所述复位信号用于对所述读出电路进行复位。

在上述图像处理装置中，所述至少三个PD包括第一PD、第二PD和第三PD，所述读出电路具体用于，在依次获取复位信号和第一选通信号时，读出第一PD上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD上的电信号。

上述方案中，所述像素单元中PD的尺寸为亚波长尺寸。

上述方案中，所述至少三个PD用于将不同波长的光信号转化为电信号。

上述方案中，所述装置还包括：信号转换电路，用于将读出的电信号转换为数字信号。

本申请实施例还提供了一种图像处理方法，应用于图像处理装置，所述图像处理装置包括像素单元和读出电路，所述方法包括：

通过像素单元将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个光电二极管PD柱；

通过读出电路依次读出所述光电转换电路中至少三个PD的电信号。

上述方案中，所述方法还包括：生成复位信号，所述复位信号用于对所述读出电路进行复位。

上述方案中，所述至少三个PD包括第一PD、第二PD和第三PD，所述依次读出所述光电转换电路中至少三个PD的电信号，包括：在依次获取复位信号和第一选通信号时，读出第一PD上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD上的电信号。

上述方案中，所述方法还包括：将读出的所述电信号转换为数字信号。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，应用于图像处理装置，该计算机程序被处理器执行时实现上述任意一种图像处理方法。

本申请实施例提供了一种图像处理装置、方法和存储介质，该图像处理装置包括：像素单元，用于将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个PD；读出电路，用于依次读出所述像素单元中至少三个PD的电信号。如此，由于像素单元为单个像素对应的光电转换电路，且像素单元包括至少三个PD，通过读出电路可以实现依次读出所述像素单元中至少三个PD的电信号，因此可以通过同一读出电路，实现对像素单元中至少三个PD上电信号的读出，进而，由于同一读出电路的读出噪声和模式固定噪声是相同的，因此，在提高图像处理装置读出电路的空间利用率的同时，也保证了读出信号的一致性。

附图说明

图1为相关技术中传统CIS的电路结构示意图；

图2为本申请实施例的图像处理装置的结构示意图；

图3为本申请应用实施例提供的一种亚波长像素彩色CIS的单个像素单元中PD柱的排布的俯视示意图；

图4为本申请应用实施例提供的一种亚波长像素彩色CIS的像素结构的电路截面示意图；

图5为本申请应用实施例提供的一种亚波长像素彩色CIS的电路结构示意图；

图6为本申请实施例提供的图像处理方法流程示意图。

具体实施方式

以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本申请，并不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。

需要说明的是，在本申请实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。

例如，本申请实施例提供的图像处理方法包含了一系列的步骤，但是本申请实施例提供的图像处理方法不限于所记载的步骤，同样地，本申请实施例提供的图像处理装置包括了一系列的电路模块，但是本申请实施例提供的装置不限于包括所明确记载的电路模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。

本申请实施例提供的一种图像处理装置适用于通过光电装换电路进行图像处理的场景下。

传统CIS的读出方式如图1所示，图1中，4个像素单元共享一个读出电路，通过像素单元将光信号转化为电信号。具体地，首先通过4个像素单元将转化后的光信号存储在PD的n+区，然后，通过选通端子TX，将4个像素单元上的电信号分别转移FD点，进行放大并存储，即，分别读取4个像素单元上的电信号。其中，当复位开关RST未复位时，选择读取当前选通的TX对应的PD或像素单元对应的电信号，当RST复位时，复位读出当前(由可以读出复位为不可以读出)选通的TX对应的PD或像素单元的电信号。通过行选开关SEL可以对像素单元阵列进行行选，以实现对应行的电信号输出；输出OUT是指电信号的输出、V_AAPIX是一个电压源，用于偏执放大电路的晶体管，控制放大输出信号或支持RST复位。

可以看出，一个像素单元包括一个PD的传统CIS读出方式，可以实现多个像素单元共享一个读出电路，当一个像素单元包括至少3个PD柱时，一个像素单元中的至少3个PD分别对应至少3个读出电路，读出电路的空间利用率较低，且读出信号的一致性较低。

针对上述技术问题，提出以下各实施例。

第一实施例

本申请第一实施例提出了一种图像处理装置，图2为本申请实施例的图像处理装置的结构示意图，如图2所示，该图像处理装置200可以包括：

像素单元201，用于将光信号转化为单个像素对应的电信号；所述像素单元201包括至少三个PD；

读出电路202，用于依次读出所述像素单元中至少三个PD的电信号。

本申请实施例中，对于将光信号转化为单个像素对应的电信号的具体实施方式，可以是单个像素中包含的至少三个PD吸收的单色光在PD耗尽区发生光电转换。

所述读出电路，具体可以包括选取电路，选取电路可以确定需要读出所述至少三个PD中的具体哪一个PD的电信号；进一步地，所述读出电路还可以包括放大电路，放大电路可以对读出的电信号进行放大，使得读出的电信号的大小处于便于进行后续处理的范围内。由于像素单元中包含至少三个PD，因此可以通过同一读出电路依次读出至少三个PD的电信号。

可以看出，由于像素单元为单个像素对应的光电转换电路，且像素单元包括至少三个PD，读出电路可以实现依次读出所述像素单元中至少三个PD的电信号，因此可以通过同一读出电路，实现对像素单元中至少三个PD上电信号的读出，进而，由于同一读出电路的读出噪声和模式固定噪声是相同的，因此，在提高图像处理装置读出电路的空间利用率同时，也保证了读出信号的一致性。

当图像处理装置包括多个像素单元组成的像素阵列以及多个读出电路时，图像处理装置可以是一个CIS，进而，通过像素单元中至少三个PD共享同一读出电路，可以降低对像素单元中至少三个PD排列位置的要求，提高了CIS的良品率。

本申请实施例中，所述图像处理装置还可以包括复位电路，所述复位电路用于生成复位信号，所述复位信号用于对所述读出电路进行复位。

对于复位电路的具体工作方式，示例性地，可以是在读出PD上的电信号时，复位电路不产生复位信号或复位电路产生低电平的复位信号，以确保电信号的读出；在读出PD上的电信号后，复位电路产生复位信号或复位电路产生高电平的复位信号，以实现对读出电路的复位，在复位后，复位电路瞬间不产生复位信号或复位电路的复位信号瞬间由高电平跳变为低电平，如此，可以实现对至少三个PD的电信号的依次读出。

可选地，复位电路中可以包括复位开关，复位开关可以是场效应管。

本申请实施例中，所述至少三个PD可以包括第一PD、第二PD和第三PD，所述读出电路可以具体用于，在依次获取复位信号和第一选通信号时，读出第一PD上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD上的电信号。

可选地，图像处理装置中的所述像素单元中PD的尺寸可以为亚波长尺寸。需要说明的是，亚波长是指结构的特征尺寸与工作波长相当或更小的周期(或非周期)结构，当至少三个PD的尺寸为红色(Red，R)、绿色(Green，G)、蓝色(Blue，B)三种不同波长对应的三个PD，像素单元的尺寸小于R、G、B波长中的任意一个，像素单元的尺寸为亚波长级别，对应的三个PD也为亚波长级别。具体地，其中，R波长可以为625nm至740nm；G波长可以为492nm至577nm；B波长可以为440nm至475nm，当R波长、G波长以及B波长分别为625nm、492nm、440nm时，可以在小于或者等于400nm范围内确定像素单元对应的亚波长像素尺寸，进而，亚波长尺寸为百纳米级别，可以将图像处理装置应用于亚波长像素领域，其中，亚波长像素单元的类型可以是偏振式亚波长像素单元、单色亚波长像素单元、黑白亚波长像素单元和RYYB、RWWB亚波长像素单元等，其中，RYYB亚波长像素单元是基于RYYB颜色通道构成的像素单元，RYYB颜色通道包括：红色通道、黄色通道、黄色通道和蓝色通道，RWWB亚波长像素单元是基于RWWB颜色通道构成的像素单元，RWWB颜色通道包括：红色通道、白色通道、白色通道和蓝色通道。

可选地，像素单元中的至少三个PD可以用于将不同波长的光信号转化为电信号。

可以看出，在本申请实施例中，不同波长的光信号可以为至少三种以上的波长的光信号，例如，可以是红光对应的第一波长的光信号、绿光对应的第二波长的光信号以及蓝光对应的第三波长的光信号，所述像素单元中的至少三个PD，可以是分别针对第一波长、第二波长和第三波长设置的三个不同尺寸参数的PD，一个尺寸参数的PD的数量可以为至少一个，本申请不作具体限定。像素单元中的至少三个PD可以通过光学共振，分别同时对应吸收不同波长的光，使得光学密度得到了极大的增强，提高了对光的吸收效率。

进一步地，这里不对PD的形状进行限制，PD可以为圆柱形也可以为其它正多边形柱。

在本申请实施例中，图像处理装置还包括信号转换电路，用于将输出的电信号转换为数字信号。如此，在将输出的电信号转换为数字信号后，可以将数字信号通过缓存进行保存，得到对应的图像。

第二实施例

在本申请第一实施例的基础上，下面通过具体的应用实施例进行进一步的举例说明。

该应用实施例的图像处理装置中，每个亚波长像素单元内排布3根不同直径的圆柱形PD柱，分别对应吸收R、G、B三种不同波长的光。由于PD柱的光学共振，使得PD柱上的光学态密度得到了极大增强，从而提高了R、G、B三个波段光的吸收。当光子转化为电子后，通过读出电路分别读出R、G、B三个通道的电信号，并将电信号转化为数字信号在缓存中进行存储，得到未经加工RAW的图像。

下面通过图3说明本申请应用实施例的亚波长像素彩色CIS的单个像素单元中PD柱的排布；图3为一种亚波长像素彩色CIS的单个像素单元中PD柱的排布的俯视示意图，其中，CIS的每个像素单元中含有3个圆柱形PD柱(蓝色PD柱对应的直径60nm左右，绿色PD柱对应的直径90nm，红色PD柱对应的直径120nm)，通过圆柱形PD结构的光学共振，分别可以增强RGB三个波长对应的光在PD柱结构里面的光学态密度，提高局部的光强，将局部的能量增强了一个数量级以上，从而提高CIS的量子效率。

下面通过图4说明本申请应用实施例的亚波长像素彩色CIS的像素结构的电路结构；图4是一种亚波长像素彩色CIS的像素结构的电路截面示意图，像素单元中的R、G、B三个通道分别吸收入射光的R、G、B分量，转换成电信号后，再依次读出并保存到缓存当中。

下面通过图5说明本申请应用实施例的亚波长像素彩色CIS的电路结构；图5是一种亚波长像素彩色CIS的电路结构示意图，图5中，R、G、B三个通道的PD柱共享读出电路，入射光信号在PD柱耗尽区发生光电转换生成电信号，将电信号存储在光电二极管的n+区，然后分别选通TX1、TX2和TX3，依次读出R、G、B三个通道的信号。具体地，当RST未复位，TX1选通时，R通道的信号转移到FD点，然后对信号进行放大读出，并将其存入缓存；在RST复位后选通TX2，将G通道的信号转移到FD点，然后对信号进行放大读出，并将其存入缓存；最后再次复位RST，选通TX3，将B通道的信号转移到FD点，然后对信号进行放大读出，并将其存入缓存，从而分别读出R、G、B三个通道的电信号并存入缓存当中，获得输出的R、G、B通道的RAW图像，以便对图像进行后面的处理。

参照图5，当图像处理装置为亚波长像素彩色CIS时，本申请应用实施例的结构具体包括：

亚波长像素单元，用于通过每个亚波长像素单元内排布3根不同直径的圆柱形PD柱，分别对应吸收RGB三种不同波长的光；

读出电路，用于依次选取并读出R、G、B三个PD柱上的电信号。

本申请实施例中，通过亚波长像素单元将入射光的光子转化为电子，然后通过读出电路依次读出R、G、B三个PD柱对应的3个通道的电荷，并存储在缓存当中，输出得到RAW图像。

本申请实施例是针对一个像素对应的3个通道(对应3个PD)共用一个读出电路进行信号读出的情况，当然可以扩展到两个像素对应的6个通道共用同一读出电路进行电信号读出，当然，如果工艺允许，也可以扩展到3个像素对应的9个通道共用同一读出电路进行信号读出。

第三实施例

本申请实施例提供一种图像处理方法，应用于图像处理装置，该图像处理装置包括像素单元和读出电路，如图6所示，该方法可以包括：

步骤601：通过像素单元将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个光电二极管PD。

步骤602：通过读出电路依次选取并读出所述像素单元中至少三个PD的电信号。

可以看出，由于像素单元为单个像素对应的光电转换电路，且像素单元包括至少三个PD，读出电路可以实现依次读出所述像素单元中至少三个PD的电信号，因此可以通过同一读出电路，实现对像素单元中至少三个PD上电信号的读出，进而，由于同一读出电路的读出噪声和模式固定噪声是相同的，因此，在提高图像处理装置读出电路的空间利用率同时，也保证了读出信号的一致性。

当图像处理装置包括多个像素单元组成的像素阵列以及多个读出电路时，图像处理装置可以是一个CIS，进而，通过像素单元中至少三个PD共享同一读出电路，可以降低对像素单元中至少三个PD排列位置的要求，提高了CIS的良品率。

本申请实施例提供的一种图像处理方法适用于通过光电转化电路进行图像处理的场景下。

本申请实施例中，所述方法还包括：生成复位信号，所述复位信号用于对所述读出电路进行复位。可以在读出一个PD的电信号后，对读出电路进行复位，进而依次读出其它PD的电信号。

本申请实施例中，所述至少三个PD包括第一PD、第二PD和第三PD，所述依次读出所述光电转换电路中至少三个PD的电信号，包括：在依次获取复位信号和第一选通信号时，读出第一PD上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD上的电信号。可以实现对至少三个PD上电信号的依次读出。

本申请实施例中，所述方法还包括：将读出的所述电信号转换为数字信号。如此，在将输出的电信号转换为数字信号后，可以将数字信号通过缓存进行保存，得到对应的图像。

第四实施例

本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像处理装置中，该计算机程序实现如实施例三所述的图像处理方法。

具体来讲，本实施例中的一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：

将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个PD；依次读出所述像素单元中至少三个PD的电信号。

在本申请的实施例中，进一步地，所述至少三个PD包括第一PD、第二PD和第三PD，所述图像处理装置包括读出电路、复位电路，所述利用所述读出电路和复位电路读出所述电信号，上述一个或者多个程序被上述一个或者多个处理器执行，具体实现以下步骤：

在依次获取复位信号和第一选通信号时，读出第一PD上的电信号；

在依次获取复位信号和第二选通信号时，读出第二PD上的电信号；

在依次获取复位信号和第三选通信号时，读出第三PD上的电信号。

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims (10)

1.一种图像处理装置，其特征在于，所述装置包括：

像素单元，用于将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个光电二极管PD柱；

读出电路，用于利用同一个读出电路依次读出所述像素单元中至少三个PD柱的电信号；

其中，不同直径的PD柱对应吸收不同波长的光信号，并将对应的光信号转化为电信号。

2.根据权利要求1所述的图像处理装置，其特征在于，所述装置还包括复位电路，所述复位电路用于生成复位信号，所述复位信号用于对所述读出电路进行复位。

3.根据权利要求2所述的图像处理装置，其特征在于，所述至少三个PD柱包括第一PD柱、第二PD柱和第三PD柱，所述读出电路具体用于，在依次获取复位信号和第一选通信号时，读出第一PD柱上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD柱上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD柱上的电信号。

4.根据权利要求1所述的图像处理装置，其特征在于，所述像素单元中PD柱的尺寸为亚波长尺寸。

5.根据权利要求1至4任一项所述的图像处理装置，其特征在于，所述装置还包括信号转换电路，用于将读出的电信号转换为数字信号。

6.一种图像处理方法，其特征在于，应用于图像处理装置，所述图像处理装置包括像素单元和读出电路，所述方法包括：

通过像素单元将光信号转化为单个像素对应的电信号；所述像素单元包括至少三个光电二极管PD柱；

通过同一个读出电路依次读出光电转换电路中至少三个PD柱的电信号；

其中，不同直径的PD柱对应吸收不同波长的光信号，并将对应的光信号转化为电信号。

7.根据权利要求6所述的图像处理方法，其特征在于，所述方法还包括：生成复位信号，所述复位信号用于对所述读出电路进行复位。

8.根据权利要求7所述的图像处理方法，其特征在于，所述至少三个PD柱包括第一PD柱、第二PD柱和第三PD柱，所述依次读出光电转换电路中至少三个PD柱的电信号，包括：在依次获取复位信号和第一选通信号时，读出第一PD柱上的电信号；在依次获取复位信号和第二选通信号时，读出第二PD柱上的电信号；在依次获取复位信号和第三选通信号时，读出第三PD柱上的电信号。

9.根据权利要求6至8任一项所述的图像处理方法，其特征在于，所述方法还包括：将读出的所述电信号转换为数字信号。

10.一种存储介质，其上存储有计算机程序，应用于图像处理装置，其特征在于，该计算机程序被处理器执行时实现如权利要求6-9任一项所述的方法。

Images