CN111818283A - 三角形像素的图像传感器、电子设备及成像方法 - Google Patents
三角形像素的图像传感器、电子设备及成像方法 Download PDFInfo
- Publication number
- CN111818283A CN111818283A CN202010669385.6A CN202010669385A CN111818283A CN 111818283 A CN111818283 A CN 111818283A CN 202010669385 A CN202010669385 A CN 202010669385A CN 111818283 A CN111818283 A CN 111818283A
- Authority
- CN
- China
- Prior art keywords
- pixel
- array
- color
- triangular
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 239000000758 substrate Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 210000001624 hip Anatomy 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 30
- 238000013461 design Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 6
- 239000002184 metal Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请提供一种三角形像素的图像传感器、电子设备及成像方法，通过颜色滤镜阵列、像素阵列和电路的协同工作输出像素阵列中实际像素点的颜色数据，通过将像素阵列中的像素单元设计成等腰三角形的形状，且该等腰三角形的底边与底边上的高长度相等，其为后续电子设备中的像素点扩充提供了实现基础。在包括该图像传感器的电子设备中，图像信号处理器在获取到像素阵列中所有实际像素点的颜色数据后通过在像素阵列中设置虚拟像素点，得到像素点阵列并计算出像素点阵列中每个像素点的颜色分量信息。该技术方案中，像素点阵列中的像素点数量是像素单元数量的2倍，在不增大像素区域面积的前提下，提高了图像的分辨率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种三角形像素的图像传感器、电子设备及成像方法。
背景技术
固态图像传感器是一种可将光学图像转换成数字信号的固态集成元件，主要基于半导体材料的光电转换效应进行成像，目前已经广泛应用于消费电子、安防、汽车及工业领域。
现有技术中，图像传感器输出图像的分辨率主要由图像传感器中的像素阵列决定，例如，若一个图像传感器中布局有x*y个方形像素单元分别沿水平方形、竖直方向排布成y行、x列的像素阵列，则该图像传感器理论上所拍摄图像的最大分辨率为x*y，其中，x和y为正整数。若想进一步提高图像的分辨率，则需要增加图像传感器上的像素单元数量或者降低单个像素单元的尺寸。
然而，上述提高图像分辨率的方式中，增加图像传感器上像素单元的数量可能会导致图像传感器的体积扩大，导致制造成本增加，而减小像素尺寸可能会导致图像传感器的性能变差，造成图像质量下降，因而，如何在保证图像传感器的性能且不增加制造成本的基础上，提高图像分辨率是亟待解决的问题。
发明内容
本申请提供一种三角形像素的图像传感器、电子设备及成像方法，用于提高电子设备输出图像的分辨率。
第一方面，本申请实施例提供一种三角形像素的图像传感器，包括：像素阵列、设置在所述像素阵列上方的颜色滤镜阵列以及与所述像素阵列连接的电路；
所述像素阵列由多个三角形像素单元排布形成，每个三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边与所述底边上的高长度相等；
所述颜色滤镜阵列用于对接收的入射光信号进行过滤，输出不同的光色信号；
所述像素阵列用于在所述电路的控制作用下通过包括的每个三角形像素单元对接收的不同光色信号进行光电转换，输出电信号；
所述电路还用于对所述像素阵列输出的电信号进行处理，输出所述像素阵列中所有实际像素点的颜色数据。
在本申请的实施例中，通过颜色滤镜阵列、像素阵列和电路的协同工作可以输出像素阵列中所有实际像素点的颜色数据，而且通过将像素阵列中的像素单元设计成等腰三角形的形状，且该等腰三角形的底边与底边上的高长度相等，其为后续电子设备中的像素点扩充提供了实现基础。
在第一方面的一种可能设计中，所述像素阵列的排布方式如下：
在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于所述底边上高的长度；
所述第一方向和所述第二方向正交。
在第一方面的另一种可能设计中，所述像素阵列的排布方式如下：
在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边重合或者相邻两个三角形像素单元底边对应的顶点重合；
所述第一方向和所述第二方向正交。
在本实施例中，像素阵列可以通过不同的排布方式实现，均能够为后续对像素点的扩充提供实现基础。
在第一方面的再一种可能设计中，所述颜色滤镜阵列包括颜色不同的第一颜色滤镜、第二颜色滤镜和第三颜色滤镜；
所述颜色滤镜阵列的排布方式如下：
在所述第一方向上，所述第一颜色滤镜间隔设置，所述第二颜色滤镜和所述第三颜色滤镜交替设置在两个第一颜色滤镜之间；
在所述第二方向上，所述第一颜色滤镜连续设置，所述第二颜色滤镜和所述第三颜色滤镜交替设置。
利用上述排布方式的颜色滤镜阵列，能够控制像素单元产生不同的颜色数据，为后续得到彩色图像奠定了基础。
在第一方面的又一种可能设计中，每个三角形像素单元对应的实际像素点通过所述三角形像素单元所在等腰三角形的垂心表示。
在第一方面的又一种可能设计中，所述图像传感器还包括用于部署像素阵列的衬底，所述衬底的背面朝向所述入射光信号的方向。
在本申请的实施例中，针对三角形像素单元的填充因子低的问题，图像传感器采用背照式的结构，能够增大像素单元的有效感光面积。
第二方面，本申请实施例提供了一种电子设备，包括：依次连接的图像传感器、图像信号处理器；
所述图像传感器包括由多个三角形像素单元排布形成的像素阵列、设置在所述像素阵列上方的颜色滤镜阵列和电路；每个三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边与所述底边上的高长度相等；
所述图像传感器用于通过所述颜色滤镜阵列、所述电路和所述像素阵列对入射光信号进行光电转换和处理，输出所述像素阵列中所有实际像素点的颜色数据；
所述图像信号处理器用于在所述像素阵列中设置虚拟像素点，得到像素点阵列，并根据所述像素阵列中所有实际像素点的颜色数据计算所述像素点阵列中每个像素点的颜色分量信息。
在本申请实施例中，通过图像传感器中像素单元的形状、排布方式进行限定，使得电子设备中的图像信号处理器可以通过设置虚拟像素点的方式得到像素点数量大于像素单元数量的像素点阵列，并能够计算出每个像素点的颜色分量信息，使得电子设备输出的图像的最大分辨率可以达到实际像素单元数量的两倍，从而在不增大图像传感器中像素阵列面积的前提下，且保证图像传感器性能的基础上，提高了图像的分辨率。
在第二方面的一种可能设计中，所述图像信号处理器具体用于在所述像素阵列中所有实际像素点所形成间隙的第一位置处依次插入多个虚拟像素点，得到由所述实际像素点和所述虚拟像素点构成的所述像素点阵列，所述第一位置位于所述像素阵列中由实际像素点形成的行方向和列方向的交叉点处。
在第二方面的另一种可能设计中，所述图像信号处理器具体用于通过在所述像素阵列包括的每个三角形像素单元的内切正方形的四个顶点处分别设置虚拟像素点，得到由设置的所有虚拟像素点构成的所述像素点阵列。
通过上述两种不同的可能设计方式进行设置虚拟像素点，在生成图像时，参与计算的像素点数量是实际像素点数量的两倍，生成图像的分辨率也达到了像素阵列中三角形像素单元数量的2倍，从而在不增加像素阵列11中像素单元数量的前提下，提高了分辨率。
在第二方面的上述各可能设计中，所述像素点阵列中每个像素点的颜色分量信息为相邻的预设数量个同色实际像素点的颜色数据的加权和。
在第二方面的再一种各可能设计中，所述电子设备还包括：与所述图像信号处理器连接的显示器；
所述图像信号处理器还用于对所述像素点阵列中每个像素点的颜色分量信息进行处理，得到图像信号，并将所述图像信号传输至所述显示器；
所述显示器用于显示图像信号对应的彩色图像。
在第二方面的又一种各可能设计中，所述像素点阵列中像素点的数量是所述像素阵列中三角形像素单元数量的2倍。
第三方面，本申请实施例提供一种电子设备的成像方法，应用于第二方面所述的电子设备，所述方法包括：
利用图像传感器对入射光信号进行光电转换，输出像素阵列中所有实际像素点的颜色数据；
通过在所述像素阵列中设置虚拟像素点，得到像素点阵列；
根据所述像素阵列中所有实际像素点的颜色数据，计算所述像素点阵列中每个像素点的颜色分量信息；
对所述像素点阵列中每个像素点的颜色分量信息进行处理，得到彩色图像并输出所述彩色图像。
本申请实施例提供的三角形像素的图像传感器、电子设备及成像方法，通过颜色滤镜阵列、像素阵列和电路的协同工作输出像素阵列中实际像素点的颜色数据，通过将像素阵列中的像素单元设计成等腰三角形的形状，且该等腰三角形的底边与底边上的高长度相等，其为后续电子设备中的像素点扩充提供了实现基础。在包括该图像传感器的电子设备中，图像信号处理器在获取到像素阵列中所有实际像素点的颜色数据后通过在像素阵列中设置虚拟像素点，得到像素点阵列并计算出像素点阵列中每个像素点的颜色分量信息。该技术方案中，像素点阵列中的像素点数量是像素单元数量的2倍，在不增大像素区域面积的前提下，提高了图像的分辨率。
附图说明
图1为本申请第一实施例提供的三角形像素的图像传感器的结构示意图；
图2为图1所示实施例中三角形像素单元的形状示意图；
图3为图1所示图像传感器中像素阵列的一种排布示意图；
图4为图1所示图像传感器中像素阵列的另一种排布示意图；
图5a为图3所示像素阵列中颜色滤镜阵列的设置方式的示意图；
图5b为图3所示像素阵列中三角形像素单元对应实际像素点的分布示意图；
图6a为图4所示像素阵列中颜色滤镜阵列的设置方式的示意图；
图6b为图4所示像素阵列中三角形像素单元对应实际像素点的分布示意图；
图7为本申请第二实施例提供的三角形像素的图像传感器的结构示意图；
图8是本申请第三实施例提供的三角形像素的图像传感器的截面结构示意图；
图9为本申请第一实施例提供的电子设备的结构示意图；
图10为图9所示电子设备形成像素点阵列的一种实现方式示意图；
图11为图9所示电子设备形成像素点阵列的另一种实现方式示意图；
图12为本申请实施例提供的电子设备的成像方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着多媒体系统的发展，图像传感器是人们关注的焦点，尤其是固态图像传感器，其是一种可将光学图像转换成数字信号的固态集成元件，主要基于半导体材料的光电转换效应进行成像。由于固态图像传感器具有体积小、重量轻、集成度高、分辨率高、功耗低、寿命长、价格低等有点，目前已经广泛应用于消费电子、安防、汽车及工业领域。
目前，固态图像传感器主要有电荷耦合器件(charge coupled device，CCD)和互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)两种。其中，CCD是应用在摄影摄像方面的高端技术元件，其具有低照度效果好、信噪比高、通透感强、色彩还原能力佳等优点，在交通、医疗等高端领域中广泛应用。CMOS则应用于较低影像品质的产品中，其具有集成度高、功耗小、速度快、成本低等特点。
总的来说，固态图像传感器的成像原理主要是基于半导体材料的光电转换效应，即在图像传感器的半导体衬底上设置由大量像素单元(Pixel)组成的像素阵列(PixelArray)，每一个像素单元包括感光单元(Photosensitive Element)以及读出电路。当光投射到像素阵列上时，每一个像素单元均发生光电转换，所产生的电荷(电信号)经读出电路读出，到达图像传感器的模数转换电路(analog-to-digital converter，ADC)转变为数字信号，数字信号再经过图像信号处理器(image signal processor，ISP)处理后输出图像。
若想采集彩色图像，则图像传感器还包括颜色滤镜阵列(color filter array，CFA)，其设置在像素阵列的上方。目前，图像传感器的颜色滤镜阵列通常采用拜耳模式(Bayer Pattern)阵列，该拜耳模式阵列包含红、绿、蓝三种颜色的颜色滤镜，基本单元是一个2×2的阵列，每个2×2的阵列包括1个红色滤镜R、一个蓝色滤镜B以及2个绿色滤镜G。因而，像素阵列中的任意一个像素只能获得红、绿、蓝三种颜色中某一种颜色的信息。因此，要还原出图像的色彩还必须对图像传感器输出的颜色数据(RGB信息)进行特定的数据处理才可以实现。这一处理过程亦称为“去马赛克”(Demosaicing)。
目前，若一个图像传感器中共设计了x*y个方形像素单元分别沿水平方向和竖直方向排布成y行、x列的像素阵列，该图像传感器理论上所采集图像的最大分辨率(Resolution)为x*y。
但是，随着技术的发展，人们对图像传感器采集的图像的分辨率有了更高的需求，为了提高图像传感器采集图像的分辨率，途径主要有两种：一是增加图像传感器中像素单元的数量；二是降低图像传感器中单个像素单元的尺寸。但是，增加图像传感器中像素单元的数量会导致图像传感器的芯片面积扩大，从而致使制造成本增加，而减小像素单元的尺寸会导致图像传感器的性能变差，造成诸如感光灵敏度(Sensitivity)下降、信噪比(Signal to Noise Ratio)和动态范围(Dynamic Range)下降以及串扰(Cross-talk)增加等问题。因而，如何在保证图像传感器的性能且不增加制造成本的基础上，提高图像分辨率是亟待解决的问题。
针对上述问题，本申请实施例提供了一种三角形像素的图像传感器、电子设备及成像方法，通过颜色滤镜阵列、像素阵列和电路的协同工作可以输出像素阵列中所有实际像素点的颜色数据，而且通过将像素阵列中的像素单元设计成等腰三角形的形状，且该等腰三角形的底边与底边上的高长度相等，其为后续电子设备中的像素点扩充提供了实现基础。在包括该图像传感器的电子设备中，图像信号处理器在获取到像素阵列中所有实际像素点的颜色数据后可以通过在像素阵列中设置虚拟像素点，得到像素点阵列并计算出像素点阵列中每个像素点的颜色分量信息。该技术方案中，通过设置虚拟像素点的方式使得像素点阵列中的像素点数量是像素单元数量的2倍，从而使得电子设备输出图像的最大分辨率可以达到像素数量的2倍，从而在不增大像素区域面积的前提下，提高了图像的分辨率。
本申请实施例技术方案的构思过程如下：通过限定图像传感器中像素单元的形状、排列方式以及电子设备中图像传感器的色彩还原方式，因而，可以通过设置虚拟像素点的方式使得输出图像的最大分辨率达到像素数量的2倍，从而在不增大像素区域面积的前提下，获得高分辨率。
具体的，通过限定图像传感器中像素单元为三角形像素单元，从而可以按照预设排列方式形成像素阵列，通过将每个三角形像素单元抽象成位于该等腰三角形垂心的一个点，称为“实际像素点”，任一实际像素点具有r/g/b颜色分量信息中的一种。然后，在该像素阵列所在的平面上，在实际像素点以外的位置设置虚拟像素点，从而形成一个新的像素点阵列，该像素点阵列所包含的像素点数量为实际像素单元数量的2倍，因而能够提高电子设备输出图像的分辨率。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请第一实施例提供的三角形像素的图像传感器的结构示意图。图2为图1所示实施例中三角形像素单元的形状示意图。参照图1所示，该三角形像素的图像传感器(下述简称为图像传感器10)可以包括：像素阵列11、设置在像素阵列11上方的颜色滤镜阵列(未示出)以及与像素阵列11连接的电路12。
其中，该像素阵列11由多个三角形像素单元100排布形成。可选的，参照图2所示，每个三角形像素单元100的形状均为等腰三角形，其底边为101，两个腰为102，底边上的高为103，且该等腰三角形的底边101与底边上的高103的长度相等。示例性的，假设底边101和底边上的高103的长度均为a，a代表像素尺寸。
可选的，在本申请的实施例中，如图2所示，对于三角形像素单元100，在等腰三角形内作内切正方形104，且确定出该等腰三角形的垂心105，根据等腰三角形底边与底边上的高长度相等的特性可知，该内切正方形的边长为
且该等腰三角形的垂心105恰好位于内切正方形104的中心位置，该垂心105与底边101的距离为
示例性的，在本申请的实施例中，可以将每个三角形像素单元100抽象成位于所在等腰三角形垂心的一个点，称为“实际像素点”。即，在实际应用中，每个三角形像素单元100对应的实际像素点可以通过三角形像素单元100所在的等腰三角形的垂心105表示。因而，任意一个实际像素点具有相应颜色的颜色分量值。
在本申请的实施例中，颜色滤镜阵列用于对接收的入射光信号进行过滤，输出不同的光色信号。像素阵列11用于通过包括的每个三角形像素单元100对接收的不同光色信号进行光电转换，输出电信号。电路12用于对像素阵列11输出的电信号进行处理，输出像素阵列11中所有实际像素点的颜色数据。
在实际应用中，为了得到彩色图像，图像传感器10中像素阵列11的上方设置有颜色滤镜阵列，通过颜色滤镜阵列包括的不同颜色滤镜对接收到的入射光信号进行过滤处理，从而使得不同的光色信号投射到不同的三角形像素单元100上，也即，通过控制像素阵列11中的三角形像素单元100进行曝光，使得每个三角形像素单元100对接收到的光色信号进行光电转换得到电信号，因而，由多个三角形像素单元100进行排布形成的像素阵列11可以输出电信号。
示例性的，利用图像传感器10中的电路12对像素阵列11输出的电信号进行例如信号放大、模数转换等处理，从而可以得到像素阵列11中所有实际像素点的颜色数据。
可以理解的是，在本申请的实施例中，该图像传感器还可以包括用于部署像素阵列的衬底。在一种示例中，该衬底仅用于部署像素阵列；在另一种示例中，该衬底除了用于部署像素阵列外，还用于部署上述电路。关于衬底上具体部署的内容可以根据实际情况确定，此处不再赘述。
本申请实施例提供的三角形像素的图像传感器，通过颜色滤镜阵列、像素阵列和电路的协同工作可以输出像素阵列中所有实际像素点的颜色数据，而且通过将像素阵列中的像素单元设计成等腰三角形的形状，且该等腰三角形的底边与底边上的高长度相等，其为后续电子设备中的像素点扩充提供了实现基础。
示例性的，在本申请的实施例中，由于形成像素阵列11的像素单元是三角形像素单元100，且其为底边和底边上的高长度相等的等腰三角形，所以，基于三角形像素单元100的这种性质，像素阵列11的排布方式可以有如下两种，具体可以参见下述图3和图4所示的示意图。
可选的，图3为图1所示图像传感器中像素阵列的一种排布示意图。如图3所示，在本申请的实施例中，像素阵列11的排布方式可以如下：
在第一方向上，相邻两个三角形像素单元的腰重合；在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于底边上高的长度；其中，第一方向和第二方向正交。
示例性的，在本申请的实施例中，第一方向为水平方向时，该第二方向为竖直方向；当第一方向为竖直方向时，该第二方向为水平方向。本申请实施例并不对第一方向和第二方向的具体实现进行限定，只要保证第一方向和第二方向正交即可，此处不再赘述。图3以第一方向为水平方向，第二方向为竖直方向进行说明。
在图3所示的示意图中，在水平方向上，相邻三角形像素单元的腰与腰重合；在竖直方向上，相邻三角形像素单元的对称轴重合且底边相距a。通过这种排布方式，依次对多个三角形像素单元进行排列可以形成像素阵列11。
参照图3所示，在水平方向上，例如，在第一行中，三角形像素单元R11和三角形像素单元R12的腰与腰重合，三角形像素单元R12和三角形像素单元R13的腰与腰重合等等。在竖直方向上，例如，在第一列和第二列中，三角形像素单元R11和三角形像素单元R21的对称轴在同一直线上，且两者的底边距离等于a，且在第二列和第三列中，三角形像素单元R21和三角形像素单元R31的对称轴在同一直线上，且两者的底边距离等于a。
进一步的，在图3所示的像素阵列11中，当将每个三角形像素单元100抽象成其所在等腰三角形的垂心时，该像素阵列11中每个三角形像素单元100对应的实际像素点如图3中所示。
可选的，图4为图1所示图像传感器中像素阵列的另一种排布示意图。如图4所示，在本申请的实施例中，像素阵列11的排布方式可以如下：
在第一方向上，相邻两个三角形像素单元的腰重合；在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边重合或者相邻两个三角形像素单元底边对应的顶点重合；其中，第一方向和第二方向正交。
可选的，在图4所示的示意图中，第一方向和第二方向的具体实现与图3所示中的类似，此处不再赘述。
具体的，在图4所示的示意图中，在水平方向上，相邻三角形像素单元的腰与腰重合；在竖直方向上，相邻三角形像素单元的对称轴重合(即在同一条直线上)且底边重合或者相邻两个三角形像素单元底边对应的顶点重合。通过这种排布方式，依次对多个三角形像素单元进行排列可以形成像素阵列11。
参照图4所示，在水平方向上，例如，在第一行中，三角形像素单元R11和三角形像素单元R12的腰与腰重合，三角形像素单元R12和三角形像素单元R13的腰与腰重合等等。在竖直方向上，例如，在第一列和第二列中，三角形像素单元R11和三角形像素单元R21的对称轴在同一直线上，且两者的底边重合，而在第二列和第三列中，三角形像素单元R21和三角形像素单元R31的对称轴在同一直线上，且两者底边对应的顶点重合。
在本申请的实施例中，像素阵列11上设置有颜色滤镜阵列。可选的，颜色滤镜阵列包括颜色不同的第一颜色滤镜、第二颜色滤镜和第三颜色滤镜；该颜色滤镜阵列的排布方式如下：
在第一方向上，第一颜色滤镜间隔设置，第二颜色滤镜和第三颜色滤镜交替设置在两个第一颜色滤镜之间；
在第二方向上，第一颜色滤镜连续设置，第二颜色滤镜和第三颜色滤镜交替设置。
其中，第一颜色滤镜至少包括绿色波段，第二颜色滤镜至少包括红色波段，第三颜色滤镜至少包括蓝色波段。
例如，第一颜色滤镜为绿色滤镜，第二颜色滤镜为红色滤镜，第三颜色滤镜为蓝色滤镜。因而，该颜色滤镜阵列的排布方式如下：在第一方向上，绿色滤镜间隔设置，红色滤镜和蓝色滤镜交替设置在两个绿色滤镜之间；在第二方向上，绿色滤镜连续设置，红色滤镜和蓝色滤镜交替设置。
可以理解的是，在本申请的实施例中，颜色滤镜阵列还可以包括其他数量的颜色滤镜和其他颜色的颜色滤镜。因而，基于颜色滤镜阵列包括的滤镜数量和滤镜颜色，颜色滤镜阵列还可以有其他的排布方式，关于颜色滤镜阵列的具体排布方式可以根据实际场景确定，此处不再赘述。
示例性的，在颜色滤镜阵列包括绿色滤镜、红色滤镜和蓝色滤镜时，颜色滤镜阵列的排布方式与图5a和图6a所示三角形像素单元表示的颜色分量一致，此处不再赘述。
在实际应用中，在颜色滤镜阵列的具体排布方式基础上，当像素阵列11中的三角形像素单元曝光时，每个三角形像素单元可以表示对应的颜色分量，进而每个三角形像素单元对应的实际像素点可以具有不同的颜色数据。
利用上述排布方式的颜色滤镜阵列，能够控制像素单元产生不同的颜色数据，为后续得到彩色图像奠定了基础。
可选的，在本申请的实施例中，均以颜色滤镜阵列包括绿色滤镜、红色滤镜和蓝色滤镜对三角形像素单元表示的颜色分量进行解释说明。
示例性的，图5a为图3所示像素阵列中三角形像素单元表示颜色分量的示意图。参照图5a所示，当利用具有图3所示像素阵列11的图像传感器10采集图像时，入射光信号经过颜色滤镜阵列后，由于投射到三角形像素单元100的光色不同，使得不同三角形像素单元100可以代表不同的颜色分量。
例如，经过绿色滤镜、红色滤镜和蓝色滤镜的颜色滤镜阵列的处理作用后，分别形成绿色像素100G、蓝色像素100B和红色像素100R。如图5a所示，在水平方向上，绿色像素100G间隔设置，在两个绿色像素100G之间交替设置蓝色像素100B和红色像素100R。在竖直方向上，某一列均为绿色像素100G，相邻列则交替设置蓝色像素100B和红色像素100R。
图5b为图3所示像素阵列中三角形像素单元对应实际像素点的分布示意图。在本实施例中，由于每个三角形像素单元对应的实际像素点可以通过三角形像素单元所在等腰三角形的垂心表示，因而，参照图5b所示，入射光信号经过颜色滤镜阵列后，投射到三角形像素单元100曝光后产生的电信号可以通过其所在三角形像素单元100中的实际像素点表示。
例如，在图5b中，红色实际像素点利用第一填充圆501代表，所输出的信号大小代表其代表的三角形像素单元所具有的红色分量信息。绿色实际像素点利用第二填充圆502代表，所输出的信号大小代表其代表的三角形像素单元所具有的绿色分量信息。蓝色实际像素点利用第三填充圆503代表，所输出的信号大小代表其代表的三角形像素单元所具有的蓝色分量信息。即，像素阵列对应的实际像素点的排布方式如图5b所示。
在本申请的另一种实施例中，图6a为图4所示像素阵列中三角形像素单元表示颜色分量的示意图。参照图6a所示，当利用具有图4所示像素阵列11的图像传感器10采集图像时，入射光信号经过上述的颜色滤镜阵列后，也可以使得不同的三角形像素单元100可以代表不同的颜色分量。例如，经过绿色滤镜、红色滤镜和蓝色滤镜的颜色滤镜阵列的处理作用后，绿色像素100G、蓝色像素100B和红色像素100R的排布方式如图6a所示。
图6b为图4所示像素阵列中三角形像素单元对应实际像素点的分布示意图。参照图6b所示，入射光信号经过颜色滤镜阵列后，投射到三角形像素单元100曝光后产生的电信号可以通过其所在三角形像素单元100中的实际像素点表示。相应的，在图6b中，红色实际像素点利用第一填充圆601代表，绿色实际像素点利用第二填充圆602代表，蓝色实际像素点利用第三填充圆603代表，即，三角形像素单元100对应的实际像素点的排布方式如图6b所示。
进一步的，在上述实施例的基础上，图7为本申请第二实施例提供的三角形像素的图像传感器的结构示意图。如图7所示，在图像传感器10中，电路12可以包括控制选择电路120和信号处理电路13。其中，控制选择电路120包括：控制电路14以及与控制电路14连接的行选择电路15、列选择电路16。
其中，行选择电路15还与像素阵列11连接，列选择电路16还通过信号处理电路13与像素阵列11连接。
在本实施例中，控制电路14可以用于控制行选择电路15选中像素阵列11中行方向上的三角形像素单元进行光电转换，并将得到行信号至信号处理电路13进行处理。
控制电路14还用于控制列选择电路16选中行信号对应列方向上的三角形像素单元，并控制信号处理电路13对选中的列信号进行处理，以得到像素阵列11中每个三角形像素单元对应的电信号。
可选的，参照图7所示，上述信号处理电路13可以包括：相互连接的列信号处理电路130、ADC 131和图像信号预处理电路132。
其中，列信号处理电路130连接在列选择电路16和像素阵列11之间，用于对列选择电路16从像素阵列11输出的行信号中选择的列信号进行处理，输出像素阵列11中每个三角形像素单元对应的电信号。
ADC 131可以对接收到的电信号进行模数转换处理，得到每个像素单元对应的颜色数据，并传输至图像信号预处理电路132。
图像信号预处理电路132用于对每个像素单元对应的颜色数据进行预处理，输出像素阵列11中所有实际像素点的颜色数据。
通过上述分析可知，在成像过程中，控制电路通过控制行选择电路、列选择电路来选中像素阵列中不同的三角形像素单元进行电荷积累(曝光)、电荷读取等操作，为得到拍摄图像奠定了基础。通过相互连接的列信号处理电路、ADC和图像信号预处理电路等信号处理电路对经过光电转换得到的信号进行处理，得到像素阵列11中所有实际像素点的颜色数据，为后续得到实际的彩色图像提供了实现前提。
进一步的，在本申请的实施例中，该图像传感器10是三角形像素的背照式图像传感器，即该图像传感器10还包括用于部署像素阵列的衬底，该衬底的背面朝向入射光信号的方向。下面通过图8所示的示意图对三角形像素的背照式图像传感器进行说明。
示例性的，图8是本申请第三实施例提供的三角形像素的图像传感器的截面结构示意图。在本申请的实施例中，由于图像传感器中像素单元的形状为等腰三角形，因而填充因子(Fill Factor)不如方形像素单元，因而，为了提高三角形像素单元100的填充因子，增大有效的感光面积，图像传感器10可以采用背照式的结构。
示例性的，在本申请的实施例中，参照图8所示，图像传感器的衬底包括第一衬底800、介质层801和第二衬底802。其中，第一衬底800为半导体材料且具有第一掺杂类型，例如，P型硅。第一衬底800的两个表面分别称为第一衬底正面800f和第一衬底背面800b，第一衬底背面800b面对入射光的入射方向，而第一衬底正面800f则背离入射光的入射方向。
可选的，在第一衬底背面800b上设置有颜色滤镜阵列803及微透镜804。在第一衬底800中靠近第一衬底正面800f的位置形成光电二极管(Photodiode)805，光电二极管805通过在第一衬底800中掺入具有第二掺杂类型的元素所形成，在本实施例中，第二掺杂类型为N型。光电二极管805是一种可以感光的器件，在特定波段光的照射下能产生电荷。可以理解的是，在本申请的实施例中，光电二极管805为上述三角形像素单元的一部分。
如图8所示，位于第一衬底正面800f下方的是介质层801，其内部设置有金属布线层8011，金属布线层8012。由于金属布线层8011，金属布线层8012位于感光面的下方，因此，不会遮挡入射光线，这大大提高了设计者在设计三角形像素单元的金属走线时的自由度。
进一步的，参照图8所示，在介质层801的下方设置有第二衬底802。第二衬底802可以是没有承载任何电路的衬底，也可以是包含上述控制电路、行选择电路、列选择电路以及信号处理电路等电路在上面的衬底。
在本申请的实施例中，第一衬底800和第二衬底802通过键合工艺(BondingProcess)粘接到一起。若第二衬底802是含有电路的衬底，例如ISP衬底，则第一衬底800和第二衬底802可通过硅通孔互连结构或混合键合(Hybrid bonding)界面结构实现电连接。
本申请实施例提供的图像传感器，通过采用背照式的结构，在像素单元面积一定的情况下，提高了像素单元的有效感光面积，提高了图像传感器输出信号的质量，为得到分辨率较高的图像质量奠定了基础。
上述介绍了三角形像素的图像传感器，下面对具有该图像传感器的电子设备进行解释说明。在电子设备的实施例中，关于图像传感器未详尽的内容可以参见上述图像传感器对应实施例中的记载，此处不再赘述。
图9为本申请第一实施例提供的电子设备的结构示意图。如图9所示，在本实施例中，该电子设备可以包括：依次连接的图像传感器10、图像信号处理器90。
其中，如上述图1所示，图像传感器10包括由多个三角形像素单元排布形成的像素阵列11、设置在像素阵列11上方的颜色滤镜阵列和电路12；每个三角形像素单元的形状均为等腰三角形，且等腰三角形的底边与底边上的高长度相等；
在实际应用中，图像传感器10用于通过颜色滤镜阵列、电路12和像素阵列11对入射光信号进行光电转换和处理，输出像素阵列11中所有实际像素点的颜色数据；
图像信号处理器90用于在像素阵列11中设置虚拟像素点，得到像素点阵列，并根据像素阵列11中所有实际像素点的颜色数据计算该像素点阵列中每个像素点的颜色分量信息。
示例性的，该图像信号处理器90的具体功能具体可以通过电子设备中处理器(例如，CPU，AP)的数字处理模块实现。
在本申请的实施例中，对于图像传感器10输出的像素阵列11中所有实际像素点的颜色数据，其像素点相对较少，但是，当将每个三角形像素单元抽象成其所在等腰三角形的垂心(在本实施例中称为像素单元的实际像素点)时，即像素阵列11中实际像素点的分布位置比较分散，因而，可以通过在像素阵列11中设置虚拟像素点的形式，得到像素点阵列。
在本申请的实施例中，通过设置虚拟像素点，可以使得像素点阵列中像素点的数量是像素阵列11中三角形像素单元100数量的2倍，从而使得图像传感器10的最大分辨率是像素阵列11中三角形像素单元100数量的2倍。可选的，像素点阵列中每个像素点的颜色分量信息可以通过像素阵列11中的实际像素点的颜色数据计算得到。
示例性的，在本实施例中，电子设备得到像素点阵列中每个像素点的颜色分量信息后，一种应用是对该像素点阵列中每个像素点的颜色分量信息进行图像处理，进而通过显示器输出彩色图像；另一种应用是将该像素点阵列中每个像素点的颜色分量信息作为模型训练的样本信息，用于模型训练等应用中。关于该像素点阵列中每个像素点的颜色分量信息的具体应用可以根据实际情况确定，此处不再赘述。
本申请实施例提供的电子设备，通过图像传感器中像素单元的形状、排布方式进行限定，使得电子设备中的图像信号处理器可以通过设置虚拟像素点的方式得到像素点数量大于像素单元数量的像素点阵列，并能够计算出每个像素点的颜色分量信息，使得电子设备输出的图像的最大分辨率可以达到实际像素单元数量的两倍，从而在不增大图像传感器中像素阵列面积的前提下，且保证图像传感器性能的基础上，提高了图像的分辨率。
示例性的，图10为图9所示电子设备形成像素点阵列的一种实现方式示意图。如图10所示，在像素阵列中设置虚拟像素点的一种方式就是在像素阵列11中所有实际像素点所形成间隙的第一位置处依次插入多个虚拟像素点，即在实际应用中，图像信号处理器具体用于在像素阵列11中所有实际像素点所形成间隙的第一位置处依次插入多个虚拟像素点，得到由实际像素点和虚拟像素点构成的像素点阵列，该第一位置位于像素阵列11中由实际像素点形成的行方向和列方向的交叉点处。
具体的，当像素阵列11中每个三角形像素单元的实际像素点通过其所在等腰三角形的垂心表示时，参照上述图5b中所示，由红色实际像素点、绿色实际像素点和蓝色实际像素点所构成的阵列还存在很多间隙，因此，可以这些间隙的第一位置设置虚拟像素点，以获得一个在第一方向(例如，水平方向)和第二方向(竖直方向)的周期均为
的规则的像素点阵列。可选的，在本申请的实施例中，虚拟像素点利用空心圆100A进行表示。
相应的，在本申请的实施例中，像素点阵列可以由实际像素点以及虚拟像素点共同构成，称为像素点阵列1000。示例性的，以图10所示的32个三角形像素单元为例，这32个三角形像素单元按照图3所示的排布方式可以形成4行8列的像素阵列，通过本实施例的方式设置像素点时，可以生成8行8列的像素点阵列1000，也即，在生成图像时，参与计算的像素点数量是实际像素点数量的两倍，相应的，生成图像的分辨率也达到了像素阵列11中三角形像素单元数量的2倍，从而在不增加像素阵列11中像素单元数量的前提下，提高了分辨率。
可以理解的是，当图10所示的32个三角形像素单元按照图4所示的排布方式可以形成4行8列的像素阵列时，按照本实施例的方式设置像素点时，同样可以生成8行8列的像素点阵列，实现方式类似，此处不再赘述。
示例性的，图11为图9所示电子设备形成像素点阵列的另一种实现方式示意图。如图11所示，在像素阵列中设置虚拟像素点的另一种方式就是在像素阵列11包括的每个三角形像素单元的内切正方形的四个顶点处分别设置虚拟像素点。因而，在实际应用中，图像信号处理器具体用于通过在像素阵列11包括的每个三角形像素单元100的内切正方形的四个顶点处分别设置虚拟像素点，得到由设置的所有虚拟像素点构成的像素点阵列。
在本申请的实施例中，由于像素阵列11中每个三角形像素单元具有一个内切正方形，该内切正方形的边长均为
所以，可以将虚拟像素点设置于等腰三角形中内切正方形的四个顶点位置，如图11所示，因而，所有虚拟像素点构成了像素点阵列1100，即生成9行9列的像素点阵列，且像素点阵列1100在水平方向和竖直方向的周期也均为
示例性的，在本申请的实施例中，虚拟像素点利用实心点100B进行表示。
值得说明的是，在本实施例中，在像素点阵列1100中，若某个虚拟像素点位于多个三角形像素单元的边长上，例如，第3行第2列的虚拟像素点(3,2)，其位于三角形像素单元R11和三角形像素单元R22重合的边长上，即该虚拟像素点(3,2)仅表示
个像素点。其他虚拟像素点表示的像素点个数的计算方式类似，此处不再赘述。因而，通过上述计算方式，像素点阵列1100表示的像素点数量也是像素单元数量的2倍。因而，在生成图像时，参与计算的像素点数量是实际像素点数量的两倍，相应的，生成图像的分辨率也达到了像素阵列中三角形像素单元数量的2倍，从而在不增加像素阵列中像素单元数量的前提下，提高了分辨率。
可以理解的是，当图10所示的32个三角形像素单元按照图4所示的排布方式可以形成4行8列的像素阵列时，按照本实施例的方式设置像素点时，同样可以生成9行9列的像素点阵列，实现方式类似，此处不再赘述。
示例性的，在本申请的实施例中，由于图像信号处理器还用于根据像素阵列中所有实际像素点的颜色数据计算该像素点阵列中每个像素点的颜色分量信息，具体的，像素点阵列中每个像素点的颜色分量信息为相邻的预设数量个同色实际像素点的颜色数据的加权和。
在实际应用中，由于设置的虚拟像素点本身不产生任何颜色分量信息，而且即使是像素阵列中三角形像素单元等价的实际像素点，其也只具有本身的颜色分量，缺失了另外两种颜色分量的信息。因此，上述像素点阵列中的每个像素点的颜色分量信息可以通过相邻的预设数量个同色实际像素点的颜色数据进行加权求和得到。即，
其中，ri,j表示第i行第j列的目标像素点具有的红色分量值，其等于邻近的k个红色实际像素点的加权求和；gi,j表示第i行第j列的目标像素点具有的绿色分量值，其等于邻近的l个绿色实际像素点的加权求和；bi,j表示第i行第j列的目标像素点具有的蓝色分量值，其等于邻近的m个蓝色实际像素点的加权求和。可以理解的是，k、l、m可以相等也可以不相等。wn代表权重系数，其与所选实际像素点与目标像素点的距离相关。一般来说，两种的距离越近，权重系数越大，两者的距离越远，权重系数越小，甚至为零。
示例性的，对于图10所示实施例中的像素点阵列，下面分别介绍虚拟像素点、实际像素点对应的颜色分量信息的计算方式。
例如，在图10所示的像素点阵列中，以第4行，第4列的虚拟像素点为例，其具有的红色分量值、绿色分量至和蓝色分量值的计算方式如下：
r4,4＝0.5R54+0.25R32+0.25R36；
g4,4＝0.5G43+0.5G45；
b4,4＝0.5B34+0.25B52+0.25B56；
接着，在图10所示的像素点阵列中，以第4行，第3列的绿色实际像素点为例，其具有的红色分量值、绿色分量至和蓝色分量值的计算方式如下：
r4,3＝0.5R54+0.5R32；
g4,3＝G43；
b4,3＝0.5B34+0.5B52；
最后，在图10所示的像素点阵列中，以第3行，第4列的蓝色实际像素点为例，其具有的红色分量值、绿色分量至和蓝色分量值的计算方式如下：
r3,4＝0.25R54+0.25R32+0.25R14+0.25R36；
g3,4＝0.25G43+0.25G23+0.25G25+0.25G45；
b3,4＝B34；
可以理解的是，在本申请的实施例中，由于红色实际像素点与蓝色实际像素点的排布是对称的，因此，它们的计算方式基本雷同，此处不再说明。
示例性的，在图11所示的像素点阵列中，红色实际像素点、绿色实际像素点和蓝色像素点均不直接参与成像，而是作为计算各个虚拟像素点对应r/g/b颜色分量信息的依据。下面分别介绍图11所示的像素点阵列中，虚拟像素点、实际像素点对应的颜色分量信息的计算方式。
例如，在图11所示的像素点阵列中，以第5行，第5列的虚拟像素点(5,5)为例，其具有的红色分量值、绿色分量至和蓝色分量值的计算方式如下：
r5,5＝0.75R34+0.25R26；
g5,5＝0.35G25+0.25G23+0.25G35+0.1G33；
b5,5＝0.5B24+0.5B36；
以第5行，第6列的虚拟像素点(5,6)为例，其具有的红色分量值、绿色分量至和蓝色分量值的计算方式如下：
r5,6＝0.5R34+0.5R26；
g5,6＝0.35G25+0.25G27+0.25G35+0.1G37；
b5,6＝0.75B36+0.25B24；
根据图11所示的像素点阵列的排布可知，在像素点阵列1100中，所有的虚拟像素点都符合上述两种情况中的一种，因而，其他虚拟像素点的对应颜色分量信息的计算方式类似，此处不再赘述。
在本申请的实施例中，通过上述方法得到了像素点阵列中每个像素点的颜色分量信息，为后续输出分辨率较高的彩色图像提供了实现条件。
进一步的，在本申请的实施例中，参照图9所示，该电子设备还包括：与图像信号处理器90连接的显示器91。
该图像信号处理器90还用于对像素点阵列中每个像素点的颜色分量信息进行处理，得到图像信号，并将该图像信号传输至显示器91；相应的，显示器91还用于显示图像信号对应的彩色图像。
可选的，图像信号处理器90在获得像素点阵列中所有像素点的r/g/b颜色分量信息之后，可以对其进行自动白平衡、降噪、文件压缩等处理，进而传输至显示器，可以使得电子设备输出可以显示的彩色图像。
在上述电子设备实施例的基础上，本申请实施例还提供了一种电子设备的成像方法。
示例性的，图12为本申请实施例提供的电子设备的成像方法的流程示意图。该方法可以应用于上述图9所示的电子设备，如图12所示，该方法可以包括如下步骤：
S1201、利用图像传感器对入射光信号进行光电转换，输出像素阵列中所有实际像素点的颜色数据。
在本申请的实施例中，电子设备通过图像传感器中的控制电路、行选择电路、列选择电路对像素阵列进行曝光，并利用列信号处理电路读取并放大读取的每个三角形像素单元的电信号，然后利用信号处理电路中的ADC将接收到的电信号转化成数字信号。
示例性的，在本实施例的一种可能设计中，该数字信号还需要经过信号处理电路中的图像信号预处理电路进行预处理，进而输出像素阵列中所有实际像素点的颜色数据。
可选的，上述预处理可以包括暗像素提取去除(Black pixel subtraction)，镜头阴影校正(Lens shading correction)，坏点去除，固定噪声消除等过程。
其中，暗像素可以指图像中对比度高、亮度低的像素。通过提取数字信号中的暗像素并去除，能够提高输出的不同像素单元的颜色数据质量。镜头阴影校正是为了解决由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况。在本实施例中，坏点(Badpixel)是图像传感器上光线采集点(像素点)所形成的阵列存在工艺上的缺陷或光信号进行转化为电信号的过程中出现错误的像素点，去除坏点可以降低图像上像素信息的错误。固定图像噪声是呈空间分布，并在相同的光照强度下，由于像素单元呈不同反应所引起的噪声。
通过上述各预处理可以提高图像传感器输出的像素阵列中所有实际像素点的颜色数据的质量，本申请实施例不对各处理的具体实现进行限定，其可以根据实际需求确定。
S1202、通过在像素阵列中设置虚拟像素点，得到像素点阵列。
在本申请的实施例中，电子设备的图像信号处理器在获取到图像传感器输出的像素阵列中所有实际像素点的颜色数据后，可以采用图10或图11所示的方式设置虚拟像素点，并生成像素点阵列。关于该步骤的具体实现可以参见上述图10或图11所示示意图中的记载，此处不再赘述。
S1203、根据像素阵列中所有实际像素点的颜色数据，计算像素点阵列中每个像素点的颜色分量信息。
在本实施例中，电子设备的图像信号处理器对于上述得到的像素点阵列，可以根据图10或图11所示内容中提到的加权求和方式计算出各个像素点的r/g/b颜色分量信息。
S1204、对像素点阵列中每个像素点的颜色分量信息进行处理，得到彩色图像并输出彩色图像。
可选的，在本实施例中，电子设备的图像处理器在获得像素点阵列中所有像素点的r/g/b颜色分量信息之后，通过对其进行后处理，例如，自动白平衡，降噪，文件压缩等，使得电子设备可以输出能够显示的彩色图像，通过显示器进行输出。
本申请实施例提供的电子设备的成像方法，利用图像传感器对入射光信号进行处理，输出像素阵列中所有实际像素点的颜色数据，通过在像素阵列中设置虚拟像素点，得到像素点阵列，根据像素阵列中所有实际像素点的颜色数据，计算像素点阵列中每个像素点的颜色分量信息，最后对像素点阵列中每个像素点的颜色分量信息进行处理，得到彩色图像并输出。该技术方案中，由于像素点阵列中参与成像的像素点数量是图像传感器中像素阵列中像素单元数量的两倍，因而，在保证图像传感器的性能且不增加制造成本的基础上，提高了图像分辨率。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (13)
1.一种三角形像素的图像传感器，其特征在于，包括：像素阵列、设置在所述像素阵列上方的颜色滤镜阵列以及与所述像素阵列连接的电路；
所述像素阵列由多个三角形像素单元排布形成，每个三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边与所述底边上的高长度相等；
所述颜色滤镜阵列用于对接收的入射光信号进行过滤，输出不同的光色信号；
所述像素阵列用于在所述电路的控制作用下通过包括的每个三角形像素单元对接收的不同光色信号进行光电转换，输出电信号；
所述电路还用于对所述像素阵列输出的电信号进行处理，输出所述像素阵列中所有实际像素点的颜色数据。
2.根据权利要求1所述的图像传感器，其特征在于，所述像素阵列的排布方式如下：
在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于所述底边上高的长度；
所述第一方向和所述第二方向正交。
3.根据权利要求1所述的图像传感器，其特征在于，所述像素阵列的排布方式如下：
在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边重合或者相邻两个三角形像素单元底边对应的顶点重合；
所述第一方向和所述第二方向正交。
4.根据权利要求2或3所述的图像传感器，其特征在于，所述颜色滤镜阵列包括颜色不同的第一颜色滤镜、第二颜色滤镜和第三颜色滤镜；
所述颜色滤镜阵列的排布方式如下：
在所述第一方向上，所述第一颜色滤镜间隔设置，所述第二颜色滤镜和所述第三颜色滤镜交替设置在两个第一颜色滤镜之间；
在所述第二方向上，所述第一颜色滤镜连续设置，所述第二颜色滤镜和所述第三颜色滤镜交替设置。
5.根据权利要求1-3任一项所述的图像传感器，其特征在于，每个三角形像素单元对应的实际像素点通过所述三角形像素单元所在等腰三角形的垂心表示。
6.根据权利要求1-3任一项所述的图像传感器，其特征在于，所述图像传感器还包括用于部署像素阵列的衬底，所述衬底的背面朝向所述入射光信号的方向。
7.一种电子设备，其特征在于，包括：依次连接的图像传感器、图像信号处理器；
所述图像传感器包括由多个三角形像素单元排布形成的像素阵列、设置在所述像素阵列上方的颜色滤镜阵列和电路；每个三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边与所述底边上的高长度相等；
所述图像传感器用于通过所述颜色滤镜阵列、所述电路和所述像素阵列对入射光信号进行光电转换和处理，输出所述像素阵列中所有实际像素点的颜色数据；
所述图像信号处理器用于在所述像素阵列中设置虚拟像素点，得到像素点阵列，并根据所述像素阵列中所有实际像素点的颜色数据计算所述像素点阵列中每个像素点的颜色分量信息。
8.根据权利要求7所述的电子设备，其特征在于，所述图像信号处理器具体用于在所述像素阵列中所有实际像素点所形成间隙的第一位置处依次插入多个虚拟像素点，得到由所述实际像素点和所述虚拟像素点构成的所述像素点阵列，所述第一位置位于所述像素阵列中由实际像素点形成的行方向和列方向的交叉点处。
9.根据权利要求7所述的电子设备，其特征在于，所述图像信号处理器具体用于通过在所述像素阵列包括的每个三角形像素单元的内切正方形的四个顶点处分别设置虚拟像素点，得到由设置的所有虚拟像素点构成的所述像素点阵列。
10.根据权利要求7-9任一项所述的电子设备，其特征在于，所述像素点阵列中每个像素点的颜色分量信息为相邻的预设数量个同色实际像素点的颜色数据的加权和。
11.根据权利要求7-9任一项所述的电子设备，其特征在于，所述电子设备还包括：与所述图像信号处理器连接的显示器；
所述图像信号处理器还用于对所述像素点阵列中每个像素点的颜色分量信息进行处理，得到图像信号，并将所述图像信号传输至所述显示器；
所述显示器用于显示图像信号对应的彩色图像。
12.根据权利要求7-9任一项所述的电子设备，其特征在于，所述像素点阵列中像素点的数量是所述像素阵列中三角形像素单元数量的2倍。
13.一种电子设备的成像方法，应用于权利要求7-12所述的电子设备，其特征在于，所述方法包括：
利用图像传感器对入射光信号进行光电转换，输出像素阵列中所有实际像素点的颜色数据；
通过在所述像素阵列中设置虚拟像素点，得到像素点阵列；
根据所述像素阵列中所有实际像素点的颜色数据，计算所述像素点阵列中每个像素点的颜色分量信息；
对所述像素点阵列中每个像素点的颜色分量信息进行处理，得到彩色图像并输出所述彩色图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010669385.6A CN111818283A (zh) | 2020-07-13 | 2020-07-13 | 三角形像素的图像传感器、电子设备及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010669385.6A CN111818283A (zh) | 2020-07-13 | 2020-07-13 | 三角形像素的图像传感器、电子设备及成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111818283A true CN111818283A (zh) | 2020-10-23 |
Family
ID=72841863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010669385.6A Pending CN111818283A (zh) | 2020-07-13 | 2020-07-13 | 三角形像素的图像传感器、电子设备及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111818283A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143514A (zh) * | 2021-11-30 | 2022-03-04 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
| WO2023098639A1 (zh) * | 2021-11-30 | 2023-06-08 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1977383A (zh) * | 2004-06-28 | 2007-06-06 | 安太科技株式会社 | 互补金属氧化物半导体图像传感器 |
| US20100289994A1 (en) * | 2009-05-13 | 2010-11-18 | Nec Lcd Technologies, Ltd. | Color image display device, color filter substrate, color pixel array substrate, and electronic device |
| US20110242374A1 (en) * | 2010-04-06 | 2011-10-06 | Omnivision Technologies, Inc. | Imager with variable area color filter array and pixel elements |
| CN105158915A (zh) * | 2015-07-07 | 2015-12-16 | 中央民族大学 | 一种基于三合一led裸眼3d显示装置及制备方法 |
| CN110379824A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种cmos图像传感器及图像处理方法、存储介质 |
-
2020
- 2020-07-13 CN CN202010669385.6A patent/CN111818283A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1977383A (zh) * | 2004-06-28 | 2007-06-06 | 安太科技株式会社 | 互补金属氧化物半导体图像传感器 |
| US20100289994A1 (en) * | 2009-05-13 | 2010-11-18 | Nec Lcd Technologies, Ltd. | Color image display device, color filter substrate, color pixel array substrate, and electronic device |
| US20110242374A1 (en) * | 2010-04-06 | 2011-10-06 | Omnivision Technologies, Inc. | Imager with variable area color filter array and pixel elements |
| CN105158915A (zh) * | 2015-07-07 | 2015-12-16 | 中央民族大学 | 一种基于三合一led裸眼3d显示装置及制备方法 |
| CN110379824A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种cmos图像传感器及图像处理方法、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143514A (zh) * | 2021-11-30 | 2022-03-04 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
| WO2023098639A1 (zh) * | 2021-11-30 | 2023-06-08 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614886B (zh) | 图像传感器和电子设备 | |
| CN206947348U (zh) | 图像传感器 | |
| CN206758436U (zh) | 像素阵列 | |
| US8405748B2 (en) | CMOS image sensor with improved photodiode area allocation | |
| CN208690261U (zh) | 图像传感器 | |
| US20080080028A1 (en) | Imaging method, apparatus and system having extended depth of field | |
| US7663685B2 (en) | Hybrid solid-state image pickup element and image pickup apparatus using the same | |
| CN111491110A (zh) | 高动态范围图像处理系统及方法、电子设备和存储介质 | |
| KR20160065464A (ko) | 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법 | |
| CN111726549B (zh) | 图像传感器、电子设备和芯片 | |
| CN111741239B (zh) | 图像传感器和电子设备 | |
| US20220336508A1 (en) | Image sensor, camera assembly and mobile terminal | |
| CN111818283A (zh) | 三角形像素的图像传感器、电子设备及成像方法 | |
| CN111787248B (zh) | 图像传感器、终端设备以及成像方法 | |
| CN103443921B (zh) | 背照式固态图像感测元件及其制造方法和成像装置 | |
| CN207251823U (zh) | 成像设备和成像系统 | |
| CN105826335A (zh) | 固态摄像装置 | |
| EP2784820A1 (en) | Solid state imaging device | |
| CN113079297A (zh) | 感光芯片、摄像模组及电子设备 | |
| CN114584725A (zh) | 一种图像传感器及成像装置 | |
| US10951866B2 (en) | Image sensor device having color filter arrays and image processing method thereof | |
| US11848344B2 (en) | Pixel structure, image processing method and control method | |
| EP3972242A1 (en) | Sensor arrangement and method of producing a sensor arrangement | |
| CN216873256U (zh) | 共用微透镜部分遮挡相位对焦的图像传感器 | |
| KR102650664B1 (ko) | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |
|
| RJ01 | Rejection of invention patent application after publication |