CN105578071A - 图像传感器的成像方法、成像装置和电子装置 - Google Patents
图像传感器的成像方法、成像装置和电子装置 Download PDFInfo
- Publication number
- CN105578071A CN105578071A CN201510963357.4A CN201510963357A CN105578071A CN 105578071 A CN105578071 A CN 105578071A CN 201510963357 A CN201510963357 A CN 201510963357A CN 105578071 A CN105578071 A CN 105578071A
- Authority
- CN
- China
- Prior art keywords
- pixel
- filter unit
- photosensitive pixel
- photosensitive
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 33
- 239000000284 extract Substances 0.000 claims description 29
- 238000009434 installation Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 abstract description 18
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像传感器的成像方法、成像装置和电子装置,图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片,滤光片包括滤光单元阵列,每个滤光单元和该滤光单元所覆盖感光像素阵列中的多个感光像素共同构成一合并像素,滤光单元包括白色滤光区和彩色滤光区,白色滤光区覆盖至少一个感光像素,彩色滤光区覆盖至少一个感光像素,成像方法包括:读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像;对多帧低分辨率的图像进行合成。该成像方法只需图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,减少了等待数据帧的时间,防止鬼影的产生。
Description
技术领域
本发明涉及成像技术领域,尤其涉及一种图像传感器的成像方法、成像装置和电子装置。
背景技术
目前,手机拍照功能的多样化赢得了广大用户的喜爱,很多手机在拍照时采用了多帧合成技术,即让手机的图像传感器连续出几张图像,再由软件来合成,以达到不同的拍摄效果(例如HDR、夜景效果等),以丰富使用体验。
但是,相关技术中的手机所采用的多帧合成技术,由于需要获取多帧数据,存在等待多帧数据所需时间较长的问题。另外,如果在拍摄多帧数据时画面中有物体在移动,那么合成之后很容易产生鬼影。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种图像传感器的成像方法,该成像方法只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
本发明的第二个目的在于提出一种成像装置。
本发明的第三个目的在于提出一种电子装置。
为了实现上述目的,本发明第一方面实施例的图像传感器的成像方法,所述图像传感器包括感光像素阵列及设置在所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素,其中,每个所述滤光单元包括白色滤光区和彩色滤光区,所述白色滤光区覆盖至少一个所述感光像素,所述彩色滤光区覆盖至少一个所述感光像素,所述成像方法包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像;对所述多帧低分辨率的图像进行合成。
根据本发明实施例的图像传感器的成像方法,只需要图像传感器的一帧输出,就能获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,大大提升了用户体验。
在本发明的一个实施例中,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像;对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像;对所述4帧低分辨率的图像进行合成。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元,所述红色滤光单元包括白色滤光区和红色滤光区,所述蓝色滤光单元包括白色滤光区和蓝色滤光区,所述绿色滤光单元包括白色滤光区和绿色滤光区。
为了实现上述目的,本发明第二方面实施例的成像装置,图像传感器,所述图像传感器包括:感光像素阵列;设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个所述感光像素共同构成一合并像素,其中,每个所述滤光单元包括白色滤光区和彩色滤光区,所述白色滤光区覆盖至少一个所述感光像素,所述彩色滤光区覆盖至少一个所述感光像素;以及与所述图像传感器相连的图像处理模块,所述图像处理模块用于读取所述感光像素阵列的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,以及对所述多帧低分辨率的图像进行合成。
根据本发明实施例的成像装置,图像处理模块只需要获得图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述图像处理模块具体用于:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像,并对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述图像处理模块具体用于:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像,并对所述4帧低分辨率的图像进行合成。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元,所述红色滤光单元包括白色滤光区和红色滤光区,所述蓝色滤光单元包括白色滤光区和蓝色滤光区,所述绿色滤光单元包括白色滤光区和绿色滤光区。
在本发明的一个实施例中,每个滤光单元、该滤光单元所覆盖感光像素阵列中相邻的多个感光像素、以及位于滤光单元上的透镜阵列共同构成一个合并像素。其中,该透镜阵列用于将光线汇聚到滤光单元下方的感光像素上。该透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置。
为了实现上述目的,本发明第三方面实施例的电子装置,包括本发明第二方面实施例的成像装置。
根据本发明实施例的电子装置,由于具有了该成像装置,在拍摄时只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,所述电子装置为手机或平板电脑。
附图说明
图1A是根据本发明一个实施例的图像传感器的成像方法的流程图;
图1B是根据本发明一个具体实施例的图像传感器的成像方法的流程图;
图1C是根据本发明一个具体实施例的图像传感器的成像方法的流程图;
图2A~图2C是根据本发明一个具体实施例的绿色滤光单元的示意图;
图2D是根据本发明一个具体实施例获得多帧低分辨率的图像的原理图;
图3是根据本发明一个实施例的成像装置的方框示意图;
图4A是根据本发明一个实施例的滤光单元阵列的示意图;
图4B是根据本发明一个实施例的图像传感器的结构示意图;
图4C是根据本发明另一个实施例的图像传感器的结构示意图;
图5是根据本发明一个实施例的感光像素及相关电路的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像传感器的成像方法、成像装置和电子装置。
图1A是根据本发明一个实施例的图像传感器的成像方法的流程图。
首先对本发明实施例的方法所采用的图像传感器进行说明。
具体地,图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片,滤光片包括滤光单元阵列,所述滤光单元阵列包括多个滤光单元,每个滤光单元和该滤光单元所覆盖感光像素阵列中相邻的多个感光像素共同构成一合并像素,其中,每个滤光单元包括白色滤光区和彩色滤光区,白色滤光区覆盖至少一个感光像素,彩色滤光区覆盖至少一个感光像素。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元,红色滤光单元包括白色滤光区和红色滤光区,蓝色滤光单元包括白色滤光区和蓝色滤光区,绿色滤光单元包括白色滤光区和绿色滤光区。
请参阅图2A,图2A所示为绿色滤光单元1315,绿色滤光单元1315包括白色滤光区1317和绿色滤光区1318,其中,白色滤光区1317覆盖一个感光像素,绿色滤光区1318覆盖三个感光像素。
当然,在本发明的其他实施例中,还可以是白色滤光区1317覆盖两个感光像素,绿色滤光区1318覆盖两个感光像素,如图2B所示;还可以是白色滤光区1317覆盖三个感光像素,绿色滤光区1318覆盖一个感光像素,如图2C所示。
当滤光单元1315中的白色滤光区1317或彩色滤光区1318覆盖多个感光像素(个数以P表示)时,白色滤光区1317或彩色滤光区1318可以为一体构造,或者由P个滤光片组装连接在一起。
请同时参阅图2D和图4B,每个滤光单元1315和该滤光单元1315所覆盖感光像素阵列11中相邻的四个感光像素111共同构成一个合并像素14。相邻的四个合并像素共同组成一个包括十六个感光像素111的合并像素单元。
相邻的四个感光像素111共用一个滤光单元1315,例如图2D中虚线框内相邻的四个感光像素Gr1、W2、Gr3和Gr4对应绿色滤光单元1315,Gr1、Gr3和Gr4对应绿色滤光单元1315中的绿色滤光区1318,W2对应绿色滤光单元1315中的白色滤光区1317。在图2D中,Gr、R、B、Gb分别用于标识滤光单元1315的颜色,数字1,2,3,4用于标识滤光单元1315下方相邻的四个感光像素111的位置。具体地,R用于标识红色的滤光单元1315,B用于标识蓝色的滤光单元1315,Gr、Gb用于标识绿色的滤光单元1315,W用于标识滤光单元1315中的白色滤光区1317。
请参阅图2D和图4A,需要说明的是,白色滤光区1317在滤光单元1315中的位置可以是任意的,以白色滤光区1317覆盖一个感光像素111为例,白色滤光区1317可以设置在滤光单元1315中标号为1、2、3、4中的任意一个位置。另外,对于不同颜色的滤光单元1315中的白色滤光区1317来说,白色滤光区1317所处的位置可以是一致的,例如,都设置在同样的位置(如图4A中所示);当然也可以是不一致的,例如,红色滤光单元1315中的白色滤光区1317设置在红色滤光单元1315的右下角,而绿色滤光单元1315中的白色滤光区1317设置在绿色滤光单元1315的右上角。其中,图2D、图4A中的白色滤光区1317覆盖感光像素的个数以及所处位置只是一个举例,不作为对白色滤光区1317的限制。
还需要说明的是,在本发明的实施例中所提到的白色滤光区1317,其作用主要是让自然光透过,而不进行滤光。因此,白色滤光区1317可指设置有透明滤光片的区域,也可以指无滤光片的区域,即滤光片13中的“镂空”区域。
在本发明的实施例中,滤光单元1315包括白色滤光区1317和彩色滤光区1318,彩色滤光区1318用于获取低分辨率的图像的色彩信息,白色滤光区1317用于获取整个“白光”的信息,也就是说,白色滤光区1317具有更好的透光效果使得其覆盖的感光像素111输出的亮度值更高,可以提高低照度下的清晰度。
请再次参阅图1A,本发明实施例的图像传感器的成像方法,包括以下步骤:
S1,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
可以理解地,本发明实施例中对单帧高分辨率图像中抽取像素位置也可以根据实际合成图像的需求作调整,比如:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
请一并参阅图2D和图4B,从单帧高分辨率图像中分别抽取4个不同合并像素14的相同位置的感光像素111的像素值进行组合,以获得4帧低分辨率的图像,分别为RGGW、RWWB、RGGB、WGGB,也就是说获得了多帧不同的低分辨率的图像。举例来说,所获得的第一帧低分辨率的图像的四个感光像素111均抽取自相邻的四个合并像素14所包含的四个滤光单元1315相同位置处Gr1,R1,W1,Gb1对应的感光像素111的像素值。
S2,对多帧低分辨率的图像进行合成。
具体地,将获取到的多帧不同的低分辨率的图像进行合成,以生成高动态范围的图像。
更具体地,可以将所获得的所有低分辨率的图像进行合成,以生成高动态范围的图像;也可以从所获得的所有低分辨率的图像中挑选出几帧不同的图像进行合成,以生成高动态范围的图像,例如从图2D中所示的4帧低分辨率的图像中选取不同的2帧(RGGW、RWWB)进行合成。
本发明实施例的成像方法,只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧输出,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个具体实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素。如图1B所示,图像传感器的成像方法具体包括以下步骤:
S101,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像。
S102,对至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
具体地,由于一个合并像素包括n*n个感光像素,那么从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,最多可以获得n*n帧低分辨率的图像,根据实际需求,可以获取至少m帧低分辨率的图像用于多帧合成。
在本发明的一个具体实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素。如图1C所示,成像方法具体包括以下步骤:
S201,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像。
S202,对4帧低分辨率的图像进行合成。
举例来讲,假设16M图像传感器在暗处的帧率为8帧,若采用4帧数据进行多帧合成,那么相关技术中的多帧合成方式需要图像传感器输出4帧数据,也就是说多帧合成中等待数据帧的时间为0.5s;而本发明实施例的图像传感器的成像方法,则只需要图像传感器输出1帧数据,经过从读取的该1帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,就能将该1帧数据分成4张4M的图像,也就是说多帧合成中等待数据帧的时间仅需要0.125s,从而大大减少了多帧合成中等待数据帧的时间,从而给用户带来更好的拍照体验。
另外,在对4帧低分辨率的图像进行合成时,由于4帧4M的图像是从图像传感器的同一帧图像中分离出来的,差异很小,从而可以减小鬼影的产生。
可以理解的是,每个滤光单元覆盖多个感光像素的结构除了n*n(例如2*2、3*3、4*4)结构外,甚至可以是任意n*m结构(n,m为自然数)。由于感光像素阵列上可排列的感光像素的数目是有限的,每个滤光单元所覆盖的感光像素过多的话,所获得的低分辨率的图像的分辨率大小会受到限制,如,若感光像素阵列的像素值为16M,采用2*2结构会获得4张分辨率为4M的低分辨率的图像,而采用4*4结构就只能得到16张分辨率为1M的低分辨率的图像。因此2*2结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。
在本发明的一个实施例中,图像传感器还包括设置在滤光单元上方的透镜阵列,透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,该透镜阵列用于将光线汇聚到滤光片下方的感光像素的感光部分,从而提升感光像素的受光强度以改善图像画质。
为了实现上述实施例,本发明还提出了一种成像装置。
图3是根据本发明一个实施例的成像装置的方框示意图。如图3所示,本发明实施例的成像装置100,包括:图像传感器10和与图像传感器10相连的图像处理模块20。
请一并参阅图4A和图4B,图像传感器10包括感光像素阵列11及设置于感光像素阵列11上方的滤光片13。该滤光片13包括滤光单元阵列131,该滤光单元阵列131中包括多个滤光单元1315。每个滤光单元1315和位于该滤光单元1315下方的相邻排布的多个感光像素111共同构成一个合并像素14,其中,每个滤光单元1315包括白色滤光区1317和彩色滤光区1318,白色滤光区1317覆盖至少一个感光像素111,彩色滤光区1318覆盖至少一个感光像素111。
在本发明的一个实施例中,四个相邻的合并像素14构成一个合并像素单元(图未示)。每个合并像素单元中相邻排布的多个滤光单元1315包括一个红色滤光单元1315、一个蓝色滤光单元1315和两个绿色滤光单元1315,红色滤光单元1315包括白色滤光区1317和红色滤光区1318,蓝色滤光单元1315包括白色滤光区1317和蓝色滤光区1318,绿色滤光单元1315包括白色滤光区1317和绿色滤光区1318。
请参阅图2A,图2A所示为绿色滤光单元1315,绿色滤光单元1315包括白色滤光区1317和绿色滤光区1318,其中,白色滤光区1317覆盖一个感光像素,绿色滤光区1318覆盖三个感光像素。当然,在本发明的其他实施例中,还可以是白色滤光区1317覆盖两个感光像素,绿色滤光区1318覆盖两个感光像素,如图2B所示;还可以是白色滤光区1317覆盖三个感光像素,绿色滤光区1318覆盖一个感光像素,如图2C所示。
在本发明的一个实施例中,如图4B所示以白色滤光区1317覆盖一个感光像素111、彩色滤光区1318覆盖其余三个感光像素111为例。当然,在本发明的其他实施例中,还可以是白色滤光区1317覆盖两个感光像素,彩色滤光区1318覆盖两个感光像素;还可以是白色滤光区1317覆盖三个感光像素,彩色滤光区1318覆盖一个感光像素。
请同时参阅图2D和图4B,以每个滤光单元1315覆盖感光像素阵列11中相邻的编号为1,2,3,4的四个感光像素111为例,每个滤光单元1315和位于该滤光单元1315下方的相邻排布的四个感光像素111共同构成一个合并像素14。相邻的四个合并像素14组成一个包含十六个感光像素111的合并像素单元。
相邻的四个感光像素111共用一个同颜色的滤光单元1315,而相邻的四个滤光单元1315(包括一个红色滤光单元1315、一个蓝色滤光单元1315和两个绿色滤光单元1315)共同构成一组滤光结构1313。
当滤光单元1315中的白色滤光区1317或彩色滤光区1318覆盖多个感光像素(个数以P表示)时,白色滤光区1317或彩色滤光区1318可以为一体构造,或者由P个滤光片组装连接在一起。
请参阅图2D和图4A,需要说明的是,白色滤光区1317在滤光单元1315中的位置可以是任意的,以白色滤光区1317覆盖一个感光像素111为例,白色滤光区1317可以设置在滤光单元1315中标号为1、2、3、4中的任意一个位置。另外,对于不同颜色的滤光单元1315中的白色滤光区1317来说,白色滤光区1317所处的位置可以是一致的,例如,都设置在同样的位置(如图4A中所示);当然也可以是不一致的,例如,红色滤光单元1315中的白色滤光区1317设置在红色滤光单元1315的右下角,而绿色滤光单元1315中的白色滤光区1317设置在绿色滤光单元1315的右上角。其中,图2D、图4A中的白色滤光区1317覆盖感光像素的个数以及所处位置只是一个举例,不作为对白色滤光区1317的限制。
图像处理模块20用于读取感光像素阵列11的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,以获得多帧低分辨率的图像,以及对多帧低分辨率的图像进行合成。
在本发明的一个实施例中,图像处理模块20具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素111的像素值进行组合,以获得多帧低分辨率的图像。
可以理解地,本发明实施例中对单帧高分辨率图像中抽取像素位置也可以根据实际合成图像的需求作调整,比如:图像处理模块20从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
请一并参阅图2D和图4B,图像处理模块20从单帧高分辨率图像中抽取4个不同合并像素14的相同位置的感光像素111的像素值进行组合,以获得4帧低分辨率的图像,分别为RGGW、RWWB、RGGB、WGGB,也就是说获得了多帧不同的低分辨率的图像。举例来说,所获得的第一帧低分辨率的图像的四个感光像素111均抽取自相邻的四个合并像素14所包含的四个滤光单元1315相同位置处Gr1,R1,W1,Gb1对应的感光像素111的像素值。
在本发明的实施例中,滤光单元1315包括白色滤光区1317和彩色滤光区1318,彩色滤光区1318用于获取低分辨率的图像的色彩信息,白色滤光区1317用于获取整个“白光”的信息,也就是说,白色滤光区1317具有更好的透光效果使得其覆盖的感光像素111输出的亮度值更高,可以提高低照度下的清晰度。
进一步地,图像处理模块20将获取到的多帧低分辨率的图像进行合成,以生成高动态范围的图像。
具体地,图像处理模块20将获取到的多帧不同的低分辨率的图像进行合成,以生成高动态范围的图像。
更具体地,图像处理模块20可以将所获得的所有低分辨率的图像进行合成,以生成高动态范围的图像;也可以从所获得的所有低分辨率的图像中挑选出几帧不同的图像进行合成,以生成高动态范围的图像,例如从图2D中所示的4帧低分辨率的图像中选取不同的2帧(RGGW、RWWB)进行合成。
本发明实施例的成像装置,图像处理模块只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧输出,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,每个滤光单元1315和该滤光单元1315所覆盖的感光像素阵列11中相邻的n*n个感光像素111共同构成一个合并像素,图像处理模块20具体用于:读取感光像素阵列11的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素111的像素值进行组合,以获得至少m帧低分辨率的图像,并对至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
在本发明的一个实施例中,每个滤光单元1315和该滤光单元1315所覆盖的感光像素阵列11中相邻的2*2个感光像素111共同构成一个合并像素14,图像处理模块20具体用于:读取感光像素阵列11的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,以获得4帧低分辨率的图像,并对4帧低分辨率的图像进行合成。
举例来讲,假设16M图像传感器在暗处的帧率为8帧,若采用4帧数据进行多帧合成,那么相关技术中的多帧合成方式需要图像传感器输出4帧数据,也就是说多帧合成中等待数据帧的时间为0.5s;而本发明实施例的成像装置,则只需要图像传感器输出1帧数据,图像处理模块20从该1帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,就能将该1帧数据分成4张4M的图像,也就是说多帧合成中等待数据帧的时间仅需要0.125s,从而大大减少了多帧合成中等待数据帧的时间,从而给用户带来更好的拍照体验。
另外,在对4帧低分辨率的图像进行合成时,由于4帧4M的图像是从图像传感器的同一帧图像中分离出来的,差异很小,从而可以减小鬼影的产生。
可以理解的是,每个滤光单元1315覆盖多个感光像素111的结构除了n*n(例如2*2、3*3、4*4)结构外,甚至可以是任意n*m结构(n,m为自然数)。由于感光像素阵列11上可排列的感光像素111的数目是有限的,每个滤光单元1315所覆盖的感光像素111过多的话,所获得的低分辨率的图像的分辨率大小会受到限制,如,若感光像素阵列11的像素值为16M,采用2*2结构会获得4张分辨率为4M的低分辨率的图像,而采用4*4结构就只能得到16张分辨率为1M的低分辨率的图像。因此2*2结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。
请参阅图4C,在本发明的一个实施例中,图像传感器10的每个合并像素14还包括设置在滤光单元1315上方的透镜阵列15。该透镜阵列15上的每个微透镜151与一个感光像素111对应,包括形状、大小、位置对应。微透镜151用于将光线汇聚到感光像素111的感光部分112上,以提升感光像素111的受光强度,从而改善成像画质。在某些实施方式中,每个滤光单元1315对应2*2个感光像素111及2*2个微透镜151。
请参阅图5,图5为感光像素及相关电路的示意图。在本发明的实施例中,感光像素111包括光电二极管1113。感光像素111与开关管1115、源极跟随器1117(sourcefollower)和模数转换器17(anaolog-to-digitalconverter)的连接关系如图5所示。即一个感光像素111对应采用一个源极跟随器1117和一个模数转换器17。
其中,光电二极管1113用于将光照转化为电荷,且产生的电荷与光照强度成比例关系;开关管1115用于根据行选择逻辑单元41及列选择逻辑单元43的控制信号来控制电路的导通及断开,当电路导通时,源极跟随器1117用于将光电二极管1113经光照产生的电荷信号转化为电压信号。模数转换器17用于将电压信号转换为数字信号,并传输至图像处理模块20进行处理。其中,行选择逻辑单元41及列选择逻辑单元43与成像装置100的控制模块相连,并由成像装置100的控制模块控制。
本发明实施例的成像装置,图像处理模块只需要获得图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而防止鬼影的产生,进而大大提升了用户体验。
为了实现上述实施例,本发明还提出了一种电子装置。该电子装置包括本发明实施例的成像装置。
在本发明的一个实施例中,电子装置为手机或平板电脑。
本发明实施例的电子装置,由于具有了该成像装置,在拍摄时只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种图像传感器的成像方法,其特征在于,所述图像传感器包括感光像素阵列及设置在所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素,其中,每个所述滤光单元包括白色滤光区和彩色滤光区,所述白色滤光区覆盖至少一个所述感光像素,所述彩色滤光区覆盖至少一个所述感光像素,所述成像方法包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像;
对所述多帧低分辨率的图像进行合成。
2.如权利要求1所述的图像传感器的成像方法,其特征在于,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
3.如权利要求1所述的图像传感器的成像方法,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像;
对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
4.如权利要求3所述的图像传感器的成像方法,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像;
对所述4帧低分辨率的图像进行合成。
5.如权利要求1所述的图像传感器的成像方法,其特征在于,相邻的四个合并像素共同构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元,所述红色滤光单元包括白色滤光区和红色滤光区,所述蓝色滤光单元包括白色滤光区和蓝色滤光区,所述绿色滤光单元包括白色滤光区和绿色滤光区。
6.一种成像装置,其特征在于,包括:
图像传感器,所述图像传感器包括:
感光像素阵列;
设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素,其中,每个所述滤光单元包括白色滤光区和彩色滤光区,所述白色滤光区覆盖至少一个所述感光像素,所述彩色滤光区覆盖至少一个所述感光像素;以及
与所述图像传感器相连的图像处理模块,所述图像处理模块用于读取所述感光像素阵列的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,以及对所述多帧低分辨率的图像进行合成。
7.如权利要求6所述的成像装置,其特征在于,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
8.如权利要求6所述的成像装置,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述图像处理模块具体用于:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像,并对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
9.如权利要求8所述的成像装置,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述图像处理模块具体用于:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像,并对所述4帧低分辨率的图像进行合成。
10.如权利要求6所述的成像装置,其特征在于,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元,所述红色滤光单元包括白色滤光区和红色滤光区,所述蓝色滤光单元包括白色滤光区和蓝色滤光区,所述绿色滤光单元包括白色滤光区和绿色滤光区。
11.如权利要求6所述的成像装置,其特征在于,每个合并像素还包括设置在滤光单元上方的透镜阵列,该透镜阵列用于将光线汇聚到滤光片下方的感光像素上。
12.如权利要求11所述的成像装置,其特征在于,该透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置。
13.一种电子装置,其特征在于,包括如权利要求6-12任一项所述的成像装置。
14.如权利要求13所述的电子装置,其特征在于,所述电子装置为手机或平板电脑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963357.4A CN105578071B (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963357.4A CN105578071B (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105578071A true CN105578071A (zh) | 2016-05-11 |
CN105578071B CN105578071B (zh) | 2018-03-20 |
Family
ID=55887677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510963357.4A Active CN105578071B (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105578071B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101546A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
WO2017101555A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
CN108305883A (zh) * | 2018-01-30 | 2018-07-20 | 德淮半导体有限公司 | 图像传感器 |
CN112020853A (zh) * | 2018-02-23 | 2020-12-01 | Lg伊诺特有限公司 | 摄像机模块及其超分辨率图像处理方法 |
WO2021227250A1 (zh) * | 2020-05-15 | 2021-11-18 | 深圳市汇顶科技股份有限公司 | 图像传感器和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857708A (zh) * | 2011-10-17 | 2013-01-02 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
CN103686007A (zh) * | 2013-12-31 | 2014-03-26 | 上海集成电路研发中心有限公司 | 单次拍摄生成高动态范围图像的图像传感器 |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
-
2015
- 2015-12-18 CN CN201510963357.4A patent/CN105578071B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857708A (zh) * | 2011-10-17 | 2013-01-02 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
CN103686007A (zh) * | 2013-12-31 | 2014-03-26 | 上海集成电路研发中心有限公司 | 单次拍摄生成高动态范围图像的图像传感器 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101546A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
WO2017101555A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
US9979883B2 (en) | 2015-12-18 | 2018-05-22 | Guangdong Oppo Telecommunications Corp., Ltd. | Imaging method for image sensor, imaging apparatus, and electronic device |
US10225465B2 (en) | 2015-12-18 | 2019-03-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging method for image sensor, imaging apparatus, and electronic device |
US10594962B2 (en) | 2015-12-18 | 2020-03-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image sensor, imaging device, mobile terminal and imaging method for producing high resolution image |
CN108305883A (zh) * | 2018-01-30 | 2018-07-20 | 德淮半导体有限公司 | 图像传感器 |
CN112020853A (zh) * | 2018-02-23 | 2020-12-01 | Lg伊诺特有限公司 | 摄像机模块及其超分辨率图像处理方法 |
CN112020853B (zh) * | 2018-02-23 | 2022-11-08 | Lg伊诺特有限公司 | 摄像机模块及其超分辨率图像处理方法 |
US11770626B2 (en) | 2018-02-23 | 2023-09-26 | Lg Innotek Co., Ltd. | Camera module and super resolution image processing method thereof |
WO2021227250A1 (zh) * | 2020-05-15 | 2021-11-18 | 深圳市汇顶科技股份有限公司 | 图像传感器和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105578071B (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105578005A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105516698A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105578071A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105611258A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN100527792C (zh) | 摄像方法以及摄像装置 | |
CN103782586B (zh) | 成像设备 | |
CN105578078A (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105516700A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105430361B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105592303B (zh) | 成像方法、成像装置及电子装置 | |
CN101742103B (zh) | 固体摄像器件 | |
CN103155542A (zh) | 图像拾取装置和图像拾取设备 | |
CN105430359A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN102959959B (zh) | 固态成像装置驱动方法、固态成像装置及成像设备 | |
CN105516697A (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
CN105578080B (zh) | 成像方法、成像装置及电子装置 | |
CN105516699A (zh) | 图像传感器及其成像方法、成像装置和电子装置 | |
CN105611257B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105578065A (zh) | 高动态范围图像的生成方法、拍照装置和终端 | |
CN105578079A (zh) | 图像传感器及其成像画质的调节方法和成像装置 | |
CN105578066A (zh) | 成像方法、成像装置及电子装置 | |
CN105578081A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105516696A (zh) | 图像传感器、成像方法、成像装置和电子装置 | |
CN102387291A (zh) | 成像设备、信号处理方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523859 usha Beach Road No. 18 Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |