CN105516698A - 图像传感器的成像方法、成像装置和电子装置 - Google Patents
图像传感器的成像方法、成像装置和电子装置 Download PDFInfo
- Publication number
- CN105516698A CN105516698A CN201510963897.2A CN201510963897A CN105516698A CN 105516698 A CN105516698 A CN 105516698A CN 201510963897 A CN201510963897 A CN 201510963897A CN 105516698 A CN105516698 A CN 105516698A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- photosensitive
- filter unit
- photosensitive pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像传感器的成像方法、成像装置和电子装置,图像传感器包括感光像素阵列及滤光片(包括滤光单元阵列),每个滤光单元和该滤光单元所覆盖的多个感光像素共同构成一合并像素,图像传感器还包括透镜阵列,每个微透镜与一个感光像素对应设置,同一个合并像素中多个感光像素所对应的多个微透镜中至少两个微透镜的尺寸不同,成像方法包括:读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像;对多帧低分辨率的图像进行合成。该成像方法只需图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,减少了等待数据帧的时间,防止了鬼影的产生。
Description
技术领域
本发明涉及成像技术领域,尤其涉及一种图像传感器的成像方法、成像装置和电子装置。
背景技术
目前,手机拍照功能的多样化赢得了广大用户的喜爱,很多手机在拍照时采用了多帧合成技术,即让手机的图像传感器连续出几张图像,再由软件来合成,以达到不同的拍摄效果(例如HDR、夜景效果等),以丰富使用体验。
但是,相关技术中的手机所采用的多帧合成技术,由于需要获取多帧数据,存在等待多帧数据所需时间较长的问题。另外,如果在拍摄多帧数据时画面中有物体在移动,那么合成之后很容易产生鬼影。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种图像传感器的成像方法,该成像方法只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
本发明的第二个目的在于提出一种成像装置。
本发明的第三个目的在于提出一种电子装置。
为了实现上述目的,本发明第一方面实施例的图像传感器的成像方法,所述图像传感器包括感光像素阵列及设置在所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素,所述图像传感器还包括设置在所述滤光片之上的透镜阵列,所述透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,其中,同一个合并像素中多个感光像素所对应的多个所述微透镜中至少两个所述微透镜的尺寸不同,所述成像方法包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,其中,根据所述至少两个尺寸不同的微透镜对应感光像素所生成的图像亮度不同;对所述多帧低分辨率的图像进行合成。
根据本发明实施例的图像传感器的成像方法,只需要图像传感器的一帧输出,就能获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,大大提升了用户体验。
在本发明的一个实施例中,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像;对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像;对所述4帧低分辨率的图像进行合成。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元。
为了实现上述目的,本发明第二方面实施例的成像装置,图像传感器,所述图像传感器包括:感光像素阵列;设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个所述感光像素共同构成一合并像素;设置在所述滤光片之上的透镜阵列,所述透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,其中,一个合并像素中多个感光像素所对应的多个所述微透镜中至少两个所述微透镜的尺寸不同;以及与所述图像传感器相连的图像处理模块,所述图像处理模块用于读取所述感光像素阵列的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,以及对所述多帧低分辨率的图像进行合成,其中,根据所述至少两个尺寸不同的微透镜对应感光像素所生成的图像亮度不同。
根据本发明实施例的成像装置,图像处理模块只需要获得图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述图像处理模块具体用于:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像,并对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
在本发明的一个实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述图像处理模块具体用于:读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像,并对所述4帧低分辨率的图像进行合成。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元。
为了实现上述目的,本发明第三方面实施例的电子装置,包括本发明第二方面实施例的成像装置。
根据本发明实施例的电子装置,由于具有了该成像装置,在拍摄时只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而可以防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,所述电子装置为手机或平板电脑。
附图说明
图1A是根据本发明一个实施例的图像传感器的成像方法的流程图;
图1B是根据本发明一个具体实施例的图像传感器的成像方法的流程图;
图1C是根据本发明一个具体实施例的图像传感器的成像方法的流程图;
图2是根据本发明一个具体实施例获得多帧低分辨率的图像的原理图;
图3是根据本发明一个实施例的成像装置的方框示意图;
图4A是根据本发明一个实施例的滤光单元阵列的示意图;
图4B是根据本发明一个实施例的图像传感器的结构示意图;
图4C是根据本发明另一个实施例的图像传感器的结构示意图;
图5是根据本发明一个实施例的感光像素及相关电路的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像传感器的成像方法、成像装置和电子装置。
图1A是根据本发明一个实施例的图像传感器的成像方法的流程图。
首先对本发明实施例的方法所采用的图像传感器进行说明。
具体地,图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片,滤光片包括滤光单元阵列,所述滤光单元阵列包括多个滤光单元,每个滤光单元和该滤光单元所覆盖感光像素阵列中相邻的多个感光像素共同构成一合并像素,图像传感器还包括设置在滤光片之上的透镜阵列,透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,其中,同一个合并像素中多个感光像素所对应的多个微透镜中至少两个微透镜的尺寸不同。
在本发明的一个实施例中,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元。
请同时参阅图2和图4B,每个滤光单元1315和该滤光单元1315所覆盖感光像素阵列11中相邻的四个感光像素111共同构成一个合并像素14。相邻的四个合并像素共同组成一个包括十六个感光像素111的合并像素单元。
相邻的四个感光像素111共用一个同颜色的滤光单元1315,例如图2中虚线框内相邻的四个感光像素Gr1、Gr2、Gr3和Gr4对应绿色的滤光单元1315。在图2中,Gr、R、B、Gb分别用于标识滤光单元1315的颜色,数字1,2,3,4用于标识滤光单元1315下方相邻的四个感光像素111的位置。具体地,R用于标识红色的滤光单元1315,B用于标识蓝色的滤光单元1315,Gr、Gb用于标识绿色的滤光单元1315。
相邻的四个感光像素111所共用的滤光单元1315可以为一体构造,或者由四个独立的滤光片组装连接在一起。优选地,本发明实施例中滤光单元1315为一体构造。
请参阅图4C,滤光片之上还设置有透镜阵列15,透镜阵列15包括多个微透镜151,每个微透镜151与一个感光像素111对应设置,其中,同一个合并像素14中多个感光像素111所对应的多个微透镜151中至少两个微透镜151的尺寸不同。例如,微透镜151-1、微透镜151-2、微透镜151-3和微透镜151-4中至少有两个微透镜151的尺寸不同。
微透镜151用于将光线汇聚到感光像素111的感光部分112上,以提升感光像素111的受光强度,从而改善成像画质。在某些实施方式中,每个滤光单元1315对应2*2个感光像素111及2*2个微透镜151。
微透镜151的尺寸不同,光线经过微透镜151后汇聚到感光像素111的光线强度就不同,由于同一合并像素14中至少有两个感光像素111所对应的微透镜151的尺寸不同,那么,同一合并像素14中至少有两个感光像素111所对应的像素值不同,进而根据该至少有两个感光像素111所生成的图像亮度会不同。
请再次参阅图1A,本发明实施例的图像传感器的成像方法,包括以下步骤:
S1,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,其中,根据所述至少两个尺寸不同的微透镜对应感光像素所生成的图像亮度不同。
在本发明的一个实施例中,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
可以理解地,本发明实施例中对单帧高分辨率图像中抽取像素位置也可以根据实际合成图像的需求作调整,比如:从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
请一并参阅图2和图4B,从单帧高分辨率图像中分别抽取4个不同合并像素14的相同位置的感光像素111的像素值进行组合,以获得4帧低分辨率的图像。举例来说,所获得的第一帧低分辨率的图像的四个感光像素111均抽取自相邻的四个合并像素14所包含的四个滤光单元1315相同位置处Gr1,R1,B1,Gb1对应的感光像素111的像素值。
假设同一合并像素14中的四个感光像素111所对应的四个微透镜151为四个尺寸均不同的微透镜151,那么,所获得的4帧低分辨率的图像的亮度就各不相同。
S2,对多帧低分辨率的图像进行合成。
具体地,将获取到的多帧低分辨率的图像(其中,至少2帧低分辨率的图像的亮度不同)进行合成,以生成高动态范围的图像。
本发明实施例的成像方法,只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧输出,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个具体实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素。如图1B所示,图像传感器的成像方法具体包括以下步骤:
S101,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像。
S102,对至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
具体地,由于一个合并像素包括n*n个感光像素,那么从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,最多可以获得n*n帧低分辨率的图像,由于所获得的n*n帧低分辨率的图像中至少有两帧图像的亮度是不同的,那么根据实际需求,可以根据图像亮度的不同选取至少m帧低分辨率的图像用于多帧合成。
在本发明的一个具体实施例中,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素。如图1C所示,成像方法具体包括以下步骤:
S201,读取感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像。
其中,由于同一合并像素14中的四个感光像素所对应的四个微透镜151中至少有两个微透镜151的尺寸不同,那么,所获得的4帧低分辨率的图像中至少有两帧图像的亮度是不相同的。
S202,对4帧低分辨率的图像进行合成。
具体地,对4帧低分辨率的图像进行合成,以生成高动态范围的图像。
举例来讲,假设16M图像传感器在暗处的帧率为8帧,若采用4帧数据进行多帧合成,那么相关技术中的多帧合成方式需要图像传感器输出4帧数据,也就是说多帧合成中等待数据帧的时间为0.5s;而本发明实施例的图像传感器的成像方法,则只需要图像传感器输出1帧数据,经过从读取的该1帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,就能将该1帧数据分成4张4M的图像,也就是说多帧合成中等待数据帧的时间仅需要0.125s,从而大大减少了多帧合成中等待数据帧的时间,从而给用户带来更好的拍照体验。又由于4帧低分辨率的图像中至少有2帧图像的亮度不同,从而提升了所生成的高动态范围的图像的质量。
另外,在对4帧低分辨率的图像进行合成时,由于4帧4M的图像是从图像传感器的同一帧图像中分离出来的,差异很小,从而可以减小鬼影的产生。
可以理解的是,每个滤光单元覆盖多个感光像素的结构除了n*n(例如2*2、3*3、4*4)结构外,甚至可以是任意n*m结构(n,m为自然数)。由于感光像素阵列上可排列的感光像素的数目是有限的,每个滤光单元所覆盖的感光像素过多的话,所获得的低分辨率的图像的分辨率大小会受到限制,如,若感光像素阵列的像素值为16M,采用2*2结构会获得4张分辨率为4M的低分辨率的图像,而采用4*4结构就只能得到16张分辨率为1M的低分辨率的图像。因此2*2结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。
为了实现上述实施例,本发明还提出了一种成像装置。
图3是根据本发明一个实施例的成像装置的方框示意图。如图3所示,本发明实施例的成像装置100,包括:图像传感器10和与图像传感器10相连的图像处理模块20。
请一并参阅图4A、图4B和图4C,图像传感器10包括感光像素阵列11及设置于感光像素阵列11上方的滤光片13。该滤光片13包括滤光单元阵列131,该滤光单元阵列131中包括多个滤光单元1315。每个滤光单元1315和位于该滤光单元1315下方的相邻排布的多个感光像素111共同构成一个合并像素14,设置在滤光片13之上的透镜阵列15,透镜阵列15包括多个微透镜151,每个微透镜151与一个感光像素111对应设置,其中,一个合并像素14中多个感光像素111所对应的多个微透镜151中至少两个微透镜151的尺寸不同。
在本发明的一个实施例中,四个相邻的合并像素14构成一个合并像素单元(图未示)。每个合并像素单元中相邻排布的多个滤光单元1315包括一个红色滤光单元1315、一个蓝色滤光单元1315和两个绿色滤光单元1315。
以每个滤光单元1315覆盖感光像素阵列11中相邻的编号为1,2,3,4的四个感光像素111为例,如图4B所示,每个滤光单元1315和位于该滤光单元1315下方的相邻排布的四个感光像素111共同构成一个合并像素14。相邻的四个合并像素14组成一个包含十六个感光像素111的合并像素单元。
相邻的四个感光像素111共用一个同颜色的滤光单元1315,而相邻的四个滤光单元1315(包括一个红色滤光单元1315、一个蓝色滤光单元1315和两个绿色滤光单元1315)共同构成一组滤光结构1313。
其中,相邻的四个感光像素111所共用的滤光单元1315可以为一体构造,或者由四个独立的滤光片组装连接在一起。优选地,四个相邻的感光像素111所共用的滤光单元1315为一体构造(请参阅图4B)。
请参阅图4C,滤光片之上还设置有透镜阵列15,透镜阵列15包括多个微透镜151,每个微透镜151与一个感光像素111对应设置,其中,同一个合并像素14中多个感光像素111所对应的多个微透镜151中至少两个微透镜151的尺寸不同。例如,微透镜151-1、微透镜151-2、微透镜151-3和微透镜151-4中至少有两个微透镜151的尺寸不同。
微透镜151用于将光线汇聚到感光像素111的感光部分112上,以提升感光像素111的受光强度,从而改善成像画质。在某些实施方式中,每个滤光单元1315对应2*2个感光像素111及2*2个微透镜151。
微透镜151的尺寸不同,光线经过微透镜151后汇聚到感光像素111的光线强度就不同,由于同一合并像素14中至少有两个感光像素111所对应的微透镜151的尺寸不同,那么,同一合并像素14中至少有两个感光像素111所对应的像素值不同,进而根据该至少有两个感光像素111所生成的图像亮度会不同。
图像处理模块20用于读取感光像素阵列11的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,以获得多帧低分辨率的图像,以及对多帧低分辨率的图像进行合成,其中,根据至少两个尺寸不同的微透镜151对应感光像素111所生成的图像亮度不同。
在本发明的一个实施例中,图像处理模块20具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素111的像素值进行组合,以获得多帧低分辨率的图像。
可以理解地,本发明实施例中对单帧高分辨率图像中抽取像素位置也可以根据实际合成图像的需求作调整,比如:图像处理模块20从读取的单帧高分辨率图像中抽取不同合并像素的不同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
请一并参阅图2和图4B,图像处理模块20从单帧高分辨率图像中抽取4个不同合并像素14的相同位置的感光像素111的像素值进行组合,以获得4帧低分辨率的图像。举例来说,所获得的第一帧低分辨率的图像的四个感光像素111均抽取自相邻的四个合并像素14所包含的四个滤光单元1315相同位置处Gr1,R1,B1,Gb1对应的感光像素111的像素值。
假设同一合并像素14中的四个感光像素111所对应的四个微透镜151为四个尺寸均不同的微透镜151,那么,所获得的4帧低分辨率的图像的亮度就各不相同。
进一步地,图像处理模块20将获取到的多帧低分辨率的图像进行合成,以生成高动态范围的图像。
本发明实施例的成像装置,图像处理模块只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧输出,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的一个实施例中,每个滤光单元1315和该滤光单元1315所覆盖的感光像素阵列11中相邻的n*n个感光像素111共同构成一个合并像素,图像处理模块20具体用于:读取感光像素阵列11的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素111的像素值进行组合,以获得至少m帧低分辨率的图像,并对至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。由于所获得的n*n帧低分辨率的图像中至少有两帧图像的亮度是不同的,那么根据实际需求,图像处理模块20可以根据图像亮度的不同选取至少m帧低分辨率的图像用于多帧合成。
在本发明的一个实施例中,每个滤光单元1315和该滤光单元1315所覆盖的感光像素阵列11中相邻的2*2个感光像素111共同构成一个合并像素14,图像处理模块20具体用于:读取感光像素阵列11的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,以获得4帧低分辨率的图像,并对4帧低分辨率的图像进行合成。
其中,由于同一合并像素14中的四个感光像素所对应的四个微透镜151中至少有两个微透镜151的尺寸不同,那么,所获得的4帧低分辨率的图像中至少有两帧图像的亮度是不相同的。
举例来讲,假设16M图像传感器在暗处的帧率为8帧,若采用4帧数据进行多帧合成,那么相关技术中的多帧合成方式需要图像传感器输出4帧数据,也就是说多帧合成中等待数据帧的时间为0.5s;而本发明实施例的成像装置,则只需要图像传感器输出1帧数据,图像处理模块20从该1帧高分辨率图像中抽取不同合并像素的感光像素111的像素值进行组合,就能将该1帧数据分成4张4M的图像,也就是说多帧合成中等待数据帧的时间仅需要0.125s,从而大大减少了多帧合成中等待数据帧的时间,从而给用户带来更好的拍照体验。又由于4帧低分辨率的图像中至少有2帧图像的亮度不同,从而提升了所生成的高动态范围的图像的质量。
另外,在对4帧低分辨率的图像进行合成时,由于4帧4M的图像是从图像传感器的同一帧图像中分离出来的,差异很小,从而可以减小鬼影的产生。
可以理解的是,每个滤光单元1315覆盖多个感光像素111的结构除了n*n(例如2*2、3*3、4*4)结构外,甚至可以是任意n*m结构(n,m为自然数)。由于感光像素阵列11上可排列的感光像素111的数目是有限的,每个滤光单元1315所覆盖的感光像素111过多的话,所获得的低分辨率的图像的分辨率大小会受到限制,如,若感光像素阵列11的像素值为16M,采用2*2结构会获得4张分辨率为4M的低分辨率的图像,而采用4*4结构就只能得到16张分辨率为1M的低分辨率的图像。因此2*2结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。
请参阅图5,图5为感光像素及相关电路的示意图。在本发明的实施例中,感光像素111包括光电二极管1113。感光像素111与开关管1115、源极跟随器1117(sourcefollower)和模数转换器17(anaolog-to-digitalconverter)的连接关系如图5所示。即一个感光像素111对应采用一个源极跟随器1117和一个模数转换器17。
其中,光电二极管1113用于将光照转化为电荷,且产生的电荷与光照强度成比例关系;开关管1115用于根据行选择逻辑单元41及列选择逻辑单元43的控制信号来控制电路的导通及断开,当电路导通时,源极跟随器1117用于将光电二极管1113经光照产生的电荷信号转化为电压信号。模数转换器17用于将电压信号转换为数字信号,并传输至图像处理模块20进行处理。其中,行选择逻辑单元41及列选择逻辑单元43与成像装置100的控制模块相连,并由成像装置100的控制模块控制。
本发明实施例的成像装置,图像处理模块只需要获得图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而防止鬼影的产生,进而大大提升了用户体验。
为了实现上述实施例,本发明还提出了一种电子装置。该电子装置包括本发明实施例的成像装置。
在本发明的一个实施例中,电子装置为手机或平板电脑。
本发明实施例的电子装置,由于具有了该成像装置,在拍摄时只需要图像传感器的一帧输出,就能通过合成的方式获得高动态范围的图像,从而大大减少了多帧合成中等待数据帧的时间,又由于用于多帧合成的数据来自图像传感器的同一帧,从而防止鬼影的产生,进而大大提升了用户体验。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种图像传感器的成像方法,其特征在于,所述图像传感器包括感光像素阵列及设置在所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素,所述图像传感器还包括设置在所述滤光片之上的透镜阵列,所述透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,其中,同一个合并像素中多个感光像素所对应的多个所述微透镜中至少两个所述微透镜的尺寸不同,所述成像方法包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,其中,根据所述至少两个尺寸不同的微透镜对应感光像素所生成的图像亮度不同;
对所述多帧低分辨率的图像进行合成。
2.如权利要求1所述的图像传感器的成像方法,其特征在于,所述从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,具体包括:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
3.如权利要求1所述的图像传感器的成像方法,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像;
对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
4.如权利要求3所述的图像传感器的成像方法,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述成像方法具体包括以下步骤:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像;
对所述4帧低分辨率的图像进行合成。
5.如权利要求1所述的图像传感器的成像方法,其特征在于,相邻的四个合并像素共同构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元。
6.一种成像装置,其特征在于,包括:
图像传感器,所述图像传感器包括:
感光像素阵列;
设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,每个所述滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的多个感光像素共同构成一合并像素;
设置在所述滤光片之上的透镜阵列,所述透镜阵列包括多个微透镜,每个微透镜与一个感光像素对应设置,其中,一个合并像素中多个感光像素所对应的多个所述微透镜中至少两个所述微透镜的尺寸不同;以及
与所述图像传感器相连的图像处理模块,所述图像处理模块用于读取所述感光像素阵列的输出,并从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得多帧低分辨率的图像,以及对所述多帧低分辨率的图像进行合成,其中,根据所述至少两个尺寸不同的微透镜对应感光像素所生成的图像亮度不同。
7.如权利要求6所述的成像装置,其特征在于,所述图像处理模块具体用于:从读取的单帧高分辨率图像中抽取不同合并像素的相同位置的感光像素的像素值进行组合,以获得多帧低分辨率的图像。
8.如权利要求6所述的成像装置,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的n*n个感光像素共同构成一个合并像素,所述图像处理模块具体用于:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取相邻合并像素的感光像素的像素值进行组合,以获得至少m帧低分辨率的图像,并对所述至少m帧低分辨率的图像进行合成;其中,n,m均为大于1的自然数,m取值小于等于n*n。
9.如权利要求8所述的成像装置,其特征在于,每个滤光单元和该滤光单元所覆盖的感光像素阵列中相邻的2*2个感光像素共同构成一个合并像素,所述图像处理模块具体用于:
读取所述感光像素阵列的输出,从读取的单帧高分辨率图像中抽取不同合并像素的感光像素的像素值进行组合,以获得4帧低分辨率的图像,并对所述4帧低分辨率的图像进行合成。
10.如权利要求6所述的成像装置,其特征在于,相邻的四个合并像素构成一个合并像素单元,每个合并像素单元中相邻排布的四个滤光单元包括一个红色滤光单元、一个蓝色滤光单元和两个绿色滤光单元。
11.一种电子装置,其特征在于,包括如权利要求6-10任一项所述的成像装置。
12.如权利要求11所述的电子装置,其特征在于,所述电子装置为手机或平板电脑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963897.2A CN105516698A (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963897.2A CN105516698A (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105516698A true CN105516698A (zh) | 2016-04-20 |
Family
ID=55724293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510963897.2A Pending CN105516698A (zh) | 2015-12-18 | 2015-12-18 | 图像传感器的成像方法、成像装置和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105516698A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534822A (zh) * | 2016-11-29 | 2017-03-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
WO2017101555A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
CN106934394A (zh) * | 2017-03-09 | 2017-07-07 | 深圳奥比中光科技有限公司 | 双波长图像采集系统及方法 |
WO2018098977A1 (zh) * | 2016-11-29 | 2018-06-07 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置、制造方法和电子装置 |
WO2018098983A1 (zh) * | 2016-11-29 | 2018-06-07 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
CN108322669A (zh) * | 2018-03-06 | 2018-07-24 | 广东欧珀移动通信有限公司 | 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备 |
CN109257534A (zh) * | 2017-07-12 | 2019-01-22 | 奥林巴斯株式会社 | 摄像元件、摄像装置、记录介质、摄像方法 |
CN111316634A (zh) * | 2018-12-28 | 2020-06-19 | 合刃科技(深圳)有限公司 | Hdr图像成像方法、装置及系统 |
CN113540138A (zh) * | 2021-06-03 | 2021-10-22 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
CN113973184A (zh) * | 2020-05-22 | 2022-01-25 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件、移动终端 |
CN115225826A (zh) * | 2022-06-30 | 2022-10-21 | 联想(北京)有限公司 | 图像拍摄方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
CN101816171A (zh) * | 2007-10-03 | 2010-08-25 | 诺基亚公司 | 用于增强图像动态范围的多重曝光模式 |
CN101931756A (zh) * | 2009-06-19 | 2010-12-29 | 比亚迪股份有限公司 | 一种提高cmos图像传感器动态范围的装置和方法 |
US20140313400A1 (en) * | 2011-05-13 | 2014-10-23 | Sony Corporation | Image processing apparatus, image pickup apparatus, image processing method, and program |
CN204720451U (zh) * | 2014-06-03 | 2015-10-21 | 半导体元件工业有限责任公司 | 成像系统和处理器系统 |
-
2015
- 2015-12-18 CN CN201510963897.2A patent/CN105516698A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
CN101816171A (zh) * | 2007-10-03 | 2010-08-25 | 诺基亚公司 | 用于增强图像动态范围的多重曝光模式 |
CN101931756A (zh) * | 2009-06-19 | 2010-12-29 | 比亚迪股份有限公司 | 一种提高cmos图像传感器动态范围的装置和方法 |
US20140313400A1 (en) * | 2011-05-13 | 2014-10-23 | Sony Corporation | Image processing apparatus, image pickup apparatus, image processing method, and program |
CN204720451U (zh) * | 2014-06-03 | 2015-10-21 | 半导体元件工业有限责任公司 | 成像系统和处理器系统 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9979883B2 (en) | 2015-12-18 | 2018-05-22 | Guangdong Oppo Telecommunications Corp., Ltd. | Imaging method for image sensor, imaging apparatus, and electronic device |
WO2017101555A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
US10225465B2 (en) | 2015-12-18 | 2019-03-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging method for image sensor, imaging apparatus, and electronic device |
WO2018098983A1 (zh) * | 2016-11-29 | 2018-06-07 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
US10447925B2 (en) | 2016-11-29 | 2019-10-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, electronic device and control method |
CN106534822A (zh) * | 2016-11-29 | 2017-03-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106534822B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
WO2018098977A1 (zh) * | 2016-11-29 | 2018-06-07 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置、制造方法和电子装置 |
US10194126B2 (en) | 2016-11-29 | 2019-01-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, imaging apparatus, and method performed thereby |
US10440265B2 (en) | 2016-11-29 | 2019-10-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, electronic device and control method |
CN106934394B (zh) * | 2017-03-09 | 2024-01-19 | 奥比中光科技集团股份有限公司 | 双波长图像采集系统及方法 |
CN106934394A (zh) * | 2017-03-09 | 2017-07-07 | 深圳奥比中光科技有限公司 | 双波长图像采集系统及方法 |
CN109257534A (zh) * | 2017-07-12 | 2019-01-22 | 奥林巴斯株式会社 | 摄像元件、摄像装置、记录介质、摄像方法 |
CN109257534B (zh) * | 2017-07-12 | 2020-10-30 | 奥林巴斯株式会社 | 摄像元件、摄像装置、记录介质、摄像方法 |
CN108322669A (zh) * | 2018-03-06 | 2018-07-24 | 广东欧珀移动通信有限公司 | 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备 |
CN111316634A (zh) * | 2018-12-28 | 2020-06-19 | 合刃科技(深圳)有限公司 | Hdr图像成像方法、装置及系统 |
WO2020133193A1 (zh) * | 2018-12-28 | 2020-07-02 | 合刃科技(深圳)有限公司 | Hdr图像成像方法、装置及系统 |
CN113973184A (zh) * | 2020-05-22 | 2022-01-25 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件、移动终端 |
CN113540138A (zh) * | 2021-06-03 | 2021-10-22 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
WO2022252367A1 (zh) * | 2021-06-03 | 2022-12-08 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
CN113540138B (zh) * | 2021-06-03 | 2024-03-12 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
CN115225826A (zh) * | 2022-06-30 | 2022-10-21 | 联想(北京)有限公司 | 图像拍摄方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105516698A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105578005A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN105611258A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
US7453510B2 (en) | Imaging device | |
CN105516700A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
US8593509B2 (en) | Three-dimensional imaging device and viewpoint image restoration method | |
CN100527792C (zh) | 摄像方法以及摄像装置 | |
CN105578071A (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
CN103782586B (zh) | 成像设备 | |
CN103155542A (zh) | 图像拾取装置和图像拾取设备 | |
CN101742103B (zh) | 固体摄像器件 | |
JP2000152283A (ja) | カメラ・システム | |
CN103733606B (zh) | 成像设备 | |
US10382709B2 (en) | Image processing method and apparatus, and electronic device | |
CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
CN104137534A (zh) | 固体成像元件及摄像装置 | |
CN105516699A (zh) | 图像传感器及其成像方法、成像装置和电子装置 | |
CN103597811A (zh) | 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 | |
CN105516696A (zh) | 图像传感器、成像方法、成像装置和电子装置 | |
US20190346599A1 (en) | Image sensor and electronic camera | |
CN105430276A (zh) | 成像装置和电子装置 | |
KR20100007628A (ko) | 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치 | |
CN112135017A (zh) | 图像传感器、图像处理方法及装置、成像模组、存储介质 | |
CN107979717A (zh) | 摄像装置 | |
JP2014209722A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |