CN105611257A - 成像方法、图像传感器、成像装置及电子装置 - Google Patents
成像方法、图像传感器、成像装置及电子装置 Download PDFInfo
- Publication number
- CN105611257A CN105611257A CN201510964305.9A CN201510964305A CN105611257A CN 105611257 A CN105611257 A CN 105611257A CN 201510964305 A CN201510964305 A CN 201510964305A CN 105611257 A CN105611257 A CN 105611257A
- Authority
- CN
- China
- Prior art keywords
- pixel
- merging
- image
- photosensitive pixel
- photosensitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000001914 filtration Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 44
- 230000015572 biosynthetic process Effects 0.000 claims description 30
- 238000009434 installation Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 9
- 238000000151 deposition Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 206010070834 Sensitisation Diseases 0.000 description 4
- 230000008313 sensitization Effects 0.000 description 4
- 230000003750 conditioning effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种成像方法,首先,提供图像传感器,图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片,滤光片包括滤光单元阵列,滤光单元包括白色滤光区及彩色滤光区。白色滤光区覆盖一个感光像素,彩色滤光区覆盖至少一个感光像素。接着,读取感光像素阵列的输出,并根据同一合并像素的感光像素的输出计算合并像素的像素值以生成合并图像。得到的合并图像包含完整的色彩信息,亮度和清晰度较高,噪点较少。本发明还公开了一种可用于实现此成像方法的图像传感器、成像装置及应用成像装置的电子装置。
Description
技术领域
本发明涉及成像技术,特别涉及一种成像方法、图像传感器、成像装置及电子装置。
背景技术
现有图像传感器的滤光像素排列方式是RG,GB或RW,GW,其中R、G、B和W分别代表红色、绿色、蓝色和白色。RG,GB是传统的排列方式,可以采集到准确的色彩信息,但低照度下噪点多、不清晰,RW,GW排列方式可以在低照度下收到较好清晰度,但是色彩会不准确。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明需要提供一种成像方法、图像传感器、成像装置及电子装置。
本发明实施方式的成像方法包括以下步骤:
提供图像传感器,所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,所述滤光单元包括白色滤光区及彩色滤光区;所述白色滤光区覆盖一个所述感光像素;所述彩色滤光区覆盖至少一个所述感光像素;同一所述滤光单元覆盖的所述感光像素构成合并像素;及
读取所述感光像素阵列的输出,并根据同一所述合并像素的所述感光像素的输出计算所述合并像素的像素值以生成合并图像。
本发明实施方式的成像方法中,所提供图像传感器的每个滤光单元包括覆盖一个感光像素的白色滤光区及覆盖至少一个感光单元的彩色滤光区。同一所述滤光单元覆盖的所述感光像素构成合并像素。读取感光像素阵列的输出,并根据同一合并像素的感光像素的输出计算合并像素的像素值以生成合并图像。得到的合并图像包含完整的色彩信息,且亮度和清晰度较高,噪点较少。解决了现有成像方法中的某些问题。
在某些实施方式中,每个所述滤光单元覆盖2*2个所述感光像素。
在某些实施方式中,所述读取步骤进一步包括:
采集第k行及第k+1行的所述感光像素的输出并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数;及
从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。
在某些实施方式中,所述合并像素的像素值包括与所述彩色滤光区对应的彩色像素值及与所述白色滤光区对应的白色像素值;
所述读取步骤进一步包括:
根据所述彩色像素值生成彩色合并图像并根据所述白色像素值生成灰度图像。
某些实施方式中,所述读取步骤进一步包括:
将同一所述合并像素对应所述彩色滤光区域的至少一个所述感光像素的输出相加作为所述合并像素的彩色像素值。
在某些实施方式中,所述读取步骤进一步包括:
将所述彩色合并图像转变为YUV格式的彩色子图像;及
将所述彩色子图像的亮度值替换为所述灰度图像的亮度值从而得到所述合并图像。
在某些实施方式中,每个所述感光像素分别与一个模数转换器连接;
所述成像方法进一步包括:
将所述感光像素产生的模拟信号输出转换为数字信号输出;及
将同一所述合并像素中所述彩色滤光区对应的所述感光像素的所述数字信号输出相加以得到所述合并像素的像素值。
本发明还提供一种图像传感器,其包括:
感光像素阵列;及
设置于所述感光像素阵列上的滤光片;
所述滤光片包括滤光单元阵列,每个所述滤光单元包括白色滤光区及彩色滤光区;所述白色滤光区覆盖一个所述感光像素;所述彩色滤光区覆盖至少一个所述感光像素;
同一所述滤光单元覆盖的所述感光像素构成合并像素。
某些实施方式中,所述彩色滤光区形成拜耳阵列。
在某些实施方式中,每个所述滤光单元包括2*2个所述感光像素。
在某些实施方式中,每个所述合并像素的所述白色滤光区覆盖一个所述感光像素,所述彩色滤光区覆盖三个所述感光像素。
在某些实施方式中,所述图像传感器包括控制模块,所述控制模块用于控制所述感光像素阵列逐行曝光。
在某些实施方式中,所述图像传感器还包括寄存器,所述控制模块用于依次采集当前曝光完成的第k行及第k+1行的所述感光像素的输出并存入所述寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数。
在某些实施方式中,所述图像传感器包括模数转换器阵列,每个所述模数转换器与一个所述感光像素连接。
在某些实施方式中,所述图像传感器包括微镜阵列,每个所述微镜与一个所述感光像素对应。
本发明还提供一种成像装置,其包括上述实施方式的图像传感器;
所述成像装置还包括与所述图像传感器连接的图像处理模块;
所述图像处理模块用于读取并处理所述感光像素阵列的输出以得到所述合并像素的像素值从而形成合并图像,所述合并像素的像素值包括与所述彩色滤光区对应的彩色像素值及与所述白色滤光区对应的白色像素值,所述彩色像素值用于构成彩色合并图像,所述白色像素值用于构成灰度图像。
在某些实施方式中,所述图像处理模块用于将同一所述合并像素对应所述彩色滤光区域的至少一个所述感光像素的输出相加作为所述合并像素的彩色像素值。
在某些实施方式中,所述图像处理模块还用于将所述彩色合并图像转变为YUV格式的彩色子图像。
所述图像处理模块还用于把所述彩色子图像像素的亮度值替换为所述灰度图像对应像素的亮度值从而得到所述合并图像。
本发明还提供一种电子装置,其包括上述实施方式中的成像装置。
在某些实施方式中,所述电子装置包括手机。
在某些实施方式中,所述成像装置包括所述手机的前置相机。
在某些实施方式中,所述电子装置包括与所述成像装置连接的中央处理器及外存储器,所述中央处理器用于控制所述外存储器存储所述合并图像。
在某些实施方式中,所述电子装置还包括与所述成像装置连接的中央处理器及显示装置,所述中央处理器用于控制所述显示装置显示所述合并图像。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的成像方法的流程示意图。
图2是本发明实施方式成像方法的读取感光像素输出并生成图像的流程示意图。
图3是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图4是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图5是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图6是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图7是本发明实施方式的图像传感器的侧视示意图。
图8是本发明实施方式的图像传感器的滤光单元示意图。
图9是拜耳结构的滤光单元阵列示意图。
图10是本发明实施方式的图像传感器的滤光单元阵列示意图。
图11是本发明实施方式的图像传感器的立体结构示意图。
图12是本发明实施方式的图像传感器的功能模块示意图。
图13是本发明实施方式图像传感器的感光像素的电路结构示意图。
图14是本发明实施方式的图像传感器的功能模块示意图。
图15是本发明实施方式的图像传感器的立体结构示意图。
图16是本发明实施方式的成像装置的功能模块示意图。
图17是本发明实施方式的电子装置的功能模块示意图。
图18是本发明实施方式的电子装置的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明的实施方式,而不能理解为对本发明的实施方式的限制。
以下结合附图对本发明的实施方式的成像方法、图像传感器、成像装置及电子装置作进一步说明。
请参阅图1,本发明实施方式的成像方法包括以下步骤:
S1,提供图像传感器,图像传感器包括感光像素阵列及设置于感光像素阵列上的滤光片,滤光片包括滤光单元阵列,滤光单元包括白色滤光区及彩色滤光区;白色滤光区覆盖一个感光像素;彩色滤光区覆盖至少一个感光像素;同一滤光单元覆盖的感光像素构成合并像素。
S2,读取感光像素阵列的输出,并根据同一合并像素的感光像素的输出计算合并像素的像素值以生成合并图像。
本发明实施方式的成像方法中的滤光单元的彩色滤光区用于获取合并像素的色彩信息,白色滤光区用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此,合成图像的像素值既包含色彩信息又包含低噪度的亮度信息,合成图像的色彩完整,亮度及清晰度均较好,噪点少。
请参图11,在某些实施方式中,每个滤光单元覆盖2*2个感光像素。
请参图2,在本实施方式中的成像方法中,步骤S2进一步包括:
S21:采集第k行及第k+1行的感光像素的输出并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于感光像素阵列的总行数;
S23:从寄存器中提取第k行及第k+1行的感光像素的输出以得到合并像素的像素值;
如此,可以充分利用寄存器来实现感光单元的输出读出、缓存及合并的过程,硬件容易实现且处理速度较快。
请参图3,在某些实施方式中,合并像素的像素值包括与彩色滤光区对应的彩色像素值及与白色滤光区对应的白色像素值。
步骤S2进一步包括:
S25:根据彩色像素值生成彩色合并图像并根据白色像素值生成灰度图像。
如此,根据合并像素的彩色像素值得到色彩信息完整的彩色合并图像,根据合并像素的白色像素值得到低照度下亮度和清晰度较好、噪点较少的灰度图像。
请参图4,在某些实施方式中,步骤S2进一步包括:
S24,将同一合并像素对应彩色滤光区域的至少一个感光像素的输出相加作为合并像素的彩色像素值。
如此,采用像素合并的方法,合并像素的输出为合并之前各像素输出的和,而合并像素的噪声小于合并之前各像素噪声的和,因此合并之后生成图像的噪点较少,信噪比较高。
请参图5,在某些实施方式中,步骤S2进一步包括:
S27,将彩色合并图像转变为YUV格式的彩色子图像;以及
S29,将彩色子图像的亮度值替换为灰度图像的亮度值从而得到合并图像。
YUV格式的图像包含亮度属性,可以理解,灰度图像由合并像素的白色滤光区对应的白色像素值得到,相较于彩色滤光区,白色滤光区对外界光线的阻挡作用较小,因此同一合并像素中,白色像素值对应的灰度图像亮度值较高、噪点也较少。因此,将彩色子图像的亮度值替换为灰度图像的亮度值得到合并图像既包含完整的色彩信息,亮度、清晰度也较高。尤其是在低照度下,合并图像比起替换亮度值前的彩色合并图像明显噪点较少。
请参图6,在某些实施方式中,每个感光像素分别与一个模数转换器连接;
步骤S2进一步包括:
S31,将感光像素产生的模拟信号输出转换为数字信号输出;
S33,将同一合并像素中彩色滤光区对应的感光像素的数字信号输出相加以得到合并像素的像素值。
如此,一来,一般为数字信号处理芯片(DSP,digitalsignalprocessor)的图像处理模块可以直接处理图像传感器的输出,二来,相对于某些通过电路直接对图像传感器的模拟信号格式的输出进行处理的方案来说,较好地保留了图像的信息,例如,对于16M像素的图像传感器来说,本发明实施方式的成像方法可以保留16M像素(即合并前图像)的信息,在此基础上经过处理得到4M像素的合并图像或其他分辨率的图像。
本发明实施方式的成像方法可以由本发明实施方式的图像传感器实现。
请参阅图7及图8,本发明实施方式的图像传感器10包括感光像素阵列11及设置于感光像素阵列11上的滤光片13。滤光片13包括滤光单元阵列131,每个滤光单元1311包括白色滤光区1313及彩色滤光区1315,白色滤光区1313覆盖一个感光像素111,彩色滤光区1315覆盖至少一个感光像素111。例如图8中,彩色滤光区1315为绿色滤光区,覆盖3个感光像素。同一滤光单元1311覆盖的感光像素111构成合并像素。外部光线通过滤光片13照射到感光像素111的感光部分1111以产生电信号,即感光像素111的输出。
本发明实施方式的图像传感器的滤光单元1311的彩色滤光区1315用于获取合并像素的色彩信息,白色滤光区1313用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。以此生成的合成图像的像素值既包含色彩信息又包含低噪度的亮度信息,合成图像的色彩完整,亮度及清晰度均较好,噪点少。
请参阅图9,在某些实施方式中,彩色滤光区形成拜耳阵列(Bayerpattern)。拜耳阵列中包括滤光结构1317,每个滤光结构1317包括2*2个滤光单元1311,分别是绿色、红色、蓝色、绿色滤光单元1311。
采用拜耳结构能采用传统针对拜耳结构的算法来处理图像信号,从而不需要硬件结构上做大的调整。
在传统滤光单元阵列结构中,每个滤光单元对应一个感光像素及图像像素。请参阅图10,在本实施方式中,滤光单元阵列131采用拜耳结构,包括滤光结构1317,每个滤光结构1317包括绿色、红色、蓝色、绿色滤光单元1311,而不同的是,每个滤光单元1311对应多个感光像素111,其中,白色滤光区1313对应一个感光像素111,彩色滤光区1315对应至少一个感光像素111。
请参阅图11及图10,在某些实施方式中,每个滤光单元1311覆盖2*2个感光像素111以形成合并像素。
除了2*2结构外,还有3*3,4*4,甚至是任意n*m等结构(n,m为自然数),可以理解,感光像素阵列11上可排列的感光像素111的数目是有限的,每个合并像素所包含的感光像素111过多的话,图像的分辨率大小会受到限制,如,若感光像素阵列11的像素值为16M,采用2*2的合并像素结构会得到分辨率为4M的合并图像,而采用4*4结构就只能得到分辨率为1M的合并图像。因此2*2的合并像素结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。同时,采用2*2结构方便硬件上实现对感光像素输出的读取及合并处理。
请参阅图11及图10,在某些实施方式中,每个合并像素的白色滤光区1313覆盖一个感光像素111,彩色滤光区1315覆盖三个感光像素111。
这样,白色滤光区1313及彩色滤光区1315将合并像素的感光像素111充分覆盖。
请参阅图12,在某些实施方式中,图像传感器还包括控制模块17,控制模块17用于控制感光像素阵列11逐行曝光。控制模块17连接有行选择逻辑单元171及列选择逻辑单元173,以控制逐行对感光像素111的输出进行处理。
逐行曝光并输出的方式在硬件上更容易实现。
请一并参阅图12,在本实施方式中,图像传感器10还包括寄存器19,控制模块17用于依次采集当前曝光完成的第k行及第k+1行的感光像素111的输出并存入寄存器19,其中k=2n-1,n为自然数,k+1小于等于感光像素阵列11的总行数。
具体的,请参阅图12及图13,图像传感器10包括与行选择逻辑单元171及列选择逻辑单元173连接的控制模块17。行选择逻辑单元171及列选择逻辑单元173与每一个感光像素111对应的开关管1115连接,控制模块17用于控制行选择逻辑单元171及列选择逻辑单元173以选通特定位置的感光像素111的开关管1115。
控制模块17首先采集第一行及第二行的感光像素的输出并存入寄存器19。后续电路将位置坐标为1-1、1-2、2-1、2-2的四个感光像素111的输出进行处理以得到合并像素的像素值。其中位置坐标的左边数字代表行,右边数字代表列。
再将坐标为1-3、1-4、2-3、2-4的四个感光像素的输出处理,得到相应合并像素的像素值。
以此类推,直至处理完第一行及第二行的最后一组四个感光像素。
按以上处理方式,对第三行及第四行、第五行及第六行等的感光像素的输出进行处理,直至全部感光像素的输出均处理完成。
请参图14及图13,在某些实施方式中,图像传感器10包括模数转换器21阵列,每个感光像素111分别与一个模数转换器17连接。模数转换器17用于将感光像素111的模拟信号输出转换为数字信号输出。
本实施方式中的感光像素111包括光电二极管1113。光电二极管1113用于将光照转化为电荷,且产生的电荷与光照强度成比例关系。开关管1115用于根据行选择逻辑单元171及列选择逻辑单元173的控制信号来控制电路的导通及断开,当电路导通时,源极跟随器1117(sourcefollower)用于将光电二极管1113经光照产生的电荷信号转化为电压信号。模数转换器211(Analog-to-digitalconverter)用于将电压信号转换为数字信号,以传输至后续电路处理。
此输出处理方式使感光像素的输出转化为数字信号,在后续数字电路中或在芯片中用软件进行处理。因此每个感光像素的输出信息可以被保留,例如,对于16M像素的图像传感器来说,本发明实施方式的成像方法可以保留16M像素(即合并前图像)的信息,在此基础上经过处理得到4M像素的合并图像或其他分辨率的图像。最终生成图像出现坏点的概率较低。此外,此输出处理方式的噪声较小,信噪比较高。
请参阅图15,在某些实施方式中,图像传感器10包括设置在滤光片13上的微镜阵列23,每个微镜231与一个感光像素111对应。
具体的,每个微镜231与一个感光像素111对应,包括大小、位置对应。在某些实施方式中,每个滤光单元1311对应2*2个感光像素111及2*2个微镜191。随着技术发展,为了得到分辨率更高的图像,感光片上的感光像素111越来越多,排列越来越密集,单个感光像素111也越来越小,其受光受到影响,且感光像素111的感光部分1111面积是有限的,微镜191能将光聚集到感光部分1111,从而提升感光像素111的受光强度以改善图像画质。
综上,本发明实施方式中的图像传感器每个滤光单元包括白色滤光区及彩色滤光区,使合并像素的像素值既包含色彩信息又包含低噪度的亮度信息,以方便后续电路生成色彩完整且信噪比高的合并图像。
请参图16,本发明还提供一种成像装置100,其包括本发明实施方式的图像传感器10之外,还包括与图像传感器10连接的图像处理模块50。图像处理模块50用于读取并处理感光像素阵列11的输出以得到合并像素的像素值从而形成合并图像,合并像素的像素值包括与彩色滤光区对应的彩色像素值及与白色滤光区对应的白色像素值,彩色像素值构成彩色合并图像,白色像素值构成灰度图像。
具体的,本发明实施方式的图像传感器可包括控制模块17、行选择逻辑单元171、列选择逻辑单元173、模数转换器阵列21、寄存器19等,感光像素阵列11的输出经模数转换器阵列21转换为数字信号,逐行存储于寄存器19及传送至图像处理模块50处理,直至所有感光像素的输出被处理以生成合并图像。
如此,图像处理模块50根据与彩色滤光区对应的彩色像素值生成色彩信息完整的彩色合并图像,及根据白色滤光区对应的白色像素值生成亮度较高,噪点较少的灰度图像。
在本实施方式中,图像处理模块50用于将同一合并像素对应彩色滤光区域的至少一个感光像素的输出相加作为合并像素的彩色像素值。
如此,将多感光像素的输出相加,形成的合并像素信噪比更高。例如,假定原有每个感光像素的输出为S,噪声为N,合并像素包括m个彩色感光像素,则合并像素的像素值为m*S,而合并像素的噪声为m为大于等于1的自然数。可以理解,在m>1的情况下,合并像素的噪声小于合并前每个彩色感光像素输出的噪声之和。而合并像素的输出为合并前各彩色感光像素输出之和,因此合并图像整体上噪声下降信噪比提高,清晰度提升。
在某些实施方式中,图像处理模块还用于彩色合并图像转变为YUV格式的彩色子图像。图像处理模块还用于把彩色子图像像素的亮度值替换为灰度图像对应像素的亮度值从而得到合并图像。
YUV是按照亮度和色差的原理来描述颜色的图像格式,YUV格式包括许多具体的格式,如YUV422,YUV420等。在某些实施方式中,彩色合并像素包括绿色、红色、蓝色合并像素,图像处理模块先根据彩色合并像素的像素值得到RGB格式的彩色合并图像,即得到每个图像像素的红色亮度值、绿色亮度值、蓝色亮度值,分别用R,G,B表示,则其相对应的YUV格式图像像素的亮度值Y=0.299*R+0.587*G+0.114*B。
如此,可得到YUV格式的彩色子图像。
图像处理模块再用于把彩色子图像像素的亮度值替换为灰度图像对应像素的亮度值从而得到合并图像。
由于仅替换了彩色子图像像素的亮度值,因此并未损害其色彩信息的完整性。由于白色滤光区有更好的透光效果使感光像素输出的亮度值更高,因此在低照度情况下灰度图像比彩色合并图像的亮度更高,噪点也较少。因此替换亮度后使彩色图像亮度提升,信噪比提升。
综上,采用本实施方式的成像装置,将彩色子图像像素的亮度值替换为灰度图像对应像素的亮度值可以在保持其色彩信息完整的基础上提升其亮度、信噪比和清晰度。
本发明还提供一种应用成像装置的电子装置。在某些实施方式中,电子装置包括成像装置。因此,电子装置具有拍照功能且能在低照度下生成色彩完整,信噪比高,清晰度高的合并图像。
电子装置可以是手机。
在某些实施方式中,成像装置可以是手机的前置相机。由于前置相机多用于自拍,而自拍一般要求对图像的清晰度有要求而对图像分辨率要求不高,采用本实施方式的电子装置可满足此要求。
请参阅图17,在某些实施方式中,电子装置200包括与成像装置100连接的中央处理器81及外存储器83,中央处理器81用于控制外存储器83存储合并图像。
这样,生成的合并图像可以被存储,方便以后查看、使用或转移。外存储器83包括SM(SmartMedia)卡及CF(CompactFlash)卡等。
请参阅图18,在某些实施方式中,电子装置200还包括与成像装置100连接的中央处理器81及显示装置85,中央处理器81用于控制显示装置85显示合并图像。这样,电子装置200拍摄的图像可以显示于显示装置以供用户查看。显示装置包括LED显示器等。
综上,采用本发明实施方式的电子装置,具有拍照功能且能在低照度下生成色彩完整,信噪比高,清晰度高的合并图像。特别的,当此电子装置为手机的前置相机时,能提升低照度下自拍图像的亮度及清晰度,减少噪点。
本发明实施方式中成像方法及电子装置中未展开的部分,可参以上实施方式的图像传感器及成像装置的对应部分,在此不再详细展开。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (23)
1.一种成像方法,其特征在于,包括以下步骤:
提供图像传感器,所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,所述滤光单元包括白色滤光区及彩色滤光区;所述白色滤光区覆盖一个所述感光像素;所述彩色滤光区覆盖至少一个所述感光像素;同一所述滤光单元覆盖的所述感光像素构成合并像素;及
读取所述感光像素阵列的输出,并根据同一所述合并像素的所述感光像素的输出计算所述合并像素的像素值以生成合并图像。
2.如权利要求1所述的成像方法,其特征在于,每个所述滤光单元覆盖2*2个所述感光像素。
3.如权利要求2所述的成像方法,其特征在于,所述读取步骤进一步包括:
采集第k行及第k+1行的所述感光像素的输出并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数;及
从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。
4.如权利要求1-3任意一项所述的成像方法,其特征在于,所述合并像素的像素值包括与所述彩色滤光区对应的彩色像素值及与所述白色滤光区对应的白色像素值;
所述读取步骤进一步包括:
根据所述彩色像素值生成彩色合并图像并根据所述白色像素值生成灰度图像。
5.如权利要求4所述的成像方法,其特征在于,
所述读取步骤进一步包括:
将同一所述合并像素对应所述彩色滤光区域的至少一个所述感光像素的输出相加作为所述合并像素的彩色像素值。
6.如权利要求4所述的成像方法,其特征在于,
所述读取步骤进一步包括:
将所述彩色合并图像转变为YUV格式的彩色子图像;及
将所述彩色子图像的亮度值替换为所述灰度图像的亮度值从而得到所述合并图像。
7.如权利要求1所述的成像方法,其特征在于,每个所述感光像素分别与一个模数转换器连接;
所述成像方法进一步包括:
将所述感光像素产生的模拟信号输出转换为数字信号输出;及
将同一所述合并像素中所述彩色滤光区对应的所述感光像素的所述数字信号输出相加以得到所述合并像素的像素值。
8.一种图像传感器,其特征在于,包括:
感光像素阵列;及
设置于所述感光像素阵列上的滤光片;
所述滤光片包括滤光单元阵列,每个所述滤光单元包括白色滤光区及彩色滤光区;所述白色滤光区覆盖一个所述感光像素;所述彩色滤光区覆盖至少一个所述感光像素;
同一所述滤光单元覆盖的所述感光像素构成合并像素。
9.如权利要求8所述的图像传感器,其特征在于,所述彩色滤光区形成拜耳阵列。
10.如权利要求8所述的图像传感器,其特征在于,每个所述滤光单元包括2*2个所述感光像素。
11.如权利要求10所述的图像传感器,其特征在于,每个所述合并像素的所述白色滤光区覆盖一个所述感光像素,所述彩色滤光区覆盖三个所述感光像素。
12.如权利要求10所述的图像传感器,其特征在于,所述图像传感器包括控制模块,所述控制模块用于控制所述感光像素阵列逐行曝光。
13.如权利要求12所述的图像传感器,其特征在于,所述图像传感器还包括寄存器,所述控制模块用于依次采集当前曝光完成的第k行及第k+1行的所述感光像素的输出并存入所述寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数。
14.如权利要求8所述的图像传感器,其特征在于,所述图像传感器包括模数转换器阵列,每个所述模数转换器与一个所述感光像素连接。
15.如权利要求8所述的图像传感器,其特征在于,所述图像传感器包括微镜阵列,每个所述微镜与一个所述感光像素对应。
16.一种成像装置,其特征在于,包括如权利要求8-15任意一项所述的图像传感器;
所述成像装置还包括与所述图像传感器连接的图像处理模块;
所述图像处理模块用于读取并处理所述感光像素阵列的输出以得到所述合并像素的像素值从而形成合并图像,所述合并像素的像素值包括与所述彩色滤光区对应的彩色像素值及与所述白色滤光区对应的白色像素值,所述彩色像素值用于构成彩色合并图像,所述白色像素值用于构成灰度图像。
17.如权利要求16所述的成像装置,其特征在于,所述图像处理模块用于将同一所述合并像素对应所述彩色滤光区域的至少一个所述感光像素的输出相加作为所述合并像素的彩色像素值。
18.如权利要求16所述的成像装置,其特征在于,所述图像处理模块还用于将所述彩色合并图像转变为YUV格式的彩色子图像。
所述图像处理模块还用于把所述彩色子图像像素的亮度值替换为所述灰度图像对应像素的亮度值从而得到所述合并图像。
19.一种电子装置,其特征在于,包括如权利要求16-18任意一项所述的成像装置。
20.如权利要求19所述的电子装置,其特征在于,所述电子装置包括手机。
21.如权利要求20所述的电子装置,其特征在于,所述成像装置包括所述手机的前置相机。
22.如权利要求19所述的电子装置,其特征在于,所述电子装置包括与所述成像装置连接的中央处理器及外存储器,所述中央处理器用于控制所述外存储器存储所述合并图像。
23.如权利要求19所述的电子装置,其特征在于,所述电子装置还包括与所述成像装置连接的中央处理器及显示装置,所述中央处理器用于控制所述显示装置显示所述合并图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510964305.9A CN105611257B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、图像传感器、成像装置及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510964305.9A CN105611257B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、图像传感器、成像装置及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105611257A true CN105611257A (zh) | 2016-05-25 |
CN105611257B CN105611257B (zh) | 2018-09-11 |
Family
ID=55990760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510964305.9A Active CN105611257B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、图像传感器、成像装置及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105611257B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791734A (zh) * | 2016-12-27 | 2017-05-31 | 珠海市魅族科技有限公司 | 用于图像采集的装置、电子装置和图像采集的方法 |
WO2017101451A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN106973209A (zh) * | 2017-05-15 | 2017-07-21 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其双摄像头模组 |
CN111726549A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市汇顶科技股份有限公司 | 图像传感器、电子设备和芯片 |
WO2021233040A1 (zh) * | 2020-05-22 | 2021-11-25 | Oppo广东移动通信有限公司 | 控制方法、摄像头组件和移动终端 |
WO2022011547A1 (zh) * | 2020-07-14 | 2022-01-20 | 深圳市汇顶科技股份有限公司 | 图像传感器以及相关电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101395926A (zh) * | 2006-03-06 | 2009-03-25 | 美光科技公司 | 熔合式多阵列彩色图像传感器 |
CN101467444A (zh) * | 2006-06-14 | 2009-06-24 | 株式会社东芝 | 固态图像传感器 |
CN102857708A (zh) * | 2011-10-17 | 2013-01-02 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
-
2015
- 2015-12-18 CN CN201510964305.9A patent/CN105611257B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101395926A (zh) * | 2006-03-06 | 2009-03-25 | 美光科技公司 | 熔合式多阵列彩色图像传感器 |
CN101467444A (zh) * | 2006-06-14 | 2009-06-24 | 株式会社东芝 | 固态图像传感器 |
CN102857708A (zh) * | 2011-10-17 | 2013-01-02 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101451A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
US10257447B2 (en) | 2015-12-18 | 2019-04-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging method, imaging device, and electronic device |
CN106791734A (zh) * | 2016-12-27 | 2017-05-31 | 珠海市魅族科技有限公司 | 用于图像采集的装置、电子装置和图像采集的方法 |
CN106973209A (zh) * | 2017-05-15 | 2017-07-21 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其双摄像头模组 |
WO2021233040A1 (zh) * | 2020-05-22 | 2021-11-25 | Oppo广东移动通信有限公司 | 控制方法、摄像头组件和移动终端 |
CN111726549A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市汇顶科技股份有限公司 | 图像传感器、电子设备和芯片 |
WO2022011547A1 (zh) * | 2020-07-14 | 2022-01-20 | 深圳市汇顶科技股份有限公司 | 图像传感器以及相关电子装置 |
CN115152198A (zh) * | 2020-07-14 | 2022-10-04 | 深圳市汇顶科技股份有限公司 | 图像传感器以及相关电子装置 |
CN115152198B (zh) * | 2020-07-14 | 2024-02-09 | 深圳市汇顶科技股份有限公司 | 图像传感器以及相关电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105611257B (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105592303A (zh) | 成像方法、成像装置及电子装置 | |
CN105430361B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105611257A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105430359A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105578078B (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105578080B (zh) | 成像方法、成像装置及电子装置 | |
CN105578066B (zh) | 成像方法、成像装置及电子装置 | |
CN105611124B (zh) | 图像传感器、成像方法、成像装置及终端 | |
CN105430362B (zh) | 成像方法、成像装置及电子装置 | |
CN105578072A (zh) | 成像方法、成像装置及电子装置 | |
CN105516697B (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105430360B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105611123A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105578006B (zh) | 成像方法、成像装置及电子装置 | |
CN105430363B (zh) | 成像方法、成像装置及电子装置 | |
CN105578081A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
TW201818716A (zh) | 圖像傳感器及輸出方法、相位對焦方法、成像裝置和行動終端 | |
CN108712608A (zh) | 终端设备拍摄方法和装置 | |
CN105578079B (zh) | 图像传感器及画质调节方法、成像装置及方法和移动终端 | |
CN105578075A (zh) | 高动态范围图像的生成方法、拍照装置和终端 | |
CN105578076A (zh) | 成像方法、成像装置及电子装置 | |
CN105611125A (zh) | 成像方法、成像装置及电子装置 | |
CN105635532B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN108024057A (zh) | 背景虚化处理方法、装置及设备 | |
CN113395497A (zh) | 图像处理方法、图像处理装置以及摄像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd. Address before: Changan town in Guangdong province Dongguan 523859 usha Beach Road No. 18 Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd. |