CN105578066A - 成像方法、成像装置及电子装置 - Google Patents
成像方法、成像装置及电子装置 Download PDFInfo
- Publication number
- CN105578066A CN105578066A CN201510963780.4A CN201510963780A CN105578066A CN 105578066 A CN105578066 A CN 105578066A CN 201510963780 A CN201510963780 A CN 201510963780A CN 105578066 A CN105578066 A CN 105578066A
- Authority
- CN
- China
- Prior art keywords
- pixel
- photosensitive pixel
- merging
- image
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种成像方法,首先,提供图像传感器,图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片,滤光片包括滤光单元阵列,滤光单元包括白色滤光区及彩色滤光区。彩色滤光区覆盖一个感光像素,白色滤光区覆盖至少一个感光像素。接着,读取感光像素阵列的输出以将同一合并像素的白色滤光区覆盖的感光像素产生的模拟信号输出合并为灰度模拟信号,并根据灰度模拟信号及彩色滤光区对应的彩色模拟信号得到合并像素的像素值以生成合并图像。得到的合并图像包含完整的色彩信息,亮度和清晰度较高,噪点较少。本发明还公开了一种可用于实现此成像方法的成像装置及应用成像装置的电子装置。
Description
技术领域
本发明涉及成像技术,特别涉及一种成像方法、成像装置及电子装置。
背景技术
现有图像传感器的滤光像素排列方式是RG,GB或RW,GW,其中R、G、B和W分别代表红色、绿色、蓝色和白色。RG,GB是传统的排列方式,可以采集到准确的色彩信息,但低照度下噪点多、不清晰,RW,GW排列方式可以在低照度下收到较好清晰度,但是色彩会不准确。此外,现有感光像素输出合并的方式噪声较大,信噪比较低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明需要提供一种成像方法、成像装置及电子装置。
本发明实施方式的成像方法包括以下步骤:
提供图像传感器,所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,所述滤光单元包括白色滤光区及彩色滤光区;所述彩色滤光区覆盖一个所述感光像素;所述白色滤光区覆盖至少一个所述感光像素;同一所述滤光单元覆盖的所述感光像素构成合并像素;
读取所述感光像素阵列的输出;
将同一所述合并像素的所述白色滤光区覆盖的所述感光像素的输出合并为灰度模拟信号;及
本发明实施方式的成像方法中,滤光单元的彩色滤光区用于获取合并像素的色彩信息,白色滤光区用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此,合并图像的像素值既包含色彩信息又包含低噪度的亮度信息,合并图像的色彩完整,亮度及清晰度均较好,噪点少。此外,本实施方式的成像方法中可设置电路将同一合并像素的白色滤光区对应的感光像素输出的模拟信号合并,以生成信噪比高的灰度合并图像进而生成信噪比高的合并图像。综上,本发明实施方式的成像方法解决了现有成像方法的某些问题。
在某些实施方式中,所述处理处理步骤进一步包括:
将所述彩色模拟信号及所述灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到所述合并像素的像素值。
在某些实施方式中,每个所述滤光单元覆盖2*2个所述感光像素。
在某些实施方式中,所述处理步骤进一步包括:
采集第k行及第k+1行的所述感光像素对应的所述彩色数字信号及所述灰度数字信号并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数;及
从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。
在某些实施方式中,所述合并像素的像素值包括与所述彩色模拟信号对应的彩色像素值及与所述灰度模拟信号对应的白色像素值;
所述处理步骤进一步包括:
根据所述彩色像素值生成彩色图像并根据所述白色像素值生成灰度合并图像。
在某些实施方式中,所述处理步骤进一步包括:
将所述彩色图像转变为YUV格式的彩色子图像;及
将所述彩色子图像的亮度值替换为所述灰度合并图像的亮度值从而得到所述合并图像。
本发明还提供一种成像装置,其包括:
图像传感器,所述图像传感器包括:
感光像素阵列;及
设置于所述感光像素阵列上的滤光片;
所述滤光片包括滤光单元阵列,每个所述滤光单元包括白色滤光区及彩色滤光区;所述彩色滤光区覆盖一个所述感光像素;所述白色滤光区覆盖至少一个所述感光像素;同一所述滤光单元覆盖的所述感光像素构成合并像素。
所述成像装置还包括与所述图像传感器连接的图像处理模块;
所述图像传感器用于将同一所述合并像素的所述白色滤光区覆盖的所述感光像素的输出合并为灰度模拟信号,及用于处理所述灰度模拟信号及所述彩色滤光区对应的所述感光像素输出的彩色模拟信号得到所述合并像素的像素值以生成合并图像。
在某些实施方式中,所述图像传感器包括模数转换器阵列;同一所述合并像素的所述白色滤光区覆盖的所有所述感光像素与一个模数转换器连接;
所述模数转换器用于将所述彩色模拟信号及所述灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到所述合并像素的像素值。
在某些实施方式中,所述图像传感器包括与所述感光像素连接的源极跟随器,所述源极跟随器用于将所述感光像素的电荷信号转换为电压信号以被所述模数转换器转换为所述彩色数字信号及所述灰度数字信号;
所述源极跟随器与所述模数转换器连接。
在某些实施方式中,每个所述感光像素与一个所述源极跟随器连接。
在某些实施方式中,同一所述合并像素的所述白色滤光区覆盖的所述感光像素与一个所述源极跟随器连接。
在某些实施方式中,所述彩色滤光区形成拜耳阵列。
在某些实施方式中,每个所述滤光单元包括2*2个所述感光像素。
在某些实施方式中,每个所述合并像素的所述彩色滤光区覆盖一个所述感光像素,所述白色滤光区覆盖三个所述感光像素。
在某些实施方式中,所述图像传感器包括控制模块,所述控制模块用于控制所述感光像素阵列逐行曝光。
在某些实施方式中,所述图像传感器还包括寄存器,所述控制模块用于依次采集当前曝光完成的第k行及第k+1行的所述感光像素对应的所述彩色数字信号及所述灰度数字信号并存入所述寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数。
在某些实施方式中,所述图像传感器包括微镜阵列,每个所述微镜与一个所述感光像素对应。
在某些实施方式中,所述合并像素的像素值包括与所述彩色模拟信号对应的彩色像素值及与所述灰度模拟信号对应的白色像素值;
所述图像处理模块用于根据所述彩色像素值生成彩色图像并根据所述白色像素值生成灰度合并图像。
在某些实施方式中,所述图像处理模块还用于将所述彩色图像转变为YUV格式的彩色子图像。
所述图像处理模块还用于把所述彩色子图像像素的亮度值替换为所述灰度合并图像对应像素的亮度值从而得到所述合并图像。
本发明还提供一种电子装置,其包括上述实施方式中的成像装置。
在某些实施方式中,所述电子装置包括手机。
在某些实施方式中,所述成像装置包括所述手机的前置相机。
在某些实施方式中,所述电子装置包括与所述成像装置连接的中央处理器及外存储器,所述中央处理器用于控制所述外存储器存储所述合并图像。
在某些实施方式中,所述电子装置还包括与所述成像装置连接的中央处理器及显示装置,所述中央处理器用于控制所述显示装置显示所述合并图像。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的成像方法的流程示意图。
图2是本发明实施方式成像方法的读取感光像素输出并生成图像的流程示意图。
图3是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图4是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图5是本发明实施方式成像方法的处理感光像素输出并生成图像的流程示意图。
图6是本发明实施方式的成像装置的侧视示意图。
图7是本发明实施方式的图像传感器的滤光单元示意图。
图8是本发明实施方式的的功用模块示意图。
图9是本发明实施方式的成像装置感光像素电路结构示意图。
图10是本发明实施方式的成像装置感光像素电路结构示意图。
图11是本发明实施方式的成像装置感光像素输出的一种合并方式电路结构示意图。
图12是本发明实施方式的成像装置感光像素输出的另一种合并方式电路结构示意图。
图13是本发明实施方式的滤光单元阵列示意图。
图14是拜耳阵列示意图。
图15是本发明实施方式的图像传感器的立体结构示意图。
图16是本发明实施方式的成像装置的功能模块示意图。
图17是本发明实施方式的图像传感器的立体结构示意图。
图18是本发明实施方式的电子装置的功能模块示意图。
图19是本发明实施方式的电子装置的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明的实施方式,而不能理解为对本发明的实施方式的限制。
以下结合附图对本发明的实施方式的成像方法、成像装置及电子装置作进一步说明。
请参阅图1,本发明实施方式的成像方法包括以下步骤:
S1,提供图像传感器,图像传感器包括感光像素阵列及设置于感光像素阵列上的滤光片,滤光片包括滤光单元阵列,滤光单元包括白色滤光区及彩色滤光区;彩色滤光区覆盖一个感光像素;白色滤光区覆盖至少一个感光像素;同一滤光单元覆盖的感光像素构成合并像素。
S2,读取感光像素阵列的输出。
S3,将同一合并像素的白色滤光区覆盖的感光像素的输出合并为灰度模拟信号。
S4,处理灰度模拟信号及彩色滤光区对应的感光像素输出的彩色模拟信号得到合并像素的像素值以生成合并图像。
本发明实施方式的成像方法中的滤光单元的彩色滤光区用于获取合并像素的色彩信息,白色滤光区用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此,合并图像的像素值既包含色彩信息又包含低噪度的亮度信息,合并图像的色彩完整,亮度及清晰度均较好,噪点少。此外,本实施方式的成像方法中可设置电路将同一合并像素的白色滤光区对应的感光像素输出的模拟信号合并,以生成信噪比高的灰度合并图像。
请参图2,步骤S4进一步包括:
S41:将彩色模拟信号及灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到合并像素的像素值。
后续电路,如数字信号处理芯片(DSP,digitalsignalprocessor),需对感光像素的输出进行数字处理以生成合并图像,因此需将模拟信号转换为数字信号以方便处理。
请参图15及图13,在某些实施方式中,每个滤光单元覆盖2*2个感光像素。
请参图3,在本实施方式中的成像方法中,步骤S2进一步包括:
S42:采集第k行及第k+1行的感光像素对应的彩色数字信号及灰度数字信号并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于感光像素阵列的总行数;
S43:从寄存器中提取第k行及第k+1行的感光像素的输出以得到合并像素的像素值;
如此,可以充分利用寄存器来实现感光单元的输出读出、缓存及合并的过程,硬件容易实现且处理速度较快。
请参图4,在某些实施方式中,合并像素的像素值包括与彩色模拟信号对应的彩色像素值及与灰度模拟信号对应的白色像素值;
步骤S4进一步包括:
S45:根据彩色像素值生成彩色图像并根据白色像素值生成灰度合并图像。
如此,根据合并像素的彩色像素值得到色彩信息完整的彩色图像,根据合并像素的白色像素值得到低照度下亮度和清晰度较好、噪点较少的灰度合并图像。
请参图5,在某些实施方式中,步骤S4进一步包括:
S47,将彩色图像转变为YUV格式的彩色子图像;以及
S49,将彩色子图像的亮度值替换为灰度合并图像的亮度值从而得到合并图像。
YUV格式的图像包含亮度属性,可以理解,灰度合并图像由合并像素的白色滤光区对应的白色像素值得到,相较于彩色滤光区,白色滤光区对外界光线的阻挡作用较小,因此同一合并像素中,白色像素值对应的灰度合并图像亮度值较高、噪点也较少。因此,将彩色子图像的亮度值替换为灰度合并图像的亮度值得到合并图像既包含完整的色彩信息,亮度、清晰度也较高。尤其是在低照度下,合并图像比起替换亮度值前的彩色图像明显噪点较少。
如此,一来,一般为数字信号处理芯片(DSP,digitalsignalprocessor)的图像处理模块可以直接处理图像传感器的输出,二来,相对于某些通过电路直接对图像传感器的模拟信号格式的输出进行处理的方案来说,较好地保留了图像的信息,例如,对于16M像素的图像传感器来说,本发明实施方式的成像方法可以保留16M像素(即合并前图像)的信息,在此基础上经过处理得到4M像素的合并图像或其他分辨率的图像。
本发明实施方式的成像方法可以由本发明实施方式的成像装置实现。
请参阅图6及图7,本发明实施方式的成像装置包括图像传感器及与图像传感器连接的图像处理模块。
图像传感器10包括感光像素阵列11及设置于感光像素阵列11上的滤光片13。滤光片13包括滤光单元阵列131,每个滤光单元1311包括彩色滤光区1313及白色滤光区1315,彩色滤光区1313覆盖一个感光像素111,白色滤光区1315覆盖至少一个感光像素111。例如图8中,白色滤光区1315覆盖3个感光像素。同一滤光单元1311覆盖的感光像素111构成合并像素。外部光线通过滤光片13照射到感光像素111的感光部分1111以产生电信号,即感光像素111输出的模拟信号。
图像传感器10将同一合并像素的白色滤光区1315覆盖的感光像素111产生的模拟信号输出合并为灰度模拟信号。即彩色滤光区1313对应彩色模拟信号,白色滤光区1315对应灰度模拟信号。图像处理模块10用于根据彩色模拟信号及灰度模拟信号得到合并像素的像素值以生成合并图像。
本发明实施方式的图像传感器10的滤光单元1311的彩色滤光区1313用于获取合并像素的色彩信息,白色滤光区1315用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。以此生成的合并图像的像素值既包含色彩信息又包含低噪度的亮度信息,合并图像的色彩完整,亮度及清晰度均较好,噪点少。
此外,设置电路将同一合并像素的白色滤光区1315对应的感光像素输出的模拟信号合并,产生的噪声较小。
请参图8及图9,在本实施方式中,图像传感器10包括与图像处理模块50连接的模数转换器阵列21。同一合并像素的白色滤光区1315覆盖的所有感光像素111与一个模数转换器211连接。模数转换器211用于将彩色模拟信号及灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到合并像素的像素值。
其中,白色滤光区1315对应的感光像素111连接有信号合并处理模块25,对白色滤光区1315对应的感光像素的输出处理并合并为灰度模拟信号。彩色滤光区1313对应的感光像素111的输出由信号处理模块27处理。感光像素结构包括光电二极管1113及开关管1115,开关管1115用于控制感光像素所输出模拟信号的通断,以控制感光像素阵列中光电二极管1113产生的模拟信号逐行输出。
请参图10,在本实施方式中,图像传感器10包括与感光像素111连接的源极跟随器1117,用于将感光像素111的电荷信号转换为电压信号,属于模拟信号的电压信号再被模数转换器211转换为数字信号,包括彩色数字信号及灰度数字信号。源极跟随器1117与模数转换器211连接。
源极跟随器1117可以将光电二极管1113经光照产生的电荷信号转换为电压信号,以方便模数转换器211进一步处理。
请参图10,感光像素111的主要结构包括光电二极管1113及开关管1115。光电二极管1113用于将光照转化为电荷,且产生的电荷与光照强度成比例关系。
请一并参阅图10,在某些实施方式中,图像传感器包括控制模块17及与其连接的行选择逻辑单元171及列选择逻辑单元173,用于控制开关管1115的开闭,当开关管1115闭合导通时,源极跟随器1117(sourcefollower)将光电二极管1113经光照产生的电荷信号转化为电压信号。模数转换器211(ADC,Analog-to-digitalconverter)用于将电压信号转换为数字信号,以传输至后续电路如图像处理模块处理。
请参图10,设每个感光像素111与一个源极跟随器1117及一个模数转换器211连接的结构中,输出信号强度、光电二极管(PD,photodiode)噪声、源极跟随器(SF,sourcefollower)噪声、模数转换器噪声分别为S、NPD、NSF、NADC。
感光像素与源极跟随器有两种连接方式。
请参图11,在某些实施方式中,每个感光像素111与一个源极跟随器1117连接。同一合并像素中白色滤光区1315覆盖的感光像素对应的源极跟随器1117与一个模数转换器211连接。
请参图11,在某些实施方式中,每个感光像素111与一个源极跟随器1117连接。同一合并像素中白色滤光区1315对应的源极跟随器1117及彩色滤光区1313对应的源极跟随器1117分别与一个模数转换器211连接。
与每个感光像素111对应一个源极跟随器1117及一个模数转换器211的电路结构相比,本实施方式感光像素111的电路结构的信号输出强度相同,而光电二极管1113噪声、源极跟随器1117噪声均较低,因此总体上信噪比较高,生成的灰度合并图像更清晰。
请参图12,在另一些实施方式中,同一合并像素的白色滤光区1315覆盖的感光像素111与一个源极跟随器1117连接。同一合并像素中白色滤光区1315对应的源极跟随器1117与一个模数转换器211连接。
与每个感光像素111对应一个源极跟随器1113及一个模数转换器211的电路结构相比,本实施方式感光像素111的电路结构的噪声虽略高,但信噪比更高,因而总体上信噪比较高,生成的灰度合并图像更清晰。
综上,采用以上实施方式将同一滤光单元中白色滤光区元覆盖的感光像素合并,当每个滤光单元覆盖4个感光像素时,可以由16M分辨率的感光像素阵列得到4M的灰度图像。虽然图像的分辨率相较于感光像素阵列降低了,但图像的信噪比较高,尤其是在低照度下,噪点较少,能更好地满足夜拍等需求。而且,采用以上实施方式的感光像素电路结构,硬件上容易实现,且相较于软件合并,其将感光像素输出合并的速度较快。
请参阅图13,在某些实施方式中,彩色滤光区形成拜耳阵列(Bayerpattern)。拜耳阵列中包括滤光结构1317,每个滤光结构1317包括2*2个滤光单元1311,分别是绿色、红色、蓝色、绿色滤光单元1311。
采用拜耳结构能采用传统针对拜耳结构的算法来处理图像信号,从而不需要硬件结构上做大的调整。
请参图14,在传统滤光单元阵列结构中,每个滤光单元对应一个感光像素及图像像素。请参阅图13,在本实施方式中,滤光单元阵列131采用拜耳结构,包括滤光结构1317,每个滤光结构1317包括绿色、红色、蓝色、绿色滤光单元1311,而不同的是,每个滤光单元1311对应多个感光像素111,其中,彩色滤光区1313对应一个感光像素111,白色滤光区1315对应至少一个感光像素111。
请参阅图15及图13,在某些实施方式中,每个滤光单元1311覆盖2*2个感光像素111以形成合并像素。
除了2*2结构外,还有3*3,4*4,甚至是任意n*m等结构(n,m为自然数),可以理解,感光像素阵列11上可排列的感光像素111的数目是有限的,每个合并像素所包含的感光像素111过多的话,图像的分辨率大小会受到限制,如,若感光像素阵列11的像素值为16M,采用2*2的合并像素结构会得到分辨率为4M的合并图像,而采用4*4结构就只能得到分辨率为1M的合并图像。因此2*2的合并像素结构是一个较佳排列方式,在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。同时,采用2*2结构方便硬件上实现对感光像素输出的读取及合并处理。
请参阅图15及图13,在某些实施方式中,每个合并像素的彩色滤光区1313覆盖一个感光像素111,白色滤光区1315覆盖三个感光像素111。
这样,彩色滤光区1313及白色滤光区1315将合并像素的感光像素111充分覆盖。
请参阅图16,在某些实施方式中,图像传感器还包括控制模块17,控制模块17用于控制感光像素阵列11逐行曝光。控制模块17连接有行选择逻辑单元171及列选择逻辑单元173,以控制逐行对感光像素111的输出进行处理。
逐行曝光并输出的方式在硬件上更容易实现。
请一并参阅图16,在本实施方式中,图像传感器10还包括寄存器19,控制模块17用于依次采集当前曝光完成的第k行及第k+1行的感光像素111对应的彩色数字信号及灰度数字信号,并将其存入寄存器19,其中k=2n-1,n为自然数,k+1小于等于感光像素阵列11的总行数。
具体的,请参阅图16、图11及图12,图像传感器包括与行选择逻辑单元171及列选择逻辑单元173连接的控制模块17。行选择逻辑单元171及列选择逻辑单元173与每一个感光像素111对应的开关管1115连接,控制模块17用于控制行选择逻辑单元171及列选择逻辑单元173以选通特定位置的感光像素111的开关管1115。
控制模块17首先控制第一行及第二行的感光像素111输出模拟信号,其中白色滤光区对应的感光像素的模拟信号经信号合并处理模块合并为灰度模拟信号,灰度模拟信号经模数转换器211转换为灰度数字信号并存入寄存器19。其中模拟信号的结构及原理请参阅图11~12对应的实施方式。彩色滤光区对应的感光像素的模拟信号直接被模数转换器转换为彩色数字信号并存入寄存器19。
图像处理模块50从寄存器19提取并处理彩色数字信号及灰度数字信号,以得到相应合并像素的像素值。
以此类推,直至处理完第一行及第二行的最后一组四个感光像素。
按以上处理方式,对第三行及第四行、第五行及第六行等的感光像素的输出进行处理,直至全部感光像素的输出均处理完成。
请参阅图17,在某些实施方式中,图像传感器10包括设置在滤光片13上的微镜阵列23,每个微镜231与一个感光像素111对应。
具体的,每个微镜231与一个感光像素111对应,包括大小、位置对应。在某些实施方式中,每个滤光单元1311对应2*2个感光像素111及2*2个微镜191。随着技术发展,为了得到分辨率更高的图像,感光片上的感光像素111越来越多,排列越来越密集,单个感光像素111也越来越小,其受光受到影响,且感光像素111的感光部分1111面积是有限的,微镜191能将光聚集到感光部分1111,从而提升感光像素111的受光强度以改善图像画质。
在某些实施方式中,合并像素的像素值包括与彩色模拟信号对应的彩色像素值及与灰度模拟信号对应的白色像素值,彩色像素值构成彩色图像,白色像素值构成灰度合并图像。
如此,图像处理模块根据与彩色模拟信号对应的彩色像素值生成色彩信息完整的彩色图像,及根据灰度模拟信号对应的白色像素值生成亮度较高,噪点较少的灰度合并图像。
在某些实施方式中,图像处理模块还用于彩色图像转变为YUV格式的彩色子图像。图像处理模块还用于把彩色子图像像素的亮度值替换为灰度合并图像对应像素的亮度值从而得到合并图像。
YUV是按照亮度和色差的原理来描述颜色的图像格式,YUV格式包括许多具体的格式,如YUV422,YUV420等。在某些实施方式中,滤光单元包括绿色、红色、蓝色滤光单元,图像处理模块先根据其对应的感光像素输出得到RGB格式的彩色图像,即得到每个图像像素的红色亮度值、绿色亮度值、蓝色亮度值,分别用R,G,B表示,则其相对应的YUV格式图像像素的亮度值Y=0.299*R+0.587*G+0.114*B。
如此,可得到YUV格式的彩色子图像。
图像处理模块再用于把彩色子图像像素的亮度值替换为灰度合并图像对应像素的亮度值从而得到合并图像。
由于仅替换了彩色子图像像素的亮度值,因此并未损害其色彩信息的完整性。由于白色滤光区有更好的透光效果使感光像素输出的亮度值更高,因此在低照度情况下灰度合并图像比彩色图像的亮度更高,噪点也较少。因此替换亮度后使彩色图像亮度提升,信噪比提升。
综上,采用本发明实施方式的成像装置,将彩色子图像像素的亮度值替换为灰度合并图像对应像素的亮度值可以在保持其色彩信息完整的基础上提升其亮度、信噪比和清晰度。采用本发明实施方式感光像素电路结构,能生成信噪比高、噪点少的灰度合并图像,而且,硬件上容易实现,且相较于软件合并,其将感光像素输出合并的速度更快。
本发明还提供一种应用成像装置的电子装置。在某些实施方式中,电子装置包括成像装置。因此,电子装置具有拍照功能且能在低照度下生成色彩完整,信噪比高,清晰度高的合并图像。
电子装置可以是手机。
在某些实施方式中,成像装置可以是手机的前置相机。由于前置相机多用于自拍,而自拍一般要求对图像的清晰度有要求而对图像分辨率要求不高,采用本实施方式的电子装置可满足此要求。
请参阅图18,在某些实施方式中,电子装置200包括与成像装置100连接的中央处理器81及外存储器83,中央处理器81用于控制外存储器83存储合并图像。
这样,生成的合并图像可以被存储,方便以后查看、使用或转移。外存储器83包括SM(SmartMedia)卡及CF(CompactFlash)卡等。
请参阅图19,在某些实施方式中,电子装置200还包括与成像装置100连接的中央处理器81及显示装置85,中央处理器81用于控制显示装置85显示合并图像。这样,电子装置200拍摄的图像可以显示于显示装置以供用户查看。显示装置包括LED显示器等。
综上,采用本发明实施方式的电子装置,具有拍照功能且能在低照度下生成色彩完整,信噪比高,清晰度高的合并图像。特别的,当此电子装置为手机的前置相机时,能提升低照度下自拍图像的亮度及清晰度,减少噪点。
本发明实施方式中成像方法及电子装置中未展开的部分,可参以上实施方式的图像传感器及成像装置的对应部分,在此不再详细展开。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (24)
1.一种成像方法,其特征在于,包括以下步骤:
提供图像传感器,所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片,所述滤光片包括滤光单元阵列,所述滤光单元包括白色滤光区及彩色滤光区;所述彩色滤光区覆盖一个所述感光像素;所述白色滤光区覆盖至少一个所述感光像素;同一所述滤光单元覆盖的所述感光像素构成合并像素;
读取所述感光像素阵列的输出;
将同一所述合并像素的所述白色滤光区覆盖的所述感光像素的输出合并为灰度模拟信号;及
处理所述灰度模拟信号及所述彩色滤光区对应的所述感光像素输出的彩色模拟信号得到所述合并像素的像素值以生成合并图像。
2.如权利要求1所述的成像方法,其特征在于,所述处理处理步骤进一步包括:
将所述彩色模拟信号及所述灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到所述合并像素的像素值。
3.如权利要求2所述的成像方法,其特征在于,每个所述滤光单元覆盖2*2个所述感光像素。
4.如权利要求3所述的成像方法,其特征在于,所述处理步骤进一步包括:
采集第k行及第k+1行的所述感光像素对应的所述彩色数字信号及所述灰度数字信号并存入寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数;及
从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。
5.如权利要求1-4任意一项所述的成像方法,其特征在于,所述合并像素的像素值包括与所述彩色模拟信号对应的彩色像素值及与所述灰度模拟信号对应的白色像素值;
所述处理步骤进一步包括:
根据所述彩色像素值生成彩色图像并根据所述白色像素值生成灰度合并图像。
6.如权利要求5所述的成像方法,其特征在于,
所述处理步骤进一步包括:
将所述彩色图像转变为YUV格式的彩色子图像;及
将所述彩色子图像的亮度值替换为所述灰度合并图像的亮度值从而得到所述合并图像。
7.一种成像装置,其特征在于,包括:
图像传感器,所述图像传感器包括:
感光像素阵列;及
设置于所述感光像素阵列上的滤光片;
所述滤光片包括滤光单元阵列,每个所述滤光单元包括白色滤光区及彩色滤光区;
所述彩色滤光区覆盖一个所述感光像素;所述白色滤光区覆盖至少一个所述感光像素;
同一所述滤光单元覆盖的所述感光像素构成合并像素;
所述成像装置还包括与所述图像传感器连接的图像处理模块;
所述图像传感器用于将同一所述合并像素的所述白色滤光区覆盖的所述感光像素的输出合并为灰度模拟信号,及用于处理所述灰度模拟信号及所述彩色滤光区对应的所述感光像素输出的彩色模拟信号得到所述合并像素的像素值以生成合并图像。
8.如权利要求7所述的成像装置,其特征在于,所述图像传感器包括模数转换器阵列;同一所述合并像素的所述白色滤光区覆盖的所有所述感光像素与一个模数转换器连接;
所述模数转换器用于将所述彩色模拟信号及所述灰度模拟信号分别转化为彩色数字信号及灰度数字信号以得到所述合并像素的像素值。
9.如权利要求8所述的成像装置,其特征在于,所述图像传感器包括与所述感光像素连接的源极跟随器,所述源极跟随器用于将所述感光像素的电荷信号转换为电压信号以被所述模数转换器转换为所述彩色数字信号及所述灰度数字信号;
所述源极跟随器与所述模数转换器连接。
10.如权利要求9所述的成像装置,其特征在于,每个所述感光像素与一个所述源极跟随器连接。
11.如权利要求9所述的成像装置,其特征在于,同一所述合并像素的所述白色滤光区覆盖的所述感光像素与一个所述源极跟随器连接。
12.如权利要求7所述的成像装置,其特征在于,所述彩色滤光区形成拜耳阵列。
13.如权利要求7所述的成像装置,其特征在于,每个所述滤光单元包括2*2个所述感光像素。
14.如权利要求13所述的成像装置,其特征在于,每个所述合并像素的所述彩色滤光区覆盖一个所述感光像素,所述白色滤光区覆盖三个所述感光像素。
15.如权利要求13所述的成像装置,其特征在于,所述图像传感器包括控制模块,所述控制模块用于控制所述感光像素阵列逐行曝光。
16.如权利要求15所述的成像装置,其特征在于,所述图像传感器还包括寄存器,所述控制模块用于依次采集当前曝光完成的第k行及第k+1行的所述感光像素对应的所述彩色数字信号及所述灰度数字信号并存入所述寄存器,其中k=2n-1,n为自然数,k+1小于等于所述感光像素阵列的总行数。
17.如权利要求7所述的成像装置,其特征在于,所述图像传感器包括微镜阵列,每个所述微镜与一个所述感光像素对应。
18.如权利要求7所述的成像装置,其特征在于,所述合并像素的像素值包括与所述彩色模拟信号对应的彩色像素值及与所述灰度模拟信号对应的白色像素值;
所述图像处理模块用于根据所述彩色像素值生成彩色图像并根据所述白色像素值生成灰度合并图像。
19.如权利要求18所述的成像装置,其特征在于,所述图像处理模块还用于将所述彩色图像转变为YUV格式的彩色子图像。
所述图像处理模块还用于把所述彩色子图像像素的亮度值替换为所述灰度合并图像对应像素的亮度值从而得到所述合并图像。
20.一种电子装置,其特征在于,包括如权利要求16-18任意一项所述的成像装置。
21.如权利要求20所述的电子装置,其特征在于,所述电子装置包括手机。
22.如权利要求21所述的电子装置,其特征在于,所述成像装置包括所述手机的前置相机。
23.如权利要求20所述的电子装置,其特征在于,所述电子装置包括与所述成像装置连接的中央处理器及外存储器,所述中央处理器用于控制所述外存储器存储所述合并图像。
24.如权利要求20所述的电子装置,其特征在于,所述电子装置还包括与所述成像装置连接的中央处理器及显示装置,所述中央处理器用于控制所述显示装置显示所述合并图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963780.4A CN105578066B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、成像装置及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510963780.4A CN105578066B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、成像装置及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105578066A true CN105578066A (zh) | 2016-05-11 |
CN105578066B CN105578066B (zh) | 2018-01-19 |
Family
ID=55887672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510963780.4A Active CN105578066B (zh) | 2015-12-18 | 2015-12-18 | 成像方法、成像装置及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105578066B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791734A (zh) * | 2016-12-27 | 2017-05-31 | 珠海市魅族科技有限公司 | 用于图像采集的装置、电子装置和图像采集的方法 |
WO2017101546A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
CN107040702A (zh) * | 2017-04-28 | 2017-08-11 | 广东欧珀移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
CN108391102A (zh) * | 2018-05-09 | 2018-08-10 | 清华大学 | 图像传感设备、图像处理设备、计算装置和图像重构方法 |
CN111784893A (zh) * | 2019-04-03 | 2020-10-16 | 阿里巴巴集团控股有限公司 | 信息的识别方法、系统、设备及存储介质 |
CN113676652A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
CN113676651A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101321295A (zh) * | 2007-06-07 | 2008-12-10 | 株式会社东芝 | 摄像装置 |
CN101467444A (zh) * | 2006-06-14 | 2009-06-24 | 株式会社东芝 | 固态图像传感器 |
US20090200451A1 (en) * | 2008-02-08 | 2009-08-13 | Micron Technology, Inc. | Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers |
CN103780850A (zh) * | 2014-01-30 | 2014-05-07 | 上海集成电路研发中心有限公司 | 像素分裂与合并图像传感器及其信号传输方法 |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
-
2015
- 2015-12-18 CN CN201510963780.4A patent/CN105578066B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101467444A (zh) * | 2006-06-14 | 2009-06-24 | 株式会社东芝 | 固态图像传感器 |
CN101321295A (zh) * | 2007-06-07 | 2008-12-10 | 株式会社东芝 | 摄像装置 |
US20090200451A1 (en) * | 2008-02-08 | 2009-08-13 | Micron Technology, Inc. | Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers |
CN104280803A (zh) * | 2013-07-01 | 2015-01-14 | 全视科技有限公司 | 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器 |
CN103780850A (zh) * | 2014-01-30 | 2014-05-07 | 上海集成电路研发中心有限公司 | 像素分裂与合并图像传感器及其信号传输方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101546A1 (zh) * | 2015-12-18 | 2017-06-22 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
US10594962B2 (en) | 2015-12-18 | 2020-03-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image sensor, imaging device, mobile terminal and imaging method for producing high resolution image |
CN106791734A (zh) * | 2016-12-27 | 2017-05-31 | 珠海市魅族科技有限公司 | 用于图像采集的装置、电子装置和图像采集的方法 |
CN107040702A (zh) * | 2017-04-28 | 2017-08-11 | 广东欧珀移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
CN108391102A (zh) * | 2018-05-09 | 2018-08-10 | 清华大学 | 图像传感设备、图像处理设备、计算装置和图像重构方法 |
CN111784893A (zh) * | 2019-04-03 | 2020-10-16 | 阿里巴巴集团控股有限公司 | 信息的识别方法、系统、设备及存储介质 |
CN113676652A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
CN113676651A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105578066B (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105592303B (zh) | 成像方法、成像装置及电子装置 | |
CN105430359A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105430361A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105430362A (zh) | 成像方法、成像装置及电子装置 | |
CN105578066A (zh) | 成像方法、成像装置及电子装置 | |
CN105578072A (zh) | 成像方法、成像装置及电子装置 | |
CN105578080A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105578078A (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105578006A (zh) | 成像方法、成像装置及电子装置 | |
CN105578081A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105611257B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105611125B (zh) | 成像方法、成像装置及电子装置 | |
CN105611185B (zh) | 图像生成方法、装置及终端设备 | |
CN105430363A (zh) | 成像方法、成像装置及电子装置 | |
CN105578076A (zh) | 成像方法、成像装置及电子装置 | |
CN105611123B (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105516697A (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105578067B (zh) | 图像生成方法、装置及终端设备 | |
CN105578075A (zh) | 高动态范围图像的生成方法、拍照装置和终端 | |
CN105472266A (zh) | 高动态范围图像的生成方法、拍照装置和终端 | |
CN101867727B (zh) | 一种视频处理方法及装置 | |
CN105578065A (zh) | 高动态范围图像的生成方法、拍照装置和终端 | |
CN105578079A (zh) | 图像传感器及其成像画质的调节方法和成像装置 | |
CN105430360A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105635702A (zh) | 成像方法、图像传感器、成像装置及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd. Address before: Changan town in Guangdong province Dongguan 523859 usha Beach Road No. 18 Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd. |
|
CP03 | Change of name, title or address |