CN113573030B - 图像生成方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像生成方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113573030B CN113573030B CN202110750598.6A CN202110750598A CN113573030B CN 113573030 B CN113573030 B CN 113573030B CN 202110750598 A CN202110750598 A CN 202110750598A CN 113573030 B CN113573030 B CN 113573030B
- Authority
- CN
- China
- Prior art keywords
- pixels
- channel map
- filter
- color
- multicolor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010586 diagram Methods 0.000 claims abstract description 90
- 230000003287 optical effect Effects 0.000 claims description 52
- 238000001914 filtration Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请涉及一种图像生成方法、装置、计算机设备和存储介质。方法包括:利用多色像素的多色通道图提供的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图;分别利用各第二颜色感光像素的第二通道图提供的纹理信息,将第一中间通道图插值为全排列第一通道图;全排列第一通道图中的像素均为第一颜色感光像素;通过全排列第一通道图分别对各第二通道图插值,得到各全排列第二通道图,分别与各第二通道图对应;全排列第二通道图中的像素均为同一种第二颜色感光像素;基于全排列第一通道图和各全排列第二通道图,生成目标图像。采用本方法能够提高生成的图像的清晰度。
Description
技术领域
本申请涉及计算机技术,特别是涉及一种图像生成方法、装置、电子设备和计算机可读存储介质。
背景技术
在越多越多的电子设备中,会安装有摄像头,以实现拍照功能。摄像头中设置有图像传感器,通过图像传感器采集彩色图像。为了实现彩色图像的采集,图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列,以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线,从而生成具有不同色彩通道的像素信号,进而生成图像。
然而,传统图像生成方法,存在生成的图像清晰度较低的问题。
发明内容
本申请实施例提供了一种图像生成方法、装置、电子设备、计算机可读存储介质,可以提高生成的图像的清晰度。
一种图像生成方法,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;
所述方法包括:
利用所述多色像素的多色通道图提供的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图;
分别利用各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述第一中间通道图插值为全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
通过所述全排列第一通道图分别对各所述第二通道图插值,得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
基于所述全排列第一通道图和各所述全排列第二通道图,生成目标图像。
一种图像生成装置,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;所述装置包括:
插值模块,用于利用所述多色像素的多色通道图提供的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图;
所述插值模块还用于分别利用各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述第一中间通道图插值为全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
所述插值模块还用于通过所述全排列第一通道图分别对各所述第二通道图插值,得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
生成模块,用于基于所述全排列第一通道图和各所述全排列第二通道图,生成目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的图像生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质,图像传感器包括滤光片阵列,滤光片阵列包括最小重复单元,最小重复单元包括多个滤光片组,滤光片组包括彩色滤光片和多色滤光片,彩色滤光片包括第一滤光片和至少一种第二滤光片,而多色滤光片透过的进光量大于彩色滤光片透过的进光量,则通过多色滤光片得到相应的多色像素具有比彩色滤光片得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
一种图像生成方法,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;
所述方法包括:
分别利用所述第一颜色感光像素的第一通道图和各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述多色像素的多色通道图插值为全排列多色通道图;所述全排列多色通道图中的像素均为多色像素;
通过所述全排列多色通道图将所述第一通道图插值得到全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
通过所述全排列第一通道图分别将各所述第二通道图插值得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
基于所述全排列第一通道图、各所述全排列第二通道图,生成目标图像。
一种图像生成装置,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;所述装置包括:
插值模块,用于分别利用所述第一颜色感光像素的第一通道图和各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述多色像素的多色通道图插值为全排列多色通道图;所述全排列多色通道图中的像素均为多色像素;
所述插值模块还用于通过所述全排列多色通道图将所述第一通道图插值得到全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
所述插值模块还用于通过所述全排列第一通道图分别将各所述第二通道图插值得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
生成模块,用于基于所述全排列第一通道图、各所述全排列第二通道图,生成目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的图像生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质,图像传感器包括滤光片阵列,滤光片阵列包括最小重复单元,最小重复单元包括多个滤光片组,滤光片组包括彩色滤光片和多色滤光片,彩色滤光片包括第一滤光片和至少一种第二滤光片,而多色滤光片透过的进光量大于彩色滤光片透过的进光量,则通过多色滤光片得到相应的多色像素具有比彩色滤光片得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,分别利用第一颜色感光像素的第一通道图和各第二颜色感光像素的第二通道图提供的纹理信息,将多色像素的多色通道图插值为全排列多色通道图,再利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的结构示意图;
图2为一个实施例中图像传感器的分解示意图;
图3为一个实施例中像素阵列和读出电路的连接示意图;
图4为一个实施例中图像生成方法的流程图;
图5为一个实施例中全排列第一通道图的生成方法的示意图;
图6为一个实施例中全排列第二通道图的生成方法的示意图;
图7为一个实施例中在多色通道图的二维平面上设置的8个基本方向的示意图;
图8为一个实施例中多色像素的纹理方向为垂直方向和水平方向时的插值策略示意图;
图9为一个实施例中多色像素的纹理方向为grad_A1方向时的插值策略示意图;
图10为一个实施例中多色像素的纹理方向为grad_A方向时的插值策略示意图;
图11为一个实施例中多色像素的纹理方向为grad_A2方向时的插值策略示意图;
图12为一个实施例中多色像素的纹理方向为grad_D1方向时的插值策略示意图;
图13为一个实施例中多色像素的纹理方向为grad_D方向时的插值策略示意图;
图14为一个实施例中多色像素的纹理方向为grad_D2方向时的插值策略示意图;
图15为一个实施例中将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素的流程示意图;
图16为一个实施例中借助第二颜色感光像素进行插值的示意图;
图17为一个实施例中R通道基于联合引导滤波的插值示意图;
图18为一个实施例中最小重复单元为8行8列64个子滤光片的示意图;
图19为一个实施例中图像生成装置的结构框图;
图20为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一滤光片称为第二滤光片,且类似地,可将第二滤光片称为第一滤光片。第一滤光片和第二滤光片两者都是滤光片,但其不是同一滤光片。
在一个实施例中,提供了一种图像生成方法,本实施例以该方法应用于电子设备进行举例说明,可以理解的是,电子设备可以是终端,也可以是服务器,还可以是包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以是手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等其中一种。
电子设备中安装有相机,相机包括镜头和图像传感器。图像传感器包括滤光片阵列,滤光片阵列包括最小重复单元,最小重复单元包括多个滤光片组,滤光片组包括彩色滤光片和多色滤光片,彩色滤光片包括第一滤光片和至少一种第二滤光片,多色滤光片透过的进光量大于彩色滤光片透过的进光量,每个彩色滤光片或每个多色滤光片均有4个子滤光片;通过各多色滤光片得到相应多色像素,通过第一滤光片得到相应第一颜色感光像素,通过每一种第二滤光片得到相应第二颜色感光像素;第一滤光片与第二滤光片的透射光的波段不同。其中,图像传感器用于接收穿过镜头的光线。
滤光片是用来选取所需辐射波段的光学器件。彩色滤光片是指仅允许某一特定颜色光线透光的滤光片。例如,彩色滤光片可以是绿色滤光片、红色滤光片、蓝色滤光片,则彩色滤光片透过的光线的波段可对应红光的波段、绿光的波段、或蓝光的波段。当然,彩色滤光片透过的光线的波段还可对应其他色光的波段,如品红色光、紫色光、青色光、黄色光等,在此不作限制。
多色滤光片是指允许多个颜色光线透光的滤光片。多色滤光片为全色滤光片,或者为进光量大于预设阈值的滤光片。例如多色滤光片是全色滤光片,可以透过所有颜色的光线。又如多色滤光片是可见光和红外滤光片,可以透过可见光和红外光线。
多色滤光片透过的进光量大于彩色滤光片透过的进光量,即彩色滤光片透过的光线的波段宽度小于多色滤光片透过的光线的波段宽度,多色滤光片透过更多的光线,通过多色滤光片得到相应的多色像素具有更高的信噪比,该多色像素包含有更多的信息,可以解析出更多的纹理细节。其中,信噪比是指正常信号与噪声信号之间的比值。像素的信噪比越高,则该像素包含的正常信号的比例越高,从该像素中解析到的信息也越多。
图像传感器还包括像素点阵列,像素点阵列包括多个像素点,每个像素点对应滤光片阵列的一个子滤光片,像素点用于接收穿过对应的子滤光片的光线以生成电信号。
如图1所示,电子设备包括摄像头102,摄像头102包含图像传感器,图像传感器包括滤光片阵列和像素点阵列。
下面以电子设备为手机进行说明,但电子设备不限于手机。终端包括摄像头、处理器和壳体。摄像头和处理器均设置在壳体内,壳体还可用于安装终端的供电装置、通信装置等功能模块,以使壳体为功能模块提供防尘、防摔、防水等保护。
摄像头可以是前置摄像头、后置摄像头、侧置摄像头、屏下摄像头等,在此不做限制。摄像头包括镜头及图像传感器,摄像头在拍摄图像时,光线穿过镜头并到达图像传感器,图像传感器用于将照射到图像传感器21上的光信号转化为电信号。
如图2所示,图像传感器21包括微透镜阵列21、滤光片阵列22、像素点阵列23。
微透镜阵列21包括多个微透镜211,微透镜211、滤光片阵列22中的子滤光片和像素阵列23中的像素点一一对应设置,微透镜211用于将入射的光线进行聚集,聚集之后的光线会穿过对应的子滤光片,然后投射至像素点上,被对应的像素点接收,像素点再将接收的光线转化成电信号。
滤光片阵列22包括多个最小重复单元221。最小重复单元221包括多个滤光片组222。在本实施例中,最小重复单元221包括4个滤光片组222,并且4个滤光片组222呈矩阵排列。每个滤光片组222包括多色滤光片223和彩色滤光片224,每个彩色滤光片或每个多色滤光片均有4个子滤光片,则该滤光片组222共包括16个子滤光片。在不同的滤光片组中还包括有不同的彩色滤光片224。
同样的,像素点阵列23包括多个最小重复单元231,最小重复单元231包括多个像素组232,与最小重复单元221中的滤光片组222对应。在本实施例中,最小重复单元231包括4个像素组232,并且4个像素组232呈矩阵排列,每个像素组232对应一个滤光片组222。通过多色滤光片223透过的光线投射至多色像素点233,可以得到多色像素;通过彩色滤光片224透过的光线投射至彩色像素点234,可以得到彩色像素。
如图3所示,读出电路24与像素点阵列23电连接,用于控制像素点阵列23的曝光以及像素点的像素值的读取和输出。读出电路24包括垂直驱动单元241、控制单元242、列处理单元243和水平驱动单元244。垂直驱动单元241包括移位寄存器和地址译码器。垂直驱动单元241包括读出扫描和复位扫描功能。控制单元242根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元241、列处理单元243和水平驱动单元244协同工作。列处理单元243可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。水平驱动单元244包括移位寄存器和地址译码器。水平驱动单元244顺序逐列扫描像素阵列。
本实施例中,如图4所示,该方法包括以下步骤:
步骤402,利用多色像素的多色通道图提供的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图。
多色像素是通过多色滤光片223透过的光线生成的像素。第一颜色感光像素是通过第一滤光片透过的光线生成的像素。第二颜色感光像素是通过第二滤光片透过的光线生成的像素。
电子设备通过滤光片阵列22透过的光线投射至像素点上,像素点阵列23用于接收穿过对应的滤光片阵列的光线以生成电信号,得到像素图像。电子设备按照相同类型的像素将像素图像拆解出多色通道图、第一通道图和各第二通道图。多色通道图包含多色像素和非多色像素。其中,非多色像素可以是无任何信息的空像素,也可以是其他颜色感光像素,如第一颜色感光像素、第二颜色感光像素等。同样地,第一通道图包含第一颜色感光像素和非第一颜色感光像素,第二通道图包含第二颜色感光像素和非第二颜色感光像素。
纹理信息至少包含纹理方向、纹理位置、纹理强度等。第一中间通道图是在第一通道图中将多色像素位置的像素插值为第一颜色感光像素得到的通道图。
电子设备在确定多色通道中当前像素为多色像素的情况下,利用多色像素的多色通道图提供的纹理信息,在第一颜色感光像素的第一通道图中确定待插值像素,待插值像素的位置与多色通道图的多色像素位置一一对应,将该像素插值为第一颜色感光像素,直到对第一通道图中对应于各个多色像素位置的像素均插值为第一颜色感光像素,得到第一中间通道图。其中,多色像素位置的像素为非第一颜色感光像素。
步骤404,分别利用各第二颜色感光像素的第二通道图提供的纹理信息,将第一中间通道图插值为全排列第一通道图;全排列第一通道图中的像素均为第一颜色感光像素。
电子设备分别利用各第二颜色感光像素的第二通道图提供的纹理信息,在第一中间通道图中确定各第二通道图的第二颜色感光像素位置的像素,将该像素插值为第一颜色感光像素,直到对第一中间通道图中各个第二颜色感光像素位置的像素均插值为第一颜色感光像素,得到全排列第一通道图。
步骤406,通过全排列第一通道图分别对各第二通道图插值,得到各全排列第二通道图,分别与各第二通道图对应;全排列第二通道图中的像素均为同一种第二颜色感光像素。
通过全排列第一通道图分别对各第二通道图进行插值,得到各个全排列第二通道图。例如,各第二通道图有红色像素的第二通道图和蓝色像素的第二通道图,则通过全排列第二通道图分别对红色像素的第二通道图和蓝色像素的第二通道图进行插值,得到红色像素的全排列第二通道图和蓝色像素的全排列第二通道图。其中,红色像素的全排列第二通道图中的像素均为红色像素,蓝色像素的全排列第二通道图中的像素均为蓝色像素。
步骤408,基于全排列第一通道图和各全排列第二通道图,生成目标图像。
目标图像是基于全排列第一通道图和各排列第二通道图生成的,即目标图像中包含第一颜色感光像素和各第二颜色感光像素。例如,全排列第一通道图是全排列G(Green,绿色)通道图,全排列第二通道图是全排列R(Red,红色)通道图和全排列B(Blue,蓝色)通道图,则基于全排列G通道图、全排列R通道图和全排列B通道图,可以生成RGB目标图像。
在一种实施方式中,电子设备可以将全排列第一通道图和各全排列第二通道图进行组合,生成目标图像。
在另一种实施方式中,电子设备依次从待生成的拜耳阵列图像中确定当前位置所需像素;从全排列第一通道图或各全排列第二通道图的对应位置处,提取像素作为待生成的拜耳阵列图像中当前位置的像素,直至待生成的拜尔阵列图像中所有位置的像素被生成。
从全排列第一通道图或各全排列第二通道图的对应位置处,提取像素作为待生成的拜耳阵列图像中当前位置的像素,包括:依据待生成的拜耳阵列图像中当前位置所需像素,从全排列第一通道图或各全排列第二通道图中确定所需通道图;从所需通道图的对应位置处,提取像素作为待生成的拜耳阵列图像中当前位置的像素。
例如,从待生成的拜耳阵列图像中确定当前位置(2,5)所需像素为G像素,则全排列第一通道图(G通道图)为所需通道图,从G通道图的(2,5)处提取像素作为待生成的拜耳阵列图像中确定当前位置(2,5)的像素。
又如,从待生成的拜耳阵列图像中确定当前位置(100,212)所需像素为R像素,则全排列第二通道图(R通道图)为所需通道图,从R通道图的(100,212)处提取像素作为待生成的拜耳阵列图像中确定当前位置(100,212)的像素。
上述图像生成方法,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,而多色滤光片223透过的进光量大于彩色滤光片224透过的进光量,则通过多色滤光片223得到相应的多色像素具有比彩色滤光片224得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
在一个实施例中,滤光片阵列22可以是RGBW,其中,W为多色滤光片,RGB均为彩色滤光片。在另一个实施例中,滤光片阵列可以是CMYW,其中,W为多色滤光片,CMY均为彩色滤光片。在另一个实施例中,滤光片阵列22可以是RYBW,其中,W为多色滤光片,RYB均为彩色滤光片。在另一个实施例中,滤光片阵列还可以将上述实施例中的W滤光片去掉,得到相应的C像素。
图5为一个实施例中全排列第一通道图的生成方法的示意图。电子设备图像传感器中的滤光片阵列22得到像素图像,将像素图像拆解出多色通道图502、第一通道图504和第二通道图508和510。在多色通道图502、第一通道图504和第二通道图508和510中,灰色像素表示非本通道图相应类型的像素。例如,在多色通道图502中,灰色像素表示非多色像素;在第一通道图504中,灰色像素表示非第一颜色感光像素;在第二通道图508中,灰色像素表示非第二通道图508相应类型的像素;如第二通道图508为R通道图,灰色像素表示非R像素;第二通道图508为B通道图,灰色像素表示非B像素。
电子设备利用多色通道图502提供的纹理信息,将第一通道图504中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图506;利用第二通道图508提供的纹理信息,将第一中间通道图506中对应于508中第二颜色像素位置的像素插值为第一颜色感光像素,得到第二中间通道图510;利用第二通道图512提供的纹理信息,将第二中间通道图510中对应于512中第二颜色像素位置的像素插值为第一颜色感光像素,得到全排列第一通道图514。
图6为一个实施例中全排列第二通道图的生成方法的示意图。电子设备通过全排列第一通道图604分别对第二通道图602、第二通道图606进行插值,得到全排列第二通道图606和全排列第二通道图610。
在一个实施例中,利用多色像素的多色通道图提供的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图,包括:遍历多色像素的多色通道图中各像素是否为多色像素;在确定多色通道的当前像素为多色像素的情况下,基于包含多色像素的预设范围内各像素确定多色像素的纹理信息;基于多色像素的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,遍历完成,将第一通道图中所有对应于多色像素位置的待插值像素插值为第一颜色感光像素才能得到第一中间通道图。
包含多色像素的预设范围可以根据需要进行设置。例如,预设范围可以是以多色像素为中心,10*10的矩形窗口的范围。又如,预设范围可以是以多色像素为中心,8*8的矩形窗口的范围。当然,预设范围也可以不以多色像素为中心,如多色像素可以在预设范围的上方区域、下方区域、左方区域、右方区域等。
具体地,在多色通道图中采用滑窗依次确定各像素是否为多色像素,由于滤光片阵列22中多色滤光片223的位置是周期变化的,故可以根据周期变化的规律确定当前像素是否为通过多色滤光片223得到的多色像素。
在本实施例中,电子设备在确定多色通道的当前像素为多色像素的情况下,基于包含多色像素的预设范围内各像素不仅可以获取到多色像素本身的信息,还可以获取到多色像素临近区域的像素的信息,可以更准确地确定多色像素的纹理信息,从而更准确地得到第一中间通道图。
在一个实施例中,基于包含多色像素的预设范围内各像素确定多色像素的纹理信息,包括:确定包含多色像素的预设范围内各像素之间的离散程度;若离散程度小于离散阈值,则多色像素处于平坦区;若离散程度大于或等于离散阈值,则多色像素处于纹理区。其中,离散阈值可以根据需要进行设置。
包含多色像素的预设范围内各像素之间的离散程度越大,表示各像素之间的差异越大,可以认为预设范围内存在强纹理,则多色像素处于纹理区。
可选地,电子设备可以通过确定包含多色像素的预设范围内各像素的方差,通过方差表示离散程度;电子设备也可以通过确定包含多色像素的预设范围内各像素的标准差,通过标准差表示离散程度;还可以通过其他方式表示离散程度,在此不做限定。方差(var)在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。标准差(StandardDeviation)能反映一个数据集的离散程度。
在一个实施例中,基于包含多色像素的预设范围内各像素确定多色像素的纹理信息,包括:确定包含多色像素的预设范围内各像素的方差;若方差小于给定阈值,则多色像素处于平坦区;若方差大于或等于给定阈值,则多色像素处于纹理区。
给定阈值可以根据需要进行设置。平坦区是存在弱纹理或者不存在纹理的区域。纹理区是存在强纹理的区域。
若方差小于给定阈值,表示预设范围内各像素的离散程度较小,可以认为多色像素所处的预设范围的纹理较弱或者无纹理,则多色像素处于平坦区。若方差大于或等于给定阈值,表示预设范围内各像素的离散程度较大,可以认为多色像素所处的预设范围的纹理较强,则多色像素处于纹理区。
在本实施例中,通过确定包含多色像素的预设范围内各像素的方差,可以准确地确定出多色像素的纹理信息。
在一个实施例中,基于多色像素的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,包括:在多色像素处于平坦区的情况下,确定包含多色像素的预设范围内各多色像素的第一像素均值,以及各第一通道图中对应的预设范围内各第一颜色感光像素的第二像素均值;基于第一像素均值和第二像素均值之间的比例关系,将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
第一像素均值是包含多色像素的预设范围内各多色像素的像素均值。第二像素均值是包含多色像素的预设范围内各第一颜色感光像素的像素均值。
具体地,在多色像素处于平坦区的情况下,电子设备将第一像素均值和第二像素均值之间的比例数值与该多色像素的像素值相乘,得到第一通道图中对应于该多色像素位置的像素的第一颜色感光像素。
以RGBW像素图像为例,多色通道图为全色通道图,即W通道图为全色通道图,G通道图为第一通道图,R通道图和B通道图均为第二通道图,W通道图中包含的W像素为全色像素,G通道图中包含的G像素为第一颜色感光像素,R通道图中包含的R像素或B通道图中包含的B像素均为第二颜色感光像素。
电子设备采用以下公式将G通道图中对应于W像素位置的像素插值为G像素:
Mean_W=sum(sum(RGBW.*maskW.*wei_W));
Mean_G=sum(sum(RGBW.*maskG.*wei_G));
G(i,j)=W(i,j)*Mean_G/Mean_W;
其中,Mean_W为第一像素均值,Mean_G为第二像素均值,wei_W表示W像素的权重,wei_G表示G像素的权重,W(i,j)是处于W通道图中(i,j)位置的W像素,G(i,j)是G通道图中对应于W像素位置(i,j)的像素插值得到的G像素。其中,距离预设范围的中心位置,像素的权重越高。
RGBW.表示像素图像的像素矩阵。maskW.表示与RGBW.像素矩阵同等大小的标志矩阵,W像素位置的矩阵元素的标志为1,其他像素位置的矩阵元素的标志为0。同样的,maskG.表示与RGBW.像素矩阵同等大小的标志矩阵,G像素位置的矩阵元素的标志为1,其他像素位置的矩阵元素的标志为0。
可以理解的是,在平坦区,第一颜色感光像素的像素值(G像素)和多色像素的像素值(W像素)之间比例是恒定的,通过计算局部的第一像素均值(Mean_W)和所述第二像素均值(Mean_G),获得在局部的第一颜色感光像素和多色像素的比例,进而通过比例关系,信噪比不会改变,插值得到的第一颜色感光像素可以充分继承了多色像素的高信噪比,从而提升了第一颜色感光像素的彩色分辨率和信噪比。
在本实施例中,在多色像素处于平坦区的情况下,确定包含多色像素的预设范围内各多色像素的第一像素均值,以及各第一通道图中对应的预设范围内各第一颜色感光像素的第二像素均值;基于第一像素均值和第二像素均值之间的比例关系,可以准确地将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
在一个实施例中,基于多色像素的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,包括:在多色像素处于纹理区的情况下,确定多色像素的纹理方向;基于纹理方向选择多色像素的关联像素;基于各关联像素,将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
电子设备可以预先设置多个基本方向,在多色像素处于纹理区的情况下,从多个基本方向中选择多色像素的纹理方向。基本方向是对称或者非对称的,基本方向的数量也可以根据需要进行设置。例如,基本方向的数量可以是8个,也可以是12个等。
例如,在二维平面中每间隔45度设置一个基本方向,可以得到8个基本方向;在二维平面中每间隔22.5度设置一个基本方向,可以得到12个基本方向。
确定多色像素的纹理方向,包括:确定多色像素在各基本方向上的梯度值;基于各基本方向上的梯度值确定多色像素的纹理方向。在一种实施方式中,电子设备可以将梯度值最小的基本方向确定为多色像素的纹理方向。在另一种实施方式中,电子设备可以将梯度值次小的基本方向确定为多色像素的纹理方向。在其他实施方式中,电子设备还可以采用其他的方式确定多色像素的纹理方向。
关联像素是与多色像素存在关联关系的像素。例如,关联关系可以是关联像素在多色像素的纹理方向上,关联关系也可以是关联像素处在多色像素的预设区域内,等等。
基于纹理方向选择多色像素的关联像素,包括:当纹理方向上存在第一颜色感光像素,则将纹理方向上的第一颜色感光像素作为多色像素的关联像素;当纹理方向上不存在第一颜色感光像素,则将多色像素周围区域内的其他多色像素和第一颜色感光像素作为该多色像素的关联像素。
图7为一个实施例中在多色通道图的二维平面上设置的8个基本方向的示意图。8个基本方向分别为N和S构成的垂直方向、W和E构成的水平方向、A、A1、A2、D、D1、D2。电子设备确定多色像素在各基本方向上的梯度值Grad=[grad_N grad_S grad_E grad_W grad_A1 grad_A grad_A2 grad_D1 grad_D grad_D2],将梯度值最小的基本方向确定为多色像素的纹理方向[Mingrad,Dir]=min(Grad)。
图8为一个实施例中多色像素的纹理方向为垂直方向和水平方向时的插值策略示意图。三角形所在的像素为需要进行插值的像素。当纹理方向Dir=grad_N,grad_S时,即纹理方向为垂直方向,则G(i,j)=0.8*g2+0.2*g1。其中,g1、g2是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.8是g2的权重参数,0.2是g1的权重参数,关联像素位置与多色像素位置之间的距离与权重参数大小成反比,即关联像素越接近多色像素位置,两者之间的距离越小,则该关联像素的权重越高;G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。当纹理方向Dir=grad_E grad_W时,即纹理方向为水平方向,则G(i,j)=0.8*g3+0.2*g4。同理,g3、g4是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.8是g3的权重参数,0.2是g4的权重参数,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图9为一个实施例中多色像素的纹理方向为grad_A1方向时的插值策略示意图。当纹理方向Dir=grad_A1时,则G(i,j)=0.7*g1+0.3*g2。g1、g2是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.7是g1的权重参数,0.3是g2的权重参数,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图10为一个实施例中多色像素的纹理方向为grad_A方向时的插值策略示意图。当纹理方向Dir=grad_A时,则G(i,j)=W(i,j)*(0.5*g1+0.5*g2)/w1。可以理解的是,由于在多色像素的纹理方向上并未存在其他的第一颜色感光像素,则从多色像素位置的预设区域内选择关联像素g1、g2和w1。W(i,j)是多色像素位置(i,j)的第一颜色感光像素的像素值,g1和g2的权重参数均为0.5,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图11为一个实施例中多色像素的纹理方向为grad_A2方向时的插值策略示意图。当纹理方向Dir=grad_A2时,则G(i,j)=0.7*g1+0.3*g2。g1、g2是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.7是g1的权重参数,0.3是g2的权重参数,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图12为一个实施例中多色像素的纹理方向为grad_D1方向时的插值策略示意图。当纹理方向Dir=grad_D1时,则G(i,j)=0.4*g1+0.2*g2+0.3*g3+0.1*g4。g1、g2、g3和g4是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.4是g1的权重参数,0.2是g2的权重参数,0.3是g3的权重参数,0.1是g4的权重参数,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图13为一个实施例中多色像素的纹理方向为grad_D方向时的插值策略示意图。当纹理方向Dir=grad_D时,则G(i,j)=W(i,j)*(0.3*g1+0.3*g2+0.2*g3+0.2*g4)/(0.25*w1+0.25*w2+0.25*w3+0.25*w4)。可以理解的是,由于在多色像素的纹理方向上并未存在其他的第一颜色感光像素,则从多色像素位置的预设区域内选择关联像素g1、g2、g3、g4、w1、w2、w3、w4。W(i,j)是多色像素位置(i,j)的第一颜色感光像素的像素值,g1和g2的权重参数均为0.3,g3和g4的权重参数均为0.2,w1、w2、w3和w4的权重参数均为0.25,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图14为一个实施例中多色像素的纹理方向为grad_D2方向时的插值策略示意图。当纹理方向Dir=grad_D2时,则G(i,j)=0.4*g1+0.2*g2+0.3*g3+0.1*g4。g1、g2、g3和g4是第一通道图中对应于多色像素位置的纹理方向上的关联像素,0.4是g1的权重参数,0.2是g2的权重参数,0.3是g3的权重参数,0.1是g4的权重参数,G(i,j)是第一通道图中对应于多色像素位置插值得到的第一颜色感光像素。
图15为一个实施例中将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素的流程示意图。电子设备执行步骤1502,判断多色通道图中当前像素是否为多色像素;执行步骤1504,在当前像素为多色像素的情况下,确定该多色像素的纹理方向;执行步骤1506,基于纹理方向和该多色像素的位置选择合适的插值策略;执行步骤1508,采用该插值策略将第一通道图中对应于该多色像素位置的像素插值为第一颜色感光像素。
其中,步骤1506具体包括:基于纹理方向和多色像素的位置选择多色像素的关联像素,再基于各关联像素将第一通道图中对应于该多色像素位置的像素插值为第一颜色感光像素。
在一个实施例中,分别利用各第二颜色感光像素的第二通道图提供的纹理信息,将第一中间通道图插值为全排列第一通道图,包括:针对每个第二通道图,遍历第二通道图中各像素是否为第二通道图相应类型的第二颜色感光像素;在确定第二通道图的当前像素为第二通道图相应类型的第二颜色感光像素的情况下,确定第二颜色感光像素的纹理信息;基于第二颜色感光像素的纹理信息,将第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素;直到对每个第二通道图中各像素均遍历完成时得到全排列第一通道图。
例如,第二通道图是R通道图,则第二通道图相应类型为R类型,第二通道图相应类型的第二颜色感光像素为R像素。又如,第二通道图是B通道图,则第二通道图相应类型为B类型,第二通道图相应类型的第二颜色感光像素为B像素。
基于第二颜色感光像素的纹理信息,将第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素的原理,与基于多色像素的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素类似。
确定第二颜色感光像素的纹理信息,包括:确定第二颜色感光像素的预设范围内各像素的方差;若方差小于给定阈值,则第二颜色感光像素处于平坦区;若方差大于或等于给定阈值,则第二颜色感光像素处于纹理区。
基于第二颜色感光像素的纹理信息,将第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素,包括:在第二颜色感光像素处于纹理区的情况下,确定多色像素的纹理方向;基于纹理方向选择多色像素的关联像素;基于各关联像素,将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
同样的,电子设备预先设置多个基本方向,确定第二颜色感光像素在各基本方向上的梯度值;基于各基本方向上的梯度值确定第二颜色感光像素的纹理方向。在一种实施方式中,电子设备可以将梯度值最小的基本方向确定为第二颜色感光像素的纹理方向。在另一种实施方式中,电子设备可以将梯度值次小的基本方向确定为第二颜色感光像素的纹理方向。
例如,电子设备预先设置8个基本方向,分别为N和S构成的垂直方向、W和E构成的水平方向、A、A1、A2、D、D1、D2。电子设备确定第二颜色感光像素在各基本方向上的梯度值Grad=[grad_N grad_S grad_E grad_W grad_A1 grad_A grad_A2 grad_D1 grad_Dgrad_D2];将梯度值最小的基本方向确定为第二颜色感光像素的纹理方向[Mingrad,Dir]=min(Grad)。
根据不同的纹理方向,决定了不同的插值方式。各插值方式情况如下:
情况1:Dir=grad_N,grad_S,方向为垂直方向,G(i,j)=0.7*g8+0.3*g3。
情况2:Dir=grad_E,grad_W,方向为水平方向,G(i,j)=0.7*g1+0.3*g6。
情况3:Dir=grad_A1,方向为A1,G(i,j)=0.7*g8+0.2*g7+0.1*g2。
情况4:Dir=grad_A,方向为A,G(i,j)=0.5*g7+0.5*g2。
情况5:Dir=grad_A2,方向为A2,G(i,j)=0.7*g1+0.2*g7+0.1*g2。
情况6:Dir=grad D1,方向为D1,G(i,j)=0.7*g3+0.2*g4+0.1*g10。
情况7:Dir=grad_D,方向为D,G(i,j)=0.3*g9+0.7*g10
情况8:Dir=grad_D2,方向为D2,G(i,j)=0.7*g1+0.2*g5+0.1*g6。
特别地,当纹理方向上不存在其他的第一颜色感光像素时,需要借助第二颜色感光像素进行插值。图16为一个实施例中借助第二颜色感光像素进行插值的示意图。G(i,j)=b2*(0.5*g3+0.5*g6+0.5*g2+0.5*g7)/(0.5*b3+0.5*b1)。g3、g6、g2、g7、b3和b1是第一中间通道图中对应于第二颜色感光像素位置的纹理方向上的关联像素,g3、g6、g2、g7、b3和b1的权重参数均为0.5,G(i,j)是第一中间通道图中对应于第二颜色感光像素位置插值得到的第一颜色感光像素。
在本实施例中,针对每个第二通道图,在确定第二通道图的当前像素为第二通道图相应类型的第二颜色感光像素的情况下,确定第二颜色感光像素的纹理信息;基于第二颜色感光像素的纹理信息,将第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素,直到对每个第二通道图中各像素均遍历完成时,可以得到准确的全排列第一通道图。
在一个实施例中,通过全排列第一通道图分别对各第二通道图插值,得到各全排列第二通道图,包括:基于全排列第一通道图,采用引导滤波或者联合双边滤波,将各第二通道图插值得到各全排列第二通道图。
在一种实施方式中,基于全排列第一通道图,采用引导滤波将各第二通道图插值得到全排列第二通道。以全排列第一通道图为全排列G通道图、第二通道图为R通道图为例进行说明。引导滤波的基本表达式如公式(1):
公式(1)中,ωk表示一个局部窗口,如12乘12的局部窗口,i表示坐标位置,Ii表示全排列G通道图中坐标位置i的像素的像素值,ak和bk表示窗口内的局部线性比例关系,qi表示引导插值后的像素值。
上式表示引导图像I(全排列G通道图)和被引导图像q之间的线性关系式。一般来说,在局部区域,引导图像和被引导图像之间,存在稳定的线性关系,但是两者之间的线性系数需要求解,通过公式(2)采用最小二乘法来估计ak和bk:
图17为一个实施例中R通道基于联合引导滤波的插值示意图。1702是被引导图像(第二通道图),1704是引导图像(全排列G通道图),1706插值得到的全排列第二通道图。
以R像素为例,选取需要插值的像素位置(i,j)处作为中心的12x12的窗口,基于如下过程来推算ak和bk:
其中σk表示引导图像的局部方差,μk表示引导图像的局部均值。
在另一种实施方式中,基于全排列第一通道图,采用联合双边滤波将各第二通道图插值得到全排列第二通道。双边滤波基本原理是根据特定像素与中心像素位置的关系进行加权,再将两者进行相除得到比值关系,最后将对应像素的像素值根据比值关系进行转换得到。
在本实施例中,基于全排列第一通道图,采用引导滤波或者联合双边滤波,可以准确地将各第二通道图插值得到全排列第二通道图。
在一个实施例中,最小重复单元为8行8列64个子滤光片,排布方式为:
其中,w表示多色子滤光片,a表示第一子滤光片,b和c均表示第二子滤光片,每4个相邻的w构成多色滤光片,每4个相邻的a构成第一滤光片,每4个相邻的b或者每4个相邻的c均构成第二滤光片。a可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片,b可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片,c可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片。例如,b为红色子滤光片、a为绿色子滤光片、c为蓝色子滤光片;或者,c为红色子滤光片、a为绿色子滤光片、b为蓝色子滤光片;再例如,c为红色子滤光片、a为绿色子滤光片、b为蓝色子滤光片;或者,a为红色子滤光片、b为蓝色子滤光片、c为绿色子滤光片等,在此不作限制;再例如,b为品红色子滤光片、a为青色子滤光片、b为黄色子滤光片等。在其他实施方式中,彩色滤光片还可包括其他颜色的子滤光片,如橙色子滤光片、紫色子滤光片等,在此不作限制。
图18为一个实施例中最小重复单元为8行8列64个子滤光片的示意图。其中,w(white)为全色滤光片,a、b和c是彩色滤光片,a可以是G(Green)滤光片,b可以是R(Red)滤光片,c可以是B(Blue)滤光片,通过8行8列64个子滤光片得到的W像素占50%,G像素占25%,R像素和B像素占12.5%。
8行8列64个子滤光片结合了quad和RGBW的双重优势。quad的好处是可以局部同像素2乘2合并(binning)得到1/4分辨率的图像,具有高信噪比,quad全尺寸输出则具有高像素。RGBW的好处是,利用W像素提高图像整体的进光量,进而提升画质信噪比。
在另一个实施例中,最小重复单元也可以是12行12列的子滤光片,还可以是16行16列的子滤光片。
在一个实施例中,提供了另一种图像生成方法,应用于电子设备,所述电子设备包括图像传感器,其特征在于,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,多色滤光片223透过的进光量大于彩色滤光片224透过的进光量,每个彩色滤光片224或每个多色滤光片223均有4个子滤光片;通过各多色滤光片223得到相应多色像素,通过第一滤光片得到相应第一颜色感光像素,通过每一种第二滤光片得到相应第二颜色感光像素;第一滤光片与第二滤光片的透射光的波段不同。
该方法包括:分别利用第一颜色感光像素的第一通道图、各第二颜色感光像素的第二通道图提供的纹理信息,将多色像素的多色通道图插值为全排列多色通道图;全排列多色通道图中的像素均为多色像素;通过全排列多色通道图将第一通道图插值得到全排列第一通道图;全排列第一通道图中的像素均为第一颜色感光像素;通过全排列第一通道图分别将各第二通道图插值得到各全排列第二通道图,分别与各第二通道图对应;全排列第二通道图中的像素均为同一种第二颜色感光像素;基于全排列第一通道图、各全排列第二通道图,生成目标图像。
基于全排列多色通道图,采用引导滤波或者联合双边滤波将第一通道图插值得到全排列第一通道图。基于全排列第一通道图,采用引导滤波或者联合双边滤波,分别将各第二通道图插值得到全排列第二通道图。
在本实施例中,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,而多色滤光片223透过的进光量大于彩色滤光片224透过的进光量,则通过多色滤光片223得到相应的多色像素具有比彩色滤光片224得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,分别利用第一颜色感光像素的第一通道图和各第二颜色感光像素的第二通道图提供的纹理信息,将多色像素的多色通道图插值为全排列多色通道图,再利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
应该理解的是,虽然图4和图15的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图4和图15中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图19为一个实施例的图像生成装置的结构框图。如图19所示,应用于电子设备,所述电子设备包括图像传感器,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,多色滤光片223透过的进光量大于彩色滤光片透过的进光量,每个彩色滤光片224或每个多色滤光片223均有4个子滤光片;通过各多色滤光片223得到相应多色像素,通过第一滤光片得到相应第一颜色感光像素,通过每一种第二滤光片得到相应第二颜色感光像素;第一滤光片与第二滤光片的透射光的波段不同;上述装置包括:插值模块1902和生成模块1904,其中:
插值模块1902,用于利用多色像素的多色通道图提供的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图。
插值模块1902还用于分别利用各第二颜色感光像素的第二通道图提供的纹理信息,将第一中间通道图插值为全排列第一通道图;全排列第一通道图中的像素均为第一颜色感光像素。
插值模块1902还用于通过全排列第一通道图分别对各第二通道图插值,得到各全排列第二通道图,分别与各第二通道图对应;全排列第二通道图中的像素均为同一种第二颜色感光像素。
生成模块1904,用于基于全排列第一通道图和各全排列第二通道图,生成目标图像。
上述图像生成装置,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,而多色滤光片223透过的进光量大于彩色滤光片224透过的进光量,则通过多色滤光片223得到相应的多色像素具有比彩色滤光片224得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
在一个实施例中,上述插值模块1902还用于遍历多色像素的多色通道图中各像素是否为多色像素;在确定多色通道的当前像素为多色像素的情况下,基于包含多色像素的预设范围内各像素确定多色像素的纹理信息;基于多色像素的纹理信息,将第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,遍历完成,将第一通道图中所有对应于多色像素位置的待插值像素插值为第一颜色感光像素,得到第一中间通道图。
在一个实施例中,上述插值模块1902还用于确定包含多色像素的预设范围内各像素的方差;若方差小于给定阈值,则多色像素处于平坦区;若方差大于或等于给定阈值,则多色像素处于纹理区。
在一个实施例中,上述插值模块1902还用于在多色像素处于平坦区的情况下,确定包含多色像素的预设范围内各多色像素的第一像素均值,以及各第一通道图中对应的预设范围内各第一颜色感光像素的第二像素均值;基于第一像素均值和第二像素均值之间的比例关系,将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
在一个实施例中,上述插值模块1902还用于在多色像素处于纹理区的情况下,确定多色像素的纹理方向;基于纹理方向选择多色像素的关联像素;基于各关联像素,将第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
在一个实施例中,上述插值模块1902还用于针对每个第二通道图,遍历第二通道图中各像素是否为第二通道图相应类型的第二颜色感光像素;在确定第二通道图的当前像素为第二通道图相应类型的第二颜色感光像素的情况下,确定第二颜色感光像素的纹理信息;基于第二颜色感光像素的纹理信息,将第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素;直到对每个第二通道图中各像素均遍历完成时得到全排列第一通道图。
在一个实施例中,上述插值模块1902还用于基于全排列第一通道图,采用引导滤波或者联合双边滤波,将各第二通道图插值得到各全排列第二通道图。
在一个实施例中,上述生成模块1904还用于依次从待生成的拜耳阵列图像中确定当前位置所需像素;从全排列第一通道图或各全排列第二通道图的对应位置处,提取像素作为待生成的拜耳阵列图像中当前位置的像素,直至待生成的拜尔阵列图像中所有位置的像素被生成,得到目标图像。
在一个实施例中,多色滤光片223为全色滤光片,或者为进光量大于预设阈值的滤光片。
在一个实施例中,最小重复单元为9行9列64个子滤光片,排布方式为:
其中,w表示多色子滤光片,a表示第一子滤光片,b和c均表示第二子滤光片,每4个相邻的w构成多色滤光片,每4个相邻的a构成第一滤光片,每4个相邻的b或者每4个相邻的c均构成第二滤光片。
在另一个实施例中,还提供了另一种图像生成装置,应用于电子设备,所述电子设备包括图像传感器,其特征在于,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,多色滤光片223透过的进光量大于彩色滤光片透过的进光量,每个彩色滤光片224或每个多色滤光片223均有4个子滤光片;通过各多色滤光片223得到相应多色像素,通过第一滤光片得到相应第一颜色感光像素,通过每一种第二滤光片得到相应第二颜色感光像素;第一滤光片与第二滤光片的透射光的波段不同;上述装置包括:插值模块和生成模块,其中:
插值模块,用于分别利用第一颜色感光像素的第一通道图、各第二颜色感光像素的第二通道图提供的纹理信息,将多色像素的多色通道图插值为全排列多色通道图;全排列多色通道图中的像素均为多色像素。
插值模块还用于通过全排列多色通道图将第一通道图插值得到全排列第一通道图;全排列第一通道图中的像素均为第一颜色感光像素。
插值模块还用于通过全排列第一通道图分别将各第二通道图插值得到各全排列第二通道图,分别与各第二通道图对应;全排列第二通道图中的像素均为同一种第二颜色感光像素。
生成模块,用于基于全排列第一通道图、各全排列第二通道图,生成目标图像。
上述图像生成装置,图像传感器包括滤光片阵列22,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片224和多色滤光片223,彩色滤光片224包括第一滤光片和至少一种第二滤光片,而多色滤光片223透过的进光量大于彩色滤光片224透过的进光量,则通过多色滤光片223得到相应的多色像素具有比彩色滤光片224得到的第一颜色感光像素或第二颜色感光像素更高的进光量,即该多色像素具有更高的信噪比。因此,分别利用第一颜色感光像素的第一通道图和各第二颜色感光像素的第二通道图提供的纹理信息,将多色像素的多色通道图插值为全排列多色通道图,再利用多色像素的多色通道图可以提供更多的纹理信息,从而更准确地插值出全排列第一通道图,并且该全排列第一通道图也具有更高的信噪比;再通过全排列第一通道图分别插值得到全排列第二通道图,最终基于信噪比更高的全排列第一通道图和各全排列第二通道图,可以生成信息更多、细节解析更清晰的目标图像。
上述图像生成装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将图像生成装置按照需要划分为不同的模块,以完成上述图像生成装置的全部或部分功能。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定,在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图20为一个实施例中电子设备的内部结构示意图。如图20所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像生成方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像生成方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像生成方法,应用于电子设备,所述电子设备包括图像传感器,其特征在于,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;
所述方法包括:
利用所述多色像素的多色通道图提供的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图;
分别利用各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述第一中间通道图插值为全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
通过所述全排列第一通道图分别对各所述第二通道图插值,得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
基于所述全排列第一通道图和各所述全排列第二通道图,生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述利用所述多色像素的多色通道图提供的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图,包括:
遍历所述多色像素的多色通道图中各像素是否为多色像素;
在确定所述多色通道图的当前像素为多色像素的情况下,基于包含所述多色像素的预设范围内各像素确定所述多色像素的纹理信息;
基于所述多色像素的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,遍历完成,将所述第一通道图中所有对应于多色像素位置的待插值像素插值为第一颜色感光像素,得到第一中间通道图。
3.根据权利要求2所述的方法,其特征在于,所述基于包含所述多色像素的预设范围内各像素确定所述多色像素的纹理信息,包括:
确定包含所述多色像素的预设范围内各像素的方差;
若所述方差小于给定阈值,则所述多色像素处于平坦区;
若所述方差大于或等于给定阈值,则所述多色像素处于纹理区。
4.根据权利要求3所述的方法,其特征在于,所述基于所述多色像素的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,包括:
在所述多色像素处于平坦区的情况下,确定包含所述多色像素的预设范围内各多色像素的第一像素均值,以及各所述第一通道图中对应的预设范围内各第一颜色感光像素的第二像素均值;
基于所述第一像素均值和所述第二像素均值之间的比例关系,将所述第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
5.根据权利要求3所述的方法,其特征在于,所述基于所述多色像素的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,包括:
在所述多色像素处于纹理区的情况下,确定所述多色像素的纹理方向;
基于所述纹理方向选择所述多色像素的关联像素;
基于各所述关联像素,将所述第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素。
6.根据权利要求1所述的方法,其特征在于,所述分别利用各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述第一中间通道图插值为全排列第一通道图,包括:
针对每个所述第二通道图,遍历所述第二通道图中各像素是否为所述第二通道图相应类型的第二颜色感光像素;
在确定所述第二通道图的当前像素为所述第二通道图相应类型的第二颜色感光像素的情况下,确定所述第二颜色感光像素的纹理信息;
基于所述第二颜色感光像素的纹理信息,将所述第一中间通道图中对应于第二颜色感光像素位置的像素插值为第一颜色感光像素;
直到对每个所述第二通道图中各像素均遍历完成时得到全排列第一通道图。
7.根据权利要求1所述的方法,其特征在于,所述通过所述全排列第一通道图分别对各所述第二通道图插值,得到各全排列第二通道图,包括:
基于所述全排列第一通道图,采用引导滤波或者联合双边滤波,将各所述第二通道图插值得到各全排列第二通道图。
8.根据权利要求1所述的方法,其特征在于,所述基于所述全排列第一通道图和各所述全排列第二通道图,生成目标图像,包括:
依次从待生成的拜耳阵列图像中确定当前位置所需像素;
从所述全排列第一通道图或各所述全排列第二通道图的对应位置处,提取像素作为待生成的拜耳阵列图像中当前位置的像素,直至待生成的拜耳阵列图像中所有位置的像素被生成,得到目标图像。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述多色滤光片为全色滤光片,或者为进光量大于预设阈值的滤光片。
10.根据权利要求1至8任一项所述的方法,其特征在于,所述最小重复单元为8行8列64个所述子滤光片,排布方式为:
其中,w表示多色子滤光片,a表示第一子滤光片,b和c均表示第二子滤光片,每4个相邻的w构成多色滤光片,每4个相邻的a构成第一滤光片,每4个相邻的b或者每4个相邻的c均构成第二滤光片。
11.一种图像生成方法,应用于电子设备,所述电子设备包括图像传感器,其特征在于,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;
所述方法包括:
分别利用所述第一颜色感光像素的第一通道图和各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述多色像素的多色通道图插值为全排列多色通道图;所述全排列多色通道图中的像素均为多色像素;
通过所述全排列多色通道图将所述第一通道图插值得到全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
通过所述全排列第一通道图分别将各所述第二通道图插值得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
基于所述全排列第一通道图、各所述全排列第二通道图,生成目标图像。
12.一种图像生成装置,应用于电子设备,所述电子设备包括图像传感器,其特征在于,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;所述装置包括:
插值模块,用于利用所述多色像素的多色通道图提供的纹理信息,将所述第一颜色感光像素的第一通道图中对应于多色像素位置的像素插值为第一颜色感光像素,得到第一中间通道图;
所述插值模块还用于分别利用各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述第一中间通道图插值为全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
所述插值模块还用于通过所述全排列第一通道图分别对各所述第二通道图插值,得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
生成模块,用于基于所述全排列第一通道图和各所述全排列第二通道图,生成目标图像。
13.一种图像生成装置,应用于电子设备,所述电子设备包括图像传感器,其特征在于,所述图像传感器包括滤光片阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和多色滤光片,所述彩色滤光片包括第一滤光片和至少一种第二滤光片,所述多色滤光片透过的进光量大于所述彩色滤光片透过的进光量,每个所述彩色滤光片或每个所述多色滤光片均有4个子滤光片;通过各所述多色滤光片得到相应多色像素,通过所述第一滤光片得到相应第一颜色感光像素,通过每一种所述第二滤光片得到相应第二颜色感光像素;所述第一滤光片与所述第二滤光片的透射光的波段不同;所述装置包括:
插值模块,用于分别利用所述第一颜色感光像素的第一通道图和各所述第二颜色感光像素的第二通道图提供的纹理信息,将所述多色像素的多色通道图插值为全排列多色通道图;所述全排列多色通道图中的像素均为多色像素;
所述插值模块还用于通过所述全排列多色通道图将所述第一通道图插值得到全排列第一通道图;所述全排列第一通道图中的像素均为第一颜色感光像素;
所述插值模块还用于通过所述全排列第一通道图分别将各所述第二通道图插值得到各全排列第二通道图,分别与各所述第二通道图对应;所述全排列第二通道图中的像素均为同一种第二颜色感光像素;
生成模块,用于基于所述全排列第一通道图、各所述全排列第二通道图,生成目标图像。
14.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述的图像生成方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750598.6A CN113573030B (zh) | 2021-07-01 | 2021-07-01 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750598.6A CN113573030B (zh) | 2021-07-01 | 2021-07-01 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113573030A CN113573030A (zh) | 2021-10-29 |
CN113573030B true CN113573030B (zh) | 2023-11-10 |
Family
ID=78163637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110750598.6A Active CN113573030B (zh) | 2021-07-01 | 2021-07-01 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113573030B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125318B (zh) * | 2021-11-12 | 2024-08-02 | Oppo广东移动通信有限公司 | 图像传感器、摄像模组、电子设备、图像生成方法和装置 |
CN113891006A (zh) * | 2021-11-22 | 2022-01-04 | Oppo广东移动通信有限公司 | 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质 |
CN114554046B (zh) * | 2021-12-01 | 2024-08-13 | Oppo广东移动通信有限公司 | 图像传感器、摄像模组、电子设备、图像生成方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225135A (zh) * | 2019-03-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 |
CN111757006A (zh) * | 2020-07-08 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
CN111988592A (zh) * | 2019-05-22 | 2020-11-24 | 瑞昱半导体股份有限公司 | 影像色彩还原与增强电路 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7780089B2 (en) * | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
US20080123997A1 (en) * | 2006-11-29 | 2008-05-29 | Adams James E | Providing a desired resolution color image |
KR20180024604A (ko) * | 2016-08-30 | 2018-03-08 | 삼성전자주식회사 | 이미지 센서 및 그 구동 방법 |
-
2021
- 2021-07-01 CN CN202110750598.6A patent/CN113573030B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225135A (zh) * | 2019-03-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 |
CN111988592A (zh) * | 2019-05-22 | 2020-11-24 | 瑞昱半导体股份有限公司 | 影像色彩还原与增强电路 |
CN111757006A (zh) * | 2020-07-08 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN113573030A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113573030B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
US8237831B2 (en) | Four-channel color filter array interpolation | |
US8253832B2 (en) | Interpolation for four-channel color filter array | |
EP2436187B1 (en) | Four-channel color filter array pattern | |
CN113676708B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN113840067B (zh) | 图像传感器、图像生成方法、装置和电子设备 | |
CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
CN114125242B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
US11758289B2 (en) | Image processing method, image processing system, electronic device, and readable storage medium | |
WO2023082766A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN113676636B (zh) | 高动态范围图像的生成方法、装置、电子设备和存储介质 | |
WO2023098282A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
WO2023124607A1 (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
WO2023109264A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
WO2023109265A1 (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN113676675A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
US10360661B2 (en) | Determining multispectral or hyperspectral image data | |
EP4117282A1 (en) | Image sensor, imaging apparatus, electronic device, image processing system and signal processing method | |
CN114554046B (zh) | 图像传感器、摄像模组、电子设备、图像生成方法和装置 | |
CN112019823A (zh) | 一种滤光器阵列以及图像传感器 | |
CN113554561B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN113888439A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
US11696041B2 (en) | Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |