CN112291479B - 图像处理模组、图像处理方法、摄像头组件及移动终端 - Google Patents

图像处理模组、图像处理方法、摄像头组件及移动终端 Download PDF

Info

Publication number
CN112291479B
CN112291479B CN202011318716.8A CN202011318716A CN112291479B CN 112291479 B CN112291479 B CN 112291479B CN 202011318716 A CN202011318716 A CN 202011318716A CN 112291479 B CN112291479 B CN 112291479B
Authority
CN
China
Prior art keywords
image
texture
module
bit depth
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011318716.8A
Other languages
English (en)
Other versions
CN112291479A (zh
Inventor
常景洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011318716.8A priority Critical patent/CN112291479B/zh
Publication of CN112291479A publication Critical patent/CN112291479A/zh
Application granted granted Critical
Publication of CN112291479B publication Critical patent/CN112291479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics

Abstract

本申请公开了一种图像处理模组、图像处理方法、摄像头组件及移动终端。图像处理模组包括解码模块、拜耳处理模块、纹理加强模块和融合模块。解码模块用于将第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和第二预设位深的第一纹理图像,第一预设位深大于第二预设位深,第二原始图像的像素呈拜耳阵列排布。拜耳处理模块用于采用第一处理算法处理第二原始图像以生成第一YUV图像。纹理加强模块用于处理第一纹理图像以生成第二纹理图像。融合模块用于融合第一YUV图像和第二纹理图像以生成第二YUV图像。上述图像处理模组、图像处理方法、摄像头组件及移动终端,能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。

Description

图像处理模组、图像处理方法、摄像头组件及移动终端
技术领域
本申请涉及影像技术领域,特别涉及一种图像处理模组、图像处理方法、摄像头组件及移动终端。
背景技术
手机等电子设备中往往装配有摄像头,以实现拍照功能。摄像头中设置有图像传感器。图像传感器输出的图像经过图像管道处理之后,容易损失细节信息,从而导致图像清晰度下降。
发明内容
本申请的实施方式提供了一种图像处理模组、图像处理方法、摄像头组件及移动终端。
本申请实施方式的图像处理模组,所述图像处理模组包括解码模块、拜耳处理模块、纹理加强模块和融合模块。所述解码模块用于将第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和所述第二预设位深的第一纹理图像,所述第一预设位深大于所述第二预设位深,所述第二原始图像的像素呈拜耳阵列排布。所述拜耳处理模块用于采用第一处理算法处理所述第二原始图像以生成第一YUV图像。所述纹理加强模块用于处理所述第一纹理图像以生成第二纹理图像。所述融合模块用于融合所述第一YUV图像和所述第二纹理图像以生成第二YUV图像。
本申请实施方式的图像处理方法,所述图像处理方法包括:获取第一预设位深的第一原始图像;将所述第一原始图像转化成第二预设位深的第二原始图像和所述第二预设位深的第一纹理图像,所述第一预设位深大于所述第二预设位深,所述第二原始图像的像素呈拜耳阵列排布;采用第一处理算法处理所述第二原始图像以生成第一YUV图像;处理所述第一纹理图像以生成第二纹理图像;融合所述第一YUV图像和所述第二纹理图像以生成第二YUV图像。
本申请实施方式的摄像头组件,所述摄像头组件包括图像传感器和上述实施方式的图像处理模组。
本申请实施方式的移动终端,所述移动终端包括上述实施方式的摄像头组件和壳体,所述摄像头组件设置在所述壳体上。
上述图像处理模组、图像处理方法、摄像头组件及移动终端,通过将第一原始图像转化为第二原始图像和第一纹理图像,对第二原始图像进行处理以获得第一YUV图像,对第一纹理图像进行处理以获得第二纹理图像,并将第一YUV图像与第二纹理图像进行融合以获得第二YUV图像,这样能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的摄像头组件的示意图;
图2是本申请实施方式的摄像头组件的图像传感器的滤光片阵列的部分滤光片的排布示意图;
图3是本申请实施方式的摄像头组件的图像传感器的滤光片阵列的排布示意图;
图4是本申请实施方式的图像处理模组的第一处理算法的原理示意图;
图5是本申请实施方式的图像处理模组的第二处理算法的原理示意图;
图6是本申请实施方式的图像处理方法的流程示意图;
图7是本申请实施方式的移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的实施方式在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的实施方式的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请参阅图1,本申请实施方式的图像处理模组10,图像处理模组10包括解码(decode)模块11、拜耳处理模块(bayer processing segment,BPS)12、纹理加强(texture_control)模块13和融合(fusion)模块14。解码模块11用于将第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和第二预设位深的第一纹理图像,第一预设位深大于第二预设位深,第二原始图像的像素呈拜耳阵列排布。拜耳处理模块12用于采用第一处理算法处理第二原始图像以生成第一YUV图像。纹理加强模块13用于处理第一纹理图像以生成第二纹理图像。融合模块14用于融合第一YUV图像和第二纹理图像以生成第二YUV图像。
上述图像处理模组10,通过将第一原始图像转化为第二原始图像和第一纹理图像,对第二原始图像进行处理以获得第一YUV图像,对第一纹理图像进行处理以获得第二纹理图像,并将第一YUV图像与第二纹理图像进行融合以获得第二YUV图像,这样能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。
在相关技术中,手机等电子设备中装配有摄像头,以实现拍照功能。摄像头中设置有图像传感器。图像传感器输出的图像经过图像管道处理之后,容易损失细节信息,从而导致图像清晰度下降。例如,图像传感器输出位深为10bit的原始图像,原始图像的像素呈拜耳阵列排列,图像处理管道包括拜耳处理模块,原始图像经过拜耳处理模块处理之后,输出为YUV图像,由于拜耳处理模块在处理过程中存在一定的滤波、去噪等操作,导致最终得到的YUV图像损失部分细节信息,图像的清晰度下降。
也即是说,相关技术中的拜耳处理模块存在损失图像细节信息,降低图像清晰度的问题。
而本申请实施方式的图像处理模组10,在相关技术的图像管道中增加解码模块11、纹理加强模块13和融合模块14,能够将第一预设位深的第一原始图像转化为第二预设位深的第二原始图像和第二预设位深的第一纹理图像,使用拜耳处理模块12对第二原始图像进行常规处理得到第一YUV图像,使用纹理加强模块13对第一纹理图像进行纹理加强处理得到第二纹理图像,最后融合第一YUV图像和第二纹理图得到第二YUV图像,由于第二纹理图像不需要经过拜耳处理模块12的处理,因此可以保留更多的细节信息并将该细节信息增加至第一YUV图像中,从而能够提高第二YUV图像的清晰度,同时降低噪点。
可以理解,相关技术中的图像管道可以是高通的图像处理器的图像管道,也可以是联发科的图像处理器的图像管道等。
具体地,第一原始图像可通过图像传感器20获得。在一个例子中,第一原始图像的第一预设位深为14bit,第二预设位深为10bit,即就是,解码模块11将14bit的第一原始图像转化成10bit的第二原始图像和10bit的第一纹理图像,进一步地,10bit的第二原始图像经过拜耳处理模块12处理得到10bit的第一YUV图像,10bit的第一纹理图像经过纹理加强模块13处理得到10bit的第二纹理图像,进一步地,融合模块14融合10bit的第一YUV图像和10bit的第二纹理图像得到10bit的第二YUV图像。
在某些实施方式中,解码模块11、纹理加强模块13和融合模块14通过node串接至相关技术的图像管道中,解码模块11以P_NEWCFARAW node的形式串接至BPS的输入端,P_NEWCFARAW node能够将第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和所述第二预设位深的第一纹理图像;纹理加强模块13以P_NEWCFATEXT node的形式连接P_NEWCFARAW node与P_NEWCFAYUV node,P_NEWCFATEXT node与BPS并行运行,即P_NEWCFATEXT node处理第一纹理图像以生成第二纹理图像,同时BPS运行第一处理算法处理第二原始图像以生成第一YUV图像;融合模块14以P_NEWCFAYUV node的形式串接在BPS的输出端,P_NEWCFAYUV node能够融合第一YUV图像和第二纹理图像以生成第二YUV图像。
请参阅图2和图3,在某些实施方式中,图像处理模组10用于图像传感器20,图像传感器20包括像素阵列21,像素阵列21的像素211呈非拜耳阵列排布,像素阵列21包括最小重复单元212,图像传感器20用于将最小重复单元212中相同颜色的像素211的信号合并输出以获得第一原始图像,第一原始图像的像素呈拜耳阵列排布。
如此,能够通过图像传感器20获得第一预设位深的第一原始图像。具体地,图像传感器20还包括微透镜阵列22和滤光片阵列23,沿图像传感器20的收光方向,微透镜阵列22、滤光片阵列23、及像素阵列21依次设置。微透镜阵列22包括多个微透镜组222,每个微透镜组222包括多个微透镜221。微透镜阵列22中的一个微透镜组222对应一个滤光片组(第一滤光片组232或第二滤光片组233),并与该一个滤光片组对应的多个像素211对应。滤光片阵列23包括多个第一滤光片组232及多个第二滤光片组233,第一滤光片组232包括数量相同的多个第一颜色滤光片2311和多个第二颜色滤光片2312,第二滤光片组233包括数量相同的多个第一颜色滤光片2311和多个第三颜色滤光片2313。像素阵列21包括多个像素211,每个像素211对应滤光片阵列23的一个滤光片231,像素211用于接收穿过对应的滤光片231的光线以生成电信号。像素阵列21的最小重复单元212中包括第一颜色像素、第二颜色像素和第三颜色像素,其中,第一颜色像素接收穿过第一颜色滤光片2311的光线以生成电信号,第二颜色像素接收穿过第二颜色滤光片2312的光线以生成电信号,第三颜色像素接收穿过第三颜色滤光片2313的光线以生成电信号。最小重复单元212对应两个第一滤光片组232和两个第二滤光片组233,其中,第一滤光片组232沿第一对角线方向D1排布,第二滤光片组233沿第二对角线方向D2排布。
在一个例子中,滤光片阵列23包括多个第一滤光片组232及多个第二滤光片组233,第一滤光片组232包括两个绿色滤光片和两个红色滤光片,第二滤光片组233包括两个绿色滤光片和两个蓝色滤光片。像素阵列21包括最小重复单元212,每个最小重复单元212包括绿色像素、红色像素和蓝色像素,最小重复单元212为4行4列16个彩色像素,像素阵列21的像素211呈非拜耳阵列排布。具体地,像素阵列21的每个最小重复单元212对应两个第一滤光片组232和两个第二滤光片组233,其中,第一滤光片组232沿第一对角线方向D1排布,第二滤光片组233沿第二对角线方向D2排布,滤光片阵列23中部分滤光片231的排布方式为:
G R G B
R G B G
G B G R
B G R G
其中,G表示绿色滤光片,R表示红色滤光片,B表示蓝色滤光片。在获得第一原始图像的过程中,每个最小重复单元212中接收到穿过8个G的光线生成的电信号合并输出为第一原始图像中对应最小重复单元212的绿色像素的像素值,每个最小重复单元212中接收到穿过4个R的光线生成的电信号合并输出为第一原始图像中对应最小重复单元212的红色像素的像素值,每个最小重复单元212中接收到穿过4个B的光线生成的电信号合并输出为第一原始图像中对应最小重复单元212的蓝色像素的像素值,完成全部合并输出之后,即可获得第一原始图像。
需要指出的是,上述所提到的具体数值只为了作为例子详细说明本申请的实施,而不应理解为对本申请的限制。在其他例子或实施方式或实施例中,可根据本申请来选择其他数值,在此不作具体限定。
在某些实施方式中,第一原始图像包括第二预设位深的颜色信息和第三预设位深的高频信息,第三预设位深小于第二预设位深,解码模块11用于提取颜色信息以生成第二原始图像、根据颜色信息和高频信息的高频信息差生成第一纹理图像。
如此,解码模块11能够将第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和第二预设位深的第一纹理图像。具体地,颜色信息可包括第一原始图像的全部红色像素信息、全部绿色像素信息和全部蓝色像素信息。高频信息可包括第一原始图像的全部绿色像素信息、部分红色像素信息和部分蓝色像素信息,高频信息可理解为对颜色信息的有损压缩。颜色信息和高频信息的高频信息差可以理解为第二预设位深的颜色信息中的绿色像素信息与第三预设位深的高频信息中的绿色像素信息的差值。
在一个例子中,第二预设位深为10bit,第三预设位深为4bit,即就是,第一原始图像包括10bit的颜色信息和4bit的高频信息,解码模块11提取10bit的颜色信息以生成第二原始图像,并根据10bit的颜色信息中的绿色像素信息与4bit的高频信息中的绿色像素信息的差值,生成第一纹理图像。
请参阅图4,在某些实施方式中,第一处理算法包括:基座校正(pedestalcorrection)、线性化(linearization)、坏像素补偿/坏像素群补偿/相位像素补偿(badpixel correction/bad cluster correction/position dependent intra predictioncombination,BPC/BCC/PDPC)、通道增益(channel gains)、绿色不平衡校正(greenimbalance correction)、拜尔域降噪模块(adaptive bayer filter,ABF)、黑电平校正(black level correction,BLC)、镜头衰减(lens roll off)、白平衡(white balance,WB)、去马赛克、颜色校正(color correction)、色调映射(global tone mapping)、伽玛校正(gamma)、颜色空间转换(color space transform)、混合噪声降低、下采样(downscaler)中的至少一种。
如此,第二原始图像能够经过处理生成第一YUV图像。可以理解,第二原始图像为RGB图像,第二原始图像的像素呈拜耳阵列排布,这样第二原始图像能够被拜耳处理模块12采用第一处理算法处理生成第一YUV图像。在一个例子中,第一YUV图像的采样方式为YUV4:2:0,即每四个Y共用一组UV分量。
具体地,考虑到第二原始图像的信噪比,第二原始图像通常具有一个基底pedestal,在对第二原始图像进行处理时,需要减去这个基底,也就是进行基座校正。针对图像传感器20(例如光电转换元件)的非线性,可以对第二原始图像进行线性化处理,线性化处理例如采用曲线拟合、神经网络等方法实现。坏像素补偿是指坏像素校正,当图像传感器20中的某个像素不能正常工作时,可以利用坏像素校正获得该像素对应的像素值。坏像素群补偿是指坏群集校正,通过坏群集校正也能对坏点进行校正。相位像素补偿的原理是将未滤波的边界参考像素和根据滤波后的参考像素得到的相位像素补偿值结合起来得到最终的相位像素补偿值。通道增益可以对第二原始图像的各个通道进行放大处理,从而使得各个通道的数据更加准确。图像传感器20中的Gr和Gb通道获取的能量或者是输出的数据可能不一致,一方面可能是Gr和Gb通道的半导体制造工艺方面的差异,另一方面是微透镜的存在,特别是图像传感器20的边缘区域,Gr和Gb通道因为有角度差异,接收到光能不同而造成,因此需要进行绿色不平衡校正。拜尔域降噪模块是指自适应拜耳滤波器(adaptivebayer filter),通过自适应拜耳滤波器能够对第二原始图像进行降噪处理,同时降噪过程中不钝化边缘。图像传感器20的电路本身会存在暗电流,导致在没有光线照射的时候,像素也有一定的输出电压,因此需要减去暗电流带来的影响,也就是进行黑电平校正。由于镜头进光量的限制,镜头的成像都会有暗角,例如镜头边缘的透光量只有镜头中心的透光量的40%及以下,因此,可以采用镜头衰减(透镜衰减校正)进行处理,以将镜头边缘的透光量提升到镜头中心的透光量的90%。为了提高第二原始图像的色彩准确度,还可以对第二原始图像进行白平衡处理。白平衡处理算法包括灰度世界法、镜面法、色温估计法等。去马赛克算法可以将拜耳阵列的拜耳图像插值成为RGB图像,其中,RGB图像可以是三帧,即分别为插值后得到的R图像、G图像和B图像。利用颜色校正后的第二原始图像的色彩饱和度更加明显,更加符合人眼感官。色调映射是指对图像颜色进行变换,其目的在于调整第二原始图像的灰度,使得处理后的第二原始图像看上去更舒服,能更好地表达第二原始图像里的信息与特征。伽玛校正可使得第二原始图像看起来更符合人眼的特性,伽玛校正公式例如为Out=Ingamma或者Out=In1/gamma,其中,In表示输入图像,Out表示输出图像。颜色空间转换可以将RGB图像转换为YUV图像。通过下采样可以降低图像的尺寸。
在某些实施方式中,纹理加强模块13用于将第一纹理图像的信息加到第二原始图像中以生成第二纹理图像。
如此,能够获得具有更多细节信息的图像。具体地,第一纹理图像和第二原始图像具有相同的位深,可通过将第一纹理图像的高频信息加到具有相同位深的第二原始图像中,增强第一纹理图像的细节信息,从而获得第二纹理图像。
在某些实施方式中,融合模块14用于将第一YUV图像的各个像素点的像素值和第二纹理图像对应的各个像素点的像素值进行加权处理以生成第二YUV图像。
如此,能够获得清晰度较高的第二YUV图像。具体地,第一YUV图像的像素点的个数和第二纹理图像的像素点的个数相同,将对应相同位置的第一YUV图像的像素点的像素值和第二纹理图像的像素点的像素值进行加权求和等处理,将处理的得到的像素值作为第二YUV图像对应位置的像素点的像素值,从而可以得到第二YUV图像。
请参阅图1,在某些实施方式中,图像处理模组10还包括图像处理引擎模块(imageprocessing engine,IPE)15,图像处理引擎模块15用于采用第二处理算法处理第二YUV图像。
如此,可以基于相关技术中的图像处理引擎模块对第二YUV图像进行图像后处理,不用额外设计、开发专用的图像管道或图像处理器。具体地,解码模块11、纹理加强模块13和融合模块14依次按照先后顺序处理图像,且解码模块11、纹理加强模块13和融合模块14在图像处理引擎模块15前进行图像处理,因为图像处理引擎模块15包括滤波器,在图像处理引擎模块15工作过程中,对图像的噪声(nosie)信息和细节(detail)信息影响较大,如果将融合模块14置于图像处理引擎模块15之后,纹理加强模块13也需要置于图像处理引擎模块15之后,这样纹理加强模块13的处理时间就会延长,对系统性能影响较大。解码模块11、纹理加强模块13和融合模块14都放在硬件抽象层(hardware abstraction layer,HAL)进行图像处理。
请参阅图5,在某些实施方式中,第二处理算法包括:图像校正和调整(imagecorrection and adjustment,ICA)、高级降噪(advanced noise reduction)、时域滤波(temporal filter)、色彩失常校正(cromatic aberration correction,CAC)、色彩空间转换(color space transform)、局部色调映射(local tone mapping)、色彩校正(colorcorrection)、伽玛校正(gamma)、查找表技术(2D look-up table,2D LUT)、色彩调整和色度增强(CV&Chroma enhancement)、色度抑制(chroma suppression)、自适应空间滤波器(adaptive spatial filter,ASF)、上采样(up scaler)、纹理增加(grain adde)、下采样(down scaler)中的至少一种。
如此,第二YUV图像能够进行后处理并输出。具体地,图像处理引擎模块可以包括噪声处理部分和后处理部分。第二处理算法可包括:图像校正和调整、高级降噪、时域滤波、色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样中的至少一种。其中,图像校正和调整、高级降噪、时域滤波可以由噪声处理部分实现。色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样可以由后处理部分实现。
图像校正和调整是指对失真图像进行的复原性处理。图像校正和调整主要分为两类:几何校正和灰度校正。图像的校正和调整可以从层次、颜色、清晰度三个方面进行校正和调整。图像校正和调整可以执行两次。其中,图像校正和调整可以包括第一图像校正和调整及第二图像校正和调整,第一图像校正和调整用于处理Current YUV frame,第二图像校正和调整用于处理reference YUV frame。其中,Current YUV frame经过第一图像校正和调整的处理后,可以进行高级降噪、时域滤波处理。高级降噪能够对图像进行降噪处理,从而提高图像的信噪比。时域滤波用于对图像进行平滑处理。色彩失常校正用于校正图像的色彩,从而使得图像的色彩变得准确。局部色调映射,指的是像素所在位置不同,其映射后灰度值也可能不同的方法,像素点的映射结果,受到其他因素的影响。查找表技术用于将灰度模式的画面进行色彩还原,还可以在两组数据之间建立对应关系,可以用于颜色空间转换、CCM、亮度映射等。色彩调整和色度增强用于增强图像的色度。色度抑制用于改善前景信号中的半透明区域的颜色效果,从而还原前景中的物体的本来颜色(而不是处于灰色或半透明状态),具体地,色度增强,在亮度不变的情况下,提升色彩饱和度;色度抑制,在某些亮度范围内抑制色度。自适应空间滤波器是指自适应空间滤波器,自适应空间滤波器可以对图像进行滤波处理,用于提升锐度。上采样用于增大图像的尺寸、提升图像分辨率。纹理增加是指纹理增加器,为图像增加精读取得到。
请参阅图6,本申请实施方式的图像处理方法,图像处理方法包括:
步骤S10:获取第一预设位深的第一原始图像;
步骤S20:将第一原始图像转化成第二预设位深的第二原始图像和第二预设位深的第一纹理图像,第一预设位深大于第二预设位深,第二原始图像的像素呈拜耳阵列排布;
步骤S30:采用第一处理算法处理第二原始图像以生成第一YUV图像;
步骤S40:处理第一纹理图像以生成第二纹理图像;
步骤S50:融合第一YUV图像和第二纹理图像以生成第二YUV图像。
上述图像处理方法,通过将第一原始图像转化为第二原始图像和第一纹理图像,对第二原始图像进行处理以获得第一YUV图像,对第一纹理图像进行处理以获得第二纹理图像,并将第一YUV图像与第二纹理图像进行融合以获得第二YUV图像,这样能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。
具体地,在步骤S10中,可通过图像传感器20获取第一原始图像。在步骤S20中,第一原始图像可包括第二预设位深的颜色信息和第三预设位深的高频信息,第三预设位深小于第二预设位深,可通过提取颜色信息生成第二原始图像、以及可根据颜色信息和高频信息的高频信息差生成第一纹理图像。在步骤S30中,第一处理算法可包括:基座校正(pedestal correction)、线性化(linearization)、坏像素补偿/坏像素群补偿/相位像素补偿(bad pixel correction/bad cluster correction/position dependent intraprediction combination,BPC/BCC/PDPC)、通道增益(channel gains)、绿色不平衡校正(green imbalance correction)、拜尔域降噪模块(adaptive bayer filter,ABF)、黑电平校正(black level correction,BLC)、镜头衰减(lens roll off)、白平衡(whitebalance,WB)、去马赛克、颜色校正(color correction)、色调映射(global tonemapping)、伽玛校正(gamma)、颜色空间转换(color space transform)、混合噪声降低、下采样(down scaler)中的至少一种。在步骤S40中,可通过将第一纹理图像的信息加到第二原始图像中生成第二纹理图像。在步骤S50中,可通过将第一YUV图像的各个像素点的像素值和第二纹理图像对应的各个像素点的像素值进行加权处理生成第二YUV图像。
进一步地,在某些实施方式中,图像处理方法还包括:采用第二处理算法处理第二YUV图像。其中,第二处理算法可包括:图像校正和调整(image correction andadjustment,ICA)、高级降噪(advanced noise reduction)、时域滤波(temporal filter)、色彩失常校正(cromatic aberration correction,CAC)、色彩空间转换(color spacetransform)、局部色调映射(local tone mapping)、色彩校正(color correction)、伽玛校正(gamma)、查找表技术(2D look-up table,2D LUT)、色彩调整和色度增强(CV&Chromaenhancement)、色度抑制(chroma suppression)、自适应空间滤波器(adaptive spatialfilter,ASF)、上采样(up scaler)、纹理增加(grain adde)、下采样(down scaler)中的至少一种。
需要指出的是,上述对图像处理模组10的实施方式和有益效果的解释说明,也适应本实施方式的图像处理方法和以下实施方式的摄像头组件100和移动终端1000,为避免冗余,在此不作详细展开。
请参阅图1,本申请实施方式的摄像头组件100,摄像头组件100包括图像传感器20和上述实施方式的图像处理模组10。
上述摄像头组件100,通过将第一原始图像转化为第二原始图像和第一纹理图像,对第二原始图像进行处理以获得第一YUV图像,对第一纹理图像进行处理以获得第二纹理图像,并将第一YUV图像与第二纹理图像进行融合以获得第二YUV图像,这样能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。
请参阅图7,本申请实施方式的移动终端1000,移动终端包括上述实施方式的摄像头组件100和壳体200,摄像头组件100设置在壳体200上。
上述移动终端1000,通过将第一原始图像转化为第二原始图像和第一纹理图像,对第二原始图像进行处理以获得第一YUV图像,对第一纹理图像进行处理以获得第二纹理图像,并将第一YUV图像与第二纹理图像进行融合以获得第二YUV图像,这样能够增加第二YUV图像的细节信息,从而提高图像的清晰度,降低噪点。
需要指出的是,在图7所示的实施方式中,移动终端1000为智能手机,在其它实施方式中,移动终端可为相机、平板电脑、笔记本电脑、智能家电、游戏机、头显设备等具有拍照功能的其它设备。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理模组,其特征在于,所述图像处理模组包括:
解码模块,用于将图像传感器输出的第一预设位深的第一原始图像转化成第二预设位深的第二原始图像和所述第二预设位深的第一纹理图像,所述第一预设位深大于所述第二预设位深,所述第二原始图像的像素呈拜耳阵列排布;
拜耳处理模块,用于采用第一处理算法处理所述第二原始图像以生成第一YUV图像;
纹理加强模块,用于处理所述第一纹理图像以生成第二纹理图像;
融合模块,用于融合所述第一YUV图像和所述第二纹理图像以生成第二YUV图像,所述第一纹理图像和所述第二纹理图像均未经过所述拜耳处理模块处理。
2.根据权利要求1所述的图像处理模组,其特征在于,所述图像处理模组用于所述图像传感器,所述图像传感器包括像素阵列,所述像素阵列的像素呈非拜耳阵列排布,所述像素阵列包括最小重复单元,所述图像传感器用于将所述最小重复单元中相同颜色的像素的信号合并输出以获得所述第一原始图像,所述第一原始图像的像素呈拜耳阵列排布。
3.根据权利要求1所述的图像处理模组,其特征在于,所述第一原始图像包括第二预设位深的颜色信息和第三预设位深的高频信息,所述第三预设位深小于所述第二预设位深,所述解码模块用于提取所述颜色信息以生成所述第二原始图像、根据所述颜色信息和所述高频信息的高频信息差生成所述第一纹理图像。
4.根据权利要求1所述的图像处理模组,其特征在于,所述第一处理算法包括:基座校正、线性化、坏像素补偿/坏像素群补偿/相位像素补偿、通道增益、绿色不平衡校正、拜尔域降噪模块、黑电平校正、镜头衰减、白平衡、去马赛克、颜色校正、色调映射、伽玛校正、颜色空间转换、混合噪声降低、下采样中的至少一种。
5.根据权利要求1所述的图像处理模组,其特征在于,所述纹理加强模块用于将所述第一纹理图像的信息加到所述第二原始图像中以生成所述第二纹理图像。
6.根据权利要求1所述的图像处理模组,其特征在于,所述融合模块用于将所述第一YUV图像的各个像素点的像素值和所述第二纹理图像对应的各个像素点的像素值进行加权处理以生成所述第二YUV图像。
7.根据权利要求1所述的图像处理模组,其特征在于,所述图像处理模组还包括图像处理引擎模块,所述图像处理引擎模块用于采用第二处理算法处理所述第二YUV图像。
8.根据权利要求7所述的图像处理模组,其特征在于,所述第二处理算法包括:图像校正和调整、高级降噪、时域滤波、色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样中的至少一种。
9.一种图像处理方法,其特征在于,所述图像处理方法包括:
获取图像传感器输出的第一预设位深的第一原始图像;
将所述第一原始图像转化成第二预设位深的第二原始图像和所述第二预设位深的第一纹理图像,所述第一预设位深大于所述第二预设位深,所述第二原始图像的像素呈拜耳阵列排布;
采用第一处理算法处理所述第二原始图像以生成第一YUV图像;
处理所述第一纹理图像以生成第二纹理图像;
融合所述第一YUV图像和所述第二纹理图像以生成第二YUV图像,所述第一纹理图像和所述第二纹理图像均未经过所述第一处理算法处理。
10.一种摄像头组件,其特征在于,所述摄像头组件包括:
图像传感器;及
权利要求1-8任意一项所述的图像处理模组。
11.一种移动终端,其特征在于,所述移动终端包括:
权利要求10所述的摄像头组件;及
壳体,所述摄像头组件设置在所述壳体上。
CN202011318716.8A 2020-11-23 2020-11-23 图像处理模组、图像处理方法、摄像头组件及移动终端 Active CN112291479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318716.8A CN112291479B (zh) 2020-11-23 2020-11-23 图像处理模组、图像处理方法、摄像头组件及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318716.8A CN112291479B (zh) 2020-11-23 2020-11-23 图像处理模组、图像处理方法、摄像头组件及移动终端

Publications (2)

Publication Number Publication Date
CN112291479A CN112291479A (zh) 2021-01-29
CN112291479B true CN112291479B (zh) 2022-03-22

Family

ID=74425069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318716.8A Active CN112291479B (zh) 2020-11-23 2020-11-23 图像处理模组、图像处理方法、摄像头组件及移动终端

Country Status (1)

Country Link
CN (1) CN112291479B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN113837961B (zh) * 2021-09-22 2023-10-20 中国科学院深圳先进技术研究院 一种适用于活体长时间内源成像的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN110675404A (zh) * 2019-09-03 2020-01-10 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 rgb베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
CN103514583B (zh) * 2012-06-30 2016-08-24 华为技术有限公司 图像锐化方法及设备
US10504274B2 (en) * 2018-01-05 2019-12-10 Microsoft Technology Licensing, Llc Fusing, texturing, and rendering views of dynamic three-dimensional models
CN110246093B (zh) * 2019-05-05 2021-05-04 北京大学 一种解码图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN110675404A (zh) * 2019-09-03 2020-01-10 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备

Also Published As

Publication number Publication date
CN112291479A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112291479B (zh) 图像处理模组、图像处理方法、摄像头组件及移动终端
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
TWI407800B (zh) 馬賽克影像的改良處理
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
KR101051604B1 (ko) 화상 처리 장치 및 방법
US8537234B2 (en) Image restoration with enhanced filtering
JP5018770B2 (ja) 画像信号処理装置及び画像信号処理方法
JP4683994B2 (ja) 画像処理装置、画像処理方法、電子カメラ、スキャナ
WO2010053029A1 (ja) 画像入力装置
US8077253B2 (en) Solid-state device having digital signal processing circuit
KR100916104B1 (ko) 디지털 이미지 처리를 위한 루마 적응
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
JP2008289090A (ja) 撮像信号処理装置
EP1394742A1 (en) Method for filtering the noise of a digital image sequence
CN114693580B (zh) 图像处理方法及其相关设备
CN113516607B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
US20230247308A1 (en) Image processing method, camera assembly and mobile terminal
JP2018112936A (ja) Hdr画像処理装置および方法
CN114549382A (zh) 一种红外图像与可见光图像融合的方法及系统
JP2009506722A (ja) ホワイトバランス統計計算のための改良された色差フィルタ
US20230260081A1 (en) Image processing method
US11743612B2 (en) In-line chromatic aberration correction in wide dynamic range (WDR) image processing pipeline
JP6697087B2 (ja) 撮像装置
KR0163915B1 (ko) 어안 렌즈를 이용한 고효율 디지탈 전자줌 카메라 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant