CN111510692A - 图像处理方法、终端及计算机可读存储介质 - Google Patents

图像处理方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN111510692A
CN111510692A CN202010325272.4A CN202010325272A CN111510692A CN 111510692 A CN111510692 A CN 111510692A CN 202010325272 A CN202010325272 A CN 202010325272A CN 111510692 A CN111510692 A CN 111510692A
Authority
CN
China
Prior art keywords
image
pixel
color
panchromatic
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010325272.4A
Other languages
English (en)
Other versions
CN111510692B (zh
Inventor
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010325272.4A priority Critical patent/CN111510692B/zh
Publication of CN111510692A publication Critical patent/CN111510692A/zh
Application granted granted Critical
Publication of CN111510692B publication Critical patent/CN111510692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像处理方法。图像处理方法用于处理由图像传感器采集的原始图像,图像传感器包括全色像素及彩色像素,全色像素的数量大于任意一种颜色的彩色像素的数量,图像处理方法包括:依据原始图像获取第一全色图像及第一彩色图像,第一全色图像依据全色像素获得,第一彩色图像依据彩色像素获得;对第一全色图像去马赛克处理以获取第二全色图像;及依据第二全色图像及第一彩色图像,对第一彩色图像去马赛克处理以获取第二彩色图像。本申请还公开了一种终端和计算机可读存储介质。依据第二全色图像及第一彩色图像对第一彩色图像去马赛克处理得到的第二彩色图像的清晰度较高,更能反映真实场景的色彩信息。

Description

图像处理方法、终端及计算机可读存储介质
技术领域
本申请涉及影像技术领域,特别涉及一种图像处理方法、终端及计算机可读存储介质。
背景技术
在同一个彩色像素阵列中,通常具有多个颜色的像素单元,在需要输出图像的过程中,需要将相同颜色的像素单元的信号值输出为一个单颜色的初始图像,该单颜色的初始图像中,仅部分像素的像素值为实际信号值,另一部分像素的像素值需要通过去马赛克处理得到,以获取该单颜色的最终图像,通常依据初始图像中具有实际信号值的像素值,对另一部分像素值插值以进行去马赛克处理,然而,由于初始图像中,具有实际信号值的像素的比例较小,导致通过去马赛克处理后得到的最终图像的清晰度较低。
发明内容
本申请的实施例提供了一种图像处理方法、终端及计算机可读存储介质。
本申请实施方式的图像处理方法用于处理由图像传感器采集的原始图像,所述图像传感器包括全色像素及彩色像素,所述全色像素的数量大于任意一种颜色的所述彩色像素的数量,所述图像处理方法包括:依据所述原始图像获取第一全色图像及第一彩色图像,所述第一全色图像依据所述全色像素获得,所述第一彩色图像依据所述彩色像素获得;对所述第一全色图像去马赛克处理以获取第二全色图像;及依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像。
本申请实施方式的终端包括图像传感器及处理器;所述图像传感器用于采集原始图像,所述图像传感器包括全色像素及彩色像素,所述全色像素的数量大于任意一种颜色的所述彩色像素的数量;所述处理器用于:依据所述原始图像获取第一全色图像及第一彩色图像,所述第一全色图像依据所述全色像素获得,所述第一彩色图像依据所述彩色像素获得;对所述第一全色图像去马赛克处理以获取第二全色图像;及依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像。
本申请实施方式的非易失性计算机可读存储介质包括计算机可执行指令,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法,图像处理方法用于处理由图像传感器采集的原始图像的图像,所述图像传感器包括全色像素及彩色像素,所述全色像素的数量大于任意一种颜色的所述彩色像素的数量,所述图像处理方法包括:依据所述原始图像获取第一全色图像及第一彩色图像,所述第一全色图像依据所述全色像素获得,所述第一彩色图像依据所述彩色像素获得;对所述第一全色图像去马赛克处理以获取第二全色图像;及依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像。
本申请实施方式的图像处理方法、终端及可读存储介质中,先对第一全色图像去马赛克处理以获取第二全色图像,由于全色像素的数量大于任意一种颜色的彩色像素的数量,因此,依据第二全色图像及第一彩色图像对第一彩色图像去马赛克处理得到的第二彩色图像的清晰度较高,更能反映真实场景的色彩信息。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的终端的结构示意图;
图2a是本申请某些实施方式的部分像素阵列的排列示意图;
图2b是本申请某些实施方式的像素阵列的最小重复单元的排列示意图;
图3a是本申请某些实施方式的部分像素阵列的排列示意图;
图3b是本申请某些实施方式的像素阵列的最小重复单元的排列示意图;
图4是本申请某些实施方式的图像处理方法的流程示意图;
图5是本申请某些实施方式的图像处理方法的原理示意图;
图6是本申请某些实施方式的图像处理方法的原理示意图;
图7是本申请某些实施方式的图像处理方法的流程示意图;
图8是本申请某些实施方式的图像处理方法的流程示意图;
图9是本申请某些实施方式的图像处理方法的原理示意图;
图10是本申请某些实施方式的图像处理方法的流程示意图;
图11是本申请某些实施方式的图像处理方法的原理示意图;
图12是本申请某些实施方式的图像处理方法的流程示意图;
图13是本申请某些实施方式的可读存储介质与处理器的连接示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
请参阅图1,本申请实施方式的终端100包括成像装置10及处理器20。具体地,终端100可以是手机、平板电脑、单反相机、手提电脑、智能手表、智能眼镜、智能头戴设备等终端100,本申请以图1所示的终端100是手机为例进行示例性说明,可以理解,终端100的具体形式并不限于手机。成像装置10可以是终端100上任意用于接收光线以进行成像的设备,例如成像装置10可以是前置成像装置、后置成像装置、侧置成像装置、屏下成像装置等,在此不做限制。处理器20可以是终端100的应用处理器、图像处理器等处理器20。
请结合图2a及图2b,成像装置10包括镜头及图像传感器,成像装置10在采集图像时,光线穿过镜头并到达图像传感器,图像传感器用于将照射到图像传感器上的光信号转化为电信号。在本申请图2a及图2b所示的实施例中,图像传感器包括像素阵列(如图2a所示部分像素阵列示意图),像素阵列可以由多个最小重复单元(如图2b所示)排列而成,每个最小重复单元包括全色像素及彩色像素。其中,彩色像素具有比全色像素更窄的光谱响应。例如,彩色像素的响应光谱为全色像素的响应光谱中的部分,又例如,彩色像素的响应光谱为某种颜色的可见光所在的光谱,全色像素的响应光谱为整个可见光所在的光谱。
每个最小重复单元可以具有多个不同颜色的彩色像素,如图2b所示的例子中,每个最小重复单元中的彩色像素包括颜色a、颜色b和颜色c,例如颜色a为红色,颜色b为绿色,颜色c为蓝色,或者例如颜色a为品红色,颜色b为青色,颜色c为黄色等,在此不做限制。多个不同颜色的彩色像素的光谱可以不交叉或者有部分交叉。
图2a及图2b中的颜色w可以指全色像素的颜色,例如为白色。全色像素的数量可以大于任意一种颜色的彩色像素的数量,由于全色像素具有比彩色像素更宽的光谱响应,故全色像素能够接收的光信号更多,设置较多的全色像素能够更真实地反应被拍摄场景的亮度。全色像素的数量与所有像素的数量之间的比例可以是1:2或1:3等数值,在此不做限制。
另外,图像传感器上像素阵列的排布方式并不限于图2a及图2b所示的图案,还可以是任意由全色像素与彩色像素排列成的图案,如图3a所示的部分像素阵列的示意图,及如图3b所示的最小重复单元的示意图。
请参阅图4,本申请实施方式的图像处理方法可以运用在本申请实施方式的终端100中,图像处理方法可以用于处理由图像传感器采集的原始图像。图像处理方法包括步骤:
01:依据原始图像获取第一全色图像及第一彩色图像,第一全色图像依据全色像素获得,第一彩色图像依据彩色像素获得;
02:对第一全色图像去马赛克处理以获取第二全色图像;及
03:依据第二全色图像及第一彩色图像,对第一彩色图像去马赛克处理以获取第二彩色图像。
请结合图1,处理器20可以用于实施本申请实施方式的图像处理方法。例如,处理器20可用于实施步骤01、02及03,即,处理器20可用于依据原始图像获取第一全色图像及第一彩色图像;对第一全色图像去马赛克处理以获取第二全色图像;依据第二全色图像及第一彩色图像,对第一彩色图像去马赛克处理以获取第二彩色图像。
具体地,步骤01中,依据原始图像获取第一全色图像及第一彩色图像,其中,原始图像可以是图像传感器采集的raw图,原始图像中包括所有像素(彩色像素和全色像素)的像素值。依据该原始图像,可以将原始图像中由相同颜色(全色也作为一种颜色)的像素获得的像素值作为一张图像,以分别得到全是全色像素的像素值的第一全色图像,及全是彩色像素的像素值的第一彩色图像。在图5所示的例子中,P0为原始图像,原始图像P0中字母W、A、B、C分别代表由全色像素w获得的像素值,彩色像素a、彩色像素b、彩色像素c获得的像素值。将原始图像P0依据不同颜色的像素可以分别输出W、A、B、C通道的多个图像,分别为P1、P2、P3、P4。P1为第一全色图像,第一全色图像P1中的W为直接通过全色像素w获得的像素值,第一全色图像P1中没有值的像素代表不能直接通过全色像素w获得的像素值。P2为第一彩色图像,第一彩色图像P2中的A为直接通过彩色像素a获得的像素值,第一彩色图像P2中没有值的像素代表不能直接通过彩色像素a获得的像素值。P3为第一彩色图像,第一彩色图像P3中的B为直接通过彩色像素b获得的像素值,第一彩色图像P3中没有值的像素代表不能直接通过彩色像素b获得的像素值。P4为第一彩色图像,第一彩色图像P4中的C为直接通过彩色像素c获得的像素值,第一彩色图像P4中没有值的像素代表不能直接通过彩色像素c获得的像素值。
步骤02中,对第一全色图像去马赛克处理以获取第二全色图像。具体地,可以对第一全色图像中没有值的像素进行插值以到第二全色图像。具体的插值方法可以是双线性插值方法、最邻近元插值法、三次内插法等,在此不做限制。由于第一全色图像中,全色像素直接采集得到的像素值的个数较多,使得通过去马赛克处理后获取的第二全色图像的真实性较好,较好地反应被摄场景的客观情况。在如图6所示的例子中,第一全色图像P1经过去马赛克处理后获得第二全色图像P1’,第二全色图像P1’中的W为直接通过全色像素w获得的像素值,第二全色图像P1’中的W1为通过去马赛克获得的像素值。
步骤03中,依据第二全色图像及第一彩色图像,对第一彩色图像去马赛克处理以获取第二彩色图像。由于全色像素的数量大于任意一种颜色的彩色像素的数量,因此,依据第二全色图像及第一彩色图像对第一彩色图像去马赛克处理得到的第二彩色图像的清晰度较高,更能反映真实场景的色彩信息,例如既能保持场景中物体边缘的清晰度,还能够使得在特征不明显的区域(例如白墙区域)的一致性较高。具体地,相较于仅依据第一彩色图像中由彩色像素直接采集得到的像素值进行插值的方式而言,将第二全色图像作为参考因素之一影响对第一彩色图像的去马赛克处理,使得第二彩色图像也能较好地体现被摄场景的客观颜色。在如图6所示的例子中,第一彩色图像P2经过去马赛克处理后获得第二彩色图像P2’,在第二彩色图像P2’中的A为直接通过彩色像素a获得的像素值,第二彩色图像P2’中的A1为通过去马赛克获得的像素值。
请参阅图7,在某些实施方式中,在步骤02之前,图像处理方法还包括步骤04:对第一全色图像进行坏点补偿处理。在步骤03之前,图像处理方法还包括步骤05:对第一彩色图像进行坏点补偿处理、暗角补偿处理及白平衡处理中的一个或多个。
请结合图1,在某些实施方式中,处理器20在实施步骤02之前,处理器20还可用于实施步骤04,即,处理器20还可用于对第一全色图像进行坏点补偿处理。在实施步骤03之前,处理器20还可用于实施步骤05:对第一彩色图像进行坏点补偿处理、暗角补偿处理及白平衡处理中的一个或多个。
在对第一全色图像去马赛克处理之前,先对第一全色图像进行坏点补偿处理,使得通过去马赛克得到的第二全色图像较真实,噪点较少,也进一步保证通过步骤03得到的第二彩色图像的真实性。在对第一彩色图像去马赛克处理之前,先对第一彩色图像进行坏点补偿处理、暗角补偿处理及白平衡处理中的一个或多个,使得去马赛克得到的第二彩色图像更真实,噪声较小。
具体地,对第一全色图像进行坏点补偿处理可以是识别第一全色图像中的坏点像素,然后将该坏点像素的像素值由附近的非坏点像素的像素值替代。坏点像素可以通过分析第一全色图像中的像素值分布得到,当在一个连续的区域内,出现突变的像素值或者像素值明显与周围像素的像素值差异较大时,可以认为该像素为坏点像素。
对第一彩色图像进行坏点补偿处理的方式可以与第一全色图像相同,在此不再赘述。
暗角补偿处理可以补偿由于镜头和滤光片等因素,导致的第一彩色图像中间亮周边暗的缺陷,具体方式可以是:通过增益将位于第一彩色图像的周边位置的像素的像素值适当增大,以使得第一彩色图像的周边暗角的亮度被补偿到和中心相同。
白平衡处理可以是:对于图像中的白色物体对应的像素,保持一种颜色的第一彩色图像的像素值不变,将其余颜色的第一彩色图像的像素值进行增益,以补偿为与该一种颜色的第一彩色图像的像素值一致。
需要说明的是,对第一彩色图像,可以进行坏点补偿处理、暗角补偿处理及白平衡处理中的任意一个或多个,实施步骤05只需要在实施步骤03之前即可,不限定步骤05与其他步骤之间的先后关系。
请参阅图8,在某些实施方式中,步骤03包括步骤:
031:获取第一彩色图像中的第一区域内的像素的第一像素值,第一区域包括待插值像素;
032:获取第二全色图像中的第二区域内的像素的第二像素值,第二区域与第一区域的位置对应;及
033:依据第一区域内的像素与待插值像素的距离、第一像素值及第二像素值获取待插值像素的像素值。
请结合图1,在某些实施方式中,处理器20可用于实施步骤031、032及033,即,处理器20可用于获取第一彩色图像中的第一区域内的像素的第一像素值;获取第二全色图像中的第二区域内的像素的第二像素值;及依据第一区域内的像素与待插值像素的距离、第一像素值及第二像素值获取待插值像素的像素值。
步骤031中,获取第一彩色图像中的第一区域内的像素的第一像素值,第一区域包括待插值像素。具体地,在对第一彩色图像进行插值时,可以先选定一个待插值的像素,通常选定一个还没有像素值的像素(空域像素)作为待插值的像素。然后可以依据待插值的像素选取一个第一区域,例如,可以以待插值的像素为中心选取第一区域。然后再获取第一区域内的像素的第一像素值,其中,对于第一区域内的空域像素,第一像素值可以计为0。在如图9所示的例子中,在第一彩色图像中选取一个待插值像素X,以待插值像素X为中心选取第一区域S1,可以获取到第一区域S1内的像素的第一像素值,其中第一区域S1中的A表示第一像素值,其他的空白像素表示第一像素值为0的空域像素。
步骤032中,获取第二全色图像中的第二区域内的像素的第二像素值,第二区域与第一区域的位置对应。具体地,在选取了第一区域后,可以在第二全色图像中选取出与第一区域对应的第二区域,并获取第二区域内的像素的第二像素值,由于第二全色图像是经过去马赛克处理后的图像,因此第二区域内的所有像素都已经具有像素值。由于第二区域与第一区域表现的是被摄场景的相同的一部分,则第二区域的像素值实际上与第一区域的像素值有一定的联系。在如图9所示的例子中,在第二全色图像中选取与第一区域S1对应的第二区域S2,第二区域S2中的W及W1均表示像素的第二像素值。
步骤033中,依据第一区域内的像素与待插值像素的距离、第一像素值及第二像素值获取待插值像素的像素值。具体地,在同一个图像中,相互靠近的像素的像素值一般相差较小,因此第一区域内的像素与待插值像素的距离可以用于反映待插值像素的像素值的大致范围。第一像素值如果为0,则说明是空域像素,第一像素值如果不为0,则说明是由彩色像素直接得到的像素值,该直接得到的像素值也可以用于推测待插值像素的像素值。由于第二区域与第一区域表现的是被摄场景的相同的一部分,则第二区域的像素值实际上与第一区域的像素值有一定的联系,因此第二像素值可以用于推测待插值像素的像素值。综合来看,第一区域内的像素与待插值像素的距离、第一像素值及第二像素值均可以一定程度地用来推测待插值像素的像素值,且结合三者可以较准确地得到待插值像素的像素值,以使去马赛克得到的第二彩色图像更真实。在如图9所示的例子中,依据第一区域S1内的像素与待插值像素X的距离、第一像素值及第二像素值得到待插值像素X的像素值为A1。
当然,一个待插值像素完成插值后,可以选取另一个空域像素作为待插值像素,直至所有空域像素均完成插值,则完成一个第一彩色图像的去马赛克处理。
请参阅图10,在某些实施方式中,步骤033包括步骤:
0331:依据第一区域内的像素与待插值像素的距离计算第一权重,距离与第一权重呈负相关;
0332:依据第二像素值与对应像素的像素值之间的差值计算第二权重,对应像素为第二区域内与待插值像素的位置对应的像素,差值与第二权重呈负相关;及
0333:依据第一权重、第二权重及第一像素值计算待插值像素的像素值。
请结合图1,在某些实施方式中,处理器20可用于实施步骤0331、0332及0333,即,处理器20可用于依据第一区域内的像素与待插值像素的距离计算第一权重、依据第二像素值与对应像素的像素值之间的差值计算第二权重及依据第一权重、第二权重及第一像素值计算待插值像素的像素值。
步骤0331中,依据第一区域内的像素与待插值像素的距离计算第一权重。由于待插值像素的像素值可以利用待插值像素周围的像素值进行推测,而待插值像素与周围的像素的距离越小,则二者的像素值很大可能是越接近的。因此,可以依据待插值像素与周围的像素的距离计算第一权重,以衡量周围不同距离的像素被考虑的比例,距离越大,第一权重越小,距离越小,第一权重越大。在如图11所示的例子中,依据第一区域S1内的多个像素与待插值像素X的距离计算得到多个第一权重G,多个第一权重G可以排列成第一权重引导图Q1,其中,多个第一权重均用G来表示,只是一个表示方式,并不表示多个第一权重G均相等。第一权重的具体计算方式可以依据不同的图像处理需求进行设置,在一个例子中,G=exp(-(X^2+Y^2)/(2*sigma_G^2)),其中,G表示第一权重,X和Y表示与待插值像素的横纵方向的距离,sigma_G为常数,例如sigma_G可以取为2。
步骤0332中,依据第二像素值与对应像素的像素值之间的差值计算第二权重,对应像素为第二区域内与待插值像素的位置对应的像素,差值与第二权重呈负相关。对应像素与待差值像素所反映的场景内容相同,对应像素的像素值与待插值像素的像素值之间的关联是比较强的,进一步地,第二区域中与对应像素的像素值相近的像素,也能够较好地反映待插值像素的像素值,故,依据第二像素值与对应像素的像素值之间的差值计算第二权重,也可以用来区分不同的第二像素值对待插值像素的像素值的影响的大小,差值越大,第二权重越小,差值越小,第二权重越大。在如图11所示的例子中,待插值像素X的对应像素Y的像素值为W2,依据第二区域S2内的多个像素与对应像素Y的像素值W2之间的差值可以得到多个第二权重H,多个第二权重H可以排列成第二权重引导图Q2,其中,多个第二权重均用H来表示,只是一个表示方式,并不表示多个第二权重H均相等。第二权重的具体计算方式可以依据不同的图像处理需求进行设置,在一个例子中,H=exp(-(S2-W2).^2/(2*sigma_H^2)),其中,H表示第二权重,S2表示第二像素值,W2表示对应像素的像素值,sigma_H为常数,例如sigma_H可以取2。
步骤0333中,依据第一权重、第二权重及第一像素值计算待插值像素的像素值。综合第一权重、第二权重及第一像素值后,计算得到的待插值像素的像素值较准确,能够较清楚地体现真实的场景,使得第二彩色图像较清晰。在如图11所示的例子中,待插值像素X的像素值为A1。具体依据第一权重、第二权重及第一像素值如何计算得到,可以依据实际需要进行设置,在此不作限制,在一个例子中,待插值像素的像素值A1的计算方式可以是:A1=sum(sum(G*H*A))/sum(sum(G*H*mosaic)),其中,A1为待插值的像素值,G为第一权重,H为第二权重,A为第一像素值,对应第一区域S1中有值的像素mosaic为1,对于第一区域S1中的空域像素mosaic为0;G*H*A指的是第一权重引导图Q1、第二权重引导图Q2及第一区域S1中,相同位置的第一权重G、第二权重H及第一像素值A相乘;G*H*mosaic指的是第一权重引导图Q1、第二权重引导图Q2及第一区域S1,相同位置的第一权重G、第二权重H及mosaic相乘。
请参阅图12,在某些实施方式中,步骤01包括步骤011:依据原始图像获取第一全色图像及多个不同颜色的第一彩色图像;步骤03包括步骤034:对多个不同颜色的第一彩色图像分别进行去马赛克处理以获取多个不同颜色的第二彩色图像。
请结合图1,在某些实施方式中,处理器20可以用于实施步骤011及034,即,处理器20可用于依据原始图像获取第一全色图像及多个不同颜色的第一彩色图像;及对多个不同颜色的第一彩色图像分别进行去马赛克处理以获取多个不同颜色的第二彩色图像。
通过对不同颜色的第一彩色图像分别去马赛克处理以得到多个不同颜色的第二彩色图像,便于终端100的显示装置获得多个通道的颜色信息,以显示出色彩丰富的彩色图像,同时分别对多个第一彩色图像进行去马赛克处理,多个第一彩色图像之间不会互相影响。
请参阅图13,本申请实施方式还提供一种非易失性计算机可读存储介质200,计算机可读存储介质200包含计算机可执行指令201,当计算机可执行指令201被一个或多个处理器300执行时,使得处理器300执行本申请任一实施方式所述的图像处理方法。
例如,计算机可执行201指令被处理器300执行时,处理器300可用于执行步骤:
01:依据原始图像获取第一全色图像及第一彩色图像,第一全色图像依据全色像素获得,第一彩色图像依据彩色像素获得;
02:对第一全色图像去马赛克处理以获取第二全色图像;及
03:依据第二全色图像及第一彩色图像,对第一彩色图像去马赛克处理以获取第二彩色图像。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法,用于处理由图像传感器采集的原始图像,所述图像传感器包括全色像素及彩色像素,其特征在于,所述全色像素的数量大于任意一种颜色的所述彩色像素的数量,所述图像处理方法包括:
依据所述原始图像获取第一全色图像及第一彩色图像,所述第一全色图像依据所述全色像素获得,所述第一彩色图像依据所述彩色像素获得;
对所述第一全色图像去马赛克处理以获取第二全色图像;及
依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像。
2.根据权利要求1所述的图像处理方法,其特征在于,在对所述第一全色图像去马赛克处理以获取第二全色图像前,所述图像处理方法还包括:对所述第一全色图像进行坏点补偿处理;及/或
在依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像前,所述图像处理方法还包括:对所述第一彩色图像进行坏点补偿处理、暗角补偿处理及白平衡处理中的一个或多个。
3.根据权利要求1所述的图像处理方法,其特征在于,所述依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像,包括:
获取所述第一彩色图像中的第一区域内的像素的第一像素值,所述第一区域包括待插值像素;
获取所述第二全色图像中的第二区域内的像素的第二像素值,所述第二区域与所述第一区域的位置对应;及
依据所述第一区域内的像素与所述待插值像素的距离、所述第一像素值及所述第二像素值获取所述待插值像素的像素值。
4.根据权利要求3所述的图像处理方法,其特征在于,所述依据所述第一区域内的像素与所述待插值像素的距离、所述第一像素值及所述第二像素值获取所述待插值像素的像素值,包括:
依据所述第一区域内的像素与所述待插值像素的距离计算第一权重,所述距离与所述第一权重呈负相关;
依据所述第二像素值与对应像素的像素值之间的差值计算第二权重,所述对应像素为所述第二区域内与所述待插值像素的位置对应的像素,所述差值与所述第二权重呈负相关;及
依据所述第一权重、所述第二权重及所述第一像素值计算所述待插值像素的像素值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述彩色像素具有多个不同颜色;
所述依据所述原始图像获取第一全色图像及第一彩色图像,包括:依据所述原始图像获取第一全色图像及多个不同颜色的所述第一彩色图像;
所述依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像,包括:对多个不同颜色的所述第一彩色图像分别进行去马赛克处理以获取多个不同颜色的所述第二彩色图像。
6.一种终端,其特征在于,所述终端包括图像传感器及处理器;
所述图像传感器用于采集原始图像,所述图像传感器包括全色像素及彩色像素,所述全色像素的数量大于任意一种颜色的所述彩色像素的数量;
所述处理器用于:
依据所述原始图像获取第一全色图像及第一彩色图像,所述第一全色图像依据所述全色像素获得,所述第一彩色图像依据所述彩色像素获得;
对所述第一全色图像去马赛克处理以获取第二全色图像;及
依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像。
7.根据权利要求6所述的终端,其特征在于,所述处理器在对所述第一全色图像去马赛克处理以获取第二全色图像前,还用于:对所述第一全色图像进行坏点补偿处理;及/或
所述处理器在依据所述第二全色图像及所述第一彩色图像,对所述第一彩色图像去马赛克处理以获取第二彩色图像前,还用于:对所述第一彩色图像进行坏点补偿处理、暗角补偿处理及白平衡处理中的一个或多个。
8.根据权利要求6所述的终端,其特征在于,所述处理器还用于:
获取所述第一彩色图像中的第一区域内的像素的第一像素值,所述第一区域包括待插值像素;
获取所述第二全色图像中的第二区域内的像素的第二像素值,所述第二区域与所述第一区域的位置对应;及
依据所述第一区域内的像素与所述待插值像素的距离、所述第一像素值及所述第二像素值获取所述待插值像素的像素值。
9.根据权利要求8所述的终端,其特征在于,所述处理器还用于:
依据所述第一区域内的像素与所述待插值像素的距离计算第一权重,所述距离与所述第一权重呈负相关;
依据所述第二像素值与对应像素的像素值之间的差值计算第二权重,所述对应像素为所述第二区域内与所述待插值像素的位置对应的像素,所述差值与所述第二权重呈负相关;及
依据所述第一权重、所述第二权重及所述第一像素值计算所述待插值像素的像素值。
10.根据权利要求6所述的终端,其特征在于,所述彩色像素具有多个不同颜色;所述处理器还用于:
依据所述原始图像获取第一全色图像及多个不同颜色的所述第一彩色图像;及
对多个不同颜色的所述第一彩色图像分别进行去马赛克处理以获取多个不同颜色的所述第二彩色图像。
11.一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1至5中任意一项所述的图像处理方法。
CN202010325272.4A 2020-04-23 2020-04-23 图像处理方法、终端及计算机可读存储介质 Active CN111510692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010325272.4A CN111510692B (zh) 2020-04-23 2020-04-23 图像处理方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010325272.4A CN111510692B (zh) 2020-04-23 2020-04-23 图像处理方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111510692A true CN111510692A (zh) 2020-08-07
CN111510692B CN111510692B (zh) 2022-01-18

Family

ID=71877958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010325272.4A Active CN111510692B (zh) 2020-04-23 2020-04-23 图像处理方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111510692B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738494A (zh) * 2020-12-28 2021-04-30 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、终端设备及可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统
CN113676630A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101163252A (zh) * 2007-11-27 2008-04-16 中国科学院计算技术研究所 一种多媒体视频图像的缩放方法
US20080130991A1 (en) * 2006-11-30 2008-06-05 O'brien Michele Processing images having color and panchromatic pixels
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101272491A (zh) * 2008-04-10 2008-09-24 西安电子科技大学 基于视频对象和区域指导的图像插值方法
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN102461174A (zh) * 2009-06-05 2012-05-16 全视科技有限公司 具有四个通道的滤色器阵列图案
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
CN102742280A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 利用加权像素差异去噪cfa图像
CN102742279A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 滤色器阵列图像的迭代去噪

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
US20080130991A1 (en) * 2006-11-30 2008-06-05 O'brien Michele Processing images having color and panchromatic pixels
CN101163252A (zh) * 2007-11-27 2008-04-16 中国科学院计算技术研究所 一种多媒体视频图像的缩放方法
CN101272491A (zh) * 2008-04-10 2008-09-24 西安电子科技大学 基于视频对象和区域指导的图像插值方法
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
CN102461174A (zh) * 2009-06-05 2012-05-16 全视科技有限公司 具有四个通道的滤色器阵列图案
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN102742280A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 利用加权像素差异去噪cfa图像
CN102742279A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 滤色器阵列图像的迭代去噪

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738494A (zh) * 2020-12-28 2021-04-30 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、终端设备及可读存储介质
CN112738494B (zh) * 2020-12-28 2023-03-14 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、终端设备及可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统
CN113676630A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN113676630B (zh) * 2021-08-09 2024-01-09 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Also Published As

Publication number Publication date
CN111510692B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN111510692B (zh) 图像处理方法、终端及计算机可读存储介质
CN102273208B (zh) 图像处理设备和图像处理方法
CN102461174B (zh) 具有四个通道的滤色器阵列图案
EP3396942A1 (en) Image sensor, imaging method and electronic device
EP2529554B1 (en) Iteratively denoising color filter array images
EP2529555B1 (en) Denoising cfa images using weighted pixel differences
CN110365961B (zh) 图像去马赛克装置及方法
US8358835B2 (en) Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same
KR101666137B1 (ko) 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템
KR101663871B1 (ko) 이미지의 컬러 결점을 보정하기 위한 방법 및 연관된 장치
EP2523160A1 (en) Image processing device, image processing method, and program
CN102484721A (zh) 四通道滤色片阵列图案
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
CN104869380A (zh) 图像处理设备和图像处理方法
JP2011254321A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
US5821999A (en) Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor
JP5718138B2 (ja) 画像信号処理装置及びプログラム
US20100280781A1 (en) Device and method for compensating color shifts in fiber-optic imaging systems
RU2440615C2 (ru) Способ и устройство генерации изображения, программа генерации изображения и машиночитаемый носитель, хранящий программу
JP5600812B2 (ja) 撮像装置
US7227991B2 (en) Method for improving the quality of a digital image
GB2460241A (en) Correction of optical lateral chromatic aberration
CN116703775A (zh) 伪色抑制方法及装置、终端设备、存储介质
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant