CN108012135A - 图像处理方法及装置、计算机可读存储介质和计算机设备 - Google Patents

图像处理方法及装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN108012135A
CN108012135A CN201711423750.XA CN201711423750A CN108012135A CN 108012135 A CN108012135 A CN 108012135A CN 201711423750 A CN201711423750 A CN 201711423750A CN 108012135 A CN108012135 A CN 108012135A
Authority
CN
China
Prior art keywords
light source
image
image processing
white balance
colour temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711423750.XA
Other languages
English (en)
Other versions
CN108012135B (zh
Inventor
王会朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711423750.XA priority Critical patent/CN108012135B/zh
Publication of CN108012135A publication Critical patent/CN108012135A/zh
Application granted granted Critical
Publication of CN108012135B publication Critical patent/CN108012135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请公开一种图像处理方法包括:处理广角摄像头采集的图像以检测图像中的光源的色温;识别并截取图像的主体以得到主体图像;和根据光源的色温对所述主体图像进行白平衡处理。本申请还公开一种图像处理装置、计算机可读存储介质和计算机设备。本申请的图像处理方法及装置、计算机可读存储介质和计算机设备通过采用视场角大于等于80度的广角摄镜头采集图像,扩大了视场,能把采用长焦摄像头可能无法采集到的光源也采集到图像中,再通过图像处理检测光源的颜色,可以更准确的估计图像的色温。此外,本申请的图像处理方法还可以识别主体并对图像对应主体的部分截取生成主体图像,再通过图像的色温对主体图像进行白平衡处理,白平衡处理效果好。

Description

图像处理方法及装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理装置、计算机可读存储介质和计算机设备。
背景技术
相关技术的图像处理方法可以通过检测图像中的光源颜色并根据光源颜色进行白平衡处理。然而,由于成像装置的镜头的视场角有限,光源可能落在视场外,导致图像处理方法无法检测到光源颜色,导致白平衡处理效果比较差甚至无法进行白平衡处理。
发明内容
本申请的实施例提供了一种图像处理方法及装置、计算机可读存储介质和计算机设备。
本申请实施方式的图像处理方法用于控制计算机设备,所述计算机设备包括广角摄像头,所述图像处理方法包括以下步骤:
处理所述广角摄像头采集的图像以检测所述图像中的光源的色温;
识别并截取所述图像的主体以得到主体图像;和
根据所述光源的色温对所述主体图像进行白平衡处理。
本申请实施方式的图像处理装置用于控制计算机设备,所述计算机设备包括广角摄像头,所述图像处理方法包括:
第一处理模块,所述第一处理模块用于处理所述广角摄像头采集的图像以检测所述图像中的光源的色温;
识别模块,所述识别模块用于识别并截取所述图像的主体以得到主体图像;和
第二处理模块,所述第二处理模块用于根据所述光源的色温对所述主体图像进行白平衡处理。
本申请实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行所述图像处理方法。
本申请实施方式的一种计算机设备,包括广角摄像头、存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行所述图像处理方法。
本申请实施方式的图像处理方法及装置、计算机可读存储介质和计算机设备通过采用视场角大于等于80度的广角摄像头的计算机设备采集图像,扩大了视场,能把采用长焦摄像头可能无法采集到的光源也采集到图像中,再通过图像处理检测光源的颜色。另外,图像处理方法还通过识别主体并把图像对应主体的部分截取生成主体图像,再根据光源的色温对主体图像进行白平衡处理。由于主体一般位于图像的中间部分,一般不受广角摄像头的场曲像差的影响,图像质量较高,而且可以利用可能位于视场(图像)的边缘部分(即位于主体图像外)的光源的色温作为主体所在的环境的色温进行白平衡处理,提高白平衡处理的效果,从而最终提高图像处理的效果。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的图像处理方法的流程示意图。
图2是本申请某些实施方式的图像处理装置的模块示意图。
图3是本申请某些实施方式的计算机设备的平面示意图。
图4是本申请某些实施方式的计算机设备的结构示意图。
图5是本申请某些实施方式的计算机设备的结构示意图。
图6是本申请某些实施方式的图像处理方法的流程示意图。
图7是本申请某些实施方式的第一处理模块的模块示意图。
图8是本申请某些实施方式的图像处理方法的场景示意图。
图9是本申请某些实施方式的图像处理方法的场景示意图。
图10是本申请某些实施方式的图像处理方法的区域形成的直方图。
图11是本申请某些实施方式的图像处理方法的流程示意图。
图12是本申请某些实施方式的第一处理模块的模块示意图。
图13是本申请某些实施方式的图像处理方法的场景示意图。
图14是本申请某些实施方式的色温曲线示意图。
图15是本申请某些实施方式的图像处理方法的流程示意图。
图16是本申请某些实施方式的识别模块的模块示意图。
图17是本申请某些实施方式的图像处理方法的流程示意图。
图18是本申请某些实施方式的第二处理模块的模块示意图。
图19是本申请某些实施方式的图像处理方法的流程示意图。
图20是本申请某些实施方式的第二处理模块的模块示意图。
图21是本申请某些实施方式的图像处理方法的场景示意图。
图22是本申请某些实施方式的图像处理方法的场景示意图。
图23是本申请某些实施方式的计算机设备的模块示意图。
图24是本申请某些实施方式的图像处理电路的模块示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
请参阅图1和图3,本申请实施方式的图像处理方法可以用于控制计算机设备100。计算机设备100包括广角摄像头20。图像处理方法包括以下步骤:
S12:处理广角摄像头20采集的图像以检测图像中的光源的色温;
S14:识别并截取图像的主体以得到主体图像;和
S16:根据光源的色温对主体图像进行白平衡处理。
请参阅图2和图3,本申请实施方式的图像处理装置10可以用于控制计算机设备100。计算机设备100包括广角摄像头20。图像处理装置10包括第一处理模块12、识别模块14、第二处理模块16。第一处理模块12用于处理广角摄像头20采集的图像以检测图像中的光源的色温。识别模块14用于识别并截取图像的主体以得到主体图像。第二处理模块16用于根据光源的色温对主体图像进行白平衡处理。
本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置10实现,其中,步骤S12可以由第一处理模块12实现,步骤S14可以由识别模块14实现,步骤S16可以由第二处理模块16实现。
请参阅图3,本申请实施方式的图像处理装置10可以应用于本申请实施方式的计算机设备100中,也即是说,本申请实施方式的计算机设备100可以包括本申请实施方式的图像处理装置10。
在某些实施方式中,计算机设备100包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。
本申请实施方式的图像处理方法、图像处理装置10、计算机设备100通过采用视场角大于等于80度的广角摄像头20采集图像,扩大了视场,能把采用长焦摄像头可能无法采集到的光源也采集到图像中,再通过图像处理检测光源的颜色。另外,图像处理方法还通过识别主体,并把图像对应主体的部分截取生成主体图像,再根据光源的颜色对主体图像进行白平衡处理。由于主体一般位于图像的中间部分,一般不受广角摄像头20的场曲像差的影响,图像质量较高,而且可以利用可能位于视场(图像)的边缘部分(即位于主体图像外)的光源的颜色作为主体所在的光环境的色温进行白平衡处理,提高白平衡处理的效果,从而最终提高图像处理的效果。
请参阅图4,在某些实施方式中,广角摄像头的视场角大于等于80度。
如此,可以获取更大视场角范围的图像。对色温的估计更准确,白平衡效果更好。
请参阅图5,进一步的,在某些实施方式中,广角摄像头的视场角大于等于110度。
如此,进一步扩大视场角的范围,获取更大的场景范围图像,提高色温估计的准确性,进而提高白平衡效果。
请参阅图6,在某些实施方式中,步骤S12包括以下步骤:
S122:将图像分成多个区域;
S124:根据每个区域的直方图判断区域是否为包括光源的目标区域;
S126:在区域为包括光源的目标区域时判断是否存在相邻的多个目标区域;
S128:在存在相邻的多个目标区域时将相邻的多个目标区域拼接为光源;
S121:在不存在相邻的多个目标区域时将目标区域确定为光源;和
S123:统计光源的个数。
请参阅图7,在某些实施方式中,第一处理模块12包括划分单元122、第一判断单元124、第二判断单元126、拼接单元128、第一确定单元121和统计单元123。划分单元122用于将图像分成多个区域。第一判断单元124用于根据每个区域的直方图判断区域是否为包括光源的目标区域。第二判断单元126用于判断是否存在相邻的多个目标区域。拼接单元128用于在存在相邻的多个目标区域时将相邻的多个目标区域拼接为光源。第一确定单元121用于在不存在相邻的多个目标区域时将目标区域确定为光源。统计单元123用于统计光源的个数。
也即是说,步骤S122可以由划分单元122实现,步骤S124可以由第一判断单元124实现,步骤S126可以由第二判断单元126实现,步骤S128可以由拼接单元128实现,步骤S121可以由第一确定单元121实现,步骤S123可以由统计单元123实现。
如此,可以确定图像中的光源的位置和个数。
具体的,请参阅图8-10,在一个实施例中,图像处理方法先将图像分成多个区域,例如,4*5个区域。每个区域按R、Gr、Gb、B的通道值可以绘制4张直方图,然后根据每个区域的4张直方图判断该区域是否为包括光源的目标区域。在图8和图9中,图像均包括多个目标区域。例如,图8中的图像包括3个目标区域,图9中的图像包括8个目标区域。图像处理方法在存在区域为包括光源的目标区域时,判断是否存在相邻的多个目标区域,即判断是否存在一个光源同时覆盖多个目标区域的情况,其中,覆盖可以为部分覆盖或者完全覆盖。图像处理方法在存在相邻的多个目标区域时,将相邻的多个目标区域拼接为光源;在不存在相邻的多个目标区域时,将每个目标区域都确定为光源。请参阅图8,3个互不相邻的目标区域分别确定为光源R、光源G、光源B。请参阅图9,其中6个相邻的目标区域拼接为一个完整的光源R,另外两个不相邻的目标区域分别确定为光源G、光源B。
另外,需要指出的是,在图10中,区域的直方图的绘制方法仅为示例,图10中的直方图的横轴为像素值,纵轴为像素个数。在其他实施例中,直方图的横轴还可以为像素个数,纵轴为像素值;或者直方图的横轴为像素个数占比,纵轴为像素值;或者直方图的横轴为像素值,直方图的纵轴为像素个数占比。
在某些实施方式中,在根据某个区域的直方图来判断该区域是否为包括光源的目标区域时,可以通过判断像素值超过预定值的像素个数占比是否超过预定占比来实现。例如,可以通过判断像素值超过239的像素个数占比是否超过5%来实现,当像素值超过239的像素个数占比超过5%时,表明该区域为包括光源的目标区域;当像素值超过239的像素个数占比不超过5%时,表明该区域不为包括光源的目标区域。
请参阅图11,在某些实施方式中,步骤S12包括以下步骤:
S125:根据光源的中心沿径向向外的亮度分布确定高亮区域和中亮区域;和
S127:将高亮区域的基色通道像素平均值减去中亮区域的基色通道像素平均值以确定光源的颜色并根据光源的颜色确定光源的色温。
请参阅图12,在某些实施方式中,第一处理模块12包括第二确定单元125和第三确定单元127。第二确定单元125用于根据光源的中心沿径向向外的亮度分布确定高亮区域和中亮区域。第三确定单元127用于将高亮区域的基色通道像素平均值减去中亮区域的基色通道像素平均值以确定光源的颜色并根据光源的颜色确定光源的色温。
也即是说,步骤S125可以由第二确定单元125实现,步骤S127可以由第三确定单元127实现。
如此,可以通过高亮区域和中亮区域确定光源颜色并根据光源颜色确定光源色温,可以更准确对光源的色温进行估计。
请参阅图13,在图像中的光源位置确定后,可以理解,图像中的光源的中心O区域为过曝区域,一般为大白斑,不包含光源颜色的信息。光源颜色可以通过高亮区域H和中亮区域M的基色通道像素平均值确定。高亮区域H可以是指光源的中心沿径向向外的亮度值处于第一亮度范围L1的像素所构成的区域,第一亮度范围L1例如为[200,239)。中亮区域M可以是指光源的中心沿径向向外的亮度值处于第二亮度范围L2的像素所构成的区域,第二亮度范围L2例如为[150,200)。需要说明的是,第一亮度范围L1和第二亮度范围L2的具体取值可以根据光源的中心O沿径向向外的亮度分布确定,例如光源的亮度衰减得比较快,可以增大第一亮度范围L1和第二亮度范围L2;例如光源的亮度衰减得比较慢,可以减小第一亮度范围L1和第二亮度范围L2。
高亮区域的基色通道像素平均值即为高亮区域的所有像素的像素值的平均值,中亮区域的基色通道像素平均值即为中亮区域的所有像素的像素值的平均值。假设高亮区域的像素个数为C1,中亮区域的像素个数为C2,则
高亮区域的基色通道像素平均值为:
中亮区域的基色通道像素平均值为:
将高亮区域的基色通道像素平均值减去中亮区域的基色通道像素平均值以确定光源的颜色,根据光源的颜色可以对应确定光源的色温在某些实施方式中,根据光源的颜色确定光源的色温,具体可以为:根据光源的颜色、光源的颜色和光源的色温的对应关系确定光源色温。其中,光源的颜色和光源的色温的对应关系可以是映射表和/或色温曲线(如图14所示)。具体地,在一个实施例中,可以在色温分别为3000K、4000K、5000K、6000K、……的标准灯箱下,获取图像并通过计算得到在上述不同色温下对应的的值,由此可以形成与光源的色温之间的映射表或色温曲线图,并可以将该色温曲线图或映射表保存在本地数据库。在本申请实施方式中,在计算得到后,可以通过该色温曲线图或映射表,查询得到对应的光源的色温。然后,根据光源的色温、以及光源的色温和白平衡参数的对应关系可以查找获得相应的白平衡参数,从而可以根据白平衡参数对图像进行白平衡处理。
在某些实施方式中,基色通道是指颜色通道,例如包括R(红色)通道、Gr(绿红)通道、Gb(绿蓝)通道、B(蓝色)通道中的至少一个,在某些实施方式中,可以通过Gr通道的像素值和Gb通道的像素值获得G(绿色)通道的像素值。像素平均值可以是指像素值的算术平均值。在一个例子中,高亮区域的各个基色通道像素平均值(Ravg,Gavg,Bavg)为(200,210,220),中亮区域的各个基色通道像素平均值(Ravg,Gavg,Bavg)为(160,180,190),则光源颜色的通道(R,G,B)为(200-160,210-180,220-190),即(40,30,30)。
请参阅图15,在某些实施方式中,步骤S14包括以下步骤:
S142:根据用户的操作来辅助确定图像的主体,其中,操作包括对焦、编辑、保存和删除中至少一种;和
S144:截取图像中对应主体的区域以生成主体图像。
请参阅图16,在某些实施方式中,识别模块14包括第四确定单元142和截取单元144。第四确定单元142用于根据用户的操作来辅助确定图像的主体。截取单元144用于截取图像中对应主体的区域以生成主体图像。其中,操作包括对焦、编辑、保存和删除中至少一种。
也即是说,步骤S142可以由第四确定单元142实现。步骤S144可以由截取单元144实现。
如此,可以根据用户的对焦、编辑、保存和删除至少一种来辅助快速确定主体,并根据主体所在的区域生成主体图像。
具体地,在拍照时,通过用户点击预览图像进行对焦的位置可以辅助确定图像的主体。图像可以经过白平衡处理后存储在本地相册中。可以理解,用户一般会选择自己认为效果较好或者说主体识别正确的图像保存下来,而将效果不佳或者说主体选择错误的图像删除。另外,用户在闲暇时,还可能对图像进行一些编辑,例如,调整图像的大小,可以根据用户调整的大小对广角摄像头20获取的照片在识别主体后截取相似大小的区域。如此,经过长期的机器学习和反馈,图像处理方法对主体的确定会越来越准确,用户体验也会更加的好。
在某些实施方式中,可以通过处理图像以识别主体。
具体的,例如通过图像识别的AI(人工智能)处理图像以识别图像的主体,图像的主体的类别包括:植物(如花朵、小草、树木等)、动物(如狮子、老鼠、猫等)、自然景观(如河流、山脉等)、人、建筑物等。由于广角摄像头20获取的图像视场角较大,所以图像主体一般只占据图像中的小部分,所以,在识别图像的主体后可以从图像中截取出包含完整主体的主体图像,在用户拍照后保留的图像是主体图像而不是一张场景范围很大的图像,如此可以减小存储空间的占用。
请参阅图17,在某些实施方式中,步骤S16还包括以下步骤:
S162:判断光源的个数是否为0;和
S164:在光源的个数为0时,根据灰度世界法确定图像的白平衡校正参数并根据白平衡校正参数对主体图像进行白平衡处理。
请参阅图18,在某些实施方式中,第二处理模块16包括第三判断单元162和第五确定单元164。第三判断单元162用于判断光源的个数是否为0。第五确定单元164用于在光源的个数为0时,根据灰度世界法确定图像的白平衡校正参数并根据白平衡校正参数对主体图像进行白平衡处理。
也即是说,步骤S162由第三判断单元162实现,步骤S164由第五确定单元164实现。
如此,在无光源的情况下,通过广角摄像头20获得的图像由于视角广,能看到更大范围的场景,图像的颜色一般比较丰富,根据灰度世界法计算出的白平衡增益更加准确。
在某些实施方式中,用灰度世界法对图像进行白平衡处理的步骤包括以下步骤:
统计图像所有像素的基色通道值;
计算(R,G,B)三个基色通道值的平均值;
根据平均值确定R、G和B通道的白平衡调整值。和
根据白平衡调整值对图像进行白平衡调整。
具体的,通过计算图像的基色通道值数据获得图像的基色通道像素平均值为(Ravg,Gavg,Bavg),然后根据平均值计算各通道的白平衡调整值为K/Ravg,K/Gavg和K/Bavg,其中,K=(Ravg,Gavg,Bavg)/3。如此,可以根据该基色通道值的白平衡调整值可以对整个图像进行白平衡处理。
如此,可以快速进行白平衡且在图像颜色丰富度越高的情况下白平衡效果越好。
请参阅图19,在某些实施方式中,步骤S16还包括以下步骤:
S166:在光源的个数不为0时判断光源是否大于等于1;
S168:在光源的个数等于1时,根据光源的色温对主体图像进行白平衡处理;和
S161:在光源的个数大于1时,根据光源的场景参数、对应的面积、亮度参数中的至少一种确定主光源并根据主光源的色温对主体图像进行白平衡处理,其中,场景参数包括拍摄图像的时间和GPS的信号强度,亮度参数包括多个光源的亮度,光源包括主光源。
请参阅图20,在某些实施方式中,第二处理模块16包括第四判断单元166、第六确定单元168和第七确定单元161。第四判断单元166在光源的个数不为0时判断光源是否大于等于1。第六确定单元168用于在光源的个数等于1时,根据光源的色温对主体图像进行白平衡处理。第七确定单元161用于在光源的个数大于1时,根据光源的场景参数、对应的面积、亮度参数中的至少一种确定主光源并根据主光源的色温对主体图像进行白平衡处理,其中,场景参数包括拍摄图像的时间和GPS的信号强度,亮度参数包括多个光源的亮度,光源包括主光源。
也即是说,步骤S166可以由第四判断单元166实现,步骤S168可以由第六确定单元168实现,步骤S161可以由第七确定单元161实现。
如此,在光源个数不为0的情况下判断光源个数是否大于等于1,在光源个数等于1时根据光源的色温对主体图像进行白平衡处理,在光源个数大于1时根据光源的场景参数、对应的面积、亮度参数中的至少一种确定主光源并根据主光源的色温对主体图像进行白平衡处理,如此,针对不同情形采用不同的图像处理方法,提高了白平衡处理的稳定性。
具体地,根据拍摄图像的时间可以区分当前时间位于哪个时间段,通过保存在本地数据库的用户作息时间和常规习惯,可以判断用户在当前时间段可能处于什么地点进行拍摄活动。例如,在中午12点钟的时候,该用户一般在餐厅吃午饭;在晚上8点以后,用户一般在客厅看书。如此,根据拍摄图像的时间可以大致区分出用户处于室内环境、还是室外环境或者某个特定场景。另外,由于室外的GPS的信号强度一般比室内的GPS的信号强度更强。因此,根据GPS的信号强度也可以大致区分出用户处于室内环境或室外环境。可以理解,室内的光源的色温一般为5000K以下,例如,钨丝灯的色温为2760-2900K,闪光灯的色温为3800K;室外的光源的色温一般在5000K以上,例如,中午阳光的色温为5000K,蓝天的色温为10000K。如此,根据用户处于室内环境或室外环境可以大致判断当前色温应该在5000K以上还是5000K以下,如图19所示,例如光源R色温为4500K,光源G的色温为3500K,光源B的色温为7000K,而根据场景参数确定当前色温应为5000K,显然光源R距离场景当前色温最接近故确定光源R为主光源。由此,可以用于确定主光源。
当根据多个光源的对应的面积确定主光源时,可以通过比较多个光源的面积大小,选取面积最大的光源作为主光源。例如,在图21中,光源R的面积大于光源G的面积,且大于光源B的面积,则确定光源R作为主光源。
当根据多个光源对应的亮度确定主光源时,可以理解,光源的亮度越高,对图像整体的影响一般越大。如图22所示,在光源面积相同时,光源G亮度为150,光源G亮度为100,光源B亮度值为200,则确定光源B为主光源。如此,在光源面积相同时,亮度最大的光源确定为主光源。
本申请实施方式的图像处理方法可以根据多个光源的拍摄图像的时间和GPS的信号强度的组合确定主光源,或者根据多个光源对应的面积确定主光源;或者根据多个光源的对应的亮度和图像的平均亮度的组合确定主光源;或者根据多个光源的拍摄图像的时间和GPS的信号强度的组合、和多个光源对应的面积确定主光源;或者根据多个光源的拍摄图像的时间和GPS的信号强度的组合、和多个光源的对应的亮度和图像的平均亮度的组合确定主光源;或者根据多个光源对应的面积、和多个光源的对应的亮度和图像的平均亮度的组合确定主光源;或者根据多个光源的拍摄图像的时间和GPS的信号强度的组合、对应的面积、和对应的亮度和图像的平均亮度的组合确定主光源。
较佳地,图像处理方法根据多个光源的拍摄图像的时间和GPS的信号强度的组合、对应的面积、和对应的亮度和图像的平均亮度的组合确定主光源。多个光源的拍摄图像的时间和GPS的信号强度的组合、对应的面积、和对应的亮度和图像的平均亮度的组合可以分别设置不同的权重。如此,选取的主光源较为准确,对图像进行白平衡处理时更能满足用户预期的白平衡效果。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行以下步骤:
S12:处理广角摄像头20采集的图像以检测图像中的光源的色温;
S14:识别并截取图像的主体以得到主体图像;和
S16:根据光源的色温对主体图像进行白平衡处理。
图23为一个实施例中计算机设备100的内部结构示意图。如图23所示,该计算机设备100包括通过系统总线51连接的处理器52、存储器53(例如为非易失性存储介质)、内存储器54、显示屏55、输入装置56和广角摄像头20。其中,计算机设备100的存储器53存储有操作系统和计算机可读指令。该计算机可读指令可被处理器52执行,以实现本申请实施方式的图像处理方法。该处理器52用于提供计算和控制能力,支撑整个计算机设备100的运行。计算机设备100的内存储器53为存储器52中的计算机可读指令的运行提供环境。计算机设备100的显示屏55可以是液晶显示屏或者电子墨水显示屏等,输入装置56可以是显示屏55上覆盖的触摸层,也可以是计算机设备100外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备100可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解,图23中示出的结构,仅仅是与本申请方案相关的部分结构的示意图,并不构成对本申请方案所应用于其上的计算机设备100的限定,具体的计算机设备100可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
请参阅图24,本申请实施例的计算机设备100中包括图像处理电路80,图像处理电路80可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图24为一个实施例中图像处理电路80的示意图。如图24所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图24所示,图像处理电路80包括ISP处理器81(ISP处理器81可为处理器52或处理器52的一部分)和控制逻辑器82。广角摄像头20捕捉的图像数据首先由ISP处理器81处理,ISP处理器81对图像数据进行分析以捕捉可用于确定广角摄像头20的一个或多个控制参数的图像统计信息。广角摄像头20可包括透镜22和图像传感器24。图像传感器24可包括色彩滤镜阵列(如Bayer滤镜),图像传感器24可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器81处理的一组原始图像数据。传感器84(如陀螺仪)可基于传感器84接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器81。传感器84接口可以为SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器24也可将原始图像数据发送给传感器84,传感器84可基于传感器84接口类型把原始图像数据提供给ISP处理器81,或者传感器84将原始图像数据存储到图像存储器85中。
ISP处理器81按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器81可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器81还可从图像存储器85接收图像数据。例如,传感器84接口将原始图像数据发送给图像存储器85,图像存储器85中的原始图像数据再提供给ISP处理器81以供处理。图像存储器85可为存储器53、存储器53的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器24接口或来自传感器84接口或来自图像存储器85的原始图像数据时,ISP处理器81可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器85,以便在被显示之前进行另外的处理。ISP处理器81从图像存储器85接收处理数据,并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器81处理后的图像数据可输出给显示器87(显示器87可包括显示屏55),以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器81的输出还可发送给图像存储器85,且显示器87可从图像存储器85读取图像数据。在一个实施例中,图像存储器85可被配置为实现一个或多个帧缓冲器。此外,ISP处理器81的输出可发送给编码器/解码器86,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器87设备上之前解压缩。编码器/解码器86可由CPU或GPU或协处理器实现。
ISP处理器81确定的统计数据可发送给控制逻辑器82单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜22阴影校正等图像传感器24统计信息。控制逻辑器82可包括执行一个或多个例程(如固件)的处理元件和/或微控制器,一个或多个例程可根据接收的统计数据,确定广角摄像头20的控制参数及ISP处理器81的控制参数。例如,广角摄像头20的控制参数可包括传感器84控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜22控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜22阴影校正参数。
以下为运用图24中图像处理技术实现图像处理方法的步骤:
S12:处理广角摄像头20采集的图像以检测图像中的光源的色温;
S14:识别并截取图像的主体以得到主体图像;和
S16:根据光源的色温对主体图像进行白平衡处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种图像处理方法,用于控制计算机设备,其特征在于,所述计算机设备包括广角摄像头,所述图像处理方法包括:
处理所述广角摄像头采集的图像以检测所述图像中的光源的色温;
识别并截取所述图像的主体以得到主体图像;和
根据所述光源的色温对所述主体图像进行白平衡处理。
2.如权利要求1所述的图像处理方法,其特征在于,所述广角摄像头的视场角大于等于80度。
3.如权利要求1所述的图像处理方法,其特征在于,所述广角摄像头的视场角大于等于110度。
4.如权利要求1所述的图像处理方法,其特征在于,所述处理所述广角摄像头采集的图像以检测所述图像中的光源的颜色的步骤包括以下步骤:
将所述图像分成多个区域;
根据每个所述区域的直方图判断所述区域是否为包括所述光源的目标区域;
在所述区域为包括所述光源的所述目标区域时判断是否存在相邻的多个所述目标区域;
在存在相邻的多个所述目标区域时将相邻的多个所述目标区域拼接为所述光源;
在不存在相邻的多个所述目标区域时将所述目标区域确定为所述光源;和
统计所述光源的个数。
5.如权利要求4所述的图像处理方法,其特征在于,所述处理所述广角摄像头采集的图像以检测所述图像中的光源的颜色的步骤还包括以下步骤:
根据所述光源的中心沿径向向外的亮度分布确定高亮区域和中亮区域;和
将所述高亮区域的基色通道像素平均值减去所述中亮区域的基色通道像素平均值以确定所述光源的颜色并根据所述光源的颜色确定所述光源的色温。
6.如权利要求1所述的图像处理方法,其特征在于,所述识别并截取所述图像的主体以得到主体图像的步骤包括以下步骤:
根据用户的操作来辅助确定所述图像的主体,其中,所述操作包括对焦、编辑、保存和删除中至少一种;和
截取所述图像中对应所述主体的区域以生成主体图像。
7.如权利要求4所述的图像处理方法,其特征在于,所述根据所述光源的色温对所述主体图像进行白平衡处理的步骤包括以下步骤:
判断所述光源的个数是否为0;和
在所述光源的个数为0时,根据灰度世界法确定所述图像的白平衡校正参数并根据所述白平衡校正参数对所述主体图像进行白平衡处理。
8.如权利要求7所述的图像处理方法,其特征在于,所述根据所述光源的色温对所述主体图像进行白平衡处理的步骤包括以下步骤:
在所述光源的个数不为0时判断所述光源是否大于等于1;
在所述光源的个数等于1时,根据所述光源的色温对所述主体图像进行白平衡处理;和
在所述光源的个数大于1时,根据所述光源的场景参数、对应的面积、亮度参数中的至少一种确定主光源并根据所述主光源的色温对所述主体图像进行白平衡处理,其中,所述场景参数包括拍摄所述图像的时间和GPS的信号强度,所述亮度参数包括所述多个光源的亮度,所述光源包括主光源。
9.一种图像处理装置,用于控制计算机设备,其特征在于,所述计算机设备包括广角摄像头,所述图像处理装置包括:
第一处理模块,所述第一处理模块用于处理所述广角摄像头采集的图像以检测所述图像中的光源的色温;
识别模块,所述识别模块用于识别并截取所述图像的主体以得到主体图像;和
第二处理模块,所述第二处理模块用于根据所述光源的色温对所述主体图像进行白平衡处理。
10.如权利要求9所述的图像处理装置,其特征在于,所述广角摄像头的视场角大于等于80度。
11.如权利要求9所述的图像处理装置,其特征在于,所述广角摄像头的视场角大于等于110度。
12.如权利要求9所述的图像处理装置,其特征在于,所述第一处理模块包括:
划分单元,所述划分单元用于将所述图像分成多个区域;
第一判断单元,所述第一判断单元用于根据每个所述区域的直方图判断所述区域是否为包括所述光源的目标区域;
第二判断单元,所述第二判断单元用于在所述区域为包括所述光源的所述目标区域时判断是否存在相邻的多个所述目标区域;
拼接单元,所述拼接单元用于在存在相邻的多个所述目标区域时将相邻的多个所述目标区域拼接为所述光源;
第一确定单元,所述第一确定单元用于在不存在相邻的多个所述目标区域时将所述目标区域确定为所述光源;和
统计单元,所述统计单元用于统计所述光源的个数。
13.如权利要求12所述的图像处理装置,其特征在于,所述第一处理模块还包括:
第二确定单元,所述第二确定单元用于根据所述光源的中心沿径向向外的亮度分布确定高亮区域和中亮区域;和
第三确定单元,所述第三确定单元用于将所述高亮区域的基色通道像素平均值减去所述中亮区域的基色通道像素平均值以确定所述光源的颜色并根据所述光源的颜色确定所述光源的色温。
14.如权利要求9所述的图像处理装置,其特征在于,所述识别模块还包括:
第四确定单元,所述第四确定单元用于根据用户的操作来辅助确定所述图像的主体,其中,所述操作包括对焦、编辑、保存和删除中至少一种;和
截取单元,所述截取单元用于截取所述图像中对应所述主体的区域以生成主体图像。
15.如权利要求12所述的图像处理装置,其特征在于,所述第二处理模块包括:
第三判断单元,所述第三判断单元用于判断所述光源的个数是否为0;和
第五确定单元,所述第四确定单元用于在所述光源的个数为0时,根据灰度世界法确定所述图像的白平衡校正参数并根据所述白平衡校正参数对所述主体图像进行白平衡处理。
16.如权利要求15所述的图像处理装置,其特征在于,所述第二处理模块还包括:
第四判断单元,所述第四判断单元用于在所述光源的个数不为0时判断所述光源是否大于等于1;
第六确定单元,所述第五确定单元用于在所述光源的个数等于1时,根据所述光源的色温对所述主体图像进行白平衡处理;和
第七确定单元,所述第六确定单元用于在所述光源的个数大于1时,根据所述光源的场景参数、对应的面积、亮度参数中的至少一种确定主光源并根据所述主光源的色温对所述主体图像进行白平衡处理,其中,所述场景参数包括拍摄所述图像的时间和GPS的信号强度,所述亮度参数包括所述多个光源的亮度,所述光源包括主光源。
17.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法。
18.一种计算机设备,其特征在于,包括:
广角摄像头;
处理器;和
存储器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法。
CN201711423750.XA 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备 Active CN108012135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711423750.XA CN108012135B (zh) 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711423750.XA CN108012135B (zh) 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN108012135A true CN108012135A (zh) 2018-05-08
CN108012135B CN108012135B (zh) 2019-09-06

Family

ID=62061245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711423750.XA Active CN108012135B (zh) 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN108012135B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770098A (zh) * 2020-12-31 2021-05-07 Oppo广东移动通信有限公司 色温检测组件、图像处理终端、方法及装置
CN112788323A (zh) * 2020-12-31 2021-05-11 Oppo广东移动通信有限公司 色温检测组件、图像处理终端、方法及装置
WO2021243554A1 (en) * 2020-06-02 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
WO2022268132A1 (zh) * 2021-06-24 2022-12-29 维沃移动通信(杭州)有限公司 图像处理方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195290A1 (en) * 2003-12-08 2005-09-08 Nikon Corporation Electronic camera having color adjustment function and program therefor
CN102957918A (zh) * 2011-08-31 2013-03-06 联咏科技股份有限公司 显示影像的白平衡方法
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种具有人脸的图像处理方法和装置
CN106101547A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN106534835A (zh) * 2016-11-30 2017-03-22 珠海市魅族科技有限公司 一种图像处理方法以及装置
CN106576143A (zh) * 2014-07-25 2017-04-19 三星电子株式会社 图像拍摄装置和图像拍摄方法
CN106851121A (zh) * 2017-01-05 2017-06-13 广东欧珀移动通信有限公司 控制方法及控制装置
CN106851238A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 白平衡控制方法、白平衡控制装置及电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195290A1 (en) * 2003-12-08 2005-09-08 Nikon Corporation Electronic camera having color adjustment function and program therefor
CN102957918A (zh) * 2011-08-31 2013-03-06 联咏科技股份有限公司 显示影像的白平衡方法
CN106576143A (zh) * 2014-07-25 2017-04-19 三星电子株式会社 图像拍摄装置和图像拍摄方法
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种具有人脸的图像处理方法和装置
CN106101547A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN106534835A (zh) * 2016-11-30 2017-03-22 珠海市魅族科技有限公司 一种图像处理方法以及装置
CN106851121A (zh) * 2017-01-05 2017-06-13 广东欧珀移动通信有限公司 控制方法及控制装置
CN106851238A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 白平衡控制方法、白平衡控制装置及电子装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021243554A1 (en) * 2020-06-02 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN112770098A (zh) * 2020-12-31 2021-05-07 Oppo广东移动通信有限公司 色温检测组件、图像处理终端、方法及装置
CN112788323A (zh) * 2020-12-31 2021-05-11 Oppo广东移动通信有限公司 色温检测组件、图像处理终端、方法及装置
CN112788323B (zh) * 2020-12-31 2023-02-14 Oppo广东移动通信有限公司 色温检测组件、图像处理终端、方法及装置
WO2022268132A1 (zh) * 2021-06-24 2022-12-29 维沃移动通信(杭州)有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN108012135B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN107959851B (zh) 色温检测方法及装置、计算机可读存储介质和计算机设备
CN107872663B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012135B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108174172B (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
CN107424198A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108024107A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110022469A (zh) 图像处理方法、装置、存储介质及电子设备
CN108063926B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108419028A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107194900A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN108063934A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108012134A (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
CN107317967A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108174173A (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
CN107920205A (zh) 图像处理方法、装置、存储介质和电子设备
CN107959843B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109191398B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108156434A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109040598B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107948619A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN107959842A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107424135A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant