CN117119314B - 一种图像处理方法及相关电子设备 - Google Patents
一种图像处理方法及相关电子设备 Download PDFInfo
- Publication number
- CN117119314B CN117119314B CN202310216061.0A CN202310216061A CN117119314B CN 117119314 B CN117119314 B CN 117119314B CN 202310216061 A CN202310216061 A CN 202310216061A CN 117119314 B CN117119314 B CN 117119314B
- Authority
- CN
- China
- Prior art keywords
- image
- raw
- confidence
- white point
- white
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 121
- 238000004422 calculation algorithm Methods 0.000 claims description 83
- 230000015654 memory Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 25
- 238000003705 background correction Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 28
- 230000000694 effects Effects 0.000 abstract description 15
- 238000005286 illumination Methods 0.000 abstract description 11
- 238000004891 communication Methods 0.000 description 33
- 230000006854 communication Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000005236 sound signal Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请提供一种图像处理方法及相关电子设备,该方法包括:在电子设备拍摄图像的过程中,分别计算传感器输出的长曝光帧的白点和Normal帧(预览帧)的白点,并将这两个图像的白点进行融合,得到融合后的白点。然后,使用融合后的白点计算目标白平衡参数,通过该目标白平衡参数对图像进行白平衡处理,从而解决了在极低照度环境下,电子设备对拍摄图像的白平衡处理效果不佳的问题。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种图像处理方法及相关电子设备。
背景技术
人眼具有颜色恒常性,即当照射物体表面光的颜色发生变化时,人们对该物体表面颜色的知觉仍然保持不变的知觉特性,由于摄像机内用于将光信号转化为电信号的电荷耦合元件电路(Charge-coupled Device,CCD)或CMOS电路没有办法像人眼一样会对光源的颜色变化进行修正。因此,需要通过白平衡算法来估计捕获图像光源的色度值,并通过估计的光源色度值来调整图像颜色,从而消除拍摄环境光源的色温对于图像颜色的影响,处理后的图像颜色不会受到拍摄环境光源的CCT的影响,从而导致图像发生偏色的问题。
发明内容
本申请实施例提供了一种图像处理方法及相关电子设备,解决了在极低照度环境下,拍摄出来的图像发生偏色的问题。
第一方面,本申请实施例提供了一种图像处理方法,应用于包括摄像头的电子设备,方法包括:响应第一操作,启动相机应用;显示第一界面,第一界面包括第一控件和预览区域,预览区域用于显示摄像头实时采集的图像;响应于针对第一控件的第二操作,计算第一白点和第二白点,第一白点为第一图像的白点,第二白点为第二图像的白点,第一图像为第一传感器输出的Normal帧图像,第二图像为第一传感器输出的长曝光RAW图;将第一白点和第二白点进行融合,得到第三白点;基于所述第三白点计算得到目标白平衡参数;根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图;显示第二界面,第二界面包括图片预览区域,图片预览区域显示第五图像,第五图像为白平衡处理后的RAW图对应的图像。
在上述实施例中,在极低照度环境下,电子设备通过计算预览帧图像(Normal帧图像)和长曝光图像的白点,并把这两个白点进行融合,得到融合后的白点。然后,电子设备根据融合后的白点计算白平衡参数,并使用该白平衡参数对拍摄图像进行白平衡处理,得到处理后的图像。由于长曝光图像的曝光时间长,传感器获取的光的信号更多,这就使得在极低照度环境下,长曝光图像的像素值比Normal图像的像素值高,长曝光图像的像素值就更高。对于像素值越高的图像,计算的白点就越准确,进而使得计算出的白平衡参数更准确。因此,在极低照度环境下,相较于仅用Normal帧图像的白平衡参数对拍摄图像进行白平衡处理,使用融合后白点计算出的白平衡参数对拍摄图像进行白平衡处理的效果更好,更能有效地解决图像偏色的问题。
结合第一方面,在一种可能实现的方式中,计算第一白点和第二白点,包括:通过传统AWB算法计算第一图像的第一白点和/或第二图像的第二白点;或者,通过AI AWB算法计算第一图像的第一白点和/或第二图像的第二白点。这样,以便电子设备根据第一白点和第二白点使用的白平衡算法,来确定第一白点和第二白点的融合比例,进而使得第三白点的准确率更高,从而对拍摄图像进行白平衡处理的效果更好。
结合第一方面,在一种可能实现的方式中,计算第一白点和第二白点之前,还包括:将第一图像进行黑电平校正和镜头阴影校正处理;将第二图像进行黑电平校正和镜头阴影校正处理。这样,可以解决第一图像和第二图像黑阶不够黑、图像整体呈现雾状、不够通透、产生色偏等问题;以及第一图像和第二图像边角偏暗(就是所谓的暗角),中心和四周颜色不一致(体现出来一般为中心或者四周偏色)的问题。
结合第一方面,在一种可能实现的方式中,将第一白点和第二白点进行融合,得到第三白点,具体包括:计算第一白点对应的第一置信度和第二白点对应的第二置信度;根据第一置信度、第一白点、第二置信度、第二白点得到第三白点。
结合第一方面,在一种可能实现的方式中,计算第一白点对应的第一置信度和第二白点对应的第二置信度,具体包括:若计算第一白点和第二白点使用的算法均为相同的AWB算法,或者计算第一白点的算法为AI AWB算法,计算第二白点的算法为传统AWB算法时,将第一置信度设置为0,第二置信度设置为1;若计算第一白点使用的算法为传统AWB算法,计算第二白点的算法为AI AWB算法时,根据第一白点和第二白点的差异程度计算第一置信度和第二置信度。这样,第一白点和第二白点使用相同白平衡算法的情况下,由于传感器在生成长曝光图像的过程中进光量较多,使得长曝光图像中环境光的信息更多。由于环境光的信息越多,计算的白点越准确。因此,在第一白点和第二白点使用同一种AWB算法的情况下,电子设备优先使用第二白点对拍摄图像进行白平衡处理的效果更好。当第一白点使用AI AWB算法计算得到,第二白点使用传统AWB算法计算得到。由于AI AWB算法是基于训练好的神经网络来计算图像的白点,应用场景有限,若遇到未训练过的应用场景,使用AI AWB算法计算出来的白点的准确率低。由此可见,相较于AI AWB算法,传统白平衡算法的可靠性更高。因此,在综合长曝光图像比Normal帧图像的环境光信息越多,且使用的AWB算法更可靠这两种因素,将第二置信度置1,即:使用第二白点对拍摄图像进行白平衡处理的效果更好。
结合第一方面,在一种可能实现的方式中,计算第一白点的第一置信度和第二白点的第二置信度,具体包括:若计算第一白点和第二白点使用的算法均为相同的AWB算法,或者计算第一白点的算法为AI AWB算法,计算第二白点的算法为传统AWB算法时,将第一置信度设置为0,第二置信度设置为1;若计算第一白点使用的算法为传统AWB算法,计算第二白点的算法为AI AWB算法时,将第一置信度置为w1,将第二置信度置为w2。优选的,w1小于w2,w1可以为0.2,w1可以为0.8。
结合第一方面,在一种可能实现的方式中,根据第一白点和第二白点击的差异程度计算第一置信度和第二置信度,具体包括:计算第一白点和第二白点的第一差异值和第二差异值;根据第一差异值计算第三置信度,根据第二差异值计算第四置信度;根据第三置信度和第四置信度计算第一置信度和第二置信度。
结合第一方面,在一种可能实现的方式中,根据第一白点和第二白点的差异程度计算第一置信度和第二置信度,具体包括:计算第一白点和第二白点的第一差异值和第二差异值;计算第一差异值和第二差异值差值的绝对值;在该差值的绝对值小于或等于第一阈值的情况下,将第一置信度置为w1,将第二置信度置为w2。优选的,w1小于w2,w1可以为0.2,w2可以为0.8。
结合第一方面,在一种可能实现的方式中,计算第一白点和第二白点的第一差异值和第二差异值,具体包括:根据公式RgCoeff=Rg_c/Rg_p计算第一差异值;根据公式BgCoeff=Bg_c/Bg_p计算第二差异值;其中,RgCoeff为第一差异值,BgCoeff为第二差异值,Rg_c和Bg_c为第二白点,Rg_p和Bg_p为第一白点。
结合第一方面,在一种可能实现的方式中,计算第一白点和第二白点的第一差异值和第二差异值,具体包括:根据公式RgCoeff=|Rg_c-Rg_p|计算第一差异值;根据公式BgCoeff=|Bg_c-Bg_p|计算第二差异值;其中,RgCoeff为第一差异值,BgCoeff为第二差异值,Rg_c和Bg_c为第二白点,Rg_p和Bg_p为第一白点。
结合第一方面,在一种可能实现的方式中,根据第一差异值计算第三置信度,具体包括:若第一差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第三置信度置为0;将第一标志设置为第一标识;若第一差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfRg=(RgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算第三置信度,ConfRg为第三置信度,RgCoeff为第一差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第一标志设置为第二标识;若第一差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfRg=(wpthMax1-RgCoeff)/(wpthMax1-wpthMax2)计算第三置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第一标志设置为第二标识;若第一差异值大于第二下限阈值小于第二上限阈值,将第三置信度置为1;将第一标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值。
结合第一方面,在一种可能实现的方式中,根据第一差异值计算第三置信度,具体包括:若第一差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第三置信度置为0;将第一标志设置为第一标识;若第一差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfRg=(RgCoeff-wpthMin1)*k1/(wpthMin2-wpthMin1)计算第三置信度,ConfRg为第三置信度,RgCoeff为第一差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第一标志设置为第二标识;若第一差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfRg=(wpthMax1-RgCoeff)*k2/(wpthMax1-wpthMax2)计算第三置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第一标志设置为第二标识;若第一差异值大于第二下限阈值小于第二上限阈值,将第三置信度置为1;将第一标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值;其中,k1为第一系数,k2为第二系数,k1和k2均小于1大于0,k1和k2可以由实验值得到,也可以由历史数据得到,还可以由经验值得到,本申请实施例不做限制。
结合第一方面,在一种可能实现的方式中,根据第二差异值计算第四置信度,具体包括:若第二差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第四置信度置为0;将第二标志设置为第一标识;若第二差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfBg=(BgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算第四置信度,ConfBg为第四置信度,BgCoeff为第二差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第二标志设置为第二标识;若第二差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfBg=(wpthMax1-BgCoeff)/(wpthMax1-wpthMax2)计算第四置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第二标志设置为第二标识;若第二差异值大于第二下限阈值小于第二上限阈值,将第四置信度置为1;将第二标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值。
结合第一方面,在一种可能实现的方式中,根据第二差异值计算第四置信度,具体包括:若第二差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第四置信度置为0;将第二标志设置为第一标识;若第二差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfBg=(BgCoeff-wpthMin1)*k1/(wpthMin2-wpthMin1)计算第四置信度,ConfBg为第四置信度,BgCoeff为第二差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第二标志设置为第二标识;若第二差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfBg=(wpthMax1-BgCoeff)*k2/(wpthMax1-wpthMax2)计算第四置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第二标志设置为第二标识;若第二差异值大于第二下限阈值小于第二上限阈值,将第四置信度置为1;将第二标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值;其中,k1为第一系数,k2为第二系数,k1和k2均小于1大于0,k1和k2可以由实验值得到,也可以由历史数据得到,还可以由经验值得到,本申请实施例不做限制。
结合第一方面,在一种可能实现的方式中,根据第三置信度和第四置信度计算第一置信度和第二置信度,具体包括:在第一标志为第一标识或第二标志为第一标识的情况下,将第一置信度置1,第二置信度置0;在第一标志和第二标志均不为第一标识的情况下,判断第一标志和第二标志是否均为第三标识;若判断为是,将第一置信度置0,第二置信度置1;若判断为否,根据公式Confidence_B=ConfRg*ConfBg、Confidence_A=1-Confidence_B计算第一置信度和第二置信度;其中,Confidence_A为第一置信度,Confidence_B为第二置信度,ConfRg为第三置信度,ConfBg为第四置信度。
结合第一方面,在一种可能实现的方式中,根据第三置信度和第四置信度计算第一置信度和第二置信度,具体包括:在第一标志为第一标识或第二标志为第一标识的情况下,将第一置信度置0.9,第二置信度置0.1;在第一标志和第二标志均不为第一标识的情况下,判断第一标志和第二标志是否均为第三标识;若判断为是,将第一置信度置0.15,第二置信度置0.85;若判断为否,根据公式Confidence_B=k3*ConfRg*ConfBg、Confidence_A=1-Confidence_B计算第一置信度和第二置信度;其中,Confidence_A为第一置信度,Confidence_B为第二置信度,ConfRg为第三置信度,ConfBg为第四置信度,k3为0~1之间的系数。
结合第一方面,在一种可能实现的方式中,目标RAW图包括第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
结合第一方面,在一种可能实现的方式中,根据目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图,具体包括:根据目标白平衡参数对目标RAW图进行白平衡处理,得到处理后的RAW图;将处理后的RAW图进行融合得到白平衡处理后的RAW图。
结合第一方面,在一种可能实现的方式中,目标RAW图为:将第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
结合第一方面,在一种可能实现的方式中,根据目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示第二界面之前,还包括:将白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;将第三图像进行YUV域处理,得到第四图像;将第四图像进行JPEG处理,得到第五图像。
第二方面,本申请实施例提供了一种图像处理方法,应用于包括摄像头的电子设备,该方法包括:响应第一操作,启动相机应用;显示第一界面,所述第一界面包括第一控件和预览区域,所述预览区域用于显示所述摄像头实时采集的图像;响应于针对所述第一控件的第二操作,计算第二白点,所述第二白点为第二图像的白点,所述第二图像为所述第一传感器输出的长曝光RAW图;根据所述第二白点对目标RAW图进行白平衡处理得到白平衡处理后的RAW图;显示第二界面,所述第二界面包括图片预览区域,所述图片预览区域显示第五图像,所述第五图像为所述白平衡处理后的RAW图对应的图像。
在上述实施例中,由于在极低照度环境下,长曝光图像的环境光信息多,从而使得长曝光图像的像素值更高。因此,基于长曝光图像计算出来的白点更准确,使用该白点计算的白平衡参数对图像进行白平衡校正的效果更好。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、显示屏、摄像头、传感器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:启动相机应用;通过显示屏显示第一界面,第一界面包括第一控件和预览区域,预览区域用于显示摄像头实时采集的图像;响应于针对第一控件的第二操作,计算第一白点和第二白点,第一白点为第一图像的白点,第二白点为第二图像的白点,第一图像为第一传感器输出的Normal帧图像,第二图像为第一传感器输出的长曝光RAW图;将第一白点和第二白点进行融合,得到第三白点;根据第三白点得到目标白平衡参数;根据目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图;通过显示屏显示第二界面,第二界面包括图片预览区域,图片预览区域显示第五图像,第五图像为白平衡处理后的RAW图对应的图像。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:计算第一白点和第二白点,包括:通过传统AWB算法计算第一图像的第一白点和/或第二图像的第二白点;或者,通过AI AWB算法计算第一图像的第一白点和/或第二图像的第二白点。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:计算第一白点和第二白点之前,还包括:将第一图像进行黑电平校正和镜头阴影校正处理;将第二图像进行黑电平校正和镜头阴影校正处理。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:将第一白点和第二白点进行融合,得到第三白点,具体包括:计算第一白点的第一置信度和第二白点的第二置信度;根据第一置信度、第一白点、第二置信度、第二白点得到第三白点。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:计算第一白点对应的第一置信度和第二白点对应的第二置信度,具体包括:若计算第一白点和第二白点使用的算法均为相同的AWB算法,或者计算第一白点的算法为AI AWB算法,计算第二白点的算法为传统AWB算法时,将第一置信度设置为0,第二置信度设置为1;若计算第一白点使用的算法为传统AWB算法,计算第二白点的算法为AI AWB算法时,根据第一白点和第二白点的差异程度计算第一置信度和第二置信度。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据第一白点和第二白点的差异程度计算第一置信度和第二置信度,具体包括:计算第一白点和第二白点的第一差异值和第二差异值;根据第一差异值计算第三置信度,根据第二差异值计算第四置信度;根据第三置信度和第四置信度计算第一置信度和第二置信度。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:计算第一白点和第二白点的第一差异值和第二差异值,具体包括:根据公式RgCoeff=Rg_c/Rg_p计算第一差异值;根据公式BgCoeff=Bg_c/Bg_p计算第二差异值;其中,RgCoeff为第一差异值,BgCoeff为第二差异值,Rg_c和Bg_c为第二白点,Rg_p和Bg_p为第一白点。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据第一差异值计算第三置信度,具体包括:若第一差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第三置信度置为0;将第一标志设置为第一标识;若第一差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfRg=(RgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算第三置信度,ConfRg为第三置信度,RgCoeff为第一差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第一标志设置为第二标识;若第一差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfRg=(wpthMax1-RgCoeff)/(wpthMax1-wpthMax2)计算第三置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第一标志设置为第二标识;若第一差异值大于第二下限阈值小于第二上限阈值,将第三置信度置为1;将第一标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据第二差异值计算第四置信度,具体包括:若第二差异值小于或等于第一下限阈值,或第一差异值大于或等于第一上限阈值,将第四置信度置为0;将第二标志设置为第一标识;若第二差异值大于第一下限阈值,小于或等于第二下限阈值,根据公式ConfBg=(BgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算第四置信度,ConfBg为第四置信度,BgCoeff为第二差异值,wpthMin1为第一下限阈值,wpthMin2为第二下限阈值;将第二标志设置为第二标识;若第二差异值大于或等于第二上限阈值,小于第一上限阈值,根据公式ConfBg=(wpthMax1-BgCoeff)/(wpthMax1-wpthMax2)计算第四置信度,wpthMax1为第一上限阈值,wpthMax2为第二上限阈值;将第二标志设置为第二标识;若第二差异值大于第二下限阈值小于第二上限阈值,将第四置信度置为1;将第二标志设置为第三标识;其中,第一下限阈值小于第二下限阈值,第二下限阈值小于第二上限阈值,第二上限阈值小于第一上限阈值。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据第三置信度和第四置信度计算第一置信度和第二置信度,具体包括:在第一标志为第一标识或第二标志为第一标识的情况下,将第一置信度置1,第二置信度置0;在第一标志和第二标志均不为第一标识的情况下,判断第一标志和第二标志是否均为第三标识;若判断为是,将第一置信度置0,第二置信度置1;若判断为否,根据公式Confidence_B=ConfRg*ConfBg、Confidence_A=1-Confidence_B计算第一置信度和第二置信度;其中,Confidence_A为第一置信度,Confidence_B为第二置信度,ConfRg为第三置信度,ConfBg为第四置信度。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图,具体包括:根据目标白平衡参数对目标RAW图进行白平衡处理,得到处理后的RAW图;将处理后的RAW图进行融合得到白平衡处理后的RAW图。
结合第三方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:根据目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示第二界面之前,还包括:将白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;将第三图像进行YUV域处理,得到第四图像;将第四图像进行JPEG处理,得到第五图像。
第四方面,本申请实施例提供了一种电子设备,包括:触控屏、摄像头、一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法或第二方面或第二方面的任意一种可能实现的方式所述的方法。
第五方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法或第二方面或第二方面的任意一种可能实现的方式所述的方法。
第六方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法或第二方面或第二方面的任意一种可能实现的方式所述的方法。
第七方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法或第二方面或第二方面的任意一种可能实现的方式所述的方法。
附图说明
图1A-图1B是本申请实施例提供的在不同光源条件下的一组示例性图像;
图2A-图2C是本申请实施例提供的一组示例性的电子设备用户界面图;
图3是本申请实施例提供的一种图像处理方法的系统框架图;
图4是本申请实施例提供的一种图像显示方法的流程图;
图5是本申请实施例提供的自动白平衡框架模块的结构图;
图6是本申请实施例提供的一种计算置信度的流程图;
图7是本申请实施例提供的一种计算第一置信度和第二置信度的流程图;
图8是本申请实施例提供的电子设备100的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例,也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元,或者可选地,还包括没有列出的步骤或单元,或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前,应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本说明书中使用的术语“部件”、“模块”、“系统”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如,单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外,这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一单元交互的第二单元数据。例如,通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
本申请中所述的Sensor指的是CMOS传感器或CCD图像感应器。
人眼具有颜色恒常性,即当照射物体表面光的颜色发生变化时,人们对该物体表面颜色的知觉仍然保持不变的知觉特性,由于摄像机内用于将光信号转化为电信号的电荷耦合元件电路(Charge-coupled Device,CCD)或CMOS电路没有办法像人眼一样会对光源的颜色变化进行修正。因此,需要通过白平衡算法来估计捕获图像光源的色度值,并通过估计的光源色度值来调整图像颜色,从而消除拍摄环境光源的色温对于图像颜色的影响,处理后的图像颜色不会受到拍摄环境光源的CCT的影响,从而导致图像发生偏色的问题。
例如,图1A为在不对图像进行白平衡调节的情况下,在不同光源条件下的一组示例性图像。如图1A所示,图像1、图像2和图像3为同一拍摄环境拍摄的图像,在该拍摄环境中存在电灯11和白板12,且电灯11为该拍摄环境的唯一光源,电灯11可以发出三种颜色的光(颜色1~颜色3)白板12所处的位置位于电灯11的照明范围之内。图像1为电灯11的灯光颜色为颜色1时所拍摄的图像,图像2为电灯11的灯光颜色为颜色2时所拍摄的图像,图像3为电灯11的灯光颜色为颜色3时所拍摄的图像。由图1A可知,在未对图像进行白平衡处理的情况下,图像1中白板的颜色会随着电灯灯光变化而变化,即:在图像1中,白板的颜色为颜色1,在图像2中,白板的颜色为颜色2,在图像3中,白板的颜色为颜色3。
图1B为在上述图1A的同一拍摄环境下,对拍摄图像进行白平衡处理后的一组示例性图像。如图1B所示,图像1为电灯13的灯光颜色为颜色1时所拍摄的图像,图像2为电灯13的灯光颜色为颜色2时所拍摄的图像,图像3为电灯13的灯光颜色为颜色3时所拍摄的图像。由图1B可知,在对图像1~图像3进行白平衡处理的情况下,图像1~图像3中白板的颜色不会随着电灯13的灯光颜色而有所变化,即:当电灯13的灯光颜色为颜色1时,白板的颜色为白色,当电灯的灯光颜色为颜色2时,白板的颜色为白色,当电灯的灯光颜色为颜色3时,白板的颜色为白色。
由图1A-图1B可知,对图像进行白平衡处理,可以减少拍摄环境光源对图像颜色的影响,使得图像中的拍摄对象在不同光源环境下都能保持其原本的颜色,即:不管电灯的光源的相关色温,图像中白板给人的视觉效果依然是白色。
在极低照度的拍摄场景(光线较暗的拍摄场景)下,电子设备可以通过以下两种方式对摄像头采集的图像进行白平衡处理:
第一种方式:电子设备通过预览图像(Normal帧图像)计算图像中白点的AWB Gain值。然后,使用该AWB Gain值来对图像进行白平衡处理。
第二种方式:电子设备在拍照时,将多帧Normal帧图像(例如,拍摄界面中的预览图像)进行融合,得到融合后的图像。然后,计算融合后的图像的白点的AWB Gain值。电子设备根据该AWB Gain值来对图像进行白平衡处理。
但是,在极低拍摄场景下,由于其光线较暗。因此,进入电子设备的摄像头中的光线就较少,使得CMOS传感器或CCD图像感应器等传感器捕捉到的光源信号较少。这就造成图像的像素值很小,噪声大。当使用上述第一种方法时,在对预览图像进行AWB统计的结果无法准确反映拍摄场景的颜色,从而导致计算出来的AWB Gain值不准确,进而影响对图像进行白平衡处理的效果,造成图像偏色。
当使用上述第二种方法时,使用多帧Normal帧融合图像计算图像白点的AWB Gain值虽然会在一定程度上减少噪声的影响。但是,也会存在诸如黑电平校正(Black LevelCorrection,BLC)截断、噪声残留、数据精度等问题导致计算融合图像的AWB Gain值准确度低,进而影响电子设备对图像进行白平衡处理的效果,造成图像偏色。
因此,为了解决在极低照度的拍摄场景下,电子设备对图像进行白平衡处理效果差的问题,本申请实施例提供了一种图像处理方法,该方法包括:在拍照过程中,电子设备选取最长曝光帧图像做AWB统计,基于该AWB统计计算该长曝光帧图像白点的AWB Gain值。此外,电子设备计算预览帧图像白点的AWB Gain值。将长曝光帧图像白点的AWB Gain值与预览帧图像白点的AWB Gain值进行融合,得到融合后的AWB Gain值。最后,电子设备使用融合后的AWB Gain值对图像进行白平衡处理。
下面,对本申请实施例提供一种图像处理方法的应用场景进行介绍。图2A-图2C是本申请实施例提供的一组示例性的电子设备用户界面图。如图2A所示为电子设备100的用户界面20,用户界面20是电子设备100的主界面。在电子设备100的主界面中包括一个或多个应用图标。当电子设备100检测到针对相机图标201的输入操作(例如,单击)后,响应该输入操作,电子设备100启动相机应用,并显示如图2B所示的用户界面21。
如图2B所示为用户界面21,用户界面21为电子设备100的拍摄界面。当前的拍摄场景为光线不足的夜晚,在该拍摄界面中包括预览区域211和拍摄控件212。其中,预览区域211用于显示电子设备100的摄像头实时采集的图像。如图2B所示,在预览区域211中显示的图像包括画板2111,画板2111在预览界面中的颜色为颜色1。在拍摄场景中,画板2111的颜色为颜色2。也就是说,在当前光线不足的拍摄场景下,电子设备100在预览界面中显示的预览图像中画板2111的颜色发生了偏色。当电子设备100检测到针对拍摄控件212的输入操作(例如,单击),响应该操作,电子设备100进行拍照,并显示如图2C所示的用户界面22。
如图2C所示为电子设备100的用户界面22,用户界面22为电子设备100的图库应用的预览界面。该预览界面用于显示电子设备100拍摄完成处理后的图片。由图2C可知,在电子设备100拍摄的图像中,画板221的颜色为颜色2,与拍摄场景下画板的颜色保持一致,未发生偏色的问题。
下面,对本申请实施例提供的一种图像处理方法的系统框架图进行介绍。请参见图3,图3是本申请实施例提供的一种图像处理方法的系统框架图。如图3所示,在拍照时,传感器Sensor(CMOS传感器或CCD图像感应器)会将预览最后图像(预览最后图像为Normal帧图像,经过一系列处理后可以在预览界面中显示,例如上述图2B中预览区域中显示的图像)通过黑电平校正和镜头阴影校正(Lens Shading Correction,LSC)处理后,通过第一AWB模块计算Normal帧图像的AWB Gain值,并将其发送给自动白平衡框架模块(AWB Framework)。此外,Sensor也会根据出帧策略输出多帧曝光程度不同的RAW图。例如,在图3中,Sensor输出m1帧短曝光RAW图、m2帧Normal帧图像(也是RAW图)以及m3帧长曝光RAW图。电子设备可以对这多帧曝光程度不同的RAW进行黑电平校正和镜头阴影校正。然后,电子设备可以在长曝光RAW图中选取最长曝光的一帧RAW图进行AWB统计,并将该AWB统计值发送给自动白平衡框架模块。然后,自动白平衡框架模块基于AWB统计值计算选取的长曝光RAW图白点,并将该白点和Normal帧图像(预览帧图像)的白点进行融合,从而得到融合后的白点,并根据融合后的白点计算AWB Gain值,并将计算出的AWB Gain值发送给第二AWB模块。此外,第二AWB模块还会接收经过黑电平校正和镜头阴影校正后多帧曝光程度不同的RAW图像。电子设备可以将这多帧曝光程度不同的RAW图像进行融合,得到融合后的图像,并将融合后的图像发送给第二AWB模块。然后,第二AWB模块可以使用自动白平衡框架模块发送的AWB Gain值对融合后的图像进行白平衡处理,得到白平衡处理后的RAW图。第二AWB模块可以将白平衡处理后的RAW图发送给“去马赛克模块”(Demosaic),将RAW图由RAW域转换到RGB域,再依次将图像通过RGB域处理、YUV域处理、JPEG处理,经过JPEG处理后的图像就是电子设备显示在预览界面上的图像(例如上述图2C实施例中的用户界面22)。
第一AWB模块计算出Normal帧图像(预览帧图像)的AWB Gain值后,可以通过其计算出的AWB Gain值来对该Normal帧图像进行白平衡处理,得到白平衡处理后的RAW图。第一AWB模块可以将白平衡处理后的RAW图发送给“去马赛克模块”(Demosaic),将该RAW图从RAW域转换到RGB域,再依次将图像通过RGB域处理、YUV域处理等一系列处理后的图像就是电子设备显示在拍摄界面的预览区域中的图像。
可选地,电子设备在将Sensor输出的多帧曝光程度不同的RAW图像进行黑电平校正和镜头阴影校正之前可以对这多帧RAW图像进行第一RAW域处理(对应图3中的RAWprocess1,第一RAW域处理可以为对图像进行去坏点处理)。在对这多帧RAW图像进行镜头阴影校正之后,可以对这多帧RAW图像进行第二RAW域处理(对应图3中的RAWprocess2,第二RAW域处理可以为对图像的对比度、亮度等进行调整)。将融合后的RAW图像由RAW域转换到RGB域之后,对图像进行YUV域处理之前,可以对图像进行RGB域处理(图3中的RGBProcess),例如,在对图像在RGB域进行CCM处理、Gamma处理、3DLUT/2DLUT处理等。
同理,电子设备在将Sensor输出的每一帧Normal帧图像(发送给第一AWB模块的Normal帧图像)进行黑电平校正和镜头阴影校正之前可以对每一帧Normal帧图像进行第一RAW process处理。在对每帧Normal帧图像进行镜头阴影校正之后,可以对Normal帧图像进行第二RAWprocess处理。将该Normal帧图像由RAW域转换到RGB域之后,对该图像进行YUV域之前,可以对图像进行RGB域处理。
下面,结合图4,对本申请实施例提供的一种图像处理方法的具体流程进行介绍。请参见图4,图4是本申请实施例提供的一种图像显示方法的流程图,具体流程如下:
S401:响应第一操作,电子设备启动相机应用。
具体地,第一操作可以为上述图2A实施例中,针对相机图标201的输入操作。电子设备在启动相机应用后,就可以启动摄像头,采集拍摄环境的图像。
S402:所述电子设备显示第一界面,所述第一界面包括第一控件和预览区域,所述预览区域用于显示所述电子设备的摄像头实时采集的图像。
具体地,电子设备启动相机应用后,可以启动摄像头采集图像,并将采集的图像实时显示在第二界面上。示例性的,第二界面可以为上述图2B实施例中的用户界面21,预览区域可以为上述图2B实施例中的预览区域211,第一控件可以为上述图2B实施例中拍摄控件212。
其中,电子设备可以将摄像头采集的图像实时显示在第二界面的过程可以为:在电子设备的摄像头中包括传感器Sensor,该Sensor可以为CMOS传感器或CCD图像感应器。Sensor在采集到的环境光之后,会将捕捉到的光源信号转换为数字信号的原始数据从而输出RAW图。其中,在第二界面中显示的图像对应的RAW图为Normal帧图像。电子设备在将输出的Normal帧图像进行黑电平校正和镜头阴影校正处理后,将处理后的图像通过AWB算法进行处理,从而计算出该帧RAW图像对应的白平衡参数。该白平衡参数可以为该帧RAW图像的自动白平衡增益值,即:AWB Gain值。AWBGain值为图像在三颜色通道(分别为红色通道R、绿色通道G、蓝色通道B)中的增益值,分别记为Rgain、Ggain(Ggain=1)和Bgain。AWB Gain值可以通过图像的白点(图像的白点为Rg、Bg,其中Rg、Bg可以通过白平衡算法计算得到)计算得到,即:Rgain=1/Rg,Bgain=1/Bg。电子设备可以通过计算出来的白平衡参数对Normal帧图像进行白平衡处理,将白平衡处理后的RAW图从RAW域转换到RGB域、进行RGB域处理(RGBprocess)、YUV域处理等一系列处理,最后将处理后的图像显示在拍摄界面的预览区域上。
S403:响应于针对所述第一控件的第二操作,所述电子设备计算第一白点和第二白点,所述第一白点为第一图像的白点,所述第一图像为所述电子设备的第一传感器输出的Normal帧图像,所述第二白点为第二图像的白点,所述第二图像为所述第一传感器输出的长曝光图像。
具体地,第一控件可以为上述图2B实施例中的拍摄控件212,第二操作可以为上述图2B实施例中针对拍摄控件212的输入操作。第一白点与第一白平衡参数对应,第一白平衡参数可以为第一图像的自动白平衡增益值(即第一图像的AWB Gain值)。第二白点与第二白平衡参数对应,第二白平衡参数可以为第二图像的自动白平衡增益值(即第二图像的AWBGain值)。第一图像可以为第一传感器输出的Normal帧图像。其中,Normal帧图像可以分为两种情况:
第一种情况:Normal帧图像可以为Sensor输出的图像,该Normal帧图像经过白平衡处理、RAW域转换到RGB域、YUV域处理等一系列处理之后,最后显示在拍摄界面预览区域中的图像(例如,上述图2B实施例中,用户界面21中的预览区域211中显示的图像)。例如,上述图3中的流程1中的Normal帧图像。
第二种情况:Normal帧图像可以为Sersor根据出帧策略输出多帧曝光程度不同的RAW图像中的Normal帧图像(例如,上述图3实施例中流程2中的Normal帧图像)。该Normal图像可以用于与长曝光图像、短曝光图像进行不同程度的融合,得到融合后的图像。该融合后的图像经过一系列处理后,最终得到拍摄图像(即:用户在拍摄之后,可以在图库中浏览的最终成效的图像)。
第二图像为Sensor根据出帧策略输出的多帧曝光程度不同的RAW图中的长曝光图像。可选地,当Sensor输出多帧长曝光RAW图的情况下,电子设备可以选取曝光时间最长的长曝光图像作为第二图像。这样,在极低照度的拍摄环境下,曝光时间越长,Sensor获取的光信号就越多,第二图像的像素值就相对较大,电子设备计算第二图像的白点的准确性就越高。
电子设备可以通过传统的AWB算法(例如,灰度世界算法)计算第一白点。电子设备也可以通过AI AWB算法(例如,通过一个训练好的AI模型计算图像的白点)计算第一白点,本申请实施例对此不做限制。
电子设备计算第二白点之前,可以先对第二图像进行AWB统计,得到第二图像的AWB统计值。然后,电子设备根据第二图像的AWB统计值计算第二白点。电子设备可以通过传统的AWB算法(例如,灰度世界算法)计算第二白点,也可以通过AI AWB算法计算第二白点。本申请实施例不做限制。
可选地,电子设备在计算第一白点和第二白点之前,可以对Sensor输出的所有RAW图进行黑电平校正,从而解决图像黑阶不够黑、图像整体呈现雾状,不够通透、产生色偏等问题。
可选地,电子设备在计算第一白点和第二白点之前,可以对Sensor输出的所有RAW图进行镜头阴影校正处理,从而解决图像边角偏暗(就是所谓的暗角),中心和四周颜色不一致(体现出来一般为中心或者四周偏色)的问题。
可选地,电子设备在计算第一白点和第二白点之前,可以对Sensor输出的所有RAW图进行RAW Process处理。
S404:所述电子设备根据第一白点和所述第二白点,得到目标白平衡参数。
具体地,电子设备在计算出第一白点和第二白点后,可以对第一白点和第二白点进行融合,得到第三白点。
如图5所示为电子设备的自动白平衡框架模块(AWB FW模块),在AWB FW模块中包括预览图像AWB模块(Preview AWB模块)、长帧图像AWB模块(Long Frame AWB模块)、AWB融合模块(AWB Merge模块)。其中,预览图像AWB模块用于计算第一白点,长帧图像AWB模块用于计算第二白点,AWB融合模块用于将第一白点和第二白点进行融合,从而得到第三白点。电子设备将Preview AWB模块计算第一白点使用的方法记为第一方法(第一方法为传统AWB算法或AIAWB算法;为了便于说明,本申请实施例示例性地将第一方法表示为A),将LongFrame AWB模块计算第二白点使用的方法记为第二方法(第二方法为传统AWB算法或AIAWB算法;为了便于说明,本申请实施例示例性地将第二方法表示为B)。电子设备将PreviewAWB模块的置信度记为第一置信度(Confidence_A),将Long Frame AWB的置信度记为第二置信度(Confidence_B)。那么,AWB Merge模块将第一白点和第二白点进行融合,得到第三白点主要分为以下四种情况:
第一种情况:第一方法为传统AWB算法,第二方法为传统AWB算法。
第二种情况:第一方法为AI AWB算法,第二方法为AI AWB算法。
第三种情况:第一方法为AI AWB算法,第二方法为传统AWB算法。
第四种情况:第一方法为传统AWB算法,第二方法为AI AWB算法。
对于第一种情况和第二种情况,由于第一方法和第二方法都是使用的同一种算法计算白点。由于第一图像为Normal帧图像,第二图像为长曝光图像,由于第二图像的曝光时间更长,Sensor获取的光信号就越多,第二图像相较于第一图像而言的像素值就会越大,这使得电子设备在使用同一种方法计算第一图像和第二图像的白点的情况下,像素值大的图像(第二图像)的白点的准确性就越大。因此,基于以上考虑,对于第一种情况和第二种情况,AWB Merge模块可以将Confidence_A置0,将Confidence_B置1。
对于第三种情况,AI AWB算法是基于AI模型来计算白点的,相较于传统AWB算法而言,AI模型需要大量的训练样本。对于AI模型训练过的场景,AI模型输出的白点的准确度很高。对于AI模型未训练过的场景,AI模型输出的白点的准确度很低。因此,对于输入给AI模型的图片对应的场景为AI模型未训练过的场景的情况下,AI模型输出的图像的白点的准确性较低。此外,考虑到第一图像(Normal帧图像)和第二图像像素值的差异。在AI AWB算法应用场景有限以及第二图像的像素值较高的情况下,AWB Merge模块可以将Confidence_A置0,将Confidence_B置1。
对于第四种情况:AWB Merge模块可以根据第一白点和第二白点的差异程度动态计算Confidence_A和Confidence_B。下面,结合图6对AWB Merge模块根据第一白点和第二白点的差异程度动态计算Confidence_A和Confidence_B的流程进行示例性地说明。请参见图6,图6是本申请实施例提供的一种计算置信度的流程图,具体流程如下:
S601:所述AWB Merge模块设置第一下限阈值、第二下限阈值、第一上限阈值以及第二上限阈值。
具体地,第一下限阈值wpthMin1小于第二下限阈值wpthMin2,wpthMin2小于第二上限阈值wpthMax2,wpthMax2小于第一上限阈值wpthMax1。
其中,wpthMin1、wpthMin2、wpthMax1以及wpthMax2可以基于历史数据得到,也可以基于经验值得到,还可以基于大量实验数据得到,本申请实施例对此不做限制。
S602:所述AWB Merge模块计算第一白点和第二白点的第一差异值和第二差异值,第一白点与第一白平衡参数对应,第二白点与第二白平衡参数对应。
具体地,第一白点可以为Rg_p、Bg_p,第白点可以为Rg_c、Bg_c。其中,第一白点与第一白平衡参数对应,第二白点与第二白平衡参数对应。第一差异值RgCoeff用于表征第一白点和第二白点在Rg方向上的差异程度,即:RgCoeff=Rg_c/Rg_p。第一差异值越大,第一白点和第二白点在Rg方向上的差异程度就越大。第一差异值越小,第一白点和第二白点在Rg方向上的差异程度就越小。第二差异值BgCoeff用于表征第一白点和第二白点在Bg方向上的差异程度,即:BgCoeff=Bg_c/Bg_p。第二差异值越大,第一白点和第二白点在Bg方向上的差异程度就越大。第二差异值越小,第一白点和第二白点在Bg方向上的差异程度就越小。
S603:所述AWB Merge模块根据第一差异值计算第三置信度,根据第二差异值计算第四置信度。
具体地,第三置信度ConfRg为第一方法在Rg方向上的置信度,第四置信度ConfBg为第二方法在Bg方向上的置信度。
AWB Merge模块根据RgCoeff计算ConfRg的方式可以为:
若RgCoeff小于或等于wpthMin1,或者RgCoeff大于或等于wpthMax1,则将ConfRg置0,并将RgFlag设置为第一标识(例如,RgFlag=1)。
若RgCoeff大于wpthMin1,小于或等于wpthMin2,则ConfRg=(RgCoeff-wpthMin1)/(wpthMin2-wpthMin1),并将RgFlag设置为第二标识(例如,RgFlag=2)。
若RgCoeff大于或等于wpthMax2,小于wpthMax1,则ConfRg=(wpthMax1-RgCoeff)/(wpthMax1-wpthMax2),并将RgFlag设置为第二标识(例如,RgFlag=2)。
若RgCoeff大于wpthMin2,小于wpthMax2,则ConfRg=1,并将RgFlag设置为第三标识(例如,RgFlag=3)。
同理,AWB Merge模块根据BgCoeff计算ConfBg的方式可以为:
若BgCoeff小于或等于wpthMin1,或者BgCoeff大于或等于wpthMax1,则将ConfBg置0,并将Flag设置为第一标识(例如,BgFlag=1)。
若BgCoeff大于wpthMin1,小于或等于wpthMin2,则ConfBg=(BgCoeff-wpthMin1)/(wpthMin2-wpthMin1),并将BgFlag设置为第二标识(例如,BgFlag=2)。
若BgCoeff大于或等于wpthMax2,小于wpthMax1,则ConfBg=(wpthMax1-BgCoeff)/(wpthMax1-wpthMax2),并将BgFlag设置为第二标识(例如,BgFlag=2)。
若BgCoeff大于wpthMin2,小于wpthMax2,则ConfBg=1,并将BgFlag设置为第三标识(例如,BgFlag=3)。
S604:所述AWB Merge模块根据所述第三置信度和所述第四置信度计算所述第一置信度和所述第二置信度。
具体地,如图7所示为本申请实施例提供的一种计算第一置信度和第二置信度的流程图,具体流程如下:
S701:所述AWB Merge模块判断RgFlag和BgFlag中是否存在Flag为第一标识。
S702:在判断为是的情况下,所述AWB Merge模块将第一置信度置为1,第二置信度置为0。
S703:在判断为否的情况下,所述AWB Merge模块判断RgFlag和BgFlag是否均为第三标识。
S704:在RgFlag和BgFlag均为第三标识的情况下,所述AWB Merge模块将第一置信度置为0,将第二置信度置为1。
S705:在RgFlag和BgFlag不均为第三标识的情况下,所述AWB Merge模块分别根据公式Confidence_B=ConfRg*ConfBg、Confidence_A=1-Confidence_B计算第一置信度和第二置信度。
在S404中,AWB Merge模块可以根据不同的情况按照不同的方法计算第一置信度和第二置信度。AWB Merge模块在计算出第一置信度和第二置信度之后,可以根据第一置信度和第二置信度对第一白点和第二白点进行融合,从而得到第三白点,然后根据第三白点计算目标白平衡参数。具体地:
AWB Merge模块可以根据公式(1)~公式(4)得到目标白平衡参数,公式(1)~公式(4)如下所示:
R′g=Rg_p×Confidence_A+Rg_c×Confidence_B (1)
B′g=Bg_p×Confidence_A+Bg_c×Confidence_B (2)
R′gain=1/R′g (3)
B′gain=1/B′g (4)
其中,Rg_p和Bg_p是第一白点,Rg_c和Bg_c是第二白点,R′g和B′g是第三白点,R′gain和B′gain是目标白平衡参数。
应当理解的是,上述对第一白点和第二白点进行融合得到第三白点仅是本申请实施例列举的其中一种方法,本申请对于第一白点和第二白点的融合方法不做限制。
S405:所述电子设备根据所述目标白平衡参数对目标RAW图进行白平衡处理,得到白平衡处理后的RAW图像。
具体地,所述电子设备根据所述目标白平衡参数对目标RAW图进行白平衡处理,得到白平衡处理后的RAW图像可以分为两种情况:
第一种情况:目标RAW图可以为Sensor根据选帧策略输出的经过黑电平校正和镜头阴影校正处理后的多帧RAW图,在这多帧RAW图中包括一帧或多帧短曝光图像、一帧或多帧Normal帧图像以及一帧或多帧长曝光图像。可选地,目标RAW图还可以包括电子设备从零延时缓冲区(ZSL Bufier)中基于选帧算法筛选出的一帧或多帧Normal帧图像经过黑电平校正和镜头阴影校正处理的图像。电子设备可以根据公式(5)对每一帧目标RAW图进行白平衡处理,得到处理后的图像,公式(5)如下所示:
其中,Rji、Gji、Bji为第j帧目标RAW图的第i个像素处理前的RGB值,R′ji、G′ji、B′ji为第i帧目标RAW图的第i个像素处理后的RGB值。
然后,电子设备可以将通过上述公式(5)处理后的目标RAW图进行图像融合,从而得到融合后的RAW图,该融合后的RAW图就是白平衡处理后的RAW图像。
第二种情况:目标RAW图可以为Sensor根据选帧策略输出的经过黑电平校正和镜头阴影校正处理后的多帧RAW图后,将帧多帧RAW图进行融合后得到的RAW图。电子设备同样可以基于上述公式(5)对目标RAW图进行白平衡处理,从而得到白平衡处理后的RAW图。
S406:所述电子设备将白平衡处理后的RAW图像由RAW域转换到sRGB颜色空间,得到第三图像。
具体地,电子设备可以使用颜色校正矩阵(Color Correction Matrix,CCM)对白平衡处理后的图像进行色彩还原处理,从而将白平衡处理后的RAW图像由RAW域转换到sRGB颜色空间,得到第三图像。
电子设备可以在不同光源环境(典型的光源包括A、H、U30、TL84、D50、D65、D75等等)标定出一个大小为3x3的CCM,并存储在电子设备中。电子设备可以通过其计算的拍摄环境光源白点的RGB值来选择对应的CCM,若该白点的RGB值在两个光源之间(例如,拍摄环境光源白点的RGB值落在D50和D65之间),CCM可以由D50和D65进行线性插值所得到。例如,D50的颜色校正矩阵为CCM1,相关色温为CCT1,D60的颜色校正矩阵为CCM2,相关色温为CCT2,拍摄环境光源的相关色温为CCTa,电子设备可以根据公式(6)得到一个比例值g,公式(6)如下所示:
然后,电子设备可以根据公式(7)计算得到拍摄环境光源白点对应的CCM:
CCM=g*CCM1+(1-g)*CCM2 (7)
电子设备在计算出拍摄环境光源白点对应的CCM之后,电子设备可以通过公式(8)对对白平衡处理后的RAW图像的RGB值进行调节,得到第三图像,公式(8)如下所示:
其中,为白平衡处理后的RAW图像的第i个像素的RGB值,/>为第三图像第i个像素的RGB值,此时,第三图像为sRGB颜色空间中的图像。
应当理解的是,在上述实施例中,仅是对电子设备将RAW图像从RAW域转换到sRGB颜色空间的过程进行示例性的说明。电子设备还可以通过其它方法将RAW图像从RAW域转换到sRGB颜色空间,从而得到第三图像。本申请实施例对此不作限制。
S407:所述电子设备将第三图像进行YUV域处理,得到第四图像。
S408:所述电子设备将所述第四图像进行JPEG处理,得到第五图像。
S409:所述电子设备显示第二界面,所述第二界面包括图片预览区域,所述图片预览区域显示所述第五图像。
示例性的,第二界面可以为上述图2C实施例中的用户界面22。
在一些实施例中,电子设备在计算出第二白点之后,可以根据第二白点计算出第二白平衡参数(第二白平衡参数为第二图像对应的白平衡参数),并使用第二白平衡参数对图像进行白平衡处理,即:电子设备先计算第二图像的白点,再根据第二图像的白点计算第二白平衡参数,最后再根据第二白平衡参数对图像进行白平衡处理。其中,根据第二白平衡参数对图像进行白平衡处理的方式可以参见上述公式(3),在此不再赘述。
在本申请实施例中,极低照度的拍摄场景下,电子设备通过将长曝光图像帧的白点与Normal帧图像的白点根据其对应的置信度进行融合,从而得到融合后的白点。由于长曝光图像的像素值较Normal帧图像的像素值高(这是由于在长曝光时Sensor的进光量更多,获取的光信号更多),根据长曝光图像的白点计算出的白点的准确性就越高。因此,基于长曝光图像的白点和Normal帧图像的白点得到的融合后的白点相较于仅通过Normal帧图像的白点计算出的白点的准确性要高。根据融合后的白点计算出的白平衡参数的准确值就更高。因此,在极低照度的拍摄环境下,相较于使用仅通过Normal帧图像的白平衡参数对图像进行白平衡处理,使用融合后的白点计算出的白平衡参数对图像进行白平衡处理的效果更好,从而保证在极低照度环境下拍摄出的图像在偏色效果上有明显的优化。
下面对电子设备100的结构进行介绍。请参阅图8,图8是本申请实施例提供的电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图8示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图8示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM接口通信。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),BLE广播,全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上所述仅为本发明技术方案的实施例,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (34)
1.一种图像处理方法,其特征在于,应用于包括摄像头的电子设备,所述方法包括:
响应第一操作,启动相机应用;
显示第一界面,所述第一界面包括第一控件和预览区域,所述预览区域用于显示所述摄像头实时采集的图像;
响应于针对所述第一控件的第二操作,计算第一白点和第二白点,所述第一白点为第一图像的白点,所述第二白点为第二图像的白点,所述第一图像为第一传感器输出的Normal帧图像,所述第二图像为所述第一传感器输出的长曝光RAW图;
将所述第一白点和所述第二白点进行融合,得到第三白点;
基于所述第三白点计算得到目标白平衡参数;
根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图;
显示第二界面,所述第二界面包括图片预览区域,所述图片预览区域显示第五图像,所述第五图像为所述白平衡处理后的RAW图对应的图像。
2.如权利要求1所述的方法,其特征在于,所述计算第一白点和第二白点,包括:
通过传统AWB算法计算所述第一图像的第一白点和/或所述第二图像的第二白点;
或者,通过AI AWB算法计算所述第一图像的第一白点和/或所述第二图像的第二白点。
3.如权利要求1所述的方法,其特征在于,所述计算第一白点和第二白点之前,还包括:
将所述第一图像进行黑电平校正和镜头阴影校正处理;
将所述第二图像进行黑电平校正和镜头阴影校正处理。
4.如权利要求2所述的方法,其特征在于,所述计算第一白点和第二白点之前,还包括:
将所述第一图像进行黑电平校正和镜头阴影校正处理;
将所述第二图像进行黑电平校正和镜头阴影校正处理。
5.如权利要求1-4任一项所述的方法,其特征在于,所述将所述第一白点和所述第二白点进行融合,得到目标白平衡参数,具体包括:
计算所述第一白点对应的第一置信度和所述第二白点对应的第二置信度;
根据所述第一置信度、所述第一白点、所述第二置信度、所述第二白点得到所述第三白点。
6.如权利要求5所述的方法,其特征在于,所述计算所述第一白点对应的第一置信度和所述第二白点对应的第二置信度,具体包括:
若计算所述第一白点和所述第二白点使用的算法均为相同的AWB算法,或者计算所述第一白点的算法为AI AWB算法,计算所述第二白点的算法为传统AWB算法时,将所述第一置信度设置为0,所述第二置信度设置为1;
若计算所述第一白点使用的算法为传统AWB算法,计算所述第二白点的算法为AI AWB算法时,根据第一白点和第二白点的差异程度计算所述第一置信度和所述第二置信度,所述第一白点与所述第一置信度对应,所述第二白点与所述第二置信度对应。
7.如权利要求6所述的方法,其特征在于,所述根据第一白点和第二白点的差异程度计算所述第一置信度和所述第二置信度,具体包括:
计算所述第一白点和所述第二白点的第一差异值和第二差异值;
根据所述第一差异值计算第三置信度,根据所述第二差异值计算第四置信度;
根据所述第三置信度和所述第四置信度计算所述第一置信度和所述第二置信度。
8.如权利要求7所述的方法,其特征在于,所述计算所述第一白点和所述第二白点的第一差异值和第二差异值,具体包括:
根据公式RgCoeff=Rg_c/Rg_p计算所述第一差异值;
根据公式BgCoeff=Bg_c/Bg_p计算所述第二差异值;
其中,所述RgCoeff为所述第一差异值,所述BgCoeff为所述第二差异值,所述Rg_c和所述Bg_c为所述第二白点,所述Rg_p和所述Bg_p为所述第一白点。
9.如权利要求7-8任一项所述的方法,其特征在于,所述根据所述第一差异值计算第三置信度,具体包括:
若所述第一差异值小于或等于第一下限阈值,或所述第一差异值大于或等于第一上限阈值,将所述第三置信度置为0;
将第一标志设置为第一标识;
若所述第一差异值大于所述第一下限阈值,小于或等于第二下限阈值,根据公式ConfRg=(RgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算所述第三置信度,所述ConfRg为第三置信度,所述RgCoeff为所述第一差异值,所述wpthMin1为所述第一下限阈值,所述wpthMin2为所述第二下限阈值;
将所述第一标志设置为第二标识;
若所述第一差异值大于或等于第二上限阈值,小于所述第一上限阈值,根据公式ConfRg=(wpthMax1-RgCoeff)/(wpthMax1-wpthMax2)计算所述第三置信度,所述wpthMax1为所述第一上限阈值,所述wpthMax2为所述第二上限阈值;
将所述第一标志设置为第二标识;
若所述第一差异值大于所述第二下限阈值小于所述第二上限阈值,将所述第三置信度置为1;
将所述第一标志设置为第三标识;
其中,所述第一下限阈值小于所述第二下限阈值,所述第二下限阈值小于所述第二上限阈值,所述第二上限阈值小于所述第一上限阈值。
10.如权利要求7-8任一项所述的方法,其特征在于,所述根据所述第二差异值计算第四置信度,具体包括:
若所述第二差异值小于或等于第一下限阈值,或所述第一差异值大于或等于第一上限阈值,将所述第四置信度置为0;
将第二标志设置为第一标识;
若所述第二差异值大于所述第一下限阈值,小于或等于第二下限阈值,根据公式ConfBg=(BgCoeff-wpthMin1)/(wpthMin2-wpthMin1)计算所述第四置信度,所述ConfBg为第四置信度,所述BgCoeff为所述第二差异值,所述wpthMin1为所述第一下限阈值,所述wpthMin2为所述第二下限阈值;
将所述第二标志设置为第二标识;
若所述第二差异值大于或等于第二上限阈值,小于所述第一上限阈值,根据公式ConfBg=(wpthMax1-BgCoeff)/(wpthMax1-wpthMax2)计算所述第四置信度,所述wpthMax1为所述第一上限阈值,所述wpthMax2为所述第二上限阈值;
将所述第二标志设置为第二标识;
若所述第二差异值大于所述第二下限阈值小于所述第二上限阈值,将所述第四置信度置为1;
将所述第二标志设置为第三标识;
其中,所述第一下限阈值小于所述第二下限阈值,所述第二下限阈值小于所述第二上限阈值,所述第二上限阈值小于所述第一上限阈值。
11.如权利要求9所述的方法,其特征在于,所述根据所述第三置信度和所述第四置信度计算所述第一置信度和所述第二置信度,具体包括:
在第一标志为第一标识或第二标志为第一标识的情况下,将所述第一置信度置1,所述第二置信度置0;
在所述第一标志和所述第二标志均不为所述第一标识的情况下,判断所述第一标志和所述第二标志是否均为第三标识;
若判断为是,将所述第一置信度置0,所述第二置信度置1;
若判断为否,根据公式Confidence_B=ConfRg*ConfBg、Confidence_A=1-Confidence_B计算所述第一置信度和所述第二置信度;
其中,所述Confidence_A为所述第一置信度,所述Confidence_B为所述第二置信度,所述ConfRg为所述第三置信度,所述ConfBg为所述第四置信度。
12.如权利要求10所述的方法,其特征在于,所述根据所述第三置信度和所述第四置信度计算所述第一置信度和所述第二置信度,具体包括:
在第一标志为第一标识或第二标志为第一标识的情况下,将所述第一置信度置1,所述第二置信度置0;
在所述第一标志和所述第二标志均不为所述第一标识的情况下,判断所述第一标志和所述第二标志是否均为第三标识;
若判断为是,将所述第一置信度置0,所述第二置信度置1;
若判断为否,根据公式Confidence_B=ConfRg*ConfBg、Confidence_A=1-Confidence_B计算所述第一置信度和所述第二置信度;
其中,所述Confidence_A为所述第一置信度,所述Confidence_B为所述第二置信度,所述ConfRg为所述第三置信度,所述ConfBg为所述第四置信度。
13.如权利要求1-4、6-8、12任一项所述的方法,其特征在于,所述目标RAW图包括所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
14.如权利要求5所述的方法,其特征在于,所述目标RAW图包括所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
15.如权利要求9所述的方法,其特征在于,所述目标RAW图包括所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
16.如权利要求10所述的方法,其特征在于,所述目标RAW图包括所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
17.如权利要求11所述的方法,其特征在于,所述目标RAW图包括所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图。
18.如权利要求13所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图,具体包括:
根据所述目标白平衡参数对所述目标RAW图进行白平衡处理,得到处理后的RAW图;
将所述处理后的RAW图进行融合得到所述白平衡处理后的RAW图。
19.如权利要求14-17任一项所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图,具体包括:
根据所述目标白平衡参数对所述目标RAW图进行白平衡处理,得到处理后的RAW图;
将所述处理后的RAW图进行融合得到所述白平衡处理后的RAW图。
20.如权利要求1-4、6-8、12任一项所述的方法,其特征在于,所述目标RAW图为:
将所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
21.如权利要求5所述的方法,其特征在于,所述目标RAW图为:
将所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
22.如权利要求9所述的方法,其特征在于,所述目标RAW图为:
将所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
23.如权利要求10所述的方法,其特征在于,所述目标RAW图为:
将所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
24.如权利要求11所述的方法,其特征在于,所述目标RAW图为:
将所述第一传感器输出的一帧或多帧短曝光RAW图、一帧或多帧Noraml帧图像、一帧或多帧长曝光RAW图进行融合后,得到的RAW图。
25.如权利要求1-4、6-8、12、14-18、21-24任一项所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
26.如权利要求5所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
27.如权利要求9所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
28.如权利要求10所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
29.如权利要求11所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
30.如权利要求13所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
31.如权利要求19所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
32.如权利要求20所述的方法,其特征在于,所述根据所述目标白平衡参数对目标RAW图进行白平衡处理得到白平衡处理后的RAW图之后,显示所述第二界面之前,还包括:
将所述白平衡处理后的RAW图从RAW域转换到sRGB颜色空间,得到第三图像;
将所述第三图像进行YUV域处理,得到第四图像;
将所述第四图像进行JPEG处理,得到所述第五图像。
33.一种电子设备,其特征在于,包括:存储器、处理器和触控屏;其中:
所述触控屏用于显示内容;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器用于调用所述程序指令,使得所述电子设备执行如权利要求1-32任一项所述的方法。
34.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现如权利要求1-32任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310216061.0A CN117119314B (zh) | 2023-02-25 | 2023-02-25 | 一种图像处理方法及相关电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310216061.0A CN117119314B (zh) | 2023-02-25 | 2023-02-25 | 一种图像处理方法及相关电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117119314A CN117119314A (zh) | 2023-11-24 |
CN117119314B true CN117119314B (zh) | 2024-06-07 |
Family
ID=88797197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310216061.0A Active CN117119314B (zh) | 2023-02-25 | 2023-02-25 | 一种图像处理方法及相关电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117119314B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105120247A (zh) * | 2015-09-10 | 2015-12-02 | 联想(北京)有限公司 | 一种白平衡调整方法及电子设备 |
CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110022469A (zh) * | 2019-04-09 | 2019-07-16 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110381263A (zh) * | 2019-08-20 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111741211A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 图像显示方法和设备 |
CN113518210A (zh) * | 2020-04-10 | 2021-10-19 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN115514948A (zh) * | 2021-06-07 | 2022-12-23 | 荣耀终端有限公司 | Ai自动白平衡和自动白平衡的融合算法以及电子设备 |
CN115550575A (zh) * | 2022-04-21 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5375457B2 (ja) * | 2008-09-03 | 2013-12-25 | 株式会社リコー | 撮像装置及び撮像方法 |
-
2023
- 2023-02-25 CN CN202310216061.0A patent/CN117119314B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105120247A (zh) * | 2015-09-10 | 2015-12-02 | 联想(北京)有限公司 | 一种白平衡调整方法及电子设备 |
CN111741211A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 图像显示方法和设备 |
CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110022469A (zh) * | 2019-04-09 | 2019-07-16 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110381263A (zh) * | 2019-08-20 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN113518210A (zh) * | 2020-04-10 | 2021-10-19 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN115514948A (zh) * | 2021-06-07 | 2022-12-23 | 荣耀终端有限公司 | Ai自动白平衡和自动白平衡的融合算法以及电子设备 |
CN115550575A (zh) * | 2022-04-21 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117119314A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11703960B2 (en) | Air mouse mode implementation method and related device | |
CN113810600B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN111552451B (zh) | 显示控制方法及装置、计算机可读介质及终端设备 | |
CN111770282B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
US12086957B2 (en) | Image bloom processing method and apparatus, and storage medium | |
CN114489533A (zh) | 投屏方法、装置、电子设备及计算机可读存储介质 | |
CN113126948B (zh) | 一种音频播放方法及相关设备 | |
CN114422340A (zh) | 日志上报方法、电子设备及存储介质 | |
CN112099741B (zh) | 显示屏位置识别方法、电子设备及计算机可读存储介质 | |
CN114863494A (zh) | 屏幕亮度的调整方法、装置和终端设备 | |
CN115631250B (zh) | 图像处理方法与电子设备 | |
CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN115412678B (zh) | 曝光处理方法、装置及电子设备 | |
CN111935705A (zh) | 数据业务管理方法及装置、计算机可读介质及终端设备 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN113674258B (zh) | 图像处理方法及相关设备 | |
CN117593236A (zh) | 图像的显示方法、装置和终端设备 | |
CN117119314B (zh) | 一种图像处理方法及相关电子设备 | |
CN115706869A (zh) | 终端的图像处理方法、装置和终端设备 | |
CN115145517A (zh) | 一种投屏方法、电子设备和系统 | |
CN116708317B (zh) | 数据包mtu的调整方法、装置和终端设备 | |
CN115696067B (zh) | 终端的图像处理方法、终端设备和计算机可读存储介质 | |
CN114520870B (zh) | 一种显示方法及终端 | |
CN113364067B (zh) | 充电精度校准方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |