CN113727085A - 一种白平衡处理方法和电子设备 - Google Patents

一种白平衡处理方法和电子设备 Download PDF

Info

Publication number
CN113727085A
CN113727085A CN202110604490.6A CN202110604490A CN113727085A CN 113727085 A CN113727085 A CN 113727085A CN 202110604490 A CN202110604490 A CN 202110604490A CN 113727085 A CN113727085 A CN 113727085A
Authority
CN
China
Prior art keywords
image
processed
information
white balance
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110604490.6A
Other languages
English (en)
Other versions
CN113727085B (zh
Inventor
罗钢
钱彦霖
郗东苗
金萌
邵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110604490.6A priority Critical patent/CN113727085B/zh
Publication of CN113727085A publication Critical patent/CN113727085A/zh
Application granted granted Critical
Publication of CN113727085B publication Critical patent/CN113727085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种白平衡处理方法和电子设备。实施本申请提供的技术方案,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。

Description

一种白平衡处理方法和电子设备
技术领域
本申请涉及图像处理领域,尤其涉及一种白平衡处理方法和电子设备。
背景技术
白平衡是一种对图像进行处理的计算方法。电子设备在拍摄时,从打开快门到在显示屏上显示肉眼可见的图像的过程中,可以使用白平衡算法对图像的色彩进行调整。还原图像色彩的过程中,如何正确设置白平衡算法中的参数是确保获得理想的图像色彩的研究方向。
目前,有一种白平衡算法是基于统计的算法。是在待处理图像中选取一个白色像素,根据该白色像素计算白平衡处理涉及的白平衡参数,然后电子设备利用该白平衡参数对待处理图像进行对应的白平衡处理。
但是,这种对待处理图像进行白平衡处理的方法存在适应能力差的问题,在获取错误的白色像素的情况下,会设置不适当的白平衡参数来处理图像,导致经过白平衡处理后的图像仍然不能够精确地反映被摄对象的色彩状况。
发明内容
本申请提供了一种白平衡处理方法和电子设备,对于白平衡处理困难的拍摄场景,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
第一方面,本申请提供了一种白平衡处理方法,该方法包括:电子设备确定待处理图像的图像特征,该图像特征至少包括颜色信息以及空间关系信息,该颜色信息用于表征该待处理图像中各颜色的像素量,该空间关系信息用于表征该待处理图像中各颜色所在最大区域的空间位置;该电子设备确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,该第一差值用于表征该待处理图像与该第一参考图像的相似度,其中,第一参考图像的图像特征与第一白平衡参数相关联;该电子设备确定第一差值满足预设条件;该电子设备使用该第一白平衡参数对该待处理图像进行白平衡处理,得到调整后的待处理图像。
实施第一方面的方法,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
结合第一方面,在一种实施方式中,该预设条件为该第一参考图像的图像特征的第一差值比第二差值小,该第二差值为白平衡场景数据库中第二参考图像的图像特征与该待处理图像的图像特征的差值,该第二差值用于表征该待处理图像与该第二参考图像的相似度,该第二参考图像的图像特征为白平衡场景数据库中除第一参考图像的图像特征以外的其他任一参考图像的图像特征。
在上述实施例中,电子设备可以将该待处理图像的图像特征与拍摄场景信息数据库中存储的每一个参考图像的图像特征计算相似度,选择其中相似度最高的一个参考图像的图像特征对应的白平衡参数。这样,可以保证电子设备确定的白平衡参数是最正确的,可以提高电子设备对待处理图像进行白平衡处理的正确性。
结合第一方面,在一种实施方式中,预设条件满足设定的预设阈值。
在上述实施例中,电子设备只需要计算得到一个满足预设阈值的参考图像的图像特征时即可停止计算,确定该参考图像的图像特征对应的白平衡参数为对待处理图像进行白平衡处理时需要的白平衡参数化,不用分别计算出待处理图像与全部参考图像的相似性。这样,可以提高电子设备对待处理图像进行白平衡处理的速度。
结合第一方面,在一种实施方式中,电子设备确定待处理图像的图像特征之前,该方法还包括:该电子设备显示预览界面,该预览界面包括预览框,该预览框中显示该待处理图像;该电子设备获取该待处理图像。
在上述实施例中,电子设备可以预览图像时,即可实施本申请实施例中的白平衡处理方法。
结合第一方面,在一种实施方式中,电子设备确定待处理图像的图像特征之前,该方法还包括:该电子设备显示拍摄界面,该拍摄界面包括第一控件;检测到对该第一控件的第一操作;响应于该第一操作,该电子设备拍摄该待处理图像。
在上述实施例中,电子设备对拍摄的预处理图像实施本申请实施例中的白平衡处理方法。
结合第一方面,在一种实施方式中,该图像特征包括高级颜色聚合向量特征,该高级颜色聚合向量特征中包括该图像的第一信息和第二信息;该电子设备提取待处理图像的图像特征,电子设备确定待处理图像的图像特征,具体包括:该电子设备确定该待处理图像中各颜色分别对应的区域集合,该区域集合中包括至少一个区域;该电子设备确定该各颜色分别对应的区域集合中各区域是聚合区域还是非聚合区域;该电子设备统计该处理图像中的第一信息;该第一信息为该各颜色分别对应的区域集合中全部聚合区域中的第一像素量以及全部非聚合区域中的第二像素量;该电子设备确定该待处理图像的第二信息;该第二信息为该各颜色分别对应的区域集合中最大区域的空间位置信息;该电子设备根据该第一信息以及该第二信息,生成图像特征。
在上述实施例中,高级颜色聚合向量特征中包括颜色信息以及空间关系信息,电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第一方面,在一种实施方式中,该图像特征还包括光谱特征向量信息,该光谱特征向量信息包括待处理图像的第三信息,该第三信息是指该拍摄场景的光源中不同波长范围的光信号的光强度,该方法还包括:该电子设备检测光源中的不同波长范围的光信号的光强度,生成第三信息;该电子设备根据该第一信息以及该第二信息,生成图像特征,具体包括:该电子设备根据该第一信息、该第二信息以及第三信息,生成图像特征。
在上述实施例中,图像特征中还可以包括光谱特征向量信息,则图像特征包括了更丰富的信息,电子设备可以更准确的计算待处理图像与各参考图像的相似度,从而使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第一方面,在一种实施方式中,该电子设备确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,具体包括:该电子设备确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,该第一差值越小,则该电子设备判断该待处理图像与该第一参考图像越相似。
结合第一方面,在一种实施方式中,如果该图像特征中包括第一信息以及第二信息但不包括第三信息,该电子设备确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,该电子设备为该图像特征中第一信息与第二信息设置不相同的权重;如果该图像特征中包括第一信息、第二信息以及第三信息,该电子设备确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,该电子设备为该图像特征中第一信息、第二信息以及第三信息设置不相同的权重。
在上述实施例中,该电子设备将图像特征中不同的信息设置不同的权重,可以使得重要的信息在电子设备计算待处理图像与各参考图像的相似性时贡献更大,从而使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第一方面,在一种实施方式中,该方法还包括:该电子设备为该第一参考图像设置一个相似度阈值;该第一差值越小,则该电子设备判断该待处理图像与该第一参考图像越相似,具体包括:当该第一差值小于该相似度阈值时,该电子设备判断该待处理图像与第一参考图像相似;该第一差值越小,则该电子设备判断该待处理图像与该第一参考图像越相似。
在上述实施例中,电子设备为每一个参考图像的图像特征设置一个相似度阈值,可以将那些极容易与各种待处理图像的相似性都很高的参考图像设置较小的相似度阈值,则某一待处理图像与该相似度阈值较小的参考图像的相似度很高时才是真的与该参考图像相似,这样,可以使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第一方面,在一种实施方式中,该白平衡场景数据库是开发人员预先设计好,存储在电子设备中的;该白平衡场景数据库用于记录不同的拍摄场景下,电子设备对待处理图像进行白平衡处理涉及的信息;该拍摄场景数据库中至少包括各参考图像的图像特征、拍摄场景对应的白平衡参数;该拍摄场景数据库中,一个参考图像的图像特征关联一个白平衡参数。
第二方面,本申请提供了一种白平衡处理方法,该方法包括:电子设备提取待处理图像的图像特征,该图像特征至少包括颜色信息以及空间关系信息;该颜色信息用于表征该待处理图像中各颜色的像素量,该空间关系信息用于表征该待处理图像中各颜色所在最大区域的空间位置;该电子设备确定该待处理图像的图像特征与白平衡场景数据库中各参考图像的图像特征的相似性,得到与其中相似性最高的参考图像的图像特征;该电子设备获取白平衡数据库中与该相似性最高的参考图像的图像特征关联的白平衡参数;该电子设备使用该白平衡参数对该待处理图像进行白平衡处理,得到调整后的待处理图像。
第三方面,本申请提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:确定待处理图像的图像特征,该图像特征至少包括颜色信息以及空间关系信息,该颜色信息用于表征该待处理图像中各颜色的像素量,该空间关系信息用于表征该待处理图像中各颜色所在最大区域的空间位置;确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,该第一差值用于表征该待处理图像与该第一参考图像的相似度,其中,第一参考图像的图像特征与第一白平衡参数相关联;确定第一差值满足预设条件;使用该第一白平衡参数对该待处理图像进行白平衡处理,得到调整后的待处理图像。
上述实施例中,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
结合第三方面,在一种实施方式中,该预设条件为该第一参考图像的图像特征的第一差值比第二差值小,该第二差值为白平衡场景数据库中第二参考图像的图像特征与该待处理图像的图像特征的差值,该第二差值用于表征该待处理图像与该第二参考图像的相似度,该第二参考图像的图像特征为白平衡场景数据库中除第一参考图像的图像特征以外的其他任一参考图像的图像特征。
在上述实施例中,电子设备可以将该待处理图像的图像特征与拍摄场景信息数据库中存储的每一个参考图像的图像特征计算相似度,选择其中相似度最高的一个参考图像的图像特征对应的白平衡参数。这样,可以保证电子设备确定的白平衡参数是最正确的,可以提高电子设备对待处理图像进行白平衡处理的正确性。
结合第三方面,在一种实施方式中,预设条件满足设定的预设阈值。
在上述实施例中,电子设备只需要计算得到一个满足预设阈值的参考图像的图像特征时即可停止计算,确定该参考图像的图像特征对应的白平衡参数为对待处理图像进行白平衡处理时需要的白平衡参数化,不用分别计算出待处理图像与全部参考图像的相似性。这样,可以提高电子设备对待处理图像进行白平衡处理的速度。
结合第三方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:显示预览界面,该预览界面包括预览框,该预览框中显示该待处理图像;获取该待处理图像。
在上述实施例中,电子设备可以预览图像时,即可实施本申请实施例中的白平衡处理方法。
结合第三方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:显示拍摄界面,该拍摄界面包括第一控件;检测到对该第一控件的第一操作;响应于该第一操作,拍摄该待处理图像。
在上述实施例中,电子设备对拍摄的预处理图像实施本申请实施例中的白平衡处理方法。
结合第三方面,在一种实施方式中,该图像特征包括高级颜色聚合向量特征,该高级颜色聚合向量特征中包括该图像的第一信息和第二信息;提取待处理图像的图像特征,该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行:确定该待处理图像中各颜色分别对应的区域集合,该区域集合中包括至少一个区域;确定该各颜色分别对应的区域集合中各区域是聚合区域还是非聚合区域;统计该处理图像中的第一信息;该第一信息为该各颜色分别对应的区域集合中全部聚合区域中的第一像素量以及全部非聚合区域中的第二像素量;确定该待处理图像的第二信息;该第二信息为该各颜色分别对应的区域集合中最大区域的空间位置信息;根据该第一信息以及该第二信息,生成图像特征。
在上述实施例中,高级颜色聚合向量特征中包括颜色信息以及空间关系信息,电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第三方面,在一种实施方式中,该图像特征还包括光谱特征向量信息,该光谱特征向量信息包括待处理图像的第三信息,该第三信息是指该拍摄场景的光源中不同波长范围的光信号的光强度,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:检测光源中的不同波长范围的光信号的光强度,生成第三信息;该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行:根据该第一信息、该第二信息以及第三信息,生成图像特征。
在上述实施例中,图像特征中还可以包括光谱特征向量信息,则图像特征包括了更丰富的信息,电子设备可以更准确的计算待处理图像与各参考图像的相似度,从而使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第三方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行:确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,该第一差值越小,则判断该待处理图像与该第一参考图像越相似。
结合第三方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:如果该图像特征中包括第一信息以及第二信息但不包括第三信息,确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,为该图像特征中第一信息与第二信息设置不相同的权重;如果该图像特征中包括第一信息、第二信息以及第三信息,确定该待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,为该图像特征中第一信息、第二信息以及第三信息设置不相同的权重。
在上述实施例中,该电子设备将图像特征中不同的信息设置不同的权重,可以使得重要的信息在电子设备计算待处理图像与各参考图像的相似性时贡献更大,从而使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第三方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:为该第一参考图像设置一个相似度阈值;该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行:当该第一差值小于该相似度阈值时,判断该待处理图像与第一参考图像相似;该第一差值越小,则判断该待处理图像与该第一参考图像越相似。
在上述实施例中,电子设备为每一个参考图像的图像特征设置一个相似度阈值,可以将那些极容易与各种待处理图像的相似性都很高的参考图像设置较小的相似度阈值,则某一待处理图像与该相似度阈值较小的参考图像的相似度很高时才是真的与该参考图像相似,这样,可以使得电子设备利用待处理图像的图像特征和各参考图像的图像特征可以准确的确定正确的白平衡参数。
结合第三方面,在一种实施方式中,该白平衡场景数据库是开发人员预先设计好,存储在该电子设备中的;该白平衡场景数据库用于记录不同的拍摄场景下,该电子设备对待处理图像进行白平衡处理涉及的信息;该拍摄场景数据库中至少包括各参考图像的图像特征、拍摄场景对应的白平衡参数;该拍摄场景数据库中,一个参考图像的图像特征关联一个白平衡参数。
第四方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第四方面,在一种实施方式中,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,其特征在于,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第五方面,在一种实施方式中,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
第六方面,本申请实施例提供了一种计算机可读存储介质,包括指令,其特征在于,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第六方面,在一种实施方式中,对于白平衡处理困难的拍摄场景,电子设备将这些场景对应的参考图的图像特征以及这些图像特征对应的白平衡参数存储在拍摄场景信息数据库中,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
附图说明
图1是本申请实施例提供的待处理图像在电子设备中的示例性表现形式;
图2是不同色温的光源下,图像传感器对白色被拍摄对象反射的光信号的响应的示意图;
图3a以及图3b示例性示出了电子设备对待处理图像进行正确的白平衡处理和错误的白平衡处理时的一组用户界面;
图4是本申请实施例提供的电子设备的结构示意图;
图5是本申请实施例中白平衡处理方法的一个示例性流程示意图;
图6是本申请实施例中电子设备提取待处理图像的图像特征的一个示例性流程;
图7是本申请实施例提供的进行白平衡处理的待处理图像的示意图;
图8是本申请实施例提供的白平衡处理方法的另一个示例性流程示意图;
图9是本申请实施例提供的一个预览界面的示意图;
图10是本申请实施例提供的一个拍摄界面的示意图;
图11是本申请实施例提供的另一个拍摄界面的示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
由于本申请实施例涉及白平衡处理方法,为了便于理解,下面先对本申请实施例涉及的相关术语及概念进行介绍。
(1)白平衡
白平衡是通过对白色被拍摄对象的颜色还原(产生纯白的色彩效果),进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法。
电子设备在拍摄时,光信号通过镜头被传递到摄像头的图像传感器(imagesensor),可以将被拍摄对象的影像聚焦到摄像头的图像传感器上,该图像传感器将光信号转换成电信号,电子设备可以将该电信号经过处理,转化成待处理图像。电子设备可以对该待处理图像进行一系列处理,得到最终肉眼可见的图像。例如,电子设备可以对待处理图像的噪点进行算法优化,还可以对待处理图像的亮度进行算法优化等。电子设备还可以对该待处理图像进行白平衡处理,调整该待处理图像的色彩。
图像的颜色会受到拍摄时光源的颜色成分的影响,不同光源的颜色成分不同,电子设备在不同光源下拍摄同一被拍摄对象体时,图像传感器检测到的不同颜色的光的强度不相同,则会导致图像中被拍摄对象体的颜色不同。
通常说来,光源的色温对光源的颜色成分影响较大,不同光源的色温不同,图像传感器对同一光信号的响应不相同。对光信号的响应即为图像传感器在接收到被拍摄对象反射的光信号后,可以检测到的不同颜色的光的强度。电子设备可以根据该光的强度转换成对应的电信号,生成待处理图像。
因此,不同的光源会导致待处理图像中同一被拍摄对象的颜色不同,产生色差,因此,需要在拍摄时进行白平衡处理,使得电子设备在不同的光源下拍摄同一被拍摄对象时,使得待处理图像中该被拍摄对象的颜色都真实,不存在色差。
其中,待处理图像在电子设备中的存储形式是一组电子设备可以识别的数据。其可以由数组或者矩阵表示,也可以有其他的表现形式,本申请实施例对此不作限定。
如图1示例性示出了待处理图像在电子设备中的表现形式。
如图1中的(a)所示,该待处理图像为彩色图像,电子设备可以利用一个矩阵表示该待处理图像,该矩阵中的每一个元素都对应图像中的一个像素。该矩阵中的每一元素为一个三元组,该三元组中的每一个数值的取值为0-255。该数值可以用于表示彩色图像中红色(red)/绿色(green)/蓝色(blue)三个颜色通道的亮度值。其中,每一个元素对应图像中的一个像素,该元素中的三个数值分别表示该像素在红色、绿色以及蓝色通道的亮度值。
下文中,为了便于描述,该矩阵为该待处理图像在RGB空间下对应的RGB矩阵。矩阵中的每一个元素为RGB值,其中,R值表示红色通道的亮度值,G值表示绿色通道的亮度值,B值表示蓝色通道的亮度值。
如图1中的(b)所示,电子设备将该处理图像中的局部图像表示为一个4×4的RGB矩阵,该RGB矩阵中的每一个元素都对应该局部图像中的一个像素。例如,元素(94,196,98)可以表示第一像素在红色通道上的亮度值为94,在绿色通道上的亮度值为196,在蓝色通道上的亮度值为98。
可以理解的是,待处理图像除了可以是彩色图像以外,还可以是其他形式的图像,例如灰度图像,二值图像等。本申请实施例对此不作限定。
图2示例性示出了不同色温的光源下,图像传感器对白色被拍摄对象反射的光信号的响应。
如图2中的(a)所示,随着色温从1800K向16000K过渡,光源的颜色成分发生相应的变化,从红光的强度大过渡到蓝光的强度大。
如图2中的(b)所示,在不同光源下,图像传感器上方覆盖的滤镜(filter)使得图像传感器可以捕获色彩信息,例如该滤镜可以是红/绿/蓝色拜尔滤镜(bayer filter),该红/绿/蓝色拜尔滤镜只能通过红/绿/蓝光,使得图像传感器可以检测到红/绿/蓝光的强度,然后根据该红/绿/蓝光的强度转换成对应的电信号,生成待处理图像。其中,待处理图像中的每个像素都对应一个红/绿/蓝光的强度,该待处理图像可以表示为图1中的(b)所示的RGB矩阵,该RGB矩阵中的每一个元素,都对应一个像素的RGB值,该RGB值是通过图像传感器检测的该像素对应的红/绿/蓝光的强度得到的。像素对应的红/绿/蓝光的强度越强,则该像素的RGB值越大。
如图2中的(c)所示,当被拍摄对象为白色时,白炽灯的色温大约为2500K-3200K,此时,图像传感器检测到的红光的强度是最强的,会导致待处理图像中所有像素的R值偏大,使得电子设备显示的待处理图像中被拍摄对象的颜色偏暖色。阴天日光的色温大约为12000K-18000K,此时,图像传感器检测到的蓝光的强度是最强的,会导致待处理图像中所有像素的R值偏大,使得电子设备显示的待处理图像中被拍摄对象的颜色偏冷色。事实上,人眼对白色被拍摄对象反射的光信号中,感应到的红光、绿光、蓝光的强度是一致的,所以才不会使看到的被拍摄对象产生色差。
为了使得图像可以真实的反应被拍摄对象的颜色,可以对该待处理图像进行白平衡处理,一种白平衡处理是对待处理图像中所有像素的RGB值进行调整,使得待处理图像对应的RGB矩阵更真实的记录被拍摄对象的颜色。
综上,针对不同光源,电子设备可以对待处理图像进行白平衡处理,在一些实施例中,该白平衡处理是指调整待处理图像对应的数据中的值,使得调整后的待处理图像可以精确地反映被摄物体的色彩状况。例如,调整待处理图像对应的RGB矩阵中的元素的值,将每一个元素对应的R/G/B值进行调整,将调整后的RGB矩阵作为该待处理图像对应的数据。该调整过程还可以在其他的色彩空间进行,例如YUV色彩空间等。
下面结合上述术语,对一些实施例中,电子设备的白平衡处理方法以及本申请实施例中涉及的白平衡处理方法进行介绍。
在一种实施例的一种白平衡处理方法,是基于统计的方法。是在待处理图像中选取一个白色像素,根据该白色像素计算白平衡处理涉及的白平衡参数,然后电子设备利用该白平衡参数调整待处理图像的颜色。
具体的,在拍摄图像时,电子设备将待处理图像转换到第一色彩空间下用RGB矩阵表示,然后,筛选出一个白色像素。电子设备确定该白色像素的取值为(a′,b′,c′)。
然后,电子设备确定该白色像素在第一色彩空间中的正确取值为(a,b,c),该正确取值用于精确的反映该白色像素真实的颜色。第一色彩空间不同,该正确取值不同,每一个色彩空间对应一个正确取值,例如在RGB色彩空间下,白色像素的正确取值(255,255,255)。
然后,电子设备确定该白平衡参数为
Figure BDA0003093716250000081
则电子设备利用该白平衡参数对该待处理图像对应的RGB矩阵中的值进行调整。例如,将该RGB矩阵中的每一个值都乘以该白平衡参数,将调整后的RGB矩阵作为该待处理图像对应的数据。这样,该数据可以准确的反映该待处理图像中的被拍摄对象的色彩状况。
但是,对于一些白平衡处理困难的拍摄场景,电子设备获取的待处理图像中的噪声较多,使得电子设备筛选出的白色像素误差较大,导致电子设备对拍摄场景的光源估计误差较大,从而选取一个错误的校准白点,使得电子设备得到的白平衡参数是错误的,使得电子利用该白平衡参数无法对待处理图像的颜色进行正确的调整。
例如,图3a以及图3b示例性示出了电子设备对待处理图像进行正确的白平衡处理和错误的白平衡处理时的一组用户界面。
如图3a示出了电子设备拍摄图像时的用户界面31,该用户界面31中可以包括图像310,该图像310为电子设备使用正确的白平衡参数对待处理图像进行白平衡处理之后获得的图像,该图像310中能够精确地反映被摄物体的色彩状况。
如图3b示出了电子设备拍摄图像时的用户界面32,该用户界面32中可以包括图像320,该图像320为电子设备使用错误的白平衡参数对待处理图像进行白平衡处理之后获得的图像,该图像320与图像310对比可确定,图像320中的被拍摄对象存在色差。
而采取本申请实施例中的白平衡处理方法,对于上述白平衡处理困难的拍摄场景。电子设备可以确定待处理图像的图像特征,再利用该图像特征确定白平衡参数。然后,利用该白平衡参数调整待处理图像的颜色,使得调整后的待处理图像可以精确地反映被拍摄对象的色彩状况。
在本申请实施例中,电子设备可以存储一个白平衡场景数据库,该数据库可以包括一些白平衡处理困难的拍摄场景对应的白平衡参数,该参数是电子设备在该拍摄场景下对待处理图像进行白平衡处理时涉及的正确的白平衡参数。利用该白平衡参数,电子设备可以在该拍摄场景下,对待处理图像进行正确的白平衡处理。
具体的,电子设备拍摄时,首先获取待处理图像,然后提取该待处理图像的图像特征,该图像特征是基于待处理图像全局的特征,该特征可以包括待处理图像的颜色特征以及空间关系特征等。然后,电子设备可以根据该图像特征从拍摄场景数据库中确定该拍摄场景对应的白平衡参数,该白平衡参数对待处理图像进行正确的白平衡处理。
利用本申请实施例提供的白平衡处理方法,电子设备可以利用待处理图像的图像特征确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。该图像特征中包含丰富的图像信息,不易受待处理图像中的噪声等不良因素的影响,可以提高电子设备对待处理图像进行白平衡处理的正确性。
下面首先介绍本申请实施例提供的示例性电子设备。
图4是本申请实施例提供的电子设备的结构示意图。
下面以电子设备为例对实施例进行具体说明。应该理解的是,电子设备可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M,多光谱传感器(未示出)等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。
I2S接口可以用于音频通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。
SIM接口可以被用于与SIM卡接口195通信,实现传送数据到SIM卡或读取SIM卡中数据的功能。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS)等。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光信号通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。该感光元件又可被称为图像传感器。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
本申请实施例中,该处理器110可以调用内部存储器121中存储的计算机指令,以使得电子设备执行本申请实施例中的白平衡处理方法。
下面结合上述示例性电子设备的硬件结构示意图,对本申请实施例中的白平衡处理方法进行具体描述:
不同光源下,电子设备获取的待处理图像中的被拍摄对象的色彩状况可以不同。电子设备可以采取本申请实施例涉及的白平衡处理方法对该待处理图像进行白平衡处理,调整该待处理图像的颜色,使得调整后的待处理图像可以精确地拍摄对象的色彩状况。
在本申请实施例中,电子设备首先确定待处理图像的图像特征。然后电子设备确定待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值。该第一差值用于表征所述待处理图像与所述第一参考图像的相似度,当电子设备确定该第一差值满足预设条件时,则电子设备获取从白平衡场景数据库中获取与该第一参考图像关联的第一白平衡参数。电子设备使用该第一白平衡参数即可对该待处理图像进行正确的白平衡处理。
在本申请实施例中,电子设备获取第一白平衡参数的方式有两种。下面,对这两种获取第一白平衡参数的方式进行详细讲解:
方式一:电子设备确定待处理图像的图像特征与白平衡场景数据库中各参考图像的图像特征的相似性,得到与其中相似性最高的参考图像的图像特征。其中,该相似性最高的参考图像的图像特征即为第一参考图像的图像特征。
图5为本申请实施例中白平衡处理方法的一个示例性流程示意图:
方式一中电子设备获取第一白平衡参数的详细步骤如步骤S101-步骤S106所述:
S101.电子设备获取待处理图像;
在拍摄的过程中,被拍摄对象反射的光信号通过镜头被传递到摄像头的图像传感器上,该图像传感器将该光信号转换为电信号,该图像传感器将该电信号传递给ISP,该ISP将该电信号转成为对应的待处理图像。
在一些实施例中,该待处理图像在电子设备中存储形式可以是矩阵,也可以是数组,还可以是其他的存储形式,只要是电子设备可以识别的数据即可,本申请实施例对此不作限定。例如,该矩阵可以是前述涉及的RGB矩阵,该矩阵中的每一个元素都对应图像中的一个像素,该元素的值对应该像素的颜色。例如,元素(255,255,255)表示对应的像素为白色。
S102.电子设备提取待处理图像的图像特征;
该第一特性中可以包括待处理图像的相关信息,例如颜色信息以及空间关系信息等。利用该图像特征中包含的待处理图像中的信息,可以将该待处理图像与其他的图像进行区分。
其中,颜色信息是一种全局信息,用于描述待处理图全部或者部分区域对应的被拍摄对象的表面性质。该颜色信息是基于待处理图像全部或者部分区域中的全部像素的信息,该待处理图像全部或者部分区域中的全部像素都对该颜色信息有各自的贡献。例如,该颜色信息可以是图像中每种颜色对应的像素量。对该颜色信息的描述还可以参考下述对第一信息的描述,此处不再赘述。空间关系信息是指待处理图像中分割出来的多个区域之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。例如,该空间关系信息可以是图像中各颜色所在最大区域的空间位置。该最大区域是指颜色相同且相连的像素构成的区域。对空间关系信息的描述还可以参考下述对第二信息的描述,此处不再赘述。在一些实施例中,该图像特征可以包括高级颜色聚合向量(improvedcolor coherence vector,ICCV)特征。该高级颜色聚合向量特征用于描述待处理图像中,每一个颜色对应的全部聚合区域中的第一像素量,每一个颜色对应的全部非聚合区域中的第二像素量,以及每一个颜色对应的区域的位置信息。其中,该第一像素量与第二像素量作为待处理图像的第一信息,该位置信息作为待处理图像的第二信息,该第一信息与第二信息都可以分别用于描述待处理图像的颜色信息与空间关系信息。该高级颜色聚合向量特征在电子设备中的存储形式可以是数组,也可以是矩阵,还可以是其他的形式,本申请实施例对此不作限定。
在本申请实施例中,带处理图像的各颜色对应的全部区域,包括聚合区域与非聚合区域,可以被称为区域集合。
其中,聚合区域是指颜色相同且相连的像素构成的区域中,像素个数大于或等于一定阈值的区域。该阈值一般大约为整个待处理图像中包括的全部像素的1%。
非聚合区域是指颜色相同且相连的像素构成的区域中,像素个数小于一定阈值的区域。
其中,与一个像素相连的像素可以包括一个像素上、下、左、右紧邻的那四个像素。也可以包括上、下、左、右紧邻的那四个像素以及左上、右上、左下、右下斜向相邻那四个像素。
颜色对应的区域的位置信息可以表示该颜色对应的全部聚合区域以及全部非聚合区域中至少一个区域在待处理图像中的位置。例如,每一个颜色对应的区域的位置信息可以是该颜色对应的区域中最大区域的空间位置信息,该位置可以用该区域的重心的位置表示。
图6是本申请实施例中电子设备提取待处理图像的图像特征的一个示例性流程。
应该理解的是,此时待处理图像的图像特征是指高级颜色聚合向量特征,在其他的实施例中,该图像特征还可以包括其他的信息,此处以提取待处理图像的高级颜色聚合向量特征为例进行说明,不应对本申请实施例形成限制。
电子设备提取待处理图像的图像特征的过程可以参考下述对步骤S201-步骤S205的描述:
S201.电子设备根据颜色将待处理图像划分成多个区域;
待处理图像中的一个区域由相同颜色且相连接的全部像素构成。其中,像素的颜色与区域可以是一对一,也可以是一对多的关系。
像素的颜色相同,是指电子设备存储的像素的值相同或者该值在一个范围内,该范围内的值对应的像素的颜色对于用户来说都可以认为是同一种颜色。
例如,如图7中的(a)所示,假设此时,待处理图像包括36个像素,且待处理图像中包括三种颜色,其中第一颜色的像素表示为1,第二颜色的像素表示为2,第三颜色的像素表示为3。则电子设备可以将待处理图像划分为五个区域。其中,第一颜色对应第一区域与第二区域,第二颜色对应第三区域与第四区域,第三颜色对应的第五区域。
应该理解的是,图7中的(a)中的待处理图像包括42个像素只是示例性的假设,通常说来,实际一张待处理图像对应的像素都是以千万记的。
S202.电子设备确定每个区域是聚合区域还是非聚合区域;
对于图7中的(a)所示的待处理图像,假设一个区域中包含的像素大于等于4个则认为该区域是聚合区域。
此处,电子设备确定与某一个像素相连的像素为该像素上、下、左、右紧邻的那四个像素以及左上、右上、左下、右下斜向相邻那四个像素。
则此时,电子设备可以确定该第一颜色对应的第一区域中有14个像素,该第一区域为聚合区域。该第一颜色对应的第二区域中有3个像素,该第二区域为非聚合区域。可以理解的是,该第二颜色对应的第三区域为聚合区域,第四区域为聚合区域。该第三颜色对应的第五区域为非聚合区域。
其中,第四区域中,第二颜色对应的第一像素与第二颜色对应的第二像素为斜向相邻,则第二颜色对应的聚合区域为图7中的(a)示出的第四区域。
S203.电子设备统计每个颜色对应的全部聚合区域的第一像素量,以及,每个颜色的对应的全部非聚合区域的第二像素量;
每个颜色对应的第一像素量表示该颜色对应的全部聚合区域中全部像素的总数。
每个颜色对应的第二像素量表示该颜色对应的全部非聚合区域中全部像素的总数。
例如,对于图7中的(a)示出的待处理图像,电子设备可以确定该第一颜色对应的全部聚合区域中的第一像素量为14。该第一颜色对应的全部非聚合区域中的第二像素量为3。对于第二颜色,电子设备可以确定全部聚合区域为第三区域与第四区域,这两个区域中的第一像素量为24。对于第三颜色,没有对应的聚合区域,电子设备可以确定该第三颜色对应的全部非聚合区域对应的第二像素量为1。
S204.电子设备确定每个颜色对应的区域中最大区域的位置信息;
每个颜色对应的最大区域是指包括的像素总数最多的区域,该区域可以是聚合区域,也可以是非聚合区域。
该位置信息可以表示该颜色对应的全部聚合区域以及全部非聚合区域中至少一个区域在待处理图像中的位置。该位置可以用该区域的重心的位置表示。
例如,图7中的(b)所示,以待处理图像的左上角为原心,待处理图像的上边界为x轴,左边界为y轴建立坐标系。电子设备可以确定第一颜色对应的最大区域,即第一区域的重心的坐标,该坐标即为该第一颜色对应的最大区域的位置空间信息。假设此时,电子设备确定第一颜色对应的最大区域的位置信息为(x1,y1)。电子设备确定第二颜色对应的最大区域的位置信息为(x2,y2),电子设备确定第三颜色对应的最大区域的位置信息为(x3,y3)。
S205.电子设备根据该第一像素量、第二像素量以及位置信息,生成图像特征。
待处理图像的高级颜色聚合向量特征可以包括每一个颜色对应的全部聚合区域中的第一像素量,每一个颜色对应的全部非聚合区域中的第二像素量,以及每一个颜色对应的区域的位置信息。
该待处理图像的高级颜色聚合向量特征在电子设备中的存储形式可以是矩阵,可以是数组,还可以是其他的存储形式,只要是电子设备可以识别的数据即可,本申请实施例对此不做限定。该数据中每一个元素都对应某一颜色的高级颜色聚合向量特征。电子设备在对待处理图像进行高级颜色聚合向量特征提取,可以确定提取N种颜色对应的高级颜色聚合向量特征。如果待处理图像中,没有该其中的某一种颜色,则该数据中,该颜色对应的元素的值全部取0。
例如,对于图7中的(a)示出的待处理图像,电子设备可以确定该待处理图像的高级颜色聚合向量特征为数组[(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…]。由于图7中的(a)示出的待处理图像中只有三种颜色,则该数组中,其他颜色对应的元素中的值表示为0。
可以理解的是上述步骤S201-步骤S205不仅适用于待处理图像,也适用与其他图像。例如,假设此时,待处理图像在电子设备中的存储形式是RGB矩阵。为了便于计算,电子设备可以利用该RGB矩阵生成R值矩阵、G值矩阵、B值矩阵。其中,R值矩阵、G值矩阵以及B值矩阵分别表示待处理图像在红色通道、绿色通道以及蓝色通道上的图像。R值矩阵、G值矩阵以及B值矩阵分别表示待处理图像中的全部像素在红色通道、绿色通道以及蓝色通道上的亮度值。例如,R值矩阵中的第i个元素表示待处理图像中的第i个像素在红色通道上的亮度值。
电子设备可以根据上述步骤S201-步骤S205对R值矩阵、G值矩阵、B值矩阵对应的图像分别进行高级颜色聚合向量特征提取,得到三个图像对应的高级颜色聚合向量特征。然后,电子设备利用R值矩阵、G值矩阵、B值矩阵对应的图像的高级颜色聚合向量特征生成待处理图像对应的高级颜色聚合向量特征。例如,R值矩阵、G值矩阵、B值矩阵对应的图像的高级颜色聚合向量特征可以分别表示为[(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…]、[(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…]以及[(14,3,a1,b1),((14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…],则生成的待处理图像的高级颜色聚合向量特征可以表示为[(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…(14,3,x1,y1),(24,0,x2,y2),(0,1,x3,y3),(0,0,0,0),…]。
在另一些实施例中,为了提高电子设备在将待处理图像与其他图像区分开的准确度,该图像特征中除了高级颜色聚合向量特征涉及的信息,还可以包括其他信息,例如光谱特征向量信息、待处理图像的图像均值信息等。
其中,光谱特征向量信息用于描述电子设备在获取待处理图像时,光源中的光谱分布情况。光谱分布情况是指光信号中,不同波长范围的光信号的光强度,一个波长范围对应一个颜色的光(例如,红光的波长范围大概为780nm-700nm,蓝光的波长范围为450nm-400nm)。
不同光源的光谱分布情况不同,电子设备的多光谱传感器可以检测光源中的不同波长范围的光信号的光强度,生成光谱特征向量,电子设备可以利用该光谱特征向量信息确定当前的光源信息。该光源信息是指当前光源是哪种类型的光源,不同类型的光源对应的光谱特征不同。例如,常见的不同类型的光源有:模拟北方平均太阳光(D75光源),该光源的色温为7500K;模拟蓝天日光(D65光源),该光源的色温为6500K;模拟太阳光(D50光源),该光源的色温为5000K;模拟欧洲商店灯光(TL84),该光源的色温为4000K;模拟美国商店灯光(UL3000光源),该光源的色温为3000K,美国暖白商店光(U30光源),该光源的色温同样为3000K以及美国暖白商店光(U30光源),该光源的色温同样为3000K。
该光谱特征向量信息在电子设备中的表现形式可以是数组,也可以是其他的形式,本申请实施例对此不作限定。
电子设备可以用一个数组记录光谱特征向量信息,通常,光谱特征向量可以记录9个波长范围内的光信号的强度。例如,电子设备的多光谱传感器上方可以覆盖9个不同滤光片,这些滤光片分别可以使得光信号中波长范围为780nm-700nm的光信号A(红光)、700nm-650nm的光信号B、650nm-600nm的光信号C、600nm-550nm的光信号D、550nm-500nm的光信号E、500nm-450nm的光信号F、450nm-400nm的光信号G(蓝光)、400nm-380nm的光信号H以及3000nm-780nm的光信号I。其中,光信号A-H为可见光。光信号I为近红外光(nearinfrared,NIR)。
电子设备可以将该光谱特征向量信息表示为
Figure BDA0003093716250000162
其中
Figure BDA0003093716250000161
表示第i个波长范围内的光信号的强度。
图像特征中包括了光谱特征向量信息时,电子设备可以根据该光谱特征向量信息确定拍摄时的光源信息,例如,当光谱特征向量信息中红光的光强度大于蓝光的光强度时,电子设备可以确定此时光源的色温偏低。这样,图像特征可以包含更丰富的信息,利用该图像特征,电子设备可以更准确的确定待处理图像与各参考图像的相似性,从而更准确的确定拍摄场景对应的白平衡参数。
S103.电子设备获取白平衡场景数据库中,各参考图像的图像特征;
该白平衡场景数据库是开发人员预先设计好,存储在电子设备中的。该白平衡场景数据库用于记录不同的拍摄场景下,电子设备对待处理图像进行白平衡处理涉及的信息。
在一些实施例中,该拍摄场景数据库中至少可以包括参考图像的图像特征、拍摄场景对应的白平衡参数。在该白平衡场景数据库中,一个参考图像的图像特征关联一个拍摄场景对应的白平衡参数,此处可以参考下述对表1的描述,此处暂不赘述。
其中,该白平衡场景数据库中可以包括多张参考图像的图像特征。该参考图像是电子设备在白平衡处理困难的拍摄场景下,采集的图像。
其中,参考图像的图像特征与待处理图像的图像特征含义相同,且该参考图像的图像特征中的第i个元素与待处理图像对应的图像特征中的第i个元素表示的含义也相同。例如,当参考图像的图像特征中的第i个元素表示该参考图像中的颜色信息,以及空间关系信息。则此时,待处理图像对应的图像特征中的第i个元素也表示该待处理图像中的颜色信息,以及空间关系信息。
拍摄场景对应的白平衡参数是电子设备在该拍摄场景下对待处理图像进行白平衡处理时涉及的正确的白平衡参数。
可以理解的是,该拍摄场景对应的白平衡参数,可以是在当前拍摄场景下,开发人员不断调试电子设备对图像进行白平衡处理时的白平衡参数,直到电子设备可以获得颜色正常的图像时的白平衡参数。
该白平衡参数在电子设备中的存储形式可以是数组,也可以是矩阵,还可以是其他的形式,本申请实施例对此不作限定。
利用该白平衡参数,电子设备可以在该拍摄场景下,对待处理图像进行正确的白平衡处理。具体的,电子设备可以利用该白平衡参数对待处理图像中每一个像素对应的值进行调整,调整后的待处理图像可以准确的反映被拍摄对象的颜色。
在一些实施例中,电子设备可以将待处理图像中每一个像素对应的值乘以该白平衡参数得到调整后的像素的值。
例如,当待处理图像的存储形式是RGB矩阵时,该白平衡参数可以表示为一个三元组[r_gain,g_gain,b_gain]。其中,r_gain表示待处理图像中的像素的亮度值在红色通道上的增益,g_gain表示待处理图像中的像素的亮度值在绿色通道上的增益,b_gain表示待处理图像中的像素的亮度值在蓝色通道上的增益。在对待处理图像进行白平衡处理时,电子设备可以用该三元组乘以RGB矩阵中每个元素的值。对于RGB矩阵中的第i个值(ri,gi,bi)进行白平衡调整后为(ri×r_gain,gi×g_gain,bi×b_gain)。
表1示例性示出了一种白平衡场景数据库。该白平衡场景数据库中包括参考图像的图像特征、拍摄场景对应的白平衡参数。
该图像特征中包括第一信息与第二信息。其中各颜色对应的第一信息的值为αii,各颜色对应的第二信息的值为xi,yi
Figure BDA0003093716250000171
Figure BDA0003093716250000181
表1
表1中的一个参考图像的图像特征关联一个拍摄场景对应的白平衡参数。其中,每一行就代表一张参考图像的图像特征,以及在对该参考图像最相似的待处理图像进行白平衡处理时涉及的白平衡参数。
可以理解的是,上述表1只是白平衡场景数据库的一种示例性展示,该白平衡场景数据库可以具有比表1中更多的信息。
S104.电子设备利用待处理图像的图像特征与各参考图像的图像特征,确定待处理图像与各参考图像的相似性;
待处理图像的图像特征与各参考图像的图像特征的差值可以用于描述待处理图像与各参考图像的相似性。该差值越小,则图像越相似。
电子设备可以通过计算待处理图像的图像特征与各参考图像的图像特征的差值,确定待处理图像与各参考图像的相似性。
待处理图像的图像特征与各参考图像的图像特征中至少包括第一信息与第二信息。除此之外还可以包括其他信息。
由于不同的信息对待处理图像的图像特征的影响作用不同,则可以为不同的信息设置相应的权重,某一信息的权重可以表示该信息对图像特征的影响大小。例如,第一信息比第二信息对图像特征的影响大,则第一信息的权重可以比第二信息的权重大。
在一些实施例中,待处理图像的图像特征与各参考图像的图像特征的差值可以表示为待处理图像的图像特征与各参考图像的图像特征中各相同信息的差值与权重的乘积之和。
其中,待处理图像的图像特征与各参考图像的图像特征中各相同信息的差值可以表示为下述公式:
Figure BDA0003093716250000182
假设一共有m张参考图像。式中,ΔDi(x)表示待处理图像的图像特征与第x个参考图像的图像特征中第i种信息的差值,例如该第i种信息可以为第一信息、第二信息以及第三信息等,该第三信息可以是前述涉及的光谱特征向量信息。N表示第i种信息的总数。Aj表示待处理图像的图像特征中第j个该信息的值的集合。
Figure BDA0003093716250000184
表示其中某一参考图像的图像特征中第j个该信息的值的集合。
Figure BDA0003093716250000185
表示第x个参考图像的图像特征中第j个该信息的值的集合。例如,表一示出的某一参考图像的图像特征为[(α11,x1,y1),(α22,x2,y2),(0,0,0,0),…],待处理图像的图像特征为[(α′1,β′1,x′1,y′1),(α′2,β′2,x′1,y′1),(0,0,0,0),…],对于待处理图像,第一颜色对应的第一信息的值为α11,则A1=[α11],第二颜色对应的第二信息为x1,y1,则A1=[x1,y1]。对于第x个参考图像,第一颜色对应的第一信息的值为α′1,β′1,则
Figure BDA0003093716250000186
第二颜色对应的第二信息为x′1,y′1,则
Figure BDA0003093716250000187
具体的,电子设备计算待处理图像的图像特征与各参考图像的图像特征的差值可以参考下述公式:
Figure BDA0003093716250000183
式中,wi表示某一信息权重。
可以理解的是,如果有N张参考图像,则有N个ΔD。
S105.电子设备利用待处理图像与各参考图像的相似性,确定拍摄场景对应的白平衡参数;
在一些实施例中,电子设备可以确定与待处理图像的图像特征差值最小的参考图像的图像特征,然后通过该参考图像的图像特征从白平衡场景数据库中确定拍摄场景对应的白平衡参数。
在另一些实施例中,电子设备为各参考图像设置一个相似度阈值,该相似度阈值用于表示待处理图像的图像特征与该参考图像的图像特征的差值多小时,才认为该待处理图像与该参考图像相似。当待处理图像与某一参考图像的相似性小于该阈值时,电子设备可以判断待处理图像与该参考图像相似。电子设备从与待处理图像相似的各参考图像中,确定其中与待处理图像的图像特征差值最小的参考图像的图像特征,然后通过该参考图像的图像特征从白平衡场景数据库中确定拍摄场景对应的白平衡参数。
S106.电子设备根据该白平衡参数对待处理图像进行白平衡处理,得到调整后的待处理图像。
该待处理图像中的像素的值不够准确,导致待处理图像不可以精确地反映被拍摄对象的色彩状况。电子设备可以根据该白平衡参数对该待处理图像中的每一个像素对应的值进行调整,得到调整后的待处理图像。该调整后的待处理图像可以精确地反映被拍摄对象的色彩状况。
本申请实施例中,与待处理图像最相似的参考图像为第一参考图像。该第一参考图像的图像特征可以被称为第一参考图像的图像特征,该第一参考图像的图像特征与待处理图像的图像特征的差值为第一差值,该第一参考图像的图像特征关联的白平衡参数为第一白平衡参数。白平衡场景数据库中,出该第一参考图像的图像特征以外的图像特征可以被称为第二参考图像的图像特征,该第二参考图像的图像特征与待处理图像的图像特征的差值为第二差值。
在一些实施例中,当待处理图像的存储形式是RGB矩阵时,该白平衡参数可以包括待处理图像中的像素的亮度值在红色通道上的增益、待处理图像中的像素的亮度值在绿色通道上的增益以及待处理图像中的像素的亮度值在蓝色通道上的增益。电子设备利用该白平衡参数对待处理图像进行白平衡处理的详细过程可以参考前述相关描述,此处不再赘述。
方式二:为了提高电子设备确定待处理图像对应的白平衡参数的速度,电子设备可以设置一个预设阈值。电子设备可以不计算出待处理图像的图像特征与白平衡场景数据库中每一个参考图像的图像特征的差值。而是将待处理图像的图像特征依次与各参考图像的图像特征计算得到差值。当待处理图像的图像特征与某一参考图像的图像特征的差值小于该预设阈值时,则电子设备确定该参考图像的图像特征为第一参考图像的图像特征。通常,该预设阈值可以设置为0.001-0.05,例如,可以将该预设阈值设置为0,01,本申请实施例对此不作限定。
图8为本申请实施例中白平衡处理方法的另一个示例性流程示意图:
方式一中电子设备获取第一白平衡参数的详细步骤如步骤S301-步骤S306所述:
S301.电子设备获取待处理图像;
步骤S301涉及的过程与前述步骤S101相同,可以参考前述对步骤S101的描述,此处不再赘述。
S302.电子设备提取待处理图像的图像特征;
步骤S302涉及的过程与前述步骤S102相同,可以参考前述对步骤S102的描述,此处不再赘述。
S303.电子设备获取白平衡场景数据库中,各参考图像的图像特征;
步骤S303涉及的过程与前述步骤S103相同,可以参考前述对步骤S103的描述,此处不再赘述。
S304.电子设备利用待处理图像的图像特、各参考图像的图像特征以及预设阈值,确定满足预设条件的第一参考图像的图像特征;
该预设阈值用于衡量某一参考图像的图像特征关联的白平衡参数是否可以作为对待处理图像进行白平衡处理时的白平衡参数。
在该步骤S304中,电子设备可以利用待处理图像的图像特征,从白平衡场景数据库中保存的第一个参考图像的图像特征开始,依次计算出待处理图像的图像特征依次与各参考图像的图像特征的差值。当电子设备计算出待处理图像的图像特征与某一参考图像的图像特征的差值小于该预设阈值时。则电子设备确定该参考图像的图像特征关联的白平衡参数可以用来对待处理图像做白平衡处理。即该参考图像的图像特征为第一参考图像的图像特征。
其中,电子设备依次计算待处理图像的图像特征与各参考图像的图像特征的差值涉及的内容与前述步骤S104中的相关描述和公式相同,此处不再赘述。
S305.获取该第一参考图像的图像特征关联的白平衡参数;
电子设备从白平衡场景数据库中获取该第一参考图像的图像特征关联的白平衡参数;
S306.电子设备根据该白平衡参数对待处理图像进行白平衡处理,得到调整后的待处理图像。
步骤S306涉及的过程与前述步骤S106相同,可以参考前述对步骤S106的描述,此处不再赘述。
以上所述,白平衡场景数据库中存储的各参考图像的图像特征,是利用一些白平衡处理困难的拍摄场景中采集的参考图像提取的图像特征。这样,本申请实施例涉及的白平衡处理方法可以在白平衡处理困难的拍摄场景下对待处理图像进行白平衡处理,例如,被拍摄对象是纯色时的场景、暗光中拍摄的场景等。其他情况下,仍然可以使用现有技术中的白平衡处理方法。这样,白平衡场景数据库中的数据较小,不会导致电子设备对待处理图像做白平衡处理时耗费太多时间,不会影响电子设备对待处理图像进行白平衡处理的速度,这样不会影响用户体验。
下面介绍本申请实施例中涉及的白平衡处理方法的4个示例性使用场景。
使用场景1:当电子设备打开相机应用,显示预览界面时,该预览界面中可以显示预览框,此时,电子设备可以使用本申请实施例中的白平衡处理方法对预览框中的图像进行白平衡处理。
如图9所示的用户界面91,该用户界面91可以为电子设备的一个预览界面。该预览界面91中可以包括预览框910。该预览框910中显示的图像可以为待处理图像,所述电子设备可以获取该待处理图像,然后使用本申请实施例中的白平衡处理方法对其进行白平衡处理。
在一些实施例中,电子设备可以对预览时获取的每一帧图像都实施本申请实施例中的白平衡处理方法。
在另一些实施例中,电子设备可以在预览时获取关键帧图像实施本申请实施例中的白平衡处理方法。该关键帧图像可以是电子设备检测到聚焦操作时获取的图像,也可以是其他的情况,例如,当电子设备检测图像中有人脸时的图像可以为关键帧图像。
使用场景2:当电子设备显示拍摄界面时,可以拍摄待处理图像,对于该拍摄的待处理图像,电子设备可以使用本申请实施例中的白平衡处理方法对其进行白平衡处理。
如图10所示的用户界面10,可以为电子设备的一个拍摄界面,该用户界面中可以包括第一控件101,该第一控件用于触发电子设备进行拍摄。
检测到对该第一控件的第一操作(例如点击操作),响应于该第一操作,电子设备可以拍摄待处理图像,电子设备可以使用本申请实施例中的白平衡处理方法对其进行白平衡处理。
使用场景3:当电子设备在录制视频时,可以对获取的每一帧图像都实施本申请实施例中的白平衡处理方法对其进行白平衡处理。
使用场景4:当电子设备在录制视频时,还可以在录制视频的过程,拍摄待处理图像,电子设备使用本申请实施例中的白平衡处理方法对其进行白平衡处理。
如图11所示的用户界面11,可以为电子设备录制视频时的一个用户界面,该用户界面11中可以包括第二控件111,该第一控件用于触发电子设备在录制视频时进行拍摄某一帧待处理图像。
响应于对该第二空间的第二操作(例如点击操作),响应于该第二操作,电子设备可以在录制视频时拍摄待处理图像,电子设备可以使用本申请实施例中的白平衡处理方法对其进行白平衡处理。
应该理解的,除了上述使用场景,本申请实施例涉及的白平衡处理方法还可以运用在其他的场景中,上述使用场景不应该对本申请实施例形成限制。
本申请实施例中,电子设备的存储器121中或者存储接口120外接的存储设备中可以预先存储白平衡场景数据库以及本申请实施例涉及的白平衡处理方法涉及的相关指令,使得电子设备执行本申请实施例中的白平衡处理方法。
下面以结合步骤S101-步骤S106为例,示例性说明电子设备的工作流程。
1.电子设备获取待处理图像;
在一些实施例中,电子设备的触摸传感器180K接收到触摸操作(用户触摸拍摄控件时触发的),相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。
例如,以上触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用中的拍摄控件为例。相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193获取待处理图像。
具体的,电子设备的摄像头193可以将拍摄对象反射的光信号通过镜头传递到摄像头193的图像传感器上,该图像传感器将该光信号转换为电信号,该图像传感器将该电信号传递给ISP,该ISP将该电信号转成为对应的待处理图像。
电子设备可以将该待处理图像存储到存储器121中或者存储接口120外接的存储设备中。
2.电子设备提取待处理图像的图像特征;
电子设备可以通过处理器110获取存储器121中或者存储接口120外接的存储设备中存储的待处理图像。电子设备的处理器110调用相关计算机指令,提取该待处理图像的图像特征。
3.电子设备获取白平衡场景数据库中,各参考图像的图像特征;
电子设备通过处理器110从存储器121中或者存储接口120外接的存储设备中存储的白平衡场景数据库中获取各参考图像的图像特征。
4.电子设备确定待处理图像与各参考图像的相似性;
电子设备的处理器110调用相关计算机指令,利用待处理图像的图像特征与各参考图像的图像特征计算各待处理图像的图像特征与各参考图像的图像特征的差值,确定待处理图像与各参考图像的相似性。并将计算结果存储到存储器121中或者存储接口120外接的存储设备中。
5.电子设备例利用待处理图像与各参考图像的相似性,确定第一参考图像的图像特征关联的白平衡参数;
电子设备的处理器110调用相关计算机指令,从存储器121中或者存储接口120外接的存储设备中获取待处理图像与各参考图像的相似性,处理器110确定其中相似性最高的参考图像的图像特征为第一参考图像的图像特征。然后,该处理器110从从存储器121中或者存储接口120外接的存储设备中存储的白平衡场景数据库中,获取该第一参考图像的图像特征关联的白平衡参数。
6.电子设备根据该白平衡参数对待处理图像进行白平衡处理,得到调整后的待处理图像。
电子设备的处理器110可以调用ISP利用该白平衡参数对对待处理图像进行白平衡处理,得到调整后的待处理图像。
综上所述,利用本申请实施例提供的白平衡处理方法,电子设备可以利用待处理图像的图像特征从预先设定好的拍摄场景信息数据库中确定正确的白平衡参数,该图像特征中包含丰富的图像信息,不易受待处理图像中的噪声等不良因素的影响,可以确定正确的白平衡参数,对待处理图像进行正确的白平衡处理。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种白平衡处理方法,其特征在于,包括:
电子设备确定待处理图像的图像特征,所述图像特征至少包括颜色信息以及空间关系信息,所述颜色信息用于表征所述待处理图像中各颜色的像素量,所述空间关系信息用于表征所述待处理图像中各颜色所在最大区域的空间位置;
所述电子设备确定所述待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,所述第一差值用于表征所述待处理图像与所述第一参考图像的相似度,其中,第一参考图像的图像特征与第一白平衡参数相关联;
所述电子设备确定第一差值满足预设条件;
所述电子设备使用所述第一白平衡参数对所述待处理图像进行白平衡处理,得到调整后的待处理图像。
2.根据权利要求1所述的方法,其特征在于,
所述预设条件为所述第一参考图像的图像特征的第一差值比第二差值小,所述第二差值为白平衡场景数据库中第二参考图像的图像特征与所述待处理图像的图像特征的差值,所述第二差值用于表征所述待处理图像与所述第二参考图像的相似度,所述第二参考图像的图像特征为白平衡场景数据库中除第一参考图像的图像特征以外的其他任一个参考图像的图像特征。
3.根据权利要求1所述的方法,其特征在于,预设条件满足设定的预设阈值。
4.根据权利要求1-3中任一项所述的方法,其特征在于,电子设备确定待处理图像的图像特征之前,所述方法还包括:
所述电子设备显示预览界面,所述预览界面包括预览框,所述预览框中显示所述待处理图像;
所述电子设备获取所述待处理图像。
5.根据权利要求1-3中任一项所述的方法,其特征在于,电子设备确定待处理图像的图像特征之前,所述方法还包括:
所述电子设备显示拍摄界面,所述拍摄界面包括第一控件;
检测到对所述第一控件的第一操作;
响应于所述第一操作,所述电子设备拍摄所述待处理图像。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述图像特征包括高级颜色聚合向量特征,所述高级颜色聚合向量特征中包括所述图像的第一信息和第二信息;所述电子设备提取待处理图像的图像特征,电子设备确定待处理图像的图像特征,具体包括:
所述电子设备确定所述待处理图像中各颜色分别对应的区域集合,所述区域集合中包括至少一个区域;
所述电子设备确定所述各颜色分别对应的区域集合中各区域是聚合区域还是非聚合区域;
所述电子设备统计所述处理图像中的第一信息;所述第一信息为所述各颜色分别对应的区域集合中全部聚合区域中的第一像素量以及全部非聚合区域中的第二像素量;
所述电子设备确定所述待处理图像的第二信息;所述第二信息为所述各颜色分别对应的区域集合中最大区域的空间位置信息;
所述电子设备根据所述第一信息以及所述第二信息,生成图像特征。
7.根据权利要求6所述的方法,其特征在于,所述图像特征还包括光谱特征向量信息,所述光谱特征向量信息包括待处理图像的第三信息,所述第三信息是指所述拍摄场景的光源中不同波长范围的光信号的光强度,所述方法还包括:
所述电子设备检测光源中的不同波长范围的光信号的光强度,生成第三信息;
所述电子设备根据所述第一信息以及所述第二信息,生成图像特征,具体包括:
所述电子设备根据所述第一信息、所述第二信息以及第三信息,生成图像特征。
8.根据权利要求6或7所述的方法,其特征在于,所述电子设备确定所述待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,具体包括:
所述电子设备确定所述待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值,所述第一差值越小,则所述电子设备判断所述待处理图像与所述第一参考图像越相似。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
如果所述图像特征中包括第一信息以及第二信息但不包括第三信息,所述电子设备确定所述待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,所述电子设备为所述图像特征中第一信息与第二信息设置不相同的权重;
如果所述图像特征中包括第一信息、第二信息以及第三信息,所述电子设备确定所述待处理图像的图像特征与白平衡场景数据库中第一参考图像的图像特征的第一差值时,所述电子设备为所述图像特征中第一信息、第二信息以及第三信息设置不相同的权重。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
所述电子设备为所述第一参考图像设置一个相似度阈值;
所述第一差值越小,则所述电子设备判断所述待处理图像与所述第一参考图像越相似,具体包括:
当所述第一差值小于所述相似度阈值时,所述电子设备判断所述待处理图像与第一参考图像相似;所述第一差值越小,则所述电子设备判断所述待处理图像与所述第一参考图像越相似。
11.根据权利要求1-10所述的方法,其特征在于,所述白平衡场景数据库是开发人员预先设计好,存储在所述电子设备中的;所述白平衡场景数据库用于记录不同的拍摄场景下,所述电子设备对待处理图像进行白平衡处理涉及的信息;
所述拍摄场景数据库中至少包括各参考图像的图像特征、拍摄场景对应的白平衡参数;所述拍摄场景数据库中,一个参考图像的图像特征关联一个白平衡参数。
12.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-11任一项所述的方法。
13.一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-11中任一项所述的方法。
14.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-11中任一项所述的方法。
15.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-11中任一项所述的方法。
CN202110604490.6A 2021-05-31 2021-05-31 一种白平衡处理方法、电子设备、芯片系统和存储介质 Active CN113727085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110604490.6A CN113727085B (zh) 2021-05-31 2021-05-31 一种白平衡处理方法、电子设备、芯片系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604490.6A CN113727085B (zh) 2021-05-31 2021-05-31 一种白平衡处理方法、电子设备、芯片系统和存储介质

Publications (2)

Publication Number Publication Date
CN113727085A true CN113727085A (zh) 2021-11-30
CN113727085B CN113727085B (zh) 2022-09-16

Family

ID=78672838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604490.6A Active CN113727085B (zh) 2021-05-31 2021-05-31 一种白平衡处理方法、电子设备、芯片系统和存储介质

Country Status (1)

Country Link
CN (1) CN113727085B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055699A (zh) * 2022-07-28 2023-05-02 荣耀终端有限公司 一种图像处理方法及相关电子设备
WO2023160190A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 自动曝光方法与电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172849A (ja) * 1998-12-09 2000-06-23 Fujitsu Ltd 画像処理装置及びパターン抽出装置
US20080252748A1 (en) * 2007-04-10 2008-10-16 Aricent Inc. System and computer-readable medium for automatic white balancing
US20110026840A1 (en) * 2009-07-28 2011-02-03 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
US20130235193A1 (en) * 2012-03-09 2013-09-12 Altek Corporation License Plate Image-Pickup Device and Image White Balance Adjustment Method Thereof
US20140003712A1 (en) * 2012-06-28 2014-01-02 Lexmark International, Inc. Methods of Content-Based Image Identification
CN104598924A (zh) * 2015-01-14 2015-05-06 南京邮电大学 一种目标匹配检测方法
KR101867586B1 (ko) * 2017-09-22 2018-06-15 주식회사 이넘넷 영상 처리 장치 및 방법
CN109472832A (zh) * 2018-10-15 2019-03-15 广东智媒云图科技股份有限公司 一种配色方案生成方法、装置及智能机器人
CN109688396A (zh) * 2017-07-25 2019-04-26 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172849A (ja) * 1998-12-09 2000-06-23 Fujitsu Ltd 画像処理装置及びパターン抽出装置
US20080252748A1 (en) * 2007-04-10 2008-10-16 Aricent Inc. System and computer-readable medium for automatic white balancing
US20110026840A1 (en) * 2009-07-28 2011-02-03 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
US20130235193A1 (en) * 2012-03-09 2013-09-12 Altek Corporation License Plate Image-Pickup Device and Image White Balance Adjustment Method Thereof
US20140003712A1 (en) * 2012-06-28 2014-01-02 Lexmark International, Inc. Methods of Content-Based Image Identification
CN104598924A (zh) * 2015-01-14 2015-05-06 南京邮电大学 一种目标匹配检测方法
CN109688396A (zh) * 2017-07-25 2019-04-26 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备
KR101867586B1 (ko) * 2017-09-22 2018-06-15 주식회사 이넘넷 영상 처리 장치 및 방법
CN109472832A (zh) * 2018-10-15 2019-03-15 广东智媒云图科技股份有限公司 一种配色方案生成方法、装置及智能机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160190A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 自动曝光方法与电子设备
CN116055699A (zh) * 2022-07-28 2023-05-02 荣耀终端有限公司 一种图像处理方法及相关电子设备
CN116055699B (zh) * 2022-07-28 2023-10-20 荣耀终端有限公司 一种图像处理方法及相关电子设备

Also Published As

Publication number Publication date
CN113727085B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
WO2021036991A1 (zh) 高动态范围视频生成方法及装置
US10516860B2 (en) Image processing method, storage medium, and terminal
CN113727085B (zh) 一种白平衡处理方法、电子设备、芯片系统和存储介质
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
CN112887582A (zh) 一种图像色彩处理方法、装置及相关设备
WO2021077878A1 (zh) 图像处理方法、装置及电子设备
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
US20190268536A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
KR20220017242A (ko) 피사체와 배경에 효과를 적용하여 이미지를 생성하는 전자 장치 및 그 방법
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
CN114429495A (zh) 一种三维场景的重建方法和电子设备
CN117135471A (zh) 一种图像处理方法和电子设备
CN113905218B (zh) 颜色阴影校正方法、电子设备、芯片系统及存储介质
US20230342977A1 (en) Method for Determining Chromaticity Information and Related Electronic Device
US20200374420A1 (en) Image processing apparatus, image processing method, and storage medium
KR20200114275A (ko) 전자 장치 및 이미지에 포함된 개인 정보의 보안 방법
CN116668838B (zh) 图像处理方法与电子设备
CN115514947B (zh) 一种ai自动白平衡的算法和电子设备
CN115955611B (zh) 图像处理方法与电子设备
CN115705663B (zh) 图像处理方法与电子设备
RU2794062C2 (ru) Устройство и способ обработки изображения и оборудование
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
WO2023035919A1 (zh) 控制曝光的方法、装置与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant