CN107911683A - 图像白平衡处理方法、装置、存储介质和电子设备 - Google Patents

图像白平衡处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN107911683A
CN107911683A CN201711213463.6A CN201711213463A CN107911683A CN 107911683 A CN107911683 A CN 107911683A CN 201711213463 A CN201711213463 A CN 201711213463A CN 107911683 A CN107911683 A CN 107911683A
Authority
CN
China
Prior art keywords
white balance
pending image
image
environmental information
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711213463.6A
Other languages
English (en)
Other versions
CN107911683B (zh
Inventor
孙剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711213463.6A priority Critical patent/CN107911683B/zh
Publication of CN107911683A publication Critical patent/CN107911683A/zh
Priority to PCT/CN2018/117292 priority patent/WO2019105304A1/zh
Application granted granted Critical
Publication of CN107911683B publication Critical patent/CN107911683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本申请涉及一种图像白平衡处理方法、装置、存储介质和电子设备。该方法包括:获取待处理图像;获取预先通过移动摄像头而得到的所述待处理图像的环境信息;根据所述环境信息计算出白平衡数据;根据所述白平衡数据对所述待处理图像进行白平衡处理。上述图像白平衡处理方法、装置、存储介质和电子设备可提高对图像白平衡处理的准确性。

Description

图像白平衡处理方法、装置、存储介质和电子设备
技术领域
本申请涉及图像白平衡处理技术领域,特别是涉及一种图像白平衡处理方法、装置、存储介质和电子设备。
背景技术
拍照设备在拍摄同一色彩的对象时,在不同光照环境下,拍摄呈现出该对象的颜色不同。因此,需要对拍摄的图像进行自动白平衡(Auto White Balance,AWB)处理,以解决拍摄对象色彩失真的问题。白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。
传统的图像白平衡处理方法,都是基于拍摄生成的图像中已有的环境信息,采用预设的白平衡算法,对该图像进行自动白平衡处理,从而生成白平衡处理后的图像。然而从该拍摄的图像中能得到的环境信息有限,因此传统的方法对拍摄对象的色彩还原不够准确。
发明内容
本申请实施例提供一种图像白平衡处理方法、装置、存储介质和电子设备,可以提高拍摄对象的色彩还原的准确度。
一种图像白平衡处理方法,包括:
获取待处理图像;
获取预先通过移动摄像头而得到的所述待处理图像的环境信息;
根据所述环境信息计算出白平衡数据;
根据所述白平衡数据对所述待处理图像进行白平衡处理。
一种图像白平衡处理装置,所述装置包括:
图像获取模块,用于获取待处理图像;
环境信息生成模块,用于获取预先通过移动摄像头而得到的所述待处理图像的环境信息;
白平衡处理模块,用于根据所述环境信息计算出白平衡数据;根据所述白平衡数据对所述待处理图像进行白平衡处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请各实施例中所述方法的步骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请各实施例中所述方法的步骤。
本申请实施例所提供的图像白平衡处理方法、装置、存储介质和电子设备,当在进行拍摄图像时,获取预先通过移动摄像头而得到的待处理图像的环境信息;并根据环境信息计算出白平衡数据;由于引入了所拍摄的待处理图像的环境信息,从而为计算白平衡数据提供了更多的参考信息,提高了计算出的白平衡数据的准确性,进而再根据白平衡数据对待处理图像进行白平衡处理,也相应提高了对图像白平衡处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像白平衡处理方法的应用环境图;
图2为一个实施例中电子设备的内部结构示意图;
图3为一个实施例中图像白平衡处理方法的流程图;
图4A为一个实施例中待处理图像的示意图;
图4B为一个实施例中待处理图像的环境信息的示意图;
图5为一个实施例中根据白平衡数据对待处理图像进行白平衡处理;
图6为另一个实施例中图像白平衡处理方法的流程图;
图7为一个实施例中图像白平衡处理装置的结构框图;
图8为一个实施例中拍摄电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一增益称为第二增益,且类似地,可将第二增益称为第一增益。第一增益和第二增益两者都是增益,但其不是同一增益。
图1为一个实施例中图像白平衡处理方法的应用环境图。参考如图1所示,电子设备110可调用其上的摄像头进行拍摄,如对环境中的物体120进行实时扫描得到帧图像,根据该帧图像生成拍摄的图像。可选地,该摄像头可为双摄像头,包含主摄像头和副摄像头,根据该主摄像头和副摄像头共同实现拍摄,生成图像。电子设备可将该帧图像或者生成的图像,作为待处理图像,并获取预先通过移动摄像头而得到的待处理图像的环境信息;根据环境信息计算出白平衡数据;根据白平衡数据对待处理图像进行白平衡处理。
图2为一个实施例中电子设备的内部结构示意图。如图2所示,该电子设备包括通过系统总线连接的处理器、存储器、显示屏和摄像头。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像白平衡处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。数据库中存储有用于实现以下各个实施例所提供的一种图像白平衡处理方法相关的数据,比如可存储有待处理图像、环境信息等数据。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像白平衡处理方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。显示屏可以是触摸屏,比如为电容屏或电子屏,用于显示待处理图像等可视信息,还可以被用于检测作用于该显示屏的触摸操作,生成相应的指令。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。比如该电子设备还可包括通过系统总线连接的网络接口,并通过该网络接口与其它设备进行通信,比如可通过该网络接口与获取其它设备上的图像或白平衡算法等数据。
在一个实施例中,如图3所示,提供了一种图像白平衡处理方法,本实施例主要以该方法应用于如图1所示的电子设备中进行说明,该方法包括:
步骤302,获取待处理图像。
待处理图像是指需要进行白平衡处理的图像,可为已经拍摄生成的图像,还可为在拍摄模式下,通过摄像头实时扫描得到帧图像。
当待处理图像为帧图像时,电子设备接收到开启摄像头的指令时,可调用摄像头进入拍摄状态。可选地,摄像头还可包括主摄像头和副摄像头。可通过该主摄像头和/或副摄像头对拍摄环境中的物体进行扫描,形成该帧图像。
当待处理图像为已经拍摄生成的图像,电子设备可接收拍摄指令,根据扫描得到实时的帧图像生成拍摄的图像,该生成的图像即为该待处理图像。其中,拍摄指令可以是通过侦测到的相关触控操作、物理按键的按压操作或语音控制操作等触发的拍摄指令。触控操作可为触摸点击操作、触摸长按操作、触摸滑动操作、多点触控操作等操作。电子设备可提供用于触发进行拍摄的拍摄按钮,当侦测到对该按钮的点击操作时,触发拍摄指令。电子设备还可预设用于触发该拍摄指令的拍摄语音信息。通过调用语音接收装置,接收对应的语音信息,通过解析该语音信息,当检测到该语音信息与该拍摄语音信息匹配时,可触发该拍摄指令。
步骤304,获取预先通过移动摄像头而得到的待处理图像的环境信息。
电子设备可在生成待处理图像之前或在生成待处理图像的过程中,即通过移动摄像头而获取与待处理图像相关的环境信息。其中,该环境信息为待处理图像所处环境的信息,包含待处理图像中的场景和该场景的周边的信息。该环境信息可以以图像或帧图像的数据形式体现,环境信息上的每个像素点对应所处环境内的位置,该像素点呈现的颜色即为该环境中的对应位置通过摄像头扫描而呈现出的颜色。当将环境信息以图像或帧图像的形式呈现时,该环境信息所呈现出的即为待处理图像所处环境。
如图4A和图4B所示,其中,图4A为待处理图像的示意图,图4B即为该待处理图像的环境信息的示意图。其中,待处理图像中呈现的主要是一个卡通人像,而该环境信息中包含了该卡通人像之外,还包含人像身体两侧的植物以及卡通人像头部两侧的白色背景等信息。可以理解地,用户可在拍摄该待处理图像之前,可移动处于拍摄状态的摄像头。电子设备可通过该摄像头的移动,而记录并整理出待处理图像的环境信息。
步骤306,根据环境信息计算出白平衡数据。
白平衡数据为用于对待处理图像进行白平衡处理时所需使用到的数据,比如可为颜色通道的增益。电子设备可根据该待处理图像和环境信息进行白平衡数据的计算,以得出对应的白平衡数据,该白平衡数据为根据待处理图像和环境信息而得出的数据。通常的,该环境信息中即包含该待处理图像中的所呈现的内容,因此,可仅根据该环境数据来得到白平衡数据。
在一个实施例中,电子设备可预设有白平衡算法,该白平衡算法可包括灰度世界算法、完美反射算法、全局白平衡算法和局部白平衡法等其中的一种或多种。电子设备可选取其中一种算法,将该环境信息(和待处理图像)作为该白平衡算法的输入,并运行该白平衡算法,而得到相应的白平衡数据。
步骤308,根据白平衡数据对待处理图像进行白平衡处理。
待处理图像由若干个像素点构成的,每个像素点可以由多个颜色通道构成,每个颜色通道表示一个颜色分量。例如,图像可以由RGB(红、绿、蓝三种颜色)三通道构成,也可以是由HSV(色调、饱和度和明度)三通道构成,还可以是由CMY(青、洋红或品红和黄三种颜色)三通道构成。
针对每个像素点上的每个颜色通道,电子设备可按照相应的白平衡数据对对应的显色通道的颜色值进行修正。从而实现对待处理图像的白平衡处理,使得修正后的颜色值更能反映出对应拍摄物体的真实色彩。
上述的图像白平衡处理方法,当在进行拍摄图像时,获取预先通过移动摄像头而得到的待处理图像的环境信息;并根据环境信息计算出白平衡数据;由于引入了所拍摄的待处理图像的环境信息,从而为计算白平衡数据提供了更多的参考信息,提高了计算出的白平衡数据的准确性,进而再根据白平衡数据对待处理图像进行白平衡处理,也相应提高了对图像白平衡处理的准确性。
在一个实施例中,上述的步骤302可在步骤304之前执行,还可在步骤306之后执行,即可在获取待处理图像之前,即可先计算出白平衡数据,该白平衡数据可由环境信息所计算出。可进一步提高对待处理图像进行白平衡处理的效率。比如,电子设备可将摄像头设置为拍摄状态,并在移动摄像头的过程中,在生成拍摄待处理图像之前,即可根据移动扫描来得到实时的环境信息,并根据该环境信息实时计算出白平衡数据。当接收到拍摄指令时,生成待处理图像,并使用最新计算出的白平衡数据对待处理图像进行白平衡处理,从而提高了白平衡处理的效率。
在一个实施例中,步骤304包括:获取预先通过移动摄像头得到的实时的帧图像;根据不同时刻生成的帧图像得到待处理图像的环境信息。
电子设备可按照对应的帧率来实时生成帧图像。其中,该帧率可为固定设置的帧率,还可为根据当前环境的亮度等信息自适应确定的帧率。比如可以以每秒30帧的帧率来实时生成帧图像。在实时生成帧图像的过程中,可移动该摄像头,使得不同的时刻生成的帧图像不一定相同。电子设备可将每个帧图像中的信息均纳入环境信息中,由该不同时刻生成的帧图像而得到完整的环境信息。或者可仅提取不同时刻生成的帧图像中,与之前所生成的帧图像中的图像信息不同的图像区域,将该图像区域纳入环境信息中,从而由使得环境信息中包含待处理图像所在空间信息,且该空间信息不重复。
在一个实施例中,根据不同时刻生成的帧图像得到待处理图像的环境信息,包括:将不同时刻生成的帧图像进行对比,得到待处理图像的环境信息。
电子设备可提取每个帧图像中的像素点的颜色通道,并对当前帧和在该当前帧之前的预设数量的帧图像进行图像画面比较,识别出当前帧相对于在该当前帧之前的预设数量的帧图像画面的不重复区域。并进一步分析每个不重复区域在整个空间中的位置关系,根据该不重复区域和位置关系,形成该待处理图像的环境信息。其中,该环境信息可为帧图像的数据形式体现,即该环境信息可由上述检测出的各个帧图像中,不重复区域以及该区域在整个环境中对应的空间位置,而合成的全景图像。通过移动摄像头扫描而得到实时的帧图像,并根据不同时刻生成的帧图像得到待处理图像的环境信息,使得获取的环境信息的信息量更多。
可选地,电子设备可按照空间场景建模算法,在画面移动过程中,比较相邻的前后帧图像之间的画面的差异区域,根据该差异区域在对应帧图像中的区域来确定摄像头在整个拍摄场景中的空间坐标,该空间坐标包括直线坐标和角度坐标。根据所确定的空间坐标,可获知该拍摄场景中的每个区域与摄像头之间的坐标位置,从而根据该坐标位置以及每个帧图像中的不同画面,得到环境信息。其中,该待处理图像所拍摄的区域即处于该拍摄场景中。在一个实施例中,该空间场景建模算法可为即时定位与地图构建(simultaneouslocalization and mapping,SLAM)算法,电子设备通过在摄像头移动的过程中,实时生成相应的帧图像,按照该帧图像与预设的SLAM算法,可构建出摄像头在当前拍摄画面下,所处空间中的空间信息,根据该空间信息,尽可能多地记录环境信息,以将该环境信息用于白平衡处理。
在一个实施例中,根据不同时刻生成的帧图像得到待处理图像的环境信息,包括:调用运动检测元件,检测在生成每个帧图像时摄像头的移动数据;根据移动数据从帧图像中得到待处理图像的环境信息。
运动检测元件为适用于检测设备运动状态的元件,可包括但不限于陀螺仪或重力感应装置。加速度传感器等元件。电子设备可调用内置的运动检测元件,计算出摄像头在移动过程中的移动数据。其中,移动数据可包括移动速度、移动距离和移动角度等其中的一种或多种的组合。按照拍摄扫描的帧率,计算出拍摄当前帧图像时,相对于拍摄参考帧,摄像头的相对移动数据。其中,该相对移动数据为在当前时刻,相对于拍摄参考帧的时刻,摄像头的移动数据。参考帧可为首次用于记录环境信息时的帧图像,或者被用于参与记录环境信息的帧图像中的任意一帧图像。根据该相对移动数据,可计算出当前拍摄的帧图像的画面信息和参考帧之间的画面信息,在空间中的位置关系。可以理解地,该画面信息之间可能具有重复的部分。根据该位置关系,可以从不同时刻生成的帧图像中,得到通过摄像头所扫描到的全部环境信息。
在一个实施例中,如图5所示,步骤308包括:
步骤502,根据环境信息生成全景图像。
电子设备可根据该环境信息中包含的像素点以及像素点之间的位置关系,合成对应的图像,由于该环境信息是由通过移动摄像头来扫描而得到的,所以合成的图像即类似全景图像。
步骤504,识别全景图像中的白色像素点。
以像素点的颜色通道为RGB三通道为例,当像素点上的RGB三通道的各颜色通道的数值相同时,该像素点呈现的颜色即为白色。电子设备可检测每个像素点上的三通道的数值是否相同或者近似相同,将数值相同或近似相同的像素点判定为白色像素点。其中,近似相同表示三通道的数值差值或增益在对应的预设数值范围内。该增益表示两个颜色通道的数值之比。记RGB三通道的各颜色通道的数值分别为R、G、B。则当同一像素上的R=G=B时,该像素点的颜色即为标准白色。以G通道为参考,该增益包括:R/G=1.0;B/G=1.0。当增益R/G、B/G均处于预设数值范围之内时,则判定该三通道的数值R、G、B近似相同,即判定该像素点的颜色接近白色。
步骤506,根据白色像素点计算出白平衡数据。
在一个实施例中,电子设备可对每个白色像素点上的各个颜色通道,求取白的像素点的平均增益,将该平均增益作为白平衡数据。可选地,可对每个白色像素点上的各个颜色通道,将相同颜色通道的数值进行求和,根据每个颜色通道的数值之和计算出该平均增益,如R/G_average,B/G_average,该平均增益即为白平衡数据。
上述实施例中,通过环境信息生成全景图像,再根据全景图像中的白色像素点来计算出白平衡数据,可进一步提高白平衡数据计算的准确性。
在一个实施例中,根据白色像素点计算出白平衡数据,包括:检测所有的白色像素点在全景图像中占据的比例;根据与比例对应的白平衡计算模型计算出白平衡数据。
本实施例中,不同的白平衡计算模型所需的白平衡数据不一定相同。且不同的拍摄环境所适用的白平衡计算模型也不一定相同。电子设备预设了多种白平衡计算模型,比如可预设包含上述的灰度世界算法、完美反射算法、全局白平衡算法和局部白平衡法等计算模型。针对不同的计算模型,电子设备进一步设置了白色像素点在全景图像中占据的比例与相关计算模型的对应关系,使得在不同的占比下,获取对应的计算模型来计算该白平衡数据,并按照对应的计算模型和该白平衡数据对待处理图像进行白平衡处理。
电子设备可计算白色像素点的白点数量,以及该全景图像中的像素点的总数量,该白点数量与总数量之比即为白色像素点在全景图像中占据的比例。进一步地,可设置不同的白平衡计算模型与白色像素点的占比范围之间的对应关系,比如,当白色像素点在全景图像中占据的比例处于A%~B%时,对应白平衡计算模型A,当处于B%~C%时,对应白平衡计算模型B。可选地,该比例范围和对应的计算模型可按照经验设置,使得根据该对应关系选取的白平衡计算模型为最适用于对待处理图像进行白平衡处理的计算模型。
在一个实施例中,白平衡数据包括第一增益和第二增益;根据白色像素点计算出白平衡数据,包括:根据白色像素点上的像素的像素均值;根据像素均值计算出第一颜色通道的第一增益和第二颜色通道的第二增益;根据白平衡数据对待处理图像进行白平衡处理,包括:根据第一增益对待处理图像中每个像素的第一颜色通道进行白平衡矫正;根据第二增益对待处理图像中每个像素的第二颜色通道进行白平衡矫正。
增益表示两个颜色通道的数值之比。第一增益和第二增益分别表示一其中一个颜色通道为基准,另外两个颜色通道的数值与该基准的颜色通道的数值之比。同样以颜色通道为RGB三通道为例进行说明,上述的R/G_average,B/G_average可为该第一增益和第二增益,即为该R通道的增益和G通道的增益。电子设备针对每个颜色通道,将判定为白色像素的相同颜色通道进行求平均,得到每个颜色通道的均值,该均值即为像素均值。可以理解地,该像素均值可包括R均值、G均值和B均值。以G通道作为基准,则分别将R均值除以该G均值;将B均值除以G均值,即分别得到上述的R/G_average,B/G_average。
电子设备可将待处理图像上,每个像素点的R通道乘以R/G_average,B通道乘以B/G_average的倒数,从而实现对待处理图像的颜色矫正,实现对待处理图像的白平衡处理。
上述实施例中,通过对环境信息进行分析,从待处理图像所在的整个环境中得到白色像素点,使得可提高对白色像素点获取的全面性,进而根据该白色像素点来得到第一增益和第二增益,按照该第一增益和第二增益对待处理图像进行白平衡处理,提高了对待处理图像进行白平衡处理的准确性。
在一个实施例中,如图6所示,提供了另一种图像白平衡处理方法,该方法包括:
步骤602,获取待处理图像。
可选地,该待处理图像可为在拍摄模式下,实时生成的图像,或者可为按照预设帧率实时呈现在显示屏上的帧图像。
步骤604,获取预先通过移动摄像头得到的实时的帧图像。
电子设备在拍摄模式下,在显示屏上显示移动摄像头的提示信息,以提示用户对摄像头进行移动。可以理解地,该提示信息的显示方式和提示信息的数据格式均可包含多种。比如可显示“请左右移动摄像头”等类似的文字提示信息,或者可显示用于表示左右移动图形或符号等标记,比如可显示表示左右移动的箭头等。电子设备可在拍摄模式下,在获取到待处理图像之前,即可缓存该实时扫描得到的帧图像。
可选地,摄像头可进行左右、上下、前后等任意位置移动,比如可以以某个国定位置进行左右转动。摄像头移动范围越大,则对应可采集到的环境信息更丰富,使得后续白平衡处理的准确性更高。举例来说,用户可在拍摄出待处理图像之前,可手持该电子设备,对要拍摄的场景进行环境扫描,比如可手持该电子设备进行360°转动一圈,以得到整个空间的环境信息。在电子设备移动的过程中,可按照预设的帧率实时地生成帧图像。
步骤606,将不同时刻生成的帧图像进行对比,得到待处理图像的环境信息。
可选地,参与提取环境信息的帧图像,可为在待处理图像的生成时间之前的预设时长之内获取的帧图像,或者为在拍摄待处理图像的过程中,在没有终止拍摄模式下,而生成的帧图像。
电子设备可将每个相邻两帧图像进行图像画面比较,识别出当前帧相对于在该当前帧之前的预设数量的帧图像画面的不重复区域。分析每个不重复区域在整个空间中的位置关系,根据该不重复区域和位置关系,形成该待处理图像的环境信息。
在一个实施例中,电子设备可按照预设的SLAM算法,在移动拍摄过程中,按照拍摄的帧图像,构建出待处理图像的拍摄场景所处的整个空间信息。根据该空间信息,尽可能多地记录环境信息,以将该环境信息用于白平衡处理。
步骤608,根据环境信息生成全景图像,识别全景图像中的白色像素点。
其中,该不重复区域也是由对应的像素点所构成,该不重复区域之间的位置关系也决定每个像素点之间的位置关系,根据该像素点和位置关系,可合成该全景图像。可以理解地,由于移动摄像头的方式不一定规则,该合成的全景图像并不一定为一个完整的矩形,可能存在某一区域上的像素点的缺失。
以像素点的颜色通道为RGB三通道为例,电子设备可计算每个像素点上的第一增益和第二增益,比如计算R/G和B/G,当该R/G和B/G均处于预设的数值范围之内时,则判定对应的像素点为白色像素点。该数值范围可为设置的任意合适的范围,比如可为0.8~1.2,当0.8<R/G<1.2且0.8<B/G<1.2时,判定该像素点为白色像素点。
步骤610,根据白色像素点上的像素的像素均值,根据像素均值计算出第一颜色通道的第一增益和第二颜色通道的第二增益。
电子设备可对判定为白色像素点的像素,求取其像素均值,得到各个颜色通道的均值即为该像素均值。并以其中一个颜色通道为基准,另外两个颜色通道现对于该基准的颜色通道的增益即为该第一增益和第二增益。比如以G通道为基准,该R通道的增益R/G_average和B通道的增益B/G_average则分别为上述的第一颜色通道的第一增益和第二颜色通道的第二增益。
步骤612,根据第一增益对待处理图像中每个像素的第一颜色通道进行白平衡矫正;根据第二增益对待处理图像中每个像素的第二颜色通道进行白平衡矫正。
可选地,电子设备可将待处理图像中的R通道乘以R/G_average,将B通道乘以B/G_average的倒数,以完成对该第一颜色通道和第二颜色通道的白平衡矫正,实现对待处理图像的白平衡处理。
上述的图像白平衡处理方法,当在进行拍摄图像时,获取预先通过移动摄像头而得到的待处理图像的环境信息;并根据环境信息计算出白平衡数据;由于引入了所拍摄的待处理图像的环境信息,从而为计算白平衡数据提供了更多的参考信息,提高了计算出的白平衡数据的准确性,进而再根据白平衡数据对待处理图像进行白平衡处理,也相应提高了对图像白平衡处理的准确性。
在一个实施例中,如图7所示,提供了一种图像白平衡处理装置,该装置包括:
图像获取模块702,用于获取待处理图像。
环境信息生成模块704,用于获取预先通过移动摄像头而得到的待处理图像的环境信息。
白平衡处理模块706,用于根据环境信息计算出白平衡数据;根据白平衡数据对待处理图像进行白平衡处理。
在一个实施例中,环境信息生成模块704还用于获取预先通过移动摄像头得到的实时的帧图像;根据不同时刻生成的帧图像得到待处理图像的环境信息。
在一个实施例中,环境信息生成模块704还用于将不同时刻生成的帧图像进行对比,得到待处理图像的环境信息。
在一个实施例中,环境信息生成模块704还用于调用运动检测元件,检测在生成每个帧图像时摄像头的移动数据;根据移动数据从帧图像中得到待处理图像的环境信息。
在一个实施例中,白平衡处理模块706还用于根据环境信息生成全景图像;识别全景图像中的白色像素点;根据白色像素点计算出白平衡数据。
在一个实施例中,白平衡处理模块706还用于检测所有的白色像素点在全景图像中占据的比例;根据与比例对应的白平衡计算模型计算出白平衡数据。
在一个实施例中,白平衡数据包括第一增益和第二增益;白平衡处理模块706还用于根据白色像素点上的像素的像素均值;根据像素均值计算出第一颜色通道的第一增益和第二颜色通道的第二增益;根据第一增益对待处理图像中每个像素的第一颜色通道进行白平衡矫正;根据第二增益对待处理图像中每个像素的第二颜色通道进行白平衡矫正。
上述图像白平衡处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像白平衡处理装置按照需要划分为不同的模块,以完成上述图像白平衡处理装置的全部或部分功能。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例所提供的图像白平衡处理方法的步骤。
在一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例所提供的图像白平衡处理方法的步骤。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例所提供的图像白平衡处理方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括拍摄电路,拍摄电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中拍摄电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的拍摄技术的各个方面。
如图8所示,拍摄电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的拍摄的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个拍摄操作、收集关于图像数据的统计信息。其中,拍摄操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个拍摄操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840还可从图像存储器830接收处理数据,对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。
ISP处理器840处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器840处理后的图像数据可发送给美颜模块860,以便在被显示之前对图像进行美颜处理。美颜模块860对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美颜模块860可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。美颜模块860处理后的数据可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。其中,美颜模块860还可位于编码器/解码器870与显示器880之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器870可为移动终端中CPU、GPU或协处理器等。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数以及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
运用图8中拍摄技术可实现如上的图像白平衡处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像白平衡处理方法,包括:
获取待处理图像;
获取预先通过移动摄像头而得到的所述待处理图像的环境信息;
根据所述环境信息计算出白平衡数据;
根据所述白平衡数据对所述待处理图像进行白平衡处理。
2.根据权利要求1所述的方法,其特征在于,所述获取预先通过移动摄像头而得到的所述待处理图像的环境信息,包括:
获取预先通过移动摄像头得到的实时的帧图像;
根据不同时刻生成的帧图像得到所述待处理图像的环境信息。
3.根据权利要求2所述的方法,其特征在于,所述根据不同时刻生成的帧图像得到所述待处理图像的环境信息,包括:
将不同时刻生成的帧图像进行对比,得到所述待处理图像的环境信息。
4.根据权利要求2所述的方法,其特征在于,所述根据不同时刻生成的帧图像得到所述待处理图像的环境信息,包括:
调用运动检测元件,检测在生成每个帧图像时所述摄像头的移动数据;
根据所述移动数据从所述帧图像中得到所述待处理图像的环境信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述环境信息计算出白平衡数据,包括:
根据所述环境信息生成全景图像;
识别所述全景图像中的白色像素点;
根据所述白色像素点计算出白平衡数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述白色像素点计算出白平衡数据,包括:
检测所有的白色像素点在所述全景图像中占据的比例;
根据与所述比例对应的白平衡计算模型计算出白平衡数据。
7.根据权利要求5所述的方法,其特征在于,所述白平衡数据包括第一增益和第二增益;所述根据所述白色像素点计算出白平衡数据,包括:
根据所述白色像素点上的像素的像素均值;
根据所述像素均值计算出第一颜色通道的第一增益和第二颜色通道的第二增益;
所述根据所述白平衡数据对所述待处理图像进行白平衡处理,包括:
根据所述第一增益对所述待处理图像中每个像素的第一颜色通道进行白平衡矫正;
根据所述第二增益对所述待处理图像中每个像素的第二颜色通道进行白平衡矫正。
8.一种图像白平衡处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像;
环境信息生成模块,用于获取预先通过移动摄像头而得到的所述待处理图像的环境信息;
白平衡处理模块,用于根据所述环境信息计算出白平衡数据;根据所述白平衡数据对所述待处理图像进行白平衡处理。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
CN201711213463.6A 2017-11-28 2017-11-28 图像白平衡处理方法、装置、存储介质和电子设备 Active CN107911683B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711213463.6A CN107911683B (zh) 2017-11-28 2017-11-28 图像白平衡处理方法、装置、存储介质和电子设备
PCT/CN2018/117292 WO2019105304A1 (zh) 2017-11-28 2018-11-23 图像白平衡处理方法、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711213463.6A CN107911683B (zh) 2017-11-28 2017-11-28 图像白平衡处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN107911683A true CN107911683A (zh) 2018-04-13
CN107911683B CN107911683B (zh) 2019-07-23

Family

ID=61849105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711213463.6A Active CN107911683B (zh) 2017-11-28 2017-11-28 图像白平衡处理方法、装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN107911683B (zh)
WO (1) WO2019105304A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105304A1 (zh) * 2017-11-28 2019-06-06 Oppo广东移动通信有限公司 图像白平衡处理方法、计算机可读存储介质和电子设备
CN112492286A (zh) * 2019-09-11 2021-03-12 深圳开阳电子股份有限公司 一种自动白平衡校正方法、装置及计算机存储介质
CN113115014A (zh) * 2021-04-15 2021-07-13 北京有竹居网络技术有限公司 图像处理方法、装置、设备、介质和计算机程序产品
CN114697629A (zh) * 2020-12-25 2022-07-01 惠州视维新技术有限公司 一种白平衡处理方法、装置、存储介质及终端设备
CN114930811A (zh) * 2019-11-22 2022-08-19 三星电子株式会社 用于深白平衡编辑的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247513A (zh) * 2007-12-25 2008-08-20 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
CN102271260A (zh) * 2011-09-07 2011-12-07 天津天地伟业数码科技有限公司 白平衡调节的方法
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端
CN103957396A (zh) * 2014-05-14 2014-07-30 姚杰 利用智能设备进行舌诊时的图像处理方法、装置及设备
CN105227945A (zh) * 2015-10-21 2016-01-06 维沃移动通信有限公司 一种自动白平衡的控制方法及移动终端
CN105981379A (zh) * 2014-09-17 2016-09-28 深圳市大疆创新科技有限公司 自动白平衡系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2760208B1 (en) * 2013-01-25 2019-04-10 BlackBerry Limited Reduce operating environment effect using multiple cameras
CN104394392B (zh) * 2014-11-14 2016-09-28 广东欧珀移动通信有限公司 一种白平衡调节方法、装置以及终端
CN107911683B (zh) * 2017-11-28 2019-07-23 Oppo广东移动通信有限公司 图像白平衡处理方法、装置、存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247513A (zh) * 2007-12-25 2008-08-20 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
CN102271260A (zh) * 2011-09-07 2011-12-07 天津天地伟业数码科技有限公司 白平衡调节的方法
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端
CN103957396A (zh) * 2014-05-14 2014-07-30 姚杰 利用智能设备进行舌诊时的图像处理方法、装置及设备
CN105981379A (zh) * 2014-09-17 2016-09-28 深圳市大疆创新科技有限公司 自动白平衡系统及方法
CN105227945A (zh) * 2015-10-21 2016-01-06 维沃移动通信有限公司 一种自动白平衡的控制方法及移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105304A1 (zh) * 2017-11-28 2019-06-06 Oppo广东移动通信有限公司 图像白平衡处理方法、计算机可读存储介质和电子设备
CN112492286A (zh) * 2019-09-11 2021-03-12 深圳开阳电子股份有限公司 一种自动白平衡校正方法、装置及计算机存储介质
CN114930811A (zh) * 2019-11-22 2022-08-19 三星电子株式会社 用于深白平衡编辑的方法和装置
CN114697629A (zh) * 2020-12-25 2022-07-01 惠州视维新技术有限公司 一种白平衡处理方法、装置、存储介质及终端设备
CN114697629B (zh) * 2020-12-25 2023-10-20 惠州视维新技术有限公司 一种白平衡处理方法、装置、存储介质及终端设备
CN113115014A (zh) * 2021-04-15 2021-07-13 北京有竹居网络技术有限公司 图像处理方法、装置、设备、介质和计算机程序产品
CN113115014B (zh) * 2021-04-15 2023-07-18 北京有竹居网络技术有限公司 图像处理方法、装置、设备、介质和计算机程序产品

Also Published As

Publication number Publication date
CN107911683B (zh) 2019-07-23
WO2019105304A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN107911682A (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN107911683B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
US10997696B2 (en) Image processing method, apparatus and device
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107730445A (zh) 图像处理方法、装置、存储介质和电子设备
US10805508B2 (en) Image processing method, and device
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN107945135A (zh) 图像处理方法、装置、存储介质和电子设备
CN108055452A (zh) 图像处理方法、装置及设备
CN107959841A (zh) 图像处理方法、装置、存储介质和电子设备
CN106664351A (zh) 使用块匹配的镜头阴影颜色校正的方法和系统
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN107948511B (zh) 图像亮度处理方法、装置、存储介质和图像亮度处理设备
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112004029B (zh) 曝光处理方法、装置、电子设备、计算机可读存储介质
CN107948617A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
CN108322651A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN108683863A (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN107920205B (zh) 图像处理方法、装置、存储介质和电子设备
CN107948618A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant