CN112822370A - 电子设备、前置图像信号处理器及图像处理方法 - Google Patents

电子设备、前置图像信号处理器及图像处理方法 Download PDF

Info

Publication number
CN112822370A
CN112822370A CN202110035973.9A CN202110035973A CN112822370A CN 112822370 A CN112822370 A CN 112822370A CN 202110035973 A CN202110035973 A CN 202110035973A CN 112822370 A CN112822370 A CN 112822370A
Authority
CN
China
Prior art keywords
color
vector
image
scene
cast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110035973.9A
Other languages
English (en)
Other versions
CN112822370B (zh
Inventor
吴义孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110035973.9A priority Critical patent/CN112822370B/zh
Publication of CN112822370A publication Critical patent/CN112822370A/zh
Priority to PCT/CN2021/128536 priority patent/WO2022151813A1/zh
Application granted granted Critical
Publication of CN112822370B publication Critical patent/CN112822370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本申请实施例提供一种电子设备、前置图像信号处理器及图像处理方法，其中，获取拍摄场景的场景图像，并根据该场景图像识别拍摄场景中存在的对象，以及对场景图像进行白平衡校正，得到校正图像，之后，当拍摄场景中的对象在校正图像中的颜色向量与该对象的预分配颜色向量存在色偏时，对校正图像进行颜色还原处理，得到还原图像。以此，通过识别白平衡结果存在的色偏，并相应进行颜色还原处理，能够提高电子设备的色彩还原能力。

Description

电子设备、前置图像信号处理器及图像处理方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种电子设备、前置图像信号处理器及图像处理方法。
背景技术
目前，用户通常利用具有摄像头的电子设备(如数码相机、智能手机等)拍摄图像，从而随时随地的记录身边发生的事情，看到的景物等。为了提供更高的拍摄体验，不仅要求提高电子设备的摄像头像素，还要求提高电子设备的色彩还原能力。相关技术中，为了使得拍摄的图像能够真实地反映拍摄对象的颜色，提出了自动白平衡技术，旨在使得不同光源照明场景下的拍摄对象具有人眼在相同光源照明场景下所见相符的色彩还原。然而，电子设备基于白平衡的色彩还原能力较差。
发明内容
本申请实施例提供一种电子设备、前置图像信号处理器及图像处理方法，能够提高电子设备的色彩还原能力。
本申请公开一种电子设备，包括：
摄像头，用于采集拍摄场景的场景图像；
前置图像信号处理器，用于根据所述场景图像识别所述拍摄场景中存在的对象；
应用处理器，用于对所述场景图像进行白平衡校正，得到校正图像；以及当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
本申请公开一种前置图像信号处理器，包括：
数据接口，用于从摄像头获取拍摄场景的场景图像；以及将所述场景图像传输至应用处理器进行白平衡校正，并接收所述应用处理器进行白平衡校正后返回的校正图像；
神经网络处理单元，用于通过对象识别模型对所述场景图像进行识别，以识别出所述拍摄场景中存在的对象；
图像信号处理单元，用于当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
本申请还公开一种图像处理方法，包括：
获取拍摄场景的场景图像；
对所述场景图像进行白平衡校正，得到校正图像；
根据所述场景图像识别所述拍摄场景中存在的对象；
当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
本申请提供一种电子设备、前置图像信号处理器及图像处理方法，其中，获取拍摄场景的场景图像，并根据该场景图像识别拍摄场景中存在的对象，以及对场景图像进行白平衡校正，得到校正图像，之后，当拍摄场景中的对象在校正图像中的颜色向量与该对象的预分配颜色向量存在色偏时，对校正图像进行颜色还原处理，得到还原图像。以此，通过识别白平衡结果存在的色偏，并相应进行颜色还原处理，能够提高电子设备的色彩还原能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的电子设备的结构示意图。
图2为本申请实施例中识别得到场景图像中存在的对象的示例图。
图3为图1中前置图像信号处理器的细化结构示意图。
图4为本申请实施例中确定出的采样像素点的示例图。
图5为本申请实施例中与预分配颜色向量关联的，色偏方向与预设相似度的对应关系的示意图。
图6为本申请实施例中计算得到的色偏向量的示例图。
图7为本申请实施例中进行插值处理的示例图。
图8为本申请实施例提供的前置图像信号处理器的结构示意图。
图9为本申请实施例提供的图像处理方法的流程示意图。
具体实施方式
本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。
请参照图1，图1为本申请实施例提供的电子设备100的结构示意图。该电子设备100包括摄像头110、前置图像信号处理器120和应用处理器130，其中，
摄像头110，用于采集拍摄场景的场景图像；
前置图像信号处理器120，用于根据场景图像识别拍摄场景中存在的对象；
应用处理器130，用于对场景图像进行白平衡校正，得到校正图像；以及当前述对象在校正图像中的颜色向量与前述对象的预分配颜色向量存在色偏时，根据色偏对校正图像进行颜色还原处理，得到还原图像。
应当说明的是，本申请实施例中对电子设备的实体展现形式不做具体限制，电子设备的实体展现形式可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备。
如上，本申请所提供的电子设备至少包括摄像头110、前置图像信号处理器120以及应用处理器130.
摄像头110由多部分组成，主要包括镜头、马达以及图像传感器等。其中，镜头用于将外界的光信号投射至图像传感器；图像传感器用于将镜头投射的光信号进行光电转换，将光信号转换为可用的电信号，得到原始的图像数据；而马达用于驱动镜头移动，从而调整镜头和图像传感器之间的距离，以满足成像公式(或称透镜成像公式、高斯成像公式等)，使得成像清晰。
基于摄像头110的硬件能力，在本申请实施例中，摄像头110被配置为采集拍摄场景的场景图像。其中，拍摄场景可以理解为摄像头110在使能后所对准的场景，即摄像头110能够将光信号转换为对应图像数据的场景。比如，电子设备在根据用户操作使能摄像头110之后，若用户控制电子设备100的摄像头110对准一包括某对象的场景，则包括该对象的场景即为摄像头110的拍摄场景。
根据以上描述，本领域普通技术人员应当理解的是，拍摄场景并非特指某一特定场景，而是跟随摄像头110的指向所实时对准的场景。通常的，拍摄场景并不仅仅包括单一的对象，其中可能存在各种各样的对象。比如，当在某拍摄场景进行人像的拍摄时，摄像头110的拍摄场景中不仅包括拍摄的“目标人物”，还可能存在草地、树木、建筑物等其他对象。
通常的，特定的对象存在特定的颜色，比如天空通常为蓝色，云朵通常为白色，消防栓通常为红色等。基于此，本申请实施例中，预先根据经验为不同的对象分配有与之对应的颜色，记为预分配颜色向量，由此建立对象和预分配颜色向量的对应关系。由此，可以对拍摄场景中的对象进行识别，并利用对象和预分配颜色向量的对象关系，将拍摄场景中的对象的预分配颜色向量，与该对象在拍摄出的白平衡之后的图像中的颜色进行对比，从而根据对比结果即可判断白平衡是否出现异常，也即判断白平衡之后的图像是否存色偏。基于此，前置图像信号处理器120被配置为按照配置的识别策略，根据场景图像识别拍摄场景中存在的对象。此处对识别策略的配置不作具体限制，可由本领域普通技术人员根据实际需要进行配置，包括但不限于基于目标的对象识别方式以及基于人工智能的对象识别方式等。比如，请参照图2，示出了一场景图像，前置图像信号处理器120通过对该场景图像进行识别，识别出了相应拍摄场景中存在的一对象“消防栓”。
应用处理器130按照配置的白平衡策略，对前述场景图像进行白平衡校正，得到白平衡校正后的场景图像，记为校正图像。此处对白平衡策略的配置不作具体限制，可由本领域普通技术人员根据实际需要进行配置，包括但不限于基于灰度世界的白平衡校正方式以及基于色温估计的白平衡校正方式等。
应用处理器130还被配置为获取识别到的拍摄场景中的对象在校正图像中的颜色向量；以及根据对象和预分配颜色向量的对应关系，获取拍摄场景中的对象所对应的预分配颜色向量；以及判断拍摄场景中对象的颜色向量与预分配颜色向量是否存在色偏；以及在拍摄场景中对象的颜色向量与预分配颜色向量存在色偏时，根据拍摄场景中对象的颜色向量与预分配颜色向量的色偏对校正图像进行颜色还原处理，以消除色偏，并将颜色还原处理后的校正图像记为还原图像。
由上可知，本申请提供的电子设备100包括摄像头110、前置图像信号处理器120以及应用处理器130。其中，通过摄像头110采集拍摄场景的场景图像，以及通过前置图像信号处理器120利用场景图像识别拍摄场景中存在的对象，以及通过应用处理器130对场景图像进行白平衡校正，得到校正图像，以及当拍摄场景中的对象在校正图像中的颜色向量与该对象的预分配颜色向量存在色偏时，通过应用处理器130对校正图像进行颜色还原处理，得到还原图像。以此，通过识别白平衡结果存在的色偏，并相应进行颜色还原处理，能够确保电子设备100色彩还原能力的稳定性。
可选地，在一实施例中，为提升图像处理效率，应用处理器130用于在前置图像信号处理器120根据场景图像识别拍摄场景中存在的对象的同时，对场景图像进行白平衡校正，得到校正图像。
可选地，在一实施例中，前置图像信号处理器120用于对场景图像进行状态统计，得到应用处理器130进行白平衡校正所需的状态信息；以及对场景图像进行优化处理，得到优化后的场景图像；
应用处理器130用于根据状态信息对优化后的场景图像进行白平衡校正，得到校正图像。
应当说明的是，在本申请实施例中，前置图像信号处理器120还被配置为对场景图像进行状态统计，以得到应用处理器130进行白平衡校正所需的状态信息。此外，前置图像信号处理器120还被配置为在统计得到应用处理器130进行白平衡校正所需的状态信息之后，按照配置的优化策略，对场景图像进行优化处理，得到优化后的场景图像。此处对优化策略的配置不作具体限制，可由本领域普通技术人员根据前置图像信号处理器120的处理性能以及实际需要进行灵活配置，比如，可以配置优化策略为：通过坏点校正处理和线性化处理对场景图像进行优化。
在统计得到前述状态信息以及优化得到优化后的场景图像之后，前置图像信号处理器120还将前述状态信息以及前述优化后的场景图像传输至应用处理器130。
此外，应用处理器130还被配置为根据前述状态信息对优化后的场景图像进行白平衡校正，得到校正图像。
可选地，在一实施例中，请参照图3，前置图像信号处理器120包括：
图像信号处理单元1201，用于对场景图像进行状态统计，得到应用处理器130进行白平衡校正所需的状态信息；以及对场景图像进行第一次优化处理；
神经网络处理单元1202，用于对第一次优化处理后的场景图像进行第二次优化处理；以及通过对象识别模型对第二次优化处理后的场景图像进行对象识别，以识别出拍摄场景中存在的对象。
如图3所示，前置图像信号处理器120包括图像信号处理单元1201和神经网络处理单元1202。其中，图像信号处理单元1201被配置为对场景图像进行状态统计，以得到应用处理器130进行白平衡校正所需的状态信息。此外，图像信号处理单元1201还被配置为在统计得到应用处理器130进行白平衡校正所需的状态信息之后，对前述场景图像进行第一次优化处理，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等基于非人工智能的优化处理方式。当然，还可以包括本申请所未列出的优化处理方式。
此外，神经网络处理单元1202被配置为对图像信号处理单元1201进行第一次优化处理后的场景图像进行第二次优化处理。其中，神经网络处理单元1202处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络处理单元1202按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像数据可以具有多行数据块，即神经网络处理单元1202可以对一帧图像数据的一部分诸如n行数据块进行处理，其中n为正整数，诸如2、4、5等。当神经网络处理单元1202对一帧图像数据未全部处理完，则神经网络处理单元1202可以内置缓存来存储神经网络处理单元1202在处理一帧图像数据过程中所处理多行数据块的数据。
需要说明的是，神经网络处理单元1202在数据流中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理单元1202处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理单元1202在快速处理图像数据的基础上，可以实现数据的实时传输。
神经网络处理单元1202进行的第二优化处理包括但不限于基于诸如夜景算法、HDR算法、虚化算法、降噪算法、超分辨率算法等基于人工智能的优化处理方式。当然，还可以包括本申请所未列出的优化处理方式。
由上可知，前置图像信号处理器120进行的优化处理分为两部分，分别为图像信号处理单元1201执行的基于非人工智能的第一次优化处理，和神经网络处理单元1202执行的基于人工智能的第二次优化处理。
应当说明的是，在本申请实施例中，神经网络处理单元1202还部署有对象识别模型，该对象识别模型被配置为对输入图像中存在的对象进行识别。此处对该对象识别模型的架构以及训练方式不作具体限定，可由本领域普通技术人员根据实际需要进行选择。
示例性的，本申请实施例中采用卷积神经网络模型作为训练对象识别模型的基础模型。此外，还获取包括不同对象(比如，可优先选取具有特定颜色的对象)的样本图像，并人工标定样本图像中存在对象的对象标签。之后，利用获取样本对象以及相应标定得到的对象标签，对卷积神经网络模型进行有监督的训练，直至卷积神经网络模型收敛，并将收敛的卷积神经网络模型作为用于对象识别的对象识别模型。
可选地，在一实施例中，应用处理器130用于从前述对象在校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将采样像素点的颜色向量作为前述对象的颜色向量；以及计算前述颜色向量与预分配颜色向量的向量差异，并根据计算得到的向量差异判断前述对象的颜色向量与预分配颜色向量是否存在色偏。
本申请实施例中，对识别到拍摄场景中的对象进行颜色采样，并利用采样得到的颜色向量识别白平衡校正结果是否存在色偏。
其中，应用处理器130首先从前述对象在校正图像中的对象区域内确定出用于颜色采样的采样像素点。此处对采样像素点的选取不作具体限制，可由本领域普通技术人员根据需要进行选取。比如，可以将位于前述对象在校正图像中的对象区域的几何中心的像素点作为采样像素点，也可以随机从前述对象在校正图像的对象区域内选取一像素点作为采样像素点。
在确定出用于颜色采样的采样像素点之后，应用处理器130将该采样像素点的颜色向量作为前述对象的颜色向量。比如，请参照图4，示出了一拍摄场景的场景图像，根据该场景图像，前置图像信号处理器120识别出拍摄场景中存在的一对象“消防栓”，应用处理器130将该对象“消防栓”在图示场景图像中图像区域的几何中心的像素点确定为采样像素点，并将该采样像素点的颜色向量作为对象“消防栓”的颜色向量。
如上，应用处理器130在采样得到前述对象的颜色向量之后，进一步计算前述对象的颜色向量与其预分配颜色向量的向量差异，可以表示为：
r3＝(r1-r2)/256；
g3＝(g1-g2)/256；
b3＝(b1-b2)/256；
Figure BDA0002894323570000081
其中，diff表示前述对象的颜色向量与其预分配颜色向量的向量差异，r1表示前述预分配颜色向量在红色通道的分量值，g1表示前述预分配颜色向量在绿色通道的分量值，b1表示前述预分配颜色向量在蓝色通道的分量值，r2表示前述颜色向量在红色通道的分量值，g2表示前述颜色向量在绿色通道的分量值，b2表示前述颜色向量在蓝色通道的分量值。
如上，应用处理器130在计算得到前述对象的颜色向量与其预分配颜色向量的向量差异之后，即可根据计算得到的向量差异判断前述对象的颜色向量与预分配颜色向量是否存在色偏。
比如，可以预先配置用于判定存在色偏的差异阈值，相应的，通过比较该前述向量差异是否大于或等于差异阈值，根据比较结果即可判定是否存在色偏。其中，若前述向量差异大于或等于差异阈值，则判定前述颜色向量与前述预分配颜色向量存在色偏(通过前述颜色向量和前述预分配颜色向量的差值向量表征)，若前述向量差异小于差异阈值，则判定前述颜色向量与前述预分配颜色向量不存在色偏。
应当说明的是，本申请实施例中对于差异阈值的取值不作具体限制，可由本领域普通技术人员根据实际需要进行配置，可以将差异阈值配置为一固定值，也可以动态确定差异阈值的取值。
可选地，在一实施例中，应用处理器130用于基于前述颜色向量与前述预分配颜色向量的色偏方向确定差异阈值，并基于该差异阈值以及前述向量差异来判断前述颜色向量与前述预分配颜色向量是否存在色偏。
在本申请实施例中，考虑人眼对不同颜色的敏感程度不同，利用色偏方向动态确定差异阈值的取值。
其中，针对于不同的预分配颜色向量，根据人眼对不同颜色的敏感程度，本申请实施例中预先建立与每一预分配颜色向量关联的色偏方向和差异阈值的对应关系。比如，请参照图5，图中的椭圆即代表了预分配颜色向量关联的色偏方向与差异阈值的对应关系，其中，存在18个椭圆，即代表了18种预分配颜色向量各自关联的色偏方向与差异阈值的对应关系。以其中编号为“7”的椭圆为例，对于该椭圆关联的预分配颜色向量，当色偏方向为偏向蓝色或者红色时所对应的差异阈值，明显大于色偏方向为偏向绿色时所对应的差异阈值，因为人眼对绿色更为敏感。
如上，基于建立的与预分配颜色向量关联的色偏方向和差异阈值的对应关系，应用处理器130在进行色偏的识别时，首先确定识别出的拍摄场景中的对象的颜色向量相较于其预分配颜色向量的色偏方向，然后根据与该预分配颜色向量关联的色偏方向与差异阈值的对应关系，确定出与前述颜色向量的色偏方向所对应的差异阈值，然后再判断前述颜色向量的向量差异是否大于或等于前述色偏方向对应的差异阈值，其中，若前述颜色向量的向量差异大于或等于前述色偏方向对应的差异阈值，则判定前述颜色向量与前述预分配颜色向量存在色偏(此处采用前述向量差异和色偏方向进行表征)，否则判定前述颜色向量与前述预分配颜色向量不存色偏。
比如，请参照图6，应用处理器130通过对图示拍摄场景中的对象“消防栓”进行色偏识别，判定该对象“消防栓”的颜色向量与其预分配颜色向量存在色偏，图示箭头即表征了该色偏，其中，箭头的指向表征了色偏方向，箭头的长度表征了差异阈值，即长度越长，差异阈值越大。
可选地，在一实施例中，应用处理器130用于计算前述颜色向量与预分配颜色向量的差值向量，并将前述差值向量作为采样像素点的色偏向量；以及根据采样像素点的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量；以及根据校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到还原图像。
本申请实施例中，应用处理器130被配置为计算前述颜色向量与前述预分配颜色向量的差值向量，将该差值向量作为采样像素点的色偏向量。然后，应用处理器130按照预先配置的插值策略，根据采样像素点的色偏向量插值得到校正图像中非采样像素点的色偏向量。至此，校正图像中包括采样像素点和非采样像素点在内的所有像素点的色偏向量均已知，即可根据校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，从而得到还原图像。
以上本申请实施例中进行的插值处理可以理解为通过已知的、离散的像素点的色偏向量，在整个校正图像内推求其它像素点的色偏向量的过程。
比如，请参照图7，在图7上侧的校正图像中，前置图像信号处理器120共识别出8个不同的对象，图7中示出的黑色实心圆代表对应这些识别出的对象的采样像素点，箭头代表对应的色偏向量。如图7所示，应用处理器130根据采样像素点的色偏向量插值得到校正图像中所有像素点的色偏向量。
应当说明的是，本申请实施例中对于采用的插值策略不作具体限定，可由本领域普通技术人员根据实际需要进行选取，包括但不限于最近领域插值、双线性插值或者双三次插值等。
可选地，在一实施例中，应用处理器130用于根据采样像素点的色偏向量，按照一种以上的插值算法进行插值处理，得到非采样像素点的多个候选色偏向量；以及根据多个候选色偏向量，得到非采样像素点的色偏向量；
其中，对于同一非采样像素点，应用处理器130按照不同的插值策略插值时所选择的邻域像素点不同。
应当说明的是，本申请实施例中并不采用单一的插值策略进行插值处理，而是融合多种插值策略进行插值处理。此处对于采用何种插值策略，以及插值策略的数量不做具体限制，可由本领域根据应用处理器130的处理能力进行配置。另外，本申请实施例中对于采用何种融合策略也不做具体限制，可由本领域普通技术人员根据实际需要进行配置。
比如，本申请实施例中预先配置有3种不同的插值策略，分别记为插值策略A、插值策略B以及插值策略C。在进行插值处理时，对于一非采样像素点，应用处理器130根据采样像素点的色偏向量，采用插值策略A插值得到该非采样像素点的候选色偏向量A，采用插值策略B插值得到该非采样像素点的候选色偏向量B，以及采用插值策略C插值得到该非采样像素点的候选色偏向量C。最后，应用处理器130按照配置的融合策略将候选色偏向量A、候选色偏向量B以及候选色偏向量C融合为一个向量，作为该非采样像素点的色偏向量。
可选地，在一实施例中，应用处理器130用于计算多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到非采样像素点的色偏向量；或者
对多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到非采样像素点的色偏向量。
本申请实施例中进一步提供两种可选地的融合策略。
其一，对于一非采样像素点，应用处理器130计算其多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到非采样像素点的色偏向量。
其二，预先为不同的插值策略分配用于加权求和的权重，比如，以权重和值为1为约束，若一插值策略的精确度越高，则分配的权重越高。对于一非采样像素点，应用处理器130根据每一插值策略对应的权重，对该非采样像素点的多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到该非采样像素点的色偏向量。
可选地，在一实施例中，应用处理器130用于获取前述对象对应的识别置信度，并根据识别置信度对前述采样像素点的色偏向量进行修正处理，得到采样像素点修正后的色偏向量；以及根据采样像素点修正后的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量。
本申请实施例中，根据前置图像信号处理器120识别到对象的识别置信度来决定颜色还原的幅度大小。
其中，应用处理器130首先获取到前置图像信号处理器120识别到拍摄场景中对象的识别置信度，并根据该识别置信度对前述采样像素点的色偏向量进行修正处理，可以表示为：
V’＝V*α；
其中，V’表示采样像素点修正后的色偏向量，V表示计算得到的采样像素点的色偏向量，α表示前述对象的识别置信度。
在完成对前述采样像素点的色偏向量的修正之后，应用处理器130进一步根据前述采样像素点修正后的色偏向量进行插值处理，以此得到校正图像中非采样像素点的色偏向量，具体可参照以上实施例中的相关描述，此处不再赘述。
本申请还提供一种前置图像信号处理器，如图8所示，该前置图像信号处理器200包括：
数据接口210，用于从摄像头获取拍摄场景的场景图像；以及将场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像；
神经网络处理单元220，用于通过对象识别模型对场景图像进行识别，以识别出拍摄场景中存在的对象；
图像信号处理单元230，用于当对象在校正图像中的颜色向量与对象的预分配颜色向量存在色偏时，根据色偏对校正图像进行颜色还原处理，得到还原图像。
应当说明的是，本申请提供的前置图像信号处理器可以应用于具备摄像头和应用处理器的电子设备中，用于提高电子设备色彩还原能力。
其中，本申请实施例中对于数据接口210的类型不做具体限制，包括但不限于移动产业处理器接口(Mobile Industry Processor Interface，MIPI)以及PCI-E接口等。
拍摄场景可以理解为摄像头在使能后所对准的场景，即摄像头能够将光信号转换为对应图像数据的场景。比如，电子设备在根据用户操作使能摄像头之后，若用户控制电子设备的摄像头对准一包括某对象的场景，则包括该对象的场景即为摄像头的拍摄场景。
根据以上描述，本领域普通技术人员应当理解的是，拍摄场景并非特指某一特定场景，而是跟随摄像头的指向所实时对准的场景。通常的，拍摄场景并不仅仅包括单一的对象，其中可能存在各种各样的对象。比如，当在某拍摄场景进行人像的拍摄时，摄像头的拍摄场景中不仅包括拍摄的“目标人物”，还可能存在草地、树木、建筑物等其他对象。
通常的，特定的对象存在特定的颜色，比如天空通常为蓝色，云朵通常为白色，消防栓通常为红色等。基于此，本申请实施例中，预先根据经验为不同的对象分配有与之对应的颜色，记为预分配颜色向量，由此建立对象和预分配颜色向量的对应关系。由此，可以对拍摄场景中的对象进行识别，并利用对象和预分配颜色向量的对象关系，将拍摄场景中的对象的预分配颜色向量，与该对象在拍摄出的白平衡之后的图像中的颜色进行对比，从而根据对比结果即可判断白平衡是否出现异常，也即判断白平衡之后的图像是否存色偏。基于此，数据接口210被配置为从摄像头获取拍摄场景的场景图像。
应当说明的是，在本申请实施例中，神经网络处理单元220部署有对象识别模型，该对象识别模型被配置为对输入图像中存在的对象进行识别。此处对该对象识别模型的架构以及训练方式不作具体限定，可由本领域普通技术人员根据实际需要进行选择。
示例性的，本申请实施例中采用卷积神经网络模型作为训练对象识别模型的基础模型。此外，还获取包括不同对象(比如，可优先选取具有特定颜色的对象)的样本图像，并人工标定样本图像中存在对象的对象标签。之后，利用获取样本对象以及相应标定得到的对象标签，对卷积神经网络模型进行有监督的训练，直至卷积神经网络模型收敛，并将收敛的卷积神经网络模型作为用于对象识别的对象识别模型。
相应的，神经网络处理单元220被配置为通过对象识别模型对场景图像进行识别，以识别出拍摄场景中存在的对象。
比如，请参照图2，示出了一场景图像，前置图像信号处理器200通过神经网络处理单元220对该场景图像进行识别，识别出了相应拍摄场景中存在的一对象“消防栓”。
此外，数据接口210还被配置为将场景图像传输应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像。
其中，应用处理器按照配置的白平衡策略，对前述场景图像进行白平衡校正，得到白平衡校正后的场景图像，记为校正图像。此处对白平衡策略的配置不作具体限制，可由本领域普通技术人员根据实际需要进行配置，包括但不限于基于灰度世界的白平衡校正方式以及基于色温估计的白平衡校正方式等。在校正得到校正图像之后，将该校正图像返回至数据接口210。
图像信号处理单元被配置为获取识别到的拍摄场景中的对象在校正图像中的颜色向量；以及根据对象和预分配颜色向量的对应关系，获取拍摄场景中的对象所对应的预分配颜色向量；以及判断拍摄场景中对象的颜色向量与预分配颜色向量是否存在色偏；以及在拍摄场景中对象的颜色向量与预分配颜色向量存在色偏时，根据拍摄场景中对象的颜色向量与预分配颜色向量的色偏对校正图像进行颜色还原处理，以消除色偏，并将颜色还原处理后的校正图像记为还原图像。
由上可知，本申请提供的前置图像信号处理器200，通过数据接口210从摄像头获取拍摄场景的场景图像；以及将场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像；通过神经网络处理单元220基于对象识别模型对场景图像进行识别，以识别出拍摄场景中存在的对象；以及通过图像信号处理单元230当对象在校正图像中的颜色向量与对象的预分配颜色向量存在色偏时，根据色偏对校正图像进行颜色还原处理，得到还原图像。以此，通过识别白平衡结果存在的色偏，并相应进行颜色还原处理，能够提高电子设备的色彩还原能力。
可选地，在一实施例中，图像信号处理单元230用于对场景图像进行状态统计，得到应用处理器进行白平衡校正所需的状态信息；
数据接口210用于将前述状态信息以及场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像。
应当说明的是，在本申请实施例中，图像信号处理单元230还被配置为对场景图像进行状态统计，以得到应用处理器进行白平衡校正所需的状态信息。此外，数据接口210被配置为将前述状态信息以及前述场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像。
可选地，在一实施例中，图像信号处理单元230还用于在统计得到状态信息后，对场景图像进行第一次优化处理；
神经网络处理单元220还用于对第一次优化处理后的场景图像进行第二次优化处理；
数据接口210用于将前述状态信息以及第二次优化处理后的场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像。
图像信号处理单元230还被配置为在统计得到应用处理器进行白平衡校正所需的状态信息之后，对前述场景图像进行第一次优化处理，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等基于非人工智能的优化处理方式。当然，还可以包括本申请所未列出的优化处理方式。
此外，神经网络处理单元220被配置为对图像信号处理单元230进行第一次优化处理后的场景图像进行第二次优化处理。其中，神经网络处理单元220处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络处理单元220按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像数据可以具有多行数据块，即神经网络处理单元220可以对一帧图像数据的一部分诸如n行数据块进行处理，其中n为正整数，诸如2、4、5等。当神经网络处理单元220对一帧图像数据未全部处理完，则神经网络处理单元220可以内置缓存来存储神经网络处理单元220在处理一帧图像数据过程中所处理多行数据块的数据。
需要说明的是，神经网络处理单元220在数据流中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理单元220处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理单元220在快速处理图像数据的基础上，可以实现数据的实时传输。
神经网络处理单元220进行的第二优化处理包括但不限于基于诸如夜景算法、HDR算法、虚化算法、降噪算法、超分辨率算法等基于人工智能的优化处理方式。当然，还可以包括本申请所未列出的优化处理方式。
由上可知，前置图像信号处理器200分别通过图像信号处理单元230和神经网络处理单元220进行两次优化处理，分别为图像信号处理单元230执行的基于非人工智能的第一次优化处理，和神经网络处理单元220执行的基于人工智能的第二次优化处理。
数据接口210还被配置为将前述状态信息以及第二次优化处理后的场景图像传输至应用处理器进行白平衡校正，并接收应用处理器进行白平衡校正后返回的校正图像。
可选地，在一实施例中，神经网络处理单元220用于通过对象识别模型对第二次优化处理后的场景图像进行对象识别，以识别出拍摄场景中存在的对象。
可选地，在一实施例中，图像信号处理单元230用于从对象在校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将采样像素点的颜色向量作为对象的颜色向量；以及计算颜色向量与预分配颜色向量的向量差异，并根据向量差异判断颜色向量与预分配颜色向量是否存在色偏。
本申请实施例中，对识别到拍摄场景中的对象进行颜色采样，并利用采样得到的颜色向量识别白平衡校正结果是否存在色偏。
其中，图像信号处理单元230首先从前述对象在校正图像中的对象区域内确定出用于颜色采样的采样像素点。此处对采样像素点的选取不作具体限制，可由本领域普通技术人员根据需要进行选取。比如，可以将位于前述对象在校正图像中的对象区域的几何中心的像素点作为采样像素点，也可以随机从前述对象在校正图像的对象区域内选取一像素点作为采样像素点。
在确定出用于颜色采样的采样像素点之后，图像信号处理单元230将该采样像素点的颜色向量作为前述对象的颜色向量。比如，请参照图4，示出了一拍摄场景的场景图像，根据该场景图像，前置图像信号处理器200识别出拍摄场景中存在的一对象“消防栓”，图像信号处理单元230将该对象“消防栓”在图示场景图像中图像区域的几何中心的像素点确定为采样像素点，并将该采样像素点的颜色向量作为对象“消防栓”的颜色向量。
如上，图像信号处理单元230在采样得到前述对象的颜色向量之后，进一步计算前述对象的颜色向量与其预分配颜色向量的向量差异，可以表示为：
r3＝(r1-r2)/256；
g3＝(g1-g2)/256；
b3＝(b1-b2)/256；
Figure BDA0002894323570000171
其中，diff表示前述对象的颜色向量与其预分配颜色向量的向量差异，r1表示前述预分配颜色向量在红色通道的分量值，g1表示前述预分配颜色向量在绿色通道的分量值，b1表示前述预分配颜色向量在蓝色通道的分量值，r2表示前述颜色向量在红色通道的分量值，g2表示前述颜色向量在绿色通道的分量值，b2表示前述颜色向量在蓝色通道的分量值。
如上，图像信号处理单元230在计算得到前述对象的颜色向量与其预分配颜色向量的向量差异之后，即可根据计算得到的向量差异判断前述对象的颜色向量与预分配颜色向量是否存在色偏。
比如，可以预先配置用于判定存在色偏的差异阈值，相应的，通过比较该前述向量差异是否大于或等于差异阈值，根据比较结果即可判定是否存在色偏。其中，若前述向量差异大于或等于差异阈值，则判定前述颜色向量与前述预分配颜色向量存在色偏(通过前述颜色向量和前述预分配颜色向量的差值向量表征)，若前述向量差异小于差异阈值，则判定前述颜色向量与前述预分配颜色向量不存在色偏。
应当说明的是，本申请实施例中对于差异阈值的取值不作具体限制，可由本领域普通技术人员根据实际需要进行配置，可以将差异阈值配置为一固定值，也可以动态确定差异阈值的取值。
可选地，在一实施例中，图像信号处理单元230用于基于颜色向量与预分配颜色向量的色偏方向确定差异阈值，并基于差异阈值以及向量差异来判断颜色向量与预分配颜色向量是否存在色偏。
在本申请实施例中，考虑人眼对不同颜色的敏感程度不同，利用色偏方向动态确定差异阈值的取值。
其中，针对于不同的预分配颜色向量，根据人眼对不同颜色的敏感程度，本申请实施例中预先建立与每一预分配颜色向量关联的色偏方向和差异阈值的对应关系。比如，请参照图5，图中的椭圆即代表了预分配颜色向量关联的色偏方向与差异阈值的对应关系，其中，存在18个椭圆，即代表了18种预分配颜色向量各自关联的色偏方向与差异阈值的对应关系。以其中编号为“7”的椭圆为例，对于该椭圆关联的预分配颜色向量，当色偏方向为偏向蓝色或者红色时所对应的差异阈值，明显大于色偏方向为偏向绿色时所对应的差异阈值，因为人眼对绿色更为敏感。
如上，基于建立的与预分配颜色向量关联的色偏方向和差异阈值的对应关系，图像信号处理单元230在进行色偏的识别时，首先确定识别出的拍摄场景中的对象的颜色向量相较于其预分配颜色向量的色偏方向，然后根据与该预分配颜色向量关联的色偏方向与差异阈值的对应关系，确定出与前述颜色向量的色偏方向所对应的差异阈值，然后再判断前述颜色向量的向量差异是否大于或等于前述色偏方向对应的差异阈值，其中，若前述颜色向量的向量差异大于或等于前述色偏方向对应的差异阈值，则判定前述颜色向量与前述预分配颜色向量存在色偏(此处采用前述向量差异和色偏方向进行表征)，否则判定前述颜色向量与前述预分配颜色向量不存色偏。
比如，请参照图6，图像信号处理单元230通过对图示拍摄场景中的对象“消防栓”进行色偏识别，判定该对象“消防栓”的颜色向量与其预分配颜色向量存在色偏，图示箭头即表征了该色偏，其中，箭头的指向表征了色偏方向，箭头的长度表征了差异阈值，即长度越长，差异阈值越大。
可选地，在一实施例中，图像信号处理单元230用于计算颜色向量与预分配颜色向量的差值向量，并将差值向量作为采样像素点的色偏向量；以及根据采样像素点的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量；以及根据校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到还原图像。
本申请实施例中，图像信号处理单元230被配置为计算前述颜色向量与前述预分配颜色向量的差值向量，将该差值向量作为采样像素点的色偏向量。然后，图像信号处理单元230按照预先配置的插值策略，根据采样像素点的色偏向量插值得到校正图像中非采样像素点的色偏向量。至此，校正图像中包括采样像素点和非采样像素点在内的所有像素点的色偏向量均已知，即可根据校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，从而得到还原图像。
以上本申请实施例中进行的插值处理可以理解为通过已知的、离散的像素点的色偏向量，在整个校正图像内推求其它像素点的色偏向量的过程。
比如，请参照图7，在图7上侧的校正图像中，前置图像信号处理器200通过神经网络处理单元220共识别出8个不同的对象，图7中示出的黑色实心圆代表对应这些识别出的对象的采样像素点，箭头代表对应的色偏向量。如图7所示，图像信号处理单元230根据采样像素点的色偏向量插值得到校正图像中所有像素点的色偏向量。
应当说明的是，本申请实施例中对于采用的插值策略不作具体限定，可由本领域普通技术人员根据实际需要进行选取，包括但不限于最近领域插值、双线性插值或者双三次插值等。
可选地，在一实施例中，图像信号处理单元230用于根据采样像素点的色偏向量，按照一种以上的插值算法进行插值处理，得到非采样像素点的多个候选色偏向量；以及根据多个候选色偏向量，得到非采样像素点的色偏向量。
其中，对于同一非采样像素点，应用处理器130按照不同的插值策略插值时所选择的邻域像素点不同。
应当说明的是，本申请实施例中并不采用单一的插值策略进行插值处理，而是融合多种插值策略进行插值处理。此处对于采用何种插值策略，以及插值策略的数量不做具体限制，可由本领域根据图像信号处理单元230的处理能力进行配置。另外，本申请实施例中对于采用何种融合策略也不做具体限制，可由本领域普通技术人员根据实际需要进行配置。
比如，本申请实施例中预先配置有3种不同的插值策略，分别记为插值策略A、插值策略B以及插值策略C。在进行插值处理时，对于一非采样像素点，图像信号处理单元230根据采样像素点的色偏向量，采用插值策略A插值得到该非采样像素点的候选色偏向量A，采用插值策略B插值得到该非采样像素点的候选色偏向量B，以及采用插值策略C插值得到该非采样像素点的候选色偏向量C。最后，图像信号处理单元230按照配置的融合策略将候选色偏向量A、候选色偏向量B以及候选色偏向量C融合为一个向量，作为该非采样像素点的色偏向量。
可选地，在一实施例中，图像信号处理单元230用于计算多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到非采样像素点的色偏向量；或者
对多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到非采样像素点的色偏向量。
本申请实施例中进一步提供两种可选地的融合策略。
其一，对于一非采样像素点，图像信号处理单元230计算其多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到非采样像素点的色偏向量。
其二，预先为不同的插值策略分配用于加权求和的权重，比如，以权重和值为1为约束，若一插值策略的精确度越高，则分配的权重越高。对于一非采样像素点，图像信号处理单元230根据每一插值策略对应的权重，对该非采样像素点的多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到该非采样像素点的色偏向量。
可选地，在一实施例中，图像信号处理单元230用于获取前述对象对应的识别置信度，并根据识别置信度对采样像素点的色偏向量进行修正处理，得到采样像素点修正后的色偏向量；以及根据采样像素点修正后的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量。
本申请实施例中，根据神经网络识别单元220识别到对象的识别置信度来决定颜色还原的幅度大小。
其中，图像信号处理单元230首先获取到神经网络识别单元220识别到拍摄场景中对象的识别置信度，并根据该识别置信度对前述采样像素点的色偏向量进行修正处理，可以表示为：
V’＝V*α；
其中，V’表示采样像素点修正后的色偏向量，V表示计算得到的采样像素点的色偏向量，α表示前述对象的识别置信度。
在完成对前述采样像素点的色偏向量的修正之后，图像信号处理单元230进一步根据前述采样像素点修正后的色偏向量进行插值处理，以此得到校正图像中非采样像素点的色偏向量，具体可参照以上实施例中的相关描述，此处不再赘述。
请参照图9，本申请还提供一种图像处理方法，如图9所示，该图像处理方法包括：
在310中，获取拍摄场景的场景图像；
在320中，对场景图像进行白平衡校正，得到校正图像；
在330中，根据场景图像识别拍摄场景中存在的对象；
在340中，当前述对象在校正图像中的颜色向量与前述对象的预分配颜色向量存在色偏时，根据色偏对校正图像进行颜色还原处理，得到还原图像。
应当说明的是，320和330的执行先后顺序不受序号大小的影响，可以是先执行320再执行330，可以是先执行330再执行320，还可以同时执行320和330。
可选地，在一实施例中，对场景图像进行白平衡校正，得到校正图像，包括：
对场景图像进行状态统计，得到进行白平衡校正所需的状态信息；
根据前述状态信息对场景图像进行白平衡校正，得到校正图像。
可选地，在一实施例中，根据前述状态信息对场景图像进行白平衡校正，得到校正图像之前，还包括：
在统计得到前述状态信息后，对场景图像进行第一次优化处理；
对第一次优化处理后的场景图像进行第二次优化处理；
根据前述状态信息对场景图像进行白平衡校正，得到校正图像，包括：
根据前述状态信息对第二次优化处理后的场景图像进行白平衡校正，得到校正图像。
可选地，在一实施例中，根据场景图像识别拍摄场景中存在的对象，包括：
通过对象识别模型对第二次优化处理后的场景图像进行对象识别，以识别出拍摄场景中存在的对象。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
从前述对象在校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将采样像素点的颜色向量作为对象的颜色向量；
计算颜色向量与预分配颜色向量的向量差异，并根据向量差异判断颜色向量与预分配颜色向量是否存在色偏。
可选地，在一实施例中，根据向量差异判断颜色向量与预分配颜色向量是否存在色偏，包括：
基于颜色向量与预分配颜色向量的色偏方向确定差异阈值，并基于差异阈值以及向量差异来判断颜色向量与预分配颜色向量是否存在色偏。
可选地，在一实施例中，根据色偏对校正图像进行颜色还原处理，得到还原图像，包括：
计算颜色向量与预分配颜色向量的差值向量，并将差值向量作为采样像素点的色偏向量；
根据采样像素点的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量；
根据校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到还原图像。
可选地，在一实施例中，根据采样像素点的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量，包括：
根据采样像素点的色偏向量，按照一种以上的插值算法进行插值处理，得到非采样像素点的多个候选色偏向量；
根据多个候选色偏向量，得到非采样像素点的色偏向量。
可选地，在一实施例中，根据多个候选色偏向量，得到非采样像素点的色偏向量，包括：
计算多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到非采样像素点的色偏向量；或者
对多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到非采样像素点的色偏向量。
可选地，在一实施例中，根据采样像素点的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量，包括：
获取对象对应的识别置信度，并根据识别置信度对采样像素点的色偏向量进行修正处理，得到采样像素点修正后的色偏向量；
根据采样像素点修正后的色偏向量进行插值处理，得到校正图像中非采样像素点的色偏向量。
应当说明的是，本申请提供的图像处理方法可由本申请提供的电子设备执行，也可由本申请提供的前置图像信号处理器执行，关于图像处理方法的详细说明请参照以上实施例中对于电子设备或前置图像信号处理器的相关说明，在此不再赘述。
以上对本申请实施例提供的电子设备、前置图像信号处理器及图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种电子设备，其特征在于，包括：
摄像头，用于采集拍摄场景的场景图像；
前置图像信号处理器，用于根据所述场景图像识别所述拍摄场景中存在的对象；
应用处理器，用于对所述场景图像进行白平衡校正，得到校正图像；以及当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
2.如权利要求1所述的电子设备，其特征在于，所述前置图像信号处理器用于对所述场景图像进行状态统计，得到所述应用处理器进行白平衡校正所需的状态信息；以及对所述场景图像进行优化处理，得到优化后的场景图像；
所述应用处理器用于根据所述状态信息对所述优化后的场景图像进行白平衡校正，得到所述校正图像。
3.如权利要求2所述的电子设备，其特征在于，所述前置图像信号处理器包括：
图像信号处理单元，用于对所述场景图像进行状态统计，得到所述状态信息；以及对所述场景图像进行第一次优化处理；
神经网络处理单元，用于对第一次优化处理后的场景图像进行第二次优化处理；以及通过对象识别模型对第二次优化处理后的场景图像进行对象识别，以识别出所述拍摄场景中存在的对象。
4.如权利要求1所述的电子设备，其特征在于，所述应用处理器用于从所述对象在所述校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将所述采样像素点的颜色向量作为所述对象的颜色向量；以及计算所述颜色向量与所述预分配颜色向量的向量差异，并根据所述向量差异判断所述颜色向量与所述预分配颜色向量是否存在色偏。
5.如权利要求4所述的电子设备，其特征在于，所述应用处理器用于基于所述颜色向量与所述预分配颜色向量的色偏方向确定差异阈值，并基于所述差异阈值以及所述向量差异来判断所述颜色向量与所述预分配颜色向量是否存在色偏。
6.如权利要求4所述的电子设备，其特征在于，所述应用处理器用于计算所述颜色向量与所述预分配颜色向量的差值向量，并将所述差值向量作为所述采样像素点的色偏向量；以及根据所述采样像素点的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量；以及根据所述校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到所述还原图像。
7.如权利要求6所述的电子设备，其特征在于，所述应用处理器用于根据所述采样像素点的色偏向量，按照一种以上的插值算法进行插值处理，得到所述非采样像素点的多个候选色偏向量；以及根据所述多个候选色偏向量，得到所述非采样像素点的色偏向量。
8.如权利要求7所述的电子设备，其特征在于，所述应用处理器用于计算所述多个候选色偏向量在每一维度的分量的平均值，并根据每一维度分量的平均值得到所述非采样像素点的色偏向量；或者
对所述多个候选色偏向量在每一维度的分量进行加权求和，并根据每一维度分量的加权和值得到所述非采样像素点的色偏向量。
9.如权利要求6所述的电子设备，其特征在于，所述应用处理器用于获取所述对象对应的识别置信度，并根据所述识别置信度对所述采样像素点的色偏向量进行修正处理，得到所述采样像素点修正后的色偏向量；以及根据所述采样像素点修正后的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量。
10.一种前置图像信号处理器，其特征在于，包括：
数据接口，用于从摄像头获取拍摄场景的场景图像；以及将所述场景图像传输至应用处理器进行白平衡校正，并接收所述应用处理器进行白平衡校正后返回的校正图像；
神经网络处理单元，用于通过对象识别模型对所述场景图像进行识别，以识别出所述拍摄场景中存在的对象；
图像信号处理单元，用于当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
11.如权利要求10所述的前置图像信号处理器，其特征在于，所述图像信号处理单元用于从所述对象在所述校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将所述采样像素点的颜色向量作为所述对象的颜色向量；以及计算所述颜色向量与所述预分配颜色向量的向量差异，并根据所述向量差异判断所述颜色向量与所述预分配颜色向量是否存在色偏。
12.如权利要求11所述的前置图像信号处理器，其特征在于，所述图像信号处理单元用于基于所述颜色向量与所述预分配颜色向量的色偏方向确定差异阈值，并基于所述差异阈值以及所述向量差异来判断所述颜色向量与所述预分配颜色向量是否存在色偏。
13.如权利要求10所述的前置图像信号处理器，其特征在于，所述图像信号处理单元用于计算所述颜色向量与所述预分配颜色向量的差值向量，并将所述差值向量作为所述采样像素点的色偏向量；以及根据所述采样像素点的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量；以及根据所述校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到所述还原图像。
14.如权利要求13所述的前置图像信号处理器，其特征在于，所述图像信号处理单元用于根据所述采样像素点的色偏向量，按照一种以上的插值算法进行插值处理，得到所述非采样像素点的多个候选色偏向量；以及根据所述多个候选色偏向量，得到所述非采样像素点的色偏向量。
15.如权利要求13所述的前置图像信号处理器，其特征在于，所述图像信号处理单元用于获取所述对象对应的识别置信度，并根据所述识别置信度对所述采样像素点的色偏向量进行修正处理，得到所述采样像素点修正后的色偏向量；以及根据所述采样像素点修正后的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量。
16.一种图像处理方法，其特征在于，包括：
获取拍摄场景的场景图像；
对所述场景图像进行白平衡校正，得到校正图像；
根据所述场景图像识别所述拍摄场景中存在的对象；
当所述对象在所述校正图像中的颜色向量与所述对象的预分配颜色向量存在色偏时，根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像。
17.如权利要求16所述的图像处理方法，其特征在于，所述图像处理方法还包括：
从所述对象在所述校正图像中的对象区域内确定出用于颜色采样的采样像素点，并将所述采样像素点的颜色向量作为所述对象的颜色向量；
计算所述颜色向量与所述预分配颜色向量的向量差异，并根据所述向量差异判断所述颜色向量与所述预分配颜色向量是否存在色偏。
18.如权利要求17所述的图像处理方法，其特征在于，所述根据所述向量差异判断所述颜色向量与所述预分配颜色向量是否存在色偏，包括：
基于所述颜色向量与所述预分配颜色向量的色偏方向确定差异阈值，并基于所述差异阈值以及所述向量差异来判断所述颜色向量与所述预分配颜色向量是否存在色偏。
19.如权利要求16所述的图像处理方法，其特征在于，所述根据所述色偏对所述校正图像进行颜色还原处理，得到还原图像，包括：
计算所述颜色向量与所述预分配颜色向量的差值向量，并将所述差值向量作为所述采样像素点的色偏向量；
根据所述采样像素点的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量；
根据所述校正图像中每一像素点的色偏向量，对每一像素点进行颜色还原处理，得到所述还原图像。
20.如权利要求19所述的图像处理方法，其特征在于，所述根据所述采样像素点的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量，包括：
获取所述对象对应的识别置信度，并根据所述识别置信度对所述采样像素点的色偏向量进行修正处理，得到所述采样像素点修正后的色偏向量；
根据所述采样像素点修正后的色偏向量进行插值处理，得到所述校正图像中非采样像素点的色偏向量。
CN202110035973.9A 2021-01-12 2021-01-12 电子设备、前置图像信号处理器及图像处理方法 Active CN112822370B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110035973.9A CN112822370B (zh) 2021-01-12 2021-01-12 电子设备、前置图像信号处理器及图像处理方法
PCT/CN2021/128536 WO2022151813A1 (zh) 2021-01-12 2021-11-04 电子设备、前置图像信号处理器及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110035973.9A CN112822370B (zh) 2021-01-12 2021-01-12 电子设备、前置图像信号处理器及图像处理方法

Publications (2)

Publication Number Publication Date
CN112822370A true CN112822370A (zh) 2021-05-18
CN112822370B CN112822370B (zh) 2022-11-15

Family

ID=75868876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110035973.9A Active CN112822370B (zh) 2021-01-12 2021-01-12 电子设备、前置图像信号处理器及图像处理方法

Country Status (2)

Country Link
CN (1) CN112822370B (zh)
WO (1) WO2022151813A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630045A (zh) * 2022-02-11 2022-06-14 珠海格力电器股份有限公司 一种拍照方法、装置、可读存储介质和电子设备
WO2022151813A1 (zh) * 2021-01-12 2022-07-21 Oppo广东移动通信有限公司 电子设备、前置图像信号处理器及图像处理方法
CN115460333A (zh) * 2021-06-08 2022-12-09 Oppo广东移动通信有限公司 图像信号处理模块、芯片、电子设备及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595969A (zh) * 2003-09-10 2005-03-16 索尼株式会社 图像拾取设备
US20050163369A1 (en) * 2002-09-25 2005-07-28 Shigenobu Jyou Image color correcting device, image color correcting method, and image color correcting program
CN101179746A (zh) * 2006-11-06 2008-05-14 索尼株式会社 图像处理装置、图像处理方法及程序
US20090207271A1 (en) * 2005-03-04 2009-08-20 Nikon Corporation Image Processor Correcting Color Misregistration, Image Processing Program, Image Processing Method, and Electronic Camera
US20160021352A1 (en) * 2014-07-21 2016-01-21 Samsung Electronics Co., Ltd. Color shading correction using color channel consistency
CN107277481A (zh) * 2017-07-14 2017-10-20 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108024107A (zh) * 2017-12-06 2018-05-11 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108200347A (zh) * 2018-01-30 2018-06-22 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
US20190066336A1 (en) * 2017-08-28 2019-02-28 Facebook, Inc. Systems and methods for automated color correction
CN110602473A (zh) * 2019-10-24 2019-12-20 维沃移动通信有限公司 一种白平衡校准方法及装置
WO2020032585A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 객체의 속성에 따라 이미지의 화이트 밸런스를 보정하는 전자 장치 및 전자 장치의 이미지 처리 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516474A (en) * 2013-07-24 2015-01-28 Nokia Corp A colour balance processor
KR102663537B1 (ko) * 2019-01-31 2024-05-08 삼성전자 주식회사 전자 장치 및 이미지 처리 방법
CN112822370B (zh) * 2021-01-12 2022-11-15 Oppo广东移动通信有限公司 电子设备、前置图像信号处理器及图像处理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163369A1 (en) * 2002-09-25 2005-07-28 Shigenobu Jyou Image color correcting device, image color correcting method, and image color correcting program
CN1595969A (zh) * 2003-09-10 2005-03-16 索尼株式会社 图像拾取设备
US20090207271A1 (en) * 2005-03-04 2009-08-20 Nikon Corporation Image Processor Correcting Color Misregistration, Image Processing Program, Image Processing Method, and Electronic Camera
CN101179746A (zh) * 2006-11-06 2008-05-14 索尼株式会社 图像处理装置、图像处理方法及程序
US20160021352A1 (en) * 2014-07-21 2016-01-21 Samsung Electronics Co., Ltd. Color shading correction using color channel consistency
CN107277481A (zh) * 2017-07-14 2017-10-20 维沃移动通信有限公司 一种图像处理方法及移动终端
US20190066336A1 (en) * 2017-08-28 2019-02-28 Facebook, Inc. Systems and methods for automated color correction
CN108024107A (zh) * 2017-12-06 2018-05-11 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108200347A (zh) * 2018-01-30 2018-06-22 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
WO2020032585A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 객체의 속성에 따라 이미지의 화이트 밸런스를 보정하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN110602473A (zh) * 2019-10-24 2019-12-20 维沃移动通信有限公司 一种白平衡校准方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022151813A1 (zh) * 2021-01-12 2022-07-21 Oppo广东移动通信有限公司 电子设备、前置图像信号处理器及图像处理方法
CN115460333A (zh) * 2021-06-08 2022-12-09 Oppo广东移动通信有限公司 图像信号处理模块、芯片、电子设备及方法
CN115460333B (zh) * 2021-06-08 2024-05-28 Oppo广东移动通信有限公司 图像信号处理模块、芯片、电子设备及方法
CN114630045A (zh) * 2022-02-11 2022-06-14 珠海格力电器股份有限公司 一种拍照方法、装置、可读存储介质和电子设备

Also Published As

Publication number Publication date
CN112822370B (zh) 2022-11-15
WO2022151813A1 (zh) 2022-07-21

Similar Documents

Publication Publication Date Title
CN112822370B (zh) 电子设备、前置图像信号处理器及图像处理方法
CN107948519B (zh) 图像处理方法、装置及设备
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
US10027909B2 (en) Imaging device, imaging method, and image processing device
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
JP2015226144A (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
CN107613216B (zh) 对焦方法、装置、计算机可读存储介质和电子设备
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
WO2018191070A2 (en) Optical flow and sensor input based background subtraction in video content
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
US9020269B2 (en) Image processing device, image processing method, and recording medium
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN112822371B (zh) 图像处理芯片、应用处理芯片、数据统计系统及方法
CN102004370B (zh) 利用闪光灯辅助检测焦距的方法
JP2015177510A (ja) カメラシステム、画像処理方法及びプログラム
CN111866369A (zh) 图像处理方法及装置
CN116309224A (zh) 图像融合方法、装置、终端及计算机可读存储介质
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
CN113792708B (zh) 基于arm的远距离目标清晰成像系统及方法
JP2015119436A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant