CN114363482B - 一种标定图像的确定方法及电子设备 - Google Patents

Abstract

一种标定图像的确定方法及电子设备，涉及图像处理技术领域，可以得到曝光正常且清晰的目标标定图像，有利于提高摄像头标定的精确度。该方法包括：获取待标定摄像头采集的N帧原始标定图像；从N帧原始标定图像中确定异常图像，异常图像包括曝光异常的图像和/或清晰度小于清晰度阈值的图像；在异常图像包括曝光异常的图像的情况下，对异常图像进行曝光校正处理，和/或，在异常图像包括清晰度小于清晰度阈值的图像的情况下，对异常图像进行去模糊处理，得到N帧目标标定图像；其中，N帧目标标定图像包括原始标定图像中除去异常图像以外的图像和对异常图像进行校正处理和/或去模糊处理后的图像，目标标定图像用于对待标定摄像头进行标定。

Description

一种标定图像的确定方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种标定图像的确定方法及电子设备。

背景技术

近年来，随着图像处理技术的提高以及图像使用领域的扩大，摄像机作为一种常见的图像采集装置也得到了越来越广泛的应用。为了采集得到质量较好的图像，一般需要对摄像机进行标定，通过摄像机采集的标定图像，获取摄像机的内参、外参和畸变系数等参数，从而通过所获取的参数来纠正摄像机在生产和安装过程中所产生的误差。可见，摄像头采集的标定图像是影响摄像机标定精度的关键因素。

然而，摄像机采集标定图像时，由于摄像机受到拍摄环境、拍摄抖动、拍摄距离或对焦距离不匹配等因素的影响，可能导致摄像机采集的标定图像存在过渡曝光、曝光不足或图像模糊等问题，从而导致摄像机根据标定图像进行标定时，影响了摄像机的标定精度。

发明内容

本申请实施例提供一种标定图像的确定方法及电子设备，通过电子设备对摄像机采集的原始标定图像中曝光不正常和/或不清晰的异常图像进行处理，得到目标标定图像。比如，电子设备对曝光不正常的异常图像进行分块校正，以解决异常图像中局部过曝或局部过暗的问题，或者，电子设备对不清晰的异常图像进行去模糊处理，得到清晰的标定图像。由此，电子设备对摄像机采集到的标定图像进行预处理，得到质量较高的标定图像后，采用处理后的标定图像对摄像机进行标定，提高了摄像机标定的精确度和拍摄质量。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种标定图像的确定方法，应用于电子设备，该方法包括：获取待标定摄像头采集的N帧原始标定图像，N为预设的正整数；从N帧原始标定图像中确定异常图像，异常图像包括曝光异常的图像和/或清晰度小于清晰度阈值的图像；在N帧原始标定图像中的异常图像包括曝光异常的图像的情况下，对异常图像进行曝光校正处理，和/或，在N帧原始标定图像中的异常图像包括清晰度小于清晰度阈值的图像的情况下，对异常图像进行去模糊处理，得到N帧目标标定图像；其中，N帧目标标定图像包括原始标定图像中除去异常图像以外的图像和对异常图像进行校正处理和/或去模糊处理后的图像，目标标定图像用于对待标定摄像头进行标定。

其中，待标定摄像头可以为数码相机中设置的摄像头，也可以为手机、个人电脑等设备中设置的摄像头，待标定摄像头可以为单目摄像头、双目摄像头或多目摄像头，此处不做限定。待标定摄像头可以拍摄一帧原始标定图像，也可以拍摄多帧原始标定图像，此处也不做限定。

在本申请实施例中，电子设备获取到待标定摄像头采集的N帧原始标定图像后，对N帧原始标定图像中的异常图像进行处理，得到N帧目标标定图像。由于N帧目标标定图像均为曝光正常且清晰的图像，因此，电子设备采用该N帧目标标定图像对待标定摄像头进行标定，提高了摄像头标定的精度和准确度。

作为一种可能的实现方式，从N帧原始标定图像中确定异常图像，包括：若原始标定图像中各像素值的均值大于第一阈值或小于第二阈值，和/或，各像素值的协方差大于第三阈值或小于第四阈值，则确定原始标定图像为异常图像，第一阈值大于第二阈值，第三阈值大于第四阈值。

在一些实施例中，若原始标定图像中各像素值的均值大于第一阈值，和/或，各像素值的方差大于第三阈值，则确定该原始标定图像的曝光情况为过曝。若原始标定图像中各像素值的均值小于第二阈值，和/或，各像素值的方差小于第四阈值，则确定该原始标定图像的曝光情况为曝光不足。

在本申请实施例中，电子设备可以将原始标定图像转换为对应的灰度图后，计算该灰度图的各灰度值的均值和/或方差，然后，电子设备根据各灰度值的均值和/或方差，判断该原始标定图像是否为异常图像。

作为另一种可能的实现方式，从N帧原始标定图像中确定异常图像，还包括：对原始标定图像分别提取水平方向和垂直方向的梯度值，水平方向的梯度值为原始标定图像的各像素值与Sobel水平方向的梯度算子模板的卷积，垂直方向的梯度值为原始标定图像的各像素值与Sobel垂直方向的梯度算子模板的卷积；根据原始标定图像的水平方向的梯度值和垂直方向的梯度值，确定原始标定图像的清晰度值；若原始标定图像的清晰度值小于清晰度阈值，则确定原始标定图像为异常图像。

作为另一种可能的实现方式，确定原始标定图像的清晰度值，包括：采用基于Sobel梯度算子的Tenengrad函数对N帧原始标定图像进行清晰度计算，得到对应的清晰度值。

在本申请实施例中，采用Tenengrad函数计算N帧原始标定图像的清晰度值，具有计算效率高、稳定性好等优点。

作为另一种可能的实现方式，对异常图像进行曝光校正处理，包括：对异常图像进行分块处理，得到多个图像块；确定多个图像块中各像素点的像素值对应的多个均值、方差和协方差；针对每一个图像块，根据图像块中各像素值的均值、方差和协方差，以及异常图像中各像素点的像素值的均值、方差和协方差，确定图像块中各像素值对应的校正后的目标像素值。

相较于现有的对曝光异常的图像进行校正时，未考虑局部曝光不足或过曝的情况而对整个图像一起校正，导致校正后的图像仍存在曝光异常的问题。本申请实施例中，电子设备将该曝光异常的图像划分为多个图像块，利用分块校正的方式，解决了异常图像中存在局部过曝或曝光不足的问题。

作为另一种可能的实现方式，根据图像块中各像素值的均值、方差和协方差，以及异常图像中各像素值的均值、方差和协方差，确定图像块中各像素值对应的校正后的目标像素值，包括：根据图像块中各像素值的均值、方差和协方差，以及异常图像中各像素值的均值、方差和协方差，确定图像块对应的校正参数；在校正参数大于预设参数值的情况下，图像块的曝光情况为曝光过度，在校正参数小于预设参数值的情况下，图像块的曝光情况为曝光不足；根据图像块对应的校正参数对所图像块中各像素点的像素值进行校正，得到图像块中各像素值对应的校正后的目标像素值。

作为另一种可能的实现方式，对异常图像进行去模糊处理，包括：将异常图像输入图像处理模型进行去模糊处理，图像处理模型具有对图像进行去模糊的能力；其中，图像处理模型是采用多帧异常图像，以及对应的正常标定图像训练得到的。

作为另一种可能的实现方式，图像处理模型包括特征提取网络，上采样层和下采样层，其特征在于，将异常图像输入图像处理模型进行去模糊处理，包括：特征提取网络对异常图像进行特征提取，得到图像特征；下采样层对图像特征进行下采样处理，得到第一图像特征和第二图像特征；下采样层对异常图像进行下采样处理，得到第一图像和第二图像；根据图像特征、第一图像特征和第二图像特征，确定第一模糊核、第二模糊核和第三模糊核；将异常图像与第一模糊核进行卷积得到第一卷积值，将第一图像与第二模糊核进行卷积得到第二卷积值，以及将第二图像与第三模糊核进行卷积得到第三卷积值；对第一卷积值、第二卷积值和第三卷积值进行加权求和，得到去模糊后的标定图像。

作为另一种可能的实现方式，图像处理模型为基于拉普拉斯金字塔的模糊内核预测LP-KPN网络。

作为另一种可能的实现方式，获取待标定摄像头采集的N帧原始标定图像，包括：获取待标定摄像头从不同拍摄角度采集的N帧原始标定图像。比如，待标定摄像头可以从不同拍摄角度分别拍摄预设次数，得到N帧原始标定图像。如，待标定摄像头可以从3个拍摄角度分别拍摄2次，以采集得到6帧原始标定图像。

由此，待标定摄像头采集得到多帧原始标定图像后，电子设备对多帧原始标定图像中的异常图像进行处理，得到多帧目标标定图像，采用多帧目标标定图像对待标定摄像头进行标定，提高了标定后摄像头的精确度。

第二方面，本申请提供一种电子设备，该电子设备具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，该电子设备包括图像处理模块用于对N帧原始标定图像中的异常图像进行处理，比如，在N帧原始标定图像中的异常图像包括曝光异常的图像的情况下，对异常图像进行曝光校正处理，和/或，在N帧原始标定图像中的异常图像包括清晰度小于清晰度阈值的图像的情况下，对异常图像进行去模糊处理，得到N帧目标标定图像。

第三方面，本申请提供一种电子设备，包括：一个或多个处理器；存储器；其中，存储器中存储有一个或多个计算机程序，一个或多个计算机程序包括指令，当指令被电子设备执行时，使得电子设备执行如上述第一方面中任一项所述的标定图像的确定方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的标定图像的确定方法。

第五方面，本申请提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的标定图像的确定方法。

可以理解地，上述提供的第二方面和第三方面所述的电子设备、第四方面所述的计算机存储介质，以及第五方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的电子设备的一种结构示意图；

图2为本申请实施例提供的电子设备的一种软件结构示意图；

图3为本申请实施例提供的一种标定图像的确定方法的应用场景示意图；

图4为本申请实施例提供的一种标定图像的确定方法的流程示意图；

图5为本申请实施例提供的标定板的示例图；

图6为本申请实施例提供的异常图像的示例图；

图7为本申请实施例提供的一种异常图像处理方法的流程示意图；

图8为本申请实施例提供的一种网络模型的示例图；

图9为本申请实施例提供的电子设备的另一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例提供一种标定图像的确定方法，该方法通过电子设备对摄像机采集的标定图像中的曝光不正常和/或不清晰的异常图像进行处理，得到目标标定图像。比如，电子设备对曝光不正常的异常图像进行分块校正，以解决异常图像中局部过曝或局部过暗的问题，或者，电子设备对不清晰的异常图像进行去模糊处理，得到清晰的标定图像。由此，电子设备对摄像机采集到的标定图像进行预处理，得到质量较高的标定图像后，采用处理后的标定图像对摄像机进行标定，提高了摄像机标定的精确度和拍摄质量。

示例性的，本申请实施例提供标定图像的确定方法可应用于手机、平板电脑、个人计算机（personal computer，PC）、个人数字助理（personal digital assistant，PDA）、智能手表、上网本、可穿戴电子设备、增强现实技术（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、车载设备、智能汽车、智能音响、摄像机等具有摄像头的电子设备，本申请实施例对此不做任何限制。

如图1所示，图1为本申请实施例提供的电子设备的一种结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请实施例中，处理器110获取到摄像头193采集的标定图像后，从摄像头193采集的标定图像中识别出异常图像，然后，处理器110对异常图像进行优化处理，得到处理后的标定图像。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线（serial data line，SDA）和一根串行时钟线（derail clock line，SCL）。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口（camera serial interface，CSI），显示屏串行接口（displayserial interface，DSI）等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备（不限于扬声器170A，受话器170B等）输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packet radio service，GPRS），码分多址接入（codedivision multiple access，CDMA），宽带码分多址（wideband code division multipleaccess，WCDMA），时分码分多址（time-division code division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统（global positioning system，GPS），全球导航卫星系统（global navigation satellite system，GLONASS），北斗卫星导航系统（beidounavigation satellite system，BDS），准天顶卫星系统（quasi-zenith satellitesystem，QZSS）和/或星基增强系统（satellite based augmentation systems，SBAS）。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在本申请实施例中，摄像头193可以为单目摄像头、双目摄像头或多目摄像头，本申请中对摄像头193的个数不做限定。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台（open mobile terminal platform，OMTP）标准接口，美国蜂窝电信工业协会（cellular telecommunications industry association of the USA，CTIA）标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。

气压传感器180C用于测量气压。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上（一般为三轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管（LED）和光检测器，例如光电二极管。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。

触摸传感器180K，也称“触控面板”。

骨传导传感器180M可以获取振动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。

图2为本申请实施例提供的电子设备的一种软件结构示意图。

可以理解的是，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统可以包括应用程序层（简称为应用层），应用程序框架层（简称为框架层），安卓运行时，系统库以及内核层。

上述应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括系统应用。其中，系统应用是指电子设备在出厂之前设置在电子设备内的应用。示例性的，系统应用可以包括相机、图库、日历、音乐、短信息以及通话等程序。

应用程序包还可以包括第三方应用，第三方应用是指用户从应用商店（或者应用市场）下载安装包后安装的应用。例如，地图类应用（例如百度地图®、高德地图®等）、外卖类应用（例如美团®、饿了么®等）、阅读类应用（例如电子书®）、社交类应用（例如微信®）以及出行类应用（例如滴滴打车®）等。

上述应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理（包括接通，挂断等）。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，手机振动，指示灯闪烁等。

安卓运行时包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（Media Libraries），三维图形处理库（例如：OpenGL ES），二维图形引擎（例如：SGL）等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维和三维图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

二维图形引擎是二维绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动，图像采集模块，图像识别模块以及图像处理模块。

其中，图像采集模块用于获取电子设备的摄像头拍摄的图像。比如，图像采集模块获取电子设备的摄像头拍摄标定物得到的原始标定图像。

图像识别模块用于从原始标定图像中识别出异常图像。其中，异常图像包括但不限于曝光异常的图像和清晰度小于清晰度阈值的图像。

图像处理模块用于对异常图像进行处理，得到目标标定图像。比如，图像处理模块对曝光异常的异常图像进行曝光校正，和/或，对不清晰的图像进行去模糊处理，得到清晰的标定图像。

以下实施例中所涉及到的技术方案均可以在具有上述硬件结构和软件架构的电子设备100中实现。以下仍以电子设备100为手机为例，结合附图对本申请实施例提供的标定图像的确定方法进行具体阐述。

在一些实施例中，手机在出厂前，生产厂家可以对手机的摄像头进行标定，以得到拍摄质量较高的手机。可选地，手机在出厂前，手机响应于用户的拍摄操作，手机的摄像头采集得到原始标定图像，手机从采集的原始标定图像中确定图像质量不满足预设条件的图像，其中，预设条件包括图像的曝光正常和图像清晰度大于清晰度阈值（或者图像模糊度小于模糊度阈值）。图像清晰度和图像模糊度是描述图像清晰程度的两个概念。图像越清晰，质量越高，清晰度越大，模糊度越小。同样的，图像越模糊，质量越低，清晰度越小，模糊度越大。然后，手机对不满足预设条件的图像进行图像优化处理，得到处理后的目标标定图像。其中，目标标定图像均满足预设条件。然后，手机采用满足预设条件的原始标定图像和目标标定图像对手机的摄像头进行标定。

上述手机可以为单目摄像头、双目摄像头或多目摄像头。上述对手机的摄像头进行标定时，可以对手机中的单目摄像头、双目摄像头或多目摄像头进行标定，此处不做限定。

在另一些实施例中，手机出厂后，手机中的摄像头首次启动时，手机可以对摄像头进行标定。或者，手机每次开机后，手机可以对摄像头进行标定。由此，手机在采用摄像头采集图像之前，对摄像头进行标定，提高了摄像头采集图像的质量。

示例性的，如图3所示，手机首次开机时，当手机检测到用户点击桌面上的相机应用的图标的操作，参见图3中的（a），启动相机应用后，手机可以对摄像头采集到的原始标定图像进行预览显示和保存，参见图3中的（b）。

为了便于理解，以下结合附图对本申请实施例提供的标定图像的确定方法进行具体介绍。

图4为本申请实施例提供的一种标定图像的确定方法的流程示意图。如图4所示，该可以包括以下步骤：

步骤401，摄像头采集原始标定图像。

在本申请实施例中，手机中的摄像头响应于用户的操作，对标定板进行拍摄，得到原始标定图像。其中，原始标定图像可以为摄像头采集得到的一帧图像，可以为摄像头采集得到的多帧图像，此处不做限定。原始标定图像为摄像头采集的未经过任何处理的图像。标定板可以为黑白棋盘，实心圆阵列图案等，图5示出了标定板的示例。

可选地，摄像头响应于用户的操作，可以从不同角度对标定板进行拍摄预设次数，得到多张原始标定图像。比如，摄像头可以从任意3个角度对标定板进行拍摄，并且摄像头可以在同一角度下拍摄两帧图像，以采集得到6帧原始标定图像。

需要解释的是，上述示例中摄像头采集原始标定图像的角度个数，以及采集的原始标定图像的数量，仅作为示例性描述，本申请实施例中对此不做限定。

步骤402，摄像头向图像采集模块发送原始标定图像。

步骤403，图像采集模块向图像识别模块发送原始标定图像。

步骤404，图像识别模块从原始标定图像中确定不满足预设条件的异常图像。

其中，预设条件包括图像曝光正常且图像的清晰度满足清晰度阈值。上述清晰度阈值可以为用户根据手机拍摄环境等因素预先设定的值。异常图像是指原始标定图像中曝光异常和/或清晰度不满足清晰度阈值的图像。

在本申请实施例中，摄像头采集的原始标定图像可以是标准的RGB，YUV等格式的图像，图像识别模块从原始标定图像中确定不满足预设条件的异常图像之前，图像识别模块可以将原始标定图像转换为对应的灰度图。其中，把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度图是指用灰度表示的图像，范围一般是0-255，白色为255，黑色为0。

在一些实施例中，假设原始标定图像为RGB图像，将原始标定图像中的某像素点的颜色RGB（R，G，B）转换为灰度（Gray）可以采用如下算法。比如，平均值法，即Gray=（R+G+B）/3。浮点算法，即Gray=R*0.3+G*0.59+B*0.11。

需要解释的是，上述将原始标定图像中某像素点的颜色转换为灰度的方法，仅作为示例性描述，其它任意可以实现的方式也适用于本申请实施例中，此处不做限定。

在本申请实施例中，图像识别模块从原始标定图像中确定不满足预设条件的异常图像时，图像识别模块可以从原始标定图像中识别出曝光异常和/或清晰度不满足清晰度阈值的异常图像。比如，摄像头响应于用户的拍摄操作，对标定板（比如，实心圆阵列图案）进行拍摄获取到原始标定图像后，图像识别模块从原始标定图像中识别出的异常图像可以参见图6。图6中的（a）为曝光情况为过曝的异常图像，图6中的（b）为曝光情况为曝光不足的异常图像，图6中的（c）为模糊的异常图像。

在一些实施例中，图像识别模块将原始标定图像转换为对应的灰度图后，图像识别模块可以计算出灰度图的均值。其中，灰度图的均值是指图像中所有像素点的灰度值之和与像素点个数的比值。然后，图像识别模块将该灰度图的均值与预先设定的均值阈值进行比较，以确定上述原始标定图像的曝光是否正常。若图像识别模块确定该原始标定图像的曝光异常，则图像识别模块确定该原始标定图像为异常图像。

比如，图像识别模块可以采用如下公式计算该原始标定图像对应的灰度图的均 值，

；其中，

表示原始标定图像的灰 度图中各像素点的均值，

表示坐标为（x，y）的像素点的灰度值，n表示该原始标定图像 对应的灰度图中像素点的个数。

示例性的，假设预先设定的均值阈值为

和

，图像识别模块确定某一原始 标定图像对应的灰度图的均值为

后，图像识别模块将该灰度图的均值

，与均值阈 值

和

进行比较。若图像识别模块确定

大于

，则图像识别模块确定该原始 标定图像的曝光情况为过曝。若图像识别模块确定

小于

，则图像识别模块确定该 原始标定图像的曝光情况为曝光不足。若图像识别模块确定

小于或等于

，且

大于或等于

，则图像识别模块确定该原始标定图像的曝光情况为正常曝光。

在另一些实施例中，图像识别模块将原始标定图像转换为对应的灰度图后，图像识别模块可以计算出灰度图的方差。然后，图像识别模块将该灰度图的方差与预先设定的方差阈值进行比较，以确定上述原始标定图像的曝光是否正常。若图像识别模块确定该原始标定图像的曝光异常，则图像识别模块确定该原始标定图像为异常图像。

比如，图像识别模块可以采用如下公式计算该原始标定图像对应的灰度图的方 差，

；其中，

表示原始标定图像 对应的灰度图中各像素点的方差，

表示坐标为（x，y）的像素点的灰度值，

表示该 灰度图中各像素点的均值，n表示该原始标定图像对应的灰度图中像素点的个数。

示例性的，假设预先设定的方差阈值为

和

，图像识别模块确定某一原始 标定图像对应的灰度图的方差为

后，图像识别模块将该灰度值的方差

，与方差 阈值

和

进行比较。若图像识别模块确定

大于

，则图像识别模块确定该 原始标定图像的曝光情况为过曝。若图像识别模块确定

小于

，则图像识别模块确 定该原始标定图像的曝光情况为曝光不足。若图像识别模块确定

小于或等于

，且

大于或等于

，则图像识别模块确定该原始标定图像的曝光情况为正常曝光。

需要解释的是，上述图像识别模块根据原始标定图像的灰度图中各像素点的均值或方差，确定该原始标定图像的曝光情况是否正常的方法，仅作为示例性描述，其它任意可以实现的方式也适用于本申请实施例中，此处不做限定。

在本申请实施例中，图像识别模块将原始标定图像转换为对应的灰度图后，图像识别模块可以根据灰度图的灰度值，计算出该原始标定图像的清晰度。图像识别模块根据原始标定图像的清晰度与清晰度阈值，确定该原始标定图像是否为异常图像。

可以理解的是，在摄像头拍摄原始标定图像的过程中，由于摄像头抖动或标定板失焦等会导致摄像头拍摄的原始标定图像出现模糊的问题，从而降低了图像的视觉质量。

示例性的，图像识别模块可以利用Tenengrad梯度函数，对原始标定图像的清晰度进行评价。Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值，定义如下：

；（

）

其中，

为原始标定图像的清晰度值，T为预设的边缘检测阈值，比如，T可以设定 为50或80等。

的计算公式如下：

其中，

和

分别标识像素点（x，y）处与Sobel算子水平和垂直方向边缘 检测算子的卷积，计算公式如下：

；

其中，

表示坐标为（x，y）的像素点的灰度值。

Sobel算子模板如下：

，

上述图像识别模块利用Tenengrad梯度函数，确定原始标定图像的清晰度值

后，图像识别模块可以将原始标定图像的清晰度值

，与预先设定的清晰度阈值（比如，

）进行比较。若图像识别模块确定原始标定图像的清晰度值

小于清晰度阈值， 则图像识别模块确定该原始标定图像为模糊，即该原始标定图像为异常图像。若图像识别 模块确定原始标定图像的清晰度值

大于或等于清晰度阈值，则图像识别模块确定该原 始标定图像为清晰度正常的图像。

需要解释的是，上述图像识别模块利用Tenengrad梯度函数，确定原始标定图像的清晰度值的方法仅作为示例性描述。图像识别模块还可以利用Brenner梯度函数，Laplacian梯度函数，灰度方差函数等，确定原始标定图像的清晰度，此处不做限定。

此外，图像识别模块还可以确定原始标定图像的模糊度，根据原始标定图像的模糊度与预设的模糊度阈值的大小关系，判断原始标定图像是否为异常图像。比如，若图像识别模块确定原始标定图像的模糊度值小于模糊度阈值，则图像识别模块确定该原始标定图像为清晰图像，即该原始标定图像为正常图像。若图像识别模块确定原始标定图像的模糊度值大于或等于模糊度阈值，则图像识别模块确定该原始标定图像为模糊图像，即该原始标定图像为异常图像。

步骤405，图像识别模块向图像处理模块发送异常图像。

在本申请实施例中，图像识别模块从原始标定图像中确定不满足预设条件的异常图像后，图像识别模块可以将异常图像发送至图像处理模块。图像处理模块对异常图像进行处理，以得到质量较高的标定图像。

步骤406，图像处理模块对异常图像进行处理，得到目标标定图像。

其中，目标标定图像包括满足预设条件的原始标定图像和对异常图像处理后的标定图像。

在本申请实施例中，图像处理模块接收到异常图像后，图像处理模块对异常图像进行优化处理，得到处理后曝光正常且清晰的标定图像。然后，手机使用目标标定图像对摄像头进行标定，提高了摄像头标定的精度。

在本申请实施例中，在图像处理模块接收到的异常图像为曝光异常（比如，过曝或曝光不足）的图像的情况下，图像处理模块可以对该异常图像的曝光进行校正，以得到曝光正常的标定图像。

示例性的，图像处理模块可以采用图像分块处理的方式对该异常图像进行分块，得到多个图像块，图像处理模块计算每个图像块的均值和方差。然后，图像处理模块根据每个图像块的均值和方差，以及整个异常图像的均值和方差，对每个图像块的各像素点的曝光进行校正，得到每个图像块的各像素的校正后的像素值。由此，图像处理模块对局部过曝或局部过暗的异常图像进行处理，从而得到曝光正常的图像。下面结合图7对上述过程进行详细介绍。图7为本申请实施例提供的一种异常图像处理方法的流程示意图。

如图7所示，该流程可以包括以下步骤：

步骤701，图像处理模块将异常图像划分为多个图像块。

在本申请实施例中，图像处理模块获取到曝光异常的异常图像后，可以将该异常图像划分为多个图像块。比如，图7中所示，图像处理模块将异常图像划分为9个图像块。

可以理解为，异常图像可能为局部曝光异常的图像，比如，异常图像为局部曝光不均匀的图像。相较于对整个异常图像的曝光进行调整导致曝光不均匀的问题，在本申请实施例中，图像处理模块将异常图像划分为多个图像块后，根据每个图像块的曝光情况进行处理，提高了调整后的图像质量。

需要解释的是，图像处理模块可以将异常图像均匀划分为多个图像块，也可以将异常图像划分为多个任意大小的图像块，此处不做限定。本申请实施例中对图像块的个数也不做限定。

步骤702，图像处理模块计算每个图像块的均值和方差。

其中，图像块的均值是指图像块中所有像素点的灰度值之和与像素点个数的比值。图像块的方差是指各像素点的灰度值与该图像块的均值离差平方的平均数。

示例性的，假设某一图像块包括9个像素点，该图像块的像素点的均值

可以通过 如下公式计算：

；其中，

表示坐标为（x，y）的像素点 的灰度值。

该图像块的像素点的方差

。

步骤703，图像处理模块根据每个图像块的均值和方差，对每个图像块中的各像素进行校正，得到校正后的图像。

在一些实施例中，图像处理模块可以采用Gamma校正方法对每个图像块中的各像素进行校正，得到每个图像块中的各像素校正后的像素值，从而得到曝光正常的标定图像。示例性的，各像素校正后的像素值可以表示为：

其中，Gamma值γ的计算公式如下：

其中，

为校正前的像素值，i为各像素块的下标，

为校正后的像素值，

为图像块的像素点的均值，

为该异常图像的所有像素点的均值，

为图像块的像素 点的方差，

为该异常图像的所有像素点的方差，

为图像块的协方差，

为异常图 像的协方差。在本申请实施例中，每个图像块的γ值的确定与其均值

和与整幅异常图像 的结构相似度共同决定。图像处理模块根据γ的计算公式，计算出γ值，进而，图像处理模 块根据上述校正公式得到各像素校正后的像素值。比如，当γ>1时，图像处理模块对图像块 的高亮部分进行压缩且对图像块的暗调部分进行扩展，实现对过度曝光的图像块的校正； 当γ<1时，图像处理模块对图像块的高亮部分进行扩展且对图像块的暗调部分进行压缩， 实现对曝光不足的图像块的校正。

需要解释的是，上述图像处理模块采用Gamma校正方法对曝光异常的异常图像进行校正的方法，仅作为示例性描述。在本申请实施例中，图像处理模块还可以采用其它方法对曝光异常的标定图像进行校正，比如，对数校正方法等，此处不做限定。

由上述可知，图像处理模块对异常图像的每个图像块分别进行校正，即图像处理模块对每个图像块的亮度分别进行提亮或压缩，相较于相关技术中同时对整个图像的曝光情况进行校正，能够更加精确的对部分曝光不足或部分过曝的图像进行校正，提高了校正后图像的质量。

在本申请实施例中，在图像处理模块接收到的异常图像为清晰度未满足清晰度阈值的图像的情况下，图像处理模块可以对该异常图像进行去模糊处理，以得到清晰的标定图像。

在一实施例中，图像处理模块可以对异常图像进行图像增强处理，以得到的清晰的目标标定图像。其中，图像增强可分为两大类：频率域法和空间域法。频率域法可以将图像看成是一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波法，可去除途中的噪音；采用高通滤波法，则可以增强边缘等高频信号，使模糊的图像变得清晰。具有代表性的空间域算法有局部求平均值算法和中值滤波法，他们可用于去除或减弱噪音。

在另一实施例中，图像处理模块可以对异常图像进行图像复原处理，以得到的清晰的目标标定图像。可选地，图像处理模块可以利用退化现象的某些先验知识，建立退化现象的数据模型，再根据模块进行逆运算，得到清晰的标定图像。

在又一实施例中，图像处理模块还可以将异常图像输入预先经过训练的网络模型，该网络模型可以对该异常图像进行去模糊处理，获取清晰的标定图像。其中，该网络模型具有对异常图像去模糊的能力。

示例性的，该网络模型可以为深度模糊内核预测网络，比如，该网络模型可以是基 于拉普拉斯金字塔的模糊内核预测网络（laplacian pyramid-kernel prediction network，LP-KPN）。LP-KPN网络能够明确的为图像中每个像素学习一个单独的模糊核，然 后，将模糊核作用于模糊图像，即可得到清晰的图像。其中，模糊核又称卷积核，实际上是一 个矩阵。如图8所示，图像处理模块将输入图像

输入LP-KPN网络模型，得到清晰的输出图 像

。其中，输入图像

为模糊的异常图像，输出图像

为去模糊后的清晰的目标标定图 像。首先，图像处理模块将输入图像

输入特征提取网络，特征提取网络对该输入图像

进 行特征提取，得到该输入图像

的图像特征。比如，特征提取网络对该输入图像

进行特征 提取，得到该输入图像

的纹理特征、颜色特征、形状特征以及空间关系特征等。图8中示出 的特征提取网络对该输入图像

进行特征提取时，LP-KPN网络采用拉普拉斯金字塔对输入 图像

进行下采样为三级图像金字塔的采样图像分别为：

，

和

， LP-KPN网络为每级图像金字塔输出一个模糊核

，

和

。

然后，LP-KPN网络将每个通道维度

上的向量调整为一个大小为

的核K（x，y），即采样图像

的每个像素点（x，y）的模糊核。最后，LP-KPN网络将每个像素 点的模糊核K（x，y）与采样图像

的

邻域进行内积运算，获得清晰的输出图像

。输出 图像

可以表示为：

其中，

表示内积运算，

表示图像点

的

邻域，比如，k可以取值 为5、10等。

在本申请实施例中，图像处理模块可以获取预先训练好的LP-KPN网络模型，然后利用在标定过程中采集的异常图像和对应的清晰图像对该LP-KPN网络模型的参数进行调整，直至该LP-KPN网络模型的损失函数的损失值最小时，得到训练后的LP-KPN网络模型。

在本申请实施例中，图像处理模块获取到异常图像后，可以将该异常图像输入预先经过训练的LP-KPN网络模型，该LP-KPN网络模型可以对该异常图像进行去模糊处理，获取清晰的目标标定图像。需要解释的是，上述图像处理模块采用LP-KPN网络模型对异常图像进行去模糊处理仅作为示例性描述，本申请实施例中还可以采用其它神经网络对应的网络模型，此处不做限定。

在本申请实施例中，在图像处理模块获取到的异常图像为曝光异常且清晰度未满足清晰度阈值的图像的情况下，图像处理模块可以首先对该异常图像进行曝光校正，得到曝光正常的图像后，然后，图像处理模块再对曝光正常的图像进行去模糊处理，最终，得到曝光正常且清晰度满足清晰度阈值的标定图像。图像处理模块还可以首先对该异常图像进行去模糊处理，得到清晰的图像后，然后，图像处理模块再对清晰的图像进行曝光校正，最终，得到曝光正常且清晰度满足清晰度阈值的标定图像。图像处理模块还可以同步对该异常图像进行曝光校正和去模糊处理，以得到曝光正常且清晰度满足清晰度阈值的标定图像。

也就是说，在图像处理模块获取到的异常图像为曝光异常且清晰度未满足清晰度阈值的图像的情况下，图像处理模块对该异常图像进行曝光校正或去模糊的顺序不做限定。

综上所述，在本申请实施例中，图像识别模块从摄像头采集的原始标定图像中识别出不满足预设条件的异常图像后，图像处理模块对异常图像进行处理，得到目标标定图像。比如，图像处理模块确定异常图像为过曝或曝光不足的标定图像时，图像处理模块通过对异常图像进行分块校正的方式，解决了异常图像中局部过曝或局部过暗的问题。图像处理模块确定异常图像为清晰度不足的标定图像时，图像处理模块对该清晰度不足的图像进行去模糊处理，得到清晰的标定图像。可见，电子设备通过对曝光异常和/或不清晰的原始标定图像进行处理，然后，采用目标标定图像对摄像头进行标定，提高了摄像头标定的精确度和稳定性。

相较于相关技术中，电子设备从摄像头采集的多帧图像中选择出一帧质量较好的图像作为标定图像，可能存在标定精度差的问题。本申请实施例中，电子设备对待标定摄像头采集到的原始标定图像中曝光异常和/或不清晰的原始标定图像进行优化处理后，采用处理后的标定图像对待标定摄像头进行标定，提高了摄像头标定的精确度和稳定性。

如图9所示，本申请实施例公开了一种电子设备，该电子设备可以为上述手机。该电子设备具体可以包括：至少一个摄像头；触摸屏901，所述触摸屏901包括触摸传感器906和显示屏907；一个或多个处理器902；存储器903；一个或多个应用程序（未示出）；以及一个或多个计算机程序904，上述各器件可以通过一个或多个通信总线905连接。其中，上述一个或多个计算机程序904被存储在上述存储器903中并被配置为被该一个或多个处理器902执行，该一个或多个计算机程序904包括指令，该指令可以用于执行上述实施例中的相关步骤。

可以理解的是，上述电子设备等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，上述实施例中涉及的电子设备的一种可能的组成示意图，该电子设备可以包括：显示单元、传输单元和处理单元等。需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的标定图像的确定方法。

本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的标定图像的确定方法。

本申请的实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的标定图像的确定方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使装置执行上述各方法实施例中电子设备执行的标定图像的确定方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或装置均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到 ，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种标定图像的确定方法，应用于电子设备，其特征在于，所述方法包括：

获取待标定摄像头采集的N帧原始标定图像，N为预设的正整数；

从所述N帧原始标定图像中确定异常图像，所述异常图像包括曝光异常的图像和/或清晰度小于清晰度阈值的图像；

在所述N帧原始标定图像中的所述异常图像包括曝光异常的图像的情况下，对所述异常图像进行曝光校正处理，和/或，在所述N帧原始标定图像中的所述异常图像包括清晰度小于清晰度阈值的图像的情况下，对所述异常图像进行去模糊处理，得到N帧目标标定图像；

其中，所述N帧目标标定图像包括所述原始标定图像中除去所述异常图像以外的图像和对所述异常图像进行曝光校正处理和/或去模糊处理后的图像，所述目标标定图像用于对所述待标定摄像头进行标定。

2.根据权利要求1所述的方法，其特征在于，所述从所述N帧原始标定图像中确定异常图像，包括：

若所述原始标定图像中各像素值的均值大于第一阈值或小于第二阈值，和/或，所述各像素值的协方差大于第三阈值或小于第四阈值，则确定所述原始标定图像为所述异常图像，所述第一阈值大于所述第二阈值，所述第三阈值大于所述第四阈值。

3.根据权利要求1所述的方法，其特征在于，所述从所述N帧原始标定图像中确定异常图像，还包括：

对所述原始标定图像分别提取水平方向和垂直方向的梯度值，所述水平方向的梯度值为所述原始标定图像的各像素值与Sobel水平方向的梯度算子模板的卷积，所述垂直方向的梯度值为所述原始标定图像的各像素值与Sobel垂直方向的梯度算子模板的卷积；

根据所述原始标定图像的所述水平方向的梯度值和所述垂直方向的梯度值，确定所述原始标定图像的清晰度值；

若所述原始标定图像的清晰度值小于所述清晰度阈值，则确定所述原始标定图像为所述异常图像。

4.根据权利要求3所述的方法，其特征在于，所述确定所述原始标定图像的清晰度值，包括：

采用基于Sobel梯度算子的Tenengrad函数对所述N帧原始标定图像进行清晰度计算，得到对应的清晰度值。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述异常图像进行曝光校正处理，包括：

对所述异常图像进行分块处理，得到多个图像块；

确定所述多个图像块中各像素点的像素值对应的多个均值、方差和协方差；

针对每一个图像块，根据所述图像块中各像素值的均值、方差和协方差，以及所述异常图像中各像素点的像素值的均值、方差和协方差，确定所述图像块中各像素值对应的校正后的目标像素值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述图像块中各像素值的均值、方差和协方差，以及所述异常图像中各像素值的均值、方差和协方差，确定所述图像块中各像素值对应的校正后的目标像素值，包括：

根据所述图像块中各像素值的均值、方差和协方差，以及所述异常图像中各像素值的均值、方差和协方差，确定所述图像块对应的校正参数；在所述校正参数大于预设参数值的情况下，所述图像块的曝光情况为曝光过度，在所述校正参数小于预设参数值的情况下，所述图像块的曝光情况为曝光不足；

根据所述图像块对应的校正参数对所图像块中各像素点的像素值进行校正，得到所述图像块中各像素值对应的校正后的目标像素值。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述异常图像进行去模糊处理，包括：

将所述异常图像输入图像处理模型进行去模糊处理，所述图像处理模型具有对图像进行去模糊的能力；其中，所述图像处理模型是采用多帧异常图像，以及对应的正常标定图像训练得到的。

8.根据权利要求7所述的方法，所述图像处理模型包括特征提取网络和下采样层，其特征在于，所述将所述异常图像输入图像处理模型进行去模糊处理，包括：

所述特征提取网络对所述异常图像进行特征提取，得到图像特征；

所述下采样层对所述图像特征进行下采样处理，得到第一图像特征和第二图像特征；

所述下采样层对所述异常图像进行下采样处理，得到第一图像和第二图像；

根据所述图像特征、所述第一图像特征和所述第二图像特征，确定第一模糊核、第二模糊核和第三模糊核；

将所述异常图像与所述第一模糊核进行卷积得到第一卷积值，将所述第一图像与所述第二模糊核进行卷积得到第二卷积值，以及将所述第二图像与所述第三模糊核进行卷积得到第三卷积值；

对所述第一卷积值、所述第二卷积值和所述第三卷积值进行加权求和，得到去模糊后的标定图像。

9.根据权利要求7所述的方法，其特征在于，所述图像处理模型为基于拉普拉斯金字塔的模糊内核预测LP-KPN网络。

10.根据权利要求1-4任一项所述的方法，其特征在于，所述获取待标定摄像头采集的N帧原始标定图像，包括：

获取所述待标定摄像头从不同拍摄角度采集的N帧原始标定图像。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-10中任一项所述的标定图像的确定方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的标定图像的确定方法。

Images