CN113810603A - 点光源图像检测方法和电子设备 - Google Patents

Abstract

本申请属于图像处理领域，提出了一种点光源图像检测方法和电子设备。该方法包括：获取待检测的图像，确定所述待检测的图像中的像素亮度；根据所述像素亮度确定所述图像中的低亮度像素和高亮度像素；根据所述低亮度像素过滤不满足预设暗环境要求的图像，根据所述高亮度像素过滤不满足预设的点光源大小的图像；根据过滤结果确定待检测的图像是否点光源图像。通过对图像中的像素进行划分，得到低亮度像素和高亮度像素，针对低亮度像素，采用预设的暗环境要求对图像进行筛选，使得筛选后的点光源图像符合预设的暗环境要求。并且基于点光源的大小特征对点光源进行筛选，可避免与HDR检测过程中的过曝区域重复，有利于提高点光源图像的检测精度。

Description

点光源图像检测方法和电子设备

技术领域

本申请涉及图像处理领域，尤其涉及一种点光源图像检测方法和电子设备。

背景技术

高动态范围(High-Dynamic Range,HDR)成像技术，在计算机图形学与电影摄像技术中，是用来实现比普通数位图像技术更大曝光动态范围的一组技术。通过高动态范围成像技术所生成的HDR图像，可以提供更多的动态范围和图像细节，更好的反应真实环境中的视觉效果。

在生成HDR图像时，需要对不同的曝光时间的低动态范围(Low-Dynamic Range，LDR)图像进行过曝区域和欠曝区域的检测。目前的检测方式中，通常通过检测图像中的像素亮度，根据像素亮度确定图像中的过曝区域和欠曝区域。然而，由于图像中可能会存在点光源或白色物体，根据过曝区域的检测方式，不能准确的检测出点光源图像，不便于得到清晰度更佳的HDR图像。

发明内容

本申请实施例提供一种点光源图像的检测方法和电子设备，以解决现有技术中存在的图像过曝检测方式中，不能准确的检测到点光源图像，不便于得到更为清晰的HDR图像的问题。

第一方面，本申请实施例提供了一种点光源图像检测方法，所述点光源检测方法包括：获取待检测的图像，确定所述待检测的图像中的像素亮度；根据所述像素亮度确定所述图像中的低亮度像素和高亮度像素，所述低亮度像素为亮度小于预设第一亮度阈值的像素，所述高亮度像素为亮度大于或等于预设第二亮度阈值的像素；根据所述低亮度像素过滤不满足预设暗环境要求的图像，根据所述高亮度像素过滤不满足预设的点光源大小的图像；根据过滤结果确定待检测的图像是否点光源图像。

其中，待检测图像可以为一个或者多个图像。比如，在进行照片拍摄、场景图像预览、视频拍摄场景中，待检测图像可以为包括不同曝光值的图像。在对包括不同曝光值的待检测图像进行检测时，可以根据预先设定的要求，选择其中的普通曝光值、低曝光值或高曝光值的图像进行比较和判断。

通过对图像中的像素进行划分，得到低亮度像素和高亮度像素，针对低亮度像素，采用预设的暗环境要求对图像进行筛选，针对高亮度像素，采用点光源的大小特征对图像进行筛选，从而使得筛选后的点光源图像符合预设的暗环境要求，并且基于点光源的大小特征对点光源进行筛选，可避免筛选的点光源图像与HDR检测过程中的过曝区域重复，使得筛选出的点光源图像的精确度高。

结合第一方面，在第一方面的第一种可能实现方式中，根据所述低亮度像素过滤不满足预设暗环境要求的图像，包括：确定所述低亮度像素在图像中的第一像素占比；过滤所述第一像素占比小于预设的第一比例阈值的非点光源图像。

为了满足点光源图像为暗环境下的图像的要求，可基于所确定的低亮度像素与图像的总的像素的比值，确定第一像素占比。将第一像素占比与预先设定的第一比例阈值进行比较，如果小于第一比例阈值，则说明背景的暗区域过少，可以将该图像划分为非点光源图像。

结合第一方面或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，根据所述低亮度像素过滤不满足预设暗环境要求的图像，包括：确定所述低亮度像素的亮度平均值；过滤所述低亮度像素的平均亮度小于预设的平均亮度阈值的非点光源图像。

通过图像中的低亮度像素的占比信息进行暗环境筛选时，可能会存在低亮度像素的数量达到了要求，但图像的低亮度像素的亮度不够暗的情形，因此，可以进一步通过低亮度像素的亮度平均值，进一步对图像进行筛选。

其中，该亮度平均值可以为低亮度像素的归一化像素亮度的平均值。基于归一化的像素亮度平均值，可以便于将不同亮度范围的像素，归一化为像素亮度与最大亮度值的比值。

在可能的实现方式中，根据所述高亮度像素过滤不满足预设的点光源大小的图像，包括：连通所述高亮度像素生成高亮度区域；根据所确定的单个高亮度区域的像素在图像中的第二像素占比；根据所述第二像素占比过滤不满足预设的点光源大小的非点光源图像。

其中，在生成高亮度区域时，可以基于四邻域的方式确定连通区域，或者也可以通过八邻域的连通方式，确定连通区域。根据高亮度像素所确定的连通区域中，有可能包括大面积亮斑，也可能包括点光源亮斑。可以根据大面积亮度和点光源亮斑的检测结果，确定图像是否为点光源图像。

根据亮斑对图像进行筛选时，根据所述第二像素占比过滤掉不满足预设的点光源大小的图像，包括：确定所述第二像素占比属于预设的第一比值范围的高亮度区域的数量，以及所述第第二像素占比属于预设的第二比值范围的高亮度区域的数量，所述第一比值范围小于所述第二比值范围；如果图像中存在第二像素占比属于预设的第二比值范围的高亮度区域，则该图像为不满足预设的点光源大小的图像；如果不存在第二像素占比属于预设的第二比值范围的高亮度区域，且第二像素占比属于第一比值范围的高亮度区域的数量为0时，则该图像为不满足预设的点光源大小的图像。

对于大面积亮斑，所对应的连通区域中的高亮度像素的个数可能大于预定的像素个数阈值，或者连通区域中的像素在图像中的占比，可能大于第二像素占比，则说明该图像中的亮斑区域面积较大，可直接通过HDR图像合成的过曝检测的方式，获取对应的降曝图像，根据所获取的降曝图像中的细节，优化所生成的HDR图像。如果图像中不存在大面积亮斑，并且能够有效的检测到小面积亮斑，该小面积亮斑满足预设的第一比值范围，则确定该图像为点光源图像。

由上可见，通过本申请实施例所确定的点光源图像，其背景区域的亮度较暗，满足预设的暗环境要求，并且图像中包括的高亮度像素形成的高亮度区域，即亮斑的尺寸小于预设的尺寸或比例要求，且亮斑的第二像素占比属于预设的第一比值范围，即亮斑符合预先设定的点光源尺寸要求，则确定该图像为点光源图像，可便青进行HDR图像时，得到更为清晰有效的图像。

示例性地，连通所述高亮度像素生成高亮度区域，包括：通过在高亮度像素的四邻域内寻找高亮度像素生成高亮度区域；或者，通过在高亮度像素的八邻域内寻找高亮度像素生成高亮度区域。通过不同邻域范围内寻找高亮度像素所生成的高亮度区域的尺寸也会有所区别。可以相应的调整用于比较的第一比值范围和第二比值范围的在小。

在第一方面的一些可能的实现方式中，在根据所述像素亮度确定图像中的低亮度像素和高亮度像素之前，所述方法还包括：获取所述待检测的图像的亮度；在所述亮度大于预定的第三亮度阈值时，确定所述待检测的图像为非点光源图像。

其中，图像的亮度可以直接从图像传感芯片中读取，或者也可以基于图像的拍摄参数，包括如感光度、光圈大小等参数，计算得到图像的亮度。或者，也可以根据图像中的每个像素的亮度，计算得到图像的亮度。

第二方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：确定两个或两个以上的待处理图像；根据第一方面任一项所述方法，对所述待处理图像进行点光源检测，确定所述待处理图像是否为点光源图像；当确定所述待检测的图像中包括点光源图像时，确定所述点光源图像中的高亮度区域；根据所述点光源图像和所标记的高亮度区域进行高动态范围图像的融合计算。

基于第一方面所获取的点光源图像，满足预设的暗环境要求，且图像中的亮斑的尺寸满足预设的点光源尺寸要求，可以基于该点光源图像查找到对应的低曝光值图像，根据低曝光值图像中位于点光源处的细节信息，得到更为清晰的合成图像。

第三方面，本申请实施例提供了一种点光源图像检测装置，该装置包括：图像获取单元，用于获取待检测的图像，确定所述待检测的图像中的像素亮度；像素确定单元，用于根据所述像素亮度确定所述图像中的低亮度像素和高亮度像素，所述低亮度像素为亮度小于预设第一亮度阈值的像素，所述高亮度像素为亮度大于或等于预设第二亮度阈值的像素；图像过滤单元，用于根据所述低亮度像素过滤不满足预设暗环境要求的图像，根据所述高亮度像素过滤不满足预设的点光源大小的图像；点光源图像确定单元，用于根据过滤结果确定待检测的图像是否点光源图像。

第三方面所示的点光源图像检测装置，与第一方面的点光源图像检测方法对应。

第四方面，本申请实施例提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面或第二方面任一项的方法。

第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面或第二方面任一项的方法。

第六方面，本申请实施例提供一种芯片系统，该芯片系统包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现如上述第一方面或第二方面任一项所述的方法。该芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

第七方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或第二方面任一项所述的方法。

可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种电子设备100的软件结构框图；

图3为本申请实施例提供的一种HDR图像生成示意图；

图4为现有的一种点光源检测方法示意图；

图5为本申请实施例提供的一种点光源检测方法的实现流程示意图；

图6为本申请实施例提供的一种点光源检测过程示意图；

图7为本申请实施例提供的一种通过低亮度像素占比筛选出的非点光源图像示意图；

图8为本申请实施例提供的一种通过低亮度像素的亮度平均值筛选出的非点光源图像示意图；

图9a为本申请实施例提供的一种亮斑连通域确定示意图；

图9b为本申请实施例提供的又一种亮斑连通域确定示意图；

图10为本申请实施例提供的一种通过大面积亮斑筛选出的非点光源图像示意图；

图11为本申请实施例提供的通过亮斑数量筛选的点光源示意图；

图12为本申请实施例提供的点光源图像检测的应用示例图；

图13为本申请实施例提供的基于点光源图像检测的照片优化场景示意图；

图14为本申请实施例提供的基于点光源图像检测的直播场景应用示意图；

图15为本申请实施例提供的未优化的点光源图像示意图；

图16为本申请实施例提供的优化后的点光源图像示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。

下面对本申请实施例可能涉及的相关内容进行示例性介绍。

(1)电子设备。处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

在介绍完电子设备100的硬件架构之后，下面示例性地对电子设备100的软件架构进行介绍。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2为本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。这些数据可以包括视频，图像，音频等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime(安卓进行时)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如，MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合HDR图像拍摄场景，示例性说明电子设备100软件以及硬件的工作流程。

HDR图像拍摄场景下，用户的手指或手写笔与电子设备100的显示屏105接触，设置于显示屏105的触摸传感器107接收触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成上层能够读取的触摸事件(例如，action down事件、action move事件和action up事件等)。其中，action down事件表示手指或手写笔与触摸屏初次接触，例如，用户使用手写笔在触摸屏上的某个区域落笔；action move事件表示手指或手写笔在触摸屏上滑动，例如，在落笔后，手写笔在触摸屏上滑动；action up事件表示手指或手写笔与触摸屏分离，例如，在手写笔落笔并滑动一段距离后，用户抬起手写笔，使得手写笔与触摸屏分离。

触摸事件被存储在内核层。应用程序框架层从内核层获取触摸事件，识别该高级触摸事件所对应的控件以及该触摸事件对应的触摸操作，例如，触摸操作包括单击、双击和滑动等。以该触摸操作是触摸单击操作，该单击操作所对应的控件为视频应用的拍摄控件为例，视频应用调用应用框架层的接口，进而通过调用对应的回调函数，实现与该次触摸操作对应的应用功能。

(2)高动态范围图像(英文全称为为High-Dynamic Range，英文简称为HDR)。在示例性介绍完本申请实施例提供的电子设备100的硬件架构和软件架构之后，下面对本申请实施例涉及的高动态范围图像进行示例性介绍。

高动态范围，又称为宽动态范围，是一种表达超过了显示器所能表现的亮度范围的图像映射技术。比如，我们的显示器通常是8位色，即灰度从黑(0)到白(255)共256个等级。而日常我们遇到的场景，光照强度远远超过了这个范围，比如太阳光的亮度可能达到10的5次方的亮度级别。如果直接将现实场场景中的亮度范围等比例的映射到[0，255]的区间，则会使得现场实场景中的多个级别的亮度范围映射为一个亮度亮度级别，导致图像出现色带问题，或者出现亮度范围的两端一片黑或一片白的情况。

通过高动态范围技术，可以有效的解决映射时的色带问题，能够很好的再现生活中丰富的亮度级别，产生逼真的显示效果。

图3给出了一种相机的HDR图像生成的流程示意图。如图3所示，在HDR合成之前，可以通过包围曝光的方式，通过中间曝光值、减少曝光值和增加曝光值，拍摄得到三张或五张等数量的、不同曝光量的图像，比如可以按级差为1/3EV、0.5EV、1EV等调节曝光量获利的不同曝光量的图像。如果场景中包括过暗区域和高亮区域，在这些不同曝光的图像中，图像的不同区域与不同的曝光量匹配，能够清楚的显示该区域的细节信息。比如，低曝光量所拍摄的图像可能会清楚的显示高亮区域的细节信息，高曝光量所拍摄的图像可能会清楚的显示过暗区域的细节信息。中间曝光量可能会清楚的显示场景中的普通亮度的细节信息。比如图3中的最表面的图中上部区域较暗，在一般曝光量拍摄的图像，该暗部区域的细节不清楚。

在生成不同曝光量的图像后，根据场景的亮度信息，对图像进行区域分割。如图3中图所示，图像中的上部区域过暗，将该区域划分并标记为过暗区域。或者，在场景中可能还包括过亮区域，可将其划分并标记为过亮区域。通过不同曝光量采集场景的图像时，高曝光量参数下所采集的图像，可以使得过暗区域能够更为清晰的显示。低曝光量参数下所采集的图像，可以使得过亮区域能够更为清晰的显示。根据所标记的过亮区域、过暗区域，结合图像的曝光参数，可以将多张不同曝光量的图像的清晰部分融合为更有更宽的亮度范围的图像，即图3右图所示的HDR图像。

为了使得该HDR图像能够在低动态范围的显示器中清晰显示，可以将HDR图像进行非线性的Tone Mapping(中文全称为：色调映射)，将HDR图像映射到显示器能显示的LDR(低动态范围)，尽可能保存明暗对比细节，使最终渲染效果更加逼真。

比如，可以通过将HDR图像渲染至浮点纹理，通过色调映射将HDR的浮点纹理映射到LDR的缓存区，然后在强光的边缘增加光晕，对高亮的强光区域进行泛光处理。最后将色调映射的图像与泛光图像叠加，即可得到可在LDR显示器显示的清晰图像。其中，色调映射可以包括基于对比度或基于梯度域的映射，可以更好的保持图像的对比度，产生较为锐利的图像。

在上述HDR图像生成过程中，需要根据场景的亮度对图像进行区域划分。对于室内场景或者夜晚场景，场景中可能存在白色，如果直接根据场景图像中的像素的亮度进行点光源的划分。比如图4所示的点光源图像检测示意图中，首先确定图像中的每个像素的亮度，然后根据预先设定的亮度阈值，将图像中的像素划分为高亮度像素和非高亮度像素。将高亮度像素连通构成高亮区域。如果图像中存在符合点光源大小的高亮度区域，则认为该图像为点光源图像。这种直接通过像素亮度连通区域所确定的点光源图像，容易受场景中的白色物体的干扰，使得检测出的点光源图像可能仅仅是图像中存在白色物体，导致点光源图像检测的准确度不高，影响后续HDR合成时的图像清晰度。

基于上述问题，本申请实施例提出了一种点光源图像的检测方法，通过该检测方法，能够有效的提高点光源图像检测的准确率，从而便于生成更为清晰的HDR图像，提高用户使用体验。

参见图5示出了本申请实施例提供的一种点光源图像检测方法的实现流程示意图，详述如下：

在S501中，获取待检测的图像。

在本申请实施例中，所述待检测的图像的获取方式，可以包括电子设备从本地获取的方式，或者电子设备从其它设备中接收的方式。其中，电子设备从本地获取待检测的图像时，可以包括由电子设备的相机采集待检测的图像，或者从电子设备的本地存储器中获取待检测的图像。当电子设备的相机采集待检测的图像时，可以在电子设备接收图像采集指令时，开始采集待检测的图像。

比如，当电子设备接收到拍照指令时，电子设备可以通过相机镜头采集到多个同一场景的图像。在可能的实现方式中，同一场景的图像可以通过曝光补偿调整的方式，获得多个不同曝光值的图像。或者通过改变曝光时长的方式，比如通过-2EV、0EV、2EV的曝光时长，在预定时长内获取三个待检测的图像。其中，通过镜头采集多个同一场景的图像时，采集多个图像的时长可以根据电子设备所采集的视频的帧率确定，比如可以小于或等于视频的帧间的间隔时长。或者，不局限于采集多个图像的时长范围，所述待检测的图像还可以为不同间隔时长的时间点所采集的图像。

电子设备通过镜头所采集的多帧图像，通过点光源图像的检测，可以根据检测结果合成一张照片，用于响应“照片拍摄指令”。或者，电子设备所采集的多个图像，可以通过点光源图像检测合成一帧图像，以生成当前镜头参数下的动态的预览图像。比如在拍照应用程序运行过程中，用户选择了拍照功能，包括人像拍照、夜景拍照、专业拍照、大光圈拍照、录像等功能后，在图像显示区域，可以动态的显示电子设备所采集的多个图像所合成的一帧图像。或者，电子设备所采集的多个图像，通过点光源图像检测合成一帧图像，可以为所拍摄的视频的一帧动态图像。通过所拍摄的多个图像所合成的视频中的一帧图像中，该视频可以为生成的本地视频，也可以为向服务器或其它终端发送的视频。向服务器或终端发送的视频，可以为两个终端处于视频通话状态中的视频，也可以为终端处于直播状态时所生成的视频。

所述待检测的图像为电子设备从其它设备中接收的图像时，所接收到的待检测的图像的方式可以为动态接收的方式。比如，在图像处理的应用场景中包括A和B两个电子设备，其中电子设备A可用于动态或静态的采集多个图像，并将所采集的多个图像发送给电子设备B。由于电子设备A不具有点光源图像识别功能，不能有效的进行点光源图像识别，不利于提升合成的HDR图像的图像质量。电子设备B具有点光源图像识别。电子设备B在接收到电子设备A发送的多个图像后，通过本申请实施例提供的点光源图像识别方法，对所接收的多个图像的进行点光源图像的识别。当识别出所接收的图像中的点光源图像时，可确定点光源图像中的点光源区域。通过所标记的点光源区域，可以对该区域有针对性的进行高动态范围图像的合成，从而提升HDR图像的合成质量。其中，电子设备A包括但不限于智能手机、平板电脑、笔记本电脑、网络摄像头等电子设备。电子设备B包括但不限于智能手机、平板电脑、笔记本电脑等电子设备。

本申请实施例中的点光源图像检测方法，可用于更好的合成HDR图像。因此，基于该方法进行点光源图像检测时，其中的待检测的图像，可以包括室内场景的图像、夜晚场景或其它非强光场景的图像。其中，在室内场景、夜晚场景或其它非强光的场景中，由于场景中的亮度较小，场景图像中的亮度范围较低。如果场景中存在点光源，则会使场景的亮度范围明显增加。电子设备需要通过控制拍摄参数，得到多个不同曝光量的图像，从而满足不同亮度的场景图像的清晰采集的要求。比如，高亮度区域可以通过控制曝光时长或补光量来降低曝光值，得到高亮度区域的清晰图像，但低曝光值会使得中等亮度区域的图像的清晰度下降，会使得低亮度区域的细节丢失。通过增加曝光时长，或者增加补光亮度，可以增加曝光量，从而有利于提高低亮度区域的细节清晰度。在确定了不同曝光量的图像的清晰区域后，可以将所确定的清晰区域进行整合，从而得到更高动态范围的、清晰的整合图像。

在S502中，确定所述待检测的图像的亮度，基于图像的亮度进行筛选。

在获取到待检测的图像后，可以预先确定图像的亮度(英文全称为light value)。将该图像的亮度与预先设定的第三亮度阈值进行比较。如果图像的亮度大于预先设定的第三亮度阈值，则确定该图像为非点光源图像。如果该图像的亮度小于或等于预先设定的第三亮度阈值，则可以进一步对该图像进行低亮度信息的筛选，或者还包括对该图像进行亮斑信息的筛选。

通过对待检测的图像进行图像亮度的筛选，可以快速的将不满足图像亮度要求的图像筛选为非点光源图像，从而可以进一步提升点光源图像的检测效率。

在可能的实现方式中，也可以直接对待检测的图像进行低亮度信息的筛选，以及亮斑信息的筛选，确定待检测的图像是否为点光源图像。

在获取到待检测的图像后，可以根据待检测的图像的获取方式的不同，确定不同的图像亮度获取方式。

比如，当所述待检测的图像为电子设备通过镜头采集得到的图像时，该图像亮度可以通过图像传感芯片读取所采集的图像亮度。或者，该图像亮度也可以通过根据采集该图像的光圈、感光度等参数计算得到。当待检测的图像为电子设备通过镜头采集得到的图像，或者从其它电子设备接收到图像时，图像亮度可以通过确定该图像中的每个像素的亮度，再计算图像亮度，即计算整个图像的平均亮度，作为图像亮度。

在获取到待检测的图像时，可以根据待检测的图像的获取时间，或者根据待检测的图像的内容，将待检测的图像划分为一组图像。比如，可以根据调整曝光参数所获取的一组图像，分别在降低曝光值、正常曝光值以及增加曝光值的时间点所获取的图像作为一组图像。或者，也可以对待检测的图像的内容进行检测，将内容的相似度大于预定的相似度阈值的一组图像，作为一组图像。

在检测图像亮度时，可以对一组图像中的任意一个图像进行图像亮度检测和比较。根据该图像亮度的比较结果，确定当前场景的图像是否包括点光源。如果当前场景的图像包括点光源，则可以根据所确定的点光源在图像中的位置，在后续的HDR图像合成中，通过获取点光源所在区域的低曝光图像，得到点光源所在区域的清晰图像，从而提升合成的HDR图像的清晰度。

或者，在检测图像亮度，可以对正常曝光的图像逐个检测或者抽样检测的方式，检测当前场景所采集的图像是否为点光源图像。如果当前场景所采集的图像为点光源图像，则可以控制相机采集不同曝光值的图像，从而便于对包括点光源的图像进行HDR合成，以提升合成后的图像的清晰度。

在S503中，确定所述待检测的图像的低亮度像素信息，基于所述低亮度信息进行筛选。

在确定待检测的图像是否为点光源图像时，可以基于图像的低亮度信息对待检测的图像进行筛选。可以将所采集的低亮度信息与预先设定暗环境要求进行比较，如果所述图像的低亮度信息满足预先设定的暗环境要求，则可以通过S504，根据亮斑信息对图像进一步进行筛选。如果该图像满足亮斑信息的要求，则可确定该图像为点光源图像。

或者，在可能的实现方式中，也可以先通过图像的亮斑信息对图像进行筛选，在图像满足预先的亮斑信息的要求时，再进行低亮度信息是否满足预设的暗环境要求的筛选。

当待检测的图像为电子设备通过镜头所采集的图像，根据图像的低亮度信息对图像进行筛选时，可以从所拍摄的一组包括不同曝光值的待检测的图像中，选择其中的任意一个图像进行检测。

比如，所选择的其中一个用于低亮度信息筛选的图像，可以为正常曝光值的图像。通过增加曝光时长、降低曝光时长、正常曝光时长获取的一组图像，可以选择正常曝光时长的图像进行低亮度像素检测。或者，通过增加补光亮度、减少补光亮度和正常补光获取的一组图像时，可以选择正常补光的图像进行低亮度像素检测。

当然，不局限于选择正常补光亮度的图像，或选择正常曝光时长的图像。也可以选择其它补光亮度或其它曝光时长的图像。由于其它曝光时长或补光亮度的图像的亮度信息相对于正常补光亮度或下时长的图像的亮度发生改变，因此，在确定图像的低亮度信息时，可以相应的调整用于比较计算的亮度阈值。

在可能的实现方式中，还可以将待检测的图像中的每一个图像的像素与预先设定的第一亮度阈值进行比较，确定待检测的图像中的低亮度像素信息。通过确定每一个图像中所包括的低亮度信息，可以筛选出不满足低亮度要求的非点光源图像。在筛选掉非点光源图像中的过曝区域和欠曝区域后，由于已确定该图像中不包括点光源，因而可以得到剩下的区域范围内的较为清晰的图像，可用于点光源图像检测完成后的HDR图像合成。

通过低亮度信息进行图像的筛选过程可以如图6所示，可以先确定用于比较的图像中的每个像素的亮度。将图像中的每个像素的亮度与预先设定的第一亮度进行比较，如果该像素的亮度小于预先设定的第一亮度阈值，则可以将该像素标记为低亮度像素，并可在对应位置标记“0”标识。将图像中的像素逐个进行比较后，可以得到如图6的中图所示的标记示意图。可以对标记了的低亮度像素进行统计，可以统计图像中和低亮度像素的数量和低亮度像素的亮度。

在基于低亮度信息进行筛选时，可以包括低亮度像素在所述图像中的占比，以及低亮度像素的亮度平均值分别进行筛选计算。

其中，低亮度像素在所述图像中的占比，可以通过公式：lowlightPixNumRatio＝lowlightPixNum/(imageWidth*imageHight)进行计算。其中，lowlightPixNumRatio为低亮度像素在所述图像中的占比，lowlightPixNum为低亮度像素个数，imageWidth为所述图像的宽度方向的像素个数，imageHight为所述图像的高度方向的像素个数。

在确定所述图像中的低亮度像素个数时，可以根据公式：

1:0来确定。其中，pImage[i,j]表示图像中的任意像素点，threshold表示第一亮度阈值。当图像中的像素的亮度小于第一亮度阈值时，则该像素统计低亮度像素中的为1个数值。

通过对图像中的低亮度像素的占比进行检测，如果低亮度像素的占比不小于第一亮度阈值，则说明当前的图像所拍照的场景的亮度较大，当前场景中的点光源对图像的画质影响较小，可以将该图像筛选为非点光源图像。如图7所示的非点光源示意图中，图像的低亮度像素的个数较少，低亮度像素占图像的比例较小，且小于预先设定的第一比例阈值，可以将该图像确定为非点光源图像。其中，第一亮度阈值的取值范围可以为[200-250]。比如，第一亮度阈值可以为220、240等亮度数值。第一比例阈值的取值范围可以为[80％,95％]。比如，第一比例阈值可以为85％、90％等数值。

在确定图像的低亮度像素是否满足预先设定的暗环境要求时，可以包括低亮度像素的亮度平均值小于预先设定的平均亮度阈值。可以将低亮度像素在图像中的占比与低亮度像素的平均亮度值两个筛选参数相结合进行筛选，即使得筛选出来的图像，既满足低亮度像素在图像中的占比要求，也满足低亮度像素的亮度平均值要求。

在通过低亮度像素的亮度平均值进行筛选时，可以计算低亮度像素的亮度平均值。该亮度平均值可以为每个低亮度像素的亮度求和后再取平均后所计算的平均值，也可以为每个低亮度像素的归一化亮度值所计算的平均值。

比如，低亮度像素的亮度平均值可以表示为：

其中，lowlightPixMean为低亮度像素的亮度平均值，pImage[i,j]为图像中的任意点，lowlightPixNum为低亮度像素的数量，threshold为平均值阈值。

通过低亮度像素的亮度平均值进行筛选，可以筛选掉图像中的低亮度像素较多，但整体的低亮度像素的亮度不够低，从而使得整体图像较为明亮。在这种情况下，点光源对图像的影响较小，可以将这种场景下的图像定义为非点光源图像。如图8所示，虽然该图像的低亮度像素较多，低亮度像素在图像中的占比满足预先设定的第一像素占比要求，但整体图像较为光亮，通过低亮度像素的亮度平均值，比如可以为30-60中的任意值，比如可以取值为40、50等。可以将图8所示的图像筛选为非点光源图像，从而提高图像筛选的精度。

通过低亮度像素在图像中的占比，以及低亮度像素的亮度平均值对图像进行筛选，可以弥补图像亮度进行筛选时，由于图像亮度关注图像整体可能存在的缺陷，从而进一步提升点光源图像的筛选精度。

通过低亮度像素的占比筛选和亮度平均值筛选后，如果该图像符合预设的暗环境要求，表明当前图像的背景符合点光源图像的背景要求，可以基于所筛选到的满足预先设定的暗环境的图像，在S504中，进一步进行点光源本身的筛选。

在S504中，确定图像中的亮斑信息，基于所述亮斑信息进行筛选。

在基于亮斑信息对图像进行筛选时，可以对基于暗环境要求所筛选得到的图像进一步进行筛选。或者，在可能的实现方式中，如果对待检测图像先进行亮斑信息的筛选，则可以对待检测图像中的每一个图像进行亮斑信息的筛选，或者通过抽样的方式选择其中的图像进行亮斑信息的筛选，或者也可以对待检测图像中所包括的多组图像中，选择任意曝光值的图像，包括如普通曝光、高曝光或低曝光图像，进行亮斑信息的筛选。

基于图像的亮斑信息对图像进行筛选时，可以如图6所示，包括高亮度像素检测，以及区域连通和比较的步骤。

在进行高亮度像素检测时，可以先确定图像中的每个像素的亮度，然后与预先设定的第二亮度阈值进行比较。如果图像中的像素亮度大于所述第二亮度阈值，则可以将该像素添加标识“1”，即标识该像素为高亮度像素。将图像中的每个像素的亮度与第二亮度阈值进行比较后，即可得到如图6中的第3图所示的标识示意图。

其中，第二亮度阈值可以与第一亮度阈值相同。比如，第一亮度阈值和第二亮度阈值可以为[200，250]中的任意值。或者，第二亮度阈值和第一亮度阈值可以不相同，且第二亮度阈值和第一亮度阈值均属于[200,250]，第二亮度阈值大于第一亮度阈值。如果选择一组图像中的低曝光量的图像来确定图像中的低亮度像素和高亮度像素时，则可以减少第一亮度阈值，以及减小第二亮度阈值，从而能够准确的确定图像中所包括的高亮度像素和低亮度像素。

将图像中的高亮度像素标识完成后，可以通过预先设定的连通域确定方法，结合像素的位置，将图像中标识为“1”的像素进行连通检测，以确定图像中包括亮斑。如图8所示的连通域确定示意图中，连通域的确定方式为八邻域的连通域确定方式。即对于任意高亮度像素，可以检测以该像素为中心点，在该中心点的上、下、左、右、左上、左下、右上和右下八个方向的最近邻像素是否为高亮度像素。如果检测到八个方向中的任意像素为高亮度像素，则可以把检测到的高亮度像素与该中心点构成连通区域。比如，图9a所示的，上部的三个高亮度像素确定为一个连通域后，以上部连通域的左下方像素为中心点，通过八邻域范围的搜索，可以在左下的方向搜索到包括高亮度像素，从而将左下方的像素连通至同右上方的连通域。再进一步通过连通域查找，即可确定图9a中包括一个连通域，且该连通域中包括的像素个数为6个。

如图9b所示为通过四邻域确定连通域的一种实现示意图，即对于任意高亮度像素，可以检测以该像素为中心点，在该中心点的上、下、左、右四个方向查找高亮度像素。如图9b所示，上部的三个像素构成连通域后，上部的左下的像素通过四邻内的像素查找，未能查找到有效的高亮度像素。因此，通过四邻域方式的高亮度像素的查找，可以生成如图9b所示的两个连通域。连通域内的像素个数分别为3个和4个。

在确定高亮度像素所构成的连通域后，可以判断每个连通域是否满足预先设定的点光源要求。比如，可以确定单个连通域内的像素在图像的第二像素占比，将所述第二像素占比与预先设定的第一比值范围和第二比值范围进行比较，从而确定该连通区域为点光源亮斑或大面积亮斑。即，当所述第二像素占比属于第一比值范围时，该连通区域属于点光源亮斑。当所述第二像素占比属于第二比值范围时，该连通区域属于大面积亮斑。

由于四邻域方式和八邻域方式所确定的连通域的大小可能存在不同。因此，为了能够更为准确的获取连通域所满足的点光源要求，可以根据所确定的连通域的方式，调整用于与连通域比较的比值范围的大小。比如，确定每个连通域内的像素与图像像素的第二像素占比，将第二像素占比与预先设定的第一比值范围和第二比值范围进行比较时，通过四邻域方式所确定的第二像素占比，相对于八邻域方式所确定的第二像素占比，需要减小第一比值范围和第二比值范围的数值。比如，预先确定的用于比较的第一比值范围可以为[1/1000,x/1000]，第二比值范围可以为(x/1000,1]，其中，x的取值范围可以为[5,10]中的任意值。当所述连通域通过四邻域的方式确定时，第一比值范围可以选择为[1/1000,5/1000]，第二比值范围可以为(5/1000,1]。当所述连通域通过八邻域的方式确定时，第一比值范围可以选择为[1/1000,7/1000]，第二比值范围可以为(7/1000,1]。

当检测到图像中的第二像素占比属于预设的第二比值范围时，表明图像中存在大面积亮斑，即存在面积区域较大的连通区域。那么，在图像中存在较大亮斑时，可以不必继续检测点光源亮斑，直接确定该图像为非点光源图像。

如图10所示为用于亮斑检测的示意图。通过检测，该图像符合背景为暗环境的筛选要求。在对图像进行亮斑检测时，所确定的高亮度像素的第二像素占比属于第二比值范围，即高亮度像素所确定的亮斑为大面积亮斑，可以在HDR图像生成时检测到该大面积亮斑，通过降低曝光量获取图像中的细节，因而可确定该图像为非点光源图像。

当检测到图像中的第二像占比属于预设的第一比值范围，即该连通区域属于点光源亮斑，可以对第二像素占比属于第一比值范围的亮斑进行计数。如果检测完毕后仍然未检测到第二像素占比属于预设的第二比值范围，则可以判断所计数的点光源亮斑是否大于零，即判断是否存在点光源亮斑。如果存在点光源亮斑，则可以确定该图像为点光源图像。

如图11所示，通过高亮度像素所确定的连通区域包括两个。且这两个连通区域的第二像素占比均属于预设的第一比值范围，可以确定图像中包括点光源亮斑的数量为2。由于在该图中未检测到大面积亮斑，且点光源亮斑的数量大于0。在图11预先经过背景的暗环境检测要求时，可以确定该图像为点光源图像。

在确定亮斑过程中，可以使用广度优先搜索的方法，将图像中的亮斑(包括点光源点斑(连通区域的第二像素占比属于预设的第一比值范围)和大面积亮斑(连通区域的第二像素占比属于预设的第一比值范围))找出。实现逻辑可以如下所示：

通过低亮度像素检测图像是否满足点光源图像的暗环境拍摄要求，以及通过高亮度像素检测图像中的亮斑的尺寸要求。当图像经过上述筛选仍然不能确定为非点光源图像，则可以认为该图像为点光源图像。

对于所确定的点光源图像，可以根据点光源图像中所包括亮斑信息，对该图像进行高动态范围图像的生成处理。对于动态生成视频的场景中，可以根据所确定的点光源图像中的点光源的位置，动态的对包括该点光源的图像进行高动态范围的融合。

在确定待检测图像是否为点光源图像后，可以进一步根据所检测到的点光源图像进行HDR图像的融合处理。如图13所示的点光源图像的应用示意图中，多个待检测图像可以同时进行点光源检测和过曝/欠曝检测。通过点光源图像检测，可以得到点光源图像和非点光源图像。由过曝检测和欠曝检测，可以确定图像中的过曝区域和欠曝区域。对于所检测到点光源图像，结合所检测到的包括过曝区域和欠曝区域的图像，可以查找包括同样内容的其它曝光量的图像，确定存在欠曝、过曝或点光源区域的清晰图像，通过融合，生成清晰度更高的HDR图像，从而提升用户的图像拍摄体验，或者提升用户的图像浏览体验。

图13为本申请实施例提供的一种点光源图像检测方法的应用实例示意图。如图13所示，左侧电子设备可以通过拍照或者摄像的方式，获取到用于合成HDR图像的一组图像。该一组照片可以为3张、5张或其它数量的张数。由于左侧设备可能不具有本申请实施例所示的点光源图像检测方法，为了得到更为清晰的图像，可以将所拍摄一组图像发送到右侧电子设备。右侧设备通过内置的点光源图像检测程序，对所接收的图像进行点光源图像的识别，并根据识别结果，可以按照图12所示的流程，生成清晰度更佳的HDR图像。

其中，左侧电子设备向右侧电子设备所发送的图像，可以为一组静态的图像，通过一组静态的图像生成清晰度更高的照片。或者，所发送的图像也可以为动态的图像组。比如，左侧电子设备和右侧电子设备处于视频通话状态，左侧电子设备可以动态的采集不同曝光量的图像，并将所采集的图像发送至右侧电子设备，右侧电子设备通过图12所示的合成处理，在右侧电子设备处显示清晰度更佳的视频。

或者，所述点光源图像检测方法也可应用于服务器等设备。如图14所示，直播端在直播时，由于直播端未进行点光源图像的检测，可以将采集的图像发送至服务器，由服务器根据内置的点光源图像检测程序，结合图12所示的HDR图像生成方法，合成包括HDR图像的视频画面，在直播的观看端进行播放显示。

其中，观看端可以未内置本申请实施例所示的点光源图像检测程序。通过接收由服务器优化合成后的视频，可以提升观看端的观看体验。

当然，通过服务器内置点光源图像检测的程序，对图像进行优化合成时，不局限于直播场景，还可以包括视频通话、照片传送等场景。

通过本申请实施例所示的点光源图像检测，结合图12所示的HDR图像生成方法，可以对包括点光源图像的清晰度得到有效的提升。比如，图15为本申请实施例提供的一种点光源图像示意图。在该点光源图像中，由于点光源的亮度较高，导致图像中点光源附近的区域的细节消失。在确定该图像为点光源图像后，可以查找或生成该图像对应的低曝光图像，根据查找的低曝光图像，可进一步恢复点光源附近的细节，从而使得合成如图16所示的图像，所合成的图像中，在点光源附近的细节更为清晰，有利于提升图像质量。

本申请实施例提供的电子设备，可以包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述方法实施例中任一项的方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例还提供一种芯片系统，所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现如上述各个方法实施例所述的方法。所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。此外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种点光源图像检测方法，其特征在于，所述点光源检测方法包括：

获取待检测的图像，确定所述待检测的图像中的像素亮度；

根据所述像素亮度确定所述图像中的低亮度像素和高亮度像素，所述低亮度像素为亮度小于预设第一亮度阈值的像素，所述高亮度像素为亮度大于或等于预设第二亮度阈值的像素；

根据所述低亮度像素过滤不满足预设暗环境要求的图像，根据所述高亮度像素过滤不满足预设的点光源大小的图像；

根据过滤结果确定待检测的图像是否点光源图像。

2.根据权利要求1所述的方法，其特征在于，根据所述低亮度像素过滤不满足预设暗环境要求的图像，包括：

确定所述低亮度像素在图像中的第一像素占比；

过滤所述第一像素占比小于预设的第一比例阈值的非点光源图像。

3.根据权利要求1或2所述的方法，其特征在于，根据所述低亮度像素过滤不满足预设暗环境要求的图像，包括：

确定所述低亮度像素的亮度平均值；

过滤所述低亮度像素的平均亮度小于预设的平均亮度阈值的非点光源图像。

4.根据权利要求3所述的方法，其特征在于，所述亮度平均值为所述低亮度像素的归一化像素亮度的平均值。

5.根据权利要求1所述的方法，其特征在于，根据所述高亮度像素过滤不满足预设的点光源大小的图像，包括：

连通所述高亮度像素生成高亮度区域；

根据所确定的单个高亮度区域的像素在图像中的第二像素占比；

根据所述第二像素占比过滤不满足预设的点光源大小的非点光源图像。

6.根据权利要求5所述的方法，其特征在于，根据所述第二像素占比过滤掉不满足预设的点光源大小的图像，包括：

确定所述第二像素占比属于预设的第一比值范围的高亮度区域的数量，以及所述第二像素占比属于预设的第二比值范围的高亮度区域的数量，所述第一比值范围小于所述第二比值范围；

如果图像中存在第二像素占比属于预设的第二比值范围的高亮度区域，则该图像为不满足预设的点光源大小的图像；

如果不存在第二像素占比属于预设的第二比值范围的高亮度区域，且所述第二像素占比属于预设的第一比值范围的高亮度区域的数量为0时，则该图像为不满足预设的点光源大小的图像。

7.根据权利要求5所述的方法，其特征在于，连通所述高亮度像素生成高亮度区域，包括：

通过在高亮度像素的四邻域内寻找高亮度像素生成高亮度区域；

或者，通过在高亮度像素的八邻域内寻找高亮度像素生成高亮度区域。

8.根据权利要求1所述的方法，其特征在于，在根据所述像素亮度确定图像中的低亮度像素和高亮度像素之前，所述方法还包括：

获取所述待检测的图像的亮度；

在所述亮度大于预定的第三亮度阈值时，确定所述待检测的图像为非点光源图像。

9.一种图像处理方法，其特征在于，所述图像处理方法包括：

确定两个或两个以上的待处理图像；

根据权利要求1-8任一项所述方法，对所述待处理图像进行点光源检测，确定所述待处理图像是否为点光源图像；

当确定所述待检测的图像中包括点光源图像时，确定所述点光源图像中的高亮度区域；

根据所述点光源图像和所标记的高亮度区域进行高动态范围图像的融合计算。

10.根据权利要求9所述的方法，其特征在于，所述待处理图像为同一场景下拍摄的亮度不同的图像。

11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的方法。

Images