CN114007020B - 图像处理方法、装置、智能终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了图像处理方法、装置、智能终端及计算机可读存储介质，其中，上述图像处理方法包括：获取过曝图像，并获取上述过曝图像中的人像目标区域；分别获取各上述人像目标区域的像素有效亮度均值；基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。与现有技术相比，本发明方案有利于将同一场景下亮度差异较大的拍摄对象都良好地记录在同一目标图像中，有利于提升获得的目标图像的清楚程度，提升图像记录效果。

Description

图像处理方法、装置、智能终端及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种图像处理方法、装置、智能终端及计算机可读存储介质。

背景技术

随着科学技术的发展，摄像设备也迅速发展并应用于各个场景中，例如，在智慧教室、远程会议等应用场景下，都可以通过摄像头采集图像。但在通过摄像头采集图像的过程中，可能由于场景中局部区域亮度太高而导致采集的图像无法正常记录当前场景。例如，在智慧教室场景下，在教室亮度不高且显示屏设备亮度过高时，摄像机以教师为准调整自动曝光时，拍摄图像的显示屏部分会过度曝光，导致该部分内容不清楚。

现有技术中，通常在画面出现过度曝光时调整曝光时间，以获得显示效果更好的图像。现有技术的问题在于，单纯调整曝光时间，无论如何进行调整，都无法将同一场景下亮度差异过大的拍摄对象良好地记录在同一画面中，不利于提升获得的图像的清楚程度，且影响图像记录效果。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种图像处理方法、装置、智能终端及计算机可读存储介质，旨在解决现有技术中调整曝光时间的方案无法将同一场景下亮度差异过大的拍摄对象良好的记录在同一画面中，不利于提升获得的图像的清楚程度，且影响图像记录效果的问题。

为了实现上述目的，本发明第一方面提供一种图像处理方法，其中，上述方法包括：

获取过曝图像，并获取上述过曝图像中的人像目标区域；

分别获取各上述人像目标区域的像素有效亮度均值；

基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；

基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。

可选的，上述获取过曝图像，并获取上述过曝图像中的人像目标区域，包括：

获取待处理图像；

基于上述过曝亮度阈值获取上述待处理图像中的过曝像素，其中，上述过曝像素的亮度值大于上述过曝亮度阈值；

当上述待处理图像中过曝像素的数量占比高于预设的过曝像素比例时，将上述待处理图像作为过曝图像；

获取上述过曝图像中的人像目标区域。

可选的，上述获取上述过曝图像中的人像目标区域，包括：

对上述过曝图像进行人脸识别；

将识别获得的各个人脸对应的区域分别作为上述人像目标区域。

可选的，上述分别获取各上述人像目标区域的像素有效亮度均值，包括：

对于每一个上述人像目标区域，计算上述人像目标区域内的有效像素的亮度值的均值，作为上述人像目标区域的像素有效亮度均值，其中，上述有效像素是亮度值不小于第一亮度阈值且不大于第二亮度阈值的像素，上述第一亮度阈值等于区域亮度均值减去区域标准差，上述第二亮度阈值等于区域亮度均值加上区域标准差，上述区域亮度均值和上述区域标准差分别是上述人像目标区域内所有像素的亮度值的均值和标准差。

可选的，上述基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间，包括：

计算所有上述人像目标区域的像素有效亮度均值的均值，作为图像有效亮度均值；

计算获取二次曝光时间，其中，上述二次曝光时间等于上述图像有效亮度均值与上述当前曝光时间的乘积除以上述过曝亮度阈值。

可选的，上述基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像，包括：

基于上述二次曝光时间进行拍摄，获取二次曝光图像；

基于上述二次曝光图像对上述过曝图像进行修正，获取目标图像。

可选的，上述基于上述二次曝光图像对上述过曝图像进行修正，获取目标图像，包括：

将上述过曝图像中的过曝像素替换为上述二次曝光图像中的相应像素，获得目标图像，其中，上述过曝像素的亮度值大于上述过曝亮度阈值。

本发明第二方面提供一种图像处理装置，其中，上述装置包括：

过曝图像获取模块，用于获取过曝图像，并获取上述过曝图像中的人像目标区域；

均值获取模块，用于分别获取各上述人像目标区域的像素有效亮度均值；

二次曝光时间获取模块，用于基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；

处理模块，用于基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取处理后的目标图像。

本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的图像处理程序，上述图像处理程序被上述处理器执行时实现任意一项上述图像处理方法的步骤。

本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有图像处理程序，上述图像处理程序被处理器执行时实现任意一项上述图像处理方法的步骤。

由上可见，本发明方案中，获取过曝图像，并获取上述过曝图像中的人像目标区域；分别获取各上述人像目标区域的像素有效亮度均值；基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。与现有技术中单纯调整曝光时间的方案相比，本发明方案中，获取当前过曝图像对应的二次曝光时间，基于二次曝光时间获取二次曝光图像后，结合当前的过曝图像和获得的二次曝光图像获取一张完成过曝修正处理后的目标图像，有利于将同一场景下亮度差异较大的拍摄对象都良好地记录在同一目标图像中，有利于提升获得的目标图像的清楚程度，提升图像记录效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种图像处理方法的流程示意图；

图2是本发明实施例图1中步骤S100的具体流程示意图；

图3是本发明实施例图2中步骤S104的具体流程示意图；

图4是本发明实施例提供的一个人像目标区域对应的亮度值分布示意图；

图5是本发明实施例图1中步骤S300的具体流程示意图；

图6是本发明实施例图1中步骤S400的具体流程示意图；

图7是本发明实施例提供的一种图像处理方法的具体流程示意图；

图8是本发明实施例提供的一种图像处理装置的结构示意图；

图9是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

随着科学技术的发展，摄像设备也迅速发展并应用于各个场景中，例如，在智慧教室、远程会议等应用场景下，都可以通过摄像头采集图像。但在通过摄像头采集图像的过程中，可能由于场景中局部区域亮度太高而导致采集的图像无法正常记录当前场景。例如，摄像机是智慧教室系统必备且重要的一种设备，智慧教室中的摄像机拍摄教师教学的过程，用于教学记录和远程推流。但智慧教室的显示屏设备有时会因为亮度太高而无法正常记录。具体的，在智慧教室场景下，在教室亮度不高且显示屏设备亮度过高时，摄像机以教师为准调整自动曝光时，拍摄图像的显示屏部分会过度曝光，导致该部分内容不清楚。

现有技术中，通常在画面出现过度曝光时调整曝光时间，以获得显示效果更好的图像。现有技术的问题在于，单纯调整曝光时间，无论如何进行调整，都无法将同一场景下亮度差异过大的拍摄对象良好地记录在同一画面中，不利于提升获得的图像的清楚程度，且影响图像记录效果。在一些应用场景中，还通过卷积法进行图像修复，但卷积法会耗费大量曝光时间，无法应用在动态场景中进行实时记录。而无法记录显示屏信息的情况会引起教学内容的记录不全、远程学生无法观察到显示屏上的教学内容等问题，影响正常教学功能和用户的使用体验。

为了解决现有技术的问题，本发明方案中，获取过曝图像，并获取上述过曝图像中的人像目标区域；分别获取各上述人像目标区域的像素有效亮度均值；基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。与现有技术中单纯调整曝光时间的方案相比，本发明方案中，获取当前过曝图像对应的二次曝光时间，基于二次曝光时间获取二次曝光图像后，结合当前的过曝图像和获得的二次曝光图像获取一张完成过曝修正处理后的目标图像，有利于将同一场景下亮度差异较大的拍摄对象都良好地记录在同一目标图像中，有利于提升获得的目标图像的清楚程度，提升图像记录效果。

示例性方法

如图1所示，本发明实施例提供一种图像处理方法，具体的，上述方法包括如下步骤：

步骤S100，获取过曝图像，并获取上述过曝图像中的人像目标区域。

其中，上述过曝图像是对目标对象拍摄获得的存在部分区域过度曝光的图像，目标对象是需要通过图像进行记录的对象。本实施例中，以智慧教室的应用场景为例进行说明，则目标对象包括教室内的师生以及显示屏，还可以包括黑板等包含教学信息的区域。在其它应用场景中，目标对象还可以为其它对象，例如智能会议场景下目标对象可以包括与会人员和会议播放显示屏，在此不做具体限定。

上述人像目标区域是过曝图像中人脸对应的区域。目前的摄像头通常是以人脸为准调整自动曝光的，人脸区域对应的曝光通常是正常的，不会出现太强的过曝光情况，因此获取过曝图像中的人像目标区域有助于快速获取过曝图像中亮度正常的像素点，从而便于获知过曝图像的过曝程度，进而便于调整二次曝光时间，对过曝光区域进行补偿修正。本实施例中，在智慧教室的应用场景下，过曝图像中人脸包括老师的人脸和学生的人脸。

步骤S200，分别获取各上述人像目标区域的像素有效亮度均值。

其中，一个人像目标区域对应一个像素有效亮度均值，像素有效亮度均值是对应的人像目标区域内的所有有效像素的亮度值的均值，其中，有效像素是不过暗也不过亮的像素。例如，在一种应用场景中，有效像素是对应的人像目标区域内亮度值在预设范围内的像素。在上述步骤S200中，分别计算获取每一个人像目标区域对应的像素有效亮度均值。

步骤S300，基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间。

具体的，曝光时间是为了将光投射到照相感光材料的感光面上，快门所要打开的时间。其中，上述当前曝光时间是当前的过曝图像对应的曝光时间，即上述过曝图像是基于当前曝光时间拍摄获得的图像。过曝亮度阈值是预先设置的亮度阈值，考虑过度曝光的情况，当某一像素点对应的亮度值超过上述过曝亮度阈值时，认为该点过度曝光。上述过曝亮度阈值可以根据实际需求进行设置和调整。在一种应用场景中，可以直接减小当前曝光时间后作为二次曝光时间，从而以第二次低曝光时间的手段来获取场景内局部过曝的物体的信息。在本实施例中，基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值对二次曝光时间进行准确地计算，以保证能充分获取到场景内局部过曝的物体的信息，同时减小所需要的等待和计算时间，提高实时性，满足课堂的实时性需求。

步骤S400，基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。

具体的，获得二次曝光时间后，基于二次曝光时间获取二次曝光图像。二次曝光时间是根据当前的过曝图像的亮度值情况进行计算获得的，可以保证获得的二次曝光图像中，与当前过曝图像中过度曝光的区域对应的区域是正常的(不过度曝光的)，从而可以结合过曝图像和二次曝光图像获取一张完成过曝修正的更为清楚的目标图像。在上述目标图像中，当前场景下的各个目标对象(包括师生人脸和显示屏显示的内容)都清晰可见，不会因为过度曝光而导致部分内容看不清楚。

由上可见，本发明实施例提供的图像处理方法中，获取过曝图像，并获取上述过曝图像中的人像目标区域；分别获取各上述人像目标区域的像素有效亮度均值；基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。与现有技术中单纯调整曝光时间的方案相比，本发明方案中，获取当前过曝图像对应的二次曝光时间，基于二次曝光时间获取二次曝光图像后，结合当前的过曝图像和获得的二次曝光图像获取一张完成过曝修正处理后的目标图像，有利于将同一场景下亮度差异较大的拍摄对象都良好地记录在同一目标图像中，有利于提升获得的目标图像的清楚程度，提升图像记录效果。

具体的，本实施例中，如图2所示，上述步骤S100包括：

步骤S101，获取待处理图像。

步骤S102，基于上述过曝亮度阈值获取上述待处理图像中的过曝像素，其中，上述过曝像素的亮度值大于上述过曝亮度阈值。

步骤S103，当上述待处理图像中过曝像素的数量占比高于预设的过曝像素比例时，将上述待处理图像作为过曝图像。

步骤S104，获取上述过曝图像中的人像目标区域。

其中，上述待处理图像是需要进行图像处理的图像，上述待处理图像是通过摄像头对目标场景(如智能教室场景)下的目标对象进行拍摄获得的图像。待处理图像可能是存在过度曝光问题的图像，也有可能是不存在过度曝光的问题的图像，因此，本实施中，需要对待处理图像进行判断，判断其是否为过曝图像。具体的，本实施例中，首先通过摄像机自动曝光技术获取当前场景的第一张图像，即待处理图像，图像分辨率为X×Y，即上述待处理图像包括X×Y个像素。

本实施例中，为了便于对图像的亮度进行分析，将上述待处理图像的色彩空间转换到HSL模型，其中L为亮度值。HSL模型中的L亮度值范围固定为0～1.0，与色深无关，适合用于进行本实施例中的曝光程度分析。

本实施例中，预先设置上述过曝亮度阈值为0.9，对于待处理图像中的某一像素点，当其亮度值L超过0.9时，认为该像素过曝，作为过曝像素。遍历X×Y个像素，获取其中的所有过曝像素并累计其数量，计算过曝像素在上述待处理图像中所有像素中所占的比例(即数量占比)，当过曝像素的数量占比高于预设的过曝像素比例时，将上述待处理图像作为过曝图像进行处理，反之则认为该待处理图像正常，无需进行处理，直接将该待处理图像作为目标图像。本实施例中，上述预设的过曝像素比例为10％，当过度曝光的像素超过待处理图像中总像素的10％时，认为该待处理图像有部分区域过曝，需要进行图像修正处理。

具体的，本实施例中，如图3所示，上述步骤S104包括：

步骤S1041，对上述过曝图像进行人脸识别。

步骤S1042，将识别获得的各个人脸对应的区域分别作为上述人像目标区域。

目前的摄像头通常是以人脸为准调整自动曝光的，人脸区域对应的曝光通常是正常的，不会出现太强的过曝光情况，因此本实施例中通过人脸识别获取过曝图像中的人脸目标区域，以方便后续进行图像修正。具体的，上述人像目标区域包括教师对应的区域和学生对应的区域，设上述过曝图像中人像目标区域的总数为N，将N个人像目标区域中各像素对应的HSL模型中的亮度值L依次记录，获得队列ROI[N]。

具体的，本实施例中，上述步骤S200包括：对于每一个上述人像目标区域，计算上述人像目标区域内的有效像素的亮度值的均值，作为上述人像目标区域的像素有效亮度均值，其中，上述有效像素是亮度值不小于第一亮度阈值且不大于第二亮度阈值的像素，上述第一亮度阈值等于区域亮度均值减去区域标准差，上述第二亮度阈值等于区域亮度均值加上区域标准差，上述区域亮度均值和上述区域标准差分别是上述人像目标区域内所有像素的亮度值的均值和标准差。

ROI队列中每个人像目标区域，大部分图像像素均为有效数据，但也包含少量过曝或过暗的背景或边缘像素，且每个人像目标区域内的亮度分布近似于正态分布。具体的，本实施例中，上述有效像素是亮度值在有效范围内(即第一亮度阈值和第二亮度阈值构成的范围内)的像素。具体的，对于每一个人像目标区域，获取该区域内的所有像素对应的亮度值，例如，本实施例中，将ROI队列中的队头数据进行处理，分别获取各个人像目标区域内所有像素的亮度值，对于每一个人像目标区域，可分别将其所有像素的亮度值构成亮度值数组ROI_L[n]，其中，n代表该人像目标区域内的像素总数。

本实施例中，分别将各人像目标区域内的所有像素对应的亮度值放入近似正态分布的模型中，具体的，对于各人像目标区域，分别将其亮度值数组ROI_L[n]中的所有元素放入近似正态分布的模型中。图4是本发明实施例提供的一个人像目标区域对应的亮度值分布示意图，其中p为每个亮度值L的像素数量，μ是正态分布的均值，σ是正态分布的标准差。上述区域亮度均值即为正态分布的均值μ，上述区域标准差是正态分布的标准差σ。具体的，本实施例中，基于如下公式(1)和(2)计算获取均值μ和标准差σ：

其中，Lmax是当前人像目标区域内的亮度值的最大值，i代表当前亮度值，从0取到Lmax，代表遍历所有的亮度值取值，p(i)代表亮度值为i的像素的数目，n代表当前人像目标区域内的像素总数。j用于计数，j从1取到n，ROI_L(j)代表亮度值数组ROI_L中的第j个元素，本实施例中数组ROI_L的第1个元素为ROI_L(1)，即从1开始计数。

本实施例中，第一亮度阈值为μ-σ，第二亮度阈值为μ+σ，当亮度值L在[μ-σ，μ+σ]内时该亮度值为有效亮度值，对应的像素为有效像素，不在该区间内的亮度值为干扰亮度值。本实施例中，仅使用有效亮度值计算各人像目标区域内的像素有效亮度均值，从而有利于提高计算精度，避免干扰亮度值的干扰，有利于获得各人像目标区域的显著亮度值。具体的，分别基于如下公式(3)计算各人像目标区域内的像素有效亮度均值：

其中，A代表一个人像目标区域的像素有效亮度均值，i代表当前亮度值，p(i)代表亮度值为i的像素的数目，n代表当前人像目标区域内的像素总数。将所有人像目标区域的像素有效亮度均值组合构建一个包含N个元素的像素有效亮度均值数组L[N]，其中，N为人像目标区域的总数。

在一种应用场景中，可以将计算完毕的人像目标区域的亮度数据进行释放，并将队列ROI[N]中对应的队首移出队列，以节省存储空间。同时，也可以根据队列ROI[N]判断是否将所有的人像目标区域都计算完毕，当内存中队列ROI[N]为空时，认为获取到所有人像目标区域对应的像素有效亮度均值数组L[N]。

具体的，本实施例中，如图5所示，上述步骤S300包括：

步骤S301，计算所有上述人像目标区域的像素有效亮度均值的均值，作为图像有效亮度均值。

步骤S302，计算获取二次曝光时间，其中，上述二次曝光时间等于上述图像有效亮度均值与上述当前曝光时间的乘积除以上述过曝亮度阈值。

具体的，计算所有N个人像目标区域对应的像素有效亮度均值的均值，作为图像有效亮度均值L′，在一种应用场景中，基于如下公式(4)计算图像有效亮度均值：

其中，k用于计数，k从1取到N，L(k)代表像素有效亮度均值数组的第k个元素，像素有效亮度均值数组的第1个元素为L(1)，即从1开始计数，N代表人像目标区域的总数。获得上述图像有效亮度均值L′后，基于图像亮度与曝光时间之间的关系

可以计算出合适的二次曝光时间：

其中，T′为二次曝光时间，T为当前曝光时间，L₁为过曝亮度阈值，本实施例中，过曝亮度阈值设置为0.9。

具体的，本实施例中，如图6所示，上述步骤S400包括：

步骤S401，基于上述二次曝光时间进行拍摄，获取二次曝光图像。

步骤S402，基于上述二次曝光图像对上述过曝图像进行修正，获取目标图像。

具体的，基于上述计算获得的二次曝光时间控制摄像头对当前场景进行第二次拍摄，以使得部分过度曝光的区域能在二次曝光图像中清楚显示。进一步的，将上述过曝图像中的过曝像素替换为上述二次曝光图像中的相应像素，获得目标图像，其中，上述过曝像素的亮度值大于上述过曝亮度阈值。本实施例中，将上述过曝图像中亮度值大于0.9的像素替换为二次曝光图像中的相应像素，可以获得图像修正后的正确图像(即目标图像)，作为视频中一帧图像的修正。需要说明的是，本实施例方法的时间复杂度为O(X×Y)，可以满足实时处理要求，在完成一帧图像的修正后，可以继续处理下一帧的图像，其中，X×Y为过曝图像的图像分辨率。

本实施例中，还基于一种具体应用场景对上述图像处理方法进行具体说明，图7是本发明实施例提供的一种图像处理方法的具体流程示意图。如图7所示，在获取自动曝光图像(即待处理图像)后，转换色彩空间，判断该自动曝光图像是否过度曝光(q％是否大于10％，q％为过度曝光的像素所占的比例)。当该自动曝光图像过度曝光时，基于如图7所示的具体流程进行处理，获得二次曝光时间，进而获得二次曝光图像，基于二次曝光图像对当前图像进行修正，从而获得正确图像(即目标图像)。现有技术中，通过场景亮度分析，不停调整曝光时间来获得场景信息，但是对于同一场景存在亮度差异显著的物体时，这种曝光方式并不能同时将亮度存在差异的物体拍摄到同一画面中。对于使用卷积法进行图像修复的技术，多次卷积将实际到更频繁的曝光，只能应用于静态场景的图像修复。而本实施例中的图像处理方法通过HSL模型对画面进行亮度分析，算法时间复杂度为O(X×Y)，可以在不可察觉的时间延迟下完成分析工作，这种低延迟的算法能满足动态场景的实时图像修复。

智慧教室中的摄像机使用目的与其他领域摄像机的使用目的不同，相比于视频的流畅性和色彩的还原度，更强调信息记录性。本实施例提出的图像处理方法降低帧率，基于人脸识别的技术获取显著曝光值(即有效亮度值)，同时将整个画面信息转为HSL数学模型以方便对于图像各部分亮度的分析，在分析图像过曝区域亮度值后，以第二次低曝光时间的手段来获取场景内局部过曝拍摄物体的信息，最后将两张图像拼合在一起，实现将同一场景不同亮度拍摄物体记录在同一画面上。需要说明的是，上述图像处理方法还可以用于其它带有显示器的摄像机拍摄场景，如智能会议场景等，可以通过上述图像处理方法解决场景中使用显示器过亮，无法拍摄到显示器上的信息的问题。

示例性设备

如图8中所示，对应于上述图像处理方法，本发明实施例还提供一种图像处理装置，上述图像处理装置包括：

过曝图像获取模块510，用于获取过曝图像，并获取上述过曝图像中的人像目标区域。

其中，上述过曝图像是对目标对象拍摄获得的存在部分区域过度曝光的图像，目标对象是需要通过图像进行记录的对象。本实施例中，以智慧教室的应用场景为例进行说明，则目标对象包括教室内的师生以及显示屏，还可以包括黑板等包含教学信息的区域。在其它应用场景中，目标对象还可以为其它对象，例如智能会议场景下目标对象可以包括与会人员和会议播放显示屏，在此不做具体限定。

上述人像目标区域是过曝图像中人脸对应的区域。目前的摄像头通常是以人脸为准调整自动曝光的，人脸区域对应的曝光通常是正常的，不会出现太强的过曝光情况，因此获取过曝图像中的人像目标区域有助于快速获取过曝图像中亮度正常的像素点，从而便于获知过曝图像的过曝程度，进而便于调整二次曝光时间，对过曝光区域进行补偿修正。本实施例中，在智慧教室的应用场景下，过曝图像中人脸包括老师的人脸和学生的人脸。

均值获取模块520，用于分别获取各上述人像目标区域的像素有效亮度均值。

其中，一个人像目标区域对应一个像素有效亮度均值，像素有效亮度均值是对应的人像目标区域内的所有有效像素的亮度值的均值，其中，有效像素是不过暗也不过亮的像素。例如，在一种应用场景中，有效像素是对应的人像目标区域内亮度值在预设范围内的像素。本实施例中，分别计算获取每一个人像目标区域对应的像素有效亮度均值。

二次曝光时间获取模块530，用于基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间。

具体的，曝光时间是为了将光投射到照相感光材料的感光面上，快门所要打开的时间。其中，上述当前曝光时间是当前的过曝图像对应的曝光时间，即上述过曝图像是基于当前曝光时间拍摄获得的图像。过曝亮度阈值是预先设置的亮度阈值，考虑过度曝光的情况，当某一像素点对应的亮度值超过上述过曝亮度阈值时，认为该点过度曝光。上述过曝亮度阈值可以根据实际需求进行设置和调整。在一种应用场景中，可以直接减小当前曝光时间后作为二次曝光时间，从而以第二次低曝光时间的手段来获取场景内局部过曝的物体的信息。在本实施例中，基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值对二次曝光时间进行准确地计算，以保证能充分获取到场景内局部过曝的物体的信息，同时减小所需要的等待和计算时间，提高实时性，满足课堂的实时性需求。

处理模块540，用于基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取处理后的目标图像。

具体的，获得二次曝光时间后，基于二次曝光时间获取二次曝光图像。二次曝光时间是根据当前的过曝图像的亮度值情况进行计算获得的，可以保证获得的二次曝光图像中，与当前过曝图像中过度曝光的区域对应的区域是正常的(不过度曝光的)，从而可以结合过曝图像和二次曝光图像获取一张完成过曝修正的更为清楚的目标图像。在上述目标图像中，当前场景下的各个目标对象(包括师生人脸和显示屏显示的内容)都清晰可见，不会因为过度曝光而导致部分内容看不清楚。

由上可见，本发明实施例提供的图像处理装置通过过曝图像获取模块510获取过曝图像，并获取上述过曝图像中的人像目标区域；通过均值获取模块520分别获取各上述人像目标区域的像素有效亮度均值；通过二次曝光时间获取模块530基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；通过处理模块540基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取处理后的目标图像。与现有技术中单纯调整曝光时间的方案相比，本发明方案中，获取当前过曝图像对应的二次曝光时间，基于二次曝光时间获取二次曝光图像后，结合当前的过曝图像和获得的二次曝光图像获取一张完成过曝修正处理后的目标图像，有利于将同一场景下亮度差异较大的拍摄对象都良好地记录在同一目标图像中，有利于提升获得的目标图像的清楚程度，提升图像记录效果。

具体的，本实施例中，上述图像处理装置及其各模块的具体功能可以参照上述图像处理方法中的对应描述，在此不再赘述。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和图像处理程序。该内存储器为非易失性存储介质中的操作系统和图像处理程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该图像处理程序被处理器执行时实现上述任意一种图像处理方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的图像处理程序，上述图像处理程序被上述处理器执行时进行以下操作指令：

获取过曝图像，并获取上述过曝图像中的人像目标区域；

分别获取各上述人像目标区域的像素有效亮度均值；

基于当前曝光时间、过曝亮度阈值以及上述像素有效亮度均值计算获取二次曝光时间；

基于上述二次曝光时间获取二次曝光图像，并基于上述过曝图像和上述二次曝光图像获取一张完成过曝修正处理后的目标图像。

本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有图像处理程序，上述图像处理程序被处理器执行时实现本发明实施例提供的任意一种图像处理方法的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像处理方法，其特征在于，所述方法包括：

获取过曝图像，并获取所述过曝图像中的人像目标区域；

所述获取过曝图像，并获取所述过曝图像中的人像目标区域，包括：获取待处理图像；将所述待处理图像的色彩空间转换到HSL模型以进行亮度分析；基于过曝亮度阈值获取所述待处理图像中的过曝像素，其中，所述过曝像素的亮度值大于所述过曝亮度阈值；当所述待处理图像中过曝像素的数量占比高于预设的过曝像素比例时，将所述待处理图像作为过曝图像；对所述过曝图像进行人脸识别；将识别获得的各个人脸对应的区域分别作为所述人像目标区域；

分别获取各所述人像目标区域的像素有效亮度均值，其中，一个所述人像目标区域对应一个像素有效亮度均值，所述像素有效亮度均值是对应的人像目标区域内所有有效像素的亮度值的均值，所述有效像素是对应的人像目标区域内亮度值在预设范围内的像素；

基于当前曝光时间、过曝亮度阈值以及所述像素有效亮度均值计算获取二次曝光时间，其中，二次曝光时间等于图像有效亮度均值与所述当前曝光时间的乘积除以所述过曝亮度阈值，所述图像有效亮度均值是计算所有所述人像目标区域的像素有效亮度均值的均值；

基于所述二次曝光时间获取二次曝光图像，并基于所述过曝图像和所述二次曝光图像获取一张完成过曝修正处理后的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述分别获取各所述人像目标区域的像素有效亮度均值，包括：

对于每一个所述人像目标区域，计算所述人像目标区域内的有效像素的亮度值的均值，作为所述人像目标区域的像素有效亮度均值，其中，所述有效像素是亮度值不小于第一亮度阈值且不大于第二亮度阈值的像素，所述第一亮度阈值等于区域亮度均值减去区域标准差，所述第二亮度阈值等于区域亮度均值加上区域标准差，所述区域亮度均值和所述区域标准差分别是所述人像目标区域内所有像素的亮度值的均值和标准差。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述二次曝光时间获取二次曝光图像，并基于所述过曝图像和所述二次曝光图像获取一张完成过曝修正处理后的目标图像，包括：

基于所述二次曝光时间进行拍摄，获取二次曝光图像；

基于所述二次曝光图像对所述过曝图像进行修正，获取目标图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述二次曝光图像对所述过曝图像进行修正，获取目标图像，包括：

将所述过曝图像中的过曝像素替换为所述二次曝光图像中的相应像素，获得目标图像，其中，所述过曝像素的亮度值大于所述过曝亮度阈值。

5.一种图像处理装置，其特征在于，所述装置包括：

过曝图像获取模块，用于获取过曝图像，并获取所述过曝图像中的人像目标区域；

所述获取过曝图像，并获取所述过曝图像中的人像目标区域，包括：获取待处理图像；将所述待处理图像的色彩空间转换到HSL模型以进行亮度分析；基于过曝亮度阈值获取所述待处理图像中的过曝像素，其中，所述过曝像素的亮度值大于所述过曝亮度阈值；当所述待处理图像中过曝像素的数量占比高于预设的过曝像素比例时，将所述待处理图像作为过曝图像；对所述过曝图像进行人脸识别；将识别获得的各个人脸对应的区域分别作为所述人像目标区域；

均值获取模块，用于分别获取各所述人像目标区域的像素有效亮度均值，其中，一个所述人像目标区域对应一个像素有效亮度均值，所述像素有效亮度均值是对应的人像目标区域内所有有效像素的亮度值的均值，所述有效像素是对应的人像目标区域内亮度值在预设范围内的像素；

二次曝光时间获取模块，用于基于当前曝光时间、过曝亮度阈值以及所述像素有效亮度均值计算获取二次曝光时间，其中，所述二次曝光时间等于所述图像有效亮度均值与所述当前曝光时间的乘积除以所述过曝亮度阈值，所述图像有效亮度均值是计算所有所述人像目标区域的像素有效亮度均值的均值；

处理模块，用于基于所述二次曝光时间获取二次曝光图像，并基于所述过曝图像和所述二次曝光图像获取处理后的目标图像。

6.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1-4任意一项所述图像处理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1-4任意一项所述图像处理方法的步骤。

Images