CN115720296A - 一种获取拍摄图片的方法、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种应用于多帧曝光拍摄模式下获取拍摄图片的方法、电子设备和存储介质。其中，所述方法包括：获取拍摄画面的过曝信息，根据所述过曝信息确定多帧曝光参数；根据所述多帧曝光参数进行多帧曝光，获取对应的多帧图像；根据所述多帧图像中的长帧图像确定第一图像，根据所述多帧图像中的短帧图像确定第二图像；叠加所述第一图像和第二图像得到所述拍摄图片；其中，所述过曝信息包括：亮度超过过曝阈值的像素点的亮度信息；所述多帧曝光参数包括：多帧曝光的总帧数量、短帧数量和长帧数量。本公开实施例的方案，利用多帧曝光拍摄模式下长短帧图像的特性，以保障融合后的拍摄图片中不同类型目标在都具有的高的图像质量。

Description

一种获取拍摄图片的方法、电子设备和存储介质

技术领域

本发明涉及但不限于摄像装置控制领域，尤其涉及一种应用于多帧曝光拍摄模式下获取拍摄图片的方法、电子设备和存储介质。

背景技术

在摄像机的夜间监控应用中，由于道路的灯光、树木以及广告牌等的影响，使得整条道路上的光照并不太均匀，行人或骑电瓶车的人或骑自行车的人，一般处在道路边的位置，很容易被树木或广告牌或路牌等物体遮挡了光照，导致抓拍出来的人脸或人体效果比较差，如何判断抓拍的车牌、人脸或人体的图像质量，以及对其进行调整，以保证最终在混行模式下抓拍到的人脸、人体和车牌效果都好，就显得尤为重要。

发明内容

本公开实施例提供一种应用于多帧曝光拍摄模式下的获取拍摄图片的方法、电子设备和存储介质，根据拍摄画面过曝情况动态确定多帧曝光时的总帧数量、长帧数量和短帧数量，获取对应数量的长帧图像和短帧图像，再进行长短帧图像的融合得到拍摄图片，能够利用长短帧图像的特性，以保障相关业务场景中不同类型目标物在融合后的拍摄图片中都具有最佳的图像质量。

一方面，本公开实施例提供一种获取拍摄图片的方法，应用于多帧曝光拍摄模式下，包括：

获取拍摄画面的过曝信息，根据所述过曝信息确定多帧曝光参数；

根据所述多帧曝光参数进行多帧曝光，获取对应的多帧图像；

根据所述多帧图像中的长帧图像确定第一图像，根据所述多帧图像中的短帧图像确定第二图像；

叠加所述第一图像和第二图像得到所述拍摄图片；

其中，所述过曝信息包括：亮度超过过曝阈值的像素点的亮度信息；所述多帧曝光参数包括：多帧曝光的总帧数量、短帧数量和长帧数量。

另一方面，本公开实施例还提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开中任一实施例所述的获取拍摄图片的方法。

另一方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开中任一实施例所述的获取拍摄图片的方法。

本发明实施例提供的方案，能够充分利用多帧曝光方案中长短帧图像的特点生成融合后图片，有效提升抓拍图片的图像质量。一些示例性实施例中，对包含特定目标的区域图像进行质量评定和质量增强，根据增强后的区域图像融合叠加生成拍摄图片，确保了图像质量的进一步提升。

在阅读并理解了附图和详细描述后，可以明白其他方面。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种获取拍摄图片的方法的流程图；

图2是本发明实施例中画面分区的示意图；

图3是本发明实施例中分段直方图示意图；

图4是本发明实施例提供的另一种获取拍摄图片的方法的流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在摄像机的夜间监控应用中，由于道路的灯光、树木以及广告牌等的影响，使得整条道路上的光照并不太均匀，行人或骑电瓶车的人或骑自行车的人，一般处在道路边的位置，很容易被树木或广告牌或路牌等物体遮挡了光照，导致抓拍出来的人脸或人体效果比较差；而车辆一般行驶在路中间，相对光照较好。针对该混行场景，相关技术方案中采用两路设备分别拍摄的方案，各自设置适应性拍摄参数，分别获取针对人脸\人体和车牌\车辆的两张抓拍图片，两张抓拍图片对于后续的查找、使用来说，便利性较差，同时也带来了巨大的存储压力。

针对上述混行场景，本公开实施例提供了一种获取拍摄图片的方法，应用于多帧曝光拍摄模式，能够实现在一张拍摄图片上集合多个高质量目标图像，提升了拍摄图片后期使用的便利性，也显著减小了拍摄图片的存储压力。

在相关实施例之前，先介绍几个本公开实施例涉及的方面：

宽动态：宽动态(Wide Dynamic Range，WDR)技术是指通过采用不同曝光量对同一场景进行拍摄得到多帧图像，再将多帧图像进行合成成一帧的技术。其中，曝光量大的帧称为长曝光帧或者长帧，因为曝光时间长，暗区信息能够有效保留。曝光量小的帧称为短帧或者短曝光帧，因为曝光时间短，亮区的信息能够被有效保留。通过宽动态技术将短帧中的亮区信息和长帧中的暗区信息合成为一帧，能够同时体现亮区信息和暗区信息。

多帧曝光，也称为多重曝光，可以通过支持多帧曝光的传感器获得对应的多帧图像。例如，n帧曝光，则按照曝光时长排序得到的n帧图像记为F1、F2、F3、…、Fn，n>＝2。其中，曝光时长大于设定曝光时长阈值的称为长帧，小于或等于设定曝光时长阈值的称为短帧；或者，曝光量大于设定阈值F的称为长帧，小于或等于阈值F的称为短帧。n帧图像中曝光量大的帧对应的曝光时间长，曝光量小的帧对应的曝光时间短。n帧中曝光量最大(曝光时长最长)的帧称为最长帧或最长帧图像，曝光量(曝光时长)第二大的帧称为次长帧或次长帧图像；n中曝光量最小(曝光时长最短)的帧称为最短帧或最短帧图像，曝光量(曝光时长)倒数第二大的帧称为次短帧或次短帧图像；其他帧定义依此类推，不一一赘述。

曝光比，图像传感器上不同帧的曝光度(量)的比值称为曝光比R。在多帧曝光方案中，不同长帧之间的曝光比，长帧和短帧之间的曝光比，短帧之间的曝光比可以统一设定为相同值，也可以分开独立设置，或者按照设定规则或函数设定不同数值。

亮度，又称为强度或明度，是指人眼对物体表面明暗程度变化的感觉；一些实施例中，可以用灰度值指示亮度。

过曝，指过度曝光，指画面(像素)亮度超过设定的过曝阈值；过曝区域，指画面中亮度(灰度)大于过曝阈值的像素组成的区域。

本公开提供一种获取拍摄图片的方法，应用于多帧曝光拍摄模式下，如图1所示，包括，

步骤101，获取拍摄画面的过曝信息，根据所述过曝信息确定多帧曝光参数；其中，所述过曝信息包括：亮度超过过曝阈值的像素点的亮度信息，所述多帧曝光参数包括：多帧曝光的总帧数量、短帧数量和长帧数量；

步骤102，根据所述多帧曝光参数进行多帧曝光，获取对应的多帧图像；

步骤103，根据所述多帧图像中的长帧图像确定第一图像，根据所述多帧图像中的短帧图像确定第二图像；

步骤104，叠加所述第一图像和第二图像得到所述拍摄图片。

一些示例性实施例中，步骤102包括：

按照所述长帧数量N，基于第一类型目标进行曝光，获取对应数量的长帧图像；

按照所述短帧数量k，基于第二类型目标进行曝光，获取对应数量的短帧图像。

一些示例性实施例中，所述第一类型目标为，夜间环境下处于光照环境相对较差和/或移动速度相对较小的目标，例如，人脸，人体等；第二类型目标为，夜间环境下处于光照环境相对较好和/或移动速度相对较大的目标，例如，车牌，车辆(车身)等。其中，车牌可以是汽车的车牌，也可以是摩托车的车牌。根据上述示例，可以根据应用场景的特点对应确定第一类型目标和第二类型目标，不限于本公开实施例示例的方面。

一些示例性实施例中，所述第一类型目标包括一个或多个；所述第二类型目标包括一个或多个。例如，所述第一类型目标包括：人脸和/或人体；所述第二类型目标包括：车牌和/或车辆。

需要说明的是，多帧曝光的总帧数量M(M＝N+k)小于或等于传感器所支持的最大曝光帧数Max；摄像机可以同时进行曝光，获得上述M帧图像，根据相关多帧曝光方案执行即可，具体方案不属于本公开实施例申请保护和限定的范围。本领域技术人员可以理解，该方案能够对于同一场景，采用同一路摄像机进行多帧曝光获得多帧图像。

一些示例性实施例中，在第一类型目标包括：人脸和/或人体，第二类型目标包括：车牌和/或车辆的情况下，步骤102中，基于人脸和/或人体按照长帧数量N进行多帧曝光，获得人脸和/或人体部分图像质量较好的N个长帧图像，基于车牌和/或车辆按照短帧数量k进行多帧曝光，获得车牌和/或车辆部分图像质量较好的k个短帧图像。可以理解，根据这两类帧图像(长帧图像和短帧图像)可以分别获得不同类型目标的优质图像，基于此进行合并叠加得到的融合图片，能够兼顾同一场景下不同类型目标的图像质量，提升了后续进一步基于该融合图片进行不同类型目标的识别处理的便利性，加快了相关后续识别处理的效率。可以实现人车混行场景下，保证最终获取的一张抓拍图片中人脸、人体、车牌、车辆的图像质量都较优，能够满足后续业务处理需求。

需要说明的是，步骤102中在多帧曝光拍摄模式下获取多帧图像时，一些实施例中，长短帧之间，长帧之间以及短帧之间曝光比都为R；或者，长短帧之间、长帧之间以及短帧之间的曝光比也可以各不相同。

一些示例性实施例中，步骤103中根据一个长帧图像进行所述第一类型目标的识别；

在识别结果包括一个第一类型目标的情况下，基于所述一个第一类型目标所在区域对所述多帧图像中的长帧图像进行曝光调整后，得到至少一个曝光调整后的长帧图像；根据所述至少一个曝光调整后的长帧图像，分别获取进行一个第一类目标识别的识别结果；根据对一个第一类目标识别的识别结果进行识别结果质量评分，确定评分最高的长帧图像为所述第一图像；

或者，

在识别结果包括多个第一类型目标的情况下，基于所述多个第一类型目标所在区域的平均亮度和/或加权亮度对所述多帧图像中的长帧图像进行曝光调整后，得到至少一个曝光调整后的长帧图像；根据所述至少一个曝光调整后的长帧图像，分别获取进行多个第一类型目标识别的识别结果；根据对多个第一类型目标的识别结果进行识别结果质量评分，确定评分最高的长帧图像为所述第一图像；

其中，所述一个长帧图像为全部长帧图像中的最长帧图像或次长帧图像。

需要说明的是，所述一个长帧图像也可以是N个长帧图像中的其他图像，满足进一步识别第一类型目标的图像质量要求的长帧图像均可。对长帧图像进行曝光调整和识别结果质量评分，可以对N个长帧图像都进行调整后，从中选择第一图像；或者，也可以从N个长帧图像中选择部分图像进行调整后，从中选择第一图像；根据实际应用相关需求灵活确定。步骤103中采用相关AI识别方案实现对一个或多个第一类型目标的识别，以及对识别结果的质量评价，以获取对应的识别结果质量评分，具体的识别以及评价方案不属于本公开实施例申请保护和限定的范围。

一些示例性实施例中，步骤103中所述根据所述多帧图像中的短帧图像确定第二图像，包括：

根据一个短帧图像进行所述第一类型目标的识别；

在识别结果包括一个第二类型目标的情况下，基于所述一个第二类型目标所在区域对所述多帧图像中的短帧图像进行曝光调整后，得到至少一个曝光调整后的短帧图像；根据所述至少一个曝光调整后的短帧图像，分别获取进行一个第二类目标识别的识别结果；根据对一个第二类目标识别的识别结果进行识别结果质量评分，确定评分最高的短帧图像为所述第二图像；

或者，

在识别结果包括多个第二类型目标的情况下，基于所述多个第二类型目标所在区域的平均亮度和/或加权亮度对所述多帧图像中的短帧图像进行曝光调整后，得到至少一个曝光调整后的短帧图像；根据所述至少一个曝光调整后的短帧图像，分别获取进行多个第二类型目标识别的识别结果；根据对多个第二类型目标的识别结果进行识别结果质量评分，确定评分最高的短帧图像为所述第二图像；

其中，所述一个短帧图像为全部短帧图像中的最短帧图像或次短帧图像。

需要说明的是，所述一个短帧图像也可以是k个短帧图像中的其他图像，满足进一步识别第二类型目标的图像质量要求的短帧图像均可。对短帧图像进行曝光调整和识别结果质量评分，可以对k个短帧图像都进行调整后，从中选择第二图像；或者，也可以从k个短帧图像中选择部分图像进行调整后，从中选择第二图像；根据实际应用相关需求灵活确定。步骤103中采用相关AI识别方案实现对一个或多个第二类型目标的识别，以及对识别结果的质量评价，以获取对应的识别结果质量评分，具体的识别以及评价方案不属于本公开实施例申请保护和限定的范围。

一些示例性实施例中，步骤104叠加所述第一图像和第二图像得到所述拍摄图片，包括：

从所述第二图像中获取至少一个包含第二类型目标的区域图像，将所述至少一个区域图像叠加到所述第一图像中，得到所述拍摄图片。

需要说明的是，步骤103中确定的第一图像是基于多帧曝光图像中的长帧图像进行相关曝光调整和/或质量评价后确定的优质长帧图像；第二图像是基于多帧曝光图像中的短帧图像进行相关曝光调整和/或质量评价后确定的优质短帧图像。进一步执行步骤104进行图像叠加，以得到兼顾第一类型目标和第二类型目标的融合图片。本领域技术人员根据相关叠加或融合方案实现步骤104中的叠加即可，不限于特定方案。

其中，从所述第二图像中获取至少一个包含第二类型目标的区域图像，也称为抠图，本领域技术人员根据相关抠图方案实施即可，不限于特定方案。

一些示例性实施例中，步骤104中叠加所述第一图像和第二图像得到所述拍摄图片，包括：

针对每一个区域图像依次执行以下步骤：

判断该区域图像是否满足预设的第一图像质量要求，在满足所述第一图像质量要求的情况下确定为待叠加区域图像；在不满足所述第一图像质量要求的情况下，优化该区域图像，将优化后的区域图像确定为待叠加区域图像；

将全部待叠加区域图像叠加到所述第一图像中，得到所述拍摄图片。

可以看到，从所述第二图像中获取至少一个包含第二类型目标的区域图像后，分别判断每一个区域图像的图像质量，对于不满足第一图像质量要求的区域图像，进一步进行优化后，再叠加到第一图像中。由此，可以保证从第二图像中获取的区域图像达到优质质量后再进行融合，确保了最终获得的拍摄图片的整体图像质量优质。

一些示例性实施例中，对每一个区域图像进行优化包括：对该区域图像至少执行以下处理之一：锐化、降噪。

一些示例性实施例中，在不满足所述第一图像质量要求的情况下，优化该区域图像，包括：

在不满足所述第一图像质量要求的情况下，对该区域图像进行优化，直到优化后的区域图像满足第二图像质量要求。

本领域技术人员可以理解，对区域图像进行优化，直到满足第二图像质量要求，即进行第一次或多次优化，直到满足第二图像质量要求后，才结束优化。

一些示例性实施例中，根据以下方式确定区域图像是否满足预设的第一图像质量要求：

根据预设的清晰度评价函数，确定该区域图像的清晰度评分；

根据预设的噪声评价函数，确定该区域图像的噪声评分；

在所述清晰度评分小于第一清晰度阈值或所述噪声评分大于第一噪声阈值的情况下，确定该区域图像不满足预设的第一图像质量要求；否则，确定该区域图像满足预设的第一图像质量要求。

一些示例性实施例中，根据以下方式确定优化后的区域图像是否满足预设的第二图像质量要求：

根据预设的清晰度评价函数，确定该优化后的区域图像的清晰度评分；

根据预设的噪声评价函数，确定该优化后的区域图像的噪声评分；

在所述清晰度评分小于第二清晰度阈值或所述噪声评分大于第二噪声阈值的情况下，确定该优化后的区域图像不满足预设的第二图像质量要求；否则，确定该优化后的区域图像满足预设的第二图像质量要求。

所述第一图像质量要求和所述第二图像质量要求独立设定，可以相同也可以不同。

一些示例性实施例中，待评分区域图像(区域图像或优化后的区域图像)根据以下方式确定清晰度评分：

用低通滤波器得到待评分区域图像的模糊图像，与原图(待评分区域图像)做差，得到待评分区域图像的边缘图像，用来表征待评分区域图像的清晰度。设原图为I，低通滤波器为F，

由此，可得到待评分区域图像清晰度平均强度为：

清晰度评价函数为：

根据该清晰度评价函数得到清晰度评分Qs。

其中，p，q为待评分区域图像中像素的下标，P和Q分别表示待评分区域图像的宽度和高度，t1，t2，t3，t4，t5为分界阈值，可根据实际需要调整分界数量和各分界阈值，I₁(p，q)为像素(p,q)对应的边的信息。

一些示例性实施例中，待评分区域图像(区域图像或优化后的区域图像)根据以下方式确定噪声评分：

用平滑滤波器得到降噪后的待评分区域图像，与原图(待评分区域图像)做差，得到噪声图像。设原图为I，平滑滤波器为G，则噪声图像为：

由此，可得到噪声的平均强度为：

噪声评价函数为：

根据该噪声评价函数得到噪声评分Nn。

其中，p，q为待评分区域图像中像素的下标，P和Q分别表示待评分区域图像的宽度和高度，t1，t2，t3为分界阈值，可根据实际需要调整分界数量和各分界阈值，I₂(p，q)为像素(p,q)对应的噪点信息。

一些示例性实施例中，还可以采用其他方案进行清晰度评价，确定清晰度评分；还可以采用其他方案进行噪声评价，确定噪声评分。相应地，采用不同评价方案时，对应的第一图像质量要求和第二图像要求也对应调整。一些示例性实施例中，除了清晰度和/或噪声外，还可以选择其他图像质量评价因素，并选择对应各评价因素的评分方案，确定对应的图像质量要求，不限于本公开实施例示例的方面。

一些示例性实施例中，步骤101中根据所述过曝信息确定多帧曝光参数，包括：

根据以下方式计算多帧曝光的总帧数量M：

根据以下方式确定所述短帧数量k:

k＝M*b^{(Area(Tn)/H*L)-1}；

其中，b是大于2的任意值。

根据所述总帧数量M和所述短帧数量k，确定所述长帧数量N＝M-k；

其中，Area(Tn)为所述过曝区域面积，thr为过曝亮度阈值，f(Tn)为拍摄画面中亮度为Tn的像素数，a为大于1的任意值，H为摄像机取景画幅的垂直最大像素数，L为摄像机取景画幅的水平最大像素数，Max为摄像机传感器支持的最大的多帧曝光帧数；

所述过曝面积Area(Tn)根据以下方式计算：

可以理解，过曝区域面积表示拍摄画面中亮度大于设定过曝阈值thr的像素数总和。

一些示例性实施例中，步骤101中获取拍摄画面的过曝信息，包括：

根据初始的总帧数K，获取拍摄画面中最长帧图像F1，将最长帧图像画面分为mxn个区域，如图2所示，m，n为大于1的整数；获取最长帧图像F1的分段直方图统计信息，如图3所示。

其中，图3所示直方图的意义：

1、横轴代表像素灰度值，纵轴代表像素数量。

2、灰度值可以进行分段，以统计灰度落在分段范围内的像素数量。

3、可以分成任意数量的灰度段。

当255≥Tn≥thr，计算过曝面积Area(Tn)如下：

其中，thr定义为过曝阈值，可以固定为某个值或某个范围，也可以按统计信息来计算，0<thr≤255，f(Tn)表示亮度为Tn的像素数。

相应地，进一步确定多帧曝光参数，包括：

计算多帧曝光的总帧数量M如下：

其中，Area(Tn)为所述过曝区域面积，thr为过曝阈值，f(Tn)为拍摄画面中亮度为Tn的像素数，a为大于1的任意值，H为摄像机取景画幅的垂直最大像素数，L为摄像机取景画幅的水平最大像素数，Max为摄像机传感器支持的最大的多帧曝光帧数；

计算所述短帧数量k如下:

k＝M*b^{(Area(Tn)/H*L)-1}；

根据所述总帧数M和所述短帧数量k，确定所述长帧数量N＝M-k。

一些示例性实施例中，步骤101中获取拍摄画面的过曝信息，以及确定多帧曝光参数，也可以根据非多帧曝光模式下的一个拍摄画面获取(计算)。根据上述示例，本领域技术人员可以知晓对应的实施方式，在此不一一赘述。

一些示例性实施例中，对区域图像进行锐化，包括：

a、假设原图(区域图像)为P，以半径r计算高斯模糊图G

b、E＝P(i,j)-G(i,j)

c、锐化后的图为S。

其中，a为大于1的常数，k为常数，thr为过曝阈值。

一些示例性实施例中，对区域图像进行降噪，包括：

用一个双边滤波器去滤波即可，既能去除噪声，又能保留物体边缘。

其中，δ是一个常数，像素点(p,q)代表像素点(i，j)的邻域像素点，f为区域图像，f(p，q)表示像素点(p，q)的输出值，f(i，j)表示像素点(i，j)的输出值，N(i，j)表示像素点(i，j)经上述降噪处理后的输出值。

一些示例性实施例中，还可以采用其他方案进行区域图像的优化以提升其图像质量，不限于锐化和/或降噪。同时，具体的锐化方案也不限于上述示例的具体方面，降噪方案也不限于上述示例的具体方面。本领域技术人员可以根据设备特定，业务场景选择不同的优化方案，锐化方案或降噪方案。该方面不在本公开实施例申请保护或限定的范围。

可以看到，本公开实施例提供的获取拍摄图片的方案，在相关业务场景下，能够针对不同类型目标进行区分曝光时长的多帧曝光，分别获得不同类型目标对应的高质量的长帧图像和短帧图像，基于此进行图像叠加，可以得到多类型目标在同一抓拍图片中都具有高的图像质量；一些实施例中，通过抠取包含设定类型目标的区域图像，进行区域图像优化后，再叠加生成最终的抓拍图片，能够进一步提升最终得到的一张抓拍图片的图像质量。

本公开实施例还提供一种获取拍摄图片的方法，应用于多帧曝光拍摄模式下。本实施例方案应用于夜间行人车辆混行的道路监控场景，其中第一类型目标包括：人脸和人体，第二类型目标包括：车牌和车身；第一清晰度阈值Q1，第一噪声阈值N1，第二清晰度阈值Q2，第二噪声阈值N2。如图4所示，所述方法包括：

步骤401，获取拍摄画面中最长帧图像F1，分为m*n个区域获取分段直方统计图；

步骤402，获取过曝信息，确定多帧曝光的总帧数量M、短帧数量k和长帧数量N；

步骤403，基于人脸\人体进行曝光，获得N个长帧图像；基于车牌进行曝光，获得k个短帧图像；

步骤404，根据N个长帧图像中的最长帧或次长帧图像，确定包含人脸\人体的第一图像；根据k个短帧图像中的最短帧或次短帧图像，确定包含车牌的第二图像；

步骤405，计算第二图像中包含的车牌的L个区域图像的清晰度评分Qs和噪声评分Nn；

步骤406，对每一个区域图像，判断Qs<Q1或Nn>N1，如果是，则执行步骤407；如果否，则执行步骤410；

步骤407，优化该区域图像；

步骤408，根据优化后区域图像计算Qs和Nn；

步骤409，判断Qs<Q2或Nn>N2，如果是，则执行步骤407；如果否，则执行步骤410；

步骤410，确定该区域图像或优化后区域图像为待叠加区域图像；

步骤411，将全部待叠加区域图像叠加到第一图像中，获得一张融合后的拍摄图片。

可以看到，步骤411中最终得到拍摄图片中人脸、人身、车牌、车身质量都较高，可以满足后续进一步识别或其他业务处理的需求。同时，只输出一张融合后图片，能够有效减小存储压力。

其中，步骤401中，根据初始的总帧数K，把拍摄画面分成分为m*n个区域，取最长帧F1输出的分段直方图统计信息。

步骤402中，可根据前述实施例中记载的详细步骤确定多帧曝光的总帧数量M、短帧数量k和长帧数量N。

步骤403中，基于人脸\人体进行较长时间曝光，获得N个长帧图像，可以保证图像中的人脸\人体清晰，拍摄效果好；基于车牌\车身进行较短时间曝光，获得k个短帧图像，可以保证图像中车牌\车身清晰，拍摄效果好。

步骤404包括：将最长帧或较长帧FL送给后端AI进行人脸\人身识别，而后基于人脸\人身区域测光进行曝光的调整；如果画面中只存在一张人脸\人身，则根据该人脸\人身区域测光进行曝光调整，AI抓拍人脸\人身后进行比对打分，选取分值最高的长帧图像P1作为第一图像；如果画面中存在多张人脸\人身，则根据多人脸\人身的平均亮度和/或加权亮度等进行曝光的调整，AI抓拍人脸\人身后进行比对打分，选取分值最高的长帧图像P1作为第一图像。即基于人脸\人身区域测光对N个长帧图像进行曝光调整，调整后选取进行AI识别人脸\人身评分最高的长帧图像P1作为第一图像。

步骤404还包括：将最短帧或较短帧FS送给后端AI进行车牌\车身识别，而后基于车牌\车身测光进行曝光的调整；如果画面中只存在一张车牌\车身，则根据该车牌\车身区域测光进行曝光调整，AI抓拍车牌\车身后进行比对打分，选取分值最高的短帧图像P2作为第二图像；如果画面中存在多个车牌\车身，则根据多车牌\车身的平均亮度和/或加权亮度等进行曝光的调整，AI抓拍车牌\车身后进行比对打分，选取分值最高的短帧图像P2作为第二图像。即基于车牌\车身区域测光对k个短帧图像进行曝光调整，调整后选取进行AI识别车牌\车身评分最高的短帧图像P2作为第一图像。

虽然是同时进行曝光，但是长短帧还是会有时间差，因此针对P2中出现的车辆和车牌，要在P1中去找到相应的位置，这样便于执行后续步骤，此处在不同的图片中找寻相同的车牌\车身算法可以使用相关技术方案中的算法即可，不属于本公开实施例申请保护和限定的范围。

步骤405-406中，从第二图像(短帧图像)中扣取包含车牌\车身的区域图像叠加到第一图像(长帧图像)之前，判断各区域图像是否满足图像质量要求，在不满足时，执行步骤407-409进行优化，提升区域图像的质量，优化后再进行叠加。

可以理解，由于车牌上都有汉字，有的汉字很复杂，即使车牌亮度合适，文字不一定效果就最好，因此为了保证抓拍的车牌上的字体清晰可见，效果更佳，对包含车牌的区域图像进行图像质量评价，在质量不佳时，进行优化处理。能够保证最终叠加生成的拍摄图像在车牌部分的区域图像也具有较高质量。

其中，步骤405，408中计算Qs和Nn根据前述具体步骤实施即可。

可以看到，步骤411中，包括车牌\车身的区域图像经过质量评价后，在确定图像质量达标(满足第一图像质量要求或满足第二图像质量要求)后，将包括车牌\车身的区域图像叠回第一图像(长帧图像)中原来车牌\车身的位置上，最终输出一张图片，其中的人脸\人身、车牌\车身部分的图像都具有高质量，能够满足后续基于该拍摄图片进行的进一步识别或其他业务处理需要。

本公开实施例还提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的获取拍摄图片的方法。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器实现如上述实施例中任一所述的获取拍摄图片的方法。

可以看到，本公开实施例提供的获取拍摄图片的方案，应用于多帧曝光拍摄模式下，提出一种根据拍摄画面的过曝程度，调整多帧曝光数，以及动态进行长短帧的帧数分配，让长短帧的基于不同测光区域进行曝光，从而保证能分别得到效果好的包含第一类型目标的图片和包含第二类型目标的图片，进而叠加后得到综合效果好的一张拍摄图片。一些实施例中，将达不到质量要求的区域图像进行优化处理后再叠加，能够进一步提升所述拍摄图片的图像质量。

本公开方案应用于夜间混行道路监控的应用场景时，能够动态确定多帧曝光拍摄的长帧数量和短帧数量，长帧基于人脸\人体曝光，短帧基于车牌\车辆曝光，分别得到效果好的人脸\人体图片和车牌\车辆图片，叠加后生成一张人脸\人身和车牌\车辆都清晰的高质量图片。提升了后续识别或其他业务处理的便利性和效率，同时，减小了抓拍图片的存储压力。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种获取拍摄图片的方法，应用于多帧曝光拍摄模式下，其特征在于，包括：

获取拍摄画面的过曝信息，根据所述过曝信息确定多帧曝光参数；

根据所述多帧曝光参数进行多帧曝光，获取对应的多帧图像；

根据所述多帧图像中的长帧图像确定第一图像，根据所述多帧图像中的短帧图像确定第二图像；

叠加所述第一图像和第二图像得到所述拍摄图片；

其中，所述过曝信息包括：亮度超过过曝阈值的像素点的亮度信息；所述多帧曝光参数包括：多帧曝光的总帧数量、短帧数量和长帧数量。

2.如权利要求1所述的方法，其特征在于，

所述根据所述多帧曝光参数进行多帧曝光，获取对应的多帧图像，包括：

按照所述长帧数量，基于第一类型目标进行曝光，获取对应数量的长帧图像；

按照所述短帧数量，基于第二类型目标进行曝光，获取对应数量的短帧图像。

3.如权利要求2所述的方法，其特征在于，

所述根据所述多帧图像中的长帧图像确定第一图像，包括：

根据一个长帧图像进行所述第一类型目标的识别；

在识别结果包括一个第一类型目标的情况下，基于所述一个第一类型目标所在区域对所述多帧图像中的长帧图像进行曝光调整后，得到至少一个曝光调整后的长帧图像；根据所述至少一个曝光调整后的长帧图像，分别获取进行一个第一类目标识别的识别结果；根据对一个第一类目标识别的识别结果进行识别结果质量评分，确定评分最高的长帧图像为所述第一图像；

或者，

在识别结果包括多个第一类型目标的情况下，基于所述多个第一类型目标所在区域的平均亮度和/或加权亮度对所述多帧图像中的长帧图像进行曝光调整后，得到至少一个曝光调整后的长帧图像；根据所述至少一个曝光调整后的长帧图像，分别获取进行多个第一类型目标识别的识别结果；根据对多个第一类型目标的识别结果进行识别结果质量评分，确定评分最高的长帧图像为所述第一图像；

其中，所述一个长帧图像为全部长帧图像中的最长帧图像或次长帧图像。

4.如权利要求2所述的方法，其特征在于，

所述根据所述多帧图像中的短帧图像确定第二图像，包括：

根据一个短帧图像进行所述第一类型目标的识别；

在识别结果包括一个第二类型目标的情况下，基于所述一个第二类型目标所在区域对所述多帧图像中的短帧图像进行曝光调整后，得到至少一个曝光调整后的短帧图像；根据所述至少一个曝光调整后的短帧图像，分别获取进行一个第二类目标识别的识别结果；根据对一个第二类目标识别的识别结果进行识别结果质量评分，确定评分最高的短帧图像为所述第二图像；

或者，

在识别结果包括多个第二类型目标的情况下，基于所述多个第二类型目标所在区域的平均亮度和/或加权亮度对所述多帧图像中的短帧图像进行曝光调整后，得到至少一个曝光调整后的短帧图像；根据所述至少一个曝光调整后的短帧图像，分别获取进行多个第二类型目标识别的识别结果；根据对多个第二类型目标的识别结果进行识别结果质量评分，确定评分最高的短帧图像为所述第二图像；

其中，所述一个短帧图像为全部短帧图像中的最短帧图像或次短帧图像。

5.如权利要求2所述的方法，其特征在于，

所述叠加所述第一图像和第二图像得到所述拍摄图片，包括：

从所述第二图像中获取至少一个包含第二类型目标的区域图像，将所述至少一个区域图像叠加到所述第一图像中，得到所述拍摄图片。

6.如权利要求2所述的方法，其特征在于，

所述叠加所述第一图像和第二图像得到所述拍摄图片，包括：

从所述第二图像中获取至少一个包含第二类型目标的区域图像；

针对每一个区域图像依次执行以下步骤：判断该区域图像是否满足预设的第一图像质量要求，在满足所述第一图像质量要求的情况下确定为待叠加区域图像；在不满足所述第一图像质量要求的情况下，优化该区域图像，将优化后的区域图像确定为待叠加区域图像；

将全部待叠加区域图像叠加到所述第一图像中，得到所述拍摄图片。

7.如权利要求6所述的方法，其特征在于，

根据以下方式确定区域图像是否满足预设的第一图像质量要求：

根据预设的清晰度评价函数，确定该区域图像的清晰度评分；

根据预设的噪声评价函数，确定该区域图像的噪声评分；

在所述清晰度评分小于第一清晰度阈值或所述噪声评分大于第一噪声阈值的情况下，确定该区域图像不满足预设的第一图像质量要求；否则，确定该区域图像满足预设的第一图像质量要求。

8.如权利要求1所述的方法，其特征在于，

所述根据所述过曝信息确定多帧曝光参数，包括：

根据以下方式计算所述多帧曝光的总帧数量M：

根据以下方式确定所述短帧数量k:

k＝M*b^{(Area(Tn)/H*L)-1}；

根据所述总帧数量M和所述短帧数量k，确定所述长帧数量N＝M-k；

其中，Area(Tn)为所述过曝区域面积，thr为过曝阈值，f(Tn)为拍摄画面中亮度为Tn的像素数，a为大于1的任意值，H为摄像机取景画幅的垂直最大像素数，L为摄像机取景画幅的水平最大像素数，Max为摄像机传感器支持的最大的多帧曝光帧数；b为大于2的任意值；

所述过曝面积Area(Tn)根据以下方式计算：

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的获取拍摄图片的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的获取拍摄图片的方法。

Images