CN113225486B - 拍摄画面的处理方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种拍摄画面的处理方法，该方法包括：通过当前环境参数和拍摄设备的当前设备参数，确定目标曝光时长和目标拍摄画面的目标亮度。在该目标曝光时长下采集原始画面，得到原始亮度小于目标亮度的原始画面，从而便于后续进行增益处理。再计算得到全局增益值和差异增益值以用于不同增益处理方法，在进行增益处理时，根据差异增益值对原始画面中的目标区域进行差异增益处理，根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理。若无目标区域则对整个原始画面进行全局增益处理。本发明针对画面中不同对象选择性的进行增益处理，可让画面在清晰与色彩饱满之间取得最好的平衡。此外，还提出了拍摄画面的处理装置、设备和介质。

Description

拍摄画面的处理方法、装置、设备和介质

技术领域

本发明涉及摄像头画面处理技术领域，尤其是涉及拍摄画面的处理方法、装置、设备和介质。

背景技术

在实际的视频拍摄场景中，高低光差的影像画面细节很难得以兼顾。举例来说，在一帧行车记录仪记录的画面中，画面上半部为天空，画面下半部为道路，而画面中真正的拍摄重点在画面中线附近，包括车辆、车牌及行人等等。对于这个画面来说，上半部画面追求的是光鲜亮丽的视觉观感，要求对比度与视觉饱和度。画面中线附近是视频拍摄的重点，要求尽量的清晰。画面下缘虽然是必然存在的场景，但这部分的画面感完全不重要。如果单纯增加曝光时长去让蓝天白云具有光鲜亮丽的画面感，那么场景中的这些拍摄重点势必会因为曝光过度，失去细节与线条感。而如果想追求这些曝光过度的对象能清晰呈现，势必需要降低整体的曝光时间，而这样肯定会让整体画面的鲜明亮丽观感大打折扣。因此如何对这样的影像画面进行合理处理就显得十分重要。

发明内容

基于此，有必要针对上述问题，提供解决画面细节及画面观感难以兼顾的拍摄画面的处理方法、装置、设备和介质。

一种拍摄画面的处理方法，所述方法包括：

获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；

根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；

根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

在其中一个实施例中，所述当前设备参数包括当前设备位置、设备类型中的至少一种，所述当前环境参数包括当前环境亮度。

在其中一个实施例中，所述对象性质包括所述目标对象的对象类别及对象颜色；

所述根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值，包括：

获取差异增益函数，根据所述对象类别及所述对象颜色确定所述差异增益函数中的系数，获取目标增益函数；

根据所述目标增益函数及所述全局增益值计算所述差异增益值。

在其中一个实施例中，在所述通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象之前，还包括：

将所述原始画面存储在存储介质中，当嵌入式神经网络处理器提取原始画面以检测原始画面中是否存在目标对象的时，同步提取同一帧的原始画面以对所述原始画面进行增益处理。

在其中一个实施例中，在所述获取拍摄设备的当前设备参数及当前检测到的当前环境参数之前，还包括：

将训练画面作为输入数据输入深度神经网络，以用于设置所述深度神经网络的模型参数，得到待训练识别模型；

将历史拍摄画面输入所述待训练识别模型，记录所述待训练识别模型的训练准确率，根据所述训练准确率对所述模型参数进行调整，直至所述训练准确率满足预设准确率标准，获取训练得到的目标识别模型；

将所述目标识别模型写入主控芯片的固件。

在其中一个实施例中，所述方法，还包括：

根据预设的画面质量参数对所述目标拍摄画面进行修复处理，所述修复处理包括调色、降噪、平滑中的至少一种。

一种拍摄画面处理装置，所述装置包括：

参数获取模块，用于获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

画面采集模块，用于在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；其中，所述原始亮度小于所述目标亮度；

全局增益值计算模块，用于根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

对象检测模块，用于通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

第一增益模块，用于当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

第二增益模块，用于当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；

根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；

根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

一种拍摄画面处理设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；

根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；

根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

本发明提供了拍摄画面的处理方法、装置、设备和介质，通过当前环境参数和拍摄设备的当前设备参数，确定目标曝光时长和目标拍摄画面的目标亮度。在该目标曝光时长下采集原始画面，得到原始亮度小于目标亮度的原始画面，从而便于后续进行增益处理。进一步的，计算得到全局增益值和差异增益值以用于不同增益处理方法，在进行增益处理时，根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理。若无目标区域则对整个原始画面进行全局增益处理。可见，本发明针对画面中的不同对象选择性的进行增益处理，可让画面在清晰与色彩饱满之间取得最好的平衡。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中拍摄画面的处理方法的流程示意图；

图2为一个实施例中画面处理系统的示意图；

图3为一个实施例中拍摄画面处理装置的结构示意图；

图4为一个实施例中拍摄画面处理设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为一个实施例中拍摄画面的处理方法的流程示意图，参见图2，该拍摄画面的处理方法基于如图2所示的画面处理系统，可应用于摄像机、监控探头、行车记录仪等拍摄设备的画面处理中。该画面处理系统主要包括SOC(System-on-a-Chip，主控芯片)、ISP(Image Signal Processor，画面讯号处理器)、CIS(COMS Image Sensor，CMOS影像传感器)、Codec(编译码处理器)、NPU(Neural-network Processing Unit，嵌入式神经网络处理器)。

在该画面处理系统进行画面处理时，由SOC内的ISP对CIS下达拍摄控制指令，使CIS采集并输出合理曝光时长的RAW(原始)影像数据。ISP通过CSI(camera serialinterface，相机串行接口)接收RAW影像数据。并交由ISP内的SIE1(sensor interfaceengine，传感器接口引擎)单元来初步处理影像，并将初步处理后的影像存储在DDR SDRAM(Double Data Rate SDRAM，双倍速率同步动态随机存储器)中。而在进行画面增益处理阶段，NPU识别视频画面内出现的关键对象、并标注这些关键对象的位置和性质。同时由ISP内的IPE(Imager process engine，画面处理引擎)单元不同对象采取相应的增益处理措施。在IPE处理完毕影像之后，最后交由SOC内的Codec进行视频档案的编码与封装以写入到程序中，最终得到处理后的目标影像。

在此过程中，为使得NPU对视频画面中常出现的关键对象，例如路灯、车灯、招牌、白色车辆、车牌等对象，具有视觉辨识的能力。还需在执行本拍摄画面的处理方法之前，对NPU进行对象识别的深度学习训练。具体的，NPU将训练画面作为输入数据输入深度神经网络，设置通用的损失函数，基于输入数据设置损失函数的初始参数，得到待训练识别模型。再将历史拍摄画面输入待训练识别模型进行训练，并计算总损失函数。在获取总损失函数的数值后，根据损失函数的数值调整损失函数的初始参数。调整后再从剩余的历史拍摄画面中挑选其他的画面输入待训练识别模型进行训练，这样循环，直至总损失函数的值收敛为止，得到训练好的目标识别模型。最后将目标识别模型写入主控芯片的固件，以让主控芯片具备对关键对象的识别能力。

本实施例中，拍摄画面的处理方法提供的步骤包括：

步骤102，获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度。

其中，当前设备参数和当前环境参数均为影响拍摄影像中画面原始亮度的参数。示例性的，在不进行增益处理的前提下，不同的设备类型，比如红外线摄像头与普通摄像头在相同外接环境下的画面原始亮度不同。此外，不同的设备位置，比如车前、车后或车内的相同类型的摄像头则会因太阳光照射角度的不同、车体对光线的阻挡、前后车辆灯光的照射等原因而呈现不同的画面原始亮度。又比如，在不同强度的当前环境亮度下，比如晴天正午比晴天傍晚所拍摄到的画面原始亮度要亮。而目标亮度是指用户最终期待得到的成品画面的亮度水平，用户可以根据使用需求自行设置。目标曝光时长是指拍摄设备为取得一个相对暗于该目标亮度的画面而预先设置的曝光时长，在该目标曝光时长下拍摄设备拍摄得到的画面原始亮度始终小于该目标亮度。此重点是让原始画面中的重点区域能保留更多的画面细节，而确保不会因过度曝光而造成细节损失。所以原始画面会较常规作法稍微暗一点，后续经过增益处理后使画面的原始亮度趋于该目标亮度。示例性的，在午间，由于当前环境亮度过强，目标曝光时长可以取较小的千分之一秒；而在傍晚及以后，由于当前环境亮度过弱，目标曝光时长会取设备所能支持的最长时长，例如三十分之一秒。

在一个具体实施例中，为基于设备参数及环境参数获得目标曝光时长和目标亮度，获取目标曝光时长矩阵表和目标亮度矩阵表，该目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，而该目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度。再根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度。

示例性的，参见下面列出的三行目标亮度矩阵表：

static AE EXPECT LUM expect_lum{

458，7/mov

458，//photo

{25，30，33，36，42，48，54，62，72，82，92，100，100，100，100，100，100，100，100，100，100}，

{46，60，65，70，80，90，100，100，100，100，100，100，100，105，110，115，115，115，115，115，115}，

{100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100，100}，

}；

在该目标曝光时长矩阵表中每行代表的是不同设备参数的拍摄设备的目标亮度，三行则分别代表设备A、设备B及设备的C的目标亮度。而在每一行中，越靠右则代表的是当前环境亮度越亮情况下的目标亮度，在靠右的几个当前环境亮度下，由于环境亮度足够亮且差异不大，目标亮度取最大。随着当前环境亮度变暗，目标亮度也逐渐变暗，这是因为越暗的环境下目标亮度越暗，画面才会干净，不会有违和感。通过查表得到目标亮度。同理，查找目标曝光时长矩阵表以得到目标曝光时长。

步骤104，在目标曝光时长下采集原始画面，获取原始画面的原始亮度。

在SOC内的ISP对CIS下达拍摄控制指令时，CIS基于该设定的目标曝光时长采集原始画面，CIS作为感光元件获取到原始画面的原始亮度。

步骤106，根据原始亮度与目标亮度的亮度差值计算全局增益值。

增益值，在本实施例中理解为相机的ISO(感光度)值，ISO值越大，则增益越大。全局增益值在本实施例中为对非目标区域进行增益处理的调整数值。

在一个具体实施例中，预设一个较小的全局增益预设值K，在全局增益预设值的基础上逐级增大全局增益值K，直到计算出来的亮度差值小于一个预设阈值或等于0。

此外，根据事先设定好的参数矩阵，也能自动查找到此帧画面的增益值，在SDK软件开发工具包中函数的设定方式为:

AE_setGain(UINT32Id，GAIN_SETTING*Gain)。

步骤108，通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象。当原始画面中存在需进行差异增益处理的目标对象时，执行步骤110。当原始画面中不存在需进行差异增益处理的目标对象时，执行步骤114。

本实施例中，在将原始画面存储到存储介质DDR之后，为保证画面处理的实时性及增益处理的区域出现偏差，当NPU提取原始画面以检测原始画面中是否存在目标对象的时，IPE需同步提取同一帧的原始画面以对该原始画面进行同步的增益处理。

之后，NPU根据之前已经建立好的目标识别模型，判断画面中是否有需要特殊处理的目标对象。例如当对行车记录仪的原始画面进行检测时，检测原始画面中是否存在车辆、路灯、行人等目标对象。当原始画面中存在这些目标对象时，后续进行差异增益处理和全局增益处理。当原始画面中不存在这些目标对象时，后续仅进行全局增益处理。

步骤110，获取存在目标对象的目标区域及目标对象的对象性质，根据全局增益值及对象性质确定目标对象的差异增益值。

当NPU检测到原始画面中存在这些目标对象时，将这些目标对象在画面中的区域描绘出来，从而得到所有目标对象所覆盖的目标区域，并以像素为单位标记出每个目标对象的绝对坐标。此外，NPU检测每个目标对象的对象性质，包括对象类别及对象颜色，例如检测得到目标对象1为红色，汽车；检测得到目标对象2为黑色，卡车。然后NPU将确定的目标区域、绝对坐标与对象性质，发送给SOC内的ISP以进行差异增益值的计算及后续增益处理。

在计算差异增益值时，对于不同目标对象会基于其对象颜色及和对象类别来确定差异增益函数中的系数，从而得到每个对象唯一的目标增益函数。示例性的，红色的反射率相对比较低，确定的系数应使得差异增益值在全局增益值的基础上减少0.5档曝光量。黄色的反射率较高，与其他色彩不同的是曝光不能欠，否则会削弱黄色的明度，确定的系数应使得差异增益值在全局增益值的基础上增加0.5档曝光量。不同对象类型的目标对象，基于所需呈现的细节程度来确定该系数，例如行人的细节程度需大于路灯，确定的系数应使得差异增益值相对较小。

步骤112，根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面。

存储在存储介质DDR中的原始画面是以数字来表示，每个像素，都用一个数值来表示它的亮度。几千万个不同亮度的像素组合在一起，就构成了该原始图画。增益处理则是为了得到不同的感光度，在信号的A/D转换时变换信号增益。本实施例中，对原始画面中的目标区域以差异增益值来放大信号的增益，而对原始画面中剩余的非目标区域以全局增益值放大信号的增益。在得到的第一目标拍摄画面中，非目标区域内能保持画面的鲜明亮丽感，而目标区域内能保持画面的细节内容不丢失。

步骤114，根据全局增益值对原始画面进行全局增益处理，以得到第二目标拍摄画面。

在未识别到目标对象后，不需要做差异增益处理，即直接对原始画面以全局增益值来放大信号的增益。得到的第二目标拍摄画面内能保持画面的鲜明亮丽感。

上述拍摄画面的处理方法，通过当前环境参数和拍摄设备的当前设备参数，确定目标曝光时长和目标拍摄画面的目标亮度。在该目标曝光时长下采集原始画面，得到原始亮度小于目标亮度的原始画面，从而便于后续进行增益处理。进一步的，计算得到全局增益值和差异增益值以用于不同增益处理方法，在进行增益处理时，根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理。若无目标区域则对整个原始画面进行全局增益处理。可见，本发明针对画面中的不同对象选择性的进行增益处理，可让画面在清晰与色彩饱满之间取得最好的平衡。

进一步的，增益处理会降低目标拍摄画面的信噪比，也就是增大了画面中出现的噪点，因此在进行增益处理对目标拍摄画面进行修复处理就变得十分重要。具体的，通过开发工具SDKbyISP，调用预设的画面质量参数的修复函数，包括对比度、锐利度、色彩饱和度、白平衡、色温等参数的修复函数对目标拍摄画面进行修复处理，修复的内容包括调色、降噪、平滑中的至少一种。

通过上述修复处理后，可使得目标拍摄画面中出现的噪点数量减少，可有效提升图像质量。

在一个实施例中，如图3所示，提出了一种拍摄画面处理装置，该装置包括：

参数获取模块302，用于获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度；

画面采集模块304，用于在目标曝光时长下采集原始画面，获取原始画面的原始亮度；其中，原始亮度小于目标亮度；

全局增益值计算模块306，用于根据原始亮度与目标亮度的亮度差值计算全局增益值；

对象检测模块308，用于通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象；

第一增益模块310，用于当原始画面中存在需进行差异增益处理的目标对象时，获取存在目标对象的目标区域及目标对象的对象性质，根据全局增益值及对象性质确定目标对象的差异增益值；根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

第二增益模块312，用于当原始画面中不存在需进行差异增益处理的目标对象时，根据全局增益值对原始画面进行全局增益处理，以得到第二目标拍摄画面。

上述拍摄画面处理装置，通过当前环境参数和拍摄设备的当前设备参数，确定目标曝光时长和目标拍摄画面的目标亮度。在该目标曝光时长下采集原始画面，得到原始亮度小于目标亮度的原始画面，从而便于后续进行增益处理。进一步的，计算得到全局增益值和差异增益值以用于不同增益处理方法，在进行增益处理时，根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理。若无目标区域则对整个原始画面进行全局增益处理。可见，本发明针对画面中的不同对象选择性的进行增益处理，可让画面在清晰与色彩饱满之间取得最好的平衡。

在一个实施例中，参数获取模块302，还具体用于：获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度。

在一个实施例中，第一增益模块310，还具体用于：获取差异增益函数，根据对象类别及对象颜色确定差异增益函数中的系数，获取目标增益函数；根据目标增益函数及全局增益值计算差异增益值。

在一个实施例中，拍摄画面处理装置还包括：同步提取模块，用于将原始画面存储在存储介质中，当嵌入式神经网络处理器提取原始画面以检测原始画面中是否存在目标对象的时，同步提取同一帧的原始画面以对原始画面进行增益处理。

在一个实施例中，拍摄画面处理装置还包括：训练模块，用于将训练画面作为输入数据输入深度神经网络，以用于设置深度神经网络的模型参数，得到待训练识别模型；将历史拍摄画面输入待训练识别模型，记录待训练识别模型的训练准确率，根据训练准确率对模型参数进行调整，直至训练准确率满足预设准确率标准，获取训练得到的目标识别模型；将目标识别模型写入主控芯片的固件。

在一个实施例中，拍摄画面处理装置还包括：修复模块，用于根据预设的画面质量参数对目标拍摄画面进行修复处理，修复处理包括调色、降噪、平滑中的至少一种。

图4示出了一个实施例中拍摄画面处理设备的内部结构图。如图4所示，该拍摄画面处理设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该拍摄画面处理设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现拍摄画面的处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行拍摄画面的处理方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的拍摄画面处理设备的限定，具体的拍摄画面处理设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种拍摄画面处理设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度；在目标曝光时长下采集原始画面，获取原始画面的原始亮度；根据原始亮度与目标亮度的亮度差值计算全局增益值；通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象；当原始画面中存在需进行差异增益处理的目标对象时，获取存在目标对象的目标区域及目标对象的对象性质，根据全局增益值及对象性质确定目标对象的差异增益值；根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；当原始画面中不存在需进行差异增益处理的目标对象时，根据全局增益值对原始画面进行全局增益处理，以得到第二目标拍摄画面。

在一个实施例中，获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度，包括：获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度。

在一个实施例中，当前设备参数包括当前设备位置、设备类型中的至少一种，当前环境参数包括当前环境亮度。

在一个实施例中，对象性质包括目标对象的对象类别及对象颜色；根据全局增益值及对象性质确定目标对象的差异增益值，包括：获取差异增益函数，根据对象类别及对象颜色确定差异增益函数中的系数，获取目标增益函数；根据目标增益函数及全局增益值计算差异增益值。

在一个实施例中，在通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象之前，还包括：将原始画面存储在存储介质中，当嵌入式神经网络处理器提取原始画面以检测原始画面中是否存在目标对象的时，同步提取同一帧的原始画面以对原始画面进行增益处理。

在一个实施例中，在获取拍摄设备的当前设备参数及当前检测到的当前环境参数之前，还包括：将训练画面作为输入数据输入深度神经网络，以用于设置深度神经网络的模型参数，得到待训练识别模型；将历史拍摄画面输入待训练识别模型，记录待训练识别模型的训练准确率，根据训练准确率对模型参数进行调整，直至训练准确率满足预设准确率标准，获取训练得到的目标识别模型；将目标识别模型写入主控芯片的固件。

在一个实施例中，方法，还包括：根据预设的画面质量参数对目标拍摄画面进行修复处理，修复处理包括调色、降噪、平滑中的至少一种。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度；在目标曝光时长下采集原始画面，获取原始画面的原始亮度；根据原始亮度与目标亮度的亮度差值计算全局增益值；通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象；当原始画面中存在需进行差异增益处理的目标对象时，获取存在目标对象的目标区域及目标对象的对象性质，根据全局增益值及对象性质确定目标对象的差异增益值；根据差异增益值对原始画面中的目标区域进行差异增益处理，及根据全局增益值对原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；当原始画面中不存在需进行差异增益处理的目标对象时，根据全局增益值对原始画面进行全局增益处理，以得到第二目标拍摄画面。

在一个实施例中，获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度，包括：获取目标曝光时长矩阵表和目标亮度矩阵表，目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据当前设备参数及当前环境参数从目标曝光时长矩阵表中查找目标曝光时长，及根据当前设备参数及当前环境参数从目标亮度矩阵表中查找目标亮度。

在一个实施例中，当前设备参数包括当前设备位置、设备类型中的至少一种，当前环境参数包括当前环境亮度。

在一个实施例中，对象性质包括目标对象的对象类别及对象颜色；根据全局增益值及对象性质确定目标对象的差异增益值，包括：获取差异增益函数，根据对象类别及对象颜色确定差异增益函数中的系数，获取目标增益函数；根据目标增益函数及全局增益值计算差异增益值。

在一个实施例中，在通过训练后的目标识别模型检测原始画面中是否存在需进行差异增益处理的目标对象之前，还包括：将原始画面存储在存储介质中，当嵌入式神经网络处理器提取原始画面以检测原始画面中是否存在目标对象的时，同步提取同一帧的原始画面以对原始画面进行增益处理。

在一个实施例中，在获取拍摄设备的当前设备参数及当前检测到的当前环境参数之前，还包括：将训练画面作为输入数据输入深度神经网络，以用于设置深度神经网络的模型参数，得到待训练识别模型；将历史拍摄画面输入待训练识别模型，记录待训练识别模型的训练准确率，根据训练准确率对模型参数进行调整，直至训练准确率满足预设准确率标准，获取训练得到的目标识别模型；将目标识别模型写入主控芯片的固件。

在一个实施例中，方法，还包括：根据预设的画面质量参数对目标拍摄画面进行修复处理，修复处理包括调色、降噪、平滑中的至少一种。

需要说明的是，上述拍摄画面的处理方法、装置、设备及计算机可读存储介质属于一个总的发明构思，拍摄画面的处理方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种拍摄画面的处理方法，其特征在于，所述方法包括：

获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；

根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；

根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

2.根据权利要求1所述的处理方法，其特征在于，所述当前设备参数包括当前设备位置、设备类型中的至少一种，所述当前环境参数包括当前环境亮度。

3.根据权利要求1所述的处理方法，其特征在于，所述对象性质包括所述目标对象的对象类别及对象颜色；

所述根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值，包括：

获取差异增益函数，根据所述对象类别及所述对象颜色确定所述差异增益函数中的系数，获取目标增益函数；

根据所述目标增益函数及所述全局增益值计算所述差异增益值。

4.根据权利要求1所述的处理方法，其特征在于，在所述通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象之前，还包括：

将所述原始画面存储在存储介质中，当嵌入式神经网络处理器提取原始画面以检测原始画面中是否存在目标对象的时，同步提取同一帧的原始画面以对所述原始画面进行增益处理。

5.根据权利要求1所述的处理方法，其特征在于，在所述获取拍摄设备的当前设备参数及当前检测到的当前环境参数之前，还包括：

将训练画面作为输入数据输入深度神经网络，以用于设置所述深度神经网络的模型参数，得到待训练识别模型；

将历史拍摄画面输入所述待训练识别模型，记录所述待训练识别模型的训练准确率，根据所述训练准确率对所述模型参数进行调整，直至所述训练准确率满足预设准确率标准，获取训练得到的目标识别模型；

将所述目标识别模型写入主控芯片的固件。

6.根据权利要求1所述的处理方法，其特征在于，所述方法，还包括：

根据预设的画面质量参数对所述目标拍摄画面进行修复处理，所述修复处理包括调色、降噪、平滑中的至少一种。

7.一种拍摄画面处理装置，其特征在于，所述装置包括：

参数获取模块，用于获取拍摄设备的当前设备参数及当前检测到的当前环境参数，获取目标曝光时长矩阵表和目标亮度矩阵表，所述目标曝光时长矩阵表记录了在不同设备参数和环境参数下的目标曝光时长，所述目标亮度矩阵表记录了在不同设备参数和环境参数下的目标亮度；根据所述当前设备参数及所述当前环境参数从所述目标曝光时长矩阵表中查找所述目标曝光时长，及根据所述当前设备参数及所述当前环境参数从所述目标亮度矩阵表中查找所述目标亮度；

画面采集模块，用于在所述目标曝光时长下采集原始画面，获取所述原始画面的原始亮度；其中，所述原始亮度小于所述目标亮度；

全局增益值计算模块，用于根据所述原始亮度与所述目标亮度的亮度差值计算全局增益值；

对象检测模块，用于通过训练后的目标识别模型检测所述原始画面中是否存在需进行差异增益处理的目标对象；

第一增益模块，用于当所述原始画面中存在所述需进行差异增益处理的目标对象时，获取存在所述目标对象的目标区域及所述目标对象的对象性质，根据所述全局增益值及所述对象性质确定所述目标对象的差异增益值；根据所述差异增益值对所述原始画面中的所述目标区域进行所述差异增益处理，及根据所述全局增益值对所述原始画面中剩余的非目标区域进行全局增益处理，以得到第一目标拍摄画面；

第二增益模块，用于当所述原始画面中不存在所述需进行差异增益处理的目标对象时，根据所述全局增益值对所述原始画面进行全局增益处理，以得到第二目标拍摄画面。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

9.一种拍摄画面处理设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

Images