CN111835961A - 一种相机自动曝光的信息处理方法、装置及介质 - Google Patents

Abstract

本申请公开了一种相机自动曝光的信息处理方法和装置，包括：对相机获取的图像进行语义分割，确定至少一个目标物；确定每一个目标物在所述图像中占据的面积比例；确定每一个目标物在所述图像中的重要程度；确定每一个目标物的理想亮度；根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。解决了现有技术中对不同的物体的亮度进行相同设置，对于逆光等背景较亮的情况下，难以拍出高质量的图片的技术问题，达到了对相机自动曝光的目标曝光量进行有效设置，进而使成像更清晰，成像质量更高且能够自适应多种不同场景的技术效果。

Description

一种相机自动曝光的信息处理方法、装置及介质

技术领域

本申请涉及相机曝光控制技术领域，尤其涉及一种相机自动曝光的信息处理方法、装置及介质。

背景技术

在相机曝光控制技术领域中，需要对相机的自动曝光设定一个目标曝光量，并配置相应的曝光参数，使得对目标物的拍摄成像清晰，进而能够进一步实现对于各类检测识别任务的完成。

在现有技术中，相机的自动曝光算法主要基于三个评估指标进行曝光参数的自动设置：基于图像亮度均值、基于图像直方图和基于图像内容。

发明人在日常工作中发现现有技术中的上述方案存在如下问题：

基于图像亮度均值和基于图像直方图主要是针对图像的整体亮度进行调整，对于不同的物体的亮度是相同设置的，这样对于很多逆光等背景较亮的背光情况下，难以拍出高质量的图片。

而，基于图像内容的方案虽然会提取出图像中感兴趣的区域，比如利用人脸检测算法提取出人脸区域，然后以人脸的亮度值处于适当范围为目标调节曝光参数，但是这一目标值是固定值，且只能适用于人脸识别这一场景。

发明内容

在相机曝光控制技术领域中，需要提供一种对于相机自动曝光的目标曝光量进行有效设置，进而使成像更清晰，成像质量更高的技术方案。

为了解决上述技术问题，提出了一种相机自动曝光的信息处理方法、装置及介质。

第一方面，本申请的实施例提供了一种相机自动曝光的信息处理方法，所述方法包括：对相机获取的图像进行语义分割，确定至少一个目标物确定每一个目标物在所述图像中占据的面积比例对相机获取的图像进行语义分割，确定至少一个目标物；确定每一个目标物在所述图像中的重要程度；确定每一个目标物的理想亮度；根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

第二方面，根据本申请的一个方面，提供了一种确定相机曝光量的装置，包括：目标物确定模块，用于对相机获取的图像进行语义分割，确定至少一个目标物；面积比例确定模块，用于确定每一个目标物在所述图像中占据的面积比例；重要程度确定模块，用于确定每一个目标物在所述图像中的重要程度；理想亮度确定模块，用于确定每一个目标物的理想亮度；曝光量确定模块，用于根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

第三方面，本说明书实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。

第四方面，本说明书实施例提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一方面所述的方法。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种相机自动曝光的信息处理方法的流程示意图。

图2是本申请另一示例性实施例提供的另一种相机自动曝光的信息处理方法的流程示意图。

图3是本申请另一示例性实施例提供的确定每一个目标物在所述图像中占据的面积比例的方法的流程示意图。

图4是本申请另一示例性实施例提供的获得所述目标物在所述图像中的重要程度的方法的流程示意图。

图5是本申请另一示例性实施例提供的确定每一个目标物的理想亮度的方法的流程示意图。

图6是本申请另一示例性实施例提供的一种确定相机曝光量的装置的结构示意图。

图7是本申请另一示例性实施例提供的另一种确定相机曝光量的装置的结构示意图。

图8是本申请另一示例性实施例提供的面积比例确定模块的结构示意图。

图9是本申请另一示例性实施例提供的重要程度确定模块的结构示意图。

图10是本申请另一示例性实施例提供的理想亮度确定模块的结构示意图。

图11是本申请另一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

本申请的实施例提供了一种相机自动曝光的信息处理方法，所述方法包括：对相机获取的图像进行语义分割，确定至少一个目标物确定每一个目标物在所述图像中占据的面积比例对相机获取的图像进行语义分割，确定至少一个目标物；确定每一个目标物在所述图像中的重要程度；确定每一个目标物的理想亮度；根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。解决了现有技术中对不同的物体的亮度进行相同设置，这样对于很多逆光等背景较亮的背光情况下，难以拍出高质量的图片，达到了对相机自动曝光的目标曝光量进行有效设置，进而使成像更清晰，成像质量更高且能够自适应多种不同场景的技术效果。示例性方法

图1是本申请一示例性实施例提供的一种相机自动曝光的信息处理方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤110：对相机获取的图像进行语义分割，确定至少一个目标物；

具体而言，所述相机包括利用光学成像原理形成影像并使用底片记录影像的设备。本说明书实施例提到的相机也包括其他能够实现拍摄功能的设备。对于本申请实施例而言，还可以应用多种场景，包括智能驾驶、智慧城市、智慧零售等业务场景。根据相机获取的图像可以是相机摄像头中呈现的将要拍摄的，选取的图像。

语义分割实现了各类目标之间的精确分割，可作为自动驾驶的前端处理帮助识别目标和目标关系。当前先进的语义分割系统都大多采用某种形式的FCN(FullyConvolutional Networks)结构，即采用图片作为输入，以每个类别概率图作为输出，本发明不限制所用的语义分割模型种类，只需输出符合要求的结果即可。

目标物为对图像通过语义分割算法确定的对象，且对象可以是一个或者多个。对象可以是人脸识别中的人脸图像，或者自动驾驶场景下所获得的交通指示牌等。

步骤120：确定每一个目标物在所述图像中占据的面积比例；

具体而言，目标物在图像中占据的面积比例可以是图像中每一个目标物的面积与图像的整体面积的比值。

步骤130：确定每一个目标物在所述图像中的重要程度；

具体而言，所述每一个目标物在图像中的重要程度即确定每一个目标物在图像中的权重值。例如在智能驾驶场景中，摄像头获取的图像中的车辆、行人、车道线、可行驶区域、交通指示标志等明显是比较重要的物体，相对而言，天空、云彩、附近建筑物的广告牌等是不重要的物体。在重要的物体中，各个不同的物体的重要程度也会相应不同。在图像的曝光中，应当优先保证重要程度比较高的物体曝光正确。

步骤140：确定每一个目标物的理想亮度；

从理想亮度角度来说，物体在理想亮度下可以保证正确的曝光，亮度大于理想亮度会导致过曝，物体发白，而亮度小于理想亮度会导致欠曝，物体发黑，只有在理想亮度下，才可以还原物体真实的颜色的细节。进一步的，同一种物体的理想亮度也可能是不同的，甚至和物体本身的颜色有关联，比如黑色的桌子与白色的桌子，其理想的亮度是不同的。一般认为大多数物体的理想亮度为128，为了满足多种使用场景，可以将具有特殊理想亮度的物体预先标注存储。

步骤150：根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

具体而言，曝光量是指物体表面某一面元接收的光照度Ev在时间t内的积分。由于不同物体的理想亮度是不一样的，不同物体在图像中占据的画面大小也不一样，因此把128作为全图亮度的调整目标容易引起一些物体过曝或欠曝。为了解决上述目标物过曝或者欠曝的问题，通过图片中目标物的面积比例、目标物的理想亮度和目标物的重要性的权重和来决定图像的曝光量，比如，可以对相机自动曝光的目标曝光量进行有效设置，进而使得相机能够在多种不同场景下的成像均保证较高的质量。

如图2所示，为了提高相机自动曝光的准确性和可靠性，增加了目标物在图像中的置信度的参数设计，具体而言，在上述图1所示实施例的基础上，根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量包括如下步骤：

步骤210：获取每一个目标物的关于类别的置信度；

对于本申请而言，置信度是指语义分割的置信度，并且是每一个目标物关于类别的置信度，此处目标物的类别可以包括车辆、行人、车道线、可行驶区域、交通指示标志等不同的类别，加入置信度这个指标主要是为了增加目标物在自动曝光量设定中的可靠性。

步骤220：根据所述每一个目标物的所述面积比例、所述置信度、所述重要程度、所述理想亮度获得所述相机对于所述图像的曝光量。

具体而言，理想曝光下，不同场景的直方图分布所在区域也不是相同的，图片的总体曝光量还可以由图片中各物体的面积比例、置信度、理想亮度和物体重要性的权重和来决定，那么所述图像的曝光量公式为：

其中，W_i为某物体的权重值，即其在该场景下的重要程度；S_i为某物体的占据面积比例，即其面积占全图总面积的比例；C_i为置信度，可由语义分割模型得到；V_i为某物体的理想亮度。达到了对于相机自动曝光的目标曝光量进行有效设置，进而使成像更清晰，成像质量更高且能够自适应多种不同场景的技术效果。

如图3所示，为了有效获得目标物在所述图像中占据的面积比，在上述图1所示实施例的基础上，步骤120可包括如下步骤：

步骤121：基于语义分割结果，确定每一个目标物的像素个数；

步骤122：根据每一个目标物的像素个数以及所述图像的全部像素个数，确定每一个目标物在所述图像中占据的面积比。

在步骤121-122中，将当前帧图像输入到已经训练好的语义分割模型网络，得到输出结果。语义分割模型会得到一张和原图同样大小的图片，而这张图片上的每一个像素点都是被分好类别的，通过分好类别后的像素点，可以得到属于每一个目标物的像素点个数，以及整张图像的像素点个数。这样，就可以统计出目标物相对于整张图像的所占面积，即像素点数量，这样就可以得到目标物面积占据全图的比例，进而确定每一个目标物在所述图像中占据的面积比。

如图4所示，在上述图1所示实施例的基础上，步骤130可包括如下步骤：

步骤131：确定所述图像的场景类别；

具体而言，由于摄像机获得的图像众多，可能来源于各个业务场景和不同应用领域。而先确定图像属于哪种场景类别，能够更加准确的确定目标物在图像中的重要程度。场景类别即对图像的应用领域进行划分归类，例如智能驾驶、智慧城市、智慧零售等。举例来说，如果获得图像内容包括了人、商品、货架等内容，则可以认定场景为智慧零售场景；如果获得图像包括了车辆、行人、车道线、标志牌、地面标志等内容时，可以认定场景为智能驾驶场景。

步骤132：根据所述场景类别获得每一个目标物在所述图像中的重要程度。

不同应用场景的部分物体重要程度不同，所以需要分场景来定义。对于人物这种目标物，无论在什么场景，他的重要程度都很高；背景的重要程度可设成相对较小的值，但当全图只有背景中的元素时，其对应的重要程度会变大；另外，如果相机成像只要求对于人眼友好而不是算法友好，那么上述不同种类的重要程度完全相同。

一般来讲，不同场景类别下对应的不同目标物的重要程度是预先设定的，例如设定非主体类别在画面中的总重要程度不超过10％，那么主体类别占到90％，所有主体类别均分这90％的重要程度。举例来讲，当在综合人像应用平台的业务场景中，需要静态人脸对比人脸布控人证合一出入控制，则，其关注主体为人脸和证件，且人脸和证件的重要程度各占45％。再比如在车辆综合应用平台的业务场景中，交通违章监控情报分析、路况监控和大数据分析中，关注主体包括车辆、红绿灯等指示牌、车道线和行人，且上述关注主体将均分90％的重要程度。所以说，在确定每一个目标物在所述图像中的重要程度时，需要充分考虑场景类别的因素。

如图5所示，在上述图1所示实施例的基础上，步骤140可包括如下步骤：

步骤141，基于语义分割结果，确定每一个目标物的类别；

步骤142，根据每一个目标物的类别，确定每一个目标物的理想亮度。

具体而言，不同目标物的理想亮度是不同的，甚至和目标物本身的颜色有关联，比如草地、天空等物体由于经常会变换颜色，所以需要单独拿出来研究；不同环境下如天气、时间/场所等，相同物体的理想亮度可能都不同。为使每一个目标物的理想亮度能够准确的确定，需要根据语义分割结果，针对每一个目标物通过人工标注的方式进行分类，首先对目标物所处环境进行分类，例如室内、室外，由于室内和室外光线强度不同，会影响目标物的理想亮度，当目标物所处环境分类好后，对处于相同环境下的目标物所属的时间或天气进行二次分类，例如均处于室外环境下的目标物所述的时间或天气可以分为夜晚、白天、下雪等对亮度影响较大的类别，即对同一环境中，不同时间、天气情况进行分类，最后在同一环境同一时间、天气的前提下，对目标物的颜色进行分类，比如黑猫、白猫。同理，对于例如路人、汽车、自行车等类别，仍可以通过人工标注的方式，把路人、汽车、自行车等类别的目标物的理想亮度人工标注出来，根据实际目标物的类别，确定每一个目标物相应的理想亮度。当然，对于一些目标物的理想亮度无法进行准确分类时，其理想亮度一般被认为是128。

示例性装置

如图6所示，本申请实施例提供了一种种确定相机曝光量的装置，其中，所述装置包括：

目标物确定模块710，用于对相机获取的图像进行语义分割，确定至少一个目标物；

面积比例确定模块720，用于确定每一个目标物在所述图像中占据的面积比例；

重要程度确定模块730，用于确定每一个目标物在所述图像中的重要程度；

理想亮度确定模块740，用于确定每一个目标物的理想亮度；

曝光量确定模块750，用于根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

进一步的，如图7所示，所述曝光量确定模块包括：

置信度获取单元810，用于获取每一个目标物的关于类别的置信度；

曝光量确定单元820，用于根据所述每一个目标物的所述面积比例、所述置信度、所述重要程度、所述理想亮度获得所述相机对于所述图像的曝光量。

进一步的，如图8所示，所述面积比例确定模块，包括：

第一语义分割结果确定单元721，用于基于语义分割结果，确定每一个目标物的像素个数；

面积比确定单元722，用于根据每一个目标物的像素个数以及所述图像的全部像素个数，确定每一个目标物在所述图像中占据的面积比。

进一步的，如图9所示，所述重要程度确定模块包括：

第一场景类别确定单元731，用于确定所述图像的场景类别；

第一重要程度获得单元732，用于根据所述场景类别获得每一个目标物在所述图像中的重要程度。

进一步的，如图10所示，所述理想亮度模块包括：

目标物类别确定单元741，用于基于予以分割结果，确定每一个目标物的类别；

理想亮度确定单元742，用于根据每一个目标物的类别，确定每一个目标物的理想亮度；

示例性电子设备

下面，参考图11来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本申请实施例的电子设备的框图。

如图11所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的相机自动曝光的信息处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置113可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置113可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备113还可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的相机自动曝光的信息处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种确定相机曝光量的方法，其中，所述方法包括：

对相机获取的图像进行语义分割，确定至少一个目标物；

确定每一个目标物在所述图像中占据的面积比例；

确定每一个目标物在所述图像中的重要程度；

确定每一个目标物的理想亮度；

根据所述每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

2.如权利要求1所述的方法，其中，所述根据所述面积比例、所述重要程度，所述理想亮度确定所述相机对于所述图像的曝光量，包括：

获取每一个目标物的关于类别的置信度；

根据所述每一个目标物的所述面积比例、所述置信度、所述重要程度、所述理想亮度获得所述相机对于所述图像的曝光量。

3.如权利要求1所述的方法，其中，所述确定每一个目标物在所述图像中占据的面积比例，包括：

基于语义分割结果，确定每一个目标物的像素个数；

根据每一个目标物的像素个数以及所述图像的全部像素个数，确定每一个目标物在所述图像中占据的面积比。

4.如权利要求1所述的方法，其中，所述确定每一个目标物在所述图像中的重要程度，包括：

确定所述图像的场景类别；

根据所述场景类别获得每一个目标物在所述图像中的重要程度。

5.如权利要求1所述的方法，其中，所述确定每一个目标物的理想亮度，包括：

基于语义分割结果，确定每一个目标物的类别；

根据每一个目标物的类别，确定每一个目标物的理想亮度。

6.一种确定相机曝光量的装置，包括：

目标物确定模块，用于对相机获取的图像进行语义分割，确定至少一个目标物；

面积比例确定模块，用于确定每一个目标物在所述图像中占据的面积比例；

重要程度确定模块，用于确定每一个目标物在所述图像中的重要程度；

理想亮度确定模块，用于确定每一个目标物的理想亮度；

曝光量确定模块，用于根据每一个目标物的所述面积比例、所述重要程度以及所述理想亮度确定所述相机对于所述图像的曝光量。

7.根据6所述的装置，其中，所述曝光量确定模块包括：

置信度获取单元，用于确定每一个目标物在所述图像中的置信度；

曝光量确定单元，用于根据每一个目标物的所述面积比例、所述置信度、所述重要程度、所述理想亮度获得所述相机对于所述图像的曝光量。

8.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的一种确定相机曝光量的方法。

9.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-6任一所述的一种确定相机曝光量的方法。

Images