CN115222807A

CN115222807A - 数据处理方法、设备及存储介质

Info

Publication number: CN115222807A
Application number: CN202110426723.8A
Authority: CN
Inventors: 岳顺强
Original assignee: Autonavi Software Co Ltd
Current assignee: Autonavi Software Co Ltd
Priority date: 2021-04-20
Filing date: 2021-04-20
Publication date: 2022-10-21

Abstract

本申请实施例提供一种数据处理方法、设备及存储介质。其中，方法包括如下的步骤：获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息和所述相机的视场角；至少根据所述方向信息，确定所述相机的逆光检测结果。本申请实施例提供的检测方案的检测效率高。

Description

数据处理方法、设备及存储介质

技术领域

本申请涉及视觉技术领域，尤其涉及一种数据处理方法、设备及存储介质。

背景技术

在地图采集、智能驾驶、融合定位等领域，一般会用相机作为获取真实世界几何和语义信息的传感器，相机拍摄的照片或者图像将用于地理数据制作、智能驾驶环境感知或多传感器融合定位等场景，而相机拍摄照片的质量直接影响前述场景对真实世界的感知或还原效果。导致相机拍摄照片质量不好的典型场景就是相机逆光拍照，逆光拍照会使照片中的被摄物体光线偏暗，不利于视觉感知。

因此，需要在相机拍摄时进行逆光检测。现有的逆光检测方案是通过识别照片的对比度、亮度等光学指标进行检测，其识别过程需占用较多的计算资源和较长的时间。可见，这种方案检测成本高效率低。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的数据处理方法、设备及存储介质。

于是，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；

根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息；

至少根据所述方向信息，确定所述相机的逆光检测结果。

在本申请的又一实施例中，提供了一种数据处理方法。该方法，包括：

至少根据所述方向信息，确定所述相机的逆光检测结果；

按照根据所述逆光检测结果确定的图像处理策略，对所述相机在所述拍摄时刻拍摄得到的图像进行处理；或者

按照根据所述逆光检测结果确定的图像采集策略，控制所述相机在所述拍摄时刻进行图像采集。

在本申请的又一实施例中，提供了一种数据处理装置。该装置，包括：

获取模块，用于获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；

确定模块，用于根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息；

检测模块，用于至少根据所述方向信息，确定所述相机的逆光检测结果。

在本申请的又一实施例中，提供了一种电子设备。该电子设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任一项所述的数据处理方法。

在本申请的又一实施例中，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述任一项所述的数据处理方法。

检测模块，用于至少根据所述方向信息，确定所述相机的逆光检测结果；

处理模块，用于按照根据所述逆光检测结果确定的图像处理策略，对所述相机在所述拍摄时刻拍摄得到的图像进行处理；或者

检测模块，用于至少根据所述方向信息，确定所述相机的逆光检测结果；控制模块，用于按照根据所述逆光检测结果确定的图像采集策略，控制所述相机在所述拍摄时刻进行图像采集。

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述所述的数据处理方法。

在本申请的又一实施例中，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述所述的数据处理方法。

本申请实施例提供的技术方案中，通过计算太阳相对于相机的方向信息，来对相机进行逆光检测。也就是说，本方案是从相机逆光原理出发，结合相机的视场角以及通过计算得到的太阳相对于相机的方向信息，确定相机是否满足逆光的物理条件，进而判断相机是否逆光。与现有技术相比，本申请实施例提供的检测方法中太阳相对于相机的方向信息的计算过程只需占用较少的计算资源和较短的计算时间，也即检测成本低效率高；并且，逆光检测不依赖于相机拍摄的照片，也即独立于相机拍摄，一旦检测出逆光环境，该结果可以及时提供给相机系统，以使得处于逆光环境的相机拍摄的照片质量有保证。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的数据处理方法的流程示意图；

图2为本申请一实施例提供的数据处理方法的流程示意图；

图3为本申请一实施例提供的数据处理方法的流程示意图；

图4为本申请一实施例提供的示例图；

图5为本申请一实施例提供的数据处理装置的流程示意图；

图6为本申请一实施例提供的数据处理装置的流程示意图；

图7为本申请一实施例提供的数据处理装置的流程示意图；

图8为本申请一实施例提供的电子设备的结构框图。

具体实施方式

目前，消费机手机相机、袖珍相机均采用检测照片对比度、亮度等方式进行逆光检测。这种方法依赖照片，且需占用较多计算资源和较长时间，检测成本高效率低。

在自动驾驶领域，车辆搭载的视觉设备(相机)拍摄的照片数量多，并且不仅对照片质量要求高，而且需要实时进行照片质量改善。另外，地图数据采集制作领域，虽然对照片质量改善的实时性要求不高，但是地图采集设备通常搭载了多个相机，每个相机的拍摄方位不同，依赖照片的逆光检测检测成本高，不适合对多个相机的检测。

为了提高逆光检测的效率和准确度，本申请实施例提供了一种新的逆光检测方案，以从相机逆光原理出发，通过计算太阳相对于相机的方向信息来确定相机是否满足逆光的物理条件，进而判断相机是否逆光。

为了使本技术领域的人员更好地理解本申请方案，下面将根据本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图1示出了本申请一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。如图1所示，该方法包括：

101、获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿。

102、根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

103、至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果。

上述101中，上述拍摄时刻可包括所述相机已拍摄图像的拍摄时刻和/或所述相机的下一次拍摄时刻。所述拍摄时刻为所述相机已拍摄图像的拍摄时刻时，本申请实施例提供的数据处理方法即是对已拍摄图像进行逆光检测。所述拍摄时刻为所述相机的下一次拍摄时刻时，本申请实施例提供的逆光检测方案即是对相机在其下一次拍摄时刻是否逆光进行预测。

通常，在地图采集、智能驾驶、融合定位等应用场景中，相机会按照一定的时间间隔或移动距离间隔拍摄，因此，通过计算是可以确定出所述相机的下一次拍摄时刻的。举例来说：相机按照1s的时间间隔进行拍摄，上一次拍摄时刻为2021年3月11日12点22分11秒，那么下一次拍摄时刻即为2021年3月11日12点22分12秒。

实际应用时，为了确保时间同步，可采用时间同步装置获取相机的拍摄时刻。

所述相机在所述拍摄时刻的相机位姿可包括所述相机在所述拍摄时刻的相机位置和相机姿态。在一实例中，所述相机位置可以是相机在世界坐标系中的位置；所述相机姿态可以是相机在世界坐标系中的姿态。其中，相机坐标系的原点o为相机光心、z轴为相机光轴、x轴与y轴分别与图像的X、Y轴平行，相机坐标系与相机固连在一起，随相机一起转动。

其中，世界坐标系可以是地心地固坐标系。将世界坐标系确定为地心地固坐标系，有助于较少后续步骤中的数据计算量。

上述102中，所述方向信息指的可以是所述拍摄时刻太阳与所述相机光心的连线方向在相机坐标系下的表示，也即是所述拍摄时刻太阳光线的方向在相机坐标系下的表示。实际应用时，可认为太阳光线和太阳与相机光心的连线平行。

上述103中，确定所述相机的逆光检测结果，也即是确定所述相机在所述拍摄时刻是否逆光。所述方向信息可包括所述拍摄时刻太阳与所述相机光心的连线(也即太阳光线)的方向在相机坐标系下的表示，例如：方向向量。

在一实例中，可根据所述方向信息和所述相机的视场角，确定太阳是否在相机的视场角范围内。若在，则确定相机在所述拍摄时刻逆光；若不在，则确定相机在所述拍摄时刻不逆光。

本申请实施例提供的技术方案中，从相机逆光原理出发，结合相机的视场角以及通过计算得到的太阳相对于相机的方向信息，确定相机是否满足逆光的物理条件，进而判断相机是否逆光。与现有的基于照片识别的逆光检测方法相比，本申请实施例提供的检测方法中太阳相对于相机的方向信息的计算过程只需占用较少的计算资源和较短的计算时间，也即检测成本低效率高。以对同一车辆上搭载的拍摄方向不同的多个相机进行逆光检测的方案为例，若采用基于照片识别的检测方法分别对这多个相机进行逆光检测，整体检测成本将会很大，整体检测效率也会很低；若采用本申请实施例提供的检测方法分别对每个相机进行逆光检测，不仅能够有效降低这多个相机的整体检测成本，还能够有效提高整体检测效率。此外，本申请实施例提供的逆光检测方法不依赖于相机拍摄的照片，也即独立于相机拍摄，一旦检测出逆光环境，该结果可以及时提供给相机系统，以使得处于逆光环境的相机拍摄的照片质量有保证。实际应用时，一旦检测出自动驾驶车辆上的相机在其下一时刻逆光，可通过调整采集路线、相机拍摄参数或相机姿态，避免相机在其下一时刻拍摄时逆光，从而可确保相机拍摄得到的照片质量，这对于自动驾驶而言可以提升驾驶安全性。

在一种可实现的方案中，上述102中“根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息”，具体可采用如下步骤来实现：

1021、根据所述拍摄时刻以及所述相机位置，确定太阳高度角和太阳方位角。

1022、根据所述太阳高度角和所述太阳方位角，确定太阳的方向向量。

1023、根据所述相机姿态和所述太阳的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

上述1021中，通常，上述相机位置为相机在世界坐标系下的位置。可通过转换，确定出相机位置所在经度Lon₁、相机位置所在维度Lat₁和相机位置所在海拔高度。具体转换过程可参见现有技术，在此不再详述。

根据所述拍摄时刻、所述相机位置所在经度以及所述相机位置所在维度，计算太阳高度角和太阳方位角。其中，太阳高度角指的是太阳光线与地平面的夹角；太阳方位角指的是太阳光线在地平面的投影与正北方向的夹角。

实际应用时，当地水平坐标系的原点可固定在所述相机上，其X轴和Y轴均平行于当地水平面(也即地平面)，分别指向东边和北边，其Z轴垂直当地水平面。那么，上述太阳高度角和太阳方位角可以认为是太阳在所述当地水平坐标系下的高度角和方位角。

具体地可采用如下公式来计算太阳高度角h₀和太阳方位角A₀：

sin(h₀)＝sin(Lat₁)*sin(δ)+cos(Lat₁)*cos(δ)*cos(t) (1)

t＝15*(ST-12) (2)

ST＝Lon₁/15°+T₀ (3)

δ＝0.006918-0.399912*cos(b)+0.070257*sin(b)-0.006758*cos(2*b)+0.000907*sin(2*b)-0.002697*cos(3*b)+0.00148*sin(3*b) (4)

b＝2*PI*(N-1)/365 (5)

cos(A₀)＝(sin(h₀)*sin(Lat₁)-sin(δ))/cos(h₀)*cos(Lat₁) (6)

其中：h₀为太阳高度角；A₀为太阳方位角；Lat₁为相机位置所在纬度；Lon₁为相机位置所在经度；T₀为相机的拍摄时刻；δ为太阳赤纬，太阳赤纬是地球赤道平面与太阳和地球中心连线的夹角，太阳赤纬以年为周期，在-23°26′～23°26′的范围变化，δ的单位为度(deg)；t为太阳的地方时时角；ST为真太阳时，当地正午12点为0度时角，每小时偏移15°；b为太阳每天公转的角度，单位为弧度；PI为圆周率；N为年积日。

上述1022中，可基于球坐标系与直角坐标系的转换关系，根据所述太阳高度角以及所述太阳方位角，确定所述拍摄时刻太阳在所述当地水平坐标系的方向向量，也即所述拍摄时刻太阳光线在所述当地水平坐标系的方向向量；根据太阳在所述当地水平坐标系的方向向量，确定太阳的方向向量。示例性的，可将太阳在当地水平坐标系的方向向量直接作为太阳的方向向量。

举例来说：假设太阳高度角为h₀(也即太阳在当地水平坐标系下的高度角为h₀)，太阳方位角为A₀(也即太阳在当地水平坐标系下的方位角为A₀)，太阳距离相机光心的距离为r，那么，太阳在当地水平坐标系对应的球坐标系下的坐标为(r，90°-h₀，90°-A₀)，基于球坐标系与直角坐标系的转换关系，可将太阳在当地水平坐标系对应的球坐标系下的坐标(r，90°-h₀，90°-A₀)，转换成太阳在当地水平坐标系下的坐标(cos(h₀)sin(A₀)，cos(h₀)cos(A₀)，sin(h₀))，也就是说，太阳在当地水平坐标系的方向向量T_sun-local＝[cos(h₀)sin(A₀)，cos(h₀)cos(A₀)，sin(h₀)]^T。

上述1023中，在一实例中，所述相机姿态可以是所述相机在当地水平坐标系的姿态。所述太阳的方向向量是太阳在所述当地水平坐标系的方向向量，也即太阳光线在当地水平坐标系的方向向量。在一种可实现的方案中，上述1023中“根据所述相机姿态和所述太阳的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息”，具体可采用如下步骤来实现：

S11、根据所述相机在所述当地水平坐标系的姿态以及太阳在所述当地水平坐标系的方向向量，确定所述拍摄时刻太阳在相机坐标系的方向向量。

S12、根据太阳在所述相机坐标系的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

上述S11中，所述相机在当地水平坐标系的姿态由相机在当地水平坐标系的姿态矩阵R_cam-local来表示，太阳在当地水平坐标系的方向向量由T_sun-local来表示，其中，T_sun-local的确定方式可参见上述实施例中相应内容。那么，可采用如下公式来计算得到所述拍摄时刻太阳在相机坐标系的方向向量T_sun-cam：

T_sun-cam＝inverse(R_cam-local)*T_sun-local (7)

其中，inverse(R_cam-local)指的是对R_cam-local求逆矩阵。

上述S12中，根据太阳在相机坐标系的方向向量，可解算出太阳在相机坐标系下的相对方位角A₁和相对高度角h₁，以作为太阳在所述拍摄时刻相对于所述相机的方向信息。具体的解算方法可参考现有技术，在此不再详述。

下面将介绍一种相机位姿的确定方式。具体地，上述方法，还可包括：

104、获取所述拍摄时刻惯性组合导航系统在世界坐标系的惯导位置和在所述当地水平坐标系的惯导姿态。

其中，所述惯性组合导航系统与所述相机集成于同一载体。

105、获取所述拍摄时刻所述相机在惯导坐标系的位置和姿态。

106、根据所述惯导位置，确定所述当地水平坐标系与所述世界坐标系的坐标转换矩阵。

107、根据所述惯导位置、所述当地水平坐标系与所述世界坐标系的坐标转换矩阵、所述惯导姿态以及所述相机在所述惯导坐标系的位置，确定所述相机在所述世界坐标系的位置，以作为所述相机位置。

108、根据所述惯导姿态以及所述相机在所述惯导坐标系的姿态，确定所述相机在所述当地水平坐标系的姿态，以作为所述相机位姿。

上述104中，惯性组合导航系统可简称为惯导。

实际应用时，可通过插值法来获取所述惯导位置和惯导姿态，具体过程可参照现有技术，在此不再详述。

上述105中，通常，在相机与惯导安装好之后，两者之间的相对位姿将固定不变。在这种场景下，可以在相机与惯导安装好之后，通过标定法来确定所述相机在惯导坐标系中的位置和姿态并保存，后续直接获取即可。

但是，在某些场景下，相机与惯导安装好之后，相机的姿态不仅可以随着惯性传感器一起变化，还可以单独变化。例如：相机安装好之后，还可以在用户的操控下单独改变相机姿态(单独改变相机姿态指的是改变相机姿态不会引起惯性传感器姿态的变化)。因此，在这种情况下，需要在用户每次单独改变相机姿态后，通过标定法来更新所述相机在惯导坐标系中的位姿并保存，后续直接获取更新后的位姿即可。

实际应用时，世界坐标系可以根据实际需要来选择。为了方便描述，下面将以世界坐标系为地心地固坐标系为例，进行介绍：

上述106中，根据所述惯导位置，确定所述当地水平坐标系与所述世界坐标系的坐标转换矩阵。根据惯导位置，确定惯导位置所处经度Lon₀、惯导位置所处维度Lat₀以及惯导位置所处海拔高度。根据惯导位置所处经度以及惯导位置所处维度，按照下述公式计算当地水平坐标系与世界坐标系(也即地心地固坐标系)的坐标转换矩阵(也即当地水平坐标系在世界坐标系的姿态矩阵)R_local-ecef

R_local-ecef＝R_Z(Lon₀)R_Y(90°-Lat₀) (8)

其中，R_Z(Lon₀)用于表示当地水平坐标系相对于地心地固坐标系Z轴转动Lon₀的旋转矩阵；R_Y(90°-Lat₀)用于表示当地水平坐标系相对于地心地固坐标系Y轴转动90°-Lat₀的旋转矩阵。

上述107中，所述惯导姿态包括惯导在当地水平坐标系下的姿态角(roll，pitch，yaw)，其中，roll为翻滚角，pitch为俯仰角；yaw为偏航角。根据姿态角(roll，pitch，yaw)，可按照下述公式计算惯导在当地水平坐标系的姿态矩阵R_imu-local：

R_imu-local＝R_Z(yaw)*R_X(pitch)*R_Y(roll) (9)

其中，R_Z(yaw)代表了惯导坐标系相对当地水平坐标系Z轴转动Yaw角的旋转矩阵；R_X(pitch)代表了惯导坐标系相对当地水平坐标系X轴转动pitch角的旋转矩阵；R_Y(roll)代表了惯导坐标系相对当地水平坐标系Y轴转动roll角的旋转矩阵。

可采用如下公式来计算所述相机在所述世界坐标系(也即地心地固坐标系)中的位置：

P_cam＝P_imu+R_local-ecef*R_imu-local*L₀ (10)

其中，L₀为所述相机在所述惯导坐标系的位置；P_imu为上述惯导位置。

上述108中，可根据所述相机在所述惯导坐标系的姿态，计算相机在惯导坐标系的姿态矩阵R_cam-imu。

可采用如下公式来计算所述相机在所述当地水平坐标系中的姿态R_cam-local：

P_cam-local＝R_imu-local*R_cam-imu (11)

上述当地水平坐标系可以是惯导对应的当地水平坐标系(其原点位于惯导上)，也可以是相机对应的当地水平坐标系(其原点位于相机上)。由于其距离较近，可以近似认为两个坐标系的三个轴对应平行，因此，无论是选取惯导对应的当地水平坐标系，还是选取相机对应的当地水平坐标系作为上述当地水平坐标系，都可以。

在一种可实现的方案中，上述103中“至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果”，具体可采用如下步骤来实现：

1031、根据所述方向信息和所述相机的视场角，判断太阳是否在所述相机的视场角范围内。

1032、至少基于视场角判断结果，确定所述相机的逆光检测结果。

在一实例中，上述1031中，所述方向信息可包括所述拍摄时刻太阳在相机坐标系下的相对方位角和相对高度角，所述相机的视场角包括水平视场角标准值以及垂直视场角标准值。通常，相机的水平视场角标准值以及垂直视场角标准值都会记录在相机产品手册中，用户可事先通过提供的输入界面输入相机水平视场角标准值以及垂直视场角标准值并保存，以供后续使用。

相应的，上述1031中“根据所述方向信息和所述相机的视场角，判断太阳是否在所述相机的设定视场角范围内”，具体可采用如下步骤来实现：

S21、将所述相对方位角的绝对值与水平视场角阈值进行比较、将所述相对高度角的绝对值与垂直视场角阈值进行比较，以判断太阳是否在所述相机的视场角范围内。

其中，所述水平视场角阈值等于所述水平视场角标准值与设定的第一比例系数的乘积，所述垂直视场角标准值等于所述垂直视场角标准值与设定的第二比例系数的乘积。其中，第一比例系数和第二比例系数可相等，也可不相等，具体数值可根据实际需要来设定，本申请对此不作具体限定。示例性，第一比例系数和第二比例系数均为0.5。

上述视场角范围可以直接由水平视场角标准值以及垂直视场角标准值来确定；或者，由水平视场角标准值与第一调整系数的乘积以及垂直视场角标准值与第二调整系数的乘积来确定，其中，第一调整系数和第二调整系数可由用户根据实际需要设置，这两者均小于1。在实际应用时，由水平视场角标准值以及垂直视场角标准值直接确定的视场角范围为标准视场角范围。用户可根据实际需要来调整标准视场角范围，例如：将第一调整系数与水平视场角标准值的乘积作为调整后水平视场角；将第二调整系数与垂直视场角的乘积作为调整后垂直视场角。因此，上述第一比例系数可以为第一调整系数与0.5的乘积；第二比例系数可以为第二调整系数与0.5的乘积。

当第一比例系数和第二比例系数均为0.5时，上述S21中，可计算太阳在相机坐标系下的相对方位角A₁和相对高度角h₁是否满足如下条件：

▕A₁▏＜FOV₁/2 (12)

▕h₁▏＜FOV₂/2 (13)

其中，FOV₁为相机水平视场角标准值；FOV₂为相机垂直视场角标准值。

为了提高逆光检测准确率，还可结合相机所处环境的亮度情况，来判断。具体地，上述方法，还可包括如下步骤109和步骤110：

109、获取所述拍摄时刻所述相机所处环境的亮度。

110、判断所述亮度是否大于相机过曝阈值。

可通过与所述相机安装在一起的光照传感器来获取拍照时刻相机所处环境的亮度。

相应的，上述1032中“至少基于视场角判断结果，确定所述相机的逆光检测结果”，具体为：至少基于视场角判断结果和亮度判断结果，确定所述相机在所述拍摄时刻是否逆光。

若亮度大于或等于相机过曝阈值且太阳在所述相机的视场角范围内，则确定所述相机在所述拍摄时刻逆光。

若亮度小于相机过曝阈值或者太阳不在相机的视场角范围内，则确定相机在所述拍摄时刻不逆光。

上述方法，还可包括如下步骤111和112：

111、获取所述拍摄时刻所述相机位置处的天气。

112、判断所述天气是否为晴天。

可通过网络，例如：4G连接互联网获取拍摄时刻相机位置处的天气情况。

相应的，上述1032中“至少基于视场角判断结果，确定所述相机的逆光检测结果”，具体为：至少基于视场角判断结果和天气判断结果，确定所述相机在所述拍摄时刻是否逆光。

若天气为晴天且太阳在所述相机的视场角范围内，则确定所述相机在所述拍摄时刻逆光。

若天气不为晴天或者太阳不在相机的视场角范围内，则确定相机在所述拍摄时刻不逆光。

在一实例中，上述1032中“至少基于视场角判断结果，确定所述相机的逆光检测结果”，具体为：至少基于视场角判断结果、亮度判断结果以及天气判断结果，确定所述相机在所述拍摄时刻是否逆光。

若亮度大于或等于相机过曝阈值、天气为晴天且太阳在所述相机的视场角范围内，则确定所述相机在所述拍摄时刻逆光。

若亮度小于相机过曝阈值、天气不为晴天或者太阳不在相机的视场角范围内，则确定相机在所述拍摄时刻不逆光。

在实际应用时，所述相机安装于可移动平台，相应的，上述惯导也可安装于可移动平台。其中，所述可移动平台为地图采集车或自动驾驶车辆。在实际应用中，上述数据处理方法可在可移动平台移动过程中执行。

此外，确定所述相机的逆光检测结果，也即是确定所述相机在所述拍摄时刻是否逆光。若逆光，则所述相机在所述拍摄时刻拍摄的图像为逆光图像；若不逆光，则所述相机在所述拍摄时刻拍摄的图像为非逆光图像。

在本申请实施例中，太阳与相机之间的相对关系的计算比基于照片识别的检测方案(即通过识别图像的对比度、亮度等光学指标进行检测的方案)要快的多，可见，本申请实施例能够有效提高检测速率，提高检测效率，适合大批量数据实时处理。

并且，现有技术必须依赖照片进行检测，也就是说现有技术必须在拍摄得到图像之后，才能进行检测；而本申请实施例提供的逆光检测方案不依赖照片，故可以预先进行逆光检测，例如：可以对相机在下一拍摄时刻是否逆光进行预测，进而可确保相机拍摄到的照片质量。

在地图采集和自动驾驶定位领域，车辆通常集成多个不同朝向的相机，也即不同相机的姿态不同，且不同相机的视场角也不完全相同；此外，道路坡度也会影响相机的实际姿态。申请人在研究过程中发现：仅结合行驶车辆的行驶方向以及太阳的高度角来判断车辆上的相机是否逆光的检测方法存在准确率低的问题，这是因为这种检测方法并没有考虑相机的实际姿态以及相机的实际视场角，也即并没有考虑相机的道路坡度、相机朝向以及相机视场角对逆光检测的影响。

而本申请实施例提供的技术方案中，结合相机的实际姿态，来确定太阳相对于车辆上的相机的方向信息；根据该方向信息和相机的实际视场角，来判断相机是否逆光。可见，本申请实施例提供的检测方法考虑了相机的实际姿态以及相机的实际视场角，也即考虑了道路坡度、相机朝向以及相机视场角对逆光检测的影响，故检测准确率高。其中，道路坡度和相机朝向对逆光检测的影响体现在其对相机姿态的影响。这是因为，道路坡度和相机朝向不同时，相机姿态也会不同。

可见，本申请实施例提供的技术方案能够满足地图采集和自动驾驶定位领域的高精度检测需求。

图2示出了本申请又一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。如图2所示，该方法包括：

201、获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿。

202、根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

203、至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果。

204、按照根据所述逆光检测结果确定的图像处理策略，对所述相机在所述拍摄时刻拍摄得到的图像进行处理。

上述201中，所述相机在所述拍摄时刻的相机位姿的具体确定过程可参见上述各实施例中相应内容，在此不再赘述。

上述202的具体实现可参见上述各实施例中相应内容，在此不再赘述。

上述203的具体实现可参见上述各实施例中相应内容，在此不再赘述。

上述204中，可事先针对逆光图像和非逆光图像分别配置不同的图像处理策略。具体地，针对逆光图像的图像处理策略可以是先调整明暗对比度，再进行图像处理；针对非逆光图像的图像处理策略可以是直接进行图像处理。

若逆光检测结果表明所述相机在所述拍摄时刻逆光，则说明相机在所述拍摄时刻拍摄的图像为逆光图像，采用逆光图像对应的图像处理策略对该图像进行处理。

若逆光检测结果表明所述相机在所述拍摄时刻不逆光，则说明相机在所述拍摄时刻拍摄的图像为非逆光图像，采用非逆光图像对应的图像处理策略对该图像进行处理。

本申请实施例提供的技术方案可应用到地图采集车中，可及时改善检测到的逆光图像。

本申请实施例提供的技术方案中，通过计算太阳相对于相机的方向信息，来对相机进行逆光检测。也就是说，本方案是从相机逆光原理出发，结合相机的视场角以及通过计算得到的太阳相对于相机的方向信息，确定相机是否满足逆光的物理条件，进而判断相机是否逆光。与现有技术相比，本申请实施例提供的检测方法中太阳相对于相机的方向信息的计算过程只需占用较少的计算资源和较短的计算时间，也即检测成本低效率高。实际应用时，所述相机安装于可移动平台。所述可移动平台为地图采集车或自动驾驶车辆。上述数据处理方法可在可移动平台移动过程中执行，也即边拍摄边检测。

这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。

图3示出了本申请又一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。如图3所示，该方法包括：

301、获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿。

302、根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

303、至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果。

304、按照根据所述逆光检测结果确定的图像采集策略，控制所述相机在所述拍摄时刻进行图像采集。

上述301中，所述相机可以连续拍摄。例如：每隔预设时间间隔或每隔预设移动距离拍摄一次。上述拍摄时刻可以是下一次拍摄时刻；该拍摄时刻的确定方式可参见上述各实施例中相应内容，在此不再赘述。

所述相机可安装于可移动平台。所述可移动平台为地图采集车或自动驾驶车辆。

上述302和上述303中的具体实现可参见上述各实施例中相应内容，在此不再赘述。

上述304中，在一实例中，图像采集策略中包括曝光参数值；若逆光检测结果表明相机在所述拍摄时刻逆光，则可获取逆光场景对应的曝光参数值；按照逆光场景对应的曝光参数值对相机的曝光参数进行调整，调整后进行图像采集。

在另一实例中，图像采集策略中包括图像采集路线；若逆光检测结果表明相机在所述拍摄时刻逆光，则可调整图像采集路线，以得到调整后的图像采集路线；按照调整后的图像采集路线移动相机，移动后进行图像采集。以相机位于可移动平台为例，按照调整后的图像采集路线移动可移动平台，等到所述拍摄时刻到来时，控制所述相机进行图像采集。

在又一实例中，图像采集策略中包括相机姿态调整策略。若逆光检测结果表明相机在所述拍摄时刻逆光，则可根据太阳相对于相机的方向信息，确定相机姿态调整策略；按照相机姿态调整策略，调整相机姿态；调整完成后，等到所述拍摄时刻到来时，控制所述相机进行图像采集。在本实施例中，相机为了躲避太阳逆光，可以调整相机角度。

本申请实施例提供的技术方案，可应用到自动驾驶车辆中，实时调整图像采集策略，以确保相机拍摄到的照片质量，有助于提高自动驾驶车辆的行驶安全性。

下面将结合图4对本申请实施例提供的技术方案进行介绍。如图4所示，正在行驶的车辆上安装有多个相机，可采用下述多个步骤对每个相机进行逆光检测。

步骤401：通过时间同步装置获取相机的拍摄时刻T₀。

步骤402：通过插值法获取惯导T₀时刻在地心地固坐标系下的惯导位置P_imu以及惯导T₀时刻在当地水平坐标系下的姿态角(roll，pitch，yaw)。

步骤403：根据姿态角(roll，pitch，yaw)，计算惯导在当地水平坐标系下的姿态矩阵R_imu-local＝R_Z(yaw)*R_X(pitch)*R_Y(roll)。

步骤405：将位置P_imu转换为惯导位置所处经度Lon₀、惯导位置所处维度Lat₀以及惯导位置所处海拔高度，并根据Lon₀和Lat₀计算出当地水平坐标系与世界坐标系(也即地心地固坐标系)的坐标转换矩阵R_local-ecef＝R_Z(Lon₀)R_Y(90°-Lat₀)。

步骤406、获取相机在惯导坐标系中的位置L₀以及相机在惯导坐标系的姿态矩阵R_cam-imu。

步骤407、计算相机在世界坐标系中的相机位置P_cam＝P_imu+R_local-ecef*R_imu-local*L₀。

步骤408：计算所述相机在当地水平坐标系中的相机姿态P_cam-local＝R_imu-local*R_cam-imu。

步骤409：将相机位置P_cam转换成相机位置所在经度Lon₁、相机位置所在维度Lat₁和相机位置所在海拔高度。

步骤410：根据T₀、Lon₁以及Lat₁，计算太阳高度角h₀和太阳方位角A₀。

步骤411：根据太阳高度角h₀和太阳方位角A₀，计算太阳光线在当地水平坐标系中的第一方向向量T_sun-local＝[cos(h₀)sin(A₀)，cos(h₀)cos(A₀)，sin(h₀)]^T。

步骤412：计算太阳光线在所述相机坐标系中的第二方向向量T_sun-cam＝inverse(R_cam-local)*T_sun-local。

步骤413：根据第二方向向量T_sun-cam解算出太阳在相机坐标系下的相对方位角A₁和相对高度角h₁。

步骤414：根据太阳在相机坐标系下的相对方位角A₁和相对高度角h₁，确定太阳是否在相机视场角范围内。

步骤415：获取所述拍摄时刻所述相机所处环境的亮度；并判断亮度是否大于或等于相机过曝阈值。

步骤416：获取所述拍摄时刻所述相机位置处的天气，并判断是否为晴天。

步骤417：步骤414、步骤415和步骤416的判断均为是时，判定相机处于逆光环境。

本申请实施例提供的技术方案，从相机逆光原理出发，通过计算相机和太阳相对关系、相机视场角以及外部环境确定相机是否逆光，检测效率高、准确率高，便于实时动态检测相机是否逆光，能够进行批量照片的快速处理本方案考虑了相机的实际姿态、实际视场角以及太阳的精确方位角，而不仅仅是车辆的行驶方向和太阳高度角，准确性更高，更加适合应用于地图采集和自动驾驶视觉定位等领域。

图5示出了本申请一实施例提供的数据处理装置的结构框图。如图5所示，该装置，包括：

获取模块501，用于获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；

确定模块502，用于根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息；

检测模块503，用于至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果。

可选的，所述相机位姿中包括相机位置和相机姿态；

确定模块502，具体用于：

根据所述拍摄时刻以及所述相机位置，确定太阳高度角和太阳方位角；

根据所述太阳高度角和所述太阳方位角，确定太阳的方向向量；

根据所述相机姿态和所述太阳的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

可选的，所述相机姿态是所述相机在当地水平坐标系的姿态，所述太阳的方向向量是太阳在所述当地水平坐标系的方向向量；

确定模块502，具体用于：

根据所述相机在所述当地水平坐标系的姿态以及太阳在所述当地水平坐标系的方向向量，确定所述拍摄时刻太阳在相机坐标系的方向向量；

根据太阳在所述相机坐标系的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息。

可选的，获取模块501，还用于：

获取所述拍摄时刻惯性组合导航系统在世界坐标系的惯导位置和在所述当地水平坐标系的惯导姿态，所述惯性组合导航系统与所述相机集成于同一载体；

获取所述拍摄时刻所述相机在惯导坐标系的位置和姿态；

根据所述惯导位置，确定所述当地水平坐标系与所述世界坐标系的坐标转换矩阵；

根据所述惯导位置、所述当地水平坐标系与所述世界坐标系的坐标转换矩阵、所述惯导姿态以及所述相机在所述惯导坐标系的位置，确定所述相机在所述世界坐标系的位置，以作为所述相机位置；

根据所述惯导姿态以及所述相机在所述惯导坐标系的姿态，确定所述相机在所述当地水平坐标系的姿态，以作为所述相机位姿。

可选的，所述方向信息包括所述拍摄时刻太阳在相机坐标系下的相对方位角和相对高度角，所述相机的视场角包括水平视场角标准值以及垂直视场角标准值；

所述检测模块503，具体用于：

将所述相对方位角的绝对值与水平视场角阈值进行比较、将所述相对高度角的绝对值与垂直视场角阈值进行比较，以判断太阳是否在所述相机的视场角范围内，所述水平视场角阈值等于所述水平视场角标准值与设定的第一比例系数的乘积，所述垂直视场角标准值等于所述垂直视场角标准值与设定的第二比例系数的乘积。

至少基于视场角判断结果，确定所述相机的逆光检测结果。

可选的，所述获取模块501，还用于：

获取所述拍摄时刻所述相机所处环境的亮度；

判断所述亮度是否大于相机过曝阈值；

所述检测模块503，具体用于：

至少基于视场角判断结果和亮度判断结果，确定所述相机在所述拍摄时刻是否逆光。

可选的，

所述获取模块501，还用于：

获取所述拍摄时刻所述相机所在位置处的天气；

判断所述天气是否为晴天；

所述检测模块503，具体用于：

至少基于视场角判断结果和天气判断结果，确定所述相机在所述拍摄时刻是否逆光。

这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图6示出了本申请另一实施例提供的数据处理装置的结构框图。如图6所示，该装置包括：

获取模块601，用于获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；

确定模块602，用于根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息；

检测模块603，用于至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果；

处理模块604，用于按照根据所述逆光检测结果确定的图像处理策略，对所述相机在所述拍摄时刻拍摄得到的图像进行处理。

图7示出了本申请另一实施例提供的数据处理装置的结构框图。如图7所示，该装置包括：

获取模块701，用于获取相机的拍摄时刻以及所述相机在所述拍摄时刻的相机位姿；

确定模块702，用于根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息；

检测模块703，用于至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果；

控制模块704，用于按照根据所述逆光检测结果确定的图像采集策略，控制所述相机在所述拍摄时刻进行图像采集。

图8示出了本申请一实施例提供的电子设备的结构示意图。如图8所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所述存储器1101，用于存储程序；

所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以实现上述各方法实施例提供的数据处理方法。

进一步，如图8所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各方法实施例提供的数据处理方法的步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种数据处理方法，其中，包括：

至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果。

2.根据权利要求1所述的方法，其中，所述相机位姿中包括相机位置和相机姿态；

根据所述拍摄时刻以及所述相机位姿，确定太阳在所述拍摄时刻相对于所述相机的方向信息，包括：

3.根据权利要求2所述的方法，其中，所述相机姿态是所述相机在当地水平坐标系的姿态，所述太阳的方向向量是太阳在所述当地水平坐标系的方向向量；

所述根据所述相机姿态和所述太阳的方向向量，确定太阳在所述拍摄时刻相对于所述相机的方向信息，包括：

4.根据权利要求3所述的方法，其中，还包括：

获取所述拍摄时刻所述相机在惯导坐标系的位置和姿态；

5.根据权利要求1至4中任一项所述的方法，其中，所述方向信息包括所述拍摄时刻太阳在相机坐标系下的相对方位角和相对高度角，所述相机的视场角包括水平视场角标准值以及垂直视场角标准值；

至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果，包括：

将所述相对方位角的绝对值与水平视场角阈值进行比较、将所述相对高度角的绝对值与垂直视场角阈值进行比较，以判断太阳是否在所述相机的视场角范围内，所述水平视场角阈值等于所述水平视场角标准值与设定的第一比例系数的乘积，所述垂直视场角标准值等于所述垂直视场角标准值与设定的第二比例系数的乘积；

至少基于视场角判断结果，确定所述相机的逆光检测结果。

6.根据权利要求5所述的方法，其中，还包括：

获取所述拍摄时刻所述相机所处环境的亮度；

判断所述亮度是否大于相机过曝阈值；

至少基于视场角判断结果，确定所述相机的逆光检测结果，包括：

7.根据权利要求5所述的方法，其中，所述方法，还包括：

获取所述拍摄时刻所述相机所在位置处的天气；

判断所述天气是否为晴天；

8.一种数据处理方法，其中，包括：

至少根据所述方向信息和所述相机的视场角，确定所述相机的逆光检测结果；

按照根据所述逆光检测结果确定的图像处理策略，对所述相机在所述拍摄时刻拍摄得到的图像进行处理；

或者

9.一种电子设备，其中，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现权利要求1至8中任一项所述的数据处理方法。

10.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序被计算机执行时能够实现权利要求1至8中任一项所述的数据处理方法。