CN116055659B - 原始图像的处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种原始图像的处理方法、装置、电子设备和存储介质，其中，方法包括：获取至少一个视角中各视角分别对应的原始图像数据；对各视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据；对各视角分别对应的第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据；基于各视角分别对应的第二图像数据，确定任意相邻视角的图像变换关系；基于图像变换关系，对各视角分别对应的原始图像数据进行拼接，获得各原始图像数据的拼接图像数据。本公开实施例可以实现原始图像数据的图像拼接，为后期处理有效保留原始图像数据的高维信息，解决传统LDR图像拼接容易造成图像信息损失等问题。

Description

原始图像的处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术，尤其是一种原始图像的处理方法、装置、电子设备和存储介质。

背景技术

随着计算机视觉的快速发展，多视角的图像拼接以广泛应用于各种领域或场景，比如房产领域、自动驾驶领域，等等。传统的图像拼接通常是基于LDR(Low Dynamic Range，低动态范围图像)图像进行拼接，但是LDR图像损失了很多图像信息，在后期处理方面会有较大的限制。

发明内容

本公开实施例提供一种原始图像的处理方法、装置、电子设备和存储介质，以实现RAW数据的图像拼接，解决LDR图像拼接损失较多图像信息等问题。

本公开实施例的一个方面，提供一种原始图像的处理方法，包括：

获取至少一个视角中各所述视角分别对应的原始图像数据；

对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据；

对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据；

基于各所述视角分别对应的所述第二图像数据，确定任意相邻视角的图像变换关系；

基于所述图像变换关系，对各所述视角分别对应的所述原始图像数据进行拼接，获得各所述原始图像数据的拼接图像数据。

在本公开一实施方式中，所述对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据，包括：

针对任一所述视角，基于该视角的所述原始图像数据的各通道分别对应的像素值，确定各所述通道分别对应的像素均值；

基于各所述通道分别对应的所述像素均值，确定像素均值模长；

基于所述像素均值模长和各所述通道分别对应的所述像素均值，对该视角的所述原始图像数据进行归一化处理，获得该视角对应的所述第一图像数据。

在本公开一实施方式中，所述对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据，包括：

针对任一所述视角，基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，所述图像曝光序列包括第一数量个曝光图像；

针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重；

基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据；

对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据。

在本公开一实施方式中，所述基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，包括：

将所述第一图像数据的像素值分别乘以第一数量个预设值，获得第一数量个第四图像数据；

根据预设截断规则，对各所述第四图像数据的像素值进行截断处理，获得第一数量个所述曝光图像。

在本公开一实施方式中，所述针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重，包括：

针对任一所述曝光图像，将该曝光图像转换到灰度空间，获得该曝光图像对应的灰度图；

对所述灰度图进行拉普拉斯变换，获得该曝光图像对应的对比度；

基于该曝光图像的各通道的像素值，确定各所述通道分别对应的标准差；

基于各所述通道分别对应的标准差，确定该曝光图像对应的饱和度；

基于该曝光图像的各通道的像素值及第一映射规则，确定该曝光图像对应的曝光度；

基于该曝光图像对应的所述对比度、所述饱和度和所述曝光度，确定该曝光图像对应的权重。

在本公开一实施方式中，所述基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据，包括：

基于各所述曝光图像分别对应的权重，对各所述曝光图像进行加权平均，获得该视角对应的所述第三图像数据。

在本公开一实施方式中，所述对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据，包括：

基于所述第三图像数据的像素值及第一截断比例，确定截断下界阈值；

基于所述第三图像数据的像素值及第二截断比例，确定截断上界阈值；

将所述第三图像数据中小于所述截断下界阈值的像素值置为所述截断下界阈值，将所述第三图像数据中大于所述截断上界阈值的像素值置为所述截断上界阈值，获得该视角对应的截断图像数据；

对所述截断图像数据进行归一化处理，获得该视角对应的所述第二图像数据。

本公开实施例的另一个方面，提供一种原始图像的处理装置，包括：

获取模块，用于获取至少一个视角中各所述视角分别对应的原始图像数据；

第一处理模块，用于对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据；

第二处理模块，用于对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据；

第三处理模块，用于基于各所述视角分别对应的所述第二图像数据，确定任意相邻视角的图像变换关系；

第四处理模块，用于基于所述图像变换关系，对各所述视角分别对应的所述原始图像数据进行拼接，获得各所述原始图像数据的拼接图像数据。

在本公开一实施方式中，所述第一处理模块包括：

第一确定单元，用于针对任一所述视角，基于该视角的所述原始图像数据的各通道分别对应的像素值，确定各所述通道分别对应的像素均值；

第二确定单元，用于基于各所述通道分别对应的所述像素均值，确定像素均值模长；

第一处理单元，用于基于所述像素均值模长和各所述通道分别对应的所述像素均值，对该视角的所述原始图像数据进行归一化处理，获得该视角对应的所述第一图像数据。

在本公开一实施方式中，所述第二处理模块包括：

第三确定单元，用于针对任一所述视角，基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，所述图像曝光序列包括第一数量个曝光图像；

第四确定单元，用于针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重；

第五确定单元，用于基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据；

第二处理单元，用于对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据。

在本公开一实施方式中，所述第三确定单元具体用于：

将所述第一图像数据的像素值分别乘以第一数量个预设值，获得第一数量个第四图像数据；

根据预设截断规则，对各所述第四图像数据的像素值进行截断处理，获得第一数量个所述曝光图像。

在本公开一实施方式中，所述第四确定单元具体用于：

针对任一所述曝光图像，将该曝光图像转换到灰度空间，获得该曝光图像对应的灰度图；

对所述灰度图进行拉普拉斯变换，获得该曝光图像对应的对比度；

基于该曝光图像的各通道的像素值，确定各所述通道分别对应的标准差；

基于各所述通道分别对应的标准差，确定该曝光图像对应的饱和度；

基于该曝光图像的各通道的像素值及第一映射规则，确定该曝光图像对应的曝光度；

基于该曝光图像对应的所述对比度、所述饱和度和所述曝光度，确定该曝光图像对应的权重。

在本公开一实施方式中，所述第五确定单元具体用于：

基于各所述曝光图像分别对应的权重，对各所述曝光图像进行加权平均，获得该视角对应的所述第三图像数据。

在本公开一实施方式中，所述第二处理单元具体用于：

基于所述第三图像数据的像素值及第一截断比例，确定截断下界阈值；

基于所述第三图像数据的像素值及第二截断比例，确定截断上界阈值；

将所述第三图像数据中小于所述截断下界阈值的像素值置为所述截断下界阈值，将所述第三图像数据中大于所述截断上界阈值的像素值置为所述截断上界阈值，获得该视角对应的截断图像数据；

对所述截断图像数据进行归一化处理，获得该视角对应的所述第二图像数据。

据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现本公开上述任一实施例所述的原始图像的处理方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：

存储器，用于存储计算机程序产品；

处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现本公开上述任一实施例所述的原始图像的处理方法。

本公开提供的原始图像的处理方法、装置、电子设备和存储介质，通过对获取的至少一个视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据，再对各第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据，进而基于各视角分别对应的第二图像数据确定相邻视角的图像变换关系，最后可以基于相邻视角的图像变换关系，进行相邻视角的原始图像数据的拼接，获得不同视角的原始图像数据的拼接图像数据，从而实现原始图像数据的图像拼接，为后期处理有效保留原始图像数据的高维信息，解决传统LDR图像拼接容易造成图像信息损失等问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是本公开一个示例性实施例提供的原始图像的处理方法的流程示意图；

图2是本公开另一个示例性实施例提供的原始图像的处理方法的流程示意图；

图3是本公开一示例性实施例提供的步骤203的流程示意图；

图4是本公开一示例性实施例提供的原始图像的处理装置的结构示意图；

图5是本公开另一示例性实施例提供的原始图像的处理装置的结构示意图；

图6是本公开电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，传统的图像拼接通常是基于LDR(LowDynamic Range，低动态范围图像)图像进行拼接，但是LDR图像损失了很多图像信息，在后期处理方面会有较大的限制。

示例性概述

在房产领域，为了能够为用户提供在线看房的真实体验，通常会为用户提供VR(Virtual Reality，虚拟现实)看房服务，VR场景是基于房屋内多个游走点位的全景图拼接实现，为了能够为用户提供更好效果的全景图，利用本公开的原始图像的处理方法可以实现不同视角的原始图像数据的图像拼接，从而可以有效保留原始图像数据的光照及色彩等细节信息，相对于LDR图像，原始图像数据在后期处理具有更大优势。本公开实施例中原始图像数据是指图像传感器采集的原始数据(RAW数据)，是CMOS或者CCD图像传感器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理的HDR(High Dynamic Range，高动态范围)图像数据，利用本公开的原始图像的处理方法，可以对获取的至少一个视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据，再对各第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据，进而基于各视角分别对应的第二图像数据确定相邻视角的图像变换关系，最后可以基于相邻视角的图像变换关系，进行相邻视角的原始图像数据的拼接，获得不同视角的原始图像数据的拼接图像数据，从而实现原始图像数据的图像拼接，为后期处理有效保留原始图像数据的高维信息，解决传统LDR图像拼接容易造成图像信息损失等问题。

需要说明的是，本公开的原始图像的处理方法不限于应用于上述的房产领域，还可以应用于其他任意需要进行图像拼接的领域或场景，比如自动驾驶领域、线上展览场景、旅游景点，等等。具体场景可以根据实际需求设置。

示例性方法

图1是本公开一个示例性实施例提供的原始图像的处理方法的流程示意图。该方法包括以下步骤：

步骤201，获取至少一个视角中各视角分别对应的原始图像数据。

在一个可选示例中，视角是指图像传感器(比如摄像头)的观察方向，摄像头的每个位姿对应一个视角，原始图像数据是图像传感器采集的未经处理的RAW数据。至少一个视角中各视角可以是不同时间的也可以是同一时间的，可以是同一图像传感器的不同视角，也可以是不同图像传感器的视角，本公开不做限定。

步骤202，对各视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据。

在一个可选示例中，白平衡处理可以采用任意可实施的白平衡算法，比如灰度世界法、完美反射算法、动态阈值算法，等等，只要能够实现原始图像数据各通道之间的平衡即可，具体可以根据实际需求设置。

步骤203，对各视角分别对应的第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据。

在一个可选示例中，色调映射处理可以采用任意可实施的色调映射算法或方式，比如基于对比度、饱和度和曝光度的色调映射算法，具体可以根据实际需求设置。色调映射处理用于将第一图像数据映射到视觉效果较好的彩色图以便于特征提取，为原始图像数据的拼接提供依据。

步骤204，基于各视角分别对应的第二图像数据，确定任意相邻视角的图像变换关系。

其中，相邻视角的图像变换关系用于实现一个视角的原始图像数据映射到另一个视角对应的坐标系，或者将两视角的原始图像数据映射到统一的坐标系，比如世界坐标系，具体可以根据实际需求设置。

在一个可选示例中，可以基于相邻视角的第二图像数据进行特征提取及特征匹配，确定出相邻视角中相同的特征，用于确定相邻视角对应的相对相机位姿，进而基于相对相机位姿确定图像变换关系。

在一个可选示例中，若能够确定某一视角的绝对位姿，还可以基于相邻视角的相对相机位姿，确定各视角分别对应的相机位姿，进而可以基于各视角分别对应的相机位姿，确定图像变换关系，用于原始图像数据的拼接。

步骤205，基于图像变换关系，对各视角分别对应的原始图像数据进行拼接，获得各原始图像数据的拼接图像数据。

在确定了相邻视角的图像变换关系后，可以基于相邻视角的图像变换关系将相邻视角的原始图像数据进行拼接，当有多于两个视角时，可以先进行两个相邻视角的拼接，再与第三个视角进行拼接，以此类推，直至完成所有视角的拼接，具体可以根据实际需求设置。

本公开实施例提供的原始图像的处理方法，通过对获取的至少一个视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据，再对各第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据，进而基于各视角分别对应的第二图像数据确定相邻视角的图像变换关系，最后可以基于相邻视角的图像变换关系，进行相邻视角的原始图像数据的拼接，获得不同视角的原始图像数据的拼接图像数据，从而实现原始图像数据的图像拼接，为后期处理有效保留原始图像数据的高维信息，解决传统LDR图像拼接容易造成图像信息损失等问题。

图2是本公开另一个示例性实施例提供的原始图像的处理方法的流程示意图。

在一个可选实施例中，步骤202的对各视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据，包括：

步骤2021，针对任一视角，基于该视角的原始图像数据的各通道分别对应的像素值，确定各通道分别对应的像素均值。

其中，原始图像数据包括R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)三个通道的原始数据，每个通道可以包括M×N个像素，每个像素对应一个像素值，则原始图像数据可以表示为M×N×3的原始数据，对于每个通道，将该通道的M×N个像素值求均值(即各像素值相加之和除以像素数量(M×N))，即可获得该通道对应的像素均值，表示为：

Mean(RGB)＝[Mean(R),Mean(G),Mean(B)]。

其中，Mean(R)、Mean(G)、Mean(B)分别表示R通道、G通道和B通道的像素均值。

步骤2022，基于各通道分别对应的像素均值，确定像素均值模长。

其中，像素均值模长是指Mean(RGB)的模长，表示为：

步骤2023，基于像素均值模长和各通道分别对应的像素均值，对该视角的原始图像数据进行归一化处理，获得该视角对应的第一图像数据。

其中，归一化处理是指将三个通道的像素值变换到较为统一的范围内，避免各通道的像素值相差太大，从而实现原始图像数据的白平衡。

示例性的，归一化处理表示如下：

Raw(R)’＝Raw(R)*(Len(RGB)/Mean(R))

Raw(G)’＝Raw(G)*(Len(RGB)/Mean(G))

Raw(B)’＝Raw(B)*(Len(RGB)/Mean(B))

其中，Raw(R)、Raw(G)、Raw(B)分别表示原始图像数据中R通道、G通道和B通道的像素值，Raw(R)’、Raw(G)’和Raw(B)’分别表示R通道、G通道和B通道的归一化后的像素值。

本实施例通过原始图像数据各通道的像素均值和像素均值模长对原始图像数据进行归一化处理，实现原始图像数据的白平衡，提高原始图像数据的视角效果，为后续的特征提取及匹配打基础。

在一个可选实施例中，步骤203的对各视角分别对应的第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据，包括：

步骤2031，针对任一视角，基于该视角的第一图像数据，确定该视角对应的图像曝光序列，图像曝光序列包括第一数量个曝光图像。

其中，第一数量可以根据实际需求设置，比如第一数量设置为4或其他数值，具体不作限定。图像曝光序列可以基于任意可实施的方式确定，本实施例不做限定。比如，通过将第一图像数据分别乘以第一数量个不同的值，并做[0,1]截断，获得第一数量个曝光图像，作为图像曝光序列。每个视角对应确定第一数量个曝光图像。每个曝光图像尺寸与第一图像数据一致。

步骤2032，针对任一曝光图像，基于该曝光图像，确定该曝光图像对应的权重。

其中，曝光图像对应的权重用于表征在多个曝光图像进行加权过程中该曝光图像所占分量。

在一个可选示例中，曝光图像对应的权重可以是归一化后的权重，也可以是未进行归一化的权重，对于未进行归一化的权重，在后续加权时需要求平均，对于归一化后的权重，后续直接加权求和即可，具体可以根据实际需求设置。

在一个可选示例中，针对任一个曝光图像，可以基于该曝光图像的对比度、饱和度、曝光度中的至少一种来确定该曝光图像的权重，具体可以根据实际需求设置。

步骤2033，基于各曝光图像及各曝光图像分别对应的权重，确定该视角对应的第三图像数据。

在一个可选示例中，可以基于各曝光图像分别对应的权重将各曝光图像进行融合，获得该视角对应的第三图像数据。

步骤2034，对第三图像数据进行截断归一化处理，获得该视角对应的第二图像数据。

其中，截断归一化处理是指将第三图像数据按像素值大小进行一定比例的截断，确定出截断后的像素值范围，基于该截断后的像素值范围进行归一化处理，获得该视角的第二图像数据。具体截断比例可以根据实际需求设置，本公开不做限定。

本实施例通过多个曝光图像融合并进行截断归一化实现第一图像数据的色调映射，获得第一图像数据对应的视觉效果较好的彩色图，以便于提取特征实现RAW数据的拼接。

图3是本公开一示例性实施例提供的步骤203的流程示意图。

在一个可选实施例中，步骤2031的基于该视角的第一图像数据，确定该视角对应的图像曝光序列，包括：

步骤20311，将第一图像数据的像素值分别乘以第一数量个预设值，获得第一数量个第四图像数据。

示例性的，将第一图像数据的像素值分别乘以1、4、15、64四个预设值，可以获得四个第四图像数据。

步骤20312，根据预设截断规则，对各第四图像数据的像素值进行截断处理，获得第一数量个曝光图像。

其中，预设截断规则可以根据实际需求设置，比如[0,1]截断，即将第四图像数据中像素值大于1的值更新为1，将第四图像数据中像素值小于0的数据更新为0，从而实现[0,1]截断。

示例性的，对上述示例中的四个第四图像数据进行[0,1]截断，获得四个曝光图像，表示为Exp(i)，i＝1、2、3、4。

本实施例通过乘以不同的预设值并进行截断获得图像曝光序列，为后续的色调映射做准备，以提高图像的视觉效果。

在一个可选实施例中，步骤2032的针对任一曝光图像，基于该曝光图像，确定该曝光图像对应的权重，包括：

步骤20321，针对任一曝光图像，将该曝光图像转换到灰度空间，获得该曝光图像对应的灰度图。

其中，将曝光图像转换到灰度空间可以采用任意可实施的转换方式，比如亮度优先转换方式、平均亮度转换方式、最大亮度转换方式，等等，本公开不作限定。

步骤20322，对灰度图进行拉普拉斯变换，获得该曝光图像对应的对比度。

其中，拉普拉斯变换用于检测物体的边缘信息，对于灰度图中灰度值无变化的区域，拉普拉斯变换后的图像在该区域的强度值为0，在灰度值剧烈变换的区域，拉普拉斯变换后的图像在该区域的强度值的绝对值较大，因此可以基于拉普拉斯变换获得曝光图像的对比度，曝光图像的对比度是M×N的对比度图，即每个像素对应一个对比度值。

在一个可选实施例中，还可以采用其他方式确定曝光图像对应的对比度，具体可以根据实际需求设置。

步骤20323，基于该曝光图像的各通道的像素值，确定各通道分别对应的标准差。

其中，对于该曝光图像的任一通道(R通道、G通道或B通道)，基于该通道的M×N个像素值，确定该通道对应的标准差，标准差可以表征该通道的像素值的离散程度。标准差可以通过该通道的各像素值的平均数方差开平方获得，具体原理不再赘述。

步骤20323与步骤20321-20322不分先后顺序。

步骤20324，基于各通道分别对应的标准差，确定该曝光图像对应的饱和度。

其中，曝光图像对应的饱和度表征了曝光图像的图像色彩的鲜艳程度或纯洁程度，饱和度越高色彩越纯，饱和度越低则逐渐变灰。

示例性的，将各通道分别对应的标准差进行累加求和，将累加和作为该曝光图像对应的饱和度，一个曝光图像对应的饱和度为饱和度图，尺寸为M×N，即每个像素对应一个饱和度值。

步骤20325，基于该曝光图像的各通道的像素值及第一映射规则，确定该曝光图像对应的曝光度。

其中，第一映射规则可以根据实际需求设置。

在一个可选示例中，对于曝光图像Exp(i)，其RGB三通道表示为P0(RGB)＝[P0(R),P0(G),P0(B)]，P0(R)、P0(G)、P0(B)的尺寸均为M×N。每个通道的像素值减去第一预设值(比如0.5)后再平方，得到P1(RGB)＝[P1(R),P1(G),P1(B)]，再对P1(RGB)进行幂运算(即每个像素值的n次方，n为预设数值)，获得P2(RGB)＝[P2(R),P2(G),P2(B)]，将P2(RGB)的三个通道的值相乘(P2(R)、P2(G)、P2(B)中对应位置的像素值相乘)，获得M×N的曝光度，即每个像素对应一个曝光度值。

步骤20325与步骤20321-20322及步骤20323-20324不分先后顺序。

步骤20326，基于该曝光图像对应的对比度、饱和度和曝光度，确定该曝光图像对应的权重。

在一个可选示例中，将该曝光图像对应的对比度、饱和度和曝光度对应元素相乘，获得该曝光图像对应的权重，即权重也为M×N的权重图，每个像素对应一个权重值。

本实施例综合曝光图像的对比度、饱和度和曝光度，确定曝光图像的权重，用于各曝光图像的融合，有效增强图像，便于进行特征提取，为原始图像数据的拼接提供有效的依据。

在一个可选实施例中，步骤2033的基于各曝光图像及各曝光图像分别对应的权重，确定该视角对应的第三图像数据，包括：

步骤20331，基于各曝光图像分别对应的权重，对各曝光图像进行加权平均，获得该视角对应的第三图像数据。

示例性的，对于曝光图像Exp(i)，其对应的权重表示为W(i)，i＝1,2,…,m，m表示第一数量，则第三图像数据可以表示为：

Map＝(W(1)*Exp(1)+…+W(m)*Exp(m))/W(sum)

其中，W(sum)＝W(1)+…+W(m)。

在一个可选实施例中，步骤2034的对第三图像数据进行截断归一化处理，获得该视角对应的第二图像数据，包括：

步骤20341，基于第三图像数据的像素值及第一截断比例，确定截断下界阈值。

其中，第一截断比例可以根据实际需求设置，比如像素值从小到大排列的5‰作为截断下界阈值Valmin，即将排名5‰的像素值作为截断下界阈值。比如1000个像素值从小到大排列，第5个像素值作为截断下界阈值。

步骤20342，基于第三图像数据的像素值及第二截断比例，确定截断上界阈值。

其中，第二截断比例可以根据实际需求设置，比如可以从像素值最大侧开始选择排名95‰的像素值作为截断上界阈值Valmax。

步骤20343，将第三图像数据中小于截断下界阈值的像素值置为截断下界阈值，将第三图像数据中大于截断上界阈值的像素值置为截断上界阈值，获得该视角对应的截断图像数据。

具体的，将第三图像数据中小于Valmin的像素值更新为Valmin，将大于Valmax的像素值更新为Valmax，实现像素值的截断，以进一步提升图像质量。

步骤20344，对截断图像数据进行归一化处理，获得该视角对应的第二图像数据。

其中，归一化处理是将截断图像数据中的像素值归一化到[0,1]范围，表示如下：

Map(x,y)＝(Map(x,y)–Valmin)/(Valmax–Valmin)

其中，(x,y)表示截断图像数据中的像素位置，Map(x,y)表示(x,y)位置处的像素值。

本实施例通过截断归一化实现图像的增强，进一步提升图像质量，便于后续特征提取用于RAW数据的图像拼接。

本公开各实施例可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置。

本公开实施例提供的任一种原始图像的处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种原始图像的处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种原始图像的处理方法。下文不再赘述。

示例性装置

图4是本公开一示例性实施例提供的原始图像的处理装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图4所示的装置包括：获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。

获取模块501，用于获取至少一个视角中各视角分别对应的原始图像数据。

第一处理模块502，用于对各视角分别对应的原始图像数据进行白平衡处理，获得各视角分别对应的白平衡后的第一图像数据。

第二处理模块503，用于对各视角分别对应的第一图像数据进行色调映射处理，获得各视角分别对应的第二图像数据。

第三处理模块504，用于基于各视角分别对应的第二图像数据，确定任意相邻视角的图像变换关系。

第四处理模块505，用于基于图像变换关系，对各视角分别对应的原始图像数据进行拼接，获得各原始图像数据的拼接图像数据。

图5是本公开另一示例性实施例提供的原始图像的处理装置的结构示意图。

在一个可选实施例中，第一处理模块502包括：

第一确定单元5021，用于针对任一视角，基于该视角的原始图像数据的各通道分别对应的像素值，确定各通道分别对应的像素均值。

第二确定单元5022，用于基于各通道分别对应的像素均值，确定像素均值模长。

第一处理单元5023，用于基于像素均值模长和各通道分别对应的像素均值，对该视角的原始图像数据进行归一化处理，获得该视角对应的第一图像数据。

在一个可选实施例中，第二处理模块503包括：

第三确定单元5031，用于针对任一视角，基于该视角的第一图像数据，确定该视角对应的图像曝光序列，图像曝光序列包括第一数量个曝光图像。

第四确定单元5032，用于针对任一曝光图像，基于该曝光图像，确定该曝光图像对应的权重。

第五确定单元5033，用于基于各曝光图像及各曝光图像分别对应的权重，确定该视角对应的第三图像数据。

第二处理单元5034，用于对第三图像数据进行截断归一化处理，获得该视角对应的第二图像数据。

在一个可选实施例中，第三确定单元5031具体用于：

将第一图像数据的像素值分别乘以第一数量个预设值，获得第一数量个第四图像数据；根据预设截断规则，对各第四图像数据的像素值进行截断处理，获得第一数量个曝光图像。

在一个可选实施例中，第四确定单元5032具体用于：

针对任一曝光图像，将该曝光图像转换到灰度空间，获得该曝光图像对应的灰度图；对灰度图进行拉普拉斯变换，获得该曝光图像对应的对比度；基于该曝光图像的各通道的像素值，确定各通道分别对应的标准差；基于各通道分别对应的标准差，确定该曝光图像对应的饱和度；基于该曝光图像的各通道的像素值及第一映射规则，确定该曝光图像对应的曝光度；基于该曝光图像对应的对比度、饱和度和曝光度，确定该曝光图像对应的权重。

在一个可选实施例中，第五确定单元5033具体用于：

基于各曝光图像分别对应的权重，对各曝光图像进行加权平均，获得该视角对应的第三图像数据。

在一个可选实施例中，第二处理单元5034具体用于：

基于第三图像数据的像素值及第一截断比例，确定截断下界阈值；基于第三图像数据的像素值及第二截断比例，确定截断上界阈值；将第三图像数据中小于截断下界阈值的像素值置为截断下界阈值，将第三图像数据中大于截断上界阈值的像素值置为截断上界阈值，获得该视角对应的截断图像数据；对截断图像数据进行归一化处理，获得该视角对应的第二图像数据。

另外，本公开实施例还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的原始图像的处理方法。

图6是本公开电子设备一个应用实施例的结构示意图。如图6所示，电子设备包括一个或多个处理器和存储器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以存储一个或多个计算机程序产品，所述存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。

在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置还可以包括例如键盘、鼠标等等。

该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种原始图像的处理方法，其特征在于，包括：

获取至少一个视角中各所述视角分别对应的原始图像数据；

对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据；

对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据；

基于各所述视角分别对应的所述第二图像数据，确定任意相邻视角的图像变换关系；

基于所述图像变换关系，对各所述视角分别对应的所述原始图像数据进行拼接，获得各所述原始图像数据的拼接图像数据；

所述对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据，包括：

针对任一所述视角，基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，所述图像曝光序列包括第一数量个曝光图像；

针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重；

基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据；

对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据。

2.根据权利要求1所述的方法，其特征在于，所述对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据，包括：

针对任一所述视角，基于该视角的所述原始图像数据的各通道分别对应的像素值，确定各所述通道分别对应的像素均值；

基于各所述通道分别对应的所述像素均值，确定像素均值模长；

基于所述像素均值模长和各所述通道分别对应的所述像素均值，对该视角的所述原始图像数据进行归一化处理，获得该视角对应的所述第一图像数据。

3.根据权利要求1所述的方法，其特征在于，所述基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，包括：

将所述第一图像数据的像素值分别乘以第一数量个预设值，获得第一数量个第四图像数据；

根据预设截断规则，对各所述第四图像数据的像素值进行截断处理，获得第一数量个所述曝光图像。

4.根据权利要求1所述的方法，其特征在于，所述针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重，包括：

针对任一所述曝光图像，将该曝光图像转换到灰度空间，获得该曝光图像对应的灰度图；

对所述灰度图进行拉普拉斯变换，获得该曝光图像对应的对比度；

基于该曝光图像的各通道的像素值，确定各所述通道分别对应的标准差；

基于各所述通道分别对应的标准差，确定该曝光图像对应的饱和度；

基于该曝光图像的各通道的像素值及第一映射规则，确定该曝光图像对应的曝光度；

基于该曝光图像对应的所述对比度、所述饱和度和所述曝光度，确定该曝光图像对应的权重。

5.根据权利要求1所述的方法，其特征在于，所述基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据，包括：

基于各所述曝光图像分别对应的权重，对各所述曝光图像进行加权平均，获得该视角对应的所述第三图像数据。

6.根据权利要求1所述的方法，其特征在于，所述对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据，包括：

基于所述第三图像数据的像素值及第一截断比例，确定截断下界阈值；

基于所述第三图像数据的像素值及第二截断比例，确定截断上界阈值；

将所述第三图像数据中小于所述截断下界阈值的像素值置为所述截断下界阈值，将所述第三图像数据中大于所述截断上界阈值的像素值置为所述截断上界阈值，获得该视角对应的截断图像数据；

对所述截断图像数据进行归一化处理，获得该视角对应的所述第二图像数据。

7.一种原始图像的处理装置，其特征在于，包括：

获取模块，用于获取至少一个视角中各所述视角分别对应的原始图像数据；

第一处理模块，用于对各所述视角分别对应的所述原始图像数据进行白平衡处理，获得各所述视角分别对应的白平衡后的第一图像数据；

第二处理模块，用于对各所述视角分别对应的所述第一图像数据进行色调映射处理，获得各所述视角分别对应的第二图像数据；

第三处理模块，用于基于各所述视角分别对应的所述第二图像数据，确定任意相邻视角的图像变换关系；

第四处理模块，用于基于所述图像变换关系，对各所述视角分别对应的所述原始图像数据进行拼接，获得各所述原始图像数据的拼接图像数据；

所述第二处理模块包括：

第三确定单元，用于针对任一所述视角，基于该视角的所述第一图像数据，确定该视角对应的图像曝光序列，所述图像曝光序列包括第一数量个曝光图像；

第四确定单元，用于针对任一所述曝光图像，基于该曝光图像，确定该曝光图像对应的权重；

第五确定单元，用于基于各所述曝光图像及各所述曝光图像分别对应的权重，确定该视角对应的第三图像数据；

第二处理单元，用于对所述第三图像数据进行截断归一化处理，获得该视角对应的所述第二图像数据。

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6任一所述的原始图像的处理方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时，实现上述权利要求1-6任一所述的原始图像的处理方法。