CN112991163B - 一种全景图像的获取方法、装置及设备 - Google Patents

一种全景图像的获取方法、装置及设备 Download PDF

Info

Publication number
CN112991163B
CN112991163B CN201911275453.4A CN201911275453A CN112991163B CN 112991163 B CN112991163 B CN 112991163B CN 201911275453 A CN201911275453 A CN 201911275453A CN 112991163 B CN112991163 B CN 112991163B
Authority
CN
China
Prior art keywords
brightness
value
input image
target
gain coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911275453.4A
Other languages
English (en)
Other versions
CN112991163A (zh
Inventor
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911275453.4A priority Critical patent/CN112991163B/zh
Publication of CN112991163A publication Critical patent/CN112991163A/zh
Application granted granted Critical
Publication of CN112991163B publication Critical patent/CN112991163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种全景图像的获取方法、装置及设备，该方法包括：获取待拼接的多个输入图像；获取多个输入图像在拼接重叠区域的区域亮度值；根据区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；对校正后的多个输入图像进行拼接，得到全景图像。通过本申请的技术方案，可以结合伽马校正与线性校正的特点，对输入图像进行亮度校正。

Description

一种全景图像的获取方法、装置及设备
技术领域
本申请涉及图像处理领域，尤其是一种全景图像的获取方法、装置及设备。
背景技术
随着图像技术的不断发展，车载环视系统也得到了大量应用，车载环视系统包括安装在车辆上的多个摄像头，如前视摄像头和环视摄像头等。在车辆行驶过程中，这些摄像头可以实时采集图像。例如，前视摄像头用于采集车辆前方的图像，环视摄像头用于采集车辆周围的图像。基于多个摄像头采集的多个图像，全景拼接系统可以将多个图像拼接成全景图像，即360度的环视图像。
但是，由于多个摄像头的安装位置存在差异，因此，多个摄像头受到环境的影响不同，多个摄像头采集到的图像存在亮度差异，在车辆行驶过程中，亮度差异会更加明显。显然，若将亮度不同的多个图像拼接成全景图像，则图像重叠区域存在亮度差异，拼接效果较差，全景图像给用户带来的视觉体验较差。
发明内容
本申请提供一种全景图像的获取方法，所述方法包括：
获取待拼接的多个输入图像；
获取所述多个输入图像在拼接重叠区域的区域亮度值；
根据所述区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；
针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
对校正后的多个输入图像进行拼接，得到全景图像。
本申请提供一种全景图像的获取装置，所述装置包括：
第一获取模块，用于获取待拼接的多个输入图像；
第二获取模块，用于获取所述多个输入图像在拼接重叠区域的区域亮度值；
确定模块，用于根据所述区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；
处理模块，用于针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
拼接模块，用于对校正后的多个输入图像进行拼接，得到全景图像。
本申请提供一种全景图像的获取设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；其中，所述处理器用于执行机器可执行指令，以实现如下步骤：
获取待拼接的多个输入图像；
获取所述多个输入图像在拼接重叠区域的区域亮度值；
根据所述区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；
针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
对校正后的多个输入图像进行拼接，得到全景图像。
由以上技术方案可见，本申请实施例中，能够结合伽马校正与线性校正的特点，对输入图像进行亮度校正，得到亮度均衡的全景图像，修复亮度不均衡现象，消除图像重叠区域的亮度差异，拼接效果较好，用户视觉体验较好。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的车载环视系统部署多个摄像头的示意图；
图2是本申请一种实施方式中的全景图像的获取方法的流程示意图；
图3是本申请一种实施方式中的全景拼接系统的结构示意图；
图4是本申请一种实施方式中的数据处理单元的实现过程图；
图5是本申请一种实施方式中的拼接重叠区域的示意图；
图6A是本申请一种实施方式中的伽马校正的示意图；
图6B是本申请一种实施方式中的线性校正的示意图；
图7是本申请一种实施方式中的全景图像的获取装置的结构示意图；
图8是本申请一种实施方式中的全景图像的获取设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1所示，车载环视系统包括安装在车辆上的多个摄像头，如前视摄像头和环视摄像头等。在图1中，以1个前视摄像头和4个环视摄像头为例进行说明，当然，摄像头的数量可以任意配置，对此不做限制。在车辆行驶过程中，这些摄像头可以实时采集图像，如采集车辆前方的图像和车辆周围的图像。例如，前视摄像头可以为单目长焦摄像头，用于采集车辆前方的图像；环视摄像头可以为鱼眼摄像头，用于采集车辆周围的图像。基于多个摄像头采集的多个图像，全景拼接系统可以将多个图像拼接成全景图像，即360度的环视图像。
由于多个摄像头的安装位置存在差异，因此，多个摄像头受到环境的影响不同，多个摄像头采集到的图像存在亮度差异，若将亮度不同的多个图像拼接成全景图像，则图像重叠区域存在亮度差异，导致拼缝明显，拼接效果较差。
针对上述发现，本申请实施例中提出一种全景图像的获取方法，结合伽马校正与线性校正的特点，对输入图像进行亮度校正，得到亮度均衡的全景图像，修复图像亮度不均衡现象，消除图像重叠区域的亮度差异，拼接效果较好。
参见图2所示，为全景图像的获取方法的流程示意图，该方法包括：
步骤201，获取待拼接的多个输入图像。
步骤202，获取多个输入图像在拼接重叠区域的区域亮度值。
示例性的，可以确定输入图像中位于拼接重叠区域的所有像素点，并根据所有像素点的像素亮度值确定该输入图像在该拼接重叠区域的区域亮度值。
例如，可以确定输入图像1中位于拼接重叠区域A的所有像素点，而这些像素点的像素亮度值的平均值，为输入图像1在拼接重叠区域A的区域亮度值。可以确定输入图像2中位于拼接重叠区域A的所有像素点，而这些像素点的像素亮度值的平均值，为输入图像2在拼接重叠区域A的区域亮度值。可以确定输入图像1中位于拼接重叠区域B的所有像素点，而这些像素点的像素亮度值的平均值，为输入图像1在拼接重叠区域B的区域亮度值，以此类推。
步骤203，根据多个输入图像在拼接重叠区域的区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值。
针对每个拼接重叠区域，根据该拼接重叠区域的区域亮度值确定该拼接重叠区域的目标亮度优化值。然后，根据每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数。根据亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，以及每个输入图像的亮度伽马增益系数目标值。
示例性的，可以根据每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，得到亮度目标优化函数的函数值。然后，可以对每个输入图像的亮度线性增益系数初始值、每个输入图像的亮度伽马增益系数初始值进行调整，对此调整方式不做限制，将调整后的亮度线性增益系数值作为亮度线性增益系数初始值，并将调整后的亮度伽马增益系数值作为亮度伽马增益系数初始值。然后，返回执行“根据每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，得到亮度目标优化函数的函数值”，以此类推，可以进行多次迭代优化，一直到满足约束条件，停止迭代优化过程，并得到亮度目标优化函数的多个函数值。然后，可以从多个函数值中选择亮度目标优化函数的最小值，将亮度目标优化函数的最小值对应的亮度线性增益系数初始值作为亮度线性增益系数目标值，从而得到每个输入图像的亮度线性增益系数目标值。将亮度目标优化函数的最小值对应的亮度伽马增益系数初始值作为亮度伽马增益系数目标值，从而得到每个输入图像的亮度伽马增益系数目标值。
示例性的，当迭代优化的次数达到预设次数时，可以确定满足约束条件；或者，当迭代优化的时长达到预设时长时，可以确定满足约束条件；或者，当亮度目标优化函数的函数值为预设值(表示函数值已经达到优化目标)时，可以确定满足约束条件。当然，上述只是约束条件的几个示例，对此不做限制。
示例性的，针对每个拼接重叠区域，可以根据一个输入图像在该拼接重叠区域的区域亮度值，所述一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第一亮度修正值；根据另一个输入图像在该拼接重叠区域的区域亮度值，所述另一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第二亮度修正值。然后，可以根据第一亮度修正值和第二亮度修正值的差值确定该拼接重叠区域的目标亮度优化值。
步骤204，针对每个输入图像，根据该输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对该输入图像的每个像素点的像素亮度值进行校正。
示例性的，可以根据该输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值确定该输入图像的亮度校正函数，并根据该输入图像的亮度校正函数对该输入图像的每个像素点的像素亮度值进行校正。
步骤205，对校正后的多个输入图像进行拼接，得到全景图像。
在一种可能的实施方式中，可以不对输入图像的每个像素点的像素色度值进行校正，在对输入图像的每个像素点的像素亮度值进行校正之后，可以得到校正后的输入图像，并对校正后的多个输入图像进行拼接，得到全景图像。
在另一种可能的实施方式中，可以对输入图像的每个像素点的像素色度值进行校正，比如说，步骤205之前，对输入图像的每个像素点的像素色度值进行校正。在对每个像素点的像素亮度值和像素色度值进行校正之后，可以得到校正后的输入图像，并对校正后的多个输入图像进行拼接，得到全景图像。
示例性的，为了对像素色度值进行校正，可以采用如下方式：获取多个输入图像在拼接重叠区域的区域色度值；根据多个输入图像在拼接重叠区域的区域色度值确定每个输入图像的色度线性增益系数目标值；针对每个输入图像，根据该输入图像的色度线性增益系数目标值确定该输入图像的色度校正函数，根据该输入图像的色度校正函数对该输入图像的像素点的像素色度值进行校正。
根据多个输入图像在拼接重叠区域的区域色度值确定每个输入图像的色度线性增益系数目标值，可以包括但不限于：针对每个拼接重叠区域，根据一个输入图像在该拼接重叠区域的区域色度值和所述一个输入图像的色度线性增益系数初始值，确定第一色度修正值；根据另一个输入图像在该拼接重叠区域的区域色度值和所述另一个输入图像的色度线性增益系数初始值，确定第二色度修正值；根据第一色度修正值和第二色度修正值的差值确定该拼接重叠区域的目标色度优化值。根据每个拼接重叠区域的目标色度优化值和每个输入图像的色度线性增益系数初始值，建立色度目标优化函数；根据色度目标优化函数的最小值确定每个输入图像的色度线性增益系数目标值。
示例性的，可以根据每个拼接重叠区域的目标色度优化值和每个输入图像的色度线性增益系数初始值，得到色度目标优化函数的函数值。然后，可以对每个输入图像的色度线性增益系数初始值进行调整，对此调整方式不做限制，将调整后的色度线性增益系数值作为色度线性增益系数初始值。然后，返回执行“根据每个拼接重叠区域的目标色度优化值和每个输入图像的色度线性增益系数初始值，得到色度目标优化函数的函数值”，以此类推，可以进行多次迭代优化，一直到满足约束条件，停止迭代优化过程，并得到色度目标优化函数的多个函数值。然后，可以从多个函数值中选择色度目标优化函数的最小值，将色度目标优化函数的最小值对应的色度线性增益系数初始值作为色度线性增益系数目标值，从而得到每个输入图像的色度线性增益系数目标值。
示例性的，当迭代优化的次数达到预设次数时，可以确定满足约束条件；或者，当迭代优化的时长达到预设时长时，可以确定满足约束条件；或者，当色度目标优化函数的函数值为预设值(表示函数值已经达到优化目标)时，可以确定满足约束条件。当然，上述只是约束条件的几个示例，对此不做限制。
示例性的，获取多个输入图像在拼接重叠区域的区域色度值，可以包括但不限于：确定输入图像中位于拼接重叠区域的所有像素点，并根据所有像素点的像素色度值确定该输入图像在该拼接重叠区域的区域色度值。例如，可以确定输入图像1中位于拼接重叠区域A的所有像素点，而这些像素点的像素色度值的平均值，为输入图像1在拼接重叠区域A的区域色度值，以此类推。
由以上技术方案可见，本申请实施例中，能够结合伽马校正与线性校正的特点，对输入图像进行亮度校正，得到亮度均衡的全景图像，修复亮度不均衡现象，消除图像重叠区域的亮度差异，拼接效果较好，用户视觉体验较好。
以下结合具体的应用场景，对上述技术方案进行详细说明。
参见图3所示，全景拼接系统可以包括视频采集单元，数据传输单元，数据处理单元和视频显示单元。视频采集单元用于通过摄像头(图1所示的多个摄像头)采集多个原始图像。数据传输单元用于将采集到的多个原始图像传输到数据处理单元。数据处理单元用于根据多个原始图像生成亮度和色度均衡的全景图像。视频显示单元用于获取所述全景图像，并显示所述全景图像。
参见图4所示，数据处理单元用于实现如下过程：图像预处理，增益系数计算，校正函数生成，像素值校正，图像拼接。在图像预处理过程，数据处理单元用于获取待拼接的多个输入图像。在增益系数计算过程，数据处理单元用于获取亮度线性增益系数目标值，亮度伽马增益系数目标值，色度线性增益系数目标值。在校正函数生成过程，数据处理单元用于根据亮度线性增益系数目标值和亮度伽马增益系数目标值获取亮度校正函数，根据色度线性增益系数目标值获取色度校正函数。在像素值校正过程，数据处理单元用于根据亮度校正函数对每个输入图像的像素点的像素亮度值进行校正，根据色度校正函数对每个输入图像的像素点的像素色度值进行校正。在图像拼接过程，数据处理单元用于对校正后的多个输入图像进行拼接，得到全景图像。
1、图像预处理：用于获取待拼接的多个输入图像。
针对摄像头采集的原始图像，若原始图像的格式为RGB(Red Green Blue，红绿蓝)格式，则将RGB格式的原始图像转换为YUV(Luminance Chrominance，亮度色度)格式的目标图像。若原始图像的格式为YUV格式，则不需要对YUV格式的原始图像进行转换，将YUV格式的原始图像作为目标图像。
综上所述，每个原始图像对应一个目标图像，且目标图像的格式为YUV格式，即可以得到YUV格式的目标图像。针对每个目标图像，可以对该目标图像进行预处理，例如，采用直方图均衡化、图像增强、图像模糊增强中的一种或者几种算法，对目标图像进行预处理，从而达到去除局部过曝、局部过暗等问题，使得目标图像的整体均衡。对目标图像进行预处理后的图像称为输入图像，即每个目标图像对应一个输入图像，而这些输入图像就是待拼接的输入图像，至此，得到待拼接的多个输入图像，且输入图像的格式为YUV格式。
2、增益系数计算：获取多个输入图像在拼接重叠区域的区域亮度值，根据多个输入图像在拼接重叠区域的区域亮度值获取每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值。获取多个输入图像在拼接重叠区域的区域色度值，根据多个输入图像在拼接重叠区域的区域色度值获取每个输入图像的色度线性增益系数目标值。每个输入图像的亮度线性增益系数目标值，亮度伽马增益系数目标值和色度线性增益系数目标值，就可以是增益系数。
示例性的，假设需要对N个输入图像进行拼接，则拼接重叠区域可以为N个，N的取值根据实际需要配置。以4个输入图像为例，参见图5所示，假设对输入图像0，输入图像1，输入图像2和输入图像3进行拼接，输入图像0与输入图像1的拼接重叠区域为拼接重叠区域0，输入图像1与输入图像2的拼接重叠区域为拼接重叠区域1，输入图像2与输入图像3的拼接重叠区域为拼接重叠区域2，输入图像3与输入图像0的拼接重叠区域为拼接重叠区域3。
示例性的，针对区域亮度值和区域色度值的获取过程，可以参见如下方式：
针对输入图像0中位于拼接重叠区域0的所有像素点，这些像素点的像素亮度值(像素值的Y分量)的平均值，为输入图像0在拼接重叠区域0的区域亮度值，后续记为y0。这些像素点的像素色度值(像素值的U分量和像素值的V分量)的平均值，为输入图像0在拼接重叠区域0的区域色度值，像素值的U分量的平均值记为u0，像素值的V分量的平均值记为v0。针对输入图像1中位于拼接重叠区域0的所有像素点，这些像素点的像素亮度值的平均值，为输入图像1在拼接重叠区域0的区域亮度值，记为y1。这些像素点的像素色度值的平均值，为输入图像1在拼接重叠区域0的区域色度值，记为u1和v1。
输入图像1中位于拼接重叠区域1的所有像素点，这些像素点的像素亮度值的平均值，为输入图像1在拼接重叠区域1的区域亮度值y2，这些像素点的像素色度值的平均值，为输入图像1在拼接重叠区域1的区域色度值u2和v2。输入图像2中位于拼接重叠区域1的所有像素点，这些像素点的像素亮度值的平均值，为输入图像2在拼接重叠区域1的区域亮度值y3，这些像素点的像素色度值的平均值，为输入图像2在拼接重叠区域1的区域色度值u3和v3。
输入图像2中位于拼接重叠区域2的所有像素点，这些像素点的像素亮度值的平均值，为输入图像2在拼接重叠区域2的区域亮度值y4，这些像素点的像素色度值的平均值，为输入图像2在拼接重叠区域2的区域色度值u4和v4。输入图像3中位于拼接重叠区域2的所有像素点，这些像素点的像素亮度值的平均值，为输入图像3在拼接重叠区域2的区域亮度值y5，这些像素点的像素色度值的平均值，为输入图像3在拼接重叠区域2的区域色度值u5和v5。
输入图像3中位于拼接重叠区域3的所有像素点，这些像素点的像素亮度值的平均值，为输入图像3在拼接重叠区域3的区域亮度值y6，这些像素点的像素色度值的平均值，为输入图像3在拼接重叠区域3的区域色度值u6和v6。输入图像0中位于拼接重叠区域3的所有像素点，这些像素点的像素亮度值的平均值，为输入图像0在拼接重叠区域3的区域亮度值y7，这些像素点的像素色度值的平均值，为输入图像0在拼接重叠区域3的区域色度值u7和v7。
示例性的，根据多个输入图像在拼接重叠区域的区域亮度值获取每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值，包括：针对每个拼接重叠区域，根据该拼接重叠区域的区域亮度值确定该拼接重叠区域的目标亮度优化值。根据每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数。基于亮度目标优化函数的优化过程，根据亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，每个输入图像的亮度伽马增益系数目标值。
本应用场景中，将亮度线性增益系数初始值记为αi，将亮度伽马增益系数初始值记为γi，将区域亮度值对应的亮度修正值记为y’。比如说，输入图像0的亮度线性增益系数初始值为α0，输入图像0的亮度伽马增益系数初始值为γ0，输入图像1的亮度线性增益系数初始值为α1，输入图像1的亮度伽马增益系数初始值为γ1，输入图像2的亮度线性增益系数初始值为α2，输入图像2的亮度伽马增益系数初始值为γ2，输入图像3的亮度线性增益系数初始值为α3，输入图像3的亮度伽马增益系数初始值为γ3，基于上述参数，针对每个拼接重叠区域，确定该拼接重叠区域的目标亮度优化值的过程，可以参见如下方式：
针对输入图像0与输入图像1的拼接重叠区域0，根据输入图像0在该拼接重叠区域0的区域亮度值y0，输入图像0的亮度线性增益系数初始值α0和输入图像0的亮度伽马增益系数初始值γ0，确定第一亮度修正值y0’，根据输入图像1在该拼接重叠区域0的区域亮度值y1，输入图像1的亮度线性增益系数初始值α1和输入图像1的亮度伽马增益系数初始值γ1，确定第二亮度修正值y1’。
针对输入图像1与输入图像2的拼接重叠区域1，根据输入图像1在该拼接重叠区域1的区域亮度值y2，输入图像1的亮度线性增益系数初始值α1和输入图像1的亮度伽马增益系数初始值γ1，确定第一亮度修正值y2’，根据输入图像2在该拼接重叠区域1的区域亮度值y3，输入图像2的亮度线性增益系数初始值α2和输入图像2的亮度伽马增益系数初始值γ2，确定第二亮度修正值y3’。
针对输入图像2与输入图像3的拼接重叠区域2，根据区域亮度值y4，输入图像2的亮度线性增益系数初始值α2和亮度伽马增益系数初始值γ2，确定第一亮度修正值y4’，根据区域亮度值y5，输入图像3的亮度线性增益系数初始值α3和亮度伽马增益系数初始值γ3，确定第二亮度修正值y5’。
针对输入图像3与输入图像0的拼接重叠区域3，根据区域亮度值y6，输入图像3的亮度线性增益系数初始值α3和亮度伽马增益系数初始值γ3，确定第一亮度修正值y6’，根据区域亮度值y7，输入图像0的亮度线性增益系数初始值α0和亮度伽马增益系数初始值γ0，确定第二亮度修正值y7’。
在上述实施例中，关于亮度修正值与区域亮度值之间的函数关系，可以采用如下方式：
Figure BDA0002315445090000111
i＝((j+1)/2)％4，例如，
Figure BDA0002315445090000112
Figure BDA0002315445090000113
当然，上述只是亮度修正值与区域亮度值之间函数关系的示例，对此函数关系不做限制。
示例性的，针对每个拼接重叠区域，可以利用该拼接重叠区域的两个亮度修正值(即第一亮度修正值和第二亮度修正值)的差值，确定该拼接重叠区域的目标亮度优化值，可以将目标亮度优化值记为q。例如，拼接重叠区域0的目标亮度优化值q0，拼接重叠区域1的目标亮度优化值q1，拼接重叠区域2的目标亮度优化值q2，拼接重叠区域3的目标亮度优化值q3。
在一种可能的实施方式中，q0可以为(y′0-y′1)2，q1为(y′2-y′3)2，q2为(y′4-y′5)2，q3为(y′6-y′7)2。或者，在另一种可能的实施方式中，q0可以为(lny′0-lny′1)2，q1为(lny′2-lny′3)2，q2为(lny′4-lny′5)2，q3为(lny′6-lny′7)2。
当然，上述方式只是两个示例，对此不做限制，只要根据拼接重叠区域的两个亮度修正值的差值，确定该拼接重叠区域的目标亮度优化值即可。
示例性的，针对建立亮度目标优化函数的过程，可以根据每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数，亮度目标优化函数的示例可以为：
Figure BDA0002315445090000121
参见上述实施例，N为输入图像的数量，M为拼接重叠区域的数量，拼接重叠区域的数量M与输入图像的数量N可以相同，也可以不同，对此不做限制，例如，当拼接重叠区域为闭环时，M可以为N。当拼接重叠区域为开环时，M可以为N-1。当然，上述只是示例，为了方便描述，后续以M为N为例。以M和N均为4为例，将每个拼接重叠区域的目标亮度优化值(如q0，q1，q2，q3)代入亮度目标优化函数，q0，q1，q2，q3均与两个亮度修正值的差值有关，而亮度修正值与区域亮度值，每个输入图像的亮度线性增益系数初始值αi和每个输入图像的亮度伽马增益系数初始值γi有关，区域亮度值为已知值，因此，q0，q1，q2，q3均与αi和γi有关。综上所述，可以得到亮度目标优化函数fy，亮度目标优化函数fy是一个与每个输入图像的亮度线性增益系数初始值αi和每个输入图像的亮度伽马增益系数初始值γi有关的函数。
当然，上述亮度目标优化函数只是一个示例，对此不做限制，只要亮度目标优化函数fy与每个拼接重叠区域的目标亮度优化值，αi和γi有关即可。fy的修正目标是在修正量尽量少的情况下，拼接重叠区域的亮度越接近越好。
显然，通过不断调整每个输入图像的亮度线性增益系数初始值αi(如输入图像0的α0，输入图像1的α1，输入图像2的α2，输入图像3的α3)的取值和每个输入图像的亮度伽马增益系数初始值γi(如输入图像0的γ0，输入图像1的γ1，输入图像2的γ2，输入图像3的γ3)的取值，亮度目标优化函数可以得到不同的函数值，对此调整过程不做限制，优化的目标是使亮度目标优化函数的函数值越来越小。最终，在满足约束条件时，从所有函数值中选择亮度目标优化函数的最小值。在得到亮度目标优化函数的最小值时，可以将所有初始值αi中与最小值对应的取值，作为亮度线性增益系数目标值，并可以将所有初始值γi中与最小值对应的取值，作为亮度伽马增益系数目标值。例如，可以将输入图像0的所有亮度线性增益系数初始值α0中与最小值对应的初始值，作为输入图像0的亮度线性增益系数目标值，同理，可以得到输入图像1的亮度线性增益系数目标值，输入图像2的亮度线性增益系数目标值，输入图像3的亮度线性增益系数目标值。例如，可以将输入图像0的所有亮度伽马增益系数初始值γ0中与最小值对应的初始值γ0，作为输入图像0的亮度伽马增益系数目标值，同理，可以得到输入图像1的亮度伽马增益系数目标值，输入图像2的亮度伽马增益系数目标值，输入图像3的亮度伽马增益系数目标值。
示例性的，参见上述亮度目标优化函数，使亮度目标优化函数的函数值越来越小的过程，就是亮度目标优化函数的函数值不断接近0的过程。
理论上，当亮度目标优化函数的函数值为0时，则q0，q1，q2，q3均需要为0。q0为0时，说明y0’与y1’的差值为0，即针对拼接重叠区域0来说，亮度修正值y0’与亮度修正值y1’是亮度均衡的，从而消除拼接重叠区域0的亮度差异。同理，q1为0时，消除拼接重叠区域1的亮度差异。q2为0时，消除拼接重叠区域2的亮度差异。q3为0时，消除拼接重叠区域3的亮度差异。
示例性的，根据多个输入图像在拼接重叠区域的区域色度值获取每个输入图像的色度线性增益系数目标值，可以包括：针对每个拼接重叠区域，根据该拼接重叠区域的区域色度值确定该拼接重叠区域的目标色度优化值。根据每个拼接重叠区域的目标色度优化值和每个输入图像的色度线性增益系数初始值，建立色度目标优化函数。基于色度目标优化函数的优化过程，根据色度目标优化函数的最小值确定每个输入图像的色度线性增益系数目标值。
示例性的，本应用场景中，将色度U的色度线性增益系数初始值记为αi0，将色度V的色度线性增益系数初始值记为αi1，将色度U的区域色度值对应的色度修正值记为u’，将色度V的区域色度值对应的色度修正值记为v’。比如说，输入图像0的色度线性增益系数初始值为α00和α01，输入图像1的色度线性增益系数初始值为α10和α11，输入图像2的色度线性增益系数初始值为α20和α21，输入图像3的色度线性增益系数初始值为α30和α31，基于上述参数，针对每个拼接重叠区域，确定该拼接重叠区域的目标色度优化值的过程，可以参见如下方式：
针对输入图像0与输入图像1的拼接重叠区域0，根据输入图像0在该拼接重叠区域0的区域色度值u0和输入图像0的色度线性增益系数初始值α00确定色度修正值u0’，根据输入图像1在该拼接重叠区域0的区域色度值u1和输入图像1的色度线性增益系数初始值α10确定色度修正值u1’。根据输入图像0在该拼接重叠区域0的区域色度值v0和输入图像0的色度线性增益系数初始值α01确定色度修正值v0’，根据输入图像1在该拼接重叠区域0的区域色度值v1和输入图像1的色度线性增益系数初始值α11确定色度修正值v1’。
针对输入图像1与输入图像2的拼接重叠区域1，根据区域色度值u2和输入图像1的色度线性增益系数初始值α10确定色度修正值u2’，根据区域色度值u3和输入图像2的色度线性增益系数初始值α20确定色度修正值u3’。根据区域色度值v2和输入图像1的色度线性增益系数初始值α11确定色度修正值v2’，根据区域色度值v3和输入图像2的色度线性增益系数初始值α21确定色度修正值v3’。
针对输入图像2与输入图像3的拼接重叠区域2，根据区域色度值u4和输入图像2的色度线性增益系数初始值α20确定色度修正值u4’，根据区域色度值u5和输入图像3的色度线性增益系数初始值α30确定色度修正值u5’。根据区域色度值v4和输入图像2的色度线性增益系数初始值α21确定色度修正值v4’，根据区域色度值v5和输入图像3的色度线性增益系数初始值α31确定色度修正值v5’。
针对输入图像3与输入图像0的拼接重叠区域3，根据区域色度值u6和输入图像3的色度线性增益系数初始值α30确定色度修正值u6’，根据区域色度值u7和输入图像0的色度线性增益系数初始值α00确定色度修正值u7’。根据区域色度值v6和输入图像3的色度线性增益系数初始值α31确定色度修正值v6’，根据区域色度值v7和输入图像0的色度线性增益系数初始值α01确定色度修正值v7’。
在上述实施例中，关于色度修正值与区域色度值之间的函数关系，可以采用如下方式实现：u′j＝αi0uj，v′j＝αi1vj，i＝((j+1)/2)％4。例如，u′0＝α00u0，…，u′6＝α30u6，u′7＝α00u7。又例如，v′0＝α01v0，…，v′6＝α31v6，v′7＝α01v7。当然，上述只是色度修正值与区域色度值之间函数关系的示例，对此不做限制。
针对每个拼接重叠区域，利用该拼接重叠区域的两个色度修正值的差值，确定该拼接重叠区域的目标色度优化值，记w和p。例如，拼接重叠区域0的目标色度优化值w0和p0，拼接重叠区域1的目标色度优化值w1和p1，拼接重叠区域2的目标色度优化值w2和p2，拼接重叠区域3的目标色度优化值w3和p3。
在一种可能的实施方式中，w0可以为(u′0-u′1)2，w1为(u′2-u′3)2，w2为(u′4-u′5)2，w3为(u′6-u′7)2。p0可以为(v′0-v′1)2，p1为(v′2-v′3)2，p2为(v′4-v′5)2，p3为(v′6-v′7)2。或者，在另一种可能的实施方式中，w0可以为(lnu′0-lnu′1)2，w1为(lnu′2-lnu′3)2，w2为(lnu′4-lnu′5)2，w3为(lnu′６－lnu′7)2。p0可以为(lnv′0-lnv′1)2，p1为(lnv′2-lnv′3)2，p2为(lnv′4-lnv′5)2，p3为(lnv′6-lnv′7)2。
当然，上述方式只是两个示例，对此不做限制，只要根据拼接重叠区域的两个色度修正值的差值，确定该拼接重叠区域的目标色度优化值即可。
示例性的，针对建立色度目标优化函数的过程，可以根据每个拼接重叠区域的目标色度优化值，每个输入图像的色度线性增益系数初始值，建立色度目标优化函数，如色度U的色度目标优化函数和色度V的色度目标优化函数，色度U的色度目标优化函数和色度V的色度目标优化函数的示例可以为：
Figure BDA0002315445090000151
Figure BDA0002315445090000152
参见上述实施例，N为输入图像的数量，M为拼接重叠区域的数量，拼接重叠区域的数量M与输入图像的数量N可以相同，也可以不同。以M和N均为4为例，可以将每个拼接重叠区域的目标色度优化值w0，w1，w2，w3代入色度U的色度目标优化函数，w0，w1，w2，w3均与两个色度修正值的差值有关，而色度修正值与区域色度值和每个输入图像的色度线性增益系数初始值αi0有关，区域色度值为已知值，因此，w0，w1，w2，w3均与αi0有关。综上所述，可以得到色度U的色度目标优化函数fu，fu是一个与每个输入图像的色度线性增益系数初始值αi0有关的函数。
当然，上述只是示例，对此不做限制，只要fu与每个拼接重叠区域的目标色度优化值和αi0有关即可。fu的修正目标是在修正量尽量少的情况下，拼接重叠区域的色度越接近越好。显然，通过不断调整每个输入图像的色度线性增益系数初始值αi0(如输入图像0的α00，输入图像1的α10，输入图像2的α20，输入图像3的α30)的取值，fu得到不同的函数值，对此调整过程不做限制，优化目标是使fu的函数值越来越小。最终，在满足约束条件时，从所有函数值中选择fu的最小值。在得到fu的最小值时，可以将所有初始值αi0中与最小值对应的取值，作为色度U的色度线性增益系数目标值。例如，可以将输入图像0的所有色度线性增益系数初始值α00中与最小值对应的初始值，作为输入图像0的色度线性增益系数目标值，同理，可以得到输入图像1的色度线性增益系数目标值，输入图像2的色度线性增益系数目标值，输入图像3的色度线性增益系数目标值。
参见上述色度目标优化函数fu，使色度目标优化函数fu的函数值越来越小的过程，就是色度目标优化函数fu的函数值不断接近0的过程。当色度目标优化函数fu的函数值为0时，w0，w1，w2，w3均为0。w0为0时，针对拼接重叠区域0来说，色度U的色度修正值是色度均衡的，从而消除拼接重叠区域0的色度U差异。同理，w1为0时，消除拼接重叠区域1的色度U差异。w2为0时，消除拼接重叠区域2的色度U差异。w3为0时，消除拼接重叠区域3的色度U差异。
参见上述实施例，可以将每个拼接重叠区域的目标色度优化值p0，p1，p2，p3代入色度V的色度目标优化函数，p0，p1，p2，p3均与两个色度修正值的差值有关，而色度修正值与区域色度值和每个输入图像的色度线性增益系数初始值αi1有关，区域色度值为已知值，因此，p0，p1，p2，p3均与αi1有关。综上所述，可以得到色度V的色度目标优化函数fv，fv是一个与每个输入图像的色度线性增益系数初始值αi1有关的函数。当然，上述只是示例，对此不做限制，只要fv与每个拼接重叠区域的目标色度优化值和αi1有关即可。fv的修正目标是在修正量尽量少的情况下，拼接重叠区域的色度越接近越好。显然，通过不断调整每个输入图像的色度线性增益系数初始值αi1的取值，fv得到不同的函数值，对此调整过程不做限制，优化目标是使fv的函数值越来越小。最终，在满足约束条件时，从所有函数值中选择fv的最小值。在得到fv的最小值时，可以将所有初始值αi1中与最小值对应的取值，作为色度V的色度线性增益系数目标值。例如，可以将输入图像0的所有色度线性增益系数初始值α01中与最小值对应的初始值，作为输入图像0的色度V的色度线性增益系数目标值，同理，可以得到输入图像1的色度V的色度线性增益系数目标值，输入图像2的色度V的色度线性增益系数目标值，输入图像3的色度V的色度线性增益系数目标值。
参见上述色度目标优化函数fv，使色度目标优化函数fv的函数值越来越小的过程，就是色度目标优化函数fv的函数值不断接近0的过程。当色度目标优化函数fv的函数值为0时，p0，p1，p2，p3均为0。p0为0时，针对拼接重叠区域0来说，色度V的色度修正值是色度均衡的，从而消除拼接重叠区域0的色度V差异。同理，p1为0时，消除拼接重叠区域1的色度V差异。p2为0时，消除拼接重叠区域2的色度V差异。p3为0时，消除拼接重叠区域3的色度V差异。
3、校正函数生成：根据每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值确定该输入图像的亮度校正函数，并根据每个输入图像的色度线性增益系数目标值确定该输入图像的色度校正函数。
示例性的，亮度校正函数可以为：y＝αxγ，α为亮度线性增益系数目标值，γ为亮度伽马增益系数目标值，亮度线性增益系数目标值和亮度伽马增益系数目标值参见上述实施例，在此不再赘述。上述只是示例，对此不做限制，只要亮度校正函数与亮度线性增益系数目标值和亮度伽马增益系数目标值有关即可。
针对输入图像0的亮度校正函数，α为输入图像0的亮度线性增益系数目标值，γ为输入图像0的亮度伽马增益系数目标值。针对输入图像1的亮度校正函数，α为输入图像1的亮度线性增益系数目标值，γ为输入图像1的亮度伽马增益系数目标值。针对输入图像2的亮度校正函数，α为输入图像2的亮度线性增益系数目标值，γ为输入图像2的亮度伽马增益系数目标值，以此类推。
色度U的色度校正函数可以为：y0＝a0x0，a0为色度U的色度线性增益系数目标值，色度V的色度校正函数为：y1＝a1x1，a1为色度V的色度线性增益系数目标值。色度线性增益系数目标值参见上述实施例，在此不再赘述。上述只是示例，对此不做限制，只要与色度线性增益系数目标值有关即可。
针对输入图像0的色度校正函数(色度U和色度V的色度校正函数)，a0和a为输入图像0的色度线性增益系数目标值。针对输入图像1的色度校正函数，a和a1为输入图像1的色度线性增益系数目标值。针对输入图像2的色度校正函数，a0和a1为输入图像2的色度线性增益系数目标值，以此类推。
4、像素值校正：针对每个输入图像，根据该输入图像的亮度校正函数对该输入图像的每个像素点的像素亮度值进行校正，根据该输入图像的色度校正函数(如色度U的色度校正函数和色度V的色度校正函数)对该输入图像的每个像素点的像素色度值进行校正，经过上述处理，得到校正后的输入图像。
例如，基于输入图像0的亮度校正函数y＝αxγ，将输入图像0的每个像素点的像素亮度值作为输入x，代入亮度校正函数后得到y，而y就是该像素点的校正后的像素亮度值。基于输入图像1的亮度校正函数y＝αxγ，将输入图像1的每个像素点的像素亮度值作为输入x，代入亮度校正函数后得到y，以此类推。显然，上述方式能够得到每个输入图像的每个像素点的校正后的像素亮度值。
上述亮度校正函数y＝αxγ能够结合伽马校正与线性校正的特点，参见图6A所示，为伽马校正的示意图，参见图6B所示，为线性校正的示意图。
示例性的，对于伽马校正来说，γ＞1，则输出像素值相对原像素值变暗，γ＜1，则输出像素值相对原像素值变亮。对于线性校正来说，增益系数α＞1，则输出像素值相对原像素值变亮，α＜1，则输出像素值相对原像素值变暗。
伽马校正的特点可以包括：在需要将图像整体变亮时，即γ＜1，在像素值越接近255时，增量越接近0，不会因图像像素值增强导致校正后图像局部过曝。在需要将图像整体变暗时，即γ＞1，在图像特别亮与特别暗时，区域亮度变化较小，图像中间亮度区域变换较大，对于图像局部区域存在特别亮的地方，矫正后的亮度改变不明显，图像仍存在局部过亮情况，均衡效果差。
线性校正的特点可以包括：在需要将图像整体变暗时，即α＜1，各像素值处的斜率相同，对局部过亮图像有较好的变暗效果。在需要将图像整体变亮时，即α＞1，各像素值处的斜率相同，对于像素值比较大的区域，矫正后图像容易出现像素值增强到255，导致局部过曝情况，图像整体亮度不均衡。
分析以上两种校正方法的特点，本实施例将伽马校正和线性校正相结合，可以结合伽马校正与线性校正的特点，解决图像校正过程中的亮度均衡问题。
又例如，基于输入图像0的色度U的色度校正函数y0＝a0x0，将输入图像0的每个像素点的色度U的像素色度值作为输入x0，代入色度校正函数后得到y0，而y0就是该像素点的校正后的像素色度值(即色度U的像素色度值)。
基于输入图像0的色度V的色度校正函数y1＝a1x1，将输入图像0的每个像素点的色度V的像素色度值作为输入x1，代入色度校正函数后得到y1，而y1就是该像素点的校正后的像素色度值(即色度V的像素色度值)。
针对其它输入图像，对像素色度值进行校正的过程类似，在此不再赘述。
5、图像拼接：对校正后的多个输入图像进行拼接，得到全景图像。例如，将校正后的多个输入图像合并，并进行融合，得到全景图像，对此不做限制。
由以上技术方案可见，本申请实施例中，能够结合伽马校正与线性校正的特点，对输入图像进行亮度校正，得到亮度均衡的全景图像，修复亮度不均衡现象，消除图像重叠区域的亮度差异，拼接效果较好，用户视觉体验较好。
基于与上述方法同样的申请构思，本申请实施例中还提出一种全景图像的获取装置，如图7所示，为所述装置的结构图，所述装置可以包括：
第一获取模块71，用于获取待拼接的多个输入图像；
第二获取模块72，用于获取所述多个输入图像在拼接重叠区域的区域亮度值；
确定模块73，用于根据所述区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；
处理模块74，用于针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
拼接模块75，用于对校正后的多个输入图像进行拼接，得到全景图像。
所述确定模块73具体用于：针对每个拼接重叠区域，根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值；
根据所述每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数；
根据所述亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，每个输入图像的亮度伽马增益系数目标值。
所述确定模块73根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值时具体用于：根据一个输入图像在所述拼接重叠区域的区域亮度值，所述一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第一亮度修正值；根据另一个输入图像在所述拼接重叠区域的区域亮度值，所述另一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第二亮度修正值；根据第一亮度修正值和第二亮度修正值的差值确定目标亮度优化值。
所述处理模块74具体用于：根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值确定所述输入图像的亮度校正函数，并根据所述输入图像的亮度校正函数对所述输入图像的每个像素点的像素亮度值进行校正。
所述第二获取模块72具体用于：针对每个输入图像来说，确定所述输入图像中位于拼接重叠区域的所有像素点，并根据所有像素点的像素亮度值确定所述输入图像在所述拼接重叠区域的区域亮度值。
所述第二获取模块72还用于：获取所述多个输入图像在拼接重叠区域的区域色度值；所述确定模块73还用于：根据所述区域色度值确定每个输入图像的色度线性增益系数目标值；所述处理模块74还用于：针对每个输入图像，根据所述输入图像的色度线性增益系数目标值确定所述输入图像的色度校正函数，并根据所述输入图像的色度校正函数对所述输入图像的像素点的像素色度值进行校正。
所述确定模块73根据所述区域色度值确定每个输入图像的色度线性增益系数目标值时具体用于：针对每个拼接重叠区域，根据一个输入图像在所述拼接重叠区域的区域色度值和所述一个输入图像的色度线性增益系数初始值，确定第一色度修正值；
根据另一个输入图像在所述拼接重叠区域的区域色度值和所述另一个输入图像的色度线性增益系数初始值，确定第二色度修正值；
根据第一色度修正值和第二色度修正值的差值确定所述拼接重叠区域的目标色度优化值；
根据所述每个拼接重叠区域的目标色度优化值以及每个输入图像的色度线性增益系数初始值，建立色度目标优化函数；根据所述色度目标优化函数的最小值确定每个输入图像的色度线性增益系数目标值。
所述第二获取模块72获取所述多个输入图像在拼接重叠区域的区域色度值时具体用于：确定输入图像中位于拼接重叠区域的所有像素点，根据所有像素点的像素色度值确定所述输入图像在所述拼接重叠区域的区域色度值。
基于与上述方法同样的申请构思，本申请实施例中还提出一种全景图像的获取设备，从硬件层面而言，所述全景图像的获取设备的硬件架构示意图可以参见图8所示。包括：处理器和机器可读存储介质，其中：所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的全景图像的获取方法。
示例性的，所述处理器用于执行机器可执行指令，以实现如下步骤：
获取待拼接的多个输入图像；
获取所述多个输入图像在拼接重叠区域的区域亮度值；
根据所述区域亮度值确定每个输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值；
针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
对校正后的多个输入图像进行拼接，得到全景图像。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的全景图像的获取方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种全景图像的获取方法，其特征在于，所述方法包括：
获取待拼接的多个输入图像；
获取所述多个输入图像在拼接重叠区域的区域亮度值；
针对每个拼接重叠区域，根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值；其中，所述目标亮度优化值非负；
根据所述每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数；其中，所述亮度目标优化函数包括目标亮度优化值的相关项、亮度线性增益系数的相关项、以及亮度伽马增益系数的相关项；
按照优化目标对所述亮度目标优化函数进行优化，得到所述亮度目标优化函数的最小值；其中，所述优化目标包括最小化非负的亮度伽马增益系数和非负的目标亮度优化值，以及亮度线性增益系数逼近1，以使所述亮度目标优化函数的函数值最小化；
根据所述亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，每个输入图像的亮度伽马增益系数目标值；
针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
对校正后的多个输入图像进行拼接，得到全景图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值，包括：
根据一个输入图像在所述拼接重叠区域的区域亮度值，所述一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第一亮度修正值；
根据另一个输入图像在所述拼接重叠区域的区域亮度值，所述另一个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，确定第二亮度修正值；
根据第一亮度修正值和第二亮度修正值的差值确定目标亮度优化值。
3.根据权利要求1所述的方法，其特征在于，
所述根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正，包括：
根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值确定所述输入图像的亮度校正函数，并根据所述输入图像的亮度校正函数对所述输入图像的每个像素点的像素亮度值进行校正。
4.根据权利要求1-2任一项所述的方法，其特征在于，
所述获取所述多个输入图像在拼接重叠区域的区域亮度值，包括：
确定输入图像中位于拼接重叠区域的所有像素点，根据所有像素点的像素亮度值确定所述输入图像在所述拼接重叠区域的区域亮度值。
5.根据权利要求1所述的方法，其特征在于，
所述对校正后的多个输入图像进行拼接，得到全景图像之前，还包括：
获取所述多个输入图像在拼接重叠区域的区域色度值；
根据所述区域色度值确定每个输入图像的色度线性增益系数目标值；
针对每个输入图像，根据所述输入图像的色度线性增益系数目标值确定所述输入图像的色度校正函数，并根据所述输入图像的色度校正函数对所述输入图像的像素点的像素色度值进行校正。
6.根据权利要求5所述的方法，其特征在于，所述根据所述区域色度值确定每个输入图像的色度线性增益系数目标值，包括：
针对每个拼接重叠区域，根据一个输入图像在所述拼接重叠区域的区域色度值和所述一个输入图像的色度线性增益系数初始值，确定第一色度修正值；
根据另一个输入图像在所述拼接重叠区域的区域色度值和所述另一个输入图像的色度线性增益系数初始值，确定第二色度修正值；
根据第一色度修正值和第二色度修正值的差值确定所述拼接重叠区域的目标色度优化值；
根据所述每个拼接重叠区域的目标色度优化值以及每个输入图像的色度线性增益系数初始值，建立色度目标优化函数；根据所述色度目标优化函数的最小值确定每个输入图像的色度线性增益系数目标值。
7.根据权利要求5或6所述的方法，其特征在于，
所述获取所述多个输入图像在拼接重叠区域的区域色度值，包括：
确定输入图像中位于拼接重叠区域的所有像素点，根据所有像素点的像素色度值确定所述输入图像在所述拼接重叠区域的区域色度值。
8.一种全景图像的获取装置，其特征在于，所述装置包括：
第一获取模块，用于获取待拼接的多个输入图像；
第二获取模块，用于获取所述多个输入图像在拼接重叠区域的区域亮度值；
确定模块，用于针对每个拼接重叠区域，根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值；其中，所述目标亮度优化值非负；根据所述每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数；其中，所述亮度目标优化函数包括目标亮度优化值的相关项、亮度线性增益系数的相关项、以及亮度伽马增益系数的相关项；按照优化目标对所述亮度目标优化函数进行优化，得到所述亮度目标优化函数的最小值；其中，所述优化目标包括最小化非负的伽马增益系数和非负的目标亮度优化值，以及亮度线性增益系数逼近1，以使所述亮度目标优化函数的函数值最小化；根据所述亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，每个输入图像的亮度伽马增益系数目标值；
处理模块，用于针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
拼接模块，用于对校正后的多个输入图像进行拼接，得到全景图像。
9.一种全景图像的获取设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；其中，所述处理器用于执行机器可执行指令，以实现如下步骤：
获取待拼接的多个输入图像；
获取所述多个输入图像在拼接重叠区域的区域亮度值；
针对每个拼接重叠区域，根据所述拼接重叠区域的区域亮度值确定所述拼接重叠区域的目标亮度优化值；其中，所述目标亮度优化值非负；
根据所述每个拼接重叠区域的目标亮度优化值，每个输入图像的亮度线性增益系数初始值和亮度伽马增益系数初始值，建立亮度目标优化函数；其中，所述亮度目标优化函数包括目标亮度优化值的相关项、亮度线性增益系数的相关项、以及亮度伽马增益系数的相关项；
按照优化目标对所述亮度目标优化函数进行优化，得到所述亮度目标优化函数的最小值；其中，所述优化目标包括最小化非负的伽马增益系数和非负的目标亮度优化值，以及亮度线性增益系数逼近1，以使所述亮度目标优化函数的函数值最小化；
根据所述亮度目标优化函数的最小值确定每个输入图像的亮度线性增益系数目标值，每个输入图像的亮度伽马增益系数目标值；
针对每个输入图像，根据所述输入图像的亮度线性增益系数目标值和亮度伽马增益系数目标值对所述输入图像的每个像素点的像素亮度值进行校正；
对校正后的多个输入图像进行拼接，得到全景图像。
CN201911275453.4A 2019-12-12 2019-12-12 一种全景图像的获取方法、装置及设备 Active CN112991163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911275453.4A CN112991163B (zh) 2019-12-12 2019-12-12 一种全景图像的获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911275453.4A CN112991163B (zh) 2019-12-12 2019-12-12 一种全景图像的获取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112991163A CN112991163A (zh) 2021-06-18
CN112991163B true CN112991163B (zh) 2023-02-28

Family

ID=76331648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911275453.4A Active CN112991163B (zh) 2019-12-12 2019-12-12 一种全景图像的获取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112991163B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723637A (zh) * 2022-04-27 2022-07-08 上海复瞰科技有限公司 一种色差调整方法及系统
CN115063307B (zh) * 2022-06-01 2024-04-16 东南大学 一种基于亮度一致性的增强现实色度调节方法
CN117319805B (zh) * 2023-11-30 2024-03-01 广汽埃安新能源汽车股份有限公司 一种车辆全景图像的亮度补偿方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040722A (ko) * 2001-11-15 2003-05-23 엘지전자 주식회사 플라즈마 디스플레이 패널의 구동장치
WO2008025293A1 (fr) * 2006-08-23 2008-03-06 Huawei Technologies Co., Ltd. Procédé et appareil de correction de la caractéristique gamma dans une communication vidéo
CN102376082A (zh) * 2010-08-06 2012-03-14 株式会社理光 基于伽马校正的图像处理方法和装置
CN109194872A (zh) * 2018-10-24 2019-01-11 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN109598673A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 图像拼接方法、装置、终端及计算机可读存储介质
CN109978765A (zh) * 2019-03-11 2019-07-05 上海保隆汽车科技股份有限公司 全景图像亮度校正方法和拼接方法及其装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US20030086002A1 (en) * 2001-11-05 2003-05-08 Eastman Kodak Company Method and system for compositing images
KR101286536B1 (ko) * 2008-03-17 2013-07-17 엘지디스플레이 주식회사 디지털 감마 보정 시스템 및 보정방법
JP5978948B2 (ja) * 2012-11-21 2016-08-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US10778910B2 (en) * 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040722A (ko) * 2001-11-15 2003-05-23 엘지전자 주식회사 플라즈마 디스플레이 패널의 구동장치
WO2008025293A1 (fr) * 2006-08-23 2008-03-06 Huawei Technologies Co., Ltd. Procédé et appareil de correction de la caractéristique gamma dans une communication vidéo
CN102376082A (zh) * 2010-08-06 2012-03-14 株式会社理光 基于伽马校正的图像处理方法和装置
CN109598673A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 图像拼接方法、装置、终端及计算机可读存储介质
CN109194872A (zh) * 2018-10-24 2019-01-11 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN109978765A (zh) * 2019-03-11 2019-07-05 上海保隆汽车科技股份有限公司 全景图像亮度校正方法和拼接方法及其装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset;Feifan Lv 等;《Computer Science》;20190802;第1页-第19页 *
一种基于自适应高提升滤波的遥感影像的阴影处理方法;滕秀花等;《哈尔滨师范大学自然科学学报》;20150715(第04期);全文 *
论摄像机色彩调整;林凡;《有线电视技术》;20171215(第12期);全文 *

Also Published As

Publication number Publication date
CN112991163A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
US9646397B2 (en) Image processing apparatus and image processing method
CN112991163B (zh) 一种全景图像的获取方法、装置及设备
US9955084B1 (en) HDR video camera
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
CN110786000B (zh) 曝光调整方法和装置
US20130028509A1 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
CN107948500A (zh) 图像处理方法和装置
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US20060228102A1 (en) Photographing apparatus and method for compensating brightness of an image
CN108156369B (zh) 图像处理方法和装置
CN108337450B (zh) 图像处理装置、图像处理方法以及记录介质
CN107846556A (zh) 成像方法、装置、移动终端和存储介质
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN111917991B (zh) 图像的质量控制方法、装置、设备及存储介质
CN108024057A (zh) 背景虚化处理方法、装置及设备
CN108307098A (zh) 鱼眼相机阴影校正参数确定方法、校正方法及装置、存储介质、鱼眼相机
US20220270221A1 (en) Image processing apparatus and control method thereof
CN112653845B (zh) 曝光控制方法、装置、电子设备及可读存储介质
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP4879363B1 (ja) 画像処理システム
CN112598609A (zh) 一种动态图像的处理方法及装置
CN108337448B (zh) 高动态范围图像获取方法、装置、终端设备及存储介质
JP2013192057A (ja) 撮像装置、その制御方法、および制御プログラム
CN100375507C (zh) 图像处理装置、图像记录装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant