CN110651275A - 用于校正全景数字重叠图像的系统和方法 - Google Patents

用于校正全景数字重叠图像的系统和方法 Download PDF

Info

Publication number
CN110651275A
CN110651275A CN201880033556.7A CN201880033556A CN110651275A CN 110651275 A CN110651275 A CN 110651275A CN 201880033556 A CN201880033556 A CN 201880033556A CN 110651275 A CN110651275 A CN 110651275A
Authority
CN
China
Prior art keywords
image
overlapping
images
digital
gamma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880033556.7A
Other languages
English (en)
Inventor
伊利亚·科特尔
大卫·萨伊曼
安东·巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Eye Technology Co Ltd
Original Assignee
Human Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Eye Technology Co Ltd filed Critical Human Eye Technology Co Ltd
Publication of CN110651275A publication Critical patent/CN110651275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种处理数字图像的方法，包括：根据多个像素强度值的一均匀分布需求选择参考数字图像；为每一个在个别的一重叠区域与至少一个其他图像重叠的特定重叠图像执行：针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。

Description

用于校正全景数字重叠图像的系统和方法
技术领域及背景技术
本发明在一些实施例中是有关于一种全景图像，特别是但非限定地有关于一种用于处理数字图像以建立全景图像的系统和方法。
全景图像是具有视觉信息的图像，用于围绕观看者的多个角度。彩色数字全景图像的像素在全景图像的球坐标系中定义方位角和极轴角的颜色和强度。
360x180全景图像取得观看者周围360度的观看空间，并在观看者上方180度，包括顶部/天顶到底部/最低点。全景图像捕捉的是一个人的视角，他可以将自己的头转向任何方向和角度，然后看到一些东西。
发明内容
本发明的第一目的在于提供一种计算机执行方法，用于处理多个数字图像以建立一数字全景图像，所述计算机执行方法包括：接收获取的多个重叠的数字图像以建立一数字全景图像；根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
本发明的第二目的在于提供一种用于处理多个数字图像以建立一数字全景图像的系统，包括：一非暂时性储存器，具有储存于所述非暂时性储存器上的一代码，用于由一计算机设备的至少一个硬件处理器执行，所述代码包括：一代码，用于接收获取的多个重叠数字图像以建立一数字全景图像；一代码，根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；一代码，用于针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及一代码，用于通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
本发明的第三目的在于提供一种用于处理多个数字图像以建立一数字全景图像的一计算机程序产品，包括：一非暂时性储存器，具有储存于所述非暂时性储存器上的一代码，用于由一计算机设备的至少一个硬件处理器执行，所述代码包括：多个指令，用于接收用于建立一数字全景图像而获取的多个重叠数字图像；多个指令，根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；多个指令，用于针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及多个指令，用于通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
由此处描述的一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令为解决具有严重(例如视觉上明显)曝光过度及/或曝光不足的区域的数字图像校正的技术问题提供了技术解决方案，并且所述数字图像拼接在一起以建立数字全景图像。取得场景不同角度的个别图像是由同一台摄像机取得的，或者由具有不同的曝光及/或白平衡设置的不同的摄像机取得的。个别图像的过度曝光及/或曝光不足的区域阻止了色彩强度的均匀校正。通过接合个别图像形成的全景图像显得不自然及/或包括异常特征，例如锐利的边框。
技术问题可能涉及校正重叠图像，其中一个或多个重叠图像与两个或多个其他图像重叠。例如，在360度全景图中，每一个图像都与其他两个图像重叠。在另一实例中，在180x360全景图中，一个或多个图像与其他四个图像重叠。图像颜色的视觉上显著差异(例如由于过度曝光及/或曝光不足)可能会发生，例如由于在围绕中心点取得图像时太阳的不同亮度影响。
技术问题可能与不同视图(例如，左眼和右眼的立体视图)之间的颜色差异有关，这是由于应用于接合在一起以建立不同视图的全景图像的单个图像的相同方位角和极轴角的不同渲染选项造成的。
储存在由这里描述的一个或多个处理器执行的储存设备中的系统及/或方法及/或代码指令提高了运算设备的性能，所述运算设备处理个别数字图像以建立改进的及/或更高质量的全景图像。所述运算设备校正各个数字图像的颜色，以创建处理后的图像，所述图像具有由不同曝光及/或白平衡设置产生的图像之间的颜色的平滑色差的处理后的图像。更高质量的全景图像是通过提高无缝拼接的质量来创建的。运算设备处理个别图像，以解决具有曝光不足及/或过度曝光的显著区域的个别图像之间的曝光设置及/或白平衡的显著差异，其产生改进的更高质量全景图像，例如，防止或减少全景图像中不均匀的异常外观。所述运算设备处理个别图像以产生改进的高质量球形及/或多视图全景图像。
在根据第一目的的方法或根据第二目的的系统或根据第三目的的计算机程序产品的第一种可能的实施形式中，针对所述多个重叠图像的每一个特定重叠图像的每一个通道的个别的伽玛参数的数值同时被计算。
在根据第一目的的方法或根据第二目的的系统或根据第三目的的计算机程序产品的第二种可能的实施形式中，所述相关性定义了针对所述特定重叠图像的每一个重叠区域的每一个通道所计算的经伽玛校正的多个像素强度值的一平均值与所述至少一个重叠图像中的每一个重叠图像在个别的重叠区域的每一个通道的经伽玛校正的多个像素强度值的一平均值之间的一统计上的显著匹配。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第三可能的实施形式中，从多个伽玛参数的数值的计算中排除每一个具有最大强度值或最小强度值的非参考重叠数字图像的所述至少一个重叠区域的多个通道的多个像素。
具有最小曝光量(例如0)和最大曝光量(例如255)强度值的像素(其代表曝光不足和过度曝光的区域)被排除在校正伽玛值的计算之外，以忽略对图像的过度曝光和曝光不足的区域的考虑。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第四可能的实施形式中，将每一个具有最大强度值或最小强度值的非参考数字图像的非重叠区域的多个通道的多个像素排除在使用所述伽玛参数的计算值的校正之外。
具有最小曝光量(例如0)和最大曝光量(例如255)强度值的像素(其代表曝光不足和过度曝光的区域)被排除在伽玛值校正之外，因为所施加的校正不影响各自通道的过度曝光和曝光不足像素值。但是，将校正应用于过度曝光及/或曝光不足区域确实会影响其他通道。对其他通道的影响导致非对称变化，这可能会扭曲过度曝光及/或曝光不足区域的颜色。颜色失真导致非过度曝光和过度曝光或曝光不足区域之间的边界变得非常尖锐。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第五可能的实施形式中，所述方法更包括：及/或所述系统更包括：及/或所述计算器程序产品更包括代码指令用于：接收多个重叠图像的第一和第二组的立体像对；以及通过交叠多个重叠图像的第一和第二组的立体像对的多个对应图像，来处理多个重叠图像的第一和第二组的立体像对以建立所述多个重叠的数字图像。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第六可能的实施形式中，所述多个数字图像中的至少一个包括多个过度曝光像素强度值和多个曝光不足像素强度值中的至少一个的一有效区域，当多个非伽玛校正的非参考数字图像和所述参考数字图像被接合以建立所述数字全景图像时，所述多个过度曝光像素强度值和多个曝光不足像素强度值会在颜色之间产生视觉上的明显差异。
本文所述的系统及/或方法解决了过度曝光及/或曝光不足的区域，从而建立了质量提高的全景图像。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第七可能的实施形式中，多个接收到的数字图像中的每一个数字图像都使用下列至少一不同相机设置获得：自动曝光和白平衡。
在根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第八可能的实施形式中，所述均匀分布需求定义了具有在像素强度值的分布上的最小变化的一特定数字图像。
选择参考图像作为在颜色通道上具有最均匀强度像素值分布的图像，所述图像可以被认为是最平均的图像。根据平均图像调整非参考图像，以柔和极端的颜色，从而提供更均匀及/或更柔和的外观生成的全景图像。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第九可能的实施形式中，每一个个别的数字图像的多个像素强度值的分布被计算，以作为所述每一个个别的数字图像的像素的每一个强度值的频率与所述每一个个别的数字图像的多个像素的加权平均强度值之间的多个差的总和。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十可能的实施形式中，针对所述参考数字图像的每一个通道所计算的伽玛参数的所述数值被设置为参考值1，并且基于所述参考数字图像的多个所述伽玛参数的一组参考值，针对多个非参考数字图像的每一个通道所计算的多个伽玛参数的所述数值被计算。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十一可能的实施形式中，伽玛参数应用于每一个非参考数字图像的每一个通道的多个像素强度值的多个数值根据以下关系式被计算：
Figure BDA0002282084180000061
其中：
γi表示数字图像i的伽玛参数的数值；
n表示多个数字图像的数量；
i＝x表示参考数字图像，并且γx值设置为1；
Figure BDA0002282084180000071
NIi表示多个非参考数字图像Ix和Ix mod n之间的重叠区域中的像素数；并且
Ii(p)表示数字图像i的像素p的强度值。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十二可能的实施形式中，对于具有三个颜色通道的彩色数字图像，针对所述关系式表示的8个方程式和7个未知数值所计算的一最佳解是基于线性最小二乘法计算的。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十三可能的实施形式中，所述方法更包括：及/或所述系统更包括：及/或所述计算器程序产品更包括代码指令用于：根据所述个别的非参考数字图像的非重叠区域的多个通道的像素的过度曝光和曝光不足强度值中的至少一个的需求，识别每一个个别的非参考数字图像的非重叠区域的至少一个过度曝光区域/曝光不足区域；以及相对于更接近中间曝光值的像素强度值，通过对更接近于过度曝光和曝光不足值的像素强度值的伽玛参数的数值所进行的相对较大调整，将伽玛参数的计算的数值应用于过度曝光区域/曝光不足区域的每一个通道的每一个像素强度值。
简单的伽玛校正在显着的过度曝光区域/不足曝光的区域无效。使用定义伽玛校正值的平滑变换器的函数。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十四可能的实施形式中，所述伽玛参数的数值根据以下关系式应用于所述过度曝光区域/曝光不足区域的每一个通道的每一个像素强度值：
Ii(p)＝F(i，p，γ)；
F(i，p，γ)＝Ii(p)-f(Ii(p)-Ii(p)γ)；
其中：
γ表示伽玛参数的数值；
p表示要校正的各个像素；
Ii(p)表示数字图像i的像素p的强度值；
f表示使伽玛参数值平滑变化的伽玛因子。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十五可能的实施形式中，当像素强度值由范围[0,255]定义时，其中f＝-0.0000615148019992*Ii(p)2+0.0156862745098*Ii(p)。
伽玛因子f被定义为在以下三点处与x轴和y轴相交的抛物线：(0,0)、(127.5，1)及(255，0)，它平滑计算出伽玛校正值的变化。当像素强度值离中间强度值127.5越远时，伽玛因子f的效果就越差。当像素强度值处于强度值范围的末端极限时，伽玛因子f无效，例如0(表示曝光不足)或255(表示曝光过度)。当像素强度值为127.5时，伽玛因子f最有效。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十六可能的实施形式中，所述需求将曝光过度区域/曝光不足区域定义为包括至少一个具有最大强度值或最小强度值的像素以及具有小于最大强度值且大于最小强度值的强度值的多个近端像素的一邻近区域。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十七可能的实施形式中，每一个数字图像是由红色、绿色和蓝色通道定义的一彩色数字图像，其中针对每一个数字图像的每一个红色、绿色和蓝色通道计算所述伽玛参数的个别数值。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十八可能的实施形式中，所述方法更包括：及/或所述系统更包括：及/或所述计算器程序产品更包括代码指令用于：接合多个校正后的非参考数字图像和参考数字图像以建立所述数字全景图像。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第十九可能的实施形式中，接收到的多个数字图像获得360x180的视野，并且其中多个数字图像中的至少一个与其他四个数字图像重叠。
根据第一、第二或第三目的本身或根据第一、第二或第三目的的任何前述实施形式的方法或系统或计算器程序产品的第二十可能的实施形式中，所述参考数字图像是从多个数字图像中选择出的。
除非另有定义，否则本文使用的所有技术及/或科学术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。虽然在本发明实施例的实施或测试中可以使用与本文所述方法和材料类似或等同的方法和材料，下面描述的方法和/或材料为例示性的。如果发生矛盾，专利说明书包括其定义，将受到限制。另外，这些材料、方法和实例仅是说明性的，并非用以限制。
附图说明
这里仅通过举例的方式参考附加的图式来描述本发明的一些实施例。现在具体参照附图详细说明，强调的是，所示出的细节是作为例示并且出于对本发明实施例的说明性讨论的目的。就这一点而言，对于本领域技术人员而言，利用附图进行的描述对于可以如何实践本发明的实施例是显而易见的。
在附图中：
图1是根据本发明一些实施例的基于根据重叠图像的对应的重叠区域的经伽玛校正的像素强度值之间的一相关性而计算出的伽玛参数的值来校正重叠数字图像的像素强度值的方法的流程示意图。
图2是根据本发明的一些实施例的用于通过应用根据重叠图像的对应的重叠区域的经伽玛校正的像素强度值之间的相关性而计算出的伽玛参数的值来接收重叠的数字图像并输出校正的数字图像的系统的组件的方块示意图。
图3A至图3C是根据本发明的一些实施例描绘校正数字图像以消除不同白平衡及/或曝光设置中的差异的柔和处理的示例性图像。
图4是根据本发明的一些实施例的用于取得被组合以建立左全景图像和右全景图像的立体图像的设备的示意图。
具体实施方式
本发明在一些实施例中是有关于一种全景图像，特别是但非限定地有关于一种用于处理数字图像以建立全景图像的系统和方法。
本发明的一些实施例的一目的是有关于由一个或多个处理器执行的系统及/或方法及/或代码指令，所述系统及/或方法及/或代码指令被储存在储存设备中，所述处理器校正在建立全景图像时使用的重叠数字图像。
根据重叠图像的相应的重叠区域的伽玛校正像素强度值(任选地为统计平均值)之间的相关性(可选地为统计上的匹配)，为每一个数字图像的每一个通道计算的伽玛参数的值。所述伽玛参数的值是基于重叠的数字图像集计算的。每一个数字图像可以与一个或多个其他数字图像重叠，例如，在三个或更多图像的全景图像中，中心图像与其他两个图像重叠。在较大的全景图像中，中心图像可能会与其他四个图像重叠，例如，在观察者头部正上方拍摄的图像与朝向四个基本方向(北，南，东和西)的四个图像重叠。对于与一个或多个其他图像重叠的每一个特定图像，计算伽玛参数的值，使得其他重叠数字图像的每一个重叠区域的伽玛参数校正像素强度值与特定图像的重叠区域的伽玛参数校正像素强度值相关联。为每个图像的每个通道计算伽玛参数。可以同时执行计算，例如，通过求解如本文所述的方程式组来同时执行计算，以找到与一个或多个其他图像重叠的每个图像的每个通道的伽玛参数。
参考数字图像的校正伽玛值被设置为基线值，任选为1。根据计算出的校正伽玛值来校正每个非参考图像。提供经过校正的非参考图像和参考图像以用于建立数字全景图像，可任选地通过在重叠区域内接合来提供。
根据呈现数字图像具有最均匀颜色分布的像素强度值的均匀分布需求来选择参考数字图像。通过计算来自重叠区域的伽玛参数值，根据参考数字图像的颜色分布校正其他数字图像。
由此处描述的一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令为解决具有严重(例如视觉上明显)曝光过度及/或曝光不足的区域的数字图像校正的技术问题提供了技术解决方案，并且所述数字图像拼接在一起以建立数字全景图像。取得一个场景在不同角度的个别图像是由同一台摄像机取得的，或者由具有不同的曝光及/或白平衡设置的不同摄像机取得的。所述个别图像的过度曝光及/或曝光不足的区域阻止了色彩强度的均匀校正。通过接合所述个别图像形成的全景图像显得不自然及/或包括异常特征，例如锐利的边框。
技术问题可能涉及校正重叠图像，其中一个或多个重叠图像与两个或多个其他图像重叠。例如，在360度全景图中，每个图像都与其他两个图像重叠。在另一实例中，在180x360全景图中，一个或多个图像与其他四个图像重叠。图像颜色的视觉上显着差异(例如由于过度曝光及/或曝光不足)可能会发生，例如由于在围绕中心点取得图像时太阳的不同亮度影响。
技术问题可能与不同视图(例如，左眼和右眼的立体视图)之间的颜色差异有关，这是由于应用于接合在一起以建立不同视图的全景图像的单个图像的相同方位角和极轴角的不同渲染选项造成的。
储存在由这里描述的一个或多个处理器执行的储存设备中的系统及/或方法及/或代码指令提高了运算设备的性能，所述运算设备处理单个数字图像以建立改进的及/或更高质量的全景图像。所述运算设备校正个别数字图像的颜色，以创建处理后的图像，所述图像具有由不同曝光及/或白平衡设置产生的图像之间的颜色的平滑色差的处理后的图像。更高质量的全景图像是通过提高无缝拼接的质量来创建的。运算设备处理个别图像，以解决具有曝光不足及/或过度曝光的显着区域的个别图像之间的曝光设置及/或白平衡的显着差异，其产生改进的更高质量全景图像，例如，防止或减少全景图像中不均匀的异常外观。所述运算设备处理个别图像以产生改进的高质量球形及/或多视图全景图像。
在此描述的由一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令改善了图像处理技术领域内的基础处理，特别是在处理单个图像的领域内，以提高从单个图像的接合以建立全景图像的质量。在此描述的由一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令，并不简单地描述使用数学运算以及接收和储存数据来计算伽玛参数的数值的方法，而是结合了以下操作：根据均匀分布的需求选择参考图像，根据每个重叠图像的个别的重叠区域的伽玛校正像素强度值之间的相关性，计算每个非参考图像每个通道的伽玛参数的数值，并通过将伽玛参数的计算值应用于每个非参考数字图像的每个通道，以建立校正后的数字图像。这样，此处描述的系统及/或方法(例如，由一个或多个处理器执行的储存在储存设备中的代码指令)超出了仅仅使用计算机简单地检索和组合数据的概念。
在此描述的由一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令与现实生活中的物理组件相关联，包括以下一项或多项：
一种数字相机，其获取被接合用以产生全景图像的数字图像；数据储存设备，其储存所获得的数字图像、经处理的数字图像及/或所创建的全景图像；显示器，其呈现所建立的全景图像；以及执行代码指令以处理数字图像的硬件处理器。
由本文描述的由一个或多个处理器执行的储存在储存设备中的系统及/或方法及/或代码指令以处理后的数字图像的形式建立新数据，这些数字图像被接合以创建更高质量的全景图像。
因此，本文所述的系统及/或方法及/或代码与计算技术及/或物理组件密不可分，以克服在处理接合成全景图像的数字图像时出现的实际技术问题。
在详细解释本发明的至少一个实施例之前，应该理解的是，本发明的应用并不一定限于以下描述及/或叙述的组件及/或方法或在附图及/或示例中示出的构造细节和设置。本发明能够具有其他实施例或者能够以各种方式被实施或执行。
本发明可以是系统、方法及/或计算机程序产品。所述计算机程序产品可以包括其上具有用于使处理器执行本发明的目的的计算机可读程序指令的计算机可读储存介质。
计算机可读储存介质可以是有形的设备，其可以保留和储存指令以供指令执行设备使用。计算机可读储存介质可以是，例如但不限于电子储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备，或上述的任何适当组合。计算机可读储存介质的更具体示例的非详尽列表包括：便携式计算机软盘、硬盘、随机存取储存器(RAM)、唯读储存器(ROM)、可擦除可编程只读储存器(EPROM或闪存)、静态随机存取储存器(SRAM)、便携式光盘唯读储存器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘和上述各项的任何适当组合。此处使用的计算机可读储存介质本身不应被解释为瞬态信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)，或通过电线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读储存介质下载到相应的计算/处理设备，或者经由网络(例如因特网、局域网、广域网及/或无线网络)下载到外部计算机或外部储存设备。网络可以包括铜传输电缆、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络界面从网络接收计算机可读程序指令，并将计算机可读程序指令转发到相应计算/处理设备中的计算机可读储存介质中储存。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据，或者是用一种或多种编程语言的任意组合编写的源代码或目标代码，包括面向对象的编程语言，如Smalltalk、C++等，以及常规的编程设计语言，如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立的软件包，部分在用户计算机上执行并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来个人化电子电路来执行计算机可读程序指令，以执行本发明的各个目的。
本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或方块图来描述本发明的各个目的。应当理解的是，流程图及/或方块图的每个方块以及流程图及/或方块图中的方块的组合可以由计算机可读的程序指令来实现。
这些计算机可读的程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生一机器，从而使得所述指令经由计算器的处理器或其他可编程数据处理来执行。在所述装置中，创建用于实现流程图和/或方块图的方框中指定的功能/动作的手段。这些计算器可读程序指令还可以储存在计算器可读储存介质中，所述计算器可读储存介质可以指导计算器、可编程数据处理装置及/或其他设备以特定方式起作用，这样，具有储存在其中的指令的计算机可读储存介质包括构成成品，所述构成成品包括实现流程图及/或方块图中方块指定的功能/动作的各个方面的指令。
计算机可读程序指令也可以加载到计算机、其它可编程数据处理设备或其它设备上，以使在计算机、其它可编程设备或其它设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程设备或其他设备实现流程图及/或方块图中方块指定的功能/动作。
图示中的流程图和方块图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或方块图中的每个方块可以表示指令的模块、片段或部分，其包括一个或多个用于实现指定逻辑功能的可执行指令。在一些替代实施方式中，方块中指出的功能可以不按图标中指出的顺序发生。例如，实际上可以基本上同时执行连续示出的两个方块，或者根据所涉及的功能，方块有时可以以相反的顺序执行。还应注意，方块图及/或流程图的每个方块以及方块图及/或流程图中的方块组合，可由基于专用硬件的系统实现，所述系统执行指定的功能或动作，或执行专用硬件和计算机指令的组合。
如本文所用术语伽玛参数是指伽玛校正非线性操作，其用于对图像(例如静止图像和/或视频帧)中的像素强度值进行编码和译码。伽玛参数由关系式Vout＝AVin γ表示，其中Vin表示像素强度值，所述像素强度值提高到表示伽玛参数的次方γ，并且任选地乘以常数A以获得由Vout表示的校正像素强度值。
如本文所用的术语“伽玛参数的(数)值”和“伽玛值”是可互换的。
如本文所用术语“过度曝光”像素强度值由定义可能的像素强度值的标度的最大数值表示。如本文所用术语“曝光不足”像素值由定义可能的像素强度值的标度的最小数值表示。例如，对于可能的数值[0,255]的范围，过度曝光像素强度值为255。值得注意的是，接近最大值的其他值可以定义为过度曝光，例如254、253和其他数值。例如，对于可能的数值[0,255]的范围，曝光不足像素强度值是0。注意，可以将接近最小值的其他数值定义为曝光不足，例如1、2和其他值。
现在参考图1，图1是根据本发明一些实施例的基于根据重叠图像的对应的重叠区域的经伽玛校正的像素强度值之间的一相关性而计算出的伽玛参数的值来校正重叠数字图像的像素强度值的方法的流程示意图。并参考图2，图2是根据本发明的一些实施例的用于通过应用根据重叠图像的对应的重叠区域的经伽玛校正的像素强度值之间的相关性而计算出的伽玛参数的值来接收重叠的数字图像并输出校正的数字图像的系统200的组件的方块示意图。如图1所示，通过计算设备204的处理器202执行储存在程序储存器206中的代码指令。
计算设备204接收多个图像(由数字相机208获取)以进行处理。图像获取一场景的多个部分，将多个图像拼接而形成场景的全景图像。
图像可以获取360场景，任选为360x180场景或更小的场景角度。图像可以由数字相机208提供及/或从图像储存库208A获得(例如，相机208内的储存卡、储存服务器，与相机208相关联的可移动储存设备及/或计算机云端)。数字相机208可以被实现为静止图像数字相机和/或视频相机(在这种情况下，图像被获取为视频的帧)。数字相机208可以获取二维数字图像(2D)及/或可以可选地使用两个或更多个图像传感器来获取三维图像(3D)。数字相机208可以获取彩色(例如基于红色、绿色、蓝色的)图像及/或黑白图像(在这种情况下，本文所述的通道可以指像素强度的单个通道)。
计算设备204使用一个或多个成像界面210(例如有线连接、无线连接、其他物理界面手段及/或虚拟界面(例如，软件界面、应用程序编程界面(API)、软件)接收由相机208获取及/或储存在图像储存库208A上的图像开发工具包(SDK)。
计算设备204可以被实现为例如客户端、服务器、计算云端、移动设备、桌面式计算机、微客户端、智能手机、平板计算机、膝上型计算机、可穿戴计算机、眼镜计算机和手表计算机。计算设备204可以包括本地储存的软件，其执行参照图1描述的动作中的一个或多个，及/或可以充当一个或多个服务器(例如网络服务器、web服务器、计算云端)，其向一个或多个客户端212提供服务(例如，参照图1描述的动作中的一个或多个，例如在网络214上，向客户端212提供软件即服务(SaaS)，向客户端212提供用于本地下载的应用，及/或使用对客户端212的远程访问会话(例如通过web浏览器及/或储存在移动设备上的应用)提供功能。
计算设备204的处理器202可以被实现为例如中央处理器(CPU)、图形处理单元(GPU)、现场可编程门数组(FPGA)、数字信号处理器(DSP)和专用集成电路(ASIC)。处理器204可以包括一个或多个处理器(同质的或异构的)，它们可以被安排用于并行处理，作为集群及/或作为一个或多个多核处理单元。
储存设备(这里也称为程序储存器，例如储存器)206储存由处理器202实现的代码指令，例如，随机存取储存器(RAM)、唯读储存器(ROM)及/或储存设备，例如非易失性储存器、磁介质、半导体储存器设备、硬盘驱动器、可移动储存器和光学媒体(如DVD、CD-ROM)。储存设备206储存图像处理代码206A，所述图像处理代码206A执行参照图1描述的方法的一个或多个动作。
计算设备204可以包括用于储存数据的数据储存库216，例如，储存输出的处理后图像(被接合以形成全景图像)的处理的图像储存库216A及/或储存建立的全景图像的全景图像储存库216B。数据储存库216可以实现为例如储存器、本地硬盘驱动器、可移动储存单元、光盘、储存设备和/或远程服务器和/或计算云端(例如使用网络连接)。
计算设备204可以包括用于连接至网络214的网络界面218，例如网络界面卡、用于连接至无线网络的无线界面、连接至用于网络连接的电缆的物理界面、在软件中实现的虚拟界面中的一个或多个，提供更高层次网络连接及/或其他实现的网络通信软件。
计算设备204可以使用网络214(或另一通信通道，如通过直接连接(例如，电缆，无线)及/或间接连接(例如经由诸如服务器的中间计算单元、及/或经由储存设备)中的一项或多项：
*客户端终端212，例如，当计算设备204充当提供SaaS及/或提供远程图像处理服务的服务器时。客户端终端212可以各自将图像提供给计算设备204以便在网络214上进行处理。应注意的是，相机208(及/或储存图像储存库208A的储存设备)可以连接到客户端212，从而使用网络214提供图像。处理后的图像及/或创建的全景图像可以提供给客户端212。
*远程定位的服务器220，其接收处理过的图像并接合处理过的图像以创建全景图像。服务器220可以接收全景图像。服务器220可以本地显示全景图像，储存处理过的图像及/或全景图像，及/或将处理过的图像及/或全景图像发送到另一服务器。
*储存一个或多个的储存设备222：图像储存库208A、处理过的图像储存库216A和/或全景图像储存库216B。
*储存设备222，其储存以下中的一个或多个：图像储存库208A、处理的图像储存库216A及/或全景图像储存库216B。
计算设备204及/或客户终端包括及/或与用户界面224通信，所述用户界面224包括用于用户输入数据(例如指定及/或上传所获取的图像)及/或查看呈现的数据(例如，处理的图像及/或创建的全景图像)的机制。示例性用户界面224包括例如触摸屏、显示器、键盘、鼠标和使用扬声器和麦克风的语音激活软件中的一个或多个。
现在回到图1，在102处，计算装置204(例如，使用成像界面210)接收为了建立数字全景图像而获取的数字图像(例如，由数字相机208获取及/或由图像储存库208A储存)。
每个数字图像在重叠区域与一个或多个其他数字图像重叠。一些图像与两个、三个、四个或多个其他数字图像重叠，例如全景图像内部的图像。
数字图像可以由一个或多个相机获取。每个图像以不同的角度拍摄，以覆盖宽视野、360度视野(或更小的角度)、360x180视野(或更小的角度)。
任选地，数字图像由布置成获取立体图像的一对相机捕捉，例如，对应于左眼和右眼。可能有多对相机获取图像，例如，一组相机获取左眼的图像，另一组相机获取右眼的图像。
建立两个全景图像，一个用于左眼的全景图像来自于获取左眼图像的摄像机组，另一个用于右眼的全景图像来自于获取右眼图像的摄像机组。左眼获取的数字图像可以独立于右眼获取的图像集合来处理。或者，左眼的图像与右眼的图像交替，并作为单一组交替图像进行处理(如本文所述)。基于彼此校正交错的图像(如本文所述)，减少或防止产生的左眼全景图像和右眼全景图像之间的颜色差异。交错校正后的图像被分为左右两组图像。将每组图像组合(例如接合)以创建左全景图像和右全景图像。
在数学表示方面，用左眼相机捕捉左眼图像的一组图像表示为L(1)、L(2)、L(3)、……L(最后)。右眼相机捕捉右眼图像的对应图像被表示为R(1)、R(2)、R(3)、……R(最后)。图像的交错序列在数学上用L(1)、R(1)、L(2)、R(2)、L(3)、R(3)…。L(最后)、R(最后)。
现在参考图4，图4是根据本发明的一些实施例的用于取得被组合以建立左全景图像和右全景图像的立体图像的设备450的示意图。设备450基本上形状为正方形，并且包括一对相机，用于在正方形的四个角中的每个角处捕捉左眼和右眼的图像。分别位于正方形的各个角处的相机401、403、405和407获取图像，所述图像形成用于一只眼睛的第一组图像。相机402、404、406和408分别位于正方形的对应角部，它们分别拍摄另一图像，所述图像形成用于另一只眼睛的第二组图像。可以独立地处理和校正第一组图像和第二组图像以建立第一和第二全景图像。
任选地，来自相机的图像被交错以建立处理的和校正的单个图像组，例如，根据以下顺序对各个相机捕捉的图像进行交错：401、402、403、404、405、406、407、408。然后将校正后的图像分离出来并进行接合，以创建左全景图和右全景图。
现在回到图1的步骤102。任选地，数字图像是由红色、绿色和蓝色通道定义的彩色数字图像。每个通道与某个像素强度值相关联。替代地或附加地，数字图像是由与某个像素强度值相关联的单个通道定义的黑白图像。
用不同的曝光(例如，自动曝光)及/或白平衡设置来获取数字图像。校正(如本文所述)具有不同曝光及/或白平衡的数字图像，否则将导致全景图像的接合框的颜色之间的显着差异，以提供改进的质量的全景图像。
一个或多个数字图像包括过度曝光像素强度值及/或曝光不足像素强度值的显着区域，当将数字图像(即未经校正的图像)接合到一起时以建立数字全景图像时，这些像素强度值会在颜色之间产生视觉上的明显差异。显着的曝光过度和/或曝光不足区域的大小可能会有所不同，例如，根据图像的大小、根据图像的分辨率、根据相邻的颜色及/或根据观看者(假定观看者具有平均视力)。本文描述的系统及/或方法考虑了过度曝光及/或曝光不足的区域，从而产生了质量改进的全景图像。
在步骤104，从接收到的数字图像中选择参考数字图像。任选地，从被获取以建立数字全景图像的数字图像中选择参考数字图像。可替代地，参考数字图像是不一定用于创建数字全景图像的独立图像。例如，参考图像可以由同一相机和/或不同相机拍摄。参考图像可用于计算用于创建全景图像的数字图像的伽玛值，其中必须包括全景图像中的参考图像本身。
根据图像的像素强度值的均匀分布需求，选择参考数字图像。均匀分布需求定义了像素强度值分布变化最小的数字图像。选择参考图像作为在颜色通道(或单个通道)上具有最均匀的像素强度值分布的图像，可以将其视为最平均的图像。非参考图像根据平均图像进行调整，以柔和颜色的极端，从而提供更均匀及/或更柔和的显示结果全景图像。
任选地，每一个个别的数字图像的多个像素强度值的分布被计算，以作为所述每一个个别的数字图像的像素的每一个强度值的频率与所述每一个个别的数字图像的多个像素的加权平均强度值之间的多个差的总和。选择具有最小差之和的数字图像作为像素强度值分布最均匀的图像。可以使用其他分布函数来计算像素强度值的分布，以选择具有像素强度值的最均匀分布的图像。
选择参考图像的示例性方法如下：计算每个像素强度值的频率直方图。对于每个可能的像素强度值(例如在[0,255]范围内)，直方图内储存图像中具有每个像素强度值的像素数。计算每个通道的直方图(例如红色、绿色和蓝色)。平均强度值计算为加权平均值。选择参考图像作为具有每一个像素强度值的像素数量与计算出的加权平均强度值之间的差之和的最小值的图像。
在步骤106，为每一个非参考数字图像的每一个通道(例如，对于彩色数字图像的红色、绿色和蓝色通道)计算伽玛值。根据每一个图像的相应重叠区域的经过伽玛校正的像素强度值之间的相关性(任选地为匹配)来计算伽玛值。
所述相关性可选地定义为重叠图像的相应重叠区域的经伽玛校正的像素强度值的值的函数(任选地为平均值)之间的匹配(在统计要求内，公差表示相等性的余量)。
将参考图像的每个通道的伽玛值设置为基线，任选地设置为一(1)。根据参考图像的校正伽玛值的数值来计算非参考图像的每个通道的伽玛值。
从多个伽玛参数的数值的计算中排除每一个具有过度曝光及/或曝光不足(例如最大强度值或最小强度值)的非参考重叠数字图像的所述至少一个重叠区域的多个通道的多个像素。当一个或多个通道具有过度曝光及/或曝光不足的像素强度值时，像素被排除。具有最小曝光量(例如0)和最大曝光量(例如255)强度值的像素(其代表曝光不足和过度曝光的区域)被排除在校正伽玛值的计算之外，以忽略对图像的过度曝光和曝光不足的区域的考虑。
根据公式(1)计算每一个非参考数字图像的每一个通道的伽玛数值：
Figure BDA0002282084180000221
其中：
n表示多个数字图像的数量；
γi表示表示数字图像i的伽玛值，其中i＝x表示参考数字图像，并且γx设置为基准值＝1；
Figure BDA0002282084180000222
NIi表示重叠的数字图像Ix和Ix mod n的重叠区域中的像素数；并且
Ii(p)表示数字图像i的像素p的强度值。
对于具有三个颜色通道的彩色数字图像，针对所述关系式表示的8个方程式和7个未知数值所计算的一最佳解是基于线性最小二乘法及/或解决超定系统的其他计算方法计算的。
现在描述方程(1)的推导。公式(1)基于n个图像。对于表示Ii和I(i+1 mod n)的两个重叠图像的较简单情况，第一图像的γ1和第二图像的γ2由公式(2)关联。为每个图像的三个颜色通道计算三个伽玛值。
Figure BDA0002282084180000231
对公式(2)的两边应用对数运算得到公式(3)，其中Bi是参照公式(1)定义的：
Figure BDA0002282084180000232
在步骤108，通过应用每一个非参考图像的每一个通道计算的伽玛值来建立校正的数字图像。每一个非参考图像计算的伽玛值被应用于每一个相应的非参考图像的一个或多个重叠区域和一个或多个非重叠区域的每个通道的像素强度值。
任选地，参考图像不被校正。用作基线的参考图像定义为经过颜色校正。注意，当参考图像的伽玛参数的值设置为1(1)时，将1的数值应用于参考图像不会导致像素强度值的改变。
使用校正的伽玛值排除每一个具有最大强度值或最小强度值的非参考数字图像的非重叠区域的多个通道的多个像素的校正。具有最小曝光量(例如0)和最大曝光量(例如255)强度值的像素(其代表曝光不足和过度曝光的区域)被排除在伽玛值校正之外，因为所施加的校正不影响各自通道的过度曝光和曝光不足像素值。但是，将校正应用于过度曝光及/或曝光不足区域确实会影响其他通道。对其他通道的影响导致非对称变化，这可能会扭曲过度曝光及/或曝光不足区域的颜色。颜色失真导致非过度曝光和过度曝光或曝光不足区域之间的边界变得非常尖锐。
根据需求识别每个数字图像的非重叠区域的显著的过度曝光及/或曝光不足区域。所述需求根据非重叠区域的通道的多个像素的强度值来定义显著的过度曝光及/或曝光不足区域。所述需求可以将重要的过度曝光及/或曝光不足区域的最小尺寸定义为例如图像像素总数的百分比。所述需求可以基于识别重要的过度曝光及/或曝光不足区域的其他方法，例如，基于数学模型，使用计算出的校正伽玛值来处理显著的过度曝光及/或曝光不足区域出现视觉上的明显像差。
所述需求可以定义显着的过度曝光及/或曝光不足区域，包括邻近过度曝光及/或曝光不足像素的像素邻域，其中邻近像素具有低于最大强度值及/或高于最小强度值的强度值。邻域可以被定义为，例如，曝光过度及/或曝光不足区域中像素数量的百分比、预定义的绝对像素数量和及/或基于根据像素的视觉特征计算邻域的数学模型。
根据公式(4)校正每个非参考图像的每个通道的非重叠区域的像素强度值：
Ii(p)＝F(i，p，γ)
公式(4)
当将非参考图像的非重叠区域的像素确定为位于已识别的显著过度曝光及/或曝光不足区域之外时，使用公式(5)：
F(i，p，γ)＝Ii(p)γ
公式(5)
当多个非参考图像的非重叠区域的多个像素被确定为位于所识别的显著过度曝光及/或曝光不足区域内时，基于等式(5)的简单伽玛校正无效。使用定义伽玛校正值的更平滑变化器的函数。伽玛值应用于识别的显着过度曝光及/或曝光不足区域的每个通道的每个像素强度值，通过调整像素强度值的伽玛值，使其更接近过度曝光和曝光不足值，使其相对像素强度值更接近中间曝光值。根据公式(6)，将伽玛值应用于所识别的显著过度曝光及/或曝光不足区域的每个通道的每个像素强度值：
F(i，p，γ)＝Ii(p)-f(Ii(p)-Ii(p)γ)
公式(6)
其中：
p表示要校正的各个像素；
Ii(p)表示数字图像i的像素p的强度值；
γ表示计算的校正伽玛值；
f表示使计算的校正伽玛值的数值进行平滑变化的伽玛因子。
当像素强度值由范围[0,255]定义时，可以根据公式(7)定义伽玛因子f：
f＝-0.0000615148019992*Ii(p)2+0.0156862745098*Ii(p)
公式(7)
伽玛因子f被定义为在以下三点处与x轴和y轴相交的抛物线：(0,0)、(127.5，1)及(255，0)，其平滑化所计算出的伽玛校正值的变化。当像素强度值离中间强度值127.5越远时，伽玛因子f的效果就越差。当像素强度值处于强度值范围的末端极限时，伽玛因子f无效，例如0(表示曝光不足)或255(表示曝光过度)。当像素强度值为127.5时，伽玛因子f最有效。
注意，根据可能的像素强度值的定义范围来调整公式(7)。
在步骤110，提供多个校正后的数字图像以建立一数字全景图像。校正后的数字图像可以由计算设备204(例如在处理的图像储存库216A中)就地储存、发送回提供数字图像的客户端212及/或发送到另一服务器220及/或储存设备222以储存及/或接合到数字全景图像。校正后的数字图像可以在显示器(例如224)上呈现给用户。
任选地，将多个校正后的数字图像接合起来以建立所述数字全景图像。接合可以由计算设备204及/或远程设备(例如客户端212及/或服务器220)执行。可以在多个图像的多个重叠区域内执行拼接。
所建立的数字全景图像可以在显示器(例如224)上呈现给用户，并发送给客户端212、储存设备222、服务器220及/或其他设备。
现在参考图3A至图3C，是根据本发明的一些实施例描绘校正数字图像以消除不同白平衡及/或曝光设置中的差异的柔和处理的示例性图像。
图3A包括由一个或多个相机拍摄的场景的原始数字图像302A至302E。每个图像302A至302E具有不同的白平衡及/或曝光设置。
图3B包括数字图像302A至302E的重叠区域304A至304D。每个图像302B至302D与另外两个图像重叠。例如，图像302B在304A处与图像302A重叠，在304B处与图像302C重叠。多个重叠区域用于计算应用于校正非数字参考图像的校正伽玛值，如本文所述。例如，根据与重叠区域304A处的图像302A的经伽玛校正的参数的相关性以及与重叠区域304B处的图像302C的经伽玛校正的参数的相关性来计算并应用于图像302B的每一个通道的伽玛参数。
图3C包括通过接合经颜色校正的数字图像而建立的全景图像306。
已经出于说明的目的给出了本发明的各种实施例的描述，但是这些描述并不是穷举性的或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择这里使用的术语是为了最好地解释实施例的原理，对市场上发现的技术的实际应用或技术上的改进，或者使本领域的其他普通技术人员能够理解这里公开的实施例。
可以预期，在本申请到期的专利有效期内，将开发出许多相关的全景图像，并且术语“全景图像”的范围旨在优先包含所有此类新技术。
如本文所用的术语“大约”是指±10％。
如本文中所用术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”、“包含(including)”、“具有(having)”及其词形变化是指“本质上由......组成”。
术语“本质上由......组成”指的是组成物、方法或可包括额外的成分和/或步骤，但仅当额外的成分和/或步骤不实质上改变所要求保护的组成或方法的基本和新颖特性。
本文所使用的单数形式「一」、「一个」及「至少一」包括复数引用，除非上下文另有明确规定。例如，术语「一化合物」或「至少一种化合物」可以包括多个化合物，包括其混合物。
如本文中所用的术语“示例性(exemplary)”表示“用作为一示例(example)，实例(instance)或例证(illustration)”。任何被描述为“示例性”实施例未必被解释为优选或优于其它实施例和/或排除与来自其它实施例的特征结合。
如本文中所用的术语“可选择地(optionally)”表示“在一些实施例中提供，而在其它实施例中不提供”。任何本发明的特定实施例可以包括多个“可选择的”特征，除非此类特征相冲突。
在整个本申请中，本发明的各种实施例可以以一个范围的型式存在。应当理解，以一范围型式的描述仅仅是因为方便及简洁，不应理解为对本发明范围的硬性限制。因此，应当认为所述的范围描述已经具体公开所有可能的子范围以及该范围内的单一数值。例如，应当认为从1到6的范围描述已经具体公开子范围，例如从1到3，从1到4，从1到5，从2到4，从2到6，从3到6等，以及所数范围内的单一数字，例如1、2、3、4、5及6，此不管范围为何皆适用。
每当在本文中指出数值范围，是指包括所指范围内的任何引用的数字(分数或整数)。术语，第一指示数字及第二指示数字"之间的范围”及第一指示数字"到”第二指示数字"的范围"在本文中可互换，并指包括第一及第二指示数字，及其间的所有分数及整数。
可以理解，本发明中的特定特征，为清楚起见，在分开的实施例的内文中描述，也可以在单一实施例的组合中提供。相反地，本发明中，为简洁起见，在单一实施例的内文中所描述的各种特征，也可以分开地、或者以任何合适的子组合、或者在适用于本发明的任何其他描述的实施例中提供。在各种实施例的内文中所描述的特定特征，并不被认为是那些实施方案的必要特征，除非所述实施例没有那些元素就不起作用。
虽然本发明结合其具体实施例而被描述，显而易见的是，许多替代、修改及变化对于那些本领域的技术人员将是显而易见的。因此，其意在包括落入所附权利要求书的范围内的所有替代、修改及变化。
在本说明书中提及的所有出版物、专利及专利申请以其整体在此通过引用并入本说明书中。其程度如同各单独的出版物、专利或专利申请被具体及单独地指明而通过引用并入本文中。此外，所引用的或指出的任何参考文献不应被解释为承认这些参考文献可作为本发明的现有技术。本申请中标题部分在本文中用于使本说明书容易理解，而不应被解释为必要的限制。

Claims (23)

1.一种计算机执行方法，用于处理多个数字图像以建立一数字全景图像，其特征在于：所述计算机执行方法包括：
接收获取的多个重叠的数字图像以建立一数字全景图像；
根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；
针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：
针对所述特定重叠图像的每一个通道的每一个个别的伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及
通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
2.如权利要求1所述的方法，其特征在于：针对所述多个重叠图像的每一个特定重叠图像的每一个通道的个别的伽玛参数的数值同时被计算。
3.如权利要求1所述的方法，其特征在于：所述相关性定义了针对所述特定重叠图像的每一个重叠区域的每一个通道所计算的经伽玛校正的多个像素强度值的一平均值与所述至少一个重叠图像中的每一个重叠图像在个别的重叠区域的每一个通道的经伽玛校正的多个像素强度值的一平均值之间的一统计上的显着匹配。
4.如权利要求1所述的方法，其特征在于：从多个伽玛参数的数值的计算中排除每一个具有最大强度值或最小强度值的非参考重叠数字图像的所述至少一个重叠区域的多个通道的多个像素。
5.如权利要求1所述的方法，其特征在于：将每一个具有最大强度值或最小强度值的非参考数字图像的非重叠区域的多个通道的多个像素排除在使用所述伽玛参数的计算值的校正之外。
6.如权利要求1所述的方法，其特征在于：所述方法更包括：
接收多个重叠图像的第一和第二组的立体像对；以及
通过交叠多个重叠图像的第一和第二组的立体像对的多个对应图像，来处理多个重叠图像的第一和第二组的立体像对以建立所述多个重叠的数字图像。
7.如权利要求1所述的方法，其特征在于：所述多个数字图像中的至少一个包括多个过度曝光像素强度值和多个曝光不足像素强度值中的至少一个的一有效区域，当多个非伽玛校正的非参考数字图像和所述参考数字图像被接合以建立所述数字全景图像时，所述多个过度曝光像素强度值和多个曝光不足像素强度值会在颜色之间产生视觉上的明显差异。
8.如权利要求1所述的方法，其特征在于：多个接收到的数字图像中的每一个数字图像都使用下列至少一不同相机设置获得：自动曝光和白平衡。
9.如权利要求1所述的方法，其特征在于：所述均匀分布需求定义了具有在像素强度值的分布上的最小变化的一特定数字图像。
10.如权利要求9所述的方法，其特征在于：每一个个别的数字图像的多个像素强度值的分布被计算，以作为所述每一个个别的数字图像的像素的每一个强度值的频率与所述每一个个别的数字图像的多个像素的加权平均强度值之间的多个差的总和。
11.如权利要求1所述的方法，其特征在于：针对所述参考数字图像的每一个通道所计算的伽玛参数的所述数值被设置为参考值1，并且基于所述参考数字图像的多个所述伽玛参数的一组参考值，针对多个非参考数字图像的每一个通道所计算的多个伽玛参数的所述数值被计算。
12.如权利要求1所述的方法，其特征在于：伽玛参数应用于每一个非参考数字图像的每一个通道的多个像素强度值的多个数值根据以下关系式被计算：
Figure FDA0002282084170000031
其中：
γi表示数字图像i的伽玛参数的数值；
n表示多个数字图像的数量；
i＝x表示参考数字图像，并且γx值设置为1；
NIi表示多个非参考数字图像Ix和Ixmodn之间的重叠区域中的像素数；并且
Ii(p)表示数字图像i的像素p的强度值。
13.如权利要求1所述的方法，其特征在于：对于具有三个颜色通道的彩色数字图像，针对所述关系式表示的8个方程式和7个未知数值所计算的一最佳解是基于线性最小二乘法计算的。
14.如权利要求1所述的方法，其特征在于：所述方法更包括：
根据所述个别的非参考数字图像的非重叠区域的多个通道的像素的过度曝光和曝光不足强度值中的至少一个的需求，识别每一个个别的非参考数字图像的非重叠区域的至少一个过度曝光区域/曝光不足区域；以及
相对于更接近中间曝光值的像素强度值，通过对更接近于过度曝光和曝光不足值的像素强度值的伽玛参数的数值所进行的相对较大调整，将伽玛参数的计算的数值应用于过度曝光区域/曝光不足区域的每一个通道的每一个像素强度值。
15.如权利要求14所述的方法，其特征在于：
所述伽玛参数的数值根据以下关系式应用于所述过度曝光区域/曝光不足区域的每一个通道的每一个像素强度值：
Ii(p)＝F(i，p，γ)；
F(i，p，γ)＝Ii(p)-f(Ii(p)-Ii(p)γ)；
其中：
γ表示伽玛参数的数值；
p表示要校正的各个像素；
Ii(p)表示数字图像i的像素p的强度值；
f表示使伽玛参数值平滑变化的伽玛因子。
16.如权利要求15所述的方法，其特征在于：当像素强度值由范围[0，255]定义时，其中f＝-0.0000615148019992*Ii(p)2+0.0156862745098*Ii(p)。
17.如权利要求14所述的方法，其特征在于：所述需求将曝光过度区域/曝光不足区域定义为包括至少一个具有最大强度值或最小强度值的像素以及具有小于最大强度值且大于最小强度值的强度值的多个近端像素的一邻近区域。
18.如权利要求1所述的方法，其特征在于：每一个数字图像是由红色、绿色和蓝色通道定义的一彩色数字图像，其中针对每一个数字图像的每一个红色、绿色和蓝色通道计算所述伽玛参数的个别数值。
19.如权利要求1所述的方法，其特征在于：所述方法更包括接合多个校正后的非参考数字图像和参考数字图像以建立所述数字全景图像。
20.如权利要求1所述的方法，其特征在于：接收到的多个数字图像获得360×180的视野，并且其中多个数字图像中的至少一个与其他四个数字图像重叠。
21.如权利要求1所述的方法，其特征在于：所述参考数字图像是从多个数字图像中选择出的。
22.一种用于处理多个数字图像以建立一数字全景图像的系统，其特征在于：包括：
一非暂时性储存器，具有储存于所述非暂时性储存器上的一代码，用于由一计算机设备的至少一个硬件处理器执行，所述代码包括：
一代码，用于接收获取的多个重叠数字图像以建立一数字全景图像；
一代码，根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；
一代码，用于针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：
针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及
一代码，用于通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
23.一种用于处理多个数字图像以建立一数字全景图像的一计算机程序产品，其特征在于：包括：
一非暂时性储存器，具有储存于所述非暂时性储存器上的一代码，用于由一计算机设备的至少一个硬件处理器执行，所述代码包括：
多个指令，用于接收用于建立一数字全景图像而获取的多个重叠数字图像；
多个指令，根据多个像素强度值的一均匀分布需求选择参考数字图像，其中，将所述参考数字图像的多个通道的多个伽玛参数设置为一基线值；
多个指令，用于针对所述多个重叠图像中每一个在个别的重叠区域与至少一个其他图像重叠的特定重叠图像执行下列操作：
针对所述特定重叠图像的每一个通道的每一个个别伽玛参数计算一数值以获得所述特定重叠图像的每一个重叠区域的每一个通道的被个别的伽玛参数校正的多个像素强度值以及每一个个别的重叠区域的每一个通道的针对至少一个其他图像中的每一个计算的且被个别的伽玛参数校正的多个像素强度值之间的一相关性；以及
多个指令，用于通过将每一个个别的伽玛参数的计算值应用于所述多个重叠图像的每一个特定重叠图像的重叠区域和非重叠区域，来建立多个校正图像。
CN201880033556.7A 2017-03-22 2018-03-22 用于校正全景数字重叠图像的系统和方法 Pending CN110651275A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/465,662 US10778910B2 (en) 2017-03-22 2017-03-22 System and methods for correcting overlapping digital images of a panorama
US15/465,662 2017-03-22
PCT/IL2018/050334 WO2018173064A1 (en) 2017-03-22 2018-03-22 System and methods for correcting overlapping digital images of a panorama

Publications (1)

Publication Number Publication Date
CN110651275A true CN110651275A (zh) 2020-01-03

Family

ID=63583723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033556.7A Pending CN110651275A (zh) 2017-03-22 2018-03-22 用于校正全景数字重叠图像的系统和方法

Country Status (4)

Country Link
US (1) US10778910B2 (zh)
EP (1) EP3602400A4 (zh)
CN (1) CN110651275A (zh)
WO (1) WO2018173064A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10778910B2 (en) 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama
US11363214B2 (en) * 2017-10-18 2022-06-14 Gopro, Inc. Local exposure compensation
EP3769038A1 (en) 2018-03-19 2021-01-27 Ricoh Company, Ltd. Information processing apparatus, image capture apparatus, image processing system, and method of processing information
CN108377345B (zh) * 2018-04-11 2020-04-03 浙江大华技术股份有限公司 一种曝光参数值确定方法、装置、多目摄像机及存储介质
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
CN112991163B (zh) * 2019-12-12 2023-02-28 杭州海康威视数字技术股份有限公司 一种全景图像的获取方法、装置及设备
CN111679804B (zh) * 2020-06-02 2023-05-02 深圳创维－Rgb电子有限公司 一种oled显示补偿方法、系统、显示设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117488A1 (en) * 2001-08-10 2003-06-26 Donald Pierce Stereoscopic panoramic image capture device
US20060115182A1 (en) * 2004-11-30 2006-06-01 Yining Deng System and method of intensity correction
US20060208960A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Display specific image processing in an integrated circuit
US20070019946A1 (en) * 2005-07-19 2007-01-25 Clint Clemens Methods for creating spherical imagery
US20070041656A1 (en) * 2005-08-19 2007-02-22 Ian Clarke Method and apparatus for reducing brightness variations in a panorama
US20090086046A1 (en) * 2007-08-31 2009-04-02 Historx, Inc. Automatic exposure time selection for imaging tissue
CN105516596A (zh) * 2015-12-30 2016-04-20 完美幻境(北京)科技有限公司 一种全景拍摄处理方法、装置及系统
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212213B2 (en) * 2001-12-21 2007-05-01 Steinberg-Grimm, Llc Color display instrument and method for use thereof
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
KR20150021353A (ko) 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US10778910B2 (en) 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117488A1 (en) * 2001-08-10 2003-06-26 Donald Pierce Stereoscopic panoramic image capture device
US20060115182A1 (en) * 2004-11-30 2006-06-01 Yining Deng System and method of intensity correction
US20060208960A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Display specific image processing in an integrated circuit
US20070019946A1 (en) * 2005-07-19 2007-01-25 Clint Clemens Methods for creating spherical imagery
US20070041656A1 (en) * 2005-08-19 2007-02-22 Ian Clarke Method and apparatus for reducing brightness variations in a panorama
US20090086046A1 (en) * 2007-08-31 2009-04-02 Historx, Inc. Automatic exposure time selection for imaging tissue
CN105516596A (zh) * 2015-12-30 2016-04-20 完美幻境(北京)科技有限公司 一种全景拍摄处理方法、装置及系统
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法

Also Published As

Publication number Publication date
US10778910B2 (en) 2020-09-15
EP3602400A4 (en) 2020-12-16
US20180278854A1 (en) 2018-09-27
EP3602400A1 (en) 2020-02-05
WO2018173064A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN110651275A (zh) 用于校正全景数字重叠图像的系统和方法
US10460459B2 (en) Stitching frames into a panoramic frame
JP6818015B2 (ja) マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法
US9444991B2 (en) Robust layered light-field rendering
US20130294683A1 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
JP2020525912A (ja) デジタル画像を適応的にスティッチするシステムおよび方法
WO2009080449A1 (en) Image processing for supporting a stereoscopic presentation
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
US20170310943A1 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3d cameras
US20150341537A1 (en) Local enhancement apparatus and method
CN109785390B (zh) 一种用于图像矫正的方法和装置
US20240296531A1 (en) System and methods for depth-aware video processing and depth perception enhancement
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
CN107197134B (zh) 一种用于多个鱼眼镜头的图像的曝光调整方法和装置
US20140092222A1 (en) Stereoscopic image processing device, stereoscopic image processing method, and recording medium
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
US11792511B2 (en) Camera system utilizing auxiliary image sensors
JP2014003486A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム
JP2013128253A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
Gil Rodríguez et al. High quality video in high dynamic range scenes from interlaced dual-iso footage
JPWO2019082415A1 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体
Xu Capturing and post-processing of stereoscopic 3D content for improved quality of experience
US20160165207A1 (en) Electronic device, method, and computer program product
TWI559042B (zh) 區塊式數位重對焦系統及其方法
Grau et al. Effects of camera aperture correction on keying and compositing of broadcast video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200103

WD01 Invention patent application deemed withdrawn after publication