CN102567976B - 非常大的航拍图像拼接的色调映射 - Google Patents

非常大的航拍图像拼接的色调映射 Download PDF

Info

Publication number
CN102567976B
CN102567976B CN201110457623.8A CN201110457623A CN102567976B CN 102567976 B CN102567976 B CN 102567976B CN 201110457623 A CN201110457623 A CN 201110457623A CN 102567976 B CN102567976 B CN 102567976B
Authority
CN
China
Prior art keywords
pixel
image
paster
tone mapping
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110457623.8A
Other languages
English (en)
Other versions
CN102567976A (zh
Inventor
刘宇翔
W.施克勒
L.罗森谢恩
D.西蒙斯
I.奥默
R.勒纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102567976A publication Critical patent/CN102567976A/zh
Application granted granted Critical
Publication of CN102567976B publication Critical patent/CN102567976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于将较大地面区域的高动态范围图像色调映射到较低动态范围图像的方法，其使用一种全局知晓、局部自适应的方案，其中从对应于图像贴片的局部3x3矩阵的已知色调映射参数导出局部色调平衡参数数值，并且随后将其用来导出对应于所述矩阵的中间贴片内的像素的局部S型传递函数。全局S型传递函数是根据适用于整个图像的色调映射参数的数值导出的。较低动态范围图像像素将具有经过局部色调映射的数值和经过全局色调映射的数值，通过为二者分别给出一个加权数值而将其组合，从而提供最终的低动态范围像素数值。

Description

非常大的航拍图像拼接的色调映射
背景技术
对于较大地面区域的制图和成像带来许多挑战。由地面区域的彩色图像带来的一个技术问题与原始图像的颜色再现有关。举例来说，大气具有不合期望的与距离相关的影响，其可能会导致数字图像看起来呈蓝色和/或存在薄雾。或者对于另一个实例，太阳具有与角度相关的影响，其可能导致较大地面区域的数字图像的一些部分看起来比其他部分更加明亮，尽管所述场景本身的亮度相对均匀。为了应对围绕以数字形式精确地捕获所述图像所出现的上述和其他问题已经开发出许多技术。具体来说，已经开发出用以应对精确地捕获场景内容所带来的挑战的技术，尽管在所述图像上存在较大的并且常常是非线性的变化。
因此，利用具有高动态范围的大格式摄影机可以精确地捕获较大地面区域的图像的内容，所述摄影机比如是Microsoft UltraCam航拍摄影机。但是所捕获图像的动态范围通常高于诸如将在其上观看或再现图像的计算机监视器或打印机之类的视觉显示器件的动态范围。举例来说，前述摄影机可能以16比特动态范围的格式捕获图像，而计算机监视器或打印机可能只具有8比特动态范围。同样地，通常更加实际的做法是利用其动态范围与借以观看图像数据的视觉显示器件相同的格式来存储及获取所述图像数据，而不是利用由摄影机产生的图像的更大动态范围。这是因为动态范围减小的图像将使用较少存储空间，并且将不需要进行转换以便以可见形式再现所述数据。此外，如果图像被存储在远程位置处并且需要通过因特网来访问，则通过减小图像的动态范围还将减少把云存储的图像下载到本地计算机以供显示所需的带宽和时间。
另一方面，在把原始的16比特图像转换成8比特图像时，必须尽最大可能保留其内容。否则对于想要在计算机监视器上观看、打印所述图像或者以其他方式使其在视觉显示器件上可见的人来说，所述图像的内容将被丢失。
发明内容
这里所讨论的主题内容的一个方面提供一种通过色调映射（tone mapping）技术将具有特定动态范围的像素的原始数字图像转换成具有较低动态范围的像素的相应图像的方式，所述色调映射技术减少了原始图像中的内容损失并且使得相应图像中的伪像最小化。
在这里所要求保护的主题内容的一个方面中，一种用于将较大地面区域的高动态范围图像色调映射成较低动态范围图像的方法使用一种全局知晓（global aware）并且局部自适应（locally adaptive）的途径，其中从对应于图像贴片（tile）的局部矩阵的已知色调映射参数导出局部色调平衡参数，并且随后将其用来导出局部S型（sigmoid）传递函数。全局S型传递函数是根据适用于整个图像的色调映射参数的数值导出的。利用经过局部色调映射的数值和经过全局色调映射的数值对各个像素进行色调映射，其中利用适用于每一个数值的加权因数将其组合。
在这里所要求保护的主题内容的另一方面中，一种计算机系统包括：色调映射程序模块，其具有通过用于执行如前所述的色调映射方法的可执行指令具体实现的算法；用于存储经过色调映射的图像的各个像素的存储模块；以及用于显示经过色调映射的图像的显示组件。
提供本概要是为了以简化形式介绍将在下面的详细描述部分中进一步描述的所选概念。本概要不意图标识出所要求保护的主题内容的关键特征或本质特征，也不意图被用来帮助决定所要求保护的主题内容的范围。
附图说明
通过下面结合附图对各个实施例所做的详细描述将会更好地理解这里所讨论的主题内容的目的，其中相同的附图标记始终指代相同的特征。下面是对用在所附的详细描述部分中的附图的简要标识。
图1示意性地描绘了由高动态范围的大格式（large format）数字摄影机在地表上方的海拔高度H处拍摄的地面区域A。
图2示意性地描绘了处在适于产生较大地面区段R的图像的飞行路径上的携带图1中所描绘的摄影机的飞机。
图3是示出了为了对由行经图2中所示的飞行路径的安装在飞机上的摄影机所采集的原始摄影图像进行处理所执行的典型步骤的流程图。
图4是通过根据图3对原始摄影图像进行处理所得到的图像贴片的拼接（mosaic）的示意图。
图5在一个3x3矩阵的中心处示出了图4中的其中一个贴片，以便说明在后面的章节中讨论的色调映射方法的一个实施例。
图6是说明这里所讨论的色调映射方法的该实施例的流程图，通过所述方法将通过图3中所示的图像处理方法所产生的16比特像素图像转换成8比特像素图像。
图7是对应于例如图5中所示的高动态范围（HDR）像素图像的一部分的代表性直方图的一个实例。
图8是用于将高动态范围（HDR）像素色调映射到对应的较低动态范围（LDR）像素的S型传递函数的一个实例。
图9是用于执行根据这里所讨论的原理的色调映射方法的计算机系统的示意图。
本领域技术人员将很容易理解的是，附图在许多方面是示意性的，但是在与下面的详细描述相结合时仍然足以使得本领域技术人员制作及使用所要求保护的主题内容。
具体实施方式
首先参照图1，由大格式数字航拍摄影机10在地球E表面上方的海拔高度H处按照已知方式生成一个较大地面区域的数字图像。摄影机10包括镜头12，所述镜头12具有适当的焦距，以产生长L千米宽W千米的区域A的数字图像。在一种典型的应用中，海拔高度H是大约6千米，L是大约8.5千米，W是大约1.5千米。这样的摄影机的一个实例是由Microsoft Corporation完全所有的一家子公司Vexcel Imaging GmbH（Graz，Austria）所制造的UltraCamX。关于UltraCamX摄影机以及如何将其利用来产生较大地面区域的拼接图像的详细描述可以在Gruber, Michael等人的“UltraCamX, the Large Format Aerial Digital Camera System by Vexcel Imaging/Microsoft（UltraCamX——Vexcel Imaging/Microsoft的大格式航拍数字摄影机系统）”（Int’l Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences，Vol. XXXVII，Part B1，北京2008，第665-670页）中找到。应当强调的是，可以使用任何已知方式来捕获地球表面的某一区段的图像以用于根据这里的描述的映射目的，在Gruber的文章中所描述的UltraCamX仅仅是作为用于说明性目的的一个实例给出的。
摄影机10和镜头12通常被安装在图2中所示的飞机20中，该飞机遵循飞行路径P以便利用摄影机10捕获具有16比特动态范围的原始图像。也就是说，图像中的每一个像素具有由16个比特的数据所代表的数值，并且这样的图像通常被视为具有高动态范围。但是应当理解的是，缩写“HDR”在这里仅被用来表示大于所述较低动态范围的动态范围，其中将根据下面进一步讨论的方法把图像色调映射到所述较低动态范围中。也就是说，这里所描述的色调映射方法是结合将16比特像素转换成8比特像素来讨论的，后者有时也用缩写“LDR”（低动态范围）来指代。无论如何，这些缩写只意图表示相对数值，即HDR像素具有高于LDR像素的动态范围，而不指代具有任何特定比特数的动态范围。
在任何情况下，由摄影机10产生的每一个原始图像都是关于一个区域A，飞行路径P是覆盖地球表面的较大区段R的之字形模式。区段R的规格通常可能是X=100千米并且Y=100千米，但是也可以对其他尺寸的区段进行成像。从图2应当认识到，飞行路径和图像捕获的定时导致每一个区域A在L和W方向上都与相邻区域重叠。如此捕获的各个图像被处理并组装呈代表区段R的图像。
图3示出了用于将摄影机10所捕获的原始图像处理成精确地代表区段R的图像的方法的一个实例。前面已经结合图1和2描述了步骤S300，即图像捕获。在步骤S300中提到的图像是通过遵循飞行路径P而产生的具有16比特动态范围的区段R的重叠图像。本领域技术人员将会理解的是，这些图像可能是区段R的多于一个原始图像集合的结果。举例来说，一个图像集合可能处在可见光范围内，而另一个集合可能处在红外区段内。所述图像还可能是在不同日间时进行的几次飞行的结果。
在步骤S302中，利用航拍三角定位处理根据已知的原理执行集束调节，所述航拍三角定位处理最小化由于图像代表从不同视点拍摄的多个三维点而导致的再投影误差。接下来，步骤S304是辐射测定处理，其去除航拍图像中的大气散射（Rayleigh和Mie散射）。这一步骤校正大气的与距离相关的影响，并且防止图像错误地呈蓝色和/或出现薄雾。可以根据在前面讨论的美国专利申请号12/973,689中描述的技术来执行该步骤。步骤S306也是辐射测定处理，其通过校正太阳的与角度相关的影响来去除由于微影而导致的热点，其中所述微影导致图像的不均匀照明。这可能会导致由摄影机10捕获的图像的某些部分看起来比其他部分更加明亮，尽管场景本身的亮度是相对均匀的。一种用于执行该图像校正的技术可以是基于在Chandelier, L.等人的“A Radiometric Aerial Triangulation for the Equalization of Digital Aerial Images（用于数字航拍图像的均衡化的辐射测定航拍三角定位）”（Programmetric Engineering & Remote Sensing，第193-200页，2009年）中所讨论的原理。在步骤S308中，对经过大气校正并且去除了热点的图像进行正射纠正。这是一种已知的几何处理，其校正航拍图像从而使得比例尺是均匀的（像地图一样）而没有失真。随后是步骤S310，其中利用已知的分段处理组合经过正射纠正的图像，通过所述分段处理，多个经过正射纠正的图像被组合成各个图像贴片的无缝拼接。这可以通过利用本领域技术人员已知的最大流－最小切割（max-flow-min-cut）理论的算法来执行。
应当认识到的是，在步骤S310之后得到的图像数据仍然具有16比特动态范围。正如前面所讨论的那样，该动态范围通常不适用于诸如计算机监视器或打印机之类的视觉显示器件，所述视觉显示器件通常具有8比特动态范围。此外还有利的是按照8比特动态范围格式存储区段R的最终图像，以便使用较少存储空间并且便于把图像从一个位置传输到另一个位置（比如通过因特网）。存在许多已知的色调映射技术以用于把16比特动态范围图像转换到8比特动态范围图像。此外还知道或者对于由摄影机10捕获的原始图像（即紧接在步骤S300之后并且在任何其他图像处理之前）执行这样的色调映射，或者在步骤S310之后当已经构造了代表区段R的图像的正射拼接时执行色调映射。这里所描述的有利的色调映射方法在步骤S310之后执行色调映射，并且总体上在图3中由步骤S312代表。
图4代表在经过图3的步骤S310的处理之后的10000km2区段R的图像的一部分。其具有16比特动态范围，并且由于在步骤S302到S310中所实施的处理，其非常精确地捕获了由摄影机10拍摄的区段R的内容。在这里所讨论的16比特到8比特色调映射技术中，所述图像由贴片402的二维栅格400代表。每一个贴片代表在前面的步骤S310中构造的区段R的正射拼接的一个给定矩形区域的正射图像。在本实施例中，所有贴片402具有相同的规格，其在这里被选择成6250像素乘6250像素。可以使用其他规格并且各个贴片不一定非得具有相同的规格，但是如果所有贴片都具有类似的规格，则这里所描述的色调映射方法得到简化。对于拼接栅格400中的每一个贴片402应用根据这里所描述的实施例的色调映射方法。为了说明该方法，将对于在图4中由交叉影线示出的一个典型贴片404进行详细解释。所述方法还考虑与中心贴片404临近的贴片406。这些临近贴片在本实施例中构成一个3x3矩阵，其有时在这里被称作包括贴片404的局部邻域（local neighbour）N。虽然前面在逐个贴片的基础上应用了色调映射，但是根据下面将要描述的方法的色调映射是独有的全局知晓并且局部自适应的。下面将进一步讨论所述方法的各种优点。
图5是图4中的典型的3x3贴片邻域N的详细视图。应当认识到的是，用在这里所描述的色调映射方法中的贴片邻域的规格不限于3x3矩阵，如果确定将会获得更好的色调映射结果的话，所述邻域可以是其他规格。根据场景内容来选择邻域的尺寸。在给出特定贴片尺寸的情况下， NxN个贴片的邻域应当代表这样一个图像区域，该图像区域的内容的变化大到足以使其直方图收敛到高斯形状。每一个贴片（包括所讨论的贴片404）具有传统上被用在色调映射应用中的特定属性。这里所描述的技术使用已知的色调映射参数阴影百分比和高光百分比，其有时也被本领域技术人员称作“最大－最小草图（max-min stretch）”。这些参数被“局部地”以及“全局地”确定，“局部”意味着通过使用对应于比如处在邻域N内的那些贴片的临近贴片的参数，“全局”则意味着把对应于区段R内的所有贴片的参数的平均值纳入考虑。
图6是说明将在下面更加详细地描述的色调映射方法的流程图，其在图3中被称作步骤S312。在图6的流程图中，第一步骤S600导出对应于区段R中的每一个邻域N的色调平衡参数的数值。（参见图2和4。）这是利用从对应于给定贴片的邻域N的直方图中导出的阴影百分比数值和高光百分比数值而实现的。有可能通过使用对应于包括在任何特定邻域内的各个单独贴片的数值导出对应于该邻域的直方图，所述数值在本实施例中已经可用，这是因为图4中的贴片优选地是被用来如在前面结合图3所描述的那样组合图像的相同贴片。也就是说，这些参数的数值是已知的，这是因为已经结合前面关于图3讨论的图像处理导出了这些参数的数值。但是在这里所描述并要求保护的主题内容的范围内，可以利用关于来自前面结合图3所描述的处理的图像的信息按照任何已知方式导出对应于每一个邻域的直方图。随后从阴影百分比和高光百分比数值导出色调平衡参数，其中阴影百分比和高光百分比数值是利用对应于每一个邻域N内的所有贴片的直方图按照已知方式确定的。图7是对应于HDR像素的一个典型邻域N的直方图的说明性实例，其表明特定图像分量（红色、绿色、蓝色或红外）对于整个领域的频率分布。
本实施例从图像的红色（R）、绿色（G）、蓝色（B）和红外（IR）分量为每一个邻域导出下面的四个色调平衡参数贴片数值：
RGBTileShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueB)
FCIRTileShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueIR)
RGBTileHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueB)
FCIRTileHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueIR)
表示法“min(A,B,C)”表示所述色调平衡参数被取作对于给定贴片的邻域内的所有图像像素所包括的百分比数值当中的最小值，其中所述给定贴片例如是邻域N内的贴片404。举例来说，RGBTileShadowValue（RGB贴片阴影数值）代表对应于给定贴片的邻域内的所有像素的ShadowValueR（其指代对应于红色图像分量的阴影百分比数值）、ShadowValueG或ShadowValueB当中的最低值。换句话说，如果对于以给定贴片为中心的邻域来说，ShadowValueR既小于ShadowValueG的数值又小于ShadowValueB的数值，则RGBTileShadowValue=ShadowValueR。类似地，表示法“max(A,B,C)”表示所述色调平衡参数被取作对于以给定贴片（在本例中是贴片404）为中心的邻域内的所有图像像素所包括的百分比数值当中的最大值。
在步骤S602中，将每一个邻域的色调映射参数指定给每一个邻域的中心贴片。在步骤S604中，利用前面的色调平衡参数对于每一个贴片导出邻域S型传递函数。首先，根据在步骤S602中导出的色调平衡参数对于每一个贴片的每一个图像分量确定其动态范围。在本实施例中，对应于贴片的R、G和B分量当中的每一个的16比特动态范围被设定到RGBTileHighlightValue-RGBTileShadowValue，并且对应于贴片的IR分量的16比特动态范围被设定到FCIRTileHighlightValue-FCIRTileShadowValue。为了在下面的讨论中易于表示，将把对应于贴片的R、G和B分量的16比特数值用作一个实例，但是相同的原理同时适用贴片的R、G、B分量和IR分量。该数值被用作对应于指定给一个贴片的S型传递函数的贴片动态范围，正如在下一段中所讨论的那样。
局部色调映射涉及对于每一个图像分量利用邻域S型传递函数把对应于每一个图像分量的16比特数值映射到从0到255（28=256）的8比特数值。在图8中以曲线图的形式描绘出典型的S型传递函数。由沿着图8中的横轴绘制的HDR（在这里是16比特）像素代表的每一个图像分量（R，G，B，IR）具有沿着纵轴绘制的相应的LDR（在这里是8比特）图像分量。在步骤S604中导出贴片传递函数以用于把贴片404中的每一个16比特像素分量数值映射到8比特像素分量数值。被映射到8比特数值的给定的16比特像素分量数值首先从像素数值中减去对应于包含该像素的贴片的偏移量RGBTileShadowValue。对于贴片404，使用在步骤S602中指定给贴片404的对应于邻域N的该参数的数值。接下来，将所述像素分量数值乘以一个缩放因数=1/对应于包含该像素的贴片的（如前面所讨论的那样）所导出的16比特动态范围，从而获得一个处在0到1之间的浮点数值，并且对该浮点数值应用具有特定于被用来拍摄区段R的摄影机10的伽玛值（γ）的伽玛校正函数。已知的伽玛校正函数是具有y=x1/γ的形式的幂律函数，其中x是输入浮点数值，y是输出。对应于伽玛的典型数值是2.2。最后，把经过伽玛校正的浮点数值乘以255，以便确定用于将对应于像素的每一个图像分量的16比特数值映射到8比特数值的S型传递函数。低于RGBTileShadowValue的任何所得到的数值都将被映射到0，高于RGBTileHighlightValue的任何所得到的数值都将被映射到255。在实践中，所得到的S型传递函数被具体实现在一个查找表中，计算机处理器可以在逐个贴片的基础上参照该查找表。
在步骤S606中，通过首先对区段R内的每一个贴片402中的每一个像素进行色调混合来执行对于每一个贴片的局部色调映射。同样地，将图5中示出的贴片404作为代表，其首先被视为分成四个象限404a、404b、404c和404d。如前所述，把对应于以贴片404为中心的邻域N的局部色调平衡参数RGBTileShadowValue、FCIRTileShadowValue、RGBTileHighlightValue和FCIRTileHighlightValue指定给该贴片。这些参数被用来如前所述地导出邻域色调平衡S型传递函数（f11）。在获得所述S型传递函数之后，将其指定给贴片404。该S型传递函数的影响区域包括贴片404本身以及围绕贴片404的其他八个贴片（例如图5中的贴片4061-8）中的所有像素。所述其他八个贴片当中的每一个的邻域S型传递函数是利用其自身的所指定的邻域色调平衡参数的每一个所导出的，所述邻域色调平衡参数又是如前面结合贴片404所讨论的那样导出的。为了易于描述对应于贴片404的右上象限（404a）的各个像素的局部色调混合算法，图5中的贴片4061、4062、4063的S型传递函数在这里分别被标记为f12、f22和f21。
对于该象限，贴片404的中心像素位置被选作正交X-Y轴坐标系的原点，正如图5中所示出的那样。为了易于参考，参考PX,Y在这里被用来表示对应于象限404a中的任何像素的对应的混合后数值，其是在利用步骤S604中导出的对应于贴片404、4061、4062和4063的适用传递函数对坐标X,Y处的像素的每一个像素分量（R，G，B，IR）进行局部色调映射之后而得到的。为了应用每一个传递函数，首先从源图像中读取位置(X,Y)处的从步骤S310得到的正射图像中的实际HDR（在这里是16比特）源像素数值（SX,Y），随后利用所述四个传递函数将该像素数值变换（四次）到四个LDR（在这里是8比特）数值。下面描述的局部色调混合算法中的表示法f11(SX,Y)、f12(SX,Y)、f21(SX,Y)和f22(SX,Y)表示从应用于源像素（HDR）数值SX,Y上的所述四个传递函数获得的对应的LDR数值。考虑到该表示法，通过下面的色调混合双线性内插算法来计算对应于第一象限404a中的目的像素PX,Y的对应的局部混合后数值：
R1 = (X2 – X)/(X2 – X1) × f11(SX,Y) + (X – X1)/(X2 – X1) × f21(SX,Y)      (1)
R2 = (X2 – X)/(X2 – X1) × f12(SX,Y) + (X – X1)/(X2 – X1) × f22(SX,Y)      (2)
PX,Y = (Y2 – Y)/(Y2 – Y1) × R1 + (Y – Y1)/(Y2 – Y1) × R2                       (3)
其中：X,Y是所考虑的像素的坐标；X1,Y2是贴片4061的中心的坐标；X2,Y1是贴片4063的中心的坐标；并且X2,Y2是贴片4062的中心的坐标。对应于每一个贴片的对应传递函数f11、f12、f21和f22也在图5中示出。这样就利用所述双线性内插算法提供了对应于坐标为X,Y的点处的像素的所有混合后的经过色调映射的像素数值（对应于所有图像分量R、G、B、IR），其中所述四个经过色调映射的像素数值是利用对应于每一个像素分量的对应的S型传递函数获得的。
对于每一个其他象限404b、404c和404d中的每一个像素执行相同的局部混合后的色调映射。更具体来说，对于象限404b，利用被指定给贴片404、4063、4064和4065的传递函数应用前面的色调混合双线性内插算法；对于象限404c，利用被指定给贴片404、4065、4066和4067的传递函数应用所述色调混合算法；对于象限404d，利用被指定给贴片404、4067、4068和4061的传递函数应用所述色调混合算法。在区段R的边缘处，利用可用的相邻贴片执行色调混合。举例来说，如果贴片404处在区段R的上方周界处，则在前面的等式（2）中被指定给传递函数f12和f22的数值将被设定到零。相应地，等式（3）将变为下式：
PXY = (Y2 – Y)/(Y2 – Y1) × R1
同样地，如果贴片404处在区段R的下方周界处，则将只利用相邻贴片4063来实施对应于象限404b的色调混合。
至此所描述的实施例设想了一种并行处理途径，其中在局部色调映射步骤S606之前对于所有邻域导出所有色调平衡参数。应当认识到的是，可以在逐个邻域的基础上以或多或少地串行类型处理实施局部色调映射，或者以对于区段R的一些邻域的并行处理与对于已被处理的邻域的串行处理的组合实施局部色调映射。
下一步骤S608涉及确定对应于区段R内的所有贴片的阴影百分比和高光百分比的平均值，这是利用如前面那样对于所有邻域的每一个中心贴片导出的这些参数的数值来实现的。可以通过在逐个贴片的基础上对于区段R的图像中的每一个贴片如此导出的数值相加并且除以贴片的总数来确定这些图像参数的平均值。在步骤S610中，如前面所讨论的那样导出对应于每一个图像分量（R，G，B，IR）的全局S型传递函数，但这是利用平均全局数值实现的。在步骤S612中，利用所述全局传递函数从整个图像中的每一个16比特图像像素映射一个8比特像素。
更具体来说，本实施例根据对应于16比特HDR图像的红色（R）、绿色（G）、蓝色（B）和红外（IR）分量当中的每一个的阴影百分比数值和高光百分比数值的全局平均从色调平衡参数导出全局传递函数：
RGBGlobShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueB)
FCIRGlobShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueIR)
RGBGlobHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueB)
FCIRGlobHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueIR)
正如前面结合邻域传递函数所讨论的那样从这些全局色调平衡参数导出对应于每一个图像分量的全局传递函数，其中用如上定义的全局数值替换前面的讨论中的邻域数值。在本实施例中，对应于贴片的R、G和B分量当中的每一个的全局16比特动态范围被设定到RGBGlobHighlightValue-RGBGlobShadowValue，并且对应于贴片的IR分量的全局16比特动态范围被设定到FCIRGlobHighlightValue-FCIRGlobShadowValue。与前面一样，对应于贴片的R、B和G分量的16比特数值将被用作下面的讨论中的一个实例，但是相同的原理既适用于全局R、G、B分量又适用于全局IR分量。
全局色调映射涉及对于每一个图像分量利用全局S型传递函数把对应于每一个像素的图像分量的16比特数值映射到从0到255（28=256）的8比特数值。被映射到8比特数值的给定的16比特像素分量数值首先从像素数值中减去对应于包含该像素的贴片的偏移量RGBGlobShadowValue。接下来，将所述像素分量数值乘以一个缩放因数=1/对应于包含该像素的贴片的所导出的16比特全局动态范围，从而获得一个处在0到1之间的浮点数值，并且对该浮点数值应用与前面相同的伽玛校正函数。最后，把经过伽玛校正的全局浮点数值乘以255，以便确定用于将对应于像素的每一个图像分量的16比特数值映射到8比特数值的全局S型传递函数。低于RGBGlobShadowValue的任何所得到的数值都将被映射到0，高于RGBGlobHighlightValue的任何所得到的数值都将被映射到255。在实践中，所得到的全局S型传递函数被具体实现在一个查找表中，计算机处理器可以参照该查找表。
步骤S614对于在步骤S606中获得的经过局部色调映射的像素应用一个全局知晓因数（global awareness factor）。如前所述，每一个像素包括从步骤S606得到的局部8比特图像分量或通道（R，G，B，IR）以及从步骤S612得到的相应的8比特全局图像分量。步骤S614利用一个总和为1的加权因数将每一个局部图像分量与其相应的全局图像分量相组合。将给定像素的红色分量或通道作为一个实例，经过色调映射的8比特像素的最终数值R_final由下面的算法给出：
R_final = R_local × local weight + R_global × (1 – local weight)        (4)
其中，R_local是从步骤S606得到的该像素的8比特红色分量；R_global是从步骤S612得到的该像素的8比特红色分量；并且“local weight（局部权重）”是被应用来使得色调映射结果被更多地局部加权的加权因数。已经发现，对应于局部权重的数值有利地是0.20。参数(1-local weight)是与“local adaptive factor（局部自适应因数）”局部权重具有总和为1的关系的“global awareness factor（全局知晓因数）”，其中所述总和为1的关系即((1-local weight)+local weight=1)。按照相同的方式确定其他图像分量（R，G，B，IR）的最终数值。也就是说，每一个像素的每一个分量都具有一个局部8比特分量和一个全局8比特分量。根据等式（4）确定对应于经过色调映射的8比特像素的最终数值。
前面描述的全局知晓、局部自适应色调映射处理提高了经过色调映射的图像的图像质量，尤其是那些特别均质从而表现出较窄直方图的图像部分，比如水域。当这样的区域的直方图过窄时（也就是说其标准偏差远小于更为多样的图像部分的典型直方图），这样的均质图像部分的图像参数阴影百分比和高光百分比也将具有较窄的数值范围，并且将有可能不会反映出这些图像部分的真实辉度范围。如果只有窄范围图像参数被用于色调映射，则所得到的图像与其他更加多样的图像贴片相比可能过亮或过暗。本发明的色调映射方法通过同时考虑局部和全局统计特性而避免了这些缺陷，从而增强了来自全局参数的均匀性和来自局部参数的对比度。
应当认识到的是，前面的色调映射方法特别被适配成由例如在图9中示意性地示出的传统数字计算机系统900来执行，其中包括带有处理器组件902的设备，所述处理器组件具有用于控制系统组件的操作的操作系统模块904，所述系统组件比如是色调映射程序模块906和存储模块908。所述操作系统模块通常被存储在诸如硬盘驱动器（未示出）之类的非暂时性计算机存储介质或器件中，并且被具体实现在由处理器组件102执行的计算机可执行指令中。计算机编程领域内的技术人员能够编写可执行指令以包括在色调映射程序模块906中，其可以实施前面所描述的算法。通过应用这样的算法而得到的经过色调映射的像素通常将被存储在存储模块908中以供最终传送到诸如计算机监视器或打印机之类的显示组件，从而以人类可读的形式再现经过色调映射的图像。
还应当认识到的是，可以利用类似于图9中所描绘的处理器模块生成根据前面所描述的方法的经过色调映射的图像并且将其云存储在一个或更多远程站点处，以便通过诸如客户端计算机系统上的Web浏览器之类的传统技术进行访问。如前所述，LDR形式的图像存储将便于通过无线或有线连接把图像从一个位置传输到另一个位置，这是因为图像所代表的数据比特数目少于以其原始HDR形式存储及发送图像的情况。
除非上下文明确另有所指（比如使用术语“图像分量”），否则在本说明书中使用的术语“组件”、“模块”、“系统”、“设备”、“接口”等等一般意图指代与计算机有关的实体，其或者是硬件、软件与硬件的组合、软件或者执行中的软件。举例来说，这样的组件可以是（但不限于）运行在处理器上的进程、处理器、对象、可执行程序、执行线程、程序和/或计算机。作为说明，运行在控制器上的应用和所述控制器都可以是一个组件。一个或更多组件可以驻留在一个进程和/或执行线程内，并且一个组件可以本地化在一台计算机上和/或分布在两台或更多台计算机之间。还应当理解的是，这里（特别是在图9中）所使用的“模块”不一定并且通常不是物理地分开的组件。结合图9提到的模块应当被宽泛地理解成具有可执行指令的形式的信息、存储位置等等，其可以并且通常分布在其所驻留的存储介质内的许多位置当中。
此外，所要求保护的主题内容可以被实施为一种方法、设备或制造品，其中利用标准编程和/或工程技术来产生软件、固件、硬件或者其任意组合来控制计算机实施所公开的主题内容。这里所使用的术语“制造品”意图涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。举例来说，计算机可读介质可以包括（但不限于）磁存储器件（例如硬盘、软盘、磁条等等）、光盘（例如紧致盘（CD）、数字通用盘（DVD）等等）、智能卡以及闪存器件（例如闪存卡、闪存棒、键驱动器等等）。当然，本领域技术人员将认识到，在不背离所要求保护的主题内容的范围或精神的情况下，可以对上述配置做出许多修改。此外，术语“计算机”不意图以任何方式进行限制。举例来说，所要求保护的主题内容可以被具体实现在任何适当的设备中，其中包括台式计算机、膝上型计算机、个人数字助理、智能电话、电视等等。
根据本说明书将认识到，总体来说，所公开的主题内容涉及一种用于把由具有预定动态范围的HDR像素所代表的第一图像转换成具有相应的LDR像素的第二图像的方法，其中所述第一图像包括多个贴片，每个贴片分别包括由多个所述HDR像素构成的二维阵列，并且所述LDR像素具有较低的动态范围。所述方法利用局部传递函数对第一图像的每一个HDR像素执行局部色调映射，以用于把HDR像素转换成具有经过局部色调映射的数值的LDR像素。此外，利用全局传递函数对每一个HDR像素执行全局色调映射，以用于把HDR像素转换成具有经过全局色调映射的数值的LDR像素，其中全局传递函数是从所有HDR像素的图像参数的平均值导出的。通过对经过局部和全局色调映射的像素数值进行加权并且组合加权后的经过局部和全局色调映射的LDR像素数值来导出对应于每一个LDR像素的最终数值，其中对每一个经过局部色调映射的LDR像素数值应用第一加权因数，对每一个经过全局色调映射的LDR像素数值应用第二加权因数。最终的LDR像素数值被存储在存储器件中以用于输出第二图像。
除非具体声明，否则这里所描述的方法不限于特定顺序或序列。此外，其中一些所描述的方法步骤可以同时发生或被同时执行。此外，这里所使用的“实例”一词仅仅是为了描述一种实现方式。这样的实现方式不应被理解为实施这里所讨论的主题内容的任何具体特征的仅有的方式。此外，这里被描述为由计算机程序执行的功能不应被限制到由这样的程序的任何具体实施例来实施。
虽然在这里以特定于结构特征和/或方法步骤的语言描述了主题内容，但是应当理解的是，所附权利要求书的主题内容不限于前面所描述的具体特征或步骤。相反，这样的特征和步骤是作为由所附权利要求书所涵盖的相应主题内容的样本形式而公开的。

Claims (10)

1.一种用于把由具有预定动态范围的HDR像素所代表的第一图像转换成具有相应的LDR像素的第二图像的方法，其中所述第一图像包括多个贴片（402），每个贴片分别包括由多个所述HDR像素构成的二维阵列，并且所述LDR像素具有较低的动态范围，所述方法包括：
利用局部传递函数对所述第一图像的每一个HDR像素执行（S606）局部色调映射，以用于把HDR像素转换成具有经过局部色调映射的数值的LDR像素，所述局部传递函数是从与包含特定HDR像素的贴片邻近的多个贴片中的所述像素的至少一个图像参数导出的，包含该特定HDR像素的贴片邻近的多个贴片的数目取决于由所述第一图像所捕获的场景的内容；
利用全局传递函数对每一个HDR像素执行（S612）全局色调映射，以用于把HDR像素转换成具有经过全局色调映射的数值的LDR像素，所述全局传递函数是从所有所述HDR像素的所述至少一个图像参数的平均值导出的；以及
通过对所述经过局部和全局色调映射的像素数值进行加权并且组合所述加权后的经过局部和全局色调映射的LDR像素数值来导出对应于每一个LDR像素的最终数值，其中对每一个所述经过局部色调映射的LDR像素数值应用第一加权因数，对每一个所述经过全局色调映射的LDR像素数值应用第二加权因数；以及
把一个或多个所导出的最终数值存储在存储器件中。
2.如权利要求1所述的方法，其中，所述至少一个图像参数包括阴影百分比数值和高光百分比数值，并且所述传递函数包括具体实现在计算机处理器的查找表中的S型色调映射函数。
3.如权利要求2所述的方法，其中，所述第一图像和第二图像是包括具有红色（R）、绿色（G）、蓝色（B）和红外（IR）分量的像素的彩色图像，每一个所述分量在所述第一HDR图像中由16个数据比特代表，并且在所述第二LDR图像中由8个数据比特代表。
4.如权利要求3所述的方法，其中，与所述贴片邻近的所述多个贴片（406）定义所述贴片的一个邻域，并且每一个所述邻域具有对应于包括所述邻域的所述HDR图像的每一个分量的阴影百分比数值（ShadowValue）和高光百分比数值（HighlightValue），以及
所述方法还包括：
对于所述图像中的所有所述邻域确定下面的色调平衡参数的邻域数值
RGBTileShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueB)
FCIRTileShadowValue = min(ShadowValueR,ShadowValueG,ShadowValueIR)
RGBTileHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueB)
FCIRTileHighlightValue = max(HighlightValueR,HighlightValueG,HighlightValueIR),
其中，表示法“min(A,B,C)”表明色调平衡参数被取作对于所述对应贴片中的每个像素所包括的百分比数值当中的最小值，并且表示法“max(A,B,C)”表明色调平衡参数被取作对于所述对应贴片中的每个像素所包括的百分比数值当中的最大值；
为每一个所述邻域内的一个预定贴片（404）指定所述色调平衡参数的所述邻域数值；以及
从所述邻域色调平衡参数导出多个传递函数，以用于把所述预定贴片中的每一个HDR像素的每一个所述分量色调映射到LDR像素。
5.如权利要求4所述的方法，其中，所述贴片（402）是正方形，所述邻域包括由至少九个贴片（406）构成的正方形矩阵，并且所述预定贴片（404）是每一个所述矩阵的中心贴片。
6.如权利要求5所述的方法，其中：
对于所述第一图像中的位于所述中心贴片（404）的四个相等象限的其中之一内的点X,Y处并且对于每一个图像分量具有HDR数值SX,Y的一个像素，如果对应于所述中心贴片的图像分量的邻域传递函数是f11，并且对应于与所述象限相邻的围绕所述中心贴片（404）顺时针方向看去的三个贴片当中的每一个的图像分量的邻域传递函数分别是f12、f22和f21，则通过下面的算法确定对应于X,Y处的所述HDR像素的所述分量的经过局部色调映射的数值：
R1 = (X2 – X)/(X2 – X1) × f11 + (X – X1)/(X2 – X1) × f21
R2 = (X2 – X)/(X2 – X1) × f12 + (X – X1)/(X2 – X1) × f22
PX,Y = (Y2 – Y)/(Y2 – Y1) × R1 + (Y – Y1)/(Y2 – Y1) × R2,
其中，X,Y是所讨论的所述像素的坐标并且所述中心贴片（404）的中心是正交的X-Y轴的原点，X1,Y2、X2,Y2和X2,Y1是围绕所述中心贴片顺时针方向看去的所述三个相邻贴片的中心的对应坐标。
7.如权利要求6所述的方法，其中，用于将X,Y处的所述HDR像素局部色调映射到LDR图像像素的每一个所述传递函数是如下导出的：
从所述HDR像素的R、G、B分量当中的每一个减去所述RGBTileShadowValue，并且从所述像素的IR分量减去FCIRTileShadowValue；
通过将每一个对应的像素分量数值乘以缩放因数=1/对于所述中心贴片所导出的16比特动态范围而获得处于0到1之间的一个浮点数值，其中所述像素的R、G和B分量当中的每一个具有动态范围=RGBTileHighlightValue-RGBTileShadowValue，所述像素的IR分量具有动态范围=FCIRTileHighlightValue-FCIRTileShadowValue；
作为y=x1/γ的形式的幂律函数应用伽玛值（γ），其中x是所述浮点数值；以及
将所述经过伽玛校正的浮点数值（y）乘以255，其中低于RGBTileShadowValue或FCIRTileShadowValue的任何所得到的数值都将被映射到0，并且高于RGBTileHighlightValue或FCIRTileHighlightValue的任何所得到的数值都将被映射到255。
8.如权利要求7所述的方法，其中，用于将所述第一图像中的所述HDR像素全局色调映射到LDR像素的所述全局传递函数是如下导出的：
对于区段R内的所有所述邻域确定平均全局阴影百分比数值（ShadowValue）和平均全局高光百分比数值（HighlightValue）；
基于所述平均全局阴影和高光百分比数值导出全局色调平衡参数RGBGlobShadowValue=min(ShadowValueR,ShadowValueG,ShadowValueB)、FCIRGlobShadowValue=min(ShadowValueR,ShadowValueG,ShadowValueIR)以及RGBGlobHighlightValue=max(HighlightValueR, HighlightValueG,HighlightValueB)，其中表示法“min(A,B,C)”表明色调平衡参数被取作对于所述对应贴片中的每个像素所包括的百分比数值当中的最小值，并且表示法“max(A,B,C)”表明色调平衡参数被取作对于所述对应贴片中的每个像素所包括的百分比数值当中的最大值；
从所述像素的R、G、B分量当中的每一个减去所述RGBGlobShadowValue，并且从所述像素的IR分量减去FCIRTileShadowValue；
通过将每一个对应的像素分量数值乘以缩放因数=1/对于所述像素所导出的16比特动态范围而获得处于0到1之间的一个浮点数值，其中所述像素的R、G和B分量当中的每一个具有动态范围=RGBGlobHighlightValue-RGBGlobShadowValue，所述像素的IR分量具有动态范围=FCIRGlobHighlightValue-FCIRGlobShadowValue；
作为y=x1/γ的形式的幂律函数应用伽玛值（γ），其中x是所述浮点数值；以及
将所述经过伽玛校正的浮点数值（y）乘以255，其中低于RGBGlobShadowValue或FCIRGlobShadowValue的任何所得到的数值都将被映射到0，并且高于RGBGlobHighlightValue或FCIRGlobHighlighValue的任何所得到的数值都将被映射到255。
9.如权利要求8所述的方法，其中，所述第一加权因数是局部权重因数，所述第二加权因数是(1-局部权重因数)，并且对于每一个图像分量确定所述最终LDR像素数值。
10.如权利要求3所述的方法，其中，所述第一加权因数是局部权重因数，所述第二加权因数是(1-局部权重因数)，并且对于每一个图像分量确定所述最终LDR像素数值。
CN201110457623.8A 2010-12-31 2011-12-31 非常大的航拍图像拼接的色调映射 Active CN102567976B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/983131 2010-12-31
US12/983,131 US8737736B2 (en) 2010-12-31 2010-12-31 Tone mapping of very large aerial image mosaic

Publications (2)

Publication Number Publication Date
CN102567976A CN102567976A (zh) 2012-07-11
CN102567976B true CN102567976B (zh) 2015-04-15

Family

ID=46380832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110457623.8A Active CN102567976B (zh) 2010-12-31 2011-12-31 非常大的航拍图像拼接的色调映射

Country Status (2)

Country Link
US (1) US8737736B2 (zh)
CN (1) CN102567976B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8666190B1 (en) * 2011-02-01 2014-03-04 Google Inc. Local black points in aerial imagery
US9024951B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
US20120293533A1 (en) * 2011-05-19 2012-11-22 Foveon Inc. Methods for creating gamma correction and tone mapping effects in a digital image
US9113089B2 (en) 2012-06-06 2015-08-18 Apple Inc. Noise-constrained tone curve generation
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
BR112015026979B1 (pt) * 2013-04-30 2023-04-11 Sony Corporation Dispositivos e métodos de transmissão e recepção
CN104133203B (zh) * 2014-05-27 2016-08-31 中国资源卫星应用中心 一种立体测绘卫星三线阵ccd相机的大气订正方法
US9344638B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9418311B2 (en) 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法
WO2016078094A1 (en) * 2014-11-21 2016-05-26 SZ DJI Technology Co., Ltd. System and method of fast adaptive blending for high dynamic range imaging
US10192477B2 (en) * 2015-01-08 2019-01-29 Lighthouse Technologies Limited Pixel combination of full color LED and white LED for use in LED video displays and signages
CN104574278B (zh) * 2015-02-03 2016-03-23 中国人民解放军国防科学技术大学 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法
EP3350985B1 (en) * 2015-09-18 2022-04-20 Teledyne Flir, LLC High dynamic range radiometric thermal video over low bitrate interface
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
US10943336B2 (en) * 2016-08-04 2021-03-09 Intel Corporation Tone-mapping high dynamic range images
CN109923580B (zh) * 2016-11-04 2023-12-15 特利丹菲力尔有限责任公司 用于热视频的动态范围压缩
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
CN108198155B (zh) * 2017-12-27 2021-11-23 合肥君正科技有限公司 一种自适用色调映射方法及系统
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
CN112154474A (zh) * 2019-07-30 2020-12-29 深圳市大疆创新科技有限公司 图像处理方法、系统、可移动平台及存储介质
US11922620B2 (en) * 2019-09-04 2024-03-05 Shake N Bake Llc UAV surveying system and methods
US11087532B2 (en) * 2019-11-05 2021-08-10 Raytheon Company Ortho-image mosaic production system
US11301973B2 (en) * 2020-03-30 2022-04-12 Arm Limited Tone mapping method
KR20210142398A (ko) * 2020-05-18 2021-11-25 에스케이하이닉스 주식회사 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
US20230298184A1 (en) * 2020-07-29 2023-09-21 Surgvision Gmbh Processing of multiple luminescence images globally for their mapping and/or segmentation
EP4068197A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing
US11769224B2 (en) * 2021-04-08 2023-09-26 Raytheon Company Mitigating transitions in mosaic images
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247366A (en) * 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
US5526501A (en) * 1993-08-12 1996-06-11 Hughes Aircraft Company Variable accuracy indirect addressing scheme for SIMD multi-processors and apparatus implementing same
US5999658A (en) * 1996-06-28 1999-12-07 Dainippon Screen Mfg. Co., Ltd. Image tone interpolation method and apparatus therefor
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
US7221807B2 (en) * 2002-03-29 2007-05-22 Sharp Laboratories Of America, Inc. Methods and systems for digital image characteristic adjustment using a neural network
US7113649B2 (en) * 2002-06-24 2006-09-26 Eastman Kodak Company Enhancing the tonal characteristics of digital images
US7158686B2 (en) * 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
US7295232B2 (en) 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US7599790B2 (en) 2004-03-23 2009-10-06 Google Inc. Generating and serving tiles in a digital mapping system
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US8279119B2 (en) 2005-01-19 2012-10-02 The Charles Stark Draper Laboratory, Inc. Systems and methods for transparency mapping using multipath signals
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
WO2007043460A1 (ja) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
US7872650B2 (en) 2006-04-27 2011-01-18 Microsoft Corporation Remotely viewing large tiled image datasets
US8014027B1 (en) * 2007-03-21 2011-09-06 Adobe Systems Incorporated Automatic selection of color conversion method using image state information
US20080252882A1 (en) * 2007-04-13 2008-10-16 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
CN101082992A (zh) * 2007-07-06 2007-12-05 浙江大学 实时高动态范围图像的绘制和显示方法
US7961983B2 (en) 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
US8237730B1 (en) * 2008-01-23 2012-08-07 Pixar Animation Studios Tone mapping for motion pictures
US20090263037A1 (en) 2008-04-18 2009-10-22 Hong Kong Applied Science and Technology Research Institute Company Limited Method and Apparatus for Enhancing the Dynamic Range of an Image
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8290295B2 (en) 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
US8346009B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics

Also Published As

Publication number Publication date
CN102567976A (zh) 2012-07-11
US20120170842A1 (en) 2012-07-05
US8737736B2 (en) 2014-05-27

Similar Documents

Publication Publication Date Title
CN102567976B (zh) 非常大的航拍图像拼接的色调映射
US11055827B2 (en) Image processing apparatus and method
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
US7873238B2 (en) Mosaic oblique images and methods of making and using same
CN104284105B (zh) 固态成像器件、固态成像方法以及电子装置
US9679366B2 (en) Guided color grading for extended dynamic range
US20170345214A1 (en) High Resolution (HR) Panorama Generation Without Ghosting Artifacts Using Multiple HR Images Mapped to a Low-Resolution 360-Degree Image
JP2022071177A (ja) 多重化高ダイナミックレンジ画像
JP2009522869A (ja) イメージからのパープルフリンジの自動除去
WO1995025399A1 (en) A system for implanting an image into a video stream
CN108810423B (zh) 一种基于图像亮度梯度的光照角度调节方法及系统
CN111815517B (zh) 一种基于球机抓拍图片的自适应全景拼接方法
JP2018511088A (ja) Ｌｅｄディスプレイに用いられる画像処理方法及び装置
CN108270952B (zh) 一种双目摄像机影像色差的校正方法及系统
CN105787920A (zh) 球幕标定方法、标定系统及控制设备
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN113506214A (zh) 一种多路视频图像拼接方法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN112037128B (zh) 一种全景视频拼接方法
CA2690987C (en) Method and apparatus for chroma key production
CN115713678A (zh) 一种箭头图片数据增广方法、系统、电子设备及存储介质
CN113409196B (zh) 一种用于实时视频拼接的高速全局色差矫正方法
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
CN112085803B (zh) 一种多镜头多探测器拼接式相机颜色一致性处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150612

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150612

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.