CN106485668A - 用于过曝修正的方法、系统和装置 - Google Patents

Abstract

本发明原理的一个方案涉及一种用于图像处理的方法、装置、系统和计算机可读介质。图像处理可以包括接收标准动态范围(SDR)图像或用于接收标准动态范围(SDR)图像的接收器。还可以包括确定SDR图像的过曝区并确定过曝区的至少一个像素的修正照度值，或被配置确定SDR图像的过曝区并确定过曝区的至少一个像素的修正照度值的处理器。基于过曝区的形状、过曝区周围的像素的照度信息以及过曝区周围的像素的边缘信息中的至少一个来确定修正照度值。过曝区可以是不规则形状区域。

Description

用于过曝修正的方法、系统和装置

技术领域

本公开涉及图像处理和图像恢复。具体地，本公开涉及对过曝区或裁剪镜面图像区的修正。

背景技术

摄像机一般具有比真实世界场景更小的动态范围。超过摄像机动态范围的亮图像部分将呈现为过曝区或裁剪区。摄像机将为这些过曝区或裁剪区域指派颜色通道的最大可能值。然而，指派该最大值导致这些区域中的颜色、纹理、对比度和照度的损失。

镜面(Specular)或有光泽的物体，例如汽车或金属物体，具有反光镜面，当用摄像机传感器成像时，经常产生过曝区或裁剪图像区。反光镜面一般具有高光(highlight)，这种高光需要被精确(至少逼真)再现以表现镜面外观。

修复技术(Inpainting)是重建丢失图像信息(例如，过曝区或裁剪区的信息)的图像区域的处理。通常，修复技术分析丢失信息区域的周围的信息，并将相似的周围区域中的信息扩散或复制到丢失信息区。然而，当要重建的区域和其周围区域不相似时，这么做就无法获得成功。具体地，高光区具有和周围区域不同的属性，所以在高光区上无法获得成功。

镜面高光区具有不能用相邻图像区域良好表示的尖峰照度简档。此外，过曝图像区的照度值超过其余图像的照度值，因此扩散或复制图像其他区域的信息并不适用。

过曝区的存在导致常规显示器上的视觉展示变差。然而，当准备在高动态范围(HDR)显示器上显示包括过曝内容的图像时，该问题更为严重。一般地，借助逆色调再现算子(也称为逆色调映射算子，简称为iTMO)，可以准备在HDR设备上显示标准动态范围(SDR)内容。iTMO非线性地扩展动态范围，尤其是，亮图像区域接收最大扩展。由此，可强调无特征的过曝区，视觉上不再吸引注意力。

Pouli等，“Image Statistics in Visual Computing”，A K Peters/CRC Press，2013，提供了一种自然图像中存在的统计学规律的概述，报告认为，许多类似RGB的颜色空间在自然图像的颜色通道之间具有强相关性。可以使用这一属性来促进具有一个或两个裁剪通道的区域的重建。例如，Abebe等，“Color Clipping and Over-exposureCorrection”，Eurographics Symposium on Rendering(Experimental Ideas&Implementations track)，2015)描述了一种依赖于颜色图像的RGB通道之间的相关性来恢复一个或多个图像被裁剪的区域。当所有三个通道都被裁剪时，使用亮度重定形方法。Abebe等，“Correction of Over-Exposure using Color Channel Correlations”，IEEEGlobalSIP，2014，描述了使用通道间相关性来重建裁剪区的另一个方法。

Rempel等，“Ldr2hdr：on-the-fly reverse tone mapping of legacy video andphotographs”，ACM Transactions on Graphics(TOG)，2007年8月，第26卷第3部分第39页，描述了一种逆色调映射技术，包括通过对指示过曝区的掩模应用高斯卷积来重建过曝区。卷积掩模与应用于相同输入掩模的边缘停止函数相乘，并将所得到的简档添加到逆色调映射图像中。

如果不存在信息，即，在过曝区中不存在信息，则一些技术提出叠加简单高斯照度简档，为这些区域提供定形。例如，Wang等，“High dynamic range image hallucination”，Proceedings of the 18th Eurographics conference on Rendering Techniques，2007年6月(pp.321-326)讨论了用双侧滤波器来处理图像照度，以产生照度的低频表示。基于图像和低频版本之间的残差，获得高频表示。叠加圆对称高斯简档，为每个裁剪区创建新的照度简档。WANG要求用户通过一次或多次敲击(stroke)来标记图像，以选择纹理参考。经由纹理合成处理，将纹理扩散到裁剪区中。通过Poisson编辑，混合新的照度简档、纹理和原始图像以平滑变换。

Guo等，Correcting over-exposure in photographs，In Computer Vision andPattern Recognition(CVPR)，2010IEEE Conference，2010年6月(pp.515-521)，通过考虑每个像素的过曝可能性的优化处理来重新创建照度简档。

Hou等，Recovering Over-/Underexposed Regions in Photographs，2013，SIAMJ.Imaging Sciences，6(4)，2213-2235，讨论了通过在CIE Lab颜色空间中操作，将图像分离为亮度和色度信息。他们提出通过平滑和衰减小波系数来修复亮度值。可以通过色调映射来压缩创建的亮度简档。使用平滑小波系数的类似过程来修复色度通道。附加的调整/归一化考虑亮度调整。

Rouf等，Gradient domain color restoration of clipped highlights，2012年6月，Computer Vision and Pattern Recognition Workshops(CVPRW)，2012IEEEComputer Society Conference on(pp.7-14)，IEEE，重点在于裁剪区中的色调恢复。针对过曝区，平滑边界处的梯度值，以避免边界伪影并重建高斯简档。

Elboher等，Recovering color and details of clipped image regions，2012年6月，Proc.CGVCVIP，讨论了基于颜色线(即像素值的3D图中标识的线性结构)的对裁剪图像区的颜色修正方法。

发明内容

本发明原理的一个方案涉及用于图像处理的方法、装置、系统和计算机可读介质。图像处理可以包括接收标准动态范围(SDR)图像或用于接收标准动态范围(SDR)图像的接收器。还可以包括确定SDR图像的过曝区并确定过曝区的至少一个像素的修正照度值，或被配置确定SDR图像的过曝区并确定过曝区的至少一个像素的修正照度值的处理器。基于过曝区的形状、过曝区周围的像素的照度信息以及过曝区周围的像素的边缘信息中的至少一个来确定修正照度值。过曝区可以是不规则形状区域。

还可以确定过曝区的类型，并基于过曝区的类型来确定修正照度。类型可以是镜面高光区、漫反射或光源中的一个。

可以基于过曝区的骨架来修正照度。可以基于沿骨架的像素的峰值照度来修正照度。可以基于过曝区周围的像素环形区域来修正照度。

可以基于由像素环形区域确定的边缘来修正照度。可以基于方向向量来修正照度，基于像素环形区域来确定所述方向向量。可以基于像素环形区域的等照度线向量来确定方向向量。可以基于像素环形区域的梯度来确定方向向量。可以基于边缘像素处的照度L(p_j)、边缘像素的梯度g_j、边缘像素和内部像素之间的距离以及用户参数η来如下修正照度：L(o_i)＝ηg_j||p_j-o_i||+L(p_j)。

可以基于骨架像素处的照度L(s_j)、边缘像素处的照度L(p_j)、边缘像素和内部像素之间的距离、边缘像素和骨架像素之间的距离以及用户参数η如下来修正照度：还可以包括基于受到以下一个或多个约束的优化来完善修正照度：min(L′(o_i))-max(L(p_j))＞T₁；L′(o_i)-L_orig(o_i)＞T₂；||L′(o_i(y))||_∞-L′(s(y))＜T₃；||L′(o_i(x))||_∞-L′(s(x))＜T₃；L′(p_j+t₁d_j)≥L′(p_j+t₂d_j)ift₁＞t₂。

所述约束可以基于优化照度值L′(o_i)、边缘像素的照度L(p_j)、输入图像的照度值L_orig(o_i)、骨架像素的优化照度值L′(s(y))、边缘像素p_j、方向向量d_j、阈值T₁、T₂、T₃以及标量t₁和t₂之间的关系。

附图说明

通过结合附图给出的以下详细描述，本发明的特征和优点可变得清楚，在附图中：

图1是示出了根据本发明原理的示例性方法的图。

图2是示出了根据本发明原理的示例性方法的图。

图3是示出了根据本发明原理的示例性方法的图。

图4A是示出了根据本发明原理的示例性方法的图。

图4B是示出了根据本发明原理的示例性方法的图。

图5A示出了过曝区的骨架的示例。

图5B示出了过曝区的骨架的示例。

图5C示出了过曝区的骨架的示例。

图6示出了过曝区的切线和该切线的正交向量的示例。

图7示出了过曝区的候选像素的示例。

图8示出了过曝区和过曝扇区的示例。

图9是示出了根据本发明原理的示例性装置的图。

具体实施方式

本发明原理涉及用于过曝图像区的修正和/或重建的方法、装置和系统。在一个示例中，通过分析过曝区周围的良好曝光像素的等照度线，可以重建过曝区。

如本文所使用，“等照度线”可以定义为方向与区域梯度正交的线。如本文所使用，“良好曝光”像素可以定义为不是过曝区的一部分的像素。“区”可以定义为聚成一组的多个像素。如果一组中的每个像素都连通到该组的至少一个其他像素，则这些像素聚成一组。图像可以具有多个这样的区。

裁剪或过曝图像区通常是其中一个、两个或三个颜色通道能够达到最大可表示像素值的区。本发明原理的方案涉及重建所有三个通道都达到最大可表示像素值的图像区。然而，一个或两个通道具有最大像素值的图像区可以基于附加的预处理步骤。

如本文所使用，下标i和j可以可互换地使用。然而，如果这两个下标出现在相同的等式中，则它们表示不同的集合。例如，集合O＝{o_i}中的过曝区内的像素在等式中可能表示为o_j，以便与边缘像素p_i相区分。另一方面，如果不同集合的下标相同，则假设为对应的像素信息。例如，一起使用的p_j和d_j可能表示像素位置及其对应的方向。

本发明原理的方案涉及以图像处理流水线方式修正过曝区。在一个示例中，本发明原理的一个方案涉及重建设备(例如，机顶盒、计算机、平板、智能电话、膝上型电脑、或者能够提供显示信息的任何其他设备)中的过曝区或裁剪区。在一个示例中，SDR图像内容被转换为HDR，用于HDR显示设备。在另一个示例中，可以在捕获期间重建图像的过曝区或裁剪区。例如，在图像捕获期间(例如，通过摄像机、智能电话)，可以根据本发明原理来增强图像。在另一个示例中，本发明原理的一个方案涉及在后期制作期间重建过曝区或裁剪区。本发明原理的方案涉及一种用于过曝区的低频重建算法。本发明原理的方案涉及通过考虑区域形状以及从紧靠过曝区的区域中提取的信息，将低频照度简档拟合(fitting)到过曝区。

本发明原理的方案涉及过曝区的照度修正或重建，以降低不期望的视觉注意。本发明原理的方案涉及基于以下信息来提高的过曝区的逼真重建，所述信息包括过曝区的大小和形状、图像信息，例如，过曝区周围的良好曝光内容的照度值、梯度值、等照度线方向和/或梯度方向。本发明原理的方案涉及基于优化处理，视觉上无缝地混合经修正的照度像素和未被修正的像素。

图1、2和3示出了示例性照度简档重建方法。图1示出了用于照度简档重建的方法100。方法100可以包括用于区域表征的框101。框101可以描述输入图像的图像区域的形状。框101可以将控制传递给框102。框102可以执行区域修正。可选地，照度简档重建可以包括图像下采样(例如，在框101前)和上采样(例如，在框102后)。该采样可能导致区域缺少高的空间频率。通过处理较低的像素分辨率，可以减少处理量。

图2示出了用于执行照度简档重建的方法200。方法200可以包括用于对输入图像进行下采样的框201。在一个示例中，框201可以是可选的。框202可以执行区域表征。框203可以对每个过曝区进行分类，执行区域分类。例如，框203可以确定过曝区是镜面高光、漫反射面还是光源。可以基于框203确定的表面类型来确定专用重建算法。例如，针对漫反射区，框204可以执行漫反射面修正。针对镜面高光区，框205可以执行镜面高光区重建。针对光源，框206可以执行光源修正。可以合并(图2中的框207)来自框204、205和206的修正，以产生修正图像。框208可以将修正图像上采样为输入图像的分辨率。在一个示例中，框208可以是可选的。

本发明原理的方案涉及区域表征。区域表征可以由图1的框101和图2的框202来执行。本发明原理的方案涉及区域修正。区域修正可以由图1的框102和图2的框204、205和206来执行。

图3示出了根据本发明原理的用于区域修正的示例性方法300。方法300开始于301，接收输入图像I。在一个示例中，还可以提供关于图像的附加信息，例如过曝区的标识。可以通过例如掩模M来标识每个区域。掩模可以具有和输入图像相同的大小，并且可以具有指示哪些像素属于过曝区的二进制值。在一个示例中，可以基于阈值τ来确定过曝像素。例如，可以将具有大于或等于阈值的值的像素标识为过曝像素。

框302可以确定每个过曝区的骨架。在一个示例中，如图5A所示，可以确定任意形状的过曝区501的骨架。图5A示出了所确定的过曝区501的示例性骨架502。

在一个示例中，框302基于中轴算法来确定骨架。过曝区内位于骨架上的像素可以集合S＝{s_i}来表示。像素集合S也可以被称为骨架像素。

框302确定的骨架可以指示所求出的过曝区的形状中心。骨架化允许将具有过曝区的二维照度简档拟合为区域边缘点和骨架点之间的一维照度简档。

框303可以确定沿着来自框302的骨架的照度值。框303可以确定成为骨架线的一部分的每个像素的照度值。借助可用的过曝区轮廓和相同过曝区的骨架，典型地，用区域边界处的最低照度值和骨架像素位置处的最高照度值来描述要被应用于该区域的逼真照度简档。

在一个示例中，框303可以确定位于骨架上的像素的峰值照度值。位于骨架上的像素的集合可以表示为S＝{s_i}。在一个示例中，集合S中的每个像素可被指派相同的照度值。备选地，指派给每个集合S中的每个像素的照度值可以改变。

在一个示例中，根据结合以下等式1、3、4、6、8、9、10、11、12和14描述的原理，框303可以确定每个像素s_i的照度值L。如本文所使用，L(s_i)可以指示像素s_i的照度值，其中像素s_i位置沿着骨架。

在一个示例中，框303可以确定集合S的每个像素的峰值照度。可以基于指定值来确定峰值照度，所述指定值可以是相对值或绝对值。

等式1：L(s_i)＝k

可以通过用户、标准、传输系统的峰值照度或显示系统的峰值照度来指定所述指定值k。

在另一个示例中，可以基于过曝区外部的像素的照度值或照度梯度值来确定S中的每个像素的峰值照度。例如，可以基于过曝区周围的良好曝光环形区域中的像素的照度值来确定峰值照度。可以根据以下结合框304描述的本发明原理来确定良好曝光环形区域。形成过曝区周围的环形区域的像素集合可以表示为P＝{p_i}。在一个示例中，集合P中的像素的最大照度L_p，max被确定如下：

等式2：

L_p，max的值可以小于单个图像中可编码的最大值(例如，8位输入图像为255，或者，如果图像曾被去裁剪算法处理过，则可以高于255)。

像素集合P中照度等于L_p，max的一个或多个像素的位置可以标识为p_max，即，L(p_max)＝L_p，max。如果集合P中的多个像素具有照度值L_p，max，则选择(例如，随机选择)这些像素中的一个像素的位置，并且用p_max来标识该像素位置。在一个示例中，可以基于集合P中的像素的最大照度(例如，等式2中的L_p，max)来确定沿骨架的像素的峰值照度。可以根据以下结合框304描述的本发明原理来确定集合P。

在另一个示例中，将峰值照度L_p，max乘以骨架像素和像素p_max之间的欧氏距离，确定沿骨架的像素s_i的照度L(s_i)。照度可被确认如下：

等式3：

等式3中，||p_max-s_k||是像素p_max和s_k之间的欧氏距离。所有像素s_i可以具有相同的照度值。

在另一个示例中，可以基于给定骨架像素和边缘像素之间的最小距离来确定骨架像素s_i的照度值。例如，每个骨架像素s_i的照度L(s_i)可被确定为峰值边界照度L_p，max乘以骨架像素s_i和集合P中的边界像素的位置之间的最小欧氏距离。骨架上的像素的照度值L(s_i)可被确定如下：

等式4：

其中，骨架像素s_i可以接收不同的照度值。

可选地，在另一个示例中，可以基于可增加或降低骨架照度的附加重定形来确定骨架亮度。在一个示例中，重定形可以基于在过曝区的分类期间确定的特征。例如，过曝区可被分类为在原点(origin)具有光源、镜面高光或漫反射区。这可以记为如下：

等式5：C_r＝{光源|镜面|漫反射}，

其中，C_r是对区域r的分类。还可以有其他分类。可以将缩放因子α与每个类别相关联，所述缩放因子可以在随后的等式6、8、9、11、12和14中使用。该关联可以实现如下：

等式5a：

在一个示例中，可以基于下覆(underlying)过曝区的期望场景的分类来确定骨架像素的照度值。在一个示例中，可以基于将等式3乘以等式5a示出的区域分类特定缩放因子α来确定骨架像素的照度。

等式6：

还可以将等式4的右侧乘以等式5a中确定的缩放因子，求出分类特定骨架照度值。

在一个示例中，可以基于集合P中的像素的照度值和梯度值来确定骨架像素的峰值照度值。

如本文所使用，像素p_i的梯度可以记为梯度是向量值，提供x-方向的水平梯度和y-方向的纵向梯度。可以基于右侧相邻像素的像素值和当前像素的像素值之间的差来计算水平梯度，并且根据纵向相邻像素和像素值和当前像素的像素值之间的差来计算纵向梯度，以确定梯度。这被称为前向差分，并且可确定如下：

等式7：

备选地，可以基于后向和中心差分方案来确定梯度。

在一个示例中，可以基于过曝区周围的像素来确定沿骨架使用梯度信息的像素的峰值照度。例如，通过求出集合P中的像素的最大梯度模值(表示为)，并将该梯度与集合P中的最大照度值(即，以骨架和p_max之间的最小距离递增的L_p，max)相乘，来确定峰值照度。可以基于等式5的区域分类，通过乘以α，对其进行调整。

等式8：

等式8使用集合P中的所有像素的最大梯度模值。基于以下公式，备选示例可以使用P中所有像素中具有最大照度值(即L_p，max)的像素的p_max的梯度模值

等式9：

对于集合S中的所有像素s_i，等式1、3、4、6、8和9中的骨架像素值确定都得到相同的照度值。在其他示例中，集合S的骨架像素s_i的照度确定可以基于对不同骨架像素s_i得到不同照度值L(s_i)的标准。以下等式10、11、12和14中给出的示例描述了对不同像素s_i得到不同照度值的骨架照度确定的示例。在这些等式中，注意到下标i同时出现在左侧和右侧，这是可以理解的。

在一个示例中，基于对等式9的修改，将第二项除以骨架像素s_i和像素p_max之间的欧氏距离，从而每个骨架像素可以接收不同的照度值。对于靠近像素p_max的骨架像素来说，可以得到更大的骨架照度值。此外，可以引入用户参数β，所述参数可以用于说明区域的大小。该确定可以如下：

等式10：

有利地，靠近过曝区边界的骨架像素比远离边界的骨架像素接收到更低的照度。对于给定的骨架像素，到过曝区边缘的最小距离可以是与等式8中对骨架的所有像素确定单个距离测量不同，以下公式分别对每个骨架像素考虑其到边界的距离：

等式11：

等式11中的余项和等式8相同。类似地，可以修改等式9，考虑每个骨架像素到其区域边界的距离。所得到的确定可以表示如下，余项与等式9相同：

等式12：

等式11和12中的示例考虑了给定骨架像素s_i和集合P的边缘像素之间的最小距离。可以标识出哪个边缘像素位置距离骨架像素s_i最近，如下：

等式13：

然后，可以用来确定距离s_i最近的边缘像素处的梯度模值，并且骨架像素s_i和最近的边缘像素p_l之间的欧氏距离可以用||p_l-s_i||给出。根据以下公式，可以使用该梯度模值和该距离的乘积来导出像素s_i的照度值：

等式14：

在确定骨架像素s_i的照度值后，镜面高亮区内可能还存在许多不在骨架上的像素。到目前为止，这些像素还未接收到照度值。然而，可以基于骨架的照度值L(s_i)来确定镜面高光区中的其余像素的修正照度值。

框304可以确定每个过曝区的边缘像素。在一个示例中，框304可以确定每个过曝区周围的像素环形区域。环形区域中的像素可以提供图像细节(例如边缘)，因为它们包含照度和颜色的变化。图5B示出了区域501、骨架502和位于区域501周围的像素环形区域503。图5B中，像素环形区域503的宽度可以用504来标识。像素环形区域的宽度可以是n个像素，其中n≥1。可以根据经验来确定n的值，或由用户来指定。环形区域503中包含的像素可以是良好曝光像素。这些环形区域像素可以用于通知区域照度修正算法。该环形区域内包含的像素可以用集合P＝{p_i}来标识。过曝区内不在骨架上的像素可以标识为“内部像素”。如图5C所示，一条线可以连接边缘像素506和骨架像素507。该线可示出将基于边缘像素506和骨架像素507来重建的内部像素的子集。

针对框304确定的边缘像素，框306可以确定斜率，并且框305可以确定一个或多个方向。在一个示例中，框305可以确定方向集合D。在一个示例中，框305可以确定边界像素集合P中的每个像素p_i的方向向量。可以使用这些方向来确定集合P中构成内部像素的像素。方向像素可以表示为D＝{d_i}，即，集合P中的每个像素都有一个相关联的方向。

在一个示例中，框305可以基于过曝区的形状来确定集合P中的像素的方向向量。框305可以确定基于每个边缘像素的切向量来确定方向向量。图6示出了过曝区603的边界，与边缘像素相切的切线601，以及与切线601正交的向量602。在一个示例中，框305可以基于与边缘像素的切向量(如601)正交的向量(如602)来确定方向。该向内指向的向量602可以表示为t_i。在一个示例中，可以通过设置d_i＝t_i来确定合适的方向向量。

在另一个示例中，框305可以基于集合P中的像素p_i的梯度向量通过设置来确定集合P中的每个像素p_i的方向向量d_i。

在另一个示例中，框305可以基于等照度线方向来确定集合P中的像素的方向向量d_i。等照度线向量定义为与对应的梯度向量正交的向量。

等式15：

从等式15得到的等照度线向量可被解释为图像特征(如边缘)的切线，并且可用于确定方向向量(即)的集合。

此外，可以将每个像素p_i处的梯度投影到与切线正交的向量t_i上。梯度向量在t_i上的投影t_i，p可以根据以下等式来确定：

等式16：

该示例中，合适的方向向量可以确定为d_i＝t_i，p。类似地，可以将等照度线向量投影到t_i上：

等式17：

该示例中，可以根据d_i＝t_i，p来设置合适的方向向量，其中，使用等式17来确定t_i，p。与每个骨架像素s_j的切线正交的向量可以定义为u_j。向量u_j和-u_j将与过曝区的边缘在位置p_n和p_m处相交。此时，针对像素p_n和p_m记录的方向向量为d_n＝-u_j和d_m＝u_j。

在一个示例中，框306可以确定由框304确定的边缘像素的照度斜率。在一个示例中，针对集合P中的每个像素，确定斜率集合G＝{g_i}。在一个示例中，可以基于集合P中的像素p_i的梯度的模值来确定该斜率集合，如下：

等式18：

框307可以确定过曝区中的每个像素的照度值。框307可以基于由框302、303、304、305和/或306确定的信息来修正和/或重建过曝区的像素的照度值。例如，来自框305的方向向量可以用于合成过曝区内部的像素的照度值。

在一个示例中，框307可以基于一个或多个骨架像素s_i并基于位于过曝区(例如，图5C中用509标识的区域)边界上的一个或多个像素(即，从集合P拉出的一个或多个像素)来确定过曝区内部的像素的照度值。图5C示出了连接边缘像素506和骨架像素507的示例性连线505。框307可以基于从边缘像素506和骨架像素507获取的信息来重建位于像素506和507之间的连线505上的像素508。

图4A和4B中示出了根据框307的用于确定照度值L(o_i)的示例性处理。

图4A示出了用于修正照度值的示例性方法1000。在一个示例中，框307可以根据方法1000来确定过曝区内的像素的修正照度值。方法1000可以确定沿着方向向量D(例如由框305确定的方向向量)中的一个或多个的像素的照度值。例如，可以基于边缘像素p_i并结合方向向量d_i来确定位于骨架像素s_i和像素p_i之间的像素的集合。这些像素可以是根据方法1000来修正的像素。图7示出了针对方向向量d_i701、骨架像素s_i702和边缘像素p_i703的该候选像素704的示例。在一个示例中，框307可以确定过曝区内的像素集合的修正照度值L(o_i)。

图4A示出了用于确定过曝区的像素的修正照度值L(o_i)的方法1000。方法1000可以基于接收到边缘像素1001的集合而开始。在一个示例中，可以从框304接收边缘像素1001。方法1000可以检查集合P中的所有边缘像素p_i(即，所有像素p₀、p₁、p₂及其对应的方向d₀、d₁、d₂，......)。在一个示例中，框1002可以从i＝0到i＝总边缘像素-1进行循环。针对每个i值，框1002可以确定边缘像素p_i和方向d_i。针对每个像素p_i及其关联的(归一化)方向向量d_i(标记为p_i，d_i1003)，框1004可以应用Bresenhams数字差分分析器(DDA)算法来确定内部像素o_i的子集，所述内部像素位于由边缘像素p_i、方向向量d_i和骨架像素s_i定义的线段上。

框1005可以基于边缘像素和方向向量p_i、d_i1003来确定骨架像素。框1005可以输出骨架像素s_i1007。框1008可以确定骨架像素s_i1007是否是有效像素。框1008可以基于线边缘像素和方向向量p_i、d_i1003来确定骨架像素s_i1007是否是有效像素。框1008可以确定这条线是否与骨架像素s_i1007相交。当框1008做出否定确定(否)时，框1008将控制传递给框1012，以确定是否需要进一步处理。备选地，如果框1008肯定确定骨架像素s_i有效(是)，则框1008可以向框1010输出骨架像素s_i1007。

框1010可以确定内部像素的子集1006中的每个像素的修正照度值。框1010可以基于骨架像素s_i的照度值、边缘像素p_i的照度、梯度模值g_i(例如，由结合公式18描述的原理确定的模值)和从边缘像素p_i导出的其他信息来确定照度值。框1010可以根据结合公式20至26描述的原理来确定内部像素子集1006的修正照度值。框1010可以向框1012输出修正照度值1011。

框1012可以确定框1002确定的像素p_i是否是像素集合P中的最后一个像素(通过测试i＜total_edge_pixels))。如果框1012做出肯定(是)确定，则方法1000确定并输出重建的照度值1011。如果框1012做出否定(否)确定，则将i递增1，并将控制返回传给框1002。

图4B示出了用于确定过曝区的像素的修正照度值L(o_i)的方法1100。方法1100可以基于接收到一个或多个内部像素1101而开始。可以根据掩模M来确定像素1101。在一个示例中，框1002可以从i＝0到i＝内部像素-1进行循环。针对每个i值，框1002可以确定内部像素o_i1003。框1102可以将控制传递给框1104和1106。

框1104可以确定内部像素o_i1003的最佳候选边缘像素p_j。框1104可以用对应的方向向量d_j检查每个边缘像素p_j，确定p_j是否是参与到内部像素o_i的照度值的确定的合适边缘像素。框1104可以确定像素o_i1103是否充分靠近线p_j+td_j，其中t∈[-∞，∞]。框1104可以基于点到线距离测试来确定像素o_i是否充分靠近，并得到距离k。

框1104可以基于以下等式来确定该距离是否充分靠近或充分小：

等式19：k＜γt

其中，γ是固定或用户确定的标量，其确定顶点在p_j处的绕d_j的圆锥。该圆锥越宽，则像素调整步骤后在过曝区中留下的空隙越小。框1104可以针对所有边缘像素p_j来求出等式19，并确定适合参与到内部像素o_i的照度值的确定的多个边缘像素。在一个示例中，可以将框1104确定的所有边缘像素p_j1105和方向向量d_j1105提供给框1110。在备选示例中，可以选择产生最小距离k的边缘像素作为单个边缘像素p_j，其对应的方向向量是d_j1105。

在另一个示例中，基于围绕每个像素p_j像素的扇区，框1104可以确定边缘像素p_j是否适合参与到内部像素o_i的照度值的确定。例如，如图8所示，可以围绕每个像素p_j来标记扇区。然后，通过方向向量d_j来确定指派给像素p_j的标记。线段o_i-p_j的方向产生第二标记。如果两个标记匹配，则可以使用与像素p_j相关联的信息来计算内部位置o_i的照度值。

如果框1104确定像素p_j合适，则框1104可以向框1106和1110提供边缘像素p_j1105。

框1106可以基于边缘像素p_j1105和内部像素o_i1003来确定骨架像素s_j1107。框1106可以执行点到线距离测量，将骨架像素s_j与边缘像素p_j1105相关联。框1106可以向框1108提供骨架像素s_j1107。框1108可以确定骨架像素s_j1107是否有效。框1108可以确定骨架像素，因为，如图7所示，并非所有像素p_j都可具有相关联的骨架像素。图7中，边缘像素p_j705和方向向量d_j706定义与骨架不相交、但在边缘像素p_k707处到达过曝区边界的线。框1108可以使用等式19来确定是否有任何骨架像素s_j1107充分靠近由边缘像素p_j1105和方向向量d_j1105定义的线。

在备选示例中，框1104可以针对每个像素o_i确定最近的像素s_j和位于线s_j＝t(o_i-s_j)上的边缘像素p_j。该示例中，框1106选择离o_i最近的像素s_j1107，并且框1108总是肯定确定(是)。在另一个示例中，框1104可以针对每个像素o_i确定最近的像素p_j，并且框1106可以确定离像素o_i最近的像素s_j。该示例中，如果||p_j-o_i||≤||s_j-o_i||，则框1104可以确定边缘像素是像素p_j。否则，框1104可以确定边缘像素是位于线s_j＝t(o_i-s_j)上的像素p_j。

如果框1108确定骨架像素s_j1107不是有效像素(否)，则可以将控制传递给框1112。否则，如果框1108确定骨架像素s_j1107是有效像素(是)，则可以将控制和骨架像素1107s_j传递给框1110。如果像素方向对p_i，d_j1105包含多个边缘和方向像素，则框1106可以确定多个对应的骨架像素s_j1107，并且框1108可以使用等式19来确定这些骨架像素中的哪些有效，并向框1110传递控制和有效骨架像素的集合。

框1110可以确定内部像素o_i1103的重建或修正照度值L(o_i)1111。框1110可以基于边缘像素p_j的照度、梯度或其他导出信息来确定像素o_i的照度值L(o_i)1111。框1110可以根据结合公式20至26描述的原理来确定修正照度值。

框1112可以确定框1102确定的像素o_i是否是内部像素集合中的最后一个像素(通过测试i＜total_pixels))。如果框1112做出肯定确定(是)，则方法1100终止，并将控制传递给框308，所述框308还接收重建的照度值1111。如果框1112做出否定确定(否)，则将i递增1，并将控制返回传给框1102。

在一个示例中，框1010、1110或307可以基于边缘像素L(p_j)处的照度、边缘像素处的梯度g_j、边缘像素和内部像素之间的距离以及用户参数η来确定内部像素(o_i)的重建照度值。

等式20：L(o_i)＝ηg_j||p_j-o_i||+L(p_j)

其中，η是用户参数。

在另一个示例中，框1010、1110或307可以基于骨架L(s_j)处的照度来确定过曝区的内部像素o_i的照度值。替代如等式20使用边缘像素p_j处的梯度g_j，可以在边缘处的照度值L(p_j)和骨架的照度值L(s_j)之间进行线性插值，考虑p_j和s_j之间的空间距离。

等式21：

在另一个示例中，框1010、1110或307可以基于非线性插值来确定过曝区的内部像素o_i的照度值。例如，框1010、1110或307可以确定照度值，如下：

等式22：

其中，非线性函数f()的示例可以是幂函数、对数或指数函数、反曲函数和三角函数。

在另一个示例中，框1010、1110或307可以基于会聚在单个内部像素o_i的多个向量p_j+td_j来确定照度。该情形中，每份贡献的值可以确定如下：

等式23：

其中，n是求和式中元素的数量。

在另一个示例中，框1010、1110或307可以基于过曝区的分类来确定照度值。例如，如果基于区域类型(例如，镜面高光、漫反射面、光源)来分类过曝区，则可以基于相应选择的非线性缩放函数来确定照度。在一个示例中，框1010、1110或307可以基于镜面区的非线性函数来确定照度。在一个示例中，在骨架像素附近，该函数可具有陡峭的梯度。在一个示例中，框1010、1110或307可以基于以下等式来确定镜面高光区的照度：

等式24：

在一个示例中，框1010、1110或307可以基于以下等式来确定漫反射区的照度：

等式25：

在一个示例中，框1010、1110或307可以基于以下等式来确定光源区的照度：

等式26：

框308可以执行像素插值。在照度修正或重建后，过曝区中的一些像素可能还没有接收到照度值，在重建的照度简档中留下了空隙。框308可以填充过曝区中的剩余空隙。框308可以执行(双向)线性插值。在另一个示例中，框308可以执行高阶插值。

框309可以执行像素细化(refinement)。在像素插值后，过曝区中的每个像素都接收到照度值L(o_i)。然而，由于相邻的重建照度值可能有显著区别，过曝区中的照度值可能没有形成平滑的简档，缺少一致性。

框309可以执行像素细化，以提高相邻重建像素之间的一致性。框309可以基于集成在2D阵列或向量L中的像素照度值L(o_i)来执行像素细化。框309可以执行优化，根据以下目标函数来确定该区域的新值L′(对应于L′(o_i))：

等式27：

等式27需要将被施加的附加约束，以实现提高照度简档的一致性的期望效果。等式28至32描述了约束的集合，可以将其中的一个或多个约束添加到等式27的优化中。例如，框309可以基于以下优化来确定像素值，所述优化包括要求重建照度值大于边缘像素p_i的最大照度值的约束。该约束可以表示如下：

等式28：min(L(o_i))-max(L(p_j))＞T₁

其中，T₁是可以设置为0的阈值，或者可以备选地设置为大于0的值。

在优化期间，框309可能考虑的另一个约束可能要求输出值L′(o_i)不低于输入图像的照度值。用L_orig(o_i)来表示原始照度值，则该约束可以表示如下：

等式29：L′(o_i)-L_orig(o_i)＞T₂

其中，T₂是可以设置为0的阈值，或者可以备选地设置为大于0的值。

在优化期间，框309可能考虑的另一个约束可能要求骨架像素具有比区域中的其余内部像素更高的照度值。框309可以针对每个扫描线单独地加入该约束，使得对于区域的每个扫描线，该约束可以表示如下：

等式30：||L′(o_i(y))||_∞-L′(s(y))＜T₃

其中，T₃是正值的阈值。如果扫描线包含多个骨架像素，则框309按照骨架像素到裁剪区边界的距离的降序为骨架像素指派最大值。

针对扫描线(即像素行)来制定等式30的约束。框309可以包含对像素列进行操作，但其他都与等式30所示约束相同的另一个约束

等式31：||L′(o_i(x))||_∞-L′(s(x))＜T₃

在优化期间，框309可能考虑的另一个约束可能要求从过曝区外部的像素到骨架像素的逐步单独递增的转变。针对沿给定方向的每个像素p_j+td_j，框309可以确定照度值应当是非下降的。因此，远离pj的像素的最终照度值应当更高，得到以下约束：

等式32：L′(p_j+t₁d_j)≥L′(p_j+t₂d_j)if t₁＞t₂

框309输出图像中的每个过曝区的经平滑的照度简档，所述经平滑的照度简档适合与输入图像的其余(良好曝光)像素合并。

在一个示例中，框207可以由执行框309输出的重建照度值与输入图像的良好曝光像素的合并。框207可以用重建照度值替换过曝照度值。在一个示例中，照度值可以与修复算法的输出合并。在一个示例中，可以基于修复算法的RGB颜色值输出(表示为(R_I(o_j)，G_I(o_j)，B_I(o_j)))来执行照度值与修复输出的合并。经修复的像素的照度可被确定为三种颜色值的加权平均。照度值可以表示为L_I(o_j)。经修复的照度值的算术平均表示为L_av。可以在经修复的像素值上叠加由框309输出的照度简档L(o_j)，如下：

等式33：

当框309输出的重建照度简档和修复方法的输出是加性时，框207可以执行等式33。当需要乘性方案时，框307可以确定过曝区中每个像素的中间照度值，如下：

等式34：

然后，框207通过以下等式来确输出的RGB颜色值：

等式35：

可以在针对照度通道但不影响色度通道的情况下，在颜色分量空间中执行结合等式33、34和35所描述的本发明原理。

图9表示装置900的示例性架构，所述装置可被配置为实现结合图1、2、3和等式1至32所描述的方法。

装置900包括以下通过数据和地址总线901连接在一起的元件：

-微处理器902(或CPU)，例如DSP(数字信号处理器)；

-ROM(只读存储器)903；

-RAM(随机存取存储器)904；

-I/O接口905，用于从应用接收要发送的数据；以及

-电池906(或其他合适的电源)。

根据一变型，电源906在装置的外部。在每一个提到的存储器中，说明书中使用的单词“寄存器”可以对应于小容量区域(如一些位)或超大区域(如整个程序，或大量接收数据或解码数据)。ROM 903至少包括程序和参数。根据本发明的方法的算法存储在ROM 903中。当切换接通时，CPU 902将程序上传到RAM中，并执行对应的指令。

RAM 904包括寄存器中被CPU902执行并在装置900切换接通后被上传的程序、寄存器中的输入输入、寄存器中处于方法不同状态中的中间数据、以及寄存处中用于方法的执行的其他变量。

可以例如用方法或过程、装置、软件程序、数据流或信号来实现本文所描述的实施方式。虽然仅在单个实现形式的上下文中进行讨论(例如，仅讨论方法或装置)，所讨论特征的实现还可以以其他形式来实现(如程序)。装置可以实现为例如适合硬件、软件和固件。所述方法可被实现于诸如处理器的装置中，所述处理器一般地称为处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还可以包括通信设备(例如计算机、蜂窝电话、便携/个人数字助理("PDA"))以及促进终端用户之间的信息通信的其他设备。

根据图像处理的特定示例，从源获得图像或图片I。例如，所述源属于以下集合，所述集合包括：

-本地存储器(903或904)，例如视频存储器或RAM(随机存取存储器)、闪存、ROM(只读存储器)、硬盘；

-存储器接口(905)，例如大容量存储器、RAM、闪存、ROM、光盘或磁性载体的接口；

-通信接口(905)，例如有线接口(例如，总线接口、广域网接口、局域网接口)或无线接口(例如，IEEE 802.11接口或接口)；以及

-图像捕获电路(例如，传感器，比如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))。

根据不同的实施例，向目的地发送经解码的图像具体地，所述目的地属于以下集合，所述集合包括：

-本地存储器(903或904)，例如视频存储器、RAM、闪存、硬盘；

-存储器接口(905)，例如大容量存储器、RAM、闪存、ROM、光盘或磁性载体的接口；

-通信接口(905)，例如有线接口(例如，总线接口(例如USB(通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(例如，IEEE 802.11接口、接口或接口)；以及

-显示器。

根据不同的示例，向目的地发送比特流BF和/或F。例如，将比特流F和BF中的一个或比特流F和BF二者存储在本地或远程存储器中，例如视频存储器(904)或RAM(904)、硬盘(903)。在变型中，将一个或两个比特流发送到存储器接口(905)，例如，大容量存储器、闪存、ROM、光盘或磁性载体的接口，和/或经过通信接口(905)(例如，到点对点链路、通信总线、点对多点链路或广播网络的接口)进行传输。

根据不同的示例，从源获得比特流BF和/或F。示例性地，从本地存储器(例如视频存储器(904)、RAM(904)、ROM(903)、闪存(903)或硬盘(903))中读取比特流。在变型中，从存储器接口(905)(例如大容量存储器、RAM、ROM、闪存、光盘或磁性载体的接口)接收比特流，和/或经过通信接口(905)(例如，到点对点链路、总线、点对多点链路或广播网络的接口)进行传输。

根据不同的示例，被配置为实现根据本发明原理的方法的装置900属于以下集合，所述集合包括：

-移动设备；

-通信设备；

-游戏设备；

-平板(平板计算机)；

-膝上型电脑；

-静止图像摄像机；

-视频摄像机；

-编码芯片；

-静止图像服务器；以及

-视频服务器(例如广播服务器、视频点播服务器或网络服务器)。

根据不同的示例，被配置为实现根据本发明原理的图像处理过程的装置900属于以下集合，所述集合包括：

-移动设备；

-通信设备；

-游戏设备；

-一种机顶盒，包括：

-电视机；

-平板(平板计算机)；

-膝上型电脑；

-显示器；以及

-解码芯片。

本文描述的各种处理和特征的实现方案可以实现为各种不同设备或应用。这些装置的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人电脑、手机、PDA、以及其他通信设备。应当清楚，设备可以是移动的，甚至安装在移动交通工具中。

此外，可通过由处理器执行的指令实现所述方法，而且这些指令(和/或通过实现产生的数据值)可存储在处理器可读介质上，比如集成电路、软件载体或其它存储设备，比如硬盘、压缩盘(“CD”)、光盘(比如DVD，其通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)、或只读存储器(“ROM”)。指令可形成在处理器可读介质上有形实施的应用程序。指令可位于例如硬件、固件、软件或其组合中。可以在例如操作系统、单独应用后两者组合中发现指令。因此，处理器可以被特征化为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如，存储设备)的设备。此外，处理器可读介质可存储实现所产生的数据值，作为对指令的添加或替代。

本领域技术人员应清楚，实现方案可以产生被编排为携带例如所存储的或所传输的信息的多种信号。信息可以包括例如执行方法的指令，或通过描述的实施方式之一所产生的数据。例如，信号可以被编排为将用于写入或读取所述示例的语义的规则携带为数护，或将由所述示例写入的真实语义值携带为数据。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码或者调制具有已编码数据流的载波。信号承载的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输该信号。信号可存储在处理器可读介质上。

已经描述了多个实现。但是应当理解，可以做出各种修改。例如，可以合并、增补、修改或去除不同实现方案的要素，以便产生其它实现方案。附加地，本领域技术人员将理解的是，其他结构或处理器可以替代那些公开的内容，并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能，以实现与所公开的实施方式基本相同的结果。因此，本申请还涵盖这些和其它实现方案。

本文阐述了诸多具体细节，以提供本发明的透彻理解。然而，本领域技术人员将要理解的是，可以在没有这些具体细节的情况下实施以上示例。在其他实例中，未对公知的操作、组件和电路进行详细描述，以免使本发明不清楚。可以理解，本文公开的特定结构和功能细节可以代表性的，并且不必限制本发明的范围。

可以使用硬件元件、软件元件或二者组合来实现本发明的各个示例。可以使用例如可存储指令或指令集的计算机可读介质或制品来实现一些示例，当所述指令或指令集被机器执行时，可以使所述机器执行根据该示例的方法和/或操作。该机器可以包括例如任何合适的处理平台、计算品台、计算设备、计算系统、处理系统、计算机、处理器等，并且可以用任何合适的硬件和/或软件的组合来实现。计算机可读介质或制品可以包括例如任何合适类型的存储单元、存储设备、存储制品、存储介质、储存设备、储存制品、储存介质和/或储存单元。指令可以包括任何合适类型的代码，例如可使用任何合适的高级、低级、面向对象、可视、编译和/或解释编程语言来实现的源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

可以例如用方法或过程、装置、软件程序、数据流或信号来实现本文所描述的实施方式。虽然仅在单个实现形式的上下文中进行讨论(例如，仅时论方法)，所讨论特征的实现还可以以其他形式来实现(如装置或程序)。本文包括的装置和组件，例如处理器、编码器和解码器，可以用合适的硬件、软件和固件来实现。所述方法可被实现于诸如处理器的装置中，所述处理器一般地称为处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还可以包括通信设备(例如计算机、蜂窝电话、便携/个人数字助理(″PDA″))以及促进终端用户之间的信息通信的其他设备。

此外，本申请或其权利要求可提及“确定”各种信息。确定信息可以包括以下一项或多项，例如，估计信息、计算信息、预测信息或从存储器取回信息。

此外，本申请或其权利要求可提及“访问”各种信息。访问信息可以包括以下一项或多项，例如，接收信息、取回信息(如从存储器)、存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。

此外，本申请或其权利要求可提及“接收”各种信息。接收和“访问”一样是广义术语。接收信息可以包括以下一项或多项，例如，访问信息或取回信息(如从存储器)。此外，“接收”通常以某种方式在诸如以下各项的操作期间涉及：存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。

Claims (15)

1.一种图像处理方法，包括：

确定由标准动态范围SDR图像确定的过曝区的至少一个像素的修正照度值；

其中，基于过曝区的形状和过曝区周围的像素的边缘信息中的至少一个来确定修正照度值。

2.一种用于图像处理的装置，所述装置包括：

处理器，被配置为确定由标准动态范围SDR图像确定的过曝区的至少一个像素的修正照度值；

其中，基于过曝区的形状和过曝区周围的像素的边缘信息中的至少一个来确定修正照度值。

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述过曝区是不规则形状区域。

4.根据权利要求1所述的方法或根据权利要求2所述的装置，还包括确定过曝区的类型以及基于过曝区的类型来确定修正照度。

5.根据权利要求4所述的方法或装置，其中所述类型是镜面高光区、漫反射或光源中的一个。

6.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，基于过曝区的骨架来修正照度。

7.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，基于沿骨架的像素的峰值照度来修正照度。

8.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，基于过曝区周围的像素的环形区域来修正照度。

9.根据权利要求8所述的方法或装置，其中，基于由像素的环形区域确定的边缘来修正照度。

10.根据权利要求8所述的方法或装置，其中，基于由像素的环形区域确定的方向向量来修正照度。

11.根据权利要求10所述的方法或装置，其中，基于像素的环形区域的等照度线向量来确定方向向量。

12.根据权利要求10所述的方法或装置，其中，基于像素的环形区域的梯度来确定方向向量。

13.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，基于边缘像素处的照度L(p_j)、边缘像素的梯度g_j、边缘像素和内部像素之间的距离以及用户参数η如下来修正照度：

L(o_i)＝ηg_j||p_j-o_i||+L(p_j)。

14.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，基于骨架像素处的照度L(s_j)、边缘像素处的照度L(p_j)、边缘像素和内部像素之间的距离、边缘像素和骨架像素之间的距离以及用户参数η如下来修正照度：

$L\left(o_i\right)=\mathrm{\η}\frac{L\left(s_j\right)-L\left(p_j\right)}{\left|\right|p_j-s_j\left|\right|}\left|\right|p_j-o_i\left|\right|+L\left(p_j\right).$

15.根据权利要求1所述的方法或根据权利要求2所述的装置，还包括基于受到以下一个或多个约束的优化来细化修正照度：

min(L′(o_i))-max(L(p_j))＞T₁

L′(o_i)-L_orig(o_i)＞T₂

||L′(o_i(y))||_∞-L′s(y))＜T₃

||L′(o_i(x))||_∞-L′s(x))＜T₃

L′(p_j+t₁d_j)≥L′(p_j+t₂d_j)如果t₁＞t₂

所述约束基于优化照度值L′(o_i)、边缘像素的照度L(p_j)、输入图像的照度值L_orig(o_i)、骨架像素的优化照度值L′(s(y))、边缘像素p_j、方向向量d_j、阈值T₁、T₂、T₃以及标量t₁和t₂之间的关系。