CN101147402B - 基于边缘的青色、品红色和黄色自动画面配准 - Google Patents

Abstract

一种执行用于胶片数字修复的CMY(青色、品红色、黄色)配准的自动处理。在将画面的三种颜色分量(青色、品红色、黄色)扫描为文件之后，将每个分量划分成块(18)，对每个块应用边缘检测(16)，并执行边缘匹配(20)。处理位移的数据(22)，接着计算仿射变换参数(24)。然后对每个块应用仿射变换(26)，并使用扭曲来组合颜色分量(28)并获得颜色分量的配准的画面。

Description

基于边缘的青色、品红色和黄色自动画面配准

相关申请的交叉引用

本申请要求2005年1月27目提交的美国临时专利申请序列号60/647682的权益，其通过引用而被合并于此。

技术领域

本发明涉及胶片保存(preservation)和修复(restoration)。更具体地，本发明涉及一种用于在保存和修复应用中使用的自动配准(register)彩色胶片的颜色分量(青色、品红色、黄色)的方法。

背景技术

为了长时间存储彩色胶片并减小褪色(color fading)的影响，将彩色胶片分为三个颜色分量，即青色(Cyan)、品红色(Magenta)和黄色(CMY)。将每个颜色分量存储在单独的卷轴(reel)上。当上映胶片的时间到来时，需要将这三个卷轴中的每个上的颜色分量重新组合。出于此考虑，需要将CMY分量配准以获得产生的重新组合的彩色图像，其与原始彩色胶片上的图像看起来颜色一样。大多数CMY配准使用光化学(photo-chemical)技术来执行。不幸的是，随着CMY卷轴老化，每个卷轴上的胶片经受变形或收缩。在此环境下，这种基于光化学的CMY配准执行得不好。因此，需要使用数字技术来执行配准。在此情况下，手动地执行配准。然而，手动配准很费力并且成本较高。

发明内容

根据本发明的原理，数字图像配准技术自动地执行配准。另外，数字图像配准技术也可通过扭曲(warp)图像来非常准确地配准严重失真的颜色分量。

根据一个实施例，用于自动配准彩色胶片的颜色分量的方法包括：确定彩色胶片的颜色分量之间的相关性(correlation)，处理相关性数据，为颜色分量确定仿射变换(Affine Transform)参数，使用所确定的参数计算各个颜色分量中的每个像素的仿射变换，并且组合颜色分量以再现彩色胶片。

为了确定颜色分量相关性，选择基色，并计算其它颜色分量相对于所选择的基色分量的初始位移(displacement)系数向量值。如果需要的话，可将每个画面帧分成块。对于各个颜色分量，对画面帧进行边缘检测，并且对于每个颜色分量，相对于基色分量匹配所检测的边缘。一旦完成，就使用初始计算的位移系数向量值计算新的位移向量值。

根据另一实施例，该方法包括对于相关性处理阶段的差错校正方面。一开始，确定在所确定的相关性中是否存在任何大差错。修正任何大差错，并计算新的位移值系数。接着使用新计算的位移值系数重新计算位移向量值。为了计算新的位移值系数，应用三阶曲线或三阶平面，以在任一方向上最佳地拟合(fit)差错数值(number)。

可通过使用邻近的块值或内插/外插来执行差错的修正。

为了计算仿射变换，包括：使用最近块分析来对于块中的每个像素确定在原始画面中的像素位置，并使用所确定的像素位置和对应的最近的块的位移值来定义仿射变换参数.

根据另一实施例，通过相对于基色分量扭曲非基色分量来执行所述组合，以形成配准的彩色图像。所述扭曲包括使用所计算的仿射变换将新画面中的每个像素映射到旧画面上。

在另一实施例中，用于彩色胶片的基于边缘的CMY自动画面配准的方法包括：确定彩色胶片的基色分量和其它颜色分量之间的位移值，并且处理相关性数据，以获得对应于所确定的位移值的新位移值系数以便识别并去除差错。一旦完成处理，就为其它颜色分量确定仿射变换参数，并使用所确定的参数计算各个颜色分量中的每个像素的仿射变换。接着组合这些颜色分量以再现彩色胶片。

通过结合附图考虑的以下详细描述，本发明的其它方面和特征将变得显而易见。但是应理解：设计附图只是为了说明的目的，并不作为对本发明的限制的限定，对于所述限定，应当参考所附权利要求书。还应理解：附图不一定是成比例绘制的，并且，除非另外指出，否则它们仅意在概念性地图示这里描述的结构和过程。

附图说明

在附图中(其中相似的参考标号在附图自始至终代表相似的组件)：

图1是根据本发明实施例的自动颜色组合算法的框图；

图2是根据本发明一个实施例的块划分的示例；

图3是根据本发明另一实施例的块划分的另一示例；

图4是根据本发明实施例的边缘匹配方法的示例图；

图5a到图5f是根据本发明实施例的块划分和有关的仿射变换位移值应用的另一示例；

图6a到图6c是根据本发明实施例的用于表示仿射变换的计算的示例数据集；以及

图7是根据本发明实施例的用于使用所计算的仿射变换获得扭曲分量画面的方法的概略表示。

具体实施方式

本发明的构思利用了胶片处理领域中的已知元件和处理。例如，胶片处理、仿射变换、CMY配准等的细节为公知的，这里不详细描述。另外，可使用传统编程技术实现本发明。

在优选实施例中，以软件实现本发明。本发明可以是但不限于嵌入固件、驻留在微机中、微码等。其它实施例可以是全硬件、全软件、或硬件和软件元素的组合。

此外，本发明可以采用在提供计算机程序代码的任何计算机可用介质中存储的或者可以从所述任何计算机可用介质访问的软件产品的形式.这包括但不限于可存储、传送、或传播程序的任何装置，所述程序用于由能够执行程序的任何设备使用或与能够执行程序的任何设备相结合地使用.该介质可以是光、电、磁、电磁、传输介质、或半导体介质.可将计算机可读介质实施为计算机硬驱动器、可移动计算机盘、随机存取存储器、只读存储器、半导体或固态存储器设备、磁带、穿孔(punch)卡、或光盘.光盘的现有示例包括紧致盘(CD)、数字视频盘(DVD)、高清晰度DVD(HD-DVD)、激光盘、蓝光盘、小型盘或磁光盘.除了激光盘以外，所有这些盘都可以采用固定的只读存储器(ROM)、可记录的(±R)、或可记录/可重写的(-RW)格式.

数据处理系统可包括一个或多个处理器以及诸如主板的支持电子设备。这些处理器可包括存在于处理器上或经由系统总线连接到本地存储器、高速缓冲存储器或共享系统的存储器或者网络存储器。可将数据处理系统耦接到诸如键盘或鼠标的输入设备、诸如显示器或打印机的输出设备、以及诸如网卡、调制解调器、或联网背板(backplane)的通信适配器。

可被包括在数据处理系统中的网络适配器允许在中间(intervening)公共或专用网络上向和从其它终端、服务器、打印机或远程存储设备传递数据。网络适配器的一些现有示例为以太网适配器、无线WiFi和WiMax适配器、令牌环适配器等。现有网络包括局域网(LAN)、广域网(WAN)、因特网、ad hoc网络、直连网络或虚拟专用网络(VPN)。

根据本发明的原理，图像配准处理自动地在数字域中执行青、品红和黄(CMY)颜色分量的配准。本领域普通技术人员将认识到：这里公开的构思不限于C、M和Y，而是也可被用于其它颜色空间、或者在任何两种颜色分量之间。

将3卷轴CMY胶片扫描为三个单序列。画面大小可以是2K或4K(1K是1024字节)。在胶片行业中，2K的分辨率是2048×1556像素，4K的分辨率是4096×3112像素。像素的比特深度与本发明无关，一般为10比特。将所扫描的文件说明性地以dpx格式(SMPTE(运动画面和电视工程师协会)数字画面交换格式)存储。然而，在不偏离本发明的精神的情况下，可以使用和支持其它文件格式。

本发明的配准处理每次在图像数据的一帧上操作。如下面所述，可能有这样的情况：有必要把图像数据的帧进一步划分成块、以及(如果可能的话)子块或子画面，以继续该处理。

可能需要将画面划分成块或子块的一个因素可以是源图像数据的失真。根据失真的严重性，画面可能需要划分成块(即，当失真的非线性不能被忽略时)。一块可与其邻近的块具有一些重叠，或者其可以根本没有重叠。基于画面数据的内容来确定块的数目，在实际执行块划分之前所述数目可以是非常粗略的估计值。

通常，增大配准处理的精确度需要更多的块。然而，增大块的数目意味着每个块在大小上将更小，而块的大小越小，所计算的位移精确度中较低精确度的可能性就越高(即，如果块过小，则可能没有足够的信息，因此造成较低的精确度)。

根据本发明的原理，不需要非常小的块来执行自动画面配准。仅仅举几个例子，实验结果表明2K素材的块的数目可以是1×1、2×2、2×4、4×4、4×6、或4×8。虽然有可能，但是应该需要在任一维度上不超过8块。

为了配准三(3)颜色分量(例如CMY、RGB)，需要确定它们之间的相关性。有几种计算这些相关性的方式。作为说明，使用边缘相关性或边缘匹配。出于此考虑，有2个步骤：边缘检测和边缘匹配。可使用任何现有的边缘检测技术，例如本领域公知的Canny边缘检测技术。在边缘被检测之后实现边缘匹配。可将要配准的三种颜色分量中的任一个选为基色，并且可根据所选的基色分量计算其它两种颜色分量的位移(即，相关性)。

作为示例，每个块有2个位移向量(V^x _rg，V^y _rg)、(V^x _rb，V^y _rb)，其中V^x _rg是x方向上红色和绿色之间的位移，V^y _rg是y方向上红色和绿色之间的位移。类似地，V^x _rb和V^y _rb分别为x和y方向上红色和蓝色之间的位移。这里我们假定将红色分量用作基色。

为了协助相关性确定，优选地将每帧划分成块。当将画面划分成块时，所有图像数据被更好地配置以被处理，以便消除大差错并且使位移值在画面上平滑地改变。例如，可使用x或y方向上的一维三阶曲线、或二维三阶平面。此外，可使用更低阶或更高阶的曲线或平面。当一个方向上的块的数目小于3时，则对位移值不进行曲线拟合。

将调整后的位移的值(参数)用于计算仿射变换的六个参数。使用四个位移向量来计算每个块的仿射变换，可使用冗余(redundancy)来减少差错。然而，本发明不需要使用冗余来减少差错，但是可使用它来对于新画面中的像素在旧画面中的对应位置而找出该新画面中的像素，并通过内插来获得像素值。以诸如本领域公知的dpx、yuv、raw或ppm的文件格式保存新画面。

自动颜色组合处理10的图示在图1a中示出。输入12a、12b、和12c为三个单独的颜色分量。可将这些颜色分量存储在单个文件或多个单独的文件中。在优选实施例中，所述输入是3个单独的DPX文件，每个颜色分量一个文件。

在下一步骤14中可能有两个选项：1)首先由边缘检测器16检测边缘，接着使用划分器18将边缘画面划分为块(参见图1a)；或者2)可首先使用划分器18将画面划分成块，接着实施边缘检测16(参见图1b)。然而，这两种方法产生的输出可能不同。步骤14是本发明的相关性确定中的第一步骤。

划分器18利用2个参数来划分画面：1)水平方向上的块的数目、以及2)垂直方向上的块的数目。如上所述，所述块可以是重叠的或非重叠的，其中重叠的部分可以变化，而块的大小可以彼此不同。如果块的大小变化，则通过画面的内容确定大小。画面纹理丰富的区域可具有小块，而纹理较少的区域可具有大块。

图2示出了固定大小的四(4)个重叠的块的实施例。注意，区域e是两个邻近的块重叠的区域，而区域f是所有4个块重叠的区域。图3示出了大小变化的四(4)个非重叠的块的实施例。

如上所述，为了执行边缘检测，可使用任何现有的边缘检测器，例如上述的Canny边缘检测器。对于Canny边缘检测，所有边缘为单个像素宽。其它边缘检测器可具有多个像素宽的边缘。

作为相关性确定处理的最后部分，对所划分/边缘检测的图像进行边缘匹配20。对于边缘匹配20，在基色边缘画面上打开搜索窗口。对于搜索窗口中的每个位置，将非基色边缘块与基色比较。计算不匹配的边缘点的数目，将最小的数目挑选为最佳匹配；或者作为替换，计算匹配的边缘点的数目，将最大数目挑选为最佳匹配。

根据其它实施例，可测试最佳匹配以避免误挑选。现在参照图4描述这样的测试的一个例子。位置a上的失配边缘点的数目应小于b和d的八(8)个位置中的任一个的数目。不严格的(loose)测试是位置a上的失配数目应小于d的四(4)个位置上的任何数目的测试。本领域技术人员将认识到：可以首先对数据集进行低通滤波，以便获得最小值或最大值或仅仅提高精确度。

当执行了边缘匹配时，需要图像的附加数据处理22以用于配准处理.此数据处理提供差错校正/防止阶段，并且通过使用新计算的位移值(向量)而进一步提高精确度.根据本发明原理的数据处理22的说明性技术如下.对于每个块，有2个位移向量(即，x和y).每个位移向量表示在水平和垂直方向上在颜色分量边缘映射(map)和基色分量边缘映射之间的位移.对于具有固定块大小的m×n个块的画面，有四组数据：V^ij _lx、V^ij _1y、V^ij _2x、V^ij _2y，其中ij为块的索引(indices)，m、n分别为x和y方向上的块的数目。

这里将V^ij _1x和V^ij _ly用作示例，以示出怎样处理数据。说明性地假定m＝5，n＝5，V^ij _lx是5×5矩阵。

步骤1：使用预设的阈值来找出是否有任何大的差错数值。

步骤2：通过使用大的差错数值的相邻值或通过内插/外插来修改大的差错数值。

步骤3：使用3阶曲线来在任一方向上最佳地拟合所述数值，或使用3阶平面。对于3阶曲线：

f(x)＝a₀+a₁*x+a₂*x²+a₃*x³，以及       (1)

f(y)＝b₀+b₁*y+b₂*y²+b₃*y³             (2)

对于三阶平面：

f(x，y)＝

a₀+a₁*x+a₂*y+a₃*x²+a₄*y²+a₅*x*y+a₆*x³+a₇*y³+a₈*x²*y+a₉*x*y²

(3)

其中a_i和b_j为多项式曲线或平面的系数。当然，可使用更低阶或更高阶。

如果使用3阶曲线，对于矩阵的每行[x₀，x₁，x₂，x₃，x₄]，可如下计算对应的多项式系数：

$X=[1x_0{x}_0^2{x}_0^3;1x_1{x}_1^2{x}_1^3;1x_2{x}_2^2{x}_2^3;1x_3{x}_3^2{x}_3^3;1x_4{x}_4^2{x}_4^3],---\left(4\right)$

其中X是5×4矩阵，分号“；”是行分隔符，x_i是该行中x方向上的对应的块i的位置。

F＝[f(x₀)f(x₁)f(x₂)f(x₃)f(x₄)]         (5)

其中F是向量，f(x_i)是该行中对应的块i的位移。

A＝[a₀ a₁ a₂ a₃]                       (6)

其中A是系数向量且最初是未知的。

则，

F＝X*A，以及                           (7)

A＝(X^TX)^-1X^TF                          (8)

其中X^TX是正定的，且其是可逆的。

步骤4：通过使用系数A重新计算F的位移值：

F′＝X*A                               (9)

其中F’是用于替换旧数据集的新数据集。在处理了所有行之后，利用F’的所有新数目产生新的矩阵。最外面位置上的参数可被进一步修改，使得它们的值在矩阵的次最外面的参数的值的某个范围内。

除了所述矩阵更大以外，可以以相似的方式计算3阶平面。例如，矩阵X为25×10，F为10×1，A为10×1。

当完成了数据处理时，需要对每个颜色分量块的仿射变换进行计算24(参见图1).对于每个颜色分量，有两个数据集，一个在x方向上，另一个在y方向上.对于块的每个像素位置，使用最近块分析来确定在原始画面中的像素位置.本发明是使用4个最近的相邻块进行这一确定而描述的.然而，本领域技术人员将认识到：在最近块分析中使用的块的数目是选择的问题，并且可以高于或低于这里描述的“四个最近的近邻”示例.

图5a到图5f示出了此构思的示例。图5a中示出了更一般的情况，其中如果块(I)具有8个相邻的块，则子块11将使用块A、B、D、I的位移值来确定仿射变换的参数。接着子块12将使用块B、C、E、和I的位移值，子块21将使用块D、F、I、G的位移值，子块22将使用块E、H、G、和I的位移值。对于其它情况，如果块I位于画面的边或角落上(图5e和5f)，则各个子块11、12、21、22将使用其最近的三个相邻的块和块I来计算仿射变换参数。

图6a、图6b和图6c分别指示位于4个块中心的中间(图6a)、画面的角落(图6b)、4个块中心的一边(图6c)的新的像素(x，y)。

下面示出了仿射变换，

$\left[\begin{array}{c}{x}_{\mathrm{old}}\\ y_{\mathrm{old}}\end{array}\right]\left[\begin{array}{c}{a}_0{b}_0{c}_0\\ a_1{b}_1{c}_1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{new}}\\ y_{\mathrm{new}}\\ 1\end{array}\right]---\left(10\right)$

已知4个旧的点(块中心)的位置(图6所示)，可通过将位移加到相应的点上来获得这4个点在新画面中的位置。有8个方程和6个未知数，因此可容易地获得这6个仿射变换参数。在多于2个的方程是其它方程的线性组合的某些情况下，仿射变换被化简为：

$\left[\begin{array}{c}{x}_{\mathrm{old}}\\ y_{\mathrm{old}}\end{array}\right]=\left[\begin{array}{c}{a}_{0}0c_0\\ 0b_1{c}_1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{new}}\\ y_{\mathrm{new}}\\ 1\end{array}\right]---\left(11\right)$

为了扭曲画面(图1的步骤28)，将扭曲应用于所述三个颜色分量中的两个。更一般地，如果有N个分量，则将把扭曲应用于N-1个颜色分量。本领域技术人员将认识到：图像扭曲是一种图像变换，其可以是线性或非线性变换。用作基色的这一个颜色分量将不被扭曲(在图1的示例情况下，M/G)。通过使用所计算的仿射变换来将新画面中的每个像素映射到旧画面上而获得扭曲分量画面(图7中所示)。这是通过将2个扭曲颜色分量与基色分量组合(28)以形成配准的彩色图像来进行的。在旧画面中所映射的像素(m，n)通常不在整数网格上，然而可通过使用内插或最近的像素值来获得该像素的值。诸如双线性、双三次方等的若干种已知内插技术中的任意一个可被用于此目的。在扭曲之后，可将这三个颜色分量转换为某个期望的文件或图像格式，并形成配准的彩色图像。

已在很多胶片上测试了上述自动配准处理，得到了好的结果。

为了加快配准处理，可将画面下采样到更低的分辨率，例如从4K下采样到2K，并且可以以更低的分辨率来计算每个子画面的最佳匹配的位移向量。然后，将匹配的位移向量放大(up-scale)到原始分辨率，使用这些向量来以原始分辨率4K执行画面扭曲。

在另一情况下，为了减少扫描成本，使用更低的分辨率。因此，扫描的分辨率越低，成本越低。可以以高分辨率(例如4K)扫描品红色通道(channel)，而可以以较低的分辨率(例如2K)扫描青色和黄色通道。品红色通道是这三个通道中最主要的，因此对于较不主要的青色和黄色通道允许这一不同的分辨率方案(approach)。此处理有效地将青色和黄色通道放大到品红色通道的分辨率。然后可以以高分辨率进行配准。

还应注意：上述配准处理可在最初将彩色胶片分离成CMY分量时作为对分离质量的检查而发生，以便例如检验画面的分量是否丢失或被损坏等。

考虑到上面所述，上文仅说明了本发明的原理，因此将认识到：本领域技术人员将能够设计很多替换配置，尽管所述替换配置在这里没有被明确描述，但是其实施本发明的原理并在其精神和范围内。因此应理解：在不偏离由所附权利要求限定的本发明的精神和范围的情况下，可对这些说明性实施例做出许多修改并且可以设计出其它配置。

Claims (19)

1.一种用于自动配准彩色胶片的颜色分量的方法，所述方法包括以下步骤：

确定所述彩色胶片的颜色分量之间的相关性(14，20)；

处理(22)相关性数据；

为所述颜色分量确定仿射变换参数(24)；

使用所确定的参数计算各个颜色分量中的每个像素的仿射变换(26)；以及

组合(28)所述颜色分量以再现所述彩色胶片。

2.根据权利要求1所述的方法，其中所述确定相关性包括：

选择基色分量；

计算其它颜色分量相对于所选择的基色分量的初始位移系数向量值；

将每个画面帧划分(18)成块；

对于所述颜色分量，检测画面帧边缘(16)；以及

相对于所选择的基色分量匹配每个颜色分量的所检测的边缘(18)。

3.根据权利要求2所述的方法，其中对所确定的相关性的所述处理(22)包括使用最初计算的位移系数向量值来计算新的位移向量值。

4.根据权利要求2所述的方法，其中对所确定的相关性的所述处理(22)包括：

确定在所确定的相关性中是否存在任何大的差错；

修正任何大的差错；

计算新的位移值系数；以及

使用新计算的位移值系数来重新计算位移向量值。

5.根据权利要求4所述的方法，其中使用预定阈值来执行所述确定。

6.根据权利要求4所述的方法，其中通过使用邻近的块值或内插/外插来执行所述修正错误。

7.根据权利要求4所述的方法，其中通过应用三阶曲线或三阶平面来在任一方向上最佳地拟合差错数值而执行所述计算新的位移值系数。

8.根据权利要求2所述的方法，其中所述计算仿射变换包括：

使用最近块分析来为块中的每个像素确定在原始画面中的像素位置；以及

使用所确定的像素位置和对应的最近块的位移值来定义仿射变换参数。

9.根据权利要求1所述的方法，其中所述组合(28)包括相对于基色分量扭曲非基色分量以形成配准的彩色图像。

10.根据权利要求9所述的方法，还包括在形成配准的彩色图像之前将所述颜色分量转换为期望的文件或图像格式。

11.根据权利要求1所述的方法，还包括：

将要配准的图像数据下采样为更低的分辨率以加快处理；以及

在执行所述组合之前将匹配的位移向量放大到期望的分辨率。

12.一种用于彩色胶片的基于边缘的CMY自动画面配准的方法，所述方法包括以下步骤：

确定彩色胶片的基色分量和其它颜色分量之间的位移值(14，20)；

处理相关性数据(22)，以获得对应于所确定的位移值的新的位移值系数以便识别和去除差错；

为其它颜色分量确定仿射变换参数(24)；

使用所确定的参数计算各个颜色分量中的每个像素的仿射变换(26)；以及

组合(28)所述颜色分量以再现所述彩色胶片。

13.根据权利要求12所述的方法，其中所述处理(22)还包括使用新计算的位移值系数重新计算位移向量值。

14.根据权利要求12所述的方法，其中所述确定相关性包括：

计算所述其它颜色分量相对于所述选择的基色分量的初始位移系数向量值；

将每个画面帧划分成块(18)；

对于所述颜色分量检测画面帧边缘(16)；以及

相对于选择的基色分量匹配每个颜色分量的所检测的边缘(20)。

15.根据权利要求14所述的方法，其中所述确定仿射变换参数(24)包括：

使用最近块分析来为块中的每个像素确定在原始画面中的像素位置；以及

使用所确定的像素位置和对应的最近块的位移值来定义仿射变换参数。

16.根据权利要求12所述的方法，其中所述组合(28)包括相对于基色分量扭曲所述其它颜色分量以形成配准的彩色图像。

17.根据权利要求16所述的方法，其中所述扭曲包括使用所计算的仿射变换将新画面中的每个像素映射到旧画面上。

18.根据权利要求15所述的方法，还包括在形成配准的彩色图像之前，将所述颜色分量转换为期望的文件或图像格式。

19.根据权利要求12所述的方法，还包括：

将要配准的彩色胶片的图像数据下采样为更低的分辨率；以及

在执行所述组合之前将匹配的位移向量放大为期望的分辨率。

Images