CN1174473A - 图像混合电路 - Google Patents

Abstract

一种可在摄像机中使用的图像混合电路,用于混合亮度信号和色彩信号的等级特性都连续的图像。色彩分离电路将多个图像信号分离成多个亮度信号分量和多个色彩信号分量。然后控制信号发生电路由多个图像信号产生图像合成所需的控制信号;之后,亮度信号混合电路和色彩信号混合电路根据控制信号分别混合各自的亮度信号分量和色彩信号分量。

Description

图像混合电路

本发明涉及一种在诸如摄像机等设备中使用的图像混合电路。

已经提出了从曝光量不同的图像信号中获取一个动态范围较宽的图像信号的各种图像混合电路。以下参照图15和图16描述一种如此类型的图像混合电路，该电路由日本未审查的专利公报63-306779(1988-306779)(与KojiTakahashi等人发表的美国专利第5,162,914号和第5,638,118号对应)提出。

图15是所述常规图像混合电路的方框图。如图15所示，该图像混合电路包含阈值发生器101a和101b、比较器102a和102b、判定器103和选择器104。

将图像信号Slong和Sshort的信号电平与各自特定的阈值Th1和Th2作比较，其中Slong和Sshort是对曝光量不同的图像产生的。然后，选择器104根据该比较结果适当地选择图像信号Slong和Sshort，产生混合的图像信号Smix。

图16是当常规图像混合电路产生含色彩调制分量的图像信号时图像信号Slong、Sshort和Smix的波形图。图16中的横坐标表示像素位置，而纵坐标表示信号波的幅值；图像亮度在原点为零，并且向右边增大。

如图16所示，当该图像混合电路的图像信号选择电路改变输出信号选择时，输出信号电平与输入光强级的等级特性会在输出信号选择改变的地方不连续。这是因为合成图像是用来自不同曝光量图像的图像信号生成的。

当混合含有色彩信号的信号时，色彩信号的等级特性也会不连续，其中色彩信号由单个成像单元叠加在亮度信号上。

由于亮度信号分量与色彩信号分量的比值并不保持恒定，所以当对混合的亮度信号分量进行非线性等级校正诸如弯曲校正时，色彩信号色调分量也会改变。

当含有叠加色彩信号分量的信号饱和时，亮度信号分量的等级也会发生非线性的变化，从而使色调改变。当每行色彩调制分量的大小也因成像单元所用滤色器的布局而发生变化时，亮度信号电平也会在各行间产生差异。

另外，作为一种获得连续等级特性的手段，当通过调节不同曝光量下产生的图像信号的增益来匹配信号电平时，信号高亮区中的信噪比会依照信号的曝光率而劣化。

因此，本发明的目的是，通过提供一种图像混合电路来解决上述问题，其中图像混合电路用于混合在不同曝光量下获得的含色彩信号分量和亮度信号分量的多幅图像，从而使各个信号分量的再现等级连续。

为了实现上述目的，依照本发明的图像混合电路包括：色彩分离电路，用于将从成像装置产生并输入的曝光量不同的多个图像信号分离成多个亮度信号分量和多个色彩信号分量；控制信号发生电路，用于从多个图像信号中产生混合图像所必需的控制信号；亮度信号混合电路，用于根据控制信号混合多个亮度信号分量；和色彩信号混合电路，用于根据控制信号混合多个色彩信号分量。通过以下方式使亮度信号分量和色彩信号分量获得连续的等级特性，即将多个图像信号分离成多个亮度信号分量和多个色彩信号分量，从多个图像信号中产生混合图像所必需的控制信号，然后根据控制信号分别混合多个亮度信号分量和色彩信号分量。

参照附图并阅读以下详细描述，将更充分地理解本发明，其中：

图1是依照本发明第一实施例的图像混合电路基本结构的方框图。

图2是一波形图，示出了依照本发明第一实施例图像混合电路之控制信号发生电路中各点的信号波。

图3是一波形图，示出了依照本发明第一实施例图像混合电路中各点的亮度信号分量。

图4是一波形图，示出了依照本发明第一实施例图像混合电路中各点的色彩信号分量。

图5是依照本发明第二实施例的图像混合电路基本结构的方框图。

图6是一波形图，示出了依照本发明第二实施例图像混合电路中各点的色彩信号分量。

图7是一方框图，示出了依照本发明第三实施例图像混合电路的控制信号发生电路。

图8是一波形图，示出了依照本发明第三实施例图像混合电路之控制信号发生电路中各点的信号波。

图9是一波形图，示出了依照本发明第三实施例图像混合电路中各点的亮度信号分量。

图10是一波形图，示出了依照本发明第三实施例图像混合电路中各点的色彩信号分量。

图11是一方框图，示出了依照本发明第四实施例图像混合电路的亮度信号混合电路。

图12是一波形图，示出了依照本发明第四实施例图像混合电路中各点的亮度信号分量。

图13是一方框图，示出了依照本发明第五实施例图像混合电路的亮度信号混合电路。

图14是一波形图，示出了依照本发明第五实施例图像混合电路中各点的亮度信号分量。

图15是常规图像混合电路的方框图。

图16是常规图像混合电路输入和输出信号的波形图。

以下将参照附图描述依照本发明的图像混合电路的较佳实施例。实施例1

本发明第一实施例的目的是，进行适于多图像信号中亮度信号分量和色彩信号分量的图像信号混合过程，以便获得连续的等级特性。这可以通过以下方式实现，即将多个图像信号分离成多个亮度信号分量和多个色彩信号分量，从多个图像信号中产生图像混合所需的控制信号，然后根据控制信号分别混合多个亮度信号分量和色彩信号分量。

图1是依照本发明第一实施例的图像混合电路基本结构的方框图。如图1所示，该图像混合电路1包含成像装置2、色彩分离电路3、控制信号发生电路4、亮度信号混合电路5、色彩信号混合电路6、信号处理器7、亮度信号输出端8、色彩信号输出端9、低通滤波器(LPF)10a-10c、带通滤波器11a和11b、减法器12a-12c、消波电路13、放大器14a-14d，以及加法器15a和15b。

在不同曝光量下产生的两个图像信号Slong和Sshort从成像装置2中输出。通过驱动单个成像单元，成像装置2开始工作，单个成像单元具有一个由图像单元组成的二维阵列，不同光谱特征的滤色器以两倍的正常频率工作，从而在正常的单帧成像期间形成两个帧的图像。操作电子快门以减少一帧的曝光量，并通过调节信号输出时序获得不同曝光量下捕获到的两个图像信号，其中调节操作是利用一个场存储器进行时基补偿。借助于公共成像单元上所用滤色器的布局和光谱特性，用亮度信号分量上叠加色彩信号分量的格式输出这两个图像信号。这种类型的成像单元在消费级摄像机上使用。在Koji Takahshi等人发表的美国专利第5,162,914号和第5,638,118号中揭示了成像装置2的具体情况，现通过引用包括在此。

首先，图像混合电路1将成像装置2输出的曝光时间长的图像信号Slong和曝光时间短的图像信号Sshort输入到色彩分离电路3中。

色彩分离电路3使曝光时间长的图像信号Slong通过LPF 10a，以获得曝光时间长的亮度分量Ylong，并且通过带通滤波器11a以获得曝光时间长的色彩分量Clong。类似地，使曝光时间短的图像信号Sshort通过LPF 10b，以获得曝光时间短的亮度分量Yshort，并且通过带通滤波器11b以获得曝光时间短的色彩分量Cshort。

还将长曝光图像信号Slong(A)输入控制信号发生电路4，在控制信号发生电路中，LPF 10c将去除调制分量。然后，用减法器12c从LPF输出(B)中减去一个常数const，并且用消波电路13对结果(C)消波，从而获得控制信号Ycont和Ccont(D)。图2中示出了用控制信号发生电路4对长曝光图像信号Slong进行处理时该信号在图1中A、B、C和D点处的波形变化。

图2中的横坐标表示像素的位置，而纵坐标表示信号波的幅值；图像亮度在原点为零并且向右增大。此信号处理操作的结果是，当亮度信号分量超过常数const时，控制信号发生电路4产生一根据长曝光图像信号Slong的亮度信号分量等级而变化的控制信号，而当图像信号Slong饱和时产生一恒定的控制信号。

将短曝光亮度分量Yshort和长曝光亮度分量Ylong两者输入亮度信号混合电路5，在亮度信号混合电路5中，放大器14a将Yshort放大到与Ylong相同的信号电平。然后，将所得到的Yshort’施加给减法器12a。减法器12a从Ylong中减去Yshort’，然后由另一放大器1 4c根据控制信号Ycont将结果放大。接下来，加法器15a将该放大的输出与长曝光亮度分量Ylong相加，以获得混合的亮度信号分量Ymix。

注意，Ylong、Yshort’、Ycont和Ymix之间的关系可用下式表达：

            Ymix＝Yshort’×Ycont+Ylong×(1-Ycont)

因此，

            Ymix＝Ylong+(Yshort’-Ylong)×Ycont。

由于Ycont的特性，当长曝光亮度分量Ylong的等级升高时，Yshort’对Ymix的权重将增大，并且当Ylong饱和时，Ymix完全被Yshort’替代。图3示出了亮度信号混合电路5中波形Ylong、Yshort’、Ycont和Ymix之间的关系。应该注意，如图3所示，Ymix作连续变化。

色彩信号混合电路6的工作情况基本与亮度信号混合电路5的相同，不同之处在于，在色彩信号混合电路6中，色彩信号是调制分量。因此，以下将省略其描述。图4中示出了相应波形Clong、Cshort’、Ccont和Cmix之间的关系。在图4中，用虚线画出了色彩信号调制分量的包络线。

然后，信号处理器7对经处理的亮度信号Ymix和色彩信号Cmix进行信号处理操作，诸如通常在摄像机中使用的γ校正、孔径校正、白色平衡控制和矩阵处理等，从而产生亮度信号Y和色彩信号C，分别由亮度信号输出端8和色彩信号输出端9输出。

因此，可以用依照本发明的图像混合电路的第一实施例将多个图像信号分离成多个亮度信号分量和多个色彩信号分量，从多个图像信号中产生图像混合所需的控制信号，然后根据控制信号分别混合多个亮度信号分量和色彩信号分量，从而使合成图像信号中的亮度信号分量和色彩信号分量的等级连续。实施例2

以下将参照附图描述依照第二实施例的图像混合电路。

本发明第二实施例的目的是，实行图像信号混合处理，以便即使在对亮度信号进行等级校正时，色彩信号分量也能获得连续的等级特性。这可以通过以下方式实现，即在色彩分离电路中根据亮度信号分量将色彩信号分量归一化，然后在色彩信号混合电路结束混合过程后根据亮度信号对色彩信号分量加权。

图5是依照本发明第二实施例的图像混合电路的方框图。如图5所示，该图像混合电路1基本与第一实施例的相同，但是还包含归一化电路21a和21b，以及等级校正电路22。

在不同曝光量下产生的两个图像信号Slong和Sshort从成像装置2中输出。然后，图像混合电路1将成像装置2输出的长曝光图像信号Slong和短曝光图像信号Sshort输入到色彩分离电路3中。

色彩分离电路3使长曝光图像信号Slong和短曝光图像信号Sshort分别通过LPF 10a和10b，和带通滤波器11a和11b，以获得长曝光亮度分量Ylong和长曝光色彩分量Clong，以及短曝光亮度分量Yshort和短曝光色彩分量Cshort。

色彩分离电路3中的归一化电路21a和21b根据亮度信号对色彩信号进行归一化，从而获得归一化的色彩信号Clong’和Cshort’。当色彩信号与归一化过程的结果相同时，这些归一化的色彩信号具有相同的幅值。

控制信号发生电路4和亮度信号混合电路5的工作情况与上述第一实施例的相同，因此将省略其描述。

在亮度信号混合电路5如第一实施例中所述将长曝光亮度分量Ylong和短曝光亮度分量Yshort混合后，等级校正电路22对等级特性进行非线性校正，以便输出混合后的亮度信号Ymix。

在结束与上述第一实施例中所述相同的信号处理过程后，色彩信号混合电路6中的放大器14e将根据亮度信号混合电路5的输出信号Ymix调节经处理的色彩信号的增益，从而产生一经混合的色彩信号Cmix。换句话说，放大器14e起加权电路的作用，用于在结束色彩信号混合操作之后根据亮度信号Ymix对色彩信号加权。

图6示出了用来调节色彩信号增益的混合亮度信号Ymix的波形(点F)，以及当处理和输出色彩信号时其波形的变化(图5中点A-E，和点G)。注意，图6中色彩信号Cmix的包络线连续变化，其波形与亮度信号Ymix的信号电平一致。所以，亮度信号Ymix与色彩信号Cmix之间的比值保持恒定，致使色彩信号具有连续的等级特性和恒定的色调。

然后，与第一实施例中的一样，信号处理器7对混合后的亮度信号Ymix和色彩信号Cmix进行常规的摄像机信号处理操作，由此产生亮度信号Y和色彩信号C，分别由亮度信号输出端8和色彩信号输出端9输出。

因此，可以依照本发明图像混合电路的第二实施例，即使在对亮度信号进行等级校正时，也能使色彩信号分量获得连续的等级特性，色调不发生变化，其中对亮度信号的等级校正可以通过以下方式实现，即在色彩分离电路中根据亮度信号分量将色彩信号分量归一化，然后在色彩信号混合电路结束混合过程之后根据亮度信号对色彩信号分量加权。实施例3

以下将参照附图描述依照第三实施例的图像混合电路。

本发明第三实施例的目的是，实行一种图像信号混合过程，通过该过程抑制亮度信号电平的行间差异，并且色彩信号分量获得连续的等级特性。这可以通过以下方式实现，即控制信号发生电路用亮度电平最高的信号产生一色彩信号，其中亮度电平最高的信号是从某一特定目标像素附近叠加有色彩信号分量的信号中选出的。

图7是一方框图，示出了依照本发明第三实施例的图像混合电路中的控制信号发生电路4。如图7所示，该控制信号发生电路4包含延迟电路31和最大值选择器32。

除了控制信号发生电路4之外，依照第三实施例的图像混合电路各部件结构和工作情况与上述第一实施例中的相同。因此，以下将省略其描述。

长曝光图像信号Slong输入控制信号发生电路4，进而输入延迟电路31和最大值选择器32。延迟电路31将输入信号延迟一个像素。然后，最大值选择器32将延迟信号与当前输入信号比较，选出信号电平较大的信号(图7中的B)。然后，减法器12c将最大值选择器32的输出减去常数const，再由消波电路13对结果(C)进行消波处理，从而获得控制信号Ycont和Ccont(D)。图8示出了当控制信号发生电路4对长曝光图像信号Slong进行处理时，该信号波形在图7中点A、B、C和D的变化。

图8中的横坐标表示像素的位置，而纵坐标表示信号波的幅值；图像亮度在原点为零并且向右增大。此信号处理操作的结果是，当亮度信号分量超过常数const时，控制信号发生电路4产生一根据长曝光图像信号Slong的亮度信号分量等级而变化的控制信号，其中长曝光图像信号Slong含调制分量，而当含调制分量的亮度电平较高的图像信号Slong饱和时产生一恒定的控制信号。

图9示出了信号Ylong、Yshort、Yshort’和Ymix的波形，而图10示出了信号Clong、Cshort、Cshort’和Cmix的波形。

亮度信号电平会受色彩调制分量饱和的影响。根据成像单元之滤色器的布局，亮度电平会产生逐行差异。但是，依照本发明的图像混合电路可以防止亮度电平的这种行间差异，因为在色彩调制分量饱和之前已进行了图像信号混合过程。

因此，可以用依照本发明的图像混合电路的第三实施例实行一种图像信号混合过程，通过该过程可使色彩信号分量和亮度信号分量获得连续的等级特性，并且抑制亮度信号电平的行间差异。这可以通过以下方式实现，即控制信号发生电路用亮度电平最高的信号产生一色彩信号，其中亮度电平最高的信号是从某一特定目标像素附近叠加有色彩信号分量的信号中选出的。

注意，虽然把本实施例的延迟电路3 1所造成的延迟周期描述为一个像素，但是本发明并非如此受到限制。具体地说，通过设置多个延迟电路，一个延迟电路造成一行延迟，就能完全抑制亮度信号电平的行间差异，因为这样可以消除基于色彩调制分量中每行差异的控制信号电平的逐行差异。实施例4

以下将参照附图描述依照第四实施例的图像混合电路。

本发明第四实施例的目的是，实行一种图像信号混合过程，通过该过程使亮度信号分量获得连续的等级特性，并且信噪比下降较少。这可以通过以下方式实现，即通过使曝光量不同的多个信号相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。

图11是一方框图，示出了依照本发明第四实施例的图像混合电路中的亮度信号混合电路5。

除了亮度信号混合电路5之外，依照第四实施例的图像混合电路各部件结构和工作情况与上述第二实施例中的相同。因此，以下将省略其描述。

亮度信号混合电路5中的加法器15c将长曝光亮度分量Ylong和短曝光亮度分量Yshort相加，然后放大器14a调节增益，从而获得Yshort’。接下来的操作与上述第一实施例中亮度信号混合电路5的相同。

图12示出了该实施例中信号Ylong、Yshort、Yshort’和Ymix的波形。

当与第三实施例亮度信号混合电路5中的一样，通过控制增益获得高亮度图像区的信号Yshort’时，必须将短曝光亮度信号的增益调节至曝光比。在该情况下，可以通过本实施例中所做的将长曝光亮度分量Ylong和短曝光亮度分量Yshort相加，获得高亮度图像区的信号Yshort’，从而使所需的增益最小，并且因此抑制信噪比的劣化。

因此，可以用依照本发明的图像混合电路的第四实施例实行一种图像信号混合过程，通过该过程可使亮度信号分量获得连续的等级特性，并且信噪比下降较少。这可以通过以下方式实现，即通过使曝光量不同的多个信号相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。实施例5

以下将参照附图描述依照第五实施例的图像混合电路。

本发明第五实施例的目的是，实行一种图像信号混合过程，通过该过程使亮度信号分量获得连续的等级特性，并且信噪比下降较少。这可以通过以下方式实现，即通过将一偏离值与曝光量不同的多个信号相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。

图13是一方框图，示出了依照本发明第五实施例的图像混合电路中的亮度信号混合电路5。

除了亮度信号混合电路5之外，依照第五实施例的图像混合电路各部件结构和工作情况与上述第二实施例中的相同。因此，以下将省略其描述。

在该实施例中，亮度信号混合电路5中的加法器15c将一常数与输入的短曝光亮度分量Yshort相加，以获得Yshort’。接下来的操作与上述第一实施例中亮度信号混合电路5的相同。

图14示出了该实施例中信号Ylong、Yshort、Yshort和Ymix的波形。

因此，可以用依照本发明的图像混合电路的第五实施例实行一种图像信号混合过程，通过该过程使亮度信号分量获得连续的等级特性，并且信噪比下降较少。这可以通过以下方式实现，即通过将一偏离值与曝光量不同的多个信号相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。

如上所述，可以用本发明的第一实施例将多个图像信号分离成多个亮度信号分量和多个色彩信号分量，从多个图像信号中产生图像混合所需的控制信号，然后根据控制信号分别混合多个亮度信号分量和色彩信号分量，从而使合成图像信号中的亮度信号分量和色彩信号分量的等级连续。

还可以用本发明的第二实施例，即使在对亮度信号进行等级校正时，也能使色彩信号分量获得连续的等级特性。这可以通过以下方式实行，即在色彩分离电路中根据亮度信号分量将色彩信号分量归一化，然后在色彩信号混合电路结束混合过程之后根据亮度信号对色彩信号分量加权。

还可以用本发明的第三实施例实行一种图像信号混合过程，通过该过程可使色彩信号分量和亮度信号分量获得连续的等级特性，并且抑制亮度信号电平的行间差异。这可以通过以下方式实现，即用亮度电平最高的信号产生一色彩信号，其中亮度电平最高的信号是从某一特定目标像素附近叠加有色彩信号分量的信号中选出的。

还可以用本发明的第四实施例使亮度信号分量获得连续的等级特性，并且信噪比几乎没有下降。这可以通过以下方式实现，即通过使曝光量不同的多个信号简单相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。

还可以用本发明的第五实施例使亮度信号分量获得连续的等级特性，并且信噪比几乎没有下降。这可以通过以下方式实现，即通过将一偏离值与曝光量不同的多个信号相加，产生一个供亮度信号混合电路进行亮度信号混合操作使用的信号。

已经对本发明进行了描述，显然可以用许多方法进行变化。这种变化将不视为脱离了本发明的精神和范围，并且所有这些对本领域熟练技术人员为明显的变化将包含在以下权利要求的范围内。

Claims (6)

1.一种用于混合曝光量不同的多个图像信号的图像混合电路，其特征在于，它包括：

成像装置(2)，用于至少产生曝光量不同的第一和第二图像信号；

色彩分离电路(3)，用于将所述第一图像信号分离成第一亮度信号和第一色彩信号，并将所述第二图像信号分离成第二亮度信号和第二色彩信号；

控制信号发生电路(4)，用于至少从所述第一和第二图像信号中的一个信号产生混合图像所必须的控制信号；

亮度信号混合电路(5)，用于根据所述控制信号混合所述第一和第二亮度信号；

色彩信号混合电路(6)，用于根据所述控制信号混合所述第一和第二色彩信号。

2.如权利要求1所述的图像混合电路，其特征在于，所述亮度信号混合电路(5)对混合所述第一和第二亮度信号的权重进行控制，并且所述色彩信号混合电路(6)对混合所述第一和第二色彩信号的权重进行控制。

3.如权利要求1所述的图像混合电路，其特征在于，

所述成像装置(1)产生一图像信号，在该图像信号中，色彩信号作为调制分量被叠加在亮度信号上，

所述色彩分离电路(3)包含一归一化电路(21a，21b)，用于根据亮度信号使色彩信号归一化，并且

所述色彩信号混合电路(6)包含一加权电路(14e)，用于在色彩信号混合操作结束之后根据亮度信号对色彩信号加权。

4.如权利要求1所述的图像混合电路，其特征在于，

所述成像装置(1)产生一图像信号，在该图像信号中，色彩信号作为调制分量被叠加在亮度信号上，并且

所述控制信号发生电路(4)用亮度电平最高的信号产生一控制信号，其中亮度电平最高的信号是从一预定目标像素附近叠加有色彩信号分量的信号中选出的。

5.如权利要求1所述的图像混合电路，其特征在于，所述亮度信号混合电路(5)包含一加法器(15c)，用于将所述第一和第二亮度信号相加。

6.如权利要求1所述的图像混合电路，其特征在于，所述亮度信号混合电路(5)包含一偏离值加法器(15c)，用于将一偏离值与所述第一和第二亮度信号中的至少一个信号相加。

Images