CN1998229A - 可以多个纵横比进行操作的成像设备 - Google Patents

Abstract

包括新颖的成像系统的成像设备，其中2维像素阵列所具有的对角线尺寸大于图像圈的直径量度，由此能够处理具有多个纵横比的矩形图像。这些新的成像设备可以用在具有或不具有透镜系统的各种电子成像设备中。

Description

可以多个纵横比进行操作的成像设备

背景技术

本发明涉及电子成像设备和系统的设计，包括电子图像捕获和电子图像显示。具体的，本发明涉及能够捕获多个格式或者多个宽高纵横比的图像的电子传感器设备的设计。本发明还涉及显示设备的设计，即，发射或非发射、在传输模式或反射模式下工作、用于直观或用于投影系统，能够显示不同格式的或者多个宽高纵横比的图像。

本发明所涉及的电子传感器的示例为充电耦合设备(CCD)和常规CMOS图像传感器(CIS)，以及在WO/02/33755中描述的新的基于CMOS的图像传感器。本发明可以应用于的电子显示器的示例为液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)、硅上液晶(LCOS)、数字微镜片设备(DMD)等。

常规的，成像设备(传感器或显示器)的尺寸和纵横比被固定为矩形，该矩形内接在由透镜或透镜组产生的图像圈内。该矩形的纵横比确定了所获得/所显示的图像的纵横比。矩形成像系统的对角线与该图像圈的直径匹配，而与纵横比无关。

对于同一图像圈，并且由此对于相同尺寸的对角线，具有不同纵横比的矩形具有不同的水平和垂直尺寸。因此，可以将图像圈中内接的任何矩形针对一个特定的纵横比进行优化。对于具有与成像设备(传感器或显示器)的纵横比不同的纵横比的图像处理，这等同于使矩形图像传感器的对角线不同于图像圈的直径。这导致透镜所产生的完整图像圈的面积损失，而该损失通常不会在具有理想的纵横比的成像设备中产生。

因此，利用常规成像设备，对于具有要在最佳条件下处理的不同纵横比的图像，需要采用具有对应的纵横比的多个成像设备，否则结果将不是最理想的。

该问题的重要性已在美国专利6,307,683(2001年10月23日)中提到，该专利试图通过增加透镜组的复杂度来解决多格式图像获取的问题。然而，迄今为止仍没有在成像设备(传感器或显示器)本身级别上的解决方案。

发明内容

本发明的一个目的是提供一种“通用成像系统”，通过该系统成像设备能够处理具有不同纵横比的图像。

本发明的另一目的是一种图像处理方法，其通过本发明的通用成像系统来操作，该方法在随后阶段可以产生具有任意纵横比的图像，就像这些图像被针对每个单独的不同纵横比优化了一样。

本发明的又一目的是一种图像处理方法，其通过本发明的通用成像系统来操作，在该方法中，动态软件控制预定义在最佳条件下同时处理的任意纵横比的数目。该图像处理方法只需要本发明的第二目的的方法所需的数据量的子集。

本发明的另一目的是提供一种矩形“多格式成像系统”，该系统的对角线超过了图像圈的直径，并且该系统可以处理预定义纵横比范围内的图像。将按照如下方式处理具有该范围内的纵横比的任意图像，就像该成像系统已针对该特定纵横比被优化了一样。

本发明的又一目的是一种图像处理方法，其通过本发明的多格式成像系统来操作，在该方法中，动态软件控制预定义要在最佳条件下同时处理的纵横比。

附图说明

图1(现有技术)示出了内接在一圆圈内的纵横比为1∶1的矩形。

图2(现有技术)示出了内接在一圆圈内的纵横比为4∶3的矩形。

图3(现有技术)示出了内接在一圆圈内的纵横比为16∶9的矩形。

图4(现有技术)示出了内接在一圆圈内的纵横比为2∶1的矩形。

图5例示了使纵横比为16∶9的成像设备处理纵横比为4∶3的图像的方法，根据该方法，从该4∶3图像的上沿和下沿起的一些水平行处于图像圈的外部，这导致图像被裁剪。

图6例示了纵横比为16∶9的成像设备处理纵横比为4∶3的图像的方法，根据该方法，使对角线小于图像圈来使整个4∶3图像保留，这导致在该4∶3图像的左右添加了未使用的(黑)垂直列。

图7例示了纵横比为4∶3的成像设备处理纵横比为16∶9的图像的方法，根据该方法，从该16∶9图像的左沿和右沿起的一些垂直列处于图像圈的外部，这导致图像被裁剪。

图8例示了纵横比为4∶3的成像设备处理纵横比为16∶9的图像的方法，根据该方法，使对角线小于图像圈来使整个16∶9图像保留，这导致在该16∶9图像的顶部和底部添加了未使用的(黑)水平行。

图9示出了“通用成像系统”，其大于透镜或透镜组所产生的整个图像圈。

图10示出了用于4∶3和16∶9纵横比的“双格式成像系统”。

图11示出了用于4∶3、16∶9和2∶1纵横比的“三格式成像系统”。

具体实施方式

本发明示出了可利用多个纵横比操作的成像设备(传感器或显示器)的问题的全新解决方案。本文所公开的解决方案提供了一种设计成像设备(传感器或显示器)的方法，其使得能够对于多个纵横比并且对于透镜所产生的图像圈的任何尺寸，进行图像处理(获取或显示)的最佳操作。该新的解决方案无需特殊透镜。

常规成像系统的形状为内接在透镜或透镜组的图像圈内的矩形。对于所有不同的纵横比，图像圈的直径确定成像系统的对角线的尺寸，如分别针对1∶1、4∶3、16∶9和2∶1纵横比的图1、2、3和4(现有技术)所示。

下面的公式示出了如何计算内接在一圆圈内的具有不同纵横比的矩形的边的尺寸，作为该圆圈的直径的函数。该圆圈代表传感器或显示器中的透镜或透镜组产生的图像圈，而这些矩形代表像素矩阵。

1、内接在一圆圈中的具有不同纵横比的矩形的边的尺寸

在下面的公式中，“L”代表成像系统(传感器或显示器)的长度的基本单位，“D”是图像圈的直径，“H”是水平尺寸，“V”是垂直尺寸，“A”是表面面积。

如图1所示，纵横比为1∶1的矩形

$D=\sqrt{{(1\×L)}^2+{(1\×L)}^2}=\sqrt{{2L}^2}\→=D/\sqrt{2}$

$H=1\×L=D/\sqrt{2}$

$V=1\×L=D/\sqrt{2}$

$A=H\×V=(D/\sqrt{2})\×(D/\sqrt{2})=D^2/2$

如图2所示，纵横比为4∶3的矩形

$D=\sqrt{{(4\×L)}^2+{(3\×L)}^2}=\sqrt{{25L}^2}=5L\→L=D/5$

H＝4×L＝4×D/5＝08×D

V＝3×L＝3×D/5＝0.6×D

A＝H×V＝(4×D/5)×(3×D/5)＝D²×12/25＝0.48×D²

如图3所示，纵横比为16∶9的矩形

$D=\sqrt{{(16\×L)}^2+{(9\×L)}^2}=L\×\sqrt{337}\→L=D/\sqrt{337}$

$H=16\×L=16\×D/\sqrt{337}=0.8716\×D$

$V=9\×L=9\×D/\sqrt{337}=0.4903\×D$

$A=H\×V=(16\×D/\sqrt{337})\×(9\×D/\sqrt{337})=D^2\×144/337=0.382\×D^2$

如图4所示，纵横比为2∶1的矩形

$D=\sqrt{{(2\×L)}^2+{(1\×L)}^2}=L\×\sqrt{5}\→L=D/\sqrt{5}$

$H=2\×L=2\×D/\sqrt{5}=0.894\×D$

$V=1\×L=1\×D/\sqrt{5}=0.447\×D$

$A=H\×V=(2\×D/\sqrt{5})\×(1\×D/\sqrt{5})=D^2\×2/5=0.4\×D^2$

2、具有不同纵横比的图像和成像系统

通过对原始图像变形以满足目标纵横比的方法，可以将图像从一个纵横比转换到另一纵横比。这里不考虑这些方法，因为它们引入了不可接受的几何变形。

有两种方法来使具有特定纵横比的成像系统处理不同纵横比的图像。一种方法简单地裁剪原始图像的多个部分，而另一种方法引入了垂直或水平未使用的区域(“黑条”)。

在下文中，针对两种格式的成像系统并针对两种格式的图像例示了这两种方法。这些示例使用了公知的4∶3和16∶9纵横比，但是这些方法可以应用于任何纵横比。

使16∶9成像系统处理4∶3图像：

根据第一方法，使原始4∶3图像的水平尺寸与16∶9成像系统的水平尺寸匹配：H＝16×L。利用此解决方案，垂直尺寸从V(4/3)＝12×L减小到V(16/9)＝9×L，并且原始4∶3图像的顶部和底部处的一些水平行的左沿和右沿处于图像圈的外部，因此在19∶6成像系统中略去这些边沿。新的4∶3图像的对角线与更大图像圈的直径对应。相对于原始4∶3图像的表面面积和像素数目的减少由9/12＝0.75给出。因此，利用该方法，通过16∶9成像系统处理原始4∶3图像需要从原始4∶3图像中略去25％的行。这种情况在图5中示出。

根据第二方法，使两种格式的图像的垂直尺寸匹配：V＝9×L。利用此解决方案，引入了出现在原始4：3图像的侧边上的黑垂直列。实际图像(不包括新的黑垂直列)的水平尺寸从H(16/9)＝16×L减小到H(4/3)＝12×L。新的4：3图像的对角线与更小图像圈的直径对应。相对于原始4∶3图像的表面面积和像素数目(不包括新的黑垂直列)的减少由12/16＝0.75给出。因此，利用该方法，通过16∶9成像系统处理原始4∶3图像使得有用像素的数目减少了25％。这种情况在图6中示出。

使4∶3成像系统处理16∶9图像：

根据第一方法，使两种格式的图像的垂直尺寸匹配：V＝9×L。利用此解决方案，水平尺寸从H(16/9)＝16×L减小到H(4/3)＝12×L，并且在16∶9图像左右的一些垂直列的上下沿处于图像圈的外部，因此，在4∶3成像系统中略去。新的16∶9图像的对角线对应于更大图像圈的直径。相对于4∶3图像的表面面积和像素数目的减少由12/16＝0.75给出。因此，利用该方法，通过4∶3成像系统处理原始16∶9图像需要从原始16∶9图像中略去25％的列。这种情况在图7中示出。

根据第二方法，使两种格式的图像的水平尺寸匹配：H＝16×L。利用该解决方案，引入了在原始16∶9图像的顶部和底部处出现的黑水平行。实际图像(不包括新的黑垂直列)的垂直尺寸从V(4/3)＝12×L减小到V(16/9)＝9×L。新的16∶9图像的对角线对应于更小图像圈的直径。相对于16∶9图像的表面面积和像素数目(不包括新的黑水平行)的减少由9/12＝0.75给出。因此，利用该方法，通过4∶3成像系统处理原始16∶9图像使得有用像素的数目减少25％。这种情况在图8中示出。

以上陈述表明(如图5、6、7和8所示)，利用成像系统的常规设计，对于具有与成像系统的纵横比不同的纵横比的图像的处理通常产生对于所有其它纵横比的不理想结果。

根据本发明的第一方面，提供了一种新的成像系统，其完全包含由透镜或透镜组所产生的整个图像圈，由此提供“通用成像系统”。典型的，这种成像系统将是正方形形状的系统，其侧边的尺寸略微大于图像圈的直径，以提供成像系统和透镜之间的未对准容限，并且仍然确保整个图像圈被成像系统所包含。利用该设计，图像圈内接在成像系统内部，而不是常规成像系统的相反情况，并且因此，能够处理具有任何及所有纵横比的图像。这种情况在图9中示出。

然而，并不是成像系统的所有应用都需要处理任意纵横比的图像。例如，对于消费者电子设备，有两种主要的纵横比，4∶3和16∶9，可能在将来第三种纵横比：2∶1将变得更为合适。因此，根据本发明的第二方面，提供了一种“多格式”成像系统，其可以以最佳方式处理所选择范围的纵横比，这些纵横比对于所讨论的应用是合适的。

虽然“通用成像系统”在处理任意纵横比方面提供最大的灵活性，但是“多格式成像系统”相对于“单格式成像系统”具有面积损失小很多的优点，并且因此具有成本低很多的优点。

多格式成像系统的示例如下所述。图10示出了用于4∶3和16∶9纵横比的“双格式成像系统”。这种成像系统能够对于两种格式进行最佳的图像处理，并且可以被设计为相对于只针对这些纵横比之一而设计的成像系统而言，具有非常小的面积增加。

这种“双格式”成像系统为矩形，其垂直尺寸是所述两个纵横比的垂直尺寸中最大的，并且其水平尺寸是所述两个纵横比的水平尺寸中最大的。

因此，“双格式”成像系统将具有在透镜系统产生的图像圈外部的区域。如所定义的，该成像系统实际上不仅能够处理这两个纵横比，还能够处理落入从4∶3到16∶9的范围内的所有纵横比。

本公开中上文所提出的将边的尺寸表示为纵横比的函数的数据使得可以推导双格式成像系统的面积和单格式成像系统的面积之间的比。例如，包括4∶3格式和16∶9格式的双格式成像系统的面积与单格式成像系统(4∶3)的面积的比为1.09(大9％)。

“单格式”(4∶3)的面积：A＝0.48×D²

“双格式”(4∶3 & 16∶9)的面积：A＝(0.8716×D)×(0.6×D)＝0.523×D²

面积之比：R＝0.523/0.48＝1.09

图11示出了针对纵横比4∶3、16∶9和2∶1的“三格式成像系统”。这种成像系统能够对于这三种格式进行最佳图像处理，并且可以被设计为相对于仅针对这些纵横比之一而设计的成像系统而言具有非常小的面积增加。

同样，这种“三格式”成像系统是矩形，其垂直尺寸是三个纵横比的垂直尺寸中最大的，并且其水平尺寸是三个纵横比的水平尺寸中最大的。

因此，“三格式”成像系统将具有在透镜系统产生的图像圈外部的区域。

同样，如所定义的，该成像系统实际上不仅能够处理这三个纵横比，还能够处理落入从4∶3到2∶1的范围内的所有纵横比。

本公开中上文所提出的将边的尺寸表示为纵横比的函数的数据使得可以推导三格式成像系统的面积和单格式成像系统的面积之间的比。例如，包括4∶3、16∶9和2∶1格式的三格式成像系统的面积与单格式成像系统(4∶3)的面积的比为1.12(大12％)。

“单格式”(4∶3)的面积：A＝0.48×D²

“三格式”(4∶3，16∶9，2∶1)的面积：A＝(0.894×D)×(0.6×D)＝0.536×D²

面积之比：R＝0.536/0.48≌1.12

3、利用“通用”和“多格式”成像系统的图像形成

利用“通用”和“多格式”成像系统，存在多个用于图像形成的选项，当成像系统是传感器或显示器时，分别为图像获取或者图像显示。下面描述这些选项。利用这两个系统，可以在图像形成之前或之后选择图像的纵横比。

当在图像形成之前选择纵横比时，成像系统的数字控制被软件编程以用于以所选纵横比进行“窗口化(windowing)”，即，要使用的像素是所选矩形内的像素，由此，使得在图像形成过程中所处理的带宽和数据最小化。还可以对于各个新帧动态地定义不同纵横比。这可能依赖于“窗口化”，要求对于像素的随机访问，并且由此对于胶片是无法实现的。

当在图像形成之后选择纵横比时，在图像形成处理中包括来自通用成像系统的所有像素，因此，可以处理所有纵横比。可以根据成像系统的限制之外的准则进行一个或更多个纵横比的选择。

对于静止图像，关于格式的确定可以在显示或打印时进行，而对于视频，所有确定可以在编辑/产生阶段或者当显示时进行。该方法使得能够根据可用显示器的能力和/或限制来选择视频的纵横比。这是无法通过胶片实现的。

在多格式成像系统的情况下，图像形成处理中包括的来自成像系统的所有像素使得可以处理包含在具有最大纵横比(例如2∶1)的几何结构与具有最小纵横比(例如4∶3)的几何结构之间的整个范围的纵横比。

对于静止图像，关于格式的确定可以在显示或打印时进行，而对于视频，所有确定可以在编辑/产生阶段或者当显示时进行。该方法使得可以根据可用显示器的能力和/或限制来选择视频的纵横比。这是无法通过胶片实现的。

在以上公开中，成像系统的纵横比的问题通常与透镜或透镜组产生的图像圈相关。其中存在成像系统的尺寸和纵横比与由透镜产生的图像圈之间的直接关系的成像系统的示例是数字摄像机和可携式摄像机中的图像传感器，以及用于静止图像和视频的(例如，利用LCOS或DMD技术制造的)投影显示器。

直观显示器，诸如CRT、LCD、等离子、OLED等是没有透镜的矩形设备，由此图像圈只是隐含的。然而，这些直观显示器的纵横比仍然不直接依赖于图像圈，因为静止图像和/或视频流依赖于直接与图像圈相关的成像设备，这些成像设备诸如为产生这些图像或视频的摄像机。

因此，与成像系统的纵横比相关的所有问题都直接与透镜关联，也适用于直观(无透镜)成像系统，诸如常规显示技术(CRT、LCD、等离子等)。

Claims (7)

1、一种成像设备，特征在于2维像素阵列的对角线尺寸大于图像圈的直径量度，由此能够提供具有多个纵横比的矩形图像。

2、根据权利要求1所述的成像设备，用于提供具有不同纵横比的图像，其中其2维像素阵列的垂直尺寸等于具有所述不同纵横比中的最小纵横比的第一图像的垂直量度，并且水平尺寸等于具有所述纵横比中的最大纵横比的第二图像的水平量度。

3、根据权利要求1所述的成像设备，其中其2维像素阵列的两个边尺寸至少等于图像圈的直径，由此能够提供具有任何纵横比的矩形图像。

4、一种包括透镜系统和如权利要求2或权利要求3所述的成像设备在内的电子成像设备，还包括控制装置，用于选择所述不同纵横比中的所定义的一个纵横比，随后以所选纵横比处理图像信息(像素)。

5、根据权利要求4所述的电子成像设备，其中所述控制装置被设置为对于每个新帧动态地定义不同纵横比。

6、一种包括透镜系统和如权利要求2或权利要求3所述的成像设备的电子成像设备，还包括控制装置，用于提供包括所有可能纵横比的所有图像信息(所有像素)，随后根据与用于处理所述图像的其它成像设备的具体能力相关的准则来选择所述纵横比中的所定义的一个纵横比。

7、根据权利要求1所述的成像设备，用于显示具有不同纵横比的图像，其中其2维像素阵列的垂直尺寸等于具有所述不同纵横比中的最小纵横比的第一图像的垂直量度，并且其2维像素阵列的水平尺寸等于具有所述纵横比中的最大纵横比的第二图像的水平量度，由此能够显示纵横比在所述的两个最大和最小纵横比之间的图像。

Images