CN102461157B - 多视频标准中可操作的用于图像传感器的系统和方法 - Google Patents

Abstract

本发明公开了一种图像传感器系统和相应的方法，其支持多视频输出标准，例如NTSC和PAL；其包括像素阵列，该像素阵列的尺寸对应于具有较少扫描线数目的视频标准的帧尺寸。本发明提供了用于解决包括多晶体振荡器或频率合成的不同标准之间差异、以得到时钟频率的系统和方法。本发明公开了一种特定标准的像素读取方案，当按照具有较大数目扫描线的视频标准的帧尺寸输出，其提供额外的扫描线。在本发明一实施方式中，额外的线的视频数据是通过复制一图像数据线而得到的；在一可选的实施方式中，额外的线的数据是通过数字垂直插值法而得到的。

Description

多视频标准中可操作的用于图像传感器的系统和方法

相关申请的交叉引用

本申请要求2009年6月22日提交的美国临时申请No.61/219,183作为优先权，此处并入该临时专利申请作为参考。

背景技术

图像传感器是一种用于生成静止或视频图像的电子集成电路。固体状态的图像传感器可以为，例如，电荷耦合元件(CCD)类型和互补金属氧化物半导体(CMOS)类型。每种类型的图像传感器均包括二维像素阵列，其中每个像素都是将入射光光子转化成电流信号的半导体。图像传感器的应用包括手机、数码相机和摄像机、网络摄像头、汽车设备、医疗设备和安防摄像机。

用于汽车、医疗和监控的图像传感器通常为具有小体积、低电压、低能耗的传感器，其支持模拟复合视频输出，并且能直接与盒式磁带录像机(VCR)、电视(TV)或显示器连接。值得注意的是，当其转化为模拟视频通讯，世界上的不同区域采用了不同的视频/TV标准；相应地，针对特定区域的产品必须符合该区域标准。当前两个最常见的视频标准是美国国家电视标准委员会标准(NTSC)和逐行倒相标准(PAL)。NTSC使用每秒29.97帧的刷新率，每帧包含525条扫描线，其中只有480条设定为可见光栅，用于传输图像内容。其余的扫描线在垂直消隐间隙里，可用于同步化、隐藏式字幕和其它非图像信息。而PAL则使用每秒25帧的刷新率，每帧包含625条扫描线，其中的576条用于传输图像内容。在某些应用场合下，可使用NTSC和PAL的低分辨率版本，例如使用240条可见扫描线的NTSC，以及使用288条可见扫描线的PAL。线时间是分配于显示每条扫描线的时间，对于NTSC而言，其为1/(29.97*525)秒。每一线时间包括通常用于同步化的水平消隐间隙，以及分配于显示图像的每一像素的时间。第三种常见的模拟视频标准是顺序传送彩色与存储(SECAM)(翻译自法语SequentialCouleuramemoire)，其通常使用于例如法国和俄罗斯，类似于PAL，其也使用25帧(50场)的刷新率以及每帧625条扫描线。

发明内容

本发明提高了一种用于提供图像数据的系统，该系统在第一模式中根据第一视频标准具有第一数目的图像数据线，在第二模式中根据第二视频标准具有第二数目的图像数据线，其中，第二数目大于第一数目；该系统包括视频传感器，该视频传感器包括具有第三数目像素线的像素阵列。在至少一实施方式中，第一数目和第三数目相等；在另一实施方式中，第三数目是第一数目的一半。

本发明的系统还包括视频编码器和线缓冲器，其中，视频编码器用于接收数字视频信息并提供视频输出，线缓冲器可以存储来自视频传感器的、对应于至少一条像素线的信息。本发明的系统还可以包括系统控制器，其可以控制系统的操作，该控制器在第二模式中每第N个标准扫描线之后散置(intersperse，或称点缀、增加)额外的线，以增加若干条提供给视频编码器的图像数据线，使其符合第二视频标准。

在增加每个额外的线的过程中，可存储于线缓冲器中的、从视频传感器的像素线得到的数字视频信息，则按照标准线提供给视频编码器，而且从视频传感器的至少一条像素线得到的数字视频信息，是从线缓冲器接受的并提供给视频编码器。

在一特定的实施方式中，N为5，第一视频标准为NTSC，第二视频标准为PAL或SECAM。

在一特定的实施方式中，在增加每条额外的线的过程中，提供给视频编码器的数字视频信息是复制前一条线的；而在另一实施方式中，在形成额外的线的过程中，通过对存储在行缓冲器中的其前一线和后一线进行插值，而得到提供给视频编码器的数字视频信息。

本发明还提供了一种彩色系统，其与上面五段所描述系统的不同之处在于，提供给视频编码器的每条像素数据线包括从两条或多条像素阵列线中得到的色彩信息。在该实施方式中，在形成每条额外的线的过程中，提供给视频编码器的视频信息，是从存储于行缓冲器中两条或多条像素阵列线的信息中得到的。

附图说明

图1是根据本发明一实施方式之图像传感器系统的框图；

图2是根据本发明一种实施方式的、显示读出顺序的流程图；

图3根据本发明一实施方式的、进一步显示图2之读出顺序的框图。

具体实施方式

下面结合系统、工具和方法来描述和阐明后面的实施方式和其各个方面，这些实施方式是示例性的和说明性的，并非对保护范围的限制。在某些实施方式中，说明了一个或多个与上述系统和方法联系的限制，而在其它实施方式中则针对其它的改进。

尽管帧速率和可见扫描线的标准不一致，但传感器制造商还是被激励着发展能兼容30帧、60场的NTSC标准和25帧、50场的PAL/SECAM标准。这样的产品可以用于监控摄像机、小型手持固体状态的摄像机、网络摄像机、视频玩具、以及其它具有视频摄像功能的大容量、低成本设备。这类图像传感器使得制造商能以单一产品针对大的消费市场。例如，可以通过集成两个晶体振荡器来实现支持两种不同的像素和帧速率，该两个晶体振荡器独立地生成需要的时钟频率；或者，在传感器芯片中设置带有单一、普通、参考晶体振荡器的频率合成集成电路。

支持不同数目可视扫描线(也称作帧分辨率)可实施为，例如，使用带有PAL帧分辨率的图像传感器，而得到的结果图像降为NTSC帧分辨率。这种方法的主要缺点在于其成本：较大的、PAL尺寸的像素阵列通常转化成较大的传感器区域，导致比支持NTSC帧分辨率需要更加昂贵的图像传感器和产品。

根据这里公开的实施方式，使用具有对应于NTSC帧分辨率的像素阵列分辨率的单一像素阵列，而不用具有对应于PAL帧分辨率的像素阵列分辨率的单一像素阵列，来支持两种操作模式。相较于常规PAL尺寸的传感器，使用这种图像传感器能节约大约25％的面积。结合适当的处理，产生的传感器可以NTSC或者PAL模式运行，每种模式都能生成符合各自标准的模拟视频。

当图像传感器以NTSC模式运行，从图像阵列中逐行地依序读取图像数据。然后由数字图像处理器来处理图像数据，编码成NTSC视频格式并输出。当以PAL模式运行，除了上述几个步骤外，图像数据要从像素阵列的较小分辨率升频(upscale)至较大的输出分辨率。尽管不同的升频算法都是有效的，人们知道传统的依序读取像素方案在像素阵列输出的低数据速率和传感器输出的升频数据速率之间存在差异。通常需要额外的线缓冲器和复杂的锁相环(phaselockloop，PLL)来调和数据速率的不协调。然而，这两种途径都增加了成本和/或系统的复杂性。相反，此处所公开的实施方式可以使用一种非传统的像素读取方案。

图1显示了一种图像传感器系统100的示例性实施方式。像素阵列102可为二维的光敏元件(即像素)阵列，例如CCD或者CMOS感光器元件，其产生与入射光强度或者其它光辐射强度成比例的图像数据104(由箭头代表)。来自一行中所有像素的图像数据104可以同时读取，然后在列取样/保持缓冲器中存储为已存的图像数据108(由箭头代表)。行选择模块112控制像素读取的顺序。行选择模块112可以提供每五行的控制输出113(如图所示)，或者可以提供单独的计算器115来提供每五行的控制输出113，以如下文详述供数字图像处理器使用。值得注意的是，可使用其它方法和架构以从像素阵列102中读取像素数据。已存的图像数据108可以随后依序传送给模数转换器(ADC)110，已存的图像数据108在模数转换器(ADC)110中翻译进数字领域，成为数字图像数据114(由箭头代表)。

继续参考图1，在ADC110之后，数字图像数据114传给包含有内部线缓冲器118的数字图像处理器116。数字图像处理器116缓冲一行或多行(在某些实施方式中至少两行)内部线缓冲器118内的数字图像数据114，内部线缓冲器118内的数字图像数据存储于图像数据内。然而，要保持所有的场或帧，线缓冲器118还是太小，在通常的实施方式中，具有保持八行、或少于八行、或少于九行的像素数据或数字图像数据的容量。因此，线缓冲器118仅仅是线缓冲器，而不是场缓冲器或者帧缓冲器。数字图像处理器116可以对数字图像数据114运行各种图像处理算法，以实现分析、色彩处理、图像质量增强或者其它专用任务，从而产生经处理的数字图像数据120。在许多其它的实施方式中，通过在像素阵列上以已知图案设置色彩过滤单元阵列，实现彩色成像；普通的三色过滤单元图案(pattern)拼贴四个像素组成的阵列，其中两个像素共享一种过滤色彩例如绿色，其余的两个像素每个都具有分别的过滤色彩例如红色和蓝色。在这种类型的具有色彩传感器的实施方式中，通过数字图像处理器116来实现得到色度的数字处理，该数字图像处理器116基于来自当前行和至少前一行或后一行存储于内部线缓冲器118的数字图像数据114的像素数据进行处理。在这种类型的具有色彩传感器的实施方式中，通过使用当前行的色度信息和像素数据，实现得到强度信息的数字处理。色度信息和强度信息均作为数字图像数据提供给编码器122。

继续参考图1，来自数字图像处理器116的已处理的数字图像数据120输出至视频编码器122。视频编码器122将已处理的数字图像数据120转化成符合图像处理系统100运行时的视频标准格式的标准兼容数字数据124(由箭头代表)。由于视频编码器122从数字图像处理器116接收的已处理的数字图像数据120构成“画面内容”或者“可见光栅”(以视频标准的环境)，视频编码器122接收到的像素行的数目应该匹配或者超过图像传感器系统100正在运行时的视频标准所指定的可见光栅的扫描线数目。一旦视频编码器122将已处理的数字图像数据120格式化为标准兼容数字数据124，数据由数模转换器(DAC)126转换回模拟领域，该数模转换器(DAC)126将标准兼容数字数据124转换成标准兼容模拟数据，该标准兼容模拟数据发送至图像传感器系统100的输出端。系统100在控制器130的控制下运行，控制器130提供用于运行系统的控制信号，为了显示清楚，图1中未显示这些控制信号。系统100的基准时间，包括视频编码器122，由时钟频率参考(dot-clockreference)132提供，在一种实施方式中该时钟频率参考包括一对或者更多晶体振荡器，其中的一个晶体振荡器对于每种支持的视频标准以适当的频率运行。通常，时钟频率参考132提供一个信号，该信号的频率等于提供给DAC126的标准兼容的像素的数字数据124的速率，时钟频率参考132也产生其它系统时钟信号。在一种可选的实施方式中，时钟频率参考132包含锁相环和分频器，以及参考振荡器；在本实施方式中，分频器重新编程以将锁相环锁至适用于每个支持的视频标准。

在一种实施方式中，像素阵列102可以具有480行，图像传感器可以安装为由控制器130控制，以实现用PAL/SECAM和NTSC两种不同的方式运行。

结合图1参考图2，其描述了根据一种实施方式的典型像素阵列读取序列200。像素阵列读取序列200以判断210开始，在判断210中确定图像传感器系统100的运行模式。如果判断210的答复为“是”，图像传感器系统100以NTSC模式运行，图像阵列读取序列200执行步骤220。在步骤220中，为了提供符合NTSC标准的图像数据，行选择模块112依序从第1行到第480行读取像素阵列的行；或者在一种可选的、相对较便宜的具有320×240的像素阵列的实施方式中，从第1行到第240行；这种读取在60场的基础上完成的。

从像素阵列102中读取数据后，来自像素阵列的每行数据都存储于第一读入(firstin)、第一读出(firstout)的线或行缓冲器118中，其通常具有存储至少两条线的数据的容量。当数据被从像素阵列102中读出至线缓冲器118时，从线缓冲器118读取前一行的数据和前一行之相邻行的数据，以用于色彩处理和其它的数字图像处理(现有技术)，以提供修正的红色、蓝色、绿色的已处理的图像数据120至视频编码器122。因此，经处理并提供给视频编码器的每一标准扫描线都从像素阵列的两个连续像素行得到，该像素阵列具有置于其上的色彩过滤器。

在一些单色的实施方式中，来自前面行的数据不需要解析色彩，这样可以消除用于存储前一行之相邻行的数据的缓冲器存储空间。

由于像素阵列从线缓冲器118中读取，对应于偶数行的图像数据以偶数场提供给视频编码器122，对应于奇数行的图像数据以奇数场提供给视频编码器122，以提供NTSC视频领域技术人员所熟知的错行扫描(interlacing)。

值得注意的是，在NTSC模式中，第五行之控制信号113被忽略或被废止。

继续参考图2，如果判断210的答复为“否”，图像传感器系统100以PAL模式或者SECAM模式运行，行选择模块112使用与NTCS模式不同的读取序列。在这种情况下，像素阵列读取序列220执行步骤230，依序读取五行像素。第五行控制信号113随后激活，并保留一条线的时间空白以插入额外的扫描线。在步骤240中，像素阵列读取序列220随后暂停一条线的时间，其通常使用该时间读取一行。行数据保持于线缓冲器118中，并通过从线缓冲器118第二次读取存储的数据245，得到一条线时间的额外线的视频编码器122的图像数据，步骤245中，这五行像素的最后一行从线缓冲器118中有效读取两次。然后，做出判断250，判断是否已到达帧的最后一行(即第480行)。如果判断250的答复为“是”，像素阵列读取系列200执行步骤260，结束帧的读取，并向视频编码器提供纵向的消隐间隔(如PAL、NTSC和SECAM标准所知)。如果判断250的答复是“否”，像素阵列读取系列200回到步骤230，直到步骤250确定帧的最后一行已经读取。

在一可选的实施方式中，列采样/保持缓冲器116能存储及重新读取一行像素，可以从列采样/保持缓冲器116而非线缓冲器118中重新读取以提供图像数据120中的复制像素数据行。在这种类型的一实施方式中，为了对具有四像素色彩过滤器图案的传感器提供修正色彩处理，直到对来自列采样/保持缓冲器116的行进行第二次读取，线缓冲器118里的前一行数据才升级。

结合图1参考图3，其进一步描述了一实施方式中两种不同模式的读取序列的比较300。如比较300中所示，NTSC读取序列310比PAL读取序列320短。NTSC读取序列310是简单地依序读取所有的行。相较之下，PAL读取序列320的方式为，每个第五行都读取两次，例如，第二次读取的扫描线322为扫描线324，其结果是，读取了总数为480/5*6＝576条扫描线，恰好匹配PAL的可见光栅的尺寸。

在一实施方式中，当图像传感器系统100以PAL或者SECAM模式运行，除了传统的图像处理路径，数字图像处理器116也可以对图像数据使用纵向插值算法，以提供改进的额外扫描线数据，以减少或完全消除视觉痕迹，否则，视觉痕迹可显示为在读取台阶(即，每个第五条扫描线读取两次)的行重复。对于本操作而言，尽管存储于线缓冲器118内的图像数据总是足够的，值得注意的是，可以提供线缓冲器118内记忆的额外像素行，以增强插入所需要的额外图像处理。在纵向插值算法覆盖存储于线缓冲器118内的复制行的原始数据的应用中，数字图像处理器116将依次以插值的数据填充对应的线。

在实现插值的一实施方式中，在第五个扫描线例如扫描线322的像素，和跟随于第五条扫描线例如扫描线326的像素之间，进行线性插值，产生用于显示的扫描线324，来替代简单地复制第五条扫描线。在其它的实施方式中，使用其它的插值算法，例如二次拟合。

在一可选的实施方式中，像素阵列102的帧分辨率为240行，对应于NTSC标准一个非交错的版本，图像传感器系统100的运行与前面实施例的描述相似。通过复制读取台阶的每个第五行像素，本实施例的传感器的像素总行数为240/5*6＝288，匹配对应的PAL非交错版本的尺寸。

这里的概念可以扩展为实现支持两种或多种带有不同可见扫描线数目的其它视频标准的图像传感器。在一实施方式中，像素阵列102的行的数目可设置为，等于带有最小可见扫描线数目的视频标准的可见扫描线数目N。当图像传感器系统100运行于带有不同可见扫描线数目M的标准中(M≠N)，行选择模块112将在每个第(N/(M-M))行重复此项功能。可选地，可使用导致读取M行像素的另一个读取序列。

水平分辨率为一行内的像素数目，也可以从一种标准变化至另一种标准。在一些实施方式中，可以使用具有水平分辨率的像素阵列102来适应这种不同，该水平分辨率匹配带有最大水平分辨率的支持标准；并且当运行于其它标准中时，使用数字图像处理器116来水平地向下采样每行。在另一种实施方式中，可以选取像素阵列102以匹配带有最小水平分辨率的标准，并且当运行于其它标准中时，数字图像处理器116可以水平升频每行像素。在另一种实施方式中，数字图像处理器116不改变(即，升频或向下采样)行的水平分辨率以匹配标准规格。在这种实施方式中，可以认识到，由于符合标准的模拟数据128是模拟的，接收端设备的符合标准的模拟数据128(例如电视、盒式磁带录像机、或者显示器)通常不重新采样地显示或者记录模拟数据。接收模拟数据的数字设备，例如视频捕捉卡，通常自动过采样或者欠采样行数据，从而将符合标准的模拟数据128有效升频或者降频至接收设备运行的视频标准所设定的分辨率。

虽然本发明的实施例描述了支持特定视频标准(名义上，PAL和NTSC)的图像传感器和特定的帧尺寸，本领域的技术人员应该注意的是，这里描述和要求的处理可用于支持其它标准的图像传感器，例如SECAM和其它帧尺寸，例如QCIF、CIF、CGA、QVGA、VGA、SXGA、WXGA、UXGA、WUXGA、720p、1080p或者任何其它标准或非标准的帧尺寸。

上面描述的变化，以及其它变化，可以在不脱离本发明范围的前提下，在这里描述的图像传感器系统中制造。应该注意的是，上面描述或者附图中显示的内容，应该解释为说明性的，而非限制性的意义。后面的权利要求是为了覆盖这里描述的所有一般特征和特定特征，以及本方法和系统的范围的陈述。

Claims (5)

1.一种提供图像数据的系统，其在第一模式中根据第一视频标准具有第一数目的图像数据线，在第二模式中根据第二视频标准具有第二数目的图像数据线，所述第二数目大于所述第一数目，对于整数N，该系统包括：

视频传感器，其包括具有第三数目像素线的像素阵列；

视频编码器，其接收数字视频信息并提供视频输出；

列采样/保持缓冲器，其存储及重新读取一行像素；

线缓冲器，其存储来自所述视频传感器的、对应于至少两条像素线的信息；以及

控制器，其可以控制该系统的操作，所述控制器在第二模式中每第N个标准线之后增加额外的线，以增加若干条提供给所述视频编码器的图像数据线，使其符合第二视频标准；所述额外的线是从所述列采样/保持缓冲器中重新读取得到的；

其中，水平分辨率是不变的；

其中，色度信息是从储存于所述线缓冲器中的、前一线和后一线的像素数据得到的；

其中，直到对来自所述列采样/保持缓冲器的行进行重新读取后，所述的线缓冲器的前一行数据才进行升级。

2.如权利要求1所述的系统，其中，所述的第三数目等于所述的第一数目。

3.如权利要求2所述的系统，其中，所述的第三数目等于所述第一数目的一半。

4.如权利要求1所述的系统，其中，N为5，所述第一视频标准为NTSC，所述第二视频标准为PAL或SECAM。

5.一种提供彩色图像数据的系统，其在第一模式中根据第一视频标准具有第一数目的图像数据线，在第二模式中根据第二视频标准具有第二数目的图像数据线，所述第二数目大于所述第一数目，该系统包括：

视频传感器，其包括具有第三数目像素线的像素阵列；

视频编码器，其接收彩色数字视频信息并提供视频输出；

列采样/保持缓冲器，其存储及重新读取一行像素；

线缓冲器，其能够存储来自所述视频传感器的、对应于第一像素线和第二像素线的信息；以及

控制器，其能够控制该系统的操作，所述控制器在第二模式中每第N个标准线之后增加额外的线，以增加若干条提供给所述视频编码器的图像数据线，使其符合第二视频标准；所述额外的线是从所述列采样/保持缓冲器中重新读取得到的；

其中，水平分辨率是不变的；

其中，具有从第一像素线得到的强度信息和从第一和第二像素线得到的色度信息的数字视频信息，是按标准线而提供给所述视频编码器；在增加每个额外的线过程中，从第一和第二像素线得到的数字视频信息，是从所述线缓冲器接受的并提供给所述视频编码器；以及

其中，直到对来自所述列采样/保持缓冲器的行进行重新读取后，所述的线缓冲器的前一行数据才进行升级。