CN1111866A

CN1111866A - 图象传感装置

Info

Publication number: CN1111866A
Application number: CN94119210A
Authority: CN
Inventors: 稗田辉夫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-12-24
Filing date: 1994-12-23
Publication date: 1995-11-15
Anticipated expiration: 2014-12-23
Also published as: DE69426810D1; JPH07184097A; EP0660617B1; JP3242515B2; KR0153509B1; CN1086534C; KR950022799A; EP0660617A3; US5712680A; DE69426810T2; US6204878B1; EP0660617A2

Abstract

为了在图象传感装置中以满意的方式得到静止和运动图象，除了用于产生运动图象的电路以外，装有帧递归滤波器18、19、20和接口电路21，用于产生静止图象。对由CCD得到的信号产生的宽带彩色信号R、G、B在帧递归滤波器18、19、20进行滤波处理，并且将作为滤波处理结果的、保留在滤波器18、 19、20中的图象在由接口电路21提供的控制作用下作为静止图象输出。因此，静止和运动图象可以分别按照所需特性产生，没有彩色模糊或颜色畸变。

Description

本发明涉及一种图象传感装置，更具体地说涉及一种适用于获得运动图象和静止图象的装置。

已经提出各种视频摄象机，用于通过由图象传感器件传出的信号进行处理得到视频信号。在各种装置中，利用一个图象传感元件提供彩色图象信号的单元件系统式的彩色视频摄象机得到广泛的应用，特别是由于它具有诸如紧凑和价廉等优点为销费者青睐。

上述单元件系统式的彩色视频摄象机设有在图象传感元件上的精确彩色滤色器，用于彩色分离后的目标图象进行光电转换，并且通过例如为同步检测的适当的信号处理，对来自经光电转换的信号的彩色信号进行分离而得到视频信号。

另一方面，已经提出通常称为静止视频摄象机的各种装置，用于利用一个类似的图象传感元件得到一个彩色静止图象，并且这些静止视频摄象机采用几种系统。

例如已知一种将一帧图象以连续方式在存储器中进行存储的系统，在与上述单元件彩色摄象机相似的方式产生的各图象之中为了作为一个静止图象输出，以连续的方式将因此存储的图象读出以便再现。

另外还已知另一种系统，其将数字化后的所取图象存储在存储器中，并且利用一个CPU，例如外部连接的个人计算机，读取已存储的图象，用于利用CPU通过预定的处理转换为数字的静止图象。

图1表示上面谈到的一个常规视频摄象机结构的一个实例。

在这种视频摄象机中，经过未予表示的拍摄取景光学系统导入到图象传感元件（CCD）51的未予表示的目标图象要利用CCD51的光传感器表面进行光电转换。

通过在各个象素中的光电转换得到的信号电荷在沿竖直方向相邻的两象素中连续叠加，用于隔行扫描（interlacing），并且响应于由定时信号发生电路55产生的CCD驱动脉冲PDR提供到采样保持电路52。

在采样保持电路52中，由CCD51提供的各个象素的信号电荷响应于由计时信号发生电路55所产生的采样脉冲PSH而变成连续的信号，并将这些连续的图象信号提供到信号处理电路53，以便经预定处理产生视频信号。

因此而产生的视频信号按每帧被提取和存储在存储器54中，存储在存储器54中的一帧这种视频信号在作为一个静止图象而再现的实施过程中被取出。

在另一种静止图象系统中，按照与上述系统相同的方式产生的视频信号利用设在信号处理电路53中的A/D转换器进行数字化，然后存储在存储器54中。

因此而存储在存储器54中的视频信号例如利用外部连接的未予表示的个人计算机读取，并利用其中的CPU进行预定的处理，因此，所述视频信号转换成数字静止图象。

然而，在上述常规的实例中，经过预定处理而得到的视频信号作为运动图象处理并且每帧所述信号置入一个存储器并被当作该静止图象。由于这个原因，对于运动图象和静止图象分别需要考虑的不同特征没有充分地满足。

例如，在产生运动图象时，要进行伽马校正，用于补偿用作电视接收的阴极射线管的特性，但是对计算机显示器或打印再现，产生一个静止图象时，并不进行这种伽马补偿。此外，在运动图象的情况下彩色信号的带宽大约为0.5兆赫，而对静止图象最好更宽一些。

由于这些要求未能满足，上述常规实例导至在所得到的图象中产生颜色模糊或者使色调再现变差。此外，该装置不可避免地变得很复杂且昂贵，因为经校正的图象信号不得不再次被校正。况且，图象信号的校正可能导致生成虚假的轮廓以及彩色再现性或信噪比（S/N）变差。

考虑到上述因素，本发明的目的是能够产生静止图象和运动图象，两者都令人满意。

根据本发明的一个实施例能够实现上述目的，一个图象传感装置，用于根据由图象传感元件输出的信号产生图象，其包含：运动图象发生装置，用于根据对其所要求的特性产生运动图象。以及静止图象发生装置，用于根据对所要求的特性产生静止图象，它们都是根据由图象传感元件输出的信号产生图象。

根据本发明，提供一种装有图象传感元件的图象传感装置，该传感元件以场周期连续地输出所有象素的信号，该装置适合于根据由所述图象传感元件输出的信号产生运动图象，还包括：静止图象发生装置，该发生装置包括利用来自图象传感元件的信号，用于使多行信号同步和隔行扫描的符合/隔行扫描装置;帧递归滤波器，其用于对由符合/隔行扫描装置输出的信号产生的宽带宽的彩色信号进行滤波处理;以及控制装置，用于响应于外部设备给出的指令，读取保留在帧递归滤波器中的图象信号。

由上述技术装置构成的本发明的实施例可以产生静止图象和运动图象。因此，例如对于彩色信号利用宽的带宽产生静止图象，使得能够在静止和运动图象中防止瑕疵，例如颜色模糊，颜色畸变或彩色再现性变差。

通过结合附图对优选实施例的详细介绍，本发明的其它目的，特点将会变得更易明白。

图1是常规的视频摄象机的结构方块图;以及

图2和图3是本发明实施例的图象传感装置的部分结构的方块图。

下面将通过对在各附图中表示的实施例详细地阐明本发明。

图2和图3是本发明实施例的图象传感装置结构的方块图。

一个CCD1用作彩色图象传感元件，在其图象传感器表面装有精细彩色滤色器。CCD1是这样一种型式元件，在其中通过图象拍摄操作以各个象素形式得到的信号电荷没有在元件内部叠加而相继释放。

图象传感元件并不局限于CCD，而是还可以由XY可寻址器件或摄象管构成。

定时信号发生电路2产生CCD1所需要的定时信号，下面将解释采样保持电路3、A/D转换器4和符合存储器5。采样保持电路3用作响应于由定时信号发生电路2提供的采样脉冲PSH，将来自CCD1的各象素的信号S1转换成连续的形式。

A/D转换器4用于响应由定时信号发生电路2提供的时钟脉冲CLK1，将输入的模拟信号S2数字化。符合存储器5用于累积由A/D转换器4提供的图象信号S3并用于按照每次3行同时读取累积的图象信号。

彩色分离/内插电路6将分别对应于CCD1的彩色滤色器的，由从存储器5经过适当处理例如同步检测而进入的图象信号S4分离出各彩色信号，并且同时利用从下面将解释的二维滤色器7输入的亮度信号Y对所述已分离的彩色信号进行内插，因此产生宽带的彩色信号。

二维滤色器7对来自存储器5的图象信号S4进行二维滤色，借此以二维方式除去彩色信号成分并得到上述亮度信号Y。矩阵电路8由分别对应于CCD1的彩色滤色器的、由彩色分离/内插电路6提供的彩色信号S5产生基本的彩色信号R、G、B。

乘法器9、10用于将保持在寄存器11、12中的预定系数KR、KB分别与由所述矩阵电路8提供的信号R、B相乘。矩阵13由所述基本彩色信号R、G、B产生亮度信号Yc和彩色色差信号R-Y、B-Y。

限幅器14设计用于在来自二维滤色器7的亮度信号Y超过预定电平的情况下降低输出。乘法器15、16用于分别将来自所述矩阵电路13的彩色色差信号R-Y、B-Y与来自所述限幅器14的抑制信号S6相乘。矩阵电路17由从所述矩阵电路13提供的亮度信号Yc和由乘法器15、16提供的彩色色差信号R-Y、B-Y再次产生基本彩色信号R、G、B。

帧递归滤波器18、19、20分别将由矩阵电路17提供的基本彩色信号R、G、B和存储在各自内部存储器中的前面最接近的基本彩色信号R、G、B，按照预的比率进行混合，并将因此而混合的信号存储在内部存储器中。因此，这些帧递归滤波器沿时间轴构成低通滤波器。

接口电路21响应于由外部设备例如一台计算机给出的指令控制上述帧递归滤波器18、19、20和下面要介绍的选择开关22的功能。选择开关22响应于由接口电路21来的选择信号选择性地输出由帧递归滤波器18、19、20提供的基本彩色信号R、G、B。

象素尺寸转换电路23利用沿水平方向的内插处理将与CCD1的象素数目对应的象素尺寸转换为与外部设备例如一台计算机的象素数相对应的象素尺寸。外部连续端24用于将本实施例的图象传感装置和外部设备例如一台计算机相连接，并用于从图象传感装置将图象数据输出到外部设备或接收来自外部设备的控制指令。

查找表（LUT）25响应于由二维滤色器7提供的亮度信号Y输出预先存储的预定数据S7。乘法器26、27用于将上述乘法器15、16提供的彩色色差信号R-Y、B-Y与由查找表25提供的预定数据S7相乘。

此外还提供其彩色信号带宽为大约0.5兆赫的低通滤波器（LPF）28、29;一个调制器（MOD）30，用于利用彩色副载波SC，与色同步标记（burst flag）信号一起对彩色信号进行调制;一个彩色信号输出端31，用于将色饱和度信号（C信号）例如输出到外部电视监视器上;以及孔径（aperture）校正电路（APC）32，用于根据由二维滤色器7提供的亮度信号进行边缘增强。

此外，还提供伽马校正电路33，用于对由孔径校正电路32提供的亮度信号进行伽马校正;一个SYNC加法电路34，用于将同步领事SYNC加到由伽马校正电路33提供的亮度信号上;以及一个亮度信号输出端35，用于与由上述彩色信号输出端31输出色饱和度信号的同时，将利用SYNC加法电路34叠加同步信号SYNC以后的亮度信号输出到例如外部电视监视器。

下面将解释具有上述结构的图象传感装置的功能。

首先经过未予表示的取景拍摄光学系统将未予表示的目标图象导引到CCD1上，利用装在CCD1光传感表面上的精确彩色滤色器对该图象进行彩色分离并在该光传感表面进行光电转换。利用所述光电转换得到各个象素的信号电荷的读取响应于由定时信号发生电路2所产生的CCD驱动脉冲PDR并将其提供到采样保持电路3。

在一般的图象传感元件中，这种信号电荷读出的实施是在沿竖直方向相邻的两上象素的信号电荷叠加之后，以便得到与隔行扫描相对应的输出。与之相反，在本发明的实施例中的图象传感元件中，所有象素的信号电荷连续地读取，没有进行这样的信号电荷的叠加。

接着，为了在一竖直周期（IV）之内将所有的象素的信号电荷读取，对由CCD1输出的信号的采样频率选择为在一般驱动方法中的采样频率的两倍，以便在0.5（H）的周期内读取一行的信号电荷。

采用这种方式能够改进由CCD1输出的信号沿竖直方向的清晰度。此外，彩色信号的叠加后来防止了彩色S/N比的变差，这种变差是由于信号调制中彩色强度下降或在沿竖直方向亮度变化的情况下竖直的伪彩色信号的形成造成的。

本发明的CCD1可以不由按上述方式输出信号电荷的图象传感元件构成，而是由一种经过两个输出端可以同时读取两行水平信号电荷的图象传感元件构成。

按照上述方式从CCD1读取的各个象素的信号电荷S1利用采样保持电路3响应于由定时信号发生电路2产生的采样脉冲PSH使之变为连续的形式。然后，因此而得到的连续模拟图象信号S2利用A/D转换器4，响应于由定时信号发生电路2产生的时钟脉冲CLK1转换为数字图象信号S3。

图象信号S3提供到符合存储器5，以同时进行的方式从该存储器5读取3行信号。在这个操作中，响应于由定时信号发生电路2提供的时钟信号CLK1、CLK2，同时读取的信号具有每两个场周期中沿竖直方向的0.5行的象差，借此由存储器5可以得到隔行扫描的图象信号S4，在其中三行信号是同步的。

上面的介绍是假设使三行信号同步，但是，这种同步作用可以对较大数量的行（例5或7行）进行。

来自存储器5的图象信号S4首先提供到两维滤色器7，该滤色器利用三行的图象信号S4进行二维滤色处理，因此限制了由装在CCD1上的彩色滤色器所产生的沿水平和竖直方向的彩色载波成分并产生亮度信号Y。

另一方面，来自存储器5的三行图象信号S4还提供到彩色分离/内插电路6，该电路通过例如为同步检测之类的处理方法分离出与在CCD1上装的彩色滤色器相对应的彩色信号。同时，利用由二维滤色器7提供的亮度信号Y在高频分量中将经分离的彩色信号进行内插，借此产生宽带的彩色信号。

因此使之可能明显地扩大静止图象的彩色信号的带宽并且对沿水平方向和竖直方向的彩色信号得到相同的群延迟量。因此，这种宽带彩色信号能提供具有降低的彩色模糊和颜色畸变的静止图象。

然后由彩色分离/内插电路6输出的彩色信号S5在矩阵电路8被转换为基本彩色信号R、G、B。在这些基本的彩色信号中，R信号利用由乘法器9和寄存器11组成的可变增益电路进行增益调节，并且B信号利用由乘法器10和寄存器12组成的可变增益电路也进行增益调节。

例如利用未予表示的外部调节器对分别存储在寄存器11、12中的系数KR、KB进行调节，采用这样一种方式即对一白色目标拍摄时，来自乘法器9的R信号电平、来自矩阵电路8的G信号电平和来自乘法器10的B信号电平变为1∶1∶1。因此使得能够对例如由对目标的照明光线的色温所形成的白色平衡中的象差进行校正，不会使彩色再现性变差。

在经过上述增益控制的基本彩色信号R、G、B在矩阵电路13中被转换为亮度信号Yc和彩色色差信号R-Y、B-Y。在构成彩色成分的比率下，亮认信号Yc不同于由二维滤色器7所产生的亮度信号Y。

更确切地说，构成由二维滤色器7所产生的亮度信号Y的彩色成分的比率是由装在CCD1的图象传感表面上的精确彩色滤色器的平均透过率所决定的。与R和B信号成分相比较，平均透过率通常具有较大部分的G信号，但是，它们的比率与在NTSC（美国国家电视系统委员会）标准规定的比率03∶0.59∶0.11有偏差。此外，由于对目标的照明光源的彩色成分比率的影响，亮度信号Y的彩色成分比率是变化的。

另一方面，由矩阵电路13所产生的亮度信号Yc的彩色成分比率是利用所述矩阵的系数确定的，并且这些系数是这样确定的，即亮度信号Yc的彩色成分比率严格地与上述NTSC标准规定的比率相符合。

本发明实施例在静止图象发生过程中采用与在NTSC标准中规定的比率相一致的彩色成分比率的亮度信号时，能够使由于亮度信号的彩色成分比率的偏差所形成的彩色再现性的变差现象得以避免。

由矩阵电路13产生的彩色色差信号R-Y、B-Y分别提供到乘法器15、16的输入端，它们的另一些输入端接收来自限幅器14的输出的抑制信号S6。

限幅器14是这样设定的，以便在由二维滤色器7提供的亮度信号Y超过预定亮度电平的情况下降低它的输出。因此其功能是抑制在高亮度区域中的彩色信号的限幅器14输出抑制信号S6，并且在乘法器15、16中利用所述抑制信号S6乘以彩色色差信号R-Y、B-Y，以便得到所述彩色信号的增益控制。

彩色色差信号R-Y、B-Y的上述增益控制是根据如下的原因。

在由A/D转换器4输出的图象信号S3中，由于CCD1或A/D转换器4的饱和特性的影响，在高亮度的目标区域内，其中一种彩色信号可以变得饱和。在这种情况下，仅在这样的高亮度区域，由于产生所谓的假色而使彩色再现性变差。

因此，在限幅器14中产生与假色对应的抑制信号S6，并且假色信号的产生通过在乘法器15、16中将彩色色差信号R-Y、B-Y和抑制信号S6相乘而得到抑制。

对彩色色差信号R-Y、B-Y的上述增益控制降低了由于校正所产生的色调的变化，并且还当所述假色信号非常强地被抑制时提供的优点是产生完全的白色，没有任何彩色成分遗留。还可以通过使限幅器14的特性是可变的，根据目标景象或使用目的改变各种特性。

接着，按照上述方式产生的亮度信号Yc和彩色色差信号R-Y、B-Y被提供到用于再转换到基本彩色信号R、G、B的矩阵电路17，各信号分别提供到帧递归滤波器18、19、20上。

在帧递归滤波器18、19、20中，当由接口电路21提供的保持信号HOLD处在低电平状态时，按照预定的混合比率重复进行将输入的基本彩色信号R、G、B和存储在各个内部存储器中的先前最接近的基本彩色信号R、G、B的混合并将混合的信号存在内部存储器中。按照这种方式形成了沿时间轴方向的低通滤波器并且可以抑制随机噪声。

另一方面，当由于连接到外部连接端24的外部设备的指令作用，使接口电路21的保持信号HOLD移到高电平状态时，上述操作中止并且保持先前最接近的基本彩色信号R、G、B。在这种情况下，假如帧递归滤波器18、19、20处在帧操作模式下，可以得到一帧清晰度的信号。

在将输入图象信号和在内部存储器中的图象信号进行上述混合的过程中，为了降低运动图象的图象模糊度，可以采用适当的处理，通过检测两个图象信号的色差并且在该差大时，增加输入图象信号的混合部分。此外，混合比率可以根据需要做到从外部可调。

接着，当通过接口电路21响应于来自上述外部设备的指令设定地址信号时，帧递归滤波器18、19、20输出对应于地址信号的，作为图象数据的存储数据。在这些输出的图象数据中，通过选择开关22选择的彩色数据提供到象素尺寸转换电路23。

按照上述方式利用选择开关22选择的数据具有的象素尺寸对应于CCD1的象素数。象素尺寸转换电路23沿水平方向进行内插，借此将输入数据的象素尺寸转换为与连接到外部连接端24的外部设备的相匹配的象素尺寸。

例如，假如CCD1沿水平方向具有768个象素，每个象素沿竖直方向多少呈扁长状。另一方面，外部设备例如计算机通常有方形象素，使得象素尺寸必须调节为方形。通过沿水平方向将各象素跳取为640象素，使各象素变为方形，但是简单的跳取将导致变形。

这种缺点多少可减轻是通过将CCD1的水平各象素划分为128个含6个象素的小方块，128是768和640的最大公约数，并且为了从每个小方块中的6个象素抽出构成5个象素，通过线性内插降低象素数到640。此外，通过二级或高次级内插可以得到具有更小变形的经内插的图象。

在象素尺寸转换电路23中通过水平内插进行象素尺寸转换的数据;作为静止图象经过端子24提供到例如为计算机的外部设备上。

在这种用于外部设备的静止图象的形成过程中，如上所述，接口电路21产生：保持信号和用于控制帧递归滤波器18、19、20的地址信号，以及选择信号，其用于响应于来自外部设备的指令选择开关22。这些信号用于控制帧递归滤波器18、19、20和所述的选择开关22，借此向外部设备提供必要的数据。

另一方面，由乘法器15、16得到彩色色差信号R-Y、B-Y还分别提供到乘法器26、27的输入端，它们的其它输入端接收由查找表25输出的预定数据S7。

来自查找表25的所述信号S7是根据从二维滤色器7提供的亮度信号Y的强度由预先存储在其中的数据得到的。信号S7与彩色色差信号R-Y、B-Y在乘法器26、27中相乘以便控制它们的幅度。

查找表25是这样构成的，即当输入亮度信号Y的强度下降或升高时，存储在其中的数据分别变大或变小。因此，将这一信号S7与彩色色差信号R-Y、B-Y相乘，实现了对该号的伽马校正。

由乘法器26、27得到的彩色色差信号R-Y、B-Y分别在LPF28、29中将带宽限制到大约0.5兆赫其为运动图象的彩色信号的带宽。然后，将因此而限制带宽的彩色色差信号与色同步标识信号BF一起在调制器30中利用彩色副载波SC进行调制，以便得到色饱和度信号，该信号作为运动图象的彩色信号通过彩色信号输出端31提供到外部设备上。

来自二维滤色器7的亮度信号S7还提供到用于增强沿水平和竖直方向的高频信号的孔径校正电路32，然后在伽马校正电路33进行伽马校正和在SYNC加法电路34中叠加SYNC同步信号。因此得到的亮度信号作为运动图象的亮度信号，与由彩色信号输出端31输出的色饱和度信号同时提供到外部设备上。

如上面所解释的，按不同的方法产生运动图象和静止图象的本实施例能够根据分别所需的特性产生运动图象和静止图象，使得两种图象的形成都能具有令人满意的图象质量。

在上述实施例中，一个用于将超过标准信号电平的基本彩色信号R、G、B进行压缩的拐曲校正电路可以插在矩阵电路13的前面。因为在校正电路之后信号范围被降低，这种线路结构可以使得整个线路的规模降低，并且由于在图象数据在计算机中或类似装置中被提取之后，该范围匹配变得不再需要，还可以简化该过程。

在上述实施例中，来自乘法器15、16的彩色色差信号R-Y、B-Y分别提供到乘法器26、27的输入端，但是本发明并不限于这种形式。

不可以对由矩阵电路8和乘法器9、10得到的基本彩色信号R、G、B中的每一种信号进行伽马校正。然后由另一种与矩阵电路13相似的矩阵产生彩色色差信号R-Y、B-Y并且向乘法器26、27的输入端分别提供因此而产生的彩色色差信号R-Y、B-Y。

乘法器26、27的其它输入端还可以接收来自限幅器14的信号S6，而不是从查找表25来的信号。这种方法还能够对运动图象的彩色信号进行精确的伽马校正，使得运动图象的彩色再现度能够改进。

还可以将增益调节之后，通过孔径校正电路32检测的图象的轮廓部分叠加到提供到矩阵电路13的基本彩色信号R、G、B上。这种结构使得当需要时，能够增强静止图象的轮廓。

如上所述，装有产生运动图象的运动图象发生装置和用于产生静止图象的静止图象发生装置的本发明装置采用互相分离的方式实现使得能够根据各自所需的特性形成两种图象。

更确切地说，除了用于产生运动图象的运动图象发生装置以外，设有帧递归滤波器和用于产生静止图象的控制装置，由图象传感元件得到信号中产生的宽带彩色信号在帧递归滤波器中进行滤波处理，并且在滤波处理之后保持在所述帧递归滤波器中的图象在所述控制装置的控制下作为静止图象输出。因此使之可能不仅根据所需特性产生运动图象，而且还能根据所需特性产生静止图象，两种图象都具有满意的质量。

Claims

1、一种图象传感装置，用于根据从图象传感元件得到的信号产生图象，其包含：

运动图象发生装置，用于按照对其要求的特性，根据来自所述图象传感元件的信号产生运动图象；以及

静止图象发生装置，用于按照所述特性产生静止图象，其中所述运动图象发生装置和所述静止图象发生装置是按相互分离的方式提供的。

2、一种图象传感装置，装有图象传感元件，从该元件以场周期读取所有象素的信号，该装置并适于根据来自所述图象传感元件的信号产生运动图象，其包含：

符合/隔行扫描装置，用于利用来自所述图象传感元件的信号，使多行信号同步并对其隔行扫描。

3、根据权利要求2的图象传感装置，还包含：

帧递归滤波器，用于对由所述符合/隔行扫描装置输出的信号产生的宽带彩色信号进行滤波处理。

4、根据权利要求3的图象传感装置，还包含：

控制装置，用于响应于来自外部设备的指令读取保持在所述帧递归滤波器中的图象信号。

5、一种图象传感设备，包含：

（a）图象传感装置;

（b）处理装置，用于对由所述图象传感装置输出的图象信号进行处理;

（c）检测装置，用于对连接到所述图象传感设备上的外围设备的特性进行检测;以及

（d）控制装置，用于根据所述检测装置的输出，控制所述处理装置的特性。