CN1189044A - 具有插值功能的图像拾取设备 - Google Patents

具有插值功能的图像拾取设备 Download PDF

Info

Publication number
CN1189044A
CN1189044A CN97126459A CN97126459A CN1189044A CN 1189044 A CN1189044 A CN 1189044A CN 97126459 A CN97126459 A CN 97126459A CN 97126459 A CN97126459 A CN 97126459A CN 1189044 A CN1189044 A CN 1189044A
Authority
CN
China
Prior art keywords
filter
pixel
correlation
catalog information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97126459A
Other languages
English (en)
Other versions
CN1123211C (zh
Inventor
纳田重利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1189044A publication Critical patent/CN1189044A/zh
Application granted granted Critical
Publication of CN1123211C publication Critical patent/CN1123211C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

一种自适应插值电路,可获得高分辨率图像,其中该电路被供与已在DSP中经过白平衡调节的图像数据R、G和B,并且R－G图像在内存储器中组合。自适应插值电路计算垂直方向、水平方向和对角线方向上的相关值。如果根据具有最大相关值方向上的R－G图像进行插值,则不执行LPF处理,即在垂直正交方向上不引起分辨率下降。亦即,自适应插值电路可根据被插值部分周围的图像数据的相关值通过插值提高分辨率。

Description

具有插值功能的 图像拾取设备
本发明涉及一种信号处理设备，用于通过插值法来增加拾取图像数据的分辨率。
传统上有一种周知的采用单色CCD的单板型摄像机。但如图1所示，在G-棋盘状R/B行连续逼近法(G-checker R/B line sequential method)的CCD输出中造成混叠。
众所周知的还有采用两个和三个CCD的两板型和三板型摄像机。但是，使用多个CCD成本提高并且需要复杂的设备结构。
还有一种获得高分辨率的技术，其通过一个双压电晶片或类似物摆动CCD的位置，从而组合多个在不同位置得到的帧图像。但是这种方法也存在着方法过于复杂的问题。
因此，本发明的目的在于提供一种信号处理设备，该设备能够通过对拾取的图像数据插值而获得一个高分辨率的图像。
本发明提供的图像拾取设备包括：一个图像拾取元件，具有排列成矩阵状态的多个像素，每个像素根据接收到的光输出一个样本信息；相关值检测装置，用于根据一帧内参考样本附近的多个像素的样本信息，检测水平方向中多个样本信息的相关值、垂直方向中多个样本信息的相关值、和对角线方向中多个样本信息的相关值，其中一帧由从图像拾取元件的各个像素输出的样本信息组成；和插值装置，用于根据由相关值检测装置检测到的最大相关值的方向中的像素样本信息，对参考样本的位置进行插值。
根据本发明的另一方面，还提供了一种信号处理设备，用于根据一帧内参考样本的位置进行插值，其中一帧由排布成矩阵状态的多个像素输出的样本信息组成，本发明还提供一种图像拾取元件，该元件根据每个像素接收到的光量输出样本信息，根据参考样本位置周围的像素的样本信息进行插值，该设备包括：相关值检测装置，用于根据参考样本位置附近的多个像素位置的样本信息，检测垂直方向中多个样本信息的相关值、水平方向中多个样本信息的相关值；和对角线方向中多样本信息的相关值；和插值装置，用于根据位于由相关值检测装置检测到的最大相关值方向的样本信息，对参考样本的位置进行插值。
根据本发明的另一方面，还提供了一种插值方法，用于根据一帧内参考样本位置附近的多个像素的样本信息进行插值，其中一帧由从具有排布成矩阵状态的多个像素的图像拾取元件输出的样本信息组成，每个像素根据接收到的光量来输出一个样本信息，其中，
对于参考样本位置，根据参考样本位置附近的多个像素的样本信息，检测垂直方向中多个样本信息的相关值、水平方向中多个样本信息的相关值、和对角线方向中多个样本信息的相关值；
根据位于检测到的最大相关值方向的样本信息，对参考样本的位置进行插值。
通过参照附图对本发明的详细描述，本发明的优点、特征和目的将变得更加清楚，附图中：
图1解释在采用传统的低通滤波器或类似物时造成的混叠；
图2是根据本发明第一实施例的图像拾取设备的结构框图；
图3表示上述图像拾取设备的CCD图像传感器以棋盘形式的分布；
图4表示R-G图像数据被组合在内存储器中的状态；
图5表示R-G图像数据的亮度信号信息项的分布；
图6是解释自适应插值的流程图；
图7是解释自适应插值的流程图；
图8是解释自适应插值的流程图；
图9是根据色散度进行自适应插值时R和G的状态；
图10是执行完插值过程后R-G图像和亮度信号Y的配置；
图11是产生高频分量的亮度信号YH时的状态；
图12是根据本发明第二实施例的图像拾取设备的结构框图；
图13是根据本发明第三实施例的图像拾取设备的结构框图；
图14是根据本发明第四实施例的图像拾取设备的结构框图；
图15是前述拾取设备的CCD图像传感器有效电荷积累周期的时序图；
图16是前述图像拾取设备的自适应插值部分的结构框图；
图17是前述图像拾取设备的图像合成部分的结构框图；
图18A至图18D是图像数据的信号电平状态；
图19是前述图像拾取设备的另一图像合成部分的结构框图；
图20A至20D是图像数据的信号电平状态；
图21是根据本发明第六实施例的图像拾取设备的结构框图；
图22是前述图像拾取设备的CCD图像传感器的像素分布；
图23A和图23B是存储在自适应插值电路中的R和G图像数据的分布以及插值的亮度信号T的分布；
图24解释自适应插值电路中的自适应插值；以及
图25A是传统的图像数据的光谱特性，和图25B是已被自适应插值的图像数据的光谱特性。
以下参考附图对本发明的实施例进行描述。
根据本发明第一实施例的图像拾取装置是单板型，其可通过例如合成高频亮度分量来获得高分辨率，该高频分量通过在从单个CCD(电荷耦合器件)得到的各个信号的像素之间插值而产生。
图2表示根据第一实施例的图像拾取设备10，其包括：由CCD驱动器12驱动的单板型CCD图像传感器11；相关的复式抽样/自增益控制(CDS/AGC)电路13；A/D转换器14；数字信号处理器(DSP)15；低通滤波器(LPF)17；缓冲存储器18；自适应插值电路19；高通滤波器(HPF)20；缓冲存储器21；加法电路22；和视频编码器23。
CCD图像传感器11是例如顺序扫描型的，它包括如图3所示棋盘状分布的红(R)像素、绿(G)像素、和蓝(B)像素。一接收到来自物体的入射光，CCD图像传感器就根据入射光产生彩色信号R、G和B，并将其提供给CDS/AGC电路13。
CDS/AGC电路13对每个彩色信号采样保持一个预充电电平和数据电平并检测差值，从而测得精确的信号电平以除去随机噪声，还根据各个信号的强度自动地控制CDS/AGC电路本身的增益，以使总是输出信号电平稳定的拾取信号。
A/D转换器14设计成被根据采样脉冲驱动，并将来自CDS/AGC电路13的各个彩色信号转换成数字信号，以提供给DSP 15。
DSP 15执行对各个彩色数据执行诸如Y校正和拐点处理等所谓数字信号处理，并将得到三基色的彩色信号提供给LPF 17和自适应插值电路19。
LPF 17截止R、G和B各彩色信号的高频分量，并将低频分量的彩色数据RL、GL和BL经缓冲存储器18提供给加法电路22。
另一方面，自适应插值电路19从彩色信号R和G中计算局部像素相关性，并用最大相关值的像素进行插值，以获得高分辨率的亮度信号。
此处，向自适应插值电路19提供已在DSP 15中经过白平衡调节的彩色信号R、G和B，从而组合R图像和G图像，如图4所示。因为彩色信号R和彩色信号G已在白平衡调节中经过调节，具有了几乎一致的信号电平，所以如果注意图4中虚线包围的3×3附近的彩色信号R和G的亮度信号Y的信息，就可以假定亮度信号Y1至Y9如图5分布。
对某一特定方向的像素串Yn，相关值S可定义为：
S＝min(Yn)/max(Yn)应注意，当σ＝1时，S≤1，并得到最大相关值。
如果对每个垂直、水平和斜线方向计算相关值，并在最大相关值的方向进行插值，则在与插值方向正交的方向，信号将不需要经过LPF，因此正交方向的分辨率不会衰退。换言之，可通过根据相关值进行插值来提高分辨率。
为了进行上述的插值，自适应插值电路19执行图6中的步骤，从步骤S1开始。
在步骤S1中，自适应插值电路19仅把彩色信号R和G送入内存储器19a，以获得图4中的R-G图像，并将控制传递到步骤S2。
在步骤S2中，在初始图像插值点设置指针，并将控制传递到步骤S3。
在步骤S3中，自适应插值电路19计算垂直方向的相关值a。在此，垂直方向的相关值a按照下列方程计算。
a＝min(Yn)/max(Yn)
min(Yn)＝min(Y1，Y4，Y7)·min(Y2，Y8)·min(Y3，Y6，Y9)
max(Yn)＝max(Y1，Y4，Y7)·max(Y2，Y8)·max(Y3，Y6，Y9)
自适应插值电路19用计算得到的“a”代替变量X，并对应于变量X设定标志A。控制传递步骤S4。
在步骤S4中，自适应插值电路19根据下列方程计算水平相关值“b”，并且控制传递到步骤S5。
b＝min(Yn)/max(Yn)
min(Yn)＝min(Y1，Y2，Y3)·min(Y4，Y5)·min(Y7，Y8，Y9)
max(Yn)＝max(Y1，Y2，Y3)·max(Y4，Y5)·max(Y7，Y8，Y9)
在步骤S5中，为了比较垂直相关值和水平相关值，自适应插值电路19检测值X是否大于相关值b。如果X较大，则控制传递到步骤S7，而如果X并非较大，则控制传递到步骤S6。
在步骤S6中，自适应插值电路19用相关值“b”代替变量X，设B标志，并且控制传递到步骤S7。
在步骤S7中，自适应插值电路19按照下列方程计算左上方和右下方连线方向(称为第一对角线方向)的相关值“c”，并且控制传递到步骤S8。
c＝min(Yn)/max(Yn)
min(Yn)＝min(Y2，Y6)·min(Y4，Y8)
max(Yn)＝max(Y2，Y6)·max(Y4，Y8)
在步骤S8中，自适应插值电路19检测变量X是否大于值c。如果变量X大于c值，则控制传递到图7中的步骤S10，如果变量X不大于c，控制传递到步骤S9。
在步骤S9中，自适应插值电路19用相关值“c”代替变量X，设C标志，并且控制传递到步骤S10。
在步骤S10中，自适应插值电路19按照下列方程计算左下方和右上方连线方向(称为第二对角线方向)的相关值“c”，并且控制传递到步骤S11。
d＝min(Yn)/max(Yn)
min(Yn)＝min(Y2，Y4)·min(Y6，Y8)
max(Yn)＝max(Y2，Y4)·max(Y6，Y8)
在步骤S11中，自适应插值电路19检测相关值是否大于X。如果变量X大，则控制传递到步骤S13，如果X不大，则控制传递到步骤S12。
在步骤S12中，自适应插值电路19用相关值“d”代替变量X，设D标志，并且控制传递到步骤S13。
在步骤S13中，自适应插值电路19判断对变量X设定的标志是否为A。如果标志是A，则执行垂直方向的插值(步骤S14)，而如果标志不是A，则控制传递到步骤S15。在步骤S14中，自适应插值电路19对Y5计算垂直方向上亮度信号Y的平均值，如(Y2+Y8)/2，并进行垂直方向的插值。
在步骤S15中，自适应插值电路19探测标志是否为B。如果标志是B，则执行水平方向的插值(步骤S16)，而如果标志不是B，则控制传递到步骤S17。在步骤S16中，自适应插值电路19对Y5计算水平方向上亮度信号Y的平均值，如(Y4+Y6)/2，并进行水平方向的插值。
在步骤S17中，自适应插值电路19探测标志是否为C。如果标志是C，则执行第一对角线方向的插值(步骤S18)，而如果标志不是C，则控制传递到步骤S19。在步骤S18中，自适应插值电路19对Y5计算第一对角线方向上亮度信号Y的平均值，如(Y1+Y9)/2，并进行该对角线方向的插值。
在步骤S19中，自适应插值电路19探测标志是否为D。如果标志是D，则执行第二对角线方向的插值(步骤S20)，而如果标志不是D，则控制传递到步骤S21。在步骤S20中，自适应插值电路19对Y5计算第二对角线方向上亮度信号Y的平均值，如(Y3+Y7)/2，并进行该对角线方向的插值。
在步骤S21中，自适应插值电路19在下面的图像插值点设置一个指针，并且控制传递到步骤S22。
在步骤S22中，自适应插值电路19检测指针是否已设置在最后的图像插值点。如果发现指针是设置在最后的图像插值点，则插值终止。如果指针没有设置在最后的图像插值点，则控制返回到步骤S3，以执行步骤S3及其以后的图像插值步骤。
如上所述，自适应插值电路19可表示成如下的自适应插值：
Y5＝aY1+bY2+cY3+dY4+eY6+fY7+gY8+hY9以得到周围像素的相关值并设为a至h，由此能够进行最佳自适应插值。应注意到除相关值外，可计算像素间的相似度。
这里，在步骤S18和步骤S20中，执行图8中的子程序。
在步骤S31中，自适应插值电路19计算指针附近的彩色信号R的色散度σ。
同样彩色的色散度σ表示在一个局部附近与平均值差别的色散。例如，如果色散度σ小，则彩色的相关值在任何方向都相同，并且得不到自适应插值的效果。也就是说，如果σR小，不使用彩色信号R而对彩色信号G在垂直方向和水平方向执行自适应插值就足够了。
在此，如果色散度σ按下列定义：
σ彩色＝min(所有彩色像素)/max(所有彩色像素)
于是，图9的情形表示如下：
σR＝min(R1，R2，R3，R4)/max(R1，R2，R3，R4)
在步骤S32中，自适应插值电路19检测色散度σ是否大于预定值。如果色散度σ大于预定值，则控制传递到步骤S33，而如果不大于预定值，则控制传递到步骤S34。
在步骤S33中，自适应插值电路19按照下列方式进行对角线方向的插值。如果从步骤S18开始执行处理，则进行第一对角线方向的插值。如果从步骤S20开始执行处理，则进行第二对角线方向的插值，终止子程序。
另一方面，如果在步骤S32中发现色散度σ不大于预定值，则控制传递到步骤S34，此时，自适应插值电路19对具有S3步骤中算出的相关值“a”的垂直方向执行插值，或对具有S4步骤中算出的相关值“b”的水平方向执行插值。如果a大于b，则执行垂直插值，如果a小于b，则执行水平插值，终止子程序。
也就是说，在自适应插值电路19中，当色散度σ大时，进行对角线方向的插值，当色散度σ小时，彩色(R)的相关值几乎在任何方向都相同，并且自适应插值的效果不会很明显，使得仅在具有最高频率的G的水平或垂直方向插值而没有使用R。换言之，当色散度σ小时，为了消除彩色图像R和G的不同电平的自适应插值间的轻微差别，仅采用具有最高频率和最高电平的G进行插值，因而能够得到较高分辨率的图像。
当通过上述过程对亮度信号Y插值时，自适应插值电路19向HPF 20提供亮度信号T和彩色R信号及G，如图10所示。
HPF 20对由自适应插值电路19得到的亮度信号的低频部分进行截止，以产生一个如图11所示的高频分量的亮度信号YH，并通过缓冲存储器21将此高频亮度信号YH提供给加法电路22。
加法电路22将每个彩色信号RL、GL和BL的低频分量和高频分量的亮度信号YH组合，并输出高分辨率的彩色信号R、G和B。另外，视频编码器23将产生于加法电路22的高分辨率的彩色信号R、G和B编码成如NTSC(国家电视制式委员会)型的视频信号，以提供给外部监视设备(未示出)。
如上所述，在根据本发明的图像拾取设备10中，通过对来自滤光器设置中的R和G像素的自适应插值，不仅可以提高垂直方向和水平方向的分辨率，也可以提高对角线方向的分辨率。另外，因为该设备是单板型，所以得到低价格的袖珍型设备，而这对于获得同样高分辨率的未采用分离机构如像素移动机构的3CCD型设备来说是不可能的。再者，在可不采用像素移动机构或类似机构获得高分辨率的图像拾取设备中，可以利用电子快门。图像拾取设备10采用顺序扫描型的CCD图像传感器11，因此可以得到适宜于个人计算机监视设备等的无隔行图像。
以下对本发明的第二实施例进行描述。应注意，在此与第一实施例中相同的电路用相同的标号表示，并且略去对它们的解释。这对后面其它的实施例也同样适用。
图12是第二实施例的图像拾取设备30的框图，包括图像拾取部分30A和计算机部分30B。在图像拾取部分30A中得到的彩色信号R、B和G由计算机部分30B的软件对其进行自适应插值。
例如图12所示，图像拾取部分30A包括：CCD图像传感器11；CCD驱动电路12，用于驱动CCD图像传感器11；CDS/AGC电路13，用于对来自CCD图像传感器的各个彩色信号进行相关复式抽样和增益控制；A/D转换器14，对来自CDS/AGC电路13的各个彩色信号进行数字化处理；DSP15，用于对来自A/D转换器的数字化彩色信号进行数字信号处理；和视频编码器23，用于将来自DSP 15的彩色信号转换成视频信号。这些电路具有与第一实施例相同的功能。
另外，图像拾取部分30A设置有简化的插值电路31，用于对来自DSP 15的各个信号进行简化的插值，还设置有一个个人计算机接口(以下简称PC接口)32，用于对预定信号进行转换，将彩色信号从DSP 15传递到计算机部分30B，从而输出插值的彩色信号。图像拾取部分30A的这种配置使得能够通过双向导线33来将各个彩色信号传递到计算机部分30B，并接收来自计算机部分30B的控制信号。
另一方面，计算机部分30B包括：适于用在个人计算机中的个人计算机(PC)接口34，其中多个彩色信号通过双向导线33传递；用于存储程序及其他的硬盘驱动(HDD)存储器35；用于截止来自PC接口34的各个彩色信号高频分量的LPF 17；用于存储来自LPF 17的各个彩色信号的缓冲存储器18；用于对来自PC接口34的各个彩色信号进行自适应插值的自适应插值电路19；用于截止来自自适应插值电路19的每个彩色信号低频分量的HPF 20；用于存储来自HPF 20的亮度信号的缓冲存储器21；用于把来自缓冲存储器18和来自缓冲存储器21的信号相加的加法电路22；和用于把来自加法电路22的各个彩色信号输出给监视器50的加速器36。
在具有上述结构的图像拾取设备30中，CCD图像传感器11产生彩色信号R、G和B，通过CDS/AGC电路13和A/D转换器14提供给DSP 15。DSP 15的输出通过视频编码器23转换成视频信号，并作为VBS(视频、色同步、同步)信号或亮度、色差信号Y/C输出。另外，DSP 15的输出在简化的插值电路31中进行简化的插值，并作为一个彩色信号输出或通过PC接口32传递给计算机部分30B。
在计算机部分30B中，PC接口34把各个彩色信号提供给自适应插值电路19和LPF 17。LPF 17从各个彩色信号中除去高频分量，并将信号通过缓冲存储器18提供给加法电路22。
自适应插值电路19通过执行上述的步骤S1至S22和步骤S31至S34进行自适应插值，并向HPF 20提供亮度信号Y和各个彩色信号R、G和B，如图10所示。HPF 20从亮度信号Y和各个彩色信号中除去低频分量，并将得到的高频的亮度信号YH通过缓冲存储器21提供给加法电路22。
加法电路22把高频的亮度信号Y加到来自缓冲存储器19的各个彩色信号RL、GL和BL上，并通过加速器36把产生的高分辨率的彩色信号R、G和B提供给监视器50。
如上所述，在按照第二实施例的图像拾取设备30中，通过个人计算机中的软件来进行自适应插值，这能够减小图像拾取部分30A的尺寸和重量以及修正软件时无需替换图像拾取部分30A。另外，通过对来自滤光器配置的R和G像素进行自适应插值，不仅可以提高垂直和水平方向的分辨率，还可以提高对角线方向的分辨率。此外，上述采用单个CCD的袖珍尺寸的图像拾取设备30可以以合理的价格得到，同时，还可得到高分辨率并可采用电子快门。另外，因为图像拾取设备30采用顺序扫描型的CCD图像传感器11，所以可以得到无隔行图像，这更适宜于个人计算机监视器或同类设备。
以下将对本发明的第三实施例进行描述。
按照第三实施例的图像拾取设备60尤其适合用于静态摄像机。如图13所示，图像拾取设备60仅仅在图像拾取部分60A中的主电路拾取的瞬间工作，因而节省电能，而图像拾取部分60A最好用在摄像头单元(CHU)，并当计算机部分60B没有作出拾取请求时保持在等候模式。
例如，如图13所示，图像拾取部分60A包括：CCD图像传感器11；CDS电路13a，用于对来自CCD图像传感器11的各个彩色信号进行相关复式抽样；AGC电路13b，用于对来自CDS电路13a的各个彩色信号进行增益控制；LPF 61，用于从来自AGC电路13b的各个彩色信号中除去高频分量；A/D转换器14，用于对来自LPF 61的各个彩色信号进行数字化处理；个人计算机接口32，用于对来自A/D转换器的各个彩色信号进行预定信号转换；定时发生器62，用于产生驱动CCD图像传感器11的读出脉冲等；光阑控制电路63；和透镜部分64，用于根据光阑控制电路63调节光阑。
把来自定时发生器62的电子快门脉冲提供给CCD图像传感器11，以控制有效的电荷积累周期(电子快门周期)。在此，对于静态图像拾取，把电子快门周期设定为单帧或几帧的周期没有问题。定时发生器62向CCD图像传感器11提供一个低频时钟。
PC接口32根据计算机部分60B的拾取模式请求启动主电路的功能，并根据等候模式请求断开除PC接口32外的主电路的功能。因此，图像拾取部分60A在等候模式下抑制能源的消耗，从而节约了电能。
计算机部分60B包括：个人计算机接口34；用于存储程序及其他的HDD存储器35；信号处理电路65，用于对来自PC接口34的各个彩色信号进行预定信号处理；用于除去来自信号处理电路65的各个彩色信号高频分量的LPF 17；用于存储来自LPF 17的各个彩色信号的缓冲存储器18；用于对来自PC接口34的各个彩色信号进行自适应插值的自适应插值电路19；用于除去来自自适应插值电路19的各个彩色信号低频分量的HPF 20；用于存储来自HPF 20的各个彩色信号的缓冲存储器21；用于把来自缓冲存储器18和来自缓冲存储器21的信号相加的加法电路22；用于把来自加法电路22的各个彩色信号输出给监视器50的加速器36；和用于向图像拾取部分60A提供电能的电源电路66。
在计算机部分60B中的摄像控制软件工作的同时，通过键盘操作进行图像拾取部分60A的模式转换。也就是说，通过计算机部分60B来进行图像拾取部分60A中的电子快门控制、光阑控制和等候模式控制。还通过计算机部分60B中的自适应插值电路19和信号处理电路65来进行对来自图像拾取部分60A的各个彩色信号的自适应插值和数字信号处理。
在具有上述结构的图像拾取设备60中，当根据计算机部分60B的控制来将设备设置在等候模式时，电源电路66不对图像拾取部分60A供应电能，并且除个人计算机接口32外主电路停止。
当图像拾取部分60A设置在拾取模式而被供以电源电路66的电能时，主电路的功能开始发生作用。此时，例如计算机部分60B，根据通过键盘操作的输入，可经过PC接口32和光阑控制电路63调节光阑。
另外，当计算机部分60B向图像拾取部分60A传送拾取图像的请求时，CCD图像传感器11经过CDS电路13a、AGC电路13b把在单帧周期或几帧周期中由电子快门周期内得到的各个彩色信号提供给PC接口32。PC接口32对各个彩色信号进行预定信号转换处理，然后经过双向导线33提供给PC接口34。
在计算机部分60B中，信号处理电路65对来自PC接口34的每个彩色信号进行数字信号处理，并将得到的彩色信号通过LPF 17提供给加法电路22和自适应插值电路19。从来自信号处理电路65的各个彩色信号R、G和B中，自适应插值电路19产生高分辨率的亮度信号Y，并通过HPF 22提供给加法电路22。加法电路22把每个彩色信号RL、GL和BL和高分辨率的亮度信号Y组合以输出。由此产生高分辨率的彩色信号R、G和B，并通过加速器36提供给监视器50。
如上所述，按照第三实施例的图像拾取设备60仅在拾取操作期间启动图像拾取部分60A，并当处于等候模式时停止图像拾取部分60A中的主电路的使用，从而能够节约电能。另外，图像拾取设备60不仅进行自适应插值，而且通过计算机部分60B中的软件处理进行数字信号处理如拐点γ校正，因此可减小图像拾取部分60A的尺寸和重量，并当上述软件修正时无需更换图像拾取部分60A。另外，通过采用来自滤光器设施的R、G和B像素插值，还可以不仅在垂直和水平方向提高分辨率a1，而且在对角线方向亦如此。上述的图像拾取设备60是单板型的，因此可以获得合理的价格及袖珍的尺寸，并能够在不采用像素移动机构或类似机制的情况下获得高的分辨率。
下面将对本发明第四实施例的图像拾取设备予以描述。按照第四实施例的图像拾取设备采用两个拾取元件而扩大了动态范围，能够获得高分辨率的图像。
图4是本发明第四实施例的图像拾取设备的结构框图，包括：拾取透镜81，用于聚焦拾取光束；滤光器82，用于对拾取光束进行色彩分离；半反射镜部分83；CCD图像传感器84和86，拾取光束通过半反射镜部分83进入其中；自适应插值部分85，用于对来自CCD图像传感器84的像素信号进行自适应插值；自适应插值部分87，用于对来自CCD图像传感器86的像素信号进行自适应插值；图像组合部分88，用于将来自自适应插值部分85和87的彩色信号合成；视频编码器89，用于把在图像组合部分88中合成的各个彩色信号转换成预定的视频信号；和控制整个设备的系统控制器90。
在此，CCD图像传感器84和86，例如，可以是顺序扫描型的，其中，红像素(R)、绿像素(G)和蓝像素(B)分别布置成如图3所示的棋盘状。
如图15所示，在CCD图像传感器84中的有效电荷积累周期(优先为电子快门功能)的设置值小于CCD图像传感器86的有效电子积累周期。因此，与CCD图像传感器86相比，CCD图像传感器84总体上输出低信号电平的彩色信号。
在此，自适应插值部分85和自适应插值部分87有着相同的结构。如图16所示，自适应插值部分85和87每个包括：CCD/AGC电路13，用于对来自CCD图像传感器84、86的各个彩色信号执行相关复式抽样；A/D转换器14，用于对来自CDS/AGC电路13的各个彩色信号进行数字化处理；和DSP 15，用于对已被A/D转换器14数字化的各个彩色信号进行数字信号处理。
自适应插值组件85和87每个还包括：用于除去来自DSP 15的各个彩色信号的高频分量的LPF 17；用于存储来自LPF 17的各个彩色信号的缓冲存储器18；用于对来自DSP 15的各个彩色信号进行自适应插值的自适应插值电路19；用于除去来自自适应插值电路19的各个彩色信号低频分量的HPF20；用于存储来自HPF 20的各个彩色信号的缓冲存储器21；和用于把来自缓冲存储器18和来自缓冲存储器21的信号相加的加法电路22。
如图17所示，图像组合部分88配置有LPF 91、电平比较器92和开关电路93，用于有选择地输出来自自适应插值部分85的低信号电平的各个彩色信号和来自自适应插值部分87的正常信号电平的各个彩色信号。
LPF 91从来自自适应插值部分85的图像数据中除去不需要的高频分量，并将得到的彩色信号提供给电平比较器92。
电平比较器92将各个彩色信号HDl的电平与阈值电平Th即如图18A所示的动态范围限定作比较。如果超过阈值电平，则图像是白区压缩的一种。如图18B所示，如果彩色信号HD1的电平高于该阈值电平，则输出H电平的开关控制信号。
开关电路93有被输入来自自适应插值部分85的彩色信号HD1的端口‘a’和被输入来自自适应插值部分87的彩色信号HD2的端口‘b’。当被输入来自电平比较器92的H电平的开关控制信号时，开关电路93输出供给端口‘a’的彩色信号HD1。当被输入来自电平比较器92的L电平的开关控制信号时，开关电路93输出供给端口‘b’的彩色信号HD2。
换言之，对开关电路93的端口‘a’提供如图18A所示的各个彩色信号HD1，而对开关电路的端口‘b’提供如图18C所示的各个彩色信号HD2。因为开关控制信号处于低电平，而没有彩色信号HD2超过动态范围，所以开关电路93输出如图18D所示的彩色信号HD2。当有彩色信号HD2超过动态范围时，开关控制信号处于高电平，如图18D所示，开关电路93输出彩色信号HD1。
因此，例如当从室内对室外照相时，如果彩色信号HD2超过动态范围，则图像组合部分88用彩色信号HD1代替超出动态范围的部分，从而能够扩展动态范围。
如上所述，图像拾取设备80对两个CCD图像传感器的每个输出信号进行自适应插值，从而可以得到高分辨率的图像。另外，通过有选择地合成不同快门周期的彩色图像，可以增强动态范围。再者，通过采用来自滤光器设施的R和G像素进行自适应插值，不仅可以提高垂直和水平方向分辨率，而且在对角线方向亦如此。
还可以在图像拾取设备80中的半反射镜83和CCD8图像传感器84之间设置中灰(ND)滤光器95，并对CCD图像传感器84和CCD图像传感器86设置一个相同的快门速度。也就是说，CCD图像传感器84接收由ND滤光器95减少的光量，以产生各个彩色信号，并能够当开关速度提高时以相同的方式产生各个彩色信号。
以下将对第五实施例的图像拾取设备加以描述。
为了去除白区压缩和黑区压缩，第五实施例的图像拾取设备用可在白区压缩校正模式和黑区压缩校正模式之间转换的图像组合部分88a代替图17中的图像组合88。
如图19所示，图像组合部分88a中的开关电路94包括：被提供来自自适应插值部分85的各个彩色信号HD1的端口‘c’和‘f’；被提供来自自适应插值部分87的彩色信号HD2的端口‘d’和‘e’；有选择地输出提供给端口‘c’和‘d’的彩色信号的开关94X；和有选择地输出提供给端口‘e’和‘f’的彩色信号的开关94Y。开关94X和94Y彼此互锁，它们的开关由系统控制器90控制。也就是说，如果设定在白区压缩模式，则系统控制器将开关94X设置到端口‘c’，将开关94Y设置到端口‘e’，而如果设定在黑区压缩模式，则开关94X被设置到端口‘d’，开关94Y被设置到端口‘f’。开关94X有选择地向LPF 91和开关电路93的端口‘a’输出各个彩色信号，而开关94Y有选择地向开关电路93的端口‘b’输出各个彩色信号。
LPF 91除去各个彩色信号中的高频部分，并将得到的信号提供给电平比较器92。如图20A所示，电平比较器92将来自LPF 91的各个彩色信号与如图20B所示的阈值电平Th相比较，并且如果彩色信号的电平高于阈值电平，则输出开关控制信号。在此，系统控制器90根据白区压缩校正模式或黑区压缩校正模式设定阈值电平。开关电路93一接收到来自电平比较器92的H电平的开关控制信号便输出提供给端口‘a’的彩色信号，并一接收到来自电平比较器92的L电平的开关控制信号便输出提供给端口‘b’的彩色信号。
当设置在黑区压缩校正模式时，系统控制器90将开关94X连接到端口‘d’，将开关94Y连接到端口‘f’，从而根据黑区压缩校正将阈值电平Th设置在预定的水平。在这种状态中，开关电路93的一端‘a’被提供如图20A所示的各个彩色信号HD2，而端口‘b’被提供如图20C所示的各个彩色信号HD1。
当彩色信号HD1没有引起黑区压缩时，开关控制信号处于H电平，如图20所示，并且开关电路93输出如图20D所示的彩色信号HD1。当彩色信号HD1引起黑区压缩时，开关控制信号变为L电平，开关电路93输出如图20D所示的彩色信号HD2。
也就是说，例如，当从室外对室内照相并且在彩色信号HD1和HD2之一中引起黑区压缩时，其它信号插入引起黑区压缩的部分，从而能够输出没有黑区压缩的彩色信号。
应注意当设置在白区压缩校正模式时，图像组合部分88a如下设置：开关94X设置到端口‘c’，开关94Y设置到端口‘d’。也就是说，图像组合部分88a变为与图像组合部分88等同，都能够输出没有白区压缩的彩色信号。
下面对本发明第六实施例的图像拾取设备进行描述。
图21是按照本发明第六实施例图像拾取例子的结构框图，其包括：用于聚焦的拾取透镜101；滤光器102，用于从拾取的光束中除去高频分量；分色镜103，用于将拾取的光束分成三基色：红、绿和蓝；CCD图像传感器104R，用于根据分离的拾取光束输出彩色信号R；CCD图像传感器104G，用于输出彩色信号G；和CCD图像传感器104B，用于输出彩色信号B。
此处的CCD图像传感器104R、104G和104B是顺序扫描型。如图22所示，在CCD图像传感器104R和104G中，G和R分布成五点形，其在对角线方向移动像素半个间距。
图像拾取设备100还包括：CDS/AGC电路13，用于对来自CCD图像传感器104R、104G和104B的各个彩色信号进行相关复式抽样和增益控制；A/D转换器14，用于对来自CDS/AGC电路13的各个彩色信号进行数字化处理；DSP15，用于对来自A/D转换器的各个彩色信号进行数字信号处理，如γ校正；用于除去来自DSP 15的各个彩色信号的高频部分的LPF 17；用于存储来自LPF 17的各个彩色信号的缓冲存储器18；用于对来自DSP 15的各个彩色信号进行自适应插值的自适应插值电路19；用于除去来自自适应插值电路19的各个彩色信号低频部分并产生高频亮度信号的HPF 20；用于存储来自HPF 20的高频亮度信号的缓冲存储器21；和用于把来自缓冲存储器18的彩色信号和来自缓冲存储器21的亮度信号合成的加法电路22。
在具有上述结构的图像拾取设备100中，向自适应插值电路19提供来自DSP 15的各个彩色信号R、G和B。彩色信号R和G以图23A中五点形的分布存储在自适应插值电路19的内存储器19a中。
自适应插值电路19在待被插值的彩色信号R和G的五点形分布部分设置一个指针，并计算垂直和水平方向的相关性，以在最大相关值方向进行自适应插值。
在此，自适应插值19被提供彩色信号，该彩色信号在白平衡调节后与R和G的电平相同。因此，如果关注包含于像素数据R和G的亮度信号Y的信息，如图24所示，可以假设亮度信号Y1至Y4分布在任意的指针Y0附近。因此，满足下列方程。
Y0＝aY1+bY2+cY3+dY4注意，a至d值由水平和垂直方向的像素相关性决定。
具体地讲，自适应插值电路19计算Y1和Y2之间在水平方向上和Y3和Y4之间在垂直方向的电平差，并确定具有较小电平差的方向有较大的相关值，在该方向进行Y0插值。例如，如果水平方向有较大的相关值，则执行下列计算。
Y0＝(Y1+Y2)/2
如图23B所示，对五点形分布的彩色信号R和G在阴影部位内插亮度信号，并将所得的信号提供给HPF 20。HPF 20从彩色信号R和G以及亮度信号中除去低频部分，以产生高分辨率的亮度信号。该亮度信号通过缓冲存储器21提供给加法电路22。加法电路22将通过LPF 17提供的来自DSP 15的彩色信号R、G和B与高频部分的亮度信号相加和组合，以产生高分辨率的彩色信号。
加法电路22中产生的如图25B所示的彩色信号与图25A所示的传统的频谱特性相比，在高频带没有显示出劣化现象。
也就是说，自适应插值电路19进行近似的自适应插值，从而产生最佳图像质量的彩色信号。
如上所述，图像拾取设备100在具有较大相关值的垂直或水平方向进行插值，从而产生较高频率分量的亮度信号，该亮度信号被相同地加到中或较低频率的各个彩色信号R、G和B上，以产生高分辨率和最佳图像质量的彩色信号。
如上所述，按照本发明，对插值点周围的相对象素进行相关度计算，并在较大相关值、消除了低频分量的方向上根据两种基色的彩色信号来产生亮度信号，以将高频和高分辨率的亮度信号与彩色信号合成，从而产生高分辨率的三基色的彩色信号。
按照本发明的另一方面，如果对角线上将被插值的部分在其周围有较小的色散度，则在对角线上不进行插值而在具有高信号电平和上述较大相关值的彩色信号的垂直和水平方向上进行插值，从而可以获得高分辨率的图像。
按照本发明的另一方面，在垂直、水平或对角线方向拾取的各个彩色信号间进行插值，从而可根据每个图像中各个方向的分辨率程度来提高最低方向的方向分辨率。
按照本发明的另一方面，不管设备的类型如何，即单板型或多板型，都可得到高分辨率的图像。

Claims (30)

1.一种图像拾取设备，包括：
一个图像拾取元件，具有排列成矩阵状态的多个像素，每个像素根据接收到的光来输出一个样本信息；
相关值检测装置，用于根据由所述图像拾取元件的各个像素输出的样本信息组成的一帧内参考样本位置附近的多个像素的样本信息，检测水平方向中多个样本信息的相关值、垂直方向中多个样本信息的相关值、和对角线方向中多个样本信息的相关值；和
插值装置，用于根据位于由所述相关值检测装置检测到的最大相关值方向的像素的样本信息，对所述参考样本的位置进行插值。
2.根据权利要求1所述的图像拾取设备，其中，所述图像拾取元件还包括为每个像素设置的第一滤光器、第二滤光器和第三滤光器，所述第一滤光器对于所述多个像素布置成棋盘状，并从相应于第一滤光器的第一像素中输出第一彩色样本信息，从相应于第二滤光器的第二像素中输出第二彩色样本信息，从相应于第三滤光器的第三像素中输出第三彩色样本信息。
3.根据权利要求1所述的图像拾取设备，其中，所述相关值检测装置在第一对角线方向检测相关值，其中，所述第一对角线方向包含像素的样本信息，所述像素处于所述参考样本位置处的右上和左下位置，还检测第二对角线方向的相关值，所述第二对角线方向包含像素的样本信息，所述像素处于所述参考样本位置处的左上和右下位置。
4.根据权利要求1所述的图像拾取设备，其中，所述设备还包括高频抽取装置，用于从所述插值装置的输出中抽取高频分量，并输出所得的分量作为高频带亮度样本信息。
5.根据权利要求4所述的图像拾取设备，其中，所述设备还包括组合装置，用于把所述拾取元件输出的样本信息与所述高频带亮度样本信息组合。
6.根据权利要求2所述的图像拾取装置，其中，所述第一滤光器由允许绿光分量通过的滤光器制成；所述第二滤光器由允许红光分量通过的滤光器制成；所述第三滤光器由允许蓝光分量通过的滤光器制成，这些滤光器被布置成绿色棋盘和红/蓝行连续结构。
7.一种图像拾取设备，包括：
一个图像拾取元件，具有排列成矩阵状态的多个像素和多个第一滤光器、第二滤光器和第三滤光器，所述第一滤光器对于所述多个像素布置成棋盘状，其中，
所述拾取元件从对应于第一滤光器的第一像素输出第一彩色样本信息、从对应于第二滤光器的第二像素输出第二彩色样本信息，和从对应于第三滤光器的第三像素输出第三采色样本信息；和
插值装置，用于根据从第三像素附近的第一、第二像素输出的彩色样本信息，通过插值产生等效于所述第三像素位置的亮度电平分量。
8.根据权利要求7所述的图像拾取设备，其中，所述插值装置从像素本身的彩色样本信息产生等效于所述第一和所述第二像素位置处的亮度电平分量。
9.根据权利要求7所述的图像拾取设备，其中，所述设备还包括高频分量抽取装置，用于从所述插值装置的输出中抽取高频分量，并输出所得的分量作为高频带亮度样本信息。
10.根据权利要求9所述的图像拾取设备，其中，所述设备还包括组合装置，用于把从所述拾取元件输出的第一、第二和第三样本信息与所述高频带亮度样本信息组合。
11.根据权利要求7所述的图像拾取设备，其中所述第一滤光器由允许绿光分量通过的滤光器制成；第二滤光器由允许红光分量通过的滤光器制成；第三滤光器由允许蓝光分量通过的滤光器制成，这些滤光器被布置成绿色棋盘和红/蓝行连续结构。
12.根据权利要求7所述的图像拾取设备，其中，所述设备还包括相关值检测装置，用于根据由所述图像拾取元件的各个像素输出的第一、第二和第三样本信息组成的一帧内参考样本位置附近的多个像素的彩色样本信息，检测水平方向中多个彩色样本信息的相关值、垂直方向中多个彩色样本信息的相关值，和对角线方向中多个彩色样本信息的相关值，其中，
所述插值装置根据位于由所述相关值检测装置检测到的最大相关值方向的像素的样本信息，对所述参考样本的位置进行插值。
13.一种图像拾取设备，包括：
一个图像拾取元件，具有排列成矩阵状态的多个像素和多个第一滤光器、第二滤光器和第三滤光器，所述第一滤光器对于所述多个像素布置成棋盘状；其中所述拾取元件从对应于第一滤光器的第一像素输出第一彩色样本信息、从对应于第二滤光器的第二像素输出第二彩色样本信息、和从对应于第三滤光器的第三像素输出第三彩色样本信息；
相关值检测装置，用于根据由所述图像拾取元件的各个像素输出的第一、第二和第三样本信息组成的一帧内参考样本位置附近的多个像素的彩色样本信息，检测水平方向中多个彩色样本信息的相关值、垂直方向中多个彩色样本信息的相关值、和对角线方向中多个彩色样本信息的相关值；
色散度检测装置，用于检测对应于处在所述参考样本位置附近的第三滤波器的多个像素的彩色样本信息的色散度；和
插值装置，用于当所述色散度低于阈值时，根据除涉及所述第三滤光器位置的方向上的相关值以外的相关值对所述参考样本位置进行插值。
14.根据权利要求13所述的图像拾取设备，其中，所述拾取元件是一绿色棋盘和红/蓝行连续型滤光器，其由允许绿光分量通过的第一滤光器、允许红光分量通过的第二滤光器、和允许蓝光分量通过的第三滤光器组成。
15.一种信号处理设备，用于根据一帧内参考样本的位置进行插值，其中一帧由排布成矩阵状态的多个像素输出的样本信息组成，其设置有图像拾取元件，所述图像拾取元件根据由每个像素接收到的光量来输出样本信息，根据所述参考样本位置周围的像素的样本信息进行所述插值，
所述设备包括：
相关值检测装置，用于根据所述参考样本位置附近的多个像素的样本信息，检测水平方向中多个样本信息的相关值、垂直方向中多个样本信息的相关值、和对角线方向中多个样本信息的相关值；和
插值装置，用于根据位于由所述相关值检测装置检测到的最大相关值方向的像素的样本信息，对所述参考样本的位置进行插值。
16.根据权利要求15所述的信号处理设备，其中，所述图像拾取元件还包括对于所述多个像素排列成棋盘状的第一滤光器、第二滤光器及第三滤光器，所述拾取元件从对应于所述第一滤光器的第一像素输出第一彩色样本信息、从对应于所述第二滤光器的第二像素输出第二彩色样本信息、和从对应于所述第三滤光器的第三像素输出第三彩色样本信息，将其做为所述样本信息。
17.根据权利要求15所述的信号处理设备，其中，所述相关值检测装置检测包括位于所述参考位置右上和左下处像素的样本信息的第一对角线方向上的相关值，和包括位于所述参考位置左上和右下处像素的样本信息的第二对角线方向上的相关值，将其做为对角线方向上样本信息的相关值。
18.根据权利要求15所述的信号处理设备，其中，所述装置还包括高频抽取装置，用于从所述插值装置的输出中抽取高频分量，并输出所抽取的分量作为高亮度样本信息。
19.根据权利要求18所述的信号处理设备，其中，所述设备还包括组合装置，用于把由所述拾取元件输出的样本信息与高频带亮度样本信息组合。
20.根据权利要求15所述的信号处理设备，其中，所述拾取元件还包括一绿色棋盘和红/蓝行连续型滤光器，其由允许绿光分量通过的第一滤光器、允许红光分量通过的第二滤光器、和允许蓝光分量通过的第三滤光器组成。
21.一种信号处理设备，用于对具有排布成矩阵状的多个像素和相应于所述多个像素布置成棋盘状的多个第一滤光器、多个第二滤光器及第三滤光器的图像拾取元件的输出进行插值，并从对应于所述第一滤光器的第一像素输出第一彩色样本信息、从对应于所述第二滤光器的第二像素输出第二彩色样本信息、和从对应于所述第三滤光器的第三像素输出第三彩色样本信息，其中所述信号处理设备包括：
输入装置，用于输入来自所述图像拾取元件的所述第一彩色样本信息、所述第二彩色样本信息、和所述第三彩色样本信息；
存储装置，用于暂时存储由所述输入装置提供的所述第一彩色样本信息、所述第二彩色样本信息和所述第三彩色样本信息；和
插值装置，用于根据从位于各个第三像素附近的所述第一、第二像素输出的彩色样本信息，通过插值产生等效于所述第三像素位置的亮度分量。
22.根据权利要求21所述的信号处理设备，其中，所述插值装置从这些像素的彩色样本信息中产生等效于所述第一、第二像素位置的亮度分量。
23.根据权利要求21所述的信号处理设备，其中，所述设备还包括高频抽取装置，用于从所述插值装置的输出中抽取高频分量，并输出所抽取的分量作为高频分量亮度样本信息。
24.根据权利要求23所述的信号处理设备，其中，所述设备还包括组合装置，用于把所述拾取元件输出的第一、第二和第三彩色样本信息与所述高亮度样本信息组合。
25.根据权利要求21所述的信号处理设备，其中，所述设备还包括相关值检测装置，用于根据由所述图像拾取元件的各个像素输出的第一、第二和第三样本信息组成的一帧内参考样本位置附近的多个像素的彩色样本信息，检测垂直方向中多个彩色样本信息的相关值、水平方向中多个彩色样本信息的相关值、和对角线方向中多个彩色样本信息的相关值；其中，
所述插值装置根据位于所述相关值检测装置检测到的最大相关值方向的像素的彩色样本信息，对所述参考样本的位置进行插值。
26.一种信号处理设备，用于根据位于一帧内参考样本位置附近的多个像素的彩色样本信息进行插值，其中一帧由具有排布成矩阵状态的多个像素和对应于所述多个像素布置成棋盘状的多个第一滤光器、多个第二滤光器及第三滤光器的图像拾取元件的像素输出的第一、第二和第三样本信息组成，其中，从对应于所述第一滤光器的第一像素输出第一彩色样本信息、从对应于所述第二滤光器的第二像素输出第二彩色样本信息、和从对应于所述第三滤光器的第三像素输出第三彩色样本信息，
所述设备包括：
相关值检测装置，用于根据位于所述参考样本位置附近的多个像素的样本信息，检测垂直方向中多个彩色样本信息的相关值、水平方向中多个彩色样本信息的相关值、和对角线方向中多个彩色样本信息的相关值；
色散度检测装置，用于检测对应于处在所述参考样本位置附近的第三滤光器的多个像素的彩色样本信息的色散度；和
插值装置，用于当色散度低于阈值时，根据除涉及所述第三滤光器位置的方向上的相关值以外的相关值对所述参考样本位置进行插值。
27.根据权利要求26所述的信号处理设备，其中，所述拾取元件是一种绿色棋盘和红/蓝行连续型滤光器，其由允许绿光分量通过的所述第一滤光器、允许红光分量通过的所述第二滤光器、允许蓝光分量通过的所述第三滤光器组成。
28.一种插值方法，用于根据一帧内参考样本位置附近的多个像素的样本信息进行插值，其中一帧由具有排布成矩阵状态的多个像素的图像拾取元件输出的样本信息组成，每个像素根据接收到的光量来输出一个样本信息，所述插值方法包括如下步骤：
对于所述参考样本位置，根据位于所述参考样本位置附近的多个像素的样本信息，检测垂直方向中多个样本信息的相关值、水平方向中多个样本信息的相关值、和对角线方向中多个样本信息的相关值；和
根据位于检测到的最大相关值方向的像素的样本信息，对所述参考样本的位置进行插值。
29.一种插值方法，用于对具有排布成矩阵状态的多个像素和相应于所述多个像素布置成棋盘状的多个第一滤光器、多个第二滤光器及多个第三滤光器的图像拾取元件的输出进行插值，并从对应于所述第一滤光器的第一像素输出第一彩色样本信息、从对应于所述第二滤光器的第二像素输出第二彩色样本信息、和从对应于所述第三滤光器的第三像素输出第三彩色样本信息，所述方法包括如下步骤：
输入来自所述图像拾取元件的第一彩色样本信息、第二彩色样本信息、和第三彩色样本信息；
暂时存储已经输入的所述第一彩色样本信息、所述第二彩色样本信息、和所述第三彩色样本信息；和
根据从位于各个第三像素附近的第一像素和第二像素输出的彩色样本信息，通过插值产生等效于所述第三像素位置的亮度分量。
30.一种插值方法，用于根据一帧内参考样本位置附近的多个像素位置的彩色样本信息进行插值，其中一帧由具有排布成矩阵状态的多个像素和相应于所述多个像素布置成棋盘状的多个第一滤光器、多个第二滤光器及多个第三滤光器的图像拾取元件输出的第一、第二和第三彩色样本信息组成，其中，第一彩色样本信息由对应于所述第一滤光器的第一像素输出，第二彩色样本信息由对应于所述第二滤光器的第二像素输出，第三彩色取样信息由对应于所述第三滤光器的第三像素输出，
所述方法包括如下步骤：
根据位于所述参考样本位置附近的多个像素的彩色样本信息，检测垂直方向中多个彩色样本信息的相关值、水平方向中多个彩色样本信息的相关值、和对角线方向中多个彩色样本信息的相关值；
检测对应于处在所述参考样本位置附近的第三滤光器的多个像素的彩色样本信息的色散度；和
当所述色散度低于阈值时，根据除涉及所述第三滤光器位置的方向上的相关值以外的相关值对所述参考样本位置进行插值。
CN97126459A 1996-11-18 1997-11-18 具有插值功能的图像拾取设备和插值方法 Expired - Fee Related CN1123211C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP306788/1996 1996-11-18
JP306788/96 1996-11-18
JP30678896A JP3787927B2 (ja) 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法

Publications (2)

Publication Number Publication Date
CN1189044A true CN1189044A (zh) 1998-07-29
CN1123211C CN1123211C (zh) 2003-10-01

Family

ID=17961263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97126459A Expired - Fee Related CN1123211C (zh) 1996-11-18 1997-11-18 具有插值功能的图像拾取设备和插值方法

Country Status (7)

Country Link
US (1) US6295087B1 (zh)
JP (1) JP3787927B2 (zh)
KR (1) KR100517391B1 (zh)
CN (1) CN1123211C (zh)
ID (1) ID18876A (zh)
MY (1) MY118915A (zh)
TW (1) TW376640B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311969C (zh) * 2000-11-20 2007-04-25 压缩技术公司 优化的图象处理方法及装置
CN100410985C (zh) * 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
CN100433779C (zh) * 2006-04-28 2008-11-12 天津大学 全相位离散余弦变换内插核函数及用于图像分辨率的改变
CN102164246A (zh) * 2011-03-08 2011-08-24 青岛海信移动通信技术股份有限公司 一种移动终端生成满足设定分辨率照片的实现方法及装置
CN109493322A (zh) * 2018-10-16 2019-03-19 沈阳东软医疗系统有限公司 峰值曲线渲染方法及装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168745A (ja) * 1997-12-03 1999-06-22 Minolta Co Ltd デジタルカメラ
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JPH11196427A (ja) * 1997-12-26 1999-07-21 Canon Inc 単板カラー撮像装置
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
JP3556859B2 (ja) * 1998-09-08 2004-08-25 富士写真フイルム株式会社 画像補正方法、画像補正装置及び記録媒体
JP3972478B2 (ja) * 1998-08-11 2007-09-05 ソニー株式会社 撮像装置
KR20000026234A (ko) * 1998-10-19 2000-05-15 유무성 실물 화상기
KR20000074616A (ko) * 1999-05-24 2000-12-15 윤종용 스위치드 커패시터 기법을 이용한 이득 조절장치
US7010172B1 (en) * 1999-07-27 2006-03-07 Fuji Photo Film Co., Ltd. Image acquiring method, image processing method, and image transforming method
US7088391B2 (en) * 1999-09-01 2006-08-08 Florida Atlantic University Color video camera for film origination with color sensor and luminance sensor
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
JP2002064831A (ja) * 2000-08-15 2002-02-28 Sanyo Electric Co Ltd 単板式カラーカメラの色分離回路
JP2002232908A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
JP3862506B2 (ja) * 2001-02-06 2006-12-27 キヤノン株式会社 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
EP1246474A1 (fr) * 2001-03-27 2002-10-02 Koninklijke Philips Electronics N.V. Appareil de prise de vue et procédé pour traiter des images prises par un tel appareil
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US20030117507A1 (en) * 2001-12-21 2003-06-26 Nasser Kehtarnavaz Color filter array interpolation
JP2003274264A (ja) * 2002-03-13 2003-09-26 Sony Corp 撮像装置及び映像信号生成方法
US7292277B2 (en) * 2002-04-08 2007-11-06 Fujifilm Corporation Solid-state image pick-up device and digital still camera
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
US7212689B2 (en) * 2002-11-06 2007-05-01 D. Darian Muresan Fast edge directed polynomial interpolation
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
KR100695396B1 (ko) * 2002-12-02 2007-03-16 올림푸스 가부시키가이샤 촬상장치
JP2004193970A (ja) * 2002-12-11 2004-07-08 Sanyo Electric Co Ltd 画像データ処理装置
JP2004229055A (ja) * 2003-01-24 2004-08-12 Pentax Corp 画像処理装置
US7477803B2 (en) 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
KR20050062709A (ko) 2003-12-22 2005-06-27 삼성전자주식회사 디지털 이미지 처리 장치 및 그 방법
EP1705902A4 (en) * 2003-12-26 2008-12-17 Olympus Corp IMAGE INPUT APPARATUS
JP4239094B2 (ja) * 2004-03-03 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4239091B2 (ja) * 2004-02-09 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US20060119724A1 (en) * 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子（上海）有限公司 一种图像缩放方法及图像缩放器系统
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8064110B2 (en) 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
JP4548390B2 (ja) 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP4946581B2 (ja) 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
JP6386301B2 (ja) * 2014-08-28 2018-09-05 株式会社日立国際電気 撮像装置およびその変調度補正方法
DE102016113010A1 (de) * 2015-12-15 2017-06-22 Basler Ag Bestimmung von Helligkeitswerten virtueller Pixel

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0350794B1 (en) 1988-07-13 1996-06-12 Hitachi, Ltd. Misregistration correction for a solid-state image pick-up apparatus
KR940000471B1 (ko) * 1990-09-19 1994-01-21 삼성전자 주식회사 화상처리를 위한 피일드 보간회로 및 방식
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JP2942903B2 (ja) * 1990-11-05 1999-08-30 キヤノン株式会社 ディジタル・カメラ信号処理装置
JP3011479B2 (ja) 1991-05-27 2000-02-21 三洋電機株式会社 撮像装置
JPH0576013A (ja) * 1991-09-12 1993-03-26 Matsushita Electric Ind Co Ltd 撮像装置
JPH05122612A (ja) 1991-10-28 1993-05-18 Olympus Optical Co Ltd 撮像装置
US5289269A (en) 1991-12-27 1994-02-22 Nippon Television Network Corporation Color television camera with details of luminance signal formation
JPH05219512A (ja) * 1992-01-31 1993-08-27 Victor Co Of Japan Ltd 撮像装置
JPH0576013U (ja) * 1992-03-16 1993-10-15 株式会社トーキン ピン端子付コイル
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JPH0799664A (ja) * 1993-09-28 1995-04-11 Sanyo Electric Co Ltd 高精細撮像装置
JPH07236150A (ja) 1994-02-22 1995-09-05 Matsushita Electric Ind Co Ltd 撮像装置
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311969C (zh) * 2000-11-20 2007-04-25 压缩技术公司 优化的图象处理方法及装置
CN100410985C (zh) * 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
CN100433779C (zh) * 2006-04-28 2008-11-12 天津大学 全相位离散余弦变换内插核函数及用于图像分辨率的改变
CN102164246A (zh) * 2011-03-08 2011-08-24 青岛海信移动通信技术股份有限公司 一种移动终端生成满足设定分辨率照片的实现方法及装置
CN109493322A (zh) * 2018-10-16 2019-03-19 沈阳东软医疗系统有限公司 峰值曲线渲染方法及装置
CN109493322B (zh) * 2018-10-16 2021-08-31 东软医疗系统股份有限公司 峰值曲线渲染方法及装置

Also Published As

Publication number Publication date
JPH10150668A (ja) 1998-06-02
JP3787927B2 (ja) 2006-06-21
CN1123211C (zh) 2003-10-01
KR100517391B1 (ko) 2005-11-29
TW376640B (en) 1999-12-11
ID18876A (id) 1998-05-20
MY118915A (en) 2005-02-28
KR19980042697A (ko) 1998-08-17
US6295087B1 (en) 2001-09-25

Similar Documents

Publication Publication Date Title
CN1123211C (zh) 具有插值功能的图像拾取设备和插值方法
CN1173553C (zh) 成像设备
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
CN1147129C (zh) 成像设备和记录/再现设备
CN1992818A (zh) 摄像装置和方法、记录介质以及程序
CN1672403A (zh) 数字静态照相装置、摄像装置和信息终端装置
CN1298158C (zh) 图像拍摄装置和图像质量校正方法
CN1898945A (zh) 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
CN1314266C (zh) 图像拾取设备
CN1426238A (zh) 固态成像设备
CN1867080A (zh) 图像处理装置和图像拾取装置
CN1178488C (zh) 图象记录设备和图像再现设备
CN1184806C (zh) 成像装置和记录/再现装置
JP2012114765A (ja) 撮像制御装置、撮像装置、及び撮像装置の制御方法
US8115826B2 (en) Image processing apparatus, imaging apparatus, method and program
CN101677353A (zh) 视频信号处理设备和方法、图像摄取设备、显示设备
Chan et al. Video CCD based portable digital still camera
CN1572118A (zh) 视频信号处理设备以及视频信号处理方法
CN101953169B (zh) 对ccd图像传感器输出的图像信号执行数字处理的方法
JP4940661B2 (ja) 画像処理装置、画像処理方法および撮像装置
JP2007180893A (ja) 画像処理装置および撮像装置
US8860842B2 (en) Television camera
CN1921568A (zh) 成像设备及图像数据处理方法
CN1722780A (zh) 图像处理装置和方法，记录介质，以及程序
JP2008092472A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20031001

Termination date: 20151118