CN1305297C - 行缓冲器及提供用于颜色内插的行数据的方法 - Google Patents

行缓冲器及提供用于颜色内插的行数据的方法 Download PDF

Info

Publication number
CN1305297C
CN1305297C CNB031546668A CN03154666A CN1305297C CN 1305297 C CN1305297 C CN 1305297C CN B031546668 A CNB031546668 A CN B031546668A CN 03154666 A CN03154666 A CN 03154666A CN 1305297 C CN1305297 C CN 1305297C
Authority
CN
China
Prior art keywords
data
memory
line
image
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031546668A
Other languages
English (en)
Other versions
CN1578399A (zh
Inventor
朴相炫
郑宗植
李堧哲
金江柱
朴亨晚
郭釜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of CN1578399A publication Critical patent/CN1578399A/zh
Application granted granted Critical
Publication of CN1305297C publication Critical patent/CN1305297C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Input (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

一种行缓冲器,以及将该行缓冲器用在图象处理系统,诸如数字照相机中,将数据提供给3×3行内插处理器的方法,包括可读写单个存储器;缓冲寄存器,具有以2m位为单位,存储第一行图象数据的在前数据区,该第一行图象数据已经存储在该存储器中,以及具有以2m位为单位,存储以m位为单位输入的第二行图象数据的当前数据区;以及存储器控制器,为该存储器提供控制允许信号、写允许信号以及表示存储在该缓冲寄存器中的该第一和第二行图象数据的位置的地址、从该存储器读取该第一和第二行图象数据和将该第一和第二行图象数据写在该存储器上,以及输出该第一和第二行图象数据,以及由该图象传感器输入的第三行图象数据。

Description

行缓冲器及提供用于颜色内插的行数据的方法
相关申请的交叉引用
本申请要求2003年6月26日,在韩国知识产权局提交的韩国专利申请NO.2003-042160的优先权,其内容在此合并作为参考。
技术领域
本发明涉及行缓冲器及将数据提供给图象处理器,在具有该图象处理器的系统,诸如数字照相机中执行3×3行内插法,更具体地说,涉及行缓冲器,及将3×3行数据提供给图象处理器的方法,需要图象处理器来使用诸如数字照相机的系统中的单个存储器来执行3×3行内插法,以便降低地址和用于控制单个存储器的存储器控制信号的数量。
背景技术
由于在装置中使用单个电荷耦合装置(CCD)图象传感器,需要具有图象处理的装置,诸如数字照相机来输出有关每个象素的更多的信息以便获得全色图象。需要至少三种类型的数据来生成同样的全色图象。从三个自变量R、G、B值(象素数据)抽取这至少三种类型的数据。与彩色图象一致的传感器(象素),诸如CCD图象传感器具有含安置的象素传感器的滤色阵列(CFA)。由每个安置的传感器生成与R、G、B颜色的一个对应的象素值,使用CFA,由放置在每个安置的传感器附近的相邻的传感器的象素值计算不是从每个安置的传感器抽取的与其他的R、G、B颜色对应的象素值。这在这种装置中是一种公知的通用方法,以及Bayer模式(矩阵)称为CFA。颜色内插或颜色组合(color demisaicing)公知的是由从传感器获得的象素值恢复彩色图象。
执行内插法的内插算法分为非自适应算法和自适应算法。非适应算法的优点在于相对于所有象素,使用固定(不变)模型来执行内插过程,以及降低内插过程中执行的计算操作的数量。相反,自适应算法的优点在于获得好于非自适应算法的彩色图象。然而,由于将位于中心象素附近的相邻象素用来计算与不是从每个传感器抽取的其他R、G、B颜色对应的象素值,因此,在自适应算法中增加了在内插过程中执行的计算操作的数量。
在非自适应算法中执行的内插法包括多数相邻象素内插法、双行内插法、中间值内插法和递增颜色变化内插法。在自适应算法中执行的另一种方法包括重合内插法、使用倾斜比的基于阀值变量(threshold-based variable of inclined ratio)的内插法、边界法以及保存内插法。
CCD图象传感器具有安置在硅晶片上的多个光二极管,以及当接收光时,光二极管将光能转换成电能。互补金属氧化物半导体(CMOS)图象传感器耗费比CCD图象传感器更小的电能并且在尺寸上比CCD图象传感器小。然而,CMOS图象传感器是具有比CCD图象传感器降低图象质量的半导体图象传感器。
图1A至1D是解释Bayer模式的3×3行内插法的视图。当装置接收具有图1A所示的3×3行的Bayer模式时,该装置生成如下所示的R、G和B值。
R=(R1+R2+R3+R4)/4,G=(G1+G2+G3+G4)/4,B=B1
如果该装置接收具有图1B所示的3×3行的Bayer模式,该装置生成如下所示的R、G和B值。
R=(R1+R2)/2,G=G3,B=(B1+B2)/2
如果该装置接收具有图1C所示的3×3行的Bayer模式,该装置生成如下所示的R、G和B值。
R=(R1+R2)/2,G=G3,B=(B1+B2)/2
如果该装置接收具有图1D所示的3×3行的Bayer模式,该装置生成如下所示的R、G和B值。
R=R1,G=(G1+G2+G3+G4)/4,B=(B1+B2+B3+B4)/4
在3×3Bayer模式内插法中,如上所述计算相邻象素的象素值的平均值。在另一种内插法中,去除象素值的最大和最小象素值以便计算相邻象素的平均值。该要求同时将3行图象数据输入到图象处理器中以便图象处理器执行上述内插法。
图2是表示用于将三行图象数据输入图象处理器203以便执行3×3行内插法的结构的框图。
根据垂直和水平同步信号vsync、hsync,将每个具有m位的第一行图象数据从图象传感器201输入到存储器控制器206的行缓冲器202,该图象传感器在每行上具有n个象素。存储器控制器206将输入的第一行图象数据存储在第一存储器204中。将每个具有m位的第二行图象数据从在每行上具有n个象素的图象传感器201输入到存储器控制器206的行缓冲器,存储器控制器206将输入的第二行图象数据存储在第二存储器205中。存储器控制器206将控制允许(CE)信号、写允许信号(WE),以及表示存储第一和第二行图象数据的位置的地址信号(n),以及第一和第二行图象数据传送到第一和第二存储器204、205。
图3A至3D是表示根据图1A至1D所示的Bayer模式,同时将3×3行图象数据输出到图象处理器以便执行3×3行内插法的缓冲器的操作的时序图。
图2和3A至3D表示存储器时钟MLCK、表示由图象传感器201检测的帧的起始点的垂直同步信号VSYNC、以及表示从图象传感器输出的图象数据的每行的起始点的水平同步信号HSYNC。图象数据构成从图象传感器201输入的Bayer模式(矩阵)。每个图象数据的象素值具有m位。在图3A至3D中,当处于高电平时,垂直和水平同步信号VSYNC、HSYNC处于禁止状态,以及当处于低电平时,处于允许状态。如图3A至3D所示,当在第一时间位置t1,垂直同步信号VSYNC处于允许状态时,与单个图象帧一致的图象数据开始从图象传感器201输出。当在第二时间位置t2,水平同步信号HSYNC处于允许状态时,存储器控制器206将WE信号输出到第一存储器204,以及将第一行的R、G和B图象数据从图象传感器201传送到存储器控制器206。存储器控制器206将在第二时间位置t2和第三时间位置t3间输出的R、G和B图象数据存储在第一存储器204中。当在第四时间位置t4,水平同步信号HSYNC处于允许状态时,存储器控制器206将WE信号输出到第一存储器204,以及将第二行的R、G和B图象数据从图象传感器201传送到存储器控制器206。存储器控制器206将在第四时间位置t4和第五时间位置t5间输出的R、G和B图象数据存储在第二存储器205中。将存储在第一存储器204中的第一行图象数据、存储在第二存储器205中的第二行图象数据,以及在第六时间位置t6后输出的第三行的R、G和B图象数据传送到图象处理器203,根据存储器时钟MCLK,图象处理器203执行3×3行内插法。
根据图2所示的结构,该装置需要两个存储器,诸如第一和第二存储器204、205来存储每个具有n个象素的第一行图象数据和第二行图象数据以便提供具有3×3行数据的图象处理器203来执行3×3行内插法。另外,需要CE和WE信号来允许第一和第二存储器204、205,以及需要两个不同的地址信号(2n)来表示位置,其中分别将第一和第二行图象数据存储在第一和第二存储器204、205中。
近来,随着安装在包括图象处理器203的装置,诸如数字照相机或数字照相机-录象机中的象素数量增加,根据安装在包括图象处理器203的装置,诸如数字照相机或数字照相机-录象机中象素数量的增加,要求增加存储器,诸如第一和第二存储器204、205的容量。这导致不仅增加存储器的物理大小,而且增加地址和控制信号,诸如控制第一和第二存储器204、205的CE或WE信号的数量,从而使存储器的使用变得困难。
日本专利公开号No.2000-115480公开了一种在存储器中具有存储由三个图象传感器,以n位为单位输入的图象数据的单元的图象读取装置。在该图象读取装置中,将数据控制器放在图象传感器和存储器之间。将图象数据存储在数据控制器中,以及如果图象数据的数量大于基准数量,将存储在数据控制器中的图象数据输出到存储器,从而降低通过图象读取装置的数据线传送图象数据的时间间隔。在数据线的空闲周期,图象读取装置可使用该数据线来将数据传送到主计算机。
然而,不能将用于执行3×3行内插法的用在图象读取装置中的存储器减小到单个存储器。此外,尽管该图象读取装置降低了由图象数据占用的数据线的时间间隔,但不能简化图象读取装置的存储器的控制。
发明内容
为解决现有技术中的问题,本发明的一个方面是提供一种行缓冲器,该行缓冲器使用单个存储器,将3行数据提供给执行3×3行内插法的图象处理器。
本发明的另一方面是通过降低用于控制行缓冲器内的存储器所需的数量来简化存储器控制,该行缓冲器向执行3×3行内插法的图象处理器提供3行数据。
本发明的另一方面是降低用于控制行缓冲器内的存储器所需的地址数量,该行缓冲器向执行3×3行内插法的图象处理器提供3行数据。
本发明的另外方面和优点将在下面的说明中部分地阐述,以及部分对该说明书来说是显而易见的,或可通过实施本发明了解到。
为实现上述和其他目的,一种用于在图象处理系统中图象数据内插的存储器提供装置,该图象处理系统具有由检测的图象输出行图象数据的图象传感器,包括可读写单个存储器;缓冲寄存器,具有以2m位为单位,存储第一行图象数据的在前数据区,该第一行图象数据已经存储在该存储器中,以及具有以2m位为单位,存储以m位为单位输入的第二行图象数据的当前数据区;以及存储器控制器,为该存储器提供控制允许信号、写允许信号以及表示存储在该缓冲寄存器中的该第一和第二行图象数据的位置的地址、从该存储器读取该第一和第二行图象数据和将该第一和第二行图象数据写在该存储器上,以及输出该第一和第二行图象数据以及由该图象传感器输入的第三行图象数据。
根据本发明的另一方面,该存储器提供装置包括图象信号处理器,当从该存储器控制器接收该第一、第二和第三行图象数据时,执行图象数据内插。
根据本发明的另一方面,该存储器包括4m位存储单元,具有分别以2m位数据的存储单元单位存储的可由存储器控制器读写的上和下区域。
根据本发明的另一方面,存储器控制器包括三条数据传输线,经过三条数据传输线,从所述存储器控制器输出第一、第二和第三行图象数据。
根据本发明的另一方面,该存储器控制器将该控制允许信号和该写允许信号分别控制成允许或禁止,以及当该控制允许信号和该写允许信号分别为允许和禁止时,从该存储器读取该第一行图象数据,以便将该第一行图象数据存储在该缓冲寄存器的该在前数据区,以及该存储器控制器将该控制允许信号和该写允许信号控制成允许,并且以该存储单元单位为单位,将已经存储在该缓冲寄存器中的该第一和第二行图象数据存储在该存储器中。
根据本发明的另一方面,该存储提供装置包括图象信号处理器,使用该第一、第二和第三行图象数据执行3×3行内插;以及第一、第二和第三数据传输线,分别通过该第一、第二和第三数据传输线,由该存储器控制器输出该第一、第二和第三行图象数据,其中按照相同的时钟,该存储器控制器读取存储在该存储器中的第一和第二行图象数据,通过该第一和第二数据传输线,传送该第一和第二行图象数据,以及通过该第三数据传输线,传送从该图象传感器输入的该第三行图象数据。
根据本发明的另一方面,根据相同的时钟信号,该存储器控制器读取存储在该存储器中的第一和第二行图象数据,通过该第一和第二数据传输线,传送该第一和第二行图象数据,以及通过该第三数据传输线,传送从该图象传感器输入的第三行图象数据。
根据本发明的另一方面,该行图象数据包括Bayer模式。
根据本发明的另一方面,该图象传感器包括电荷耦合图象传感器和互补金属氧化物半导体中的一个。
为实现上述和/或其他目的,提出了一种提供用于在图象处理系统中的内插的行数据的方法,该方法包括:将以m位为单位从图象传感器输出的第一行图象数据,以2m位为单位存储在缓冲寄存器的当前数据区中;以2m位为单位,将该缓冲寄存器的该当前数据区的该第一行图象数据存储在存储器中;刷新该缓冲寄存器;以2m位为单位,从该存储器读取该第一行图象数据以便将所读取的第一行图象数据存储在该缓冲寄存器的当前数据区中,以及将以m位为单位从该图象传感器输出的第二行图象数据,以2m位为单位存储在该缓冲寄存器的该当前数据区中;以4m位为单位,将分别存储在该缓冲寄存器的该在前数据区和该当前数据区听该第一行图象数据和该第二行图象数据存储在该存储器中;以及根据相同的时钟信号,将存储在该存储器中的该第一和第二行图象数据以及从该图象传感器输出的第三行图象数据传送到图象信号处理器。
根据本发明的另一方面,传送该第一、第二和第三行图象数据包括使用连接到该存储器的存储器控制器,读取存储在该存储器中的该第一行图象数据;使用该存储器控制器,读取存储在该存储器中的第二行图象数据;以及将从该图象传感器输入的该第三行图象数据以及第一和第二行图象数据经各自的数据传输线输出到该图象信号处理器。
根据本发明的另一方面,传送该第一、第二和第三行图象数据包括使第一和第二数据传输线连接在该存储器和该图象信号处理器之间,以及使第三数据传输线连接在该图象传感器和该图象信号处理器之间,以及按照相同的时钟,通过该第一数据传输线输出该第一行图象数据、通过该第二数据传输线输出该第二行图象数据,以及通过该第三数据传输线输出该第三行图象数据。
根据本发明的另一方面,该存储器具有能存储两行图象数据的容量。
根据本发明的另一方面,该第一、第二和第三行图象数据的每一个包括一系列的象素数据。
附图说明
从下述结合附图的优选实施例的描述,本发明的这些和/或其他优点将变得显而易见并且更容易理解,其中:
图1A至1D是解释Bayer模式的3×3行内插法的视图;
图2是同时将3×3行图象数据输出到图象处理器,以便执行图1A至1D的3×3行内插法的框图;
图3A至3D是表示同时将3×3行图象数据输出到图象处理器以便执行图1A至1D的3×3行内插法的缓冲器操作的时序图;
图4是表示根据本发明的实施例,用于3×3行内插法的存储器装置的框图;
图5是表示存储器和图4所示的存储器装置的存储器控制器间的数据传送的结构;
图6A至6H是表示同时将3×3行图象数据输出到图象处理器以便执行图4的3×3行内插法的存储器装置的操作的时序图。
具体实施方式
现在将详细地参考本发明的优选实施例、附图中示例说明的例子,其中相同的标记表示相同的元件。以下对实施例进行说明,以便通过参考图来说明本发明。
图4是根据本发明的实施例,表示提供用于3×3行内插法的装置的存储器的框图。图5是表示存储器403和提供图4所示的装置的存储器的存储器控制器403间的数据传送的结构。
图象传感器401自动检测图象并存储在每行上具有n个象素的Bayer模式(矩阵)。将行图象数据从图象传感器401通过数据线,以每个象素m位为单位传送到存储器控制器402。在这里,Bayer模式的每个象素具有8位。即,m等于8。当将图象帧的第一行图象数据从图象传感器401输出到存储器控制器402,存储器控制器402将两个象素数据存储在缓冲寄存器(行缓冲器)405的当前数据区3、4。在这里,缓冲寄存器405包括四个数据区1、2、3和4。当存储器403的控制允许(CE)信号和写允许(WE)信号变为允许状态时,将存储在当前数据区3、4内的第一行图象数据从当前数据区传送到存储器403以便存储在存储器403中,然后,刷新缓冲寄存器405。当将第二行图象数据从图象传感器401传送到存储器控制器402时,存储器控制器402将两个象素数据,即2m位,以m位为单位分别存储在当前数据区3、4中。当根据存储器403的读取模式,存储器控制器403控制WE信号变为禁止状态时,将存储在存储器403中的第一行图象数据以2m位为单位传送到存储器控制器402以便将第一行图象数据存储在缓冲寄存器405的在前数据区1、2中。因此,将具有2m位的第一行图象数据存储在缓冲寄存器405的在前数据区1、2中,以及将具有2m位的第二行图象数据存储在缓冲寄存器405的当前数据区3、4中。
存储器控制器402控制WE信号变为允许状态以便允许存储器403,传送分别存储在在前数据区1、2和当前数据区3、4中的第一行图象数据和第二行图象数据以便存储在存储器403中。通过数据线408,将第一行图象数据和第二行图象数据传送到存储器403以便存储在对应于缓冲寄存器405的存储单元409中。存储器控制器402也将表示存储单元409的存储位置的地址传送到存储器403。然后,存储器控制器402刷新缓冲寄存器405。
当经数据线406,将第三行图象数据从图象传感器401输入到存储器控制器402时,根据相同的时钟信号,存储器控制器经数据线411、412、413传送第三行图象数据和存储在存储器403中的第一和第二行图象数据。在接收到经数据线411、412、413,以m位为单位输入的第一、第二和第三行图象数据后,图象信号处理器404执行3×3行内插法。
在提供根据本发明的用于3×3行内插的装置的存储器中,通过缓冲寄存器405,以存储单元为单位,即,4m位为单位,将两个行图象数据传送到存储器。根据图2所示的传统装置,当帧的每行包括n个象素时,由于每个存储器204、205需要n个地址,因此存储器204、205要求2n个地址。相反,根据本发明,在提供用于3×3行内插的装置的存储器中,将图象数据存储在存储器403中所需的地址数降低到n/2。
图6A至6H是表示提供同时将3×3行图象数据输出到图象信号处理器404以便执行图4的3×3行内插法的装置的存储器的操作的时序图。提供装置的存储器的操作将参考图5和6来说明。
将传感器时钟信号SENSOR CLOCK用作用于图象传感器401、存储器控制器402和存储器403的基本时钟。当水平同步信号hsync和WE信号为高信号时,第一行图象数据已经存储在与地址addr0、addr1、addr2、......、addrn/2一致的存储器403的存储单元409的下面区域。当在第一时间,表示帧的起始点的水平同步信号hsync处于允许状态时,以m位为单位,从图象传感器401输出第二行图象数据(dp0、dp1、dp2、dp3、dp4、....)。当输出第二行图象数据的两个象素数据dp01(将象素数据dp0和dp1结合成两个象素数据dp01)时,存储器控制器402控制CE信号在第二时间t2变为允许信号以便允许存储器403,将第一两个象素数据dp01(dp0和dp1)存储在缓冲存储器405的当前数据区3、4,以及将已经存储在具有地址addr0的存储器403的存储器单元409的下面区域中的数据dm0L存储在缓冲寄存器405的在前数据区1、2中。存储器控制器402控制WE信号处于允许状态以便将已经存储在缓冲寄存器405的当前数据区3、4中的两个象素数据dp01(dp0和dp1)以及数据dm0L存储在具有地址addr0的存储单元409的下面区域中。
参考图5、6G和6H所示的时序图,下标“L”表示存储在存储单元409的下面区域中的数据,以及另一下标“H”表示存储在存储单元409的上面区域中的数据。将第二行图象数据的后面的两个象素数据dp23、dp45顺序地存储在具有地址addr1、addr2、addr3、...addrn/2-1的存储器403的存储单元409中。
将存储在确定为缓冲寄存器405的在前数据区1、2的存储单元409的上面区域的第一行图象数据和存储在确定为缓冲寄存器405的当前数据区3、4的存储单元409的下面区域的第二行图象数据,以4m为单位传送到对应于存储单元409的存储器403以便存储在具有地址addr0的存储单元409中。将原始存储在具有地址addr0的存储单元409的下面区域中的数据dm0L存储在具有地址addr0的存储单元409的上面区域中。即,根据本发明的转录规则,使数据dm0L变为dm0H。
因此,将已经存储在存储单元409的下面区域中的第一行图象数据dp01存储在存储单元409的上面区域中作为数据dm0H,以及将第二行图象数据dp01存储在存储单元409的下面区域。然后,刷新存储寄存器405。
用相似的方式,有关同一行图象数据的下一象素数据dp23,将已经存储在存储器403中的数据dm1L通过缓冲寄存器405存储在具有下一地址addr1的存储器403的另一(第二)存储单元(未示出)的上面区域中,以及从图象传感器401接收的下一象素数据dp23存储在另一(第二)存储单元的下面区域中。将已经存储在存储器403中的数据dm2L存储在通过缓冲寄存器405存储在具有另一地址addr2的存储器403的另一(第三)存储单元(未示出)的上面区域中,以及从图象传感器401接收的下一象素数据dp45存储在存储器403的另一(第三)存储单元的下面区域中。用相同的方式,将第二行图象数据存储在存储器403的存储单元409中。在存储单元409,由于存储器403的上面区域包括第一行图象数据dm0L、dm1L、dm2L、...以及存储器403的下面区域包括第二行图象数据dp01、dp23、dp45、...,用于将存储器403中的数据存储在存储单元中所需的地址的数量为n/2,以及第一和第二行图像数据的数目是2/n,并且n是象素的数目。
将存储在具有地址addr0的存储器的存储单元中的第一行图象数据dm0L、从图象传感器401输入的第二行图象数据以及第三行图象数据分别通过数据传输线411、412、413,以m位为单位,输入到图象信号处理器404中。
存储器控制器402读取存储在具有地址addr0的存储器403的存储单元的下面区域中的数据dp01以便将该数据存储在缓冲寄存器405的在前数据区中,并将第三行图象数据的前两个象素数据存储在缓冲寄存器405的当前数据区中。然后,存储器控制器402将存储在缓冲寄存器405的在前和当前数据区中的数据存储到具有地址addr0的存储器403的存储单元中。根据下一时钟,通过数据线411、412、423,以m为单位,将从图象传感器401接收的第四行图象数据、存储在存储器403的地址addr0的第二行的前两个象素数据dp01、第三行的前两个象素数据传送到图象信号处理器404。在图6G和6H中将输入到存储器403和从存储器403输出的数据分别描述为存储器输入和存储器输出。
如上所述,同时将第一、第二和第三行图象数据、第二、第三和第四行图象数据,或第三、第四和第五行图象数据传送到图象信号处理器404。
以相同的方式,将下一数据存储在存储器403中并通过数据传输线411、412、413,以m为单位,传送到图象信号处理器404。
在这里,根据存储器403的最小容量,可将两行的象素数据,即。2n象素数据存储在存储器中。
尽管在存储器控制器402和图象信号处理器404间连接数据传输线411、412、413以便在该规格中传送具有m位的数据,但本发明并不局限于此。可将m数据传输线连接在图象信号处理器404和存储器403和/或图象传感器401之间以便通过存储器控制器402的控制,将数据从存储器传送到图象信号处理器404,而不是将数据从存储器控制器402传送到图象信号处理器404。
尽管如图5所示,将缓冲寄存器405放在存储器控制器402的里面,如果由存储器控制器402有效地控制缓冲器,也可将缓冲寄存器405放在存储器控制器402的外面。
如上所述,根据本发明的数据传送方法,以4m位为单位,将数据存储在存储器中。由于帧的一行具有n个象素,使用n/2地址,传送帧的行的象素数据以便将存储器提供装置内所需的地址的数量降低1/4。另外,由于将单个存储器用在存储器提供装置中,存储提供装置需要控制存储器所需的单个CE信号和单个WE信号,从而降低控制存储器的控制信号的数量。
根据本发明,存储器提供装置和数据传输方法具有将3行数据提供给使用单个存储器,执行3×3行内插法的图象处理器的行缓冲器。
此外,通过降低用于控制将3行数据提供给执行3×3行内插法的图象处理器的行缓冲器中的存储器所需的地址的数量,存储提供装置和数据传送方法能简化存储器控制。
此外,存储提供装置和数据传送方法能降低用于控制将3行数据提供给执行3×3行内插法的图象处理器的行缓冲器中的存储器所需的地址的数量。
尽管已经示出和描述了本发明的几个优选实施例,但是本领域的普通技术人员将意识到,在不脱离本发明的原理和精神、所附的权利要求书和它们的等同物定义的范围的情况下,可对实施例进行改变。

Claims (14)

1.一种用于在图象处理系统中的图象数据内插的存储器提供装置,所述图象处理系统具有由检测的图象输出行图象数据的图象传感器,包括:
可读写单个存储器;
缓冲寄存器,具有以2m位为单位,存储从图象传感器输出的第一行图象数据的在前数据区,所述第一行图象数据已经存储在所述存储器中,以及以2m位为单位,存储以m位为单位输入的从图象传感器输出的第二行图象数据的当前数据区;以及
存储器控制器,通过数据线从所述存储器读取所述第一和第二行图象数据,并将所述第一和第二行图象数据通过数据线写在所述存储器上,以及输出所述第一和第二行图象数据以及由所述图象传感器输入的第三行图象数据,并且通过数据线向所述存储器提供控制允许信号、写允许信号以及表示存储在所述缓冲寄存器中的所述第一和第二行图象数据的位置的地址;
其中m为每个像素中包含的数据位数。
2.如权利要求1所述的装置,进一步包括:
图象信号处理器,当从所述存储器控制器接收所述第一、第二和第三行图象数据时,执行图象数据内插。
3.如权利要求1所述的装置,其中,所述存储器包括:
4m位存储单元,具有分别以2m位的存储器单元单位(a memorycell unit)进行存储的,可由所述存储器控制器读写的上和下区域。
4.如权利要求3所述的装置,其中,所述存储器控制器将所述控制允许信号和所述写允许信号分别控制成允许或禁止,以及当所述控制允许信号和所述写允许信号分别为允许和禁止时,从所述存储器读取所述第一行图象数据,以便将所述第一行图象数据存储在所述缓冲寄存器的所述在前数据区,以及所述存储器控制器将所述控制允许信号和所述写允许信号控制成允许,并且以所述存储单元单位为单位,将已经存储在所述缓冲寄存器中的所述第一和第二行图象数据存储在所述存储器中。
5.如权利要求3所述的装置,进一步包括:
图象信号处理器,使用所述第一、第二和第三行图象数据执行3×3行内插;以及
第一、第二和第三数据传输线,分别通过所述第一、第二和第三数据传输线,由所述存储器控制器输出所述第一、第二和第三行图象数据,
其中按照相同的时钟,所述存储器控制器读取存储在所述存储器中的第一和第二行图象数据,通过所述第一和第二数据传输线,传送所述第一和第二行图象数据,以及通过所述第三数据传输线,传送从所述图象传感器输入的所述第三行图象数据。
6.如权利要求1所述的装置,其中,所述存储器控制器包括:
三条数据传输线,经过所述三条数据传输线,从所述存储器控制器输出所述第一、第二和第三行图象数据。
7.如权利要求1所述的装置,进一步包括:
图象信号处理器,使用所述第一、第二和第三行图象数据执行3×3行内插;以及
第一、第二和第三数据传输线,分别通过所述第一、第二和第三数据传输线,从所述存储器控制器输出所述第一、第二和第三行图象数据,
其中按照相同的时钟,所述存储器控制器读取存储在所述存储器中的第一和第二行图象数据,通过所述第一和第二数据传输线,传送所述第一和第二行图象数据,以及通过所述第三数据传输线,传送从所述图象传感器输入的第三行图象数据。
8.如权利要求1所述的装置,其中,所述第一、第二和第三行图象数据包括:
Bayer模式。
9.如权利要求1所述的装置,其中,所述图象传感器包括:
电荷耦合图象传感器和互补金属氧化物半导体中的一个。
10.一种提供用于在图象处理系统中的内插的行数据的方法,所述方法包括:
将以m位为单位从图象传感器输出的第一行图象数据,以2m位为单位存储在缓冲寄存器的当前数据区中;
以2m位为单位,将所述缓冲寄存器的所述当前数据区的所述第一行图象数据存储在存储器中;
刷新所述缓冲寄存器;
以2m位为单位,从所述存储器读取所述第一行图象数据,以便将所读取的第一行图象数据存储在所述缓冲寄存器的在前数据区中,以及将以m位为单位从所述图象传感器输出的第二行图象数据,以2m位为单位存储在所述缓冲寄存器的所述当前数据区中;
以4m位为单位,将分别存储在所述缓冲寄存器的所述在前数据区和所述当前数据区的所述第一行图象数据和所述第二行图象数据存储在所述存储器中;以及
根据相同的时钟信号,将存储在所述存储器中的所述第一和第二行图象数据以及从所述图象传感器输出的第三行图象数据传送到图象信号处理器;
其中m为每个像素中包含的数据位数。
11.如权利要求10所述的方法,其中,传送所述第一、第二和第三行图象数据包括:
使用连接到所述存储器的存储器控制器,读取存储在所述存储器中的所述第一行图象数据;
使用所述存储器控制器,读取存储在所述存储器中的第二行图象数据;以及
将从所述图象传感器输入的所述第三行图象数据以及第一和第二行图象数据经各自的数据传输线输出到所述图象信号处理器。
12.如权利要求10所述的方法,其中,传送所述第一、第二和第三行图象数据包括:
使第一和第二数据传输线连接在所述存储器和所述图象信号处理器之间,以及使第三数据传输线连接在所述图象传感器和所述图象信号处理器之间,以及
按照相同的时钟,通过所述第一数据传输线输出所述第一行图象数据、通过所述第二数据传输线输出所述第二行图象数据,以及通过所述第三数据传输线输出所述第三行图象数据。
13.如权利要求10所述的方法,其中,所述存储器具有能存储两行图象数据的容量。
14.如权利要求10所述的方法,其中,所述第一、第二和第三行图象数据的每一个包括一系列的象素数据。
CNB031546668A 2003-06-26 2003-08-22 行缓冲器及提供用于颜色内插的行数据的方法 Expired - Fee Related CN1305297C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR42160/2003 2003-06-26
GB42160/2003 2003-06-26
KR1020030042160A KR100771299B1 (ko) 2003-06-26 2003-06-26 색 보간용 라인 버퍼 및 라인 데이터 제공 방법

Publications (2)

Publication Number Publication Date
CN1578399A CN1578399A (zh) 2005-02-09
CN1305297C true CN1305297C (zh) 2007-03-14

Family

ID=33536303

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031546668A Expired - Fee Related CN1305297C (zh) 2003-06-26 2003-08-22 行缓冲器及提供用于颜色内插的行数据的方法

Country Status (5)

Country Link
US (1) US7345701B2 (zh)
JP (1) JP3860808B2 (zh)
KR (1) KR100771299B1 (zh)
CN (1) CN1305297C (zh)
DE (1) DE10334627B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467737A (zh) * 2010-11-04 2012-05-23 扬智科技股份有限公司 用于向量图形的线段对照表产生方法与产生装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233350B2 (en) * 2002-01-05 2007-06-19 Candela Microsystems, Inc. Image sensor with interleaved image output
TWI235961B (en) * 2004-02-02 2005-07-11 Via Tech Inc Method for transmitting image frame
KR100753664B1 (ko) * 2005-09-30 2007-08-31 삼성전기주식회사 해상도 변환장치 및 해상도 변환방법
KR100723046B1 (ko) * 2005-12-27 2007-05-30 엠텍비젼 주식회사 컬러 보간 디스플레이 드라이버, 이미지 처리 장치 및 이의제어 방법
US7777804B2 (en) * 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP2010081024A (ja) * 2008-09-24 2010-04-08 Oki Semiconductor Co Ltd 画像補間処理装置
JP5121671B2 (ja) * 2008-10-30 2013-01-16 株式会社東芝 画像処理プロセッサ
JP5218122B2 (ja) * 2009-02-06 2013-06-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置及びその駆動方法
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
KR101692398B1 (ko) * 2010-08-30 2017-01-03 삼성전자주식회사 디지털 촬영 장치 및 디지털 촬영 장치의 제어 방법
CN101986693A (zh) * 2010-10-27 2011-03-16 格科微电子(上海)有限公司 图像传感器及其工作方法和显示装置
JP6376785B2 (ja) * 2014-03-14 2018-08-22 キヤノン株式会社 撮像装置、および、撮像システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751886A (en) * 1995-06-07 1998-05-12 Olympus Optical Co., Ltd. Video image processing apparatus
JP2000115480A (ja) * 1998-10-09 2000-04-21 Graphtec Corp 画像読取装置
JP2003061005A (ja) * 2001-08-13 2003-02-28 Seiko Epson Corp オーディオ・ビジュアル機器の表示制御回路およびオーディオ・ビジュアル機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093762A (ja) 1996-09-18 1998-04-10 Fuji Photo Film Co Ltd 画像データ記憶方法およびその装置
JP3133702B2 (ja) * 1997-05-30 2001-02-13 三洋電機株式会社 ディジタルスチルカメラ
JP3042459B2 (ja) * 1997-08-25 2000-05-15 日本電気株式会社 映像表示装置
JPH11103407A (ja) * 1997-09-29 1999-04-13 Nec Corp Ccdデータ画素補間回路およびこのccdデータ画素 補間回路を備えたデジタルスチルカメラ
JP4131052B2 (ja) * 1998-07-17 2008-08-13 ソニー株式会社 撮像装置
US6593967B1 (en) * 1998-12-16 2003-07-15 Eastman Kodak Company Electronic camera having dual clocked line memory
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
US6933970B2 (en) * 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
EP1111904A3 (en) 1999-12-20 2005-03-16 Texas Instruments Incorporated Digital camera system and method
US6829016B2 (en) * 1999-12-20 2004-12-07 Texas Instruments Incorporated Digital still camera system and method
JP2002142149A (ja) * 2000-11-06 2002-05-17 Mega Chips Corp 画像処理回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751886A (en) * 1995-06-07 1998-05-12 Olympus Optical Co., Ltd. Video image processing apparatus
JP2000115480A (ja) * 1998-10-09 2000-04-21 Graphtec Corp 画像読取装置
JP2003061005A (ja) * 2001-08-13 2003-02-28 Seiko Epson Corp オーディオ・ビジュアル機器の表示制御回路およびオーディオ・ビジュアル機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467737A (zh) * 2010-11-04 2012-05-23 扬智科技股份有限公司 用于向量图形的线段对照表产生方法与产生装置
CN102467737B (zh) * 2010-11-04 2015-05-13 扬智科技股份有限公司 用于向量图形的线段对照表产生方法与产生装置

Also Published As

Publication number Publication date
CN1578399A (zh) 2005-02-09
JP3860808B2 (ja) 2006-12-20
DE10334627A8 (de) 2005-07-21
DE10334627A1 (de) 2005-01-27
US7345701B2 (en) 2008-03-18
KR20050001821A (ko) 2005-01-07
JP2005018730A (ja) 2005-01-20
KR100771299B1 (ko) 2007-10-29
DE10334627B4 (de) 2007-03-01
US20040263650A1 (en) 2004-12-30

Similar Documents

Publication Publication Date Title
CN1305297C (zh) 行缓冲器及提供用于颜色内插的行数据的方法
CN103297715B (zh) 固体摄像装置及电子设备
CN101860688B (zh) 固态摄像器件和相机系统
US8754956B2 (en) Pseudo-digital average sub sampling method and apparatus
US9749569B2 (en) High speed rolling image sensor with ADM architecture and method of implementing thereof
CN109922284B (zh) 图像感测系统及其操作方法
CN201937742U (zh) 一种高速图像采集系统
US10277807B2 (en) Image device and method for memory-to-memory image processing
US6593965B1 (en) CCD data pixel interpolation circuit and digital still camera equipped with it
JP2004304387A (ja) 画像処理装置
US8305383B2 (en) Data access apparatus and method
US20130169758A1 (en) Three-dimensional image generating device
KR101068829B1 (ko) 촬상 장치 및 이미지 회전 처리 방법
TWI709339B (zh) 用於多晶圓影像感測器的具有同時讀取和寫入功能的dram及其方法
JP3776513B2 (ja) 画像処理装置
CN1081368C (zh) 实现邻域图象数据并行存取的方法及邻域图象帧存储体
CN111696024B (zh) 一种基于fpga的红外图像的镜像方法及装置
CN116112616A (zh) 基于fpga的数字图像椒盐噪声处理系统
JPH022188B2 (zh)
JPH11191866A (ja) 欠陥画素補間装置、撮像装置及びコンピュータ読み取り可能な記憶媒体
JPH03232039A (ja) メモリカード装置
JPS61276480A (ja) 画像信号補正装置
JPS62229377A (ja) 画像用記憶装置
JPH09307821A (ja) 撮像素子及び当該撮像素子を備えた撮像装置
JP2006163464A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070314

Termination date: 20130822