CN1263282C - 在图象传感器和图象处理器之间进行接口的装置和方法 - Google Patents
在图象传感器和图象处理器之间进行接口的装置和方法 Download PDFInfo
- Publication number
- CN1263282C CN1263282C CNB031278140A CN03127814A CN1263282C CN 1263282 C CN1263282 C CN 1263282C CN B031278140 A CNB031278140 A CN B031278140A CN 03127814 A CN03127814 A CN 03127814A CN 1263282 C CN1263282 C CN 1263282C
- Authority
- CN
- China
- Prior art keywords
- signal
- information
- image
- sensor
- presentation manager
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
一种图象处理系统的接口装置，包括：图象传感器，感知图象；图象处理器，处理感知的图象来输出图象数据；以及传感器接口，连接在图象传感器和图象处理器之间。该传感器接口包括：传感器类型寄存器，存储关于图象传感器的信息；微型计算机，在传感器类型寄存器中存储信息来控制图象传感器；以及传感器信号处理器，从图象传感器接收对应于感知的图象的信号，根据存储在传感器类型寄存器中的信息，将信号转换成为图象处理器处理的修改的信号，以输出图象数据，并且将修改的信号传递到图象处理器。
Description
技术领域
本发明涉及图象处理器和图象传感器之间连接的接口装置以及其接口的方法，并且具体地，涉及用于采用从图象传感器输出的输出信号，将图象传感器的输出信号转换成为将通过图象处理器处理的图象处理数据，而不需要根据图象传感器的输出信号来改变诸如数字照相机的图象处理器的设计的接口装置和接口方法，从而减少了根据图象传感器输出的输出信号，以不同的方法重新设计图象处理器所需消耗的时间和高昂的费用，其中图象传感器根据制造商和产品型号而彼此不同。
背景技术
通常，包括图象处理系统的装置或者系统，诸如数字照相机，从图象传感器经过镜头传感的图象获得模拟图象数据，将模拟图象数据转换成为数字图象数据，并且根据每一帧产生同步信号，从而将数字数据传递到图象处理器。基于同步信号，图象处理单元从图象传感器接收象素数据，使用图象压缩编码，例如，JPEG或者MPEG编码，将象素数据转换成为格式数据来产生编码的图象数据，并且将通过图象压缩编码编码的编码的图象数据通过主接口发送到数字照相机的存储器或者显示装置。
在包括图象处理单元的装置或者系统中使用的图象传感器是电荷耦合器件(CCD)图象传感器和互补金属氧化物半导体(CMOS)图象传感器，它们将光信号转换成为电信号。
CCD图象传感器包括多个连接到多个放置在硅晶片上的微型金属电极的光二极管，以在光二极管接收光的时候，将光能转化成为电能。光二极管位于对应于各象素的位置上，产生将通过垂直传送CCD和水平传送CCD用高势差传送到放大器的电荷。尽管在采用CCD图象传感器的装置或者系统中的能量消耗增加了，但是从图象传感器产生的信号具有高信噪比(SN)，并且装置和系统具有这样的特性，即，信号是均匀放大的。
CMOS图象传感器包括光二极管和放大器，位于每一个图象象素上。尽管CMOS图象传感器的能量消耗小于CCD图象传感器，并且在尺寸上比CCD图象传感器小，但是图象质量恶化了。
由于有各种的CCD图象传感器和CMOS图象传感器，图象处理器的的接口和特性根据图象传感器类型和图象传感器的制造商而不同。因此，图象处理器应该根据特定的图象传感器来设计为并且制造，并且需要根据另外的特定图象传感器而重新设计，以在由于特定的图象传感器的短缺或者不能得到的时候，用来替代该特定的图象传感器，从而处理从另外的并且具有不同于特定的图象传感器的特性的特定的图象传感器输出的数据。
日本专利公开第2003-46878号公开了一种定时产生装置，根据CCD图象传感器，产生各种类型的用于对应的CCD图象传感器的象素信号的定时信号。根据上述的专利公开，定时信号被产生来对应于各CCD图象传感器，它们产生不同类型的定时信号，以根据定时信号处理象素数据。但是，还有定时信号以及其他的数据和同步信号有待处理，并且根据图象传感器的制造商和产品型号，大多数的定时信号、其他数据和同步信号是彼此不同的。上述的专利公开中的定时产生装置具有对应于各种图象传感器的局限性。但是，采用定时产生装置的图象处理系统需要根据图象处理系统中使用的图象传感器来重新设计。
图1示出了数字照相机的传统的图象信号系统的结构图。如图1所示，图象传感器11通过镜头10感知的图象通过位于图象传感器11中的A/D转换器被转换成为图象信号，并且图象信号被传递到图象处理器12。如果图象传感器11没有包括图象处理器12，则图象信号从图象传感器11作为拜尔(Bayer)彩色滤镜阵列样式而传递到图象处理器12。
图象处理器12采用彩色滤镜阵列内插(color filter arrayinterpolation)、彩色阵列转化、彩色校正和彩色加强功能处理图象信号。用作每个图象帧的同步信号包括垂直同步信号vsync，代表图象帧的起点，水平同步信号hsync，代表图象帧的每线象素的激活状态，以及象素时钟信号pixel_clock，代表象素数据的同步信号。图象信号被作为对应于图象的象素数据pixel_data传递到图象处理器。
在图象处理器12中处理的图象数据被转换成为CCIR656或者CCIR601格式(YUV间隔)数据的格式数据，并且格式数据被传递到图象编码(MPEG或者JPEG编码)单元13，作为将在图象编码处理中进行处理的YUV 4:2:2类型信号或者YUV4:2:0类型信号。
编码的图象数据(编码的帧数据)被存储在帧缓冲器14中，并且被传递到存储装置，诸如数字照相机或者个人计算机，或者通过主接15的显示装置，诸如数字照相机或者个人计算机。
在多数的图象传感器中，图象传感器输出信号包括垂直同步信号vsync，水平同步信号hsync，象素时钟信号pixel_clock，以及控制图象传感器11的双向输入和输出信号。这些信号被用于在诸如数字照相机的装置或者系统中的图象传感器11和图象处理器12之间进行接口。
图7示出了根据制造商和产品型号，由图象传感器处理的数据规格。参照图7，根据图象传感器的制造商和产品型号，处理的数据的标准是彼此不同的。
图2示出了表示从图象传感器11发送信号到图象处理器12的图1示出的传统的图象信号处理系统中的结构的框图。包括垂直同步信号vsync，水平同步信号hsync，象素时钟信号pixel_clock，以及双向输入和输出信号的信号根据图象传感器11的制造商和产品型号而彼此不同。
如果图象处理器12包括在图象传感器11中，则图象传感器11的输出是处理的格式数据，例如CCIR656或者CCIR601格式(YUV间隔)数据。此时，图象处理器12用作转换器，将格式数据转换成为输入到图象编码单元13中的输入数据。多个内寄存器位于图象传感器11中，通过两个或者三个导线采用串联的通信方式连接到象素传感器，以便图象数据写入到图象传感器11的内寄存器或者从其中读出。由于图象的特性根据图象写入到图象传感器11的内寄存器的方式而不同，确定写入到图象传感器11的内寄存器中的图象数据对于控制图象的特性是非常重要的因素。
如上所述，在垂直同步信号vsync、水平同步信号hsync、以及作为图象帧的同步信号的象素时钟信号pixel_clock、象素阵列的维数pixel_array、在图象传感器11中存在的图象处理器12、拜尔彩色滤镜阵列样式的不同类型的数量之间的差异，以及控制图象传感器11的串行通信方法之间的不同根据制造商而变化。因此，诸如数字照相机的装置和系统的图象处理器12需要根据特定的图象传感器11来重新设计。
当需要改变将在上述的装置中使用的图象传感器11的情况下，图象处理器12必须根据在图象传感器11和图象处理器12之间传递的信号的改变而重新设计，尽管图象处理运算基本上不会变化。由于多数的图象处理系统是形成在大规模集成电路(LSI)当中的，所以需要大量的花费和时间在重新设计和制造图象处理器12上。
发明内容
为了解决上述的和/或者其他的问题，本发明的一个方面是提供一种接口装置和方法，来在具有图象传感器和图象处理器的图象处理系统中的图象传感器和图象处理器之间接口，以适合具有根据图象传感器的制造商和产品型号而不同的各种图象传感器。
本发明的另一个方面是提供一种接口装置和方法，来在将用于任一种不同类型的图象传感器的图象处理系统中的图象传感器和图象处理器之间接口，而不用重新设计图象处理器，来对应图象传感器，以便降低诸如数字照相机的图象处理系统的制造时间和花费。
本发明的另外的方面和优点，一部分将在下面进行说明，一部分将通过说明而显见或者可以通过本发明的实践来领悟到。
为了实现本发明的上述的和/或其他的方面，接口装置和方法可以用于不同类型的图象传感器，它们彼此根据图象传感器的制造商而不同，以对应与图象处理系统中的图象传感器。
该接口装置位于包括感知图象的图象传感器的图象处理系统中的图象传感器和图象处理器之间，图象处理器处理感知的图象来输出图象数据，以及传感器接口，连接在图象传感器和图象处理器之间。该传感器接口包括传感器类型寄存器，存储关于图象传感器的信息，微型计算机(micom)，在传感器类型寄存器中存储信息来控制图象传感器，以及传感器信号处理器，从图象传感器接收对应于感知的图象的信号，根据存储在传感器类型寄存器中的信息，将信号转换成为图象处理器处理的修改的信号，以输出图象数据，并且将修改的信号传递到图象处理器。
根据本发明的另一个方面，信号包括垂直同步信号、水平同步信号、象素时钟信号和象素数据。
根据本发明的另一个方面，存储在传感器类型寄存器中的信息包括：垂直同步信号、水平同步信号和象素时钟信号的极性信息、图象处理器的图象信号处理(ISP)模式信息和样式信号信息、感知的图象的水平尺寸信息以及感知的图象的垂直尺寸信息。
根据本发明的另一个方面，传感器类型寄存器包括传感器信号寄存器、水平尺寸寄存器和垂直尺寸寄存器。
根据本发明的另一个方面，传感器信号寄存器存储极性信息和图象信号处理(ISP)模式信息，水平尺寸寄存器存储水平尺寸信息，并且垂直尺寸寄存器存储垂直尺寸信息。
根据本发明的另一个方面，传感器信号处理器包括：第一多路复用器，将从图象传感器传递的垂直同步信号的极性根据存储在传感器类型寄存器中的垂直同步信号的极性信息进行转化或者非转化；第二多路复用器，根据图象处理器的图象信号处理(ISP)模式信息输出第一多路复用器的输出或者低状态信号到图象处理器；第三多路复用器，将从图象传感器传递的水平同步信号的极性根据存储在传感器类型寄存器中的水平同步信号的极性信息进行转化或者非转化；第四多路复用器，根据图象处理器的图象信号处理(ISP)模式信息输出第三多路复用器的输出或者低状态信号到图象处理器；第五多路复用器，将从图象传感器传递的象素时钟信号的极性根据存储在传感器类型寄存器中的象素时钟信号的极性信息进行转化或者非转化；第六多路复用器，根据图象处理器的图象信号处理(ISP)模式信息输出第五多路复用器的输出或者低状态信号到图象处理器；第七多路复用器，根据图象处理器的图象信号处理(ISP)模式信息输出象素数据信号或者低状态信号到图象处理器。
根据本发明的另一个方面，微型计算机采用在微型计算机和图象传感器之间传递的通用输入/输出信号与图象传感器进行通信。
为了实现本发明的上述的和/或其他的方面，一种在图象处理系统中进行图象传感器和图象处理器的接口方法，包括：在传感器类型寄存器中存储有关图象传感器的信息；从图象传感器接收信号；根据存储在传感器类型寄存器中的信息，将从图象传感器输出的信号转换成为图象数据；以及将转换的图象数据发送到图象处理器。
根据本发明的另一个方面，信号包括垂直同步信号、水平同步信号、象素时钟信号和象素数据。
根据本发明的另一个方面，存储在传感器类型寄存器中的信息包括：垂直同步信号、水平同步信号、和象素时钟信号的极性信息、图象处理器的图象信号处理(ISP)模式信息和样式信号信息、感知的图象的水平尺寸信息以及感知的图象的垂直尺寸信息。
根据本发明的另一个方面，传感器类型寄存器包括传感器信号寄存器、水平尺寸寄存器和垂直尺寸寄存器。
根据本发明的另一个方面，在传感器类型寄存器中存储关于图象传感器的信息包括：在传感器信号寄存器中存储极性信息和图象信号处理(ISP)模式信息，在水平尺寸寄存器中存储水平尺寸信息，并且在垂直尺寸寄存器中存储垂直尺寸信息。
根据本发明的另一个方面，根据存储在传感器类型寄存器中的信息，将图象传感器输出的信号转换成为图象数据包括：将从图象传感器传递的垂直同步信号的极性根据存储在传感器类型寄存器中的垂直同步信号的极性信息进行转化或者非转化；根据图象处理器的图象信号处理(ISP)模式信息输出转化或者非转化的垂直同步信号或者低状态信号到图象处理器；将从图象传感器传递的水平同步信号的极性根据存储在传感器类型寄存器中的水平同步信号的极性信息进行转化或者非转化；根据图象处理器的图象信号处理(ISP)模式信息输出转化或者非转化的水平同步信号或者低状态信号到图象处理器；将从图象传感器传递的象素时钟信号的极性根据存储在传感器类型寄存器中的象素时钟信号的极性信息进行转化或者非转化；根据图象处理器的图象信号处理(ISP)模式信息输出转化或者非转化的象素时钟信号或者低状态信号到图象处理器；以及，根据图象处理器的图象信号处理(ISP)模式信息输出象素数据信号或者低状态信号到图象处理器。
附图说明
本发明的这些和其他的优点将通过下面结合附图的对于优选实施例的说明而变得更加明了，其中：
图1示出了传统的图象信号处理系统的结构；
图2示出了将信号从图象传感器传递到图象处理器的传统的图1中的图象信号处理系统的结构的框图；
图3示出了根据本发明的实施例的连接到图象信号处理系统的图象传感器和图象处理器之间的传感器接口；
图4A、4B和4C示出了图3中的图象信号处理系统的传感器类型寄存器的结构；
图5示出了图3中的传感器接口的内部结构；
图6示出了图3中的图象处理器的结构；并且
图7示出了根据制造商和产品型号的图象传感器处理的数据规格。
具体实施方式
现在将参照附图详细地说明本发明的优选实施例，其中相同的参考编号用于在整个附图中的相同的部分。该下面说明的实施例是为了参照附图解释本发明。
图3示出了根据本发明的实施例的连接到图象信号处理系统中的图象传感器301和图象处理器303之间的传感器接口302。
参照图3，传感器接口302位于图象传感器301和图象处理器303之间。传感器接口包括传感器信号处理器304、传感器类型寄存器305以及微型计算机306。
图象处理器303包括微型处理器，进行处理信号的功能，并且图象处理器303的微型处理器可以执行微型计算机306的功能。尽管图3示出了微型计算机306是与图象处理器303分开的，但是图象处理器303的微型处理器可以通过存储在包含在图象处理器303中的特定的处理器或者存储器中的程序来执行图象接口302的微型计算机的功能，而不必为传感器接口302提供特定的执行微型计算机306的功能的处理器和存储器。
图象通过镜头(未示出)被图象传感器301感知，以便产生模拟图象数据。模拟图象数据被A/D转换器转换成为数字数据，并且产生对应于每个帧的同步信号，以便发送到图象处理器303。该图象处理器303从图象传感器301基于同步信号接收数字数据，并且将数字数据转换成为将在编码处理单元(未示出)中采用图象编码过程处理的格式数据(图象数据)。从图象传感器301输出的信号包括垂直同步信号vsync，代表图象帧的起点，水平同步信号hsync，代表图象帧的每线象素的激活状态，象素数据(数字数据)信号pixel_data，代表从每个图象象素输出的数据，以及象素时钟信号pixel_clk，代表象素数据信号pixel_data的同步。
从图象传感器301输出的包括垂直同步信号vsync，水平同步信号hsync，以及象素时钟信号pixel_clk的信号，与同步信号同步，并且这些信号包括这样的信息，该信息代表每个帧是用于每个帧的同步的低和高信号或者上升和下降沿中的一个。象素数据信号pixel_data包括从各自的样式象素传递的数据。
垂直同步信号vsync，水平同步信号hsync，以及象素时钟信号pixel_clk从图象传感器在输入到图象处理器之前，输出到传感器接口302的传感器信号处理器304中。
微型计算机306包括处理器和可读/可写存储器，例如RAM，并且可读/可写存储器存储关于图象传感器301的数据以及控制图象传感器301的程序，用于图象信号处理系统。根据在图象信号处理系统中使用的图象传感器301，将信息进行改变以表示安装在图象信号处理系统中的图象传感器301。并且将程序也进行改变，以控制安装在图象信号处理系统中的图象传感器301。图象传感器301的每个图象象素的内部操作是通过微型计算机306控制的通用的输入/输出(GPIO)信号来控制的。该GPIO信号包括两个或者三个线信号，并且包括同步时钟信号和数据信号，来进行写/读操作。这些信号是双向信号，是由微型计算机306控制的，以便适应地对应与具有不同的特性的不同的图象传感器中的一个。
微型计算机306将关于图象传感器301的信息写入(存储)到传感器类型寄存器205中，该传感器信号处理器304将与安装在图象信号处理系统中的图象传感器301兼容的垂直同步信号vsync，水平同步信号hsync，象素时钟信号pixel_clk，以及象素数据信号pixel_data进行改变。如图3所示，改变的垂直同步信号vsync、改变的水平同步信号hsync、改变的象素时钟信号pixel_clk、以及改变的象素数据信号pixel_data被输入到图象处理器中。
样式信号“样式”通知图象处理器303一种从图象传感器301输出的样式的类型。当图象传感器301不包括特定的图象处理器的情况下，样式信号“样式”代表从传感器类型寄存器305输出到图象处理器303的信号是拜尔样式。该拜尔样式包括下面的样式。
00：rgrgrg......
bgbgbg......
01：bgbgbg......
grgrgr......
10：gbgbgb......
rgrgrg......
11：grgrgr.........
bgbgbg......
在另一种情况下，图象传感器301包括特定的图象处理器的时候，样式信号“样式”表示从传感器类型寄存器305传递到图象处理器303的信号是YUV样式。该样式信号“样式”包括关于YUV样式的信息。
传感器类型寄存器305在图4A示出的块[b1:b0]中存储关于样式信号“样式”的信息。微型计算机306将存储在传感器类型寄存器305中的信息作为样式信号“样式”传递到图象处理器303。存储在传感器类型寄存器305中的关于图象尺寸的信息被从传感器类型寄存器305传递到图象处理器303。关于图象尺寸的信息包括水平尺寸信号“宽度”，它代表图象的水平尺寸信息，以及垂直尺寸信息“高度”，它代表图象的垂直尺寸信息。
图象处理器303，通过处理改变垂直同步信号vsync_1、改变的水平同步信号hsync_1、以及改变的象素时钟信号pixel_clk_1和改变的象素数据信号pixel_data_1，产生另一个垂直同步信号vsync_2，另一个水平同步信号hsync_2，以及作为用于图象编码过程的图象信号编码单元的输入的亮度和色度信号Ycbor和YUV。
图4A、4B和4C示出了图3中的图象信号处理系统的传感器类型寄存器305的传感器信号寄存器401、水平尺寸寄存器402和垂直尺寸寄存器403的结构。
如图4A、4B和4C所示，极性样式存储在传感器信号存储器401中的块[b1:b0]中，多个象素时钟pixel_clock存储在传感器信号存储器401的块b2中，多个垂直同步信号vsync存储在传感器信号寄存器401的块b3中，多个水平同步信号hsync存储在传感器信号寄存器401的块b4中，图象信号处理(ISP)模式(图象处理器303的操作模式或者表示是否图象处理器303是在接通状态或者断开状态的的信息)存储在传感器信号寄存器401的块b5中。水平尺寸寄存器402存储图象的水平尺寸信息“宽度”，并且垂直尺寸寄存器403存储图象的垂直尺寸信息“高度”。尽管在图4A、4B、4C中示出了传感器类型寄存器305的传感器信号寄存器401、水平尺寸寄存器402和垂直尺寸寄存器403的上述结构，但是本发明并不局限于此。
图5示出了图3中的传感器接口302的内部结构。参照图5，下面将详细地说明在传感器接口302中进行的信号转换处理。
表示图象的起点的垂直同步信号vsync通过第一多路复用器502采用存储在如图4A所示的传感器类型寄存器305中的传感器信号寄存器401的块b3中存储的垂直同步信号vsync的极性作为第一控制信号501，进行转换或者非转换，从而输出信号i_vsync，它是垂直同步信号vsync的转换(极性转换的)信号以及非转换(非极性转换的)的信号中的一个。例如如果控制信号501是高信号，则垂直同步信号vsync通过或者没有改变为转换的信号，并且如果控制信号501是低信号，则垂直同步信号vsync改变为转换的信号。信号i_vsync被旁通，以便通过第二多路复用器502，采用存储在图4A中的传感器信号寄存器401的块b5中存储的ISP模式信号作为控制信号，以改变的垂直同步信号vsync_1信号或者成为低电平状态(被接地)输出。即，当ISP模式信号在接通状态的时候，信号i_vsync被旁路通过，以传递到图象处理器303，并且在ISP模式信号在断开状态的时候，i_vsync为低电平状态(接地)。
代表帧内的每线图象的激活状态的水平同步信号hsync通过第三多路复用506采用存储在如图4A所示的传感器信号寄存器401的块b4中存储的水平同步信号hsync的极性作为第二控制信号505，进行转换或者非转换成为转换的(极性转换的)信号或者非转换的(极性非转换的)信号，从而输出信号i_hsync，它是水平同步信号hsync的转换(极性转换的)信号以及非转换(非极性转换的)的信号中的一个。例如，如果第二控制信号505是高信号，则水平同步信号hsync旁通(传递)而没有被转换，并且如果控制信号505是低信号，则水平同步信号hsync被转换。信号i_hsync被旁通(未转换)，以便通过第四多路复用器508，采用存储在图4A中的传感器信号寄存器401的块b5中存储的ISP模式信号作为控制信号，以改变的水平同步信号hsync_1信号或者成为低电平状态(被接地)输出。即，当ISP模式信号在接通状态的时候，信号i_hsync被旁路通过，以传递到图象处理器303，并且在ISP模式信号在断开状态的时候，i_hsync为低电平状态(接地)。
表示图象象素的象素数据的同步的象素时钟信号pixel_clk通过第五多路复用510采用存储在如图4A所示的传感器信号寄存器401的块b2中存储的象素时钟信号pixel_clk的极性作为第三控制信号511，进行转换或者非转换成为转换的(极性转换的)信号或者非转换的(极性非转换的)信号，从而输出信号i_pixel_clk，它是象素时钟信号pixel_clk的转换(极性转换的)信号以及非转换(非极性转换的)的信号中的一个。例如，如果第三控制信号511是高信号，则象素时钟信号pixel_clk旁通(传递)而没有被转换，并且如果第三控制信号511是低信号，则象素时钟信号pixel_clk被转换。信号i_pixel_clk被旁通(未转换)，以便通过第六多路复用器512，采用存储在图4A中的传感器信号寄存器401的块b5中存储的ISP模式信号作为控制信号，以改变的象素时钟信号pixe_clk_1信号或者成为低电平状态(被接地)输出。即，当ISP模式信号在接通状态的时候，象素时钟信号pixel_clk被旁路通过，以传递到图象处理器303，并且在ISP模式信号在断开状态的时候，信号pixel_clk为低电平状态(接地)。象素数据信号pixel_data通过第七多路复用器514采用存储在如图4A所示的传感器信号寄存器401的块b5中存储的象素数据信号pixel_data的极性作为第四控制信号513，进行转换或者非转换成为转换的(极性转换的)信号或者非转换的(极性非转换的)信号，从而输出改变的象素数据信号pixel_data_1，它是象素数据信号pixel_data的转换(极性转换的)信号以及非转换(非极性转换的)的信号中的一个。即，当ISP模式信号在接通状态的时候，象素数据信号pixel_data被旁路通过，以传递到图象处理器303，并且在ISP模式信号在断开状态的时候，象素数据信号pixel_data为低电平状态(接地)。
存储在如图4所示的传感器类型寄存器305的传感器信号寄存器401的块[b0:b1]内的内插值被作为样式信号“样式”传递到图象处理器303。该样式信号“样式”是图象传感器301的拜尔样式，并且当存储在传感器信号寄存器401中的ISP模式信号为接通状态的时候变得显著。
水平尺寸信号“宽度”是存储在如图4B所示的传感器类型寄存器305中的水平维数寄存器402的块[b15:b0]内的值，以便传递到图象处理器303以表示帧的水平尺寸，其中图象传感器301处于激活状态。
垂直尺寸信号“高度”是存储在如图4C所示的传感器类型寄存器305中的垂直维数寄存器305的块[b15:b0]内的值，以便传递到图象处理器303，以表示帧的垂直尺寸，其中图象传感器301处于激活状态。
微型机计算机306存储对应于图象传感器301的特性的值，它目前应用在图象处理器系统中、在传感器类型寄存器305中，并且采用双向通信，通过通用输入/输出(GPIO)信号控制目前使用的图象传感器。
图6示出了图3中的图象处理器303的结构。参照图6，下面将详细说明在图象处理器303中的图象信号处理操作。
从传感器接口203输出的改变的垂直同步信号vsync_1、改变的水平同步信号hxync_1、改变的象素时钟信号pixel_clk_1、改变的样式信号“样式”、以及改变的象素数据信号pixel_data被传递到图象处理器303。改变的垂直同步信号vsync_1、改变的水平同步信号hxync_1、改变的象素时钟信号pixel_clk_1、改变的样式信号“样式”、以及改变的象素数据信号pixel_data被临时存储在线缓冲器601中，以便在内插过程中使用。
内插单元602将具有拜尔样式的从线缓冲器601接收到的象素数据转换成为另外的具有RGB样式的数据。该RGB样式的数据被彩色处理器603处理，以便转换成为另一种数据，诸如作为另一种象素数据信号pixel_data2传递到另一个多路复用器604的YcbCr或者YUV信号。
多路复用器604采用存储在图4A中的传感器信号寄存器401的块b5中的ISP模式信号作为控制信号，来选择象素数据信号pixel_data。该选择的象素数据信号pixel_data被发送到YCbCr/YUV格式器605。例如，如果ISP模式信号处于接通状态，则选择另一个被彩色处理器603处理的象素数据信号pixel_data2作为YCbCr/YUV格式器605的输入，并且如果ISP模式信号处于断开状态，则选择从图象传感器301输出的象素数据信号pixel_data作为YCbCr/YUV格式器605的输入。
YCbCr/YUV格式器605产生最终的图象处理器303的输出信号。当ISP模式信号处于接通状态的时候，YCbCr/YUV格式器605接收改变的垂直同步、水平同步和象素数据信号vsync_1、hsync_1、pixel_clk_1和改变的象素数据信号pixel_datal作为输入信号，并且当ISP模式信号处于断开状态的时候，YCbCr/YUV格式器605接收没有被ISP处理操作处理的i_vsync、i_hsync、i_pixel_clk和象素数据信号pixel_data作为输入信号。此外，YCbCr/YUV格式器605接收存储在传感器类型寄存器305中的垂直和水平尺寸信号“高度”和“宽度”作为输入信号。
YCbCr/YUV格式器605产生改变的象素数据信号pixel_data_3，诸如对应于CCRI656类型或者CCIR601类型的YcbCr4:2:2格式信号或者YcbCr4:2:0格式信号，或者MPEG或者YPEG格式信号，以及改变的帧的垂直和水平同步信号vsync_2和hsync_2。
如上所述，根据位于图象传感器和图象处理器之间的接口装置和在其间进行的接口方法，本发明的图象处理系统可以适合地对应于目前应用在图象处理系统中的，并且具有根据图象传感器的制造商和产品型号的不同类型的图象传感器中的一种的图象传感器
在根据本发明的方面的位于图象传感器和图象处理器之间的接口装置和在其间进行的接口方法中，图象处理器可以对应于任一种不同类型的图象传感器，以适应地处理从图象传感器输出的信号，从而避免了重新设计图象处理器的额外的重新设计过程来对应在图象处理系统中使用的图象传感器，并且降低了图象处理系统的制造时间和成本。
尽管示出并且说明了本发明的优选实施例，但是本领域中的普通技术人员可以理解，在不脱离本发明的所附的权利要求书及其等同物所限定的本发明的范围内可以对实施例进行修改。
Claims (11)
1.一种图象处理系统中的接口装置，包括：
图象传感器，感知图象；
图象处理器，处理感知的图象来输出图象数据；以及
传感器接口，连接在图象传感器和图象处理器之间，该传感器接口包括：
传感器类型寄存器，存储关于图象传感器的信息；
微型计算机，在传感器类型寄存器中存储信息来控制图象传感器；以及
传感器信号处理器，从图象传感器接收对应于感知的图象的信号，根据存储在传感器类型寄存器中的信息，将信号转换成为图象处理器处理的修改的信号，以输出图象数据，并且将修改的信号传递到图象处理器；
其中，信号包括垂直同步信号、水平同步信号、象素时钟信号和象素数据。
2.根据权利要求1所述的接口装置，其中，存储在传感器类型寄存器中的信息包括：
垂直同步信号、水平同步信号和象素时钟信号的极性信息；
图象处理器的图象信号处理模式信息和样式信号信息；
感知的图象的水平尺寸信息；以及
感知的图象的垂直尺寸信息。
3.根据权利要求1所述的接口装置，其中，传感器类型寄存器包括：
传感器信号寄存器；
水平尺寸寄存器；和
垂直尺寸寄存器。
4.根据权利要求3所述的接口装置，其中，信号包括：垂直同步信号、水平同步信号、象素时钟信号；
信息包括：垂直同步信号、水平同步信号和象素时钟信号的极性信息、图象处理器的图象信号处理模式信息、感知的图象的水平尺寸信息、以及感知的图象的垂直尺寸信息；
传感器信号寄存器存储极性信息和图象信号处理模式信息；
水平尺寸寄存器存储水平尺寸信息；并且
垂直尺寸寄存器存储垂直尺寸信息。
5.根据权利要求1所述的接口装置，其中，信号包括：垂直同步信号、水平同步信号、象素时钟信号、以及象素数据信号；
信息包括：垂直同步信号、水平同步信号和象素时钟信号的极性信息，图象处理器的图象信号处理模式信息，感知的图象的水平尺寸信息，以及感知的图象的垂直尺寸信息；并且
传感器信号处理器包括：
第一多路复用器，将从图象传感器传递的垂直同步信号的极性根据存储在传感器类型寄存器中的垂直同步信号的极性信息进行转化或者非转化；
第二多路复用器，根据图象处理器的图象信号处理模式信息输出第一多路复用器的输出或者低状态信号到图象处理器；
第三多路复用器，将从图象传感器传递的水平同步信号的极性根据存储在传感器类型寄存器中的水平同步信号的极性信息进行转化或者非转化；
第四多路复用器，根据图象处理器的图象信号处理模式信息输出第三多路复用器的输出或者低状态信号到图象处理器；
第五多路复用器，将从图象传感器传递的象素时钟信号的极性根据存储在传感器类型寄存器中的象素时钟信号的极性信息进行转化或者非转化；
第六多路复用器，根据图象处理器的图象信号处理模式信息输出第五多路复用器的输出或者低状态信号到图象处理器；
第七多路复用器，根据图象处理器的图象信号处理模式信息输出象素数据信号或者低状态信号到图象处理器。
6.根据权利要求1所述的接口装置，其中，微型计算机采用在微型计算机和图象传感器之间传递的通用输入/输出信号与图象传感器进行通信。
7.一种在图象处理系统中进行图象传感器和图象处理器的接口方法，包括：
在传感器类型寄存器中存储有关图象传感器的信息；
从图象传感器接收信号；
根据存储在传感器类型寄存器中的信息，将从图象传感器输出的信号转换成为图象数据；以及
将转换的图象数据发送到图象处理器；
其中，信号包括垂直同步信号、水平同步信号、象素时钟信号和象素数据。
8.根据权利要求7所述的接口方法，其中，存储在传感器类型寄存器中的信息包括：垂直同步信号、水平同步信号、和象素时钟信号的极性信息；
图象处理器的图象信号处理模式信息和样式信号信息；
感知的图象的水平尺寸信息；以及
感知的图象的垂直尺寸信息。
9.根据权利要求7所述的接口方法，其中，传感器类型寄存器包括：
传感器信号寄存器；
水平尺寸寄存器；和
垂直尺寸寄存器。
10.根据权利要求9所述的接口方法，其中，信号包括垂直同步信号、水平同步信号、象素时钟信号；
信息包括：垂直同步信号、水平同步信号、和象素时钟信号的极性信息、图象处理器的图象信号处理模式信息和样式信号信息、感知的图象的水平尺寸信息、以及
感知的图象的垂直尺寸信息；并且
在传感器类型寄存器中存储关于图象传感器的信息包括：在传感器信号寄存器中存储极性信息和图象信号处理模式信息；
在水平尺寸寄存器中存储水平尺寸信息；并且
在垂直尺寸寄存器中存储垂直尺寸信息。
11.根据权利要求7所述的接口方法，其中，信号包括垂直同步信号、水平同步信号、象素时钟信号；
信息包括：垂直同步信号、水平同步信号、和象素时钟信号的极性信息、图象处理器的图象信号处理模式信息和样式信号信息、感知的图象的水平尺寸信息、以及
感知的图象的垂直尺寸信息；并且
根据存储在传感器类型寄存器中的信息，将图象传感器输出的信号转换成为图象数据包括：
将从图象传感器传递的垂直同步信号的极性根据存储在传感器类型寄存器中的垂直同步信号的极性信息进行转化或者非转化；
根据图象处理器的图象信号处理模式信息输出转化或者非转化的垂直同步信号或者低状态信号到图象处理器；
将从图象传感器传递的水平同步信号的极性根据存储在传感器类型寄存器中的水平同步信号的极性信息进行转化或者非转化；
根据图象处理器的图象信号处理模式信息输出转化或者非转化的水平同步信号或者低状态信号到图象处理器；
将从图象传感器传递的象素时钟信号的极性根据存储在传感器类型寄存器中的象素时钟信号的极性信息进行转化或者非转化；
根据图象处理器的图象信号处理模式信息输出转化或者非转化的象素时钟信号或者低状态信号到图象处理器；以及，
根据图象处理器的图象信号处理模式信息输出象素数据信号或者低状态信号到图象处理器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR40753/2003 | 2003-06-23 | ||
| KR1020030040753A KR100601460B1 (ko) | 2003-06-23 | 2003-06-23 | 화상 센서와 영상 처리기 간의 인터페이스 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1574885A CN1574885A (zh) | 2005-02-02 |
| CN1263282C true CN1263282C (zh) | 2006-07-05 |
Family
ID=33516447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB031278140A Expired - Fee Related CN1263282C (zh) | 2003-06-23 | 2003-08-11 | 在图象传感器和图象处理器之间进行接口的装置和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040257453A1 (zh) |
| JP (1) | JP3926312B2 (zh) |
| KR (1) | KR100601460B1 (zh) |
| CN (1) | CN1263282C (zh) |
| DE (1) | DE10331292B3 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100586669B1 (ko) * | 2003-08-27 | 2006-06-08 | 닛뽕빅터 가부시키가이샤 | 전송 시스템 |
| JP4457613B2 (ja) | 2003-09-04 | 2010-04-28 | ソニー株式会社 | 固体撮像装置 |
| JP2005142699A (ja) * | 2003-11-05 | 2005-06-02 | Mega Chips Corp | 画像圧縮伸張装置 |
| US20060039602A1 (en) * | 2004-08-20 | 2006-02-23 | Isakharov Svetlana M | Data driven color conversion |
| JP4868576B2 (ja) | 2006-01-27 | 2012-02-01 | 株式会社メガチップス | 画像処理装置 |
| US8009200B2 (en) | 2007-06-15 | 2011-08-30 | Microsoft Corporation | Multiple sensor input data synthesis |
| CN101431618B (zh) * | 2007-11-06 | 2010-11-03 | 联咏科技股份有限公司 | 具有行读取电路修补功能的图像传感器及其相关方法 |
| EP2350925A4 (en) * | 2008-10-24 | 2012-03-21 | Extreme Reality Ltd | METHOD, SYSTEM AND ASSOCIATED MODULES AND SOFTWARE COMPONENTS FOR PRODUCING A MAN-MACHINE INTERFACE BASED ON IMAGE SENSOR |
| US8692873B2 (en) | 2009-01-15 | 2014-04-08 | Alverix, Inc. | Video-frame data receiver with low frame capture rate |
| CN101924885B (zh) * | 2009-06-15 | 2014-01-15 | 鸿富锦精密工业（深圳）有限公司 | 图像采集接口电路 |
| US8488055B2 (en) * | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
| CN102256150A (zh) * | 2011-07-14 | 2011-11-23 | 深圳市掌网立体时代视讯技术有限公司 | 一种双光路双传感器合成模组及三维成像装置 |
| CN103974040A (zh) * | 2014-05-09 | 2014-08-06 | 哈尔滨水星电子科技有限公司 | 一种接口共享的全景数字图像传感器及构建方法 |
| CN104184963B (zh) * | 2014-09-05 | 2017-10-13 | 无锡英斯特微电子有限公司 | 光电导航系统中高效资源利用的方法 |
| US9819875B2 (en) * | 2015-03-02 | 2017-11-14 | Intel Corporation | Multi-camera sync pulse synchronization |
| JP6180683B2 (ja) * | 2015-06-22 | 2017-08-16 | オリンパス株式会社 | 撮像装置 |
| CN106791415A (zh) * | 2016-12-29 | 2017-05-31 | 中国科学院长春光学精密机械与物理研究所 | 一种智能图像处理装置 |
| CN108702443A (zh) * | 2017-08-24 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及无人机 |
| JP6648375B2 (ja) * | 2018-05-21 | 2020-02-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 撮像システム、及び移動体 |
| KR20200091575A (ko) * | 2019-01-23 | 2020-07-31 | 에스케이하이닉스 주식회사 | 이미지 센서 칩, 전자 장치 및 이미지 센서 칩의 동작 방법 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719624A (en) * | 1989-07-18 | 1998-02-17 | Canon Kabushiki Kaisha | Image recording apparatus with arithmetic processing |
| US5040068A (en) * | 1989-12-28 | 1991-08-13 | Eastman Kodak Company | Electronic imaging apparatus with interchangeable pickup units |
| US5896166A (en) * | 1993-06-02 | 1999-04-20 | Envision Medical Corporation | Remote CCD video camera with non-volatile digital memory |
| DE69528918T2 (de) * | 1994-02-28 | 2003-04-24 | Canon Kk | Bildaufnahmegerät |
| JPH0969978A (ja) * | 1995-08-30 | 1997-03-11 | Sanyo Electric Co Ltd | 撮像装置 |
| US6573931B1 (en) * | 1996-04-19 | 2003-06-03 | Canon Kabushiki Kaisha | Information transmission method and apparatus |
| US6593963B1 (en) * | 1998-05-29 | 2003-07-15 | Agilent Technologies, Inc. | Programmable control of operational signals in a digital camera |
| JP2000050129A (ja) * | 1998-07-31 | 2000-02-18 | Minolta Co Ltd | デジタルカメラ |
| JP2001238138A (ja) * | 2000-02-21 | 2001-08-31 | Matsushita Electric Ind Co Ltd | 固体撮像素子のためのタイミングジェネレータ |
| JP2002077739A (ja) * | 2000-08-30 | 2002-03-15 | Chinon Ind Inc | 固体撮像素子、レンズ装置および撮像装置 |
| JP2003046878A (ja) * | 2001-07-30 | 2003-02-14 | Sony Corp | タイミング信号発生装置 |
| US7391437B2 (en) * | 2002-12-18 | 2008-06-24 | Marvell International Ltd. | Image sensor interface |
-
2003
- 2003-06-23 KR KR1020030040753A patent/KR100601460B1/ko not_active IP Right Cessation
- 2003-07-10 DE DE10331292A patent/DE10331292B3/de not_active Expired - Fee Related
- 2003-07-16 US US10/619,835 patent/US20040257453A1/en not_active Abandoned
- 2003-08-11 CN CNB031278140A patent/CN1263282C/zh not_active Expired - Fee Related
- 2003-09-25 JP JP2003333632A patent/JP3926312B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020689A (ja) | 2005-01-20 |
| US20040257453A1 (en) | 2004-12-23 |
| KR100601460B1 (ko) | 2006-07-14 |
| DE10331292B3 (de) | 2005-02-03 |
| JP3926312B2 (ja) | 2007-06-06 |
| CN1574885A (zh) | 2005-02-02 |
| KR20050000163A (ko) | 2005-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1263282C (zh) | 在图象传感器和图象处理器之间进行接口的装置和方法 | |
| USRE44888E1 (en) | Solid state image sensor and video system using the same | |
| JP3995595B2 (ja) | 携帯電話用の最適化されたカメラセンサ構造 | |
| US7589779B2 (en) | Imaging module, interface, and method handling multiple simultaneous data types | |
| US6961085B2 (en) | Digital image processing and data compression circuit | |
| CN104704810B (zh) | 图像捕获加速器及用于图像捕获加速的方法 | |
| US20160014334A1 (en) | Camera system, video processing apparatus, and camera apparatus | |
| CN101674400B (zh) | 一种摄像系统及其方法 | |
| US6944358B2 (en) | Image processor | |
| CN109167915A (zh) | 图像处理方法、系统及计算机可读存储介质 | |
| CN1783198A (zh) | 显示装置及其显示方法 | |
| CN1835599A (zh) | 处理拜耳模式彩色数字图像信号的方法和设备 | |
| CN104978929A (zh) | Led显示装置逐点校正方法、校正用系统架构和控制器 | |
| CN109167916A (zh) | 智能终端、图像处理方法及计算机可读存储介质 | |
| US20110279702A1 (en) | Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns | |
| EP1763238B1 (en) | Image processor, imaging device, and image processing system | |
| US20050190270A1 (en) | Method and apparatus for processing image signal | |
| CN100350796C (zh) | 图像数据转换方法、转换电路和数字照相机 | |
| KR20100007628A (ko) | 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치 | |
| CN101175193B (zh) | 图像信号产生单元、数码相机以及图像信号产生方法 | |
| CN101729884B (zh) | 影像撷取装置与影像前处理方法 | |
| US20230128031A1 (en) | Solid-state imaging apparatus | |
| KR100827680B1 (ko) | 썸네일 데이터 전송 방법 및 장치 | |
| CN1255984C (zh) | 图象处理装置及照相机、以及图象处理方法 | |
| CN1720551A (zh) | 图像数据处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |