CN1908947A

CN1908947A - 一种图像传感器行为仿真模型的生成装置及方法

Info

Publication number: CN1908947A
Application number: CN 200610088814
Authority: CN
Inventors: 吴大斌; 陈志华
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2006-07-18
Filing date: 2006-07-18
Publication date: 2007-02-07
Anticipated expiration: 2026-07-18
Also published as: CN100492373C

Abstract

本发明公开了一种图像传感器行为仿真模型的生成装置及方法，首先定义一个通用的图像传感器模板，所述模板包括存储模块、接口模块、顶层模块，建立以硬件描述语言生成的与所述三个模块对应的硬件描述语言文件，在需要生成图像传感器行为仿真模型时，利用软件程序将相比于通用的图像传感器模板需要进行修改、增加或选择的参数，写入所述三个硬件描述文件中，执行该软件程序生成所需要的图像传感器行为仿真模型。本发明基于通用的图像传感器模板，利用软件方法生成了图像传感器行为仿真模型，避免了对于图像传感器手工的重复开发，简化了开发流程，降低了重复开发成本，提高了开发效率。

Description

一种图像传感器行为仿真模型的生成装置及方法

技术领域

本发明涉及数字图像采集领域，尤其涉及一种图像传感器行为仿真模型的生成装置与生成方法。

背景技术

通常，图像采集处理设备包括三个关键部件：镜头(LENS)、图像传感器(SENSOR)和数字信号处理芯片(DSP)。光线从镜头进来，到达感光器，感光器把光线变成数字信号，再传给一个专门的DSP(数字处理芯片)进行图像处理，然后就可以保存或在屏幕上显示了，也就是我们看到的视频图像。

随着数字技术和网络技术的发展，人与人的距离飞快缩小，从文字到声音，再到图像，网络沟通的不仅仅是两个人的大脑，更高的需求将是模拟人与人之间面对面般的真实对话，以及进行录像、卡片设计等等活动。例如，当前电脑摄像头被广泛地运用在视频会议上，或者当成网络摄影机(WebCam)通过互联网或局域网传送视频信号，也可以利用它来捕捉静态画面，供多媒体展示或网页设计使用。

这就对图像的采集、处理、记录、实时传输提出了更高的要求，在以摄像头、摄像机、数码相机等为代表的图像采集处理设备中，需要应用更新型的图像传感器。因此，对于图像传感器研发公司以及需要开发支持图像传感器的芯片设计公司而言，在做系统级验证的时候，必定需要图像传感器的行为级仿真模型，以完成整个系统的调试。对于研发支持图像传感器的芯片公司而言，一般需要针对每种需要支持的图像传感器都编写相应的行为模型，这种工作虽然机械但却是必须的。

事实上，经研究不难发现，目前所能见到的图像传感器都有共性。基于此共性，如果能够提出一种通用的图像传感器模板格式定义及对应的软件自动分析算法，以自动生成图像传感器的行为仿真模型，将大大减少开发人员的工作量，提高开发效率。

发明内容

本发明所要解决的技术问题在于，提供一种图像传感器行为仿真模型的生成装置及方法，用以解决对每种需要支持的图像传感器都编写相应的行为模型的问题，仅需针对不同的图像传感器进行适当的参数设置，即可利用软件自动生成对应的仿真模型，用以简化开发流程、提高开发效率。

本发明提供一种图像传感器行为仿真模型的生成方法，包括如下步骤：

(1)生成一个通用图像传感器模板，包括用于存储图像传感器标识与控制参数的存储模块、用于与外部电路通信并接收配置图像传感器的外部指令的接口模块、以及用于按时序要求和存储模块配置的参数生成图像数据与同步信号输出的顶层模块；

(2)利用硬件描述语言生成与所述存储模块、接口模块、顶层模块分别对应的三个硬件描述语言文件；

(3)建立一个用于根据所述三个硬件描述语言文件生成图像传感器行为仿真模型的软件程序；

(4)在需要生成图像传感器行为仿真模型时，通过所述软件程序将相比于通用图像传感器模板需要修改、或增加、或选择的参数写入对应的所述硬件描述语言文件中，执行该软件程序生成所述图像传感器行为仿真模型。

进一步地，步骤(1)中所述的存储模块是可配置寄存器堆模块，由一系列可读写或只读寄存器组成，至少包括时序控制寄存器、或图像尺寸寄存器、或图像格式控制寄存器。

进一步地，步骤(1)中所述的接口模块是I2C串行总线接口、或SPI接口、或SCCB总线接口。

进一步地，步骤(1)中所述存储模块存储的控制参数包括时序、或帧大小、或图像大小、或输出图像格式。

本发明还提供一种图像传感器行为仿真模型的生成装置，包括：

通用模板生成器，用于生成一个包括存储模块、接口模块、顶层模块的通用图像传感器模板，其中，存储模块用于存储图像传感器标识与控制参数，接口模块用于与外部电路通信并接收配置图像传感器的外部指令，顶层模块用于按时序要求和存储模块配置的参数生成图像数据与同步信号输出；

硬件文件生成器，用于利用硬件描述语言为通用模板生成器所产生的所述存储模块、接口模块、顶层模块分别生成对应的硬件描述语言文件；

仿真模型生成器，用于根据所述存储模块、接口模块、顶层模块分别对应的硬件描述语言文件，以及待生成的图像传感器行为仿真模型的具体参数，生成图像传感器行为仿真模型。

其中，所述存储模块是可配置寄存器堆模块，由一系列可读写或只读寄存器组成，包括时序控制寄存器、或图像尺寸寄存器、或图像格式控制寄存器、或图像传感器标识寄存器、或精度控制寄存器。

其中，所述接口模块是I2C串行总线接口、或SPI接口、或SCCB总线接口。

其中，所述存储模块存储的控制参数包括时序、或帧大小、或图像大小、或输出图像格式。

本发明基于一种通用的图像传感器模板格式定义，利用软件方法自动生成图像率传感器的行为仿真模型，避免了手工的重复开发，简化了开发流程，降低了重复开发成本，提高了开发效率。

附图说明

图1是通用图像传感器模板中的时序及数据线的格式示意图；

图2是通用图像传感器行为仿真模板及与外部电路接口关系；

图3是图像传感器行为仿真模型生成器的软件界面。

具体实施方式

下面结合附图及具体实施例对本发明所述的方法进行详细描述。

对于研发图象传感器以及研发支持图像传感器的芯片公司而言，一般需要针对每种需要支持的图像传感器都编写相应的行为模型，造成开发效率低，工作量大等问题。但经研究发现，目前所能见到的图像传感器都有共性。本发明正是基于此共性，提出了一种通用的图像传感器模板格式定义，根据待生成的图像传感器行为仿真模型的具体参数，利用软件程序自动生成图像传感器行为仿真模型。

对于图像传感器而言，最主要的功能就是根据寄存器堆的定义，按照相应的时序、图像大小、采取哪种图像调节、和需要的图像格式、精度等参数输出相应的信号。

如图1所示，是一个通用的图像传感器模板的时序及数据线的格式示意图。图中t1-t9是图像传感器所产生的时序参数，对于垂直同步信号(VSYNC)，t1表示信号宽度，t2表示VSYNC信号上升沿到第一个水平参考(HREF)信号上升沿的宽度，t3表示两个相邻VSYNC上升沿的宽度；对于水平参考信号HREF，t4表示HREF信号的宽度，t5表示两个HREF信号上升沿之间的宽度，t6＝t3-t2-n*(t4+t5)；对于水平同步信号(HSYNC)，t7表示HSYNC低电平宽度，t8表示HSYNC上升沿到HREF上升沿宽度，t9表示HREF下降沿到HSYNC下降沿的宽度。图1中，m和n用来表示图像的大小，m表示一行内像素的数目，n表示行数，m×n表示图像对应的总象素数目。所述数据(DATA)所表示的是(n，m)点对应的桢数据。

基于上述分析并结合图1，可以确定一种通用的图像传感器模板，主要包括顶层模块、存储模块、接口模块，其中：

1)接口模块，用于与外部电路进行通信，接受外部电路指令等，其中的接口可以是图像传感器流行的接口，例如I2C，SPI等接口，对于不同的图像传感器行为仿真模型，可能采用不同的接口，因此，可以提供一种接口选择机制，保证在生成仿真模型时，可以通过一个软件定义的变量从多种接口中进行选择。

2)存储模块，用于存储图像传感器的标识及控制参数，可以是寄存器堆，也可以是其它类似的存储元件。它主要分为几个大的子模块：

图像传感器的标识寄存器，用于存放图像传感器的标识，所述标识用于识别该图像传感器，例如可以是外部设定的编号，或其它标识图像传感器的数值等；

时序控制寄存器，用于选定时序参数值，例如存储t1-t9的时序参数值；

图像尺寸寄存器，用于存储图像大小的参数，例如m和n，分别表示水平一行内象素数目和行数，m和n的取值可以是常见图像大小VGA(640*480)、XGA(1280*960)、SXGA(1280*1024)所规定的数值，也可以是用户自定义的数值；

图像格式控制寄存器，用于存储图像的格式类型，例如Bayer、或YUV、或RGB格式，也可以是其它图像格式；

精度控制寄存器，用于存储表示每个象素的比特位数的数值，例如是8、9、10位等。

这些寄存器都是预先写好，然后根据寄存器输入文件来定义寄存器的地址。该图像传感器模板是开放性的，用户可以根据需要修改该图像传感器模板，在需要增加或删除参数时，可以增减相应的寄存器。

3)顶层模块，实际上是参照市面上常见的图像传感器的时序行为和功能，提取其共同处，统一为可通过寄存器控制调节的时序和功能，顶层模块负责按照规定的时序与存储模块所存储的参数，生成图像数据和同步信号输出。例如，可按照存储模块所存储的时序参数以及其它控制参数，生成如图1所示的信号及图像数据。

如图2所示，是上述通用图像传感器模板的一个实例，是从目前所见的图像传感器中提取出的可用于做系统验证的行为模型框图及其与外部电路的接口关系。可以看出，该通用图像传感器模板主要有三个模块：图像传感器顶层行为模块、可配置寄存器堆模块以及I2C串行(或与之兼容的总线，如OmniVision的SCCB总线)总线接口模块。其中，各模块具体说明如下：

1)可配置寄存器堆模块：

可配置寄存器堆模块，即存储模块，由一系列可读写或只读寄存器组成，用于存放图像传感器的标识与控制参数(如帧大小、输出图像格式、输出图像大小、基本时序参数等)。

2)I2C接口模块：

I2C串行总线接口模块，即接口模块，负责与外部电路进行通信，接受外部电路指令以配置图像传感器的对应寄存器，当然也可以采用其它与图像传感器相兼容的总线接口；

3)图像传感器顶层行为模块：

图像传感器顶层行为模块，即顶层模块，负责按照规定的时序要求和寄存器配置的参数，生成图像数据和同步信号输出。

在确定了一个通用的图像传感器模板以后，可以利用描述硬件仿真的程序语言，例如硬件描述语言HDL，针对所述通用图像传感器模板的存储模块、接口模块、顶层模块分别编写与每一模块对应的HDL文件，从而所述通用图像传感器模板可由三个HDL(硬件描述语言)文件组成。

如图3所示，给出了行为仿真模型软件生成器的用户界面，所述行为仿真模型软件生成器，根据所述通用的图像传感器的模板，将描述仿真模型的硬件描述文件自动生成仿真模型的一种软件程序，对现有技术中本技术领域的技术人员而言，是很容易实现的。

在需要生成图像传感器行为仿真模型的时候，首先，需要确定该待生成的图像传感器行为仿真模型与上面定义的通用的图像传感器模板之间参数的差异，就是说，要确定哪些参数是相比于通用的图像传感器模板，需要进行修改、或增加、或选择的。在利用行为仿真模型软件生成器将所述通用图像传感器模板的三个HDL文件导入其中之后，可以通过软件界面上预设的参数修改选项，对参数进行修改、或增加、或选择等操作，图3所示的生成器，仅给出了图像大小以及图像精度的选项，但是，显而易见地，可以在本发明的其它实施例中，可以加入关于时序参数、图像格式等其它选项。当然也可以采用其它方式对参数进行修改。

比如，软件导入上述三个文件，然后还要导入寄存器地址定义等文件，并根据需要配置模型的接口配置，然后软件生成器程序执行后，产生最终所需要的图像传感器行为仿真模型。所述参数被写入到先前的所述三个HDL文件中，这个模型实际上是由三个经过软件重新定义的HDL文件组成。

产生的传感器行为模型主要是针对传感器的时序行为和一些基本的功能。基本上大部分的时序都可以通过时序寄存器的配置都可以实现。如图1所示，通用模板中只要定义时序参数t1到t9，图像的大小，然后定义以下数据线的宽度(用以确定图像大小的精度)和格式(每一个像素的数据量，比如Bayer(贝尔)是每个像素一个数据，YUV2是一个像素两个数据，RGB24是每个像素三个数据。软件通过读取通用模板中的这些信息，并转换成如图1中的依时序存储器的时序形成的同步信号送出。在生成新的图像传感器行为仿真模型时，根据该新的行为仿真模型不同于通用的图像传感器模板的参数，将具体区别参数通过该软件生成器，写入模型各个模块对应的硬件描述语言文件。例如，针对不同大小的图像尺寸，默认的配置也可能不一样，在这种情况下就必须针对不同的图像尺寸填入相应的参数。软件生成器的作用在于基于上述参数，填写HDL中定义的参数。

本实施例所述的通用图像传感器模板的特点是，能兼容大部分市面上流行的图像传感器的时序要求，对于有特殊接口的图像传感器(如MIPI的SMIA)，只需对软件代码做扩展性修改，增加对应的用户选项即可。如图3中所示，例如，用户可以在界面上选择数据的宽度和一些预先定义好的常见的图像尺寸。

本发明利用软件方法自动生成图像传感器的行为仿真模型，避免了手工的重复开发，提高了开发效率。

Claims

1、一种图像传感器行为仿真模型的生成方法，其特征在于，包括如下步骤：

2、如权利要求1所述的生成方法，其特征在于，步骤(1)中所述的存储模块是可配置寄存器堆模块，由一系列可读写或只读寄存器组成，至少包括时序控制寄存器、或图像尺寸寄存器、或图像格式控制寄存器。

3、如权利要求1所述的生成方法，其特征在于，步骤(1)中所述的接口模块是I2C串行总线接口、或SPI接口、或SCCB总线接口。

4、如权利要求1所述的生成方法，其特征在于，步骤(1)中所述存储模块存储的控制参数包括时序、或帧大小、或图像大小、或输出图像格式。

5、一种图像传感器行为仿真模型的生成装置，其特征在于，包括：

6、如权利要求5所述的装置，其特征在于，所述存储模块是可配置寄存器堆模块，由一系列可读写或只读寄存器组成，包括时序控制寄存器、或图像尺寸寄存器、或图像格式控制寄存器、或图像传感器标识寄存器、或精度控制寄存器。

7、如权利要求5所述的装置，其特征在于，所述接口模块是I2C串行总线接口、或SPI接口、或SCCB总线接口。

8、如权利要求5所述的装置，其特征在于，所述存储模块存储的控制参数包括时序、或帧大小、或图像大小、或输出图像格式。