CN102956027B - 基于摄像头图像处理芯片的图像增强处理系统及处理方法 - Google Patents

Abstract

本发明涉及芯片设计领域，具体公开一种基于摄像头图像处理芯片的图像增强处理系统及处理方法，其在处理大尺寸图像的时候，先将图像数据上传到系统内存中，再根据后级处理能力，按照列的方向进行分割，将一帧大尺寸的图像分割成若干个等高的更小图像。其中每个列块配合同步信号，构成独立虚拟帧。之后再对每一个虚拟帧分别进行相应的图像增强处理。这种以时间换芯片面积的方法，可以大大减少模块级缓存大小，缩小芯片面积，降低芯片设计成本。

Description

基于摄像头图像处理芯片的图像增强处理系统及处理方法

技术领域

本发明属于芯片设计领域，尤其涉及大尺寸图像处理的控制方法、装置及系统，具体来说是一种基于摄像头图像处理芯片的图像增强处理系统及处理方法。

背景技术

主流的CMOS/CCD图像传感器(sensor)在采集大尺寸图像的数据传输格式一般都是BayerRawRGB格式，如图1所示，这种数据格式的特点是一个像素点只有一个颜色分量(R、G或B)的信息，之后通过插值等算法得到完整的RGB像素；同时，图像在采集的过程中也会引入一些噪声，包括镜头的坏点等。在摄像头图像信号处理芯片ISP(imagesignalprocessor)中，需要对原始采集的图像做增强处理，系统结构如图2所示。

在图像增强处理的过程中，很多处理算法都是基于目标象素点为中心的N×M块进行处理，利用当前插值像素点周围的点来插值，滤波。

例如在做颜色插值处理的时候，块大小为7×7，而sensor传输数据都是一个个点水平逐行扫描进来。因此图像处理芯片在流水结构上，本地总共至少需要保存8行(linen-1～linen+6)的数据量，7行做运算，1行做缓冲进行滚动处理.所述缓存由原始帧长度frame_size决定，具体如图5a所示。

这样的memory开销对于小尺寸的图像处理芯片来说是可以接受的，但对于目前多则上千万的分辨率，每级块处理上都需要存储块高度+1行的数据的话，那么3～4级处理芯片，动则需要几百K的缓存，对于低高芯片来说，成本难以接受。

发明内容

有鉴于此，本发明的目的在于提供基于摄像头图像处理芯片的图像增强处理系统及处理方法，可以有效减小芯片缓存的大小。

为解决以上技术问题，本发明提供的技术方案是，一种基于摄像头图像信号处理芯片的图像增强处理系统，包括图像传感器、同步接收模块、系统内存、本地缓存及图像处理器，还包括帧重构模块，用于根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧；全部小尺寸图像帧依次由图像处理器按照预设算法进行处理，且处理好的全部小尺寸图像帧由图像处理器拼回一完整的大尺寸增强图像帧。

较优地，每一小尺寸图像帧重构同步信号，得到虚拟帧；每一虚拟帧下载到本地缓存，以提供给图像处理器进行后续处理。

在此基础上，本发明还提供一种基于摄像头图像信号处理芯片的图像增强处理方法，包括：

根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧；

按照预设算法，依次处理全部小尺寸图像帧；

将处理好的全部小尺寸图像帧拼回一完整的大尺寸增强图像帧。

较优地，相邻小尺寸图像帧部分重叠。

较优地，对每个小尺寸图像帧重构同步信号，构成独立的虚拟帧。

较优地，将每一虚拟帧下载到本地缓存之中，以便进行后续处理。

较优地，对于每一虚拟帧，将各行数据下载到本地缓存之中，并逐次取一行数据作缓冲以进行滚动处理；其中，对于当前处理行数据，按像素点依次进行。

较优地，在系统内存中依次处理全部小尺寸图像帧，并将处理好的全部小尺寸图像帧拼回完整大尺寸增强图像帧。

较优地，大尺寸原始图像帧上传到系统内存。

较优地，在完成上传第一帧小尺寸图像帧后，同时启动系统内存DMA上传通道与下载通道。

与现有技术相比，本发明在对大尺寸图像进行虚拟帧重构后进行处理，最大的有益效果是可以减少模块级缓存buffer的大小，由此大大缩小芯片面积，降低芯片设计成本。其次可以让sensor的采集图像速度和ISP的处理图像速度之间更加兼容匹配，这是因为所有的数据都是先上传到系统内存，只需要在合适的时候启动DMA上传通道和DMA下载通道，就可以使两者之间很好地匹配。

附图说明

图1是CMOS/CCD图像传感器所得到图像的数据格式；

图2是现有基于摄像头图像处理芯片的图像增强处理系统的结构示意图；

图3是本发明基于摄像头图像处理芯片的图像增强处理系统的结构示意图；

图4是本发明虚拟帧划分示意图；

图5a是现有处理方法所需缓存的示意图；

图5b是本发明处理方法所需缓存的示意图；

图6是本发明基于摄像头图像处理芯片的图像增强处理方法一较优实施例的流程图；

图7a是原始帧图像输入接口时序图；

图7b是本发明虚拟帧重构后的图像输入接口时序图。

具体实施方式

本发明的核心思想是，在大尺寸图像处理的时候，用一种时间换芯片面积的方法，在源端对处理图像进行虚拟帧分割处理，保持对后级的接口不变，只要在原有的ISP图像增强处理模块中，稍稍改动一下前级采集，和后级输出部分，配合驱动修改，就能在支持原有小尺寸图像的芯片结构上，支持更大的图像处理。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

参见图3，表示本发明基于摄像头图像信号处理芯片的图像增强处理系统的实施例。其包括CMOS/CCD传感器、同步接收模块、系统内存、帧重构模块及图像处理器，其中：

传感器，用于采集目标的图像信号；

系统内存，通过DMA(DirectMemeryAccess，直接存储访问)上传通道连接同步接收模块，通过DMA下载通道连接帧同构模块述同步接收模块，用于同步接收并上传图像信号；

帧同构模块，用于根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧；

图像处理器，用于按照预设算法，依次处理全部小尺寸图像帧；以及将处理好的全部小尺寸图像帧拼回一完整的大尺寸增强图像帧。

该例中包括本地缓存，用于下载每一由小尺寸图像帧重构同步信号后得到的虚拟帧，之后按照原有的ISP算法流程进行处理。由于先对大尺寸图像进行虚拟帧重构后，在后级处理模块中，可以大大减少模块级缓存buffer的大小。例如，按照传统的设计方法，处理一幅1600万像素，整个图像增强芯片需要的缓存为200KB；采用本发明则只需要60KB甚至更小，由此大大缩小了芯片面积，降低了芯片设计成本。

在此基础上，以下对本发明基于摄像头图像信号处理芯片的图像增强处理方法进行说明。其中的一个实施例是这样实现的，对大尺寸图像进行虚拟帧的重构，之后再进行相应处理。所述方法包括下述几个部分：

1、大尺寸图像先通过DMA上传到系统内存中。

2、根据后级处理能力，对图像按照列的方向进行分割，将一帧大尺寸的图像分割成若干个等高的更小图像。每个列块配合同步信号，构成独立虚拟帧(如图4a、图4b)。

3、分割的图像考虑后续模块的处理方法，图像有部分交叠(overlap)。

4、启动DMA依次将虚拟帧下载到本地buffer缓存中。之后由图像处理器一次处理一个虚拟帧。

5、通过软件配置，把处理好的若干虚拟帧的结果，在内存中直接拼回一帧完整的大图像。

这样，在对大尺寸图像进行虚拟帧重构后进行处理，最大的有益效果是可以减少模块级缓存buffer的大小。按照传统的设计方法，缓存由原始帧长度frame_size决定(图5a)，处理一幅1600万像素，整个图像增强芯片需要的缓存为200KB；采用本发明时，缓存由虚拟帧长度vframe_size决定(图5b)，则只需要60KB甚至更小，由此大大缩小了芯片面积，降低芯片设计成本；其次可以让sensor的采集图像速度和ISP的处理图像速度之间更加兼容匹配，这是因为所有的数据都是先上传到系统内存，只需要在合适的时候启动DMA上传和下载，就可以使两者之间很好的匹配。

以下进一步对本发明基于摄像头图像信号处理芯片的图像增强处理方法的技术步骤阐述如下。参见图6，表示本发明基于摄像头图像信号处理芯片的图像增强处理方法的一较优实施例，具体为：

S601、开启sensor，启动一帧图像的采集和数据的传输。

S602、同步模块接收数据，并启动DMA的上传通道，将sensor传输进来的大尺寸图像上传到系统内存中。

S603、帧重构模块，在概念上将大尺寸图像进行切割，每次准备逐行下载新帧的数据到本地缓存，并重构虚拟帧的同步信号。

S604、启动DMA下载通道，将一个虚拟帧前7行的数据依次下载到模块级缓存中。

S605、启动ISP处理，开始对第一个虚拟帧图像进行相应的处理，处理的顺序按照是一个像素点一个像素点依次进行的，直到一行数据全部处理完毕。

S606、启动DMA下载通道，下载一行新的数据。

S607、启动ISP处理，处理新的这一行数据。

S608、判断当前虚拟帧的数据是否全部处理完毕，若是，进入下一步骤；若否，返回到步骤S606，即重复步骤S606、S607，直到当前虚拟帧的数据全部处理完毕。

S609、判断一帧大图像的所有虚拟帧是否全部处理完毕，若是，返回步骤S603，处理下一帧大尺寸图像；若否，返回到步骤S606，重复步骤S604、S605、S606、S607及S608，直到一帧大图像的所有虚拟帧全部处理完毕。

在上述技术步骤中，在对图像处理速度要求比较高的情况下，DMA的上传通道和DMA的下载通道是可以同时进行的，前提是DMA下载通道所请求的数据已经上传好了。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及应用实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体应用实例仅仅用以解释本发明，并不用于限定本发明。

本发明具体应用实例

实施例场景：sensor输出精度为12bit的rawrgb格式(一种原始RGB格式，每个像素点只有一个颜色分量)，图像大小为1600万像素(4096×3900)，插值采用的算法是自适应的双线性插值算法，算法的具体过程不必关注，这里只关心插值所需要的基本单元块是7×7的大小，虚拟帧的大小(h_size×v_size)为740×3900。

图像处理的原始数据来自CMOS/CCD图像传感器采集的图像，数据一个个点水平逐行扫描进来，第一行结束以后，再传第二行数据，直到最后一行传输完毕，一帧结束(如图7a)。

主要包含以下几个信号：

1.frame_start_i：一帧图像的起始脉冲信号；

2.frame_end_i：一帧图像的结束咏冲信号；

3.line_start_i：一行的起始脉冲信号；

4.line_end_i：一行的结束脉冲信号；

5.data_en_i：数据有效使能信号；

6.data_i：数据总线信号；

7.clk：时钟信号。

当同步接收模块接收到sensor的数据以后就启动DMA上传通道，将所有的数据都上传到系统的内存中，一帧图像的总大小约为24MB。上传到系统内存的图像是完整的一帧大图像，如图4上半部分所示。

在对图像进行处理之前，需要对图像进行列块分割，重构成若干个虚拟帧，这是本发明的关键点，如图4下半部分所示。根据后级模块的处理能力，将整帧图像划分为若干个本地缓存buffer长度大小的虚拟帧，这里以740为例，4096可以划分为6个虚拟帧，第1到第5个虚拟帧的长度为740，其中有效数据为720，overlap宽度为前10后10，第6个虚拟帧为506(4096-720*5+overlap＝506)。每一个虚拟帧都配置有帧同步信号，在后级看来，就相当于是一个独立的完整帧。

虚拟帧和虚拟帧之间存在着一定的重叠(overlap)，这是由于图像处理过程中需要用到周围的像素点来计算，在分割的边界点处也需要做同样的处理，为了保证图像能够正确的处理，就必须增加一些列来保证图像的完整性，overlap的大小由相关算法决定，但是必须保证最后处理得到的图像是完整的。

ISP图形处理是按照虚拟帧的顺序进行，首先处理第一个虚拟帧，然后第二个虚拟帧，依次类推，直到所有的虚拟帧都完成。每一个虚拟帧的处理过程是这样的：

1、启动DMA下载通道，从系统内存中读取虚拟帧的前7行数据缓存到本地缓存中；

2、启动ISP处理操作，处理虚拟帧的第一行数据；

3、再次启动DMA下载通道，下载一行新的数据到本地buffer中，并覆盖缓存中最低一行的数据；

4、启动ISP处理操作，处理虚拟帧的下一行的数据；

5、重复步骤3和6的操作，直到本虚拟帧的最后一行数据处理完毕。之后，可以启动下一个虚拟帧，其处理流程也是一样的。

经过分割处理的输出数据(dataout)时序图如图7b所示。从图7b中可以看到，一个完整的帧被分割成了若干个虚拟帧，一个虚拟帧由若干行数据组成，一行的数据量最大就是本地缓存的大小。

图7b主要包含以下几个信号：

1.frame_start_o：一帧图像的起始脉冲信号；

2.frame_end_o：一帧图像的结束咏冲信号；

3.vframe_start_o：一个虚拟帧的起始脉冲信号；

4.vframe_end_o：一个虚拟帧的结束脉冲信号；

5.vline_start_o：虚拟帧一行的起始脉冲信号；

6.vline_end_o：虚拟帧一行的结束脉冲信号

7.data_en_o：数据有效使能信号

8.data_o：数据总线信号

上面只是分析了插值模块的过程，对于图像处理流水线中，还有其它的一些处理，包括噪声滤波，格式转换，边沿增强等等一系列的操作。这些处理在流程上来说跟插值是一样的，都是按照虚拟帧的格式来处理，缓存大小也是按照虚拟帧的大小来设计的，所以也会有很大程度上的缩减。他们的不同的之处仅仅是算法而已，所以在这里也就不一一展开。

对每一级的图像处理流水线来说，一个虚拟帧就相当于是一个完整的帧处理过程，并不会增加多的控制。软件只需要在将把处理好的若干虚拟帧的结果，最后在内存中直接拼回一帧完整的大图像即可。

这种以虚拟帧分割图像处理的方法，大大减小了模块级缓存的大小，本实施案例的虚拟帧大小为740，相比最原始的4096的图像直接处理模式，momory直接缩小到原来的18％.具体实际的应用当中，可以根据具体情况，适当的扩大或者减小虚拟帧的大小都是可以的。其次，采用虚拟帧的分割方式，大大减小了DMA对系统带宽资源的占用。再者，在对图像处理速度要求高的情况下，不一定要等到一帧图像全部DMA上传完毕以后再做ISP的处理，只要第一个虚拟帧有7行数据是准备好的，就可以启动ISP的处理了，在第二个虚拟帧以及后面的虚拟帧都是可以快速的启动DMA下载数据，因为从第二个虚拟帧开始，所有的数据都已经DMA上传到系统内存中了。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于摄像头图像信号处理芯片的图像增强处理系统，包括图像传感器、同步接收模块、系统内存、本地缓存及图像处理器，其特征在于，还包括帧重构模块，用于根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧，具体为：将整帧图像划分为若干个本地缓存buffer长度大小的虚拟帧；全部小尺寸图像帧依次由图像处理器按照预设算法进行处理，且处理好的全部小尺寸图像帧由图像处理器拼回一完整的大尺寸增强图像帧；其中，相邻小尺寸图像帧部分重叠；

每一小尺寸图像帧重构同步信号，得到虚拟帧；每一虚拟帧下载到本地缓存，以提供给图像处理器进行后续处理。

2.一种基于摄像头图像信号处理芯片的图像增强处理方法，其特征在于，包括：

根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧，具体为：将整帧图像划分为若干个本地缓存buffer长度大小的虚拟帧；

按照预设算法，依次处理全部小尺寸图像帧；

将处理好的全部小尺寸图像帧拼回一完整的大尺寸增强图像帧；

其中，相邻小尺寸图像帧部分重叠；

对每个小尺寸图像帧重构同步信号，构成独立的虚拟帧；

将每一虚拟帧下载到本地缓存之中，以便进行后续处理。

3.如权利要求2所述的基于摄像头图像信号处理芯片的图像增强处理方法，其特征在于，对于每一虚拟帧，将各行数据下载到本地缓存之中，并逐次取一行数据作缓冲以进行滚动处理；其中，对于当前处理行数据，按像素点依次进行。

4.如权利要求3所述的基于摄像头图像信号处理芯片的图像增强处理方法，其特征在于，在系统内存中依次处理全部小尺寸图像帧，并将处理好的全部小尺寸图像帧拼回完整大尺寸增强图像帧。

5.如权利要求2～4任一项所述的基于摄像头图像信号处理芯片的图像增强处理方法，其特征在于，大尺寸原始图像帧上传到系统内存。

6.如权利要求5所述的基于摄像头图像信号处理芯片的图像增强处理方法，其特征在于，在完成上传第一帧小尺寸图像帧后，同时启动系统内存DMA上传通道与下载通道。