CN112767228A - 具有线缓冲器的影像校正系统及其实施方法 - Google Patents

Abstract

本发明提供了一种具有线缓冲器的影像校正系统及其实施方法，主要揭露一主存储器可暂存一输入影像，N个线缓冲器可储存于一高速缓存，且可被定义为包含多个N*M大小的缓存块组，各缓存块组可暂存主存储器最近获取的输入影像的多个像素及一输入影像地址，一影像校正器可产生一输出影像的一输出影像地址，并从例如LUT内存中查找输出影像地址所对应的输入影像地址，若缓存命中，则影像校正器可从其中一缓存块组读取输入影像的相关像素，以执行一变形校正算法；藉此，可解决熟知做法均将从DRAM所读取的影像储存于线缓冲器，而有DRAM读取效率较差及像素重复读取的情形，同时可达成降低线缓冲器的数量而减少内存的储存成本的有利功效。

Description

具有线缓冲器的影像校正系统及其实施方法

技术领域

本发明涉及内存存取技术，尤指一种藉由结合线缓冲器与缓存块 (Cache Block)的高速缓存，作为可供影像校正器(或称影像插补器)从中存取主存储器最近所获取的输入影像的「具有线缓冲器的影像校正系统及其实施方法。

背景技术

为了校正储存于DRAM中的一输入影像，例如为了扭曲校正/ 消除弯曲(dewarp)输入影像，输入影像中的多个像素需要被读取及暂存于SRAM的一线缓冲器(line buffer，还可称线缓冲区)，但为了增加DRAM的工作时钟频率(clock rate)，在输入影像中的相同像素(same pixel)会有重复读取(multi-read)的情形，进而造成影像的输出频率(frame rate)会降低的问题；再者，由于输入影像可能因为影像获取镜头为鱼眼镜头而有形变(warping)情形，故输出影像的一扫描线 (scan line)，在输入影像所对应的扫描线可能是弯曲的，意即输出影像所对应的输入影像像素数据在DRAM中并未储存在连续地址，进而导致有DRAM读取效率不高的情形(因相较SRAM，DRAM的访问速度较慢)。

为此，虽人有提出可将从DRAM所读取的影像储存于多个线缓冲器中，意即增加线缓冲器的数量以改善DRAM读取效率较差及重复读取像素的情况，即如图1所示，但如此一来，线缓冲器的成本将随之增加，例如若要暂存图1所示的两条资料线(L_1’、L_2’)，则至少需要7个线缓冲器方能达成，是以，如何在权衡线缓冲器的存取带宽(access bandwidth)与线缓冲器的成本的前提下，提出一种可维持输出频率的较佳的影像校正系统，是有待解决的问题。

发明内容

为达上述目的，本发明提出一种具有线缓冲器的影像校正系统，主要包括一主存储器、一影像校正器以及分别耦接于主存储器与影像校正器的一高速缓存；其中，主存储器可暂存一输入影像；影像校正器可产生一输出影像的线数据，且输出影像的至少一线数据可由输入影像的复数个线数据执行一变形校正算法而得；高速缓存可包含N个线缓冲器，其中N个线缓冲器可被定义为包含多个N*M 大小的缓存块组，各缓存块组可暂存主存储器最近获取的输入影像的多个像素及多个像素的一输入影像地址，且各缓存块组储存的输入影像地址，可为输入影像于相同或不同扫描线的列编号及地址卷标；影像校正器还可产生输出影像的线数据的一输出影像地址，且输出影像地址可为输出影像的其中一线数据的列编号及地址卷标，并查找输出影像地址所对应的输入影像地址，以决定其中一线缓冲器所储存(或其中一缓存块组所暂存)的输入影像地址是否缓存命中，若缓存命中，则影像校正器可从其中一线缓冲器的其中一缓存块组读取输入影像的相关像素，以执行例如内插的变形校正算法。

藉此，本发明据以实施后，至少可解决熟知做法均将从DRAM 所读取的影像储存于线缓冲器，而有DRAM读取效率较差及像素重复读取的情形，同时可达成降低线缓冲器的数量而减少内存的储存成本的有利功效。

为使贵审查委员得以清楚了解本发明的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。

附图说明

图1为熟知的线缓冲器读取输入影像的示意图。

图2为本发明的系统架构图。

图3为本发明的系统流程图。

图4为本发明的实施示意图(一)。

图5为本发明的实施示意图(二)。

图6为本发明的实施示意图(三)。

图7为本发明的另一较佳实施例。

具体实施方式

请参阅图2，其为本发明的系统架构图，本发明提出一种具有线缓冲器的影像校正系统1，主要包括一主存储器10、一影像校正器 20以及分别耦接于主存储器10与影像校正器20的一高速缓存30，前述的耦接可例如为电性连接或信息连接，但并不以此为限，其中：

主存储器10供以暂存一输入影像(例如由具有鱼眼镜头的影像捕获设备获取影像而输入)，且主存储器10可例如为一动态随机存取内存(DRAM)；

影像校正器20用以产生一输出影像的线数据，且输出影像的至少一线数据可由输入影像的复数个线数据执行一变形校正算法而得；

高速缓存30可为一静态随机存取内存(SRAM)，其可包含N个线缓冲器(LB_1～LB_N)，前述N个线缓冲器(LB_1～LB_N)可被定义为包含多个N*M大小的缓存块组，各缓存块组用于暂存主存储器10 最近获取的输入影像的多个像素(the most-used pixel)及前物多个像素所对应的的一输入影像地址，且各缓存块组储存的输入影像地址，可经配置为输入影像于相同或不同扫描线的列编号及地址卷标；

影像校正器20还用于产生输出影像的线数据的一输出影像地址，且输出影像地址可被定义为输出影像的其中一线数据的列编号及地址卷标，并查找输出影像地址所对应的输入影像地址，以决定线缓冲器(LB_1～LB_N)所储存的输入影像地址(或可称决定其中一缓存块组所暂存的输入影像地址)是否缓存命中(Cache Hit)；

承上，若缓存命中，则影像校正器20可被配置为从线缓冲器 (LB_1～LB_N)的其中一缓存块组读取输入影像的相关像素，以执行变形校正算法；

承上，若并未缓存命中，意即缓存失误(Cache Miss)，则影像校正器20可被配置为从主存储器10对应的输入影像地址读取输入影像的相关像素，并令主存储器10最近获取的输入影像的输入影像地址，同步更新至线缓冲器(LB_1～LB_N)，以利后续缓存像素资料。

另，本发明在一较佳实施例中，前述的变形校正算法可为一双线性内插(bilinearinterpolation)或一最临近内插法(nearest neighbor interpolation)的内插算法(interpolation)，但并不以此为限。

请参阅图3，其为本发明的系统流程图，并请搭配参阅图2，本发明提出一种具有线缓冲器的影像校正系统的实施方法S，供包含一主存储器10、一影像校正器20及一高速缓存30的影像校正系统实施，包括：

设定高速缓存(步骤S10)：高速缓存30经配置为分别耦接于主存储器10与影像校正器20，高速缓存30可包含N个线缓冲器 (LB_1～LB_N)，其中N个线缓冲器(LB_1～LB_N)可被定义为包含多个N*M大小的缓存块组，各缓存块组可暂存主存储器10最近获取的一输入影像的多个像素及前述多个像素的一输入影像地址，且各缓存块组储存的输入影像地址，可经配置为输入影像于相同或不同扫描线的列编号及地址卷标，举例而言，输入影像地址可被表示为例如(line6,地址200)，而各缓存块组可储存例如64x64像素(pixel) 的影像数据，但并不以此为限；

产生输出影像地址(步骤S20)：影像校正器20产生一输出影像的一线数据的一输出影像地址，输出影像的至少一线数据可由暂存于主存储器10的输入影像的复数个线数据执行一变形校正算法而得，且输出影像地址可被定义为输出影像的其中一线数据的列编号及地址卷标，举例而言，输出影像地址可被表示为(line5,地址100)；

承上，有关步骤S10的更具体说明，还请参阅图4～图6的实施示意图，首先，假设影像校正器20以渐进式扫描方式 (progressive-scan)，由左至右(x方向)且由上至下(y方向)的方向作输出，则影像校正器20所输出的第1条数据线，可能要在完成输入影像中的第1条数据线L_1(由于输入影像有变形情形，故数据线L_1 可能呈弯曲状)的读取后，方能进行影像校正而产生，同理，影像校正器20所输出的第2条数据线，可能要在完成输入影像中的第2条数据线L_2(其还可能呈弯曲状)的读取后，方能进行影像校正而产生；

承上，依此可知，在步骤S10执行时，可令被定义出的多个缓存块组，配置为由线缓冲器LB_4的第1个缓存块CB_41开始暂存数据线L_1的部分像素数据及其输入影像地址，接着，由线缓冲器LB_3 的第1个缓存块CB_31暂存，至此，即如图4所示，而图中所示的缓存块(CB_41、CB_31)相当于定义其为线缓冲器(LB_1～LB_4)的第一缓存块组CBG_1，但并不以此图所示限制第一缓存块组CBG_1 的大小；

其后，可继续由线缓冲器LB_3的第2个缓存块CB_32暂存数据线L_1的部分像素数据及其输入影像地址，接着，由线缓冲器LB_2 的第2个缓存块CB_22暂存，至此，即如图5所示，而图中所示的缓存块(CB_32、CB_22)相当于定义其为线缓冲器(LB_1～LB_4)的第二缓存块组CBG_2，但并不以此图所示限制第二缓存块组CBG_2 的大小；

其后，可继续由线缓冲器LB_2的第2个缓存块CB_23暂存，以此类推，当高速缓存30完成输入影像中的数据线L_1及数据线L_2 的暂存后，即如图6所示，相当于将线缓冲器(LB_1～LB_5)定义出可沿着Y轴暂存输入影像的多个缓存块组，例如图4所示为驱动线缓冲器(LB_1～LB_4)的第一缓存块组CBG_1，图5所示为驱动线缓冲器(LB_1～LB_4)的第二缓存块组CBG_2，图6所示则为依序驱动线缓冲器(LB_1～LB_5)至其最后一个缓存块组，但图中所示仅为举例，并不以图中所示限制各缓存块组的大小；

承上，至此本实施例仅驱动不多于5个线缓冲器(LB_1～LB_5) 暂存输入影像，相比于熟知技术需依据各列扫描线的方向，以至少7 个线缓冲器逐一储存数据线L_1及数据线L_2(甚至包含其它不在数据在线的像素)的像素数据及其输入影像地址的作法，本发明至少可达成减少线缓冲器的使用及减轻像素重复读取的情形的有利功效；

缓存命中检查(步骤S30)：影像校正器20查找输出影像地址所对应的一输入影像地址，以决定其中一线缓冲器(LB_1～LB_N)所储存的输入影像地址(或可称决定其中一缓存块组所暂存的输入影像地址)是否缓存命中；

承步骤S30，若缓存命中，则继续执行缓存像素及校正影像(步骤S40)：影像校正器20可被配置为从其中一线缓冲器(LB_1～LB_N) 的其中一缓存块组读取输入影像的相关像素，以执行变形校正算法；

承上，若步骤S30的结果为缓存失误，则继续执行读取主存储器及更新线缓冲器(步骤S50)：影像校正器20可被配置为从主存储器 10对应的输入影像地址读取输入影像的相关像素，并令主存储器10 最近获取的输入影像的输入影像地址，同步更新至线缓冲器(LB_1～LB_N)，以利后续缓存像素资料。

另，本发明在一较佳实施例中，前述的变形校正算法可为一双线性内插或一最临近内插法的内插算法(interpolation)，但并不以此为限。

请参阅图7，其为本发明的另一较佳实施例，

本实施例提出一种具有线缓冲器的影像校正系统1，其技术主要与图2～图6的技术类同，主要差异在于，本实施例的影像校正系统还包括分别耦接于主存储器10与影像校正器20的一LUT(Look Up Table，查找表)内存40，其可储存输入影像与输出影像的一地址转换关系，以供影像校正器20可从中查找输出影像地址所对应的输入影像地址，较佳的，本实施例的LUT内存40本身还可为一静态随机存取内存(SRAM)，但并不以此为限。

以上所述者，仅为本发明的较佳实施例而已，并非用以限定本发明实施的范围；任何熟悉此技术的人员，在不脱离本发明的精神与范围下所作的均等变化与修饰，皆应涵盖于本发明的专利范围内。

【符号说明】

1 具有线缓冲器的影像校正系统

10 主存储器

20 影像校正器

30 高速缓存

40 LUT内存

LB_1 线缓冲器

LB_2 线缓冲器

CB_22 缓存块

CB_23 缓存块

LB_3 线缓冲器

CB_31 缓存块

CB_32 缓存块

LB_4 线缓冲器

CB_41 缓存块

CBG_1 第一缓存块组

CBG_2 第二缓存块组

LB_5 线缓冲器

LB_N 线缓冲器

L_1 输入影像的第1数据线

L_2 输入影像的第2数据线

S 具有线缓冲器的影像校正系统的实施方法

S10 设定高速缓存

S20 产生输出影像地址

S30 缓存命中检查

S40 缓存像素及校正影像

S50 读取主存储器及更新线缓冲器

LB_1’ 熟知线缓冲器

LB_2’ 线缓冲器

LB_3’ 线缓冲器

L_1’ 熟知输入影像的数据线

L_2’ 熟知输入影像的数据线。

Claims (8)

1.一种具有线缓冲器的影像校正系统，其特征在于，包括：

一主存储器，供以暂存一输入影像；

一影像校正器，用以产生一输出影像的线数据，且所述输出影像的至少一所述线数据由所述输入影像的复数个线数据执行一变形校正算法而得；

一高速缓存，分别耦接于所述主存储器与所述影像校正器，所述高速缓存包含N个线缓冲器，其中所述N个线缓冲器被定义为包含多个N*M大小的缓存块组，各所述缓存块组用于暂存所述主存储器最近获取的所述输入影像的多个像素及所述多个像素的一输入影像地址，且各所述缓存块组储存的所述输入影像地址，经配置为所述输入影像于相同或不同扫描线的列编号及地址卷标；

所述影像校正器还用于产生所述输出影像的所述线数据的一输出影像地址，且所述输出影像地址被定义为所述输出影像的其中一所述线数据的列编号及地址卷标，并查找所述输出影像地址所对应的所述输入影像地址，以决定其中一所述线缓冲器所储存的所述输入影像地址是否缓存命中；以及

若缓存命中，所述影像校正器从所述线缓冲器的其中一所述缓存块组读取所述输入影像的相关像素，以执行所述变形校正算法。

2.根据权利要求1所述的具有线缓冲器的影像校正系统，其特征在于，若所述线缓冲器储存的所述输入影像地址并未缓存命中，则所述影像校正器从所述主存储器对应的所述输入影像地址读取所述输入影像的相关像素，并令所述主存储器最近获取的所述输入影像的所述输入影像地址，同步更新至所述线缓冲器。

3.根据权利要求1所述的具有线缓冲器的影像校正系统，其特征在于，还包括分别耦接于所述主存储器与所述影像校正器的一LUT内存，用于储存所述输入影像与所述输出影像的地址转换关系，以供所述影像校正器从中查找所述输出影像地址所对应的所述输入影像地址。

4.根据权利要求1所述的具有线缓冲器的影像校正系统，其特征在于，所述变形校正算法为应用一双线性内插或一最临近内插法的内插算法。

5.一种具有线缓冲器的影像校正系统的实施方法，其特征在于，包括：

一设定高速缓存步骤：一高速缓存经配置为分别耦接于一主存储器与一影像校正器，所述高速缓存包含N个线缓冲器，其中所述N个线缓冲器被定义为包含多个N*M大小的缓存块组，各所述缓存块组暂存所述主存储器最近获取的一输入影像的多个像素及所述多个像素的一输入影像地址，且各所述缓存块组储存的所述输入影像地址，经配置为所述输入影像于相同或不同扫描线的列编号及地址卷标；

一产生输出影像地址步骤：所述影像校正器产生一输出影像的一线数据的一输出影像地址，所述输出影像的至少一所述线数据可由暂存于所述主存储器的所述输入影像的复数个线数据执行一变形校正算法而得，且所述输出影像地址被定义为所述输出影像的其中一所述线数据的列编号及地址卷标；

一缓存命中检查步骤：所述影像校正器查找所述输出影像地址所对应的一输入影像地址，以决定其中一所述线缓冲器所储存的所述输入影像地址是否缓存命中；以及

一缓存像素及校正影像步骤：若缓存命中，所述影像校正器从所述线缓冲器的其中一所述缓存块组读取所述输入影像的相关像素，以执行所述变形校正算法。

6.根据权利要求5所述的具有线缓冲器的影像校正系统的实施方法，其特征在于，所述缓存命中检查步骤的结果为缓存失误，继续执行一读取主存储器及更新线缓冲器步骤：所述影像校正器从所述主存储器对应的所述输入影像地址读取所述输入影像的相关像素，并令所述主存储器最近获取的所述输入影像的所述输入影像地址，同步更新至所述线缓冲器。

7.根据权利要求5所述的具有线缓冲器的影像校正系统的实施方法，其特征在于，所述缓存命中检查步骤执行时，所述影像校正器依据一LUT内存所储存的所述输入影像与所述输出影像的地址转换关系，从中查找所述输出影像地址所对应的所述输入影像地址。

8.根据权利要求5所述的具有线缓冲器的影像校正系统的实施方法，其特征在于，所述变形校正算法为应用一双线性内插或一最临近内插法的内插算法。

Images