CN107016643B - 在计算机视觉系统中按比例缩小图像的设备和方法 - Google Patents

Abstract

本发明涉及在计算机视觉系统中按比例缩小图像。提供一种缩放设备(604)，其包含多个缩放器(702、704、706、708)，其中所述缩放设备(604)可配置以将所述多个缩放器(702、704、706、708)中的任何缩放器映射到所述缩放设备(604)的至少两个输入端口中的任何输入端口，且可配置以将所述多个缩放器(702、704、706、708)中的多个缩放器映射到所述至少两个输入端口中的任何输入端口。

Description

在计算机视觉系统中按比例缩小图像的设备和方法

相关申请案的交叉参考

本申请案要求2015年11月11日提交的第62/254,053号美国临时专利申请案的权益，所述申请案以全文引用的方式并入本文中。

技术领域

本发明的实施例大体上涉及计算机视觉系统，且更确切地说涉及在计算机视觉系统中按比例缩小图像

背景技术

称作高级辅助驾驶系统(ADAS)的新等级的嵌式安全系统已引入到汽车中以减小人类操作失误。此等系统可提供功能性，例如后视照相机、电子稳定性控制和基于视觉式行人检测系统。这些系统中的许多依赖于计算机视觉处理以检测一或多个照相机的视野中的物体。图像的多分辨率分解，即，以不同分辨率按比例缩小图像以产生具有不同分辨率的图像金字塔为计算机视觉应用中的基本操作。图像金字塔使得能够分析在原始图像中在不同「大小」下，例如，在不同距离上方所俘获的场景。由于对于软件方法的大存储器要求和对于硬件方法的大硅区域要求，用以缩放图像的当前方法对于嵌式ADAS应用可能非所需的。

发明内容

本发明的实施例涉及用于按比例缩小计算机视觉系统中的图像的方法和设备。在一个方面中，提供一种用于缩放图像的设备，所述设备包含：至少两个输入端口；耦合到所述至少两个输入端口的缩放组件，所述缩放组件包含多个缩放器，所述缩放组件可配置以将任何缩放器映射到所述至少两个输入端口中的任何输入端口，且可配置以将多个缩放器映射到任何输入端口；以及耦合到所述至少两个输入端口和所述多个缩放器的输出的存储器，所述存储器经配置以存储每一输入端口的图像数据和由所述多个缩放器输出的经缩放图像数据。

在一个方面中，提供一种用于缩放图像的设备，所述设备包含：至少一个输入端口；耦合到所述至少一个输入端口的缩放组件，所述缩放组件包含多个缩放器，其中所述多个缩放器中的每一缩放器包含垂直缩放滤波器和水平缩放滤波器，每一缩放器经配置使得所述垂直缩放滤波器应用于输入图像数据，且所述水平缩放滤波器应用于所述垂直缩放滤波器的输出图像数据；以及耦合到所述至少一个输入端口和所述多个缩放器的输出的存储器，所述存储器经配置以存储所述至少一个输入端口的图像数据和由所述多个缩放器输出的经缩放图像数据。

在一个方面中，提供一种用于在图像缩放器中缩放图像的方法，所述方法包含：配置所述图像缩放器中的第一多个缩放器，使得所述第一多个缩放器中的一缩放器基于输入基础图像而产生图像金字塔的初始倍频程，且所述第一多个缩放器中的其余缩放器基于所述输入基础图像而在所述初始倍频程与所述基础图像之间各自产生相应内倍频程经缩放图像；在所述第一多个缩放器中的每一缩放器中缩放所述输入基础图像以产生所述初始倍频程和所述相应内倍频程经缩放图像；以及存储下一倍频程和所述相应内倍频程经缩放图像。

附图说明

现将仅借助于实例且参考附图来描述具体实施例：

图1为图像金字塔的实例；

图2为说明用以产生图像金字塔的方法的实例；

图3为具有单个输入线程的多个独立缩放器的现有技术实例；

图4为说明用以产生图像金字塔的方法的实例；

图5为具有多个缩放器的实例多线程图像缩放器的框图；

图6和7为具有多个缩放器的多线程图像缩放器的实例架构的框图；

图8A和8B为用于产生图像金字塔的图6和7的架构的实例配置；

图9为说明用以产生图像金字塔的方法的实例；

图10为用于在具有多个缩放器的多线程图像缩放器中缩放输入图像的方法的流程图；

图11为用于使用来自先前倍频程的缩放产生图像金字塔的方法的流程图；

图12为包含具有多个缩放器的多线程图像缩放器的实例多处理器芯片上系统(SOC)的高水平框图；且

图13为说明缩放滤波器之间的系数组的共享的实例。

具体实施方式

现在将参考附图详细描述本发明的特定实施例。出于一致性，在各个图中的类似元件由类似的参考数字表示。

如先前所提及，在基于照相机的嵌式安全系统中所执行的计算机视觉处理需要图像金字塔的产生，即，从高分辨率输入所产生的减小分辨率下采样图像的层级。可基于所使用特定视觉算法而为图像产生一或多个图像金字塔。举例来说，图像金字塔可为一组图像，其中相对于金字塔中的具有下一较高分辨率的图像而通过二的因数水平地和垂直地两者对每一图像进行下采样。在此金字塔中，每一图像称作倍频程。图1为此金字塔的实例。

对于一些算法，经下采样图像也产生于金字塔的每一倍频程之间。用以在倍频程(即，内倍频程经缩放图像)之间产生经下采样图像的缩放比率可为任意的。举例来说，对于汽车安全系统中的行人检测和物体检测，用于倍频程缩放之间的比率可为1与2之间，例如，1.1、1.1²、等，且每一倍频程之间的经缩放图像的数目可为八个。假定具有六个倍频程的图像金字塔，对于单个输入图像产生5×8＝40个经缩放输出。

通用的图像缩放软件方法包含于OpenCV(开源计算机视觉库)中。OpenCV为广泛使用的包含对实时计算机视觉处理的支持的开源计算机视觉和机器学习软件库。在OpenCV中，例如图1的金字塔的金字塔的产生针对每一图像层包含以高斯内核卷积前一层和从结果去除每一偶数行和列。通过调用具有输入的先前较高分辨路层的单个下采样函数来依序地产生每一图像层(倍频程)。此外，在OpenCV中，通过依序地调用单个调整大小函数来执行对图像的一般缩放(例如需要产生内倍频程经缩放图像的一般缩放)。对于一般缩放的下采样可使用双线性、双三次、样条或Lancoz滤波。图2为说明使用OpenCV的典型金字塔产生的实例。如本实例展示，所有倍频程(例如金字塔的倍频程202、204)和所有内倍频程经缩放图像(例如，经缩放图像206、208)依序地从基础图像200产生。

用以支持所需图像缩放的通用硬件方法为通过单个输入线程实施数个独立图像调整大小器或缩放器。包含于系统中的硬件的数目可变化，且可基于例如吞吐量要求和成本的因素而加以选择。图3为说明此现有技术方法的实例。缩放器中的每一者可具有相同输入，且可独立地经编程以产生处在不同分辨率的经按比例缩小输出。替代地，可依序地(即，以级联方式)操作缩放器，使得缩放器的经按比例缩小输出为序列中的下一缩放器的输入。在任一情况下，若缩放器的数目小于所要经缩放图像的数目，则可使用穿过缩放器的多个遍次。图4为说明将多个缩放器用作级联的典型金字塔产生的实例。如本实例展示，具有最高分辨率的内倍频程经缩放图像从基础图像400产生，且每一倍频程(例如倍频程402、404)和每一内倍频程经缩放图像(例如，经缩放图像406、408)从下一较高分辨率经缩放图像产生。

如图3的实例中所说明，每一缩放器对某一数目个连续图像行执行水平缩放，且将结果存储于线缓冲器中。经处理连续行的数目和线缓冲器的数目取决于用于垂直缩放的滤波器的抽头的数目。接着对线缓冲器的内容执行垂直缩放。重复水平缩放和垂直缩放，直到已处理输入图像的所有行。

本发明的实施例提供使用可在多个线程之间共享的多个缩放器的多线程图像缩放。更确切地说，所有缩放器可逐线程使用，或缩放器可分割于输入线程中的两者或更多者之间。此外，在一些实施例中，每一缩放器在水平缩放之前执行垂直缩放，从而消除对于每一缩放器中的线缓冲器的需要。此外，在一些实施例中，提供统一多相滤波，其中可调谐相位的滤波器抽头，以实现按整数比率的倍频程缩放以及按任意分数的一般缩放。也就是说，可模拟任何种类的内插，例如，高斯、双线性、双三次、Lancoz等。而且，在一些实施例中，针对按比例缩小比率而提供双精确度模式(例如，1/64和1/32)，以处理等同水平和垂直比率的典型情况，而不改变高宽比且不随高宽比的改变而改变缩放。

图5为说明具有多个缩放器的多线程图像缩放器的一实施例的实例。在此实例中，假定输入线程的数目为两个。所属领域的技术人员将理解存在更多输入线程的实施例。N个缩放器的组共享于两个输入线程之间。对于任何给定处理周期，可将所有N个缩放器指派到输入线程中的一者，或可将缩放器的子集指派到每一输入线程。举例来说，可在缩放器1到5中处理输入1线程，且可在缩放器N中处理输入2线程。此外，N个缩放器中的每一者在水平缩放之前执行垂直缩放。应注意，在垂直缩放组件与水平组件之间不存在线缓冲器。

图6和7为具有多个缩放器的多线程图像缩放器的实例架构的框图。所描绘特定架构为可包含于来自德州仪器公司(Texas Instruments,Inc.)的ADAS集成电路(IC)中的视觉预处理加速器(VPAC)的多缩放器(MSC)硬件加速器600的一实施例。本文中提供VPAC_MSC600的方面的高水平描述。VPAC_MSC 600在M.Mody和B.Chae于2015年7月13日在德州仪器「VPAC Multi-Scaler(MSC)HWA Module Specification」v0.8.0中更详细地加以描述，其以引用的方式并入本文中。

在此实例架构中，输入线程的数目为两个，且缩放器的数目为十个。所属领域的普通技术人员将理解存在更多输入线程和/或更多或更少缩放器的实施例。所述组十个缩放器共享于两个输入线程之间，例如，一个输入线程可映射N个缩放器，且另一输入线程可映射到M个缩放器，其中N+M≤10。也就是说，可同时处理两个输入线程，其中每一线程使用十个缩放器的子集或一个输入线程可使用一些或所有十个缩放器。此外，可异步地处理输入线程。从存储于MSC 600外部的存储器中的共享圆形线缓冲器读取每一处理线程的输入平面数据。缩放操作的结果存储于外部存储器中的共享圆形线缓冲器中。到和从存储器的数据传送由VPAC中的DMA控制器处理，其中传送请求事件来自VPAC中的硬件线程调度程序。

如图6中所展示，MSC 600包含负载存储引擎(MSC_LSE)602、配置管理组件(MSC_CFG)606和缩放组件(MSC_CORE)604。配置管理组件606提供用于编程负载存储引擎602和缩放组件604两者的配置寄存器的接口。负载存储引擎602的配置寄存器(MSC_LSE_CFG)为负载存储引擎的部分，且缩放组件604的配置寄存器为配置管理组件606的部分。

缩放组件604的配置寄存器存储十个缩放器中的每一者的一组配置参数。每一缩放器的配置参数包含：指示应使用单相还是多相滤波的滤波模式标志、指示指示应使用32相位还是64相位的相模标志、用于选择多相垂直和水平滤波器系数的标志、用于选择单相垂直和水平滤波器系数的标志、缩放因数、和垂直和水平滤波器的初始相位偏移值。负载存储引擎602的配置寄存器存储两个输入信道中的每一者和十个输出信道中的每一者的参数。每一输入信道的参数包含输入信道的圆形输入缓冲器的大小、缓冲器的基础基础地址、缓冲器中的线的数目、和线中的像素的数目。每一输出信道的参数包含指示信道到两个输入线程中的一者的映射的标志、输出循环缓冲器的大小、和输出循环缓冲器的基础地址。

负载存储引擎602管理输入数据从两个处理线程的输入圆形线缓冲器到缩放组件604的负荷、和输出数据从缩放组件604到存储器中的输出圆形线缓冲器中的存储。更确切地说，负载存储引擎602包含用以管理缩放组件604的两个输入信道的功能性，针对两个输入线程中的每一者管理一个输入信道。输入信道可多达一帧五个线，取决于用于缩放的滤波器核。负载存储引擎602还包含用以管理十个输出信道的功能性，针对缩放组件604中的十个缩放器中的每一者管理一个输入信道。此外，负载存储引擎602包含输出信道中的每一者的可编程线程映射，即，每一输出信道可经编程以映射到处理线程中的一者。负载存储引擎602还包含用以与硬件线程调度程序同步的功能性。

缩放组件604可配置以执行来自两个独立输入源的两组异步一对多缩放操作。图7为缩放组件604的框图。缩放组件604可经由输入端口VP_IN_0和VP_IN_1从负载存储引擎602接收一个或两个独立输入。负载存储引擎602的每一输出信道的输出线程映射参数通过控制耦合到缩放器的数据选择多路复用器712、714、716、718来将缩放器702、704、706、708中的每一者映射到输入端口中的一者。

缩放器702、704、706、708中的每一者包含相应垂直缩放滤波器720、722、724、726和水平缩放滤波器728、730、732、734。缩放滤波器中的每一者为支持具有64个或32个相位的最大5抽头内核的可编程多相滤波器。每一5抽头滤波器可经编程以执行5抽头、4抽头或3抽头滤波。举例来说，5抽头滤波器可经编程为用于倍频程产生的5抽头高斯滤波器或用于内倍频程经缩放图像产生的4抽头双三次按比例缩小滤波器。垂直输入边填充由负载存储引擎602执行，且水平输入边填充在水平缩放滤波器中的每一者中予以执行。

缩放滤波器的共享系数组存储于由缩放滤波器共享的系数缓冲器710中。任何系数组可由任何缩放滤波器使用。为了使得能够有效率地共享系数组，将缓冲器710实施为MSC_Core 604中的寄存器。在本文中参考图13更详细地论述系数组的共享。每一系数组由存储于两个寄存器中的五个系数值构成。存在两个专用组5抽头单相滤波器系数用于倍频程产生和整数调整大小应用——金字塔Coef CFG 0和金字塔Coef CFG 1。此外，存在四个组多相系数用于一般非整数调整大小、G缩放器Coef 0、1和G缩放器Coef 2、3。多相系数可经配置成四组5抽头×32相位系数、1组5抽头×64相位系数和两组5抽头×32相位系数、或2组5抽头×64相位系数32相位配置选项允许使用垂直和水平缩放的单独系数组，以在缩放期间达成高宽比改变。用于缩放滤波器的系数组的选择由缩放滤波器的系数选择参数控制。

缩放器702、704、706、708中的每一者还包含耦合到由负载存储引擎602管理的相应输出信道的相应输出端口VP_OUT_0…VP_OUT_9。在缩放器702、704、706、708中的每一者中，将来自经映射输入端口的输入提供到垂直缩放滤波器，且将垂直缩放滤波器的输出提供到水平缩放滤波器。将水平缩放滤波器的输出提供到输出端口。

图8A和8B展示用于产生图像金字塔的MSC 600的实例配置。在这些实例中，帧缓冲器800存储输入图像，即，待经缩放的图像和由MSC 600输出的经缩放图像。内部随机存取存储器802存储每一处理线程(即，Thread_0和Thread_1)的输入和输出循环缓冲器。在这两个实例中，将五个缩放器指派到每一输入线程。因此，将五个输出缓冲器Output_CBUF_x指派到每一输入线程。

首先参考图8A，每一输入线程具有相应输入循环缓冲器，耦合到帧缓冲器800以接收图像数据的Input_CBUF_0和Input_CBUF_1。可使用此配置以(例如)按倍频程与输入图像之间的分辨率产生一倍频程和四个内倍频程经缩放图像。输入图像数据可来自相同图像或来自不同图像。若输入图像数据来自不同图像，则多个缩放遍次可用以产生连续倍频程和对应内倍频程经缩放图像。在每一缩放遍次中，可视需要改变缩放器的参数。

可使用此配置以(例如)产生图像金字塔，其中金字塔的所有倍频程和对应内倍频程经缩放图像是从基础图像产生，如图2的实例中所说明。对于每一缩放遍次，帧缓冲器800中的基础图像将为输入图像。

还可使用此配置以(例如)执行用于产生具有内倍频程经缩放图像的图像金字塔的新颖过程。在此过程中，使用倍频程图像以在两个倍频程之间产生下一较低分辨率倍频程图像和内倍频程经缩放图像。图9为说明此过程的实例。基础图像900用以产生下一较小倍频程902和内倍频程经缩放图像906。倍频程902接着用以产生下一较小倍频程904和内倍频程经缩放图像908。对于此过程，每一缩放遍次的除了初始图像之外的输入图像将为由先前缩放遍次产生的倍频程。

现参考图8B，说明输入线程的级联配置，其中一个输入线程的输出缓冲器中的一者还充当另一输入线程的输入缓冲器。在此实例配置中，输入线程Thread_0具有耦合到帧缓冲器800以接收图像数据的输入循环缓冲器Input_CBUF_0，和耦合到Thread_0的输出循环缓冲器Output_CBUF_4以从Thread_1接收经缩放图像数据作为输入的输入线程Thread_1。在此配置中，输出缓冲器还充当可经配置以保持由指派到Thread_1的缩放器需要的输入线的数目的输入缓冲器，例如，在指派到Thread_1的缩放器经配置以使用5抽头滤波器时可经配置以保持五个线的缓冲器。

此配置可用以(例如)执行来自在图9中所说明的先前倍频程过程的缩放。举例来说，Output_CBUF_4中的经缩放数据可为从Input_CBUF_0中的图像数据产生的倍频程数据，且Thread_1的缩放器可经配置以产生金字塔中的下一倍频程和对应内倍频程经缩放图像。若需要两个以上倍频程，则可使用多个缩放遍次，其中由Thread_2的处理输出的倍频程用作到Thread_0的输入。

图10为用于在具有多个缩放器的多线程图像缩放器(例如，图6和7的多线程图像缩放器)中缩放输入图像的方法的流程图。流程图阐述使用单个线程的缩放。所属领域的普通技术人员将理解，可异步地处理到多线程图像缩放器的输入线程，且可基于缩放器的可用性而针对额外输入线程重复所述方法。

最初，执行配置以供线程处理(1000)。此配置可视需要包含编程系数寄存器、将N个缩放器指派到线程，其中N为用于处理输入图像的缩放器的所要数目、对N个所指派缩放器中的每一者中的滤波器的参数进行配置、和对输入和输出循环缓冲器的参数进行配置。一旦完成配置1000，则经配置缩放器根据经配置过滤器参数和系数而缩放输入图像的每一输入线(1002)，直到输入图像的缩放完成(1006)。当所有N个缩放器完成对输入图像的线的处理时，对输入图像的缩放完成。

采用了图6和7的多线程图像缩放器，在每一经配置缩放器中，每一输入线由垂直缩放滤波器垂直地缩放。若经垂直地缩放输出线有效，则垂直地经缩放输出线接着在水平缩放滤波器中经水平地缩放。若所得经缩放线有效，则将水平缩放滤波器的输出像素存储于对应输出缓冲器中(1004)。所属领域的普通技术人员将理解，图像中的某些像素可能作为按比例缩小的部分而下降，从而导致无效输出线。当所有N个缩放器完成对输入线的处理且缩放的任何有效输出写入到相应缩放器输出缓冲器时，对输入线的缩放完成。

图11为用于使用来自如图9的实例中所说明的先前倍频程的缩放的产生图像金字塔的方法的流程图。方法假定使用具有多个缩放器的多线程图像缩放器(例如，图6和7的多线程图像缩放器)。所属领域的普通技术人员将理解具有多个缩放器的单个线程图像缩放器的实施例。所述方法假定具有含有7个内倍频程经缩放图像的六个或七个倍频程的典型图像金字塔。所属领域的普通技术人员将理解具有更多或极少倍频程和/或内倍频程经缩放图像的实施例。方法还假定存在至少八个缩放器。

最初，执行配置以供线程处理(1100)，使得缩放的所得输出为图像金字塔的倍频程和对应内倍频程经缩放图像。此配置可视需要包含编程系数寄存器、将八个缩放器指派到线程、对八个所指派缩放器中的每一者中的滤波器的参数进行配置、和对输入循环缓冲器和八个输出循环缓冲器的参数进行配置。对于初始缩放遍次，输入图像为基础图像且输出倍频程为图像金字塔中的下一倍频程。

一旦完成配置1100，则八个经配置缩放器根据经配置过滤器参数和系数而缩放输入图像的每一输入线(1102)，直到输入图像的缩放完成(1106)。当所有八个缩放器完成对输入图像的线的处理时，对输入图像的缩放完成。当所有八个缩放器完成对输入线的处理且缩放的任何有效输出写入到相应缩放器输出缓冲器时，对输入线的缩放完成。

如果所有所要倍频程已产生(1108)，那么处理终止。否则，下一倍频程连同对应内倍频程经缩放图像1100到1106产生。用于产生每一连续倍频程和对应内倍频程经缩放图像的输入图像为先前倍频程。

应注意，如果上述方法用于图6和7的多线程图像缩放器中，那么第二输入线程和两个缩放器保持可供用于其它图像处理。举例来说，第二输入线程和其余缩放器可用以针对其它输入数据实现金字塔产生，或针对彩度数据实现金字塔产生，只要由两个线程需要的缩放的总数目为十个或更小。

图12为包含经配置供用于基于照相机的ADAS中的具有多个缩放器的多线程图像缩放器(MSC)1212的实例多处理器芯片上系统(SOC)1200的高水平框图。本文中提供对SOC1200的组件的高级描述。可在M.Mody等人于2015年12月16日到19日在印度·班加罗尔的Proceedings of 2015IEEE 22^nd International Conference on High PerformanceComputing的「High Performance Front Camera ADAS Applications on TI's TDA3XPlatform」中发现对实例组件(除了MSC 1212之外)的更详细描述，其以引用的方式并入本文中。

SOC 1200包含经由高速互连件1222耦合的双通用处理器(GPP)1202、双数字信号处理器(DSP)1204和视觉处理器1206。SOC 1200进一步包含直接存储器存取(DMA)组件1208、照相机俘获组件1210、显示管理组件1214、芯片上随机存取(RAM)存储器1216、和经由互连件1222全部耦合到处理器的每一种输入/输出(I/O)周边装置1220。此外，SOC1200包含包括安全相关功能性以实现遵从汽车安全要求的安全组件1218。此等功能性可包含对于数据的CRC(循环冗余检查)的支持、漂移检测的时钟比较器、错误传信、加窗看门狗定时器和SOC对于损坏和故障的自测试。

MSC 1212具有多个线程输入和可分割于输入线程之间的多个缩放器。本文中已在前文描述此MSC的硬件架构的实例。在一些实施例中，MSC 1212可为独立硬件加速器。在一些实施例中，MSC 1212可为视觉预处理硬件加速器(例如图6和7的MSC 600)的部分。在一些实施例中，MSC 1212可为在GPP 1202、DSP 1204和视觉处理器1206中的一或多者上执行的软件。可在SOC 1200的任何可编程处理器上执行控制MSC 1212的操作的软件。

如先前所提及，两个单相系数组和四个多相系数组由图7中所说明的缩放组件604的十个缩放器共享。缩放组件的典型用途为产生具有多达八个层级的图像金字塔，其中用以产生内倍频程经缩放图像的按比例缩小比率在1×与0.5×之间。因为按比例缩小比率或多或少地彼此不同，即，为大约1.09x的倍数，所以各自支持这些比率内的子范围的通用系数值的共享组对于计算机视觉应用足以产生图像金字塔。当处理单个输入线程时或当处理两个输入线程时，系数组可由缩放器共享。

图13为说明缩放组件604中的两个输入线程之间的系数组的共享的实例。在此实例中，Coef_0、Coef_1、Coef_2和Coef_3为多相系数的四个共享组，且SP_Coef_0和SP_Coef_1为单相系数的两个共享组。每一多相系数组经编程以支持不同缩放比。举例来说，COEF_0可支援1×到0.75×的缩放比，COEF_1可支援0.75×到0.5×的缩放比，COEF_2可支援0.5×到0.35×的缩放比，且COEF_3可支援0.35×到0.25×的缩放比。

Scaler_0、Scaler_1、Scaler_2、Scaler_3和Scaler_4指派到一个输入线程且其余缩放器指派到另一输入线程。如表中所说明，Scaler_0、Scaler_1、Scaler_2和Scaler_3各自经配置以使用多相系数组中的一者产生内倍频程经缩放图像，且Scaler_4经配置以使用单相系数组中的一者产生倍频程。类似地，Scaler_5、Scaler_6、Scaler_7和Scaler_8各自经配置以使用多相系数组中的一者产生内倍频程经缩放图像，且Scaler_9经配置以使用单相系数组中的一者产生倍频程。应注意，Scaler_0、Scaler_1和Scaler_5经配置以使用相同多相系数组Coef_0，且Scaler_2、Scaler_3和Scaler_6经配置以使用相同多相系数组Coef_1。

其它实施例

虽然已关于有限数目的实施例描述本发明，但具有本发明权益的所属领域的普通技术人员应理解，可设计不脱离如本文所揭示的本发明范围的其它实施例。

举例来说，已在本文中描述使用多相滤波器执行垂直和水平缩放的实施例。所属领域的普通技术人员将理解使用其它适合的滤波的实施例，例如(例如)双线性滤波、双三次滤波、Lancoz滤波、高斯滤波等。此外，所属领域的普通技术人员将理解使用多个滤波技术的实施例。

在另一个实例中，已在本文中描述在缩放器之间共享系数组的实施例。所属领域的普通技术人员将理解每一缩放器具有单独专用系数存储的实施例。此外，所属领域的普通技术人员将理解具有更多或更少共享系数组的实施例。

在另一个实例中，已在本文中描述每一缩放器在水平滤波之前执行垂直滤波的实施例。所属领域的普通技术人员将理解滤波次序逆转的实施例。

在另一个实例中，已在本文中描述聚焦于图像的按比例缩小的实施例。所属领域的普通技术人员将理解缩放器也可用于图像的按比例放大、透视变换、噪声过滤等的实施例。

在另一个实例中，已在本文中参考ADAS描述实施例。所属领域的普通技术人员将理解除ADAS以外的计算机视觉应用的实施例，例如(例如)工业应用、机器人技术和无人机。

尽管可在本文中以依序方式呈现且描述方法步骤，但是在图中所展示且在本文中所描述的步骤中的一或多者可并行地予以执行、可组合、和/或可按不同于在图中所展示且在本文中所描述的次序的次序予以执行。因此，实施例应被视为限于在图中所展示且在本文中所描述的步骤的特定次序。

某些术语在整个描述和权利要求书中被用来指代特定系统组件。如所属领域的普通技术人员应理解，系统中的组件可以在不脱离所描述的功能的情况下通过不同名称来提及和/或可以按本文中未展示的方式组合。此文档并不既定区分开在名称而非功能上不同的组件。在描述中和在权利要求中，术语“包含”和“包括”是以开放式方式使用，并且因此应该解释为意指“包含(但不限于)……”。而且，术语“耦合”和其派生词既定意味着间接、直接、光学和/或无线电连接。因此，如果第一个装置耦合到第二个装置，那么举例来说，那个连接可通过直接电连接、通过其它装置和连接的间接电连接、通过光学电连接和/或通过无线电连接。

因此，预期所附权利要求书将覆盖属于本发明的真正范围的实施例的任何此类修改。

Claims (22)

1.一种用于缩放图像的设备，所述设备包括：

至少两个输入端口；

耦合到所述至少两个输入端口的缩放组件，所述缩放组件包含多个缩放器，所述缩放组件适于以：

将任何缩放器映射到所述至少两个输入端口中的任何输入端口；

通过控制耦合到多于一个缩放器的多个数据选择多路复用器来将所述多于一个缩放器映射到所述至少两个输入端口中的任何输入端口；以及

执行来自所述至少两个输入端口的至少两组异步一对多缩放操作；以及

耦合到所述至少两个输入端口和所述多个缩放器的输出的存储器，所述存储器适于以存储每一输入端口的图像数据和由所述多个缩放器输出的经缩放图像数据。

2.根据权利要求1所述的设备，其中所述多个缩放器中的每一缩放器包含垂直缩放滤波器和水平缩放滤波器。

3.根据权利要求2所述的设备，其中每一缩放器经配置使得所述垂直缩放滤波器应用于输入图像数据，且所述水平缩放滤波器应用于所述垂直缩放滤波器的输出图像数据。

4.根据权利要求2所述的设备，其中每一垂直缩放滤波器和每一水平缩放滤波器实施可编程多相滤波器。

5.根据权利要求2所述的设备，其中所述多个缩放器耦合到多个系数组，其中所述水平缩放滤波器和所述垂直缩放滤波器可配置以使用所述多个系数组中的任何系数组，其中任何系数组可由不同缩放器中的两个或两个以上缩放滤波器共享。

6.根据权利要求3所述的设备，其中每一输入端口的图像数据存储于所述存储器中的多个线缓冲器中，且其中当两个或两个以上缩放器映射到输入端口时，所述两个或两个以上缩放器共享所述输入端口的所述多个线缓冲器。

7.根据权利要求1所述的设备，其中所述缩放组件可配置使得映射到所述至少两个输入端口的第一输入端口的缩放器的输出图像数据向所述至少两个输入端口的第二输入端口提供输入图像数据。

8.根据权利要求1所述的设备，其中所述设备包括于芯片上系统SOC中。

9.一种用于缩放图像的设备，所述设备包括：

至少两个输入端口；

缩放组件，所述缩放组件耦合到所述至少两个输入端口，其中所述缩放组件适于以通过控制耦合到所述缩放组件的多个数据选择多路复用器而被映射到所述至少两个输入端口中的任何输入端口，并且所述缩放组件适于以执行来自所述至少两个输入端口的至少两组异步一对多缩放操作，所述缩放组件包括多个缩放器，其中所述多个缩放器中的每一缩放器包含垂直缩放滤波器和水平缩放滤波器，其中每一缩放器经配置使得所述垂直缩放滤波器应用于输入图像数据，且所述水平缩放滤波器应用于所述垂直缩放滤波器的输出图像数据；以及

耦合到所述至少两个输入端口和所述多个缩放器的输出的存储器，所述存储器经配置以存储所述至少两个输入端口的图像数据和由所述多个缩放器输出的经缩放图像数据。

10.根据权利要求9所述的设备，其中每一垂直缩放滤波器和每一水平缩放滤波器实施可编程多相滤波器。

11.根据权利要求9所述的设备，其中所述缩放组件包含多个系数组，其中所述水平缩放滤波器和所述垂直缩放滤波器可配置以使用所述多个系数组中的任何系数组，其中任何系数组可由不同缩放器中的两个或两个以上缩放滤波器共享。

12.根据权利要求9所述的设备，其中所述至少两个输入端口的图像数据存储于所述存储器中的多个线缓冲器中，且其中当两个或两个以上缩放器映射到输入端口时，所述两个或两个以上缩放器共享所述输入端口的所述多个线缓冲器。

13.根据权利要求9所述的设备，其中所述缩放组件可配置以将任何缩放器映射到所述至少两个输入端口中的任何输入端口，且可配置以将多于一个缩放器映射到任何输入端口。

14.根据权利要求13所述的设备，其中所述缩放组件可配置使得映射到所述至少两个输入端口的第一输入端口的缩放器的输出图像数据向所述至少两个输入端口的第二输入端口提供输入图像数据。

15.根据权利要求9所述的设备，其中所述设备包括于芯片上系统SOC中。

16.一种用于在图像缩放器中缩放图像的方法，所述方法包括：

通过控制耦合到所述图像缩放器中的缩放器可用集合的多个数据选择多路复用器来将所述缩放器可用集合映射到至少两个输入端口中的任何输入端口；

指派所述图像缩放器中的第一多个缩放器以处理输入基础图像，其中所述第一多个缩放器是所述缩放器可用集合中的子集；

配置所述图像缩放器中的所述第一多个缩放器，使得所述第一多个缩放器中的一缩放器基于所述输入基础图像而产生图像金字塔的初始倍频程，且所述第一多个缩放器中的其余缩放器各自基于所述输入基础图像而在所述初始倍频程与所述输入基础图像之间产生相应内倍频程经缩放图像，其中所述其余缩放器的第一缩放器中的缩放滤波器与所述其余缩放器中的第二缩放器中的缩放滤波器共享相同系数组；

在所述第一多个缩放器中的每一缩放器中缩放所述输入基础图像，以产生所述初始倍频程和所述相应内倍频程经缩放图像；以及

存储所述初始倍频程和所述相应内倍频程经缩放图像。

17.根据权利要求16所述的方法，其进一步包括：

配置所述第一多个缩放器，使得所述第一多个缩放器中的一缩放器基于所述初始倍频程而在所述初始倍频程下方产生所述图像金字塔的第二倍频程，且所述多个缩放器中的其余缩放器各自基于所述初始倍频程而在所述初始倍频程与所述第二倍频程之间产生相应内倍频程图像；

在所述多个缩放器中的每一者中缩放所述初始倍频程，以产生所述第二倍频程和在所述初始倍频程与所述第二倍频程之间的所述相应内倍频程经缩放图像；以及

存储所述第二倍频程和在所述初始倍频程与所述第二倍频程之间的所述相应内倍频程经缩放图像。

18.根据权利要求16所述的方法，其进一步包括：

配置所述图像缩放器中的第二多个缩放器，使得到所述第二多个缩放器的输入为所述初始倍频程，且所述第二多个缩放器中的一缩放器基于所述初始倍频程而在所述初始倍频程下方产生所述图像金字塔的第二倍频程，且所述第二多个缩放器中的其余缩放器各自基于所述初始倍频程而在所述初始倍频程与所述第二倍频程之间产生相应内倍频程经缩放图像；

在所述第二多个缩放器中的每一缩放器中缩放所述初始倍频程，以产生所述第二倍频程和在所述初始倍频程与所述第二倍频程之间的所述相应内倍频程经缩放图像；以及

存储所述第二倍频程和在所述初始倍频程与所述第二倍频程之间的所述相应内倍频程经缩放图像。

19.根据权利要求18所述的方法，其中所述第一多个缩放器的所述其余缩放器中的缩放器中的缩放滤波器与所述第二多个缩放器的所述其余缩放器中的缩放器中的缩放滤波器共享相同系数组。

20.根据权利要求16所述的方法，其中所述第一多个缩放器中的每一缩放器包含垂直缩放滤波器及水平缩放滤波器。

21.根据权利要求16所述的方法，其中每一缩放器经配置使得垂直缩放滤波器应用于所述基础图像的输入图像数据，且水平缩放滤波器应用于所述垂直缩放滤波器的输出图像数据。

22.根据权利要求21所述的方法，其中每一垂直缩放滤波器和每一水平缩放滤波器实施可编程多相滤波器。

Images