CN101960291B - 基于降低复杂度的超谱处理的目标检测方法 - Google Patents

Abstract

本发明提供了一种基于降低复杂度的超谱处理的实时目标检测方法。该实时目标检测方法包括基于库来检测预处理像素作为目标和/或背景；以及通过从目标和/或背景中提取目标样本和/或背景样本来对库进行精简。用于超普图像处理的实时目标检测架构基于降低复杂度的算法，其中简化了库精简程序以用于实时应用且减少了谱带的数目。提供了使用数据划分和可扩展复杂处理元件架构的有效流水线处理元件架构。因此，用于超谱图像处理的实时目标检测架构具有快速且准确地检测目标的优点。

Description

基于降低复杂度的超谱处理的目标检测方法

技术领域

本发明涉及实时目标检测方法，更特别地涉及用于超谱图像处理的实时目标检测方法。

背景技术

超谱图像处理是一种收集并解释来自场景的详细光谱信息的技术。以几百个狭窄且相邻的谱带(实际上为连续光谱)来表示像素的图像数据。光谱范围包括红外线、可见光和紫外线。详细的光谱分辨率使得超谱图像技术成为一种用于检测化学物质、异常及伪装对象以及用于目标跟踪的强大工具。传统的超谱图像处理使用几百个谱带来检测目标或将其分类。计算复杂度与需要处理的数据量成比例。因此，数据缩减和简化算法对于实时执行而言是非常关键的。可以通过利用光谱内容冗余来降低超谱处理的计算复杂度，以便可以使用部分数目的谱带。然而，与一般的图像处理相比，超谱图像处理中要处理的数据量仍然很大。存在许多用于处理超谱图像数据的方法。硬件集群可能是可行的解决方案，因为其用来实现高性能、高可用性和水平扩展。该集群技术可以用于高度可伸缩的存储和/数据管理。这些计算资源可以用来在向地面传输之前高效地处理遥感数据。数字信号处理器也适合于超谱计算，因为其可以被充分用于执行乘法累加运算。其通常被实施于DSP集群中，以进行并行处理。在没有数据缩减的情况下，传统的存储及处理系统性能对于实时超谱图像处理而言是不够的。

传统图像图片由二维矩阵来表示，但如图1所示，超谱图像具有用于谱带光谱数据的又一个维度。由超谱图像传感器收集的数据被保持为一个立方块(cube)且位于(x；y)处的每个像素具有N_z个谱带。符号N_x和N_y用于沿轴指示像素的总尺寸。实现用于超谱图像中的检测的高性能由于大量的光谱谱带而成为一个大的挑战。超谱图像处理涉及三个关键阶段：预处理、处理以及后处理。总体操作在图2中示出。超谱传感器是一检测器阵列，该阵列中的检测器收集像素中的光谱内容。如图2所示，来自传感器的光谱内容被作为原始图像数据存储在立方块存储器中。通过预处理对该原始图像数据进行校准。每个立方块包含表示目标材料的特性的许多谱带。在处理中，通过在部分数据与目标库高度相关的同时将该部分数据隔离来检测目标图像。所述目标库包含关于其意图进行检测的对象的光谱信息。处理的目的是从与存储在目标库中的光谱信息相关的输入立方块中找出目标图像。第三步骤是后处理，其中，用RGB来显示实际检测的图像。

一般超谱图像处理的主要挑战是其优点的反面：超谱图像数据的高数量和复杂度。对于实时处理而言，应降低复杂度。最容易的方法是减少谱带的数目和用于处理的库的量。然而，此类缩减可能消除超谱图像处理的优点。如果某些谱带具有更多的特性以表示对象，则不需要利用所有谱带光谱来检测目标。因此，我们的方法确定哪些谱带对于目标检测而言更有效并随后将其用来检测目标。

发明内容

本发明提供一种基于降低复杂度的超谱处理的实时目标检测架构，该架构能够在实时快速应用中准确地检测目标。

根据本发明的方面，提供了一种基于超谱处理的实时目标检测方法，该方法包括：基于库来检测预处理像素以作为目标和/或背景；以及通过从该目标和/或背景提取目标样本和/或背景样本来对库进行精简。优选地，对库进行精简可以包括基于贡献因数来完成用于像素的有效谱带列表。优选地，检测预处理像素以作为目标和/或背景可以包括：从精简后的库加载有效谱带列表；基于来自所述库的所述有效谱带列表和相关性系数来获得光谱信息；以及基于相关性系数的大小来确定目标和/或背景。优选地，在确定目标和/或背景时，当相关性系数大于指示像素与库之间的关系的最小相关性系数时，所述像素可以被检测作为目标。优选地，在检测预处理像素作为目标和/或背景时，可以使用流水线结构来处理像素。

一种用于超谱图像处理的实时目标检测架构是以一种降低复杂度算法(其中简化了库精简过程，且减少了谱带数目，以用于高吞吐量应用程序)为基础的。提供了一种使用数据划分的高效流水线处理元件架构。提供了一种可扩展多处理元件架构。为了改善速度，提供了一种用于多处理元件架构的互连拓扑结构。提供了一种基于用来在超谱图像处理中使处理单元建模和存储器使用能力最优化并消除存储器的瓶颈状态的数据布置算法的计算结构。提出的架构在FPGA中被设计并实施为检验硬件复杂度对于降低复杂度的超谱图像处理的执行吞吐量之间的关系。因此，用于超谱图像处理的实时目标检测架构具有快速且准确地检测目标的优点。

附图说明

图1是示出了立方块数据结构的图示；

图2是示出了整个超谱图像处理的方框图；

图3是示出了应用两种不同数目的有效谱带的被检测图像的比较的图示；

图4是示出了应用库精简方案的被检测图像的结果的图示；

图5是示出了根据本发明的实施例的目标检测方法的流程图；

图6是示出了N_LIB＝4的处理的时序图；

图7是函数图形；

图8是示出了根据运算的函数分布的图示；

图9是示出了没有立方块延迟的处理的图示；

图10是示出了应用具有两个阶段的流水线结构的处理的图示；

图11是示出了图10的处理的时序图；

图12是示出了相对于T_A和T_B的执行时间的图表；

图13是示出了应用三个累加器的阶段A处的基于像素的流水线结构的图示；

图14是示出了基于像素的流水线结构中相对于像素的执行时间的图示；

图15示出了具有浮点单元(FPU)的执行流程；

图16示出了其中处理元件的数目是4的立方块数据划分；

图17示出了立方块划分；

图18示出了其中应用两种不同数目的处理单元的被检测图像的比较；

图19是示出了没有分离库的多数据划分的方框图；

图20是示出了具有共享库的多数据划分的方框图；

图21是示出了图20的多数据划分的时序图；

图22是示出了根据本发明的实施例的处理的方框图；

图23示出了从总线到IP的数据传输；

图24和图25分别示出了在一个PPC和两个PPC的情况下吞吐量相对于有效谱带的数目；

图26是示出了在两个PPC的情况下累加器执行速度相对于有效谱带的数目的图表；

图27是示出了切片使用相对于有效谱带的数目的图表；

图28是示出了块RAM尺寸相对于有效谱带的数目的图表；

图29示出了多处理执行模型中的目标检测的总体结构；

图30示出了在一个PPC的情况下四个路径中的吞吐量相对于N_LIB和N_B；以及

图31至35示出了在两个PPC的情况下多个路径中的吞吐量相对于N_LIB和/或N_E。

具体实施方式

为了全面地理解本发明的操作的优点和本发明的实施例所达到的目的，需要参照示出本发明的优选实施例的附图和附图所示内容。在下文中，将参照附图来更详细地描述本发明的优选实施例。每个图所示的相同附图标记指示相同的元件。

用于目标检测的超谱图像处理中的主要操作是将输入立方块图像与目标库相比较以根据光谱内容来确定相关性系数。这里，超谱图像处理中的主要操作是相关性计算。相关性系数A是存储在目标库中和从输入图像获得的两个光谱内容之间的相似性的度量。两个光谱内容之间的相关性的高位值指示两者之间的高程度的相似性。相关性系数被定义为：

$A=1-{\cos }^{-1}\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_E}{t}_i{r}_i}{\sqrt{{\mathrm{\Σ}}_{i=1}^{N_E}{t_i}^2}\sqrt{{\mathrm{\Σ}}_{i=1}^{N_E}{r_i}^2}}\right)---\left(1\right)$

其中，N_E是有效谱带的数目，t_i是第i个谱带的测试光谱，并且r_i是第i个谱带的基准光谱。我们应用有效谱带选择方案来减少用于检测的谱带的数目。对于有效谱带选择的方案而言，我们已根据目标库来定义一表示隔离有效性的贡献因数。为了获得该贡献因数，我们需要表示背景图像的光谱特性的随机选择的背景样本。由于相关性表示两个光谱内容之间的差异的变化，所以有效谱带被选择为获得最大限度地分隔开的贡献值。

图3示出了应用两种不同数目的有效谱带(N_E)的被检测图像的比较。在图3(a)中，我们应用了有效谱带选择方案，其中对作为给定目标的花朵进行检测，图3(b)也是对作为给定目标的花朵进行检测。我们通过库精简来改善检测过程，该库精简还降低用于执行时间的复杂度，因为经改善的库可以减少库的量。在目标检测的应用中，库具有在实验室中生成或在典型环境中测量的目标光谱。因此，用不同条件测量的目标图像的光谱会导致目标库的不匹配。我们动态地精简目标库，以便可以用少量的目标库信息来实现有效检测。因此，库精简的方案改善了检测过程。库精简的总体过程从一组基本库开始。一旦从库中检测到目标图像，可以用被检测图像中的光谱内容来精简目标库。然而，由于在有效谱带选择方案中使用部分数目的谱带来获得样本，所以目标样本是用于新库的候选。之后，将新库申请者(applicant)与用于整个谱带的基本库相比较，并随后将该新库申请者用作精简后的库。

图4示出了库精简的结果，其中，图4(b)和图4(c)使用来自图4(a)中的基本库的精简库。这些图示出了给定库可以表示多种类型的不同库。因此，库精简可以减少所应用的库的数目。

图5示出了用于检测并隔离目标图像的总体算法。该算法具有两个处理流程。右侧主要涉及将输入图像与库相比较的检测。左侧是用于更新，该更新用于库精简和有效谱带选择。每个操作均由步骤来进行说明。步骤0、1和2是为了进行检测而存在，且其它的执行更新。步骤0从步骤5加载有效谱带的指数，并随后选择输入像素的内容和用于有效谱带的库。步骤1具有获得相关性系数(A)的环路，其中环路尺寸是N_LIBN_E。步骤2a用于目标检测，而步骤2b用于背景检测。在步骤2a中，如果相关性系数(A)超过库与输入图像(A_t)之间的最小相关性系数，则将该像素检测为目标，并保留该像素中的光谱内容以进行库精简。此外，为了选择背景样本，在步骤2b将相关性系数(A)与输入图像和背景之间的最大相关性系数(A_b)相比较。步骤3修正用于背景和目标的样本。为了表示背景区域的光谱，随机地选择背景的样本。在步骤4中对库进行精简，并在步骤5中通过使用贡献系数来选择有效谱带。

在步骤1中，存在诸如根和反余弦函数的多个浮点运算。此外，步骤2中的检测函数具有浮点运算以将相关性系数(A)与A_t和A_b相比较。然而，步骤2的输出具有整数数据类型。此外，有效谱带选择和库精简的方案具有步骤4和步骤5中的浮点运算。在[4]中，用于执行时间的最复杂步骤是计算相关性系数(A)的步骤1。步骤3、4、和5具有比步骤1低的复杂度。此外，复杂度与有效谱带的数目和库的数目成比例。然而，目标和背景样本的数目对总体复杂度没有影响。设计目的在于保证基于相关性系数的检测的快速运算和支持包含有效谱带选择和库精简的更新。在处理流程中存在两种数据依赖性。

首先，存在立方块延迟。更新的结果是有效谱带的指数和精简库。然而，可以从下一个立方块图像应用这些结果。其次，将输入图像复制以收集用于更新的样本。所述检测使用输入光谱谱带内的有效谱带。然而，所述更新使用检测结果来获得目标样本。因此，必须检验随机选择的目标样本，以判断该目标样本是否能够替换当前库。为了改善执行时间，我们应用了被表示为流水线结构和数据划分的两种方法。在单处理执行模型中应用流水线。当在多处理执行模型中增加处理的数目(N_PE)时，我们预期用于立方块的执行时间(Tcube)会按比例提高。然而，存在来自互连的限制。

在下文中，将描述用于根据本发明的实施例的架构的配置的基本构思。首先，将描述单处理执行模型。将描述执行依赖性。为了表示超谱图像处理的执行依赖性，示出了一函数图形，如图7所示。步骤0具有两个函数，load()和init()，其中，函数load()修正用于来自预处理和精简库的有效谱带的光谱内容，而函数init()加载来自步骤5中的get_eb()的有效谱带的指数。函数init()对每个立方块进行运算，而函数load()对每个像素进行运算。步骤1具有函数acc()和函数corr()，其中函数acc()将用于有效谱带的输入累加。累加器具有作为(1)的乘法和加法的运算。函数corr()的输出是针对∑ti²、∑ri²、和∑ti*ri的三个定点数。此外，函数corr()计算相关性系数(A)，该相关性系数(A)为浮点数。步骤2中的函数detect()根据相关性系数(A)来检验像素，从而函数detect()的运算是浮点运算。在步骤3中，函数sample()对步骤0中目标或背景的样本进行修正。此外，函数choose_samples()选择目标和背景样本。步骤4具有函数loads()、accs()、corrs()、dets()和saves()，其运算类似于load()、acc()、corr()、detect()和sample()，只是使用所有光谱内容来对库进行精简。步骤5中的函数diff()、cont()和get_eb()基于贡献因数来寻找有效谱带的指数，从而该函数具有浮点运算以及定点运算。

图6示出了总体的执行时序流程。将用于cube(T_cube)的执行时间表示为T_init+T_pixelN_xN_y+T_cs+T_rl+T_ge，其中，N_xN_y表示超谱图像立方块的空间分辨率，T_inlt是步骤0中的函数init()的时间，T_pixel是用于像素的执行时间，T_cs是步骤3中的函数choose_samples()的执行时间，T_rl针对步骤4中的函数，以及T_ge是步骤5中的函数的时间。当空间分辨率较大时，T_pixel更加重要。将Tpixel表示为(T_load+T_acc+T_corr+T_detect+T_sample)N_LIB，其中，T_load是步骤0中的函数load()的时间，T_acc是函数acc()的时间，T_corr是步骤1中的函数corr()的时间，T_detect是步骤2中的函数detect()的时间，以及T_sample是函数sample()的时间。处理中的函数具有执行依赖性。函数acc()和sample()使用来自预处理的相同数据，但函数samples()的运算在函数detect()具有结果之前不能完成。此外，步骤4中的函数从函数choose_sample()加载数据，但步骤5中的函数在步骤4中的运算完成之前不能开始。这样，完成检测，可以处理更新中的函数。

图形中的节点所表示的函数可以被分为基于像素的函数和基于立方块的函数。基于像素的函数对每个像素进行运算，而基于立方块的函数对每个立方块进行运算。函数load()、acc()、corr()、detect()和sample()是基于像素的函数，而函数init()、choose_samples()、loads()、accs()、corrs()、dets()、saves()、diff()、cont()和get_eb()是基于立方块的函数。请注意，在高速执行方面，基于像素的运算比基于立方块的运算更重要，因为基于像素的运算对每个立方块执行N_xN_y次，但基于立方块的函数对每个立方块仅执行一次。该函数具有被表示为定点和浮点运算的两种运算。图8示出了函数划分，其中用U₀、U₁、和U₂将定点运算和浮点运算分开。我们将浮点单元表示为U₁，其包含与检测有关的函数corr()和detect()。此外，U₂包含基于浮点运算的函数dets()、corrs()、cont()和get_eb()。

将描述根据本发明的实施例的流水线架构的效果。在图8中，将基于像素的函数和基于立方块的函数分为阶段A和阶段B。由于更新需要N_TN_LIB个目标样本和N_B个背景样本，所以可以从下一个立方块应用更新的结果。因此，处理流程是基于基本上具有立方块延迟的两阶段流水线。立方块延迟可能会降低检测的速度，因为在下一个立方块图像中可能不可获得精简库和有效谱带指数。然而，通常地，连续的立方块图像具有类似的光谱性质。因此，如果立方块延迟时间(T_cubeN_cube延迟)快于光谱性质的变化(T_spectral)，则可以允许有立方块延迟，其中N_cube延迟是立方块延迟的数目。请注意，T_spectral取决于超谱图像处理的应用。例如，一旦使用超谱图像来检测监视系统中的人，则光源的基本性质不会突然改变，从而立方块延迟并不重要。

为了去除立方块延迟，可以在处理中使用预检测步骤。图9示出了没有立方块延迟的处理的方框图，其中所有步骤使用相同的立方块图像。由于复杂缩减方案需要背景和目标样本，在步骤3中需要由步骤1和步骤2组成的预检测来检验用于全谱带的随机选择样本。如我们提及的那样，对于库精简而言，需要N_T个目标样本。因此，为了获得N_T个目标样本，预检测选择并检验比N_T个目标样本数目大的样本。然而，如果整个立方块图像中的所检测的目标像素的数目小于N_T个目标样本，则需要立方块图像以进行预检测。在这种情况下，有效谱带选择的优点会消失。

将描述两阶段执行流水线结构。图10示出了在应用两阶段流水线结构时的处理的方框图。基于立方块的执行流水线，即流水线(1)，将处理的方框图分成阶段A和阶段B。

在两阶段流水线结构中，用下式来表示用于立方块的执行时间(T_cube)：

T_cube＝max(T_A，T_B)    (2)

其中，T_A和T_B表示用于阶段A和阶段B的执行时间。T_A被表示为T_pixelN_xN_y且T_B是T_init+T_cs+T_rl+T_ge。一旦谱带的数目减少，则可以改善T_A，以减小总执行时间。然而，T_B的执行时间不会改变，因为更新使用了所有的光谱内容。因此，一旦有效谱带的数目(N_E)较小和/或空间分辨率较低，则T_B对于总执行时间而言更加重要。图11示出了两阶段流水线结构中的时间流程。可以从第(i+2)个立方块应用来自第i个立方块的有效谱带和精简库。因此，两阶段执行流水线具有两个立方块延迟。

在单处理执行模型中，阶段A的执行时间(T_A)对于总执行时间而言是主导的。例如，在[4]中，T_A比T_B长18倍。图12示出了T_A和T_B的执行时间，其中T_A 

T_B。因此，为了提高超谱图像处理的执行时间，需要较小的T_A。

为了改善阶段A的执行时间，我们考虑由基于像素的执行流水线所呈现的内部流水线结构。基于像素的执行流水线不具有立方块延迟，但具有阶段之间的像素延迟。一旦应用基于像素的执行流水线，则用于像素的执行时间(T_pixel)对于阶段A的执行时间(T_A)而言是关键的，其中T_pixel是阶段之间的最大执行时间。例如，在图13中，应用了基于像素的执行流水线结构并使用了三个累加器。在此图中，用于像素的最小执行时间可以与用于累加器的执行时间(T_acc)相同。基于像素的执行流水线的目的在于使用于像素的执行时间(T_pixel)最小化。图14示出了用于像素的执行时间(T_pixel)，其中完全应用了基于像素的执行流水线结构。因此，基于像素的执行流水线的限制被表示为：

$T_{\mathrm{pixel}}=\left(\frac{3T_{\mathrm{acc}}}{N_{\mathrm{acc}}}\right)N_{\mathrm{LIB}}=(T_{\mathrm{corr}}+T_{\det \mathrm{ect}})N_{\mathrm{LIB}}---\left(3\right)$

其中1·N_acc·3。如果应用一个累加器，则用于像素的执行时间(T_pixel)会增加为三倍。

用于浮点运算的执行时间(T_corr+T_detect)可以限制用于立方块的执行时间(T_cube)以及累加的执行时间(T_acc)。一旦应用了有效谱带选择算法，则可以减少累加器的执行时间(T_acc)。因此，用于浮点运算的执行时间(T_corr+T_detect)在降低复杂度的超谱图像处理中是重要的。

我们考虑浮点单元的共享。在图8中，U₁和U₂是浮点单元。

图15示出了具有浮点单元(FPU)的执行流程，其中图15(a)使用一个FPU而图15(b)、(c)使用基于不同时分复用的两个FPU。当一个FPU可用时，用于立方块的执行时间(T_cube)与T_A+T_B相同，其中T_A＝T_D1＝T_F1且T_B＝T_D2＝T_F2。T_D1和T_D2是阶段A和阶段B中的定点运算的执行时间。此外，T_F1和T_F2是阶段A和阶段B中的浮点执行时间的执行时间。如果两个FPU可用，则每个FPU可以支持阶段A或阶段B。此外，在图15(b)中，两个FPU同时为阶段A工作且随后可以将一FPU应用于阶段B。请注意，如果一个FPU快于另一个，则图15(b)可以是很好的示例。此外，当用于阶段A的执行时间(T_A)远远长于用于阶段B的执行时间(T_B)时，图15(c)可以是更好的选择。在图15(b)中，T_cube与T_A相同，其中T_D1＝T_F1，且在图15(c)中，T_cube被表示为T_A′＝T_F1′+T_F2，其中T_A′＝T_D1′＝T_F1′＝T_F1＝2。

将描述根据本发明的实施例的架构的输入容量。

所述输入容量限制总执行时间。我们定义输入容量N_bitF_m，其中，N_bit表示输入位宽且F_m表示最大输入频率。为了保证处理的执行，输入容量(N_bitF_m)大于N_xN_yN_zN_reN_Th，其中，N_re表示光谱内容的分辨率，并且N_Th是与每秒立方块的数目相同的吞吐量。在上文中，已经描述了单处理执行模型。在下文中，将描述多处理执行模型。

将对数据划分进行描述。数据划分的目的在于通过使用多个处理元件(PE)来减少执行时间。数据划分的类型取决于立方块存储器结构。图16示出了应用四个PE的三种立方块数据划分。图16(a)和图16(b)将立方块的区域分为四个组。由于每个PE被连接到组存储器，所以相对于PE的输入容量的限制与单处理执行模型相同。此外，在图16(c)中，每个像素被分配给不同的PE，以使得分配在PE中的立方块图像是低分辨率立方块图像。

用于多处理执行模型中的立方块的执行时间(T_cube)被表示为：

T_cube＝max(T_A/N_PE，T_B)    (4)

因此，数据划分可以改善执行时间。数目增加的PE影响阶段A，因为PE的空间图像区域成比例地减小至N_PE。因此，一旦N_PE增加，则总执行时间(T_cube)最终会被限制为T_B。即使立方块被多个组划分，每个PE的数据类型仍是如图17的立方块。图16(a)和图16(c)中的立方块尺寸是且图16(b)中的立方块尺寸是

在图16(a)和图16(b)中，每个PE使用不同的精简库和有效谱带指数，从而使得被检测的图像在PE之间可以具有边界。图18示出了其中应用两种不同数目的处理元件的被检测图像的比较。图18(a)使用一个处理元件，而图18(b)使用四个处理元件。图18(b)中的被检测图像类似于图18(a)中的一个处理元件的结果。原因是被检测图像仍满足检测的条件(A_t≥0.9)，即使精简库是不同的。因此，基于数据划分的多处理执行模型可以是提高超谱图像处理中的执行时间的解决方案。然而，一旦将较低的A_t用于检测条件，则被检测图像之间的边界可能更清晰，因为在较低A_t下，处理元件的精简库可能与其它的更不相同。请注意，即使在处理元件之间存在边界，被检测图像也是清楚的，因为被检测图像满足图像与精简库之间的检测条件。然而，边界可能会产生误解，因为后处理可能使用边缘检测方案来将被检测图像与RGB图像组合。因此，在PE之间需要进行更新共享。请注意，在图16(c)的情况下，不需要进行更新共享，因为每个PE使用类似的低分辨率图像。将对更新共享进行描述。图19示出了没有更新共享的多数据划分中的方框图，其中PE通过互连网络与预处理和后处理相连。阶段A具有被表示为初始、样本和精简库的三个信号，以发送有效谱带的指数和精简库，并接收用于所述更新的样本。因此，在处理元件之间，更新是独立的。

在多处理执行模型中，互连网络是速度提高的限制，因为输入容量应遵循增加的要求。输入容量与输入频率和输入位宽(N_bit)两者有关。然而，由于输入频率专用于所实施的架构，所以应增加位宽以支持加速。较大的输入位宽增加了互连的复杂度，从而通过应用多个处理元件而得到的加速会受到互连网络的限制。一旦需要更新共享，则如图20那样共享阶段B，其中阶段B包含更新。为了从阶段B向所有处理元件传输有效谱带的指数和精简库，所有处理元件停止其执行并随后对每个立方块执行阶段B。因此，在更新共享的情况下，将用于立方块的执行时间(T_cube)表示为T_A＝N_PE+T_B。可以由N_PE来改善T_A，但是T_B不变，因此阶段B的执行时间以及互连网络的限制会限制加速。

图21示出了具有共享更新的多数据划分中的时间流程。

在下文中，将描述根据本发明的实施例的架构的详细配置。首先，将描述单处理元件。将描述目标平台。选择Xilinx FPGA Virtex 4FX 100设备来实现该架构。可以利用FX FPGA中的Power PC Core(PPC)来实施浮点运算。通常，PPC以400(MHz)的最大速度执行。所选设备具有6；768￡16(位)块ram，其大小足以支持存储要求。图22描述了单处理模型中的总体处理。FU₀、FU₁、FU₃、FU₄和FU₅分别对应于步骤0、步骤1、步骤3、步骤4和步骤5。此外，PPC₁进行步骤2的运算和步骤1中的浮点运算。同样地，PPC₂进行步骤4和步骤5中的浮点运算。

将描述功能单元。由于有效谱带的指数不具有规则间隔指数，所以需要BUFSP来存储输入光谱内容，其中缓冲器具有多个组且一个组具有用于像素的所有光谱内容。FU₀由三个缓冲器组成。一旦在一个组中发现来自预处理的光谱内容，则FU₁从其他组中读取有效光谱内容。因此，读取和写入操作交替进行，以便读取/写入操作可以在没有任何中断的情况下进行。此外，在BUFTG中修正样本。由于存储样本直至FU₃准备好读取为止，所以BUFTG的尺寸与基于像素的流水线阶段的数目成比例。

FU₁由三个累加器组成。对于具有像素和库的累加值而言，累加器需要从BUFSP和BUFLIB进行N_E次读操作。该累加器被设计为用乘法器、加法器和复用器来执行循环运算。PPC₁计算用于相关性系数的浮点运算，其具有乘法、根和除法运算。此外，将该相关性系数与最大相关性系数和最小相关性系数相比较以确定像素是目标还是背景。为了存储背景和目标样本，FU₃具有两个缓冲器。输入光谱数据sp通过一个数据路径并被通过写入使能信号进行选择。输入信号en_tg指示像素是否是目标。同样地，一旦信号en_bk是‘1’，则将像素作为背景样本存储到BUF_bk中。控制器生成en_tg信号和en_bk。

FU₄类似于FU₁，不同的是该运算需要用于来自BUF_tg的目标样本的所有光谱内容。在FU₅中提取贡献因数。由于两个加法器和2补数单元的总执行时间大于输入数据时间，所以在2补数单位之后插入寄存器。同样地，abs()运算程序与加法器的合计执行时间大于输入数据比，因此，在abs()运算程序之后插入一个寄存器。

将描述浮点单元共享。目标FPGA中的PPC具有三种类型的总线架构，即处理器本地总线(PLB)、设备控制寄存器(DCR)和片上外围总线(OPB)。PLB提供最快的数据交易，但其被设计为用于传输程序存储器。通常，OPB和DCR与逻辑块相连。即使其性能是类似的，DCR也不提供功能模拟。因为可以通过功能模拟来检查数据交易。在我们的设计中，选择OPB用于浮点单元共享。处理器与OPB之间所允许和支持的整数时钟频率是1∶1、2∶1、3∶1直至16∶1。图23示出了功能块如何向PPC发送数据。首先，BUS2IP_WrCE信号通知开始交易。如果功能块未准备发送信号，则功能块答复IP2BUS_Retry信号且OPB重复相同的交易直至接收到确认信号为止。图23示出了操作和第一交易作为未准备好状态的示例。用地址来映射功能单元并使用预定义地址来区别逻辑块。

将描述对开销和吞吐量的讨论。图24和图25示出了使用一个和两个PPC之间的差别。如两个图所示，当使用一个PPC时，每秒检测2.1099个立方块，但通过使用两个PPC，可以检测3.2196个立方块。FU₁中的累加器的执行速度应小于64(MHz)，即使其可以以最大速度250(MHz)执行。如图26所示，有效谱带的数目是确定累加器的执行速度的重要因素。本图是在PPC在不同的执行频率下工作时绘制的。为了支持累加器的快速运算，需要更快的PPC。请注意，将一个处理器用于检测和更新两个操作在总吞吐量方面会成为严重的瓶颈。

图27示出了切片使用相对于有效谱带的数目。不同的曲线对应于不同数目的库。对于确定总体设计的复杂度而言，存在四个因素，诸如N_E、N_LIB、N_T和N_B。

N_T和N_B是确定存储器大小的重要因素。图28示出了根据N_B的所使用的18(KBit)块ram的数目。如图28所示，最大可支持存储器大小在1000*1000处受到限制，因为所选设备具有376*18(KBit)的块ram。与逻辑切片的最大数目42,176相比较，N_T和N_B在复杂度方面变成了主要因素。因此，N_E和N_LIB影响总吞吐量，且N_T和N_B对于存储器复杂度而言是很重要的。

在上文中，已经描述了单处理执行模型中的架构结构。在下文中，将描述多处理执行模型。首先，将描述多个互连类型和多个PE。为了提高性能，引入多处理执行模型。图29示出了输入数据流通过总线。目标FPGA必须支持引脚分配作为直接连接带宽。例如，在4个处理元件的情况下，当图片具有640*512*224尺寸时，需要152个I/O垫用于(地址)＝100、(数据)＝48，且用于控制器其它的内容，诸如写入使能信号。我们的目标FPGA支持768个I/O垫。每个处理单元和组具有相同的速度，因为处理单元访问其一个分类组。

两个处理元件共享总线且输入数据被复用(即，处理单元1和2仅访问外部存储器中的组1)。由于单个端口块以最大速度355(MHz)运行，所以当每个单处理元件在125(MHz)下执行时，用一个总线架构进行实施是不可能的。

选择实施总线连接，因为PPC中的浮点运算程序连续地执行并行的逻辑块。由PPC的倾斜路径运算来确定总吞吐量。输入数据不需要是并行的，且直接连接至少消耗2倍的I/O垫。尤其是，总线类型节省缓冲区大小，因为写入操作变得与读取操作相同。即使写入数据时间很快，其也不影响总吞吐量，因为瓶颈速度来自累加器的执行时间。

虽然每个处理器核心专用于单个路径中的检测和更新，但如图29所示，一个核心在多个路径中工作。将分析吞吐量。图30示出了在用4个处理元件来处理检测时根据N_B的所检测的超谱图像数目。不同的曲线表示不同的N_LIB且由一个PPC来实施每个处理元件。如图所示，即使背景样本的数目增加，总吞吐量也不改变。只有当N_LIB减少时，吞吐量才增加。此图表示出N_B不影响总吞吐量，因为PPC的执行速度变成了吞吐量的瓶颈。

图31示出了除所实施的PPC的数目之外与图34相同的情形。图31被视为每个处理元件中两个PPC的情况。吞吐量与N_E和N_LIB高度相关。可以用图32和图33来分析此关系。两个图形示出了具有四个处理元件且每个处理元件具有两个PPC的估计吞吐量。在本文中提出了用于超谱图像处理的实时目标检测架构。该架构基于用于高吞吐量应用的降低复杂度的算法。该架构的多级流水线提高了总吞吐量且该架构可扩展，以使得执行速度随着处理元件的数目而改善。所提出的流水线还使总存储器使用和存储器速度瓶颈的影响最小化。所提出的架构在FPGA中被设计并实施为检验硬件复杂度对于降低复杂度的超谱图像处理的执行吞吐量之间的关系。

工业实用性

根据本发明的实施例的实时目标检测方法可以应用于各种行业领域，特别是计算机架构领域。

Claims (4)

1.一种基于超谱处理的实时目标检测方法，该方法包括：

基于库来检测预处理像素以作为目标和/或背景；以及

通过从所述目标和/或背景中提取目标样本和/或背景样本来对所述库进行精简，

其中所述检测预处理像素以作为目标和/或背景包括：

从精简后的库加载有效谱带列表；

基于来自所述库的所述有效谱带列表和相关性系数来获得光谱信息；以及

基于所述相关性系数的大小来确定所述目标和/或所述背景。

2.根据权利要求1所述的方法，其中对所述库进行精简包括基于贡献因数来完成用于所述像素的有效谱带列表。

3.根据权利要求1所述的方法，其中，在确定所述目标和/或所述背景时，当所述相关性系数大于指示所述像素与所述库之间的关系的最小相关性系数时，所述像素被检测作为目标。

4.根据权利要求1所述的方法，其中，在所述检测预处理像素以作为目标和/或背景时，使用流水线架构来处理所述像素。

Images