CN103810226B - 确定高光谱数据处理中所用的跟踪对象的方法 - Google Patents
确定高光谱数据处理中所用的跟踪对象的方法 Download PDFInfo
- Publication number
- CN103810226B CN103810226B CN201310359095.1A CN201310359095A CN103810226B CN 103810226 B CN103810226 B CN 103810226B CN 201310359095 A CN201310359095 A CN 201310359095A CN 103810226 B CN103810226 B CN 103810226B
- Authority
- CN
- China
- Prior art keywords
- processor
- hyperion
- tracking object
- frame
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 title description 14
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 43
- 238000001228 spectrum Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 10
- 230000001419 dependent effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010845 search algorithm Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明公开一种确定跟踪对象的方法，所述跟踪对象具有高光谱和空间信息的已知数据库。所述方法：将标识符与所述跟踪对象关联起来；选择与所述跟踪对象的所述高光谱或空间信息相关的参数；检测所选参数中的偏差；将所述偏差与所述数据库进行比较；以及如果所述偏差超过预定阈值，则向所述跟踪对象分配新标识符，并且如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
Description
技术领域
本发明涉及一种高光谱数据处理方法。
背景技术
Manolakis D.、Marden D.和Shaw G.(林肯实验室期刊；第14卷；2003年，第79至82页)的“自动目标检测应用的高光谱图像处理(Hyperspectral Image Processing forAutomatic Target Detection Applications)”对高光谱图像(HSI)的遥感系统环境进行了详细描述。成像传感器拥有记录高光谱能量测量值的像素。HSI装置将记录像素阵列中的能量，该装置将按照阵列的几何形状来捕集空间信息，并且通过测量每个像素中的若干相邻高光谱带来捕集光谱信息。对空间和光谱信息的进一步处理取决于遥感系统的具体应用。
经过验证，遥感的HSI已得到广泛应用，包括环境和土地使用监视、军事监视和勘察。HSI提供同时包括空间和光谱信息的图像数据。这些类型的信息可用于远程检测和跟踪任务。具体来说，若给定一组安装在无人飞行器(UAV)或地面站等平台上的视觉传感器，则可以获取HSI视频并且可以对光谱视频应用一组算法，以逐帧来检测并跟踪对象。
已开发出基于光谱的处理算法，以对类似的像素，即拥有类似光谱特性或标记的像素进行分类或分组。对于目标跟踪和检测应用而言，单以这种方式处理是经不起检验的，因为场景中目标的数量和大小通常过小，无法支持进行目标分类所必需的统计性质估计。然而，典型HSI的空间处理也会因收集HSI的典型系统的空间分辨率低下而受到损害。因此，在开发收集并处理HSI的遥感系统时，通常需要在光谱和空间分辨率之间进行权衡，以最大化对已解析和未解析目标的检测，其中已解析目标是被一个以上像素成像的对象。通过这种方式，光谱技术可以按照未解析目标的标记对其进行检测，而空间技术可以按照已解析目标的形状对其进行检测。
已开发出若干高光谱搜索算法，用于处理HSI以便进行目标检测。这些高光谱搜索算法通常被设计成利用图像中候选目标的统计特性，并且通常以公知的统计概念为基础。例如，马哈拉诺比斯距离(Mahalanobis distance)是类似性的统计性量度，已应用于高光谱像素标记中。马哈拉诺比斯距离通过测试签名与已知签名类别的平均和标准偏差来测量标记的类似性。
其他已知的技术包括光谱角映射(Spectral Angle Mapping：简称SAM)、光谱信息散度(Spectral Information Divergence：简称SID)、零均值微分区(Zero MeanDifferential Area:简称ZMDA)和巴特查里亚距离(Bhattacharyya Distance)。SAM方法用于通过将每一光谱作为矢量处理并计算矢量之间的角度来将候选目标的标记与已知标记进行比较。由于SAM仅使用矢量方向而不使用矢量长度，因此该方法对光照的变化不敏感。SID方法通过测量光谱的概率离散或散度(Probabilistic discrepancy or divergence)来将候选目标的标记与已知标记进行比较。ZMDA按照候选目标标记和已知标记的偏差来将其规范化(normalized)，并计算它们之间的差异，所述差异与两个矢量之间的区域相对应。巴特查里亚距离类似于马哈拉诺比斯距离，但用于测量一组候选目标标记与已知标记类别之间的距离。
发明内容
本发明涉及一种确定跟踪对象的方法。所述方法包括：使用图像传感器来跟踪对象，其中所述跟踪对象拥有已知的高光谱和空间信息数据库；将标识符与所述跟踪对象相关联；选择与所述跟踪对象的所述高光谱或空间信息相关联的至少一个参数；检测所选至少一个参数中的偏差；将所述偏差与所述数据库进行比较；以及如果所述偏差超过预定阈值，则将新标识符分配给所述跟踪对象；以及如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
作为优选，所述方法包括用所述至少一个参数的变化来更新所述数据库的步骤。
作为优选，所述方法包括将检测所选至少一个参数中的偏差的步骤标识为事件的步骤。
作为优选，其中所述至少一个参数包括以下其中一项：颜色、对比度、亮度、形状、速度、方向、大小、位置。
作为优选，其中在执行将所述偏差与所述数据库进行比较的步骤时，将使用以下其中一项：光谱角映射(SAM)、光谱信息散度(SID)、零均值微分区(ZMDA)、马哈拉诺比斯距离、巴特查里亚距离。
附图说明
在附图中：
图1是根据本发明第一实施例的图解，其中示出了用于跟踪并确定HSI中观测对象的检测概率的方法。
图2是根据本发明一个实施例的图解，其中示出了用于选择高光谱搜索算法的方法。
图3是根据本发明一个实施例的图解，其中示出了用于选择高光谱搜索算法的公差的方法。
图4A示出了根据本发明一个实施例的高光谱成像系统已检测并跟踪到两个对象的场景。
图4B示出了根据本发明一个实施例的高光谱成像系统检测到跟踪对象中的变化的场景。
具体实施方式
在背景部分以及以下说明中，为说明起见，列出了许多具体细节，以便读者透彻地理解本说明书中所述的技术。但所属领域中的技术人员将清楚地了解，可以在不含这些具体细节的情况下实践这些示例性实施例。在其他情况下，结构和装置以图形方式示出，以便于说明示例性实施例。
示例性实施例将参考附图进行说明。这些附图示出了实施本说明书中所述模块、方法或计算机程序产品的具体实施例的一些细节。但是，附图不得视作施加任何限制。所述方法和计算机程序产品可以配备在任何机器可读介质上，以便完成操作。实施例可以使用现有计算机处理器实施，或者通过具备这种或其他功能的专用计算机处理器实施，或者通过硬连线系统实施。
如上所述，本说明书中所述的实施例可以包括计算机程序产品，所述计算机程序产品包括机器可读介质，以便执行或存储机器可执行的指令或数据结构。所述机器可读介质可以是任何可用介质，所述介质能够被通用或专用计算机或者配备处理器的其他机器访问。例如，此类机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储装置，或者其他任何介质，这些介质可用于执行或存储机器可执行指令或数据结构形式的目标程序代码，并且可以被通用或专用计算机或者配备处理器的其他机器访问。当通过网络或其他通信连接(硬连线、无线，或者硬连线或无线相结合)将信息传输或提供到机器中时，该机器将以适当方式将该连接视作机器可读介质。因此，任何此类连接均被适当地称作机器可读介质。上述内容的组合也可以包括在机器可读介质的范围内。例如，机器可执行指令包括致使通用计算机、专用计算机或专用处理机器执行特定功能或功能组的指令和数据。
本发明的实施例将在一般的方法步骤上下文中进行描述，这些方法步骤可以通过包括诸如程序代码等机器可执行指令的程序产品在一个实施例中执行，例如，采用由在网络环境中的机器执行的程序模块的形式。通常，程序模块包括拥有执行特定任务或执行特定抽象数据类型的技术功能的例程、程序、对象、部件、数据结构等。与数据结构相关的机器可执行指令以及程序模块代表执行本说明书中所公开方法的步骤的程序代码实例。这些可执行指令或相关数据结构的特定顺序代表执行这些步骤中所述功能的相应操作的实例。
实施例可以通过与配备处理器的一个或多个远程计算机的逻辑连接而在网络环境中实施。逻辑连接可以包括以示例但不限定的方式提出的局域网(LAN)和广域网(WAN)。此类网络环境是常见的办公室范围或企业范围计算机网络、内部网和互联网，可以使用各种不同的通信协议。所属领域的技术人员应认识到，这些网络计算环境通常包括许多类型的计算机系统配置，包括个人计算机、手持式装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、微型计算机、主计算机等。
各种实施例还可以在分布式计算环境中实施，在这种情况下，任务由通过通信网络连接(硬连线、无线连接，或者硬连线或无线连接的组合)的本地和远程处理装置执行。在分布式计算环境中，程序模块可以位于本地或远程存储装置中。
用于执行全部或部分示例性实施例的示例性系统可以包括计算机形式的通用计算装置，包括处理单元、系统存储器以及将包括系统存储器在内的各种系统部件连接到处理单元的系统总线。系统存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可以包括用于读取并写入磁硬盘的磁硬盘驱动器、用于读取或写入可移动磁盘的磁盘驱动器，以及用于读取或写入CD-ROM或其他光学介质等可移动光盘的光盘驱动器。驱动器及其相关机器可读介质为机器可执行指令、数据结构、程序模块和其他计算机数据提供非易失性存储器。
实施例中公开方法的技术效果包括提高高光谱标记匹配的效用和性能，尤其是在对象检测与跟踪方法与所述方法结合使用时。所述方法能够减少观测跟踪目标所必需的工时数。此外，所述方法能够改进与已跟踪对象相关的新对象的自主识别和关联，从而防止跟踪损失并通过免去人工操作员即时审查的需要而扩展自主跟踪范围。该技术可用于从光谱立方体阵列生成复合图像的任何系统。
图1是根据本发明第一实施例的图解，其中示出了用于跟踪并确定HSI中观测对象的检测概率的方法10。可包括单个图像或高光谱视频馈送的遥感HSI可以在12中输入到能够处理HSI的处理器。处理器接收12中的高光谱数据，并在14中将该数据集处理成一组高光谱图像帧，方法是执行一系列公知的图像处理步骤，这些步骤可以包括但不限于噪声过滤、角点检测、图像配准、单应(homography)和帧对帧对准。处理器随后可以在16中使用搜索算法来从高光谱图像帧的跟踪对象中选择候选目标，其中候选目标和跟踪对象是代表相关现实世界对象的高光谱图像的像素集。例如，在被设计成搜索运动目标的HSI收集系统中，候选目标可以是运动对象。在该实例中，处理器可以对确定HSI中的运动对象的最小判别式特性执行计算搜索。在另一实例中，HSI收集系统的用户可以在显示器上手动选择像素，并且确定相应的标记以进行进一步分析。
处理器随后可以在18中对HSI逐帧跟踪所选的候选目标。处理器可以在20中将所选候选目标与在28中存储在模板数据库中的已知目标的参考目标模板进行比较，其中参考目标模板是之前所建立的代表相关现实世界对象的高光谱图像的像素集。
在22中，处理器可以进行匹配比较。如果所选候选目标与28中的模板数据库的参考目标模板匹配，则处理器随后可以在24中确定所选候选目标与参考目标模板之间的匹配程度，以及所选候选目标已得到检测的概率。如果所选候选目标与模板不匹配，则处理器可以在30中将所选候选目标视作新参考目标模板，或者在32中将其丢弃。如果所选候选目标在30中被视作新模板，则处理器可以在28中将与新目标相关的数据添加到目标模板数据库中。
在24中确定匹配程度和检测概率后，处理器可以在26中概率与阈值进行比较。如果概率超过阈值，则处理器可以采取34中的操作。否则，处理器可以在18中继续跟踪所选的候选目标。
在28中从参考目标模板数据库确定具体参考目标模板，并且在20中与候选目标进行比较后，处理器可以在24中计算匹配程度和检测概率。匹配程序和检测概率可以测量所选候选目标与具体参考目标模板匹配的概率，方法是首先在24中将所选候选目标中出现的顶部光谱标记与界定参考目标模板的顶部光谱标记进行比较，然后在空间上对其进行匹配。
在24中计算匹配程序和检测概率的确定方法的处理器可以首先确定所选候选目标和参考目标模板中都出现的一组顶部标记。之后，处理器可以基于所选候选目标和参考目标模板中的像素数来计算这些顶部标记的分布。为此，第一步是确定参考目标模板中包括参考目标模板中特定百分比像素的标记组，并且确定参考目标模板中每一标记的百分比。在24中对方法进行计算的处理随后可以确定所选候选目标的标记分布。如果每一标记中的像素分布与参考目标模板中的标记分布类似，则对方法进行计算的处理器可以在考虑类似标记像素之间的最大和最小差异的情况下，计算每一标记的匹配程度。计算高光谱像素分布之间相似性的处理器可以采用一个或多个类似性量度来进行计算。类似性量度可以包括SAM、SID、ZMDA或巴特查里亚距离。处理器可以采用其他类似性量度，具体取决于实施方案。
假定Si＝{s1,s2,···,sp}是目标中的标记组，且xij是高光谱帧的二维空间表示中的位置ij处的像素。像素xij由亚像素(subpixel)阵列构成，使得xij具有一组值xb1、xb2、···,xbq，其中q是高光谱图像中的光谱带数。因此，每一像素包括与用像素描绘的代表所述空间位置的每个光谱带相关的亚像素值。
对于在本说明书中为便于说明而称作Oi的所选候选目标，其在空间上与在本说明书为便于说明而称作T的参考模板目标匹配，如果目标T中R％的顶部标记集以λ的相似比例出现在对象Oi中，则还可以在光谱上以C的可靠性与目标T匹配。目标是在空间上和光谱上将对象与目标匹配，即，对象和目标的形状和标记类似。
假定Ni是对象Oi的像素数，而ni1、ni2、···、nir(r<p)定义呈现类似标记s1、s2、···、sr的对象Oi中的像素集的基数或大小。如果对象Oi中的R％的顶部光谱标记与对象Oj中R％的顶部标记匹配，则在24中对方法进行计算的处理器将这两个对象Oi和Oj视作光谱匹配。对于对象Oi和Oj的分别表示为{ni1,ni2,···,nir}和{nj1,nj2,···,njr}的所有选定数量的顶部标记，如果满足下式，则这两个对象Oi和Oj准确地λ匹配：
每个标记l的匹配程度可以表示为：
ηl(Oi，Oj)＝1-|maxl|xil-xijl|-minl|xil-xiji||
所述方法可以对每一标记l采用其他匹配程度的定义。在24中确定匹配程度的任何定义必须符合公知的模糊测度数学定义。
最后，在24中对方法进行计算的处理器可以基于模板中的标记组与对象中的标记组之间的相似度来计算检测概率。考虑到对象Oi中的像素数Ni以及对象Oj中的像素数Nj，处理器可以在24中基于匹配程度以及与每个标记匹配的像素数来计算检测概率。处理器可以通过将匹配程度规范化为对象的像素数来计算检测概率，从而确定可靠性水平，即所选候选目标对象的图像与高光谱图像参考目标模板匹配的接近程度。称作TM的检测概率的计算式如下：
其中Ni|s是Oi中与标记sλ-匹配的像素数。
在26中，可将与目标模板匹配的所选候选目标对象的检测概率或TM与阈值进行比较。如26所示，处理器可以计算TM-1并将其与阈值E进行比较。如果数量TM-1超过阈值E，则处理器可以采取34中的操作。否则，处理器可以在18中继续跟踪所选的候选目标。阈值E的值可以基于22中的匹配算法的具体实施方案、16中的搜索算法，以及与HSI场景中的计算所得对象速度等数据库28中的具体候选目标和参考目标模板相关的信息来进行选择。
不同的可靠性水平将基于TM的值进行定义。例如，在一个实例中，如果TM小于0.35，则可靠性水平将非常低；如果TM在0.35与0.60之间，则可靠性水平低；如果TM在0.60与0.75之间，则可靠性水平中等；如果TM在0.75与0.85之间，则可靠性水平中高；并且如果TM大于0.85，则可靠性水平高。随着匹配概率的不断增大，这些结果的显示可以通过一系列映射到这些TM水平的颜色来进行迭代，以便将以高可靠性水平检测到的目标与以低可靠性水平检测到的目标区分开来。例如，以高可靠性水平检测到的目标图像的像素可以全部在显示器上以红色显示。其他阈值、可靠性水平和显示机制可以根据具体实施方案来使用。
当处理器在12中接收数据并在14中将其处理成一组高光谱帧之后，处理器随后可以在16中从高光谱帧中选择候选目标。处理器可以对高光谱数据选择并使用搜索算法，以便在16中选择候选目标。高光谱数据的维数可以通过公知的维数缩减技术来降低，包括但不限于主分量分析(principle components analysis)、特征提取(feature extraction)和熵测量(entropy measurements)。图2是根据本发明一个实施例的图解，其中示出了用于选择高光谱数据的搜索算法的方法100。为了选择高光谱数据的搜索算法，在100中对方法进行计算的处理器首先可以在110中将高光谱帧的特性保存到数据库中。接下来，处理器可以在112中评估高光谱帧的特性。如果处理器在112中确定所述特性对高光谱帧而言至关重要，则处理器可以在116中将搜索算法应用到该数据，以区分该帧的候选目标。如果处理器确定112中的特性对高光谱帧而言不重要，则处理器可以在114中评估第二特性。如果处理器在114中确定第二特性对高光谱帧而言至关重要，则处理器可以在120中对该数据应用第二光谱搜索算法，以便区分所述帧的候选目标。如果处理器确定114中的第二特性对所述帧而言不重要，则处理器可以在118中评估第三特性。如果处理器在118中确定第三特性对高光谱帧而言至关重要，则处理器可以在122中对该数据应用第三搜索算法，以便区分高光谱帧的候选目标。如果处理器确定118中的第三特性对高光谱帧而言不重要，则处理器可以对该数据应用默认搜索算法124。
起初，处理器可以在110中确定高光谱帧的特性。处理器可以在110中保存高光谱帧特性，以便在选择搜索算法时对其进行进一步处理。示例性特性可以包括对以下项的估计：成像场景照明变化、拥有类似标记的像素的变化，以及参考目标模板中不同标记的数量。也可以考虑高光谱帧的其他特性，并且这些实例并不视作限定性的。
基于在112中对高光谱帧的第一特性的评估，处理器可以在116中采用已证实适用于以第一特性为特征的高光谱数据的搜索算法。如果在112中对高光谱帧的第一特性的评估表明第一搜索算法不适用于该高光谱帧，则处理器可以访问在110中保存的帧特性，以在114中对第二帧特性进行评估。在一个实例中，第一特性可以是高光谱帧成像场景中的照明变化。处理器可以访问高光谱帧特性，以确定成像场景的照明变化。处理器可以决定变化率的高低。处理器可以使用其他帧特性来作为第一帧特性，具体取决于实施方案。
如果评估表明第一高光谱帧特性具有重要性，则处理器可以在116中使用第一搜索算法来处理高光谱帧及其候选目标。在该实例中，如果处理器计算结果表明成像场景的照明变化高，则基于SAM的搜索算法可以对成像场景进行处理，以得到最佳结果。所述方法可以基于分类方法来使用其他搜索算法，这些分类方法包括但不限于SID、马哈拉诺比斯距离、SMDA和巴特查里亚距离，具体取决于实施方案。
基于在114中对高光谱帧的第二特性的评估，处理器可以在120中采用已证实适用于以第二特性为特征的高光谱数据的搜索算法。如果在114中对高光谱帧的第二特性的评估表明第二搜索算法不适用于该高光谱帧，则处理器可以访问在110中保存的帧特性，以在118中对第三帧特性进行评估。在一个实例中，第二特性可以是拥有类似标记的像素的变化。处理器可以对高光谱帧特性进行评估，以确定拥有类似标记的像素的变化。处理器可以决定变化率的高低。处理器可以使用其他帧特性来作为第二帧特性，具体取决于实施方案。
如果评估表明第二高光谱帧特性具有重要性，则处理器可以在120中使用第二搜索算法来处理高光谱帧及其候选目标。在该实例中，如果处理器计算结果表明拥有类似标记的像素变化高，则基于SID的搜索算法可以对成像场景进行处理，以得到最佳结果。所述方法可以基于类似性和距离量度来使用其他搜索算法，这些类似性和距离量度包括但不限于SAM、马哈拉诺比斯距离、SMDA和巴特查里亚距离，具体取决于实施方案。
基于在118中对高光谱帧的第三特性的评估，处理器可以在122中采用已证实适用于以第三特性为特征的高光谱数据的搜索算法。如果在118中对第三特性的评估表明第三搜索算法不适用于高光谱帧，则处理器可以在124中应用默认搜索算法，以便对高光谱帧进行处理。在一个实例中，第三特性可以是参考目标模板中的不同特征数。处理器可以访问高光谱帧特性，包括之前跟踪的目标及相应参考目标模板，以确定参考目标模板中的不同标记数。处理器可以确定参考目标模板中的不同标记数的高低。处理器可以使用其他帧特性来作为第三帧特性，具体取决于实施方案。
如果评估表明第三高光谱帧特性具有重要性，则处理器可以在122中使用第三搜索算法来处理高光谱帧及其候选目标。在该实例中，如果处理器计算结果表明参考目标模板中的不同标记数高，则基于马哈拉诺比斯距离的搜索算法可以对成像场景进行处理，以得到最佳结果。所述方法可以基于类似性和距离量度来使用其他搜索算法，这些类似性和距离量度包括但不限于SAM、SID、SMDA和巴特查里亚距离，具体取决于实施方案。
在穷举帧特性之后，处理器可以在124中使用默认搜索算法来处理高光谱帧及其候选目标。默认搜索算法可以基于以下项中的任何项：SAM、SID、马哈拉诺比斯距离、ZMDA和巴特查里亚距离。所述方法可以使用其他搜索算法作为默认搜索算法，具体取决于实施方案。
100中的方法可以使用其他帧特性及其评估结果来实施其他步骤。帧特性能够以菊花链的方式加入在上文公开的决策步骤112、114和118之后的决策步骤中。此外，处理器可以评估多个帧特性，以确定特定搜索算法是否已得到最大部属，以便对高光谱帧进行处理。
100中的方法可以实施其他搜索算法。例如，处理器可以对高光谱帧同时运行多个搜索算法。处理器随后可以将使用多标准决策方法对多个搜索算法进行并行处理所得的结果集成为单个结果。
图3是200中的方法的图解，所述方法用于选择搜索算法的公差。当用在图2的116、120、122和124中所选的搜索算法对高光谱帧进行处理时，给定算法的参数或公差起初可以在210中设定为一个或多个默认值。搜索算法随后可以在212中用默认公差对高光谱帧中的数据进行处理。所选搜索算法可以在216中计算高光谱帧中被确定为使得高光谱帧的候选目标与参考目标模板匹配的高光谱像素数。如果使得高光谱帧中的候选目标与参考目标模板匹配的高光谱像素数过少，则处理器可以在218中放松所选搜索算法的公差，然后在212中用修改的公差再次对高光谱帧进行处理。如果使得高光谱帧中的候选目标与参考目标模板匹配的高光谱像素过多，则处理器可以在214中收紧所选搜索算法的公差，然后在212中用修改的公差再次对高光谱帧进行处理。如果匹配的高光谱像素数可以接受，则处理器可以在220中保存匹配高光谱像素的位置和标记。
处理器可以重复214和218中修改搜索算法公差的步骤，然后在212中用所选搜索算法对高光谱帧进行处理，直到216中的匹配像素数在可接受的范围内。
根据相对于28中参考目标模板数据库中的已知模板对候选目标的光谱和空间参数的分析，如果在图1的26中确定候选目标的检测概率超过阈值，则图1中根据本发明第一实施例的用于跟踪并确定HSI中观测对象的检测概率的方法10可能将采取图1中的操作34。此时，每个候选目标可具有与其相关的唯一标识符。如果计算图1中方法10的处理器基于候选目标的光谱和空间特性检测到出现偏差，则处理器随后可以自主将该偏差标记为目标生命周期中的重大事件。处理器随后可以分配标识符，以将偏差目标标识为新对象。处理器可以将所有目标事件集成到能够审查的时间表中，以便人工操作员通过该表来评估并潜在地更正处理器将新建或现有标识符与跟踪对象关联的选择。
计算图1中方法10的处理器可以在图1的28中的目标模板数据库中创建条目，并说明候选目标在处于图1的16中时的光谱和空间信息以及特性。除了光谱和空间信息之外，图1的28中的目标模板数据库还可以存储关于处理器跟踪HSI中候选目标的时间的信息。如果处理器检测到图1的20中用于跟踪候选目标的光谱或空间参数存在偏差，则处理器可以在图1的28中在数据库中存储相关信息，该信息将所述变化分类为事件，以便用于进一步的审查。此外，处理器可以将同一或新建的唯一标识符与新对象关联，所述新对象的已确定参数与原始目标存在巨大差异。做出决策时，处理器可以基于以下项：将事件分配给计算所得的可靠性量度，以便确定与已确定参数的重大偏差。所述可靠性量度可以使用在空间、光谱或这两个域中被界定为健壮(robust)参数的参数来感测高光谱和空间信息中的误差。
候选目标的参数与先前而定的参数存在巨大差异并触发事件的场景有许多。这些场景可以包括：跟踪对象被另一对象遮蔽；跟踪对象成为多个单独的对象；通过穿过被阴影覆盖的区域而导致跟踪对象的光谱特性，例如颜色、对比度或亮度发生重大改变。同时还存在其他场景，因此这些场景不得被视作是限定性的。如果处理器无法关联这样一个事件之前和之后的候选目标，则处理器可以将在事件之前用于候选目标的同一标识符与事件之后的一个或多个新候选目标相关联，从而消除目标丢失或标记错误的可能性。
图4A和4B示出了一个此类示例性场景。图4A示出了示例性场景300，其中根据本发明一个实施例用于跟踪并确定HSI中观测对象的检测概率的方法已检测并跟踪到在道路上行驶的两辆车辆310、312。执行图1中方法10的处理器将图1的12中接收的高光谱数据处理成图1的14中的一系列高光谱帧，以便在图1的16中选择候选目标。在将图1的20中的候选目标与图1的28中的参考目标模板数据库进行比较之后，图1的24中的匹配程度和检测概率计算结果表明具有重要性并且触发图1的操作34。处理器向每辆车310、312分配目标标识符，所述标识符可以在图1的28中存储在参考目标模板数据库中。
图4B示出了根据本发明一个实施例用于跟踪并确定HSI中观测对象的检测概率的方法已检测到跟踪对象中发生变化的场景。图4B示出了一个事件，其中先前确定的候选目标，即图4A中的车辆310行进到树324的阴影318下，因此图4A中的跟踪车辆310的光谱特性发生显著变化。此外，第二类似车辆现正行进在图4A中之前跟踪的车辆310旁边。计算图1的方法10的处理器能够以低可靠性区分车辆314还是316是图4A中先前跟踪并确定的车辆310。处理器可以采取图1中的操作34，以便用于先前跟踪车辆的标识符相关的标识符来同时标记车辆314和316，并针对这两个对象将事件的时间记录到图1的28中的数据库中。
先前确定的第二候选目标，图4A中车辆312停放在停车场，并且乘客322离开现停放车辆320。处理器可以检测并确定事件，以便图4A中车辆312的初始对象已分成两个单独跟踪的对象。处理器可以采取图1中的操作34来在事件之前用标识符确定可能与图4A中的车辆312关联的车辆320和乘客322，并且将事件时间记录到图1的28中的数据库中。
存储事件相关信息并创建事件相关标识符的优点在于系统的操作员可以重调与任何目标标识符相关的任何目标的事件历史。随后操作员可以通过与对象审查历史一起跟踪的标识符或相关标识符来对所有对象进行分析。事件历史可以包括与系统改变跟踪对象的标识符的所有事件相关的所有数据。此外，如果与事件下的一个或多个目标相关的标识符不正确，则操作员可以手动更正系统。
本说明书使用各种实例来公开本发明，包括最佳模式，同时也让所属领域中的任何技术人员能够实践本发明，包括制造并使用任何装置或系统，以及实施所涵盖的任何方法。本发明的保护范围由权利要求书界定，并且可以包括所属领域中的技术人员想出的其他实例。如果此类其他实例的结构要素与权利要求书的字面意义相同，或者如果此类实例包括的等效结构要素与权利要求书的字面意义无实质差别，则此类实例也在权利要求书的范围内。
Claims (5)
1.一种用于确定跟踪对象的方法，所述方法包括：
使用图像传感器来跟踪对象，其中所述跟踪对象具有高光谱和空间信息的已知数据库；
将标识符与所述跟踪对象关联起来；
选择与所述跟踪对象的所述高光谱或空间信息相关的至少一个参数；
检测所选至少一个参数中的偏差；
将所述偏差与所述数据库进行比较；以及
如果所述偏差超过预定阈值，则向所述跟踪对象分配新标识符，并且如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
2.根据权利要求1所述的方法，所述方法包括用所述至少一个参数的变化来更新所述数据库的步骤。
3.根据权利要求1所述的方法，所述方法包括将检测所选至少一个参数中的偏差的步骤标识为事件的步骤。
4.根据权利要求1所述的方法，其中所述至少一个参数包括以下其中一项：颜色、对比度、亮度、形状、速度、方向、大小、位置。
5.根据权利要求1所述的方法，其中在执行将所述偏差与所述数据库进行比较的步骤时，将使用以下其中一项：光谱角映射（SAM）、光谱信息散度（SID）、零均值微分区（ZMDA）、马哈拉诺比斯距离、巴特查里亚距离。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/588,568 US9122929B2 (en) | 2012-08-17 | 2012-08-17 | Method of identifying a tracked object for use in processing hyperspectral data |
| US13/588568 | 2012-08-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103810226A CN103810226A (zh) | 2014-05-21 |
| CN103810226B true CN103810226B (zh) | 2018-11-09 |
Family
ID=49035303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310359095.1A Expired - Fee Related CN103810226B (zh) | 2012-08-17 | 2013-08-16 | 确定高光谱数据处理中所用的跟踪对象的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9122929B2 (zh) |
| EP (1) | EP2698740A3 (zh) |
| JP (1) | JP6411718B2 (zh) |
| CN (1) | CN103810226B (zh) |
| BR (1) | BR102013020974A2 (zh) |
| CA (1) | CA2823369C (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9430846B2 (en) * | 2013-04-19 | 2016-08-30 | Ge Aviation Systems Llc | Method of tracking objects using hyperspectral imagery |
| US9256786B2 (en) * | 2013-10-15 | 2016-02-09 | Ge Aviation Systems Llc | Method of identification from a spatial and spectral object model |
| US11615460B1 (en) | 2013-11-26 | 2023-03-28 | Amazon Technologies, Inc. | User path development |
| AU2014361105A1 (en) * | 2013-12-10 | 2016-06-30 | Bae Systems Plc | Data processing method and system |
| AU2014361104B2 (en) | 2013-12-10 | 2019-11-21 | Bae Systems Plc | Data processing method |
| US10890648B2 (en) * | 2014-10-24 | 2021-01-12 | Texas Instruments Incorporated | Method and apparatus for generating alignment matrix for camera-radar system |
| US10810539B1 (en) | 2015-03-25 | 2020-10-20 | Amazon Technologies, Inc. | Re-establishing tracking of a user within a materials handling facility |
| US11205270B1 (en) * | 2015-03-25 | 2021-12-21 | Amazon Technologies, Inc. | Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility |
| CN105043544B (zh) * | 2015-05-05 | 2017-06-20 | 中山大学 | 一种图像光谱跟踪方法及系统 |
| US10482361B2 (en) | 2015-07-05 | 2019-11-19 | Thewhollysee Ltd. | Optical identification and characterization system and tags |
| CN106776641B (zh) * | 2015-11-24 | 2020-09-08 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN108292141B (zh) * | 2016-03-01 | 2022-07-01 | 深圳市大疆创新科技有限公司 | 用于目标跟踪的方法和系统 |
| SE542124C2 (en) * | 2016-06-17 | 2020-02-25 | Irisity Ab Publ | A monitoring system for security technology |
| US11085823B2 (en) * | 2016-09-06 | 2021-08-10 | B. G. Negev Technologies And Applications Ltd. | Recovery of hyperspectral data from image |
| CN108510519B (zh) * | 2017-02-28 | 2021-12-14 | 哈尔滨工业大学 | 一种跟踪过程中动态目标的特征光谱提取方法 |
| US10657422B2 (en) | 2017-04-20 | 2020-05-19 | The Boeing Company | Methods and systems for hyper-spectral systems |
| CN107054654A (zh) * | 2017-05-09 | 2017-08-18 | 广东容祺智能科技有限公司 | 一种无人机目标跟踪系统及方法 |
| CN109215056A (zh) * | 2017-07-03 | 2019-01-15 | 昊翔电能运动科技(昆山)有限公司 | 目标追踪方法及装置 |
| CN109214243A (zh) * | 2017-07-03 | 2019-01-15 | 昊翔电能运动科技(昆山)有限公司 | 目标跟踪方法、装置及无人机 |
| CN107679454A (zh) * | 2017-08-28 | 2018-02-09 | 深圳市盛路物联通讯技术有限公司 | 环境监测方法和相关设备 |
| US20190096045A1 (en) * | 2017-09-28 | 2019-03-28 | 4Sense, Inc. | System and Method for Realizing Increased Granularity in Images of a Dataset |
| US11328513B1 (en) | 2017-11-07 | 2022-05-10 | Amazon Technologies, Inc. | Agent re-verification and resolution using imaging |
| US10690525B2 (en) * | 2018-01-03 | 2020-06-23 | General Electric Company | Systems and methods associated with unmanned aerial vehicle targeting accuracy |
| CN108225277A (zh) * | 2018-03-09 | 2018-06-29 | 深圳臻迪信息技术有限公司 | 无人机的图像获取方法、视觉定位方法、装置、无人机 |
| CN109165628B (zh) * | 2018-09-12 | 2022-06-28 | 首都师范大学 | 提高动目标检测精度的方法、装置、电子设备及存储介质 |
| CA3140446A1 (en) * | 2019-06-07 | 2020-12-10 | Yunus Emre Kurtoglu | Device and method for forming at least one ground truth database for an object recognition system |
| CN112966134B (zh) * | 2021-03-26 | 2022-06-28 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011101856A2 (en) * | 2010-02-21 | 2011-08-25 | Elbit Systems Ltd. | Method and system for detection and tracking employing multi view multi spectral imaging |
| CN102393913A (zh) * | 2011-10-31 | 2012-03-28 | 北京航空航天大学 | 一种基于光谱指纹特征的弱小目标精确跟踪方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5559496A (en) * | 1993-05-19 | 1996-09-24 | Dubats; William C. | Remote patrol system |
| US6985172B1 (en) * | 1995-12-01 | 2006-01-10 | Southwest Research Institute | Model-based incident detection system with motion classification |
| US8547437B2 (en) * | 2002-11-12 | 2013-10-01 | Sensormatic Electronics, LLC | Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view |
| US6967612B1 (en) * | 2004-10-22 | 2005-11-22 | Gorman John D | System and method for standoff detection of human carried explosives |
| US20070224694A1 (en) * | 2006-02-10 | 2007-09-27 | Puchalski Daniel M | Method and system for hyperspectral detection of animal diseases |
| EP1987331A2 (en) * | 2006-02-16 | 2008-11-05 | Clean Earth Technologies, Llc | Method for spectral data classification and detection in diverse lighting conditions |
| US20080243439A1 (en) * | 2007-03-28 | 2008-10-02 | Runkle Paul R | Sensor exploration and management through adaptive sensing framework |
| DE102009020709A1 (de) * | 2009-05-11 | 2010-11-18 | Basso, Gertrud | Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten |
| US8203114B2 (en) * | 2009-05-14 | 2012-06-19 | Raytheon Company | Adaptive spatial-spectral processing (ASSP) |
| US9103714B2 (en) * | 2009-10-06 | 2015-08-11 | Chemimage Corporation | System and methods for explosives detection using SWIR |
| JP5285575B2 (ja) * | 2009-11-04 | 2013-09-11 | 日本放送協会 | 人物行動判定装置及びそのプログラム |
| US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
| US20120274775A1 (en) * | 2010-10-20 | 2012-11-01 | Leonard Reiffel | Imager-based code-locating, reading and response methods and apparatus |
| US8989501B2 (en) * | 2012-08-17 | 2015-03-24 | Ge Aviation Systems Llc | Method of selecting an algorithm for use in processing hyperspectral data |
-
2012
- 2012-08-17 US US13/588,568 patent/US9122929B2/en not_active Expired - Fee Related
-
2013
- 2013-08-08 CA CA2823369A patent/CA2823369C/en not_active Expired - Fee Related
- 2013-08-13 JP JP2013167935A patent/JP6411718B2/ja not_active Expired - Fee Related
- 2013-08-14 EP EP13180360.3A patent/EP2698740A3/en not_active Withdrawn
- 2013-08-16 CN CN201310359095.1A patent/CN103810226B/zh not_active Expired - Fee Related
- 2013-08-16 BR BR102013020974-0A patent/BR102013020974A2/pt not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011101856A2 (en) * | 2010-02-21 | 2011-08-25 | Elbit Systems Ltd. | Method and system for detection and tracking employing multi view multi spectral imaging |
| CN102393913A (zh) * | 2011-10-31 | 2012-03-28 | 北京航空航天大学 | 一种基于光谱指纹特征的弱小目标精确跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2823369A1 (en) | 2014-02-17 |
| JP2014038620A (ja) | 2014-02-27 |
| US20140050352A1 (en) | 2014-02-20 |
| EP2698740A2 (en) | 2014-02-19 |
| US9122929B2 (en) | 2015-09-01 |
| JP6411718B2 (ja) | 2018-10-24 |
| BR102013020974A2 (pt) | 2018-02-14 |
| CN103810226A (zh) | 2014-05-21 |
| CA2823369C (en) | 2019-12-17 |
| EP2698740A3 (en) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103810226B (zh) | 确定高光谱数据处理中所用的跟踪对象的方法 | |
| CN103593379B (zh) | 选择用于在处理高光谱数据中使用的算法的方法 | |
| Mishra et al. | Performance evaluation of textural features in improving land use/land cover classification accuracy of heterogeneous landscape using multi-sensor remote sensing data | |
| US10726536B2 (en) | Anomaly detection | |
| Nath et al. | A survey of image classification methods and techniques | |
| US8891875B2 (en) | Method of evaluating the confidence of matching signatures of a hyperspectral image | |
| López et al. | A framework for registering UAV-based imagery for crop-tracking in Precision Agriculture | |
| Champagne et al. | A bootstrap method for assessing classification accuracy and confidence for agricultural land use mapping in Canada | |
| CN103400151A (zh) | 一体化的光学遥感影像与gis自动配准与水体提取方法 | |
| JP2014071902A (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| CN106845341A (zh) | 一种基于虚拟号牌的无牌车辆识别方法 | |
| CN104574356B (zh) | 从空间和光谱对象模型进行识别的方法 | |
| US20140133753A1 (en) | Spectral scene simplification through background subtraction | |
| Anandhalli et al. | Indian pothole detection based on CNN and anchor-based deep learning method | |
| Núñez et al. | High-resolution satellite imagery classification for urban form detection | |
| Lu et al. | A comparison of maximum likelihood classifier and object-based method based on multiple sensor datasets for land-use/cover classification in the Brazilian Amazon | |
| CN104112281B (zh) | 使用高光谱成像跟踪对象的方法 | |
| Cardama et al. | Consensus techniques for unsupervised binary change detection using multi-scale segmentation detectors for land cover vegetation images | |
| Vuong et al. | Toward Planet-Wide Traffic Camera Calibration | |
| Kumar et al. | An efficient method for road tracking from satellite images using hybrid multi-kernel partial least square analysis and particle filter | |
| Ozturk et al. | Semi-supervised gas detection in hyperspectral imaging | |
| Barari et al. | Accurate Damage Dimension Estimation in AI Driven Vehicle Inspection System | |
| Wu et al. | A segmentation based change detection method for high resolution remote sensing image | |
| Recio et al. | Potential evaluation of different types of images and their combination for the classification of gis objects cropland and grassland | |
| Marchesi et al. | Detection of moving vehicles with WorldView-2 satellite data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181109 Termination date: 20210816 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |