CN104574356A - 从空间和光谱对象模型进行识别的方法 - Google Patents

从空间和光谱对象模型进行识别的方法 Download PDF

Info

Publication number
CN104574356A
CN104574356A CN201410543723.6A CN201410543723A CN104574356A CN 104574356 A CN104574356 A CN 104574356A CN 201410543723 A CN201410543723 A CN 201410543723A CN 104574356 A CN104574356 A CN 104574356A
Authority
CN
China
Prior art keywords
key characteristic
image
spectrum
unique identifier
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410543723.6A
Other languages
English (en)
Other versions
CN104574356B (zh
Inventor
E.D.比勒
B.T.奧基平蒂
K.R.库琴斯基
T.B.塞巴斯蒂安
S.A.M.拉西尼
A.I.德尔阿莫
R.S.凯莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Aviation Systems LLC
Original Assignee
GE Aviation Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Aviation Systems LLC filed Critical GE Aviation Systems LLC
Publication of CN104574356A publication Critical patent/CN104574356A/zh
Application granted granted Critical
Publication of CN104574356B publication Critical patent/CN104574356B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/40—Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

一种引用被成像对象的方法其中还包括得到图像(410)系列，观测图像(420)系列的每个中的对象的关键特性，将所观测的关键特性与对象(442)关联；以及基于所关联的关键特性(444)向对象指配唯一识别符。图像系列包括光谱(203)和空间图像(209)。关键特性中的一些处于光谱图像中，并且关键特性中的一些处于空间图像中。

Description

从空间和光谱对象模型进行识别的方法
背景技术
高光谱照相装置能够以视频帧速率来捕获高光谱图像帧或者数据立方体。这些照相装置获取高空间和光谱分辨率图像。结合与计算机视觉和光谱分析相关的技术，高光谱照相装置的操作者参加与被成像对象的检测、跟踪和识别相关的监控应用。
发明内容
本发明的一个方面涉及一种引用被成像对象的方法。该方法包括：得到图像系列，其中图像中的至少一些是光谱的，并且图像中的一些是空间的；观测图像系列的每个中的对象的关键特性，其中关键特性中的一些处于光谱图像中，并且关键特性中的一些处于空间图像中；将所观测的关键特性与对象关联；以及基于所关联的关键特性向对象指配唯一识别符。
本发明的另一方面涉及一种用于引用被成像对象的系统。该系统包括：至少一个成像装置，配置成记录对象的光谱和空间图像系列；处理器，配置成处理光谱和空间图像；以及处理器中的软件。软件包括指令以：观测图像系列的每个中的对象的关键特性，其中关键特性中的一些处于光谱图像中，并且关键特性中的一些处于空间图像中；将所观测的关键特性与对象关联；以及基于所关联的关键特性向对象指配唯一识别符。
提供一种引用被成像对象的方法，其包括：
    得到所述对象的图像系列，其中所述图像中的至少一些是光谱的，并且所述图像中的一些是空间的，
    观测所述图像系列的每个中的所述对象的关键特性，其中所述关键特性中的一些处于所述光谱图像中，并且所述关键特性中的一些处于所述空间图像中，
    将所观测的关键特性与所述对象关联，以及
    基于所关联的关键特性向所述对象指配唯一识别符。
在一个实施例中，所述关键特性包括形状、大小、位置、速度、颜色、材料组成、外观、识别标签、行为和历史中的至少一个。
在一个实施例中，存储所述唯一识别符供以后用作用于添加新关键特性或者检索被成像对象的已知特性的引用。
在一个实施例中，所述方法还包括下列步骤：从一个以上系统得到所述对象的一个以上图像系列，并且聚合来自各系统的图像的关键特性。
在一个实施例中，存储所述唯一识别符供以后用于系统之间的移交。
在一个实施例中，存储所述唯一识别符，供以后用来建立跨所述对象的所观测生存期的时间相关性。
提供一种引用被成像对象的系统，包括：
    至少一个成像装置，配置成记录对象的光谱和空间图像系列，
    处理器，配置成处理所述光谱和空间图像，以及
    所述处理器中的软件，包括指令以：观测所述图像系列的每个中的所述对象的关键特性，其中所述关键特性中的一些处于所述光谱图像中，并且所述关键特性中的一些处于所述空间图像中；将所观测的关键特性与所述对象关联；以及基于所关联的关键特性向所述对象指配唯一识别符。
在一个实施例中，所述关键特性包括形状、大小、位置、速度、颜色、材料组成、外观、识别标签、行为和历史中的至少一个。
在一个实施例中，存储所述唯一识别符供以后用作用于添加新关键特性或者检索被成像对象的已知特性的引用。
在一个实施例中，所述系统是连接到相同第二系统的第一系统，其中所述第一和第二系统的每个相互无关地起作用，以得到所述对象的一个以上的图像系列，并且各配置成与另一个共享信息，包括所述唯一识别符，以便聚合来自各系统中的所述对象的图像的关键特性。
附图说明
在图中：
图1示出按照本发明的一实施例的系统包括捕获车辆的图像的两个示范移动平台的情形。
图2示出按照本发明的一实施例的系统包括捕获移动车辆的图像的示范平台的情形。
图3是示出从例如图1中描述的系统等的系统所捕获的图像来生成空间和光谱对象模型的方法的流程图。
图4示范用来生成光谱和空间对象模型的被成像车辆的空间划分。
图5是示出从空间和光谱对象模型进行识别的方法的流程图。
具体实施方式
为了便于说明，在背景和以下描述中提出了大量具体细节，以便提供透彻地理解本文所述的技术。然而，本领域的技术人员将会清楚地知道，即使没有这些具体细节也可实施示范实施例。在其它情况下，结构和装置以简图形式示出，以便于示范实施例的描述。
参照附图来描述示范实施例。这些附图示出实现本文所述的模块、方法或计算机程序产品的具体实施例的某些细节。但是，附图不应当被理解为施加附图中可存在的任何限制。方法和计算机程序产品可在任何机器可读介质上提供以用于实现其操作。实施例可使用现有计算机处理器、或者通过为这个或另一个目的所结合的专用计算机处理器、或者通过硬连线系统来实现。
如上所述，本文所述的实施例可包括计算机程序产品，其中包括用于携带或具有其上存储了机器可执行指令或数据结构的机器可读介质。这类机器可读介质能够是任何可用介质，其能够由通用或专用计算机或者具有处理器的其它机器来访问。作为举例，这类机器可读介质能够包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或者其它磁存储装置、或者能够用于携带或存储采取机器可执行指令或数据结构形式的预期程序代码并且能够由通用或专用计算机或者具有处理器的其它机器来访问的其它任何介质。当信息通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的组合)传递或提供给机器时，机器将连接适当地看作是机器可读介质。因此，任何这种连接都适当地称作机器可读介质。以上所述的组合也包含在机器可读介质的范围之内。机器可执行指令例如包括使通用计算机、专用计算机或者专用处理机来执行某个功能或某组功能的指令和数据。
将在方法步骤的一般上下文中描述实施例，方法步骤在一个实施例中可通过程序产品来实现，程序产品包括例如采取由组网环境中的机器所执行的程序模块形式的机器可执行指令、如程序代码。一般来说，程序模块包括具有执行特定任务或者实现特定抽象数据类型的技术效果的例程、程序、对象、组件、数据结构等。机器可执行指令、关联数据结构和程序模块表示用于运行本文所公开方法的步骤的程序代码的示例。这类可执行指令或关联数据结构的特定序列表示用于实现在这类步骤中所述的功能的对应动作的示例。
实施例可在使用到一个或多个远程计算机(其具有处理器)的逻辑连接的组网环境中实施。逻辑连接可包括局域网(LAN)和广域网(WAN)(其在此作为举例而不是限制来提供)。这类组网环境是办公范围或企业范围的计算机网络、内联网和因特网中常见的，并且可使用大量不同的通信协议。本领域的技术人员将会理解，这类网络计算环境通常将包含许多类型的计算机系统配置，其中包括个人计算机、手持装置、多处理器系统、基于微处理器或者可编程消费电子产品、网络PC、小型计算机、大型计算机等等。
实施例还可在分布式计算环境中实施，在这些环境中，任务由通过通信网络链接(通过硬连线链路、无线链路或者通过硬连线或无线链路的组合)的本地和远程处理装置来执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置中。
一种用于实现示范实施例的整体或部分的示范系统可包括采取计算机形式的通用计算装置，其中包括处理单元、系统存储器以及将包括系统存储器的各种系统组件耦合到处理单元的系统总线。系统存储器可包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于对磁硬盘进行读取和写入的磁硬盘驱动器、对可移动磁盘进行读取或写入的磁盘驱动器以及用于对可移动光盘、如CD ROM或其它光介质进行读取或写入的光盘驱动器。驱动器及其关联的机器可读介质提供对机器可执行指令、数据结构、程序模块和用于计算机的其它数据的非易失性存储。
实施例中公开的方法的技术效果包括增加远程成像系统对于对象检测、跟踪和识别的实用性和性能。解析空间和光谱图像以形成唯一识别符(其引用和描述所观测的对象)的成像和跟踪系统对于与图像收集过程关联的因素的变化是健壮的。因为唯一识别符基于与成像系统的特性无关的对象的本征特性，所以该跟踪系统能够在与对象生存期有关的历史信息最初为未知时使对象的独立观测相关。换言之，该系统可观测先前未知的对象，按照本发明的方法来指配唯一识别符，然后在以后观测对象并且正确地关联观测。另外，本发明的方法实现对象的远程观测和搜索，而无需多个源确认以检验对象的身份。
现在参照图1，用于形成引用对象30的单个统一识别符的系统10包括至少一个成像装置14，其配置成记录对象30的光谱和空间图像系列。处理器16配置成处理对象30的光谱和空间图像，以及处理器16中的软件包括观测和关联图像系列的每个中的对象30的关键特性的指令。平台板载的处理器可执行图像系列的处理，或者可指示向远程位置传送图像系列，供第二处理器或处理系统(统称为“处理器”16，并且示为与图1中的成像装置14的地理上的远程单元)进行处理。基于对象30的关键特性的关联，处理器16可向对象30指配唯一识别符。
成像装置14可包括一个或多个照相装置，其能够捕获和记录跨电磁谱的特定波长处的图像数据。供本发明中使用的成像装置可捕获通过红外、可见和紫外频带所限定的波长中的图像。另外，成像装置14可配置成收集图像，使得照相装置的可操作频带相结合以形成全色图像或者划分以形成多光谱或高光谱数据立方。在全色成像仪的情况下，成像装置14可形成全色图像系列，其中各图像是落到图像的各像素上的辐射的总强度的记录。像素及其相对强度之间的关系形成所收集的图像系列的空间内容(或者空间图像)。 
备选地，成像装置14可形成图像系列，其中各图像包括与特定波长的频带对应的数据。例如，通用照相装置可形成可见光谱中的图像的三个表示；一个响应于与绿色关联的波长，另一个用于红色，以及第三个用于蓝色。可提供附加频带，以形成所谓的可见光谱外部的图像。具有更多频带、更细微分辨率或更宽光谱覆盖范围的光谱成像仪可称作多光谱、高光谱或超光谱，这取决于被成像光谱带的特定数量和相对波长。这样，各像素包括将所收集图像系列的光谱内容(或者光谱图像)相关的光谱特征或向量。虽然预期许多成像装置14用于收集空间和光谱图像，但是在一个优选实现中，成像装置14包括凝视阵列高光谱摄像机。但是，其它已知的高光谱成像装置101可包括凝视阵列彩色/全色照相装置与快速扫描光谱照相装置的组合。
成像装置14例如在移动平台12上可以是静止的，或者在静止平台112(如图2中所示)上可以是活动的，或者可以是它们的任何组合。在活动平台12上，例如图1中所示，成像装置14可对感兴趣对象30进行成像，其中被成像区域18、20、22、24的覆盖区部分因平台12的移动而移动。平台的移动可以是由成像装置14所经过的弧线28、由成像装置14所经过的线条26或者通过平台12的可操作性所支配的任何运动。
在静止平台112上，例如图2中所示，成像装置114可在平台112上沿单轴旋转移动，以对感兴趣对象30进行跟踪和成像。在这种情况下，被成像覆盖区116、118、120沿着弧线122，以对感兴趣对象30进行成像。在大多数情况下，感兴趣对象30不会沿着覆盖区的相同弧线122，在这种情况下，覆盖区的透视将发生变化。感兴趣对象30也可以是静止或移动的。  
将会显而易见，成像装置14或114与被成像的感兴趣对象30之间的相对运动将改变成像装置14或114与感兴趣对象30之间的透视。因此，感兴趣对象30的所观测光谱反射率将至少部分作为变化相对透视的函数而改变。 
图3是示出使用以上在图1和图2中所述的系统来生成空间和光谱对象模型的方法的流程图。一开始，在步骤200，成像装置14可通过捕获图像(其被空间和光谱解析)，来获取和跟踪感兴趣对象30。本文中称作“高光谱图像”以指示空间和光谱内容或图像的存在，实际图像可采用如上所述的成像装置来收集，并且可包括响应于多个紫外、红外和/或可见波长的元件。  
在步骤202，成像装置14可得到高光谱图像203系列。为了确定系列中的高光谱图像203之间的对齐，处理器16可采用图像稳定性技术逐帧偏移高光谱图像203系列，以抵消运动和抖动(其可例如由平台12的移动来引入)。对象30的高光谱图像203系列可具有感兴趣对象30与成像装置14之间的相对运动。  
在步骤204，处理器16可确定感兴趣对象30与成像装置14之间的相对运动的至少一个参数205。例如，处理器16可使用来自板载传感器定位系统(其测量相对和绝对定位)的数据。示例板载系统可包括与绝对定位系统、例如GPS相结合的相对定位系统，例如惯性导航系统。连同板载定位数据一起，处理器16可确定高光谱图像203系列中的差，以推断感兴趣对象30的运动，并且估计从成像装置14到感兴趣对象30的范围。处理器16可确定作为成像装置14与感兴趣对象30之间的旋转(即，滚动、俯仰、偏转)和平移(即，x、y、z)变化的相对运动。处理器16可采用欧拉角和方向向量对相对运动进行参数化。取决于实现，成像装置14与感兴趣对象30之间的相对运动的其它参数化可适用。处理器16可映射对象30与成像装置14之间的相对运动的参数205，以在步骤206确定系列中的各高光谱图像中的对象30的取向207。 
在确定高光谱图像203系列的每个中的感兴趣对象30的取向207时，处理器16在步骤208可识别高光谱图像203系列的每个中的感兴趣对象30的空间部分209。然后，在步骤210，处理器16可将光谱特征211指配给高光谱图像203系列的每个中的感兴趣对象30的各空间部分209。基于向感兴趣对象30的空间部分209指配光谱特征211，处理器16可在步骤212生成多维光谱反射率分布213。光谱反射率分布213的维度通过对象30的取向207、空间部分209以及与空间部分209关联的光谱特征211来确定。因此，多维光谱反射率分布213可连同对象30的空间或几何描述一起，来描述感兴趣对象30的光谱反射率特征211以及光谱反射率特征211之间的空间关系。 
一旦生成多维光谱反射率分布213，处理器16可分类高光谱图像203系列中的感兴趣对象30。多维光谱反射率分布213对空间维的描述和感兴趣对象30的光谱纹理进行编码。处理器16可实现如下所述的附加处理技术，以确定感兴趣对象30的空间部分209的大小和形状连同纹理特性。
在步骤214完成该方法时，成像装置14可重新获取高光谱图像203的连续系列中的感兴趣对象30。处理器16可基于高光谱图像的连续集合来改进对象的多维光谱反射率分布213。虽然初始遍可产生对象的未观测的取向，但是连续遍可开始填充先前未观测的取向的多维光谱反射率分布213的模型。 
相反，处理器16可改进先前观测的取向的多维光谱反射率分布213。当处理器16重新获取先前观测的取向处的对象时，处理器16可通过基于高光谱图像的积分时间对光谱特征111进行加权，来更新先前生成的多维光谱反射率分布113。例如，如果先前对0.1秒观测到给定取向207的给定空间部分209以确定光谱特征211并且然后对0.2秒进行附加测量，则多维光谱反射率分布213中的取向207的空间部分209的光谱特征211可调整成对新测量的加权为旧测量的两倍。
为了进行说明，图4示范三个不同取向300、302、304的被成像车辆的空间划分。对于在取向300的车辆的第一被成像侧，处理器16识别四个空间部分310、312、314、316。对于在取向302的车辆的第二被成像侧，处理器16识别四个空间部分318、320、322、324。对于在取向304的车辆的第三被成像侧，处理器16识别四个空间部分326、328、330、332。然后，处理器16基于高光谱图像向每个空间部分指配光谱特征。在这个示例中，对于三个被成像取向的每个将将存在四个不同的光谱特征，总共12个不同的光谱特征。因此，针对图3中所述的方法，图4的图示示范多维光谱反射率分布213，其包括三个取向，各具有四个空间部分209，并且各空间部分包括一个对应光谱反射率特征211。   
处理器16还可分析空间和光谱图像，以便唯一地识别感兴趣对象。也就是说，处理器16可分析空间/光谱特性(例如上述多维光谱反射率分布)，以得出对象30的关键特性并且将其与识别被成像对象的单独实例的目标关联。这样，除了只识别对象的类型之外，处理器16可对特定对象采指纹。 
图5是示出从空间和光谱对象模型进行识别的方法的流程图。一开始，处理器16得到对象的图像系列。如上所述，图像系列可提供光谱和空间内容，并且可来自一个或多个成像装置(其配置成捕获一种或多种类型的图像)。各成像装置可提供光谱图像、空间图像或者光谱和空间图像的组合。通过所捕获图像的波长所界定，可提供图像的成像装置包括可见的412、红外的414、紫外的416和高光谱的418。
处理器16则可观测图像系列中的对象30的关键特性。处理器16可使用计算机视觉领域已知的常规图像处理技术，从空间图像来得出关键特性。典型技术涉及特征提取、检测、图像分段、参数估计、图像配准和识别的概念。 
作为空间分析的补充或者与其协作，处理器16可使用对光谱图像的分析已知的技术，从光谱图像来得出关键特性。已经开发基于光谱的处理算法，以便对类似像素、即具有相似光谱特性或特征的像素进行分类或编组。为了便于目标检测，多个高光谱搜索算法已经开发并且用于高光谱图像的处理中。这些高光谱搜索算法通常设计成利用图像中的候选目标的统计特性，并且通常基于众所周知的统计概念。例如，马哈拉诺比斯距离是已经应用于高光谱像素特征的相似性的统计量度。马哈拉诺比斯距离通过针对已知的一类特征的平均和标准偏差，来测量特征的相似性。
其它已知技术包括光谱角映射(SAM)、光谱信息散度(SID)、零平均微分面积(ZMDA)和巴特查里亚距离。SAM是一种用于通过将各光谱看作是向量并且计算向量之间的角、来将光谱特征与已知特征进行比较的方法。因为SAM仅使用向量方向而不使用向量长度，所以该方法对照明的变化不敏感。SID是一种用于通过测量光谱之间的概率差异或散度、来将光谱特征与已知特征进行比较的方法。ZMDA根据特征的变化对其进行归一化，并且计算它们的差，其对应于两个向量之间的面积。巴特查里亚距离与马哈拉诺比斯距离相似，但是用来测量一组光谱特征相对已知的一类特征之间的距离。
通过建立其中可集成空间和光谱处理技术的框架，处理器16可在步骤420观测对象的关键特性。关键对象特性可包括基于空间的属性，例如对象形状422、对象大小424、对象位置426和对象速度428。结合光谱属性的关键对象特性可包括对象颜色430、对象材料组成432和纹理。这些特性可提供通常用于分类过程中的信息的类型。例如，这些特性的组合可指示成像系统所观测的车辆的类型。 
处理器16可采用附加处理来推断其它关键特性，包括对象外观434、识别对象标签436、对象行为438和对象历史440。对象外观434包括对象表面的有细微差别并且可能唯一的方面。例如，汽车上的凹痕或者安装到车辆顶部的附加天线可提供处理器16可采用空间和光谱处理技术来观测和检测的特定识别特征。 
识别对象标签436可提供与对象外观类似的人为识别符，并且可包括牌照、保险杆贴纸、车尾标记等。处理器16可包括例如用于光学字符识别以进一步辨别对象标签的算法。处理器16可观测对象行为438，并且检测和量化与对象的限制关联的对象的方面，例如汽车的转变半径或者人为属性(例如遵守交通法规的水平)。 
处理器16还可通过将跨越时间的对象的多个观测相关，来推断对象的历史440。处理器16可必须跨越其进行相关的时标(其是时间不连续性的时长)的范围可从例如所观测对象暂时变模糊时的数秒到对象、例如汽车不频繁地经由远程成像装置的查看覆盖区时的大约数天的时标。因此，对象的历史可建立位置、随时间推移的行为和物理外观的变化的模式。
通过关联关键特性442，当诸如对象的形状422、大小424、位置426、速度428和颜色430之类的关键特性用来隔离感兴趣对象时，处理器16可区分对象与其它类型的对象。跨越时间不连续性的对象隔离和区分可要求识别其它关键特性，例如上述材料组成432、对象外观434、识别标签438，以建立对象的身份。 
为了促进感兴趣对象的引用供存档和检索，处理器16可指配单个唯一识别符444，以经过远程成像系统所观测的对象的生存周期来引用对象。唯一识别符444可对与对象关联的关键特性(即，视觉、光谱和行为特性连同如上所述的历史特性)进行编码。 
系统可同时管理单个或多个识别符，这取决于系统的当前视图中的对象。关键特性可聚合在一起，以创建描述多个系统所观测的对象的新识别符。部分由于识别符的唯一性(及其到它所引用的对象的一对一映射)，识别符可提供对远程成像系统所观测的对象的关键特性的索引。计算系统(以上实现为处理器16)可自动生成识别符，或者计算系统的操作者可手动生成识别符。创建识别符之后，识别符可提供对于对象的引用，以用于添加新的关键特性或者检索相关对象的已知特性。
随着视频高光谱传感器的出现，一个系统可采集充分信息，以便唯一地识别所观测对象。多个系统可无关地起作用，其中各系统可采集充分信息，以便唯一地识别所观测对象。在多系统模态中，信息则可在系统之间共享，以聚合关键特性。这样，由一个系统可观测的关键特性可与第二系统所观测的不同关键特性相结合，以增强对象的总体识别符。 
感兴趣对象的单个统一识别符(其结合对象的许多可观测和推断特性)可促进对远程成像系统很重要的关键操作。例如，当使用多个远程成像系统时，唯一识别符可通过允许系统之间的对象描述的有效传递，来促进系统之间的对象移交。另外，识别符可用来实现预测移交可需要发生的时间和位置。  
系统的关键元件之一是从可见、红外、紫外和高光谱成像仪所得出的光谱信息与从更传统图像处理技术所得出的空间特性的融合，以便唯一地限定对象。远程感测系统必须使用能够及时捕获包含空间和光谱图像的图像序列的高光谱视觉或混合成像系统，以便允许空间和光谱信息的连续相关性。 
本书面描述使用示例来公开本发明，其中包括最佳模式，以及还使本领域的技术人员能够实施本发明，包括制作和使用任何装置或系统并且执行任何结合的方法。本发明的专利范围由权利要求来限定，并且可包括本领域的技术人员想到的其它示例。如果这类其它示例具有与权利要求的文字语言没有不同的结构元件，或者如果它们包括具有与权利要求书的文字语言的非实质差异的等效结构元件，则它们意在落入权利要求的范围之内。

Claims (10)

1.一种引用被成像对象(30)的方法，其特征在于：
    得到所述对象的图像系列，其中所述图像中的至少一些是光谱的(203)，并且所述图像中的一些是空间的(209)，
    观测所述图像系列的每个中的所述对象(30)的关键特性(422，424，426，428，430，432，434，436，438，440)，其中所述关键特性中的一些处于所述光谱图像中，并且所述关键特性中的一些处于所述空间图像中，
    将所观测的关键特性与所述对象(30)关联，以及
    基于所关联的关键特性向所述对象(30)指配唯一识别符(444)。
2.如权利要求1所述的方法，其中，所述关键特性包括形状(422)、大小(424)、位置(426)、速度(428)、颜色(430)、材料组成(432)、外观(434)、识别标签(436)、行为(438)和历史(440)中的至少一个。
3.如权利要求1所述的方法，其中，存储所述唯一识别符(444)供以后用作用于添加新关键特性或者检索被成像对象的已知特性的引用。
4.如权利要求1所述的方法，还包括下列步骤：从一个以上系统得到所述对象的一个以上的图像系列，并且聚合来自各系统的图像的关键特性。
5.如权利要求1所述的方法，其中，存储所述唯一识别符(444)供以后用于系统之间的移交。
6.如权利要求1所述的方法，其中，存储所述唯一识别符(444)，供以后用来建立跨所述对象的所观测生存期的时间相关性。
7.一种用于引用被成像对象(30)的系统，其特征在于：
    至少一个成像装置(14)，配置成记录对象(30)的光谱(203)和空间图像(209)系列，
    处理器(16)，配置成处理所述光谱和空间图像，以及
    所述处理器中的软件，包括指令以：观测所述图像系列的每个中的所述对象(30)的关键特性(422，424，426，428，430，432，434，436，438，440)，其中所述关键特性中的一些处于所述光谱图像中，并且所述关键特性中的一些处于所述空间图像中；将所观测的关键特性与所述对象关联；以及基于所关联的关键特性向所述对象指配唯一识别符(444)。
8.如权利要求7所述的系统，其中，所述关键特性包括形状(422)、大小(424)、位置(426)、速度(428)、颜色(430)、材料组成(432)、外观(434)、识别标签(436)、行为(438)和历史(440)中的至少一个。
9.如权利要求7所述的系统，其中，存储所述唯一识别符(444)供以后用作用于添加新关键特性或者检索被成像对象的已知特性的引用。
10.如权利要求7所述的系统，其中，所述系统是连接到相同第二系统的第一系统，其中所述第一和第二系统的每个相互无关地起作用，以得到所述对象的一个以上的图像系列，并且各配置成与另一个共享信息，包括所述唯一识别符，以便聚合来自各系统中的所述对象的图像的关键特性。
CN201410543723.6A 2013-10-15 2014-10-15 从空间和光谱对象模型进行识别的方法 Expired - Fee Related CN104574356B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/054742 2013-10-15
US14/054,742 US9256786B2 (en) 2013-10-15 2013-10-15 Method of identification from a spatial and spectral object model

Publications (2)

Publication Number Publication Date
CN104574356A true CN104574356A (zh) 2015-04-29
CN104574356B CN104574356B (zh) 2018-02-06

Family

ID=51947043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410543723.6A Expired - Fee Related CN104574356B (zh) 2013-10-15 2014-10-15 从空间和光谱对象模型进行识别的方法

Country Status (7)

Country Link
US (1) US9256786B2 (zh)
JP (1) JP5941514B2 (zh)
CN (1) CN104574356B (zh)
BR (1) BR102014025597A2 (zh)
CA (1) CA2867254C (zh)
FR (1) FR3011960B1 (zh)
GB (1) GB2520819B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112297435A (zh) * 2019-07-26 2021-02-02 哈米尔顿森德斯特兰德公司 空间差异测量

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3361235A1 (en) * 2017-02-10 2018-08-15 VoxelGrid GmbH Device and method for analysing objects
US11682201B2 (en) * 2017-04-26 2023-06-20 Skansense S.L.U. Identifying targets within images
US20230342937A1 (en) * 2020-09-23 2023-10-26 Uveye Ltd. Vehicle image analysis
WO2023100660A1 (ja) * 2021-12-03 2023-06-08 パナソニックＩｐマネジメント株式会社 撮像システムおよび撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087033A1 (en) * 2007-09-27 2009-04-02 Kuanglin Chao Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line
CN101790717A (zh) * 2007-04-13 2010-07-28 阿维萨瑞公司 用于企业管理的机器视觉系统
US20100322480A1 (en) * 2009-06-22 2010-12-23 Amit Banerjee Systems and Methods for Remote Tagging and Tracking of Objects Using Hyperspectral Video Sensors
JP2012088876A (ja) * 2010-10-19 2012-05-10 Hitachi Ltd スペクトル情報抽出装置
US20130034266A1 (en) * 2010-02-21 2013-02-07 Elbit Systems Ltd. Method and system for detection and tracking employing multi-view multi-spectral imaging

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075891A (en) 1998-07-06 2000-06-13 General Dynamics Government Systems Corporation Non-literal pattern recognition method and system for hyperspectral imagery exploitation
US6296189B1 (en) 1998-08-26 2001-10-02 Spectra Science Corporation. Methods and apparatus employing multi-spectral imaging for the remote identification and sorting of objects
US6353675B1 (en) 1999-01-19 2002-03-05 Xerox Corporation Methods and apparatus for identifying marking process and modifying image data based on image spatial characteristics
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US9176006B2 (en) * 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US20110052019A1 (en) * 2009-09-03 2011-03-03 Green Vision Systems Ltd. Analyzing Objects Via Hyper-Spectral Imaging and Analysis
EP2593771B1 (en) * 2010-07-16 2019-09-04 Luminex Corporation Methods, storage mediums, and systems for analyzing particle quantity and distribution within an imaging region of an assay analysis system and for evaluating the performance of a focusing routing performed on an assay analysis system
US9122929B2 (en) 2012-08-17 2015-09-01 Ge Aviation Systems, Llc Method of identifying a tracked object for use in processing hyperspectral data
US20140313325A1 (en) 2013-04-18 2014-10-23 Ge Aviation Systems Llc Method of generating a spatial and spectral object model
US9430846B2 (en) 2013-04-19 2016-08-30 Ge Aviation Systems Llc Method of tracking objects using hyperspectral imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101790717A (zh) * 2007-04-13 2010-07-28 阿维萨瑞公司 用于企业管理的机器视觉系统
US20090087033A1 (en) * 2007-09-27 2009-04-02 Kuanglin Chao Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line
US20100322480A1 (en) * 2009-06-22 2010-12-23 Amit Banerjee Systems and Methods for Remote Tagging and Tracking of Objects Using Hyperspectral Video Sensors
US20130034266A1 (en) * 2010-02-21 2013-02-07 Elbit Systems Ltd. Method and system for detection and tracking employing multi-view multi-spectral imaging
JP2012088876A (ja) * 2010-10-19 2012-05-10 Hitachi Ltd スペクトル情報抽出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112297435A (zh) * 2019-07-26 2021-02-02 哈米尔顿森德斯特兰德公司 空间差异测量

Also Published As

Publication number Publication date
US9256786B2 (en) 2016-02-09
GB2520819B (en) 2018-01-10
JP2015092339A (ja) 2015-05-14
CA2867254C (en) 2017-06-13
GB2520819A (en) 2015-06-03
CN104574356B (zh) 2018-02-06
FR3011960B1 (fr) 2017-12-29
GB201417796D0 (en) 2014-11-19
BR102014025597A2 (pt) 2016-05-24
JP5941514B2 (ja) 2016-06-29
US20150103341A1 (en) 2015-04-16
FR3011960A1 (fr) 2015-04-17
CA2867254A1 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
Guan et al. Automated pixel-level pavement distress detection based on stereo vision and deep learning
US20200401617A1 (en) Visual positioning system
CN103810226B (zh) 确定高光谱数据处理中所用的跟踪对象的方法
Zheng et al. Citysim: A drone-based vehicle trajectory dataset for safety-oriented research and digital twins
CN104574356A (zh) 从空间和光谱对象模型进行识别的方法
Farhadmanesh et al. Highway asset and pavement condition management using mobile photogrammetry
JP2017528685A (ja) 車両位置の推定
CN103591940B (zh) 评估高光谱图像的标记匹配置信度的方法
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
Paz et al. Probabilistic semantic mapping for urban autonomous driving applications
CN104112280A (zh) 生成空间和光谱对象模型的方法
CN112950717A (zh) 一种空间标定方法和系统
CN112562005A (zh) 一种空间标定方法和系统
Bartl et al. Automatic camera calibration by landmarks on rigid objects
Chaiyasarn et al. Concrete crack detection and 3D mapping by integrated convolutional neural networks architecture
Guan et al. Full field-of-view pavement stereo reconstruction under dynamic traffic conditions: Incorporating height-adaptive vehicle detection and multi-view occlusion optimization
KC Enhanced pothole detection system using YOLOX algorithm
Murray et al. Mobile mapping system for the automated detection and analysis of road delineation
JP6434834B2 (ja) 検査対象物抽出装置、及び検査対象物抽出方法
CN110781730B (zh) 智能驾驶感知方法及感知装置
CN112418096A (zh) 检测跌的方法、装置和机器人
CN104112281A (zh) 使用高光谱成像跟踪对象的方法
AliAkbarpour et al. Structure from motion and mosaicking for high-throughput field-scale phenotyping
Flores-Fuentes et al. A structural health monitoring method proposal based on optical scanning and computational models
Al-Habashna et al. Building height estimation from street-view imagery using deep learning, image processing and automated geospatial analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180206

Termination date: 20211015