CN110612534A - 检测图像中的显著对象的系统 - Google Patents

Abstract

描述了一种对图像中显著对象进行检测的系统。在操作期间，所述系统将输入的图像映射到具有光谱幅值的频域中。将所述光谱幅值替换成来自权重矩阵W的权重。然后，利用所述权重将所述频域变换成图像域中的显著图，所述显著图具有像素，所述像素具有像素值。然后，通过对所述像素值求平方来对所述显著图执行平方运算以生成像素值改变的显著图。通过对所述像素值改变的显著图进行滤波来生成最终显著图。然后，可以基于所述显著图来操作多个装置。

Description

检测图像中的显著对象的系统

相关申请的交叉引用

本申请是2016年9月21日提交的美国非临时申请No.15/272,247的部分继续申请，美国非临时申请No.15/272,247是2015年9月21日提交的美国临时申请No.62/221,550的非临时申请，其全部内容通过引用并入于此。

美国非临时申请No.15/272,247还是2016年3月24日在美国提交的题为“SparseInference Modules for Deep Learning”的美国申请No.15/079,899的部分继续申请，美国申请No.15/079,899是2015年3月24日在美国提交的美国临时申请No.62/137,665的非临时申请。美国申请No.15/079,899还是2015年4月30日在美国提交的美国临时申请No.62/155,355的非临时申请，其全部内容通过引用而并入于此。

美国非临时申请No.15/272,247是2016年2月12日在美国提交的美国申请No.15/043,478的部分继续申请，并且美国申请No.15/043,478在2017年8月1日被发布为美国专利No.9,721,332，其全部内容通过引用而并入于此。美国非临时申请No.15/272,247还是2016年7月6日在美国提交的美国申请No.15/203,596的部分继续申请，其全部内容通过引用而并入于此。

本申请还是2017年6月7日提交的美国临时申请No.62/516,504的非临时专利申请，其全部内容通过引用并入于此。

政府权利

本发明是在美国政府的支持下(合同编号HR0011-13-C-0052,RevolutionaryAnalog Probabilistic Inference Devices for Unconventional Processing ofSignals for Data Exploitation(RAPID-UPSIDE))做出的。政府在本发明中具有特定权利。

技术领域

本发明涉及对象识别系统，更具体地，涉及对从静止的或移动的摄像机拍摄的广域场景中的图像中的显著对象进行检测的系统。

背景技术

对象检测系统被用于多种应用中，并且使用许多不同的技术来实现。例如，显著性系统在很大程度上致力于基于特定的图像内的对象的显著性来对该对象进行检测。常规光谱显著性系统(例如，在参考文献No.3-5、8以及10中描述的那些系统(参见并入的参考文献列表))被设计成预测人的眼睛在有时间将注意力集中在图像上之前会将他们的注视投向该图像中的什么地方；就是被称为“前注意(preattentive)人类注视预测”问题的任务。这种光谱显著性系统通过检测光谱域中与显著对象边界相对应的非周期性边缘来发现关注的对象。在将这样的系统用于检测广域图像中的对象(在这些图像中潜在地具有许多对象并因此具有多个注意点)时，它们通常可以检测到显著对象，而且还能发现通常不相关的背景对象，例如街道边石和路标。在常规光谱显著性系统中，无法在检测时指定受用户关注的前景对象是什么。

另选地，可以使用基于学习的对象检测系统，例如Girshick在参考文献No.2中描述的系统。这样的系统使用现有技术的机器学习算法(例如，深度学习)将图像块分类为前景或背景，然后使用候选区域算法(region proposal algorithm)对所有图像块的位置和大小进行有效扫描，而无需采取详尽的滑动窗口式方法。由于这样的系统引入了带注释的训练集，因此它们可以被训练成为高度准确的。然而，与光谱显著性系统相比，候选区域系统仍需要更多数量级的计算。由此，在具有有限计算资源的较低的尺寸、权重以及功率(SWaP)平台上实现这样的基于学习的对象检测系统是不可行的。

因此，持续需要一种利用基于学习的对象检测系统和常规光谱显著性系统这两者的优点的对象检测系统。

发明内容

本公开致力于提供一种检测图像中显著对象的系统。在各个方面，所述系统包括一个或更多个处理器以及存储器。所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行若干操作。在操作期间，所述系统将输入的图像映射到具有光谱幅值的频域中。将所述光谱幅值替换成来自权重矩阵W的权重。然后，利用所述权重将所述频域变换成图像域中的显著图，所述显著图具有像素，所述像素具有像素值。然后，通过对所述像素值求平方来针对所述显著图执行平方运算以生成像素值改变的显著图。通过对所述像素值改变的显著图进行滤波来生成最终显著图。

在另一方面，所述系统执行基于所述显著图对装置进行控制的操作。

在又一方面，所述系统执行以下操作：将所述最终显著图内的区域指定为对象；以及使自主驾驶车辆执行机动以避免与所述对象的碰撞。

而且，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

在又一方面，所述系统执行以下操作：对所述最终显著图内的对象进行分类；以及在显示装置上显示所述分类。

另外，所述系统按照使所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值。

在又一方面，所述系统执行将所述最终显著图发送至蜂窝电话或中央监测设施的操作。

最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令能够由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的行为。

附图说明

本专利或申请文件包含按颜色实施的至少一个附图。具有彩图的该专利或专利申请公报的副本在请求并支付必需费用时由事务所提供。

根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点是显而易见的，其中：

图1是描绘根据本发明的各个实施方式的系统的组件的框图；

图2是具体实施本发明的一个方面的计算机程序产品的例示图；

图3是描绘检测图像中的显著对象的光谱显著性系统的架构的例示图；

图4A是描绘根据前景图块构建的全尺寸前景图像的例示图；

图4B是通过将图像中的所有前景对象涂黑而获得的背景图像的例示图；

图5是描绘根据本发明的各种实施方式的加权光谱显著性系统的架构的例示图；

图6A是描绘常规光谱显著性系统的性能的图表；

图6B是描绘根据本发明的各种实施方式的加权光谱显著性系统的性能的图表；

图7A是描绘通过常规光谱显著性系统以及根据本发明的各种实施方式的加权光谱显著性系统这两者来进行处理的输入的图像的例示图；

图7B是描绘常规光谱显著性系统和加权光谱显著性系统在如图7A所描绘的图像上运行的结果的比较的例示图；以及

图8是描绘根据各种实施方式的装置的控制的框图。

具体实施方式

本发明涉及对象识别系统，并且更具体地，涉及对从静止或移动的摄像机拍摄的广域场景中的图像中的显著对象进行检测的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。各种变型例以及不同应用方面的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本发明不旨在限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。

在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更详尽理解。然而，本领域技术人员应当明白，本发明可以在不受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免模糊本发明。

将读者的注意引向与本说明书同时提交的所有文件和文档，并且所述文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有功能(包括任何所附权利要求、摘要，以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个例子。

而且，权利要求中没有明确陈述“用于执行指定功能的装置”或“用于执行特定功能的步骤”的任何部件不解释为如在35U.S.C.112节第6款中指定的“装置”或“步骤”条款。特别地，在本文的权利要求中使用“…的步骤”或“……的动作”不旨在援引35U.S.C.112节第6款的规定。

在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的描述。随后，向读者进行了介绍，使得能够对本发明有个总体上的理解。最后，提供本发明各个实施方式的具体细节以取得对具体方面的理解。

(1)引入参考文献列表

贯穿本申请引用以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用，如下：

1.G.Georgiadis,A.Ayvaci,and S.Soatto,“Actionable Saliency Detection:Independent Motion Detection Without Independent Motion Estimation,”inProc.of CVPR,2012。

2.R.Girschick,J.Donahue,T.Darrell,and J.Malik,“Rich featurehierarchies for accurate object detection,”in Proc.of CVPR,2014。

3.C.Guo,Q.Ma,and L.Zhang,“Spatio-temporal Saliency detection usingphase spectrum of quaternion fourier transform,”in Proc.of CVPR,2008。

4.X.Hou and L.Zhang,“Saliency Detection:A Spectral ResidualApproach,”in Proc.of CVPR,2007。

5.X.Hou,and C.Koch,“Image Signature:Highlighting Sparse SalientRegions”,IEEE TPAMI,30(1):194—201,2012。

6.K.Kim,T.Chalidabhongse,D.Harwood,L.Davis,“Real-time foreground–background segmentation using codebook model”,Real-time Imaging,vol 11.,no.3,pp172—185,2005。

7.U.S.Patent Application No.15/272,247,filed on September 21,2016,entitled,“Wide Area Salient Object Detection Architecture for Low PowerHardware Platforms”。

8.B.Schauerte and R.Stiefelhagen,“Quaternion-Based Spectral SaliencyDetection for Eye Fixation Prediction,”in Proc.of ECCV,2012。

9.Stanford Hoover Tower images from the DARPA Neovision2data-set(approved for public release:DISTAR case 21306),found at http://ilab.usc.edu/neo2/dataset/。

10.Y.Yu,J.Lin,and J.Yang,“Bottom-Up Visual Saliency Using BinarySpectrum of Walsh-Hadamard Transform,”in Proc.of ICONIP,2014。

11.A.Krizhevsky,I.Sutskever,and G.E.Hinton,“ImageNet Classificationwith Deep Convolutional Neural Networks,”in Proceedings of Neural InformationProcessing Symposium,2012。

(2)主要方面

本发明的各种实施方式包括三个“主要”方面。第一个主要的方面描述了一种对图像中的显著对象进行检测的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的装置中。第二个主要方面是通常采用软件的形式的方法，其利用数据处理系统(计算机)进行操作。第三个主要方面是计算机程序产品。计算机程序产品通常表示存储在诸如光存储装置(例如，光盘(CD)或数字通用盘(DVD))或的磁存储装置(例如，软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制示例包括：硬盘、只读存储器(ROM)以及闪存型存储器。这些方面将在下面进行更详细描述。

图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。

计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(例如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，例如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。

计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取得的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，例如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。

在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(如键盘)，其可以包括字母数字键和/或功能键。另选的是，输入装置112可以是除字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114是利用诸如鼠标器、轨迹球、轨迹板、光学跟踪装置或触摸屏的装置来实现的。前述尽管如此，但在一方面，例如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入而被引导和/或启用。在另选方面中，光标控制装置114被配置成通过语音命令指引或引导。

在一方面，计算机系统100还可以包括一个或更多个可选的计算机可用数据存储装置，例如与地址/数据总线102联接的存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器，或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。

本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制示例并不严格限于计算机系统。例如，一个方面提供了计算机系统100代表可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面中，使用通过计算机执行的计算机可执行指令(例如程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，例如，在该计算环境中，任务由通过通信网络链接的远程处理装置执行，或者例如，在该计算环境中，各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中。

图2中描绘了具体实施本发明的计算机程序产品(即，存储装置)的例示图。计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，该计算机程序产品通常代表存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个分离的软件模块。“指令”的非限制示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。所述“指令”被存储在任何非暂时性计算机可读介质上，例如存储在计算机的存储器中或者软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。

(3)介绍

本公开提供了一种对从静止或移动的摄像机拍摄的广域场景中的图像中的显著对象进行检测的系统。所述系统是“光谱显著性系统”，该系统将光谱变换应用于输入的图像，以根据图像像素强度的空间频率来获得对显著性有用的特征。所述系统利用带注释的训练图像来学习权重矩阵，该权重矩阵在抑制背景对象的同时放大了关注的前景对象的显著性特征(saliency signature)。

本公开的系统极大地提高了用于对象检测和识别的图像处理流水线的准确度。通过放大前景对象的显著性特征，同时衰减背景对象的特征，该系统能够大大减少了对象检测系统产生的误报的数量。误报的减少又通过减少可能被误分类为关注的前景对象的背景对象的数量，而提高了总对象识别性能。所描述的系统还通过减少对象识别系统必须处理的检测到的对象的数量而减少了对象识别系统使用的计算的量。所描述的系统还适合在具有有限计算力的具有较小的尺寸、权重以及功率(SWaP)的系统上高效实现，因为在常规光谱显著性系统上所需的附加计算仅仅是将权重矩阵逐元素相乘。

所述系统利用了基于学习的对象检测系统和常规光谱显著性系统这两者的优点。这样做时，与基于学习的对象检测系统相似，所述系统结合了来自带注释的训练集中的前景对象和背景对象的知识，但仅比常规光谱显著性系统使用了稍多的计算。因此，本文所述的系统是将学习到的权重矩阵集成到光谱显著性系统中的第一个这样的系统。进一步的细节提供如下。

(4)各个实施方式的具体细节

如上文提到的，本公开提供了一种加权光谱显著性系统。在描述本系统之前，下面提供的是对常规光谱显著性系统的简要描述。具体地，并且如图3所示，常规光谱显著性模块300包括：2D光谱变换302、跟着是幅值去除步骤304、然后是对应的2D逆光谱变换306、平方步骤308以及最后是滤波步骤310。

使用该架构的光谱显著性系统的非限制示例包括Hou的光谱残差(SR)法(参见参考文献No.4)、Hou的相位傅里叶变换(PFT)法和图像标记图(IS)法(参见参考文献No.5)以及Yu的Walsh-Hadamard变换(WHT)法(参见参考文献No.10)。光谱变换302将输入的图像301映射到频域。SR法和PFT法使用快速傅立叶变换(FFT)，而IS法使用离散余弦变换(DCT)，并且Yu的方法使用Walsh-Hadamard变换(WHT)。幅值去除模块304从变换后的图像中去除幅值，因为图像中的显著性信息对于光谱幅值而言通常是不变的，因此幅值信息对于显著性而言是一个有妨害的因素。对于PFT法，通过取得变换后的图像中的每个要素的相位来去除幅值。对于DCT法和WHT法，因为变换后的图像是实值的，所以通过应用将正值映射成+1、将负值映射成-1并且将零值映射成0的逐要素sign(.)运算来去除幅值。对于光谱残差或SR法，通过从光谱本身减去光谱的对数幅值的平均滤波版本来衰减光谱幅值：

D(f)＝exp(h_n*log(|f|)+∠f).

这里，f是输入的图像的FFT，是计算原始图像与该图像的n×n均值滤波版本之间的差异的n×n滤波器卷积内核，并且|f|和∠f是f的幅值和相位。

在去除光谱幅值之后，逆光谱变换306将光谱映射回图像域，从而导致显著对象的非周期性边缘边界得到加强，同时滤除了平滑变化的强度梯度和周期性纹理。然后执行平方运算308，这使得显著图中的所有值均为非负值，并使大的显著值更大，而较小的显著值更小。滤波操作310通过将显著边缘转换成显著区域来使所述图变模糊以生成所得到的显著图312。

可以将该显著图312用于对输入的图像301中的像素的相对显著性进行测量，并且还可以将该显著图312阈值化以将显著像素与背景像素区分开。作为非限制示例，如果像素的显著值大于显著图图像中平均显著值的三倍，则所使用的流行自适应阈值(参见参考文献No.3-5以及8)是声明像素是显著的。然后，现有技术的对象识别系统可以使用显著像素的标识来容易地识别或分类输入的图像301中的对象。这种对象识别系统的非限制示例是卷积神经网络(CNN)(例如，参见参考文献No.11)。常规的显著性系统虽然稍微能操作，但没有结合有关所关注的对象的先验知识，导致对象检测和识别系统的准确度有限且误报率很高。

与常规显著性系统相比，本公开的系统结合了几个添加的特征以显著地改善所得到的显著图。值得注意的是，并且如图5所示，本公开的加权显著性系统500正好在幅值去除操作304之后将权重矩阵W502并入流水线中。

在对输入的图像301执行图像分析之前，加权显著性系统500执行训练过程501，在该训练过程中，利用围绕关注的前景对象(例如汽车、行人以及骑车人)的边界框来标注一组训练图像。使用这些训练图像，加权显著性系统500计算该组前景对象的平均光谱幅值F和背景的平均光谱幅值B。如图4A中所示，对于训练集中的前景对象的每个边界框，本系统通过将前景图像块402放置在全黑图像404的中心来构建前景图像400，该全黑图像404的大小与训练图像集中的图像的大小相同。然后，对于这些前景图像400中的每一个，应用光谱变换(例如，FFT、DCT或WHT)。然后，所述系统计算所有此类光谱前景图像的幅度的平均值。

在各种实施方式中，图像的FFT是复值化的，并因此FFT图像中的每个像素都有幅值和相位。因此，计算FFT图像的幅值可以从每个FFT像素中去除相位，从而使它们实值化且是非负的。在各种实施方式中，对于图像的DCT和WHT这两者，变换后的图像不是复值化的，但可以具有负值。因此，取得经DCT或WHT变换后的图像的幅值等效于取得每个变换后的像素的绝对值。

在实施的示例中，为了构建背景图像，在每个训练图像中，将黑色矩形408(或其它掩蔽特征)放置在每个前景对象406的位置处(参见图4B)。尽管这不是最佳的(因从场景图像到全黑的突然转变而引入了杂散的高频)，但如实施所证明的那样，这是相当有效的。另选地，可以使用一种对背景进行建模的方法，例如Kim等人所描述的从静态场景中去除所有移动的对象的方法(参见参考文献No.6)，或者Georgiadis等人所描述的去除场景中的与主运动不同地移动的所有对象的方法(参见参考文献No.1)。然而，这样的方法不会从图像中去除静止的对象。另外，可以将“平均”统计信息替换成另一统计信息，例如“中值”或“最大值”，以便使前景光谱图像和背景光谱图像对于某种异常值(outlier)是鲁棒的。

给定前景F和背景B这两者的平均光谱幅值，加权显著性系统500构造权重矩阵502，权重矩阵502被用于放大存在于前景中的频率，同时衰减存在于背景中的频率。权重矩阵W502被构造为其中，是矩阵逐元素除法运算。

换句话说，权重矩阵W 502是将前景权重矩阵F除以背景权重矩阵B。前景权重矩阵F是来自训练集的前景区域的平均(或中值)光谱幅值，并且背景权重矩阵B是以上面指定的方式中的一种方式构造的背景图像的平均(或中值)光谱幅值。

如上文提到的，然后正好在幅值去除操作304之后将权重矩阵W502并入流水线中。因此，将原始输入图像301的光谱幅值(该光谱幅值被Hou等人(参见参考文献No.5)示出与显著性无关)替换成可以加强前景对象中更加丰富的频率并衰减背景中更多呈现的频率的权重。通过将光谱图像中的每个像素除以该像素的幅值来实现去除处理304。带有X的圆(如图5所示)是指逐元素相乘的运算，因为光谱图像中的每个像素都与该像素的频率权重相乘。光谱显著性流水线的其余部分保持不变。

换句话说，代替简单地去除光谱幅值，系统500将光谱幅值替换成来自权重矩阵W502的权重，然后执行将光谱映射回图像域的逆光谱变换306，从而导致显著对象的非周期性边缘边界得到加强，同时滤除了平滑变化的强度梯度和周期性纹理。逆光谱变换利用所述权重将频域变换成图像域中的显著图。这样的显著图具有像素，所述像素具有像素值。

用于执行逆光谱变换306的特定技术可以改变。更具体地，逆光谱变换306取决于在2D光谱变换302期间使用了哪个光谱变换。例如，如果使用类似于Hou等人(参见参考文献No.4)的傅里叶变换，那么逆光谱变换306将是傅里叶逆变换。类似地，如果代替地选择使用类似于Hou等人(参见参考文献No.5)的离散余弦变换，则逆光谱变换将是逆余弦变换。

然后，通过对像素的值求平方来执行平方运算308以生成像素值改变的显著图。在进行平方运算之后，显著图中的所有值变为非负的，同时使相对大的显著值更大，而使相对小的显著值更小。相对的显著值是平方运算的特性。通常，平方运算会使小于1的值更小，而大于1的值更大。然而，即使在所有值都大于1或小于1的情况下，在应用了平方运算之后，较大值的相对大小变得更大，而较小值的相对大小变得更小。

然后，执行滤波操作310以生成所得到的或最终的显著图512。可以采用任何合适的滤波技术来进一步增强显著区域。例如，所述系统继续进行以通过将显著边缘转换成显著区域来使所述图变模糊，以生成最终的显著图512，该最终的显著图可以被任何合适的对象检测器系统用于进一步处理和/或对象识别。

(4.1)实施

为了证明所公开的加权显著性系统的优势，针对广域对象检测的任务，将所公开系统的性能与常规光谱显著性系统的性能进行比较。使用了如Rao所述的广域对象检测架构(参见参考文献No.7)，并且使用来自Stanford Tower固定摄像机视频序列数据集的序列对对象检测性能进行了评估(参见参考文献No.9)。将来自Stanford Tower训练集的900个图像帧的代表性序列用于学习(本公开的)加权显著性系统所需的权重矩阵。使用来自Stanford Tower测试集的900个图像帧的示例测试序列，来对常规的未加权的光谱显著性系统的对象检测性能与本公开的加权显著性系统进行比较。图6A和图6B示出了所述结果，其中图6A描绘了来自常规光谱显著性系统的结果，并且其中图6B提供了来自加权显著性系统的结果。本公开的系统检测到更多的关注对象，同时将误检测的数量减少了超过两倍。

还与常规光谱显著性系统定性地比较了本系统的性能。图7A描绘了来自StanfordTower数据集的示例测试图像帧。将常规光谱显著性系统和加权显著性系统两者都应用于该图像帧，并且在图7B中描绘了性能结果的差异。只有常规光谱显著性系统将红色像素702检测为显著的，只有加权显著性系统将绿色像素704检测为显著的，两个系统都将白色像素706检测为显著的，而两个系统都未将黑色像素708检测为显著的。如图所示，尽管与常规系统相比，本系统(即，加权显著性系统)检测到的显著对象像素稍多，但本系统还忽略了常规系统错误地分类为显著的大多数背景像素。因此，很明显，根据本公开的加权显著性系统极大地增加了对图像内的对象的显著性进行检测的准确度。

(4.5)装置的控制。

如图8所示，可以使用处理器104基于所述显著图来控制装置800(例如，移动装置显示器、虚拟现实显示器、增强现实显示器、计算机监视器、电动机、机器、无人机、摄像机、蜂窝电话、中央监测系统、传输系统等)。在一些实施方式中，装置800可以接收警报和/或推文(包括显著图、对象检测、时间以及图像或视频)或者向用户的蜂窝电话或中央监测站/设施发送所述警报和/或推文。例如，在一些其它实施例中，本文所述的系统适用于具有严格受限的尺寸、重量以及功率(SWAP)的无人自主驾驶车辆和平台。在传感器附近的硬件上执行与任务相关的目标和障碍物的快速检测既提高了任务响应速度又减少了必须在受限通信带宽上传输的原始传感器数据的量。本文所述的系统还适用于主动安全和自主驾驶应用。通过在摄像机附近的低功率、低成本硬件中执行对象检测，汽车可以更快且更鲁棒地检测道路上的障碍物，并因此可以在自主驾驶车辆应用中向驾驶员提供更及时的警告或提供对障碍物的迅速的自动化响应。

例如，可以控制装置800以使该装置基于所述显著图来移动或以其它方式发起物理动作。作为非限制示例，基于所述显著图，可以使自主驾驶车辆发起驾驶操纵。例如，如果所述显著图可以指示某对象(例如行人、车辆等)处于行驶中的自主驾驶车辆的路径中，则所述系统可以使该自主驾驶车辆制动或转向或者以其它方式执行机动以避免与所述对象的碰撞。

在一些实施方式中，可以控制无人机或其它自主驾驶车辆移动至基于所述显著图中的影像将对象确定成为的区域。在又一些其它实施方式中，可以控制摄像机朝着所述显著图中的对象的位置取向(例如，为中心)。换句话说，启用致动器或电动机以使摄像机(或传感器)针对对象所在的位置移动或放大(或者为中心)。在其它实施方式中，可以将处理器104可以用于在显示装置上渲染并显示所述显著图。

在一些实施方式中，可以将最终的显著图用于确定候选对象位置，然后将所述候选对象位置馈送至对象识别后端，该对象识别后端对检测到的对象进行识别或分类，并在显示装置上显示标识，或者以其它方式使装置基于所述对象的分类进行移动或操作。例如，对象识别系统(例如CNN)可以接收最终的显著图，并基于所述图中的显著像素和预先训练的数据库或库，所述对象识别系统可以对所述对象进行分类。在自主驾驶车辆环境中，可以使自主驾驶车辆基于对所述对象的分类和恰当的车辆操纵来进行操作。作为非限制示例，如果将所述对象分类为停车标志，则可以使所述车辆在最接近该停车标志的恰当位置处停车。

在一些实施方式中，所述系统或方法生成显著图图像，其中每个显著图像素的强度与该像素是显著对象的一部分的可能性成比例。如在美国专利申请No.15/272,247(参见参考文献No.7)中，通过执行自适应阈值，可以将显著图转换成“检测到的显著对象像素”的“检测图”。例如，具有强度I(x)的像素x在I(x)>3*mu的情况下是检测到的显著对象像素，其中，mu是所述显著图中的所有像素的平均强度。然后，一些实施方式的系统或方法可以将所有在空间上连续的检测到的显著对象像素分组在一起，并且对于每个组，获取包含该组内的所有像素的最小边界框。这些边界框指定所述图像中的候选对象的位置。可以将来自这些边界框位置的图像块发送至图像识别模块(参见参考文献No.12)，该图像识别模块将所述图像块分类成一组已知对象类(例如“人(Person)”、“骑车人(Cyclist)”、“汽车(Car)”、“卡车(Truck)”或“公共汽车(Bus)”)中的一个类。

在示例实施方式中，可以将自主驾驶平台设计成维持对某个类(例如，人(Person))的对象的广域认识，并且忽略所述场景中的其它对象。使用本公开的系统和方法的一些实施方式，自主驾驶平台可以获取图像中与人(Person)相对应的每个边界框的中心，取这些中心的平均值，然后移动(例如，旋转和/或平移)，使得该平均值成为视野的新中心。

最后，虽然已经根据几个实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，可以有许多实施方式和实现。而且，所附的权利要求绝不是旨在将本发明的范围限制成上述具体实施方式。另外，“用于…的装置(means)”的任何陈述都旨在唤起对部件和权利要求的装置加功能的解读，而不具体使用陈述“用于…的装置(means)”的任何部件不是旨在被解读为装置加功能部件，即使权利要求以其它方式包括了“装置(means)”一词。而且，虽然已经按特定次序陈述了特定的方法步骤，但这些方法步骤可以按任何期望的次序发生并且落入本发明的范围内。

Claims (24)

1.一种检测图像中的显著对象的系统，所述系统包括：

一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：

将输入的图像映射到具有光谱幅值的频域中；

将所述光谱幅值替换成来自权重矩阵W的权重；

利用所述权重将所述频域变换成图像域中的显著图，所述显著图具有像素，所述像素具有像素值；

通过对所述像素值求平方来对所述显著图执行平方运算以生成像素值改变的显著图；以及

通过对所述像素值改变的显著图进行滤波来生成最终显著图。

2.根据权利要求1所述的系统，所述系统还包括基于所述显著图对装置进行控制的操作。

3.根据权利要求1所述的系统，所述系统还包括以下操作：

将所述最终显著图内的区域指定为对象；以及

使自主驾驶车辆执行机动以避免与所述对象碰撞。

4.根据权利要求1所述的系统，其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

5.根据权利要求1所述的系统，所述系统还包括以下操作：

对所述最终显著图内的对象进行分类；以及

在显示装置上显示所述分类。

6.根据权利要求1所述的系统，所述系统还包括按照使得所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W的操作，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值。

7.根据权利要求1所述的系统，所述系统还包括以下操作：

按照使得所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值；

将所述最终显著图内的区域指定为对象；

对所述最终显著图内的对象进行分类；

在显示装置上显示所述分类；

使自主驾驶车辆执行机动以避免与所述对象碰撞，并且

其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

8.根据权利要求1所述的系统，所述系统还包括将所述最终显著图发送至蜂窝电话或中央监测设施的操作。

9.一种检测图像中的显著对象的计算机程序产品，所述计算机程序产品包括：

编码有可执行指令的非暂时性计算机可读介质，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：

将输入的图像映射到具有光谱幅值的频域中；

将所述光谱幅值替换成来自权重矩阵W的权重；

利用所述权重将所述频域变换成图像域中的显著图，所述显著图具有像素，所述像素具有像素值；

通过对所述像素值求平方来对所述显著图执行平方运算以生成像素值改变的显著图；以及

通过对所述像素值改变的显著图进行滤波来生成最终显著图。

10.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括基于所述显著图对装置进行控制的操作。

11.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括以下操作：

将所述最终显著图内的区域指定为对象；以及

使自主驾驶车辆执行机动以避免与所述对象碰撞。

12.根据权利要求9所述的计算机程序产品，其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

13.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括以下操作：

对所述最终显著图内的对象进行分类；以及

在显示装置上显示所述分类。

14.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括按照使所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W的操作，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值。

15.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括以下操作：

按照使所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值；

将所述最终显著图内的区域指定为对象；

对所述最终显著图内的对象进行分类；

在显示装置上显示所述分类；

使自主驾驶车辆执行机动以避免与所述对象碰撞，并且

其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

16.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括将所述最终显著图发送至蜂窝电话或中央监测设施的操作。

17.一种检测图像中的显著对象的方法，所述方法包括以下动作：

将输入的图像映射到具有光谱幅值的频域中；

将所述光谱幅值替换成来自权重矩阵W的权重；

利用所述权重将所述频域变换成图像域中的显著图，所述显著图具有像素，所述像素具有像素值；

通过对所述像素值求平方来对所述显著图执行平方运算以生成像素值改变的显著图；以及

通过对所述像素值改变的显著图进行滤波来生成最终显著图。

18.根据权利要求17所述的方法，所述方法还包括基于所述显著图对装置进行控制的操作。

19.根据权利要求17所述的方法，所述方法还包括以下操作：

将所述最终显著图内的区域指定为对象；以及

使自主驾驶车辆执行机动以避免与所述对象碰撞。

20.根据权利要求17所述的方法，其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

21.根据权利要求17所述的方法，所述方法还包括以下操作：

对所述最终显著图内的对象进行分类；以及

在显示装置上显示所述分类。

22.根据权利要求17所述的方法，所述方法还包括按照使所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W的操作，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值。

23.根据权利要求17所述的方法，所述方法还包括以下操作：

按照使所述权重矩阵W是前景权重矩阵F除以背景权重矩阵B的方式生成权重矩阵W，其中，所述前景权重矩阵F是来自训练集的前景区域的平均光谱幅值，并且其中，所述背景权重矩阵B是背景图像的平均光谱幅值；

将所述最终显著图内的区域指定为对象；

对所述最终显著图内的对象进行分类；

在显示装置上显示所述分类；

使自主驾驶车辆执行机动以避免与所述对象碰撞，并且

其中，在对所述像素值改变的显著图进行滤波的操作中，使所述像素值改变的显著图内的显著边缘模糊成显著区域。

24.根据权利要求17所述的方法，所述方法还包括将所述最终显著图发送至蜂窝电话或中央监测设施的操作。