CN103278815A - 用于对隐藏物体成像的成像装置和方法 - Google Patents

用于对隐藏物体成像的成像装置和方法 Download PDF

Info

Publication number
CN103278815A
CN103278815A CN2013100113594A CN201310011359A CN103278815A CN 103278815 A CN103278815 A CN 103278815A CN 2013100113594 A CN2013100113594 A CN 2013100113594A CN 201310011359 A CN201310011359 A CN 201310011359A CN 103278815 A CN103278815 A CN 103278815A
Authority
CN
China
Prior art keywords
value
pixel
label
point
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100113594A
Other languages
English (en)
Inventor
米歇尔·萨尔基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN103278815A publication Critical patent/CN103278815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了用于对隐藏物体成像的成像装置和方法。涉及一种成像装置以及方法，其能够重构显示一个或多个隐藏的非直接可视的物体的场景的图像。所述重构任务作为能量最小化问题进行处理。制定包括两部分的成本函数，其中，第一部分考虑要重构的图像的相邻像素之间的相互作用，并且第二部分基于在感兴趣范围内的每个点所测量的功率。聚类和/或分割算法等某些技术优选地与机器学习相结合，用于将朝着所需要的重要点进行优化作为目标，例如，以便显示目标内隐藏的物体。本发明进一步提供使用置信传播和图切割等各种优化算法解决成本函数的解决方法。从有源和/或无源毫米波和次毫米波雷达数据中，可获得用于成像的测量样本。

Description

用于对隐藏物体成像的成像装置和方法
技术领域
本发明涉及一种扫描场景并且重构该场景的图像的成像装置和方法，其中，该图像显示一个或多个隐藏的非直接可视的物体。本发明进一步涉及一种处理装置和方法，尤其用于所述成像装置和方法，以及涉及一种计算机程序和计算机可读介质。
背景技术
构建有源雷达图像是一项复杂的工作。从毫米波和次毫米波雷达数据中获得的图像易受噪音影响，并且可能在多个距离单元（range bin，距离筐）或深度层内包含重要的信息。例如，在安全应用中，需要针对隐藏物体对人员进行检查。因此，在这种情况下，相关的点或体素是在衣服下面包含的物体。例如，从使用有源毫米波雷达传感器获得的某些物体的光学图像和相应的高度轮廓中，在范围轮廓内，可注意到在许多情况下，该图像不会显示隐藏的物体。这是因为某些材料和/或物体相对于用于构建该图像的频率并不完全透明，和/或在该传感器所使用的频率具有比其他材料和/或物体更高的反射率。即使在使用如US7,773,205B2中所建议的简单剥层的方法的情况下，由于可能具有必须做出决定的多个重要层，所以该结果并不令人满意。
发明内容
本发明的一个目的在于提供一种成像装置和方法，其基于能量最小化来克服这种缺点并且能够对隐藏的非直接可视的物体成像。本发明的另一个目的在于提供一种相应的处理器和处理方法，以及用于实现所述处理方法的相应计算机程序和计算机可读永久性介质。
根据本发明的一个方面，提供了一种成像装置，用于扫描场景并且重构所述场景的图像，其中，该图像显示一个或多个隐藏的非直接可视的物体，所述装置包括：
i）测量单元，被配置为在预定光谱范围内检测来自所述场景的多个位置的电磁信号，以便获得设置在不同位置以及不同深度等级的多个点处的测量值的三维数据集，以及
ii）处理装置，被配置为确定要重构的一个或多个图像的像素的像素值，所述处理装置包括：
-聚类单元，被配置为将所述数据集分割成一个或多个数据子集，每个数据子集包括一个或多个相邻点的两个以上测量值，
-成本计算单元，被配置为通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值，确定每个像素的、在与所述像素的位置对应的位置获取的测量值的成本，
-优化单元，被配置为从一组标签值中确定标签值，从而确定针对像素的像素值，标签表示设置在与所述像素的位置对应的位置的点中的一个点，并且在所确定的标签所表示的点处选择测量值，作为所述像素值，其中，通过使用能量函数确定针对数据集的不同点的能量值的极值，从而确定所述标签值，所述能量函数形成加上第一被加数和第二被加数的总和，第一被加数包括确定能量值的在与所述像素的位置对应的位置的点的成本，第二被加数考虑所述数据集内一个相邻的位置和/或一个相邻的深度值处的至少一个相邻点的成本。
根据本发明的另一个方面，提供了一种相应的处理装置，尤其用于根据本发明的成像装置，所述成像装置用于扫描场景并且重构所述场景的、显示一个或多个隐藏的非直接可视的物体的图像，所述处理装置用于确定要重构的一个或多个图像的像素的像素值。
根据本发明的又一方面，提供了一种计算机程序，包括程序装置，在计算机上执行所述计算机程序时，使计算机执行根据本发明的方法的步骤，也提供了一种计算机可读永久性介质，其上存储指令，在计算机上执行所述指令时使计算机执行根据本发明的方法的步骤。
在从属权利要求中限定了本发明的优选实施方式。应理解的是，所要求保护的处理器和所要求保护的方法、所要求保护的计算机程序以及所要求保护的计算机可读介质与所要求保护的成像装置具有相似和/或相同的优选实施方式，并且限定在从属权利要求中。
本发明基于该想法来提供被设计用于雷达图像的一种成像装置和方法（尤其是提供一种图像重构方案），在雷达图像中，可测量位于不同位置（二维）以及不同深度等级的信息。因此，获得测量值的三维数据集，包括针对三维空间的每个点（也称为体素）的测量值。在本文中，点与所述三维空间内的位置对应，测量平面的两个轴（与要重构的图像的两个轴对应）以及表示深度等级的第三轴跨越所述三维空间。因此，本发明可用于有源和无源成像装置和方法，尤其用于使用FMCW或脉冲等概念的具有距离信息的有源雷达成像中，或者用于可在空间内聚焦在不同点上的有源雷达系统。而且，本发明也可用于所选的辐射度成像装置和方法，其可聚焦在空间内不同的点。
重构任务被表述为能量最小化问题。表述包括两部分的成本函数。第一部分考虑要重构的图像的相邻像素间的相互作用。第二部分基于所测量的数据的参数，尤其基于在感兴趣范围内的每个点处所测量的功率。使用聚类和/或分割算法等一些技术（优选地与机器学习算法相结合），可获得成本函数的该第二部分。该步骤需要将朝着所需要的重要点进行优化作为目标，例如，以便揭示目标内隐藏的物体。而且，使用置信传播和图切割等各种优化算法求解该成本函数。
换言之，本发明进一步强调图像重构方案的设计，作为优化问题。因此，从测量的数据（例如，雷达数据）中，获得重构图像所需要的成本函数以及相应的最小化算法。用于根据本发明进行成像的优选的频率范围从1GHz或几GHz扩展到几THz，即，该范围的任何频率或频率范围可用于获得所测量的数据。本发明的应用领域例如在安全情况以及无损检验或进程控制中。
附图说明
下面通过参考下文中所描述的实施方式，来详细描述本发明的这些和其他方面并使其变得显而易见。在以下附图中：
图1A至图1C示出了示范性场景的光学图像和通过常规方法以及根据本发明的方法所获得的相应的高度轮廓；
图2示出了根据本发明的成像装置的一个实施方式的方框图；
图3示出了所获得的所有点处的测量值的数据集的空间图像的示图；
图4示出了所测量的点和成本计算的示例示图；
图5示出了根据本发明的成本计算单元的一个实施例的方框图；
图6示出了根据本发明的像素之间的相互作用的各种实施方式；
图7示出了根据本发明的优化单元的一个实施方式的方框图；
图8示出了根据本发明的优化单元的一个实施方式的方框图；以及
图9A至图9C示出了说明本发明的结果的图像。
具体实施方式
图1A示出了场景的光学图像10，图1B示出了通过处理已知的毫米波有源雷达（尤其是调频连续波（FMCW）有源雷达）的数据所获得的、图1A中所示场景10的高度轮廓12。光学图像10示出了某些物体20至29。图1B示出了通过常规方法所获得的、物体的高度轮廓30到39的相应高度轮廓图像11。图1C示出了根据本发明的方法所获得的物体的高度轮廓40到49的相应高度轮廓图像12。可注意到，在图1B中所示的高度轮廓11中，图像10包含一些噪音。此外，观察CD22和录像磁带21，可注意到，高度轮廓32与CD22或录像磁带21不对应，而是与其盒的盖体对应。这是因为CD22和录像磁带21的盖体对于用于构建该图像的频率并不完全透明。而且，这些盖体的材料在这种有源雷达传感器所使用的频率处具有比CD22或录像磁带21更高的反射率。
图2示出了根据本发明的成像装置100的第一实施方式。测量单元110捕获从场景60发射的电磁信号50，尤其是该场景中存在一个或多个物体。测量单元110可以是有源测量单元，例如，是将信号51发射至该场景并且检测来自该场景的响应于照明辐射51的所有反射的有源雷达。可替换地，测量单元110可以是无源辐射计，其检测从该场景中发射的辐射50并且优选地可将测量光束聚焦在该场景60中的各个点（位置和深度）。该场景60的测量，即，所获得的测量值，作为三维数据集70储存在例如存储单元或存储器内，例如，存储在计算机的硬盘或半导体存储器内。
然后，在预处理单元120中，预处理测量值，从而获得空间内的某个点（或体素）处的、可按照该场景的物体的反射率表示的功率或测量，例如，在有源雷达成像系统中使用快速傅里叶变换（FET）等方法。在其他实施方式中，也可预处理测量值，以便在某些无源雷达成像系统中获得所测量的点的温度。对于如何根据所使用的传感器进行处理，存在着一些已知方法。无论情况如何，数据集70所储存的测量值71都会具有3D矩阵形式，其如图3所示填充包括所有所测量的点201的三维空间200，例如，该空间表示两个点201（表示3D空间200的体素）和所述点201处所获得的测量值71（由小圆点表示并且作为测量值的整个数据集70的一部分）。
优选地（但非强制地），在预处理单元120中将测量值71标准化。标准化是指数据优选地由平均值来中心化然后由z方向（在FMCW雷达的情况下为深度尺寸）上的标准偏差来正规化。标准化并非本发明的强制要求，而是稳定数值计算的优选预处理步骤。
而且，在预处理单元120的实施方式中，优选地，在标准化之后，使用对数变换来转换测量值71。对数变换取决于数据的类型。在有源雷达实FMCW拍频的情况下，其可为实对数。在辐射度系统的情况下，其也为温度数据的实对数。如果使用复数拍频的某些情况下，对数变换也可为复数。无论情况如何，在预处理单元120中，可完全或部分地执行所有的处理。
在此之后，像素的点形成如图3所示的所谓的空间图像（SI）200，其表示在这些点处所获得的测量值的三维数据集70。SI200中的点由201表示。本发明的一个观点涉及在所测量的点内找出一个或多个相关的分段平滑曲线，因此在整个SI200内找出。每个曲线也应揭示在像素处的目标或隐藏的点（如果有的话）。假设应构建的场景为分段平滑表面。由于除了几何边缘以外，从任何现实物体发射（无源）或反射（有源）的辐射都具有平滑的变化，所以该假设是合理的；因此，每个部分（表面）是光滑的，并且这就是由分段平滑表面表示该部分的原因。
简而言之，本发明涉及测量单元110中在点处的测量，以便获得数据集70的测量值。然后，优选地，将测量值标准化，并且在预处理单元120中使用对数变换进行转换。在聚类单元130中，聚类或分割所测量的点，进而据此在成本计算单元140中计算成本。随后，将成本传送给优化单元150。在优化单元150中进行优化的结果为具有所揭示的目标层（如果有的话）的至少一个图像80。下面会更详细地解释所提出的本发明的几个方面和各种元素。
所提出的本发明考虑到在成本计算单元140计算成本（cost，价值、代价）之前，对像素的点进行聚类。根据本发明，在成本计算单元140计算成本之前，借助于聚类单元（CU）130来进行。例如，这些成本为描述这些点与分段平滑相距多远的度量，并且也通过强调目标层的方式，计算这些成本。下面对此进行解释。
计算这些成本之前，聚类单元130为每个像素点分配区域，该区域包含该像素的相邻点以及相邻像素的相邻点。因此，实际上，与将测量值的三维（整个）数据集70分割成测量值的数据子集75、76（某些数据子集在图3中由圆点表示）对应，每个数据子集在SI200中由区域（或群集、或段）210、220表示，其分别具有多个点205及206。为此，可使用图像处理中广为人知并且使用的公知分割算法。在这些区域210、220的每个中，在SI200中进行成本评估。
在本发明的一个实施方式中，CU130可仅仅单独地聚类每个像素的点。在另一个实施方式中，CU130对SI200中像素的点及其相邻像素的点进行聚类。在这种情况下，每个点周围的区域在3D空间中可具有长方体形状（如图3中所示的区域210、220），其包含像素本身的部分点和相邻像素的相应部分。长方体的尺寸在所有点上可相同，或者可根据所考虑的点的位置而变化，如图3中所示的区域210、220。然而，在一个优选实施方式中，CU130包括某些算法，其计算每个点周围的最佳近邻。可用于根据本发明的这种目的的示例算法为可变窗口、分段支持、K-均值、奇异值分解（SVD）或可分割或聚类SI200中的点的任何相似技术。在这种情况下，每个点周围的区域可与长方体不同。在F.Tombari、S.Mattoccia、以及L.Di Stefano的“Classification and evaluation of cost aggregationmethods for stereo correspondence”，IEEE Conference on Computer Visionand Pattern Recognition，2008年6月，第1-8页中，总结了可用于确定SI200内的点的近邻的某些方案。
本发明的一个要素为构成雷达图像的优化单元150。优化的目的在于找出所计算的成本的极值（下面由C(·)表示），其对应于最佳的雷达图像，同时保留表面（平滑）特性并且同时强调目标层（如果有的话）。该图像也强调每个像素处所隐藏的目标层（如果有的话）。
可将雷达图像视为一个表面，其中，每个像素具有来自所有可能的标签值中的单个相关的值。优化的目标在于，在最佳地描述雷达所捕获的场景的图像内，估算每个像素处的至少一个最佳点数（或标签L），其中，x为像素的行数，y为其列数。重要的是，在本文中要注意，x和y的长度从1开始，直到用户所规定的最大的尺寸X和Y。因此，要重构的图像在某些情况下可仅仅包括一行，即，X×1或1×Y。无论图像的尺寸多大，标签L都表示SI200内所有测量的N个点中一个像素的点数。如果标签为所计算的成本中的极值，那么将该标签限定为根据本发明的最佳标签。这就表示，所选择的标签会满足雷达图像的特性，并且会强调隐藏的点（如果有的话）。根据本发明，数学上，满足该点的等式为
E ( Δ ) = Σ x , y C ( x , y , L ) + λ Σ x , y Σ x i , y i ψ ( L , L i ) , - - - ( 1 )
其中，Δ为所有可能的解法中的等式（6）的一个可能的解法图像（见下文），E(Δ)为与可能的解法Δ对应的能量函数，C(x,y，L)为标签的成本，ψ(L,Li)为描述一个像素处的标签L和其一个近邻的标签Li之间的关系或相互作用的函数，并且λ为调整E(Δ)内的项的加权因子。
等式（1）左边的项描述了SI200中的点201的成本，而等式（1）右边的项描述了SI中相邻像素内的相互作用。等式（1）左边的项为在每个点处所接收的功率或者例如有源雷达图像内的反射率的函数。在辐射测量中，也可表示温度。左边的项也有助于揭示或强调隐藏的点（如果有的话）。右边的项是在构造图像时应当加强根据本发明的雷达表面的特性的项，λ为相对于点与其近邻的相互作用来衡量该点的成本的项。
应注意的是，以上等式（1）表示利用本发明的优选实施方式，但是该等式存在着多种变化并且技术人员可轻易地获得这些变化。例如，能够将λ置于等式（1）左边的项的前面，或通过在该等式中加入额外的项来优化等式（1）。而且，根据本发明，通常选择λ作为正实数。
下面讨论定义像素的标签L的成本的成本计算、描述图像内每个像素与其近邻之间的相互作用的函数ψ(L,Li)、以及可用于重构雷达图像的优化算法。
本发明的主要目标在于，找出用于要重构的图像内每个像素的至少一个标签L，其中，L<N，从而L反映SI内所测量的点的位置或数量，并且N为所测量的点的总数。在SI内每个像素所测量的点中，通常获得反射功率对点的分布，其可表示为有源雷达中的反射率、根据焦平面阵列的无源雷达的温度或者可能其标准化的版本。无论情况如何，主要的问题在于，每个像素的极值可能未指明该物体的一个或多个隐藏的点，而是仅仅指明相对于其相邻像素的最高或最低反射率。然而，在安全情况中，主要关心的是，显现人或包内隐藏的物体，而不仅是（例如）针对有源雷达的高度轮廓。因此，需要根据所测量的数据找出某些成本，即，每个点处所测量的实体，其允许显现隐藏的点，同时保留雷达图像的特性，即，分段平滑性。换言之，本发明的一个要素在于通过这种方式处理所测量的数据，从而增大将物体内隐藏的点（如果有的话）作为目标的机会。如上所述，将I(x,y,L)用作在点处所测量的功率或正规化的版本，本发明的一个目标在于找出根据等式（1）的函数f,从而
C(x,y,L)=f(I(x,y,L))  (2)
函数f()应通过修改所测量的数据或其相应的正规化值，强调隐藏的点。为了便于理解这一方面，图4显示了示范性示图，尤其显示了一个像素的几个点处功率分布的图。可见，在这种情况下，功率I(x,y,L)在点2和3处具有其极值，这些点也是该像素的顶部可见点。然而，在点5到6和点N-1中也具有某些响应。在通常的安全场景下，兴趣点可能为点5到7或点N-1中的任一个，这些点并不是点2和3，通常不直接可见。因此，通过进行稍后说明的常规优化，在有源雷达的情况下，计算高度轮廓时，在该像素处的解最可能落在点2和3之间。然而，根据本发明，函数f(.)通过以下方式衡量或修改I(x,y,L)，以便优化对于通常不直接可见（即，通过人眼和/或光学照相机不可见）的一个底部点的选择。在图4中所示的实例中，函数f(.)通过使优化算法支持点5到7的方式来修改I(x,y,L)。
图5中显示了成本计算单元140的示意性方框图，现在进行解释。CU130确定每个像素的每个点所属的集群或分段，或者换言之，将测量值的整个数据集分割成测量值的数据子集。优选地，对SI200内的所有点201这样做。因此，可能根据CU130进行聚类的结果，将每个像素的点细分为两组以上。每组可能表示一个可能的物体或物体的一部分。因此，针对每个像素所获得的组的数量表示可能的物体数量或在SI中的像素的不同点内在彼此后面可获得的部分物体的数量。
通过查看图4中所示的针对单个像素的实例，应假设这种聚类产生三组301、302、303（也称为集群或分段），即，包括点2和3的第一组301，包括点5、6、和7的第二组302，以及包括点N-1的第三组303。在该具体实例中，假设点内所有其他的值为空，因此在计算时可忽略这些值。因此，目标或隐藏的体素或点在第二组302或第三组303内可获得。这是因为第一组301包括无需修改所测量的功率就可观察到的物体。换言之，最可能通过直接（并且常规地）优化等式（1）并且将I(x,y,L)用作成本，选择第一组301的一个点。为了修改I(x,y,L)并且因此使其在图4中所示的实例中强调第二或第三组302、303的点，在成本调节单元142内必须找出合适的函数f(·)，成本调节单元如图5所示调节成本，图5更详细地描述了成本计算单元140的实施方式。
因此，通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值，成本计算单元确定用于每个像素的、对于与所述像素的位置对应的位置获取的测量值的成本。
然而，这样做之前，在一个优选的实施方式中，找出组302和/或组303是否单独和/或均显示显著物体或物体的一部分。在成本计算单元140的聚类分析单元141中进行这种分析。这种单元所进行的分析评估这些组的重要性或相关性。在这种意义上来说，聚类分析单元141对不同的组进行分析，以便检查所找出的组是真正由于一个物体还是可能因为测量中的某些噪音或不规则性。这种分析考虑了该组的尺寸、该组相对于所有点处的总功率的累积功率、该组的形状等等。据此，能够决定是否存在通过直接分析I(x,y，L)所找出的组以外的一个或多个相关的组。通常，经由例如直方图分析、支持向量机（SVM）、主成分分析（PCA）、神经网络（NN）等等的机器学习算法，可进行这种分析。例如，在S.B.Kotsiantis，“Supervised Machine Learning:A Review Classification”，Infomatica、2007年第31卷第249-268页，描述了这种算法。本领域中众所周知这种算法并且这种算法可整合在成本计算单元140内。
根据机器学习算法的结果，然后，可由成本调节单元142计算调节函数f(-)，以便修改成本。如果发现一个组具有相关性，那么与图4中所示的实例中一样，在优化之前，仅仅需要调节一次。如果发现多于一个的组较为重要，那么如图2中的重复单元160（后文中也称为决策单元）所示，应当针对每个不同的调节函数f(-)顺序地重复该优化。在这种情况下，应根据所更新的成本来更新所产生的第一图像80，以便显示不同组中的其他隐藏的或相关的点或体素。成本计算单元140优选地将信息传送给具有更多层的重复单元160。
无论情况如何，优选地，针对每个所发现的相关组来计算调节函数。在一个简单且优选的实施方式中，调节相关组的成本的函数f(-)顺序地将隐藏的点乘以标量因子ρ，从而该组中的一个相应的点显示例如图4中所示的极值。这样，均等地调节属于相关集群的所有点。在另一个实施方式中，调节单元142可适应性地修改相关组内不同点的成本。在这种情况下，通过US2011/0181461A1中所述的相似分析，可调节成本，该分析可单独用于每个集群210、220，而不用于整个SI200。一个实例是，在每个集群内应用多二次b-样条函数算法等自适应平滑，R.K.Beatson以及N.Dyn在“Multiquadric b-splines”、Journal of Approximation Theory、第1-24页、1996年10月中进行了描述。
等式（1）右边的项表示相邻像素之间的相互作用。这表示该项的作用主要在于，在重构的图像上加强雷达表面的特性。因此，需要根据在要重构的图像上加强的特性，选择项ψ(L,Li)。通常，除了在具有某些跳跃的边缘时，该项应允许所重构的图像平滑地变化。项ψ(L,Li)应与每个像素的标签和其近邻的标签之间的差值成比例。根据本发明在数学上进行表示的一种方法在于，将ψ写成以下形式
ψ(L,Li)=φ(|L-Li|l)  (3)
等式（3）中所显示的项ψ(L,Li)的形式为表示根据本发明的相邻像素之间的相互作用的通用方法。在一个实施方式中，能够采用Potts能量模型，如果|L-Li|l低于或高于某个阈值Q，那么该能量模型为标签之间的差值分配两个值。另一个替换的实施方式在于，使用变化的线性模型。该线性模型根据两个阈值Q1和Q2，分配值|L-Li|l，其中Q1≤Q2。换言之，如果其值小于Q1，那么|L-Li|l分配线性增大的成本值，如果其值在Q1和Q2之间，那么|L-Li|l造成成本值J2不同的增大。在另一个实施方式中，可使用截断距离模型，其表示恒定之后，|L-Li|l线性增大，直到某个值。图6中显示这三种情况的实例。在C.Leung的“Efficient methods for3Dreconstruction from multiple images”、第4章、第80-134页、博士论文、昆士兰大学、2006年2月中，可找出有关这些变化的更多细节。
在本发明的一个优选实施方式中，项ψ(L,Li)可定义为截断线性模型，同时对于等式（3）如下
ψ(L,Li)=min(|L-Li|,τ)  (4a)
这样，标签差值遵循线性模型。恒定之后，其增大为阈值τ。另一个优选的实施方式为Potts模型，并且可将其写成以下形式
ψ(L,Li)=(|L-Li|>0)  (4b)
在本文中，像素之间的标签差值视为分段常数函数。不连续性函数在等式（3）内使用哪些值（即，在等式（1）&（4a）中使用λ和τ，或者在等式（1）&（4b）中使用λ，或者所使用的不连续性成本模型所导出的任何参数）要取决于优化算法。但是通常，这些项为正实数。与能量的极值（即，其中E(Δ)为全局极值）相关的解法或配置Δ为根据本发明重构的雷达图像。但是应注意的是，全局极值取决于优化算法、上述定义的成本以及本文中所定义的相邻像素之间的相互作用。此外，如上所述，如果能够使用一个以上可能的解法，那么在每次成本修改之后，极值可不同。
根据本发明的优选实施方式所使用的优化算法的目标在于，找出与雷达图像对应的等式（1）的全局最优值。因此，应确定最佳标签L，其针对来自SI的每个像素与SI内所测量的点之一对应，使得0<L≤N，并且N为满足等式（1）的点/像素的数量。在其最简单的形式中，仅仅通过在相对于每个像素的成本计算之后找出极值，就可进行优化。然而，本发明的优选实施方式在于，执行全局优化方案，下面会进行解释。
全局优化同时包括在整个SI上优化等式（1）。因此，针对重构的图像内的每个像素的最优标签取决于所有其他的像素。在数学上可将其表示如下
E ( &Delta; ) = &Sigma; ( x , y ) &Element; SI C ( x , y , L ) + &lambda; &Sigma; ( x , y ) &Element; SI &Sigma; x i , y i &psi; ( L , L i ) &CenterDot; - - - ( 5 )
为了使用全局优化概念重构图像，优选地，在整个SI上优化等式（5）。这样做的优秀候选方法为任何凸面或能量优化方法，但是在整个SI上对其进行定义。在现有技术中，多个示例算法可用。在参考文献：S.Boyd和L.Vandenberghe，“Convex Optimization”，剑桥大学出版社，2009年；J.Yedidia、W.T.Freeman以及Y.Weiss，“Understanding Belief Propagationand its Generalizations”，Technical Report-2001-22，三菱电子研究实验室，2002年1月；以及Y.Boykov、O.Veksler以及R.Zabih，“Fast approximateenergy minimization via graph cuts”，IEEE Transactions on Pattern Analysisand Machine Intelligence，第1222–1239页，2001年11月中，描述了那些算法。
图7中示意性显示了根据本发明所使用的全局优化单元150’的优选实施方式。该实施方式具有多种变化，并且技术人员可容易地进行这些变化，以便重构雷达图像。
例如，全局优化利用置信传播（BP）来实现。BP为消息传送算法。全局优化单元150’包括优化等式（5）的优化元件151、根据优化在与等式（5）的极值对应的SI内找出每个像素的标签的标签寻找单元152、以及使用标签更新所构造的图像的更新单元153。
更具体地说，根据一个实施方式，通过对马尔可夫随机场（即，图形模型）进行推断，优化单元150’优化等式（5），其中，通过计算一个图形的节点的边缘分布形成该马尔可夫随机场。该图形的节点为要重构的辐射图像的像素。在本发明中，BP为迭代算法，其在连接的网格上进行操作。这表示在连接的网格内，BP在每次迭代“t”将消息从一个节点发送到至少一个其相邻的节点。该连接的网格可与棋盘式方案一样简单，即，左边、右边、上方和下方的节点影响当前节点或BP内使用的任何其他的连接性。
无论网格上采用的连接性如何，使p和q为图中两个相邻的节点。为了与等式（5）一致，使p在SI内具有坐标(xp,yp)以及一个可能的标签Lp，并且使q在SI内具有坐标(Xq,yq)以及一个可能的标签Lq。根据本发明的一个实施方式，必须在迭代t并且使用等式（5），从节点p传送到节点q的消息
Figure BDA00002728155700151
具有以下形式
m p &DoubleRightArrow; q t ( L p ) = C ( x p , y p , L p ) + &lambda;&psi; ( L p , L q ) + &Sigma; g &Element; G ( p ) , g &NotEqual; q m g &DoubleRightArrow; p t - 1 ( L p ) - - - ( 6 )
其中，G(p)表示连接的图中p的近邻，并且项g∈G(p),g≠q表示图中节点p的、除了q以外的所有近邻。优选地，在第一次迭代中，使用0将消息初始化。T次迭代之后，在图中的每个节点或像素处，计算置信向量，其具有以下形式
V ( L q ) = C ( x q , y q , L q ) + &Sigma; p &Element; G ( q ) m p &DoubleRightArrow; q T ( L q ) - - - ( 7 )
该向量的维度为SI内所有可能标签的数量M。因此，标签Lq在每个节点（或像素）处单独地优化V(Lq)，即，V(Lq)的极值，该标签为针对重构的雷达图像内的每个像素必须选择的最优标签。此外，在根据本发明的BP方面，该标签为针对像素的全局最优标签，满足等式（5）。
图8中示意性描述了在本发明中使用BP的优化单元150”的一个实施方式。其包括将BP消息初始化为零的初始化单元154、第一迭代单元155以及第二迭代单元156。对于每个节点而言以及对于每个可能的标签而言，第一迭代单元155从1运行到T，根据等式（6），每条消息从每个节点传送至其近邻。在第二迭代单元156内，对于每个节点而言，根据等式（7），找出每个节点处置信向量的极值，并且使用极值的相应标签更新所构建的图像。
BP的实施方式并非根据本发明可使用的唯一变化。在现有技术中，可使用的BP概念具有多种变化。此外，可容易地将所提出的实施方式输送给解决推断问题的其他优化算法。与BP密切相关的一个实例为图切割。因此，解决推断问题的所有优化算法（例如，BP和图切割）以及所有其他凸面或能量优化算法为全局优化的替换实施方式。这些算法中的任何一个通常可用于根据本发明重构雷达图像。
也应注意的是，如果成本计算单元检测到多于一个的重要的或隐藏的层，那么应重复该处理，以便生成多于一个的图像。这由重复单元160决定。换言之，如果成本计算单元140检测到多于一个的候选隐藏层，那么在已经重构图像80之后再次调用成本计算单元140，根据成本计算再次重复该处理，并且强调其他隐藏的层。
成像装置100的元件120到160可实现为单独的单元，例如，单独的处理器或专用硬件元件。然而，在一个实施方式中，这些元件可实现在处理装置170内，如图2中的虚线所示，将其适当地编程或安装，以便执行这些单元的功能。
为了确认本发明的功能，图1C和图9中展现了使用本发明从聚焦的FMCW有源毫米波雷达（点雷达）所捕获的样本中构建的图像的一些结果。如图1A中所示，捕获在桌上放置的多个物体的图像。使得点标准化，并且由对数变换对其进行处理。SI的尺寸为733×158×256，分别与图像的宽度、图像的高度、以及每个像素所测量的点的数量对应。聚类单元仅仅使用K均值聚类算法生成针对每个像素的点的集群。而且，直方图分析用于分析每个像素处的集群，然后使用常数值，相应地均衡相关的集群。图8中所示的以及等式（6）中所说明的具有BP的本发明的优选实施方式用于构建雷达图像，即，找出每个像素的最优标签或点。所产生的构建的图像具有733×158像素的尺寸。常数λ设为0.5。
图1A至图1C示出了结果，其中，图1B示出了通过常规处理毫米波雷达传感器的数据所获得的图1A中所示的场景的高度轮廓，图1C示出了在应用了使用置信传播的本发明的实施方式之后，修改的高度轮廓。可直接看见，例如，图1C可显示隐藏的CD42和录像磁带41，同时保留其他物体40、43至49的关键特征。该图像还具有更少的噪声，并且显示了伪影（例如在剪刀的边界可看到这种伪影）的显著减少。这就允许更好地对雷达图像进行后分析，用于各种应用中，例如安全筛查。
图9A至图9C示出了另一个实例。此处，图9A示出了内部装有移动电话和枪支的手提箱的光学图像13。在这种情况下，可进行与上述图1A至图1C中相同的处理，但是图切割算法用于进行优化。图9B示出了普通优化之后的高度轮廓14，图9C示出了应用了使用图切割的本发明的实施方式之后，修改的高度轮廓15。SI的尺寸为728×82×201，所产生的图像具有728×82的尺寸，并且将值λ设为0.1。可容易地看见在图9C中如何更好地着重枪支和移动电话。
总之，根据本发明，提供了一种能够重构场景的图像的成像方法和装置，该图像显示一个或多个隐藏的非直接可视的物体。该重构任务作为能量最小化问题进行处理。制定包括两部分的成本函数，其中，第一部分考虑要重构的图像的相邻像素之间的相互作用，第二部分基于在感兴趣范围内的每个点处的所测量的功率。聚类和/或分割算法等技术优选地与机器学习相结合，用于将朝着所需要的重要点进行优化作为目标，例如，以便揭示目标内隐藏的物体。本发明进一步提供使用置信传播和图切割等各种优化算法解决成本函数的解决方法。从有源和/或无源毫米波和次毫米波雷达数据中，可获得用于成像的测量值。
已经在附图以及上述描述中详细地说明和描述本发明，但是这种说明和描述应视为说明性或示范性，而非限制性。本发明不限于所公开的实施方式。在实践所要求保护的本发明时，通过研究附图、公开内容以及所附权利要求书，本领域的技术人员可理解和实现对所公开的实施方式进行的其他变化。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且不定冠词“一个（a）”或“一个（an）”不排除复数。单个元件或其他单元可履行权利要求书中所陈述的几个项目的功能。在彼此不同的从属权利要求中陈述某些措施这一事实并不表示这些措施的组合无益。
计算机程序可储存/分布在合适的永久性介质上，例如，与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质，但是也可通过其他形式分布计算机程序，例如，通过互联网或其他有线或无线电信系统。
权利要求书内的任何参考标号不应理解为限制其范围。

Claims (23)

1.一种用于扫描场景（60）并且重构所述场景（60）的图像（80）的成像装置（100），其中，所述图像显示一个或多个隐藏的、非直接可视的物体，所述成像装置包括：
i）测量单元（110），被配置为在预定光谱范围内检测来自所述场景（60）的多个位置的电磁信号（50），从而获得设置在不同位置以及不同深度水平的多个点（201）处的测量值的三维数据集（70），以及
ii）处理装置（170），被配置为确定要重构的一个或多个图像（80）的像素的像素值，所述处理装置包括：
聚类单元（130），被配置为将所述数据集（70）分割成一个或多个数据子集，每个数据子集包括一个或多个相邻点（205，206）的两个以上测量值（75，76），
成本计算单元（140），被配置为通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值，确定每个所述像素的对于在与所述像素的位置对应的位置获取的测量值的成本，
优化单元（150），被配置为通过从一组标签值中确定标签值，从而确定针对像素的像素值，标签表示设置在与所述像素的位置对应的位置的点中的点，并且选择在所确定的所述标签所表示的所述点处的所述测量值作为所述像素值，其中，通过使用能量函数确定针对所述数据集（70）的不同点的能量值的极值，从而确定所述标签值，所述能量函数形成加上第一被加数和第二被加数的总和，所述第一被加数包括对其确定能量值的在与所述像素的位置对应的位置的点的成本，所述第二被加数考虑所述数据集（70）内相邻的位置和/或相邻的深度值处的至少一个相邻点的成本。
2.根据前述权利要求中任一项所述的成像装置，其中，所述成本计算单元（140）被配置为根据在点处测量的能量、功率、温度或反射率来计算所述点的成本。
3.根据前述权利要求中任一项所述的成像装置，其中，所述成本计算单元（140）被配置为检查数据子集的测量值（75、76）是基本上由物体引起还是由噪声或不规则性引起。
4.根据权利要求3所述的成像装置，其中，所述成本计算单元（140）被配置为检查属于数据子集的相邻点的测量值（75、76）的数量、累积功率和/或功率分布，从而确定所述数据子集的所述测量值是基本上由物体引起还是由噪声或不规则性引起。
5.根据权利要求3或4所述的成像装置，其中，所述成本计算单元（140）被配置为执行机器学习，尤其是直方图分析、支持向量机、主成分分析或者神经网络，用于确定数据子集的所述测量值（75、76）基本上是由物体引起还是由噪声或不规则性引起。
6.根据权利要求1所述的成像装置，其中，所述成本计算单元（140）被配置为通过相对于所述数据子集中的设置在最靠近所述测量单元（110）的深度水平处的第一数据子集的测量值，相对地增大所述一个或多个数据子集的测量值，从而修改包括在与所述像素的位置对应的位置处获取的至少一个测量值的所述一个或多个数据子集的测量值。
7.根据权利要求6所述的成像装置，其中，所述成本计算单元（140）被配置为通过增大所述一个或多个数据子集的测量值和/或减小其他数据子集的测量值，从而修改包括在与所述像素的位置对应的位置处获取的至少一个测量值的所述一个或多个数据子集的测量值。
8.根据前述权利要求中任一项所述的成像装置，其中，所述成本计算单元（140）和所述优化单元（150）被配置为，如果存在着包括在与所述像素的位置对应的位置处获取的至少一个测量值的多于两个的数据子集，那么重复进行处理，从而在进一步的深度水平处重构一个或多个图像。
9.根据权利要求1所述的成像装置，其中，所述优化单元（150）被配置成使用包括第二被加数的能量功能，所述第二被加数考虑所述数据集（8）内至少一个相邻点的成本。
10.根据前述权利要求中任一项所述的成像装置，其中，所述优化单元（150）被配置为使用能量函数，将相邻点的成本作为所述标签值之间的差值的函数。
11.根据前述权利要求中任一项所述的成像装置，其中，所述优化单元（150）被配置为通过确定与所述标签值相关的所述能量值的极值，应用置信传播用于确定针对所述像素的所述标签值。
12.根据前述权利要求中任一项所述的成像装置，其中，所述优化单元（150）被配置为通过确定与标签值相关的所述能量值的极值，应用置信传播或图切割用于确定针对所述像素的所述标签值。
13.根据前述权利要求中任一项所述的成像装置，其中，所述优化单元（150）被配置为将标签分配给所述数据集中的每个点，所述标签标识所述点，将成本值分配给所述标签，并且使用所述能量函数来确定针对所述标签的能量值，所述能量函数形成加上第一被加数和第二被加数的总和，所述第一被加数包括对其确定所述能量值的标签的成本，所述第二被加数考虑至少一个相邻点的至少一个标签的成本。
14.根据前述权利要求中任一项所述的成像装置，其中，所述优化单元（150）被配置为给每个像素分配标签组，作为在所述数据集内所测量的点的数量。
15.根据前述权利要求中任一项所述的成像装置，其中，所述成像装置被配置为无源辐射度成像。
16.根据权利要求1至14中任一项所述的成像装置，其中，所述成像装置被配置为有源雷达成像，所述测量单元（110）被配置为在至少所述预定光谱范围内将辐射发送给所述场景，并且接收从所述场景中反射的、响应于所发送的辐射的辐射。
17.根据权利要求16所述的成像装置，其中，所述测量单元配置为FMCW雷达、脉冲雷达或反射阵列。
18.根据前述权利要求中任一项所述的成像装置，进一步包括：决策单元（160），根据所述成本计算单元（140）的结果以及根据针对像素的数据子集的数量，确定是否应重构另一个图像。
19.一种用于扫描场景（60）并且重构所述场景（60）的图像（80）的成像方法，其中，所述图像显示一个或多个隐藏的、非直接可视的物体，所述方法包括：
i）在预定光谱范围内检测来自所述场景（60）的多个位置的电磁信号（50），从而获得设置在不同位置以及不同深度水平的多个点（201）处的测量值的三维数据集（70），以及
ii）确定要重构的一个或多个图像（80）的像素的像素值，包括：
将所述数据集（70）分割成一个或多个数据子集，每个数据子集包括一个或多个相邻点（205，206）的两个以上测量值（75，76），
通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值，确定每个所述像素的在与所述像素的位置对应的位置获取的测量值的成本，
通过从一组标签值中确定标签值，从而确定针对像素的像素值，标签表示设置在与所述像素的位置对应的位置的点中的点，并且
选择在所确定的所述标签所表示的所述点处的所述测量值作为所述像素值，其中，通过使用能量函数确定针对所述数据集（70）的不同点的能量值的极值，从而确定所述标签值，所述能量函数形成加上第一被加数和第二被加数的总和，所述第一被加数包括确定能量值的在与所述像素的位置对应的位置的点的成本，所述第二被加数考虑所述数据集（70）内相邻的位置和/或相邻的深度值处的至少一个相邻点的成本。
20.一种处理装置（170），尤其用于成像装置内（10），所述成像装置用于扫描场景（60）并且重构所述场景（60）的图像（80），所述图像显示一个或多个隐藏的非直接可视的物体，所述处理装置用于确定要重构的一个或多个图像（80）的像素的像素值，所述处理装置包括：
聚类单元（130），被配置为将所述数据集（70）分割成一个或多个数据子集，每个数据子集包括一个或多个相邻点（205，206）的两个以上测量值，
成本计算单元（140），被配置为通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值（75,76），确定每个所述像素的在与所述像素的位置对应的位置获取的测量值的成本，
优化单元（150），被配置为通过从一组标签值中确定标签值，从而确定针对像素的像素值，标签表示设置在与所述像素的位置对应的位置的点中的点，并且选择在所确定的所述标签所表示的所述点处的所述测量值作为所述像素值，其中，通过使用能量函数确定针对所述数据集（70）的不同点的能量值的极值，从而确定所述标签值，所述能量函数形成加上第一被加数和第二被加数的总和，所述第一被加数包括确定能量值的在与所述像素的位置对应的位置的点的成本，所述第二被加数考虑所述数据集（70）内相邻的位置和/或相邻的深度值处的至少一个相邻点的成本。
21.一种处理方法，尤其用于成像装置内（10），所述成像装置用于扫描场景（60）并且重构所述场景（60）的图像（80），所述图像显示一个或多个隐藏的非直接可视的物体，所述处理方法用于确定要重构的一个或多个图像（80）的像素的像素值，所述处理方法包括：
将所述数据集（70）分割成一个或多个数据子集，每个数据子集包括一个或多个相邻点（205，206）的两个以上测量值（75，76），
通过修改包括在与像素的位置对应的位置获取的至少一个测量值的一个或多个数据子集的测量值（75,76），确定每个所述像素的在与所述像素的位置对应的位置获取的测量值的成本，
通过从一组标签值中确定标签值，从而确定针对像素的像素值，标签表示设置在与所述像素的位置对应的位置的点中的点，并且
选择在所确定的所述标签所表示的所述点处的所述测量值作为所述像素值，其中，通过使用能量函数确定针对所述数据集（70）的不同点的能量值的极值，从而确定所述标签值，所述能量函数形成加上第一被加数和第二被加数的总和，所述第一被加数包括确定能量值的在与所述像素的位置对应的位置的点的成本，所述第二被加数考虑所述数据集（70）内相邻的位置和/或相邻的深度值处的至少一个相邻点的成本。
22.一种计算机程序，包括程序代码装置，在计算机上执行所述计算机程序时，使所述计算机执行根据权利要求21所述的处理方法的步骤。
23.一种存储指令的计算机可读永久性介质，在计算机上执行所述指令时，使所述计算机执行根据权利要求21所述的方法的步骤。
CN2013100113594A 2012-01-11 2013-01-11 用于对隐藏物体成像的成像装置和方法 Pending CN103278815A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12150770.1 2012-01-11
EP12150770 2012-01-11

Publications (1)

Publication Number Publication Date
CN103278815A true CN103278815A (zh) 2013-09-04

Family

ID=48743601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100113594A Pending CN103278815A (zh) 2012-01-11 2013-01-11 用于对隐藏物体成像的成像装置和方法

Country Status (2)

Country Link
US (1) US8938114B2 (zh)
CN (1) CN103278815A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301663A (zh) * 2017-05-08 2017-10-27 四川大学 一种基于集成成像摄像机阵列的隐藏物体成像方法
CN107924268A (zh) * 2015-08-28 2018-04-17 西门子产品生命周期管理软件公司 对象选择系统和方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
CN106371148B (zh) * 2016-09-27 2019-05-03 华讯方舟科技有限公司 一种基于毫米波图像的人体异物检测方法及系统
US10217252B1 (en) * 2018-07-05 2019-02-26 Mistubishi Electric Research Laboratories, Inc. See-through sensing for image reconstruction of structure of target object
US12026907B2 (en) 2019-04-04 2024-07-02 Battelle Memorial Institute Imaging systems and related methods including radar imaging with moving arrays or moving targets
US11061388B2 (en) * 2019-08-27 2021-07-13 Mitsubishi Electric Research Laboratories, Inc. Learning-based see-through sensing suitable for factory automation
CN112213721B (zh) * 2020-09-16 2023-10-03 西安科技大学 面向安检的对圆柱外或内场景扫描的毫米波三维成像方法
EP4224211A1 (en) * 2022-02-04 2023-08-09 Rohde & Schwarz GmbH & Co. KG Method and system for rf imaging

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060267978A1 (en) * 2005-05-27 2006-11-30 Litke Nathan J Method for constructing surface parameterizations
US20070058865A1 (en) * 2005-06-24 2007-03-15 Kang Li System and methods for image segmentation in n-dimensional space
CN1998011A (zh) * 2004-04-14 2007-07-11 安全观察公司 多传感器监视入口
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
US20090252416A1 (en) * 2007-07-16 2009-10-08 Nikos Komodakis System and Method for Optimizing Single and Dynamic Markov Random Fields with Primal Dual Strategies
CN101765019A (zh) * 2008-12-25 2010-06-30 北京大学 一种用于运动模糊和光照变化图像的立体匹配方法
CN101977323A (zh) * 2010-11-16 2011-02-16 上海交通大学 基于视频时空相关性约束的分布式视频编码重构方法
CN102074020A (zh) * 2010-12-31 2011-05-25 浙江大学 对视频进行多体深度恢复和分割的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550937A (en) 1992-11-23 1996-08-27 Harris Corporation Mechanism for registering digital images obtained from multiple sensors having diverse image collection geometries
US6404920B1 (en) 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
US7199750B2 (en) 2005-04-22 2007-04-03 Bbn Technologies Corp. Real-time multistatic radar signal processing system and method
EP1986551A1 (en) * 2006-04-19 2008-11-05 Philips Intellectual Property & Standards GmbH Cone beam computed tomography with multiple partial scanning trajectories
US7773205B2 (en) 2007-06-06 2010-08-10 California Institute Of Technology High-resolution three-dimensional imaging radar
US8213672B2 (en) * 2007-08-08 2012-07-03 Microsemi Corporation Millimeter wave imaging method and system to detect concealed objects
US8346011B2 (en) * 2009-06-26 2013-01-01 Mayo Foundation For Medical Education And Research Reducing noise in an image
US8487255B2 (en) 2010-01-22 2013-07-16 Sony Corporation Passive radiometric imaging device and method
US8742982B2 (en) 2010-03-30 2014-06-03 Sony Corporation Indirect radar holography apparatus and corresponding method
US8570208B2 (en) 2010-07-16 2013-10-29 Sony Corporation Radar tomography apparatus and method
US9018582B2 (en) 2011-01-11 2015-04-28 Sony Corporation Passive radiometric imaging device and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1998011A (zh) * 2004-04-14 2007-07-11 安全观察公司 多传感器监视入口
US20060267978A1 (en) * 2005-05-27 2006-11-30 Litke Nathan J Method for constructing surface parameterizations
US20070058865A1 (en) * 2005-06-24 2007-03-15 Kang Li System and methods for image segmentation in n-dimensional space
US20090252416A1 (en) * 2007-07-16 2009-10-08 Nikos Komodakis System and Method for Optimizing Single and Dynamic Markov Random Fields with Primal Dual Strategies
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
CN101765019A (zh) * 2008-12-25 2010-06-30 北京大学 一种用于运动模糊和光照变化图像的立体匹配方法
CN101977323A (zh) * 2010-11-16 2011-02-16 上海交通大学 基于视频时空相关性约束的分布式视频编码重构方法
CN102074020A (zh) * 2010-12-31 2011-05-25 浙江大学 对视频进行多体深度恢复和分割的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924268A (zh) * 2015-08-28 2018-04-17 西门子产品生命周期管理软件公司 对象选择系统和方法
CN107924268B (zh) * 2015-08-28 2021-11-02 西门子工业软件有限公司 对象选择系统和方法
CN107301663A (zh) * 2017-05-08 2017-10-27 四川大学 一种基于集成成像摄像机阵列的隐藏物体成像方法
CN107301663B (zh) * 2017-05-08 2020-05-12 四川大学 一种基于集成成像摄像机阵列的隐藏物体成像方法

Also Published As

Publication number Publication date
US8938114B2 (en) 2015-01-20
US20130176309A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
CN103278815A (zh) 用于对隐藏物体成像的成像装置和方法
Giri et al. Optimal identification of H II regions during reionization in 21-cm observations
US8487255B2 (en) Passive radiometric imaging device and method
Yuan et al. Target recognition in SAR imagery based on local gradient ratio pattern
Khan et al. A customized Gabor filter for unsupervised color image segmentation
Georgiou et al. Constructing informative bayesian map priors: A multi-objective optimisation approach applied to indoor occupancy grid mapping
Himstedt et al. Online semantic mapping of logistic environments using RGB-D cameras
Song et al. Two-dimensional forward-looking sonar image registration by maximization of peripheral mutual information
Hao et al. Unsupervised change detection using a novel fuzzy c-means clustering simultaneously incorporating local and global information
Aslantas et al. New optimised region‐based multi‐scale image fusion method for thermal and visible images
Shamsyeh Zahedi et al. Fractal dimension and the navigational information provided by natural scenes
Hess et al. Object detection as probabilistic set prediction
US9018582B2 (en) Passive radiometric imaging device and method
Zhuang et al. A novel outdoor scene-understanding framework for unmanned ground vehicles with 3D laser scanners
Churchill et al. Sampling-based spotlight SAR image reconstruction from phase history data for speckle reduction and uncertainty quantification
Xiao et al. Gaussian process regression-based robust free space detection for autonomous vehicle by 3-D point cloud and 2-D appearance information fusion
Ozkaya et al. Efficient multitask learning analyses on grain silo measurement
Chang et al. Confidence level estimation in multi-target classification problems
Chabane et al. Incremental clustering of sonar images using self-organizing maps combined with fuzzy adaptive resonance theory
Negri et al. K-means algorithm based on stochastic distances for polarimetric synthetic aperture radar image classification
Churchill Synthetic aperture radar image formation with uncertainty quantification
Hartmann et al. Automatic quality assessment of terrestrial laser scans
Chen Convolutional Neural Networks for Land-Cover Classification Using Multispectral Airborne Laser Scanning Data
Barati Incorporating locally linear embedding and multi-layer perceptron in handwritten digit recognition
Leelhapantu et al. A speedup scheme for MRF stereo using local label hierarchy

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130904