CN106780551B - 一种三维运动目标检测方法和系统 - Google Patents

一种三维运动目标检测方法和系统 Download PDF

Info

Publication number
CN106780551B
CN106780551B CN201611033827.8A CN201611033827A CN106780551B CN 106780551 B CN106780551 B CN 106780551B CN 201611033827 A CN201611033827 A CN 201611033827A CN 106780551 B CN106780551 B CN 106780551B
Authority
CN
China
Prior art keywords
dimensional
local invariant
invariant feature
feature information
dimensional distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611033827.8A
Other languages
English (en)
Other versions
CN106780551A (zh
Inventor
滕书华
谭志国
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Fenghua Intelligent Technology Co ltd
Original Assignee
Hunan Visualtouring Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Visualtouring Information Technology Co Ltd filed Critical Hunan Visualtouring Information Technology Co Ltd
Priority to CN201611033827.8A priority Critical patent/CN106780551B/zh
Publication of CN106780551A publication Critical patent/CN106780551A/zh
Application granted granted Critical
Publication of CN106780551B publication Critical patent/CN106780551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种三维运动目标检测方法和系统，其中，所述方法包括：获取待处理的多视角场景的三维距离像，三维距离像包括三维运动目标；提取多视角场景的三维距离像的局部不变特征信息，并确定局部不变特征信息的特征描述向量；根据局部不变特征信息和特征描述向量对多视角场景的三维距离像进行配准；根据配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对候选检测区域进行验证与复核，获得精确检测区域；对精确检测区域进行三维运动目标检测。本发明实施例降低了检测虚警率，并提高了检测效率，减少了数据处理量，反复迭代得到了更准确的检测效果。

Description

一种三维运动目标检测方法和系统
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种三维运动目标检测方法和系统。
背景技术
复杂地面环境下三维运动目标检测是计算机视觉技术领域新的研究热点和难点。三维运动目标检测有望突破现有基于一维图像和二维图像的信息处理系统所存在的固有瓶颈，为目标检测探索新的研究方向。由于噪声、背景干扰、视角等因素的影响，复杂地面三维运动目标检测一直是制约三维智能信息处理发展与应用的瓶颈之一。当前，三维运动目标检测面临着严峻的挑战，这主要包括：
1)背景杂波干扰。由于待检测三维运动目标通常处于复杂的环境背景中，背景中存在的各种物体可能与待检测三维运动目标具有近似的外观表象，且这种干扰的数量远远大于三维运动目标本身，使得三维运动目标检测具有较大难度。
2)目标自遮挡。由于成像传感器并不能穿透三维运动目标成像，因而单个视点下的三维距离像总是存在自遮挡，从而加大了三维运动目标检测的难度。
3)物体遮挡。由于传感器成像视角的原因，待检测三维运动目标通常被背景中其他物体所遮挡，致使传感器收集到的三维运动目标数据不完整。如何有效地检测该情况下的三维运动目标数据，是极具挑战性的问题。
4)目标时变形状的影响。现实世界中除了刚体目标之外，还存在大量动态目标，即其形状随时间变化的目标，如动物变化的四肢、坦克的旋转炮塔等。如何检测这类目标依然具有较大难度。
5)三维距离像特性的影响。不同传感器获得的三维距离像，其精度、数据分辨率及噪声水平等都有较大差异。因而设计的算法必须对数据分辨率和噪声等具有较强的稳健性。
近年来关于三维运动目标检测的方法主要可分为两种：一种是基于场景分类的方法，另一种是基于特征的目标识别检测方法。基于场景分类的方法是把场景中所有数据进行分类，从而获取感兴趣目标类的存在区域。这类方法存在问题是：数据分析量大，且大部分数据的分析对用户感兴趣区域(目标)提取与检测作用不大；当数据中存在新的类别时会出现武断性的误判；对于部分遮挡下目标的检测通常达不到理想的效果。基于特征的目标识别检测方法是在获取目标/类特征的基础上，在场景中搜索匹配对应的目标/类特征，从而实现目标检测。这类方法存在问题是：在遮挡以及不同分辨率下，鲁棒性的目标不变特征难以选取与描述；在复杂背景环境下，目标检测虚警率高，检测效果不佳；已有研究还难以处理实际应用中不断的增加目标/类。
发明内容
本发明实施例提供了一种点云数据去噪的方法和系统，以解决现有的基于特征的目标识别检测方法的检测虚警率高、检测效率低，以及基于场景分类的方法数据分析量大、检测效果不准确的问题。
根据本发明实施例的一方面，提供了一种三维运动目标检测方法，包括：
获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；
提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；
根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；
根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；
采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；
对所述精确检测区域进行三维运动目标检测。
根据本发明实施例的另一方面，提供了一种三维运动目标检测系统，包括：
获取模块，用于获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；
提取模块，用于提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；
配准模块，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；
确定模块，用于根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；
验证与复核模块，用于采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；
检测模块，用于对所述精确检测区域进行三维运动目标检测。
根据本发明实施例提供的三维运动目标检测方法和系统，通过获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；对所述精确检测区域进行三维运动目标检测。因此，本发明实施例利用局部不变特征信息和特征描述向量对候选检测区域进行检测，将多视角场景的三维距离像进行配准，因局部不变特征信息具有对等矩形变的不变性，以及特征描述向量对目标等距形变的适应性，降低了检测虚警率，并提高了检测效率。然后采用迭代地面估计和高程滤波进行验证与复核，最终获得精确检测区域，缩小了检测区域，减少了数据处理量，反复迭代得到更准确的检测效果。
附图说明
图1是根据本发明实施例一的一种三维运动目标检测方法的步骤流程图；
图2是根据本发明实施例二的一种三维运动目标检测方法的步骤流程图；
图3是根据本发明实施例二的一种三维运动目标检测方法的SVMT模型示意图；
图4是根据本发明实施例三的一种三维运动目标检测系统的结构框图；
图5是根据本发明实施例四的一种三维运动目标检测系统的结构框图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1示出了根据本发明实施例一的一种三维运动目标检测方法的步骤流程图。
参照图1，本实施例的三维运动目标检测方法包括如下步骤：
步骤S100、获取待处理的多视角场景的三维距离像。
本步骤中，三维距离像包括三维运动目标和背景干扰，三维距离像既可以是距离传感器(如激光雷达等)获得的真实数据，也可以是仿真软件得到的仿真数据。
为了保证传输和处理速度，借鉴人眼视网膜多感受野并行处理方式，由总控计算机平台向多台网络计算机同步传输待处理的多视角场景的三维距离像，实现并行多通道处理。
步骤S102、提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量。
对于获取到的三维距离像，将其视作嵌入在三维欧式空间R3中的二维黎曼流形，进而在黎曼流形中采用拉普拉斯-贝尔特拉米(Laplace-Beltrami)算子及热方程求解内蕴几何属性的几何扩散过程，从而获得内蕴尺度空间。该内蕴尺度空间只与二维黎曼流形的内蕴几何有关，而与三维距离像在三维欧式空间R3中的具体嵌入无关，因而内蕴尺度空间对实际中普遍存在的等距形变具有不变性。
实质上，几何扩散中时间t增加的过程相当于尺度增大的过程，在内蕴尺度空间中，若某点的几何属性值在其空间邻域以及尺度邻域上均取得极值，则定义该点为特征点，同时记录该特征点所在的尺度。因此，一个检测到的特征点将包含特征点的位置和特征点的尺度两部分。
将与特征点的测地距离小于其尺度所对应的距离的点作为特征点的邻域点，进而结合邻域点的内蕴几何属性(如高斯曲率、热核、测地距离和扩散距离等)及其空间分布构造特征描述向量。
由于测地距离是连接目标表面上两点之间的最短测地线的长度，测地距离在目标等距形变中具有不变性，因而能保证特征描述向量对目标等距形变的适应性。
步骤S104、根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准。
通过对多视角场景的三维距离像进行配准，实现对可能遮挡或变化的三维运动目标的尽可能完整的描述。具体可以利用局部不变特征信息及其特征描述向量，通过特征匹配的方法实现多视角场景的三维距离像的配准与融合。
在对多视角场景的三维距离像进行配准的过程中，考虑到当三维距离像的捕捉设备，如激光雷达传感器的视角差异较大时，捕捉设备获取的三维距离像之间将存在较大的空间变换，简单的使用迭代就近点(Iterative Closest Point，ICP)算法难以得到较好的配准结果，且耗时较长。本发明实施例中，可利用三维距离像中的局部不变特征信息，对待配准的多视角场景的三维距离像之间的空间变换进行估计，得到粗略配准结果，然后作为ICP算法的输入，以减小配准的计算量，提高配准的效率。
步骤S106、根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域。
对于配准后的多视角场景的三维距离像的每一个局部不变特征信息，计算其与广义k近邻特征集中每一个特征信息的距离，以距离最小的局部不变特征信息作为其在三维模型库中的对应特征信息，并记录该局部不变特征信息所在的三维模型的类别属性。进而三维距离像中每一个局部不变特征信息均可对一个三维模型进行投票，最后统计所有三维距离像的局部不变特征信息的投票结果，票数最多的几个三维模型将作为候选三维模型依次接受后续的匹配验证。对于某个候选三维模型，反向寻找其在多视角场景的三维距离像中的对应特征信息所处的区域，对所处的区域进行粗略分割，从而获得三维距离像的候选检测区域。
步骤S108、采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域。
采用迭代地面估计和高程滤波对候选检测区域的地面进行准确的估计。首先建立评估函数，把地面检测问题转化为关于高程与三维运动目标的数据的优化函数；然后在优化过程中进行地面估计，再对数据进行高程滤波，检测三维运动目标，计算优化函数；由此，反复迭代直到得到精确检测结果。
高程滤波是在已知三维运动目标高度的情况下，只对该高度以下的三维运动目标进行检测，从而分离背景与三维运动目标。
步骤S110、对所述精确检测区域进行三维运动目标检测。
具体可以建立精确检测区域后验概率(后验概率是信息理论的基本概念之一。在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。)模型，根据最大后验概率原则，确定三维运动目标。
根据本发明实施例提供的三维运动目标检测方法，通过获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；对所述精确检测区域进行三维运动目标检测。因此，本发明实施例利用局部不变特征信息和特征描述向量对候选检测区域进行检测，将多视角场景的三维距离像进行配准，因局部不变特征信息具有对等矩形变的不变性，以及特征描述向量对目标等距形变的适应性，降低了检测虚警率，并提高了检测效率。然后采用迭代地面估计和高程滤波进行验证与复核，最终获得精确检测区域，缩小了检测区域，减少了数据处理量，反复迭代得到更准确的检测效果。
实施例二
图2示出了根据本发明实施例二的一种三维运动目标检测方法的步骤流程图。
参照图2，本实施例的三维运动目标检测方法包括如下步骤：
步骤S200、获取包含三维距离像的真实数据或者仿真数据。
为了保证传输和处理速度，借鉴人眼视网膜多感受野并行处理方式，由总控计算机平台向多台网络计算机同步传输待处理的三维距离像，实现并行多通道处理。三维距离像中通常包含多个三维运动目标和背景干扰，三维距离像既可以是距离传感器(如激光雷达等)获得的真实数据，也可以是仿真软件得到的仿真数据。
步骤S202、基于黎曼流形的内蕴几何属性提取三维距离像的局部不变特征。
对于获取的三维距离像或者完整的三维模型，将其视作嵌入在三维欧式空间R3中的二维黎曼流形，进而在黎曼流形中采用Laplace-Beltrami算子及热方程求解内蕴几何属性的几何扩散过程，从而获得内蕴尺度空间。该内蕴尺度空间只与二维黎曼流形的内蕴几何有关，而与三维距离像在三维欧式空间R3中的具体嵌入无关，因而内蕴尺度空间对实际中普遍存在的等距形变具有不变性。
实质上，几何扩散中时间t增加的过程相当于尺度增大的过程，在内蕴尺度空间中，若某点的几何属性值在其空间邻域以及尺度邻域上均取得极值，则定义该点为特征点，同时记录该特征点所在的尺度。因此，一个检测到的特征点将包含特征点的位置和特征点的尺度两部分。
步骤S204、基于邻域几何属性和空间分布构造特征描述向量。
将与特征点的测地距离小于其尺度所对应的距离的点作为特征点的邻域点，进而结合邻域点的内蕴几何属性(如高斯曲率、热核、测地距离和扩散距离等)及其空间分布构造特征描述向量。
由于测地距离是连接目标表面上两点之间的最短测地线的长度，测地距离在目标等距形变中具有不变性，因而能保证特征描述向量对目标等距形变的适应性。
步骤S206、对局部不变特征进行稳健性排序与选择。
对三维运动目标的局部不变特征进行稳健性排序，选择一个局部不变特征子集构造标准化的局部不变特征集对三维运动目标进行表征，本实施例中，可以采用任意的稳健性排序与选择方法，本实施例对稳健性排序与选择的技术手段不做限制。
步骤S208、配准与融合多视角点云数据。
为保证复杂场景的三维运动目标的检测概率并减小虚警概率，可以通过激光雷达多视角场景点云数据的配准，实现对可能遮挡或变化的三维运动目标的尽可能完整的描述。具体可以利用局部不变特征及其特征描述向量，通过特征匹配的方法实现多视角三维距离像的配准与融合。
在对多视角场景的三维距离像进行配准的过程中，考虑到当三维距离像的捕捉设备，如激光雷达传感器的视角差异较大时，捕捉设备获取的三维距离像之间将存在较大的空间变换，简单的使用ICP算法难以得到较好的配准结果，且耗时较长。本发明实施例中，可利用三维距离像中的局部不变特征信息，对待配准的多视角场景的三维距离像之间的空间变换进行估计，得到粗略配准结果，然后作为ICP算法的输入，以减小配准的计算量，提高配准的效率。
在局部不变特征匹配的过程中，由于三维模型库中的局部不变特征数量庞大，因而采用线性搜索的方式将无法满足实时运算需求。利用支持矢量机树(Support VectorMachine Tree，SVMT)模型以实现三维模型的局部不变特征的快速索引，SVMT是采用树生长方法将基本的固定类属的N-SVM分类器分类得到的N个类别，作为节点不断训练分类，构成的SVMT模型示意图如图3所示，圆圈表示各级节点。SVMT模型通过对输入模式的反复学习，可以使得输出矢量集的空间分布反映输入模式的统计特征，具有可增量训练以及能并行分布式实现等优点。在线识别时从SVMT模型中快速获得局部不变特征的广义k近邻特征，从而将特征匹配的线性搜索问题转化为树状搜索问题，大大简化计算复杂度，获得近似恒常计算量的特征匹配。
步骤S210、训练与检索SVMT模型。
利用回归自组织特征映射神经网络(Recursive Self Organizing Maps,RSOM)树检索方法进行SVMT模型的训练与搜索。
步骤S212、确定候选检测区域。
对于配准后的多视角场景的三维距离像的每一个局部不变特征信息，计算其与广义k近邻特征集中每一个特征信息的距离，以距离最小的局部不变特征信息作为其在三维模型库中的对应特征信息，并记录该局部不变特征信息所在的三维模型的类别属性。进而三维距离像中每一个局部不变特征信息均可对一个三维模型进行投票，最后统计所有三维距离像的局部不变特征信息的投票结果，票数最多的几个三维模型将作为候选三维模型依次接受后续的匹配验证。对于某个候选三维模型，反向寻找其在多视角场景的三维距离像中的对应特征信息所处的区域，对所处的区域进行粗略分割，从而获得三维距离像的候选检测区域。
步骤S214、地面估计。
采用迭代地面估计和高程滤波对候选检测区域的地面进行准确的估计。首先建立评估函数，把地面检测问题转化为关于高程与三维运动目标的数据的优化函数；然后在优化过程中进行地面估计，再对数据进行高程滤波，检测三维运动目标，计算优化函数；由此，反复迭代直到得到精确检测结果。
通过场景点云数据对场景中地平面进行估计，从而为利用高程滤波对被部分遮挡的(如植被、建筑物等的遮挡下)三维运动目标检测奠定基础。
步骤S216、高程滤波。
高程滤波是在已知三维运动目标高度的情况下，只对该高度以下的三维运动目标进行检测，从而分离背景与三维运动目标。
步骤S218、增量学习。
三维运动目标模型的训练模式分为有监督、无监督和半监督多种。在有监督训练模式下，需人工对三维运动目标的图像进行属性赋值；在无监督模式下，运用相似性传播聚类方法，当某个聚类中的特征集积累到一定的数量时，自动产生没有类别属性标志的新的类属模型，将自主申请监督示教对该聚类进行属性赋值并进行训练，生成新类别的类属模型。
步骤S220、检测区域决策。
根据局部不变特征投票以及迭代检测估计结果，建立检测区域后验概率模型，根据最大后验概率原则，确定三维运动目标及检测区域。
根据本发明实施例提供的三维运动目标检测方法，通过获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；对所述精确检测区域进行三维运动目标检测。因此，本发明实施例利用局部不变特征信息和特征描述向量对候选检测区域进行检测，将多视角场景的三维距离像进行配准，由于本发明实施例将三维距离像作为嵌入在三维欧氏空间R3中的二维黎曼流形，通过几何扩散过程获得内蕴尺度空间，获得的内蕴尺度空间具有对等距形变的不变性。而且，依据高斯曲率、热核、测地距离和扩散距离等二维黎曼流形的内蕴几何属性来实现内蕴尺度空间中的特征点检测和构建特征描述向量，得到的局部不变特征也具有对等距形变的不变性，降低了检测虚警率，并提高了检测效率。然后采用迭代地面估计和高程滤波进行验证与复核，由粗略到精确的检测策略有助于减少候选检测区域的验证与复核数量，减少了数据处理量，反复迭代得到更准确的检测效果。
本发明实施例通过SVMT模型将特征匹配的线性搜索问题转化为树状搜索问题，大大简化计算复杂度，获得近似恒常计算量的特征匹配。
实施例三
图4示出了根据本发明实施例三的一种三维运动目标检测系统的结构框图。
本实施例中的三维运动目标检测系统包括：获取模块400，用于获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取模块402，用于提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；配准模块404，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；确定模块406，用于根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；验证与复核模块408，用于采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；检测模块410，用于对所述精确检测区域进行三维运动目标检测。
根据本发明实施例提供的三维运动目标检测系统，通过获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；对所述精确检测区域进行三维运动目标检测。因此，本发明实施例利用局部不变特征信息和特征描述向量对候选检测区域进行检测，将多视角场景的三维距离像进行配准，因局部不变特征信息具有对等矩形变的不变性，以及特征描述向量对目标等距形变的适应性，降低了检测虚警率，并提高了检测效率。然后采用迭代地面估计和高程滤波进行验证与复核，最终获得精确检测区域，缩小了检测区域，减少了数据处理量，反复迭代得到更准确的检测效果。
实施例四
图5示出了根据本发明实施例四的一种三维运动目标检测系统的结构框图。
本实施例中的三维运动目标检测系统包括：获取模块500，用于获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取模块502，用于提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；配准模块504，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；确定模块506，用于根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；验证与复核模块508，用于采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；检测模块510，用于对所述精确检测区域进行三维运动目标检测。
可选地，所述提取模块502包括：内蕴尺度空间获取模块5020，用于基于黎曼流形获取所述多视角场景的三维距离像的内蕴尺度空间；特征点定义模块5021，用于在所述内蕴尺度空间中定义特征点；特征信息确定模块5022，用于将所述特征点的特征信息确定为所述局部不变特征信息；其中，所述特征信息包括所述特征点的位置和所述特征点的尺度。
可选地，所述提取模块502还包括：邻域点确定模块5023，用于将与所述特征点的测地距离小于所述特征点的尺度所对应的距离的点作为所述特征点的邻域点；特征描述向量确定模块5024，用于根据所述邻域点的内蕴几何属性和空间分布确定所述局部不变特征信息的特征描述向量；其中，所述内蕴几何属性包括高斯曲率、热核、测地距离和扩散距离。
可选地，所述配准模块504包括：空间变换估计模块5040，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像之间的空间变换进行估计，得到粗略配准结果；迭代就近点算法模块5041，用于将所述粗略配准结果输入至迭代就近点算法，得到精确配准结果。
可选地，所述确定模块506包括：距离计算模块5060，用于计算所述配准后的多视角场景的三维距离像的局部不变特征信息与广义k近邻特征集中的特征信息的距离；三维模型确定模块5061，用于根据所述计算得到的距离确定所述局部不变特征信息对应的三维模型；投票结果统计模块5062，用于统计所述局部不变特征信息针对所述三维模型的投票结果；三维模型候选模块5063，用于按照所述投票结果确定候选三维模型；特征信息区域确定模块5064，用于反向寻找所述候选三维模型在所述多视角场景的三维距离像中对应的局部不变特征信息所在的区域；候选检测区域确定模块5065，用于对所述区域进行粗略分割，得到所述候选检测区域。
根据本发明实施例提供的三维运动目标检测系统，通过获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；采用迭代地面估计和高程滤波对所述候选检测区域进行验证与复核，获得精确检测区域；对所述精确检测区域进行三维运动目标检测。因此，本发明实施例利用局部不变特征信息和特征描述向量对候选检测区域进行检测，将多视角场景的三维距离像进行配准，由于本发明实施例将三维距离像作为嵌入在三维欧氏空间R3中的二维黎曼流形，通过几何扩散过程获得内蕴尺度空间，获得的内蕴尺度空间具有对等距形变的不变性。而且，依据高斯曲率、热核、测地距离和扩散距离等二维黎曼流形的内蕴几何属性来实现内蕴尺度空间中的特征点检测和构建特征描述向量，得到的局部不变特征也具有对等距形变的不变性，降低了检测虚警率，并提高了检测效率。然后采用迭代地面估计和高程滤波进行验证与复核，由粗略到精确的检测策略有助于减少候选检测区域的验证与复核数量，减少了数据处理量，反复迭代得到更准确的检测效果。
本发明实施例通过SVMT模型将特征匹配的线性搜索问题转化为树状搜索问题，大大简化计算复杂度，获得近似恒常计算量的特征匹配。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (8)

1.一种三维运动目标检测方法，其特征在于，包括：
获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；
提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；
根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；
根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；
通过迭代地执行地面估计和高程滤波，对所述候选检测区域进行验证与复核，获得精确检测区域；
对所述精确检测区域进行三维运动目标检测，
其中，所述根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准，包括：
根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像之间的空间变换进行估计，得到粗略配准结果；
将所述粗略配准结果输入至迭代就近点算法，得到精确配准结果。
2.根据权利要求1所述的方法，其特征在于，所述提取所述多视角场景的三维距离像的局部不变特征信息，包括：
基于黎曼流形获取所述多视角场景的三维距离像的内蕴尺度空间；
在所述内蕴尺度空间中定义特征点；
将所述特征点的特征信息确定为所述局部不变特征信息；
其中，所述特征信息包括所述特征点的位置和所述特征点的尺度。
3.根据权利要求2所述的方法，其特征在于，所述确定所述局部不变特征信息的特征描述向量，包括：
将与所述特征点的测地距离小于所述特征点的尺度所对应的距离的点作为所述特征点的邻域点；
根据所述邻域点的内蕴几何属性和空间分布确定所述局部不变特征信息的特征描述向量；
其中，所述内蕴几何属性包括高斯曲率、热核、测地距离和扩散距离。
4.根据权利要求1所述的方法，其特征在于，所述根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域，包括：
计算所述配准后的多视角场景的三维距离像的局部不变特征信息与广义k近邻特征集中的特征信息的距离；
根据所述计算得到的距离确定所述局部不变特征信息对应的三维模型；
统计所述局部不变特征信息针对所述三维模型的投票结果；
按照所述投票结果确定候选三维模型；
反向寻找所述候选三维模型在所述多视角场景的三维距离像中对应的局部不变特征信息所在的区域；
对所述区域进行粗略分割，得到所述候选检测区域。
5.一种三维运动目标检测系统，其特征在于，包括：
获取模块，用于获取待处理的多视角场景的三维距离像，所述三维距离像包括三维运动目标；
提取模块，用于提取所述多视角场景的三维距离像的局部不变特征信息，并确定所述局部不变特征信息的特征描述向量；
配准模块，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像进行配准；
确定模块，用于根据所述配准后的多视角场景的三维距离像的局部不变特征信息确定候选检测区域；
验证与复核模块，用于通过迭代地执行地面估计和高程滤波，对所述候选检测区域进行验证与复核，获得精确检测区域；
检测模块，用于对所述精确检测区域进行三维运动目标检测，
其中，所述配准模块，包括：
空间变换估计模块，用于根据所述局部不变特征信息和所述特征描述向量对所述多视角场景的三维距离像之间的空间变换进行估计，得到粗略配准结果；
迭代就近点算法模块，用于将所述粗略配准结果输入至迭代就近点算法，得到精确配准结果。
6.根据权利要求5所述的系统，其特征在于，所述提取模块，包括：
内蕴尺度空间获取模块，用于基于黎曼流形获取所述多视角场景的三维距离像的内蕴尺度空间；
特征点定义模块，用于在所述内蕴尺度空间中定义特征点；
特征信息确定模块，用于将所述特征点的特征信息确定为所述局部不变特征信息；
其中，所述特征信息包括所述特征点的位置和所述特征点的尺度。
7.根据权利要求6所述的系统，其特征在于，所述提取模块，还包括：
邻域点确定模块，用于将与所述特征点的测地距离小于所述特征点的尺度所对应的距离的点作为所述特征点的邻域点；
特征描述向量确定模块，用于根据所述邻域点的内蕴几何属性和空间分布确定所述局部不变特征信息的特征描述向量；
其中，所述内蕴几何属性包括高斯曲率、热核、测地距离和扩散距离。
8.根据权利要求5所述的系统，其特征在于，所述确定模块，包括：
距离计算模块，用于计算所述配准后的多视角场景的三维距离像的局部不变特征信息与广义k近邻特征集中的特征信息的距离；
三维模型确定模块，用于根据所述计算得到的距离确定所述局部不变特征信息对应的三维模型；
投票结果统计模块，用于统计所述局部不变特征信息针对所述三维模型的投票结果；
三维模型候选模块，用于按照所述投票结果确定候选三维模型；
特征信息区域确定模块，用于反向寻找所述候选三维模型在所述多视角场景的三维距离像中对应的局部不变特征信息所在的区域；
候选检测区域确定模块，用于对所述区域进行粗略分割，得到所述候选检测区域。
CN201611033827.8A 2016-11-18 2016-11-18 一种三维运动目标检测方法和系统 Active CN106780551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611033827.8A CN106780551B (zh) 2016-11-18 2016-11-18 一种三维运动目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611033827.8A CN106780551B (zh) 2016-11-18 2016-11-18 一种三维运动目标检测方法和系统

Publications (2)

Publication Number Publication Date
CN106780551A CN106780551A (zh) 2017-05-31
CN106780551B true CN106780551B (zh) 2019-11-08

Family

ID=58971074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611033827.8A Active CN106780551B (zh) 2016-11-18 2016-11-18 一种三维运动目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN106780551B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108761411B (zh) * 2018-04-10 2021-11-23 电子科技大学 一种真假目标一维距离像特征提取方法
CN110084304B (zh) * 2019-04-28 2021-04-30 北京理工大学 一种基于合成数据集的目标检测方法
CN110363178B (zh) * 2019-07-23 2021-10-15 上海黑塞智能科技有限公司 基于局部和全局深度特征嵌入的机载激光点云分类方法
US20230093034A1 (en) * 2020-02-26 2023-03-23 Nippon Telegraph And Telephone Corporation Target area detection device, target area detection method, and target area detection program
CN111429492B (zh) * 2020-03-20 2020-12-15 南京航空航天大学 一种基于局部不变形的飞机c型梁配准方法
CN112906557B (zh) * 2021-02-08 2023-07-14 重庆兆光科技股份有限公司 一种多视角下的多粒度特征聚合目标重识别方法及系统
CN114550289B (zh) * 2022-02-16 2023-05-26 中山职业技术学院 一种行为识别方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
CN101739690A (zh) * 2009-11-26 2010-06-16 西北工业大学 多相机协同运动目标检测方法
CN104766088A (zh) * 2014-01-07 2015-07-08 北京三星通信技术研究有限公司 从三维图像中检测物体的系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336872B2 (ja) * 2014-09-29 2018-06-06 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
CN105913459B (zh) * 2016-05-10 2019-07-12 中国科学院自动化研究所 基于高分辨率连拍图像的运动目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
CN101739690A (zh) * 2009-11-26 2010-06-16 西北工业大学 多相机协同运动目标检测方法
CN104766088A (zh) * 2014-01-07 2015-07-08 北京三星通信技术研究有限公司 从三维图像中检测物体的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Moving Object Detection by Multi-View Geometric Techniques from a Single Camera Mounted Robot;Abhijit Kundu等;《2009 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20091015;第4306-4312页 *
基于多视角航拍配准的运动小目标检测与跟踪;易盟 等;《计算机工程与应用》;20160731;第52卷(第14期);第27-31页 *

Also Published As

Publication number Publication date
CN106780551A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106780551B (zh) 一种三维运动目标检测方法和系统
Mian et al. Three-dimensional model-based object recognition and segmentation in cluttered scenes
CN110533722A (zh) 一种基于视觉词典的机器人快速重定位方法及系统
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
JP5800494B2 (ja) 特定領域選択装置、特定領域選択方法及びプログラム
CN105488770B (zh) 一种面向对象的机载激光雷达点云滤波方法
CN106023298B (zh) 基于局部泊松曲面重建的点云刚性配准方法
CN102804231B (zh) 三维场景的分段平面重建
Guo et al. Efficient center voting for object detection and 6D pose estimation in 3D point cloud
CN106373118B (zh) 可有效保留边界和局部特征的复杂曲面零件点云精简方法
CN111795704A (zh) 一种视觉点云地图的构建方法、装置
CN102460508B (zh) 图像识别方法和图像识别设备
JP2012128744A (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
Liu et al. Automatic buildings extraction from LiDAR data in urban area by neural oscillator network of visual cortex
CN108801268A (zh) 目标对象的定位方法、装置及机器人
CN108198190A (zh) 一种基于点云数据的单木分割方法及装置
CN105869166A (zh) 一种基于双目视觉的人体动作识别方法及系统
CN111539422B (zh) 基于Faster RCNN的飞行目标协同识别方法
Su et al. Extracting wood point cloud of individual trees based on geometric features
CN106096555A (zh) 三维面部检测的方法和装置
Özdemir et al. Automatic extraction of trees by using multiple return properties of the lidar point cloud
CN108182695A (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
CN111160111A (zh) 一种基于深度学习的人体关键点检测方法
JP2016099835A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113947770A (zh) 一种识别物体放置于智能箱柜不同区域的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221019

Address after: Room 1016, Block C, Haiyong International Building 2, No. 489, Lusong Road, High tech Zone, Changsha City, Hunan Province, 410221

Patentee after: Hunan Fenghua Intelligent Technology Co.,Ltd.

Address before: 410205 A645, room 39, Changsha central software park headquarters, No. 39, Jian Shan Road, hi tech Development Zone, Hunan.

Patentee before: HUNAN VISUALTOURING INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right