CN107301656A - 一种基于纤维丛理论的物体运动的视觉感知方法 - Google Patents

一种基于纤维丛理论的物体运动的视觉感知方法 Download PDF

Info

Publication number
CN107301656A
CN107301656A CN201710475132.3A CN201710475132A CN107301656A CN 107301656 A CN107301656 A CN 107301656A CN 201710475132 A CN201710475132 A CN 201710475132A CN 107301656 A CN107301656 A CN 107301656A
Authority
CN
China
Prior art keywords
visually
manifold
bundletheory
feature
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710475132.3A
Other languages
English (en)
Inventor
王红军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710475132.3A priority Critical patent/CN107301656A/zh
Publication of CN107301656A publication Critical patent/CN107301656A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于纤维丛理论的物体运动的视觉感知方法，旨在说明如何通过视觉的方法感知物体做了何种运动，更进一步的描述清楚物体运动的模型是什么，以及每一种运动的特征是什么，如果把物体看成一个流形，那么直观上来看，这个流形物体，嵌入在了欧氏空间内，这个流形可以看成是物体的位形空间元素，流形上承载了物体的形状纹理、色彩、材质等信息，可以执行物体的视觉识别，另外，物体上每点的运动信息则是由流形上相应点的纤维空间承载，由此，代表整个流形与纤维的纤维丛则携带了物体整体的运动信息，在纤维丛上可以建立物体的运动模型并且计算其运动特征，这很自然地成为一种物体运动的视觉感知方法。

Description

一种基于纤维丛理论的物体运动的视觉感知方法
技术领域
本发明涉及人工智能、机器视觉等技术概念，特别是手势识别方面，如果通过机器视觉能对手的运动精确建模，那么势必会对手势识别应用带来颠覆性的发展，进而推动一般性的物体运动的视觉感知技术的发展。根据分析力学、Lagrange拉格朗日函数、Hamilton哈密顿函数、流形、纤维丛理论的结合，给“物体运动的视觉感知”这一方向带来新的思考。
背景技术
随着近些年工业机器人的发展，带动了服务机器人行业的逐渐掘起，同时从2014年开始的智能硬件领域也开始突起，根据国际机器人联盟的统计，2015年服务机器人销售额将达85亿美元，并且保持较高的20％～30％增长率，在智能硬件领域，据艾瑞研究，2014年全球智能硬件装机量达到60亿台，预计2017年将超过140亿台。
在市场高速发展的背后，问题同样明显，一方面市场的潜力还远未挖掘出来，另一方面，机器人及智能硬件进入服务行业也存在着一些技术难点。
物体的视觉识别方面，虽是一大难点，但也有些技术性尝试往这方面攻关，例如专利《一种基于三维栅格地图的物体整体识别方法》与《一种基于三维栅格地图的环境特征的相似性度量方法》中，提到一类方法如何从“形状”、“颜色”、“材质”等方面来对物体进行识别。这里我们要解决的是：物体识别之后，如何所获取物体的运动信息，以及这些运动信息是如何表示与计算的。
发明目的
本发明的主要目的就是解决视觉是如何感知物体的运动信息的，物体的运动信息如何表示、存储与计算。
技术方案
本发明的目的是这样实现的：通过相关设备及算法，例如激光雷达、CCD、CMOS、点云配准算法、点云降噪算法等，持续获取实际环境中物体的点云信息，根据序列化的点云信息，来分析物体的运动信息，后续处理步骤如下：
(1)通过环境或物体的点云数据，计算出环境或物体相应的全局性或局部性特征张量及特征谱值。
(2)根据相邻两帧观测的点云数据及其特征，通过匹配与配准，找到所有特征位置的前后移动向量场；
(3)特征位置可以看成物体的位形在流形上的表示，移动向量看成是流形上相应位置的纤维，整体上纤维丛承载了物体的整个运动空间；
(4)逐维计算移动向量在流形上的分布特征，最后得出一个与移动向量同维的特征谱向量，其唯一代表了这个运动信息。
本发明所使用的系统组成如下：采集系统、视觉特征系统、运动感知系统。这三个系统是按照功能设置的软件系统，各子系统具体功能如下：
*采集系统：持续地以一定的帧率采集视野内的环境及物体信息，
*视觉特征系统：接收采集系统的数据并计算每帧信息的视觉特征，
*运动感知系统：匹配帧间的视觉特征并提取运动信息、计算运动特征。
附图说明：
图1是本发明方法所用系统组成图
图2是挥手的序列帧
图3是帧间物体的配准
图4是帧间物体运动信息的提取
具体实施方式
下面结合附图，说明本发明的实施方式。
本发明方法所用的系统整体结构可参考附图1，它有五个子系统组成，具体包含如下步骤：
第一步
在采集系统中，通过相关设备传感器采集周围环境或物体的点云信息，通过降噪、滤波等方法优化采集到的信息数据，并对外输出环境或物体的点云数据。
第二步
在视觉特征系统中，接收采集系统传递过来的点云数据，做视觉感知计算，获取环境或物体的全局性或局部性特征张量及特征谱值，这里不局限于某一个视觉感知算法，这里我们可以使用专利《一种基于三维栅格地图的环境特征表示与识别的方法》中所述的算法来加以计算处理点云数据，如图2所示，实际手臂挥手的序列帖频。
第三步
在运动感知系统中，根据视觉特征系统中输出的特征张量与特征谱，对帧间的特征数据进行匹配与配准，从而提取出运动物体的移动向量场，如图3所示，通过相关的匹配与配准算法，提取出整条手臂上的移动向量场，其中图上只显示了手臂上5个点的移动向量，需要说明的是，这里只是代表，在实际运算中，会匹配出很多的点。
第四步
在运动感知系统中，逐维分析移动向量在物体流形上的分布特征，这里可以共享视觉特征系统中的一些中间计算结果，在视觉特征系统中，计算物体的形状特征时，用的是物体的形状曲率或与曲率相关的数据，在这里我们可以用移动向量的数据代替之，这样逐维分析后，就可以得出与移动向量同维的一个特征谱向量。
在图4中，给出了物体运动部分的移动向量场，我们分别分析所有运动点在x维度、y维度、z维度的分布特征，最后得出此帧间运动的特征向量谱T.P＝[0.6720,-0.6751,-0.6535]，不同的运动状态之间的比较就转化为不同特征向量谱之间的比较，也就是说，可以通过识别特征向量谱来达到运动感知的目的。第五步
在运动感知系统中，特征谱向量代表了帧间物体的运动信息，不同的特征谱向量表示了不同的运动形式；运动感知系统输出特征谱向量，供外部接口使用。
综上，我们可以看到，通过本发明方法，成功地解决了物体运动信息的建模、表示与计算，本发明的方法可以感知所有刚体或非刚体物体的运动，在视觉方面，除去物体形状识别外，对物体的运动识别打下坚实的理论基础。

Claims (7)

1.一种基于纤维丛理论的物体运动的视觉感知方法，该方法是把物体看成一个流形，并持续分析空间环境中的物体，以得到物体的运动信息，基于时间序列的物体运动，可以等价为一个流形间的单参微分同胚映射φt:M→M′，物体的运动特征可以视为此单参微分同胚映射的特征，其实现按如下步骤给出：
(1)通过相关的设备及算法，如激光雷达、CCD、CMOS、视觉传感器或点云配准算法、点云降噪算法等，获取实际物体及背景环境的点云数据；
(2)在点云数据中，通过计算全局性或局部性特征，找出感兴趣的物体；
(3)在相邻帧中，通过物体的特征匹配，计算物体的运动信息，得出物体上各部的运动广义速度或广义动量；
(4)根据广义速度或广义动量，在物体流形的切丛或余切丛内，计算物体的运动特征；
(5)同一个物体，不同的运动特征代表不同的运动状态。
2.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，物体在一时间段内的运动状态，可以用一序列单参微分同胚映射的特征表示。
3.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，在纤维丛上分析物体运动的视觉感知特征，这里的纤维丛可以是但不限于切丛、余切丛。
4.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，通过相邻帧中相似物体特征的匹配来确定物体全局或每个局部的运动信息。
5.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，运动信息的每一个维度的数据在物体流形表面形成一个分布，分布的特征就是运动信息的某一维度数据的特征。
6.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，物体的流形或纤维丛表示可以是实的也可以是复的。
7.如权利要求1所述的一种基于纤维丛理论的物体运动的视觉感知方法，其特征在于，物体运动特征的表示可以是实的也可以是复的。
CN201710475132.3A 2017-06-21 2017-06-21 一种基于纤维丛理论的物体运动的视觉感知方法 Pending CN107301656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710475132.3A CN107301656A (zh) 2017-06-21 2017-06-21 一种基于纤维丛理论的物体运动的视觉感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710475132.3A CN107301656A (zh) 2017-06-21 2017-06-21 一种基于纤维丛理论的物体运动的视觉感知方法

Publications (1)

Publication Number Publication Date
CN107301656A true CN107301656A (zh) 2017-10-27

Family

ID=60134849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710475132.3A Pending CN107301656A (zh) 2017-06-21 2017-06-21 一种基于纤维丛理论的物体运动的视觉感知方法

Country Status (1)

Country Link
CN (1) CN107301656A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060083423A1 (en) * 2004-10-14 2006-04-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
CN1773450A (zh) * 2004-11-08 2006-05-17 刘荣杰 直数
CN101350069A (zh) * 2007-06-15 2009-01-21 三菱电机株式会社 从训练数据构建分类器并使用分类器检测在测试数据中的移动对象的计算机实现方法
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法
CN104317391A (zh) * 2014-09-24 2015-01-28 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN105205859A (zh) * 2015-09-22 2015-12-30 王红军 一种基于三维栅格地图的环境特征的相似性度量方法
CN106156714A (zh) * 2015-04-24 2016-11-23 北京雷动云合智能技术有限公司 基于骨骼关节特征和表面特征融合的人体行为识别方法
CN106447710A (zh) * 2016-04-22 2017-02-22 孔德兴 一种基于微分流行的多b值DWI图像评估的方法
CN106556412A (zh) * 2016-11-01 2017-04-05 哈尔滨工程大学 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060083423A1 (en) * 2004-10-14 2006-04-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
CN1773450A (zh) * 2004-11-08 2006-05-17 刘荣杰 直数
CN101350069A (zh) * 2007-06-15 2009-01-21 三菱电机株式会社 从训练数据构建分类器并使用分类器检测在测试数据中的移动对象的计算机实现方法
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法
CN104317391A (zh) * 2014-09-24 2015-01-28 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN106156714A (zh) * 2015-04-24 2016-11-23 北京雷动云合智能技术有限公司 基于骨骼关节特征和表面特征融合的人体行为识别方法
CN105205859A (zh) * 2015-09-22 2015-12-30 王红军 一种基于三维栅格地图的环境特征的相似性度量方法
CN106447710A (zh) * 2016-04-22 2017-02-22 孔德兴 一种基于微分流行的多b值DWI图像评估的方法
CN106556412A (zh) * 2016-11-01 2017-04-05 哈尔滨工程大学 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HANGYI JIANG 等: "DtiStudio：Resource program for diffusion tensor computation and fiber bundle tracking", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》 *
何冰洁: "Hamilton系统的大范围周期轨道之估计", 《中国优秀博硕士学位论文全文数据库（硕士） 基础科学辑》 *
张炯: "基于流形学习的纤维丛学习算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张瑞海 等: "哈密顿力学的纤维丛结构", 《福州大学学报(自然科学版)》 *
王琪: "一种单参数映射族的周期倍增分歧", 《上海建材学院学报》 *

Similar Documents

Publication Publication Date Title
CN110706248B (zh) 一种基于slam的视觉感知建图方法及移动机器人
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
Pătrăucean et al. State of research in automatic as-built modelling
CN100407798C (zh) 三维几何建模系统和方法
CN102708385B (zh) 用于视频监控场景的三维车型比对识别的方法和系统
Ren et al. Depth camera based hand gesture recognition and its applications in human-computer-interaction
CN102313547B (zh) 基于手绘轮廓语义地图的移动机器人视觉导航方法
Ushani et al. A learning approach for real-time temporal scene flow estimation from lidar data
CN104376596B (zh) 一种基于单幅图像的三维场景结构建模与注册方法
CN101509781B (zh) 基于单目摄像头的步行机器人定位系统
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN109061703A (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
CN103268629B (zh) 三维人体形态和姿态的无标记点实时复原方法
CN102938142A (zh) 基于Kinect的室内LiDAR缺失数据填补方法
CN110060299A (zh) 基于双目视觉技术的输电通道内危险源识别和定位方法
CN106127125A (zh) 基于人体行为特征的分布式dtw人体行为意图识别方法
CN102853830A (zh) 一种基于一般物体识别的机器人视觉导航方法
CN103970901B (zh) 一种地理信息图形数据整合方法
Chun-Lei et al. Intelligent detection for tunnel shotcrete spray using deep learning and LiDAR
Gao et al. Pose refinement with joint optimization of visual points and lines
Li et al. Inlier extraction for point cloud registration via supervoxel guidance and game theory optimization
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
Hou et al. Multi-modal feature fusion for 3D object detection in the production workshop
CN104063893A (zh) 基于格式塔心理学准则和多标签图割最小化的城市建筑可视化的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171027