CN107657644A - 一种移动环境下稀疏场景流检测方法和装置 - Google Patents

一种移动环境下稀疏场景流检测方法和装置 Download PDF

Info

Publication number
CN107657644A
CN107657644A CN201710897706.6A CN201710897706A CN107657644A CN 107657644 A CN107657644 A CN 107657644A CN 201710897706 A CN201710897706 A CN 201710897706A CN 107657644 A CN107657644 A CN 107657644A
Authority
CN
China
Prior art keywords
image
double points
matching double
point
scene flows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710897706.6A
Other languages
English (en)
Other versions
CN107657644B (zh
Inventor
陈平
张凯
卢维
潘石柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710897706.6A priority Critical patent/CN107657644B/zh
Publication of CN107657644A publication Critical patent/CN107657644A/zh
Application granted granted Critical
Publication of CN107657644B publication Critical patent/CN107657644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种移动环境下稀疏场景流检测方法和装置，具体通过双目相机对移动环境中的图像进行采集，获取当前帧的左图和右图以及当前帧的上一帧的左图和右图共四个图像；基于这四个图像，获得与第一稀疏场景流相对应第一匹配点对集合；对所述第一匹配点对集合进行扩充，获得与第二稀疏场景流对应的第二匹配点对集合；获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流。根据所述双目相机的自运动场景流，可以获取所述双目相机的位姿状态和视觉里程计；根据所述运动目标场景流，可以获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。

Description

一种移动环境下稀疏场景流检测方法和装置
技术领域
本发明涉及图像处理和计算机视觉领域，尤其涉及一种移动环境下稀疏场景流检测方法和装置。
背景技术
随着软硬件设备性能的不断提高和人工智能技术的逐步发展，传统的固定状态下的静止场景分析正逐渐走向移动状态下的运动场景分析，与此同时移动平台下的视觉监控分析正受到越来越广泛地关注。
场景流是指实际场景固有目标的三维场景运动矢量，而光流是指实际场景投影图像的二维表面运动矢量，其中光流本质上是场景流在二维图像平面上的投影，因而场景流更能反映出实际目标的本质运动状态。引入场景流分析三维场景状态能够更有效地获取场景信息，并能够准确定位和快速跟踪三维场景目标，使得移动平台相较于传统的二维图像光流，能够实现场景语义分析和三维场景重建等感知功能。
最早的检测运动目标的技术主要集中于二维光流运动目标检测，多数方案依赖前后帧的背景差分进行建模检测，并未利用三维场景流作为运动目标检测手段，使得目标检测过程未能对前景与背景进行有效分离。后来出现了利用双目相机前后4帧图像获取稠密的场景流的方案，并通过迭代优化来获得准确度较高的深度和光流，使得目标检测过程耗时非常长而远达不到实时处理。或者利用双目相机前后4帧图像获取稀疏的场景流，然而难以获取低纹理区域的场景流，使得稀疏特征不能均匀分布于整幅图像而降低了检测的有效性。
可见，现有技术中至少存在如下技术问题：在检测运动目标时，通过获取稠密场景流进行检测时，会导致检测过程耗时长且不能实时处理数据，通过获取稀疏场景流进行检测时，难以获取低纹理区域的场景流，会导致检测准确度降低。
发明内容
本发明实施例通过提供一种移动环境下稀疏场景流检测方法和装置，用于解决现有技术中在检测运动目标时，通过获取稠密场景流进行检测时，会导致检测过程耗时长且不能实时处理数据，通过获取稀疏场景流进行检测时，难以获取低纹理区域的场景流，会导致检测精度降低的技术问题。
第一方面，本发明一实施例提供了一种移动环境下稀疏场景流检测方法，所述方法包括：
通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
可选的，在所述通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像之前，所述方法还包括：
将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。
可选的，所述基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，提取出第一匹配点对集合，包括：
对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
可选的，所述对所述第一匹配点对集合进行扩充，获得第二匹配点对集合，包括：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
可选的，对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合，包括：
获取基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
可选的，所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，包括：
获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
可选的，在所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流之后，所述方法还包括：
将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
第二方面，本发明一实施例提供了一种移动环境下稀疏场景流检测装置，所述装置包括：
获取模块，用于通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
第一获得模块，用于基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
第二获得模块，用于对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
第三获得模块，用于对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
第四获得模块，用于基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
可选的，所述装置还包括：
第五获得模块，用于在所述通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像之前，将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。
可选的，所述第一获得模块包括：
提取子模块，用于对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
第一获得子模块，用于对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
可选的，所述第二获得模块，具体用于：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
可选的，所述第三获得模块包括：
第二获得子模块，用于获得基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
第三获得子模块，用于利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
可选的，所述第四获得模块包括：
第四获得子模块，用于获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
第五获得子模块，用于根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
可选的，所述装置还包括：
第二获取模块，用于在所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流之后，将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
第三获取模块，用于将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
第三方面，本发明一实施例提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面实施例中所述方法的步骤。
第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例中所述方法的步骤。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于获取的是稀疏场景流，且对初始获取的稀疏场景流进行了匹配点对的扩充，因此在提高检测速度的同时，提高了检测的准确率和有效性。
附图说明
图1为本发明实施例提供的移动环境下稀疏场景流检测方法的流程图；
图2a为本发明实施例提供的采集的当前帧的左图和右图和当前帧的前一帧的左图和右图；
图2b为本发明实施例提供的场景投影示意图；
图2c为本发明实施例提供的视觉变换示意图；
图3a为本发明实施例提供的匹配特征点深度结果；
图3b为本发明实施例提供的匹配特征点光流结果；
图4a为本发明实施例提供的匹配点Delaunay三角网格化结果；
图4b为本发明实施例提供的匹配点迭代扩充结果；
图5a为本发明实施例提供的扩充匹配特征点深度结果；
图5b为本发明实施例提供的扩充匹配特征点光流结果；
图6为本发明实施例提供的当前帧左图运动目标检测结果；
图7为本发明实施例提供的移动环境下稀疏场景流检测方法的具体流程图；
图8为本发明实施例提供的移动环境下稀疏场景流检测的示意图。
具体实施方式
为了解决上述技术问题，本发明实施例中的技术方案的总体思路如下：
一种移动环境下稀疏场景流检测方法和装置，具体通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。根据所述双目相机的自运动场景流，可以获取所述双目相机的位姿状态和视觉里程计；根据所述运动目标场景流，可以获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，本发明实施例一提供了一种移动环境下稀疏场景流检测方法，所述方法包括：
S101，通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
S102，基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
S103，对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
S104，对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
S105，基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
在执行步骤S101之前，该方法还可以包括：
将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。
例如利用棋盘格对双目相机进行立体标定，获取双目相机的内外参数，相机内参数包括摄像机光心(cu,cv)、焦距和基线b，相机外参数包括相机的初始旋转平移矩阵[R|t]。
对于步骤S101，具体为，通过已经标定好的双目相机对移动环境中的图像进行采集，获取当前帧的左右两个图像以及当前帧的上一帧的左右两个图像，如图2a所示，即双目相机总共采集到四个图像，这四个图像为当前帧的左图ILC和右图IRC，以及当前帧的上一帧的左图ILP和右图IRP。
在执行完步骤S101之后，继续执行步骤S102，步骤S102具体包括：
对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
具体地，沿用前述例子，对双目相机采集到的当前帧的左右图像和当前帧的上一帧的左右图像进行极线校正，使得当前帧左右图像中的待匹配点，以及当前帧的上一帧的左右图像的待匹配点位于同一行上，并提取这四个图像中的每个图像中的鲁棒orb特征点和/或blob特征点，这些特征点的深度和光流结果分别如图3a和图3b所示。根据实际的工程需要，可以通过极线校正只提取这四个图像中的每个图像中的鲁棒orb特征点或blob特征点，也可以将鲁棒orb特征点和blob特征点都提取出来。
对提取出的这四个图像的特征点进行匹配，并通过这四个图像中的特征点的空间约束关系对误匹配特征点对进行剔除，进而获得这四个图像的可靠的匹配点对即第一匹配点对集合。如图2b中黑点所示，则任意匹配点对pi当前帧左图ILC的深度光流和场景流分别为：
其中，下标LC和RC分别表示当前帧左图和右图，LP和RP分别表示当前帧的前一帧的左图和右图；表示当前帧左图中的第i个特征点的坐标， 表示当前帧的前一帧的左图中的第i个特征点的坐标，cLu、cLv表示双目相机中左相机的光心，对于除当前帧左图ILC的其他图，其中的匹配点对的深度、光流和场景流与上述计算方法相同，在此不再赘述。
在执行完步骤S102之后，继续执行步骤S103，步骤S103具体包括：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；其中，在进行第一次扩充时，当前的扩充对象为第一匹配点对集合；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
具体地，沿用前述例子，执行步骤1：对于低纹理区域进行特征提取难以获得足够的特征点，在此将获取的图像匹配点对(第一匹配点对集合中的匹配点对)进行Delaunay此处仅为举例，也可以采用其他方式对获取的图像匹配点对进行三角网格化)三角网格化，如图4a所示，从而建立起各匹配点对间的空间拓扑关系，特别是相邻匹配点对间的相互约束关系；
执行步骤2，遍历所有Delaunay三角网格的边并判断其是否大于给定阈值η(20<η<50)，即满足公式4，若其满足条件则选取该边位于4帧图像的中心点根据交比不变性原理可知，若该边的区域没有运动目标进入，则4个中心点的灰度变化将仍保持一致；
执行步骤3，对于一个中心点对中的4个中心点进行相似度匹配，根据NCC相似度对M×N窗口大小的Consus变换图像I′XY进行匹配，若NCC相似度大于给定阈值ξ(0.6<ξ<0.9)，则将其加为新的匹配点对，重复过程步骤1至步骤3直至没有新的匹配点对加入，获得第二匹配点对集合，如图4b所示。稀疏匹配点对扩充后的深度和光流结果分别如图5a和图5b所示。一中心点对的相似度NCC的计算公式如下：
其中，XkYk＝LC,RC,LP,RP，k＝1～2且X1Y1≠X2Y2。
在执行完步骤S103之后，继续执行步骤S104，步骤S104具体包括：
获取基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
在执行完步骤S104之后，继续执行步骤S105，步骤S105具体包括：
获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
在执行完步骤S105之后，将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
具体地，沿用前述例子，在根据步骤S103完成对第一匹配点对集合的扩充，获得第二匹配点对集合之后，
以当前帧左图ILC作为基准图像(此处仅为举例，可以选择左右相机获得的当前帧的左图和右图，当前帧的上一帧的左图和右图中的任一图像作为基准图像)，利用RANSAC算法获得其余三帧图像IRC、ILP、IRP至该帧图像的射影变换矩阵如图2c所示，同时获取满足射影变换矩阵的内点匹配点对集合和外点匹配点对集合其中射影变换矩阵(也可以称为单应性矩阵)与匹配点对的关系如下：
其中，XY＝RC,LP,RP。
利用射影变换矩阵获得的内点匹配点对集合获得与所述内点匹配点对集合对应的所述双目相机的自运动场景流，如图6中除第一区域之外的点(图示中椭圆形区域之外的黑色的点)的集合。利用双目相机的自运动场景流获取双目相机的位姿，即将双目相机的自运动场景流变换至三维坐标系下获得旋转平移变换矩阵，根据该旋转平移变换矩阵可以获取得双目相机的位姿和视觉里程计；
利用射影变换获得的外点匹配点对集合如图6中第一区域的点(图示中椭圆形区域内灰白色的点)所示，将运动不符合双目相机自身运动的点提取出来，并根据深度与光流信息的邻域相关性将其中的噪声点对剔除，同样根据剔除后的外点匹配点对集合，获得运动目标场景流，将运动目标场景流变换至三维坐标系下获得旋转平移变换矩阵，根据该旋转平移变换矩阵可以检测到的运动目标的运动轨迹和/或预测该运动目标的运动状态，即外点匹配点对集合可用于运动目标的定位、识别和跟踪。
如图7所示，为移动环境下稀疏场景流检测方法的示例性流程图，该图与前述示例相对应。首先通过过双目相机对移动环境下的图像进行采集并获取当前帧的左图和右图以及当前帧的前一帧的左图和右图，对这四个图进行校正和特征点提取，在进行稀疏特征匹配后，获得第一匹配点对集合；然后利用Delaunay三角网格的空间约束关系获取更多的稀疏特征匹配点对来占据大部分图像区域，对第一匹配点对集合进行扩充，从而获得第二匹配点对集合；最后划分第二匹配点对集合中的内点匹配点对集合(即RANSAC内点数据)和外点匹配点对集合(即RANSAC外点数据)，根据内点匹配点对集合和外点匹配点对集合获得稀疏场景流中的相机自运动场景流(与RANSAC内点数据相对应)和运动目标场景流(与RANSAC外点数据相对应)以检测移动环境中的运动目标和检测双目相机的移动平台的视觉里程计。
如图8所示，本发明实施例二提供了一种移动环境下稀疏场景流检测装置，所述装置包括：
获取模块201，用于通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
第一获得模块202，用于基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
第二获得模块203，用于对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
第三获得模块204，用于对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
第四获得模块205，用于基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
该装置还包括第五获得模块，用于在获取模块201通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像之前，将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。例如利用棋盘格对双目相机进行立体标定，获取双目相机的内外参数，相机内参数包括摄像机光心(cu,cv)、焦距和基线b，相机外参数包括相机的初始旋转平移矩阵[R|t]。
该装置中第一获得模块202包括：
提取子模块，用于对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
第一获得子模块，用于对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
沿用前述例子，提取子模块，对双目相机采集到的当前帧的左右图像和当前帧的上一帧的左右图像进行极线校正，使得当前帧左右图像中的待匹配点，以及当前帧的上一帧的左右图像的待匹配点位于同一行上，并提取这四个图像中的每个图像中的鲁棒orb特征点和/或blob特征点，这些特征点的深度和光流结果分别如图3a和图3b所示。根据实际的工程需要，可以通过极线校正只提取这四个图像中的每个图像中的鲁棒orb特征点或blob特征点，也可以将鲁棒orb特征点和blob特征点都提取出来。
第一获得子模块，对提取出的这四个图像的特征点进行匹配，并通过这四个图像中的特征点的空间约束关系对误匹配特征点对进行剔除，进而获得这四个图像的可靠的匹配点对即第一匹配点对集合。如图2b中黑点所示，则任意匹配点对pi当前帧左图ILC的深度光流和场景流分别为，
其中，下标LC和RC分别表示当前帧左图和右图，LP和RP分别表示当前帧的前一帧的左图和右图；表示当前帧左图中的第i个特征点的坐标， 表示当前帧的前一帧的左图中的第i个特征点的坐标，cLu、cLv表示双目相机中左相机的光心，对于除当前帧左图ILC的其他图，其中的匹配点对的深度、光流和场景流与上述计算方法相同，在此不再赘述。
该装置中的第二获得模块203，具体用于：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；其中，在进行第一次扩充时，当前的扩充对象为第一匹配点对集合；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
具体地，沿用前述例子，执行步骤1：对于低纹理区域进行特征提取难以获得足够的特征点，在此将获取的图像匹配点对(第一匹配点对集合中的匹配点对)进行Delaunay此处仅为举例，也可以采用其他方式对获取的图像匹配点对进行三角网格化)三角网格化，如图4a所示，从而建立起各匹配点对间的空间拓扑关系，特别是相邻匹配点对间的相互约束关系；
执行步骤2，遍历所有Delaunay三角网格的边并判断其是否大于给定阈值η(20<η<50)，即满足公式4，若其满足条件则选取该边位于4帧图像的中心点根据交比不变性原理可知，若该边的区域没有运动目标进入，则4个中心点的灰度变化将仍保持一致；
执行步骤3，对于一个中心点对中的4个中心点进行相似度匹配，根据NCC相似度对M×N窗口大小的Consus变换图像I′XY进行匹配，若NCC相似度大于给定阈值ξ(0.6<ξ<0.9)，则将其加为新的匹配点对，重复过程步骤1至步骤3直至没有新的匹配点对加入，获得第二匹配点对集合，如图4b所示。稀疏匹配点对扩充后的深度和光流结果分别如图5a和图5b所示。
一中心点对的相似度NCC的计算公式如下：
其中，XkYk＝LC,RC,LP,RP，k＝1～2且X1Y1≠X2Y2。
该装置中的第三获得模块204包括：
第二获得子模块，用于获得基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
第三获得子模块，用于利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
该装置中的第三获得模块205包括：
第四获得子模块，用于获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
第五获得子模块，用于根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
该装置还包括：第二获取模块，用于在第四获得模块205基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流之后，将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
第三获取模块，用于将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
具体地，沿用前述例子，在第二获得模块203完成对第一匹配点对集合的扩充，获得第二匹配点对集合之后，以当前帧左图ILC作为基准图像(此处仅为举例，可以选择左右相机获得的当前帧的左图和右图，当前帧的上一帧的左图和右图中的任一图像作为基准图像)，第三获得模块204中的第二获得子模块利用RANSAC算法获得其余三帧图像IRC、ILP、IRP至该帧图像的射影变换矩阵 如图2c所示，同时第三获得模块204中的第三获得子模块获取满足射影变换矩阵的内点匹配点对集合和外点匹配点对集合其中射影变换矩阵(也可以称为单应性矩阵)与匹配点对的关系如下：
其中，XY＝RC,LP,RP。
第四获得模块205中的第四获得子模块利用射影变换矩阵获得的内点匹配点对集合获得与内点匹配点对集合对应的双目相机的自运动场景流，如图6中除第一区域之外的点(图示中椭圆形区域之外的黑色的点)的集合。利用双目相机的自运动场景流获取双目相机的位姿，即将双目相机的自运动场景流变换至三维坐标系下获得旋转平移变换矩阵，根据该旋转平移变换矩阵可以获取得双目相机的位姿和视觉里程计；
第四获得模块205中的第五获得子模块利用射影变换获得的外点匹配点对集合如图6中第一区域的点(图示中椭圆形区域内灰白色的点)所示，将运动不符合双目相机自身运动的点提取出来，并根据深度与光流信息的邻域相关性将其中的噪声点对剔除，同样根据剔除后的外点匹配点对集合，获得运动目标场景流，将运动目标场景流变换至三维坐标系下获得旋转平移变换矩阵，根据该旋转平移变换矩阵可以检测到的运动目标的运动轨迹和/或预测该运动目标的运动状态，即外点匹配点对集合可用于运动目标的定位、识别和跟踪。
本发明实施例三提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如实施例一中所述方法的步骤。
具体的，构建由一套完整的由计算机、双目相机和移动平台组成的移动环境下的稀疏场景流检测系统，用于实现在GPU加速条件下的移动环境下双目相机自身的实时场景流检测和运动目标的实时场景流检测。
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一中所述方法的步骤
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
由于获取的是稀疏场景流，且对初始获取的稀疏场景流进行了匹配点对的扩充，因此在提高检测速度的同时，提高了检测的准确率和有效性。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种移动环境下稀疏场景流检测方法，其特征在于，所述方法包括：
通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
2.如权利要求1所述的方法，其特征在于，在所述通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像之前，所述方法还包括：
将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。
3.如权利要求1或2所述的方法，其特征在于，所述基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，提取出第一匹配点对集合，包括：
对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
4.如权利要求1或2所述的方法，其特征在于，所述对所述第一匹配点对集合进行扩充，获得第二匹配点对集合，包括：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
5.如权利要求1或2所述的方法，其特征在于，对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合，包括：
获取基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
6.如权利要求1或2所述的方法，其特征在于，所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，包括：
获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
7.如权利要求1或2所述的方法，其特征在于，在所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流之后，所述方法还包括：
将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
8.一种移动环境下稀疏场景流检测装置，其特征在于，所述装置包括：
获取模块，用于通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像；
第一获得模块，用于基于所述第一图像、所述第二图像、所述第三图像和所述第四图像，获得第一匹配点对集合，其中，所述第一匹配点对集合与第一稀疏场景流相对应；
第二获得模块，用于对所述第一匹配点对集合进行扩充，获得第二匹配点对集合；
第三获得模块，用于对所述第二匹配点对集合进行划分，获得第二匹配点对集合中的内点匹配点对集合和外点匹配点对集合；
第四获得模块，用于基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流，其中，所述第二匹配点对集合与所述第二稀疏场景流相对应。
9.如权利要求1所述的装置，其特征在于，所述装置还包括：
第五获得模块，用于在所述通过双目相机对移动环境中的图像进行采集，获取当前帧的第一图像和第二图像以及当前帧的上一帧的第三图像和第四图像之前，将双目相机的左相机和右相机平行放置，使得所述左相机的光轴和所述右相机的光轴平行，对所述双相机进行立体标定，获得所述双目相机的内参数和外参数。
10.如权利要求8或9所述的装置，其特征在于，所述第一获得模块包括：
提取子模块，用于对所述第一图像、所述第二图像、所述第三图像和所述第四图像进行极线校正，提取出所述第一图像、所述第二图像、所述第三图像和所述第四图像中的orb特征点和/或blob特征点；
第一获得子模块，用于对所述orb特征点和/或blob特征点进行匹配，并通过所述orb特征点和/或blob特征点的空间约束关系剔除误匹配特征点，获得第一匹配点对集合。
11.如权利要求8或9所述的装置，其特征在于，所述第二获得模块，具体用于：
对所述第一匹配点对集合进行迭代扩充，直至没有新的匹配点对加入相应的扩充后的匹配点对集合，获得第二匹配点对集合，其中，每一次的扩充对象为上一次的扩充结果，且每一次扩充包括以下操作：
确定当前的扩充对象；
对当前扩充对象进行三角网格化，获得所述当前扩充对象对应的三角网格集合；
对所述三角网格集合中大于第一预设阈值的边的中点对进行提取；
对所述中点对中的中点进行相似度匹配并获得每个中点对的相似度；
将相似度大于第二预设阈值的中点对作为新的匹配点对加入所述当前的扩充对象，获得相应的扩充后的匹配点对集合作为扩充结果。
12.如权利要求8或9所述的装置，其特征在于，所述第三获得模块包括：
第二获得子模块，用于获得基准图像与所述第一至第四图像中除所述基准图像的其余图像的射影变换矩阵，其中，所述基准图像为所述第一至第四图像中的任一图像；
第三获得子模块，用于利用所述射影变换矩阵获得内点匹配点对集合和外点匹配点对集合。
13.如权利要求8或9所述的装置，其特征在于，所述第四获得模块包括：
第四获得子模块，用于获得第二稀疏场景流中的与所述内点匹配点对集合对应的所述双目相机的自运动场景流；
第五获得子模块，用于根据所述外点匹配点对集合中每个匹配点对的深度信息的邻域相关性和光流信息的邻域相关性，剔除所述外点匹配点对集合中的噪声点对，从而获得第二稀疏场景流中所述运动目标场景流。
14.如权利要求8或9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于在所述基于所述内点匹配点对集合和所述外点匹配点对集合，获得第二稀疏场景流中的所述双目相机的自运动场景流和运动目标场景流之后，将所述双目相机的自运动场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述双目相机的位姿状态和视觉里程计；
第三获取模块，用于将所述运动目标场景流变换至三维坐标系下的旋转平移变换矩阵，获取所述运动目标的运动轨迹和/或预测所述运动目标的运动状态。
15.一种计算机装置，其特征在于，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN201710897706.6A 2017-09-28 2017-09-28 一种移动环境下稀疏场景流检测方法和装置 Active CN107657644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710897706.6A CN107657644B (zh) 2017-09-28 2017-09-28 一种移动环境下稀疏场景流检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710897706.6A CN107657644B (zh) 2017-09-28 2017-09-28 一种移动环境下稀疏场景流检测方法和装置

Publications (2)

Publication Number Publication Date
CN107657644A true CN107657644A (zh) 2018-02-02
CN107657644B CN107657644B (zh) 2019-11-15

Family

ID=61116745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710897706.6A Active CN107657644B (zh) 2017-09-28 2017-09-28 一种移动环境下稀疏场景流检测方法和装置

Country Status (1)

Country Link
CN (1) CN107657644B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN110207722A (zh) * 2019-06-11 2019-09-06 远形时空科技（北京）有限公司 一种自动化标定相机里程计系统及方法
CN110264455A (zh) * 2019-06-19 2019-09-20 北京市商汤科技开发有限公司 图像处理、神经网络训练方法及装置、存储介质
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111814602A (zh) * 2020-06-23 2020-10-23 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN112614151A (zh) * 2021-03-08 2021-04-06 浙江大华技术股份有限公司 运动事件检测方法、电子设备及计算机可读存储介质
CN113281718A (zh) * 2021-06-30 2021-08-20 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
WO2021163928A1 (zh) * 2020-02-19 2021-08-26 华为技术有限公司 光流获取方法和装置
CN118230169A (zh) * 2024-04-12 2024-06-21 西华大学 一种基于飞行时间的场景流获取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和系统
CN103955948A (zh) * 2014-04-03 2014-07-30 西北工业大学 一种动态环境下的空间运动目标检测方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
EP3065107A1 (en) * 2015-03-04 2016-09-07 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
CN106384361A (zh) * 2016-09-14 2017-02-08 西安理工大学 多视环境中基于水平集函数演化的非刚性目标场景流估计
CN106485675A (zh) * 2016-09-27 2017-03-08 哈尔滨工程大学 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
CN106952292A (zh) * 2017-03-14 2017-07-14 哈尔滨工程大学 基于6自由度场景流聚类的3d运动目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和系统
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN103955948A (zh) * 2014-04-03 2014-07-30 西北工业大学 一种动态环境下的空间运动目标检测方法
EP3065107A1 (en) * 2015-03-04 2016-09-07 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
CN106384361A (zh) * 2016-09-14 2017-02-08 西安理工大学 多视环境中基于水平集函数演化的非刚性目标场景流估计
CN106485675A (zh) * 2016-09-27 2017-03-08 哈尔滨工程大学 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
CN106952292A (zh) * 2017-03-14 2017-07-14 哈尔滨工程大学 基于6自由度场景流聚类的3d运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIP LENZ,等: ""Sparse Scene Flow Segmentation for Moving Object Detection in Urban Environments"", 《2011 IEEE INTELLIGENT VEHICLES SYMPOIUM》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN110207722A (zh) * 2019-06-11 2019-09-06 远形时空科技（北京）有限公司 一种自动化标定相机里程计系统及方法
CN110264455A (zh) * 2019-06-19 2019-09-20 北京市商汤科技开发有限公司 图像处理、神经网络训练方法及装置、存储介质
WO2021163928A1 (zh) * 2020-02-19 2021-08-26 华为技术有限公司 光流获取方法和装置
CN115104125A (zh) * 2020-02-19 2022-09-23 华为技术有限公司 光流获取方法和装置
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111652900B (zh) * 2020-05-29 2023-09-29 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储介质
CN111814602B (zh) * 2020-06-23 2022-06-17 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN111814602A (zh) * 2020-06-23 2020-10-23 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN112614151A (zh) * 2021-03-08 2021-04-06 浙江大华技术股份有限公司 运动事件检测方法、电子设备及计算机可读存储介质
CN113281718A (zh) * 2021-06-30 2021-08-20 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
CN113281718B (zh) * 2021-06-30 2024-03-22 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
CN118230169A (zh) * 2024-04-12 2024-06-21 西华大学 一种基于飞行时间的场景流获取方法

Also Published As

Publication number Publication date
CN107657644B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN107657644B (zh) 一种移动环境下稀疏场景流检测方法和装置
CN103988226B (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
Kamencay et al. Improved Depth Map Estimation from Stereo Images Based on Hybrid Method.
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
KR101616926B1 (ko) 영상 처리 장치 및 방법
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN107886120A (zh) 用于目标检测跟踪的方法和装置
Fouhey et al. Multiple plane detection in image pairs using j-linkage
JP2009237845A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
WO2013029673A1 (en) Method of detecting and describing features from an intensity image
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN113674400A (zh) 基于重定位技术的光谱三维重建方法、系统及存储介质
CN115546113A (zh) 掌子面裂隙图像与前方三维结构参数预测方法及系统
Deng et al. Binocular video-based 3D reconstruction and length quantification of cracks in concrete structures
Mojidra et al. Vision-based fatigue crack detection using global motion compensation and video feature tracking
Caporali et al. Deformable linear objects 3D shape estimation and tracking from multiple 2D views
Wietrzykowski et al. Stereo plane R-CNN: Accurate scene geometry reconstruction using planar segments and camera-agnostic representation
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
Shao A Monocular SLAM System Based on the ORB Features
Liao et al. High completeness multi-view stereo for dense reconstruction of large-scale urban scenes
CN117036235A (zh) 一种继电保护柜端子排线序检测方法
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code
Onmek et al. Evaluation of underwater 3D reconstruction methods for Archaeological Objects: Case study of Anchor at Mediterranean Sea
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Chen et al. Multiview Stereo via Noise Suppression PatchMatch

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant