CN108303094A - 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法 - Google Patents

基于多视觉传感器融合阵列的定位导航系统及其定位导航方法 Download PDF

Info

Publication number
CN108303094A
CN108303094A CN201810098026.2A CN201810098026A CN108303094A CN 108303094 A CN108303094 A CN 108303094A CN 201810098026 A CN201810098026 A CN 201810098026A CN 108303094 A CN108303094 A CN 108303094A
Authority
CN
China
Prior art keywords
module
matrix
array
value
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810098026.2A
Other languages
English (en)
Inventor
翁凯剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pioneer Technology Co Ltd
Original Assignee
Shenzhen Pioneer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pioneer Technology Co Ltd filed Critical Shenzhen Pioneer Technology Co Ltd
Priority to CN201810098026.2A priority Critical patent/CN108303094A/zh
Publication of CN108303094A publication Critical patent/CN108303094A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多视觉传感器融合阵列的定位导航系统，该导航系统利用其中的视觉传感器融合阵列模块通过视觉传感器获取目标和周边环境信息，物体识别及跟踪算法模块能够获取周边物体性质、活动性、干扰性的判断，两项结合输入至相对位置感知模块，得到物体和环境之间的相对空间关系，规划出具体路线，并进行导航。能够为小型家庭清洁机器人规划出合理的路线，引导其高速有效得完成工作。

Description

基于多视觉传感器融合阵列的定位导航系统及其定位导航 方法
【技术领域】
本发明涉及一种现代化智能设备，尤其涉及小型家用型可移动式电子设备的定位导航技术领域。
【背景技术】
现有产品中家用电子设备的智能化程度以日新月异的速度不断更新和迭代，产品的智能化程度都在不断提升，比如电脑，还有智能中控系统等。最为常见的具有代表性的就算自动清洁设备，比如说扫地机器人，其实就是一种自动计算轨迹运转吸尘器。
现有的扫地机器人的轨迹系统大部分沿用了常规模式，即全覆盖轨迹路线，然后有碰撞识别系统，即遇到碰撞或者障碍物后随机改变方向，更换路线，如果运行时间长，也能够将有限面积室内清洁一遍。但是在实际使用种，会发现这种机器人在使用上存在路线规划不合理，行为模式僵硬，往往会存在一些死角和路线上的漏洞，不够智能和合理。
【发明内容】
本发明针对以上情况提出了一种引入视觉系统，通过视觉识别技术来自动定位规划轨迹，智能完成导航巡航的定位导航系统，并将该系统应用到智能移动机器人上，进行有效地定位导航。利用视觉传感器融合阵列获取周边环境信息，结合识别定位算法确定机器本身和周围环境的相对位置关系，通过导航和路径规划系统智能完成导航。
本发明所涉及的基于多视觉传感器融合阵列的定位导航系统，其特征在于，该定位导航系统，包括以下模块构成：视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块，其中视觉传感器融合阵列模块通过视觉传感器获取目标和周边环境信息，物体识别及跟踪算法模块能够获取周边物体性质、活动性、干扰性的判断，两项结合输入至相对位置感知模块，得到物体和环境之间的相对空间关系，以及判断空间关系是否会变化，数据输入并结合导航路径规划模块，规划出具体路线，并进行导航。
其中视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，该处理中枢利用多套摄像机多画面识别、对应、重合、拼接，整合出机器所处环境360°环绕图像。
一种基于多视觉传感器融合阵列的定位导航方法，该定位导航方法，需要利用基于多视觉传感器融合阵列的定位导航系统完成，该定位导航系统包括视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块；
步骤一：利用视觉传感器融合阵列模块获取周边环境的视觉图像和信息，视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，获取机器所处环境360°环绕图像，即获取周围环境信息；
步骤二：利用物体识别及跟踪算法模块获得机器在环境中的位置，并且通过物体识别区分活动物和障碍物，并将机器、物体和环境信息传递给导航路径规划模块，获取行动路径。
物体识别及跟踪算法：
识别算法利用仿生深度学习算法中的卷积神经网络算法来检测目标
卷积神经网络算法：拿已知的模板，和原图像中同样大小的一块区域去比对和匹配，第一步，将模板的左上角点和图像的左上角点重合放置，拿模板和原图像中同样大小的一块区域进行比对和匹配，然后平移到下一个区域进行匹配，重复以上操作，直到所有的位置都对比完成，差别最小的那块匹配区域，就是要寻找的目标。
跟踪算法利用光流法跟踪目标或者Kalaman跟踪算法进行，
光流法假设亮度恒定、小运动、空间一致，用最小二乘法求解；
其中最小误差平方和为最优化指标；
Kalaman跟踪算法，利用系统的运动方程来跟踪某个物体，通过运动速度对物体的位置进行预测，同时引入一个通过测量手段来得到的影响运动速度变化的变量，通过这两个数据的权重比例进行列迭代来跟踪目标；
Kalaman跟踪算法的步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵，测量噪声协方差矩阵，后验错误协方差矩阵；
步骤二：利用Kalaman的predict方法得到状态的预测值矩阵，得到预测值x'(k)；
步骤三：得到加入观测值校正好的状态变量矩阵；
步骤四：经过步骤三之后，重新获得这一时刻的校正值，不断循环步骤二和步骤三。
卷积神经网络算法的数学模型如下：
搜索图S为N*N大小区域，设模板T叠放在搜索图上平移，在搜索图S上被模板T覆盖的图像叫做子图S(i，j)，i，j为这块子图的左上角像素点在搜索图S上的坐标，称为参考点，i，j的值域为(1＜i，j＜N-M+1)，通过比较T和S(i，j)的内容，若两者一致，则T和S之差为零，用下列公式来衡量T和S(i，j)的相似程度。
对公式(1)展开得到公式(2)
在公式(2)中第三项表示模板总能量，是一个与(i，j)无关的常数；
第一项是模板覆盖下子图的能量，该项随着(i，j)的位置缓慢地改变，第二项表示的子图与模板的互相关系，随着(i，j)的改变而改变，当模板T和搜索图S(i，j)匹配时这项取值最大，因此可以用下列相关函数(3)做相似测度。
或者归一化处理，如公式(4)
写成矩阵形式(5)
当矢量t和S1之间的夹角为0时，即当S1(i,j)＝kt时(k为常量),有R(i,j)＝1,否则R(i,j)<1.显然R(i,j)越大,模板T和Si,j就越相似,点(i,j)就是我们要寻找的匹配点。
其中光流法的过程如下：
1.首先是假设条件：
(1)亮度恒定，假设同一点随着时间的变化，其亮度不会发生改变，这是基本光流法的假定，用于得到光流法基本方程；
(2)小运动，假设时间的变化不会引起图像中物体或者图像信息位置的距离变化，这样灰度才能对位置求偏导；
(3)空间一致，假设一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致；
2.方程求解：多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，其中，最小误差平方和为最优化指标。
而Kalman跟踪算法的依据是根据系统的运动方程来对该值做出预测，而预测与实际值之间存在误差，则引入另外一个参量，即通过测量手段来测量到的变量的观测值，作为校准参量；通过校准参量以及运动方程这两个依据，再通过不同的权重，进行迭代算法对目标进行跟踪：
xk＝A·xk-1+B·uk+wk
zk＝H·xk+vk
第一个公式为系统的运动方程，第二个公式为系统的校准方程。
其中
Xk是跟踪的预测值；
Zk是当前测量值；
A、B、H是初始化就确定好的参数；
而Kalman的完整详细步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵、测量噪声协方差矩阵，后验错误协方差矩阵，后验错误协方差矩阵，并获得当前观测值；
步骤二：kalman的predict方法得到状态的预测值矩阵，预测状态的计算公式如下：
predicted state(x'(k)):x'(k)＝A*x(k-1)+B*u(k)
其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，后面的循环中Kalman这个类内部会计算，A，B，u(k)，其中A、B为固定参数，而u(k)是当前控制量，也都是确定的值；这样经过计算就得到了系统状态的预测值x'(k)了。
步骤三：
得到加入观测值校正后的状态变量值矩阵，其公式为：
corrected state(x(k)):x(k)＝x'(k)+K(k)*(z(k)-H*x'(k))
其中：
x'(k)为步骤二算出的结果；
z(k)为当前测量值，是我们外部测量后输入的向量。H为Kalman类初始化给定的测量矩阵。K(k)为Kalman增益，其计算公式为：
Kalman gain matrix(K(k)):K(k)＝P'(k)*Ht*inv(H*P'(k)*Ht+R)
计算该增益所依赖的变量要么初始化中给定，要么在kalman理论中通过其它公式可以计算。
经过步骤三后，我们又重新获得了这一时刻的校正值，后面就不断循环步骤二和步骤三即可完成Kalman滤波跟踪过程。
本发明所涉及的导航系统引入视觉系统，通过视觉识别技术并配合定位算法、追踪算法等方式来自动定位规划轨迹，智能完成导航巡航的定位导航系统，并将该系统应用到智能移动机器人上，指挥智能移动机器人完成路线规划，进行有效地定位导航。
【附图说明】
图1是本发明基于多视觉传感器融合阵列的定位导航系统架构框图；
图2是本发明相似性测度法求匹配的求解思路在计算中操作的示意图；
图3是本发明基于多视觉传感器融合阵列的定位导航系统的实施方式图；
图4是本发明基于多视觉传感器融合阵列的定位导航系统的工作流程图；
10、视觉传感器模块；20、物体识别及跟踪算法模块；30、相对位置感知模块；40、导航路径规划模块；
【具体实施方式】
下面将结合本发明附图和具体实施方式对本发明基于多视觉传感器融合阵列的定位导航系统及其定位导航方法进行进一步的详细说明。
请参考附图1：
基于多视觉传感器融合阵列的定位导航系统，其特征在于，该定位导航系统，包括以下模块构成：视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块，其中视觉传感器融合阵列模块通过视觉传感器获取目标和周边环境信息，物体识别及跟踪算法模块能够获取周边物体性质、活动性、干扰性的判断，两项结合输入至相对位置感知模块，得到物体和环境之间的相对空间关系，以及判断空间关系是否会变化，数据输入并结合导航路径规划模块，规划出具体路线，并进行导航。
其中视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，该处理中枢利用多套摄像机多画面识别、对应、重合、拼接，整合出机器所处环境360°环绕图像。
一种基于多视觉传感器融合阵列的定位导航方法，该定位导航方法，需要利用基于多视觉传感器融合阵列的定位导航系统完成，该定位导航系统包括视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块；
步骤一：利用视觉传感器融合阵列模块获取周边环境的视觉图像和信息，视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，获取机器所处环境360°环绕图像，即获取周围环境信息；
步骤二：利用物体识别及跟踪算法模块获得机器在环境中的位置，并且通过物体识别区分活动物和障碍物，并将机器、物体和环境信息传递给导航路径规划模块，获取行动路径。
物体识别及跟踪算法：
识别算法利用仿生深度学习算法中的卷积神经网络算法来检测目标
卷积神经网络算法：拿已知的模板，和原图像中同样大小的一块区域去比对和匹配，第一步，将模板的左上角点和图像的左上角点重合放置，拿模板和原图像中同样大小的一块区域进行比对和匹配，然后平移到下一个区域进行匹配，重复以上操作，直到所有的位置都对比完成，差别最小的那块匹配区域，就是要寻找的目标。
跟踪算法利用光流法跟踪目标或者Kalaman跟踪算法进行，
光流法假设亮度恒定、小运动、空间一致，用最小二乘法求解；
其中最小误差平方和为最优化指标；
Kalaman跟踪算法，利用系统的运动方程来跟踪某个物体，通过运动速度对物体的位置进行预测，同时引入一个通过测量手段来得到的影响运动速度变化的变量，通过这两个数据的权重比例进行列迭代来跟踪目标；
Kalaman跟踪算法的步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵，测量噪声协方差矩阵，后验错误协方差矩阵；
步骤二：利用Kalaman的predict方法得到状态的预测值矩阵，得到预测值x'(k)；
步骤三：得到加入观测值校正好的状态变量矩阵；
步骤四：经过步骤三之后，重新获得这一时刻的校正值，不断循环步骤二和步骤三。
请参考附图2，其中示出了计算机在利用卷积神经网络算法时的数学模型如下：
搜索图S为N*N大小区域，设模板T叠放在搜索图上平移，在搜索图S上被模板T覆盖的图像叫做子图S(i，j)，i，j为这块子图的左上角像素点在搜索图S上的坐标，称为参考点，i，j的值域为(1＜i，j＜N-M+1)，通过比较T和S(i，j)的内容，若两者一致，则T和S之差为零，用下列公式来衡量T和S(i，j)的相似程度。
对公式(1)展开得到公式(2)
在公式(2)中第三项表示模板总能量，是一个与(i，j)无关的常数；
第一项是模板覆盖下子图的能量，该项随着(i，j)的位置缓慢地改变，第二项表示的子图与模板的互相关系，随着(i，j)的改变而改变，当模板T和搜索图S(i，j)匹配时这项取值最大，因此可以用下列相关函数(3)做相似测度。
或者归一化处理，如公式(4)
写成矩阵形式(5)
当矢量t和S1之间的夹角为0时，即当S1(i,j)＝kt时(k为常量),有R(i,j)＝1,否则R(i,j)<1.显然R(i,j)越大,模板T和Si,j就越相似,点(i,j)就是我们要寻找的匹配点。
其中光流法的过程如下：
1.首先是假设条件：
(1)亮度恒定，假设同一点随着时间的变化，其亮度不会发生改变，这是基本光流法的假定，用于得到光流法基本方程；
(2)小运动，假设时间的变化不会引起图像中物体或者图像信息位置的距离变化，这样灰度才能对位置求偏导；
(3)空间一致，假设一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致；
2.方程求解：多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，其中，最小误差平方和为最优化指标。
而Kalman跟踪算法的依据是根据系统的运动方程来对该值做出预测，而预测与实际值之间存在误差，则引入另外一个参量，即通过测量手段来测量到的变量的观测值，作为校准参量；通过校准参量以及运动方程这两个依据，再通过不同的权重，进行迭代算法对目标进行跟踪：
xk＝A·xk-1+B·uk+wk
zk＝H·xk+υk
第一个公式为系统的运动方程，第二个公式为系统的校准方程。
其中
Xk是跟踪的预测值；
Zk是当前测量值；
A、B、H是初始化就确定好的参数；
而Kalman的完整详细步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵、测量噪声协方差矩阵，后验错误协方差矩阵，并获得当前观测值；
步骤二：kalman的predict方法得到状态的预测值矩阵，预测状态的计算公式如下：
predicted state(x'(k)):x'(k)＝A*x(k-1)+B*u(k)
其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，后面的循环中Kalman这个类内部会计算，A，B，u(k)，其中A、B为固定参数，而u(k)是当前控制量，也都是确定的值；这样经过计算就得到了系统状态的预测值x'(k)了。
步骤三：
得到加入观测值校正后的状态变量值矩阵，其公式为：
corrected state(x(k)):x(k)＝x'(k)+K(k)*(z(k)-H*x'(k))
其中：
x'(k)为步骤二算出的结果；
z(k)为当前测量值，是我们外部测量后输入的向量。H为Kalman类初始化给定的测量矩阵。K(k)为Kalman增益，其计算公式为：
Kalman gain matrix(K(k)):K(k)＝P'(k)*Ht*inv(H*P'(k)*Ht+R)
计算该增益所依赖的变量要么初始化中给定，要么在kalman理论中通过其它公式可以计算。
经过步骤三后，我们又重新获得了这一时刻的校正值，后面就不断循环步骤二和步骤三即可完成Kalman滤波跟踪过程。
本发明所涉及的导航系统引入视觉系统，通过视觉识别技术并配合定位算法、追踪算法等方式来自动定位规划轨迹，智能完成导航巡航的定位导航系统，并将该系统应用到智能移动机器人上，指挥智能移动机器人完成路线规划，进行有效地定位导航。
以上所述，仅是本发明较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许变更或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (6)

1.一种基于多视觉传感器融合阵列的定位导航系统，其特征在于，该定位导航系统，包括以下模块构成：视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块，其中视觉传感器融合阵列模块通过视觉传感器获取目标和周边环境信息，物体识别及跟踪算法模块能够获取周边物体性质、活动性、干扰性的判断，两项结合输入至相对位置感知模块，得到物体和环境之间的相对空间关系，以及判断空间关系是否会变化，数据输入并结合导航路径规划模块，规划出具体路线，并进行导航。
2.根据权利要求1所述基于多视觉传感器融合阵列的定位导航系统，其特征在于，其中视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，该处理中枢利用多套摄像机多画面识别、对应、重合、拼接，整合出机器所处环境360°环绕图像。
3.一种基于多视觉传感器融合阵列的定位导航方法，其特征在于，该定位导航方法，需要利用基于多视觉传感器融合阵列的定位导航系统完成，该定位导航系统包括视觉传感器融合阵列模块、物体识别及跟踪算法模块、相对位置感知模块以及导航路径规划模块；
步骤一：利用视觉传感器融合阵列模块获取周边环境的视觉图像和信息，视觉传感器融合阵列模块包含多台摄像机，以及多摄像机图片信息提取整合处理中枢，获取机器所处环境360°环绕图像，即获取周围环境信息；
步骤二：利用物体识别及跟踪算法模块获得机器在环境中的位置，并且通过物体识别区分活动物和障碍物，并将机器、物体和环境信息传递给导航路径规划模块，获取行动路径；
物体识别及跟踪算法：
识别算法利用仿生深度学习算法中的卷积神经网络算法来检测目标
卷积神经网络算法：拿已知的模板，和原图像中同样大小的一块区域去比对和匹配，第一步，将模板的左上角点和图像的左上角点重合放置，拿模板和原图像中同样大小的一块区域进行比对和匹配，然后平移到下一个区域进行匹配，重复以上操作，直到所有的位置都对比完成，差别最小的那块匹配区域，就是要寻找的目标；
跟踪算法利用光流法跟踪目标或者Kalaman跟踪算法进行，
光流法假设亮度恒定、小运动、空间一致，用最小二乘法求解；
其中最小误差平方和为最优化指标；
Kalaman跟踪算法，利用系统的运动方程来跟踪某个物体，通过运动速度对物体的位置进行预测，同时引入一个通过测量手段来得到的影响运动速度变化的变量，通过这两个数据的权重比例进行列迭代来跟踪目标；
Kalaman跟踪算法的步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵、测量噪声协方差矩阵；
步骤二：利用Kalaman的predict方法得到状态的预测值矩阵，得到预测值x'(k)；
步骤三：得到加入观测值校正好的状态变量矩阵；
步骤四：经过步骤三之后，重新获得这一时刻的校正值，不断循环步骤二和步骤三。
4.根据权利要求3所述基于多视觉传感器融合阵列的定位导航方法，其特征在于，其中卷积神经网络算法的数学模型如下：
搜索图S为N*N大小区域，设模板T叠放在搜索图上平移，在搜索图S上被模板T覆盖的图像叫做子图S（i，j），i，j为这块子图的左上角像素点在搜索图S上的坐标，称为参考点，i，j的值域为（1＜i，j＜N-M+1），通过比较T和S（i，j）的内容，若两者一致，则T和S之差为零，用下列公式来衡量T和S（i，j）的相似程度；
（1）
对公式（1）展开得到公式（2）
（2）
在公式（2）中第三项表示模板总能量，是一个与（i，j）无关的常数；
第一项是模板覆盖下子图的能量，该项随着（i，j）的位置缓慢地改变，第二项表示的子图与模板的互相关系，随着（i，j）的改变而改变，当模板T和搜索图S（i，j）匹配时这项取值最大，因此可以用下列相关函数（3）做相似测度；
（3）
或者归一化处理，如公式（4）
（4）
写成矩阵形式（5）
（5）
当矢量t 和S1之间的夹角为0时，即当S1(i , j) =kt 时(k为常量) ,有R(i , j) =1,否则R(i , j) <1. 显然R(i , j) 越大,模板T和Si , j就越相似,点(i , j) 就是我们要寻找的匹配点。
5.根据权利要求3所述基于多视觉传感器融合阵列的定位导航方法，其特征在于，其中光流法的过程如下：
1.首先是假设条件：
（1）亮度恒定，假设同一点随着时间的变化，其亮度不会发生改变，这是基本光流法的假定，用于得到光流法基本方程；
（2）小运动，假设时间的变化不会引起图像中物体或者图像信息位置的距离变化，这样灰度才能对位置求偏导；
（3）空间一致，假设一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致；
2.方程求解：多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，其中，最小误差平方和为最优化指标；
而Kalman跟踪算法的依据是根据系统的运动方程来对该值做出预测，而预测与实际值之间存在误差，则引入另外一个参量，即通过测量手段来测量到的变量的观测值，作为校准参量；通过校准参量以及运动方程这两个依据，再通过不同的权重，进行迭代算法对目标进行跟踪：
第一个公式为系统的运动方程，第二个公式为系统的校准方程。
6.根据权利要求3所述基于多视觉传感器融合阵列的定位导航方法，其特征在于，而Kalman的完整详细步骤包括：
步骤一：初始化以下变量，转移矩阵、测量矩阵、控制向量、过程噪声协方差矩阵、测量噪声协方差矩阵，后验错误协方差矩阵，并获得当前观测值；
步骤二：kalman的predict方法得到状态的预测值矩阵，预测状态的计算公式如下：
predicted state (x'(k)): x'(k)=A*x(k-1)+B*u(k)
其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，后面的循环中Kalman这个类内部会计算，A，B，u(k)，其中A、B为固定参数，而u(k)是当前控制量，也都是确定的值；这样经过计算就得到了系统状态的预测值x'(k)了；
步骤三：
得到加入观测值校正后的状态变量值矩阵，其公式为：
corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))
其中：
x'(k)为步骤二算出的结果；
z(k)为当前测量值，是我们外部测量后输入的向量；
H为Kalman类初始化给定的测量矩阵；
K(k)为Kalman增益，其计算公式为：
Kalman gain matrix (K(k)): K(k)=P'(k)*Ht*inv(H*P'(k)*Ht+R)
计算该增益所依赖的变量要么初始化中给定，要么在kalman理论中通过其它公式可以计算；
经过步骤三后，重新获得了这一时刻的校正值，然后就不断循环步骤二和步骤三即可完成Kalman滤波跟踪过程。
CN201810098026.2A 2018-01-31 2018-01-31 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法 Pending CN108303094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810098026.2A CN108303094A (zh) 2018-01-31 2018-01-31 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810098026.2A CN108303094A (zh) 2018-01-31 2018-01-31 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法

Publications (1)

Publication Number Publication Date
CN108303094A true CN108303094A (zh) 2018-07-20

Family

ID=62850628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810098026.2A Pending CN108303094A (zh) 2018-01-31 2018-01-31 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法

Country Status (1)

Country Link
CN (1) CN108303094A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110481635A (zh) * 2019-08-13 2019-11-22 中山大学 基于卷积神经网络和传统几何控制器的拟人化转向系统及其方法
CN110595466A (zh) * 2019-09-18 2019-12-20 电子科技大学 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN113074725A (zh) * 2021-05-11 2021-07-06 哈尔滨工程大学 一种基于多源信息融合的小型水下多机器人协同定位方法及系统
CN113220023A (zh) * 2021-04-28 2021-08-06 中国科学院重庆绿色智能技术研究院 一种高精度无人机实时路径规划方法
CN113419469A (zh) * 2021-07-16 2021-09-21 上海高仙自动化科技发展有限公司 电子设备系统、设备控制方法、装置、存储介质和芯片
CN114897929A (zh) * 2022-05-31 2022-08-12 工业云制造(四川)创新中心有限公司 基于视觉降噪的机器人运动方法
CN117177174A (zh) * 2023-11-03 2023-12-05 江苏达海智能系统股份有限公司 一种基于机器视觉与wsn的室内定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915545A (zh) * 2012-09-20 2013-02-06 华东师范大学 一种基于OpenCV的视频目标跟踪算法
CN105261040A (zh) * 2015-10-19 2016-01-20 北京邮电大学 一种多目标跟踪方法及装置
CN106296729A (zh) * 2016-07-27 2017-01-04 南京华图信息技术有限公司 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN107564039A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 应用于全景视频的多目标跟踪方法及全景相机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915545A (zh) * 2012-09-20 2013-02-06 华东师范大学 一种基于OpenCV的视频目标跟踪算法
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN105261040A (zh) * 2015-10-19 2016-01-20 北京邮电大学 一种多目标跟踪方法及装置
CN106296729A (zh) * 2016-07-27 2017-01-04 南京华图信息技术有限公司 一种鲁棒的实时红外成像地面运动目标跟踪方法和系统
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN107564039A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 应用于全景视频的多目标跟踪方法及全景相机

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LUYUE LIN ET AL: "An Object Tracking Method based on CNN and Optical flow", 《2017 13TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》 *
尹宏鹏等: "基于视觉的目标检测与跟踪综述", 《自动化学报》 *
张毅等: "《移动机器人技术基础与制作》", 31 January 2013, 哈尔滨工业大学出版社 *
徐光柱，雷帮军: "《实用性目标检测与跟踪算法原理与应用》", 30 June 2015, 国防工业出版社 *
秦丽娟等: "《计算机单目视觉定位》", 30 April 2016, 国防工业出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110481635B (zh) * 2019-08-13 2021-12-10 中山大学 基于卷积神经网络和传统几何控制器的拟人化转向系统及其方法
CN110481635A (zh) * 2019-08-13 2019-11-22 中山大学 基于卷积神经网络和传统几何控制器的拟人化转向系统及其方法
CN110595466A (zh) * 2019-09-18 2019-12-20 电子科技大学 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN110595466B (zh) * 2019-09-18 2020-11-03 电子科技大学 轻量级的基于深度学习的惯性辅助视觉里程计实现方法
CN113220023A (zh) * 2021-04-28 2021-08-06 中国科学院重庆绿色智能技术研究院 一种高精度无人机实时路径规划方法
CN113074725A (zh) * 2021-05-11 2021-07-06 哈尔滨工程大学 一种基于多源信息融合的小型水下多机器人协同定位方法及系统
CN113074725B (zh) * 2021-05-11 2022-07-22 哈尔滨工程大学 一种基于多源信息融合的小型水下多机器人协同定位方法及系统
CN113419469A (zh) * 2021-07-16 2021-09-21 上海高仙自动化科技发展有限公司 电子设备系统、设备控制方法、装置、存储介质和芯片
CN113419469B (zh) * 2021-07-16 2023-02-24 上海高仙自动化科技发展有限公司 电子设备系统、设备控制方法、装置、存储介质和芯片
CN114897929A (zh) * 2022-05-31 2022-08-12 工业云制造(四川)创新中心有限公司 基于视觉降噪的机器人运动方法
CN114897929B (zh) * 2022-05-31 2024-06-04 工业云制造(四川)创新中心有限公司 基于视觉降噪的机器人运动方法
CN117177174A (zh) * 2023-11-03 2023-12-05 江苏达海智能系统股份有限公司 一种基于机器视觉与wsn的室内定位方法及系统
CN117177174B (zh) * 2023-11-03 2024-01-26 江苏达海智能系统股份有限公司 一种基于机器视觉与wsn的室内定位方法及系统

Similar Documents

Publication Publication Date Title
CN108303094A (zh) 基于多视觉传感器融合阵列的定位导航系统及其定位导航方法
Zou et al. StructVIO: Visual-inertial odometry with structural regularity of man-made environments
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
US9208395B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
Zhang et al. Robust appearance based visual route following for navigation in large-scale outdoor environments
US11315264B2 (en) Laser sensor-based map generation
JP2014511591A (ja) 奥行きマップを使用したモバイルカメラの自己位置推定
CN108332752B (zh) 机器人室内定位的方法及装置
CN113674416A (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
WO2019136613A1 (zh) 机器人室内定位的方法及装置
JP6973444B2 (ja) 制御システム、情報処理装置および制御方法
JP2017117386A (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
WO2022191140A1 (ja) ３ｄ位置取得方法及び装置
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
He et al. Online semantic-assisted topological map building with LiDAR in large-scale outdoor environments: Toward robust place recognition
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN109416251B (zh) 基于色块标签的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
Sun et al. Real-time and fast RGB-D based people detection and tracking for service robots
Schleicher et al. Real-time stereo visual slam in large-scale environments based on sift fingerprints
Amorós et al. Topological Map Building and Path Estimation Using Global-appearance Image Descriptors.
Schleicher et al. Real-Time wide-angle stereo visual SLAM on large environments using SIFT features correction
CN110458887A (zh) 一种基于pca的加权融合室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720

RJ01 Rejection of invention patent application after publication