CN106197429A - 一种多信息融合定位设备及系统 - Google Patents

Abstract

本发明提供了一种多信息融合定位设备及系统，包括：多维图像采集装置，用于获取其监测范围内动态连续的视频图像，发送至定位信息融合装置；惯性测量单元，用于获取多维图像采集装置在载体坐标系中的九轴信息，并发送至定位信息融合装置；定位信息融合装置，用于根据动态连续的视频图像构建三维模型，利用分割识别方法从三维模型中获取视频图像在三维模型中的空间位置信息；以及，对九轴信息进行积分处理，得到视频图像的方向信息；将方向信息与空间位置信息进行融合处理，得到多维图像采集装置在其监测范围内的位置信息；其能够通过得到的三维空间位置信息和方向信息进行融合，以根据融合信息实现定位，提高了定位精度，且实时性较好。

Description

一种多信息融合定位设备及系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种多信息融合定位设备及系统。

背景技术

近年来，人工智能已广泛应用于工业、安防、交通、家居和可穿戴设备等领域，使人类的生活发生了翻天覆地的变化，如无人机、机器人。随着智能机器的广泛应用，对智能机器在某些小环境内的精准定位技术提出了更高的要求。如何利用视觉，让机器在一个特定环境内对自己进行精准定位，是很多智能机器面临的问题。

目前，智能机器在特定环境(如某些小环境内)内对自己进行定位的方式，均是基于单信息源进行定位，并且还需要依靠联网来处理；但是，基于单信息源进行定位的方式达不到所需要的精度，并且，后续的联网处理使得实时性达不到应用的需求。

发明人在研究中发现，现有技术中的基于单信息源进行定位的定位系统，达不到所需要的精度，且其联网处理使得实时性达不到应用的需求。

发明内容

有鉴于此，本发明实施例的目的在于提供一种多信息融合定位设备及系统，以基于三维空间位置信息和方向信息的融合信息实现定位，提高了定位精度，且处理过程中实时性较好。

第一方面，本发明实施例提供了一种多信息融合定位设备，包括：多维图像采集装置、惯性测量单元和定位信息融合装置；

所述多维图像采集装置，用于获取其监测范围内动态连续的视频图像，将视频图像依次发送至所述定位信息融合装置；

所述惯性测量单元，用于获取所述多维图像采集装置在载体坐标系中的九轴信息，将所述九轴信息发送至所述定位信息融合装置；所述九轴信息至少包括：三轴加速度信号和旋转角速度信号；

所述定位信息融合装置，用于根据所述动态连续的视频图像构建三维模型，并利用分割识别方法从所述三维模型中获取所述视频图像在三维模型中的空间位置信息；以及，对所述九轴信息进行积分处理，得到所述视频图像的方向信息；将所述方向信息与所述空间位置信息进行融合处理，得到所述多维图像采集装置在其监测范围内的位置信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述的多信息融合定位设备，还包括导航定位装置；

所述导航定位装置，用于获取所述多维图像采集装置所在的地理位置；

所述定位信息融合装置，还用于将所述多维图像采集装置在其监测范围内的位置信息与所述地理位置进行融合处理，得到所述多维图像采集装置在地球上的位置信息。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述多维图像采集装置包括单目镜头；

所述单目镜头，用于采集其视觉范围内动态连续的视频图像，将所述视频图像以第一预设帧频率发送至所述定位信息融合装置。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述多维图像采集装置包括双目镜头；所述双目镜头包括：第一组采集镜头和第二组采集镜头；

所述第一组采集镜头，用于采集其视觉范围内动态连续的视频图像，将所述视频图像以第一预设帧频率发送至所述定位信息融合装置；

所述第二组采集镜头，用于采集其视觉范围内的动态连续的视频图像，将所述视频图像以所述第一预设帧频率发送至所述定位信息融合装置。

结合第一方面的第二种可能的实施方式或者第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述惯性测量单元包括以下任意一种融合传感器：加速度传感器和角速度传感器；或者，加速度传感器和磁感应传感器；或者，加速度传感器、角速度传感器和磁感应传感器；

所述加速度传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴加速度信号，并将所述三轴加速度信号发送至所述定位信息融合装置；

所述角速度传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴角速度信号，并将所述三轴角速度信号发送至所述定位信息融合装置；

所述磁感应传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴磁感应信号，并将所述三轴磁感应信号发送至所述定位信息融合装置。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述定位信息融合装置包括：专用视觉处理装置、控制装置和存储器；

所述控制装置，用于控制所述专用视觉处理装置处理过程中的算法，以及与所述算法对应的处理结果；

所述专用视觉处理装置，用于在所述控制装置的控制下，提取所述第一预设图片中的视频图像数据，对所述视频图像数据进行三维建模处理，得到三维模型，并利用分割识别方法从所述三维模型中获取所述视频图像数据对应的空间位置信息，得到对应的障碍物信息；

所述存储器，用于在所述控制装置的控制下，存储所述视频图像数据、所述三维模型、所述视频图像数据对应的空间位置信息和所述障碍物信息。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述定位信息融合装置还包括：语音识别合成装置；

所述语音识别合成装置，用于接收用户发送的语音信息，对所述语音信息进行识别处理，得到对应的目的地址；以及，根据所述目的地址和所述障碍物信息，合成与所述目的地址对应的提示语音，输出所述提示语音以进行提示。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述定位信息融合装置还包括：路径规划子系统；

所述路径规划子系统，用于根据所述障碍物信息对原有导航路径进行调整或者重新生成导航路径。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述的多信息融合定位设备，还包括：无线传输模块；所述专用视觉处理装置包括：超声波检测器和信息融合处理器；

所述超声波检测器，用于检测所述障碍物的距离信息，将所述距离信息传输所述信息融合处理器；

所述信息融合处理器，用于根据所述视频图像及所述距离信息确定所述障碍物信息，并输出所述障碍物信息；

所述无线传输模块，用于将所述障碍物信息发送给对应的远程控制端。

第二方面，本发明实施例还提供了一种多信息融合定位系统，包括：上述第一方面任一项所述的多信息融合定位设备，还包括：智能机器和远程控制端；

所述多信息融合定位设备嵌入所述智能机器中，用于实时检测所述智能机器前方的障碍物信息，并将所述障碍物信息发送给所述远程控制端；

所述远程控制端，用于接收所述障碍物信息，根据所述障碍物信息实时监控所述智能机器的行走状态，并在工作人员的控制下，对所述智能机器的行走状态进行匹配的控制。

本发明实施例提供的一种多信息融合定位设备及系统，包括：多维图像采集装置，用于获取其监测范围内动态连续的视频图像，并发送至定位信息融合装置；惯性测量单元，用于获取多维图像采集装置在载体坐标系中的九轴信息，并发送至定位信息融合装置；定位信息融合装置，用于根据动态连续的视频图像构建三维模型，并利用分割识别方法从三维模型中获取视频图像在三维模型中的空间位置信息；以及，对九轴信息进行积分处理，得到视频图像的方向信息；将方向信息与空间位置信息进行融合处理，得到多维图像采集装置在其监测范围内的位置信息；

与现有技术中的基于单信息源进行定位的定位系统，达不到所需要的精度，且其联网处理使得实时性达不到应用的需求相比，其能够通过的视频图像构建三维模型，获取对应的空间位置信息，并通过惯性测量单元得到对应的方向信息，最终基于三维空间位置信息和方向信息的融合信息实现定位，提高了定位精度，并且，上述定位过程均是基于前端进行处理，无需进行联网，也使得处理的实时性较好。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种多信息融合定位设备的结构示意图；

图2示出了本发明实施例所提供的另一种多信息融合定位设备的结构示意图；

图3示出了本发明实施例所提供的另一种多信息融合定位设备的结构示意图；

图4示出了本发明实施例所提供的一种多信息融合定位设备中惯性测量单元的结构示意图；

图5示出了本发明实施例所提供的一种多信息融合定位设备中定位信息融合装置的结构示意图；

图6示出了本发明实施例所提供的一种多信息融合定位设备中专用视觉处理装置的结构示意图；

图7示出了本发明实施例所提供的一种多信息融合定位系统的结构示意图。

主要标识说明：

10、多维图像采集装置；20、惯性测量单元；30、定位信息融合装置；40、导航定位装置；101、第一组采集镜头；102、第二组采集镜头；201、加速度传感器；202、角速度传感器；203、磁感应传感器；301、专用视觉处理装置；302、控制装置；303、存储器；304、语音识别合成装置；305、路径规划子系统；3011、超声波检测器；3012、信息融合处理器；1、智能机器；2、多信息融合定位设备；3、远程控制端。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到智能机器在特定环境(如某些小环境内)内对自己进行定位的方式，均是基于单信息源进行定位，并且还需要依靠联网来处理；但是，基于单信息源进行定位的方式达不到所需要的精度，并且，后续的联网处理使得实时性达不到应用的需求。基于此，本发明实施例提供了一种多信息融合定位设备及系统，下面通过实施例进行描述。

参考图1，本发明实施例提供了一种多信息融合定位设备2，包括：多维图像采集装置10、惯性测量单元20和定位信息融合装置30；

多维图像采集装置10，用于获取其监测范围内动态连续的视频图像，将视频图像依次发送至定位信息融合装置30。

惯性测量单元20，用于获取多维图像采集装置10在载体坐标系中的九轴信息，将九轴信息发送至定位信息融合装置30；九轴信息至少包括：三轴加速度信号和旋转角速度信号。

定位信息融合装置30，用于根据动态连续的视频图像构建三维模型，并利用分割识别方法从三维模型中获取视频图像在三维模型中的空间位置信息；以及，对九轴信息进行积分处理，得到视频图像的方向信息；将方向信息与空间位置信息进行融合处理，得到多维图像采集装置10在其监测范围内的位置信息。

本发明实施例提供的多信息融合定位设备2作为一个整体可以应用在智能机器1上，其与智能机器1的连接方式如下：智能机器1上设置有插拔接口，上述多信息融合定位设备2可以直接通过上述插拔接口接入上述智能机器1上；或者，上述多信息融合定位设备2通过数据线与智能机器1上的插拔接口电连接；上述两种安装方式均能实现多信息融合定位设备2与智能机器1的数据通信，多信息融合定位设备2能够采集视觉范围内的动态连续图像数据，同时对采集的数据进行处理，以获取图像数据对应的空间位置信息。

具体的，上述多维图像采集装置10可以为单目镜头，也可以为双目镜头，双目镜头对应有一定的视觉范围，该双目镜头可以在自己的视觉范围内获取动态连续的视频图像，然后将获取到的视频图像依次均发送至定位信息融合装置30；本发明实施例中，多维图像采集装置10将获取的视频图像发送至定位信息融合装置30的方法包括：将获取的视频图像以第一预设帧频率发送至定位信息融合装置30。其中，上述第一预设帧频率可以预先进行设置，如设置每秒30帧；本发明实施例中对上述第一预设帧频率的设置不做具体限制。

通过上述双目镜头可以对空间进行差分实时图像信息采集，其中，上述双目镜头中的每一组镜头可以采用一个或多个摄像头进行视频图像采集。

而上述定位信息融合装置30本身具有数据处理功能，其在接收到第一预设帧频率的视频图像后，根据所述视频图像对应的所有的图像数据进行三维建模处理，得到对应动态连续的图像数据的三维模型；然后根据建立的该三维模型，可以从中获取图像数据中对应的空间位置信息；上述空间位置信息即：三维点云图、物体间相对位置、方向和距离等信息。

上述惯性测量单元20，可以获取多维图像采集装置10在载体坐标系中的九轴信息，该九轴信息至少包括：加速度信号和旋转角速度信号；然后将九轴信息发送至定位信息融合装置30；定位信息融合装置30还用于对该九轴信息进行积分处理，得到视频图像的方向信息；最终，定位信息融合装置30将上述方向信息与该空间位置信息进行融合处理，得到多维图像采集装置10在其监测范围内的位置信息，以实现定位。

本发明实施例提供的一种多信息融合定位设备2，与现有技术中的基于单信息源进行定位的定位系统，达不到所需要的精度，且其联网处理使得实时性达不到应用的需求相比，其能够通过的视频图像构建三维模型，获取对应的空间位置信息，并通过惯性测量单元20得到对应的方向信息，最终基于三维空间位置信息和方向信息的融合信息实现定位，提高了定位精度，并且，上述定位过程均是基于前端进行处理，无需进行联网，也使得处理的实时性较好。

考虑到多维图像采集装置10采集的视频图像可能会存在不清晰的部分，对此，根据该图像建立的三维模型可能会定位不准确，对此，本发明实施例的多信息融合定位设备2中，还包括高精度辅助图像采集装置；

高精度辅助图像采集装置，用于采集视觉范围内的高精度图像视频数据，将高精度图像视频数据以第二预设帧频率发送至定位信息融合装置30；其中，此处的第二预设帧频率与上述第一预设帧频率可以相同，也可以不同；本发明实施例中，设置上述第二预设帧频率与上述第一预设帧频率不同。

定位信息融合装置30还用于，根据上述高精度图像视频数据对三维模型进行校准处理，得到校准后的三维模型，并从校准后的三维模型中获取视频图像对应的空间位置信息。

本发明实施例中，上述高精度辅助图像采集装置可以是高精度摄像头，该摄像头可以自动对焦，其用于通过对焦参数对双目差分图像信息(即多维图像采集装置10采集的高精度图像数据)的处理进行矫正和补充，另外该系统还可以采集高清晰度(或者说高精度)的视频图像数据或者图片；通过采集的高精度视频图像数据来弥补多维图像采集装置10采集的图像数据的不足，能够建立更加精准的三维模型。

为了进一步实现对多信息融合定位设备2的定位，参考图2，上述多信息融合定位设备2，还包括导航定位装置40；

导航定位装置40，用于获取多维图像采集装置10所在的地理位置；

定位信息融合装置30，还用于将多维图像采集装置10在其监测范围内的位置信息与地理位置进行融合处理，得到多维图像采集装置10在地球上的位置信息。

其中，上述导航定位装置40可以为北斗卫星导航系统，或者，GPS(GlobalPositioning System，全球定位系统)，其可以定位多维图像采集装置10在地球上的地理位置，并将该地理位置发送至定位信息融合装置30；由定位信息融合装置30将上述地理位置与融合得到的多维图像采集装置10的位置信息再次进行融合处理，以得到多维图像采集装置10在地球上的位置信息。

进一步的，该多信息融合定位设备2中，上述多维图像采集装置10包括单目镜头；

单目镜头，用于采集其视觉范围内动态连续的视频图像，将视频图像以第一预设帧频率发送至定位信息融合装置30。

进一步的，参考图3，该多信息融合定位设备2中，上述多维图像采集装置10也可以包括双目镜头；双目镜头包括：第一组采集镜头101和第二组采集镜头102；

第一组采集镜头101，用于采集其视觉范围内动态连续的视频图像，将视频图像以第一预设帧频率发送至定位信息融合装置30；

第二组采集镜头102，用于采集其视觉范围内的动态连续的视频图像，将视频图像以第一预设帧频率发送至定位信息融合装置30。

具体的，无论多维图像采集装置10包括单目镜头，还是双目镜头，其均是将采集的视频图像转换成对应的图像格式，并以转换后的第一预设图片，发送至定位信息融合装置30。

进一步的，参考图4，该多信息融合定位设备2中，惯性测量单元20包括：加速度传感器201和角速度传感器202；或者，惯性测量单元20包括：加速度传感器201和磁感应传感器203；或者，惯性测量单元20包括：加速度传感器201、角速度传感器202和磁感应传感器203；

加速度传感器201，用于采集多维图像采集装置10在载体坐标系中的三轴加速度信号，并将三轴加速度信号发送至定位信息融合装置30；

角速度传感器202，用于采集多维图像采集装置10在载体坐标系中的三轴角速度信号，并将三轴角速度信号发送至定位信息融合装置30；

磁感应传感器203，用于采集多维图像采集装置10在载体坐标系中的三轴磁感应信号，并将三轴磁感应信号发送至定位信息融合装置30。

具体的，惯性测量单元20(Inertial measurement unit，简称为IMU)的融合体现在其为加速度传感器201、角速度传感器202、磁感应传感器203这三者之间的融合，其中，融合的惯性测量单元20必须包括加速度传感器201，即惯性测量单元20可以包括加速度传感器201和角速度传感器202的融合，可以为加速度传感器201和磁感应传感器203的融合，也可以为加速度传感器201、角速度传感器202和磁感应传感器203的融合；而对应的上述加速度传感器201、角速度传感器202和磁感应传感器203分别用于获取三轴加速度传感器201、三轴角速度传感器202和三轴磁感应传感器203的信息，然后发送至定位信息融合装置30，以便定位信息融合装置30将对应的惯性测量单元20采集的信息与空间位置信息、地理位置信息进行融合，以实现定位。

其中，上述加速度传感器可以为加速度计(用A表示)，上述角速度传感器可以为陀螺仪(用G表示)，上述磁感应传感器可以为地磁指南针(用M表示)，即IMU(惯性测量单元)的融合可以为A+G、A+M，或者为A+G+M。其中，上述A用于计算移动距离，上述G和M均用于计算旋转角度，在计算旋转角度是，G的精度较地磁M的精度高。而上述A、G和M的计算过程由不同的算法决定。

进一步的，参考图5，该多信息融合定位设备2中，定位信息融合装置30包括：专用视觉处理装置301、控制装置302和存储器303；

控制装置302，用于控制专用视觉处理装置301处理过程中的算法，以及与算法对应的处理结果；

专用视觉处理装置301，用于在控制装置302的控制下，提取第一预设图片中的视频图像数据，对视频图像数据进行三维建模处理，得到三维模型，并利用分割识别方法从三维模型中获取视频图像数据对应的空间位置信息，得到对应的障碍物信息；

存储器303，用于在控制装置302的控制下，存储视频图像数据、三维模型、视频图像数据对应的空间位置信息和障碍物信息。

具体的，在定位信息融合装置30中，由专用视觉处理装置301实施真正的运算过程，由控制装置302控制专用视觉处理装置301实施的算法和对应的运算结果；由存储器303实施的存储功能，由控制装置302控制存储器303进行存储的路径和数据流。

进一步的，参考图5，该多信息融合定位设备2中，定位信息融合装置30还包括：语音识别合成装置304；

语音识别合成装置304，用于接收用户发送的语音信息，对语音信息进行识别处理，得到对应的目的地址；以及，根据目的地址和障碍物信息，合成与目的地址对应的提示语音，输出提示语音以进行提示。

本发明实施例中，用户可以直接通过语音识别合成装置304说出该多信息融合定位设备2其所嵌入的智能机器1的目的地址，语音识别合成装置304则根据用户的语音信息合成对应的目的地址，并根据目的地址和障碍物信息，合成与目的地址对应的提示语音，输出提示语音以进行提示，比如，提示智能机器1进行左转等。

进一步的，参考图5，该多信息融合定位设备2中，定位信息融合装置30还包括：路径规划子系统305；路径规划子系统305，用于根据障碍物信息对原有导航路径进行调整或者重新生成导航路径。

具体的，路径规划子系统305用于根据接收的障碍物信息，对原有导航路径进行调整或者重新生成导航路径，以对多信息融合定位设备2嵌入的智能机器1实时避障。

进一步的，参考图6，该多信息融合定位设备2中还包括：无线传输模块；专用视觉处理装置301包括：超声波检测器3011和信息融合处理器3012；

超声波检测器3011，用于检测障碍物的距离信息，将距离信息传输信息融合处理器3012；

信息融合处理器3012，用于根据视频图像及距离信息确定障碍物信息，并输出障碍物信息；

无线传输模块，用于将障碍物信息发送给对应的远程控制端3。

本发明实施例提供的一种多信息融合定位设备，与现有技术中的基于单信息源进行定位的定位系统，达不到所需要的精度，且其联网处理使得实时性达不到应用的需求相比，其能够通过的视频图像构建三维模型，获取对应的空间位置信息，并通过惯性测量单元20得到对应的方向信息，最终基于三维空间位置信息和方向信息的融合信息实现定位，提高了定位精度，并且，上述定位过程均是基于前端进行处理，无需进行联网，也使得处理的实时性较好。

本发明实施例提供了一种多信息融合定位系统，参考图7，包括：多信息融合定位设备2，还包括：智能机器1和远程控制端3；

多信息融合定位设备2嵌入智能机器1中，用于实时检测智能机器1前方的障碍物信息，并将障碍物信息发送给远程控制端3；

远程控制端3，用于接收障碍物信息，根据障碍物信息实时监控智能机器1的行走状态，并在工作人员的控制下，对智能机器1的行走状态进行匹配的控制。

本发明实施例中的多信息融合定位设备2可以应用在智能机器1上，其与智能机器1的连接方式如下：智能机器1上设置有插拔接口，上述多信息融合定位设备2可以直接通过上述插拔接口接入上述智能机器1上；或者，上述多信息融合定位设备2通过数据线与智能机器1上的插拔接口电连接；上述两种安装方式均能实现多信息融合定位设备2与智能机器1的数据通信。

上述多信息融合定位设备2能够采集自身视觉范围内的动态连续图像数据，同时对采集的数据进行三维建模处理，得到三维模型，并从三维模型中获取图像数据对应的空间位置信息；其中，上述空间位置信息包括：三维点云图、物体间相对位置、方向和距离等信息。

上述远程控制端3可以是服务器，其实时采集接收多信息融合定位设备2发送的障碍物信息，根据障碍物信息实时监控智能机器1的行走状态，如智能机器1是否行走在有障碍物的路径上等；并在工作人员的控制下，对智能机器1的行走状态进行匹配的控制，即对行走在有障碍物的路径上的智能机器1进行实时规避控制。

其中，上述智能机器1可以是车，以智能机器1为汽车为例，将多信息融合定位设备2(以下简称为视觉卡)装载在汽车上，并能够与车实现数据通信；例如在一个停车场，通过本发明实施例提供的多信息融合定位设备2对整个停车场的视频图像数据进行了扫描处理，以构建停车场的三维模型，并获取汽车的空间位置信息，并采集该停车场的九轴信息和地理位置信息，最终，通过定位该汽车在整个停车场的空间位置信息、上述九轴信息和地理位置信息进行融合处理，得到汽车在地球中的精确位置。

本发明实施例提供的一种多信息融合定位系统，与现有技术中的基于单信息源进行定位的定位系统，达不到所需要的精度，且其联网处理使得实时性达不到应用的需求相比，其能够通过的视频图像构建三维模型，获取对应的空间位置信息，并通过惯性测量单元20得到对应的方向信息，最终基于三维空间位置信息和方向信息的融合信息实现定位，提高了定位精度，并且，上述定位过程均是基于前端进行处理，无需进行联网，也使得处理的实时性较好。

本发明实施例所提供的多信息融合定位设备和系统可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种多信息融合定位设备，其特征在于，包括：多维图像采集装置、惯性测量单元和定位信息融合装置；

所述多维图像采集装置，用于获取其监测范围内动态连续的视频图像，将所述视频图像依次发送至所述定位信息融合装置；

所述惯性测量单元，用于获取所述多维图像采集装置在载体坐标系中的九轴信息，将所述九轴信息发送至所述定位信息融合装置；所述九轴信息至少包括加速度信号和旋转角速度信号；

所述定位信息融合装置，用于根据所述动态连续的视频图像构建三维模型，并利用分割识别方法从所述三维模型中获取所述视频图像在三维模型中的空间位置信息；以及，对所述九轴信息进行积分处理，得到所述视频图像的方向信息；将所述方向信息与所述空间位置信息进行融合处理，得到所述多维图像采集装置在其监测范围内的位置信息。

2.根据权利要求1所述的多信息融合定位设备，其特征在于，还包括导航定位装置；

所述导航定位装置，用于获取所述多维图像采集装置所在的地理位置；

所述定位信息融合装置，还用于将所述多维图像采集装置在其监测范围内的位置信息与所述地理位置进行融合处理，得到所述多维图像采集装置在地球上的位置信息。

3.根据权利要求2所述的多信息融合定位设备，其特征在于，所述多维图像采集装置包括单目镜头；

所述单目镜头，用于采集其视觉范围内动态连续的视频图像，将所述视频图像以第一预设帧频率发送至所述定位信息融合装置。

4.根据权利要求2所述的多信息融合定位设备，其特征在于，所述多维图像采集装置包括双目镜头；所述双目镜头包括：第一组采集镜头和第二组采集镜头；

所述第一组采集镜头，用于采集其视觉范围内动态连续的视频图像，将所述视频图像以第一预设帧频率发送至所述定位信息融合装置；

所述第二组采集镜头，用于采集其视觉范围内的动态连续的视频图像，将所述视频图像以所述第一预设帧频率发送至所述定位信息融合装置。

5.根据权利要求3或4所述的多信息融合定位设备，其特征在于，所述惯性测量单元包括以下任意一种融合传感器：加速度传感器和角速度传感器；或者，加速度传感器和磁感应传感器；或者，加速度传感器、角速度传感器和磁感应传感器；

所述加速度传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴加速度信号，并将所述三轴加速度信号发送至所述定位信息融合装置；

所述角速度传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴角速度信号，并将所述三轴角速度信号发送至所述定位信息融合装置；

所述磁感应传感器，用于采集所述多维图像采集装置在载体坐标系中的三轴磁感应信号，并将所述三轴磁感应信号发送至所述定位信息融合装置。

6.根据权利要求5所述的多信息融合定位设备，其特征在于，所述定位信息融合装置包括：专用视觉处理装置、控制装置和存储器；

所述控制装置，用于控制所述专用视觉处理装置处理过程中的算法，以及与所述算法对应的处理结果；

所述专用视觉处理装置，用于在所述控制装置的控制下，提取所述第一预设图片中的视频图像数据，对所述视频图像数据进行三维建模处理，得到三维模型，并利用分割识别方法从所述三维模型中获取所述视频图像数据对应的空间位置信息，得到对应的障碍物信息；

所述存储器，用于在所述控制装置的控制下，存储所述视频图像数据、所述三维模型、所述视频图像数据对应的空间位置信息和所述障碍物信息。

7.根据权利要求6所述的多信息融合定位设备，其特征在于，所述定位信息融合装置还包括：语音识别合成装置；

所述语音识别合成装置，用于接收用户发送的语音信息，对所述语音信息进行识别处理，得到对应的目的地址；以及，根据所述目的地址和所述障碍物信息，合成与所述目的地址对应的提示语音，输出所述提示语音以进行提示。

8.根据权利要求7所述的多信息融合定位设备，其特征在于，所述定位信息融合装置还包括：路径规划子系统；

所述路径规划子系统，用于根据所述障碍物信息对原有导航路径进行调整或者重新生成导航路径。

9.根据权利要求8所述的多信息融合定位设备，其特征在于，还包括：无线传输模块；所述专用视觉处理装置包括：超声波检测器和信息融合处理器；

所述超声波检测器，用于检测所述障碍物的距离信息，将所述距离信息传输所述信息融合处理器；

所述信息融合处理器，用于根据所述视频图像及所述距离信息确定所述障碍物信息，并输出所述障碍物信息；

所述无线传输模块，用于将所述障碍物信息发送给对应的远程控制端。

10.一种多信息融合定位系统，其特征在于，包括：权利要求1～9任一项所述的多信息融合定位设备，还包括：智能机器和远程控制端；

所述多信息融合定位设备嵌入所述智能机器中，用于实时检测所述智能机器前方的障碍物信息，并将所述障碍物信息发送给所述远程控制端；

所述远程控制端，用于接收所述障碍物信息，根据所述障碍物信息实时监控所述智能机器的行走状态，并在工作人员的控制下，对所述智能机器的行走状态进行匹配的控制。