CN106527426A - 一种室内多目轨迹规划系统及其方法 - Google Patents

Abstract

本发明公开了一种室内多目轨迹规划系统及其方法，该方法中的整个系统由多个摄像机、计算机、无线路由器、智能小车等组成。多个摄像机实时对室内场景进行拍摄，并将拍摄的图像通过无线网传输给控制室内的计算机；计算机先对拍摄到的图像进行预处理，再将拍摄到的图像进行拼接；在计算机上规划出室内各智能小车从起始点到目标点的无障碍路径，通过无线网将路径信息传输给各智能小车上的通信模块；智能小车的运动控制模块根据接收到的指令信息控制智能小车运动；智能小车的避障模块在运行过程中协同工作，协助智能小车避开障碍物。本发明提升了室内智能小车运行的灵活性，提高了室内智能小车自主运行的水平，具有重要科学意义与应用价值。

Description

一种室内多目轨迹规划系统及其方法

技术领域

本发明涉及一种室内导航技术领域，特别是涉及一种室内多目轨迹规划系统及其方法。

背景技术

伴随着室内智能化的普及，室内智能车轨迹规划和导航技术是室内移动小车领域的研究热点。在目前相关技术研究中，轨迹规划和导航技术是智能小车实现自主行驶的关键。对轨迹规划和导航技术的研究，其目的是实现智能小车沿规划的路径自主行驶并完成相应的任务。

目前摄像机同步成像的方法主要有两种：基于单摄像机的方法和基于多摄像机的方法。基于单摄像机的方法，即只用一个摄像机来观测室内场景，从中提取特征点。此方法不需要数据融合，且实时性较好，但由于一个摄像机的观测范围有限，进而应用范围受到限制。多摄像机的方法，即利用多个摄像机来观测室内场景，综合多个摄像机的观察数据计算物体位置。其优点是视野广阔，容易扩大观测范围。

目前室内智能小车的导航技术可以采用下列方法实现，包括：

1.基于室内路标，智能小车从车载摄像机拍摄的图像中识别路标，进而得知所处位置以及目标位置。在该方式中，虽然识别室内路标较为容易，但容易受过往事物打扰，车载摄像机也容易被损坏。此外，简单路标在进行图像处理时操作简单，但是不具备纠错性，而复杂路标虽然具有完整的纠错性，但由于图案过于复杂，运算难度大，而且对摄像机要求也较高，因此实时性较差；

2.采用激光或者超声波阵列，结构复杂，成本较高；

3.典型的室内智能小车普遍采用巡线方式移动，通常采用的方法是红外探测法，即智能小车在白色地板上循黑线行走，由于黑线和白色地板对光线的反射系数不同，可以根据接收到的反射光的强弱来判断轨迹的位置。此方法对地板要求较高，很难适应所有的室内地面情况。

基于以上论述，有必要提供一种实时性较好、操作灵活且成本较低的室内轨迹规划方法。

本发明提供了一种室内多摄像机同步工作进而拍摄室内图像的方法，该方法对室内物体拍摄覆盖率较高。多个摄像机实时地对室内不同场景进行拍摄，并将拍摄的图像通过无线网传输给控制室内的计算机；计算机先对拍摄到的图像进行预处理，再根据图像拼接的方法，将拍摄到的具有相同特征点的图像进行拼接；在计算机上规划出室内各智能小车从起始点位置到目标点位置的无障碍路径，然后通过无线网将路径信息传输给各智能小车上的通信模块；智能小车的运动控制模块根据通信模块接收到的指令信息生成相应的驱动信息，控制运动机构运动；智能小车的避障模块在智能小车运行过程中协同工作，协助智能小车避开轨迹上的障碍物。该方法通过无线网的方式建立各模块之间的通信连接，具有较高的实时性。预先在计算机软件上规划好各智能小车运行轨迹，并将规划的轨迹传输给各智能小车，智能小车沿着预先规划的轨迹自主完成各指令操作。从而提升了室内智能小车运行的灵活性，减少了人力劳动，提高了室内智能小车自动化水平。

发明内容

针对实现室内智能小车轨迹规划的目标要求，本发明通过一种室内多目轨迹规划系统及其方法，有效消除了视觉成像的畸变失真、倾斜失真、比例失真以及多摄像机安装位姿误差。无线设备实现了摄像机、计算机、智能小车之间的通讯，实时地将计算机规划的轨迹信息以及室内路面信息传输给智能小车，用于自动引导智能小车基于平面矢量图的行驶。能够高精度地实现对各智能小车实时位置的监控，从而确保各智能小车行驶在规划的轨迹上，具有操作性好、柔性高、实时性好的特点。

本发明采用的方法的技术方案具体包括以下几个步骤：

步骤1，确定摄像机参数与布置数量，进而确保在任何时候至少有两台摄像机可监控到室内地面不同区域；

步骤2，利用多个摄像机同步采集室内图像，获取室内不同区域的多个同步图像；

步骤3，通过无线路由器建立无线网，将多个摄像机同步拍摄的图像实时地传输给控制室内的计算机；

步骤4，计算机软件通过图像拼接的方法，对待拼接图像进行拼接，将摄像机拍摄的室内地面不同区域的图像实时地拼接成整体的室内地面图像；

步骤5，通过双目测距方法实时地分析室内地面图像，识别出地面、障碍物抑或地面破损的区域，进而判断出智能小车能否从该区域通行；并通过计算机软件规划出各智能小车从起始位置到目标位置的行驶路径；

步骤6，计算机通过无线网和各智能小车建立通信，将规划的路径实时地传输给各智能小车的无线通信模块，运动控制模块根据接收到的指令信息产生相应的驱动控制指令控制运动机构，进而控制智能小车按规划的轨迹行驶；

步骤7，当智能小车行驶轨迹上有障碍物时，计算机通过相应软件实时地分析室内地面情况，计算出智能小车避开该障碍物应偏移的方向以及偏移的角度α，进而重新规划智能小车的运动轨迹，并通过无线网将重新规划的路径信息实时地传输给智能小车，进而控制智能小车移动。

步骤8，智能小车行驶过程中，如果突然出现摄像机不能及时捕捉的障碍物时，通过自身的避障模块进行避障，进而确保智能小车行驶过程中的安全性。

进一步，所述步骤4中，图像拼接的方法包括以下子步骤：

步骤4.1，提取同步图像组中各图像的特征点，并计算同步图像的深度值；

步骤4.2，根据深度值自适应将同步图像的特征点划分到不同的特征点平面；

步骤4.3，将划分到同一特征点平面的特征点进行匹配，得到匹配特征点；

步骤4.4，根据匹配特征点建立特征点平面的映射矩阵；

步骤4.5，基于多个特征点平面对应的多维映射矩阵生成配准参数；

步骤4.6，根据配准参数，实时地对摄像机拍摄的同步图像进行多面映射；

步骤4.7，将同步图像组中的同步图像进行融合，生成拼接图像。

进一步，所述步骤5中，双目测距方法包括：

步骤5.1，通过两个摄像头获取同一时刻分别采集的第一图像和第二图像；

步骤5.2，提取第一图像中所拍摄物体的基准特征点，并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

步骤5.3，提取第一图像中所拍摄物体的基准特征点，并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

步骤5.4，根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤操作，并建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；

步骤5.5，计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

步骤5.6，计算多个深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

本发明的系统的技术方案为：一种室内多目轨迹规划系统，包括控制室内的计算机和路由器，以及设在工作场所的摄像机和智能小车；

所述摄像机、计算机和各智能小车的无线通信模块连接同一个无线路由器构成的局域网，实现摄像机与计算机之间，以及控制室内的计算机与各智能小车之间的通信；

所述计算机用于分析摄像机拍摄的室内图像以及进行各智能小车的路径规划；

所述摄像机，用于拍摄室内图像以及与控制室内的计算机通信；

所述智能小车包括无线通信模块、运动控制模块、运动机构、避障模块；

所述无线通信模块用于接收所述控制室计算机传输的指令信息；运动控制模块用于根据接收到的指令信息产生相应的驱动控制指令；运动机构包括车轮、车架和电机，用于根据所述驱动控制指令驱动智能小车运动；避障模块，包括超声波模块和指示灯，用于根据所述智能小车行驶环境进行避障。

进一步，所述摄像机为360度旋转摄像机，具有1920*1080像素、支持64G TF卡、支持WiFi网络、IP66级防水、红外夜视的功能，可实现水平方向350度旋转，垂直方向90度旋转。摄像机安装于室内顶部，即与室内地面相对的天花板，用于完成室内地面不同区域图像的拍摄。

进一步，所述智能小车上的运动控制模块和无线通信模块建立通信，运动控制模块将无线通信模块接收到的实时路径信息转换成驱动控制信号，进而控制智能小车的运动机构运动。

进一步，所述智能小车中的避障模块采用超声波模块，该避障模块位于智能小车正前方，进而用于探测运动轨迹上的障碍物，当有障碍物时，报警装置报警。

进一步，所述运动机构还包括装在智能小车车头和车尾的圆柱体标志物，该标志物用于确定智能小车运动方向。

进一步，所述无线路由器为企业级路由器，用于在室内建立一个无线局域网。

与现有技术相比，上述室内多目轨迹规划方法依据室内地面实时情况准确地规划出各智能小车运动路径，提高了智能小车行驶轨迹精度以及智能小车行驶的灵活性。另外本发明中智能小车的避障系统，提高了智能小车适应室内环境的能力，保证了行驶过程中的安全性，提升了室内物品运输效率。同时减少了人力劳动，提高了室内智能小车自主运行的水平，具有重要科学意义与应用价值。

附图说明

图1为本发明室内多目轨迹规划系统的流程图。

图2为本发明室内多目轨迹规划系统的总体结构图。

其中，5为摄像头，6为智能小车，7为目标物体，8为控制室内的计算机，11为室内生产车间区域的机器。

图3为本发明通过计算机软件建立的室内场景俯视图坐标系。

图4为本发明的智能小车结构示意图。

图5为本发明的智能小车正视图。

其中，2为车头圆柱体标志物，3为超声波模块，9为电机，10为车轮，12为车架，17为无线通信模块，18为运动控制模块。

图6为本发明的智能小车俯视图。

其中，1为报警装置，2为车头圆柱体标志物，3为超声波模块，4为车尾圆柱体标志物，10为车轮，17为无线通信模块，18为运动控制模块。

图7为本发明的智能小车避障原理图。

图8为本发明的智能小车避障原理分解图。

图9为本发明的摄像机工作原理图。

其中，19为摄像机云台，20为摄像头。

具体实施方式

下面结合附图对本发明进一步说明：

如图1所示，为室内多目轨迹规划系统的流程图，多个摄像机5实时对室内不同场景进行拍摄，并将拍摄的图像通过无线网传输给控制室内的计算机8；计算机8先对拍摄到的图像进行预处理，再根据图像拼接的方法，将拍摄到的具有相同特征点的图像进行拼接；在计算机8上规划出室内各智能小车6从起始点位置到目标点位置的无障碍路径，然后通过无线网将路径信息传输给各智能小车6上的通信模块；智能小车6的运动控制模块18根据通信模块接收到的指令信息生成相应的驱动信息，控制运动机构运动；智能小车的避障模块在智能小车运行过程中协同工作，协助智能小车6避开轨迹上的障碍物。

如图2所示，为室内多目轨迹规划系统的总体结构图，包括摄像机5、计算机8、路由器、目标物体7以及智能小车6。在图2所示的室内结构图中，多个摄像机安装于室内顶部，可采用的摄像机有大视角摄像机、360度旋转摄像机等。由于需要实时对室内各个区域进行图像采集，因此本发明采用了360度旋转摄像机。其工作原理如图9所示，摄像头20可实现水平方向350度旋转，垂直方向90度旋转，即图中的β＝90°，进而用于室内场景的拍摄。

本发明通过无线路由器建立能覆盖控制室和室内各区域的无线网，用于实现摄像机和控制室内的计算机以及控制室内的计算机和各智能小车之间的通信。摄像机通过无线网将拍摄的室内场景实时传输给控制室内的计算机8，控制室内的计算机安装相应的图像处理软件，通过图像拼接的方法将各摄像机拍摄的实时图像拼接成完整的室内图像，并在计算机显示器上实时显示。在任何时候都需要确保室内不同区域至少有两台摄像机可监控到。通过双目视觉测距的方法，测量出该区域与摄像头的垂直距离，识别出该区域是地面、障碍物抑或地面破损区域，进而判断出小车能否从该区域通行。

通过计算机安装的软件在室内图像上建立坐标系，参见图3，进而深度分析室内地面图像，识别出室内的障碍物11、目标物体7以及智能小车6并得到它们各自的坐标点。通过控制室内的计算机，规划出各小车的无障碍轨迹，将该轨迹以坐标点的形式通过无线网传输给智能小车6。

图4为智能小车结构示意图。通过分析智能小车上圆柱体标识物2在室内地面中的位置获取智能小车6的方向信息，结合从计算机接收到的指令信息，控制智能小车的运动方向，确保小车在规划的轨迹上行驶。

如图5所示，本发明中的智能小车包括无线通信模块17、运动控制模块18、运动机构和避障模块。无线通信模块17用于接收计算机传输的轨迹信号，无线通信模块17可采用符合多种无线通信协议的网络模块，例如WIFI模块、红外通信模块、蓝牙通信模块等，本发明中使用WIFI模块。运动控制模块18根据接收到的位置信息生成相应的驱动控制信号。位置信息为人为规划的路径信息，例如转向角度、行进距离等。位置信息经过运动控制模块处理后转换成驱动运动机构运行的控制信号。此时运动控制模块可以采用小型的专用驱动控制板，以减小智能小车的体积和减轻它的体重。

运动机构用于根据所述驱动控制信号带动智能小车运动。结合图5及图6，运动机构包括电机9和由电机驱动的车轮10。此时智能小车的驱动信号就是电机控制信号，具体是控制电机的转速信号，电机9根据转速信号以相应的速度运转从而驱动车轮10运转。由于四个车轮均由独立电机驱动，当两个同轴车轮分别以不同速度运转时就能控制智能小车转向，进而调整智能小车的移动方向。

进一步地，智能小车包括用于探测运动路径上障碍物的避障模块。超声波模块在智能小车行进方向上不断发出超声波，通过检测回波信号的方式辨别行进路上是否有障碍物，并将结果返回给运动控制模块18。本发明中，为了提高运动控制和避障处理的灵活性，当智能小车的避障模块探测到障碍物时，智能小车及时停止并触发报警装置1报警。与此同时，智能小车通过无线网及时地发送信息给控制室内的计算机，用于告知计算机小车行驶轨迹上有障碍物。计算机通过相应软件实时地分析室内地面情况，如图7及图8，计算出智能小车避开该障碍物应偏移的方向以及偏移的角度α，进而重新规划智能小车的运动轨迹，并通过无线网将重新规划的路径信息实时地传输给智能小车，进而控制智能小车移动。

综上，本发明公开了一种室内多目轨迹规划系统及其方法，该方法中的整个系统由多个摄像机、计算机、无线路由器、智能小车等组成。多个摄像机实时对室内不同场景进行拍摄，并将拍摄的图像通过无线网传输给控制室内的计算机；计算机先对拍摄到的图像进行预处理，再根据图像拼接的方法，将拍摄到的具有相同特征点的图像进行拼接；在计算机上规划出室内各智能小车从起始点位置到目标点位置的无障碍路径，然后通过无线网将路径信息传输给各智能小车上的通信模块；智能小车的运动控制模块根据通信模块接收到的指令信息生成相应的驱动信息，控制运动机构运动；智能小车的避障模块在智能小车运行过程中协同工作，协助智能小车避开轨迹上的障碍物。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种室内多目轨迹规划方法，其特征在于，该方法的操作步骤为：

步骤1，确定摄像机(5)参数与布置数量，进而确保在任何时候至少有两台摄像机(5)可监控到室内地面不同区域；

步骤2，利用多个摄像机(5)同步采集室内图像，获取室内不同区域的多个同步图像；

步骤3，通过无线路由器建立无线网，将多个摄像机(5)同步拍摄的图像实时地传输给控制室内的计算机(8)；

步骤4，计算机软件通过图像拼接的方法，对待拼接图像进行拼接，将摄像机(5)拍摄的室内地面不同区域的图像实时地拼接成整体的室内地面图像；

步骤5，通过双目测距方法实时地分析室内地面图像，识别出地面、障碍物抑或地面破损的区域，进而判断出智能小车能否从该区域通行；并通过计算机软件规划出各智能小车(6)从起始位置到目标位置的行驶路径；

步骤6，计算机通过无线网和各智能小车(6)建立通信，将规划的路径实时地传输给各智能小车的无线通信模块(17)，运动控制模块(18)根据接收到的指令信息产生相应的驱动控制指令控制运动机构，进而控制智能小车按规划的轨迹行驶；

步骤7，当智能小车行驶轨迹上有障碍物时，计算机通过相应软件实时地分析室内地面情况，计算出智能小车避开该障碍物应偏移的方向以及偏移的角度α，进而重新规划智能小车的运动轨迹，并通过无线网将重新规划的路径信息实时地传输给智能小车，进而控制智能小车移动。

步骤8，智能小车(6)行驶过程中，如果突然出现摄像机(5)不能及时捕捉的障碍物时，通过自身的避障模块进行避障，进而确保智能小车行驶过程中的安全性。

2.根据权利要求1所述的一种室内多目轨迹规划方法，其特征在于，所述步骤4中，图像拼接的方法包括以下子步骤：

步骤4.1，提取同步图像组中各图像的特征点，并计算同步图像的深度值；

步骤4.2，根据深度值自适应将同步图像的特征点划分到不同的特征点平面；

步骤4.3，将划分到同一特征点平面的特征点进行匹配，得到匹配特征点；

步骤4.4，根据匹配特征点建立特征点平面的映射矩阵；

步骤4.5，基于多个特征点平面对应的多维映射矩阵生成配准参数；

步骤4.6，根据配准参数，实时地对摄像机拍摄的同步图像进行多面映射；

步骤4.7，将同步图像组中的同步图像进行融合，生成拼接图像。

3.根据权利要求1所述的一种室内多目轨迹规划方法，其特征在于，所述步骤5中，双目测距方法包括：

步骤5.1，通过两个摄像头获取同一时刻分别采集的第一图像和第二图像；

步骤5.2，提取第一图像中所拍摄物体的基准特征点，并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

步骤5.3，提取第一图像中所拍摄物体的基准特征点，并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

步骤5.4，根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤操作，并建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；

步骤5.5，计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

步骤5.6，计算多个深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

4.一种室内多目轨迹规划系统，其特征在于，包括控制室内的计算机(8)和路由器，以及设在工作场所的摄像机(5)和智能小车(6)；

所述摄像机(5)、计算机(8)和各智能小车(6)的无线通信模块(17)连接同一个无线路由器构成的局域网，实现摄像机(5)与计算机(8)之间，以及控制室内的计算机(8)与各智能小车(6)之间的通信；

所述计算机(8)用于分析摄像机拍摄的室内图像以及进行各智能小车的路径规划；

所述摄像机(5)，用于拍摄室内图像以及与控制室内的计算机通信；

所述智能小车(6)包括无线通信模块(17)、运动控制模块(18)、运动机构、避障模块；

所述无线通信模块(17)用于接收所述控制室计算机传输的指令信息；运动控制模块(18)用于根据接收到的指令信息产生相应的驱动控制指令；运动机构包括车轮(10)、车架(12)和电机(9)，用于根据所述驱动控制指令驱动智能小车运动；避障模块，包括超声波模块(3)和指示灯(1)，用于根据所述智能小车行驶环境进行避障。

5.根据权利要求4所述的一种室内多目轨迹规划系统，其特征在于，所述摄像机(5)为360度旋转摄像机，具有1920*1080像素、支持64G TF卡、支持WiFi网络、IP66级防水、红外夜视的功能，可实现水平方向350度旋转，垂直方向90度旋转。摄像机(5)安装于室内顶部，即与室内地面相对的天花板，用于完成室内地面不同区域图像的拍摄。

6.根据权利要求4所述的一种室内多目轨迹规划系统，其特征在于，所述智能小车(6)上的运动控制模块(18)和无线通信模块(17)建立通信，运动控制模块(18)将无线通信模块(17)接收到的实时路径信息转换成驱动控制信号，进而控制智能小车(6)的运动机构运动。

7.根据权利要求4所述的一种室内多目轨迹规划系统，其特征在于，所述智能小车(6)中的避障模块采用超声波模块(3)，该避障模块位于智能小车正前方，进而用于探测运动轨迹上的障碍物，当有障碍物时，报警装置(1)报警。

8.根据权利要求4所述的一种室内多目轨迹规划系统，其特征在于，所述运动机构还包括装在智能小车车头和车尾的圆柱体标志物(2)，该标志物用于确定智能小车运动方向。

9.根据权利要求4所述的一种室内多目轨迹规划系统，其特征在于，所述无线路由器为企业级路由器，用于在室内建立一个无线局域网。