CN113917875A - 一种自主无人系统开放通用智能控制器、方法及存储介质 - Google Patents
一种自主无人系统开放通用智能控制器、方法及存储介质 Download PDFInfo
- Publication number
- CN113917875A CN113917875A CN202111215863.7A CN202111215863A CN113917875A CN 113917875 A CN113917875 A CN 113917875A CN 202111215863 A CN202111215863 A CN 202111215863A CN 113917875 A CN113917875 A CN 113917875A
- Authority
- CN
- China
- Prior art keywords
- equipment
- information
- millimeter wave
- wave radar
- initial information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008054 signal transmission Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000007499 fusion processing Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24215—Scada supervisory control and data acquisition
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种自主无人系统开放通用智能控制器、方法及存储介质,涉及智能控制技术领域,包括工控机、传感器系统、设备控制模块及定位导航系统;传感器系统用于对设备的周围环境进行检测,获取目标检测初始信息并传输到工控机;定位导航系统用于获取设备状态初始信息,并传输到工控机;工控机用于分别对所述目标检测初始信息及设备状态初始信息进行数据融合,获取设备全局定位的周围环境,判断设备目前所处状态;设备控制模块用于根据设备目前所处状态,改变设备的运动轨迹。本发明将单一传感器的弱势进行优化,对传感器数据进行有效融合,实现对设备的控制,使设备在恶劣环境下依旧保持安全的运行。
Description
技术领域
本发明涉及智能控制技术领域,更具体的说是涉及一种自主无人系统开放通用智能控制器、方法及存储介质。
背景技术
随着科学技术的进步,机器人等一系列产品的智能化水平越来越高,人们对智能化产品的需求也越来越迫切,随之而来,对一些智能产品进行较为方便的控制也变成了人们的迫切需要。
环境感知技术为控制器控制设备提供了重要的保证,目标检测技术更是环境感知的关键环节。目标的检测就是设备在工作时,在多种传感器作用的基础上,利用特定的算法检测出设备附近的障碍物的技术,如果遇到障碍物,设备会执行减速或者转向等操作。这项技术依赖于多种传感器,其中摄像头、毫米波雷达、激光雷达是使用广泛且性能完善的三种传感器,毫米波雷达具有反映速度快、无视遮挡和操作简单等特点,激光雷达有3D精确感知能力,摄像头传递的信息丰富、成本低。但是,毫米波雷达的分辨率低,激光雷达的价格成本高,摄像头的图像信息无法提供准确的目标动态信息,所以各种传感器有其优点的同时也都有其缺点,同时对多传感器进行有效的融合,才能对设备的工作进行更有效的指导。
因此,如何将单一传感器的弱势进行优化,对传感器数据进行有效融合,以此获得更准确的障碍物信息和图像信息,控制设备的加减速、制动和转向等功能,使设备在恶劣环境下依旧能保持安全运行是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种自主无人系统开放通用智能控制器、方法及存储介质,将多种传感器设备的数据预处理后再进行数据融合,判断设备目前的状态,控制设备执行停止、前进、转向等动作,确保设备的正常工作。
为了实现上述目的,本发明提供了一种自主无人系统开放通用智能控制器,包括:工控机、传感器系统、设备控制模块及定位导航系统;所述传感器系统、设备控制模块和定位导航系统均与所述工控机相连;
所述传感器系统,用于对设备的周围环境进行检测,获取目标检测初始信息并传输到所述工控机;
所述定位导航系统,用于获取设备状态初始信息,并传输到所述工控机;
所述工控机,用于分别对所述目标检测初始信息及设备状态初始信息进行数据融合,判断设备目前所处状态;
所述设备控制模块,用于根据设备目前所处状态,改变设备的运动轨迹。
上述的技术方案公开了本发明中智能控制器的具体结构设置,通过各种传感器获得障碍物信息和图像信息,并结合定位导航系统提供的信息,控制设备的加减速、制动和转向等,使设备在恶劣环境下依旧能保持安全的运行。
可选的,所述传感器系统包括激光雷达、毫米波雷达和摄像头;
所述毫米波雷达,用于向周围发送连续波信号,获取包括设备与障碍物之间的距离、角度在内的物理信息;
所述激光雷达,用于向周围发射探测信号,获取点云图;
所述摄像头,用于获取设备周围的图像信息。
可选的,所述定位导航系统包括卫星导航装置和惯性导航装置;
所述卫星导航装置,用于通过固定设置的基站向安装在设备上的移动站发送卫星信息,利用载波相位差分原理对所述卫星信息及自身的信息进行差分操作,获取设备的定位信息;其中,自身的信息包括接收卫星的载波相位,差分操作的原理是载波相位差分原理,基站通过数据链将其载波观测值和基站坐标信息一同传给移动站,移动站接收卫星的载波相位与来自基站的载波相位,组成差分观测值进行处理;
所述惯性导航装置,用于通过惯性测量单元实时测量包括设备当前角速度、加速度在内的姿态信息,通过计算单元预测和更新设备下一时刻的位置状态量。
可选的,所述工控机分别通过MSRCR图像增强算法、快速傅里叶变换对摄像获取的图像信息、毫米波雷达产生的回波信号进行预处理,得到预处理后的数据;
当摄像头和毫米波雷达都没有检测到障碍物时,设备周围没有障碍物的存在;
当只有摄像头或只有毫米波雷达检测到障碍物时,输出结果为相应的预处理后的数据;
当摄像头和毫米波雷达都检测到障碍物时,通过卡尔曼滤波和STF算法处理,得到摄像头和毫米波雷达的融合数据。
上述技术方案中将摄像头数据和毫米波雷达数据进行融合处理,使设备能够在雨雪等复杂天气条件下对周围环境有准确的感知。
可选的,所述工控机分别通过快速傅里叶变换、基于密度的聚类方法对毫米波雷达产生的回波信号、点云图进行预处理,得到预处理后的数据;
当毫米波雷达和激光雷达都没有检测到障碍物时,设备周围没有障碍物的存在;
当只有毫米波雷达或只有激光雷达检测到障碍物时,输出结果为相应的预处理后的数据;
当毫米波雷达和激光雷达都检测到障碍物时,采用坐标变换的方式将两者的数据汇总到点云图上,得到毫米波雷达和激光雷达的融合数据。
上述技术方案中将毫米波雷达数据和激光雷达数据进行融合处理,可以解决在雨雪等环境中激光雷达因为无法保障所需反射面而出现激光点散射导致的数据混乱的情况,将这两种传感器数据进行融合处理,可以获得更完整的点云图。
可选的,所述工控机采用卡尔曼滤波算法将卫星导航装置的定位结果及惯性导航装置的解算结果进行数据融合,输出修正后的位置信息和姿态信息。为了应对设备工作的环境也可能存在障碍物、设备在工作时会有抖动等情况,设备通过定位导航系统获取多种导航信息,将卫星导航和惯性导航进行数据融合,输出修正后的位置、速度和姿态等相关信息,配合其他传感器为设备提供服务。
本发明还提供了一种自主无人系统开放通用智能控制方法,包括以下步骤:
对设备的周围环境进行检测,获取目标检测初始信息;
获取设备状态初始信息;
分别对所述目标检测初始信息及设备状态初始信息进行数据融合,判断设备目前所处状态;
根据设备目前所处状态,改变设备的运动轨迹。
可选的,所述获取目标检测初始信息,具体包括以下步骤:
通过毫米波雷达向周围发射连续波信号,对信号传播过程中遇到障碍物产生的回波信号进行处理,获取设备与障碍物之间包括距离、角度在内的物理信息;
通过激光雷达向周围发射探测信号,对信号传播过程中遇到障碍物产生的回波信号进行处理,获取点云图;
通过摄像头获取设备周围的图像信息。
可选的,所述获取设备状态初始信息,具体包括以下步骤:
通过惯性测量单元实时测量设备当前的姿态信息,并通过计算单元预测和更新设备下一时刻的位置状态量;
通过固定设置的基站向安装在设备上的移动站发送卫星信息,利用载波相位差分原理对所述卫星信息和自身的信息进行差分操作,获取设备的定位信息;其中,自身的信息包括接收卫星的载波相位。
本发明还提供了一种计算机可存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述自主无人系统开放通用智能控制方法的步骤。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种自主无人系统开放通用智能控制器、方法及存储介质,具有以下有益效果:
(1)本发明通过将毫米波雷达、激光雷达、摄像头等传感器数据进行数据融合,将单一传感器的弱势进行优化,获得更准确的障碍物信息和图像信息,使设备能够在雨雪等复杂天气条件下对周围环境有更准确的感知,解决激光雷达在这种环境下无法保障所需的反射面而出现激光点散射的问题;
(2)本发明通过将卫星导航和惯性导航的数据进行融合处理,二者的共同作用使定位导航系统整体精度更高更可靠,通过定位导航系统反馈的多种导航信息,可以应对设备工作环境中存在障碍物或设备在工作时可能存在抖动等情况;
(3)本发明通过传感器数据和定位导航系统提供的信息,控制设备的加减速、制动和转向等,使设备在恶劣环境下依旧能保持安全的运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明中自主无人系统开放通用智能控制器的整体结构图;
图2为工控机的三维示意图;
图3为本发明中自主无人系统开放通用智能控制方法的整体流程图;
图4为激光雷达与毫米波雷达的工作流程;
图5为鱼眼摄像头的算法框图;
图6为球面坐标定位法的流程图;
图7为梯形校正算法流程图;
图8为图像拼接的流程图;
图9为摄像头与毫米波雷达融合算法流程图;
图10为激光雷达与毫米波雷达融合算法流程图;
图11为MPU6050姿态模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
目标检测技术依赖于多种传感器,其中毫米波雷达、激光雷达以及摄像头是使用广泛且性能完善的三种传感器。毫米波雷达具有反应速度快、无视遮挡和操作简单等特点;激光雷达有3D精确感知能力;摄像头传递的信息丰富,成本低。但是,毫米波雷达的分辨率低,激光雷达的价格成本高,摄像头的图像信息无法提供准确的目标动态信息,所以各种传感器有其优点的同时也都有其缺点,同时对多传感器进行有效的融合,才能对设备的工作进行更有效的指导。由表1三种传感器的性能分析可知,将三种传感器进行适当的结合使用,能够更加有效的对设备周围进行检测。为了应对设备工作的环境可能存在树木、设备在工作时可能会有抖动等情况,设备需要定位导航系统反馈的多种导航信息,本设计使用卫星导航和惯性导航配合其他传感器为设备提供服务。
表1三种传感器在不同环境下的性能对比
如图1所示,本发明实施例公开了一种自主无人系统开放通用智能控制器,包括:工控机、传感器系统、设备控制模块及定位导航系统;传感器系统,用于对设备的周围环境进行检测,获取目标检测初始信息并传输到工控机;定位导航系统,用于获取设备状态初始信息,并传输到工控机;工控机,用于分别对目标检测初始信息及设备状态初始信息进行数据融合,获取设备全局定位的周围环境,判断设备目前所处状态;设备控制模块,用于根据设备目前所处状态,改变设备的运动轨迹。
本实施例中使用工控机作为核心器件,各种传感器通过USB接口、PCI接口、RS-232/422/485等接口与工控机进行通讯,具体连接接口视传感器自身接口而定,传感器将检测到的数据发送到工控机进行预处理和数据融合,工控机将点云数据等信息发送到人机交互界面以供参考;工控机数据的预处理和数据融合判断设备目前所处的状态,若检测到障碍物之类的物体则通过设备控制模块改变设备的运动轨迹。控制器具备了摄像头、激光雷达、毫米波雷达、惯性导航、卫星定位等多个设备的组网能力,具有运动、姿态、视觉、全局定位和环境感知能力,USB接口的通讯速率高,USB1.1和USB1.0的通讯速率为12Mbps和1.5Mbps,USB2.0的速率更高。控制器能够根据传感器的目标检测信息完成自主避障,根据组合导航的信息完成局部自主移动。控制器以工控机为核心器件,传感器数据融合更新速率高,能够应用到无人驾驶、无人机等不同领域。工控机的三维图如图2所示,图中标号为1的接口为AUDIO接口,2为USB接口,3为COM接口,4为LAN接口,5为HDMI接口,6为开关,7为DC12V接口,在连接时按照对应的接口连接。
实施例2
如图3所示为本实施例公开的一种自主无人系统开放通用智能控制方法的具体流程图,控制器将传感器的数据进行预处理和融合处理,以得到设备的全局定位的周围环境。控制器的核心算法是对数据的融合算法,本控制器将摄像头数据和毫米波雷达的数据进行融合处理,使设备能够在雨雪等复杂天气条件下对周围环境有准确的感知。毫米波雷达向周围发送连续波信号,获取包括设备与障碍物之间的距离、角度在内的物理信息;激光雷达向周围发射探测信号,获取点云图;摄像头于获取设备周围的图像信息。
控制器先对摄像头和毫米波雷达的数据进行预处理:对摄像头数据的预处理为MSRCR图像增强算法,对摄像头获取到的图像进行图像分割,得到R、G、B通道的图像,对各个通道的图像进行灰度校正、调节颜色比例等处理,处理完毕后将各通道的画像进行合并得到增强后的图像。毫米波雷达在产生回波信号后对回波信号进行FFT(快速傅里叶变换)处理,得到预处理后的数据。控制器再对摄像头数据和毫米波雷达数据进行融合处理,当两者都没有检测到目标时,该区域内没有目标的存在;若只有一种传感器检测到目标,则输出相应的数据;若两种传感器都检测到目标,则先进行卡尔曼滤波,然后进行STF融合算法处理,得到摄像头和毫米波雷达的数据融合数据。
本控制器为了应对设备在雨雪等环境中激光雷达因为无法保障所需反射面而出现激光点散射,导致数据混乱的情况而将毫米波雷达和激光雷达的数据进行融合处理,这样可以获得更加完整的云点图。激光雷达的数据是一些数据点,有较多冗余数据,对激光雷达数据的预处理可以采用基于密度的聚类方法得到预处理后的数据。两者都未检测到目标则认定该区域内无目标;若只有激光雷达检测到目标,则输出相应云点图;若只有毫米波雷达检测到目标,则输出目标的距离、角度等信息;若两者都检测到目标则进行数据融合,采用坐标变换的方式,将两者的数据汇总到云点图上,得到更加完整的云点图。
控制器的全局定位采用卫星定位和惯性导航相结合,对两者的数据进行融合处理,卫星定位是由基站和移动站组成的,移动站安装在设备上并配有天线,在进行定位时把基站固定在某个位置上,向移动站发送卫星信息,移动站将接收到的卫星信息和自身的信息进行差分操作,自身的信息包括接收卫星的载波相位等,此处的差分操作的原理是载波相位差分原理,基准站通过数据链将其载波观测值和基站坐标信息一同传给用户站,用户站接收卫星的载波相位与来自基准站的载波相位,组成差分观测值进处理。惯性测量单元不需要接收外部信号就能推算出自己的位置,惯性导航系统可以测出设备的三轴线加速度和三轴角加速度,还可以得到一些姿态角如俯仰角、偏航角等一些角度信息,所以用惯性导航和卫星导航共同作用可以使导航系统整体精度更高更可靠。控制器对其进行融合处理,GNSS接收机接收信号传输给定位处理器,定位处理器把卫星信号转化计算为航向、基线解等数据,将此数据与惯性导航系统解算结果进行融合,采用卡尔曼滤波算法,输出修正后的位置、速度和姿态等相关信息。
实施例3
本实施例中通过实际的传感器和定位导航系统对控制器及控制方法进行介绍。
在毫米波雷达的选型上要考虑工作频率,毫米波雷达的工作频率主要为24GHz和77GHz。本实施例中选用的毫米波雷达为美国德尔福公司的ESR毫米波雷达,该雷达综合宽视角中距离和窄视角长距离于一体,可以实现长距离和短距离探测的结合,其内部无移动部件,结构可靠,能抵抗恶劣环境,结构紧凑,在设备上使用四个该类毫米波雷达即可实现360°全覆盖检测,更新频率在50ms内。毫米波雷达是一种主动型传感器,它的数据采集和处理都是向周围发射波信号实现,信号在传播中如果遇到了目标物就会产生回波信号,对该信号进行计算和处理即可完成设备与障碍物之间的距离的采集。毫米波雷达数据采集和处理流程图如图4所示。
激光雷达与毫米波雷达类似,都是主动型传感器,工作流程也如图4所示。激光雷达最后输出为点云图。在本实施例中激光雷达为SENKY LAKSER的F10型号,该激光雷达测量距离为0.15-10米,角度为360°,角度分辨率为0.27°,距离分辨率为1cm,扫描频率为15Hz,工作温度可以从零下10摄氏度到50摄氏度,工作接口为USB类型。
双目立体视觉系统使用两台完全相同的相机模拟人类双眼,实时采集图像,同一个物体在两台摄像机中都会得到图片,根据物体在两张图片中的位置差异即视差值,就可以得知物体在真实世界中的位置。双目横线平行成像模型是双目视觉中应用最为广泛的模型,该模型经常被用来进行三位重建和测距。本实施例中选用的双目摄像头型号为HBV-1780-2,由于摄像头本身的原因,每种相机都会存在畸变,该双目摄像头畸变较小,可通过USB连接,使用较为方便。为了获取相机的内参以及畸变系数,需要对相机进行参数标定,一般有OpenCV标定和MATLAB中的Camera Calibrator工具等,在进行标定后就可以得到双目摄像头的内部参数和畸变系数。图像校正就是让左右图像能够较好地进行匹配,立体匹配算法是双目摄像头测距的关键,利用匹配算法在图像中进行相应像素点的视差计算,利用视差即可计算出待测物距离。根据图像基元进行分类,立体匹配有基于区域、基于特征和基于相位三种,其中基于特征相比较其他两种有匹配速度较快和精度高的优势。ORB算法是基于特征匹配的典型代表,有很好的匹配精度。基于以上方法可以实现车道线检测、障碍物检测和交通标志的识别。
结合国内外对于汽车全景环视系统的研究,与使用云台加一个摄像头,使云台360°旋转从而取得全景的方案相比,本实施例中选用多个摄像头同时采集,将多个摄像头安装在设备的四周,每个摄像头采集一定角度的图形信息,最后拼接成设备的周围环境,该方案成本低,误差小,使用较为方便。全景环视系统通过图像拼图实现全景,进行图像拼接的先决条件就是拼接之间必须存在重叠区域,只有存在重叠区域才能识别相同特征进行拼接,采集到的图像和相邻的图像必须存在重叠区域,这对摄像头就有一定的要求,普通摄像头的视角较小,一般小于90°,这样达不到图像重叠的要求,所以要使用视角大的摄像头。当视角大于等于180°时被称为鱼眼摄像头,该摄像头的视野广阔,但是变形很严重。本实施例中选择了USB接口的鱼眼摄像头,但这种摄像头存在图像失真,须进行校正才能进行下一步处理,摄像头和地面之间存在一定的夹角,采集的图像并不是俯视图,所以要进行梯形校正得到俯视图。鱼眼摄像头的大角度是以畸变为代价得到的,在进行图像拼接时要先进行鱼眼校正。鱼眼摄像头的系统算法框图如图5所示。
在汽车全景拼接领域内,鱼眼校正通常采用球面坐标定位法和球面透射投影法,在本实施例中采用球面坐标定位法,球面坐标定位法的流程图如图6所示。
在安装鱼眼摄像头的时候要将摄像头保持一定向下的角度但不能垂直或平行于地面,这样才能让摄像头看的远,还能转化为俯视图。梯形校正算法流程图如图7所示,空间变换是指变换目标图像中的像素点,而输出图像中的像素值是插值运算后的新像素值。
至于图像拼接,本实施例中采用的是基于SIFT特征匹配的图像拼接算法,该方法计算量小、计算速度快。该过程可分为两个过程即图像配准和图像融合,图像配准就是提取相邻图像中相同的特征信息,图像融合就是让拼接起来的图像自然,该过程的算法流程图如图8所示。
在条件复杂的天气下,如雨雪大雾等情况,摄像头的图像数据不能真实的反映出当时的情况,要先对图像数据信息进行预处理。毫米波雷达受外界影响小,但更新速率快,所以要筛选出最近的障碍物,本实施例将摄像头数据和毫米波数据进行融合,对采集的摄像头和毫米波雷达的原始数据进行预处理,判断摄像头和毫米波雷达是否监测到目标,当摄像头和毫米波雷达都检测到障碍物时,进行卡尔曼滤波和STF融合算法处理,获得高精度的目标信息。如果只有一种传感器检测到目标,则输出检测到的数据,如果都没有检测到则证明没有障碍物,工作流程图如图9所示。
当设备工作在风雪等天气情况下时,激光雷达探测的精度会受到影响,这是因为在这样的环境下激光雷达进行探测时无法保障所需的反射面而出现激光点的散射,所以将毫米波雷达的数据和激光雷达的数据进行融合,这样能够提高在复杂天气下激光雷达点云图的精确性。利用毫米波雷达进行目标检测,利用激光雷达进行点云图的绘制,将两个传感器的数据信息进行融合处理,其流程图如图10所示。在同一个目标区域,当两者检测到同一目标,将两者数据进行坐标变换处理,绘制图像,当两者均未检测到目标,则该区域没有障碍物,当只有一个雷达检测到目标则执行相应算法。
惯性导航系统简称惯导,是通过惯性测量单元如加速度计、陀螺仪分贝实时测量设备当前的角速度、加速度等设备的姿态信息,并通过计算单元预测和更新物体下一时刻的位置状态量的导航系统。惯导不需要其他外部的辅助参考系,仅依靠自身的高精度姿态测量设备完成定位。本实施例的惯导采用MPU6050,MPU6050是9轴运动处理传感器,能够完成对3轴加速度、3轴角速度、3轴姿态角度的测量。在电路中添加型号为RT9193稳压芯片,保证MPU6050传感器提供稳定的电源,使用一个六管教的排针与STM32F103ZET6单片机I2C总线进行数据通信,管脚为PB6、PB7,这两个引脚为I2C接口的SDA数据总线和SCL时钟总线。STM32芯片通过USB管脚与工控机进行通讯,电路图如图11所示。
为了获取设备的位置信息,在设备活动的区域内的建筑物上安装P3C三星八频分体式北斗高精度参考接收机,在设备上安装GPS天线,与接收机连接进行信息的接收与发送,通过标定基准站信息,与卫星系统接收的坐标进行解算获取准确的位置信息。
控制器使用工控机作为核心处理器件,摄像头使用USB接口与工控机进行通讯,双目摄像头使用USB接口与工控机进行通讯,激光雷达使用USB接口与工控机进行通讯,毫米波雷达与工控机的通讯为CAN通讯,MPU6050传感器使用I2C接口与STM32F105RBT6单片机进行通讯,使用单片机的USB接口与工控机进行通讯。各传感器获取信号后传给工控机,工控机将各数据进行预处理后进行数据融合,判断设备目前的状态,将需要执行操作的信号传递给设备控制模块,使得设备执行停止、前进、转向等动作,确保设备的正常工作,人机交互界面可以看到传感器输出的云点图、设备行进状态等信息。工控机使用研华IPC-610H型工控机,该工控机有8个USB口,满足传感器的使用,也可以应用于无人驾驶的车辆设备。
本发明公开提供了一种自主无人系统开放通用智能控制器、方法及存储介质,通过将毫米波雷达、激光雷达、摄像头等传感器数据进行数据融合,对单一传感器的弱势进行优化,使设备能够在雨雪等复杂天气条件下对周围环境有更准确的感知;通过将卫星导航和惯性导航的数据进行融合处理,二者的共同作用使定位导航系统整体精度更高更可靠,通过定位导航系统反馈的多种导航信息,应对设备工作环境中存在树木或设备在工作时可能存在抖动等情况;通过传感器数据和定位导航系统提供的信息,控制设备的加减速、制动和转向等,使设备在恶劣环境下依旧能保持安全的运行。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种自主无人系统开放通用智能控制器,其特征在于,包括:工控机、传感器系统、设备控制模块及定位导航系统;所述传感器系统、设备控制模块和定位导航系统均与所述工控机相连;
所述传感器系统,用于对设备的周围环境进行检测,获取目标检测初始信息并传输到所述工控机;
所述定位导航系统,用于获取设备状态初始信息,并传输到所述工控机;
所述工控机,用于分别对所述目标检测初始信息及设备状态初始信息进行数据融合,判断设备目前所处状态;
所述设备控制模块,用于根据设备目前所处状态,改变设备的运动轨迹。
2.根据权利要求1所述的一种自主无人系统开放通用智能控制器,其特征在于,所述传感器系统包括激光雷达、毫米波雷达和摄像头;
所述毫米波雷达,用于向周围发送连续波信号,获取包括设备与障碍物之间的距离、角度在内的物理信息;
所述激光雷达,用于向周围发射探测信号,获取点云图;
所述摄像头,用于获取设备周围的图像信息。
3.根据权利要求1所述的一种自主无人系统开放通用智能控制器,其特征在于,所述定位导航系统包括卫星导航装置和惯性导航装置;
所述卫星导航装置,用于通过固定设置的基站向安装在设备上的移动站发送卫星信息,利用载波相位差分原理对所述卫星信息及自身的信息进行差分操作,获取设备的定位信息;其中,自身的信息包括接收卫星的载波相位;
所述惯性导航装置,用于通过惯性测量单元实时测量包括设备当前角速度、加速度在内的姿态信息,通过计算单元预测和更新设备下一时刻的位置状态量。
4.根据权利要求2所述的一种自主无人系统开放通用智能控制器,其特征在于,所述工控机分别通过MSRCR图像增强算法、快速傅里叶变换对摄像获取的图像信息、毫米波雷达产生的回波信号进行预处理,得到预处理后的数据;
当摄像头和毫米波雷达都没有检测到障碍物时,设备周围没有障碍物的存在;
当只有摄像头或只有毫米波雷达检测到障碍物时,输出结果为相应的预处理后的数据;
当摄像头和毫米波雷达都检测到障碍物时,通过卡尔曼滤波和STF算法处理,得到摄像头和毫米波雷达的融合数据。
5.根据权利要求2所述的一种自主无人系统开放通用智能控制器,其特征在于,所述工控机分别通过快速傅里叶变换、基于密度的聚类方法对毫米波雷达产生的回波信号、点云图进行预处理,得到预处理后的数据;
当毫米波雷达和激光雷达都没有检测到障碍物时,设备周围没有障碍物的存在;
当只有毫米波雷达或只有激光雷达检测到障碍物时,输出结果为相应的预处理后的数据;
当毫米波雷达和激光雷达都检测到障碍物时,采用坐标变换的方式将两者的数据汇总到点云图上,得到毫米波雷达和激光雷达的融合数据。
6.根据权利要求3所述的一种自主无人系统开放通用智能控制器,其特征在于,所述工控机采用卡尔曼滤波算法将卫星导航装置的定位结果及惯性导航装置的解算结果进行数据融合,输出修正后的位置信息和姿态信息。
7.一种自主无人系统开放通用智能控制方法,其特征在于,包括以下步骤:
对设备的周围环境进行检测,获取目标检测初始信息;
获取设备状态初始信息;
分别对所述目标检测初始信息及设备状态初始信息进行数据融合,判断设备目前所处状态;
根据设备目前所处状态,改变设备的运动轨迹。
8.根据权利要求7所述的一种自主无人系统开放通用智能控制方法,其特征在于,所述获取目标检测初始信息,具体包括以下步骤:
通过毫米波雷达向周围发射连续波信号,对信号传播过程中遇到障碍物产生的回波信号进行处理,获取设备与障碍物之间包括距离、角度在内的物理信息;
通过激光雷达向周围发射探测信号,对信号传播过程中遇到障碍物产生的回波信号进行处理,获取点云图;
通过摄像头获取设备周围的图像信息。
9.根据权利要求7所述的一种自主无人系统开放通用智能控制方法,其特征在于,所述获取设备状态初始信息,具体包括以下步骤:
通过惯性测量单元实时测量设备当前的姿态信息,并通过计算单元预测和更新设备下一时刻的位置状态量;
通过固定设置的基站向安装在设备上的移动站发送卫星信息,利用载波相位差分原理对所述卫星信息和自身的信息进行差分操作,获取设备的定位信息;其中,自身的信息包括接收卫星的载波相位。
10.一种计算机可存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求7-9中所述自主无人系统开放通用智能控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111215863.7A CN113917875A (zh) | 2021-10-19 | 2021-10-19 | 一种自主无人系统开放通用智能控制器、方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111215863.7A CN113917875A (zh) | 2021-10-19 | 2021-10-19 | 一种自主无人系统开放通用智能控制器、方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113917875A true CN113917875A (zh) | 2022-01-11 |
Family
ID=79241485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111215863.7A Pending CN113917875A (zh) | 2021-10-19 | 2021-10-19 | 一种自主无人系统开放通用智能控制器、方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113917875A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114593710A (zh) * | 2022-03-04 | 2022-06-07 | 沃飞长空科技(成都)有限公司 | 一种无人机测量方法、系统、电子设备及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108037768A (zh) * | 2017-12-13 | 2018-05-15 | 常州工学院 | 无人机避障控制系统、避障控制方法和无人机 |
CN108267135A (zh) * | 2017-12-25 | 2018-07-10 | 中铁第四勘察设计院集团有限公司 | 用于轨道自动测量车的精确定位方法及系统 |
CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
CN110174105A (zh) * | 2019-06-14 | 2019-08-27 | 西南科技大学 | 一种复杂环境下智能体自主导航算法及系统 |
CN111412912A (zh) * | 2020-04-14 | 2020-07-14 | 上海华测导航技术股份有限公司 | 导航板卡、用于导航板卡的多源数据融合方法以及运载体 |
CN111422196A (zh) * | 2020-04-16 | 2020-07-17 | 金龙联合汽车工业(苏州)有限公司 | 一种适用于微巴的智能网联自动驾驶系统及方法 |
CN111624641A (zh) * | 2020-04-21 | 2020-09-04 | 上海东古智能科技有限公司 | 一种防爆型油库区智能巡检机器人 |
CN113341444A (zh) * | 2021-06-30 | 2021-09-03 | 中国船舶重工集团公司第七一三研究所 | 一种机场行李智能全向输转平台定位导航系统和方法 |
-
2021
- 2021-10-19 CN CN202111215863.7A patent/CN113917875A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108037768A (zh) * | 2017-12-13 | 2018-05-15 | 常州工学院 | 无人机避障控制系统、避障控制方法和无人机 |
CN108267135A (zh) * | 2017-12-25 | 2018-07-10 | 中铁第四勘察设计院集团有限公司 | 用于轨道自动测量车的精确定位方法及系统 |
CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
CN110174105A (zh) * | 2019-06-14 | 2019-08-27 | 西南科技大学 | 一种复杂环境下智能体自主导航算法及系统 |
CN111412912A (zh) * | 2020-04-14 | 2020-07-14 | 上海华测导航技术股份有限公司 | 导航板卡、用于导航板卡的多源数据融合方法以及运载体 |
CN111422196A (zh) * | 2020-04-16 | 2020-07-17 | 金龙联合汽车工业(苏州)有限公司 | 一种适用于微巴的智能网联自动驾驶系统及方法 |
CN111624641A (zh) * | 2020-04-21 | 2020-09-04 | 上海东古智能科技有限公司 | 一种防爆型油库区智能巡检机器人 |
CN113341444A (zh) * | 2021-06-30 | 2021-09-03 | 中国船舶重工集团公司第七一三研究所 | 一种机场行李智能全向输转平台定位导航系统和方法 |
Non-Patent Citations (1)
Title |
---|
刘洋: "基于多传感器的车辆环境感知技术", 《中国优秀硕士学位论文全文数据库工程科技II辑》, pages 25 - 45 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114593710A (zh) * | 2022-03-04 | 2022-06-07 | 沃飞长空科技(成都)有限公司 | 一种无人机测量方法、系统、电子设备及介质 |
CN114593710B (zh) * | 2022-03-04 | 2024-02-06 | 四川傲势科技有限公司 | 一种无人机测量方法、系统、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
JP7160040B2 (ja) | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム | |
EP3967972A1 (en) | Positioning method, apparatus, and device, and computer-readable storage medium | |
EP3662446B1 (en) | Generating an environment map around a mobile object with high accuracy | |
CN111448476B (zh) | 在无人飞行器与地面载具之间共享绘图数据的技术 | |
EP4027167A1 (en) | Sensor calibration method and apparatus | |
EP3378033B1 (en) | Systems and methods for correcting erroneous depth information | |
JP2021516401A (ja) | データ融合方法及び関連装置 | |
EP3077847B1 (en) | System and methods for data point detection and spatial modeling | |
EP3663882B1 (en) | Information processing device, information processing method, program and mobile unit | |
US20160266256A1 (en) | Real Time Multi Dimensional Image Fusing | |
WO2015126491A1 (en) | System and methods for scanning with integrated radar detection and image capture | |
CN112013877B (zh) | 毫米波雷达与惯性测量单元的检测方法及相关装置 | |
CN111670339A (zh) | 用于无人飞行器和地面载运工具之间的协作地图构建的技术 | |
CN113566833A (zh) | 一种多传感器融合的车辆定位方法及系统 | |
CN113850102A (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
KR101764222B1 (ko) | 고정밀 측위 시스템 및 방법 | |
CN113917875A (zh) | 一种自主无人系统开放通用智能控制器、方法及存储介质 | |
CN113758482B (zh) | 车辆导航定位方法、装置、基站、系统及可读存储介质 | |
WO2020244467A1 (zh) | 一种运动状态估计方法及装置 | |
EP4166989A1 (en) | Methods and systems for determining a position and an acceleration of a vehicle | |
CN117553811B (zh) | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 | |
EP4220580A1 (en) | Method for vehicle driving assistance within delimited area | |
US20220309693A1 (en) | Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation | |
Lin et al. | Research on Cooperative Vehicle Positioning System and Fault Detection Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |