CN115741717A - 一种三维重构及路径规划方法、装置、设备及存储介质 - Google Patents

一种三维重构及路径规划方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115741717A
CN115741717A CN202211565181.3A CN202211565181A CN115741717A CN 115741717 A CN115741717 A CN 115741717A CN 202211565181 A CN202211565181 A CN 202211565181A CN 115741717 A CN115741717 A CN 115741717A
Authority
CN
China
Prior art keywords
dimensional
data
contour
path planning
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211565181.3A
Other languages
English (en)
Inventor
周艳敏
金屹阳
王成金
何斌
陆萍
王志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202211565181.3A priority Critical patent/CN115741717A/zh
Publication of CN115741717A publication Critical patent/CN115741717A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例涉及机器人多模态感知技术领域，特别涉及一种三维重构及路径规划方法装置、设备及存储介质，该方法包括：基于电子皮肤，构建三维感知阵列；然后，获取三维的网格空间，并从网格空间中提取轮廓向量；对轮廓向量进行三维分解，得到轮廓数据并平滑处理；接下来，将轮廓数据合成为三维轮廓，提取时间序列数据；基于时间序列数据得到物体的三维空间信息；基于机器人的相对位姿，对三维空间信息进行修正并获取当前全局环境特征向量；最后，基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。本申请实施例提供的三维重构及路径规划方法，能够提高响应速度，实现实时、精确地对物体进行三维重构以及未知复杂环境路径规划。

Description

一种三维重构及路径规划方法、装置、设备及存储介质
技术领域
本申请实施例涉及机器人多模态感知技术领域，特别涉及一种三维重构及路径规划方法装置、设备及存储介质。
背景技术
现代传感器技术和人工智能的发展对感知设备提出了更高的要求，具有单一传感器的机器人只能获取单一的外部信息，这就要求在机器人上集成多数量、多种类、多方位的综合传感器，并将多个传感器采集的外部数据加以融合以得到更加准确的环境信息，从而建立完整的外部环境模型。
在结构化环境中，现有的传感器融合中多数采用视觉装置或激光雷达对所处环境进行三维重构及感知，能够很好地采集外部环境的特征。但是在非结构化环境，尤其是复杂狭小空间、存在光干扰等的特殊环境中，传统的基于视觉和激光雷达的方法无法实现对外界环境的准确感知，存在视觉和雷达盲区。视觉装置的安置受限于机器人的三维结构，无法实现对机器人的周身环境的全覆盖感知，而激光雷达的高成本、大体积也使得其在狭小空间的应用受限，在复杂光环境以及雨雾粉尘环境下其三维建模精确性也无法保证。
发明内容
本申请实施例提供一种三维重构及路径规划方法装置、设备及存储介质，提高响应速度，实现实时、精确地对物体进行三维重构以及未知复杂环境路径规划。
为解决上述技术问题，第一方面，本申请实施例提供一种三维重构及路径规划方法，包括：基于电子皮肤，构建红外接近传感器的三维感知阵列；基于三维感知阵列，获取三维的网格空间，并从网格空间中提取轮廓向量；对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理；将平滑处理后的轮廓数据合成为三维轮廓，提取三维轮廓对应的阵列传感器的时间序列数据；基于时间序列数据，得到物体的三维空间信息；基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
一些示例性实施例中，网格空间为在三维感知阵列中，由多个红外接近传感器检测范围的相交节点构成的能够量化且能够离散化的空间。
一些示例性实施例中，对轮廓数据进行平滑处理，包括：对轮廓数据进行中位数绝对偏差离群值方法处理，得到去除离散值的轮廓数据；对去除离散值的轮廓数据进行滤波处理。
一些示例性实施例中，时间序列数据用于表征每个红外接近传感器在固定的一段时间内感知的距离数据随时间的变化曲线。
一些示例性实施例中，三维空间信息包括在以电子皮肤阵列为空间原点的三维空间内物体的大小及中心坐标、物体的移动速度、物体的移动方向、物体的移动加速度。
一些示例性实施例中，机器人的相对位姿通过电子皮肤的惯性传感器获取，包括：惯性传感器采样得到机器人加速度、角速度数据；基于机器人加速度、所述角速度数据，通过扩展卡尔曼滤波算法计算得到机器人的相对位姿。
一些示例性实施例中，强化学习算法采用基于值函数和策略函数的深度确定性策略梯度算法，通过端对端学习方式将全局动态环境作为网络输入，直接输出机器人的路径规划信息。
第二方面，本申请实施例还提供了一种三维重构及路径规划装置，包括多模态感知模块和数据处理模块；多模态感知模块包括温度采集模块、湿度采集模块、压力采集模块、测距模块、加速度获取模块以及角速度获取模块；多模态感知模块用于实现数据采集，数据包括采集温度、湿度、压力、障碍物距离、机器人表面加速度以及机器人表面角速度；数据处理模块用于对多模态感知模块采集的数据进行处理，得到物体的三维空间信息；并基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述三维重构及路径规划方法。
另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述三维重构及路径规划方法。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种三维重构及路径规划方法、装置、设备及存储介质，该方法包括：首先，基于电子皮肤，构建红外接近传感器的三维感知阵列；然后，基于三维感知阵列，获取三维的网格空间，并从网格空间中提取轮廓向量；接下来，对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理；接下来，将平滑处理后的轮廓数据合成为三维轮廓，提取三维轮廓对应的阵列传感器的时间序列数据；然后，基于时间序列数据，得到物体的三维空间信息；接下来，基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；最后，基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
本申请提供的三维重构及路径规划方法，通过采用的多模态电子皮肤集成传感器，能够感知温度、距离、加速度、压力等物理量，体积小，并能够进行大面积的组网扩展，更好地贴覆在机器人的复杂三维表面以及关节处。本申请采用的多模态电子皮肤能够实现外部环境的全覆盖感知，在狭小环境以及灾难后未知复杂环境内能够得到完备的环境特征。另外，本申请采用的数据处理方法能够对红外接近传感器阵列采集到的信号进行平滑滤波，并且计算速度快，能够得到精确的物体三维表面轮廓，满足快速实时性的需要。与此同时，本申请采用的强化学习算法能够将输入的全局环境特征向量直接输出为机器人的路径规划信息，实现系统的环境感知与决策控制的直接闭环，从而实现在未知复杂狭小环境下的针对全域环境进行路径规划。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种三维重构及路径规划方法的流程示意图；
图2为本申请实施例的电子皮肤红外接近传感器阵列图；
图3为本申请实施例中多模态电子皮肤感知物体示意图；
图4为本申请实施例中红外接近传感器阵列感知范围交叉节点横向剖面图；
图5为本申请实施例中红外接近传感器阵列所产生的时间序列数据图；
图6为本申请实施例中红外接近传感器阵列感测物体轮廓横向剖面图；
图7为本申请实施例中三维轮廓X轴向分解图；
图8为本申请实施例中三维轮廓Y轴向分解图；
图9为本申请实施例中三维轮廓Z轴向分解图；
图10为本申请实施例中经数据处理后的被测物体三维轮廓图；
图11为本申请实施例中红外接近传感器阵列中单个传感器采集的原始数据；
图12为本申请实施例中对单个传感器采集的原始数据进行MAD处理后的数据；
图13为本申请实施例中对MAD处理后的数据进行IIR滤波后的数据；
图14为本申请实施例中所用的强化学习学习算法的框图；
图15为本申请一实施例提供的一种三维重构及路径规划装置的结构示意图；
图16为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
由背景技术可知，目前现有的三维重构及路径规划方法中，在非结构化环境下，无法实现对外界环境的准确感知，存在视觉和雷达盲区，在复杂光环境以及雨雾粉尘环境下其三维建模精确性也无法保证。
机器人电子皮肤(E-Skin)是实现机器人自主智能的关键技术之一，电子皮肤以其极小的体积集成大量的传感器，在机器人的复杂三维表面或活动关节处集成的电子皮肤能够使机器人获得自身表面及外部环境的多维度信息感知能力，并能够基于感知的信息做出智能决策。相关技术中公开了一种机器人传感器，该传感器集成了TOF(飞行时间)传感器以及电容式接近传感器，安置在铰链机器人的尖端关节处的多个表面，通过TOF传感器检测对象的距离，以及由电容接近传感器检测到的电容，识别物体的类型，并且根据识别出的物体类型来控制关节机器人的驱动。但是该机器人传感器无法识别周围物体的轮廓，未对周围的环境进行三维重构来感知物体类型，缺少一种高响应、高精度的三维重构环境感知方法。
为解决上述技术问题，本申请实施例提供一种三维重构及路径规划方法，包括：首先，基于电子皮肤，构建红外接近传感器的三维感知阵列；然后，基于三维感知阵列，获取三维的网格空间，并从网格空间中提取轮廓向量；接下来，对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理；然后，将平滑处理后的轮廓数据合成为三维轮廓，提取三维轮廓对应的阵列传感器的时间序列数据；接下来，基于时间序列数据，得到物体的三维空间信息；然后，基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；最后，基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。本申请实施例提供一种三维重构及路径规划方法，提高响应速度，实现实时、精确地对物体进行三维重构以及未知复杂环境路径规划。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种三维重构及路径规划方法，包括以下步骤：
步骤S1、基于电子皮肤，构建红外接近传感器的三维感知阵列。
步骤S2、基于三维感知阵列，获取三维的网格空间，并从网格空间中提取轮廓向量。
步骤S3、对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理。
步骤S4、将平滑处理后的轮廓数据合成为三维轮廓，提取三维轮廓对应的阵列传感器的时间序列数据。
步骤S5、基于时间序列数据，得到物体的三维空间信息。
步骤S6、基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量.
步骤S7、基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
具体的，本申请实施例中步骤S1中电子皮肤采用多模态电子皮肤集成核心传感器，可集成四个核心传感器，能够感知温度、距离、加速度、压力四个物理量，体积小，并能够进行大面积的组网扩展，更好的贴覆在机器人的复杂三维表面以及关节处。其中，核心传感器包括温度传感器、压力传感器、红外接近传感器以及六轴加速度传感器，实现实时、高精度、低功耗、高响应、高灵敏度的数据采集。
本申请实施例步骤S1中的电子皮肤红外接近传感器的三维感知阵列如图2所示。其中，1为三维感知阵列，即电子皮肤阵列，2为红外接近传感器。
本实施例中的电子皮肤红外接近传感器阵列感知外部物体进行三维轮廓重建的基本示意图如3所示，显示了电子皮肤红外接近传感器的三维感知阵列在检测外部圆柱形物体的运行示意图。其中，3为多模态电子皮肤，4为环境中被测物体。
本申请实施例中步骤S2中基于三维感知阵列，获取三维的网格空间，需获取全三维空间的网格化数字表示，得到网格空间。
在一些实施例中，网格空间为在三维感知阵列中，由多个红外接近传感器检测范围的相交节点构成的能够量化且能够离散化的空间。
本实施例中的网格空间如图4所示，网格空间为电子皮肤红外接近传感器的三维感知阵列中由各个红外接近传感器检测范围的相交节点构成的可量化、可离散化空间。
本申请的步骤S3中对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理。具体的，对轮廓向量进行X、Y、Z三轴分解，在二维剖面实现轮廓平滑处理。
在一些实施例中，对轮廓数据进行平滑处理，包括：对轮廓数据进行中位数绝对偏差离群值方法处理，得到去除离散值的轮廓数据；对去除离散值的轮廓数据进行滤波处理。
具体的，对轮廓数据进行MAD(中位数绝对偏差)离群值方法处理，去除离散值；然后，对轮廓数据进行IIR(无限脉冲响应)滤波处理以平滑曲线轮廓。
在一些实施例中，时间序列数据用于表征每个红外接近传感器在固定的一段时间内感知的距离数据随时间的变化曲线。
本实施例中的时间序列数据如图5所示，表征每个传感器在固定的一段时间内感知的距离数据随时间的变化曲线。
本实施例中的网格空间的变化点构成的轮廓向量可视化结果如图6所示，显示了轮廓向量在二维剖面上的可视化结果，其中每一个变化点的数值代表检测置信度，即在该网格空间的节点处检测到物体的传感器数量，以二维剖面可视化结果图的色块颜色深浅进行区分。
本实施例中的三维轮廓向量可分解为三轴向的二维轮廓向量以简化数据处理的运算量与运算难度，分解为X轴向二维轮廓向量示意图如图7所示，分解为Y轴向二维轮廓向量示意图如图8所示，分解为Z轴向二维轮廓向量示意图如图9所示。
在实际数据采集过程中，接近传感器阵列的采样数据会由于周围环境的变换而产生一定的误差，为此我们采用MAD离群值方法处理，去除数据中的离散值，其次采用IIR滤波器对采样数据进行滤波从而进一步平滑轮廓向量。
测试中，分别采集红外接近传感器阵列数据如图10所示。针对图10中的传感器时间序列数据，我们采用MAD(中位数绝对偏差)方法进行离群值处理，具体的，离群值处理的公式如下式所示：
MAD＝median(|Xi-median(X)|)
其中，median为中位数函数，Xi为第i位置的数据点，X为固定滑动窗口长度截取的时间序列数据总和。
首先计算出当前时间序列数据点及其中位数之间的残差，即得到了MAD为偏差的绝对值的中位数，选择该MAD作为阈值进行数据的离散值滤波。将当前的时间序列数据点与该阈值的3倍进行比较，当数值超过该阈值的3倍则认定该值为离群值，进行平滑操作，得到结果如图11所示。
接着我们进行IIR滤波器滤波以平滑曲线，采用双线性变换法设计IIR无限冲击响应滤波器，其设计步骤为：
将数字频率ω指标通过对应关系
Figure BDA0003986314310000072
转换为模拟频率Ω指标；
根据模拟滤波器的技术指标设计模拟滤波器的系统函数H(s)；
用双线性变换法将模拟滤波器的H(s)转换为数字滤波器的H(z)。
所设计的IIR低通滤波器的指标如下表1所示：
表1IIR滤波器指标
Figure BDA0003986314310000071
经过IIR滤波器平滑后的时间序列数据如图12所示。
将所有经过数据平滑处理后的三轴向二维轮廓向量进行合并，得到周围环境物体轮廓的三维特征向量可视化示意图如图13所示。
在获得时间序列数据之后，根据时间序列数据解算出物体的三维空间信息。在一些实施例中，三维空间信息包括在以电子皮肤阵列为空间原点的三维空间内物体的大小及中心坐标、物体的移动速度、物体的移动方向、物体的移动加速度。
根据电子皮肤的惯性运动单元(Inertial Measurement Unit，IMU)传感器解算机器人的相对位姿，并修正物体的实时空间信息，得到当前的全局环境特征向量。IMU传感器是加速度计和陀螺仪传感器的组合。它被用来检测加速度和角速度以表示运动和运动强度。
在一些实施例中，机器人的相对位姿通过电子皮肤的惯性传感器获取，包括：惯性传感器采样得到机器人加速度、角速度数据；基于机器人加速度、所述角速度数据，通过扩展卡尔曼滤波算法计算得到机器人的相对位姿。具体的，根据电子皮肤的IMU传感器获得机器人的三轴加速度、三轴角速度，通过EKF(扩展卡尔曼滤波)算法解算出机器人的相对位姿轨迹。
在一些实施例中，强化学习算法采用基于值函数和策略函数的深度确定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)通过端对端学习方式将全局动态环境作为网络输入，直接输出机器人的路径规划信息。
具体的，本实施例中的强化学习算法采用基于值函数和策略函数的DDPG算法通过端对端学习方式将全局动态环境作为网络输入，直接输出机器人的路径规划信息，通过最大化机器人与动态环境交互后成功避障的累计奖励获得最优决策策略，设计结构图如图14所不。
其中，DDPG算法的学习步骤如下：
随机初始化critic网络参数Qθ，以及actor网络参数πθ；
初始化目标网络参数θ′←θ，
Figure BDA0003986314310000081
初始化经验回放数组β；
对于每一个时间步，执行循环：
1、在探索噪声
Figure BDA0003986314310000082
下选择动作，其中
Figure BDA0003986314310000083
2、得到该动作对应下一状态s′的观测奖励r，并将(s，a，r，s′)作为元组存入β中；
3、当收集的数据达到一定量级，从β中采样最小批次的训练样本(s，a，r，s′)，输入targetcritic网络中计算Qθ′(s′a)值，通过y←r+γQθ′(s′a)计算target Q值；
4、通过critic网络计算currentQ值，计算交叉熵损失更新critic网络；其中，交叉熵损失如下式所示：
θ←argminθN-1∑(y-Qθ(s，a))2
5、以下降梯度法最大化Q值，更新actor网络；
6、结束循环。
参看图15，本申请实施例还提供了一种三维重构及路径规划装置，包括多模态感知模块101和数据处理模块102；多模态感知模块101包括温度采集模块1011、湿度采集模块1012、压力采集模块1013、测距模块1014、加速度获取模块1015以及角速度获取模块1016；多模态感知模块101用于实现数据采集，数据包括采集温度、湿度、压力、障碍物距离、机器人表面加速度以及机器人表面角速度；数据处理模块102用于对多模态感知模块采集的数据进行处理，得到物体的三维空间信息；并基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
具体的，多模态感知模块101由IC(集成电路)温度传感器、MEMS压力传感器、基于红外的MEMS(微机电系统)接近传感器、MEMS六轴加速度计构成，实现高精度、低功耗、高响应、高灵敏度的数据采集。
作为一个示例，IC温度传感器可以采用德州仪器(TI)公司的HDC2010低功耗温湿度数字传感器，其采用集成电路方式，具有高精度、低成本、小尺寸的特点。IC温度传感器集成在电子皮肤模块的底部，能够最大化避免环境的影响，具有较强的稳定性。
作为一个示例，MEMS压力传感器可以采用Honeywell公司的FMAMSDXX025WC2C3数字式压力传感器，体积小、集成度高、一致性好，同时具有极高的测量精度。
与传统的采用互电容感应原理的接近传感器相比，基于红外的MEMS接近传感器采用VCNL接近传感器，基于光学测量原理，利用反射光与反射距离的线性关系进行距离测量，不易受环境影响，且检测准确率高、稳定性好，采用的集成式的封装极大的减小了接近传感器的体积。
作为一个示例，MEMS六轴加速度计可以采用BOSCH公司的BMI160六轴加速度计，能够精确测量物体的加速度，角速度，表征物体表面振动信息。
数据处理模块102用于实现对接近传感器阵列采集信号的数据处理，得到物体的三维轮廓特征向量。
所述数据处理模块实现上述实施例的方法，如图1所示，执行步骤S1至步骤S7。上述实施例的方法为基于多模态感知电子皮肤的典型物体三维重构及路径规划方法，首先，获取电子皮肤红外接近传感器阵列输出的检测距离信号；然后，根据预配置的采样频率对所述的检测距离信号进行采样得到采样信号；根据采样信号提取全三维空间的网格空间变化点数据为轮廓向量；对轮廓向量进行X、Y、Z三轴分解，在二维剖面实现预处理；对分解后的三轴二维轮廓向量进行MAD离群值方法处理，去除离散值；对分解后的三轴二维轮廓向量进行IIR滤波处理，得到平滑曲线轮廓；将所有处理后的三轴二维轮廓向量重新合成为三维轮廓，提取三维轮廓对应的阵列传感器时间序列数据；根据时间序列数据解算出物体的三维空间信息，包括三维空间内物体的大小及中心坐标、物体的移动速度、物体的移动方向、物体的移动加速度；根据电子皮肤的IMU(惯性运动单元)传感器获得机器人的三轴加速度、三轴角速度，通过EKF算法解算出机器人的相对位姿轨迹。然后，结合机器人的相对位姿轨迹修正物体的实时空间信息，得到当前的全局环境特征向量；最后，将全局环境特征向量输入端对端的强化学习算法并直接输出路径规划信息，实现系统的环境感知与决策控制的直接闭环。
参考图16，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。
其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。
处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。
本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由以上技术方案，本申请实施例提供一种三维重构及路径规划方法、装置、设备及存储介质，该方法包括：首先，基于电子皮肤，构建红外接近传感器的三维感知阵列；然后，基于三维感知阵列，获取三维的网格空间，并从网格空间中提取轮廓向量；接下来，对轮廓向量进行三维分解，得到轮廓数据，并对轮廓数据进行平滑处理；接下来，将平滑处理后的轮廓数据合成为三维轮廓，提取三维轮廓对应的阵列传感器的时间序列数据；然后，基于时间序列数据，得到物体的三维空间信息；接下来，基于机器人的相对位姿，对三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；最后，基于当前全局环境特征向量以及强化学习算法，获取路径规划信息。
本申请提供的三维重构及路径规划方法，通过采用的多模态电子皮肤集成传感器，能够感知温度、距离、加速度、压力等物理量，体积小，并能够进行大面积的组网扩展，更好地贴覆在机器人的复杂三维表面以及关节处。本申请采用的多模态电子皮肤能够实现外部环境的全覆盖感知，在狭小环境以及灾难后未知复杂环境内能够得到完备的环境特征。另外，本申请采用的数据处理方法能够对红外接近传感器阵列采集到的信号进行平滑滤波，并且计算速度快，能够得到精确的物体三维表面轮廓，满足快速实时性的需要。与此同时，本申请采用的强化学习算法能够将输入的全局环境特征向量直接输出为机器人的路径规划信息，实现系统的环境感知与决策控制的直接闭环，从而实现在未知复杂狭小环境下的针对全域环境进行路径规划。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。

Claims (10)

1.一种三维重构及路径规划方法，其特征在于，包括：
基于电子皮肤，构建红外接近传感器的三维感知阵列；
基于所述三维感知阵列，获取三维的网格空间，并从所述网格空间中提取轮廓向量；
对所述轮廓向量进行三维分解，得到轮廓数据，并对所述轮廓数据进行平滑处理；
将平滑处理后的轮廓数据合成为三维轮廓，提取所述三维轮廓对应的阵列传感器的时间序列数据；
基于所述时间序列数据，得到物体的三维空间信息；
基于机器人的相对位姿，对所述三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；
基于所述当前全局环境特征向量以及强化学习算法，获取路径规划信息。
2.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述网格空间为在三维感知阵列中，由多个红外接近传感器检测范围的相交节点构成的能够量化且能够离散化的空间。
3.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述对所述轮廓数据进行平滑处理，包括：
对所述轮廓数据进行中位数绝对偏差离群值方法处理，得到去除离散值的轮廓数据；
对所述去除离散值的轮廓数据进行滤波处理。
4.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述时间序列数据用于表征每个红外接近传感器在固定的一段时间内感知的距离数据随时间的变化曲线。
5.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述三维空间信息包括在以电子皮肤阵列为空间原点的三维空间内物体的大小及中心坐标、物体的移动速度、物体的移动方向、物体的移动加速度。
6.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述机器人的相对位姿通过电子皮肤的惯性传感器获取，包括：
所述惯性传感器采样得到机器人加速度、角速度数据；
基于所述机器人加速度、所述角速度数据，通过扩展卡尔曼滤波算法计算得到所述机器人的相对位姿。
7.根据权利要求1所述的三维重构及路径规划方法，其特征在于，所述强化学习算法采用基于值函数和策略函数的深度确定性策略梯度算法，通过端对端学习方式将全局动态环境作为网络输入，直接输出机器人的路径规划信息。
8.一种三维重构及路径规划装置，其特征在于，包括多模态感知模块和数据处理模块；
所述多模态感知模块包括温度采集模块、湿度采集模块、压力采集模块、测距模块、加速度获取模块以及角速度获取模块；
所述多模态感知模块用于实现数据采集，所述数据包括采集温度、湿度、压力、障碍物距离、机器人表面加速度以及机器人表面角速度；
所述数据处理模块用于对所述多模态感知模块采集的数据进行处理，得到物体的三维空间信息；并基于机器人的相对位姿，对所述三维空间信息进行修正，并从修正后的三维空间信息中获取当前全局环境特征向量；基于所述当前全局环境特征向量以及强化学习算法，获取路径规划信息。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的三维重构及路径规划方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述的三维重构及路径规划方法。
CN202211565181.3A 2022-12-07 2022-12-07 一种三维重构及路径规划方法、装置、设备及存储介质 Pending CN115741717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211565181.3A CN115741717A (zh) 2022-12-07 2022-12-07 一种三维重构及路径规划方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211565181.3A CN115741717A (zh) 2022-12-07 2022-12-07 一种三维重构及路径规划方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115741717A true CN115741717A (zh) 2023-03-07

Family

ID=85344706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211565181.3A Pending CN115741717A (zh) 2022-12-07 2022-12-07 一种三维重构及路径规划方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115741717A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740768A (zh) * 2023-08-11 2023-09-12 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质
CN118143950A (zh) * 2024-04-16 2024-06-07 江苏宁昆机器人智能科技有限公司 基于高级感知的工业机器人精准作业方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740768A (zh) * 2023-08-11 2023-09-12 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质
CN116740768B (zh) * 2023-08-11 2023-10-20 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质
CN118143950A (zh) * 2024-04-16 2024-06-07 江苏宁昆机器人智能科技有限公司 基于高级感知的工业机器人精准作业方法及系统

Similar Documents

Publication Publication Date Title
CN115741717A (zh) 一种三维重构及路径规划方法、装置、设备及存储介质
Kurz Constructing maps for mobile robot navigation based on ultrasonic range data
CN105785999B (zh) 无人艇航向运动控制方法
Jin et al. The adaptive Kalman filter based on fuzzy logic for inertial motion capture system
CN107516326A (zh) 融合单目视觉和编码器信息的机器人定位方法和系统
CN105136145A (zh) 一种基于卡尔曼滤波的四旋翼无人机姿态数据融合的方法
Zhao et al. Survey on robot multi-sensor information fusion technology
Lourenço et al. Simultaneous localization and mapping for aerial vehicles: a 3-D sensor-based GAS filter
Zhang et al. Plane-aided visual-inertial odometry for 6-DOF pose estimation of a robotic navigation aid
CN117388830A (zh) 激光雷达与惯性导航的外参标定方法、装置、设备及介质
CN116625407B (zh) 一种智能微姿态测量方法与系统
CN113029173A (zh) 车辆导航方法及装置
Fariña et al. Sensor fusion algorithm selection for an autonomous wheelchair based on EKF/UKF comparison
Victorino et al. Localization and map building using a sensor-based control strategy
Pandey et al. Real time navigation strategies for webots using fuzzy controller
Li et al. Attitude Estimation using Iterative Indirect Kalman with Neural Network for Inertial Sensors
Deilamsalehy et al. Heterogeneous multisensor fusion for mobile platform three-dimensional pose estimation
Oussalah et al. New fusion methodology approach and application to mobile robotics: investigation in the framework of possibility theory
Stanislav et al. Sensors data fusion via bayesian filter
CN112880664A (zh) 一种行驶设备的定位方法、装置、设备及存储介质
Zhang et al. Multi-sensor fusion for a brain-inspired SLAM system
Kulikov et al. An Ultrasonic Vision based on a Neural Network for Navigating Robots Through Obstacles
Vladimirov et al. Attitude determination of unmanned aerial vehicle using single camera vector observations
Asharif et al. Sensor fusion by pseudo information measure: A mobile robot application
Lages et al. Performance evaluation of data fusion for orientation estimation in an intelligent inertial measurement unit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination