CN114354514A - 一种非接触式多模态材料感知与识别装置 - Google Patents

Abstract

本发明公开了一种非接触式多模态材料感知与识别装置，属于机器人传感技术领域。本发明包括滑轨传动机构、主控机箱、光谱测量组件、纹理图像采集装置、局域网接口、智能终端。所述滑轨传动机构、主控机箱、光谱测量组件、纹理图像采集装置均安放在材质识别一侧，局域网接口、智能终端安放在另一侧。主控机箱与智能终端通过以太网进行信息交换，两者为电性连接。本发明通过滑轨传动机构配合图像‑光谱传感设备，实现在不接触材料的情况下进行物体的全局和局部信息感知，以此实现材料的识别与分类。该装置响应速度快、实用性强并且收集的信息噪声小，能够有效地提升材料感知能力以及识别准确率。

Description

一种非接触式多模态材料感知与识别装置

技术领域

本发明涉及机器人传感技术领域，具体地说是一种非接触式多模态材料感知与识别装置。

背景技术

为了使机器人获得类似于生物触觉感知的能力，一方面可以通过视觉捕捉表面材料的纹理图像，另一方面可以通过触觉提供物体表面反馈信息，包括温度、粗糙度、软/硬度、质地以及局部纹理等信息。市场上常见测量物体表面局部信息，多为接触式触觉传感器，但这种方案仍然有很大提升空间，并且该测量方式不可避免的包含大量噪声以及无用信息。

当前服务机器人、家用机器人产需不断增大，但是面对这些不确定性的非结构化场景，一些应用确受到了限制。其中原因之一就是机器人需要通过接触式触觉传感器采集物体表面信息来做出相应操作。因此接触式触觉传感器在非结构化场景中有时难以满足实际应用需求。针对接触式触觉传感器测量物体表面特征提取难度大以及在非结构化场景中应用不足，本发明提供了一种非接触式多模态材料感知与识别装置。

发明内容

为实现上述目的，本发明采用的技术方案是：

本发明提供一种非接触式多模态材料感知与识别装置，包括有滑轨传动机构、主控机箱、光谱测量组件、纹理图像采集装置、局域网接口、智能终端；

所述滑轨传动机构上方托载所述主控机箱，所述滑轨传动机构平台上方固定连接所述光谱测量组件和所述纹理图像采集装置，所述以太网接口及其所述智能终端位于材质测量组件另一侧，所述主控机箱与所述智能终端通过局域网进行通信连接；

优选的，所述滑轨传动机构包括半椭圆状滑轨、微型伺服滑车、微型伺服滑台、固定桩；

所述微型伺服滑车紧贴所述半椭圆状滑轨，且，能够平稳滑行及确定自身相对所述半椭圆状滑轨的位置；

所述微型伺服滑台固定于所述微型伺服滑车前方，所述固定桩搭载并贯通于所述微型伺服滑台中间位置。

优选的，所述半椭圆状滑轨为金属轻质导轨，所述微型伺服滑车左右两测均安装定位销限位，可提供两次定位。

优选的，所述主控机箱包括微控制器、伺服驱动电路、光电控制电路，光源模块，纹理信息采集电路，光谱信息采集电路。

优选的，所述微控制器主要包括双协同处理单元、数字信号处理模块、电源模块。

优选的，所述光谱测量组件包括光谱探测器一、光谱探测器二、普通光纤；

其中，所述光谱探测器一包括光波发射器一、光波接收器一，所述光谱探测器二包括光波发射器二、光波接收器二；

所述光波发射器一用于发射可见光到近红外线740-1070nm的波长和光波；

所述接收器一用于接收反射紫外线到可见光320-860nm波长的信号I(α)；

所述光波发射器二用于发射紫外线到可见光320-860nm的波长和光波；

所述接收器二用于接收反射可见光到近红外线740-1070nm波长的信号I(β)；

所述普通光纤通过所述固定桩与所述主控机箱通信连接，且，用于发射固定连续波长信号和接收对应光谱探测器原始光强I(α)或I(β)序列信号。

优选的，所述纹理图像采集装置通过所述固定桩与所述主控机箱通信连接，且，用于采集高分辨率纹理图像。

优选的，所述光谱探测器与所述纹理图像采集装置方向一致且围绕所述纹理图像采集装置为中心，且，左右水平等距放置。

本发明有益效果在于：

(1)与接触式触觉传感器相比，采用半椭圆形滑轨传动机构与图像-光谱传感设备相互协同工作，灵活度较高，扩大了测量范围；且该装置测量响应速度快，噪声小，能有效提高材料识别准确率。

(2)放弃了接触式的材料识别方式，而采用非接触式测量方式，能有效提高机器人非接触式作业，增加其灵活性。

(3)利用图像-光谱多传感器测量，既感知材料的全局特征也提取了材料局部属性，并且两种测量方式可在同一时间进行，消除了机器人多模态信息存在弱配对的局限性。

(4)为非接触式材料识别和非接触式物体感知带来新的思路和灵感。

附图说明

图1为本发明整体结构示意图；

图2、图3为本发明中光谱探测器平面示意图；

图4为本发明工作原理流程图；

图5为本发明一种控制流程图。

其中1-滑轨传动机构，11-半椭圆状滑轨，12-微型伺服滑车，13-微型伺服滑台，14-固定桩，2-主控机箱，3-光谱测量组件，31-光谱探测器一，311-光波发射器一，312-光波接收器一，32-光谱探测器二，321-光波发射器二，322-光波接收器二，33-普通光纤，4-纹理图像采集装置，5-局域网接口，6-智能终端。

具体实施方式

本申请的权利要求书、说明书及上述附图中，除非另有明确限定，如使用术语“固定”或“固定连接”，应作广义理解，即两者之间没有位移关系和相对转动关系的任何连接方式，也就是说包括不可拆卸地固定连接、可拆卸地固定连接、连为一体以通过其他装置或元件固定连接。

下面结合附图进一步说明本发明的实施例。

如图1-5所示，一种非接触式多模态材料感知与识别装置，包括有滑轨传动机构1、主控机箱2、光谱测量组件3、纹理图像采集装置4、局域网接口5、智能终端6。所述滑轨传动机构1上方托载主控机箱2，所述滑轨传动机构1平台上方固定连接光谱测量组件3和纹理图像采集装置4，所述以太网接口5及其智能终端6位于材质测量组件另一侧，所述主控机箱2与智能终端6通过局域网LAN进行电性连接。

所述滑轨传动机构1包括半椭圆状滑轨11、微型伺服滑车12、微型伺服滑台13、固定桩14。所述微型伺服滑车12紧贴半椭圆状滑轨11，能够平稳滑行及确定自身相对半椭圆状滑轨的位置。所述微型伺服滑台13固定于微型伺服滑车12前方，所述固定桩14搭载并贯通于微型伺服滑台13中间位置；

所述半椭圆状滑轨11为金属轻质导轨，微型伺服滑车12左右两测均安装定位销限位，可提供两次定位。

所述主控机箱2包括微控制器、伺服驱动电路、光电控制电路，光源模块，纹理信息采集电路，光谱信息采集电路；

所述微控制器主要包括双协同处理单元、数字信号处理模块、电源模块；

所述光谱测量组件3包括光谱探测器一31、光谱探测器二32、普通光纤33；其中光谱探测器一31包括光波发射器一311、光波接收器一312；光谱探测器二32包括光波发射器二321、光波接收器二322；所述光谱探测器一31包括光波发射器一311发射可见光到近红外线(740-1070nm)的波长和光波接收器一312接收反射紫外线到可见光(320-860nm)波长的信号I(α)；所述光谱探测器二32包括光波发射器二321发射紫外线到可见光(320-860nm)的波长和光波接收器二322接收反射可见光到近红外线(740-1070nm)波长的信号I(β)。所述普通光纤33通过固定桩13与主控机箱2相连，发射固定连续波长信号和接收对应光谱探测器原始光强I(α)或I(β)序列信号。

进一步的，所述光谱探测器一发射可见光到近红外线(740-1070nm)连续波长时，光谱探测器二接收反射该特定连续波长信号I(β)；所述光谱探测器二发射紫外线到可见光(320-860nm)连续波长，光谱探测器一接收反射该特定连续波长信号I(α)；

进一步的，所述光谱探测器一与光谱探测器二收集的原始光强序列信号将通过光谱信息采集电路将光信号转换成电信号，再采用一阶低通滤波滤除杂波。

其中，一阶低通滤波的公式可表示为：Y(n)＝δX(n)+(1-δ)Y(n-1)；

式中δ为滤波系数，采用本次采样值X(n)与上次滤波输出值Y(n-1)进行加权，得到有效滤波值Y(n)，使得输出对输入有反馈作用。然后采用对光谱波长的后向差分

作为预处理后的特征序列。

进一步的，纹理图像采集装置将收集到的原始高分辨率不规则纹理图片以原点为中心切割成正方形纹理图片，运用最近邻插值法将图片缩小成5倍。利用加载预训练权重的卷积神经网络模型将图片转换为一维特征序列

进一步的，所述纹理图像采集装置可选具有伸缩和旋转的工作杆，可进一步提高装置灵活度，近距离采集高分辨率表面纹理图像。

进一步的，所述纹理图像采集装置4通过固定桩13与主控机箱2相连，主要用于采集高分辨率纹理图像。

进一步的，所述光谱探测器与纹理图像采集装置4方向一致且围绕纹理图像采集装置4为中心，左右水平等距放置。

参照图1-5，一种非接触式多模态材料感知与识别装置，包括以下步骤：

步骤一：首先，固定该测量装置，图像-光谱传感设备置于半椭圆形滑轨11初始中心位置，打开电源开关；

步骤二：将该测量装置缓慢靠近被测材料，智能终端6发送启动指令，测量装置启动自检程序并自动复位，图像-光谱传感设备沿着半椭圆状滑轨11水平移动两次，获取外界环境光照情况，以此确定合适的测量坐标；

步骤三：图像-光谱传感设备移动到指定坐标。智能终端下达图像-光谱采集指令；

步骤四：光谱测量组件3采集两组连续光强信号，经过光电信号装换、一阶低通滤波和后向差分得到

和

连续一维信号，纹理图像采集装置4采集一张原始高分辨率纹理图片(2100*3264)经过图片切割、最近邻插值法得到(256*256)纹理图片后，运用加载预训练权重的卷积神经网络模型将纹理图片转化为一维高级特征序列

将

通过局域网LAN从微控制器上报给智能终端6。

步骤五：对于不同表面材料(如：塑料、纸张、陶瓷、金属、泡沫)重复步骤二到步骤四一到两次，总共收集

组样本；

步骤六：将智能终端6接收的

组样本传入到多层感知机中训练分类模型；

步骤七：对于上述任一种家用表面材料重复步骤二到步骤四，将样本输入已训练好的模型即可识别该材料。

本发明与接触式触觉传感器相比，采用半椭圆形滑轨传动机构与图像-光谱传感设备相互协同工作，灵活度较高，扩大了测量范围；且该装置测量响应速度快，噪声小，能有效提高材料识别准确率。

本发明放弃了接触式的材料识别方式，而采用非接触式测量方式，能有效提高机器人非接触式作业，增加其灵活性。

本发明利用图像-光谱多传感器测量，既感知材料的全局特征也提取了材料局部属性，并且两种测量方式可在同一时间进行，消除了机器人多模态信息存在弱配对的局限性。

本发明为非接触式材料识别和非接触式物体感知带来新的思路和灵感。

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都涵盖在本发明范围内。

Claims (8)

1.一种非接触式多模态材料感知与识别装置，其特征在于：

包括有滑轨传动机构、主控机箱、光谱测量组件、纹理图像采集装置、局域网接口、智能终端；

所述滑轨传动机构上方托载所述主控机箱，所述滑轨传动机构平台上方固定连接所述光谱测量组件和所述纹理图像采集装置，所述以太网接口及其所述智能终端位于材质测量组件另一侧，所述主控机箱与所述智能终端通过局域网进行通信连接。

2.根据权利要求1所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述滑轨传动机构包括半椭圆状滑轨、微型伺服滑车、微型伺服滑台、固定桩；

所述微型伺服滑车紧贴所述半椭圆状滑轨，且，能够平稳滑行及确定自身相对所述半椭圆状滑轨的位置；

所述微型伺服滑台固定于所述微型伺服滑车前方，所述固定桩搭载并贯通于所述微型伺服滑台中间位置。

3.根据权利要求2所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述半椭圆状滑轨为金属轻质导轨，所述微型伺服滑车左右两测均安装定位销限位，可提供两次定位。

4.根据权利要求1所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述主控机箱包括微控制器、伺服驱动电路、光电控制电路，光源模块，纹理信息采集电路，光谱信息采集电路。

5.根据权利要求4所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述微控制器主要包括双协同处理单元、数字信号处理模块、电源模块。

6.根据权利要求2所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述光谱测量组件包括光谱探测器一、光谱探测器二、普通光纤；

其中，所述光谱探测器一包括光波发射器一、光波接收器一，所述光谱探测器二包括光波发射器二、光波接收器二；

所述光波发射器一用于发射可见光到近红外线740-1070nm的波长和光波；

所述接收器一用于接收反射紫外线到可见光320-860nm波长的信号I(α)；

所述光波发射器二用于发射紫外线到可见光320-860nm的波长和光波；

所述接收器二用于接收反射可见光到近红外线740-1070nm波长的信号I(β)；

所述普通光纤通过所述固定桩与所述主控机箱通信连接，且，用于发射固定连续波长信号和接收对应光谱探测器原始光强I(α)或I(β)序列信号。

7.根据权利要求2所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述纹理图像采集装置通过所述固定桩与所述主控机箱通信连接，且，用于采集高分辨率纹理图像。

8.根据权利要求6所述的一种非接触式多模态材料感知与识别装置，其特征在于：

所述光谱探测器与所述纹理图像采集装置方向一致且围绕所述纹理图像采集装置为中心，且，左右水平等距放置。

Images