CN113119125A - 一种基于多模态信息的监控交互方法 - Google Patents

一种基于多模态信息的监控交互方法 Download PDF

Info

Publication number
CN113119125A
CN113119125A CN202110398037.4A CN202110398037A CN113119125A CN 113119125 A CN113119125 A CN 113119125A CN 202110398037 A CN202110398037 A CN 202110398037A CN 113119125 A CN113119125 A CN 113119125A
Authority
CN
China
Prior art keywords
information
sensor
robot
monitoring interaction
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110398037.4A
Other languages
English (en)
Other versions
CN113119125B (zh
Inventor
陈军希
王鹏
李红云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Deteng Intelligent Technology Co ltd
Original Assignee
Fujian Deteng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Deteng Intelligent Technology Co ltd filed Critical Fujian Deteng Intelligent Technology Co ltd
Priority to CN202110398037.4A priority Critical patent/CN113119125B/zh
Publication of CN113119125A publication Critical patent/CN113119125A/zh
Application granted granted Critical
Publication of CN113119125B publication Critical patent/CN113119125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种基于多模态信息的监控交互方法，采用多模态信息监控交互平台，多模态信息监控交互平台包括：工作台、业机器人、力觉传感器、噪声传感器、温度传感器、视觉传感器和下位机，所述下位机分别与机器人控制器、力觉传感器、噪声传感器、温度传感器、视觉传感器电性连接；监控交互方法包括以下步骤：S1、通过下位机控制各个传感器采集工业机器人加工作业过程中产生的各种信息数据；S2、通过下位机处理采集到的各种信息数据，得到的机器人工作补偿指令；S3、根据机器人工作补偿指令，通过机器人控制器控制工业机器人动作；S4、重复步骤S1至S3。本发明提高了加工精度，解决了加工过程中缺乏加工过程监控导致加工精度较低的问题。

Description

一种基于多模态信息的监控交互方法
技术领域
本发明属于机器人作业监控交互技术领域，具体涉及一种基于多模态信息的监控交互方法。
背景技术
随着机器人技术和智能制造的逐步发展，机器人的应用场景逐渐从相对单一的制造场景向多种混合型场景不断变化，这使得整个过程中需要注意的外界环境信息种类更加多样。同时，制造业开始从基于经验的决策向基于证据的决策过渡，从解决可见的问题到避免不可见的问题转变，从基于控制的机器学习向基于丰富数据的深度学习发展，而这些转变都需要人们对于多种多样的信息数据进行很好的融合和处理，通过这些数据进行决策和分析，从而做出更好的决策和反应。所以，如何利用多种不同传感器数据进行整合，实现一个完整的多模态信息监控交互平台是未来制造技术的重点挑战。
目前，大多数加工作业主要通过单一传感器反馈的数据进行控制或者补偿，而单一传感器难以提供一些复杂场景下机器人的精细操作所需的数据信息，因此多模态信息的引入为机器人各种场景下的精细加工创造了可能。对于机器人系统而言，所采集到的多模态信息具有一些明显特点，为后续的控制工作带来了巨大的挑战。这些问题主要是：(1)机器人的操作环境通常非常复杂，因此采集到的数据通常具有很多的噪声和野点。(2)机器人总是在动态环境下工作，采集到的多模态数据必然具有复杂的动态特性。(3)机器人携带的传感器工作频带、使用周期具有很大差异，导致各个模态之间的数据难以“配对”。
机器人是一个复杂的系统，开展机器人多模态融合感知需要综合考虑任务特性、环境特性和传感器特性。尽管人们已经充分认识到多模态信息在机器人系统上的应用，国内很多相关机构，如东南大学、北京航空航天大学等都在这方面展开了许多研究工作，但目前多模态信息的融合和处理仍然存在很大的发展空间。将传感器信息更好地融合和处理，从而指导机器人的加工作业是未来机器人应用中十分重要的内容。
随着机器人技术的发展，工业机器人的瓶颈逐渐向应用端转移。在装配、涂料、磨抛等力觉触控任务的应用场景，要求机器人具有对接触力的感知和控制能力，接触的存在使得精确的动态仿真难以实现。传统的离线编程方式要求明确地指定机器人的运动，并且要求工件一致性好、有较高的安装精度和建模精度，复杂曲面示教困难且路径精度低。整个加工过程缺乏环境的感知和加工过程监控，无法有效跟踪加工精度及控制加工精度。如何有效提高工业机器人在实际应用场景中的加工精度成为了一个热门内容。
发明内容
针对机器人加工过程中缺乏加工过程监控导致加工精度较低的问题，本发明的目的在于提供一种基于多模态信息的监控交互方法，该方法能够通过多种不同传感器数据的融合为整个加工过程提供不同的补偿信息，从而进一步提高加工精度；多模态数据可以获得更加全面准确的信息，有效增强系统的可靠性和容错性，为机器人实现更高效的决策提供了新的思路和基础。
为实现上述目的，本发明采用如下技术方案：一种基于多模态信息的监控交互方法，采用多模态信息监控交互平台，所述多模态信息监控交互平台包括：
工作台，其设置有工装夹具，用于定位工件；
工业机器人，其设置在工作台的旁边，用于对所述工件执行作业任务；所述工业机器人包括机器人本体、末端执行器和机器人控制器，所述末端执行器安装在所述机器人本体的末端，所述末端执行器和机器人本体的驱动机构均电性连接至机器人控制器；
力觉传感器，其固定在所述末端执行器上，用于测量所述末端执行器作业时与所述工件之间的接触力；
噪声传感器，其安装在所述工装夹具上，用于测量作业时产生的噪声；
温度传感器，其安装在所述工装夹具上，用于测量作业时所述工件的温度；
视觉传感器，其安装在所述工作台的旁边，用于监控所述工业机器人的动作路径；
下位机，其与所述机器人控制器、所述力觉传感器、所述噪声传感器、所述温度传感器、所述视觉传感器电性连接，用于现场控制；
所述监控交互方法包括以下步骤：
S1、通过下位机控制各个传感器采集工业机器人加工作业过程中产生的各种信息数据；
S2、通过下位机处理采集到的各种所述信息数据，得到的机器人工作补偿指令；
S3、根据所述机器人工作补偿指令，通过机器人控制器控制所述工业机器人动作；
S4、重复步骤S1至S3。
优选地，所述多模态信息监控交互平台还包括测力传感器，所述测力传感器安装在工作台的底部。
优选地，在步骤S1中，所述下位机采用基于TwinCAT实时操作系统和EtherCAT高速实时总线的机器人控制和信号采集系统；所述信息数据的采集方法包括以下步骤：
S1.1、采集加工作业前各个传感器的初始数据，作为整个加工作业的原始信息；
S1.2、采集加工作业时各个传感器的实时信息，将实时信息与原始信息进行对比，实现对加工作业的监控。
优选地，在步骤S2中，所述信息数据的处理方法包括以下步骤：
S2.1、对所述信息数据分别进行分辨，剔除无用信息，得到有用信息；
S2.2、对所述有用信息进行噪声处理，去除噪声污染，便于后续进行算法控制。
优选地，在步骤S2.1中，所述分辨的方法具体为：基于工业机器人当前加工情况进行分析，若该信息数据在当前加工情况没有指导作用，则作为无用信息进行数据存储，若该信息数据在当前加工情况有指导作用，则作为有用信息。
优选地，在步骤S2.2中，所述噪声处理的方法采用极限滤波和一阶滞后滤波相结合的多重滤波算法，所述多重滤波算法具体为：首先利用一阶滞后滤波算法对信号进行滤波，然后以滤波结果为参考，采用极限滤波算法滤除脉冲噪声，最后再次使用一阶滞后滤波方法，确保更小的相位延迟。
优选地，所述视觉传感器固定在立架上，所述立架设置在工作台的旁边。
优选地，所述力觉传感器采用六轴力矩传感器。
优选地，所述工业机器人为关节机械手臂。
优选地，所述视觉传感器包括照相机或摄像机。
优选地，所述下位机通过EtherCAT高速实时总线分别连接所述机器人控制器、所述力觉传感器、所述噪声传感器、所述温度传感器。
优选地，所述下位机设置有EtherNet/IP接口，所述EtherNet/IP接口连接所述力觉传感器。
优选地，所述下位机通过以太网与上位机通信连接。
与现有技术相比，本发明具有以下有益效果：该基于多模态信息的监控交互方法采用了多种不同传感器，通过多个传感器的相互配合实现加工过程监控，通过多种不同传感器数据的融合为整个加工过程提供不同的补偿信息，从而进一步提高加工精度；多模态数据可以获得更加全面准确的信息，有效增强信息采集的可靠性和容错性，为机器人实现更高效的决策提供了新的思路和基础；其多模态信息监控交互平台几乎不受加工方式、加工材料和加工形状等的变化影响，通过该平台进行相关作业比起传统加工平台的加工精度有明显提升，且整个过程更加可控，实用性和稳定性更好。
附图说明
图1为本发明实施例中的多模态信息监控交互平台的结构示意图。
图2为本发明实施例的简易交互流程图。
图3为本发明实施例的具体交互流程图。
图4为本发明实施例中的多重滤波的原理框架图。
图5为本发明实施例中的多重滤波算法静态实验效果图。
图6为本发明实施例中的多重滤波算法动态实验效果图。
图中标记：1、工件；2、工作台；3、工装夹具；4、工业机器人；41、机器人本体；42、末端执行器；5、力觉传感器；6、噪声传感器；7、温度传感器；8、视觉传感器；81、立架；9、测力传感器。
具体实施方式
为了让本发明的上述特征和优点更明显易懂，下面特举实施例，并配合附图，作详细说明如下。
如图1～3所示，本实施例提供了一种基于多模态信息的监控交互方法，采用多模态信息监控交互平台，所述多模态信息监控交互平台包括：
工作台2，其设置有工装夹具3，用于定位工件1；
工业机器人4，其设置在工作台2的旁边，用于对所述工件1执行作业任务；所述工业机器人4包括机器人本体41、末端执行器42和机器人控制器，所述末端执行器42安装在所述机器人本体41的末端，所述末端执行器42和机器人本体41的驱动机构均电性连接至机器人控制器；
力觉传感器5，其固定在所述末端执行器42上，用于测量所述末端执行器42作业时与所述工件1之间的接触力；
噪声传感器6，其安装在所述工装夹具3上，用于测量作业时产生的噪声；
温度传感器7，其安装在所述工装夹具3上，用于测量作业时所述工件1的温度；
视觉传感器8，其安装在所述工作台2的旁边，用于监控所述工业机器人4的动作路径；
下位机，其与所述机器人控制器、所述力觉传感器5、所述噪声传感器6、所述温度传感器7、所述视觉传感器8电性连接，用于现场控制；
所述监控交互方法包括以下步骤：
S1、通过下位机控制各个传感器采集工业机器人4加工作业过程中产生的各种信息数据；
S2、通过下位机处理采集到的各种所述信息数据，得到的机器人工作补偿指令；
S3、根据所述机器人工作补偿指令，通过机器人控制器控制所述工业机器人4动作；
S4、重复步骤S1至S3。
在本实施例中，所述机器人多模态信息监控交互平台还可以包括测力传感器9(如测力仪)，所述测力传感器9安装在工作台2的底部，用于测量工件1的重量。
在本实施例中，所述力觉传感器5优选但不局限于采用六轴力矩传感器，如美国ATI工业自动化有限公司的Delta IP60传感器。
在本实施例中，所述视觉传感器8可以固定在立架81上，所述立架81设置在工作台2的旁边。
在本实施例中，所述工业机器人4优选但不局限于为关节机械手臂。
在本实施例中，所述视觉传感器8包括照相机或摄像机。
在本实施例中，所述下位机可以通过EtherCAT高速实时总线分别连接所述机器人控制器、所述力觉传感器5、所述噪声传感器6、所述温度传感器7，有利于解决机器人与多个传感器通信与同步的问题，与传统控制架构相比，(在同一下位机控制器内)解决了信号识别和机器人控制的实时性和稳定性问题。
在本实施例中，所述下位机可以设置有EtherNet/IP接口，所述EtherNet/IP接口连接所述力觉传感器5，通过EtherNet/IP接口使得力觉传感器5的输出速率高达7000Hz。
在本实施例中，所述下位机可以通过以太网与上位机通信连接。
特别需要说明的是，上述的机器人控制器、力觉传感器5、噪声传感器6、温度传感器7、视觉传感器8、下位机、上位机等硬件均可以采用现有成熟产品，具体型号不限。例如，所述下位机可以采用现有的单片机、PLC等，具体如西门子S7系列PLC；所述上位机可以采用现有的工控机、PC等计算机。
本实施例的工作原理如下：通过工装夹具3将待加工的工件1固定在工作台2上，通过工业机器人4对工件1进行加工(如装配、涂料、磨抛等)，通过力觉传感器5、噪声传感器6、温度传感器7、视觉传感器8等传感器采集工业机器人4作业时产生的各种信息，进而利用各种不同传感器提供的信息进行整合划分，通过位置、力觉、温度、噪声等多模态信息监控机器人与环境交互状态，可跟踪加工质量。例如，通过力觉传感器5的返回数据，判断加工的状态，从而进行接触过程中力觉传感器5重力补偿和振动力补偿，提高力控制的鲁棒性；利用视觉传感器8的实时性、非接触等优点，通过高精度视觉解决方案提高了加工过程的精度。
如图3所示，通过各个传感器的返回数据，可以检测到外界环境和加工工件的变化情况，根据反馈回的信息进行一些补偿控制，使整个加工过程能够适应环境的变化随时进行状态调整。其中，温度传感器7可以传递加工过程中工件的实时温度信息，便于随时掌握工件加工的情况，通过经验了解加工时较好的温度范围，将加工温度保持在范围内，提高加工精度；噪声传感器6可以随时提供加工时的噪声信息，当加工噪声过大时可以采取一定的措施，避免噪声过大对人员或者环境造成一定的伤害和污染；视觉传感器8则可以随时定位工业机器人4的动作路径，当工业机器人4的动作与预定轨迹偏离时可以及时发现并进行位置修正，在一些精密加工时可以有效提高加工质量。
在本实施例中，在步骤S1中，所述下位机可以采用基于TwinCAT实时操作系统和EtherCAT高速实时总线的机器人控制和信号采集系统；
在本实施例中，在步骤S1中，所述信息数据的采集方法包括以下步骤：
S1.1、采集加工作业前各个传感器的初始数据，作为整个加工作业的原始信息；
S1.2、采集加工作业时各个传感器的实时信息，将实时信息与原始信息进行对比，实现对加工作业的监控。
在本实施例中，在步骤S2中，所述信息数据的处理方法包括以下步骤：
S2.1、对所述信息数据分别进行分辨，剔除无用信息，得到有用信息；
S2.2、对所述有用信息进行噪声处理，去除噪声污染，便于后续进行算法控制。
在本实施例中，在步骤S2.1中，所述分辨的方法具体为：基于工业机器人当前加工情况进行分析，若该信息数据在当前加工情况没有指导作用，则作为无用信息进行数据存储，若该信息数据在当前加工情况有指导作用，则作为有用信息。
在本实施例中，在步骤S2.2中，所述噪声处理的方法采用极限滤波和一阶滞后滤波相结合的多重滤波算法。虽然目前市面上已经有很多较为成熟且得到广泛应用的滤波算法，比如滤波算法、中值滤波算法、算术均值滤波算法和平均中值滤波算法等，但是它们明显更适用于液体、温度等变化较为缓慢的信号，而在信号变化非常迅速的场合，它们很难实现较好的性能。因此，可以选择极限滤波算法和一阶滞后滤波算法来达到较好的实时性，从而适用于实时性要求高的这些场合。
极限滤波算法就是一种通过设定极限值，通过比较两个相邻时刻的差值与设定值之间的关系，从而选择相应的信号，最终实现滤波的方案。极限滤波的原理如下：
Figure BDA0003019265990000061
其中，x(n)表示输入的原信号，y(n)表示经过极限滤波后的信号，ΔT表示设定的阈值。
观察上述极限滤波的算法原理，很明显可以看出如何设定这个阈值ΔT在整个滤波过程中非常关键。如果阈值太大，许多噪声会被当作有用信号不会被过滤。如果阈值太小，则有可能滤除一些快速变化的类似噪声的信号，导致输出错误的信号。因此，尽管极限滤波的实时性较高，也很难将它直接应用到力觉传感器5的信号处理上。
一阶滞后滤波算法主要是通过本次的采样值与上次滤波后的信号输出值进行加权，从而进行滤波的一种方法。由于滤波过程中，选用了上次输出的信号，因而整个滤波过程是一个闭环过程，输出可以反馈影响后续的结果，整个过程会更加稳定。一阶滞后滤波的原理如下：
y(n)＝(1-a)·x(n)+a·y(n-1) (2)
其中，x(n)表示本次采样值，y(n-1)表示上次滤波后的输出值，a表示加权系数。
一阶滞后滤波有一个明显的问题是很难同时兼顾实时性和稳定性。通过调节加权系数可以实现实时性和稳定性，系数越大，输出越平滑，但信号滞后越严重，一种性能的实现会影响另一种性能，如何在其中取舍是非常重要的内容。
在本实施例中，所述多重滤波算法具体为：首先利用一阶滞后滤波算法对信号进行滤波，然后以滤波结果为参考，采用极限滤波算法滤除脉冲噪声，最后再次使用一阶滞后滤波方法，确保更小的相位延迟。这种多重滤波算法主要通过极限滤波和一阶滞后滤波的结合，使得可以避免两种方法的问题，吸取它们各自的优点，整个滤波过程能够具有较好的实时性，也能有较好的滤波效果。
通过Z变换，可以将公式(2)变为下式：
Y(z)＝(1-a)·X(z)+a·Y(z)·z-1 (3)
通过公式(3)运算求得如下公式：
Figure BDA0003019265990000071
结合上述公式和设计的结合方法，可以得到相应的结合框图，通过MATLAB搭建整个框架的原理模型。
根据噪声信号和有效力传感器信号的特点，结合一阶滞后滤波算法和极限滤波算法，设计了多重滤波算法，通过MATLAB中的simulink搭建了整个多重滤波的原理框架图，如图4所示。在这个框架中，通过先进行一次一阶滞后滤波来过滤掉一些变化较快的噪声信号，从而后续再进行极限滤波时不用再处理这种类型的噪声信号，最后再进行一次一阶滞后滤波，可以通过信号反馈实现更小的相位延迟。
下面以工业机器人4对工件1进行打磨作业为例，分别进行静态状态下和动态作用下的力觉传感器5的数据处理实验。
首先进行了静态下的力觉传感器5数据处理，即在工业机器人4的末端执行器42(即磨头)转动但是不进行力控制时的力处理实验，实验结果如图5所示。通过实验数据测定，力觉传感器5的峰值信号降低了10倍左右，同时具有一定的实时性。由于静态实验中，作用力没有发生较大突变，所以难以验证在突变情况下的打磨力处理效果。
然后，加入现有的力控制算法进行整个过程的力处理实验，通过多次测定，选择合适的系数a＝0.1进行滤波处理，实验效果如图6所示。通过实验数据测定，此多重滤波方案在动态情况下也具有较好的滤波性能，从图6中可以看到，当工业机器人4的末端执行器42与环境接触时，作用力发生了突变，但是经过滤波后保留了这种突变信号，而且整个过程具有一定的实时性。同时，观察图6，工业机器人4的末端执行器42与环境接触后，作用力的噪声明显变大时，经过滤波后的信号曲线比较光滑，可以很好地应用到打磨过程中。
以上所述，仅为本发明的较佳实施例，并非对本发明做任何形式上的限制，任何熟悉本领域的技术人员但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做任何简单的修改、均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于多模态信息的监控交互方法，其特征在于，采用多模态信息监控交互平台，所述多模态信息监控交互平台包括：
工作台，其设置有工装夹具，用于定位工件；
工业机器人，其设置在工作台的旁边，用于对所述工件执行作业任务；所述工业机器人包括机器人本体、末端执行器和机器人控制器，所述末端执行器安装在所述机器人本体的末端，所述末端执行器和机器人本体的驱动机构均电性连接至机器人控制器；
力觉传感器，其固定在所述末端执行器上，用于测量所述末端执行器作业时与所述工件之间的接触力；
噪声传感器，其安装在所述工装夹具上，用于测量作业时产生的噪声；
温度传感器，其安装在所述工装夹具上，用于测量作业时所述工件的温度；
视觉传感器，其安装在所述工作台的旁边，用于监控所述工业机器人的动作路径；
下位机，其与所述机器人控制器、所述力觉传感器、所述噪声传感器、所述温度传感器、所述视觉传感器电性连接，用于现场控制；
所述监控交互方法包括以下步骤：
S1、通过下位机控制各个传感器采集工业机器人加工作业过程中产生的各种信息数据；
S2、通过下位机处理采集到的各种所述信息数据，得到的机器人工作补偿指令；
S3、根据所述机器人工作补偿指令，通过机器人控制器控制所述工业机器人动作；
S4、重复步骤S1至S3。
2.根据权利要求1所述的基于多模态信息的监控交互方法，其特征在于，所述多模态信息监控交互平台还包括测力传感器，所述测力传感器安装在工作台的底部。
3.根据权利要求1或2所述的基于多模态信息的监控交互方法，其特征在于，在步骤S1中，所述下位机采用基于TwinCAT实时操作系统和EtherCAT高速实时总线的机器人控制和信号采集系统；所述信息数据的采集方法包括以下步骤：
S1.1、采集加工作业前各个传感器的初始数据，作为整个加工作业的原始信息；
S1.2、采集加工作业时各个传感器的实时信息，将实时信息与原始信息进行对比，实现对加工作业的监控。
4.根据权利要求1或2所述的基于多模态信息的监控交互方法，其特征在于，在步骤S2中，所述信息数据的处理方法包括以下步骤：
S2.1、对所述信息数据分别进行分辨，剔除无用信息，得到有用信息；
S2.2、对所述有用信息进行噪声处理，去除噪声污染，便于后续进行算法控制。
5.根据权利要求4所述的基于多模态信息的监控交互方法，其特征在于，在步骤S2.1中，所述分辨的方法具体为：基于工业机器人当前加工情况进行分析，若该信息数据在当前加工情况没有指导作用，则作为无用信息进行数据存储，若该信息数据在当前加工情况有指导作用，则作为有用信息。
6.根据权利要求4所述的基于多模态信息的监控交互方法，其特征在于，在步骤S2.2中，所述噪声处理的方法采用极限滤波和一阶滞后滤波相结合的多重滤波算法，所述多重滤波算法具体为：首先利用一阶滞后滤波算法对信号进行滤波，然后以滤波结果为参考，采用极限滤波算法滤除脉冲噪声，最后再次使用一阶滞后滤波方法，确保更小的相位延迟。
7.根据权利要求1所述的基于多模态信息的监控交互方法，其特征在于，所述视觉传感器固定在立架上，所述立架设置在工作台的旁边。
8.根据权利要求1所述的基于多模态信息的监控交互方法，其特征在于，所述力觉传感器采用六轴力矩传感器；所述工业机器人为关节机械手臂；所述视觉传感器包括照相机或摄像机。
9.根据权利要求1所述的基于多模态信息的监控交互方法，其特征在于，所述下位机通过EtherCAT高速实时总线分别连接所述机器人控制器、所述力觉传感器、所述噪声传感器、所述温度传感器。
10.根据权利要求1所述的基于多模态信息的监控交互方法，其特征在于，所述下位机设置有EtherNet/IP接口，所述EtherNet/IP接口连接所述力觉传感器；所述下位机通过以太网与上位机通信连接。
CN202110398037.4A 2021-04-14 2021-04-14 一种基于多模态信息的监控交互方法 Active CN113119125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398037.4A CN113119125B (zh) 2021-04-14 2021-04-14 一种基于多模态信息的监控交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398037.4A CN113119125B (zh) 2021-04-14 2021-04-14 一种基于多模态信息的监控交互方法

Publications (2)

Publication Number Publication Date
CN113119125A true CN113119125A (zh) 2021-07-16
CN113119125B CN113119125B (zh) 2022-08-05

Family

ID=76776263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398037.4A Active CN113119125B (zh) 2021-04-14 2021-04-14 一种基于多模态信息的监控交互方法

Country Status (1)

Country Link
CN (1) CN113119125B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281044A (zh) * 2021-12-24 2022-04-05 工业云制造(四川)创新中心有限公司 一种基于云制造的工业机器人远程监控方法及系统
CN115635511A (zh) * 2022-12-01 2023-01-24 成都瑞迪智驱科技股份有限公司 磁吸式模块化机器人驱动机构综合检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794118A (zh) * 2005-12-29 2006-06-28 上海交通大学 单输入单输出系统的极限pid控制方法
CN101528151A (zh) * 2006-10-25 2009-09-09 欧洲原子能共同体由欧洲委员会代表 用于微创机器人外科处理系统的力评估
CN105751203A (zh) * 2016-03-28 2016-07-13 东北石油大学 一种机械臂及运动控制卡
US20170355080A1 (en) * 2016-06-10 2017-12-14 The Boeing Company Remotely controlling robotic platforms based on multi-modal sensory data
CN111386179A (zh) * 2017-10-27 2020-07-07 费斯托股份两合公司 硬件模块、机器人系统以及用于操作机器人系统的方法
CN111813047A (zh) * 2020-07-31 2020-10-23 西北工业大学 一种机器人自动钻铆作业状态实时监控系统及方法
CN112353385A (zh) * 2020-10-21 2021-02-12 南京伟思医疗科技股份有限公司 基于变型sigmoid函数分类器的训练模态识别系统、方法及应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794118A (zh) * 2005-12-29 2006-06-28 上海交通大学 单输入单输出系统的极限pid控制方法
CN101528151A (zh) * 2006-10-25 2009-09-09 欧洲原子能共同体由欧洲委员会代表 用于微创机器人外科处理系统的力评估
CN105751203A (zh) * 2016-03-28 2016-07-13 东北石油大学 一种机械臂及运动控制卡
US20170355080A1 (en) * 2016-06-10 2017-12-14 The Boeing Company Remotely controlling robotic platforms based on multi-modal sensory data
CN111386179A (zh) * 2017-10-27 2020-07-07 费斯托股份两合公司 硬件模块、机器人系统以及用于操作机器人系统的方法
CN111813047A (zh) * 2020-07-31 2020-10-23 西北工业大学 一种机器人自动钻铆作业状态实时监控系统及方法
CN112353385A (zh) * 2020-10-21 2021-02-12 南京伟思医疗科技股份有限公司 基于变型sigmoid函数分类器的训练模态识别系统、方法及应用

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281044A (zh) * 2021-12-24 2022-04-05 工业云制造(四川)创新中心有限公司 一种基于云制造的工业机器人远程监控方法及系统
CN114281044B (zh) * 2021-12-24 2023-06-06 工业云制造(四川)创新中心有限公司 一种基于云制造的工业机器人远程监控方法及系统
CN115635511A (zh) * 2022-12-01 2023-01-24 成都瑞迪智驱科技股份有限公司 磁吸式模块化机器人驱动机构综合检测系统

Also Published As

Publication number Publication date
CN113119125B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN113119125B (zh) 一种基于多模态信息的监控交互方法
CN109382828B (zh) 一种基于示教学习的机器人轴孔装配系统及方法
Wang et al. A state-of-the-art review on robotic milling of complex parts with high efficiency and precision
Hosseini et al. Dexterous workspace optimization of a tricept parallel manipulator
CN107081787B (zh) 基于工业机器人内置传感器信号的运动特性检测方法
CN106826819A (zh) 桁架机器人防碰撞检测方法及装置
Brüning et al. Simulation based planning of machining processes with industrial robots
CN114131611A (zh) 机器人重力位姿分解的关节误差离线补偿方法、系统及终端
Blumberg et al. Deformation error compensation of industrial robots in single point incremental forming by means of data-driven stiffness model
Jian et al. Prediction of Spindle Thermal Deformation and Displacement Using Back Propagation Neural Network.
Zhen et al. Robust approximate constraint following control for SCARA robots system with uncertainty and experimental validation
Li et al. Pose accuracy improvement in robotic machining by visually-guided method and experimental investigation
CN214724231U (zh) 一种机器人多模态信息监控交互平台
CN100426158C (zh) 基于神经网络逆辨识与逆控制的多变量系统的间接解耦方法
CN115122302A (zh) 一种基于imu的六自由度并联平台主从控制系统
Neugebauer et al. Modelling feed drives based on natural excitation—improving accuracy
Hsu et al. Design of an optimal unknown input observer for load compensation in motion systems
Zhang et al. Robotic simple and fast drilling system for automated aircraft assembly
Chen et al. Post-processor development for a six degree-of-freedom parallel-link machine tool
Shimamoto et al. Performance Evaluation of Force Control and Reaction Force Estimation in Force Sensorless Hybrid Control for Workspace Based Controller
Horejš et al. Complex verification of thermal error compensation model of a portal milling centre
Mohammadi Daniali et al. Dexterous workspace shape and size optimization of tricept parallel manipulator
US11604450B1 (en) Processing machine and determining method for determining abnormal processing of the processing machine
Wu et al. Research on design and motion control of 5-dof robot for bending
Ullah et al. Improving CNC Turning Machine Precision through Vibration Analysis for Clamping Error Detection Employing Principal Component Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant