CN113752266A - 基于协作化驱控一体机器人的人机协作方法、系统和介质 - Google Patents
基于协作化驱控一体机器人的人机协作方法、系统和介质 Download PDFInfo
- Publication number
- CN113752266A CN113752266A CN202111317279.2A CN202111317279A CN113752266A CN 113752266 A CN113752266 A CN 113752266A CN 202111317279 A CN202111317279 A CN 202111317279A CN 113752266 A CN113752266 A CN 113752266A
- Authority
- CN
- China
- Prior art keywords
- result
- user side
- robot
- time period
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明公开的一种基于协作化驱控一体机器人的人机协作方法、系统和介质，其中方法包括：获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。本发明可以通过机器人进行识别环境信息以输出给用户进行提醒以应对不同的作业场景，并基于用户输入的指令进行协同作业，完成协作化驱控目标，同时可以根据作业结果判断当前作业的成功率以触发机器人的自检作业并反馈给用户供其研判。
Description
技术领域
本发明涉及机器人协同作业技术领域，更具体的，涉及一种基于协作化驱控一体机器人的人机协作方法、系统和介质。
背景技术
机器人是一种自动化的机器，所不同的是这种机器具备一些与人或生物相似的智能能力，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器，随着人们对机器人技术智能化本质认识的加深，机器人技术开始源源不断地向人类活动的各个领域渗透，结合这些领域的应用特点，人们发展了各式各样的具有感知、决策、行动和交互能力的特种机器人和各种智能机器人。
随着科学技术的发展，越来越多的机器人正在被投入使用，对于人机协同的管理仍存在一些问题，经常会出现机器伤人或者机器与用户协同配合效果差的问题，因此，需要对人机协作的过程进一步进行把控和调整。
发明内容
鉴于上述问题，本发明的目的是提供一种基于协作化驱控一体机器人的人机协作方法、系统和介质，可以实时基于用户输入的指令进行协同作业，完成协作化驱控的目标，同时可以根据作业后的结果判断当前作业的成功率以触发机器人的自检作业并反馈给用户供其研判。
本发明第一方面提供了一种基于协作化驱控一体机器人的人机协作方法，包括以下步骤：
获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；
获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
本方案中，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给所述用户端，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
本方案中，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
本方案中，所述接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业，具体为：
建立与所述佩戴设备的通信连接；
接收所述指令数据并进行读取以识别出所述命令行；
基于所述命令行调用执行步骤数据库进行匹配以完成所述协同作业。
本方案中，所述获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端，具体为：
基于预设的多媒体采集装置获取所述第二结果并进行分析得到所述完成度；
判断当前所述完成度与预设成功率的大小关系，其中，
若所述完成度高于或者等于所述预设成功率，则不进行自检；
若所述完成度低于所述预设成功率，则进行自检作业，并将所述自检结果可视化输出给所述用户端。
本方案中，调用预设的检测程序包完成所述自检作业。
本发明第二方面还提供一种基于协作化驱控一体机器人的人机协作系统，包括存储器和处理器，所述存储器中包括基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被所述处理器执行时实现如下步骤：
获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；
获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
本方案中，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给所述用户端，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
本方案中，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
本方案中，所述接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业，具体为：
建立与所述佩戴设备的通信连接；
接收所述指令数据并进行读取以识别出所述命令行；
基于所述命令行调用执行步骤数据库进行匹配以完成所述协同作业。
本方案中，所述获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端，具体为：
基于预设的多媒体采集装置获取所述第二结果并进行分析得到所述完成度；
判断当前所述完成度与预设成功率的大小关系，其中，
若所述完成度高于或者等于所述预设成功率，则不进行自检；
若所述完成度低于所述预设成功率，则进行自检作业，并将所述自检结果可视化输出给所述用户端。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被处理器执行时，实现如上述任一项所述的一种基于协作化驱控一体机器人的人机协作方法的步骤。
本发明公开的一种基于协作化驱控一体机器人的人机协作方法、系统和介质，可以通过机器人进行识别环境信息以输出给用户进行提醒以应对不同的作业场景，并且可以实时基于用户输入的指令进行协同作业，完成协作化驱控的目标，同时可以根据作业后的结果判断当前作业的成功率以触发机器人的自检作业并反馈给用户供其研判。
附图说明
图1示出了本发明一种基于协作化驱控一体机器人的人机协作方法的流程图；
图2示出了本发明一种基于协作化驱控一体机器人的人机协作系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本申请一种基于协作化驱控一体机器人的人机协作方法的流程图。
如图1所示，本申请公开了一种基于协作化驱控一体机器人的人机协作方法，包括以下步骤：
S102，获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
S104，接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；
S106，获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
需要说明的是，首先基于所述机器人上预设的传感器组识别所述环境数据信息，其中，所述传感器组包括距离传感器、温度传感器、湿度传感器以及流速传感器等测量环境数据的传感器，所述环境数据信息包括所述机器人与目标区域的距离、环境温度、环境湿度以及空气流速等等环境数据，而后基于采集到的所述环境数据信息进行分析输出所述第一结果以可视化显示给所述用户端，供其进行研断，然后接收并读取所述佩戴设备发送的所述指令数据，以基于所述指令数据获取所述命令行进行作业以完成所述协同作业，而后待作业完成后，对所述第二结果进行判断其完成度，即完成的成功率，对于低于所述预设成功率的所述机器人进行自检作业，判断当前所述机器人的作业能力是否受阻并将所述自检结果发送给所述用户端，供其研判。
根据本发明实施例，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给所述用户端，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
需要说明的是，基于训练好的所述卷积神经网络模型对所述环境数据信息进行训练分析以得到所述第一模拟结果与所述第二模拟结果，提取两次模拟结果中相同的所述特征因子并计算其特征值的绝对差值，基于所述绝对差值比较其与所述预设阈值的大小关系，其中，若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
具体地，取环境温度作为所述特征因子为例，比较两次模拟结果所述特征值的绝对差值，计算式如下：
，其中，
为所述绝对差值，
分别为所述第一预设时间段范围内的起始温度与终止温度，
为所述第二预设时间段范围内的起始温度与终止温度，取所述预设阈值为“1.5°”，若所述绝对差值
，则输出温度变化异常作为所述第一结果可视化输出给所述用户端。
根据本发明实施例，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
需要说明的是，对于所述第一预设时间段与所述第二预设时间段的取值是相关的，其中，根据所述绝对差值超过对应的所述预设阈值的数量值而定，其中，取所述第一阈值范围为[0，1]，取所述第二阈值范围为[2，4]，取所述第三阈值范围为[5，+
)，其中，取所述第一预设时间段为十分钟，若所述数量值位于所述第一阈值范围，则所述第二预设时间段不做调整；若所述数量值位于所述第二阈值范围，则所述第二预设时间段缩短为五分钟；若所述数量值位于所述第三阈值范围，则所述第二预设时间段缩短为两分半钟，随着所述特征因子对应的异常情况的增多，基于时间段的环境数据的采集要更频繁，因此需要缩短时间范围。
根据本发明实施例，所述接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业，具体为：
建立与所述佩戴设备的通信连接；
接收所述指令数据并进行读取以识别出所述命令行；
基于所述命令行调用执行步骤数据库进行匹配以完成所述协同作业。
需要说明的是，在所述用户端，其佩戴有与所述机器人配合使用的所述佩戴设备，例如无线挂耳式耳机、佩戴式手表或者头戴式设备，建立与所述佩戴设备的通信连接，接收所述指令数据以读取识别出所述命令行，其中，所述指令数据可以为语音数据或者感应数据，所述感应数据例如头戴式设备的位置偏移或者佩戴式手表的触屏手势识别等，在获取到所述命令行后调用所述执行步骤数据库进行匹配以控制所述机器人进行动作完成所述协同作业。
根据本发明实施例，所述获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端，具体为：
基于预设的多媒体采集装置获取所述第二结果并进行分析得到所述完成度；
判断当前所述完成度与预设成功率的大小关系，其中，
若所述完成度高于或者等于所述预设成功率，则不进行自检；
若所述完成度低于所述预设成功率，则进行自检作业，并将所述自检结果可视化输出给所述用户端。
需要说明的是，在所述机器人完成作业之后，基于所述多媒体采集装置获取作业现场的所述第二结果以获取所述完成度，以摄像头为例，基于拍摄的照片判断当前作业的最终效果作为所述第二结果，并与理想结果进行比对分析得到所述完成度，其中，基于照片进行位置分析可以通过各种现有技术实现，本实施例不做赘述，待获取到所述完成度后，将其与所述预设成功率进行比对，取所述预设成功率为“90%”，当所述完成度低于“90%”，表明当前作业过程存在问题，进行自检作业，对所述机器人进行自检，并将所述自检结果输出给所述用户端。
根据本发明实施例，调用预设的检测程序包完成所述自检作业。
需要说明的是，所述自检作业即对所述机器人各组成部件的初始状态以及运转状态进行自检，调用预设的所述检测程序包即可判断出异常问题所在。
值得一提的是，所述卷积神经网络模型的训练方法为：
获取历史检测数据的环境数据与预设时间段范围；
将所述历史检测数据的环境数据与预设时间段范围进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述卷积神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述卷积神经网络模型。
需要说明的是，所述卷积神经网络模型需要大量的历史数据进行训练，数据量越大，则结果越准确，本申请中的卷积神经网络模型可以通过历史检测数据的环境数据与预设时间段范围作为输入进行训练，当然，在进行神经网络模型训练时，不仅要通过历史检测数据的环境数据与预设时间段范围进行训练，还需要结合确定的模拟结果进行训练，通过大量试验数据与真实数据比对，得到的结果也会更加准确，进而使得所述卷积神经网络的输出结果更加准确。优选地，所述准确率阈值一般设置为95%。
值得一提的是，所述方法还包括基于环境数据反馈到所述佩戴设备进行提醒。
需要说明的是，在所述机器人作业的同时，采集到的所述第一结果会在所述机器人上可视化显示以供给所述用户端查阅，但是对于有些用户而言，会由于疏忽或者未察觉，导致提醒失败的问题出现，因此可以提取所述第一结果并基于所述佩戴设备进行语音播报或者震动提醒以将所述第一结果的反馈更好地提醒给所述用户端。
值得一提的是，所述方法还包基于所述环境数据信息判断所述用户端与所述机器人的距离，具体为：
基于所述距离传感器获取所述用户端与所述机器人的距离值；
基于当前所述协同作业提取安全距离，以得到安全极限值；
基于所述距离值进行判读，当所述距离值达到所述安全极限值时，控制所述机器人停止作业。
需要说明的是，基于所述环境数据信息得到所述机器人与所述用户端的距离，并根据不同的作业要求提取对应的所述安全极限值，当所述距离值达到所述安全极限值时，立即控制所述机器人停止作业，以免出现安全事故。
值得一提的是，所述方法还包括基于所述佩戴设备获取所述用户端的人体数据进行判断，并将异常数据输出给后台用户端。
需要说明的是，对于所述用户端与所述机器人协同作业的过程中，可以利用佩戴在所述用户端上的所述佩戴设备采集所述用户端的人体数据，并基于所述人体数据进行判断，识别到异常数据时，将其输出给后台用户端以进行提醒，将传统的佩戴设备的检测功能集一体到本申请提出的存储介质进行处理，可以大大降低成本，提高处理能力。
图2示出了本发明一种基于协作化驱控一体机器人的人机协作系统的框图。
如图2所示，本发明公开了一种基于协作化驱控一体机器人的人机协作系统，包括存储器和处理器，所述存储器中包括基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被所述处理器执行时实现如下步骤：
获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；
获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
需要说明的是，首先基于所述机器人上预设的传感器组识别所述环境数据信息，其中，所述传感器组包括距离传感器、温度传感器、湿度传感器以及流速传感器等测量环境数据的传感器，所述环境数据信息包括所述机器人与目标区域的距离、环境温度、环境湿度以及空气流速等等环境数据，而后基于采集到的所述环境数据信息进行分析输出所述第一结果以可视化显示给所述用户端，供其进行研断，然后接收并读取所述佩戴设备发送的所述指令数据，以基于所述指令数据获取所述命令行进行作业以完成所述协同作业，而后待作业完成后，对所述第二结果进行判断其完成度，即完成的成功率，对于低于所述预设成功率的所述机器人进行自检作业，判断当前所述机器人的作业能力是否受阻并将所述自检结果发送给所述用户端，供其研判。
根据本发明实施例，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给所述用户端，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
需要说明的是，基于训练好的所述卷积神经网络模型对所述环境数据信息进行训练分析以得到所述第一模拟结果与所述第二模拟结果，提取两次模拟结果中相同的所述特征因子并计算其特征值的绝对差值，基于所述绝对差值比较其与所述预设阈值的大小关系，其中，若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
具体地，取环境温度作为所述特征因子为例，比较两次模拟结果所述特征值的绝对差值，计算式如下：
，其中，
为所述绝对差值，
分别为所述第一预设时间段范围内的起始温度与终止温度，
为所述第二预设时间段范围内的起始温度与终止温度，取所述预设阈值为“1.5°”，若所述绝对差值
，则输出温度变化异常作为所述第一结果可视化输出给所述用户端。
根据本发明实施例，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
需要说明的是，对于所述第一预设时间段与所述第二预设时间段的取值是相关的，其中，根据所述绝对差值超过对应的所述预设阈值的数量值而定，其中，取所述第一阈值范围为[0，1]，取所述第二阈值范围为[2，4]，取所述第三阈值范围为[5，+
)，其中，取所述第一预设时间段为十分钟，若所述数量值位于所述第一阈值范围，则所述第二预设时间段不做调整；若所述数量值位于所述第二阈值范围，则所述第二预设时间段缩短为五分钟；若所述数量值位于所述第三阈值范围，则所述第二预设时间段缩短为两分半钟，随着所述特征因子对应的异常情况的增多，基于时间段的环境数据的采集要更频繁，因此需要缩短时间范围。
根据本发明实施例，所述接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业，具体为：
建立与所述佩戴设备的通信连接；
接收所述指令数据并进行读取以识别出所述命令行；
基于所述命令行调用执行步骤数据库进行匹配以完成所述协同作业。
需要说明的是，在所述用户端，其佩戴有与所述机器人配合使用的所述佩戴设备，例如无线挂耳式耳机、佩戴式手表或者头戴式设备，建立与所述佩戴设备的通信连接，接收所述指令数据以读取识别出所述命令行，其中，所述指令数据可以为语音数据或者感应数据，所述感应数据例如头戴式设备的位置偏移或者佩戴式手表的触屏手势识别等，在获取到所述命令行后调用所述执行步骤数据库进行匹配以控制所述机器人进行动作完成所述协同作业。
根据本发明实施例，所述获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端，具体为：
基于预设的多媒体采集装置获取所述第二结果并进行分析得到所述完成度；
判断当前所述完成度与预设成功率的大小关系，其中，
若所述完成度高于或者等于所述预设成功率，则不进行自检；
若所述完成度低于所述预设成功率，则进行自检作业，并将所述自检结果可视化输出给所述用户端。
需要说明的是，在所述机器人完成作业之后，基于所述多媒体采集装置获取作业现场的所述第二结果以获取所述完成度，以摄像头为例，基于拍摄的照片判断当前作业的最终效果作为所述第二结果，并与理想结果进行比对分析得到所述完成度，其中，基于照片进行位置分析可以通过各种现有技术实现，本实施例不做赘述，待获取到所述完成度后，将其与所述预设成功率进行比对，取所述预设成功率为“90%”，当所述完成度低于“90%”，表明当前作业过程存在问题，进行自检作业，对所述机器人进行自检，并将所述自检结果输出给所述用户端。
根据本发明实施例，调用预设的检测程序包完成所述自检作业。
需要说明的是，所述自检作业即对所述机器人各组成部件的初始状态以及运转状态进行自检，调用预设的所述检测程序包即可判断出异常问题所在。
值得一提的是，所述卷积神经网络模型的训练方法为：
获取历史检测数据的环境数据与预设时间段范围；
将所述历史检测数据的环境数据与预设时间段范围进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述卷积神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述卷积神经网络模型。
需要说明的是，所述卷积神经网络模型需要大量的历史数据进行训练，数据量越大，则结果越准确，本申请中的卷积神经网络模型可以通过历史检测数据的环境数据与预设时间段范围作为输入进行训练，当然，在进行神经网络模型训练时，不仅要通过历史检测数据的环境数据与预设时间段范围进行训练，还需要结合确定的模拟结果进行训练，通过大量试验数据与真实数据比对，得到的结果也会更加准确，进而使得所述卷积神经网络的输出结果更加准确。优选地，所述准确率阈值一般设置为95%。
值得一提的是，所述方法还包括基于环境数据反馈到所述佩戴设备进行提醒。
需要说明的是，在所述机器人作业的同时，采集到的所述第一结果会在所述机器人上可视化显示以供给所述用户端查阅，但是对于有些用户而言，会由于疏忽或者未察觉，导致提醒失败的问题出现，因此可以提取所述第一结果并基于所述佩戴设备进行语音播报或者震动提醒以将所述第一结果的反馈更好地提醒给所述用户端。
值得一提的是，所述方法还包基于所述环境数据信息判断所述用户端与所述机器人的距离，具体为：
基于所述距离传感器获取所述用户端与所述机器人的距离值；
基于当前所述协同作业提取安全距离，以得到安全极限值；
基于所述距离值进行判读，当所述距离值达到所述安全极限值时，控制所述机器人停止作业。
需要说明的是，基于所述环境数据信息得到所述机器人与所述用户端的距离，并根据不同的作业要求提取对应的所述安全极限值，当所述距离值达到所述安全极限值时，立即控制所述机器人停止作业，以免出现安全事故。
值得一提的是，所述方法还包括基于所述佩戴设备获取所述用户端的人体数据进行判断，并将异常数据输出给后台用户端。
需要说明的是，对于所述用户端与所述机器人协同作业的过程中，可以利用佩戴在所述用户端上的所述佩戴设备采集所述用户端的人体数据，并基于所述人体数据进行判断，识别到异常数据时，将其输出给后台用户端以进行提醒，将传统的佩戴设备的检测功能集一体到本申请提出的存储介质进行处理，可以大大降低成本，提高处理能力。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被处理器执行时，实现如上述任一项所述的一种基于协作化驱控一体机器人的人机协作方法的步骤。
本发明公开的一种基于协作化驱控一体机器人的人机协作方法、系统和介质，可以通过机器人进行识别环境信息以输出给用户进行提醒以应对不同的作业场景，并且可以实时基于用户输入的指令进行协同作业，完成协作化驱控的目标，同时可以根据作业后的结果判断当前作业的成功率以触发机器人的自检作业并反馈给用户供其研判。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于协作化驱控一体机器人的人机协作方法，其特征在于，包括以下步骤：
获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业；
获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
2.根据权利要求1所述的一种基于协作化驱控一体机器人的人机协作方法，其特征在于，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
3.根据权利要求2所述的一种基于协作化驱控一体机器人的人机协作方法，其特征在于，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
4.根据权利要求1所述的一种基于协作化驱控一体机器人的人机协作方法，其特征在于，所述接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以控制所述机器人完成协同作业，具体为：
建立与所述佩戴设备的通信连接；
接收所述指令数据并进行读取以识别出所述命令行；
基于所述命令行调用执行步骤数据库进行匹配以完成所述协同作业。
5.根据权利要求1所述的一种基于协作化驱控一体机器人的人机协作方法，其特征在于，所述获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端，具体为：
基于预设的多媒体采集装置获取所述第二结果并进行分析得到所述完成度；
判断当前所述完成度与预设成功率的大小关系，其中，
若所述完成度高于或者等于所述预设成功率，则不进行自检；
若所述完成度低于所述预设成功率，则进行自检作业，并将所述自检结果可视化输出给所述用户端。
6.根据权利要求1所述的一种基于协作化驱控一体机器人的人机协作方法，其特征在于，调用预设的检测程序包完成所述自检作业。
7.一种基于协作化驱控一体机器人的人机协作系统，其特征在于，包括存储器和处理器，所述存储器中包括基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被所述处理器执行时实现如下步骤：
获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令；
接收并读取所述用户端佩戴设备发送的指令数据，基于所述指令数据识别命令行以进行协同作业；
获取所述协同作业完成的第二结果并判断完成度，基于所述完成度进行机器人自检作业，并输出自检结果给所述用户端。
8.根据权利要求7所述的一种基于协作化驱控一体机器人的人机协作系统，其特征在于，所述获取环境数据信息，基于所述环境数据信息进行训练分析输出第一结果并可视化显示给用户端，并等待所述用户端发送指令，具体为：
获取第一预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第一模拟结果；
获取第二预设时间段范围内的环境数据信息，输入训练好的卷积神经网络模型中，得到第二模拟结果；
计算第一模拟结果和第二模拟结果中相同特征因子特征值的绝对差值；
基于所述特征因子提取对应的预设阈值，并判断与所述绝对差值的大小，其中，
若所述绝对差值大于所述预设阈值，则判断对应的所述特征因子为异常作为所述第一结果可视化输出给所述用户端。
9.根据权利要求8所述的一种基于协作化驱控一体机器人的人机协作系统，其特征在于，所述方法还包括动态调整所述第二预设时间段的时域值，具体为：
提取所述绝对差值超过对应的所述预设阈值的数量值；
判断所述数量值的落点范围，其中，
若所述数量值落在第一阈值范围内，则不做调整；
若所述数量值落在第二阈值范围内，调整所述第二预设时间段为所述第一预设时间段的二分之一；
若所述数量值落在第三阈值范围内，则调整所述第二预设时间段为所述第一预设时间段的四分之一。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于协作化驱控一体机器人的人机协作方法程序，所述基于协作化驱控一体机器人的人机协作方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种基于协作化驱控一体机器人的人机协作方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111317279.2A CN113752266B (zh) | 2021-11-09 | 2021-11-09 | 基于协作化驱控一体机器人的人机协作方法、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111317279.2A CN113752266B (zh) | 2021-11-09 | 2021-11-09 | 基于协作化驱控一体机器人的人机协作方法、系统和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113752266A true CN113752266A (zh) | 2021-12-07 |
| CN113752266B CN113752266B (zh) | 2022-01-18 |
Family
ID=78784687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111317279.2A Active CN113752266B (zh) | 2021-11-09 | 2021-11-09 | 基于协作化驱控一体机器人的人机协作方法、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113752266B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115741713A (zh) * | 2022-11-25 | 2023-03-07 | 中冶赛迪工程技术股份有限公司 | 一种机器人作业状态确定方法、装置、设备及介质 |
| CN115741689A (zh) * | 2022-11-14 | 2023-03-07 | 吉林大学 | 机器人智能驱动控制系统和方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280729A (ja) * | 2002-03-24 | 2003-10-02 | Tmsuk Co Ltd | 監視システム |
| CN104991457A (zh) * | 2015-06-02 | 2015-10-21 | 广东海洋大学 | 一种基于安防机器人的远程智能家居安防监控系统及方法 |
| CN107918338A (zh) * | 2017-11-29 | 2018-04-17 | 宁波高新区锦众信息科技有限公司 | 一种远程智能家居消防的监控系统以及该系统的监控方法 |
| CN110834327A (zh) * | 2018-08-17 | 2020-02-25 | 深圳市优必选科技有限公司 | 一种机器人的控制方法及设备 |
| CN111880505A (zh) * | 2020-09-02 | 2020-11-03 | 上海木木聚枞机器人科技有限公司 | 一种用于医院物流机器人的脱困方法、系统及存储介质 |
| CN211890839U (zh) * | 2019-11-20 | 2020-11-10 | 北京国电富通科技发展有限责任公司 | 单臂带电作业机器人的人机交互系统和人机协同系统 |
| CN112549045A (zh) * | 2020-12-05 | 2021-03-26 | 武汉千音科技有限公司 | 一种海洋工程用海底电缆故障检测机器人 |
-
2021
- 2021-11-09 CN CN202111317279.2A patent/CN113752266B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280729A (ja) * | 2002-03-24 | 2003-10-02 | Tmsuk Co Ltd | 監視システム |
| CN104991457A (zh) * | 2015-06-02 | 2015-10-21 | 广东海洋大学 | 一种基于安防机器人的远程智能家居安防监控系统及方法 |
| CN107918338A (zh) * | 2017-11-29 | 2018-04-17 | 宁波高新区锦众信息科技有限公司 | 一种远程智能家居消防的监控系统以及该系统的监控方法 |
| CN110834327A (zh) * | 2018-08-17 | 2020-02-25 | 深圳市优必选科技有限公司 | 一种机器人的控制方法及设备 |
| CN211890839U (zh) * | 2019-11-20 | 2020-11-10 | 北京国电富通科技发展有限责任公司 | 单臂带电作业机器人的人机交互系统和人机协同系统 |
| CN111880505A (zh) * | 2020-09-02 | 2020-11-03 | 上海木木聚枞机器人科技有限公司 | 一种用于医院物流机器人的脱困方法、系统及存储介质 |
| CN112549045A (zh) * | 2020-12-05 | 2021-03-26 | 武汉千音科技有限公司 | 一种海洋工程用海底电缆故障检测机器人 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115741689A (zh) * | 2022-11-14 | 2023-03-07 | 吉林大学 | 机器人智能驱动控制系统和方法 |
| CN115741713A (zh) * | 2022-11-25 | 2023-03-07 | 中冶赛迪工程技术股份有限公司 | 一种机器人作业状态确定方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113752266B (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113752266B (zh) | 基于协作化驱控一体机器人的人机协作方法、系统和介质 | |
| US11321583B2 (en) | Image annotating method and electronic device | |
| CN109782707A (zh) | 一种适用于工业互联网的工业现场监测方法 | |
| CN104616002A (zh) | 用于年龄段判断的面部识别设备 | |
| US9613328B2 (en) | Workflow monitoring and analysis system and method thereof | |
| CN111197841A (zh) | 控制方法、装置、遥控终端、空调器、服务器及存储介质 | |
| CN113066195A (zh) | 电力设备巡检方法、装置、ar眼镜和存储介质 | |
| CN103886284A (zh) | 人物属性信息识别方法、装置及电子设备 | |
| CN110569775A (zh) | 一种识别人体姿势的方法、系统、存储介质及电子设备 | |
| CN112113581A (zh) | 异常计步识别方法、计步方法、装置、设备及介质 | |
| CN103177245B (zh) | 手势识别方法及装置 | |
| CN103870814A (zh) | 基于智能相机的非接触式实时眼动识别方法 | |
| CN116661659B (zh) | 一种智能手表互动方法及系统 | |
| CN110298684B (zh) | 车型匹配方法、装置、计算机设备及存储介质 | |
| CN113326713A (zh) | 一种动作识别方法、装置、设备及介质 | |
| JP2022052144A (ja) | Ｃｂｔにおける受験者の監視方法、及び、監視システム | |
| CN117008491A (zh) | 一种智能手势控制系统及方法 | |
| CN111026273A (zh) | 智能穿戴设备自动设置方法、装置、电子设备及存储介质 | |
| CN103870728A (zh) | 控制系统、控制方法及电脑系统 | |
| CN116311492A (zh) | 一种基于深度相机和轮廓提取的手势识别方法及系统 | |
| CN108596150A (zh) | 一种可排除异常动作的行为识别系统及其工作方法 | |
| CN110796188B (zh) | 一种多类型惯性传感器协同的建设工人工效监控方法 | |
| WO2018148881A1 (zh) | 交互教学机器人及其处理方法 | |
| CN114637264A (zh) | 动作稳定性分析方法、系统、设备及存储介质 | |
| CN116134480A (zh) | 图像处理装置、图像处理方法以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |