CN112140109A - 基于Web网页和肌电信号的机器人远程控制系统及方法 - Google Patents

基于Web网页和肌电信号的机器人远程控制系统及方法 Download PDF

Info

Publication number
CN112140109A
CN112140109A CN202010949314.1A CN202010949314A CN112140109A CN 112140109 A CN112140109 A CN 112140109A CN 202010949314 A CN202010949314 A CN 202010949314A CN 112140109 A CN112140109 A CN 112140109A
Authority
CN
China
Prior art keywords
server
robot
user
control
web
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010949314.1A
Other languages
English (en)
Other versions
CN112140109B (zh
Inventor
占宏
王剑城
杨辰光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010949314.1A priority Critical patent/CN112140109B/zh
Publication of CN112140109A publication Critical patent/CN112140109A/zh
Application granted granted Critical
Publication of CN112140109B publication Critical patent/CN112140109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于Web网页和肌电信号的机器人远程控制系统及方法，系统的控制端包括用户端和肌电信号采集装置，终端包括机器人执行系统和传感信号采集装置，服务器端包括Web服务器、数据库服务器、肌电信号处理服务器、机器人控制服务器和传感数据处理服务器；用户端通过Web网页向Web服务器发送终端控制指令；肌电信号采集装置向肌电信号处理服务器发送用户的肌电信号，机器人控制服务器根据肌电信号控制机器人执行系统、根据终端控制指令控制机器人执行系统和传感信号采集装置，或者结合终端控制指令和用户的肌电信号共同控制机器人执行系统和传感信号采集装置。本发明能够通过多种方式有效控制终端，控制精度高，实用性强。

Description

基于Web网页和肌电信号的机器人远程控制系统及方法
技术领域
本发明涉及机器人技术领域，特别涉及一种基于Web网页和肌电信号的机器人远程控制系统及方法。
背景技术
近年来，机器人技术已逐步应用于工业制造、医疗服务、物流分拣等多个领域，不仅节省了人力，大大提高了工作效率，同时也给人们的生活带来了极大的便利。在实际应用中，通常需要通过远程控制的方式来操作机器人完成相应的任务，但这存在铺设特殊控制线路及硬件设备昂贵等问题。Internet和网络通讯技术的快速发展有力促进了Web技术在机器人控制领域的应用，但是目前基于Web网页的远程交互主要用于交换文本、图片、视频等信息，与机器人控制的结合应用较少，并且在实际应用时未能完全解决实际机器人的应用需求。
比如，在专利文件CN204819528U中公开了一种基于Web的远程控制机器人系统及其方法，该方法具体为：分别设计Web控制端、服务器和执行端，Web控制端通过http通讯协议与服务器连接；服务器通过无线传输模块与执行端连接；Web控制端通过http通讯协议给服务器发送控制命令；服务器接收到来自Web控制端的控制命令，进行处理分析后，发送相应的动作指令给执行端，执行端执行完控制命令后发送状态信息给服务器，服务器再将状态信息反馈给Web控制端。然而，这种基于Web网页的机器人控制，仅能执行已设计的动作，控制效果单一，机器人自主性不足；同时，该系统无法满足必要的数据检索和存储需求，实用性不足，因此并不能完全适用于现实的机器人控制系统。
肌电信号是从人体骨骼肌表面通过肌电采集设备中的电极记录下来的神经肌肉活动发放的生物电信号。肌电信号的应用已经延伸到临床医学、运动医学、生物医学与康复工程等诸多领域，但是目前肌电信号的应用仍然建立在人眼基础上，缺少应用和周边环境的反馈，应用的控制精度低，尚不能实现真正意义上的远程控制，因此不适合应用于实际工业生产及工作之中。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于Web网页和肌电信号的机器人远程控制系统，该系统可以通过多种方式有效控制终端，控制精度高，实用性强。
本发明的第二目的在于提供一种基于Web网页和肌电信号的机器人远程控制方法，该方法可以结合Web技术和肌电信号技术，实现高效率及高精度的机器人远程控制。
本发明的第一目的通过下述技术方案实现：一种基于Web网页和肌电信号的机器人远程控制系统，包括控制端、终端和服务器端，其中，
控制端包括用户端和肌电信号采集装置，用户端具有用于输入终端控制指令和显示终端数据的Web网页，肌电信号采集装置用于采集用户在不同手势动作下的肌电信号；
终端包括机器人执行系统和传感信号采集装置，传感信号采集装置位于机器人执行系统上和/或机器人执行系统周边环境，用于采集机器人执行系统数据和/或周边环境数据；
服务器端包括Web服务器、数据库服务器、肌电信号处理服务器、机器人控制服务器和传感数据处理服务器，
用户端连接Web服务器，并通过Web网页向Web服务器发送终端控制指令；肌电信号采集装置连接肌电信号处理服务器，并向其发送用户的肌电信号；
机器人控制服务器连接并控制传感数据处理服务器、Web服务器和肌电信号处理服务器，机器人控制服务器从Web服务器获取终端控制指令；肌电信号处理服务器还连接Web服务器，肌电信号处理服务器用于直接向机器人控制服务器发送用户的肌电信号或者通过Web服务器向机器人控制服务器发送用户的肌电信号；
传感数据处理服务器连接传感信号采集装置和Web服务器，用于通过Web服务器将传感信号采集装置所采集的机器人执行系统数据和/或周边环境数据发送到用户端；
数据库服务器连接Web服务器，用于存储Web服务器接收到的数据；Web服务器用于与Web网页和其他服务器交互，以及检索数据库服务器中的数据；
机器人控制服务器连接机器人执行系统，并根据用户的肌电信号控制机器人执行系统、根据用户端Web网页输入的终端控制指令控制机器人执行系统和传感信号采集装置，或者结合终端控制指令和用户的肌电信号共同控制机器人执行系统和传感信号采集装置。
优选的，用户端的Web网页与Web服务器之间通过无线网络进行连接，并且采用http协议进行通信连接；
传感信号采集装置与传感数据处理服务器之间、机器人控制服务器与机器人执行系统之间、传感数据处理服务器与Web服务器之间、机器人控制服务器与Web服务器之间均通过无线网络进行连接，并且均采用TCP协议进行通信；
肌电信号采集装置与肌电信号处理服务器之间、肌电信号处理服务器与Web服务器之间、肌电信号处理服务器与机器人控制服务器之间、传感数据处理服务器与机器人控制服务器之间均采用无线通信方式进行连接，无线通信方式为蓝牙、3G/4G/5G或者无线网络；
Web服务器与数据库服务器之间通过JDBC API进行连接。
优选的，肌电信号采集装置为穿戴式，肌电信号采集装置佩戴在用户手臂上；用户端为工控机、电脑、平板或者手机。
优选的，传感信号采集装置包括但不限于摄像头、距离传感器和陀螺仪；
部分或者全部摄像头安装在可旋转摄像头基架上，并由用户端通过Web网页选择传感信号采集装置中若干个摄像头和输入针对所选摄像头旋转角度的旋转角度控制指令。
优选的，机器人执行系统包括机械臂系统和移动机器人，移动机器人、机械臂系统分别设有电机或舵机，机器人控制服务器连接并控制电机或舵机，进而控制机械臂系统及移动机器人的动作。
更进一步的，Web网页包括用于供系统访客或者系统管理员输入用户账号名和密码的注册界面和登录界面、用于输入针对机器人执行系统中任一机械臂系统和/或移动机器人，或者针对传感信号采集装置中任一元件的终端控制指令的输入界面、用于显示任一机械臂系统和移动机器人的机器人执行系统数据以及周边环境数据的监控界面。
更进一步的，数据库服务器存储有终端数据和采用MD5算法加密的Web网页的控制日志，控制日志存入数据库服务器的字符包括：用户账号名及密码符串、登录日期字符串还有该用户所进行的控制内容的编号字符；数据库服务器采用MySQL数据库服务器。
本发明的第二目的通过下述技术方案实现：一种基于Web网页和肌电信号的机器人远程控制方法，所述方法应用于本发明第一目的所述的基于Web网页和肌电信号的机器人远程控制系统，步骤如下：
S1、用户在用户端输入Web服务器的URL，获得Web网页资源，然后在Web网页进行账号注册和登录；
S2、登录成功之后，用户在Web网页选择需控制的机器人执行系统中的机械臂系统和/或移动机器人以及传感信号采集装置，然后输入针对所选机械臂系统和/或移动机器人以及传感信号采集装置的终端控制指令，然后Web网页将终端控制指令发送给Web服务器；
若用户有佩戴肌电信号采集装置，则肌电信号采集装置还采集用户在不同手势动作下的肌电信号，并发送给肌电信号处理服务器；
S3、Web服务器将终端控制指令发送给机器人控制服务器；
肌电信号处理服务器直接将用户的肌电信号发送给机器人控制服务器，或者先将用户的肌电信号先发送给Web服务器，再通过Web服务器发送到机器人控制服务器；
S4、机器人控制服务器根据用户的肌电信号控制所选机械臂系统和/或移动机器人的动作，或者根据用户端Web网页输入的终端控制指令控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件，或者结合终端控制指令和用户的肌电信号共同控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件；
传感信号采集装置基于终端控制指令，采集机器人执行系统数据和/或周边环境数据，并将这些终端数据发送到传感数据处理服务器，传感数据处理服务器再通过Web服务器将终端数据发送到用户端，最终在用户端的Web网页显示终端数据；
在整个过程中，数据库服务器存储Web服务器接收到的数据。
优选的，用户分为系统访客或者系统管理员两种类型；
在步骤S2中，Web网页在用户登录时，先将用户账号名和密码以及登录请求发送到Web服务器，Web服务器检索数据库服务器中是否含有该用户账号名和密码，若未检索到该用户账号名或者识别出该密码错误，则登录失败；
若检索到该用户账号名且识别出该密码正确，则登录成功，然后再判断该用户为系统访客还是系统管理员，当判断该用户为系统访客时，用户只能通过Web网页控制终端；当判断该用户为系统管理员时，用户可以选择Web网页控制、肌电信号控制或者Web网页和肌电信号共同控制终端。
优选的，在步骤S4中，当机器人控制服务器控制机械臂系统时，用户在Web网页上输入针对安装在机械臂固定座上的摄像头的选择控制指令和旋转角度控制指令，所选摄像头旋转至设定角度之后获取机械臂前方画面信息，最后传输到Web网页上进行显示；
当机器人控制服务器控制移动机器人时，用户在Web网页上输入针对安装在移动机器人上和周边环境上的摄像头的选择控制指令和旋转角度控制指令，所选的多个摄像头旋转至对应的设定角度之后获取不同位置的画面信息，然后将这多个不同位置的画面信息进行合并及数据压缩，最后传输到Web网页上进行显示。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明将Web网页技术与肌电信号控制相结合，提出了基于Web网页和肌电信号的机器人远程控制系统，其中，用户端的Web网页作为输入控制指令和监控的用户控制界面，肌电信号采集装置用于采集肌电信号，Web服务器作为Web网页与其他服务器及终端进行交互的中转站，机器人控制服务器可以单独根据肌电信号或者通过Web网页来控制终端，也可以结合Web网页和肌电信号来共同控制终端，因此，本发明系统能够通过多种方式有效控制终端，克服了单一使用网页控制时控制动作过于单一的局限性，终端的机器人执行系统控制的自主性更高，能实现更复杂精细的控制，另外，终端还设置了传感信号采集装置来采集机器人执行系统的数据和周边环境数据作为反馈，以便对控制作出调整，由此有效提高了控制的精度。
(2)本发明系统中，传感信号采集装置设置了摄像头、距离传感器及陀螺仪等传感器，这些元件所采集的数据通过服务器端发送到用户端的Web网页进行显示，因此能够为用户提供远程的画面信息和机器人执行系统数据，实现真正意义上的远程控制，机器人执行系统控制精度也能有效提高，也更适用于实际工业生产及工作之中，例如在康复训练上，康复机器人远程控制的反馈信息越全面，控制精度越高，越能达到更好的复健效果。
(3)本发明系统中，用户端的Web网页与Web服务器之间通过无线网络进行连接，并且采用http协议进行通信连接；终端与服务器端通过无线网络进行连接，并且采用TCP协议进行通信，肌电信号采集装置与服务器端采用蓝牙等无线通信方式进行连接，各个服务器分别处理各自接收到的信号并完成各自任务，同时也相互联系协作，使得控制系统能够实现长通信距离控制，抗干扰性强且成本低，可以真正实现对机器人的远程控制并完成特殊任务。肌电信号既可以直接发送到机器人控制服务器，又可以通过Web服务器发送到机器人控制服务器，增大了机器人执行系统的控制范围和控制灵活性，实现更加远程的机器人执行系统控制，有利于完成更多更复杂的任务。
(4)本发明提供了一种安全性更高的Web网页控制方法，不仅为用户远程提供移动机器人/机械臂系统周边环境信息，而且使用数据库服务器来存储用户数据和终端数据，可满足数据检索需求，便于故障排查，提高了系统的实用性。其中，系统还将用户进行分类和用户数据进行加密处理，进一步提高了系统的安全性。
附图说明
图1是本发明基于Web网页和肌电信号的机器人远程控制系统的结构框图。
图2是图1系统中的肌电信号采集装置的示意图。
图3是本发明基于Web网页和肌电信号的机器人远程控制方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
现有的基于网页的机器人控制存在着系统安全性不高，只能控制固定的动作、控制效果差、功能不齐全等问题；而利用肌电信号时，缺少反馈和控制精度低，很难应用到实际工作中。本发明旨在一定程度上解决上述问题，提供了一种基于Web网页和肌电信号的机器人控制系统及方法，一方面借助Web网页作为控制的GUI界面，无线获取机器人多方位画面信息以可视化机器人工作环境，配合Web网页和肌电信号的混合控制，提高控制效率；另一方面提供数据库来存储用户信息和系统的控制日志，且区分用户并对用户信息进行加密处理。该系统具有控制精度高、效率高、成本低廉、安全性高等优点。
实施例
本实施例公开了一种基于Web网页和肌电信号的机器人远程控制系统，如图1所示，包括控制端、终端和服务器端。
其中，控制端包括用户端和肌电信号采集装置，用户端可以是工控机、电脑、平板或者手机。
用户端具有Web网页，Web网页作为用户控制界面，进一步包括用于供系统访客或者系统管理员输入用户账号名和密码的注册界面和登录界面、用于输入针对机器人执行系统中任一机械臂系统和/或移动机器人，或者针对传感信号采集装置中任一元件的终端控制指令的输入界面、用于显示任一机械臂系统和移动机器人的机器人执行系统数据以及周边环境数据的监控界面，各个界面具有指示相关操作的控件。
肌电信号采集装置用于采集用户在不同手势动作下的肌电信号。在本实施例中，肌电信号采集装置为穿戴式，例如为手环、手表或者腕带，肌电信号采集装置佩戴在用户手臂上，以便采集手臂表面肌电信号，使得机器人控制服务器通过特征分析，识别出用户的手势，从而对终端进行控制。
终端包括机器人执行系统和传感信号采集装置，传感信号采集装置包括但不限于摄像头、距离感传器和陀螺仪，可根据实际控制与设计需要设置。
摄像头可设置在机器人执行系统上和/或机器人执行系统周边环境，用于采集机器人执行系统周边环境的画面信息。摄像头可以只设置一个，也可以是根据实际需要在多个不同的位置放置多个摄像头，以确保画面信息更全面准确。另外，摄像头还可以根据实际需要选择部分或者全部来安装在可旋转摄像头基架上，并由用户端通过Web网页选择传感信号采集装置中的若干个摄像头和输入针对所选摄像头旋转角度的旋转角度控制指令，例如控制摄像头360°转动以环视机器人执行系统的工作环境。
距离传感器和陀螺仪可安装在机器人执行系统上，距离传感器用于检测机器人执行系统与周围障碍物之间的距离，可根据实际需要设置多个，以达到更高的测距精度。距离传感器具体可采用光学距离传感器、红外距离传感器和/或超声波距离传感器。陀螺仪用于检测机器人执行系统的动作方向及角速度。
服务器端包括Web服务器、数据库服务器、肌电信号处理服务器、机器人控制服务器和传感数据处理服务器，这些服务器分别处理各自接收到的信号并完成各自任务，同时也相互联系协作。
Web服务器作为Web网页与其他服务器及终端进行交互的中转站，用户端连接Web服务器，并通过Web网页向Web服务器发送终端控制指令。
传感数据处理服务器是实现传感器数据的处理和传输的站点，传感数据处理服务器连接传感信号采集装置和Web服务器，用于通过Web服务器将传感信号采集装置所采集的机器人执行系统数据和/或周边环境数据发送到用户端。
在本实施例中，传感信号采集装置与传感数据处理服务器之间、传感数据处理服务器与Web服务器之间通过无线网络进行连接，并采用TCP协议进行可靠通信，且可实现多线程处理。
在Web服务器中，需要处理Web网页发送的相关控制指令，同时也需要将其他服务器反馈回来的信息(包括摄像头获取的画面信息和传感器的检测数据)回送至Web网页以供用户查看。用户端的Web网页与Web服务器之间通过无线网络进行连接，并且采用http协议进行通信连接，具有速度快、传输稳定等优点。在本实施例中，Web服务器可采用开源免费的Tomcat服务器作为基架进行自我开发，也可以采用付费的服务器。
数据库服务器连接Web服务器，用于存储Web服务器接收到的数据，包括Web网页的控制日志、终端数据。数据库服务器可采用MySQL数据库服务器，以开源免费的MySQL数据库作为基础，使用JDBC编写的SQL语句，将Web服务器与MySQL数据库之间通过JDBC API进行连接，以实现数据传输和检索等操作。
控制日志在存储到数据库服务器之前，还先采用MD5算法进行加密，以保护用户隐私，提高系统安全性。控制日志存入数据库服务器的字符包括：用户账号名及密码符串、登录日期字符串还有该用户所进行的控制内容的编号字符。
肌电信号采集装置连接肌电信号处理服务器，并向其发送用户的肌电信号。肌电信号采集装置与肌电信号处理服务器之间具体是采用无线通信方式进行连接。无线通信方式可以是蓝牙、3G/4G/5G或者无线网络，无线网络可以是通过无线路由器搭建的局域网。
如图2所示，肌电信号采集装置具体包括依次连接的肌电信号采集模块、肌电信号处理模块和无线发送模块，肌电信号采集模块用于采集原始肌电信号，肌电信号处理模块用于将原始肌电信号处理成机器人控制服务器可识别处理的肌电信号，无线发送模块无线连接肌电信号处理服务器，用于将处理后的肌电信号发送给肌电信号处理服务器。
机器人控制服务器连接并控制传感数据处理服务器、Web服务器和肌电信号处理服务器，机器人控制服务器从Web服务器获取终端控制指令。肌电信号处理服务器还连接Web服务器，肌电信号处理服务器用于直接向机器人控制服务器发送用户的肌电信号或者通过Web服务器向机器人控制服务器发送用户的肌电信号。肌电信号处理服务器与Web服务器之间、肌电信号处理服务器与机器人控制服务器之间均采用无线通信方式进行连接，由此实现远程传输。这两种传输方式可以增大机器人执行系统的控制范围和控制灵活性，实现更加远程的机器人执行系统控制，有利于完成更多更复杂的任务。
机器人控制服务器是机器人执行系统控制的核心控制器，机器人控制服务器连接机器人执行系统，并根据用户的肌电信号控制机器人执行系统、根据用户端Web网页输入的终端控制指令控制机器人执行系统和传感信号采集装置，或者结合终端控制指令和用户的肌电信号共同控制机器人执行系统和传感信号采集装置。
其中，机器人执行系统包括机械臂系统和移动机器人，移动机器人、机械臂系统分别设有电机或舵机，机器人控制服务器连接电机或舵机，并根据终端控制指令控制电机或舵机来控制机械臂系统/移动机器人的关节和滑轮，进而控制机械臂系统/移动机器人的动作。机器人控制服务器与机械臂系统、移动机器人之间可以借助确定学习算法实现实时控制，确定学习算法是可以在减少数据量情况下保证与原先相同控制效果的控制器算法，因此可以减少网络传输的数据，降低网络时延，提高控制实时性。
传感数据处理服务器传输到Web网页的画面信息和传感器的检测数据可以作为机器人执行系统动作的反馈，用户可基于这些数据进一步调整机器人执行系统的动作，从而更精确地远程控制机器人执行系统。
可见，本实施例机器人控制服务器与传感数据处理服务器相结合，同时采用先进控制算法，因此可以实现对机器人的高精度高效率控制。传感信号采集装置与移动机器人相互配合，可实现自主避障等功能；传感信号采集装置与机械臂系统配合，可实现对物体的识别和准确抓取，由此实现机器人执行系统的自主性。
在本实施例中，机器人控制服务器与Web服务器之间、机器人控制服务器与机器人执行系统之间通过无线网络进行连接，并采用TCP协议进行可靠通信，且可实现多线程处理，以保证数据的完整、准确性和处理的及时性。传感数据处理服务器与机器人控制服务器之间采用无线通信方式进行连接，以实现远程传输。
此外，为提高系统的安全性，本实施例系统的用户分为系统访客或者系统管理员两种类型，一般在Web网页注册登录只能为系统访客身份，若在Web网页输入正确的邀请码则可以成为系统管理员。系统管理员的控制权限高于系统访客且具有高优先级，系统管理员对机器人进行控制时，系统访客无法进行任何操作。系统访客只能通过Web网页控制机器人执行系统及查看其画面信息。这里的Web网页控制是通过Web网页的控件来选择设定好的动作或者运动轨迹进行控制。
而系统管理员享有所有控制权限，可以选择通过Web网页、通过肌电信号(也就是手势)或者Web网页和肌电信号共同控制机器人执行系统，以及通过Web网页查看其画面信息。这里的Web网页控制不仅可以通过Web网页的控件来选择设定好的动作或者运动轨迹进行控制，还可以与肌电信号配合，完成更加复杂自主的控制任务。
本实施例还公开了一种基于Web网页和肌电信号的机器人远程控制方法，所述方法可应用于上述基于Web网页和肌电信号的机器人远程控制系统，如图3所示，步骤如下：
S1、用户在用户端输入Web服务器的URL，获得Web网页资源，然后在Web网页进行账号注册和登录：用户先进入注册界面注册账号，然后进入登录界面登录账号。在注册时，用户的账号和密码通过Web服务器发送到数据库服务器进行存储。
S2、登录成功之后，用户在Web网页选择需控制的机器人执行系统中的机械臂系统和/或移动机器人以及传感信号采集装置，然后输入针对所选机械臂系统和/或移动机器人以及传感信号采集装置的终端控制指令，然后Web网页将终端控制指令发送给Web服务器。这里，用户是进入输入界面，输入界面上可选的机械臂系统和移动机器人的类型及数量以及传感信号采集装置中元件的类型可根据实际需要开发。
若用户有佩戴肌电信号采集装置，则肌电信号采集装置还采集用户在不同手势动作下的肌电信号，并发送给肌电信号处理服务器。
Web网页在用户登录时，先将用户账号名和密码以及登录请求发送到Web服务器，Web服务器检索数据库服务器中是否含有该用户账号名和密码，若未检索到该用户账号名或者识别出该密码错误(检索失败)，则登录失败，Web网页会要求用户进行注册或者重新登录；
若检索到该用户账号名且识别出该密码正确(检索成功)，则登录成功，然后再判断该用户为系统访客还是系统管理员，并赋予相应的权限：
当判断该用户为系统访客时，用户只能通过Web网页控制终端；
当判断该用户为系统管理员时，用户可以选择Web网页控制、肌电信号控制或者Web网页和肌电信号共同控制终端。
S3、Web服务器将终端控制指令发送给机器人控制服务器。
肌电信号处理服务器直接将用户的肌电信号发送给机器人控制服务器，或者先将用户的肌电信号先发送给Web服务器，再通过Web服务器发送到机器人控制服务器。
S4、机器人控制服务器根据用户的肌电信号控制所选机械臂系统和/或移动机器人的动作，或者根据用户端Web网页输入的终端控制指令控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件，或者结合终端控制指令和用户的肌电信号共同控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件。
其中，当机器人控制服务器控制机械臂系统时，用户在Web网页上输入针对安装在机械臂固定座上的摄像头的选择控制指令和旋转角度控制指令，所选摄像头旋转至设定角度之后获取机械臂前方画面信息，最后传输到Web网页上进行显示；
当机器人控制服务器控制移动机器人时，用户在Web网页上输入针对安装在移动机器人上和周边环境上的摄像头的选择控制指令和旋转角度控制指令，所选的多个摄像头旋转至对应的设定角度之后获取不同位置的画面信息，然后将这多个不同位置的画面信息进行合并及数据压缩来提高传输效率，最后传输到Web网页上进行显示，用户可以较实时地观看移动机器人周围的场景。
传感信号采集装置基于终端控制指令，采集机器人执行系统数据和/或周边环境数据，并将这些终端数据发送到传感数据处理服务器，传感数据处理服务器再通过Web服务器将终端数据发送到用户端，最终在用户端的Web网页显示终端数据。
当用户退出系统之后，Web网页将其控制日志发送给Web服务器。
在上述整个过程，数据库服务器存储Web服务器接收到的数据，包括Web网页的控制日志、机器人执行系统数据和周边环境数据，用户随时可以查看这些数据来检查控制系统，提高系统的安全性，也为出现异常后的维修提供便捷。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于Web网页和肌电信号的机器人远程控制系统，其特征在于，包括控制端、终端和服务器端，其中，
控制端包括用户端和肌电信号采集装置，用户端具有用于输入终端控制指令和显示终端数据的Web网页，肌电信号采集装置用于采集用户在不同手势动作下的肌电信号；
终端包括机器人执行系统和传感信号采集装置，传感信号采集装置位于机器人执行系统上和/或机器人执行系统周边环境，用于采集机器人执行系统数据和/或周边环境数据；
服务器端包括Web服务器、数据库服务器、肌电信号处理服务器、机器人控制服务器和传感数据处理服务器，
用户端连接Web服务器，并通过Web网页向Web服务器发送终端控制指令；肌电信号采集装置连接肌电信号处理服务器，并向其发送用户的肌电信号；
机器人控制服务器连接并控制传感数据处理服务器、Web服务器和肌电信号处理服务器，机器人控制服务器从Web服务器获取终端控制指令；肌电信号处理服务器还连接Web服务器，肌电信号处理服务器用于直接向机器人控制服务器发送用户的肌电信号或者通过Web服务器向机器人控制服务器发送用户的肌电信号；
传感数据处理服务器连接传感信号采集装置和Web服务器，用于通过Web服务器将传感信号采集装置所采集的机器人执行系统数据和/或周边环境数据发送到用户端；
数据库服务器连接Web服务器，用于存储Web服务器接收到的数据；Web服务器用于与Web网页和其他服务器交互，以及检索数据库服务器中的数据；
机器人控制服务器连接机器人执行系统，并根据用户的肌电信号控制机器人执行系统、根据用户端Web网页输入的终端控制指令控制机器人执行系统和传感信号采集装置，或者结合终端控制指令和用户的肌电信号共同控制机器人执行系统和传感信号采集装置。
2.根据权利要求1所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，用户端的Web网页与Web服务器之间通过无线网络进行连接，并且采用http协议进行通信连接；
传感信号采集装置与传感数据处理服务器之间、机器人控制服务器与机器人执行系统之间、传感数据处理服务器与Web服务器之间、机器人控制服务器与Web服务器之间均通过无线网络进行连接，并且均采用TCP协议进行通信；
肌电信号采集装置与肌电信号处理服务器之间、肌电信号处理服务器与Web服务器之间、肌电信号处理服务器与机器人控制服务器之间、传感数据处理服务器与机器人控制服务器之间均采用无线通信方式进行连接，无线通信方式为蓝牙、3G/4G/5G或者无线网络；
Web服务器与数据库服务器之间通过JDBC API进行连接。
3.根据权利要求1所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，肌电信号采集装置为穿戴式，肌电信号采集装置佩戴在用户手臂上；用户端为工控机、电脑、平板或者手机。
4.根据权利要求1所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，传感信号采集装置包括但不限于摄像头、距离传感器和陀螺仪；
部分或者全部摄像头安装在可旋转摄像头基架上，并由用户端通过Web网页选择传感信号采集装置中若干个摄像头和输入针对所选摄像头旋转角度的旋转角度控制指令。
5.根据权利要求1所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，机器人执行系统包括机械臂系统和移动机器人，移动机器人、机械臂系统分别设有电机或舵机，机器人控制服务器连接并控制电机或舵机，进而控制机械臂系统及移动机器人的动作。
6.根据权利要求5所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，Web网页包括用于供系统访客或者系统管理员输入用户账号名和密码的注册界面和登录界面、用于输入针对机器人执行系统中任一机械臂系统和/或移动机器人，或者针对传感信号采集装置中任一元件的终端控制指令的输入界面、用于显示任一机械臂系统和移动机器人的机器人执行系统数据以及周边环境数据的监控界面。
7.根据权利要求6所述的基于Web网页和肌电信号的机器人远程控制系统，其特征在于，数据库服务器存储有终端数据和采用MD5算法加密的Web网页的控制日志，控制日志存入数据库服务器的字符包括：用户账号名及密码符串、登录日期字符串还有该用户所进行的控制内容的编号字符；数据库服务器采用MySQL数据库服务器。
8.一种基于Web网页和肌电信号的机器人远程控制方法，其特征在于，所述方法应用于权利要求1～7中任一项所述的基于Web网页和肌电信号的机器人远程控制系统，步骤如下：
S1、用户在用户端输入Web服务器的URL，获得Web网页资源，然后在Web网页进行账号注册和登录；
S2、登录成功之后，用户在Web网页选择需控制的机器人执行系统中的机械臂系统和/或移动机器人以及传感信号采集装置，然后输入针对所选机械臂系统和/或移动机器人以及传感信号采集装置的终端控制指令，然后Web网页将终端控制指令发送给Web服务器；
若用户有佩戴肌电信号采集装置，则肌电信号采集装置还采集用户在不同手势动作下的肌电信号，并发送给肌电信号处理服务器；
S3、Web服务器将终端控制指令发送给机器人控制服务器；
肌电信号处理服务器直接将用户的肌电信号发送给机器人控制服务器，或者先将用户的肌电信号先发送给Web服务器，再通过Web服务器发送到机器人控制服务器；
S4、机器人控制服务器根据用户的肌电信号控制所选机械臂系统和/或移动机器人的动作，或者根据用户端Web网页输入的终端控制指令控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件，或者结合终端控制指令和用户的肌电信号共同控制所选机械臂系统和/或移动机器人的动作以及传感信号采集装置中对应的元件；
传感信号采集装置基于终端控制指令，采集机器人执行系统数据和/或周边环境数据，并将这些终端数据发送到传感数据处理服务器，传感数据处理服务器再通过Web服务器将终端数据发送到用户端，最终在用户端的Web网页显示终端数据；
在整个过程中，数据库服务器存储Web服务器接收到的数据。
9.根据权利要求8所述的基于Web网页和肌电信号的机器人远程控制方法，其特征在于，用户分为系统访客或者系统管理员两种类型；
在步骤S2中，Web网页在用户登录时，先将用户账号名和密码以及登录请求发送到Web服务器，Web服务器检索数据库服务器中是否含有该用户账号名和密码，若未检索到该用户账号名或者识别出该密码错误，则登录失败；
若检索到该用户账号名且识别出该密码正确，则登录成功，然后再判断该用户为系统访客还是系统管理员，当判断该用户为系统访客时，用户只能通过Web网页控制终端；当判断该用户为系统管理员时，用户可以选择Web网页控制、肌电信号控制或者Web网页和肌电信号共同控制终端。
10.根据权利要求8所述的基于Web网页和肌电信号的机器人远程控制方法，其特征在于，在步骤S4中，当机器人控制服务器控制机械臂系统时，用户在Web网页上输入针对安装在机械臂固定座上的摄像头的选择控制指令和旋转角度控制指令，所选摄像头旋转至设定角度之后获取机械臂前方画面信息，最后传输到Web网页上进行显示；
当机器人控制服务器控制移动机器人时，用户在Web网页上输入针对安装在移动机器人上和周边环境上的摄像头的选择控制指令和旋转角度控制指令，所选的多个摄像头旋转至对应的设定角度之后获取不同位置的画面信息，然后将这多个不同位置的画面信息进行合并及数据压缩，最后传输到Web网页上进行显示。
CN202010949314.1A 2020-09-10 2020-09-10 基于Web网页和肌电信号的机器人远程控制系统及方法 Active CN112140109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010949314.1A CN112140109B (zh) 2020-09-10 2020-09-10 基于Web网页和肌电信号的机器人远程控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010949314.1A CN112140109B (zh) 2020-09-10 2020-09-10 基于Web网页和肌电信号的机器人远程控制系统及方法

Publications (2)

Publication Number Publication Date
CN112140109A true CN112140109A (zh) 2020-12-29
CN112140109B CN112140109B (zh) 2024-04-30

Family

ID=73889971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010949314.1A Active CN112140109B (zh) 2020-09-10 2020-09-10 基于Web网页和肌电信号的机器人远程控制系统及方法

Country Status (1)

Country Link
CN (1) CN112140109B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630458A (zh) * 2021-08-04 2021-11-09 北京电信规划设计院有限公司 多场景多终端的机器人管理系统
CN113671882A (zh) * 2021-08-25 2021-11-19 李奎 一种基于互联网的远程机器人控制系统及其控制方法
CN114401162A (zh) * 2022-01-14 2022-04-26 中国科学院地理科学与资源研究所 基于孔洞机器人的无线控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
WO2003039820A1 (fr) * 2001-11-06 2003-05-15 Kabushiki Kaisha Yaskawa Denki Procede servant a determiner la position tridimensionnelle et la posture d'un objet en cours de detection et detecteur visuel pour robot
CN104379056A (zh) * 2012-03-27 2015-02-25 B10尼克斯有限公司 用于肌肉活动的采集和分析的系统及其操作方法
CN104586391A (zh) * 2015-01-20 2015-05-06 西安电子科技大学 一种可穿戴肌电臂环
CN204819528U (zh) * 2015-08-21 2015-12-02 郑州大学 基于web的远程控制机器人
CN107169432A (zh) * 2017-05-09 2017-09-15 深圳市科迈爱康科技有限公司 基于肌电的生物识别方法、终端及计算机可读存储介质
CN213731763U (zh) * 2020-09-10 2021-07-20 华南理工大学 一种基于Web网页和肌电信号的机器人远程控制系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
WO2003039820A1 (fr) * 2001-11-06 2003-05-15 Kabushiki Kaisha Yaskawa Denki Procede servant a determiner la position tridimensionnelle et la posture d'un objet en cours de detection et detecteur visuel pour robot
CN104379056A (zh) * 2012-03-27 2015-02-25 B10尼克斯有限公司 用于肌肉活动的采集和分析的系统及其操作方法
US20150072326A1 (en) * 2012-03-27 2015-03-12 B10Nix S.R.L. System for the acquisition and analysis of muscle activity and operation method thereof
CN104586391A (zh) * 2015-01-20 2015-05-06 西安电子科技大学 一种可穿戴肌电臂环
CN204819528U (zh) * 2015-08-21 2015-12-02 郑州大学 基于web的远程控制机器人
CN107169432A (zh) * 2017-05-09 2017-09-15 深圳市科迈爱康科技有限公司 基于肌电的生物识别方法、终端及计算机可读存储介质
CN213731763U (zh) * 2020-09-10 2021-07-20 华南理工大学 一种基于Web网页和肌电信号的机器人远程控制系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630458A (zh) * 2021-08-04 2021-11-09 北京电信规划设计院有限公司 多场景多终端的机器人管理系统
CN113671882A (zh) * 2021-08-25 2021-11-19 李奎 一种基于互联网的远程机器人控制系统及其控制方法
CN114401162A (zh) * 2022-01-14 2022-04-26 中国科学院地理科学与资源研究所 基于孔洞机器人的无线控制系统及方法
CN114401162B (zh) * 2022-01-14 2022-11-08 中国科学院地理科学与资源研究所 基于孔洞机器人的无线控制系统及方法

Also Published As

Publication number Publication date
CN112140109B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN112140109B (zh) 基于Web网页和肌电信号的机器人远程控制系统及方法
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
CN110212451A (zh) 一种电力ar智能巡检装置
CN107357311B (zh) 一种基于混合控制技术的无人机侦察系统
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
CN107122048A (zh) 一种动作评估系统
US20120120220A1 (en) Wound management mobile image capture device
US11169764B2 (en) Remote work-support system
CN107391984A (zh) 一种电力作业处理方法及系统
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
US20170269590A1 (en) Controlled device and communication system and method utilizing the same
CN214912972U (zh) 搭载于机械狗的ai的计算机视觉消防监测和识别系统
CN109701224A (zh) 一种增强现实ar腕关节康复评估和训练系统
CN213731763U (zh) 一种基于Web网页和肌电信号的机器人远程控制系统
CN105027588B (zh) 自组织网络
CN112561952B (zh) 用于为目标设置可呈现的虚拟对象的方法和系统
JP7266422B2 (ja) 注視行動調査システム、及び制御プログラム
CN104217070B (zh) 一种天基空间目标成像仿真方法及装置
CN116149465A (zh) 一种用于虚拟现实中进行多人裸手交互的系统及方法
Sun et al. Construction of Wearable Physical Exercise Management System based on Artificial Intelligence Technology
Wang et al. Construction of Human-Robot Cooperation Assembly Simulation System Based on Augmented Reality
CN210302240U (zh) 一种增强现实ar腕关节康复评估和训练系统
CN111890352A (zh) 基于全景导航的移动机器人触控式遥操作控制方法
CN107562209B (zh) 适用于残疾人的电脑控制设备
Li et al. Development and demonstration of indoor three-dimensional localization using IR CMOS sensors for Mobile manipulators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant