CN117532609A - 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 - Google Patents
融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 Download PDFInfo
- Publication number
- CN117532609A CN117532609A CN202311660770.4A CN202311660770A CN117532609A CN 117532609 A CN117532609 A CN 117532609A CN 202311660770 A CN202311660770 A CN 202311660770A CN 117532609 A CN117532609 A CN 117532609A
- Authority
- CN
- China
- Prior art keywords
- control
- computer system
- myoelectricity
- humanoid robot
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 100
- 230000033001 locomotion Effects 0.000 claims abstract description 96
- 230000000875 corresponding effect Effects 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 230000003183 myoelectrical effect Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000013145 classification model Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 14
- 238000007635 classification algorithm Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000001276 controlling effect Effects 0.000 claims description 9
- 230000026676 system process Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008054 signal transmission Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 231100000136 action limit Toxicity 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010019468 Hemiplegia Diseases 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种融合脑肌电与单目视觉的仿人机器人实时控制系统及方法，涉及多模态多模式的人形机器人控制技术领域。该系统包括姿态数据采集系统、肌电数据采集系统、脑电数据采集系统、计算机系统、数据传输模块和人形机器人；姿态数据采集系统用于采集用户全身的二维运动视频；肌电数据采集系统用于采集用户的手臂动作肌电信号；脑电数据采集系统采集用户的运动想象脑电信号；计算机系统将接收的二维运动视频、手臂动作肌电信号以及运动想象脑电信号转化为相应的控制指令来控制人形机器人做出相应的动作。该系统及方法融合多种信息，实现利用单目视觉信息对人形机器人大关节主体动作控制，利用肌电信息对人形机器人手部腕部动作的精细控制。
Description
技术领域
本发明涉及多模态多模式的人形机器人控制技术领域，尤其涉及一种融合脑肌电与单目视觉的仿人机器人实时控制系统及方法。
背景技术
近年来，人工智能技术不断发展，从最初的手工编程到基于传感器的自适应控制技术，再到近年来的深度学习和神经网络技术，人工智能技术不断应用于机器人控制中，机器人控制技术也更加的智能化和集成化，并日益完善和成熟。人形机器人是一种仿生类型机器人，外形和人类相似，能够完成各种任务，并有广泛应用。如：在实际生活中，尤其是家里有老人或者行动不便的用户时，人形机器人可以通过视觉传感器或者脑肌电传感器，学习人的行为动作，用于家用服务行业；在智能化工厂中，人形机器人可以通过视觉传感器或者肌电传感器，学习用户动作，使机器人可以具备用户相同的动作技能，完成高难度、高强度的操作作业等。
人形机器人通常是由电机、传感器、计算机等组成，可以通过编程来控制机器人的动作和行为，利用传统的控制方法，人形机器人可以根据指令去做对应动作，属于机械式的运动形式，而根据人的动作使人性机器人进行相应的动作模仿是自然式的运动形式。近年来，研究者对于人形机器人的控制技术研发不断创新，通过对人的动作进行分析同时并对人形机器人的动作进行控制是重要的研究方向之一。现有的控制方法有存在如下问题：
1)传统的方法主要是通过对多个关节所对应的舵机一一进行角度编程，进而实现对不同关节的控制，不仅不具备很好的实时性，导致效率低下，同时还极大的影响关节间的同步性，现有专利(中国专利公开号为CN112571446A)，仅针对仿人机器人手臂的控制，未关注机器人躯干控制；
2)现有专利(中国专利公开号CN113305830B)利用多个陀螺仪进行姿态测量，经济成本上升，用户活动受限，利用人的动作对人形机器人的动作进行控制需要被模仿人佩戴相应的传感器，对人体骨骼点信号进行捕捉并转化为控制信号，不仅传感器数量需求多，导致经济成本上升，同时长时间的佩戴传感设备导致对人的活动受限；
3)利用视觉传感器对人体关键点进行检测，现有算法不能将人的关键点运动拟合到人形机器人的模拟人的运动；然后，由于人体自遮拦以及衣服遮挡等现象存在，手部细节动作捕捉不精确，导致手部动作的控制难以实现；
4)面向有行动障碍的用户，依靠视觉传感器和肌电传感器不能采集用户信息，在医疗健康和家用服务行业难以推广。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种融合脑肌电与单目视觉的仿人机器人实时控制系统及方法，实现仿人机器人的实时控制。
为解决上述技术问题，本发明所采取的技术方案是：
一方面，本发明提供融合脑肌电与单目视觉的仿人机器人实时控制系统，包括姿态数据采集系统、肌电数据采集系统、脑电数据采集系统、计算机系统、数据传输模块和人形机器人；所述姿态数据采集系统用于采集用户全身的二维运动视频并进行预处理后通过数据传输模块传输至计算机系统；所述肌电数据采集系统用于采集用户的手臂动作肌电信号并进行处理后通过数据传输模块传输至计算机系统；所述脑电数据采集系统采集用户的运动想象脑电信号并通过数据传输模块传输至计算机系统；所述计算机系统将接收的用户全身的二维运动视频、手臂动作肌电信号以及运动想象脑电信号转化为相应的控制指令来控制人形机器人做出相应的动作。
优选地，所述姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集用户全身的二维运动视频，并将运动视频传递给视频处理单元，所述视频处理单元对运动视频图像进行视频传输的设置；
所述肌电数据采集系统包括肌电传感器和肌电信号处理单元，所述肌电传感器用于采集用户的手臂动作肌电信号，并将肌电信号传递给肌电信号处理单元，所述肌电信号处理单元对肌电信号进行预处理后再通过数据传输模块传输至计算机系统；
所述脑电数据采集系统包括脑电信号传感器和脑电信号传输单元，所述脑电信号传感器用于采集用户的运动想象脑电信号，并通过脑电信号传输单元将脑电信号传递到计算机系统。
优选地，所述计算机系统包括可视化界面和部署了算法的人形机器人控制软件，所述的可视化界面将人体姿态估计模型处理之后的二维人体姿态估计骨架进行可视化，并设置手动控制和自动控制两种控制模式，同时，为手动模式中的各个类型动作设置按钮，使用户能够进行模式选择和控制方式的选择；
所述人形机器人控制软件可以对人形机器人中个关节中的舵机进行手动参数设定，所述人形机器人控制软件部署的算法包括2D人体姿态估计算法、肌电信号分类算法和脑电信号分类算法。
优选地，所述人形机器人的控制模式包括手动和自动两种模式；在手动模式下，计算机系统根据用户自主选择的动作，实现人形机器人的手动控制；在自动模式下，计算机系统根据用户视觉、肌电或脑电信号对人形机器人进行自动的动作控制，包括视觉控制、肌电控制和脑电控制；
在手动控制模式下，人形机器人的对应动作已被固定的设置为相应的控制信号，只需要用户在可视化界面选择相应的动作即可；
自动控制模式下的视觉控制，用户全身在单目摄像头前自由运动，保证全身均出现在摄像头范围内，单目摄像头将视频数据传输给计算机系统；同时计算机系统利用2D人体姿态估计模型进行人体姿态识别，将识别到的姿态信息转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的肌电控制，用户在双手佩戴肌电传感器，利用蓝牙模块将肌电信号传输给计算机系统；同时计算机系统利用肌电信号分类模型对肌电信号进行动作分类，将分类得到动作转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的脑电控制，用户在脑部佩戴脑电传感器，利用蓝牙模块将脑电信号传输给计算机系统；同时计算机系统利用运动想象脑电分类模型对脑电信号进行动作分类，将分类得到的动作转化为控制信号，使人形机器人根据用户意图完成相应的动作；
自动控制模式下的三种控制方式，可以进行选择其中一种，也可以选择两种或三种控制方式；
所述2D人体姿态估计算法包括基于YOLOv7-POSE的人体姿态估计算法和关节信息与控制信号拟合算法，肌电信号分类算法采用基于表面肌电信号的混合分类动作模型进行运动分类，脑电信号分类算法采用基于CNN-LSTM特征融合网络的运动想象脑电分类模型进行运动分类。
优选地，所述数据传输模块包括网卡模块和蓝牙通讯模块，所述网卡通讯模块用于单目摄像头与计算机系统进行数据传输，所述蓝牙通讯模块用于肌电传感器、脑电信号传感器与计算机系统进行数据传输。
优选地，所述的人形机器人包括人形机器人本体和信号接收模块，所述信号接收模块用于接收计算机系统所发送的控制信号，并将控制信号传输给人形机器人各关节点的舵机，控制人形机器人的运动。
另一方面，本发明还提供一种融合脑肌电与单目视觉的仿人机器人实时控制方法，包括以下步骤：
步骤1：对人形机器人本体的各个舵机进行逐一标号，并利用计算机系统中的人形机器人控制软件离线调整以及记录人形机器人本体中各个舵机的初始位置的控制信号大小
其中，n为舵机编号，N为人形机器人本体中舵机总数，θ为各舵机的控制信号大小，为编号为n的舵机在初始位置e时控制信号大小；
步骤2：使用计算机系统将机器人本体调试至最大动作限度，记录舵机控制信号的最大值与最小值/>
其中，为编号为n的舵机在动作最大幅度内控制信号的最大值，/>为编号为n的舵机在动作最大幅度内控制信号的最小值；
步骤3：将单目摄像头与计算机系统利用网卡模块连接，并固定于合适位置，使其完全拍摄用户全身的运动；
将单目摄像头与计算机系统置于同一网段，使计算机系统通过RTSP协议对单目摄像头进行调用，拍摄用户运动过程，将视频传输到计算机系统；
步骤4：将肌电传感器与计算机系统利用蓝牙模块连接，使计算机系统接收肌电传感器所采集的肌电信号；
步骤5：将脑电信号传感器与计算机系统利用蓝牙模块连接，使计算机系统接收脑电信号传感器采集的脑电信号；
步骤6：使用户站立在单目摄像头可观察范围内，打开计算机系统的可视化界面，选择机器人控制模式；
步骤7：计算机系统利用2D人体姿态估计模型对全身的二维姿态数据进行处理，计算上肢中各骨架的运动角度，将用户的运动角度转换为控制信号控制舵机；
步骤7.1：计算机系统中部署的2D人体姿态识别模型，应用YOLOv7-POSE预测人体关键点位置，实现对人体关键点端对端的检测，返回全身17个关键点的二维坐标数据，对关键点编号后构成数据集合{(oh,uh)|h＝0,1,2，……，16}，其中，oh,uh为第h个关节点的二维坐标；
步骤7.2：利用人体关键点二维坐标数据计算各关节向量：
βcz＝(oz-oc,uz-uc),c,z∈{0,1,2,……,16},c≠z
其中，下标c,z是关键点的编号，βcz是关键点c指向关键点z的关节向量；
步骤7.3：选择h′个关键点，计算这些关键点处的关节角度，作为人体躯干主要运动角度δh′，其中h′∈h；
步骤7.4：启用2D人体姿态识别模型使用户在摄像头可视范围内进行运动，测量人体躯干主要运动角度δh′(h′＝5,6,7,8,12)的最大值δh′f与最小值δh′g；
步骤7.5：将控制人形机器人相应人体躯干运动的对应的舵机编号与运动角度进行匹配；
步骤7.6：利用一元一次函数拟合，离线建立人形机器人的控制信号与人体躯干运动的角度的关系，如下：
其中，为编号为n的舵机控制信号的最大值，/>为编号为n的舵机控制信号的最小值，δh′f为编号为h的人体关键点角度最大值，δh′g为编号为h的人体关键点角度最小值，ψ和ζ均为系数；
步骤7.7：计算机系统的可视化界面上显示人体姿态骨架的模型，实现人体姿态骨架和人形机器人动作同时观察与及时的调整；
步骤8：计算机系统利用基于自更新算法的混合分类模型对肌电数据进行处理，进行实时分类，并进行实时更新，将不同类别的手部动作转换为控制信号控制舵机；
步骤8.1：计算机系统内部署的肌电信号分类模型，应用基于表面肌电信号的混合分类动作模型，该模型融合了用于排除外部动作干扰的高斯混合模型GMM，以及用于分类目标动作数据的多线性判别分析模型LDA，实现对手部动作实时的高精度分类，返回手部动作类别其中，K为混合分类动作模型模型可识别动作的类别数量，l表示左手，r表示右手；
步骤8.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中，ξ是与手部动作类别/>相关的机器人关节的舵机编号，使人形机器人根据控制信号/>能够完成用户手部的动作/>进行实时的机器人手部动作控制；
当动作时，需要将上述动作定义为aK+1作为新的目标类，更新LDA模型，实现新动作的增量识别；
步骤9：计算机系统利用基于CNN-LSTM特征融合网络的运动想象脑电分类模型对脑电数据进行处理，进行实时分类，并将不同类别的手部动作转换为控制信号控制舵机；
步骤9.1：计算机系统内部署的脑电分类模型，应用基于CNN-LSTM特征融合网络的运动想象脑电分类模型，该模型融合了卷积神经网络CNN和长短期记忆网络LSTM，CNN提取空间特征，LSTM提取时间特征，并在卷积层之后添加平坦层进行特征融合，实现运动想象脑电的准确性，返回运动想象脑电的分类其中/>为模型可识别动作的类别数量；
步骤9.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中τ是与运动想象脑电动作类别/>相关的机器人关节的舵机编号，使人形机器人根据/>能够完成用户运动想象的动作/>进行实时的机器人动作控制；
步骤10：人形机器人根据人的运动，实时接受步骤7至步骤9的舵机控制信号，驱动舵机开始运动。
采用上述技术方案所产生的有益效果在于：本发明提供的融合脑肌电与单目视觉的仿人机器人实时控制系统及方法，
(1)采用多模式多模态的控制方式，并可以应用于不同人群用户，包括健康用户和偏瘫等行动不便的用户，可以根据实际需要与自身需求，选择合适模式。
(2)简洁轻便，有着很好的用户可视化与控制界面，用户可以便捷简单的进行操作。
(3)可以提供实时的控制，保证高效性，可以广泛应用于工业、教育、娱乐、养老以及医疗领域。
(4)对于身体健康的用户，全身主要肢体动作利用单目视觉实现非接触式运动捕获，不需要用户全身佩戴陀螺仪或者其他惯性测量单元，不妨碍使用者的运动。
(5)对动作执行器(舵机)进行模块化控制，即可以根据舵机编号进行选择即可，不需要对每一个舵机进行单独的编程控制。
(6)针使用肌电信号进行人形机器人手部动作进行控制，增强了手部动作控制的准确性。
(7)使用脑电信号分类方式进行运动想象脑电控制，为偏瘫等行动不便的用户提供控制机器人的机会。
(8)融合多种信息，实现利用单目视觉信息对人形机器人大关节主体动作控制，利用肌电信息对人形机器人手部腕部动作的精细控制，实现偏瘫等行动不便用户利用脑电信息对人形机器人进行动作控制。
附图说明
图1为本发明实施例提供的融合脑肌电与单目视觉的仿人机器人实时控制系统的作业示意图；
图2为本发明实施例提供的融合脑肌电与单目视觉的仿人机器人实时控制系统的结构框图；
图3为本发明实施例提供的融合脑肌电与单目视觉的仿人机器人实时控制系统的结构示意图；
图4为本发明实施例提供的肌电传感器和脑电帽佩戴示意图；
图5为本发明实施例提供的融合脑肌电与单目视觉的仿人机器人实时控制方法的流程图；
图6为本发明实施例提供的基于YOLOv7-POSE的2D人体姿态估计模型框架图；
图7为本发明实施例提供的二维人体二维姿态估计关键点示意图；
图8为本发明实施例提供的混合肌电分类模型框架图；
图9为本发明实施例提供的脑电分类的CNN-LSTM特征融合网络结构示意图。
图中，0、鼻子；1、左眼；2、右眼；3、左耳；4、右耳；5、左肩；6、右肩；7、左肘；8、右肘；9、左腕；10、右腕；11、左胯；12、右胯；13、左膝；14、右膝；15、左脚；16、右脚。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，融合脑肌电与单目视觉的仿人机器人实时控制系统，如图1-3所示，包括姿态数据采集系统、肌电数据采集系统、脑电数据采集系统、计算机系统、数据传输模块和人形机器人；所述姿态数据采集系统用于采集用户全身的二维运动视频并进行预处理后通过数据传输模块传输至计算机系统；所述肌电数据采集系统用于采集用户的手臂动作肌电信号并进行处理后通过数据传输模块传输至计算机系统；所述脑电数据采集系统采集用户的运动想象脑电信号并通过数据传输模块传输至计算机系统；所述计算机系统将接收的用户全身的二维运动视频、手臂动作肌电信号以及运动想象脑电信号转化为相应的控制指令来控制人形机器人做出相应的动作。
本实施例中，姿态数据采集系统包括HIKVISION单目摄像头和视频处理单元，所述单目摄像头用于采集用户全身的二维运动视频，并将运动视频传递给视频处理单元，所述视频处理单元对运动视频图像进行视频传输的设置。同时，HIKVISION单目摄像头还可以通过网卡模块与计算机系统进行视频流的传输；
肌电数据采集系统包括MYO肌电传感器和肌电信号处理单元，MYO肌电传感器用于采集用户的手臂动作肌电信号，并将肌电信号传递给肌电信号处理单元，所述肌电信号处理单元对肌电信号进行预处理后再通过数据传输模块传输至计算机系统。
脑电数据采集系统包括脑电信号传感器和脑电信号传输单元，脑电信号传感器用于采集用户的运动想象脑电信号，并通过脑电信号传输单元将脑电信号传递到计算机系统。本实施例中，脑电信号传感器采用脑电帽采集用户的运动想象脑电信号，肌电传感器和脑电帽的佩戴如图4所示，MYO肌电传感器佩戴在用户的左右小臂中间位置，脑电帽佩戴在用户脑部位置。
计算机系统包括可视化界面和部署了算法的人形机器人控制软件，可视化界面用于对人形机器人的控制模式进行选择，并对2D人体姿态估计进行可视化；人形机器人控制软件可以对人形机器人中个关节中的舵机进行手动参数设定，人形机器人控制软件部署的算法包括2D人体姿态估计算法、肌电信号分类算法和脑电信号分类算法。
人形机器人的控制模式包括手动和自动两种模式；在手动模式下，计算机系统根据用户自主选择的动作，实现人形机器人的手动控制；在自动模式下，计算机系统根据用户视觉、肌电或脑电信号对人形机器人进行自动的动作控制；
2D人体姿态估计算法包括基于YOLOv7-POSE的人体姿态估计算法和关节信息与控制信号拟合算法，肌电信号分类算法采用基于表面肌电信号的混合分类动作模型进行运动分类，脑电信号分类算法采用基于CNN-LSTM特征融合网络的运动想象脑电分类模型进行运动分类。
本实施例中，计算机系统的可视化界面利用Python中的tkinter库进行设计，将人体姿态估计模型处理之后的二维人体姿态估计骨架进行可视化，并设置手动控制和自动控制(视觉控制、肌电控制或脑电控制)两种控制模式，同时，为手动模式中的各个类型动作设置按钮，使用户能够进行模式选择和控制方式的选择；
机器人控制模式包括：手动控制与自动控制，其中自动控制包括视觉控制、肌电控制和脑电控制；
在手动控制模式下，人形机器人的对应动作已被固定的设置为相应的控制信号，只需要用户在可视化界面选择相应的动作即可；
自动控制模式下的视觉控制，用户全身在HIKVISION单目摄像头前自由运动，保证全身均出现在摄像头范围内，HIKVISION单目摄像头将视频数据传输给计算机系统；同时计算机系统利用2D人体姿态估计模型进行人体姿态识别，将识别到的姿态信息转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的肌电控制，用户在双手佩戴MYO肌电传感器，利用蓝牙模块将肌电信号传输给计算机系统；同时计算机系统利用肌电信号分类模型对肌电信号进行动作分类，将分类得到动作转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的脑电控制，用户在脑部佩戴脑电帽，利用蓝牙模块将脑电信号传输给计算机系统；同时计算机系统利用运动想象脑电分类模型对脑电信号进行动作分类，将分类得到的动作转化为控制信号，使人形机器人根据用户意图完成相应的动作；
自动控制模式下的三种控制方式，可以进行选择其中一种，也可以选择两种或三种控制方式；
基于YOLOv7-POSE的人体姿态估计算法不仅推理速度快，并可以实现远距离识别，避免用户与HIKVISION单目摄像头距离变化带来影响；还对于HIKVISION单目摄像头拍摄不到的地方，可以进行肢体关键点的预估和补全，避免了由于自身遮挡和其他物体遮拦带来的问题。
目前大多数肌电识别模型只能识别有限的目标动作，无法满足用户对新动作的需求，同时模型的识别性能会因外部动作干扰而降低，而基于表面肌电信号的混合分类动作模型既能够克服外部动作干扰，识别能力能够在线增长，而且模型无需有预训练的动作，能够有效降低用户的训练负担，提高系统的鲁棒性。
数据传输模块包括网卡模块和蓝牙通讯模块，网卡通讯模块用于HIKVISION单目摄像头与计算机系统进行数据传输，蓝牙通讯模块用于MYO肌电传感器、脑电信号传感器与计算机系统进行数据传输。
人形机器人包括人形机器人本体和信号接收模块，信号接收模块用于接收计算机系统所发送的控制信号，并将控制信号传输给人形机器人各关节点的舵机，控制人形机器人的运动。
本实施例中，人形机器人本体包括人形机器人的电源、急停开关和舵机模块；电源开关用来控制整个系统的通电与掉电；急停开关在控制系统发生故障时，立刻停止正在运行的人形机器人；舵机模块包括控制人形机器人各关节运动的多个舵机。
本实施例中，一种融合脑肌电与单目视觉的仿人机器人实时控制方法，如图5所示，包括以下步骤：
步骤1：对人形机器人本体的各个舵机进行逐一标号，并利用计算机系统中的人形机器人控制软件离线调整以及记录人形机器人本体中各个舵机的初始位置的控制信号大小其中，n为舵机编号，N为人形机器人本体中舵机总数，θ为各舵机的控制信号大小，/>为编号为n的舵机在初始位置e时控制信号大小；
本实施例中，根据人体结构，设定人形机器人本体中舵机总数N＝28，设定人形机器人初始状态为双臂自然下垂双手张开的状态，对应用户放松站立双手张开的状态；
步骤2：使用计算机系统将机器人本体调试至最大动作限度，记录舵机控制信号的最大值与最小值/>
其中，为编号为n的舵机在动作最大幅度内控制信号的最大值，/>为编号为n的舵机在动作最大幅度内控制信号的最小值；
步骤3：将HIKVISION单目摄像头与计算机系统利用网卡模块连接，并固定于合适位置，使其完全拍摄用户全身的运动；
将HIKVISION单目摄像头与计算机系统置于同一网段，使计算机系统通过RTSP(Real Time Streaming Protocol)协议对HIKVISION单目摄像头进行调用，拍摄用户运动过程，将视频传输到计算机系统；
步骤4：将MYO肌电传感器与计算机系统利用蓝牙模块连接，使计算机系统接收MYO肌电传感器所采集的肌电信号；
步骤5：将脑电信号传感器与计算机系统利用蓝牙模块连接，使计算机系统接收脑电信号传感器采集的脑电信号；
步骤6：使用户站立在单目摄像头可观察范围内，打开计算机系统的可视化界面，选择机器人控制模式；
步骤7：计算机系统利用2D人体姿态估计模型对全身的二维姿态数据进行处理，计算上肢中各骨架的运动角度，将用户的运动角度转换为控制信号控制舵机；
步骤7.1：计算机系统中部署的2D人体姿态识别模型，应用YOLO系列的扩展模型——YOLOv7-POSE，YOLOv7-POSE模型基于深度卷积神经网络架构，由多个卷积层、最大池化层和全连接层组成，模型网络接受输入图像并产生特征图，用于预测人体关键点位置，实现对人体关键点端对端的检测，返回全身17个关键点的二维坐标数据，对关键点编号后构成数据集合{(oh,uh)|h＝0,1,2，……，16}，其中，oh,uh为第h个关节点的二维坐标；
本实施例中，YOLOv7-POSE模型是在YOLOv7框架基础上同时实现目标框检测和关键点检测，如图6所示，主要由四部分组成，分别为Input输入端、Backbone网络、Neck网络和Head网络。首先图片进入输入端，图片大小为640×640，输入到Backbone网络中进行预训练，完成特征提取，然后经Neck融合各特征层特征，融合其位置信息和语义信息，最后Head层网络对图像进行分类，输出三层不同大小的特征图，最后调整通道数输出人体框和关键点预测结果。
步骤7.2：利用人体关键点二维坐标数据计算各关节向量：
βcz＝(oz-oc,uz-uc),c,z∈{0,1,2,……,16},c≠z
其中，下标c,z是关键点的编号，βcz是关键点c指向关键点z的关节向量；
步骤7.3：选择h′个关键点，计算这些关键点处的关节角度，作为人体躯干主要运动角度δh′，h′<h；
本实施例中，选择编号为5，6，7，8，12的关键点，计算这些关键点处的关节角度，作为人体躯干主要运动角度，计算如下：
其中，h′为5，6，7，8，12，且当h′＝5时，关键点q和s分别为7和11，当h′＝6时，关键点q和s分别为8和12，当h′＝7时，关键点q和s分别为5和9，当h′＝8时，关键点q和s分别为6和10，当h′＝12时，关键点q和s分别为5和11；
本实施例中，人体二维姿态估计关键点如图7所示，利用人体关节点的关系可以计算人体关节点的角度，具体的构建方式如下：
以左肘7角度构建方式为例，以关节点左肩5、左肘7、左腕9三点为三角形顶点，利用步骤7.2中人体身体关键点二维坐标数据计算关节向量，得到β57，β79，β95，即以三点为顶点的三角形，利用余弦定理，可以求左肘7人体关键点的处的夹角，具体公式为：
其他人体关键点的夹角可以利用上述构建方式实现。
步骤7.4：启用2D人体姿态识别模型使用户在摄像头可视范围内进行运动，测量人体躯干主要运动角度δh′(h′＝5,6,7,8,12)的最大值δh′f与最小值δh′g；
步骤7.5：将控制人形机器人相应人体躯干运动的对应的舵机编号与运动角度进行匹配；
本实施例中，将控制人形机器人相应人体躯干运动的对应的舵机编号与运动角度匹配为(h′,n)∈{(5,10),(6,20),(7,7),(8,17),(12,27)}；
步骤7.6：利用一元一次函数拟合，离线建立人形机器人的控制信号与人体躯干运动的角度的关系，如下：
其中，为编号为n的舵机控制信号的最大值，/>为编号为n的舵机控制信号的最小值，δh′f为编号为h的人体关键点角度最大值，δh′g为编号为h的人体关键点角度最小值，ψ和ζ均为系数，通过求解方程求得；
步骤7.7：计算机系统的可视化界面上显示人体姿态骨架的模型，实现人体姿态骨架和人形机器人动作同时观察与及时的调整；
步骤8：计算机系统利用基于自更新算法的混合分类模型对肌电数据进行处理，进行实时分类，并进行实时更新，将不同类别的手部动作转换为控制信号控制舵机；
步骤8.1：计算机系统内部署的肌电信号分类模型，应用基于表面肌电信号的混合分类动作模型，该模型融合了用于排除外部动作干扰的高斯混合模型(GMM)，以及用于分类目标动作数据的多线性判别分析模型(LDA)，实现对手部动作实时的高精度分类，返回手部动作类别其中，K为混合分类动作模型模型可识别动作的类别数量，l表示左手，r表示右手；
本实施例中，混合肌电分类模型框架如图8所示，为避免外部数据的干扰，利用融合一类分类器和多类分类器的通用混合模型框架，其中一类分类器用于判断样本数据是否属于外部类，而多类分类器将非外部类样本分配到某一确定目标类。一类分类器采用高斯混合模型(GMM)，多类分类器采用多线性判别分析(LDA)，实现对动作的实时高精度分类。
本实施例中，肌电传感器采集肌电数据，进行滤波去噪，并进行特征提取得到肌电样本
高斯混合模型由K个GMM组成，对应K个目标类，用于区分目标样本和外部样本。对于每个目标类ak(k＝1,2,...K)，使用样本集Xk离线构建GMM：
其中，p(·)表示GMM的概率密度函数，p(x；ak)表示样本中的xk特征向量属于ak类的概率，是特征向量xk属于GMM中第j个概率密度函数的概率；Di是通过最小化Akaike信息可以确定的混合成分的数量；γj是满足γj>0和/>的混合系数，Cj是协方差矩阵，vj是d维均值向量，|Cj|表示Cj的行列式值，{γj,vj,Cj}可以通过期望最大化(EM)算法来确定。
多线性判别分析(LDA)的核心是找到一个投影矩阵W,该矩阵可以将原始样本投影到低维空间中，使投影空间中的每一类之间的距离最大，而每一类本身数据间的距离最小，使各类样本间可分。具体的算法流程和计算方法如下：
使用K个目标类的离线sEMG样本集{X1,X2,...XK}训练分类器LDA。首先计算各目标动作样本的均值mk和整体样本均值m，再计算类内协方差矩阵Sw和类间协方差矩阵Sb，最优投影矩阵W由对应于Sw -1Sb的最大q个特征值的特征向量组成，其中最大使用训练好的LDA对目标样本z分进行分类，先计算目标样本中心到投影空间中的样本点的距离，其中距离最小的即为目标类：
其中，根据MYO肌电传感器的佩戴位置可以检测左手或者右手，其中左手动作表示为右手动作表示为/>
步骤8.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中，ξ是与手部动作类别/>相关的机器人关节的舵机编号，使人形机器人根据控制信号/>能够完成用户手部的动作/>进行实时的机器人手部动作控制；
本实施例中，左手舵机控制编号为ζl∈{1,2,3,4,5}，左手动作为则其对应的舵机控制信号为：
同样的，右手舵机控制编号为ζr∈{11,12,13,14,15},右手动作为则其对应的舵机控制信号为：
当动作时，需要将上述动作定义为aK+1作为新的目标类，并使用其中样本更新类内协方差矩阵Sw和类间协方差矩阵Sb，更新LDA模型，实现新动作的增量识别；
本实施例中，首先计算新目标类的样本均值、平方和与协方差矩阵：
SK+1＝GK+1-MmK+1(mK+1)T
其中，上标“～”表示更新值。
完成更新后，计算的前q个最大特征值对应的特征向量所构成的矩阵/>以更新投影矩阵W，便获得更新后的LDA。
步骤9：计算机系统利用基于CNN-LSTM特征融合网络的运动想象脑电分类模型对脑电数据进行处理，进行实时分类，并将不同类别的手部动作转换为控制信号控制舵机；
步骤9.1：计算机系统内部署的脑电分类模型，应用基于CNN-LSTM特征融合网络的运动想象脑电分类模型，该模型融合了卷积神经网络(CNN)和长短期记忆网络(LSTM)，CNN提取空间特征，LSTM提取时间特征，并在卷积层之后添加平坦层进行特征融合，实现运动想象脑电的准确性，返回运动想象脑电的分类其中/>为模型可识别动作的类别数量；
本实施例中，脑电信号分类的CNN-LSTM特征融合网络如图9所示，其中CNN网络由输入层、1-D卷积层、可分离卷积层和2个平坦层组成；LSTM网络由输入层、LSTM层和平坦层组成；最后，上述两个网络被分类在全连接层。
步骤9.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中τ是与运动想象脑电动作类别/>相关的机器人关节的舵机编号，使人形机器人根据/>能够完成用户运动想象的动作/>进行实时的机器人动作控制；
步骤10：人形机器人根据人的运动，实时接受步骤7至步骤9的舵机控制信号，驱动舵机开始运动。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (10)
1.一种融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：包括姿态数据采集系统、肌电数据采集系统、脑电数据采集系统、计算机系统、数据传输模块和人形机器人；所述姿态数据采集系统用于采集用户全身的二维运动视频并进行预处理后通过数据传输模块传输至计算机系统；所述肌电数据采集系统用于采集用户的手臂动作肌电信号并进行处理后通过数据传输模块传输至计算机系统；所述脑电数据采集系统采集用户的运动想象脑电信号并通过数据传输模块传输至计算机系统；所述计算机系统将接收的用户全身的二维运动视频、手臂动作肌电信号以及运动想象脑电信号转化为相应的控制指令来控制人形机器人做出相应的动作。
2.根据权利要求1所述的融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：所述姿态数据采集系统包括单目摄像头和视频处理单元，所述单目摄像头用于采集用户全身的二维运动视频，并将运动视频传递给视频处理单元，所述视频处理单元对运动视频图像进行视频传输的设置；
所述肌电数据采集系统包括肌电传感器和肌电信号处理单元，所述肌电传感器用于采集用户的手臂动作肌电信号，并将肌电信号传递给肌电信号处理单元，所述肌电信号处理单元对肌电信号进行预处理后再通过数据传输模块传输至计算机系统；
所述脑电数据采集系统包括脑电信号传感器和脑电信号传输单元，所述脑电信号传感器用于采集用户的运动想象脑电信号，并通过脑电信号传输单元将脑电信号传递到计算机系统。
3.根据权利要求1所述的融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：所述计算机系统包括可视化界面和部署了算法的人形机器人控制软件，可视化界面将人体姿态估计模型处理之后的二维人体姿态估计骨架进行可视化，并设置手动控制和自动控制两种控制模式，同时，为手动模式中的各个类型动作设置按钮，使用户能够进行模式选择和控制方式的选择；在手动模式下，计算机系统根据用户自主选择的动作，实现人形机器人的手动控制；在自动模式下，计算机系统根据用户视觉、肌电或脑电信号对人形机器人进行自动的动作控制，包括视觉控制、肌电控制和脑电控制；
所述人形机器人控制软件可以对人形机器人中个关节中的舵机进行手动参数设定，所述人形机器人控制软件部署的算法包括2D人体姿态估计算法、肌电信号分类算法和脑电信号分类算法。
4.根据权利要求3所述的融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：在手动控制模式下，人形机器人的对应动作已被固定的设置为相应的控制信号，只需要用户在可视化界面选择相应的动作即可；
自动控制模式下的视觉控制，用户全身在单目摄像头前自由运动，保证全身均出现在摄像头范围内，单目摄像头将视频数据传输给计算机系统；同时计算机系统利用2D人体姿态估计模型进行人体姿态识别，将识别到的姿态信息转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的肌电控制，用户在双手佩戴肌电传感器，利用蓝牙模块将肌电信号传输给计算机系统；同时计算机系统利用肌电信号分类模型对肌电信号进行动作分类，将分类得到动作转化为控制信号，使人形机器人跟随用户做相应的动作；
自动控制模式下的脑电控制，用户在脑部佩戴脑电传感器，利用蓝牙模块将脑电信号传输给计算机系统；同时计算机系统利用运动想象脑电分类模型对脑电信号进行动作分类，将分类得到的动作转化为控制信号，使人形机器人根据用户意图完成相应的动作；
自动控制模式下的三种控制方式，可以进行选择其中一种，也可以选择两种或三种控制方式；
所述2D人体姿态估计算法包括基于YOLOv7-POSE的人体姿态估计算法和关节信息与控制信号拟合算法，肌电信号分类算法采用基于表面肌电信号的混合分类动作模型进行运动分类，脑电信号分类算法采用基于CNN-LSTM特征融合网络的运动想象脑电分类模型进行运动分类。
5.根据权利要求2所述的融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：所述数据传输模块包括网卡模块和蓝牙通讯模块，所述网卡通讯模块用于单目摄像头与计算机系统进行数据传输，所述蓝牙通讯模块用于肌电传感器、脑电信号传感器与计算机系统进行数据传输。
6.根据权利要求1所述的融合脑肌电与单目视觉的仿人机器人实时控制系统，其特征在于：所述的人形机器人包括人形机器人本体和信号接收模块，所述信号接收模块用于接收计算机系统所发送的控制信号，并将控制信号传输给人形机器人各关节点的舵机，控制人形机器人的运动。
7.一种融合脑肌电与单目视觉的仿人机器人实时控制方法，基于权利要求1所述系统实现，其特征在于：包括以下步骤：
步骤1：对人形机器人本体的各个舵机进行逐一标号，并利用计算机系统中的人形机器人控制软件离线调整以及记录人形机器人本体中各个舵机的初始位置的控制信号大小
其中，n为舵机编号，N为人形机器人本体中舵机总数，θ为各舵机的控制信号大小，为编号为n的舵机在初始位置e时控制信号大小；
步骤2：使用计算机系统将机器人本体调试至最大动作限度，记录舵机控制信号的最大值与最小值/>
其中，为编号为n的舵机在动作最大幅度内控制信号的最大值，/>为编号为n的舵机在动作最大幅度内控制信号的最小值；
步骤3：将单目摄像头与计算机系统利用网卡模块连接，并固定于合适位置，使其完全拍摄用户全身的运动；
将单目摄像头与计算机系统置于同一网段，使计算机系统通过RTSP协议对单目摄像头进行调用，拍摄用户运动过程，将视频传输到计算机系统；
步骤4：将肌电传感器与计算机系统利用蓝牙模块连接，使计算机系统接收肌电传感器所采集的肌电信号；
步骤5：将脑电信号传感器与计算机系统利用蓝牙模块连接，使计算机系统接收脑电信号传感器采集的脑电信号；
步骤6：使用户站立在单目摄像头可观察范围内，打开计算机系统的可视化界面，选择机器人控制模式；
步骤7：计算机系统利用2D人体姿态估计模型对全身的二维姿态数据进行处理，计算上肢中各骨架的运动角度，将用户的运动角度转换为控制信号控制舵机；
步骤8：计算机系统利用基于自更新算法的混合分类模型对肌电数据进行处理，进行实时分类，并进行实时更新，将不同类别的手部动作转换为控制信号控制舵机；
步骤9：计算机系统利用基于CNN-LSTM特征融合网络的运动想象脑电分类模型对脑电数据进行处理，进行实时分类，并将不同类别的手部动作转换为控制信号控制舵机；
步骤10：人形机器人根据人的运动，实时接受步骤7至步骤9的舵机控制信号，驱动舵机开始运动。
8.根据权利要求7所述的融合脑肌电与单目视觉的仿人机器人实时控制方法，其特征在于：所述步骤7的具体方法为：
步骤7.1：计算机系统中部署的2D人体姿态识别模型，应用YOLOv7-POSE预测人体关键点位置，实现对人体关键点端对端的检测，返回全身17个关键点的二维坐标数据，对关键点编号后构成数据集合{(oh,uh)|h＝0,1,2，……，16}，其中，oh,uh为第h个关节点的二维坐标；
步骤7.2：利用人体关键点二维坐标数据计算各关节向量：
βcz＝(oz-oc,uz-uc),c,z∈{0,1,2,……,16},c≠z
其中，下标c,z是关键点的编号，βcz是关键点c指向关键点z的关节向量；
步骤7.3：选择h′个关键点，计算这些关键点处的关节角度，作为人体躯干主要运动角度δh′，h′<h；
步骤7.4：启用2D人体姿态识别模型，使用户在摄像头可视范围内进行运动，测量人体躯干主要运动角度δh′(h′＝5,6,7,8,12)的最大值δh′f与最小值δh′g；
步骤7.5：将控制人形机器人相应人体躯干运动的对应的舵机编号与运动角度进行匹配；
步骤7.6：利用一元一次函数拟合，离线建立人形机器人的控制信号与人体躯干运动的角度的关系，如下：
其中，为编号为n的舵机控制信号的最大值，/>为编号为n的舵机控制信号的最小值，δh′f为编号为h的人体关键点角度最大值，δh′g为编号为h的人体关键点角度最小值，ψ和ζ均为系数；
步骤7.7：计算机系统的可视化界面上显示人体姿态骨架的模型，实现人体姿态骨架和人形机器人动作同时观察与及时的调整。
9.根据权利要求8所述的融合脑肌电与单目视觉的仿人机器人实时控制方法，其特征在于：所述步骤8的具体方法为：
步骤8.1：计算机系统内部署的肌电信号分类模型，应用基于表面肌电信号的混合分类动作模型，该模型融合了用于排除外部动作干扰的高斯混合模型GMM，以及用于分类目标动作数据的多线性判别分析模型LDA，实现对手部动作实时的高精度分类，返回手部动作类别其中，K为混合分类动作模型模型可识别动作的类别数量，l表示左手，r表示右手；
步骤8.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中，ξ是与手部动作类别/>相关的机器人关节的舵机编号，使人形机器人根据控制信号/>能够完成用户手部的动作/>进行实时的机器人手部动作控制；
当动作时，需要将上述动作定义为aK+1作为新的目标类，更新LDA模型，实现新动作的增量识别。
10.根据权利要求9所述的融合脑肌电与单目视觉的仿人机器人实时控制方法，其特征在于：所述步骤9的具体方法为：
步骤9.1：计算机系统内部署的脑电分类模型，应用基于CNN-LSTM特征融合网络的运动想象脑电分类模型，该模型融合了卷积神经网络CNN和长短期记忆网络LSTM，CNN提取空间特征，LSTM提取时间特征，并在卷积层之后添加平坦层进行特征融合，实现运动想象脑电的准确性，返回运动想象脑电的分类yθ∈{yθ|θ＝1,2,……}，其中θ为模型可识别动作的类别数量；
步骤9.2：根据手部动作，利用计算机系统调整相应的舵机控制信号其中τ是与运动想象脑电动作类别yθ相关的机器人关节的舵机编号，使人形机器人根据/>能够完成用户运动想象的动作yθ，进行实时的机器人动作控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311660770.4A CN117532609A (zh) | 2023-12-06 | 2023-12-06 | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311660770.4A CN117532609A (zh) | 2023-12-06 | 2023-12-06 | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117532609A true CN117532609A (zh) | 2024-02-09 |
Family
ID=89793727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311660770.4A Pending CN117532609A (zh) | 2023-12-06 | 2023-12-06 | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117532609A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953413A (zh) * | 2024-03-27 | 2024-04-30 | 广东工业大学 | 一种肌电信号有效性判断方法、装置、设备及存储介质 |
-
2023
- 2023-12-06 CN CN202311660770.4A patent/CN117532609A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953413A (zh) * | 2024-03-27 | 2024-04-30 | 广东工业大学 | 一种肌电信号有效性判断方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Computer vision-based grasp pattern recognition with application to myoelectric control of dexterous hand prosthesis | |
| CN102749991B (zh) | 一种适用于人机交互的非接触式自由空间视线跟踪方法 | |
| CN109011508A (zh) | 一种智能教练系统及方法 | |
| CN107243141A (zh) | 一种基于运动识别的动作辅助训练系统 | |
| CN112861624A (zh) | 一种人体姿态检测方法、系统、存储介质、设备及终端 | |
| Li et al. | A mobile robot hand-arm teleoperation system by vision and imu | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| Qi et al. | DCNN based human activity recognition framework with depth vision guiding | |
| CN106022213A (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| Elforaici et al. | Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches | |
| CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
| CN109635727A (zh) | 一种人脸表情识别方法及装置 | |
| CN117532609A (zh) | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 | |
| CN110991268B (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和系统 | |
| He et al. | Development of distributed control system for vision-based myoelectric prosthetic hand | |
| CN111531537B (zh) | 基于多传感器的机械臂控制方法 | |
| CN114255508A (zh) | 一种基于OpenPose的学生体态检测分析及效率评估方法 | |
| CN111966217A (zh) | 基于手势和眼动的无人机控制方法和系统 | |
| CN114767464B (zh) | 一种基于单目视觉引导的多模式手部康复系统及方法 | |
| CN116236328A (zh) | 基于视觉的可实现自然抓取的智能假肢系统 | |
| CN111539364A (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN113119073A (zh) | 面向3c装配场景基于计算机视觉及机器学习的机械臂系统 | |
| CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
| CN113100755B (zh) | 一种基于视觉追踪控制的肢体康复训练与评估系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |