CN115153983B - 基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 - Google Patents
基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 Download PDFInfo
- Publication number
- CN115153983B CN115153983B CN202210672786.6A CN202210672786A CN115153983B CN 115153983 B CN115153983 B CN 115153983B CN 202210672786 A CN202210672786 A CN 202210672786A CN 115153983 B CN115153983 B CN 115153983B
- Authority
- CN
- China
- Prior art keywords
- smart
- unit
- information
- eye
- artificial hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 22
- 230000004424 eye movement Effects 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000000875 corresponding effect Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 description 29
- 238000013459 approach Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002266 amputation Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
- A61F2/70—Operating or control means electrical
- A61F2/72—Bioelectric control, e.g. myoelectric
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
Landscapes
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transplantation (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Vascular Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Prostheses (AREA)
- Manipulator (AREA)
Abstract
基于机器视觉和眼动追踪的灵巧假手控制系统、控制方法、设备及存储介质，涉及灵巧假手控制领域。解决了现有灵巧假手控制存在难获取稳定的肌电信号的问题。所述控制系统包括：视觉采集单元、眼动追踪单元、核心控制单元和AR显示单元；所述视觉采集单元用于采集物体的信息；所述眼动追踪单元用于获取截肢患者的眼部特征变化；所述核心控制单元用于根据视觉采集单元采集的图像信息和眼动追踪单元获取截肢患者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息，所述核心控制单元将所述抓取物体的动作信息和抓取手势信息传输至灵巧假手，控制所述灵巧假手运动。应用于假肢控制领域。
Description
技术领域
本发明涉及灵巧假手控制领域，尤其涉及一种基于机器视觉和眼动追踪的灵巧假手控制系统。
背景技术
日常生活活动高度依赖人手的运动功能，对于上肢截肢患者而言，因手臂的缺失使其面临诸多的生活困境。灵巧假手的出现改善了截肢患者的行为能力。随着技术的进步，灵巧假手已由简单的单自由度夹爪机构，逐步发展为每个手指都可以独立运动的高度拟人假肢。面对日常生活中的各类物品，为满足截肢者的日常行为需求，灵巧假手系统必须具有不同的物体抓取模式。目前普遍采用有限状态机和编码式控制方法进行多种手势的切换。
以上两种手势切换方法的控制信号主要来源于对上肢肌肉表面肌电信号的检测。然而，表面肌电信号易受到电磁噪声、汗液和传感器位置的影响，使得在实际使用过程中很难获取长期稳定的肌电信号。此外，有限状态机和编码式控制方法的直观性差、患者的使用负担大，且手势越多问题越严重。
发明内容
针对现有灵巧假手控制存在难获取稳定的肌电信号的问题，本发明提供一种基于机器视觉和眼动追踪的灵巧假手控制系统，通过所述系统控制多自由假肢，解决了肌电信号不稳定的问题。
本发明提供一种基于机器视觉和眼动追踪的灵巧假手控制系统，包括灵巧假手，所述假肢包含肌电信号传感器，所述控制系统包括：
视觉采集单元、眼动追踪单元、核心控制单元和AR显示单元；
所述视觉采集单元用于采集物体的信息；
所述眼动追踪单元用于获取佩戴假肢者的眼部特征变化；
所述核心控制单元用于根据视觉采集单元采集的图像信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息，所述核心控制单元将所述抓取物体的动作信息和抓取手势信息传输至灵巧假手，控制所述灵巧假手运动。
进一步，提供一种优选实施方式，所述核心控制单元采用深度学习目标检测算法进行训练。
进一步，提供一种优选实施方式，所述视觉采集单元采用相机进行物体信息的采集。
进一步，提供一种优选实施方式，所述核心控制单元将所述抓取物体的动作信息和抓取手势信息传输至灵巧假手，控制所述灵巧假手运动，具体为：
核心控制单元把抓取物体的动作信息和抓取手势信息发送到灵巧假手的肌电信号传感器，所述灵巧假手的肌电信号传感器获取物体的动作信息和抓取手势信息，并控制灵巧假手切换到对应的动作与手势。
进一步，提供一种优选实施方式，所述控制系统还包括：反馈单元，用于反馈核心控制单元传输的抓取物体的动作信息和抓取手势信息至AR显示单元。
本发明还提供一种灵巧假手控制设备，所述设备上述所述的基于机器视觉和眼动追踪的灵巧假手控制系统。
本发明还提供一种基于机器视觉和眼动追踪的灵巧假手控制方法，所述控制方法包括：
灵巧假手控制设备的配戴步骤；
灵巧假手控制设备进行物体的信息采集的步骤；
灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息的步骤；
灵巧假手控制设备根据获取抓取物体的动作信息和抓取手势信息发送至AR显示单元进行校对的步骤；
灵巧假手控制设备根据校对的抓取物体的动作信息和抓取手势信息发送控制信号至灵巧假手的步骤；
灵巧假手根据控制信号执行动作信息和抓取手势信息的步骤。
进一步，提供一种优选实施方式，所述灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息的步骤，具体为：
所述眼动追踪单元检测并确定患者的注视方向的步骤；
所述眼动追踪单元根据发送检测数据至核心控制单元的步骤；
所述核心控制单元结合目标检测算法获取抓取物体的动作信息和抓取手势信息的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任一项所述的基于机器视觉和眼动追踪的灵巧假手控制方法。
本发明的有益之处在于：
本发明所述的基于机器视觉和眼动追踪的灵巧假手控制系统，通过AR显示设备与眼动追踪单元、核心控制单元相结合，确定佩戴假肢者的眼部变化及需求，并发送控制信号至灵巧假手，控制假肢运动。所述的控制系统使用方便，不易受到外界干扰，适合长期使用。在佩戴假肢者靠近并观察物体的过程中自动完成目标检测和手势的确定，佩戴假肢者使用所述系统抓取物体时，能达到与健康人抓取物体相似的感受，完全符合人类的正常抓取习惯，大大减轻了佩戴假肢者的使用负担。所述系统不局限于待抓取物体的种类和对应的抓取手势，可根据佩戴假肢者的需求不断地增加可识别的物体种类，并根据佩戴假肢者的习惯进一步修改手势对应关系，使其更加符合佩戴假肢者的使用习惯，大大提高了灵巧假手控制系统的灵活性和易用性。
本发明所述的灵巧假手控制设备，是基于控制系统实现的，其结合深度学习目标检测算法和眼动追踪技术实现了一种灵活高效的假肢手势切换方案。佩戴假肢者只需佩戴控制设备靠近并注视待抓取的物体，系统会根据位于设备上的相机拍摄的画面和眼动追踪装置自动确定佩戴假肢者的抓取意图，根据佩戴假肢者的抓取意图，得到目标物体的名称、位置和对应的抓取手势等信息并通过AR显示屏反馈给佩戴假肢者，形成一个闭环系统，使得佩戴假肢者可以判断系统的计算结果并适当的进行校正，使其控制准确度更高，利用佩戴假肢者使用。
本发明所述的基于机器视觉和眼动追踪的灵巧假手的控制方法，自然直观，符合人类日常行为活动习惯，相比于有限状态机和模式识别等方法，佩戴假肢者无需进行大量的训练工作，也无需记忆手势的切换顺序等信息，该方案在佩戴假肢者靠近并观察物体的过程中自动完成目标检测和手势的确定，佩戴假肢者使用该方案抓取物体时，能达到与健康人抓取物体相似的感受，完全符合人类的正常抓取习惯，大大减轻了佩戴假肢者的使用负担。
本发明应用于假肢控制领域。
附图说明
图1为本发明实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统结构框架示意图，图中：1为灵巧假手控制系统，2为灵巧假手，图中英文为：cup代表杯子，ball代表球体，card代表卡片，objectspherical代表球形的，pinch代表夹住，cylindrical代表圆柱形的。
图2为图1中灵巧假手控制系统1的放大图，图中：11为视觉采集单元，12为核心控制单元，13为眼动追踪单元，14为AR显示单元，15为反馈单元；
图3为本发明的控制方法流程示意图；
图4为本发明的算法流程示意图。
具体实施方式
为使本发明的技术方案及优点表述得更加清楚，现结合附图对本发明的若干实施方式做进一步详细地描述，但以下所述的各个实施方式仅为本发明的几个较佳实施方式而已，并不用于限制发明。
实施方式一、参见图1和图2说明本实施方式。本实施方式所述的基于机器视觉和眼动追踪的灵巧假手控制系统，包括灵巧假手，所述控制系统包括：
视觉采集单元11、眼动追踪单元13、核心控制单元12和AR显示单元14；
所述视觉采集单元11用于采集物体的信息；
所述眼动追踪单元13用于获取佩戴假肢者的眼部特征变化；
所述核心控制单元12用于根据视觉采集单元采集的图像信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息，所述核心控制单元将所述抓取物体的动作信息和抓取手势信息传输至灵巧假手，控制所述灵巧假手运动。
在实际应用中，所述控制系统位于AR设备中，将所述AR设备佩戴于佩戴假肢者的头部，所述的灵巧假手2佩戴于佩戴假肢者的残肢末端，所述的控制系统与所述的灵巧假手之间通过无线传输设备进行数据通信。
当佩戴假肢者正确佩戴所述的AR设备时，所述的眼动追踪单元13位于患者眼睛的斜上方，使得所述的眼动追踪单元13能够检测到佩戴假肢者眼部特征的变化，在佩戴假肢者注视物体时，所述的眼动追踪单元13可以根据眼部的特征变化追踪到患者注视的物体，所述的核心控制单元12负责将所述的视觉采集单元和所述的眼动追踪单元13的数据进行分析和处理，用来确定抓取物体和抓取手势，当抓取物体和手势确定后，所述的核心控制单元12将结果发送给所述的灵巧假手2，并将最终的物体信息和手势结果显示在所述的AR显示单元14上。
如图1所示，视觉采集单元11采集到了球体、卡片和杯子，眼动追踪单元13根据佩戴假肢者眼部特征的变化，通过核心控制单元12进行分析处理，确定抓取物体和手势，所示对应的手势为抓取球体的(objectspherical)手势、夹住(pinch)的手势和抓取圆柱形的(cylindrical)物体的手势。
实施方式二、本实施方式是对实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统的进一步限定，所述核心控制单元12采用深度学习目标检测算法进行训练。
在实际应用中，所述的控制系统1可以进行二次开发编程，并可以采用深度学习目标检测算法，进行训练与检测，所述的控制系统1上运行的深度学习目标检测算法可以同时检测不同类别的多个物体。
实施方式三、参见图1说明本实施方式。本实施方式是对实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统的进一步限定，所述视觉采集单元11采用相机进行物体信息的采集。
在实际应用中，所述相机位于AR设备的前部，使得所述的相机能够拍摄到佩戴假肢者看到的画面。
实施方式四、参见图1和图2说明本实施方式，本实施方式是对实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统的进一步限定，所述核心控制单元将所述抓取物体的动作信息和抓取手势信息传输至灵巧假手，控制所述灵巧假手运动，具体为：
核心控制单元12把抓取物体的动作信息和抓取手势信息发送到灵巧假手的肌电信号传感器，所述灵巧假手的肌电信号传感器获取物体的动作信息和抓取手势信息，并控制灵巧假手切换到对应的动作与手势。
在实际应用中，所述的核心控制单元12在得到佩戴假肢者想要抓取的目标物体的信息后，通过无线传输装置将数据发送给所述的灵巧假手2，所述的灵巧假手2在接收到所述的核心控制单元12发送的信息后，记录假肢的目标抓取手势。
所述的核心控制单元12将数据发送给所述的灵巧假手2后，所述的灵巧假手2并不会立刻执行抓取手势，所述的灵巧假手2执行抓取手势是由佩戴假肢者通过肌电信号传感器单独控制。
实施方式五、本实施方式是对实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统的进一步限定，所述控制系统还包括：反馈单元15，用于反馈核心控制单元传输的抓取物体的动作信息和抓取手势信息至AR显示单元14。
在实际应用中，所述控制系统还包含校准单元，所述AR显示单元14接收反馈单元15传输的信息并通过校准单元判断所述的核心控制单元12输出结果的正确性，并可以随时通过改变注视物体来切换想要抓取的目标物体。
实施方式六、本实施方式所述的一种灵巧假手控制设备，所述设备包含实施方式一所述的基于机器视觉和眼动追踪的灵巧假手控制系统。
如图1所示，在实际使用中，佩戴假肢者佩戴好所述的控制设备和灵巧假手2，靠近并注视物体，在该过程中所述的核心控制器12利用所述的相机11和眼动追踪装置12的数据计算得到目标物体的名称、位置以及对应的抓取手势等信息，此时，佩戴假肢者可以通过AR显示单元14上呈现的反馈单元15判断最终的结果，控制设备发送控制信号带动所述的灵巧假手2靠近物体，并通过收缩肌肉来控制所述的灵巧假手2执行抓取动作来完成抓取。
实施方式七、本实施方式所述的基于机器视觉和眼动追踪的灵巧假手控制方法，其特征在于，所述控制方法采用实施方式六所述的一种灵巧假手控制设备实现，所述控制方法包括：
灵巧假手控制设备的配戴步骤；
灵巧假手控制设备进行物体的信息采集的步骤；
灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息的步骤；
灵巧假手控制设备根据获取抓取物体的动作信息和抓取手势信息发送至AR显示单元进行校对的步骤；
灵巧假手控制设备根据校对的抓取物体的动作信息和抓取手势信息发送控制信号至灵巧假手的步骤；
灵巧假手根据控制信号执行动作信息和抓取手势信息的步骤。
结合实施方式一说明本实施方式所述的方法：
步骤1：佩戴假肢者分别佩戴所述的AR设备和所述的灵巧假手2，并通过所述的AR设备内置的校准程序对所述的AR设备进行佩戴校准，保证佩戴舒适性的同时，确保所述的AR设备1佩戴正确，保证所述的眼动追踪单元13的准确性；
步骤2：佩戴假肢者靠近待抓取物体，此时，所述的AR设备的相机拍摄到佩戴假肢者面前的画面，并将画面的图像文件交由所述的核心控制单元12处理，所述的核心控制单元12通过目标检测算法获得画面中所包含的所有主要物体的信息；
步骤3：佩戴假肢者注视想要抓取的物体，所述的眼动追踪单元13通过检测佩戴假肢者的眼部特征信息判断佩戴假肢者所注视的方向；
步骤4：所述的核心控制单元12结合目标检测算法的结果以及眼动追踪单元13的输出信息，计算出佩戴假肢者想要抓取的目标物体，并生成目标物体的名称、位置和对应的抓取手势等信息；
步骤5：所述的核心控制单元12将目标物体的信息发送给所述的灵巧假手2，并生成所述的反馈单元15显示在所述的AR显示单元14上，佩戴假肢者通过观察所述的AR显示单元14可以得到目标物体的名称、位置和对应的抓取手势信息；
步骤6：佩戴假肢者根据所述的反馈单元15的信息判断所述的核心控制单元12输出结果的正确性，并可以随时通过改变注视物体来切换想要抓取的目标物体；
步骤7：佩戴假肢者确定所述的反馈单元15的显示内容无误后，佩戴假肢者带动所述的灵巧假手2靠近物体，并通过收缩截肢端肌肉产生的肌电信号控制所述的灵巧假手2执行相应的抓取手势。
实施方式八、本实施方式是对实施方式七所述的基于机器视觉和眼动追踪的灵巧假手控制方法的进一步限定，所述灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取物体的动作信息和抓取手势信息的步骤，具体为：
所述眼动追踪单元13检测并确定患者的注视方向的步骤；
所述眼动追踪单元13根据发送检测数据至核心控制单元的步骤；
所述核心控制单元12结合目标检测算法获取抓取物体的动作信息和抓取手势信息的步骤。
具体的，当佩戴假肢者注视物体时，所述的眼动追踪单元可以根据眼部的特征变化追踪到患者注视的物体，所述的核心控制单元12负责将所述的视觉采集单元11和所述的眼动追踪单元13的数据进行分析和处理，用来确定抓取物体和抓取手势。
实施方式九、本实施方式所述的一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行实施方式六至实施方式八任一项所述的基于机器视觉和眼动追踪的灵巧假手控制方法。
以上通过具体实施方式对本申请进行详细说明，但以上所述仅为本申请的较佳实施方式而已，并不用于限制本申请，凡在本申请的精神和原则范围之内所作的任何修改、实施方式的组合、等同替换和改进等，均应当包含在本申请的保护范围之内。
Claims (9)
1.一种基于机器视觉和眼动追踪的灵巧假手控制系统，包括灵巧假手，假肢包含肌电信号传感器，其特征在于，所述控制系统包括：
视觉采集单元、眼动追踪单元、核心控制单元和AR显示单元；
所述视觉采集单元用于采集物体的信息；
所述眼动追踪单元用于获取佩戴假肢者的眼部特征变化；
所述眼动追踪单元还用于通过检测佩戴假肢者的眼部特征信息判断佩戴假肢者所注视的方向；
所述核心控制单元用于根据视觉采集单元采集的图像信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取手势信息，所述核心控制单元将所述抓取手势信息传输至灵巧假手，控制所述灵巧假手运动；
所述核心控制单元用于根据视觉采集单元采集的图像信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取手势信息包括：核心控制单元结合目标检测算法的结果以及眼动追踪单元的输出信息，计算出佩戴假肢者想要抓取的目标物体，并生成目标物体的名称、位置和对应的抓取手势信息。
2.根据权利要求1所述的一种基于机器视觉和眼动追踪的灵巧假手控制系统，其特征在于，所述核心控制单元采用深度学习目标检测算法进行训练。
3.根据权利要求1所述的一种基于机器视觉和眼动追踪的灵巧假手控制系统，其特征在于，所述视觉采集单元采用相机进行物体信息的采集。
4.根据权利要求1所述的一种基于机器视觉和眼动追踪的灵巧假手控制系统，其特征在于，所述核心控制单元将所述抓取手势信息传输至灵巧假手，控制所述灵巧假手运动，具体为：
核心控制单元把抓取手势信息发送到灵巧假手的肌电信号传感器，所述灵巧假手的肌电信号传感器获取抓取手势信息，并控制灵巧假手切换到对应的动作与手势。
5.根据权利要求1所述的一种基于机器视觉和眼动追踪的灵巧假手控制系统，其特征在于，所述控制系统还包括：反馈单元，用于反馈核心控制单元传输的抓取手势信息至AR显示单元。
6.一种灵巧假手控制设备，其特征在于，所述设备包含权利要求1所述的一种基于机器视觉和眼动追踪的灵巧假手控制系统。
7.一种基于机器视觉和眼动追踪的灵巧假手控制方法，其特征在于，所述控制方法采用权利要求6所述的一种灵巧假手控制设备实现，所述控制方法包括：
灵巧假手控制设备进行物体的信息采集的步骤；
灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取手势信息的步骤；
灵巧假手控制设备根据获取抓取手势信息发送至AR显示单元进行校对的步骤；
灵巧假手控制设备根据校对的抓取手势信息发送控制信号至灵巧假手的步骤；
灵巧假手根据控制信号执行动作信息和抓取手势信息的步骤。
8.根据权利要求7所述的一种基于机器视觉和眼动追踪的灵巧假手控制方法，其特征在于，所述灵巧假手控制设备根据获取物体的信息和眼动追踪单元获取佩戴假肢者的眼部特征变化进行数据分析处理，并获取抓取手势信息的步骤，具体为：
所述眼动追踪单元检测并确定患者的注视方向的步骤；
所述眼动追踪单元根据发送检测数据至核心控制单元的步骤；
所述核心控制单元结合目标检测算法获取抓取手势信息的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求7-8任一项所述的一种基于机器视觉和眼动追踪的灵巧假手控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210672786.6A CN115153983B (zh) | 2022-06-15 | 2022-06-15 | 基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210672786.6A CN115153983B (zh) | 2022-06-15 | 2022-06-15 | 基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115153983A CN115153983A (zh) | 2022-10-11 |
| CN115153983B true CN115153983B (zh) | 2024-04-12 |
Family
ID=83485292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210672786.6A Active CN115153983B (zh) | 2022-06-15 | 2022-06-15 | 基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115153983B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203022A (ja) * | 1998-01-16 | 1999-07-30 | Technos Japan:Kk | 生体信号を機器の制御信号として応用する方法及びその装置 |
| JP2001014082A (ja) * | 1999-06-25 | 2001-01-19 | Sentan Kagaku Gijutsu Incubation Center:Kk | 神経インターフェイスシステム |
| NZ560457A (en) * | 2007-08-15 | 2010-02-26 | William Bryan Woodard | Image generation system |
| CN102309366A (zh) * | 2011-07-21 | 2012-01-11 | 山东科技大学 | 用眼动信号控制上假肢运动的控制系统和控制方法 |
| CN103815991A (zh) * | 2014-03-06 | 2014-05-28 | 哈尔滨工业大学 | 双通道操作感知虚拟假手训练系统及方法 |
| CA2922430A1 (en) * | 2013-09-20 | 2015-03-26 | Mddt Inc. | Diagnosing and treating movement disorders |
| CN105765615A (zh) * | 2013-09-09 | 2016-07-13 | L·F·格拉泽 | 通信设备 |
| WO2018094720A1 (zh) * | 2016-11-24 | 2018-05-31 | 浙江大学 | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 |
| KR20190023402A (ko) * | 2017-08-29 | 2019-03-08 | 인하대학교 산학협력단 | 감각 인지 의수 제어 시스템 |
| WO2019155916A1 (ja) * | 2018-02-09 | 2019-08-15 | 国立大学法人 福井大学 | 網膜走査型表示部を用いた画像表示装置およびその方法 |
| WO2021259986A1 (de) * | 2020-06-23 | 2021-12-30 | Otto Bock Healthcare Products Gmbh | Protheseneinrichtung mit einer prothesenhand und verfahren zum betreiben einer protheseneinrichtung |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006074029A2 (en) * | 2005-01-06 | 2006-07-13 | Cyberkinetics Neurotechnology Systems, Inc. | Neurally controlled and multi-device patient ambulation systems and related methods |
| US9878452B2 (en) * | 2015-06-15 | 2018-01-30 | GM Global Technology Operations LLC | Grasp assist device with automatic mode control logic |
| US10783712B2 (en) * | 2018-06-27 | 2020-09-22 | Facebook Technologies, Llc | Visual flairs for emphasizing gestures in artificial-reality environments |
-
2022
- 2022-06-15 CN CN202210672786.6A patent/CN115153983B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203022A (ja) * | 1998-01-16 | 1999-07-30 | Technos Japan:Kk | 生体信号を機器の制御信号として応用する方法及びその装置 |
| JP2001014082A (ja) * | 1999-06-25 | 2001-01-19 | Sentan Kagaku Gijutsu Incubation Center:Kk | 神経インターフェイスシステム |
| NZ560457A (en) * | 2007-08-15 | 2010-02-26 | William Bryan Woodard | Image generation system |
| CN102309366A (zh) * | 2011-07-21 | 2012-01-11 | 山东科技大学 | 用眼动信号控制上假肢运动的控制系统和控制方法 |
| CN105765615A (zh) * | 2013-09-09 | 2016-07-13 | L·F·格拉泽 | 通信设备 |
| CA2922430A1 (en) * | 2013-09-20 | 2015-03-26 | Mddt Inc. | Diagnosing and treating movement disorders |
| CN103815991A (zh) * | 2014-03-06 | 2014-05-28 | 哈尔滨工业大学 | 双通道操作感知虚拟假手训练系统及方法 |
| WO2018094720A1 (zh) * | 2016-11-24 | 2018-05-31 | 浙江大学 | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 |
| KR20190023402A (ko) * | 2017-08-29 | 2019-03-08 | 인하대학교 산학협력단 | 감각 인지 의수 제어 시스템 |
| WO2019155916A1 (ja) * | 2018-02-09 | 2019-08-15 | 国立大学法人 福井大学 | 網膜走査型表示部を用いた画像表示装置およびその方法 |
| WO2021259986A1 (de) * | 2020-06-23 | 2021-12-30 | Otto Bock Healthcare Products Gmbh | Protheseneinrichtung mit einer prothesenhand und verfahren zum betreiben einer protheseneinrichtung |
Non-Patent Citations (1)
| Title |
|---|
| 面向虚拟装配的层次化交互手势技术;熊巍;王清辉;李静蓉;;华南理工大学学报(自然科学版);20160115(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115153983A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Human–robot interaction for rehabilitation robotics | |
| Castellini et al. | Proceedings of the first workshop on peripheral machine interfaces: Going beyond traditional surface electromyography | |
| US9468541B2 (en) | Time domain-based methods for noninvasive brain-machine interfaces | |
| Jarrassé et al. | Classification of phantom finger, hand, wrist, and elbow voluntary gestures in transhumeral amputees with sEMG | |
| CN109605385B (zh) | 一种混合脑机接口驱动的康复辅助机器人 | |
| Krausz et al. | Intent prediction based on biomechanical coordination of EMG and vision-filtered gaze for end-point control of an arm prosthesis | |
| CN108646915B (zh) | 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统 | |
| Fang et al. | Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand | |
| US20210275807A1 (en) | System and method for determining user intention from limb or body motion or trajectory to control neuromuscular stimuation or prosthetic device operation | |
| Ortenzi et al. | Ultrasound imaging for hand prosthesis control: a comparative study of features and classification methods | |
| Jarrassé et al. | Phantom-mobility-based prosthesis control in transhumeral amputees without surgical reinnervation: A preliminary study | |
| Shi et al. | A novel method of combining computer vision, eye-tracking, EMG, and IMU to control dexterous prosthetic hand | |
| Hays et al. | Neuromorphic vision and tactile fusion for upper limb prosthesis control | |
| Johansen et al. | A novel hand prosthesis control scheme implementing a tongue control system | |
| CN115153983B (zh) | 基于机器视觉和眼动追踪的灵巧假手控制系统、设备、方法及存储介质 | |
| Franco et al. | Command acknowledge through tactile feedback improves the usability of an emg-based interface for the frontalis muscle | |
| Li et al. | A novel grasping control method for dexterous prosthesis based on eye-tracking | |
| Patel et al. | EMG-based human machine interface control | |
| Shi et al. | I-GSI: A novel grasp switching interface based on eye-tracking and augmented reality for multi-grasp prosthetic hands | |
| CN215017698U (zh) | 康复训练运动模拟可视化系统 | |
| CN115624338A (zh) | 一种上肢刺激反馈康复装置及其控制方法 | |
| Shi et al. | i-MYO: A Hybrid Prosthetic Hand Control System based on Eye-tracking, Augmented Reality and Myoelectric signal | |
| Gregori | An analysis of the visuomotor behavior of upper limb amputees to improve prosthetic control | |
| Leccia et al. | Development and testing of a virtual simulator for a myoelectric prosthesis prototype–the PRISMA Hand II–to improve its usability and acceptability | |
| Sobuh | Visuomptor Behaviours During Functional Task Performance with a Myoelectric Prosthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |