CN111283689A - 一种辅助肢体功能障碍者运动的装置及控制方法 - Google Patents

Abstract

本发明公开了一种辅助肢体功能障碍者运动的装置，包括：图像采集装置、图像显示装置、眼部动作采集装置、机械装置以及控制器，控制器用于根据眼部动作采集装置采集到的眼部信息确定目标物和/或导航路径，并控制机械装置动作、以及根据图像采集装置获取到的图像确定目标物的坐标位置。本发明提供的辅助肢体功能障碍者运动的装置通过眼部动作与控制器进行信息交互，在图像采集装置采集的图像信息中可以更加快速且准确的获取目标物，节省了大量的计算过程，缩短了目标物判断时间，并且提高了判断精度。本发明还公开了一种适用于上述辅助肢体功能障碍者运动的装置的控制方法。

Description

一种辅助肢体功能障碍者运动的装置及控制方法

技术领域

本发明涉及机器视觉技术领域，更具体地说，涉及一种辅助肢体功能障碍者运动的装置。此外，本发明还涉及一种辅助肢体功能障碍者运动的控制方法。

背景技术

肢体功能障碍一般是指：是指某处或连带性的肢体不受思维控制运动或受思维控制但不能完全按照思维控制去行动。

在机器人发展过程中，机器视觉是一个重要的研究领域，通过对摄像头的应用，以图像处理的技术手段，可以对为肢体机能障碍患者配置的运动辅助设备，例如，机械手臂或者残疾人轮椅等实现智能化控制，最终辅助肢体机能障碍患者，完成人体运动机能缺失的运动功能。

现有技术中，研究人员已经可以利用摄像头结合算法相关的软件设计，实现对例如机械手等自动化设备的运动控制，也可以实现对残疾人轮椅等运动障碍患者所配置的辅助设备自动循迹控制；目前的人机视觉交互多为机器通过图像采集系统获取人的手势图像，通过图像处理、模式识别等，实现对手势的理解，达到人机交互的目的。在数据处理的过程中，摄像头结合算法相关的软件设计获取目标物的过程计算相当复杂，且好费时间较久，并且准确性差；另外，手势图像的采集对于手臂功能障碍人群来说操作较为困难，不利于实现。

综上所述，如何提供一种精准性高且适用更广泛的辅助肢体功能障碍者运动的装置，是目前本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种辅助肢体功能障碍者运动的装置，可以通过眼部动作对其进行控制，提高控制精度，提高其适用范围。

本发明的另一目的是提供一种应用于上述辅助肢体功能障碍者运动的装置的控制方法。

为了实现上述目的，本发明提供如下技术方案：

一种辅助肢体功能障碍者运动的装置，包括：

图像采集装置，用于获取目标物图像；

图像显示装置，用于将所述图像采集装置获取的图像进行显示；

眼部动作采集装置，用于获取控制者眼部动作；

机械装置，用于对所述目标物进行抓取或追踪；

控制器，用于根据所述眼部动作采集装置采集到的眼部信息确定所述目标物和/或导航路径，并控制所述机械装置动作，以及根据所述图像采集装置获取到的图像确定所述目标物的坐标位置；

所述图像采集装置、所述图像显示装置、所述眼部动作采集装置和所述机械装置均与所述控制器连接。

优选的，所述图像采集装置包括用于获取所述目标物全局图像的头部机器双目和用于获取所述目标物精准位置的机械手臂双目；所述机械手臂双目设置于所述机械装置。

优选的，还包括用于带动所述头部机器双目转动的转动控制电机以及用于带动所述头部机器双目俯仰的俯仰控制电机，所述转动控制电机和所述俯仰控制电机均与所述控制器连接。

优选的，所述图像显示装置包括用于显示所述头部机器双目获取到的图像信息的第一显示屏以及用于显示所述机械手臂双目获取到的图像信息的第二显示屏，且所述第一显示屏和所述第二显示屏相邻设置。

优选的，所述眼部动作采集装置为用于捕捉所述控制者眼部动作的人眼捕捉相机，所述人眼捕捉相机与所述控制器连接。

优选的，还包括设置有可调节亮度的LED弱光光源的人眼视觉镜片，以调整所述人眼捕捉相机的拍摄亮度，所述LED弱光光源与所述控制器连接。

优选的，所述机械装置为用于对所述目标物进行抓取的机械臂，所述机械臂与所述控制器连接；和/或所述机械装置为用于对所述目标物进行追踪的运动轮椅，所述运动轮椅与所述控制器连接。

一种辅助肢体功能障碍者运动的控制方法，适用于上述辅助肢体功能障碍者运动的装置，包括：

获取目标物的图像信息；

显示所述图像信息；

获取控制者眼部动作信息；

根据获取的所述眼部动作信息确定目标物和/或导航路径；

根据所述图像信息获取所述目标物的位置并对所述目标物进行抓取或追踪。

优选的，所述获取目标物的图像信息，包括：

获取所述目标物全局图像以及所述目标物精准位置。

优选的，所述获取控制者眼部动作信息，包括：

调节所述控制者眼周范围亮度。

本发明提供的辅助肢体功能障碍者运动的装置，包括：图像采集装置，用于获取目标物图像；图像显示装置，用于将图像采集装置获取的图像进行显示；眼部动作采集装置，用于获取控制者眼部动作；机械装置，用于对目标物进行抓取或追踪；控制器，用于根据眼部动作采集装置采集到的眼部信息确定目标物和/或导航路径，并控制机械装置动作；以及根据图像采集装置获取到的图像确定目标物的坐标位置；图像采集装置、图像显示装置、眼部动作采集装置和机械装置均与控制器连接。

使用本发明提供的辅助肢体功能障碍者运动的装置的过程中，首先通过图像采集装置对目标物进行图像采集，并将采集到的图像信息传递至控制器，控制器通过对采集的图像信息进行处理并显示于图像显示装置，控制者根据图像显示装置中显示的图像信息对目标物或导航路径进行确认，控制器根据控制者的眼部动作信息控制机械装置动作，对目标物进行抓取或追踪。

相比于现有技术，本发明提供的辅助肢体功能障碍者运动的装置通过眼部动作与控制器进行信息交互，在图像采集装置采集的图像信息中可以更加快速且准确的获取目标物，节省了大量的计算过程，缩短了目标物判断时间，并且提高了判断精度；另外，通过眼部动作对机械装置的动作进行控制，相比于现有技术中手势控制的方式，适用范围更广，可以满足更多肢体功能障碍者的使用。

此外，本发明还提供了一种适用于上述辅助肢体功能障碍者运动的装置的控制方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的辅助肢体功能障碍者运动的装置的具体实施例的结构示意图；

图2为图1中辅助肢体功能障碍者运动的装置的正视图；

图3为图1中辅助肢体功能障碍者运动的装置的俯视图；

图4为图1中辅助肢体功能障碍者运动的装置的侧视图；

图5为本发明所提供的图1中辅助肢体功能障碍者运动的控制方法的控制逻辑示意图；

图6为本发明所提供的图1中辅助肢体功能障碍者运动的控制方法的具体实施例的流程示意图。

图1-6中：

1为头部机器双目、11为转动控制电机、12为俯仰控制电机、2为机械手臂双目、3为双屏显示镜、4为人眼捕捉相机、41为人眼视觉镜片、5为机械臂、6为运动轮椅、7为控制器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种辅助肢体功能障碍者运动的装置，可以通过眼部动作对机械装置进行控制，使适用范围更广且提高精准度。本发明的另一核心是提供一种适用于上述辅助肢体功能障碍者运动的装置的辅助肢体功能障碍者运动的控制方法。

请参考图1-6，图1为本发明所提供的辅助肢体功能障碍者运动的装置的具体实施例的结构示意图；图2为图1中辅助肢体功能障碍者运动的装置的正视图；图3为图1中辅助肢体功能障碍者运动的装置的俯视图；图4为图1中辅助肢体功能障碍者运动的装置的侧视图；图5为本发明所提供的图1中辅助肢体功能障碍者运动的控制方法的控制逻辑示意图；图6为本发明所提供的图1中辅助肢体功能障碍者运动的控制方法的具体实施例的流程示意图。

本具体实施例提供的辅助肢体功能障碍者运动的装置，包括：图像采集装置，用于获取目标物图像；图像显示装置，用于将图像采集装置获取的图像进行显示；眼部动作采集装置，用于获取控制者眼部动作；机械装置，用于对目标物进行抓取或追踪；控制器7，用于根据眼部动作采集装置采集到的眼部信息确定目标物和/或导航路径，并控制机械装置动作；以及根据图像采集装置获取到的图像确定目标物的坐标位置；图像采集装置、图像显示装置、眼部动作采集装置和机械装置均与控制器7连接。

需要进行说明的是，为了更好的对机械装置的动作进行控制，同时可以观察图像显示装置所显示的图像信息，一般情况下，控制者需要一只眼睛用于观察图像显示装置所显示的图像信息，另一只眼睛用于对机械装置的动作进行控制；为了实现更加精准的控制，人眼部动作与运动控制指令之间的关系式通过对人眼部动作的大量练习，并通过强化学习完成人眼部动作与运动控制指令的智能化匹配，不同的人眼部动作代表不同的运动指令，例如，眨眼一下、眨眼两下或者眨眼时间的长短都是作为后期指令匹配的关键条件；当然，不排除控制者可以通过一只眼睛完成图像信息的观察与机械装置动作控制的情况，具体根据实际情况确定，在此不做赘述。

使用本具体实施例提供的辅助肢体功能障碍者运动的装置的过程中，首先通过图像采集装置对目标物进行图像采集，并将采集到的图像信息传递至控制器7，控制器7通过对采集的图像信息进行处理并显示于图像显示装置，控制者根据图像显示装置中显示的图像信息对目标物或导航路径进行确认，控制器7根据控制者的眼部动作信息控制机械装置动作，对目标物进行抓取或追踪。

需要进行说明的是，图像采集装置采集到的图像信息中可能为包含目标物的全局图片，因此需要从图像信息中判断具体目标物，此时控制者可以通过眼睛直接判断并搜索目标物，相比于现有技术中算法匹配的方式，可以缩短目标物的获取时间，提高精度。

相比于现有技术，本具体实施例提供的辅助肢体功能障碍者运动的装置通过眼部动作与控制器7进行信息交互，在图像采集装置采集的图像信息中可以更加快速且准确的获取目标物，节省了大量的计算过程，缩短了目标物判断时间，并且提高了判断精度；另外，通过眼部动作对机械装置的动作进行控制，相比于现有技术中手势控制的方式，适用范围更广，可以满足更多肢体功能障碍者的使用。

在上述实施例的基础上，为了能够对目标物体进行更精准的定位，可以使图像采集装置包括用于获取目标物全局图像的头部机器双目1和用于获取目标物精准位置的机械手臂双目2；机械手臂双目2设置于机械装置。

在对目标物进行抓取或追踪的过程中，头部机器双目1先捕捉到目标物的全局情况，例如目标物的位置，此处目标物的位置是指相对于机械臂5的位置，给机械手臂规划一条路径，完毕后，视觉转换到机械臂5的上的机械手臂双目2，开始接近目标，并准备接受人眼动作指令去抓取；可以做到先判断整体环境，再精确抓取，并且能够快速判断，精确抓取；需要进行说明的是，此处提到的机械臂5为用于对目标物进行抓取的机械装置的部分结构，当然还可以是机械装置中其它用于抓取的设备，具体根据实际情况确定。

为了使辅助肢体功能障碍者运动的装置能够适用于颈部运动机能丧失的肢体功能障碍者，可以还包括用于带动头部机器双目1转动的转动控制电机11以及用于带动头部机器双目1俯仰的俯仰控制电机12，转动控制电机11和俯仰控制电机12均与控制器7连接。

需要进行说明的是，当控制者位于水平面时，转动控制电机11用于控制头部机器双目1在水平面内转动，当然，根据控制者所处的位置的不同，转动控制电机11可以用于控制头部机器双目1在不同的平面内转动，具体根据实际情况确定，主要为了获取控制者周围的环境信息。

在使用的过程中，在控制者眼部动作的控制下，控制器7可以控制转动控制电机11和俯仰控制电机12动作，转动控制电机11可以带动头部机器双目1在水平面内转动，获取控制者360°范围的影像，并且俯仰控制电机12可以控制头部机器双目1的拍摄俯仰角度，以使颈部运动机能丧失的肢体功能障碍者也可以无障碍的观察周围信息情况。

在上述实施例的基础上，为了显示头部机器双目1与机械手臂双目2所捕捉到的图像信息，可以设置双屏显示镜3，双屏显示镜3包括用于显示头部机器双目1获取到的图像信息第一显示屏和用于显示机械手臂双目2获取到的图像信息的第二显示屏，且第一显示屏和第二显示屏相邻设置。

在设置时，需将双屏显示镜3设置于控制者的眼部容易观察到的位置，并且在实际操作的过程中，双屏显示镜3中显示的图像可以进行目标锁定并标记，例如，显示目标物中设置红色十字，便于控制者进行确认。

在上述实施例的基础上，为了更好的对控制者的眼部动作进行捕捉，可以将眼部动作采集装置为用于捕捉控制者眼部动作的人眼捕捉相机4，人眼捕捉相机4与控制器7连接。

在使用的过程中，人眼捕捉相机4用于获取控制者眼部动作，并将获取到的眼部动作信息传递至控制器7，控制器7根据获取到的眼部动作信息确定目标物，并控制机械装置对目标物进行抓取或追踪。

为了使人眼捕捉相机4能够始终在合适的光线亮度下进行拍摄，可以还包括设置有可调节亮度的LED弱光光源的人眼视觉镜片41，以调整人眼捕捉相机4的拍摄亮度，LED弱光光源与控制器7连接。

优选的，可以在人眼视觉镜片41设置亮度传感器，用于检测亮度是否合格，当不符合要求时，控制器7控制LED弱光光源进行亮度调节。

为了适应不同控制者的使用需求，可以使机械装置为用于对目标物进行抓取的机械臂5，机械臂5与控制器7连接；和/或机械装置为用于对目标物进行追踪的运动轮椅6，运动轮椅6与控制器7连接；也就是说，机械装置可以是机械臂5与运动轮椅6中的至少一者。

优选的，当机械装置包含机械臂5时，可以将机械手臂双目2设置于机械臂5，当机械装置仅包含运动轮椅6时，可以将机械手臂双目2设置于运动轮椅6。

另外，需要进行说明的是，机械臂5与运动轮椅6的结构具有多样性，因此在说明书附图中并没有针对机械臂5与运动轮椅6的具体结构进行表述，本申请文件中提到的机械臂5与运动轮椅6可以是实际使用中任何结构形式的机械臂5与任何结构形式的运动轮椅6，在此不做赘述。

需要进行说明的是，辅助肢体功能障碍者运动的装置在使用的过程中需要穿戴于控制者的头部，因此，可以设置相关的零部件用于与控制者的头部相匹配，并将其它零部件进行合理安装，具体根据实际情况确定，在此不做赘述。

除了上述辅助肢体功能障碍者运动的装置，本发明还提供一种适用于上述实施例公开的辅助肢体功能障碍者运动的装置的辅助肢体功能障碍者运动的控制方法，辅助肢体功能障碍者运动的控制方法包括：

步骤S1，获取目标物的图像信息。

上述步骤中，获取目标物的图像信息包括：

步骤S11，获取目标物全局图像以及目标物精准位置。

在实际使用的过程中，可以通过头部机器双目1获取目标物的全局图像，通过机械手臂双目2获取目标物的精准位置。

步骤S2，显示图像信息。

上述步骤中，显示出的图像信息中可以包含定位识别标记，例如，可以用红十字对各个图像目标进行标注，并根据眼部动作对目标物进行确认，同时控制者接收到图像显示信息之后，可以通过眼部动作对追踪的路径进行规划，快速完成目标确认与追踪的动作。

步骤S3，获取控制者眼部动作信息。

上述步骤中，获取控制者眼部动作信息，包括：

步骤S31，调节控制者眼周范围亮度。

调节方式可以是通过调节LED弱光光源实现，也可以设置其它的用于调节亮度的设备，具体根据实际情况确定，在此不做赘述。

另外，眼部动作与控制器7之间的信息确认可以通过深度学习的方式建立相关数据库得到，也可以通过强化学习的方式，通过智能化的重复与强化建立控制器7与控制者之间的默契实现，具体根据实际情况确定。

步骤S4，根据获取的眼部动作信息确定目标物和/或导航路径。

控制器7负责整个系统的控制信号的发送和接收，可以根据接收到的眼部动作信息，对图像中的目标物进行确认或导航路径。

步骤S5，根据图像信息获取目标物的位置并对目标物进行抓取或追踪。

优选的，机械臂5为多自由度机械臂5，可以对目标物进行抓取，运动轮椅6可以带动控制者移动，实现对目标物的追踪。

该辅助肢体功能障碍者运动的控制方法的其他各部分的结构请参考现有技术，本文不再赘述。

需要进行说明的是，本申请文件中提到的第一显示屏和第二显示屏中的第一和第二只是为了区分位置的不同，并没有先后顺序之分。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。本发明所提供的所有实施例的任意组合方式均在此发明的保护范围内，在此不做赘述。

以上对本发明所提供的辅助肢体功能障碍者运动的装置及控制方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种辅助肢体功能障碍者运动的装置，其特征在于，包括：

图像采集装置，用于获取目标物图像；

图像显示装置，用于将所述图像采集装置获取的图像进行显示；

眼部动作采集装置，用于获取控制者眼部动作；

机械装置，用于对所述目标物进行抓取或追踪；

控制器(7)，用于根据所述眼部动作采集装置采集到的眼部信息确定所述目标物和/或导航路径，并控制所述机械装置动作，以及根据所述图像采集装置获取到的图像确定所述目标物的坐标位置；

所述图像采集装置、所述图像显示装置、所述眼部动作采集装置和所述机械装置均与所述控制器(7)连接。

2.根据权利要求1所述的辅助肢体功能障碍者运动的装置，其特征在于，所述图像采集装置包括用于获取所述目标物全局图像的头部机器双目(1)和用于获取所述目标物精准位置的机械手臂双目(2)；所述机械手臂双目(2)设置于所述机械装置。

3.根据权利要求2所述的辅助肢体功能障碍者运动的装置，其特征在于，还包括用于带动所述头部机器双目(1)转动的转动控制电机(11)以及用于带动所述头部机器双目(1)俯仰的俯仰控制电机(12)，所述转动控制电机(11)和所述俯仰控制电机(12)均与所述控制器(7)连接。

4.根据权利要求2所述的辅助肢体功能障碍者运动的装置，其特征在于，所述图像显示装置包括用于显示所述头部机器双目(1)获取到的图像信息的第一显示屏以及用于显示所述机械手臂双目(2)获取到的图像信息的第二显示屏，且所述第一显示屏和所述第二显示屏相邻设置。

5.根据权利要求1所述的辅助肢体功能障碍者运动的装置，其特征在于，所述眼部动作采集装置为用于捕捉所述控制者眼部动作的人眼捕捉相机(4)，所述人眼捕捉相机(4)与所述控制器(7)连接。

6.根据权利要求5所述的辅助肢体功能障碍者运动的装置，其特征在于，还包括设置有可调节亮度的LED弱光光源的人眼视觉镜片(41)，以调整所述人眼捕捉相机(4)的拍摄亮度，所述LED弱光光源与所述控制器(7)连接。

7.根据权利要求5所述的辅助肢体功能障碍者运动的装置，其特征在于，所述机械装置为用于对所述目标物进行抓取的机械臂(5)，所述机械臂(5)与所述控制器(7)连接；和/或所述机械装置为用于对所述目标物进行追踪的运动轮椅(6)，所述运动轮椅(6)与所述控制器(7)连接。

8.一种辅助肢体功能障碍者运动的控制方法，适用于上述辅助肢体功能障碍者运动的装置，其特征在于，包括：

获取目标物的图像信息；

显示所述图像信息；

获取控制者眼部动作信息；

根据获取的所述眼部动作信息确定目标物和/或导航路径；

根据所述图像信息获取所述目标物的位置并对所述目标物进行抓取或追踪。

9.根据权利要求8所述的辅助肢体功能障碍者运动的控制方法，其特征在于，所述获取目标物的图像信息，包括：

获取所述目标物全局图像以及所述目标物精准位置。

10.根据权利要求8所述的辅助肢体功能障碍者运动的控制方法，其特征在于，所述获取控制者眼部动作信息，包括：

调节所述控制者眼周范围亮度。

Images